VMware

Alerta en vCenter 6.x “VMware common logging service health alarm”

Esta semana tuve la alerta “VMware common logging service health alarm” en un vCenter la cual parecía estar informando sobre un problema grave de estabilidad del vCenter. 

Revisando mas a fondo el registro de mensajes de salud del vCenter desde la interfaz VAMI, veo que al momento que se genero la alerta el uso de disco de la partición /storage/log estaba a mas de un 70%.

El estado actual de uso en disco para esa partición /storage/log fue solamente de 68%

PRODVCENTER:~ # df -h
Filesystem                            Size  Used Avail Use% Mounted on
/dev/sda3                              11G  5.6G  4.6G  55% /
udev                                   12G  164K   12G   1% /dev
tmpfs                                  12G   40K   12G   1% /dev/shm
/dev/sda1                             128M   39M   83M  32% /boot
/dev/mapper/core_vg-core               50G  3.7G   44G   8% /storage/core
/dev/mapper/log_vg-log                 25G   16G  7.5G  68% /storage/log
/dev/mapper/db_vg-db                   25G  695M   23G   3% /storage/db
/dev/mapper/dblog_vg-dblog            9.9G  552M  8.8G   6% /storage/dblog
/dev/mapper/seat_vg-seat               50G  4.9G   42G  11% /storage/seat
/dev/mapper/netdump_vg-netdump        9.9G  151M  9.2G   2% /storage/netdump
/dev/mapper/autodeploy_vg-autodeploy   25G  173M   24G   1% /storage/autodeploy
/dev/mapper/invsvc_vg-invsvc           25G  1.6G   22G   7% /storage/invsvc

Analice la posibilidad de aumentar el tamaño del disco para /storage/log, el cual en un futuro puede llegar a tomar mas de un 90% de espacio y deje al vCenter sin inodes para escribir logs.

Antes de empezar

Primero que todo vamos a tomar un snapshot de la maquina virtual afectada en caso de que tengamos que recuperar el estado inicial si algo falla en el proceso de solución.

Solución Alerta “VMware common logging service health alarm”

Antes de aumentar el espacio del disco del vCenter como mencione; decidí investigar un poco mas acerca de los archivos de mayor tamaño en esta partición. Para esto utilice el siguiente comando:

PRODVCENTER:~ # du -h --max-depth=1 /storage/log/vmware/ | sort -hr
7.2G    /storage/log/vmware/
1.8G    /storage/log/vmware/cloudvm
1.4G    /storage/log/vmware/vdcs
1.1G     /storage/log/vmware/vsphere-client
358M    /storage/log/vmware/vpxd
221M    /storage/log/vmware/sca
220M    /storage/log/vmware/vmafdd

Al parecer existe un problema con la rotación de los logs, entre ellos /storage/log/vmware/cloudvm donde existe el archivo cloudvm-ram-size.log el cual continuaba incrementando sin rotar sus registros antiguos, tomando espacio considerable en disco. 

Este problema esta solucionado en la versión de vSphere 6.5 según el KB2147261 publicado por VMware. Pero como en mi caso la actualización del vCenter a la versión 6.5 iba a tomar mas tiempo de lo esperado.

Por esto decidí seguir los pasos para configurar manualmente la rotación de los logs para cloudvm-ram-size.log.

1. Abrir una sesión SSH a nuestro VCSA y ejecutar el siguiente comando para la activación del bash shell de nuestro vCenter

Command> shell.set --enabled true
Command> shell
PRODVCENTER:~ #

2. Vamos a navegar hasta el directorio /etc/logrotate.d y crear el archivo cloudvm_ram_size.log el cual no existe

PROVCENTER:~ # cd /etc/logrotate.d/
PROVCENTER:/etc/logrotate.d # touch cloudvm_ram_size.log
PROVCENTER:/etc/logrotate.d # ls -l | grep cloudvm
-rw------- 1 root root    0 May 28 05:58 cloudvm_ram_size.log
-rw-r--r-- 1 root root  143 Feb 23  2017 cloudvm_ram_size.lr

3. Abrir el archivo con un editor de texto. En mi caso utilize linux VI desde la sesion bash de vCenter

PROVCENTER:/etc/logrotate.d # vi cloudvm_ram_size.log

4. Agregar la siguiente información. 

/storage/log/vmware/cloudvm/cloudvm-ram-size.log{
missingok
notifempty
compress
size 20k
monthly
rotate 8
create 0660 root cis
}

6. Guardar el archivo y ejecutar el siguiente comando para habilitar la rotacion de cloudvm-ram-size.log y de otros logs del vCenter.

PRODVCENTER:~ #logrotate -f /etc/logrotate.conf

Esto me evito tener que actualizar el vCenter (Lo cual voy a realizar pronto). Así como tampoco tuve que incrementar el tamaño del disco para /storage/log lo cual si ustedes desean hacer pueden ver los pasos en esta entrada de mi blog Aumentar tamaño de discos utilizando LVM autogrow VCSA 6.0

Espero que les haya sido de utilidad este articulo. Compártelo en redes sociales si crees puede ayudar a alguien mas.

Escribe tu comentario

Este sitio utiliza Akismet para disminuir el spam. Aprenda más de como sus comentarios son procesados.

Oscar Zuñiga

Oscar Zuñiga

Senior Virtualization and Cloud Engineer | vExpert | Trainer | Blogger
Especialista en SDDC y Cloud Computing con mas de 5 años de experiencia en IT. Oscar también es instructor técnico para cursos de AWS, VMware, Juniper y Cisco.
EnglishPortugueseSpanish