Esta semana tuve la alerta “VMware common logging service health alarm” en un vCenter la cual parecía estar informando sobre un problema grave de estabilidad del vCenter.
Revisando mas a fondo el registro de mensajes de salud del vCenter desde la interfaz VAMI, veo que al momento que se genero la alerta el uso de disco de la partición /storage/log estaba a mas de un 70%.
El estado actual de uso en disco para esa partición /storage/log fue solamente de 68%
PRODVCENTER:~ # df -h Filesystem Size Used Avail Use% Mounted on /dev/sda3 11G 5.6G 4.6G 55% / udev 12G 164K 12G 1% /dev tmpfs 12G 40K 12G 1% /dev/shm /dev/sda1 128M 39M 83M 32% /boot /dev/mapper/core_vg-core 50G 3.7G 44G 8% /storage/core /dev/mapper/log_vg-log 25G 16G 7.5G 68% /storage/log /dev/mapper/db_vg-db 25G 695M 23G 3% /storage/db /dev/mapper/dblog_vg-dblog 9.9G 552M 8.8G 6% /storage/dblog /dev/mapper/seat_vg-seat 50G 4.9G 42G 11% /storage/seat /dev/mapper/netdump_vg-netdump 9.9G 151M 9.2G 2% /storage/netdump /dev/mapper/autodeploy_vg-autodeploy 25G 173M 24G 1% /storage/autodeploy /dev/mapper/invsvc_vg-invsvc 25G 1.6G 22G 7% /storage/invsvc
Analice la posibilidad de aumentar el tamaño del disco para /storage/log, el cual en un futuro puede llegar a tomar mas de un 90% de espacio y deje al vCenter sin inodes para escribir logs.
Antes de empezar
Primero que todo vamos a tomar un snapshot de la maquina virtual afectada en caso de que tengamos que recuperar el estado inicial si algo falla en el proceso de solución.
Solución Alerta “VMware common logging service health alarm”
Antes de aumentar el espacio del disco del vCenter como mencione; decidí investigar un poco mas acerca de los archivos de mayor tamaño en esta partición. Para esto utilice el siguiente comando:
PRODVCENTER:~ # du -h --max-depth=1 /storage/log/vmware/ | sort -hr 7.2G /storage/log/vmware/ 1.8G /storage/log/vmware/cloudvm 1.4G /storage/log/vmware/vdcs 1.1G /storage/log/vmware/vsphere-client 358M /storage/log/vmware/vpxd 221M /storage/log/vmware/sca 220M /storage/log/vmware/vmafdd
Al parecer existe un problema con la rotación de los logs, entre ellos /storage/log/vmware/cloudvm donde existe el archivo cloudvm-ram-size.log el cual continuaba incrementando sin rotar sus registros antiguos, tomando espacio considerable en disco.
Este problema esta solucionado en la versión de vSphere 6.5 según el KB2147261 publicado por VMware. Pero como en mi caso la actualización del vCenter a la versión 6.5 iba a tomar mas tiempo de lo esperado.
Por esto decidí seguir los pasos para configurar manualmente la rotación de los logs para cloudvm-ram-size.log.
1. Abrir una sesión SSH a nuestro VCSA y ejecutar el siguiente comando para la activación del bash shell de nuestro vCenter
Command> shell.set --enabled true Command> shell PRODVCENTER:~ #
2. Vamos a navegar hasta el directorio /etc/logrotate.d y crear el archivo cloudvm_ram_size.log el cual no existe
PROVCENTER:~ # cd /etc/logrotate.d/ PROVCENTER:/etc/logrotate.d # touch cloudvm_ram_size.log PROVCENTER:/etc/logrotate.d # ls -l | grep cloudvm -rw------- 1 root root 0 May 28 05:58 cloudvm_ram_size.log -rw-r--r-- 1 root root 143 Feb 23 2017 cloudvm_ram_size.lr
3. Abrir el archivo con un editor de texto. En mi caso utilize linux VI desde la sesion bash de vCenter
PROVCENTER:/etc/logrotate.d # vi cloudvm_ram_size.log
4. Agregar la siguiente información.
/storage/log/vmware/cloudvm/cloudvm-ram-size.log{
missingok
notifempty
compress
size 20k
monthly
rotate 8
create 0660 root cis
}6. Guardar el archivo y ejecutar el siguiente comando para habilitar la rotacion de cloudvm-ram-size.log y de otros logs del vCenter.
PRODVCENTER:~ #logrotate -f /etc/logrotate.conf
Esto me evito tener que actualizar el vCenter (Lo cual voy a realizar pronto). Así como tampoco tuve que incrementar el tamaño del disco para /storage/log lo cual si ustedes desean hacer pueden ver los pasos en esta entrada de mi blog Aumentar tamaño de discos utilizando LVM autogrow VCSA 6.0
Espero que les haya sido de utilidad este articulo. Compártelo en redes sociales si crees puede ayudar a alguien mas.
