Alto System Load mesmo com Baixo Uso de CPU. Como? 

Olá pessoal,

Espero que estejam bem!

Estou trabalhando para um cliente fazendo algumas tarefas pró-ativamente para checar a performance dos ambientes ao longo do tempo.

Eu sempre inicio um trabalho como esse usando o eDB360. Você pode checar mais sobre essa incrível ferramenta aqui.

Eu executei o eDB360 para os bancos de dados mais críticos do cliente. Esse é um ambiente com algumas aplicações SAP e algumas outras desenvolvidas por algumas empresas bem grandes.

Eu iniciei a análise do output do eDB360. Eu sempre inicio a análise nas primeiras seções do eDB360, e então, após algum tempo, eu analisei a Seção 3, referente às estatísticas de sistema operacional:

Depois disso, verifiquei o gráfico identificado pelo ID 323:”OS Load and CPU Cores for Instance 1″

Quando eu vi esse gráfico, minha única reação foi: uau!

A gente pode ver claramente que depois do começo de Junho, tivemos um aumento no OS Load. O OS Load aumentou e nunca mais baixou para os valores que tínhamos antes de Junho.

Então, eu analisei outros gráficos sobre CPU, todos eles da Seção 3 do eDB360.

OK, podemos concluir que todos os gráficos exibidos acima não possuem o aumento que se iniciou em 4 de Junho. De fato, nós podemos concluir que os gráficos de CPU exibidos possuem um comportamento similar em termos de performance. Nenhuma tendência foi alterada.

Analisando o gráfico de métricas de Load no Oracle Enterprise Manager:

Isso aí, confirmado que tivemos um aumento do load após 4 de Junho.

Vocês observaram a barra cinza escura antes do aumento do load?

Essa barra cinza escura significa um blackout do OEM.

OK, vamos então continuar com a investigação…

Primeiramente, o que significa o OS load?

De acordo com a documentação da Red Hat:

O “load average” (ou média de carga) é um número que corresponde à média do número de processos que estão em execução no sistema operacional. O load average é frequentemente listado em 3 conjuntos de números, que representa o load average nos últimos 1, 5 e 15 minutos.

Para esse problema específico, um blog post do Tanel Poder foi extremamente útil. De fato, foi graças a esse blog post que encontrei o problema! Obrigado Tanel!

Você pode checar sobre o blog post aqui: High System Load with Low CPU Utilization on Linux?

No blog post dele, há também uma excelente explicação sobre o Load no sistema operacional:

OK, então o load pode estar relacionado aos processos no estado Runnable (em execução), ma também podem estar relacionado a processos no estado Uninterruptible sleep (algo como… sono ininterrupto).

À partir disso, iniciei um drill down no OS para checar mais em detalhes. O nome do servidor foi alterado por motivo de segurança! 🙂

Vamos checar o output do sar:

Pelo sar podemos ver claramente que a utilização de CPU nunca excedeu 45%! Isso confirma os gráficos anteriores exibidos no meu blog post.

O próximo passo é checar o que (e quem) está contribuindo ao aumento do Load do sistema operacional:

Podemos ver que há 1 processo em Runnable state cujo dono é o root, 2 processos em Runnable state cujo dono é o usuário orape1 (o nosso usuário oracle nesse caso) e 30 processos em Uninterrupted sleep state cujo dono é o root. Interessante, hein?

Vamos continuar com o drill down e ver quais são esses processos:

Todos os 30 processos em Uninterrupted state estão relacionados ao mesmo cara: llt_hb

Fazendo pesquisas, encontrei isso aqui:

Hummm, nesse documento da base de conhecimento da Red Hat há uma referência a um artigo de suporte para o site da Veritas:

Nós também temos isso no artigo de suporte da Veritas:

“The load average increases to approximately the number of CPU’s installed on the system. Here is an example on an 8 CPU server.”

Portanto, o load aumenta para aproximadamente o número de CPUs instaladas no sistema… isso bate com o que temos aqui no ambiente!

Vamos agora identificar a qual pacote esse processo pertence:

Ótimo! Vamos ver mais detalhes sobre esse pacote:

Observaram algo de interessante?

Install Date: Sun 04 Jun 2023 08:29:28 AM UTC

Isso bate com a data que observamos o aumento de load no sistema operacional!

Como citei anteriormente, esse ambiente utiliza aplicações SAP, para todos os bancos de dados de Produção das aplicações SAP, há clusters Veritas configurados. Nós checamos outros servidores (mesmo servidores de aplicação) e o comportamento é o mesmo, exemplo:

Também checamos um servidor onde temos o Oracle RAC / Grid Infrastructure como solução de cluster, para esse servidor, não temos o aumento de load. Ou seja, esse é de fato um problema específico do Veritas:

Nós compartilhamos todos esses detalhes com o time de Linux e eles abriram um chamado com alta prioridade no suporte da Veritas. Portanto, um novo patch deve ser liberado ou o time da Veritas vai solicitar a alteração em alguma configuração.

Espero que seja útil!

Um abraço!

Vinicius