Facilitando sua vida com o Splunk

Facilitando sua vida com o Splunk

Você é um Coordenador do time de Operações e reclama que não tem uma ferramenta prática que dê visibilidade para as tarefas do dia-a-dia ou dos servidores dos Data Centers? Ou é um Gerente fanático por KPIs?! Já sei, é um sysadmin esperto e quer saber de maneira fácil como está a saúde dos servidores que gerencia, de preferência em tempo real? Enfim, não importa a sua função ou cargo que ocupa, se você quer uma plataforma de big-data para pesquisar, monitorar e analisar dados de máquina então deve conhecer o Splunk.

 

Splunk, uma plataforma de Inteligência Operacional.

(Figura 1: Diagrama - Inteligência Operacional)
(Figura 1: Diagrama – Inteligência Operacional)

 

Inteligência Operacional? O que é isso?!

Um conjunto de métodos e tecnologias para gerar uma nova forma de visibilidade operacional, usando a TI para descobrir insights para o negócio.

 

Dados da máquina contêm os registros definitivos das atividades e comportamentos de seus clientes, usuários, transações, aplicativos, sistemas e redes.

  • São gerados em todos os lugares: aplicações, servidores, dispositivos de rede, logs, feeds RSS, mídias sociais, dispositivos móveis, dados meteorológicos, dados de GPS e muito mais.
  • É dinâmico e está em todos os lugares: em sua rede local, na nuvem, sistemas de SaaS, data centers globais etc.
  • São massivos em escala, difíceis de capturar e quase nunca usados estrategicamente.

As organizações devem aprender a capturar de forma eficaz, armazenar, correlacionar e analisar os dados gerados por máquinas para ganhar Inteligência Operacional.

Como o Splunk colabora com isso:

  • Indexando dados, executando pesquisas em fluxos de dados em real-time;
  • Extraindo campos dando sentido aos dados de máquina em tempo de pesquisa;
  • Convertendo Resultados de pesquisas em alertas programados;
  • Criando dashboards personalizados a partir de qualquer pesquisa ou correlação;
  • Enriquecendo a análise correlacionado diversas fontes de dados da empresa;
  • Reconhecendo eventos importantes e alertas de sistemas para ajudar na tomada de decisão.

(Texto traduzido).

 

No fim do dia o que, de fato, consigo fazer com essa ferramenta tão interessante? Com vontade e um pouco de criatividade as alternativas de respostas para essa pergunta tendem ao infinito.

Vamos a alguns exemplos práticos pelos quais utilizo diariamente. Para melhor ilustrar, criei alguns Dashboards:

 

Visualização real-time de eventos gerados através do Sistema de monitoração:

(Figura 2: dash de Monitoração)
(Figura 2: dash de Monitoração)

Nesse dashboard consigo acompanhar de forma bem prática como anda a saúde dos ambientes, com termômetro por equipe, linha do tempo por tipo de alarme/sintoma, região/data-center e por último uma visualização das 10 maiores flapadas de eventos entre Crítico / OK nas últimas 4 horas.

Acompanhamento de equipe

(Figura 3: KPIs de Atendimentos)
(Figura 3: KPIs de Atendimentos)

 

Estes são apenas alguns exemplos. Utilizo até mesmo para acompanhar o crescimento vegetativo do uso de licenças de usuários do Sistema de Service Desk, sendo fonte de informação para definição do Orçamento do ano seguinte em relação aquisição de novas licenças.

Certo dia utilizei para fazer uma análise em um arquivo de texto (extraído do Excel) com uma lista de e-mails. O objetivo foi encontrar padrões para aplicar uma regra de bloqueio de cadastro.

(Figura 4: usando a aba “Patterns”)
(Figura 4: usando a aba “Patterns”)

No exemplo da figura 4, foi utilizada a aba Patterns, pouco explorada por nossos colegas nas pesquisas e investigações; recomendo consultar a documentação (observe o link para a doc no canto direito) para entender um pouco mais a respeito.

Com tantos recursos esse tal de Splunk® deve custar uma fortuna, afinal, com ele consigo fazer “miséria”, certo?! Errado meu caro. Você pode começar a “brincar” utilizando a licença Free em seu próprio desktop (vide figura 4 – localhost) ou em algum servidor, coletando algumas métricas de um Domain Controller ou do Exchange corporativo de uma pequena empresa, por exemplo; a limitação da licença free é indexar 500MB/dia. Lembre-se esse volume é diário e se você indexar dados por 1 ano terá mais de 178GB de dados históricos para analisar; ou seja, embora não seja muito, conseguirá resolver questões para pequenos ambientes de TI; e o melhor – de graça.  Importante mencionar que acima de 500MB/dia é necessário adquirir a licença Enterprise com custos variados por GB/dia.

Neste ponto você está se perguntando: O que fazer para começar a utilizar o Splunk? Bom, seguem algumas dicas.

Há algumas instâncias do Splunk® no UOLDIVEO, você também poderá baixar e instalar na sua máquina pessoal clicando aqui (http://www.splunk.com/pt_br/download.html). Nas instâncias corporativas, basta se autenticar usando seu usuário corporativo (na máquina local os dados de acesso são criados por você), após se autenticar, clique no App padrão “Search & Reporting”, então aparecerão algumas guias, com a guia “Search” aberta por padrão conforme figura abaixo.

(Figura 5: Aba Search)
(Figura 5: Aba Search)

Observe na figura 5 que marquei algumas informações que considero importantes. Ao lado da pesquisa você define o tempo retroativo da busca da mesma e pode ser “All time” (padrão) podendo variar até o instante mais recente possível, executando em determinados índices no modo Real-time (on-line);

Dica: mude para um período curto para que o resultado de sua pesquisa seja mais rápido.

Conforme você constrói sua query aparece abaixo uma caixa de ajuda com o Matching searches e o Command history, para facilitar sua vida mostrando sugestões de como completar a query.

Do lado direto da mesma caixa de ajuda encontrará uma breve descrição do comando utilizado, alguns exemplos e um link que utilizo com frequência; Help, clicando neste link irá abrir a documentação online do Splunk®.

(Figura 6: página de documentação do Splunk®)
(Figura 6: página de documentação do Splunk®)

Considero que ler a documentação é o grande “pulo do gato”. A documentação online do Splunk® é bastante rica no detalhamento da sintaxe dos comandos e exemplos práticos, aliás, tive vários insights vendo os exemplos dos comandos.

Outra abordagem prática para facilitar o aprendizado é abrir um dashboard (clique na aba Dashboards) criado por algum colega e “Clonar” (figura 7), criando o seu próprio dashboard ou também visualizar em uma nova aba a query que gerou um Painel específico para entender como foi gerado e até mesmo modificar um determinado Painel do dashboard ao seu gosto (figura 8).

(Figura 7: Clonando um dashboard existente para modificá-lo ao seu gosto)
(Figura 7: Clonando um dashboard existente para modificá-lo ao seu gosto)

 

(Figura 8: Veja a query que gerou um determinado Painel do Dashboard)
(Figura 8: Veja a query que gerou um determinado Painel do Dashboard)

Não me aprofundarei nesse momento na utilização de queries (Search) em si, mas uma dica valiosa é saber que o pipe (barra vertical: “|”) é utilizado no Splunk® seguindo o mesmo conceito do shell no Linux, ou seja, a saída ou resultado de um comando é a entrada para o comando seguinte, não deixe de ler sobre Search (http://docs.splunk.com/Documentation/Splunk/6.3.0/Search/GetstartedwithSearch).

Também, ficará para outra oportunidade detalhar sobre os “Search Commands” e Functions, tais como chart, timechart e stats, mas seria interessante a leitura sobre o tema.

O Splunk tem alguns coletores padrões que já vêm configurados de fábrica, outros tantos foram configurados/adicionados após a instalação, mas há uma vastidão de Apps e Add-ons, inclusive para vários players de Mercado (Microsoft, Cisco, F5, Oracle etc), sugiro fortemente que visite o portal https://splunkbase.splunk.com e consulte a base de Apps e Add-ons disponíveis.

Esta é apenas uma breve introdução à utilização do Splunk, espero ter colaborado de alguma forma para que desperte sua curiosidade em conhecer um pouco mais dessa fantástica ferramenta.

Por fim, vale lembrar que não comentei sobre Pivot, Report, Alert, data inputs e uma infinidade de coisas, portanto, não se limite a este artigo, vá além; busque, pesquise, investigue. Qualquer dúvida não hesite em me procurar, no pior caso, aprenderemos algo novo juntos.

Fontes de consulta e pesquisa:
http://docs.splunk.com
https://en.wikipedia.org/wiki/Splunk
http://www.splunk.com/
http://www.splunk.com/web_assets/pdfs/secure/Operational_Intelligence_Executive_Summary.pdf
https://splunkbase.splunk.com