ELK es un stack compuesta por tres pilares fundamentales: Elasticsearch, Logstash y Kibana
Tenemos todas nuestras fuentes de datos, que envían información a Logstash, que al tener muchos plugins de entrada y salida, podemos introducir gran cantidad de datos. Esos datos son procesados antes de almacenarlos en la base de datos de Elasticsearch, y con Kibana se montan las visualizaciones que accedan a esa información, para poder así monitorizarlas.
Estos inconvenientes pueden ser por ejemplo la detección de incidencias en tiempo real , el almacenamiento de gran cantidad de información , el tiempo de respuesta y la escalabilidad de un sistema , esto puede llegar a convertirse en un verdadero problema por otra parte el tener que entrar en 40 servidores para encontrar una línea de log específica, tardar horas en buscar información determinada entre tantos ficheros, es como buscar una aguja en un pajar ¿Cierto?
Pues no te preocupes esto tiene solución por eso en este artículo te damos a conocer ELK.
Con ELK podrás buscar, analizar y visualizar los datos con mayor facilidad en tableros de información 100% personalizables, además puede manejar eficientemente gran cantidad de datos sin tener que preocuparnos gracias a su escalabilidad.
¿Qué es ELK?
Es un conjunto de herramientas de gran potencial de código abierto que se combinan para crear una herramienta de administración de registros permitiendo la monitorización, consolidación y análisis de logs generados en múltiples servidores, estas herramientas son: ElasticSearch, Logstash y Kibana.
También pueden ser utilizadas como herramientas independientes, pero la unión de todas ellas hace una combinación perfecta para la gestión de registros como ya hemos mencionado.
Qué componentes forman ELK
Elasticsearch
Es una base de datos distribuida . Distribuye toda la información en todos los nodos, por tanto es tolerante a fallos y tiene alta disponibilidad. Al igual que distribuye la información, distribuye el procesamiento . Cuando se realiza una consulta o búsqueda y esa información se encuentra distribuida, será cada nodo el que procese dicha información y devuelva los resultados. Por tanto, podemos obtener mejores rendimientos.
Logstach
Es la parte de preprocesamiento antes de guardar la información en Elasticsearch que hemos comentado, donde recogemos un input, una entrada, trabajamos los eventos y los sacamos por una salida, antes de almacenarlos en las bases de datos.
Kibana
Es el más visual, dónde vamos a generar las visualizaciones sobre la información y dónde vamos a generar los dashboards .
Estos tres componentes son los pilares, pero no son los únicos módulos que tiene ELK. Alrededor de ellos tenemos otros:
Beats
Son una especie de shippers, de recolectores de información. Recogen información , ya sea de un fichero, log de datos, eventos, métricas del sistema (CPU, RAM), hacen comprobaciones de qué servicios se encuentran activos, analizan a nivel de red los paquetes, el tiempo de respuesta entre ellos…
X-Pack
Es un módulo de pago, que ofrece algunos plugins extra como el tema de seguridad (Security), monitorización de todos nuestros sistemas (Monitoring), alertas (Alerting), uso de grafos para ver la relación entre los distintos nodos y los distintos vértices de nuestros datos (Graph). Y desde hace poco tiempo también incluye Machine Learning, una forma de aprender no controlada, en la que la propia maquina va aprendiendo los comportamientos de red durante un tiempo, y tras este tiempo, nos avisará de todo lo que se salga de ese comportamiento aprendido.
Julio Pari (IT Architect)
Si te ha interesado este artículo y deseas un apoyo o asesoría en algún requerimiento, envíame un mensaje a: hola@juliopari.com o sino a través de Linkedin: https://www.linkedin.com/in/juliopari/