Elastic Stack
strange not working
History
2004 compass
2010
format JSON
JSON (JavaScript Object Notation) permet de stocker des données textuelles. L’absence de schéma du format JSON lui offre une grande flexibilité dans le stockage de ses données. D’autant plus qu’il possède une syntaxe simple et une structure en arborescence lui permettant de rester efficace même en cas de gros volume de données
Log files
Chaque ordinateur tient un journal de bord des événements qui ont eu lieu sur celui-ci. Ces informations sont stockées dans des fichiers appelés Logs. Log est le diminutif de logging. On peut extraire de nombreuses informations de ces fichiers, mais généralement on les utilisent pour déterminer le ou les facteurs qui entraînent le mauvais fonctionnement d’un processus ou d’un logiciel. Consulter les fichiers de logs d’une seule machine est relativement facile. Cela devient rapidement plus compliqué quand le nombre de celle-ci augmente, une des solutions à ce problème : la centralisation des logs. Dans Ubuntu, la majorité des fichiers de logs se trouve dans le dossier suivant : cd /var/log
Les données que nous cherchons à extraire de ces fichiers sont:
- Les erreurs système
- Les statuts de certains services (nfs, apache, postgresql, mariadb)
- L’espace disque occupé
- L’utilisation du CPU
- L’utilisation de la mémoire RAM
- Le nombre de connections avec leurs IPs sur les serveurs Web.
- Le nombre de requêtes et leurs durées pour les bases de données.
logstash filtre
Grafana
Grafana est une alternative à Kibana pour la partie monitoring et des alertes, et est donc similaire, en plus d'être compatible avec Elasticsearch.
Relevant Tags
About the Author
Latest Articles
-
Chado: the GMOD Database Schema
Chado is a relational database schema that underlies many GMOD installations. It is capable of representing many of the general classes of data frequently encountered in modern biology such as sequence, sequence comparisons, phenotypes, genotypes, ontologies, publications, and phylogeny. It has been designed to handle complex representations of biological knowledge and is the most sophisticated relational schemas currently available in molecular biology.JAN 2025 · PIERRE-EDOUARD GUERIN -
Error Messages with a CLI
I am an anxious person. So error messages always makes my heart beat faster. Hopefully, following the Pareto Principle, 80% of error messages are mild while 20% are the really tough one. The point is to solve the first kind as quickly as possible and effortless. To do so, allow the user to solve the issue by himself with clear messages and hints (in the case of errors related to input files or parameters). Clear presentation of the context and precise localization of the error in the code will save a lot of useless and tedious work to the developer. The time spared on the easy errors just by having better messages, then can be reallocated to the second kind of errors, the troublemakers.NOV 2024 · PIERRE-EDOUARD GUERIN -
Generative AI: Integrate openAI API with Python
I was fortunate to follow the course of Sven Warris about software tools to integrate genAI into your own work and applications. The course is aimed at data scientists and bioinformaticians.MAY 2024 · PIERRE-EDOUARD GUERIN