ELK Stack – Installazione Filebeat

Filebeat è un data-injection dello Stack Eastic che permette la raccolta di dati e l’invio verso lo Stack (direttamente a Elasticsearch o tramite Logstash). Viene fornito con moduli built-in interni (Apache, Cisco ASA, Microsoft Azure, NGINX, MySQL e altri) che, tramite processi di apprendimento automatico preconfigurati,  semplificano la raccolta, l’analisi e la visualizzazione dei formati di registro comuni. 

Per installare Filebeat:

# yum -y update
# yum -y install filebeat

Modifichiamo il file di configurazione di Filebeat /etc/filebeat/filebeat.yml  in modo da forwardare i log a Elasticsearch e abbassare il livello di log da info (default) a warning:

#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:
  hosts: ["192.168.xxx.xxx:9200"]              <== indirizzo/porta del nostro nodo elasticsearch
  username: "filebeat_writer"                  <== username come definito nel paragrafo precedente
  password: "filebeat_writer_password"         <== password dell'utente filebeat_writer
...
#================================ Logging =====================================
logging.level: warning                         <== impostiamo il livello di logging a warning

Cancelliamo eventuali indici filebeat presenti in elasticsearch (ATTENZIONE: questa operazione, soprattutto se effettuata su sistemi in produzione, cancellerà tutti i dati presenti in Elasticsearch relativi all’indice filebeat-*):

# curl -XDELETE -u filebeat_setup:filebeat_setup_password 'http://192.168.xxx.xxx:9200/filebeat-*'

Creiamo in Elasticsearch gli indici che raccolgono i dati di Filebeat e in Kibana le dashboard per analizzare i dati raccolti:

# filebeat setup -e \
  -E output.elasticsearch.username=filebeat_setup \
  -E output.elasticsearch.password=filebeat_setup_password \
  -E setup.kibana.host=192.168.xxx.xxx:5601

Overwriting ILM policy is disabled. Set `setup.ilm.overwrite:true` for enabling.

Index setup finished.
Loading dashboards (Kibana must be running and reachable)
Loaded dashboards
2020-03-10T15:04:22.906+0200    WARN    [cfgwarn]       instance/beat.go:540    DEPRECATED: Setting up ML using Filebeat is going to be removed. Please use the ML app to setup jobs. Will be removed in version: 8.0.0
Setting up ML using setup --machine-learning is going to be removed in 8.0.0. Please use the ML app instead.
See more: https://www.elastic.co/guide/en/elastic-stack-overview/current/xpack-ml.html
2020-04-10T15:04:23.317+0200    WARN    fileset/modules.go:419  X-Pack Machine Learning is not enabled
Loaded machine learning job configurations
Loaded Ingest pipelines

Abilitiamo ed avviamo il servizio tramite systemd:

# systemctl enable --now filebeat

Vediamo come abilitare alcuni dei moduli built-in di Filebeat per inviarli allo Stack Elastic.

← ELK Stack – X-Pack

ELK Stack – Filebeat – Moduli →