Установка Filebeat в Unix/Linux

Установка Filebeat в Unix/Linux

Filebeat — клиент для передачи логов в logstash. Работает в совокупности с ELK стеком.

Имеется:

  1. 192.168.13.100 — Filebeat клиент.
  2. 192.168.13.195 — ELK стек.

Доступны четыре клиента (если ничего не изменилось с выходом релиза):

  • Packetbeat – Анализ сетевых пакетных данных.
  • Filebeat – Анализ лог-данных в реальном режиме времени.
  • Topbeat – Получает представление о данных инфраструктуры.
  • Metricbeat – Ship метрики для Elasticsearch.

Установка Filebeat в Unix/Linux

Прежде чем начать устанавливать файлбит, я бы рекомендовал прочитать установку ELK:

Установка ELK (ElasticSearch/Filebeat/Kibana) в Unix/Linux

Т.к данная утилита бессмысленна без этого стека.

Установка Filebeat в CentOS/Fedora/RHEL

-===СПОСОБ 1 — использовать репозиторий ===-

Загружаем и устанавливаем публичный ключ подписи:

Открываем (создаем) файл:

И прописываем:

Вы можете установить его с помощью команды:

-===СПОСОБ 2 — использовать RPM пакет ===-

-===СПОСОБ 3 — использовать готовый архив ===-

Настройка и запуск утилиты будет немного ниже.

Установка Filebeat в Debian/Ubuntu

-===СПОСОБ 1 — использовать репозиторий ===-

Загружаем и устанавливаем публичный ключ подписи:

Возможно, вам придется установить пакет apt-transport-https на Debian перед установкой утилиты:

Добавляем репозиторий:

Вы можете установить его с помощью команды:

-===СПОСОБ 2 — использовать DEB пакет ===-

-===СПОСОБ 3 — использовать готовый архив ===-

Настройка и запуск утилиты будет немного ниже.

Установка Filebeat в Mac OS X

Для начала, устанавливаем HOMEBREW — Установка HOMEBREW на Mac OS X после чего, выполняем поиск пакета:

Для установки:

-=== СПОСОБ 2 — использовать готовый архив==-

Настройка и запуск утилиты будет немного ниже.

Установка Filebeat на другие Unix/Linux ОС

-=== СПОСОБ 1 — использовать docker==-

Не было нужды использовать logstesh в докере. Как появиться, так сразу же обновлю данную статью.

-===СПОСОБ 2 — использовать готовый архив ===-

Настройка Filebeat в Unix/Linux

Я описывал создание ключей в статье с ELK (на приводится выше) и я говорил как это сделать. Но чтобы не открывать и не искать это — я приведу еще раз.

Если у вас нет DNS, то придется добавить свой собственный IP-адрес вашего ELK-сервера в subjectAltName (SAN). Это позволит вашим серверам собирать логи. И для этого, потребуется ключик.

Необходимо создать новый SSL сертификат. Сначала отредактируйте файл:

В [ v3_ca ] разделе, прописываем:

Где, localhost — Это ваш ИП адрес сервера с логстешем.

……….СПОСОБ 1 — использовать IP……….

Генерируем сертификат:

У меня это — 192.168.13.195!

……….СПОСОБ 2 — использовать доменное имя……….

Где:

domain_name — Ваше доменное имя!

НО ВСЕ ЭТИ ДЕЙСТВИЯ НУЖНО ВЫПОЛНИТЬ БЫЛО НА СТОРОНЕ LOGSTASH!

Чтобы файлбит использовать шифрованый канал (TLS/SSL), стоит скопировать данный сгенерированный сертификат себе на клиентскую машину, где будет использоваться filebeat для отправки логов на logstash сервер.

Скопируйте SSL-сертификат с сервера на клиент:

PS: Как использовать SCP — Как скопировать данные через SCP в Linux

Открываем файл самого файлбита:

И приводим к виду:

Т.к у меня используется 1 сервер для ELK, то я указал 192.168.13.195. А вы измените параметры.

Вот пример более подробный:

 

Как-то так.

Запуск Filebeat в Unix/Linux

Перед запуском (если использовали СПОСОБ 1 и 2), проверяем что у нас используется «SysV init vs systemd»:

Запуск filebeat с SysV init

Чтобы запустить/остановить службу filebeat, используйте:

Если filebeat не запускается по какой-либо причине, он выведет причину отказа на STDOUT. Лог-файлы можно найти в /var/log/filebeat/ папке.

Незабываем пробросить порт в iptables!

Используйте команду update-rc.d чтобы добавить службу в автозагурзку ОС Debian/Ubuntu:

Используйте команду chkconfig, чтобы добавить службу в автозагрузку ОС RHEL/CentOS:

Для просмотра, можно использовать:

Запуск filebeat с systemd

Чтобы добавить filebeat в автозагрузку системы, используйте:

Чтобы запустить/остановить службу filebeat, используйте:

Чтобы получить вывод лога, используйте:

Чтобы показать логи конкретно для filebeat:

Чтобы показать записи с лога для filebeat службы начиная с заданного времени:

Переходим к тестированию

Запуск filebeat на Mac OS X

Вот и все!

Тестирование filebeat в Unix/Linux

Если установка стека ELK прошла успешно, Filebeat должен собирать логи клиентов и передавать их на сервер ELK. Logstash будет загружать данные Filebeat в Elasticsearchс индексом filebeat-YYYY.MM.DD.

Перейдите на сервер ELK и убедитесь, что Elasticsearch получает данные, запросив индекс Filebeat:

Загрузка дашборда Kibana

Elastic предоставляет несколько образцов дашбордов Kibana и шаблонов индексов Beats. Загрузите дашборды, чтобы использовать их с индексом Filebeat.

Распаковываем:

Загружаем образец дашборда, визуализацию и шаблоны индексов Beats в Elasticsearch.

Ну, на этом, у меня все. если появятся дополнения, то обязательно допишу.

Статья «Установка Filebeat в Unix/Linux» завершена.

One thought on “Установка Filebeat в Unix/Linux

  1. Доброго времени суток,

    Возможно ли заставить Filebeat обработать старые события из файлового лога? Спасибо!

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *