Files
log_analysis/readme.md
T
2023-12-09 17:23:31 +03:00

4.3 KiB

Log Analysis

Проект предназначен для анализа логов хранилищ и состоит из нескольких сервисов, каждый из которых состоит, в свою очередь, из модулей.

После того, как был получен лог, он попадает на конвейер обработки данных. Сначала проводится предварительная обработка, после происходит сам анализ лога, и в конце сообщаются результаты. За координацию всего этого отвечает сервис Control. В его ответственность входит:

  1. Получение запросов на обработку
  2. Сообщение о результатах обработки
  3. Управление конвейерами обработки данных

Конвейеры обработки данных (pipelines) состоят из более мелких частей -- пайп (pipes). Пайпы выстраиваются в цепочку, и образуется пайплан. Например, конвейер сначала разбивает данные на токены, удаляет знаки препинания, приводит все символы к нижнему регистру, отправляет результат в модель для анализа, получает результат и возвращает его вызывающему коду (то есть сервису Control).

Так как модели могут потреблять много ресурсов, они не встраиваются напрямую в пайпы, а работают в отдельном процессе, с которым можно установить соединение (например, через сокет). Таким образом, часть конвейера может выполняться там же, где был получен запрос на обработку, а часть -- на удалённой машине или в другом процессе.

Использование

Сервис Control

Для начала необходимо настроить хранилище, в которую будут сохраняться данные. В качестве хранилища используется PostgreSQL. В директории sql располагается файл storage.sql. Необходимо:

  1. Создать базу данных "log_analysis"
  2. В созданной базе данных создать таблицу "pipelines"

После этого можно запускать сервис Control. При запуске необходимо указать параметры. Список этих параметров можно посмотреть в коде, либо запустить сервис без указания аргументов. Сервис готов к работе после вывода надписи "server is running"

К сервису можно подключиться с помощью ConsoleClient (директория services/console_client). При запуске также нужно указать параметры.

Команды

Получение пайп

Возвращает список доступных пайп. Этот список формируется при запуске сервиса и в дальнейшем не изменяется.

Получение пайплайнов

Возвращает список доступных пайплайнов. Список может быть дополнен пользовательскими пайпланами.

Создание пайплайна

Создаёт пайплайн из указанных пайп. Пайпы должны соответствовать друг другу (то есть выход предыдущего пайпа должен соответстовать входу следующего)

Запуск пайплайна

Запускает пайплайн для обработки указанной строки. Возвращает результат обработки