# Log Analysis Проект предназначен для анализа логов хранилищ и состоит из нескольких сервисов, каждый из которых состоит, в свою очередь, из модулей. После того, как был получен лог, он попадает на конвейер обработки данных. Сначала проводится предварительная обработка, после происходит сам анализ лога, и в конце сообщаются результаты. За координацию всего этого отвечает сервис Control. В его ответственность входит: 1. Получение запросов на обработку 2. Сообщение о результатах обработки 3. Управление конвейерами обработки данных Конвейеры обработки данных (pipelines) состоят из более мелких частей -- пайп (pipes). Пайпы выстраиваются в цепочку, и образуется пайплан. Например, конвейер сначала разбивает данные на токены, удаляет знаки препинания, приводит все символы к нижнему регистру, отправляет результат в модель для анализа, получает результат и возвращает его вызывающему коду (то есть сервису Control). Так как модели могут потреблять много ресурсов, они не встраиваются напрямую в пайпы, а работают в отдельном процессе, с которым можно установить соединение (например, через сокет). Таким образом, часть конвейера может выполняться там же, где был получен запрос на обработку, а часть -- на удалённой машине или в другом процессе. ## Использование ### Сервис Control Для начала необходимо настроить хранилище, в которую будут сохраняться данные. В качестве хранилища используется PostgreSQL. В директории sql располагается файл storage.sql. Необходимо: 1. Создать базу данных "log_analysis" 2. В созданной базе данных создать таблицу "pipelines" После этого можно запускать сервис Control. При запуске необходимо указать параметры. Список этих параметров можно посмотреть в коде, либо запустить сервис без указания аргументов. Сервис готов к работе после вывода надписи "server is running" К сервису можно подключиться с помощью ConsoleClient (директория services/console_client). При запуске также нужно указать параметры. #### Команды ##### Получение пайп Возвращает список доступных пайп. Этот список формируется при запуске сервиса и в дальнейшем не изменяется. ##### Получение пайплайнов Возвращает список доступных пайплайнов. Список может быть дополнен пользовательскими пайпланами. ##### Создание пайплайна Создаёт пайплайн из указанных пайп. Пайпы должны соответствовать друг другу (то есть выход предыдущего пайпа должен соответстовать входу следующего) ##### Запуск пайплайна Запускает пайплайн для обработки указанной строки. Возвращает результат обработки