diff --git a/readme.md b/readme.md index e69de29..2cfa0c2 100644 --- a/readme.md +++ b/readme.md @@ -0,0 +1,26 @@ +# Log Analysis +Проект предназначен для анализа логов хранилищ и состоит из нескольких сервисов, каждый из которых состоит, в свою очередь, из модулей. + +После того, как был получен лог, он попадает на конвейер обработки данных. Сначала проводится предварительная обработка, после происходит сам анализ лога, и в конце сообщаются результаты. +За координацию всего этого отвечает сервис Control. В его ответственность входит: +1. Получение запросов на обработку +2. Сообщение о результатах обработки +3. Управление конвейерами обработки данных[storage.sql](sql%2Fstorage.sql) + +Конвейеры обработки данных (pipelines) состоят из более мелких частей -- пайп (pipes). Пайпы выстраиваются в цепочку, и образуется пайплан. +Например, конвейер сначала разбивает данные на токены, удаляет знаки препинания, приводит все символы к нижнему регистру, отправляет результат в модель для анализа, получает результат и возвращает его вызывающему коду (то есть сервису Control). + +Так как модели могут потреблять много ресурсов, они не встраиваются напрямую в пайпы, а работают в отдельном процессе, с которым можно установить соединение (например, через сокет). +Таким образом, часть конвейера может выполняться там же, где был получен запрос на обработку, а часть -- на удалённой машине или в другом процессе. + +## Использование +### Сервис Control +Для начала необходимо настроить хранилище, в которую будут сохраняться данные. В качестве хранилища используется PostgreSQL. +В директории sql располагается файл storage.sql. Необходимо: +1. Создать базу данных "log_analysis" +2. В созданной базе данных создать таблицу "pipelines" + +После этого можно запускать сервис Control. При запуске необходимо указать параметры. Список этих параметров можно посмотреть в коде либо запустить сервис без указания аргументов. +Сервис готов к работе после вывода надписи "server is running" + +К сервису можно подключиться с помощью ConsoleClient (директория services/console_client). При запуске также нужно указать параметры. diff --git a/sql/storage.sql b/sql/storage.sql new file mode 100644 index 0000000..ce93349 --- /dev/null +++ b/sql/storage.sql @@ -0,0 +1,7 @@ +create database log_analysis; + +create table pipelines( + id serial, + name text, + pipes text +);