From 0775d19938a0490809391f8ddc4f181f43e1d4f4 Mon Sep 17 00:00:00 2001 From: Kirill Volokh Date: Sat, 9 Dec 2023 17:18:58 +0300 Subject: [PATCH] =?UTF-8?q?=D0=9E=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8=D0=BB=20re?= =?UTF-8?q?adme.md=20=D0=B8=20=D0=B4=D0=BE=D0=B1=D0=B0=D0=B2=D0=B8=D0=BB?= =?UTF-8?q?=20=D0=B4=D0=B8=D1=80=D0=B5=D0=BA=D1=82=D0=BE=D1=80=D0=B8=D1=8E?= =?UTF-8?q?=20sql?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- readme.md | 26 ++++++++++++++++++++++++++ sql/storage.sql | 7 +++++++ 2 files changed, 33 insertions(+) create mode 100644 sql/storage.sql diff --git a/readme.md b/readme.md index e69de29..2cfa0c2 100644 --- a/readme.md +++ b/readme.md @@ -0,0 +1,26 @@ +# Log Analysis +Проект предназначен для анализа логов хранилищ и состоит из нескольких сервисов, каждый из которых состоит, в свою очередь, из модулей. + +После того, как был получен лог, он попадает на конвейер обработки данных. Сначала проводится предварительная обработка, после происходит сам анализ лога, и в конце сообщаются результаты. +За координацию всего этого отвечает сервис Control. В его ответственность входит: +1. Получение запросов на обработку +2. Сообщение о результатах обработки +3. Управление конвейерами обработки данных[storage.sql](sql%2Fstorage.sql) + +Конвейеры обработки данных (pipelines) состоят из более мелких частей -- пайп (pipes). Пайпы выстраиваются в цепочку, и образуется пайплан. +Например, конвейер сначала разбивает данные на токены, удаляет знаки препинания, приводит все символы к нижнему регистру, отправляет результат в модель для анализа, получает результат и возвращает его вызывающему коду (то есть сервису Control). + +Так как модели могут потреблять много ресурсов, они не встраиваются напрямую в пайпы, а работают в отдельном процессе, с которым можно установить соединение (например, через сокет). +Таким образом, часть конвейера может выполняться там же, где был получен запрос на обработку, а часть -- на удалённой машине или в другом процессе. + +## Использование +### Сервис Control +Для начала необходимо настроить хранилище, в которую будут сохраняться данные. В качестве хранилища используется PostgreSQL. +В директории sql располагается файл storage.sql. Необходимо: +1. Создать базу данных "log_analysis" +2. В созданной базе данных создать таблицу "pipelines" + +После этого можно запускать сервис Control. При запуске необходимо указать параметры. Список этих параметров можно посмотреть в коде либо запустить сервис без указания аргументов. +Сервис готов к работе после вывода надписи "server is running" + +К сервису можно подключиться с помощью ConsoleClient (директория services/console_client). При запуске также нужно указать параметры. diff --git a/sql/storage.sql b/sql/storage.sql new file mode 100644 index 0000000..ce93349 --- /dev/null +++ b/sql/storage.sql @@ -0,0 +1,7 @@ +create database log_analysis; + +create table pipelines( + id serial, + name text, + pipes text +);