Обновил readme.md и добавил директорию sql
This commit is contained in:
@@ -0,0 +1,26 @@
|
||||
# Log Analysis
|
||||
Проект предназначен для анализа логов хранилищ и состоит из нескольких сервисов, каждый из которых состоит, в свою очередь, из модулей.
|
||||
|
||||
После того, как был получен лог, он попадает на конвейер обработки данных. Сначала проводится предварительная обработка, после происходит сам анализ лога, и в конце сообщаются результаты.
|
||||
За координацию всего этого отвечает сервис Control. В его ответственность входит:
|
||||
1. Получение запросов на обработку
|
||||
2. Сообщение о результатах обработки
|
||||
3. Управление конвейерами обработки данных[storage.sql](sql%2Fstorage.sql)
|
||||
|
||||
Конвейеры обработки данных (pipelines) состоят из более мелких частей -- пайп (pipes). Пайпы выстраиваются в цепочку, и образуется пайплан.
|
||||
Например, конвейер сначала разбивает данные на токены, удаляет знаки препинания, приводит все символы к нижнему регистру, отправляет результат в модель для анализа, получает результат и возвращает его вызывающему коду (то есть сервису Control).
|
||||
|
||||
Так как модели могут потреблять много ресурсов, они не встраиваются напрямую в пайпы, а работают в отдельном процессе, с которым можно установить соединение (например, через сокет).
|
||||
Таким образом, часть конвейера может выполняться там же, где был получен запрос на обработку, а часть -- на удалённой машине или в другом процессе.
|
||||
|
||||
## Использование
|
||||
### Сервис Control
|
||||
Для начала необходимо настроить хранилище, в которую будут сохраняться данные. В качестве хранилища используется PostgreSQL.
|
||||
В директории sql располагается файл storage.sql. Необходимо:
|
||||
1. Создать базу данных "log_analysis"
|
||||
2. В созданной базе данных создать таблицу "pipelines"
|
||||
|
||||
После этого можно запускать сервис Control. При запуске необходимо указать параметры. Список этих параметров можно посмотреть в коде либо запустить сервис без указания аргументов.
|
||||
Сервис готов к работе после вывода надписи "server is running"
|
||||
|
||||
К сервису можно подключиться с помощью ConsoleClient (директория services/console_client). При запуске также нужно указать параметры.
|
||||
|
||||
@@ -0,0 +1,7 @@
|
||||
create database log_analysis;
|
||||
|
||||
create table pipelines(
|
||||
id serial,
|
||||
name text,
|
||||
pipes text
|
||||
);
|
||||
Reference in New Issue
Block a user