Большое обновление всего проекта

This commit is contained in:
2024-01-15 03:45:18 +03:00
parent 827674ba4c
commit 026cc9b6bb
36 changed files with 760 additions and 617 deletions
-25
View File
@@ -12,28 +12,3 @@
Так как модели могут потреблять много ресурсов, они не встраиваются напрямую в пайпы, а работают в отдельном процессе, с которым можно установить соединение (например, через сокет).
Таким образом, часть конвейера может выполняться там же, где был получен запрос на обработку, а часть -- на удалённой машине или в другом процессе.
## Использование
### Сервис Control
Для начала необходимо настроить хранилище, в которую будут сохраняться данные. В качестве хранилища используется PostgreSQL.
В директории sql располагается файл storage.sql. Необходимо:
1. Создать базу данных "log_analysis"
2. В созданной базе данных создать таблицу "pipelines"
После этого можно запускать сервис Control. При запуске необходимо указать параметры. Список этих параметров можно посмотреть в коде, либо запустить сервис без указания аргументов.
Сервис готов к работе после вывода надписи "server is running"
К сервису можно подключиться с помощью ConsoleClient (директория services/console_client). При запуске также нужно указать параметры.
#### Команды
##### Получение пайп
Возвращает список доступных пайп. Этот список формируется при запуске сервиса и в дальнейшем не изменяется.
##### Получение пайплайнов
Возвращает список доступных пайплайнов. Список может быть дополнен пользовательскими пайпланами.
##### Создание пайплайна
Создаёт пайплайн из указанных пайп. Пайпы должны соответствовать друг другу (то есть выход предыдущего пайпа должен соответстовать входу следующего)
##### Запуск пайплайна
Запускает пайплайн для обработки указанной строки. Возвращает результат обработки