Добавил управляющий сервис

This commit is contained in:
2023-12-05 00:11:36 +03:00
parent 1d36512756
commit 52d8c0808d
4 changed files with 174 additions and 0 deletions
+19
View File
@@ -0,0 +1,19 @@
from modules.pipelines.pipe_manager import PipeManager
from modules.pipelines.pipeline_manager import PipelineManager
from modules.handlers.handler_manager import HandlerManager
from modules.storages.storage import Storage
class Context:
"""
Контекст управляющего сервиса
"""
def __init__(self):
"""
Конструктор
"""
self.pipe_manager = None
self.pipeline_manager = None
self.handler_manager = None
self.storage = None
+62
View File
@@ -0,0 +1,62 @@
from modules.pipelines.pipe_manager import PipeManager
from modules.pipelines.pipeline_manager import PipelineManager
from modules.pipelines.pipes.preprocessing import *
from modules.handlers.handler_manager import HandlerManager
from modules.handlers.pipelines.create_pipeline import CreatePipeline
from modules.handlers.pipelines.get_pipelines import GetPipelines
from modules.handlers.pipelines.get_pipes import GetPipes
from modules.handlers.pipelines.run_pipeline import RunPipeline
from services.control.context import Context
def CreatePipeManager() -> PipeManager:
"""
Создание заполненного менеджера пайп
:return: Менеджер пайп
"""
manager = PipeManager()
manager.add(RemovePunctuationMarks())
manager.add(RemoveStopWords())
manager.add(Stem())
manager.add(ToLowerCase())
manager.add(SplitBySpace())
return manager
def CreatePipelineManager(pipe_manager) -> PipelineManager:
"""
Создание заполненного менеджера пайплайнов
:param pipe_manager: Менеджер пайп
:return: Менеджер пайплайнов
"""
manager = PipelineManager(pipe_manager)
return manager
def CreateHandlerManager() -> HandlerManager:
"""
Создание менеджера хэндлеров
:return: Менеджер хэндлеров
"""
manager = HandlerManager()
manager.add(CreatePipeline())
manager.add(GetPipelines())
manager.add(GetPipes())
manager.add(RunPipeline())
return manager
def CreateContext() -> Context:
"""
Создание заполненного контекста
:return: Контекст
"""
context = Context()
context.pipe_manager = CreatePipeManager()
context.pipeline_manager = CreatePipelineManager(context.pipe_manager)
context.handler_manager = CreateHandlerManager()
return context
+26
View File
@@ -0,0 +1,26 @@
import json
def SuccessResponse(result: str) -> str:
"""
Создание успешного ответа
:param result: Тело ответа
:return: Ответ
"""
return json.dumps({
"status": "ok",
"result": result
})
def ErrorResponse(status: str, message: str) -> str:
"""
Создание ответа с ошибкой
:param status: Код ошибки
:param message: Сообщение об ошибке
:return:
"""
return json.dumps({
"status": status,
"message": message
})
+67
View File
@@ -0,0 +1,67 @@
import asyncio
import json
from modules.storages.storage import Storage
from modules.transports.server import Server
from services.control.context import *
from services.control.create_context import *
from services.control.response import *
def Handle(context, request):
"""
Обработка запроса
:param context: Контекст сервиса
:param request: Запрос
:return: Ответ
"""
# Парсим запрос
try:
request = json.loads(request)
except Exception as e:
return ErrorResponse("invalid request", "failed to parse request")
# Проверяем наличие нужных ключей
for key in ["handler", "parameters"]:
if key not in request:
return ErrorResponse("invalid request", f"key '{key}' is required")
# Проверяем наличие обработчика с указанным именем
handler_name = request["handler"]
if not context.handler_manager.contains(handler_name):
return ErrorResponse("not found", f"there is no handler with name {handler_name}")
# Достаём нужного обработчика
handler = context.handler_manager.get(handler_name)
# Запускаем обработку
try:
result = handler.do(context, request["parameters"])
return SuccessResponse(result)
except Exception as e:
return ErrorResponse("handling failed", str(e))
def main():
server = Server("localhost", 8081, Handle)
# Создаём контекст
context = CreateContext()
# Подключаемся к хранилищу
context.storage = Storage("localhost", "5432", "log_analysis", "postgres", "postgres")
# Заполняем пайплайны
query = "select name, pipes from pipelines;"
pipelines = context.storage.do(query, should_return=True)
for name, pipes in pipelines:
context.pipeline_manager.create(name, json.loads(pipes))
# Указываем контекст в сервере
server.context = context
# Запускаем сервер
asyncio.run(server.run())
if __name__ == "__main__":
main()