Добавил управляющий сервис
This commit is contained in:
@@ -0,0 +1,19 @@
|
|||||||
|
from modules.pipelines.pipe_manager import PipeManager
|
||||||
|
from modules.pipelines.pipeline_manager import PipelineManager
|
||||||
|
from modules.handlers.handler_manager import HandlerManager
|
||||||
|
from modules.storages.storage import Storage
|
||||||
|
|
||||||
|
class Context:
|
||||||
|
"""
|
||||||
|
Контекст управляющего сервиса
|
||||||
|
"""
|
||||||
|
|
||||||
|
def __init__(self):
|
||||||
|
"""
|
||||||
|
Конструктор
|
||||||
|
"""
|
||||||
|
|
||||||
|
self.pipe_manager = None
|
||||||
|
self.pipeline_manager = None
|
||||||
|
self.handler_manager = None
|
||||||
|
self.storage = None
|
||||||
@@ -0,0 +1,62 @@
|
|||||||
|
from modules.pipelines.pipe_manager import PipeManager
|
||||||
|
from modules.pipelines.pipeline_manager import PipelineManager
|
||||||
|
from modules.pipelines.pipes.preprocessing import *
|
||||||
|
|
||||||
|
from modules.handlers.handler_manager import HandlerManager
|
||||||
|
from modules.handlers.pipelines.create_pipeline import CreatePipeline
|
||||||
|
from modules.handlers.pipelines.get_pipelines import GetPipelines
|
||||||
|
from modules.handlers.pipelines.get_pipes import GetPipes
|
||||||
|
from modules.handlers.pipelines.run_pipeline import RunPipeline
|
||||||
|
|
||||||
|
from services.control.context import Context
|
||||||
|
|
||||||
|
def CreatePipeManager() -> PipeManager:
|
||||||
|
"""
|
||||||
|
Создание заполненного менеджера пайп
|
||||||
|
:return: Менеджер пайп
|
||||||
|
"""
|
||||||
|
|
||||||
|
manager = PipeManager()
|
||||||
|
manager.add(RemovePunctuationMarks())
|
||||||
|
manager.add(RemoveStopWords())
|
||||||
|
manager.add(Stem())
|
||||||
|
manager.add(ToLowerCase())
|
||||||
|
manager.add(SplitBySpace())
|
||||||
|
|
||||||
|
return manager
|
||||||
|
|
||||||
|
def CreatePipelineManager(pipe_manager) -> PipelineManager:
|
||||||
|
"""
|
||||||
|
Создание заполненного менеджера пайплайнов
|
||||||
|
:param pipe_manager: Менеджер пайп
|
||||||
|
:return: Менеджер пайплайнов
|
||||||
|
"""
|
||||||
|
|
||||||
|
manager = PipelineManager(pipe_manager)
|
||||||
|
return manager
|
||||||
|
|
||||||
|
def CreateHandlerManager() -> HandlerManager:
|
||||||
|
"""
|
||||||
|
Создание менеджера хэндлеров
|
||||||
|
:return: Менеджер хэндлеров
|
||||||
|
"""
|
||||||
|
manager = HandlerManager()
|
||||||
|
manager.add(CreatePipeline())
|
||||||
|
manager.add(GetPipelines())
|
||||||
|
manager.add(GetPipes())
|
||||||
|
manager.add(RunPipeline())
|
||||||
|
|
||||||
|
return manager
|
||||||
|
|
||||||
|
def CreateContext() -> Context:
|
||||||
|
"""
|
||||||
|
Создание заполненного контекста
|
||||||
|
:return: Контекст
|
||||||
|
"""
|
||||||
|
|
||||||
|
context = Context()
|
||||||
|
context.pipe_manager = CreatePipeManager()
|
||||||
|
context.pipeline_manager = CreatePipelineManager(context.pipe_manager)
|
||||||
|
context.handler_manager = CreateHandlerManager()
|
||||||
|
|
||||||
|
return context
|
||||||
@@ -0,0 +1,26 @@
|
|||||||
|
import json
|
||||||
|
|
||||||
|
def SuccessResponse(result: str) -> str:
|
||||||
|
"""
|
||||||
|
Создание успешного ответа
|
||||||
|
:param result: Тело ответа
|
||||||
|
:return: Ответ
|
||||||
|
"""
|
||||||
|
|
||||||
|
return json.dumps({
|
||||||
|
"status": "ok",
|
||||||
|
"result": result
|
||||||
|
})
|
||||||
|
|
||||||
|
def ErrorResponse(status: str, message: str) -> str:
|
||||||
|
"""
|
||||||
|
Создание ответа с ошибкой
|
||||||
|
:param status: Код ошибки
|
||||||
|
:param message: Сообщение об ошибке
|
||||||
|
:return:
|
||||||
|
"""
|
||||||
|
|
||||||
|
return json.dumps({
|
||||||
|
"status": status,
|
||||||
|
"message": message
|
||||||
|
})
|
||||||
@@ -0,0 +1,67 @@
|
|||||||
|
import asyncio
|
||||||
|
import json
|
||||||
|
|
||||||
|
from modules.storages.storage import Storage
|
||||||
|
from modules.transports.server import Server
|
||||||
|
from services.control.context import *
|
||||||
|
from services.control.create_context import *
|
||||||
|
from services.control.response import *
|
||||||
|
|
||||||
|
def Handle(context, request):
|
||||||
|
"""
|
||||||
|
Обработка запроса
|
||||||
|
:param context: Контекст сервиса
|
||||||
|
:param request: Запрос
|
||||||
|
:return: Ответ
|
||||||
|
"""
|
||||||
|
|
||||||
|
# Парсим запрос
|
||||||
|
try:
|
||||||
|
request = json.loads(request)
|
||||||
|
except Exception as e:
|
||||||
|
return ErrorResponse("invalid request", "failed to parse request")
|
||||||
|
|
||||||
|
# Проверяем наличие нужных ключей
|
||||||
|
for key in ["handler", "parameters"]:
|
||||||
|
if key not in request:
|
||||||
|
return ErrorResponse("invalid request", f"key '{key}' is required")
|
||||||
|
|
||||||
|
# Проверяем наличие обработчика с указанным именем
|
||||||
|
handler_name = request["handler"]
|
||||||
|
if not context.handler_manager.contains(handler_name):
|
||||||
|
return ErrorResponse("not found", f"there is no handler with name {handler_name}")
|
||||||
|
|
||||||
|
# Достаём нужного обработчика
|
||||||
|
handler = context.handler_manager.get(handler_name)
|
||||||
|
|
||||||
|
# Запускаем обработку
|
||||||
|
try:
|
||||||
|
result = handler.do(context, request["parameters"])
|
||||||
|
return SuccessResponse(result)
|
||||||
|
except Exception as e:
|
||||||
|
return ErrorResponse("handling failed", str(e))
|
||||||
|
|
||||||
|
def main():
|
||||||
|
server = Server("localhost", 8081, Handle)
|
||||||
|
|
||||||
|
# Создаём контекст
|
||||||
|
context = CreateContext()
|
||||||
|
|
||||||
|
# Подключаемся к хранилищу
|
||||||
|
context.storage = Storage("localhost", "5432", "log_analysis", "postgres", "postgres")
|
||||||
|
|
||||||
|
# Заполняем пайплайны
|
||||||
|
query = "select name, pipes from pipelines;"
|
||||||
|
pipelines = context.storage.do(query, should_return=True)
|
||||||
|
|
||||||
|
for name, pipes in pipelines:
|
||||||
|
context.pipeline_manager.create(name, json.loads(pipes))
|
||||||
|
|
||||||
|
# Указываем контекст в сервере
|
||||||
|
server.context = context
|
||||||
|
|
||||||
|
# Запускаем сервер
|
||||||
|
asyncio.run(server.run())
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
main()
|
||||||
Reference in New Issue
Block a user