Добавил управляющий сервис
This commit is contained in:
@@ -0,0 +1,19 @@
|
||||
from modules.pipelines.pipe_manager import PipeManager
|
||||
from modules.pipelines.pipeline_manager import PipelineManager
|
||||
from modules.handlers.handler_manager import HandlerManager
|
||||
from modules.storages.storage import Storage
|
||||
|
||||
class Context:
|
||||
"""
|
||||
Контекст управляющего сервиса
|
||||
"""
|
||||
|
||||
def __init__(self):
|
||||
"""
|
||||
Конструктор
|
||||
"""
|
||||
|
||||
self.pipe_manager = None
|
||||
self.pipeline_manager = None
|
||||
self.handler_manager = None
|
||||
self.storage = None
|
||||
@@ -0,0 +1,62 @@
|
||||
from modules.pipelines.pipe_manager import PipeManager
|
||||
from modules.pipelines.pipeline_manager import PipelineManager
|
||||
from modules.pipelines.pipes.preprocessing import *
|
||||
|
||||
from modules.handlers.handler_manager import HandlerManager
|
||||
from modules.handlers.pipelines.create_pipeline import CreatePipeline
|
||||
from modules.handlers.pipelines.get_pipelines import GetPipelines
|
||||
from modules.handlers.pipelines.get_pipes import GetPipes
|
||||
from modules.handlers.pipelines.run_pipeline import RunPipeline
|
||||
|
||||
from services.control.context import Context
|
||||
|
||||
def CreatePipeManager() -> PipeManager:
|
||||
"""
|
||||
Создание заполненного менеджера пайп
|
||||
:return: Менеджер пайп
|
||||
"""
|
||||
|
||||
manager = PipeManager()
|
||||
manager.add(RemovePunctuationMarks())
|
||||
manager.add(RemoveStopWords())
|
||||
manager.add(Stem())
|
||||
manager.add(ToLowerCase())
|
||||
manager.add(SplitBySpace())
|
||||
|
||||
return manager
|
||||
|
||||
def CreatePipelineManager(pipe_manager) -> PipelineManager:
|
||||
"""
|
||||
Создание заполненного менеджера пайплайнов
|
||||
:param pipe_manager: Менеджер пайп
|
||||
:return: Менеджер пайплайнов
|
||||
"""
|
||||
|
||||
manager = PipelineManager(pipe_manager)
|
||||
return manager
|
||||
|
||||
def CreateHandlerManager() -> HandlerManager:
|
||||
"""
|
||||
Создание менеджера хэндлеров
|
||||
:return: Менеджер хэндлеров
|
||||
"""
|
||||
manager = HandlerManager()
|
||||
manager.add(CreatePipeline())
|
||||
manager.add(GetPipelines())
|
||||
manager.add(GetPipes())
|
||||
manager.add(RunPipeline())
|
||||
|
||||
return manager
|
||||
|
||||
def CreateContext() -> Context:
|
||||
"""
|
||||
Создание заполненного контекста
|
||||
:return: Контекст
|
||||
"""
|
||||
|
||||
context = Context()
|
||||
context.pipe_manager = CreatePipeManager()
|
||||
context.pipeline_manager = CreatePipelineManager(context.pipe_manager)
|
||||
context.handler_manager = CreateHandlerManager()
|
||||
|
||||
return context
|
||||
@@ -0,0 +1,26 @@
|
||||
import json
|
||||
|
||||
def SuccessResponse(result: str) -> str:
|
||||
"""
|
||||
Создание успешного ответа
|
||||
:param result: Тело ответа
|
||||
:return: Ответ
|
||||
"""
|
||||
|
||||
return json.dumps({
|
||||
"status": "ok",
|
||||
"result": result
|
||||
})
|
||||
|
||||
def ErrorResponse(status: str, message: str) -> str:
|
||||
"""
|
||||
Создание ответа с ошибкой
|
||||
:param status: Код ошибки
|
||||
:param message: Сообщение об ошибке
|
||||
:return:
|
||||
"""
|
||||
|
||||
return json.dumps({
|
||||
"status": status,
|
||||
"message": message
|
||||
})
|
||||
@@ -0,0 +1,67 @@
|
||||
import asyncio
|
||||
import json
|
||||
|
||||
from modules.storages.storage import Storage
|
||||
from modules.transports.server import Server
|
||||
from services.control.context import *
|
||||
from services.control.create_context import *
|
||||
from services.control.response import *
|
||||
|
||||
def Handle(context, request):
|
||||
"""
|
||||
Обработка запроса
|
||||
:param context: Контекст сервиса
|
||||
:param request: Запрос
|
||||
:return: Ответ
|
||||
"""
|
||||
|
||||
# Парсим запрос
|
||||
try:
|
||||
request = json.loads(request)
|
||||
except Exception as e:
|
||||
return ErrorResponse("invalid request", "failed to parse request")
|
||||
|
||||
# Проверяем наличие нужных ключей
|
||||
for key in ["handler", "parameters"]:
|
||||
if key not in request:
|
||||
return ErrorResponse("invalid request", f"key '{key}' is required")
|
||||
|
||||
# Проверяем наличие обработчика с указанным именем
|
||||
handler_name = request["handler"]
|
||||
if not context.handler_manager.contains(handler_name):
|
||||
return ErrorResponse("not found", f"there is no handler with name {handler_name}")
|
||||
|
||||
# Достаём нужного обработчика
|
||||
handler = context.handler_manager.get(handler_name)
|
||||
|
||||
# Запускаем обработку
|
||||
try:
|
||||
result = handler.do(context, request["parameters"])
|
||||
return SuccessResponse(result)
|
||||
except Exception as e:
|
||||
return ErrorResponse("handling failed", str(e))
|
||||
|
||||
def main():
|
||||
server = Server("localhost", 8081, Handle)
|
||||
|
||||
# Создаём контекст
|
||||
context = CreateContext()
|
||||
|
||||
# Подключаемся к хранилищу
|
||||
context.storage = Storage("localhost", "5432", "log_analysis", "postgres", "postgres")
|
||||
|
||||
# Заполняем пайплайны
|
||||
query = "select name, pipes from pipelines;"
|
||||
pipelines = context.storage.do(query, should_return=True)
|
||||
|
||||
for name, pipes in pipelines:
|
||||
context.pipeline_manager.create(name, json.loads(pipes))
|
||||
|
||||
# Указываем контекст в сервере
|
||||
server.context = context
|
||||
|
||||
# Запускаем сервер
|
||||
asyncio.run(server.run())
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Reference in New Issue
Block a user