Обновил readme

This commit is contained in:
2024-01-16 18:47:14 +03:00
parent 026cc9b6bb
commit ee1362a605
2 changed files with 12 additions and 10 deletions
BIN
View File
Binary file not shown.

After

Width:  |  Height:  |  Size: 146 KiB

+12 -10
View File
@@ -1,14 +1,16 @@
# Log Analysis
Проект предназначен для анализа логов хранилищ и состоит из нескольких сервисов, каждый из которых состоит, в свою очередь, из модулей.
Проект предназначен для анализа логов и включает в себя набор сервисов.
Вся работа строится вокруг брокера сообщений. Сервисы слушают входящие сообщения по интересующему их топику, после чего обрабатывают их и сообщают о результатах обработки (например, сохраняют в базу данных).
Такая архитектура позволяет легко добавлять новые сервисы, не меняя уже существующий процесс обработки.
После того, как был получен лог, он попадает на конвейер обработки данных. Сначала проводится предварительная обработка, после происходит сам анализ лога, и в конце сообщаются результаты.
За координацию всего этого отвечает сервис Control. В его ответственность входит:
1. Получение запросов на обработку
2. Сообщение о результатах обработки
3. Управление конвейерами обработки данных
![Архитектура](architecture.png)
Конвейеры обработки данных (pipelines) состоят из более мелких частей -- пайп (pipes). Пайпы выстраиваются в цепочку, и образуется пайплан.
Например, конвейер сначала разбивает данные на токены, удаляет знаки препинания, приводит все символы к нижнему регистру, отправляет результат в модель для анализа, получает результат и возвращает его вызывающему коду (то есть сервису Control).
На текущий момент разработаны следующие сервисы:
- Диспетчер всех сообщений. Обрабатывает все сообщения, парсит в соответствии с заданной структурой лога и отправляет "очищенный" лог обратно в брокер сообщений
- Диспетчер ceph-osd. Работает аналогично диспетчеру всех сообщений
- Анализатор логов. Анализирует все логи, определяет их аномальность
Так как модели могут потреблять много ресурсов, они не встраиваются напрямую в пайпы, а работают в отдельном процессе, с которым можно установить соединение (например, через сокет).
Таким образом, часть конвейера может выполняться там же, где был получен запрос на обработку, а часть -- на удалённой машине или в другом процессе.
Также был разработан набор модулей для создания сервисов, наиболее важным из которых является pipeline.
Конвейеры обработки данных (pipelines) состоят из более мелких частей -- пайп (pipes). Пайпы выстраиваются в цепочку, и образуется пайплан.
Например, конвейер сначала разбивает данные на токены, удаляет знаки препинания, приводит все символы к нижнему регистру, потом отправляет результат в модель для анализа, получает результат и возвращает его вызывающему коду.
Так как модели могут потреблять много ресурсов, они не встраиваются напрямую в пайпы, а работают в отдельном процессе, с которым можно установить соединение (например, через сокет). Таким образом, часть конвейера может выполняться там же, где был получен запрос на обработку, а часть -- на удалённой машине или в другом процессе.