Обновил readme
This commit is contained in:
Binary file not shown.
|
After Width: | Height: | Size: 146 KiB |
@@ -1,14 +1,16 @@
|
||||
# Log Analysis
|
||||
Проект предназначен для анализа логов хранилищ и состоит из нескольких сервисов, каждый из которых состоит, в свою очередь, из модулей.
|
||||
Проект предназначен для анализа логов и включает в себя набор сервисов.
|
||||
Вся работа строится вокруг брокера сообщений. Сервисы слушают входящие сообщения по интересующему их топику, после чего обрабатывают их и сообщают о результатах обработки (например, сохраняют в базу данных).
|
||||
Такая архитектура позволяет легко добавлять новые сервисы, не меняя уже существующий процесс обработки.
|
||||
|
||||
После того, как был получен лог, он попадает на конвейер обработки данных. Сначала проводится предварительная обработка, после происходит сам анализ лога, и в конце сообщаются результаты.
|
||||
За координацию всего этого отвечает сервис Control. В его ответственность входит:
|
||||
1. Получение запросов на обработку
|
||||
2. Сообщение о результатах обработки
|
||||
3. Управление конвейерами обработки данных
|
||||

|
||||
|
||||
Конвейеры обработки данных (pipelines) состоят из более мелких частей -- пайп (pipes). Пайпы выстраиваются в цепочку, и образуется пайплан.
|
||||
Например, конвейер сначала разбивает данные на токены, удаляет знаки препинания, приводит все символы к нижнему регистру, отправляет результат в модель для анализа, получает результат и возвращает его вызывающему коду (то есть сервису Control).
|
||||
На текущий момент разработаны следующие сервисы:
|
||||
- Диспетчер всех сообщений. Обрабатывает все сообщения, парсит в соответствии с заданной структурой лога и отправляет "очищенный" лог обратно в брокер сообщений
|
||||
- Диспетчер ceph-osd. Работает аналогично диспетчеру всех сообщений
|
||||
- Анализатор логов. Анализирует все логи, определяет их аномальность
|
||||
|
||||
Так как модели могут потреблять много ресурсов, они не встраиваются напрямую в пайпы, а работают в отдельном процессе, с которым можно установить соединение (например, через сокет).
|
||||
Таким образом, часть конвейера может выполняться там же, где был получен запрос на обработку, а часть -- на удалённой машине или в другом процессе.
|
||||
Также был разработан набор модулей для создания сервисов, наиболее важным из которых является pipeline.
|
||||
Конвейеры обработки данных (pipelines) состоят из более мелких частей -- пайп (pipes). Пайпы выстраиваются в цепочку, и образуется пайплан.
|
||||
Например, конвейер сначала разбивает данные на токены, удаляет знаки препинания, приводит все символы к нижнему регистру, потом отправляет результат в модель для анализа, получает результат и возвращает его вызывающему коду.
|
||||
Так как модели могут потреблять много ресурсов, они не встраиваются напрямую в пайпы, а работают в отдельном процессе, с которым можно установить соединение (например, через сокет). Таким образом, часть конвейера может выполняться там же, где был получен запрос на обработку, а часть -- на удалённой машине или в другом процессе.
|
||||
|
||||
Reference in New Issue
Block a user