diff --git a/architecture.png b/architecture.png new file mode 100644 index 0000000..90af338 Binary files /dev/null and b/architecture.png differ diff --git a/readme.md b/readme.md index 5998272..4d83901 100644 --- a/readme.md +++ b/readme.md @@ -1,14 +1,16 @@ # Log Analysis -Проект предназначен для анализа логов хранилищ и состоит из нескольких сервисов, каждый из которых состоит, в свою очередь, из модулей. +Проект предназначен для анализа логов и включает в себя набор сервисов. +Вся работа строится вокруг брокера сообщений. Сервисы слушают входящие сообщения по интересующему их топику, после чего обрабатывают их и сообщают о результатах обработки (например, сохраняют в базу данных). +Такая архитектура позволяет легко добавлять новые сервисы, не меняя уже существующий процесс обработки. -После того, как был получен лог, он попадает на конвейер обработки данных. Сначала проводится предварительная обработка, после происходит сам анализ лога, и в конце сообщаются результаты. -За координацию всего этого отвечает сервис Control. В его ответственность входит: -1. Получение запросов на обработку -2. Сообщение о результатах обработки -3. Управление конвейерами обработки данных +![Архитектура](architecture.png) -Конвейеры обработки данных (pipelines) состоят из более мелких частей -- пайп (pipes). Пайпы выстраиваются в цепочку, и образуется пайплан. -Например, конвейер сначала разбивает данные на токены, удаляет знаки препинания, приводит все символы к нижнему регистру, отправляет результат в модель для анализа, получает результат и возвращает его вызывающему коду (то есть сервису Control). +На текущий момент разработаны следующие сервисы: +- Диспетчер всех сообщений. Обрабатывает все сообщения, парсит в соответствии с заданной структурой лога и отправляет "очищенный" лог обратно в брокер сообщений +- Диспетчер ceph-osd. Работает аналогично диспетчеру всех сообщений +- Анализатор логов. Анализирует все логи, определяет их аномальность -Так как модели могут потреблять много ресурсов, они не встраиваются напрямую в пайпы, а работают в отдельном процессе, с которым можно установить соединение (например, через сокет). -Таким образом, часть конвейера может выполняться там же, где был получен запрос на обработку, а часть -- на удалённой машине или в другом процессе. +Также был разработан набор модулей для создания сервисов, наиболее важным из которых является pipeline. +Конвейеры обработки данных (pipelines) состоят из более мелких частей -- пайп (pipes). Пайпы выстраиваются в цепочку, и образуется пайплан. +Например, конвейер сначала разбивает данные на токены, удаляет знаки препинания, приводит все символы к нижнему регистру, потом отправляет результат в модель для анализа, получает результат и возвращает его вызывающему коду. +Так как модели могут потреблять много ресурсов, они не встраиваются напрямую в пайпы, а работают в отдельном процессе, с которым можно установить соединение (например, через сокет). Таким образом, часть конвейера может выполняться там же, где был получен запрос на обработку, а часть -- на удалённой машине или в другом процессе.