Добавил слой моделей данных и обновил контроллеры

This commit is contained in:
2024-02-23 21:51:57 +03:00
parent 64f9157e85
commit c6d6be9fff
27 changed files with 371 additions and 181 deletions
-13
View File
@@ -1,13 +0,0 @@
{
"server": {
"path": "site",
"port": 9555
},
"storage": {
"database": "log_analysis",
"username": "postgres",
"password": "postgres",
"host": "localhost",
"port": 5432
}
}
+8
View File
@@ -29,6 +29,14 @@ components_manager:
defaults:
HTTP_CLIENT_CONNECTION_POOL_SIZE: 1000
# Storage
storage-wrapper:
database: $storage-database
host: $storage-host
port: $storage-port
username: $storage-username
password: $storage-password
# Static content
fs-cache-main:
dir: /var/www
+8
View File
@@ -6,4 +6,12 @@ is_testing: false
server-port: 8080
# Storage
storage-database: log_analysis
storage-host: localhost
storage-port: 5432
storage-username: postgres
storage-password: postgres
# Static content
site-directory: site
+1
View File
@@ -1,4 +1,5 @@
add_subdirectory(controllers)
add_subdirectory(data_models)
add_subdirectory(json)
add_subdirectory(server)
add_subdirectory(storage)
+2 -1
View File
@@ -11,7 +11,8 @@ add_library(${PROJECT_NAME} ${SOURCES})
target_include_directories(${PROJECT_NAME} PUBLIC include)
# Подключаем зависимости
target_link_libraries(${PROJECT_NAME}
target_link_libraries(${PROJECT_NAME}
la_data_models
la_json
la_storage
la_utils
@@ -11,7 +11,7 @@ namespace controllers::anomaly_logs::fields {
/// @defgroup Поля ответа
/// @{
constexpr std::string_view id = "id";
constexpr std::string_view class_id = "class_id";
constexpr std::string_view cluster_id = "cluster_id";
constexpr std::string_view data = "data";
/// @}
}
@@ -1,31 +0,0 @@
#include "query.h"
#include <sstream>
#include <storage/transaction.h>
namespace controllers::anomaly_logs::details {
std::vector<AnomalyLog> GetAnomalyLogs(int64_t last_id) {
auto transaction = storage::Transaction::Create();
std::ostringstream query;
query << "select id, cluster_id, data from anomaly_logs where id > " << last_id << ";";
auto pqxx_result = transaction.Do(query.str());
std::vector<AnomalyLog> result;
result.reserve(pqxx_result.size());
for (const auto& row : pqxx_result) {
AnomalyLog anomaly_log{
row[0].as<int64_t>(),
row[1].as<int64_t>(),
row[2].as<std::string>(),
};
result.push_back(std::move(anomaly_log));
}
return result;
}
}
@@ -1,12 +0,0 @@
#pragma once
#include <string>
#include <vector>
namespace controllers::anomaly_logs::details {
struct AnomalyLog {
};
std::vector<AnomalyLog> GetAnomalyLogs(int64_t last_id);
}
@@ -1,23 +1,31 @@
#include <controllers/anomaly_logs/get.h>
#include <data_models/anomaly_logs.h>
#include <storage/transaction.h>
#include <utils/utils.h>
#include "details/fields.h"
#include "details/query.h"
using namespace controllers::anomaly_logs;
json Get::operator()(const json& parameters) const {
// Проверяем наличие необходимых полей
utils::CheckForRequiredFields(parameters, { fields::last_id });
auto last_index = parameters[fields::last_id].get<int64_t>();
// Создаём транзакцию
auto transaction = storage::Transaction::Create();
auto anomaly_logs = details::GetAnomalyLogs(last_index);
// Создаём модель
data_models::AnomalyLogsModel anomaly_logs_model(transaction);
// Запрашиваем логи
auto anomaly_logs = anomaly_logs_model.GetAll(parameters[fields::last_id]);
// Формируем ответ
json result = json::array();
for (auto& log : anomaly_logs) {
json item = json::object();
item[fields::id] = log.id;
item[fields::class_id] = log.class_id;
item[fields::cluster_id] = log.cluster_id;
item[fields::data] = std::move(log.data);
result.push_back(std::move(item));
@@ -1,15 +1,35 @@
#include <controllers/logs_clusters/create.h>
#include <data_models/logs_clusters.h>
#include <storage/transaction.h>
#include <utils/utils.h>
#include "details/fields.h"
#include "details/query.h"
using namespace controllers::logs_clusters;
json Create::operator()(const json& parameters) const {
// Проверяем наличие необходимых полей
utils::CheckForRequiredFields(parameters, { fields::id, fields::name, fields::description, fields::recommendation });
details::CreateLogsCluster({parameters[fields::id], parameters[fields::name], parameters[fields::description], parameters[fields::recommendation]});
// Создаём транзакцию
auto transaction = storage::Transaction::Create();
// Создаём модель
data_models::LogsClustersModel logs_clusters_model(transaction);
// Проверяем, что кластер с указанным id не существует
int64_t id = parameters[fields::id];
if (logs_clusters_model.Has(id)) {
throw std::runtime_error("Cluster with specified id already exists");
}
// Создаём кластер
logs_clusters_model.Create({
id,
parameters[fields::name],
parameters[fields::description],
parameters[fields::recommendation]
});
return {};
}
@@ -1,44 +0,0 @@
#include "query.h"
#include <sstream>
#include <storage/transaction.h>
namespace controllers::logs_clusters::details {
std::vector<LogsCluster> GetLogsClusters() {
auto transaction = storage::Transaction::Create();
std::ostringstream query;
query << "select id, name, description, recommendation from logs_clusters;";
auto pqxx_result = transaction.Do(query.str());
std::vector<LogsCluster> result;
result.reserve(pqxx_result.size());
for (const auto& row : pqxx_result) {
LogsCluster logs_cluster{
row[0].as<int64_t>(),
row[1].as<std::string>(),
row[2].as<std::string>(),
row[3].as<std::string>(),
};
result.push_back(std::move(logs_cluster));
}
return result;
}
void CreateLogsCluster(const LogsCluster& cluster) {
std::ostringstream query;
query << "insert into logs_clusters (id, name, description, recommendation) values ("
<< cluster.id << ", "
<< "'" << cluster.name << "', "
<< "'" << cluster.description << "', "
<< "'" << cluster.recommendation << "'"
<< ");";
PostgreSqlStorage::Get().Do(query.str());
}
}
@@ -1,17 +0,0 @@
#pragma once
#include <string>
#include <vector>
namespace controllers::logs_clusters::details {
struct LogsCluster {
int64_t id;
std::string name;
std::string description;
std::string recommendation;
};
std::vector<LogsCluster> GetLogsClusters();
void CreateLogsCluster(const LogsCluster& cluster);
}
@@ -1,14 +1,22 @@
#include <controllers/logs_clusters/get.h>
#include <utils/utils.h>
#include <data_models/logs_clusters.h>
#include <storage/transaction.h>
#include "details/fields.h"
#include "details/query.h"
using namespace controllers::logs_clusters;
json Get::operator()(const json& parameters) const {
auto clusters = details::GetLogsClusters();
// Создаём транзакцию
auto transaction = storage::Transaction::Create();
// Создаём модель
data_models::LogsClustersModel logs_clusters_model(transaction);
// Запрашиваем кластеры
auto clusters = logs_clusters_model.GetAll();
// Формируем ответ
json result = json::array();
for (auto& cluster : clusters) {
json item = json::object();
@@ -1,26 +0,0 @@
#include "query.h"
#include <sstream>
#include <storage/transaction.h>
namespace controllers::statistics::details {
std::vector<Statistic> GetStatistics() {
auto transaction = storage::Transaction::Create();
std::ostringstream query;
query << "select name, value from statistics;";
auto pqxx_result = transaction.Do(query.str());
std::vector<Statistic> result;
result.reserve(pqxx_result.size());
for (const auto& row : pqxx_result) {
Statistic statistic{ row[0].as<std::string>(), row[1].as<size_t>() };
result.push_back(std::move(statistic));
}
return result;
}
}
@@ -1,13 +0,0 @@
#pragma once
#include <string>
#include <vector>
namespace controllers::statistics::details {
struct Statistic {
std::string name;
size_t value;
};
std::vector<Statistic> GetStatistics();
}
@@ -1,12 +1,20 @@
#include <controllers/statistics/get.h>
#include "details/query.h"
#include <data_models/statistics.h>
#include <storage/transaction.h>
using namespace controllers::statistics;
json Get::operator()(const json& parameters) const {
auto statistics = details::GetStatistics();
// Создаём транзакцию
auto transaction = storage::Transaction::Create();
// Создаём модель
data_models::StatisticsModel statistics_model(transaction);
// Запрашиваем статистику
auto statistics = statistics_model.GetAll();
// Формируем ответ
json result;
for (auto& statistic : statistics) {
result[std::move(statistic.name)] = statistic.value;
+18
View File
@@ -0,0 +1,18 @@
# Модуль моделей данных
project(la_data_models)
# Собираем исходные файлы
file(GLOB_RECURSE SOURCES src/*.cpp)
# Создаём библиотеку
add_library(${PROJECT_NAME} ${SOURCES})
# Указываем директории с заголовочными файлами
target_include_directories(${PROJECT_NAME} PUBLIC include)
# Подключаем зависимости
target_link_libraries(${PROJECT_NAME}
la_json
la_storage
la_utils
)
@@ -0,0 +1,42 @@
#pragma once
#include <string>
#include <vector>
#include <storage/transaction.h>
namespace data_models {
/// @brief Аномальный лог
struct AnomalyLog {
int64_t id; ///< Идентификатор
int64_t cluster_id; ///< Идентификатор кластера
std::string data; ///< Содержимое лога
};
/// @brief Модель аномальных логов
class AnomalyLogsModel {
public:
/// @brief Конструктор
/// @param[in] transaction Транзакция
AnomalyLogsModel(storage::Transaction& transaction);
/// @brief Проверка существования записи по идентификатору
/// @param[in] id Идентификатор
/// @returns Существование записи
bool Has(int64_t id) const;
/// @brief Получение всех записей с идентификатором больше указанного
/// @details Если надо получить все записи, необходимо передать идентификатор -1
/// @param[in] last_id Идентификатор
/// @returns Записи
std::vector<AnomalyLog> GetAll(int64_t last_id) const;
/// @brief Получение записей с указанным идентификатором кластера
/// @param[in] cluster_id Идентификатор кластера
/// @returns Записи
std::vector<AnomalyLog> GetByClusterId(int64_t cluster_id) const;
private:
storage::Transaction& transaction_; ///< Транзакция
};
}
@@ -0,0 +1,39 @@
#pragma once
#include <string>
#include <vector>
#include <storage/transaction.h>
namespace data_models {
/// @brief Кластер логов
struct LogsCluster {
int64_t id; ///< Идентификатор
std::string name; ///< Название
std::string description; ///< Описание
std::string recommendation; ///< Рекомендация
};
/// @brief Модель кластеров логов
class LogsClustersModel {
public:
/// @brief Конструктор
/// @param[in] transaction Транзакция
LogsClustersModel(storage::Transaction& transaction);
/// @brief Проверка существования записи по идентификатору
/// @param[in] id Идентификатор
/// @returns Существование записи
bool Has(int64_t id) const;
/// @brief Получение всех записей
/// @returns Записи
std::vector<LogsCluster> GetAll() const;
/// @brief Создание кластера
/// @param[in] cluster Кластер
void Create(const LogsCluster& cluster);
private:
storage::Transaction& transaction_; ///< Транзакция
};
}
@@ -0,0 +1,28 @@
#pragma once
#include <string>
#include <vector>
#include <storage/transaction.h>
namespace data_models {
/// @brief Статистика
struct Statistic {
std::string name; ///< Название
size_t value; ///< Значение
};
/// @brief Модель статистик
class StatisticsModel {
public:
/// @brief Конструктор
/// @param[in] transaction Транзакция
StatisticsModel(storage::Transaction& transaction);
/// @brief Получение всех записей
/// @returns Записи
std::vector<Statistic> GetAll() const;
private:
storage::Transaction& transaction_; ///< Транзакция
};
}
@@ -0,0 +1,51 @@
#include <sstream>
#include <data_models/anomaly_logs.h>
using namespace data_models;
namespace {
std::vector<AnomalyLog> ConvertAnomalyLogs(pqxx::result pqxx_result) {
std::vector<AnomalyLog> result;
result.reserve(pqxx_result.size());
for (const auto& row : pqxx_result) {
AnomalyLog anomaly_log{
row[0].as<int64_t>(),
row[1].as<int64_t>(),
row[2].as<std::string>(),
};
result.push_back(std::move(anomaly_log));
}
return result;
}
}
AnomalyLogsModel::AnomalyLogsModel(storage::Transaction& transaction)
: transaction_(transaction) {}
bool AnomalyLogsModel::Has(int64_t id) const {
std::ostringstream query;
query << "select exists(*) from anomaly_logs where id = " << id << ";";
auto pqxx_result = transaction_.Do(query.str());
return pqxx_result[0][0].as<bool>();
}
std::vector<AnomalyLog> AnomalyLogsModel::GetAll(int64_t last_id) const {
std::ostringstream query;
query << "select id, cluster_id, data from anomaly_logs where id > " << last_id << ";";
auto pqxx_result = transaction_.Do(query.str());
return ConvertAnomalyLogs(std::move(pqxx_result));
}
std::vector<AnomalyLog> AnomalyLogsModel::GetByClusterId(int64_t cluster_id) const {
std::ostringstream query;
query << "select id, cluster_id, data from anomaly_logs where cluster_id = " << cluster_id << ";";
auto pqxx_result = transaction_.Do(query.str());
return ConvertAnomalyLogs(std::move(pqxx_result));
}
@@ -0,0 +1,51 @@
#include <sstream>
#include <data_models/logs_clusters.h>
using namespace data_models;
LogsClustersModel::LogsClustersModel(storage::Transaction& transaction)
: transaction_(transaction) {}
bool LogsClustersModel::Has(int64_t id) const {
std::ostringstream query;
query << "select id from logs_clusters where id = " << id << ";";
auto pqxx_result = transaction_.Do(query.str());
return !pqxx_result.empty();
}
std::vector<LogsCluster> LogsClustersModel::GetAll() const {
std::ostringstream query;
query << "select id, name, description, recommendation from logs_clusters;";
auto pqxx_result = transaction_.Do(query.str());
std::vector<LogsCluster> result;
result.reserve(pqxx_result.size());
for (const auto& row : pqxx_result) {
LogsCluster logs_cluster{
row[0].as<int64_t>(),
row[1].as<std::string>(),
row[2].as<std::string>(),
row[3].as<std::string>(),
};
result.push_back(std::move(logs_cluster));
}
return result;
}
void LogsClustersModel::Create(const LogsCluster& cluster) {
std::ostringstream query;
query << "insert into logs_clusters (id, name, description, recommendation) values "
<< "(" << cluster.id << ", "
<< "'" << cluster.name << "', "
<< "'" << cluster.description << "', "
<< "'" << cluster.recommendation << "'"
<< ");";
transaction_.Do(query.str());
}
@@ -0,0 +1,29 @@
#include <sstream>
#include <data_models/statistics.h>
using namespace data_models;
StatisticsModel::StatisticsModel(storage::Transaction& transaction)
: transaction_(transaction) {}
std::vector<Statistic> StatisticsModel::GetAll() const {
std::ostringstream query;
query << "select name, value from statistics;";
auto pqxx_result = transaction_.Do(query.str());
std::vector<Statistic> result;
result.reserve(pqxx_result.size());
for (const auto& row : pqxx_result) {
Statistic statistic{
row[0].as<std::string>(),
row[1].as<size_t>()
};
result.push_back(std::move(statistic));
}
return result;
}
-3
View File
@@ -12,9 +12,6 @@ target_include_directories(${PROJECT_NAME} PRIVATE ${CMAKE_CURRENT_SOURCE_DIR}/i
# Подключаем зависимости
target_link_libraries(${PROJECT_NAME}
la_configuration
la_controllers
la_json
la_storage
userver-core
)
@@ -1,5 +1,7 @@
#include "storage_wrapper.h"
#include <userver/yaml_config/merge_schemas.hpp>
#include <storage/storage.h>
using namespace server::details;
@@ -7,14 +9,36 @@ using namespace server::details;
StorageWrapper::StorageWrapper(const userver::components::ComponentConfig& config,
const userver::components::ComponentContext& context)
: userver::components::LoggableComponentBase(config, context) {
auto settings = config[kName];
storage::ConnectionData connection_data;
connection_data.database = settings["database"].As<std::string>();
connection_data.username = settings["username"].As<std::string>();
connection_data.password = settings["password"].As<std::string>();
connection_data.host = settings["host"].As<std::string>();
connection_data.port = settings["port"].As<std::string>();
connection_data.database = config["database"].As<std::string>();
connection_data.username = config["username"].As<std::string>();
connection_data.password = config["password"].As<std::string>();
connection_data.host = config["host"].As<std::string>();
connection_data.port = config["port"].As<std::string>();
storage::Storage::Connect(connection_data);
}
userver::yaml_config::Schema StorageWrapper::GetStaticConfigSchema() {
return userver::yaml_config::MergeSchemas<userver::components::LoggableComponentBase>(R"(
type: object
description: storage wrapper component
additionalProperties: false
properties:
database:
type: string
description: database
host:
type: string
description: host
port:
type: string
description: port
username:
type: string
description: username
password:
type: string
description: password
)");
}
@@ -2,6 +2,7 @@
#include <userver/components/component.hpp>
#include <userver/components/loggable_component_base.hpp>
#include <userver/yaml_config/schema.hpp>
namespace server::details {
/// @brief Обёртка-компонент над хранилищем
@@ -14,5 +15,9 @@ namespace server::details {
/// @param[in] config Конфигурация
/// @param[in] context Контекст
StorageWrapper(const userver::components::ComponentConfig& config, const userver::components::ComponentContext& context);
/// @brief Получение схемы статической конфигурации
/// @returns Схема статической конфигурации
static userver::yaml_config::Schema GetStaticConfigSchema();
};
}
+1 -1
View File
@@ -1,4 +1,4 @@
#include <utils/logger.h>>
#include <utils/logger.h>
Logger& Logger::Get() {
static Logger logger;