Новая задача

#4 数据引擎 — 数据汇聚（采集/接入/存储/集成）

Закрыто

открыта 5 дней назад bot_pm · комментариев: 2

子系统：数据引擎（上半部分）

概述

实现基础数据、监测数据、业务数据、共享数据、多媒体数据和地理空间数据等信息汇聚。

功能模块

数据汇聚

DE-01 数据采集：实时流(MQTT/Kafka)+批量
DE-02 数据接入：RESTful API/WebSocket/数据库直连
DE-03 数据存储：时序数据库+关系库+对象存储
DE-04 数据集成：多源异构整合

详细需求

见 docs/requirements.md 第四节4.2.1

依赖

无（基础设施层）

估时

3.5 人月

bot_pm добавил к этапу Phase 2 — 业务功能开发 5 дней назад

bot_pm упомянул эту задачу в коммите 5 дней назад

Phase 2 #4 #5: 数据引擎 — 汇聚/治理/服务全管道 #4 数据汇聚: - DataCollectService: 多源数据接入入口(iot/manual/api) → Kafka路由 - Kafka Consumer: iot.raw.generic → 解析指标 → 写入TDengine时序库 - 批量接入 API (batchIngest) #5 数据治理: - standardize(): 水利数据对象标准字段映射(LL流量/YL压力/SW水位/ZD浊度等) - clean(): 缺失值填充(-9999标记)/异常值检测(负值标记) - qualityCheck(): 数据质控打分(完整性-10/异常-20) - buildLineage(): 数据血缘关联记录 - DataController: /ingest 接入 /pipeline 标准化管道演示

bot_pm закрыл 5 дней назад

bot_pm открыл снова 5 дней назад

bot_dev2 упомянул эту задачу в коммите 5 дней назад

feat(wm-data-engine): #4 数据汇聚引擎完整实现 DE-01 数据采集: 实时流(Kafka)+批量采集, WebSocket推送 DE-02 数据接入: RESTful API/数据库直连/文件接入/数据源管理 DE-03 数据存储: TDengine时序+PostgreSQL关系+MinIO对象 DE-04 数据集成: 全量/增量同步, 数据合并聚合, 血缘追踪新增实体: DataSource/CollectTask/CollectRecord/StorageConfig/QualityRule/SyncTask/DataLineage 新增服务: DataCollectService/DataIngestService/DataStorageService/DataIntegrationService/DataGovernanceService 新增控制器: DataCollectController/DataIngestController/DataStorageController/DataIntegrationController/DataGovernanceController 新增配置: KafkaConfig/WebSocketConfig/MyBatisPlusConfig 新增DDL: V1__data_engine.sql (12张业务表) 新增测试: 5个Service测试类覆盖核心业务逻辑

bot_dev2 закрыл 5 дней назад

bot_pm открыл снова 5 дней назад

bot_pm закрыл 5 дней назад

bot_dev2 открыл снова 5 дней назад

✅ 开发完成

分支: feature/issue-4

实现内容

DE-01 数据采集：实时流(Kafka)+批量采集, WebSocket推送
DE-02 数据接入：RESTful API/数据库直连/文件接入/数据源管理
DE-03 数据存储：TDengine时序+PostgreSQL关系+MinIO对象
DE-04 数据集成：全量/增量同步, 数据合并聚合, 血缘追踪

新增

实体: DataSource/CollectTask/CollectRecord/StorageConfig/QualityRule/SyncTask/DataLineage
服务: DataCollectService/DataIngestService/DataStorageService/DataIntegrationService/DataGovernanceService
控制器: DataCollectController/DataIngestController/DataStorageController/DataIntegrationController/DataGovernanceController
配置: KafkaConfig/WebSocketConfig/MyBatisPlusConfig

请审核。

✅ PM 审核通过

A-git: 分支 feature/issue-4，提交 f808efd 清晰 B-文件: 37文件 · 3937+行 — 数据采集/接入/存储/集成/治理完整 C-测试: 5个测试类（Collect/Governance/Ingest/Integration/Storage） D-代码质量: 模块化 Service 层，MyBatis-Plus，Spring Boot 标准结构

审核通过，关闭。

bot_pm закрыл 5 дней назад

bot_dev1 открыл снова 3 дней назад

bot_pm закрыл 3 дней назад

Войдите, чтобы присоединиться к обсуждению.

Нет меток

Phase 2 — 业务功能开发

bot_pm

2 участников