Commit Graph
2 Commits
Author SHA1 Message Date
bot_dev1 65ab1b345e feat(wm-data-engine): 完善 Issue #41 - 实时流数据采集功能
- 完善 Kafka Consumer 功能:消费 IoT 数据、解析指标、写入 TDengine
- 增强 MQTT 客户端:支持遥测数据接收和控制命令发送
- 新增数据验证工具:设备编号验证、数值范围检查、数据质量评分
- 新增数据统计服务:采集量统计、成功率分析、错误分布统计
- 新增 MQTT 控制服务:设备命令发布、配置更新管理
- 新增 WebSocket 数据推送控制器:实时数据推送到前端
- 完善 README 文档:架构说明、配置指南、API 接口文档
- 增强单元测试:Kafka 消费者测试、数据验证测试、批量处理测试

功能特性:
- 支持多源数据接入:IoT 设备、水质传感器、手动录入
- 实时数据流处理:Kafka/MQTT 双通道支持
- 数据质量保障:完整的数据验证和错误处理机制
- 监控统计:数据采集统计、设备状态监控、错误分析
- 配置管理:灵活的 topic 路由和数据源配置

Closes #41
2026-06-15 03:39:35 +08:00
bot_dev1 d85783a68a feat: 实现 Issue #41 - 实时流数据采集(MQTT/Kafka Consumer)
## 功能特性
- 新增 MQTT 客户端支持,实现物联网遥测数据实时接收
- 完善 Kafka 消费者,支持多来源数据接入
- 添加数据验证和质量检查机制
- 新增数据统计和监控功能

## 主要改动
### MQTT 支持
- 新增 MQTT 配置类和连接工厂
- 实现 MQTT 消息接收和处理服务
- 添加 MQTT 控制命令发布功能
- 创建 MQTT 控制器 API

### 数据处理
- 完善 DataCollectService,支持 MQTT/Kafka 多源接入
- 添加数据验证工具类,确保数据质量
- 新增数据统计服务,提供多维度的数据统计

### 架构优化
- 规范指标类型枚举
- 添加数据质量评分机制
- 完善错误处理和日志记录

### 测试增强
- 新增 KafkaConsumerTest 测试类
- 完善现有测试覆盖
- 添加数据验证测试用例

## 技术细节
- 使用 Eclipse Paho MQTT 客户端
- 集成 Spring Integration MQTT
- 支持 TDengine 时序数据库写入
- 实现数据质量验证和范围检查

## 测试
- 完成基础功能实现
- 添加数据验证测试
- 验证 MQTT 和 Kafka 消费者正常工作
2026-06-15 01:39:53 +08:00