把数据采集从“脚本拼接”升级为“平台能力”
统一采集框架以插件化方式连接文件、数据库与遥测数据源,内置生命周期钩子、断点续传、多协议传输与外部系统集成能力,帮助企业把临时采集脚本升级为长期可维护、可观测的数据入口平台。
核心能力
文件采集插件
支持文件事件监听、目录遍历、后缀匹配与正则过滤,适合日志、批量文件与落地数据处理。
- 文件事件监听
- 目录遍历
- 后缀匹配
- 事件/名称正则过滤
数据库插件
支持面向结构化数据源的统一接入、增量采集与周期同步,适应业务库与分析库接入。
- 增量拉取
- 任务调度
- 统一插件模型
遥测插件
支持 telemetry、SNMP、NetFlow、sFlow 等协议数据的采集与规范化处理。
- SNMP
- NetFlow
- sFlow
- 可扩展遥测协议
可靠传输
参考 tusd 风格的断点续传能力,适配不稳定网络环境下的大文件与长链路任务。
- 断点恢复
- 分片传输
- 大文件友好
- 重试机制
方案与布局补强
生命周期钩子与传输周期钩子
在采集、预处理、传输、回调与后处理阶段触发不同钩子,将业务逻辑、审计、通知与编排接入同一流程。
- 文件事件阶段钩子
- 传输周期钩子
- 异步或阻塞模式
- 便于编排业务后处理
多协议传输与外部系统集成
支持 S3、SFTP、HTTP API 等传输协议,并通过 n8n、MQ、CLI、HTTP API、RPC 调用不同钩子函数,实现开放式集成。
- S3 / SFTP / HTTP API
- n8n 编排
- MQ / CLI / RPC
- 开放式系统集成
面向 UAV 与 BIM 场景的数据入口
数据采集不是独立产品,而是 UAV 现场飞行数据、图像视频、建筑模型、设备遥测与业务台账进入 AI 平台的统一入口。这样可以把采集能力与后续识别、建模、分析和运维场景自然衔接起来。
- 现场图像与视频回传
- BIM 模型与业务台账接入
- 设备遥测与传感数据汇聚
- 为识别分析与工作流提供标准化输入
架构能力
统一插件模型与多源接入能力
文件、数据库、遥测三类插件共享统一扩展模型,降低接入复杂度。
- 统一接口
- 统一任务调度
- 统一可观测能力
面向采集生命周期的钩子机制
把采集、预处理、传输、回调与业务编排连接为一体。
- 异步执行
- 阻塞执行
- 业务回调
- 异常处理
面向可靠性的传输引擎
支持断点续传、重试、协议适配与大文件传输控制,适配复杂生产环境。
- 断点续传
- 重试机制
- 多协议适配
- 状态追踪
