AI / 数据采集

数据采集

支持文件插件、数据库插件与遥测插件,具备事件感知、生命周期钩子、断点续传、多协议传输与异步/阻塞扩展能力,帮助企业把临时采集脚本升级为长期可维护的数据入口平台。

咨询采集框架

把数据采集从“脚本拼接”升级为“平台能力”

统一采集框架以插件化方式连接文件、数据库与遥测数据源,内置生命周期钩子、断点续传、多协议传输与外部系统集成能力,帮助企业把临时采集脚本升级为长期可维护、可观测的数据入口平台。

核心能力

文件采集插件

支持文件事件监听、目录遍历、后缀匹配与正则过滤,适合日志、批量文件与落地数据处理。

  • 文件事件监听
  • 目录遍历
  • 后缀匹配
  • 事件/名称正则过滤

数据库插件

支持面向结构化数据源的统一接入、增量采集与周期同步,适应业务库与分析库接入。

  • 增量拉取
  • 任务调度
  • 统一插件模型

遥测插件

支持 telemetry、SNMP、NetFlow、sFlow 等协议数据的采集与规范化处理。

  • SNMP
  • NetFlow
  • sFlow
  • 可扩展遥测协议

可靠传输

参考 tusd 风格的断点续传能力,适配不稳定网络环境下的大文件与长链路任务。

  • 断点恢复
  • 分片传输
  • 大文件友好
  • 重试机制

方案与布局补强

生命周期钩子与传输周期钩子

在采集、预处理、传输、回调与后处理阶段触发不同钩子,将业务逻辑、审计、通知与编排接入同一流程。

  • 文件事件阶段钩子
  • 传输周期钩子
  • 异步或阻塞模式
  • 便于编排业务后处理

多协议传输与外部系统集成

支持 S3、SFTP、HTTP API 等传输协议,并通过 n8n、MQ、CLI、HTTP API、RPC 调用不同钩子函数,实现开放式集成。

  • S3 / SFTP / HTTP API
  • n8n 编排
  • MQ / CLI / RPC
  • 开放式系统集成

面向 UAV 与 BIM 场景的数据入口

数据采集不是独立产品,而是 UAV 现场飞行数据、图像视频、建筑模型、设备遥测与业务台账进入 AI 平台的统一入口。这样可以把采集能力与后续识别、建模、分析和运维场景自然衔接起来。

  • 现场图像与视频回传
  • BIM 模型与业务台账接入
  • 设备遥测与传感数据汇聚
  • 为识别分析与工作流提供标准化输入

架构能力

统一插件模型与多源接入能力

文件、数据库、遥测三类插件共享统一扩展模型,降低接入复杂度。

  • 统一接口
  • 统一任务调度
  • 统一可观测能力

面向采集生命周期的钩子机制

把采集、预处理、传输、回调与业务编排连接为一体。

  • 异步执行
  • 阻塞执行
  • 业务回调
  • 异常处理

面向可靠性的传输引擎

支持断点续传、重试、协议适配与大文件传输控制,适配复杂生产环境。

  • 断点续传
  • 重试机制
  • 多协议适配
  • 状态追踪