基于进迭时空 SpacemiT K1 RISC-V 开发板的智能快递自动分拣与取件系统
集视觉感知、AI 推理、运动控制、多端协同于一体的末端物流全自动化解决方案
末端快递站长期面临全天候驻人成本高、包裹状态不透明、高峰期排队体验差三类痛点。本系统以进迭时空 K1 RISC-V 开发板为核心主控，构建从包裹入站到用户取走的全自动化管理平台。
从包裹到站到用户取走，全程无需站点人员介入。摄像头扫码、机械臂分拣、格口分配、硬件出库均由系统自主完成，人力成本趋近于零。
通过 AI 大模型支持自然语言交互，用户只需口语描述需求（"帮我取尾号1234的包裹""10分钟后到帮我准备"），系统自动理解并执行，降低老年群体使用门槛。
所有包裹从入库到取走的完整生命周期均记录于云端数据库。异常事件自动生成工单，可查、可追、可导出，满足站点日常运营与纠纷处理的数据管理需求。
双路并发出库、App 远程预约取件（到站即取）、四种渠道同时在线，显著提升站点吞吐量与用户取件体验，减少高峰期排队等候时间。
五层架构，各层职责清晰，层间通过标准协议通信。"感知—推理—执行"全链路在 K1 本地闭环，云端提供数据持久化与多端接入。
USB 摄像头（OpenCV 畸变校正 + pyzbar 二维码识别），包裹到位触发传感器。RVV HAL 向量加速畸变校正，3.36 ms/帧，较纯 Python 提速 14.4 倍。
目标检测模型经 QDQ 格式量化后部署于 K1 NPU，实现稳定 20 FPS 实时包裹追踪，置信度 >0.95。视觉闭环：目标检测 → 位置估算 → 夹爪引导，全部在端侧完成。
步进电机滑台通过 UART 串口自定义帧协议实现闭环 PID 定位（11–13 Hz）；机械夹爪通过 STM32F411RCT6 自研下位机（UART ASCII 指令）驱动。AI Agent 工具调度（hardware_tools.py CLI）统一管理查包裹、忙闲查询、异常工单、预约出库四个标准工具。
Qt 5/C++ 自助取件终端（800×480 响应式，自适应缩放）；chat_server.py（HTTP 8765，systemd 管理）为 App AI 助手提供直连 DeepSeek 服务；parcel_display.py 通过 /dev/ttyS0 → HC-42 蓝牙 → 淘晶驰串口屏实时推送在库信息。多任务通过 QProcess + QNetworkAccessManager 异步并发，界面全程不阻塞。
26 个 PHP REST 接口 + 6 张 MySQL 表，统一为 Qt 终端、Web 管理后台、Android/iOS App、飞书群聊四类入口提供数据服务。pickup_requests 表作为异步消息队列，App 与硬件完全解耦。
六大核心模块覆盖"感知—推理—控制—应用—数据—交互"全链路，NPU、RVV、云端三层异构计算分工协作。
单目摄像头采集 → RVV 畸变校正（3.36 ms）→ YOLOv8n NPU 推理（~50 ms）→ 坐标变换 → PID 脉冲计算 → 电机跟随。追踪收敛 ~474 ms，对齐精度均值 1.5 mm。摄像头扫码与视觉追踪两条管线分工明确，通过数据库传递信息。
端侧全链路 · 零云端依赖以 STM32F411RCT6（100 MHz）为核心的下位机控制板，作为 K1 与硬件执行层之间的实时控制桥梁。K1 通过串口发送高层指令，下位机负责 PWM 信号生成与执行机构驱动。K1 供电模块同为团队自主设计 PCB，非成品模块堆叠。
原创硬件 · F411RCT6 自研 PCB自定义十六进制帧协议：设备地址 + 方向 + 速度 + 加速度 + 脉冲数 + 绝对定位模式。移动前清零帧复位编码器保证重复定位精度。4 个预设位置（0 / 9000 / 19500 / 28000 脉冲）覆盖全部 6 格口，奇数/偶数地址分别对应左右出口区，支持双路并发出库。
闭环 PID · 双路并发DeepSeek 大模型通过 OpenClaw Agent 框架 + 自研 npm 硬件插件，将自然语言转化为结构化 JSON 动作序列。AI 只负责决策，确定性代码负责执行。四个标准 AI 工具（hw_query_packages / hw_get_busyness / hw_create_anomaly / hw_prepare_pickup）供飞书、App、Qt 终端三端共用。
JSON 协议解耦 · 三端共用单一边缘节点同时运行 UART 自定义帧（步进电机十六进制帧 / 机械臂 ASCII 指令）、UART 串口屏协议（淘晶驰大屏）、HC-42 蓝牙串口透传、MySQL TCP 同步、HTTPS DashScope AI 对话、HTTP 局域网直连（App↔chat_server.py:8765）、HTTPS 设备注册共 7 类通信链路。
7 类链路并发 · 异构整合K1 同时运行 NPU 视觉推理、Qt UI 事件循环、Python PID 控制子进程、MySQL 异步同步、蓝牙 3 秒定时推送、DashScope HTTP 请求、App 取件轮询、App AI 聊天服务共 8 项任务。Qt 主线程全程不阻塞，所有 IO 操作通过 QProcess::startDetached 或 QNetworkAccessManager 异步执行。
8 任务并发 · UI 零阻塞以下数据均为 K1 板载实测结果，测试条件：640×480 分辨率，YOLOv8n QDQ 量化 INT8 推理。
| 性能指标 | 实测数值 | 测试条件 / 说明 |
|---|---|---|
| 图像畸变校正耗时（RVV 加速） | 3.36 ms/帧（等效 297 FPS） | 640×480，K1 板载，300 帧平均 |
| 图像畸变校正耗时（Python 基准） | 48.33 ms/帧 | 同分辨率，纯 numpy，无向量化 |
| RVV 向量加速比 | 14.4× | SpacemiT RVV HAL ver 0.0.1 |
| YOLOv8n NPU 推理帧率 | 稳定 20 FPS | QDQ 量化 · INT8 · K1 NPU |
| 目标检测置信度 | >0.95 · 误识别率 0% | 实际运行场景持续统计 |
| 视觉闭环对齐精度（均值） | 1.5 mm | 11 次入库实测，像素级 0.3–10 px |
| 视觉闭环对齐精度（最大值） | 3.3 mm | 11 次入库实测 |
| 追踪收敛耗时（典型值） | ~474 ms | 4–6 次 PID 迭代 |
| 电机控制指令频率 | 11–13 Hz | PID 闭环控制周期 |
| 端到端视觉管线帧率 | 稳定 20 FPS | 校正 3.36 ms + 推理 ~50 ms，管线瓶颈在 NPU |
触摸屏终端、飞书群聊、Web 管理后台、Android/iOS App 四种入口共用同一套 PHP 接口与 MySQL 数据库，权限体系统一，数据实时同步。
800×480 响应式 UI，自适应缩放。自助取件、AI 对话取件、云端 AI 聊天、管理员面板（PIN 码鉴权）、系统设置（子进程生命周期管理）。所有 IO 异步执行，界面全程不阻塞。
React Native / Expo SDK 56，EAS Build 云端构建 + OTA 热更新。一键取件（状态机三态动画弹窗）、悬浮 AI 助手（全屏拖拽 + 底部抽屉对话）、货架可视化、数据看板（动画柱状图）、异常工单处理、游客免登录查件。
纯原生前端（零框架、零图表库）。货架总览（在库时长颜色预警）、包裹全量管理、六维数据分析（纯 CSS/JS 图表）、CSV 批量导入导出（前端预览校验）、异常工单处理（双筛选 + 行内编辑）、深色/浅色主题切换。
通过 OpenClaw 飞书渠道接入 DeepSeek。支持查询包裹（手机尾号→格口）、驿站忙闲查询、异常工单上报（AI 自动预填信息）、预约取件（后台独立倒计时进程，到时自动出库 + 大屏推送，对话响应不阻塞）。
| 入口 | 自助取件 | AI取件/预约 | 游客查件 | 包裹管理 | 数据分析 | 异常处理 |
|---|---|---|---|---|---|---|
| Qt 触摸终端 | ✓ | ✓（含预约） | — | ✓（管理员） | — | — |
| Web 后台 | — | — | ✓ | ✓ | ✓ | ✓ |
| Android/iOS App | ✓ | ✓（含预约） | ✓ | ✓（管理员） | ✓ | ✓（管理员） |
| 飞书群聊 | — | ✓（含预约） | — | — | — | ✓（上报） |
六项核心创新，覆盖异构计算、AI 工程化、端侧闭环、消息队列解耦、异常自闭环、原创硬件设计。
YOLOv8n INT8 推理专用 NPU，图像预处理由 RVV HAL 向量加速（实测 14.4× 提速），语言推理上云（DashScope API）。三者并行互不干扰，充分发挥 K1 异构计算架构优势，保证视觉闭环实时性不受语言模型影响。
以 JSON 协议严格约束 LLM 输出范围，AI 只负责决策，确定性代码负责执行。四个标准 AI 工具（hardware_tools.py）供飞书、App、终端三端共用，新增入口无需修改已有工具实现，实现 AI 驱动硬件的可扩展工程化框架。
摄像头采集 → RVV 畸变校正 → NPU 目标检测 → PID 电机控制完整链路部署于 K1 本地。追踪对齐精度均值 1.5 mm，端到端 20 FPS，无云端算力依赖，避免网络延迟与数据隐私风险。
以 pickup_requests 表作为异步消息队列，App 与硬件完全解耦。请求写入与消费独立运行，断网恢复后轮询自动续处理，四端请求由硬件侧统一消费，避免并发冲突。App AI 助手通过 register_device.php 动态获取 K1 局域网 IP，适应热点切换场景。
入库异常（pack_in.py PID 追踪超时自动上报）与出库异常（用户通过 AI 对话上报）均写入 anomaly_reports 表。管理员可在 Web 与 App 端查看、处置、导出，形成可追溯的完整异常链路，解决无人取件系统缺乏结构化异常记录机制的痛点。
STM32F411RCT6 下位机控制板与 K1 供电模块均为团队自主 PCB 设计打板验证。机械结构（滑台框架、夹爪安装座、传送带支架）CAD 建模后加工搭建。F411RCT6 下位机的引入解决了 K1 计算板 PWM 接口不足的问题，形成"K1 高层调度 + F411 实时执行"的上下位机分层架构。