三维视觉能够提供更立体、更精准、更丰富的感知信息，是机器感知世界的重要途径。将三维视觉技术与机器人技术相结合，形成手眼协调系统，能够有效提升机器人的智能化水平，促进机器人在智能制造等领域的推广应该用。
研究所开发了基于三维视觉的机器人智能控制器，能够实现对象的智能识别、实时测量、抓取策略生成、机器人智能运动规划等功能，兼容主流三维相机与机器人控制器，能够实现机器人三维视觉控制系统的快速部署。
1）端到端的机器人抓取系统
面向物流分拣等领域对机器人抓取异形对象的中大需求，开提出了基于生成式卷积神经网络的机器人端到端抓取方法，通过训练，该方法能够仅利用三维相机拍摄的深度图像作为输入，即可以直接得到最佳的机器人抓取点、抓取位姿和手夹宽度，实现对不同种类、形状各异、未知物体的抓取，已在物流仓储等领域进行应用验证。
图1 复杂多样物体的机器人自主抓取系统
2）机器人三维视觉引导混合码垛系统
采用3D视觉+机器人，结合智能装箱算法，实现动态随机纸箱的尺寸测量、放置位姿识别、高容积率装箱策略生成、机器人无碰运动路径规划，实现动态随机纸箱、包裹的自动装笼，在保证装箱率的前提下，提高分拣中心的无人化、自动化水平，节省大量人力成本。
技术指标：
视觉识别处理时间：0.5s；
机器人路径规划时间：0.2s；
单件节拍：7秒；
装笼容积率：55-72%。
图2 面向物流行业的机器人三维视觉引导智能混码系统
3）复杂混叠物体的机器人无序抓取系统
针对复杂混叠物体检测存在着精度低、效率低等问题，提出了基于物体三维特征点云的模板匹配方法，将空间位姿相似的模板进行聚类，并设计一个评估模板聚类与场景相似程度的评价函数，实现快速、稳定的复杂混叠物体识别与定位。
技术指标：
视觉识别时间：≤1s；
机器人路径规划时间： ≤0.5s；
抓放节拍：≤5s。
图 3 复杂混叠物体的识别与定位
4）基于三维视觉的物体三维测量与重建
提出一种复杂物体的在线三维测量、重建及模型配准的方法。该方法基于区域生长聚类的正态分布算法，实现测量视点初始位姿的准确估计，并通过将点云形状一致性信息转化为预先计算的协方差矩阵，提出基于位姿图优化框架的多视角点云全局配准方法。
图4 复杂物体的在线三维测量、重建及模型配准方法
