ZIVID彩色相机手眼标定的意义

您可能会有如下疑问：
1、什么是手眼校准？
2、我的自动化任务是否需要手眼校准？
3、 Zivid 的 3D 手眼标定 API 能为我带来哪些好处？

一、手眼标定的含义
你每天都天在使用手眼标定。您用手解决的所有任务，从挑选各种质地和大小的物体到精细的灵巧任务（例如缝纫），都需要正确校准您的手和眼睛。

你的眼睛。我们的视觉能够在极端工作距离内捕捉高分辨率、宽动态范围的图像，并且几乎可以对任何物体进行颜色和深度感知。

你的脑。我们的大脑非常擅长快速处理大量数据，并对我们眼睛捕捉到的图像进行立体匹配。（顺便说一句，这个算法比目前可用的任何计算机算法都要好几个数量级。）

你的手臂和手。能够毫不费力地移动并正确抓住我们周围的物体。手眼校准。从我们还是孩子的时候起，我们的大脑就通过反复试验、经验和知识在我们的眼睛、手臂和身体相互关联的位置之间建立了完美的校准。

你可以这样理解：
当你拿起一个物体时：我们的眼睛会捕捉到物体的图像。我们的大脑处理这些图像，找到物体，并告诉我们的手臂和手去哪里以及如何拾取物体。手眼校准使之成为可能。

这让我们了解了手眼校准对机器人应用的意义。

Zivid 3D彩色相机的手眼校准 API 支持手眼校准的 两种方式

1.Eye to hand
相机固定安装在机器人旁边。在这种情况下，我们需要找到从相机坐标系到机器人底座坐标系的转换。这意味着在相机坐标中找到的任何东西都可以很容易地转换到机器人的系统中：

2.Eye in hand
相机安装在机器人手臂上。在这种情况下，我们需要找到从机器人末端执行器（机器人工具点）到相机的转换。由于机器人始终知道其末端执行器相对于机器人坐标系的位置，因此我们实现了必要的转换：

二、我的自动化任务是否需要手眼校准？

在许多应用中，尤其是机器人驱动的应用中，手眼校准是必须的。它不仅大大简化了集成，而且通常会提高应用程序的准确性。假设您已将目标对象放置物料筐中，上面安装了Zivid 3D彩色相机，并且您的机器人在物料筐旁边有一个抓手。执行手眼校准后，3D bin-picking 流程可能如下所示：
1、Zivid相机捕捉场景的 3D 图像。输出具有 高质量的1:1 点云数据；
2、在点云上运行检测算法以找到所需对象的位姿；
3、使用手眼校准将拾取姿势转换为机器人的坐标系。
4、该应用程序现在可以将机器人的夹具移动到正确的姿势并拾取物体。

手眼校准是机器人和相机之间的绑定，这使得我们很容易理解为什么拥有准确的手眼校准对于解决自动化任务至关重要。使用高精度 3D 相机，您只需要一张快照就可以知道目标物体在空间中的位置，然后才能成功拾取它。

三、Zivid 的 3D 手眼标定 API 能为我带来哪些好处？
手眼校准是一种使用机器人和相应相机位姿的最小化方案。机器人位姿是直接从机器人读取的，而相机位姿是从相机图像中计算出来的。执行此校准的一种常见方法源自使用 2D 姿态估计的 2D 相机。简化后，您可以捕获已知校准对象的图像、校准相机并估计 2D 到 3D 姿势。

任何尝试过相机校准的人都知道以下几点很难做到：
1、使用一个好的校准对象，例如棋盘。这意味着非常准确的角到角距离和平整度。
2、在不同距离和角度（校准体积）拍摄校准对象的曝光良好的图像。在校准体积中展开图像并捕捉相机框架的中心和边缘是实现良好校准的关键。

虽然这两个步骤都不是微不足道的，但第二步尤其具有挑战性。即使是非常有经验的相机校准专家也会赞同。在 Zivid，我们在工厂校准每台 3D 相机，并投入了数千小时的工程时间来确保准确的相机校准。

所以问题是，当您的 3D 相机已经提供了高度准确的点云时，您是否应该重新校准 2D 相机并估计 2D 到 3D 的姿势？好吧，简短的回答是：可能不会。

Zivid 的手眼校准 API 使用工厂校准的点云来计算手眼校准。这不仅会产生更好的结果，而且位置更少。更重要的是，结果是可重复且易于获得的。

下图显示了作为每次校准使用的图像数量的函数的典型旋转和平移误差。

如图所示，zivid校准改进使平移误差提高 3 倍，旋转误差提高 5 倍。