Object Detection vTool#

Object Detection vTool 根据您所选的模型来检测和分类图像中的对象。

Object Detection vTool 可以对通过 Image 输入引脚接收到的图像中的对象进行分类。它通过 InferenceImage、BBoxes_px、Classes 和 Scores 输出引脚输出结果。会在检测到的每个对象周围绘制一个边界框。

如果您使用 ROI Creator vTool 在检测前指定感兴趣区域，Object Detection vTool 将通过其 Roi 输入引脚接收 ROI 数据。在这种情况下，检测将仅在感兴趣区域上执行。作为一个附带效果，这将加快处理速度。

要购买 Object Detection vTool 的许可证，请访问 Basler 网站。

运作原理#

假设您想要检测和识别图像中的特定对象，例如场景中的人员或其他元素。

这是您的输入图像，显示了六个带有滑雪装备的儿童：

您可以通过加载经过训练以检测各种对象（包括人员和滑雪装备）的模型来配置 vTool。

接下来，您可以选择要检测和分割的类别。某些模型可能完全量身定制于您的用例。在这种情况下，所有所需的类别都已选中。

配置 vTool 后，运行启动推理过程的 recipe。vTool 利用该模型分析图像并识别和定位存在的对象。分析完成后，将返回分割结果。它包含图像中检测到的每个不同对象实例的边界框、类别标签和置信度分数。

这是引脚数据视图中的结果图像：

六个人被检测为带有标记为 person 的紫色边界框的人员。同样，5 个滑雪板被检测并在标记为 skis 的边界框内。

详细输出

• 边界框：边界框是围绕检测到的对象绘制的矩形。对于每个边界框，都会输出中心像素、宽度、高度和旋转角度。
• 类别：person、skis
  类别标签表明模型将边界框中的对象识别为人员或滑雪板。
• 分数：分数植（例如 0.890817）表示模型对其检测的置信度，例如 89.08 %。分数越高（越接近 1.0），表明置信度水平越高。

配置 vTool#

要配置 Object Detection vTool：

1. 在 vTool Settings 区域的 Recipe Management 窗格中，点击 Open Settings 或双击该 vTool。
   随即打开 Object Detection 对话框。
2. 在 服务器选择 区域中，选择要连接的服务器。
   服务器必须正在运行才能与其建立连接。
   • 选项 1：手动输入 Triton Inference Server 的 IP 地址和端口。
   • 选项 2：在下拉列表中选择服务器的 IP 地址 / 主机名和端口。
3. 点击 Connect 以建立连接。
   随后，vTool 将加载可用的模型。
4. 在 模型选择 区域中，在下拉列表中选择包含所需模型的 bundle。
   选择 bundle 后，下拉列表下方的区域将填充该 bundle 的详细信息，以便您确认选择的是正确的 bundle。
   
5. 如果未列出所需的 bundle，请点击 部署新模型 下拉列表中的
   这将打开 pylon AI Agent ，允许您部署更多模型。
   
   部署新模型后，您必须点击 刷新 按钮。

6. 在检测设置区域中，单击“选择类别”以选择要分类的类别。
   此时会弹出一个对话框，显示可供选择的课程。默认情况下，所有课程均已选中。您可以根据需要选择任意数量的课程。

   信息

   此区域可用的参数取决于所选模型。某些参数仅在选择特定模型后可用（例如， IOU 阈值）。默认值由模型提供。

7. 在检测设置中指定其他选项：

   1. 对象数量：您可以指定要检测的最大对象数量，或者选择“无限制” 。
      此限制分别适用于每个类别。如果图像中的对象数量超过此处指定的数量，则会检测得分最高的匹配项。
   2. 最大/最小高度：如果您想按高度筛选边界框，请指定相应的值。由于边界框的高度与对象的高度相对应，因此您可以仅检测所需大小的对象。
   3. Maximum/Minimum width: 如果您想按宽度过滤边界框，请指定适当的值。由于边界框的高度对应于物体的宽度，这使您能够仅检测所需大小的物体。
   4. Confidence threshold: 置信度是神经网络的一个系数，用于指示图像中的物体对所选类别的代表性。较高的值意味着更高的置信度并减少误报。
   5. Edges: 您可以通过将边界框各自的边缘移动指定的像素数来扩大检测到的物体周围的边界框。这可确保物体完全位于框内。
   6. IOU Threshold: 某些边界框可能会重叠。通过此参数，您可以控制是否合并边界框。较低的值意味着较低的容差，大多数边界框将被合并。

8. 单击确定。

您可以在 pin data view 中查看 Object Detection 的结果。在这里，您可以选择要显示的输出。

输入#

图像#

直接从 Camera vTool 或从输出图像的 vTool（例如 Image Format Converter vTool）接受图像。

• 数据类型：图像
• 图像格式：8 位到 16 位彩色图像

ROI#

接受来自 ROI Creator vTool 或输出矩形的任何其他 vTool 的感兴趣区域。如果输入了多个矩形，则将第一个矩形用作单个感兴趣区域。

• Data type: RectangleF, RectangleF Array

输出#

要将该 vTool 与 Starter vTools 配合使用，可以将输出 pin 的数据类型从多值数据切换为单值数据。为此，请使用 Data Type Selector 窗格中的 Features - All 参数。

InferenceImage#

返回一个图像，其中为每个输入图像检测到的物体绘制了边界框，以可视化结果。

• 数据类型：图像

BBoxes_px#

为检测到的每个物体返回一个边界框。每个边界框由其中心像素的坐标、宽度和高度（x_center、y_center、width、height）定义。边界框输出可用作其他 vTool 的 Roi 输入 pin 的输入。

• 数据类型：RectangleF 数组

类#

返回检测到的物体的类别标签。

• 数据类型：字符串数组

得分#

返回检测到的每个物体的置信度得分。

• 数据类型：浮点数组

Payload#

返回有关用于评估的 Inference Server 性能的附加信息。只有在 Debug Settings 参数组的 Features - All 窗格中启用它时，此输出 pin 才会可用。

• 数据类型：字符串

相关的 vTools#

典型前置项#

• 相机vTool
• Image Format Converter vTool
• Image Loading vTool
• ROI Creator vTool

典型后置项#

• 条码读取器vTool
• Image Smoothing vTool（例如，用于隐私模糊）