Semantic Segmentation vTool#
Semantic Segmentation vTool 可以对通过 Image 输入引脚接收到的图像中的对象进行分类。它通过 Regions 和 Classes 输出引脚输出结果。
如果您还需要区分同一类别的不同独立实例，请使用 Instance Segmentation vTool。
如果您在分割之前使用 ROI Creator vTool 指定感兴趣区域，则 Semantic Segmentation vTool 会通过其 Roi 输入引脚接收 ROI 数据。在这种情况下，分割仅在感兴趣区域上执行。作为一个副作用，这会带来更快的处理速度。
要购买 Semantic Segmentation vTool 的许可证，请访问 Basler 网站。
运作原理#
假设您想要识别并分割图像中的人员，将其与背景区分开来。
这是您的输入图像，显示了仓库环境中的三个人，背景中有各种设备：
您通过加载经过训练将图像分割为两个类别的模型来配置 vTool：person 和 background
接下来，您可以选择要检测和分割的类别。某些模型可能完全量身定制于您的用例。在这种情况下，所有所需的类别都已选中。
配置完 vTool 后，您运行启动推理过程的配方。vTool 利用该模型分析图像并分割存在的对象。分析完成后，将返回分割结果，即区域和类别。
这是引脚数据视图中显示的生成图像，仅显示分割区域，底层不显示原始图像。
如果您在 pin data view 中启用输入图像，则分割区域将叠加在原始图像上。这使您可以同时看到原始图像和检测到的区域。
详细输出
Regions：vTool 突出显示了模型在图像中检测到人员的区域。在输出图像中，人员与背景清晰分割，通常以不同的颜色显示（在此例中，人员为紫色，背景为绿色）。
Classes：background, person
配置 vTool#
要配置 Semantic Segmentation vTool：
- 在 vTool Settings 区域的 Recipe Management 窗格中，单击 Open Settings 或双击 vTool。
随即打开 Semantic Segmentation 对话框。 - 在 服务器选择 区域中，选择要连接的服务器。
服务器必须正在运行才能与其建立连接。- 选项 1：手动输入 Triton Inference Server 的 IP 地址和端口。
- 选项 2：在下拉列表中选择服务器的 IP 地址 / 主机名和端口。
- 点击 Connect 以建立连接。
随后，vTool 将加载可用的模型。 - 在 模型选择 区域中，在下拉列表中选择包含所需模型的 bundle。
选择 bundle 后，下拉列表下方的区域将填充该 bundle 的详细信息，以便您确认选择的是正确的 bundle。
- 如果未列出所需的 bundle，请点击 部署新模型 下拉列表中的
这将打开 pylon AI Agent ，允许您部署更多模型。
部署新模型后，您必须点击 刷新 按钮。 -
在 Detection Settings 区域中，点击 Select Classes 以选择要分类的类别。
此时会打开一个包含可用类别的对话框。默认情况下，所有类别均被选中。您可以根据需要选择任意数量的类别。信息
此区域中可用的参数取决于所选的模型。某些参数仅在选择特定模型后才可用。默认值由模型提供。
-
单击确定。
您可以在 pin data view 中查看分割结果。在此处，您可以选择要显示的输出。
输入#
图像#
直接从 Camera vTool 或从输出图像的 vTool（例如 Image Format Converter vTool）接受图像。
- 数据类型：图像
- 图像格式：8 位到 16 位彩色图像
ROI#
接受来自 ROI Creator vTool 或输出矩形的任何其他 vTool 的感兴趣区域。如果输入了多个矩形，则将第一个矩形用作单个感兴趣区域。
- Data type: RectangleF, RectangleF Array
输出#
区域#
返回每个类别标签的区域。
- 数据类型：区域数组
类#
返回预测的类别标签。
- 数据类型：字符串数组
Payload#
返回有关用于评估的 Inference Server 性能的附加信息。只有在 Debug Settings 参数组的 Features - All 窗格中启用它时，此输出 pin 才会可用。
- 数据类型：字符串