Semantic Segmentation vTool#
Semantic Segmentation vTool 可以对通过 Image 输入引脚接收到的图像中的对象进行分类。它通过 Regions 和 Classes 输出引脚输出结果。
如果您还想区分同一类别的不同独立实例，请使用 Instance Segmentation vTool。
如果您使用 ROI Creator vTool 在分割前指定感兴趣区域，Semantic Segmentation vTool 将通过其 Roi 输入引脚接收 ROI 数据。在这种情况下，分割仅在感兴趣区域上执行。作为一个附带效果，这可以加快处理速度。
要购买 Semantic Segmentation vTool 的许可证，请访问 Basler 网站。
运作原理#
假设您想要识别并分割图像中的人员，将其与背景区分开来。
这是您的输入图像，显示了仓库环境中的三个人，背景中带有各种设备：
您可以通过加载经过训练的模型来配置该 vTool，该模型可将图像分割为两个类别：person 和 background
接下来，您可以选择要检测和分割的类别。某些模型可能完全针对您的用例定制。在这种情况下，所有所需的类别都已被选中。
配置完 vTool 后，运行启动推理过程的配方。vTool 利用该模型分析图像并分割其中的对象。分析完成后，将返回分割结果，即区域和类别。
这是引脚数据视图中的结果图像，仅显示分割区域，底层不显示原始图像。
如果您在 引脚数据视图 中启用输入图像，分割区域将叠加在原始图像上方。这使您可以同时查看原始图像和检测到的区域。
详细输出
Regions：vTool 突出显示了模型在图像中检测到人的区域。在输出图像中，人员与背景清晰分割，通常以不同的颜色显示（在此例中，人为紫色，背景为绿色）。
Classes：background、person
配置 vTool#
要配置 Semantic Segmentation vTool：
- 在 vTool 设置区域的 Recipe Management 窗格中，单击 Open Settings 或双击该 vTool。
随即打开 Semantic Segmentation 对话框。 - 在 服务器选择 区域中，选择您要连接的服务器。
服务器必须处于运行状态才能与其建立连接。- 选项 1：手动输入 Triton Inference Server 的 IP 地址和端口。
- 选项 2：在下拉列表中选择服务器的 IP 地址 / 主机名和端口。
- 点击 Connect 以建立连接。
随后，vTool 会加载可用的模型。 - 在 模型选择 区域中，在下拉列表中选择包含所需模型的 bundle。
选择 bundle 后，下拉列表下方的区域将填充 bundle 详细信息，以便您确认所选 bundle 是否正确。
- 如果未列出所需的 bundle，请点击 部署新模型 下拉列表中的
这将打开 pylon AI Agent ，允许您部署更多模型。
部署新模型后，您必须点击 刷新 按钮。 -
在 Detection Settings 区域中，点击 Select Classes 以选择要分类的类别。
随之会打开一个包含可用类别的对话框。默认情况下，所有类别均处于选中状态。您可以根据需要选择任意数量的类别。信息
此区域中可用的参数取决于所选的模型。某些参数仅在选择特定模型后才可用。默认值由模型提供。
-
单击确定。
您可以在引脚数据视图中查看分割结果。在这里，您可以选择要显示的输出。
输入#
图像#
直接从 Camera vTool 或从输出图像的 vTool（例如 Image Format Converter vTool）接受图像。
- 数据类型：图像
- 图像格式：8 位到 16 位彩色图像
ROI#
接受来自以下位置的感兴趣区域： ROI Creator vTool 或任何其他输出矩形的 vTool。如果输入多个矩形，则使用第一个矩形作为单个感兴趣区域。
- 数据类型：RectangleF，RectangleF 数组
输出#
区域#
返回每个类标签对应的区域。
- 数据类型：区域数组
类#
返回预测的类别标签。
- 数据类型：字符串数组
有效载荷#
返回有关推理服务器性能的附加信息以供评估。只有在“调试设置”参数组的“功能 - 全部”窗格中启用此输出引脚后，它才会可用。
- 数据类型：字符串