跳转到内容
STAGING SERVER
DEVELOPMENT SERVER

Classification vTool#

Classification vTool 根据您所选的模型对图像中的对象进行分类,即检测对象并根据其所属类别打上标签。

Classification vTool 可以对通过 Image 输入引脚接收到的图像中的对象进行分类。它通过 Classes 和 Scores 输出引脚输出结果。

如果您在分类前使用 ROI Creator vTool 指定感兴趣区域,Classification vTool 将通过其 Roi 输入引脚接收 ROI 数据。在这种情况下,分类仅在感兴趣区域内进行。这还有一个好处,就是能加快处理速度。

如需购买 Classification vTool 的许可证,请访问 Basler 网站。

Classification vTool

运作原理#

假设您想要对图像进行分类,以确定其中包含的是哈士奇还是火烈鸟。

这是显示火烈鸟的输入图像:

显示火烈鸟的输入图像

您可以通过加载经过训练可将图像分类为各种类别(包括 Husky 和 Flamingo)的模型来配置 vTool。

已选择动物分类套件

接下来,您可以选择要检测和分类的类别。某些模型可能完全量身定制于您的用例。在这种情况下,所有所需的类别都已处于选中状态。

选择类别对话框

配置好 vTool 后,您可以运行启动推理过程的方案(recipe)。vTool 利用模型来分析图像并识别存在的对象。分析完成后,系统会返回分类结果。

这是引脚数据视图中的结果图像:

结果高亮的分类

详细输出

类:Flamingo

分数:0.687027

该结果表明,模型有 68.7% 的把握认为图像中的对象是火烈鸟。

但是,如果上传的图像包含火烈鸟,但未选中 Flamingo 类别,则模型不会返回与火烈鸟相关的任何结果。vTool 只能对所选类别进行分类并返回相应结果。

此功能可让您将分类重点放在特定的感兴趣类别上,从而确保只显示相关结果。

Batching 功能#

Classification vTool 的 Roi 输入引脚可接收多个矩形。为提高速度和效率,请使用 Batching 功能同时处理多个矩形。这允许 Inference Server 将多个推理请求合并为一个请求。为此,您的模型必须支持批处理。如果所选模型不支持批处理,则每个 ROI 将在单个请求中处理,这可能会降低性能。

您可以在 Model Settings 参数组中的 Features - All 窗格中检查该模型是否支持批量处理。

最佳批量大小取决于硬件。如果批量大小超过了可用的硬件性能,您可能会发现性能下降。尝试不同的批量大小,直到您对性能满意为止。作为一般规则,批量大小不应超过输入的矩形数量。

配置 vTool#

若要配置 Classification vTool:

Classification vTool 设置

  1. 在 vTool Settings 区域的 Recipe Management 窗格中,单击 Open Settings 或双击该 vTool。
    随即打开 Classification 对话框。

  2. 在 Server Selection 区域中,选择您要连接的服务器。
    服务器必须正在运行才能连接到它。

    • 选项 1:手动输入 Triton Inference Server 的 IP 地址和端口。
    • 选项 2:在下拉列表中选择服务器的 IP 地址 / 主机名和端口。
  3. 点击 Connect 以建立连接。
    随后,vTool 将加载可用的模型。

  4. 在 模型选择 区域中,在下拉列表中选择包含所需模型的 bundle。
    选择 bundle 后,下拉列表下方的区域将填充该 bundle 的详细信息,以便您确认选择的是正确的 bundle。
    模型选择区域

  5. 如果未列出所需的 bundle,请点击 部署新模型 下拉列表中的
    部署新模型
    这将打开 pylon AI Agent ,允许您部署更多模型。
    部署新模型后,您必须点击 刷新 按钮。

  6. 在检测设置区域中,单击“选择类别”以选择要分类的类别。
    此时会弹出一个对话框,显示可供选择的课程。默认情况下,所有课程均已选中。您可以根据需要选择任意数量的课程。

    信息

    此区域中可用的参数取决于所选的模型。某些参数仅在选择特定模型后才可用。默认值由模型提供。

  7. 单击确定。

您可以在引脚数据视图中查看分类的结果。在这里,您可以选择要显示的输出。

输入#

图像#

直接从 Camera vTool 或从输出图像的 vTool(例如 Image Format Converter vTool)接受图像。

  • 数据类型:图像
  • 图像格式:8 位到 16 位彩色图像

ROI#

接受来自 ROI Creator vTool 或任何其他输出矩形的 vTool 的感兴趣区域 (ROI)。如果输入了多个矩形且您的模型支持此功能,请使用 Batching 功能在一个步骤中处理它们。

  • Data type: RectangleF, RectangleF Array

输出#

类#

返回具有最高置信度评分的预测类别。如果输入了多个 ROI,则输出所有 ROI 的预测类别。

  • 数据类型:字符串数组

得分#

返回预测类别的置信度评分。如果输入了多个 ROI,则输出所有 ROI 中预测类别的评分。

  • 数据类型:浮点数组

Payload#

返回有关用于评估的 Inference Server 性能的附加信息。只有在 Debug Settings 参数组的 Features - All 窗格中启用它时,此输出 pin 才会可用。

  • 数据类型:字符串

典型前置项#