pylon AI 入门#

本主题介绍如何为使用 pylon AI 功能设置开发环境。

为了使用 pylon AI，您必须安装以下组件：

• pylon Software Suite
• 用于 pylon AI 的 pylon 补充包
  本主题介绍了该补充包的安装方法。
• 您还需要您要使用的 vTools 的许可证。有关如何获取和激活这些许可证的信息，请参阅 vTool Licensing 主题。

用于 pylon AI 的 pylon 补充包提供了允许 AI vTools 执行深度学习模型的后端服务。该后端服务是带有 Basler 附加组件的 NVIDIA Triton Inference Server，支持模型加密和许可证管理。

这是 Triton Inference Server 在开发环境中放置位置的概述：

您有两种安装 Triton Server 的选项：

• 在本地计算机上
• 在网络中的远程计算机上

如果您独自开展自己的项目，建议使用第一种选项；而第二种选项更适合团队协作。

Basler 不提供实时 Triton 服务器实例，也不建议将服务器发布为公共互联网端点。您应始终将其视为开发环境的一部分，并采取相应的保护措施。

用于 pylon AI 的 pylon 补充包包含一个修改后的 Docker 镜像，用于准备 Triton Inference Server 以便配合 pylon AI vTools 和 pylon AI Agent 使用。它还包含安装和启动脚本，以及发行说明和第三方许可证信息。

系统要求#

Ubuntu 和 Ubuntu for WSL#

• x86_64 CPU：最新的 Intel Core i5（或更高版本）或同等产品。
• Memory：至少 8 GB 的可用 RAM。推荐使用 16 GB 或更多的可用 RAM。
• 磁盘类型：建议使用 SSD。
• 磁盘空间：安装至少需要 20 GB 的可用磁盘空间。模型库所需的空间取决于您计划部署的模型的大小和数量。每个模型的大小从几兆字节到几吉字节不等。
• CUDA 版本：12+
• GPU 卡：合适卡的示例包括 NVIDIA RTX A5000、NVIDIA RTX A2000 Laptop GPU、NVIDIA Tesla T4 等。

带有 JetPack 6 的 Jetson 系列#

• 模块：所有 NVIDIA Jetson
• Memory：至少 8 GB 的可用 RAM。推荐使用 16 GB 或更多的可用 RAM。
• 磁盘类型：建议使用 SSD。
• 磁盘空间：安装至少需要 20 GB 的可用磁盘空间。模型库所需的空间取决于您计划部署的模型的大小和数量。每个模型的大小从几兆字节到几吉字节不等。

前提条件#

Ubuntu#

有关更多信息，请参见 在 Ubuntu 上安装 docker。

如果您的计算机配备了 NVIDIA GPU，请参见 安装 NVIDIA 驱动程序和 NVIDIA Container Toolkit。

Ubuntu for WSL#

请按照以下说明在 WSL 上安装 Ubuntu OS。

请按照以下说明在 WSL 上的 Ubuntu 中安装 Docker。

Jetson Family (JetPack 6.x)#

必须使用 SDK Manager 刷写您的设备。需要 JetPack 6.x。这其中已经包含了 Docker。

所有 OS 变体#

准备好操作系统后，请确保满足以下要求：

• 已安装 CodeMeter Runtime。
  CodeMeter Runtime 的安装是 pylon Software Suite 安装的一部分。
• AI vTools 的许可证可用。
  有关更多信息，请访问 Basler 网站。

• 已安装 Docker Engine。
  要检查是否已安装 Docker Engine：

  docker --version
  

• 对于 GPU 使用：已安装 NVIDIA Container Toolkit。
  要检查是否已安装此工具包：

  nvidia-container-toolkit -version
  

  如果尚未安装，请阅读以下章节。

安装 NVIDIA 驱动程序和 NVIDIA Container Toolkit（GPU 使用所需）#

NVIDIA Container Toolkit 提供了 GPU 加速计算所需的库和工具。Triton Inference Server 使用 CUDA 来运行诸如模型推理等 GPU 加速操作。NVIDIA Container Toolkit 的版本应与 Triton Server 以及您正在部署的模型所要求的版本相匹配。

要检查 NVIDIA 驱动程序的版本，请打开终端并输入以下命令：

nvidia-smi

如果尚未安装任何驱动程序或工具包，请遵循此页面上的说明：https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

请查看此页面，以确保您的 NVIDIA 驱动程序与 NVIDIA Container Toolkit 和 Triton Inference Server 兼容：https://docs.nvidia.com/deeplearning/triton-inference-server/release-notes/rel-24-11.html#rel-24-11

安装 Triton Inference Server#

模型库在安装过程中创建于您的主目录中，例如 /home/username/pylon_ai/model_repository。您不得对其进行更改。

在线安装#

要从 pylon AI 的 pylon 补充包中安装 Triton Inference Server，请按照以下步骤操作：

1. 切换到包含您从 Basler 网站下载的 pylon-supplementary-package-for-pylon-ai-*.tar.gz 压缩包的目录。

2. 将 pylon Supplementary Package for pylon AI tar.gz 压缩包解压到您选择的目录中（如果要解压到其他目录，请替换 ./pylon_ai_setup）。

   mkdir pylon_ai_setup && tar -xzvf ./pylon-supplementary-package-for-pylon-ai-*.tar.gz -C pylon_ai_setup
   

3. 切换到您解压 pylon Supplementary Package for pylon AI 的文件夹。

   cd pylon_ai_setup
   

4. 使用 root 权限运行安装脚本。

   sudo chmod +x setup-pylon-ai-triton-inference-server.sh && sudo ./setup-pylon-ai-triton-inference-server.sh
   

离线安装#

在无法连接互联网的情况下，请执行以下步骤。

1. 在一台能联网的计算机上，访问 dockerhub 并下载 Basler Triton Server Docker 镜像。
   该镜像可通过以下链接获取：https://hub.docker.com/repository/docker/basler/tritonserver/general

2. 将镜像传输到您要安装 Triton Server 的计算机上。
   您可以使用以下命令来执行第 1 步和第 2 步。

   docker pull basler/tritonserver:[tagname]
   

   docker save basler/tritonserver:[tagname] | gzip > tritonserver.[tagname].tgz
   

   示例：

   docker image save basler/tritonserver:24.11-py3_1.3.0 | gzip > tritonserver.24.11-py3_1.3.0_rc4.tgz
   

3. 切换到包含您从 Basler 网站下载的 pylon-supplementary-package-for-pylon-ai-*.tar.gz 压缩包的目录。

4. 将 pylon Supplementary Package for pylon AI tar.gz 压缩包解压到您选择的目录中（如果要解压到其他目录，请替换 ./pylon_ai_setup）。

   mkdir pylon_ai_setup && tar -xzvf ./pylon-supplementary-package-for-pylon-ai-*.tar.gz -C pylon_ai_setup
   

5. 将保存的 .tar 文件复制到 pylon_ai_setup 文件夹中。

6. 使用 root 权限运行安装脚本。

   sudo chmod +x setup-pylon-ai-triton-inference-server.sh && sudo ./setup-pylon-ai-triton-inference-server.sh
   

启动 Triton Inference Server#

本节详细介绍了启动 Inference Server 的三种不同方式。在牢记以下关于远程运行服务器和 vTools 的信息的同时，选择最适合您需求的方式。

当您启动 Inference Server 时，服务器期望模型仓库位于默认位置，即 /home/username/pylon_ai/model_repository。如果您不小心重命名或删除了该仓库，则必须通过重新安装服务器来重新创建它。

按需启动服务器#

如果您不想在计算机启动时将 Triton Inference Server 作为 Docker 容器启动，您可以在需要时使用以下 Shell 脚本启动 Triton Inference Server。

1. 切换到您解压 pylon Supplementary Package for pylon AI 的文件夹。

2. 启动 Triton Inference Server。

   sudo chmod +x run-pylon-ai-triton-inference-server.sh && sudo ./run-pylon-ai-triton-inference-server.sh
   

在启动时运行服务器#

为了在计算机启动时自动启动 Triton Inference Server Docker 容器，或者在崩溃时自动重启，您可以通过使用附加参数运行 "run-pylon-ai-triton-inference-server.sh" Shell 脚本来创建符合您需求的 systemd 服务。

1. 切换到您解压 pylon Supplementary Package for pylon AI 的文件夹。

2. 启动安装程序脚本。

   sudo chmod +x run-pylon-ai-triton-inference-server.sh && sudo ./run-pylon-ai-triton-inference-server.sh --service
   

将 Triton Inference Server 安装为服务后，您可以在需要时将其临时停止。请记住，它在设备重新启动后将自动启动。

要临时停止负责运行 Triton Inference Server 的 systemd 服务，请打开终端（在任意目录中）并运行：

sudo systemctl stop tritonserver.service

如果要恢复该服务，必须通过运行以下命令来启动它：

sudo systemctl start tritonserver.service

如果您在使用由该服务管理的当前运行的服务器时遇到问题，可以通过运行以下命令来重启它：

sudo systemctl restart tritonserver.service

如果您想永久禁用该服务，可以通过运行以下命令来实现：

sudo systemctl disable tritonserver.service

许可#

您可以在此处或 pylon Supplementary Package for pylon AI 中包含的许可证文件中找到许可信息。

故障排除#

CodeMeter 在 pylon 安装期间进行配置，以便 Triton Inference Server 可以访问所需的许可证。

在少数情况下，这可能会失败。如果发生这种情况，请将 CodeMeter 配置为网络服务器：

1. 打开 CodeMeter Control Center，并点击右下角的 WebAdmin 按钮。
2. 在 CodeMeter WebAdmin 中，导航至 Configuration > Server > Server Access。
3. 在 Network Server 区域中，选择 Enable 并点击 Apply 确认。
4. 返回 CodeMeter Control Center。
5. 在 Process 菜单中，点击 Restart CodeMeter Service，以将 CodeMeter 重新启动为网络服务器。

已知问题#

Jetson Orin 上的 ONNX Runtime 错误

当设备处于低功耗模式下执行 run-pylon-ai-triton-inference-server.sh 命令时，Jetson Orin 设备上会出现运行时错误。不过，您尝试加载的模型仍会被加载。为防止此错误，请在 Jetson Orin 上配置更高的功耗模式。