使用 Jetbot 机器人进行人工智能与机器人技术

在Nvidia的自动驾驶汽车和Jetson nano中启动智能人工概念

讲师：Alexandre Bourrieau

---

您将学到的内容

• 使用 Jetbot 机器人实现与自动驾驶汽车相关的基础人工智能概念。
• 在嵌入式系统中使用 Python 编写 AI，实现图像分类、回归以及目标检测。
• 利用 Nvidia 的 TensorRT 软件对模型进行优化，使其能够实时运行。
• 使用 TensorFlow 公共资源中的科研模型，并将其集成到 Jetson Nano 嵌入式板上。

要求

• 硬件：Nvidia Jetson Nano 开发板和 Jetbot 机器人
• 具备 Python 编程基础
• 了解 Linux 操作系统的基本使用

课程简介

在本课程中，您将学习如何使用 Jetbot 套件开展与自动驾驶汽车开发相关的项目。您将看到如何实现 图像识别、轨迹跟踪以及在视频中 检测与识别目标。课程使用 Python 编程语言，并结合 Tensorflow、Keras、Numpy 等专用于 深度学习的库。

我们提供了一个已预装所有软件和资源的镜像文件，可直接下载使用。

JetBot 是一个 开源机器人平台，专为人工智能而生，为开发者、学生和技术爱好者提供了创建创意、智能且引人入胜的 AI 应用所需的一切。它基于 Nvidia Jetson Nano AI 计算板，体积小巧却性能强大，能够并行处理多个传感器和神经网络，实现目标检测、避障等功能。该高创新度的机器人平台提供了丰富的配置选项，帮助您实现定制化的应用。

通过清晰的讲解和大量实例，您将系统掌握如何使用 Jetson Nano 开发套件与 Jetbot，课程共分为 7 大主题：

• 硬件搭建与 Jetson Nano、Jetbot 专用开发软件的安装
• Jetbot 机器人的基础驱动
• 使用游戏手柄控制 Jetbot 的移动
• 构建用于避障的 AI 模型
• 使用 TensorRT 优化模型，实现超高速实时推理
• 基于 AI（ResNet‑18 模型）进行轨迹跟踪
• 使用 AI（SSD‑MobileNet V2 模型）实时检测、识别并跟踪目标

所有 Python 示例均有详细说明。课程总时长超过 7 小时，帮助您熟练使用 Nvidia Jetson Nano 开发套件和 Jetbot，完成基于人工智能的机器人项目。

=== 前置条件 ===

具备 Python 基础将有助于理解课程中涉及的程序，尤其是与人工智能及 Tensorflow/Keras 库相关的部分。熟悉 Linux 环境同样是加分项。

如果您已经完成我之前的 Jetson Nano 入门培训，将更容易上手，但这并非必需。

拥有深度学习、Arduino 或 Raspberry Pi 的经验者，会在本课程中学到许多新内容，进一步拓宽技能。即便您已经学习过我的 Jetson Nano 课程，本课程仍提供大量机器人领域的全新知识。

=== 在线帮助 ===

无论您处于何种水平，我都会随时提供帮助。由于每位学员的背景（学习或工作）不同，编程过程中难免会遇到问题，请大胆提问，我承诺在合理时间内回复。您的积极性是完成本课程的关键。

=== 课程学习主题 ===

#1. 硬件搭建与 Jetson Nano、Jetbot 专用开发软件的安装

Jetson Nano 支持 JetPack 开发套件，内含 Nvidia Cuda‑X 加速库以及完整的 AI 软件栈，涵盖机器学习、计算机视觉、图形计算和多媒体处理等库。

Jetbot 使用专用的 Python 库进行编程，可直接从官方 GitHub 仓库安装。

所有示例均在 JupyterLab 环境下运行。

#2. Jetbot 基础驱动

Jetbot 可通过 Python 语言使用简洁指令实现前进、后退、转向等动作。JupyterLab 界面提供丰富的交互方式，使机器人控制更加便捷。例如，Widgets 可以实时显示摄像头视频流，或创建虚拟摇杆用于控制机器人。

本章节将演示如何利用这些工具自行编写控制界面。

#3. 使用游戏手柄控制 Jetbot 的移动

Jetbot 套件配备了无线游戏手柄，提升操控体验。

本章节您将学习如何编写 Python 脚本读取手柄指令（如移动机器人），以及如何通过手柄拍摄并保存图像。

#4. 构建用于避障的 AI 模型

自动驾驶技术正快速发展，避障是其中最关键的任务之一。为此我们需要一个能够识别图像的 AI。

ResNet 是一种残差网络，最复杂的版本拥有 50 层，并引入残差连接。与传统的线性堆叠卷积层不同，残差网络会把前几层的输出直接传递给后面的层，从而缓解梯度消失问题。

我们将在 Jetson Nano 上使用 Python 实现该模型，并将其用于 Jetbot 的障碍物检测。

#5. 使用 TensorRT 优化模型，实现超高速实时推理

AI 模型对计算资源需求极高，这正是 Jetson Nano 采用专用 GPU 的意义所在。

然而 GPU 的算力仍有上限，若要在实时系统中部署 AI，必须对模型进行极致优化。NVIDIA 的 TensorRT 正是为此而生——它是高性能的推理优化器和运行时，提供低延迟和高吞吐量。

本章节我们将实际使用 TensorRT 对图像识别模型进行加速，使处理速度提升至接近 80 帧/秒！

#6. 基于 AI（ResNet‑18）进行轨迹跟踪

自动驾驶车辆的另一大挑战是沿预定路径行驶。为此可以使用车载摄像头识别道路标线等信息。

本章节我们将构建一个 AI，使 Jetbot 能识别路面标线并跟随其轨迹。同时，我们会实现基于 PID（比例‑积分‑微分）控制的闭环算法，利用 AI 提供的视觉信息精准控制机器人运动。

所有过程均在完成 TensorRT 优化后实时运行。

#7. 使用 AI（SSD‑MobileNet V2）实时检测、识别并跟踪目标

不久前，MobileNet 已经在实时图像识别领域崭露头角。它的典型应用是“目标检测”，即在图像中找出所有物体并用框标记。

MobileNet 是一种轻量级卷积神经网络（CNN），将卷积过程拆分为两步以提升速度。SSD（Single Shot MultiBox Detector） 在扫描图像时会定位所有可能的目标区域；随后 MobileNet 对这些区域进行分类。两者结合后，既能快速定位目标，又能准确分类，性能非常出色。

本章节您将学习如何使用 TensorFlow 公共资源中预训练好的模型，并将 SSD‑MobileNet V2 集成到 Jetbot 中。

借助该模型，Jetbot 能在视频流中实时识别特定物体并自主移动，同样会在 TensorRT 优化后实现实时运行。

适合人群

• 本科及以上学历的学生和从业者，涉及工程、嵌入式电子、人工智能、机器人等领域……
• 希望在 Nvidia Jetson Nano 嵌入式平台上实现 AI 的任何人
• 想学习使用 AI 模型进行图像识别与分析的任何人
• 希望深入掌握人工智能技术的任何人
• 对自动驾驶汽车相关项目感兴趣的任何人