使用 Nvidia Jetson Nano 进行 AI 与 IoT 培训

使用Tensorflow/Keras和Python启动对象互联网和智能人工（深度学习）

讲师：Alexandre Bourrieau

---

您将学到的内容

• 在 Jetson Nano 上安装并配置 Linux。远程管理操作系统，安装 Visual Studio 与 Jupyter Notebook。
• 使用 Python 编写程序，在 Nvidia Jetson Nano 开发套件上实现 IoT。通过 GPIO 接口和 I2C 总线与传感器通信。
• 使用 USB 与 CSI 摄像头，借助 Python 的 OpenCV 库捕获视频流和图像。掌握 OpenCV 管道的使用。
• 在 Jetson Nano 上安装并使用 AI 与深度学习专用库，如 Keras、TensorFlow、NumPy、Pandas。
• 编写嵌入式图像分类模型：用于图像识别与情感分析的应用。
• 编写嵌入式图像回归模型：用于视频中目标跟踪的应用。
• 使用 TensorRT 对模型进行优化，以提升嵌入式系统中的执行速度和吞吐量。

先决条件

• Nvidia Jetson Nano 开发套件（含 64 GB SD 卡和电源适配器）、CSI 或 USB 摄像头、PCF8591 模块、LED 与电阻。
• 具备 Python 编程基础。
• 具备 Linux 系统管理经验者更佳，课程会在需要时进行讲解。

课程简介

Jetson Nano 是 NVIDIA 推出的开发套件，为数以百万计的 高性能、低功耗人工智能系统提供前所未有的算力。这一技术创新为 IoT 嵌入式应用打开了全新可能。Jetson Nano 是希望在真实参数和可直接实验项目中学习 AI 的专业人士的理想选择。

我们提供了预装全部软件与资源的镜像文件，可直接下载使用。

Jetson Nano 体积仅 70 × 45 mm，却拥有 472 GFlops 的算力，足以运行真正意义上的 AI 任务，且热设计功耗不超过 5 W。

本课程将教您在 IoT 与人工智能项目中使用 Jetson Nano，涵盖 图像识别、视频轨迹跟踪等场景。您将使用 Python 编程语言以及 TensorFlow、Keras、NumPy 等深度学习库。

通过清晰的讲解和大量实例，您将系统掌握 Jetson Nano 开发套件的使用，课程共分 8 大主题：

• Jetson Nano 入门与 Linux 系统管理
• 使用 GPIO 进行输入/输出编程
• 使用 OpenCV 编程内置摄像头
• AI 与深度学习：使用 Keras / TensorFlow 创建简易图像识别模型
• 基于 ResNet 的深度学习图像分类
• 利用图像识别分析视频中的情感状态
• 图像回归：在视频中实现目标跟踪
• 使用 TensorRT 优化嵌入式模型性能

所有 Python 示例均有详细说明。全课程时长超过 11 小时，帮助您熟练使用 Nvidia Jetson Nano 实现 AI 与 IoT 项目。

=== 先决条件 ===

具备 Python 基础有助于更好地理解所使用的程序，尤其是涉及人工智能和 TensorFlow / Keras 库的部分。

如果您已有深度学习、Arduino 或 Raspberry Pi 的经验，课程中仍有许多新主题可帮助您进一步拓宽技能。

=== 在线帮助 ===

无论您的水平如何，我都会随时提供帮助。由于每位学员的背景（学习或工作）不同，编程过程中难免会遇到问题，请大胆提问，我承诺在合理时间内回复。保持积极的学习动力是完成本培训的关键。

=== 课程学习主题 ===

#1. Jetson Nano 入门与 Linux 系统管理

本模块使用 JetPack 开发套件，JetPack 集成了 Nvidia Cuda‑X 加速库以及完整的 AI 软件栈，涵盖机器学习、计算机视觉、图形计算和多媒体处理。JetPack 还提供最新的 Linux 操作系统、Cuda、cuDNN 与 TensorRT 版本。

#2. 使用 GPIO 进行输入/输出编程

GPIO（General Purpose Input/Output，通用输入输出）是微控制器领域中最常用的 I/O 接口，始于 1980 年代初。它们位于电路板上，用于与外部电子元件或电路通信，可用于读取传感器数据或控制执行器。

本章节将学习如何在 Python 中使用 GPIO，从而驱动各种传感器和执行器。

#3. 使用 OpenCV 编程内置摄像头

接下来的实战项目将基于 AI 对视频进行分析。我们首先学习如何在 Jetson Nano 上获取来自 USB 或 MIPI 接口摄像头的视频流。

#4. AI 与深度学习：使用 Keras / TensorFlow 创建简易图像识别模型

图像识别是计算机视觉和人工智能的子领域，涉及一系列检测与分析图像的技术，以实现特定任务的自动化。它能够识别图像中的地点、人物、物体等元素并进行推理。

本章节旨在介绍图像识别的基础概念，使用业界最流行的 Keras / TensorFlow 库实现一个简单的识别模型。

实践环节将通过卷积神经网络（CNN）实现图像识别功能。

#5. 基于 ResNet 的深度学习图像分类

ResNet 由微软亚洲研究院的何凯明、孙健等人于 2015 年提出，在 ILSVRC‑2015 分类任务中夺冠，并在 ImageNet 检测、定位、COCO 检测与分割等任务中同样取得第一。

最常用的 ResNet‑50 版本包含 50 层，引入了残差连接。与传统的线性堆叠层不同，残差网络会把前几层的输出直接与后续层的输出相加，从而实现更深的网络结构。

我们将在 Jetson Nano 上用 Python 实现该模型，用于实时图像分类，例如判断视频中拇指是抬起还是放下。

#6. 利用图像识别分析视频中的情感状态

进阶练习：使用同样的 ResNet 模型实时判断人物的情绪——是高兴、悲伤、平静还是愤怒。

#7. 实时视频中的目标跟踪

图像回归技术可以实现对视频中目标的实时跟踪。示例项目将跟踪人脸的某个部位（例如鼻子）。我们将在 ResNet 基础上添加专用的目标检测层，实现跟踪功能。

#8. 使用 TensorRT 优化嵌入式模型性能

AI 模型对计算资源需求极高，这正是 Jetson Nano 配备专用 GPU 的意义所在。但在实时系统中，GPU 性能仍可能不足，需要对模型进行极致优化。NVIDIA 的 TensorRT 正是为此而生——它是高性能推理优化器和运行时，提供低延迟和高吞吐。

我们将实际使用 TensorRT 对轨迹跟踪模型进行加速，使处理帧率从约 9 fps 提升至接近 60 fps！

适合人群

• 希望在嵌入式电子系统中集成人工智能（AI）或深度学习的任何人士
• 对 IoT（物联网）、人工智能（AI）和深度学习感兴趣的高中生、大学生或专业人士
• 希望使用 Python 与 Keras / TensorFlow 编写图像处理（识别与分类）深度学习模型的高中生、大学生或专业人士