掌握 CUDA GPU 并行编程（硬件 & 软件）

高性能计算的性能优化与分析

讲师：Hamdy egy

你将学到的内容

• 全面了解 GPU 与 CPU 架构的区别
• 了解图形处理单元（GPU）的发展历史，直至最新产品
• 掌握 GPU 的内部结构
• 了解不同类型的存储器以及它们对性能的影响
• 了解 GPU 内部组件的最新技术
• 掌握 CUDA 在 GPU 上的基础编程
• 在 Windows 与 Linux 上使用 CUDA 开始 GPU 编程
• 理解实现并行化的最高效方法
• 性能分析与调优
• 利用共享内存提升性能

先决条件

• C 与 C++ 基础
• Linux 与 Windows 基础
• 计算机体系结构基础

课程简介

本实践课程将教你如何使用 CUDA 发掘现代 GPU 的强大并行计算能力。你将从 GPU 硬件的基本原理入手，追溯旗舰架构的演进（Fermi → Pascal → Volta → Ampere → Hopper），并通过代码实验室学习如何编写、分析和优化高性能 kernel。

本课程为独立培训资源，未受 NVIDIA 公司赞助、认可或以其他方式关联。 “CUDA”、 “Nsight” 以及各代架构代号均为 NVIDIA 的商标，仅作事实性引用。

你将掌握的内容

• GPU 与 CPU 基础 – 为什么 GPU 在数据并行工作负载中占据优势。
• 代际设计进步 – 对性能影响最大的硬件特性。
• CUDA 工具包安装 – Windows、Linux 与 WSL 的安装步骤及首次运行检查。
• CUDA 核心概念 – 线程、块、网格以及存储层次结构，配合向量相加等实验进行学习。
• 使用 Nsight Compute / nvprof 进行分析与调优 – 测量占用率、隐藏延迟、突破瓶颈。
• 矩阵的二维索引 – 为实际线性代数任务编写高效 kernel。
• 优化手册 – 处理非 2 的幂数据、利用共享内存、最大化带宽、最小化 warp 分歧。
• 稳健的调试与错误处理 – 使用运行时 API 检查，交付可投入生产的代码。

课程结束后，你将能够设计、分析并微调在当代 GPU 上高效运行的 CUDA kernel，为应对高强度的科学、工程和人工智能工作负载奠定坚实基础。

适合人群

• 对 GPU 与 CUDA 感兴趣的任何人，如工程类学生、研究人员以及其他相关从业者。