幻仿编程 Udemy 付费课程，独家中英字幕 + 配套资料！
限时1折特惠！课程永久访问权，随时随地学习！
进化人工智能：Python中的深度强化学习（第2版）
使用进化策略（ES）和增强随机搜索（ARS）构建人工智能（AI）代理
讲师：Lazy Programmer Team, Lazy Programmer Inc.
你将学到的内容
- 从零开始理解和实现进化策略（ES）
- 从零开始理解和实现增强随机搜索（ARS）
- 将进化方法应用于MuJoCo（物理模拟环境）
- 将进化方法应用于经典控制强化学习环境
- 将进化方法应用于股票交易和投资组合优化
课程要求
- 具备Python编程基础及数值计算库（如Numpy）的使用经验
- 能够构建神经网络（无需掌握反向传播）
- 微积分、线性代数、概率论知识会有帮助
课程描述
通过新颖的进化方法探索强化学习的前沿领域。本课程中，你将掌握进化策略（ES）和增强随机搜索（ARS）——这两种强大的算法可以绕过传统深度强化学习的许多挑战，同时仍能实现最先进水平的成果。
与依赖梯度的方法不同，这些算法具有简单、可扩展且出乎意料的有效性。你将用Python从零实现它们，并应用于令人兴奋的真实世界问题：
- MuJoCo环境：在广泛用于机器人研究的物理模拟环境中训练智能体完成行走、奔跑和跳跃。观察你的神经网络驱动的智能体学会控制模拟机器人，是强化学习中最令人满足的体验之一。
- 算法交易：将进化强化学习应用于交易策略，这些场景中直接计算梯度往往难以定义。你将看到这些算法如何自然适应金融市场的噪声和复杂环境。
课程结束后，你将获得：
- 对ES和ARS的深入理解，以及它们与策略梯度和Q学习的对比认知。
- 可直接扩展到个人项目的Python工作实现代码。
- 在机器人学、金融等领域应用进化AI的技能。
如果你已准备好超越传统深度强化学习算法，探索优雅、高效且高度实用的方法，那么这门课程正适合你。
工具与库
- Python（包含完整的代码讲解）
- Gymnasium（原OpenAI Gym）
- NumPy、Matplotlib
为什么选择这门课程？
- 第二版更新内容：内容更加精简，讲解更清晰，库版本已更新。
- 真实实现案例：超越理论层面，通过构建可运行的智能体进行实践——没有黑箱模型。
- 适合所有层次学员：包含针对初学者的复习章节和针对进阶学习者的深入解析。
- 经过验证的课程结构：由拥有丰富教学经验的导师设计，已帮助数千名学生成功掌握人工智能与机器学习。
谁应该参加这门课程？
- 希望探索人工智能最激动人心领域之一：强化学习的机器学习与AI爱好者
- 希望构建能通过经验学习的智能体的软件开发人员和工程师
- 对将强化学习应用于投资组合优化和算法交易感兴趣的量化金融专业人士
- 学习人工智能、计算机科学或数据科学的学生和研究人员，希望获得真实强化学习实现的实践经验
- 对使用强化学习训练AI实现复杂行为和自适应游戏机制的游戏开发人员
- 希望学习智能体如何在物理环境中进行序列决策的机器人技术从业者
- 希望突破监督学习/无监督学习工具箱的数据科学家
- 希望将前沿AI方法应用于自动化交易策略的交易员和投资者
- 期待探索先进AI模型并构建能随时间学习和适应的项目的创业者和爱好者
- 希望转型进入AI/ML领域并寻找可展示的、真实世界的项目作品集的专业人士
| 共 64 节课程 • 总时长 12 小时 7 分钟 | |
| 第一章 欢迎 | |
| 1. 引言 | 3分23秒 |
| 2. 大纲 | 2分30秒 |
| 3. 去哪里获取代码 | 2分18秒 |
| 4. 如何在这门课程中取得成功 | 3分4秒 |
| 第二章 强化学习基础 | |
| 1. 强化学习术语 | 24分48秒 |
| 2. 强化学习方法与目标 | 13分8秒 |
| 3. 随机搜索在Python | 13分6秒 |
| 4. 建议箱 | 3分10秒 |
| 第三章 在线标准化 | |
| 1. 在线标准化部分介绍 | 8分3秒 |
| 2. 在线均值更新 | 17分25秒 |
| 3. 在线方差更新（Welford算法） | 19分27秒 |
| 4. 全协方差更新（数据白化） | 13分3秒 |
| 第四章 进化策略 (ES) | |
| 1. ES部分介绍 | 1分50秒 |
| 2. ES for MuJoCo in Python (pt 5) | 8分6秒 |
| 3. CMA-ES理论 | 8分33秒 |
| 4. CMA-ES 代码准备 | 2分31秒 |
| 5. CMA-ES代码 | 21分28秒 |
| 6. ES算法 | 17分16秒 |
| 7. 山脊上升和ES的可视化 | 5分57秒 |
| 8. ES梯度近似 | 16分53秒 |
| 9. Adam优化器 | 7分43秒 |
| 10. ES for MuJoCo in Python (pt 1) | 24分33秒 |
| 11. ES for MuJoCo in Python (pt 2) | 27分7秒 |
| 12. ES for MuJoCo in Python (pt 3) | 6分18秒 |
| 13. ES for MuJoCo in Python (pt 4) | 5分48秒 |
| 第五章 增强随机搜索 (ARS) | |
| 1. ARS章节介绍 | 1分11秒 |
| 2. ARS算法 | 25分24秒 |
| 3. ARS梯度近似 | 14分36秒 |
| 4. Python中用于MuJoCo的ARS | 11分47秒 |
| 5. 运动提示 | 4分36秒 |
| 6. AR斯卡特杆 | 17分51秒 |
| 7. ARS for MountainCar | 9分30秒 |
| 8. MountainCarContinuous的ARS | 5分3秒 |
| 第六章 进化投资组合优化 (VIP 预览) | |
| 1. 动机和概述 | 7分31秒 |
| 2. 投资组合数学 | 17分25秒 |
| 3. 夏普比率（Sharpe Ratio）和索提诺比率（Sortino Ratio） | 20分5秒 |
| 4. 动作是如何工作的 | 1分24秒 |
| 5. 静态投资组合优化概念 | 11分26秒 |
| 6. 静态投资组合优化代码 | 31分40秒 |
| 第七章 背景回顾 | |
| 1. 背景回顾部分引言 | 6分34秒 |
| 2. Epsilon-贪婪 | 6分9秒 |
| 3. Q-Learning | 14分15秒 |
| 4. 如何学习强化学习 | 5分56秒 |
| 5. 强化学习问题要素 | 20分18秒 |
| 6. 状态，动作，奖励，策略 | 9分24秒 |
| 7. 马尔可夫决策过程 (MDPs) | 10分7秒 |
| 8. 回归 | 4分56秒 |
| 9. 值函数和贝尔曼方程 | 9分53秒 |
| 10. “学习”是什么意思？ | 7分18秒 |
| 11. 使用强化学习求解贝尔曼方程（第1部分） | 9分49秒 |
| 12. 使用强化学习解决贝尔曼方程（第二部分） | 12分4秒 |
| 第八章 附录 常见问题解答 简介 | |
| 1. 附录是什么 | 3分46秒 |
| 第九章 设置您的环境（常见问题解答） | |
| 1. 预安装检查 | 4分12秒 |
| 2. Anaconda 环境设置 | 20分20秒 |
| 3. 如何安装Numpy、Scipy、Matplotlib、Pandas、PyTorch和TensorFlow | 17分22秒 |
| 第十章 Python 编程初学者额外帮助（常见问题解答） | |
| 1. 如何使用Github & 额外编程技巧（可选） | 11分12秒 |
| 2. 如何自学编程（第一部分） | 15分54秒 |
| 3. 如何自学编程（第二部分） | 9分23秒 |
| 4. 使用Jupyter Notebook与不使用它一样，证明如下 | 12分29秒 |
| 第11章 机器学习有效学习策略（常见问题解答） | |
| 1. 如何在本次课程中取得成功（长版本） | 10分24秒 |
| 2. 这是为初学者还是专家？学术还是实用？快节奏还是慢节奏？ | 22分4秒 |
| 3. 机器学习与人工智能先决条件路线图（第一部分） | 11分18秒 |
| 4. 机器学习和人工智能先决条件路线图（第2部分） | 9分23秒 |
| 第12章 附录 常见问题解答 结束语 | |
| 1. 奖金 | 5分48秒 |
| 1. 关于课程更新与获取 如何获取本站课程？ ○ 免费获取方式：在本站签到、评论、发布文章等可获取积分，通过积分购买课程。 ○ 付费获取方式：购买本站【月度会员】或【永久会员】。 课程购买后是否支持更新？ ○ 是的，所有课程均提供免费更新服务。 我们致力于为您提供持续的学习支持。 如何获取更新？ ○ 单独购买的课程： 您可在“个人中心”随时查看购买记录及最新下载链接，轻松获取免费更新。 ○ 永久会员： 您可在相关页面直接查看最新下载地址，随时免费获取更新。 ○ 非永久会员（重要提示）：通过会员权限下载的课程，在“个人中心”可能不显示具体订单记录。 因此，会员到期后，您将无法通过“个人中心”查看最新下载链接。 ① 解决方案建议：续费会员： 恢复会员权限后，即可再次查看所有最新下载链接。 ② 妥善保存下载链接： 我们强烈建议您在会员有效期内，保存好本站分享的课程下载链接。通常，课程更新内容会直接补充到原有分享链接中。 |
| 2. 关于课程资料 课程下载后资料是否齐全？ ○ 绝大部分课程资料齐全。 我们尽力确保您获得完整的学习资源。 ○ 少数情况说明： 极少数课程可能存在资料缺失情况。针对 Udemy 课程，资料形式多样，请知悉：本地文件（随视频下载）： 此类课件通常随视频一并提供，下载即得。 ① 本地文件（含链接）： 课件文件中会提供资料下载链接，您需自行访问链接下载。此类资料通常也可获取。 ② 在线平台存储（如 GitHub）： 讲师会在视频中说明资料获取方式（如访问特定平台），请您按指引自行下载。 ③ Udemy 平台内资料： 部分资料需登录您在 Udemy 购买的账号才能查看。此类资料本站无法提供，除非您自行在 Udemy 平台购买该课程。 |
| 3. 关于课程字幕 是否提供中英文双字幕？原本无字幕的课程是否支持？ ○ 是的，本站下载的所有课程均提供中英文双字幕，包括 Udemy 原本无任何字幕的课程。 我们致力于提升您的学习体验。 Udemy 字幕现状与本站服务： ○ Udemy 绝大多数课程本身不提供任何字幕。在少数提供字幕的课程中，也几乎不提供中文字幕。 本站字幕服务流程： ① Udemy 有字幕： 我们会将其翻译成中文字幕，与英文字幕一同提供。 ② Udemy 无字幕： 我们会通过技术手段识别生成英文字幕，再翻译成中文字幕，一同提供给您。 字幕服务重要说明（请您理解）： ○ 翻译精度： 字幕翻译采用谷歌翻译引擎完成，虽不及人工翻译精准，但足以保障您正常学习理解。 ○ 若您仍然觉得字幕精度较低： 可联系站长针对性润色字幕（该服务仅限本站会员）。 |
| 4. 关于视频存储与使用 视频存储位置与观看/下载方式？ 本站所有课程视频均存储于网盘平台。 您支持在线观看： 可在网盘内直接播放学习。 您支持下载： 可将视频下载至本地，使用播放器播放，更灵活便捷。 主要存储网盘：百度网盘 视频格式与加密情况？ 本站所有课程视频均以 MP4 或 MKV 通用格式提供。 视频文件不加密，您可自由分享（请遵守相关法律法规）。 播放建议： 使用本地播放器（如 PotPlayer）播放时，可同时加载中英文字幕文件，学习体验更佳。您可参考我们提供的《PotPlayer 挂载中英双字幕教程》。 |
| 5. 关于售后支持与退款政策 遇到问题如何联系？ 无论您在购买前或购买后遇到任何疑问，都欢迎随时联系站长。 我们将竭诚为您服务。 退款政策说明： 原则： 由于虚拟商品（课程、资料等）具有可复制性，一旦购买成功并完成下载，原则上不支持退款。 请您在购买前仔细阅读课程介绍、资料说明及本条款，确认符合您的需求。 如有不确定之处，欢迎先行咨询站长。 |
© 版权声明
文章版权归作者所有，未经允许请勿转载。
THE END
暂无评论内容