参考视频：周博磊强化学习课程 价值函数优化学习主线：Q-learning→DQN→DDPG→TD3→SAC Q-Learning，DQN和DDPG请可以参考我之前的文章：强化学习实践教学 TD3可以参考我之前的博客：强化学习之TD3(p

参考视频：https://www.bilibili.com/video/BV1EK41157fD/?spm_id_from=333.788.recommend_more_video.-1 原论文：https://arxiv.org/ab

参考视频：周博磊强化学习纲要 阅读本文前需要对强化学习model-free领域有一定的了解，可以查看我之前的文章：《强化学习实践教学》，《强化学习纲要（周博磊课程）》 之前介绍的算法例如DQN，DDPG，PPO都是model-free

阅读本文前可以先了解我前三篇文章《强化学习之DQN》《强化学习之DDQN》、《强化学习之 Dueling DQN》。 Rainbow结合了DQN算法的6个扩展改进，将它们集成在同一个智能体上，其中包括DDQN，Dueling DQN，Pr

https://www.youtube.com/watch?v=sNZ2y5XamPk&list=PLhhGIAWVvaGxHCN1HxcsR15acdK4dy2-c&index=1&ab_channel=%E6%

参考视频：https://www.bilibili.com/video/BV1C7411i7Rg?p=2 开发准备：基本操作 下载git，安装时注意以下选项： 下载安装TortoiseGit，可以下载一个语言包切换成中文。 下载安装

本代码取自周博磊强化学习课程https://space.bilibili.com/511221970/channel/detail?cid=105354&ctype=0 源码：https://download.csdn.net/

阅读本文前先了解TRPO算法有助于理解，我对此也写过博客：https://blog.csdn.net/tianjuewudi/article/details/120191097 参考李宏毅老师的视频：https://www.bilibi

本文主要记录了个人研究生开始学习的方向性内容，主要从知乎，CSDN等网站摘录我认为对自己有启发的内容，希望能给后人指引方向，这里只从整体着眼，不设计具体细节。

​ 注：TRPO算是我至今遇到过的最难理解的算法了，我查了很多资料，花费好几天时间，也未曾理解，向TRPO的一作致敬。。。本文是我的查资料笔记，由于公式过多，可以先学比较重要的PPO。 ​ TRPO全称为Trust