本文是根据VipSkill的FPS训练营课程整理的笔记。 第一人称控制器使用的是Unity官方的，不用自己造轮子。 使用另外一个摄影机单独捕捉武器可以在第一人称视角防止武器穿模问题。 相机中使用Post-Process Layer组件，

终于学到我想搞的方向了

该方法及其它的变体一直主宰MTDRL，是AlphaStar所采用的基本训练方法，这就是目标性能最佳的异步RL框架————IMPALA!

D4PG全称Distributed Distributional Deterministic Policy Gradient，是总所周知的DDPG的分布式版本。因此学习D4PG之前，需要了解DDPG。 首先DDPG是DQN在连续空间的版本

强化学习的研究方向之一。

参考视频：周博磊强化学习纲要 阅读本文需要强化学习基础，可以阅读我以前的文章：强化学习纲要（周博磊课程）、强化学习实践教学 分布式系统一般情况下我们做的论文课题都是小规模的，使用的都是一个相对较小的数据库，因此使用单机系统基本可以完成任务

在游戏中，我们往往有一个计分板准确定义事情的好坏程度。但现实中，定义Reward有可能是非常困难的，并且人定的reward也有可能存在许多意想不到的缺陷。在没有reward的情况下，让AI跟环境互动的一个方法叫做Imitation-Lear

参考视频：周博磊强化学习课程 价值函数优化学习主线：Q-learning→DQN→DDPG→TD3→SAC Q-Learning，DQN和DDPG请可以参考我之前的文章：强化学习实践教学 TD3可以参考我之前的博客：强化学习之TD3(p

参考视频：https://www.bilibili.com/video/BV1EK41157fD/?spm_id_from=333.788.recommend_more_video.-1 原论文：https://arxiv.org/ab

参考视频：周博磊强化学习纲要 阅读本文前需要对强化学习model-free领域有一定的了解，可以查看我之前的文章：《强化学习实践教学》，《强化学习纲要（周博磊课程）》 之前介绍的算法例如DQN，DDPG，PPO都是model-free