强化学习笔记（补1）TD（lambda）和sarsa（lambda）的进一步理解

手写笔记

笔记中无法画出的图在下面：

从1-step到n-step到mc的认知

figure-7.1.png

从n-step TD到TD（lambda）

figure-12.1.png

TD(lambda)到sarsa（lambda）

捕获12.PNG

对sarsa（lambda）的理解

捕获11.PNG

可以看出1-step sarsa只能达到目标前1步value才增加，n-step sarsa是达到目标前最后n步value增加，而sarsa（lambda）是整个路线上都有value值，但是占比不同。