Large Batch Experience Replay

news/发布时间2024/5/23 20:44:12


发表时间:2021(ICML 2022)
文章要点:这篇文章把experience replay看做一个通过importance sampling来估计梯度的问题,从理论上推导经验回放的最优采样分布,然后提出LaBER (Large Batch Experience Replay)算法来近似这个采样分布。
非均匀采样mini batch可以看成一个基于replay buffer的importance sampling的问题,梯度估计的方差越小,收敛就会越快。PER就可以看做这样一个算法(PER is a special case of such approximations in the context of ADP, and propose better sampling schemes)。
作者首先推导,更新Q的梯度为

所以这里的关键就是G,作者推出来最大化收敛速度其实就是要最小化一个和G相关的期望项,最后就成了一个和Q的梯度有关的一个权重

PER有效的原因其实就可以c成TD error其实就是一个和Q的梯度有关的权重

PER里面有几个近似,一个是用TD error来近似最优采样分布里的Q的梯度,另一个是PER的估计是outdated,只有样本被采到的时候才会更新,这样来看PER的方差是没有被控制住的。于是作者提出两个改进Gradient Experience Replay(GER),直接用Q的梯度的范数作为权重,不过这个梯度也是outdated的

另一个改进是Large Batch Experience Replay(LaBER),先采样一个大的batch,计算importance sampling,再down sample成一个方差最小的mini batch来近似最优采样分布。这个时候的梯度估计就是最新的


有了batch之后,更新的加权作者也试了几种,
直接归一化

用大batch的mean归一化

不归一化,直接全部放到learning rate里

用最大权重来归一化

从效果上看,mean要好些。最后效果如下,

总结:看起来在某些环境上是有效果的。作者开源了代码,可以试试。
疑问:无。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.jwkm.cn/p/70405610.html

如若内容造成侵权/违法违规/事实不符,请联系宁远站长网进行投诉反馈email:xxxxxxxx@qq.com,一经查实,立即删除!

相关文章

【译】为什么AI写作会显得枯燥无味

原作:本乌兰西 引子:绘画中减色混合的原理照片由 Unsplash 上的 Lucas K 拍摄当我还是个孩子的时候,我坐在一个有各种颜色的调色板前,努力尝试混合尽可能多的颜色。怀着兴奋的眼神,我看着鲜艳的颜色在画面上融合。随着越来越多的颜色相互融合,我困惑地盯着由此产生的聚合…

手把手教你如何下载小鹅通上已购买的视频课程

前言:很多同学都想知道小鹅通中视频课程怎么下载,但是小鹅通上面已购买的视频课程是不提供直接下载方式的,所以下面就教大家如何用学无止下载器下载小鹅通上面已购买的视频课程。 一、电脑网页打开小鹅通官网(https://study.xiaoe-tech.com),找到已购买的课程二、找到想要…

CRC算法原理和代码实现

前言 ​ 由于现在的工作涉及到协议的对接,而协议使用CRC进行校验。并且在MATLAB传C的过程中有可能需要使用到CRC来校验数据。所以在这篇文章中对CRC校验的有关知识进行梳理,也是自己对这方面知识点的梳理和总结吧。 什么是CRC校验 ​ CRC(Cyclic Redundancy Checksum循环冗余…

QT打包

Qt打包程序提示“应用程序无法正常启动(0xc000007b)”/未找到Qt5Core.dll的正确解决方案 先打到配置环境变量的页面

RabbitMQ 消息模型

参考链接: https://blog.csdn.net/qq_40991313/article/details/126801025?spm=1001.2014.3001.55013.5.3.总结描述下Direct交换机与Fanout交换机的差异? Fanout交换机将消息路由给每一个与之绑定的队列 Direct交换机根据RoutingKey判断路由给哪个队列 如果多个队…

VMware 虚拟机一键去虚拟化工具

前言: 如果你想在 VMware 虚拟机里面多开玩游戏的话,但是现在大多数网游都会检测是否虚拟机,进入游戏被检测到在虚拟机中运行,游戏可能直接闪退。所以就得对 VMware 虚拟机进行去除虚拟化。 原理就是通过十六进制工具对 VMware 虚拟机程序进行修改硬件的信息,分别把硬盘、…