📢 Gate广场 #MBG任务挑战# 发帖赢大奖活动火热开启!
想要瓜分1,000枚MBG?现在就来参与,展示你的洞察与实操,成为MBG推广达人!
💰️ 本期将评选出20位优质发帖用户,每人可轻松获得50枚MBG!
如何参与:
1️⃣ 调研MBG项目
对MBG的基本面、社区治理、发展目标、代币经济模型等方面进行研究,分享你对项目的深度研究。
2️⃣ 参与并分享真实体验
参与MBG相关活动(包括CandyDrop、Launchpool或现货交易),并晒出你的参与截图、收益图或实用教程。可以是收益展示、简明易懂的新手攻略、小窍门,也可以是现货行情点位分析,内容详实优先。
3️⃣ 鼓励带新互动
如果你的帖子吸引到他人参与活动,或者有好友评论“已参与/已交易”,将大幅提升你的获奖概率!
MBG热门活动(帖文需附下列活动链接):
Gate第287期Launchpool:MBG — 质押ETH、MBG即可免费瓜分112,500 MBG,每小时领取奖励!参与攻略见公告:https://www.gate.com/announcements/article/46230
Gate CandyDrop第55期:CandyDrop x MBG — 通过首次交易、交易MBG、邀请好友注册交易即可分187,500 MBG!参与攻略见公告:https://www.gate.com/announcements
NVIDIA NeMo-RL 利用 GRPO 进行高级强化学习
张彼得
2025年7月10日 06:07
NVIDIA推出NeMo-RL,一个用于强化学习的开源库,支持与GRPO的可扩展训练,并与Hugging Face模型集成。
NVIDIA 已推出 NeMo-RL,这是一个前沿的开源库,旨在增强强化学习 (RL) 的能力,具体内容可以参考 NVIDIA 的官方博客。该库支持可扩展的模型训练,从单 GPU 原型到大规模的千 GPU 部署,并与 Hugging Face 等流行框架无缝集成。
NeMo-RL的架构与特点
NeMo-RL 是更广泛的 NVIDIA NeMo 框架的一部分,以其多功能性和高性能能力而闻名。该库包括与 Hugging Face 模型的原生集成,优化的训练和推理过程。它支持 DPO 和 GRPO 等流行的强化学习算法,并采用基于 Ray 的编排以提高效率。
NeMo-RL的架构设计时考虑了灵活性。它支持各种训练和回滚后端,确保高层算法实现与后端细节保持无关。这种设计允许模型的无缝扩展,而无需修改算法代码,使其非常适合小规模和大规模部署。
使用 GRPO 实现 DeepScaleR
这篇博客文章探讨了如何应用NeMo-RL来重复使用Group Relative Policy Optimization (GRPO)算法的DeepScaleR-1.5B食谱。这涉及到训练高性能的推理模型,例如Qwen-1.5B,以便在AIME24学术数学挑战中与OpenAI的O1基准进行竞争。
训练过程分为三个步骤,每个步骤都增加使用的最大序列长度:从8K开始,然后是16K,最后是24K。这种逐步增加有助于管理推出序列长度的分布,优化训练过程。
训练过程与评估
训练设置涉及克隆 NeMo-RL 仓库并安装必要的软件包。训练分阶段进行,模型持续评估以确保达到性能基准。结果表明,NeMo-RL 在仅 400 步内达到了 0.65 的训练奖励。
在AIME24基准测试中的评估显示,训练模型超越了OpenAI O1,突显了NeMo-RL与GRPO算法结合时的有效性。
开始使用 NeMo-RL
NeMo-RL 可供开源使用,提供详细的文档和示例脚本,存放在其 GitHub 存储库中。这个资源非常适合那些希望使用可扩展和高效的方法进行强化学习实验的人。
该库与Hugging Face的集成及其模块化设计使其成为研究人员和开发者在项目中利用先进强化学习技术的强大工具。
图片来源:Shutterstock