这项由南边科技大学、香港科技大学、香港科技大学（广州）、香港理工大学以及LIGHTSPEED连合开展的询查，以预印本神情发布于2026年6月，论文编号为arXiv:2606.02388，有兴趣深刻了解的读者可通过该编号查询完整论文。
当咱们挑剔AI智能体的时候，脑海中流露的时常是那种约略自主操作网页、在假造房间里完成任务、或者帮你搜索信息的"数字助手"。锻练这类助手的主流方式，叫作念强化学习——说白了，即是让AI不断尝试，作念对了就给奖励，作念错了就扣分，安逸学会哪些行径能拿到高分。这套逻辑听起来很像锻练小狗：作念对了给零食，作念错了不给。
然而问题来了：小狗作念了某个动作之后，它会坐窝看到环境的反馈——你皱了眉头，或者昂扬肠摸了摸它。但用强化学习锻练的AI智能体，吸收到的只是"任务完成"或"任务失败"这么的最终评分。至于它每一步操作到底对天下形成了什么影响，它险些一无所知。这就像一个厨师只知谈终末这谈菜被评了几分，却完全不明晰是哪一步下盐、哪一步翻炒出了问题。长年累月，厨师可能偶尔作念出佳肴，但永远不会确凿合资烹调的旨趣。
询查团队恰是从这个痛点启航，提倡了一个叫作念PaW的锻练框架。PaW是"Policy and World modeling co-training"的缩写，直译过来即是"计策与天下建模协同锻练"。它的中枢想路简便而奥密：AI智能体在锻练过程中本来就会产生大都"熟悉记载"，每一札记载都包含了"作念了什么动作"以及"之后环境变成了什么样式"。这些信息往常只被用来计算分数，而PaW把它们变成了极度的学习材料，让智能体同期学会"瞻望下一步会发生什么"。不需要极度的数据鸠集，不需要单独开辟一个模拟器，也不会在骨子使用时增多任何计算背负——过剩的学习就发生在蓝本的锻练过程中，顺遂完成。
一、AI智能体的"只知谈限度，不懂过程"窘境
要合资为什么PaW的出现很进军，得先搞明晰现存锻练方式的局限在那儿。
尺度的强化学习锻练，就像让一个学生反复作念模拟考题，然后只告诉他最终收获，不给任何领路。学生会渐渐摸明晰哪类题型容易得分，但他对知识自己的合资可能依然破败。在AI智能体的场景里，这种劣势体现得更为彰着：智能体可能学会了某个"规章"——比如在特定情境下输入某个教唆时常能拿高分——但它并不确凿合资这个教唆会对环境产生什么影响。一朝遭逢了略微生疏的场景，或者某个操作产生了不可逆的后果，它就会堕入参差。
询查团队把这种缺失定名为"天下建模才能"的穷困。所谓天下建模，说穿了即是：给智能体一个现时情景和一个筹划袭取的动作，它能瞻望出接下来环境会变成什么样。这听起来像是东谈主类的知识——你知谈翻开雪柜门，雪柜里的东西就会表现在你眼前；你知谈搜索"玄色小号T恤"，网页会复返一堆接洽商品。但AI智能体要是穷困这种预判才能，就会像一个对天下运转毫无见识的东谈主一样，只可靠反复试错积攒警告。
为了弥补这个缺口，学术界还是有一些探索。一类次序是单独锻练一个"天下模子"，看成模拟器来生成虚假的锻练轨迹，或者在推理时赞助计划。这类次序的代价是：你需要极度一套模子、极度一套锻练经过，推理时还要多走一遍模拟门径，系统复杂度大幅上涨。另一类次序是先给模子珍惜天下建模才能，再驱动强化学习锻练，相配于分两个阶段完成。这相似意味着更多的时刻和资源进入，况兼两阶段的合营自己即是个贫寒事。
PaW的想路则完全不同。询查团队发现，强化学习的锻练过程中其实早已藏着大都的天下建模素材，只是没东谈主用过它们。
二、被暴戾的"免费讲义"：锻练轨迹里的矿藏
每一次智能体实行锻练任务，都会留住一段"轨迹记载"，方式大要如下：现时情景 → 实行了什么动作 → 取得了什么奖励 → 环境变成了什么新情景。传统的强化学习只使用前三项——情景、动作、奖励——来更新智能体的计策。而阿谁"环境变成了什么新情景"，也即是动作之后的不雅测限度，一直被白白丢弃。
询查团队的中枢瞻念察在于：每一条轨迹中的"动作→新不雅测"配对，自然即是一份天下建模的锻练样本。只消让智能体学会凭据现时情景和动作来瞻望下一步的不雅测，它就在熟悉合资环境动态。而这份熟悉材料，每一轮锻练都在免费产生，完全不需要极度鸠集。
具体到手艺完毕，PaW的作念法是：在原有的强化学习亏空函数（也即是饱读动智能体选拔高分动作的方针）除外，添加一个赞助的天下建模亏空函数，条目归拢个模子还要学会瞻望下一步的不雅测文本。两个方针共用归拢套模子参数，在归拢个锻练门径里同期优化。由于言语模子自然的"因果注眼力"机制——后头的笔墨不行影响前边的瞻望——天下建模部分的监督信号不会打扰计策决策部分的学习，两者辱骂分明。而在骨子使用时，模子只需要正常生成动作，完全不需要极度的模拟门径，莫得任何推理支拨。
这就好比一个学厨的学徒，既在熟悉"下一步该作念什么操作"，又在熟悉"这个操作之后锅里会发生什么变化"，两件事同期学，用的是归拢套熟悉材料，用时不变，却多学了一门作业。
不外，正如真实的锻练场景里总有千般打扰要素，这份"免费讲义"也远非完好干净。询查团队发现了三个必须处分的骨子问题，并为此别离假想了对应的处分有计划。
三、三谈工序，让"免费讲义"确凿巧用
第一个问题是：不是扫数的动作都值得学。
在某些任务里，智能体会反复实行归拢类高度细方针操作，比如在假造房间里一遍又一随地走向方针物体。这类动作的限度险些是不错完全预感的，对学习环境动态莫得太大匡助，反而会让模子把太多元气心灵花在访佛的、低信息量的样本上。
PaW的第一个假想是"基于动作熵的数据筛选"。所谓"动作熵"，不错合资为智能体在选拔这个动作时有多纠结——要是它险些笃定地要选某个动作，熵就低；要是它对好几个选项都拿不准，熵就高。熵高的动作讲明这个决策点更要道、更复杂，其对应的环境反馈也更值得学习。PaW会从每轮锻练产生的扫数轨迹里，只挑出熵最高的那一部分诊治样本来作念天下建模锻练，默许比例是保留75%的高熵样本，丢弃低熵的访佛操作。这么既简约了计算资源，又保证了天下建神情本的质料。
第二个问题是：不雅测文本里频繁混合着"噪声"。
论文中举了两个活泼的例子。在假造家务任务ALFWorld里，相似是"翻开雪柜1"这个动作，在不同的环境实例里，翻开之后看到的东西完全不同——一次内部有杯子、番茄和酒瓶，另一次内部是碗、鸡蛋和马克杯。这种赶紧性意味着不雅测自己就不是完全可瞻望的。而在网购任务WebShop里，搜索限度里会混合大都商品编号（比如"B09QQP3356"这么的ASIN码）和品牌称号，这些字符完全赶紧，根柢无法从语义上瞻望。
要是用尺度的交叉熵亏空来锻练天下建模，模子会被动奢侈大都元气心灵去"记取"这些赶紧字符，因为交叉熵亏空对低概率瞻望的处分红倍放大，一个险些不可能猜中的赶紧编号会产生极大的梯度信号，把模子的优化场合带歪。论文中的分析炫耀，在WebShop的场景下，交叉熵亏空中高达32%的梯度份额来自那些被界说为"噪声"的词元，而MAE亏空只消14%。
PaW的第二个假想是用"截断MAE亏空"替代尺度交叉熵。MAE亏空（均完全症结亏空）对低概率瞻望的处分是线性的而非指数级的，自然对难以瞻望的词元更优容。在此基础上，询查团队还加入了一个置信度截断机制：要是模子对某个词元的瞻望概率还是跨越了阈值（默许0.2），就以为这个词元还是学得弥散好了，径直从亏空察计中摒除，不再施加梯度压力。这么一来，模子会专注于那些"还没学会但值得学"的不雅测词元，既不会在赶紧噪声上浪艰难气，也不会反复将就我方去"过度牵挂"还是掌抓的内容。
第三个问题是：天下建模的赞助锻练和强化学习的主锻练之间，力量需要动态均衡。
要是给天下建模方针竖立一个固定的、较大的权重，它可能会压过寥落的奖励信号，让强化学习失去主导。但要是权重太小，赞助锻练又险些莫得限度。更要道的是，不同的任务组在不同阶段对天下建模的需求是不同的——那些奖励很差、任务险些全部失败的锻练组，正处于最需要合资环境动态的阶段；而那些还是大部分顺利的锻练组，只需要继续精化计策就好。
PaW的第三个假想是"奖励自顺应亏空均衡"。每一组锻练轨迹都有一个平均答复，询查团队凭据这个平均答复动态计算天下建模的权重：平均答复越低，权重越大；平均答复越高（接近满分），权重越小，让强化学习方针当然占主导。这个机制就像一位智慧的造就，对基础差的队员多花时刻素质战术旨趣，对还是打得很好的队员则让他们更多地在实战中考试技能，而不是反复仁爱论。
三个假想组合在沿路，形成了完整的PaW框架，澳门人威尼斯中国官网登录入口并被编写成一个爽朗的锻练算法：每轮锻练，先鸠集轨迹，然后筛选高熵诊治样本，用截断MAE计算天下建模亏空，用奖励自顺应统统调整权重，终末和强化学习亏空合并，同期更新模子参数。扫数这个词经过不需要极度的模子推理，也不需要极度的数据鸠集，比拟基础强化学习只增多了约2.1%的锻练时刻和2.4%的GPU内存占用。
四、三个战场，PaW的实战收获单
询查团队在三类不同的任务上评测了PaW的限度，使用的基础模子涵盖了不同限制和系列，强化学习算法也不啻一种。
第一个战场是假造家务任务ALFWorld。这个环境里，智能体需要在假造房间中完成六类家务，包括把某件物品捡起放到指定地方、在灯下查抄物品、清洗物品、加热物品、冷却物品，以及一次性捡起两件物品。任务最长可达50步，每一步的操作都会对环境情景产生影响，是典型的长序列决策任务。
在1.5B参数限制的Qwen2.5模子上，搭配GRPO算法，PaW把全体顺利率从70.0%擢升到了77.9%，擢升了7.9个百分点。搭配更先进的GIGPO算法，全体顺利率从87.6%擢升到90.4%，擢升2.8个百分点。在7B参数限制的更大模子上，GRPO搭配PaW从77.6%擢升到80.6%，GIGPO搭配PaW从90.8%擢升到91.8%。擢升幅度随模子才能增强而有所收窄，这是合理的——越强横的模子自己还是更接近天花板，擢升起间当然更小。
第二个战场是网购任务WebShop。这个环境里，智能体需要在一个包含11万多件商品的假造电商平台上，凭据用户的购物需求搜索并购买合适的商品，任务最长15步。这个场景的特殊性在于商品页面包含大都赶紧文本，恰是前边提到的"噪声不雅测"最严重的地方，亦然截断MAE亏空表现作用的中枢场景。
限度炫耀，PaW在WebShop上带来了更大的擢升。1.5B模子上，GRPO搭配PaW的顺利率从60.6%跃升至68.6%，擢升8.0个百分点；GIGPO搭配PaW从66.2%擢升至75.3%，擢升9.1个百分点。7B模子上，两种算法别离擢升4.0和2.9个百分点。
第三个战场是多轮搜索问答任务。这类任务条目智能体通过多轮调用搜索引擎往返应问题，笼罩了七个不同的问答数据集，包括单跳问答（一次搜索能回应的）和多跳问答（需要屡次搜索、综合推理才能回应的）。在3B和7B限制的Qwen2.5模子上，PaW对GRPO和GIGPO都带来了褂讪的擢升，平平分擢升幅度在0.9到3.0个百分点之间。
除了这三个主要战场，询查团队还有利测试了PaW在不同强化学习算法和不同模子眷属上的泛化才能。PPO算法搭配PaW，WebShop顺利率从59.1%擢升到65.2%，擢升6.1个百分点；RLOO算法搭配PaW从56.7%擢升到61.2%，擢升4.5个百分点。在模子眷属方面，Qwen3-1.7B搭配PaW擢升8.8个百分点，更大的Qwen2.5-14B擢升2.4个百分点。这些数据标明PaW不依赖于某种特定算法或模子架构，而是一种无边适用的增强次序。
五、当泛泛强化学习绝对失效，PaW依然能救场
询查中最引东谈主关心的一个发现，是PaW在"泛泛强化学习根柢学不动"的顶点场景下的推崇。
用Llama3.2-3B模子在WebShop上作念GRPO锻练，限度锻练了150步，模子的顺利率永远在0隔邻踯躅——险些扫数的任务都失败了，奖励信号很是寥落，相配于学生作念了150谈题，每次都是零分，完全不知谈我方到底那儿出了错。在这种情况下，强化学习失去了不错学习的信号，锻练堕入停滞。
加入PaW之后，情况发生了戏剧性的转动。尽管任务奖励依然顾惜，天下建模的亏空却提供了密集的学习信号——模子每一步都在尝试瞻望"实行这个动作之后，购物网站会炫耀什么"，这个熟悉不依赖任务是否顺利，只消有情景-动作-新情景的三元组就能进行。通过这种方式，模子渐渐积攒了对环境运转方式的合资，最终驱动产生顺利的购物轨迹，为强化学习提供了正向奖励信号，锻练得以继续推动。最终顺利率从险些为零的4.0%跃升至62.2%，擢升了惊东谈主的58.2个百分点。
这个限度揭示了PaW的一个极度价值：它不单是是对还是在学的强化学习的镌脾琢肾，还不错在寥落奖励的艰苦场景下演出"引路东谈主"的扮装，匡助智能体从零驱动找到学习的场合。
六、消融实际：三个假想统筹兼顾
询查团队还作念了一系列消融实际，有利考据PaW三个中枢假想的各自孝敬。
要是把奖励自顺应权重去掉，改为对扫数锻练组使用固定的权重1，ALFWorld顺利率从77.9%着落到75.5%，WebShop从68.6%着落到67.0%。两项任务都着落了，讲明自顺应权重如实有助于均衡赞助锻练和主锻练之间的关连。
LOL投注app中国官方下载更大的影响来自亏空函数的选拔。要是把截断MAE亏空换回尺度的交叉熵亏空，ALFWorld顺利率从77.9%骤降至68.5%，WebShop从68.6%骤降至57.2%——后者以至比莫得PaW的基础GRPO（60.6%）还要差。这个限度终点显豁：在有噪声不雅测的环境里，装假的亏空函数不仅帮不上忙，反而会负担主任务的学习。交叉熵亏空对赶紧噪声词元的过度处分，会把模子的优化资源引向装假的场合，导致计策学习受损。
询查团队还测试了熵选拔比例α和截断阈值ρ两个超参数的敏锐性。限度炫耀，在较宽的参数规模内（α从0.25到1.0，ρ从0.0到0.8），PaW都能带来比基础GRPO更好的收获，最好值别离在α=0.75和ρ=0.2隔邻。这意味着PaW对超参数不是迥殊敏锐，不需要详尽调整也能职责。
说到底，PaW作念的事情不错用一句话详尽：它发现了强化学习锻练过程中被历久暴戾的"边角料"，把它们变成了有价值的学习材料，匡助智能体在熟悉"作念什么"的同期顺带学会了"作念了会若何"。这种双管皆下的锻练方式，不需要极度的资本，却带来了实实在在的才能擢升。
关于泛泛东谈主而言，这项询查的意旨在于：改日那些帮你购物、帮你查尊府、帮你操作电脑的AI助手，可能会因为类似的锻练方式而变得愈加智慧稳重，不仅知谈该作念什么，还确凿合资每一步操作会带来什么后果——而这种合资，恰是让AI助手在复杂、真实的任务中不出错的要道。
诚然，询查团队也坦诚地指出了现时框架的局限。PaW现在只学习"下一步的不雅测"，关于更永远的多步影响链条，还莫得显式建模。在某些任务里，一个动作的确凿影响可能要好几步之后才会体现，这部分才能还需要改日的职责来探索。此外，锻练轨迹中可能存在大都访佛的旅途，这会使天下建模的学习样本产生偏差，如何引入千般性采样亦然一个值得深刻的场合。感兴趣的读者不错通过arXiv:2606.02388查阅完整论文，了解扫数手艺细节。
Q&A
Q1：PaW框架是什么，和泛泛强化学习锻练有什么不同？
A：PaW是一种计策与天下建模协同锻练框架。泛泛强化学习只用"作念了什么动作、得了些许分"来更新模子，而PaW极度讹诈了锻练过程中产生的"动作之后环境变成什么样"这一信息，让模子同期学会瞻望下一步的环境情景。扫数这个词过程共用归拢套锻练数据，不需要极度的模子或数据鸠集，推理时也莫得任何极度支拨。
Q2：截断MAE亏空为什么比交叉熵亏空更顺应天下建模锻练？
A：在网购、家务等真实环境里，不雅测文本中包含大都赶紧字符（如商品编号、品牌名等），根柢无法从语义上瞻望。尺度交叉熵亏空对这类低概率瞻望的处分会成倍放大，导致模子把大都优化资源花在"记噪声"上，反而打扰了主任务的计策学习。截断MAE亏空对低概率词元的处分是线性的，加上置信度截断机制，只关心"还没学会且值得学"的内容，幸免了这种打扰，实际炫耀替换亏空函数后WebShop顺利率擢升跨越11个百分点。
Q3：PaW在强化学习完全学不动的情况下真实灵验吗？
A：有实考据据复古。用Llama3.2-3B模子在WebShop上作念泛泛GRPO锻练，锻练150步后顺利率仍接近零澳门人·威尼斯官网(中国)登录入口，奖励信号很是寥落，锻练堕入停滞。加入PaW后，天下建模亏空提供了密集的学习信号——每一步都在瞻望环境变化，不依赖任务是否顺利。模子借此积攒了对环境的合资，渐渐产生顺利轨迹，最终顺利率从4.0%跃升至62.2%，擢升了58.2个百分点。
上一篇：没有了
备案号: