Wide
这次做错,还能怎样考?
从至少出现一次失败的题出发,扩展仍考同一能力、难度接近的新任务。目标会变化,练习重点不丢。
只从真实失败扩展。全对的题不作为 Wide 来源;同一类可以分到多个出题位置。
不只围绕错题“再出一道”。沿着同一种能力,做对后继续挑战,做错后退一步练习,再回到没有解决的问题。让模型自己的经历,变成下一轮真正有用的训练。
当前聚焦 TextCraft · 学生模型 Qwen3.5-4B
9 组训练 · 1 组不训练
最多 2 次课程调整
超时预算则统一 16 题
每份最多 24 个动作
当前状态 · 2026 年 10 月 31 日新流程已合并并完成本地检查,尚未开始正式训练。下面的真实作答来自旧版试运行,不能当作新版成绩。
这里的“一次回答”不是写一段文字,而是一整段与环境交互的过程:读任务、执行动作、看反馈,直到做成或用完机会。
TextCraft 是一个文字版制作世界。给定目标与材料,模型要根据配方,一步步制作物品。数量算错、漏掉中间物品或顺序不对,环境就会明确报错。
我们关心的是:模型能不能从自己的成功和失败中,找到接下来应该练什么、怎样把错误改好,并最终独立完成没见过的任务。
当前训练使用提前给好的有限材料,不能再取料;最终测试回到官方完整任务,从空背包开始,允许按规则取料。
换成台阶或按钮是不同目标,但都离不开“把丛林原木制成木板”这项具体能力。
主张不是“只要出更多题就会变强”,而是持续围绕同一种能力,把学习机会放到真正需要的地方。
从至少出现一次失败的题出发,扩展仍考同一能力、难度接近的新任务。目标会变化,练习重点不丢。
只从真实失败扩展。全对的题不作为 Wide 来源;同一类可以分到多个出题位置。
全错时降低同一能力的必要制作难度;全对时继续升难,或回考以前没解决的题。不是每轮重置一张错题表。
简单题做对,不自动把原难题算作学会。当前三轮只检验最多两次课程调整。
看完整失败经过,参考已有同能力成功,找出值得改的动作。修改必须在原题条件下真正做成,再用于学习。
只学习真正帮助原目标的改正动作。漂亮的反思文字本身不会得到分数。
拖动成功数量,看看这一轮能学什么、下一轮怎样安排。
成功与失败形成对比,八份答案一起参加学习。不是只把成功答案抄一遍。
可从失败扩展同能力新任务。
通常保留这道已经能产生信号的题。
不再单独摸底,也不逐题改模型。训练中的八份正式答案,同时提供奖励、错题依据和下一轮选题信息。
九组共用相同母题、答案和首次主练终点。纠错组随后各自纠错。
各组独立读取第一轮正式表现;共同组成完整一轮,再学习。
依据第二轮表现和历史记录继续;随后所有组进入同一固定测试。
环境确认完成规定目标得 1 分,正常用完动作而未完成得 0 分。没有老师主观评分,没有部分进度分、短答案奖励或反思奖励。环境异常和中断不当作普通答错。
每题只比较自己的八份答案。八份全对或全错时没有组内差别,这题不进入本轮主练;有对有错时,八份都参与。成功答卷中的动作得到正向信号,失败答卷中的动作得到反向信号;主练不逐步判断动作对错。失败答卷里原本正确的动作,也没有在主练中单独排除。题目和环境反馈留作上下文,不作为要输出的目标。
例如二十题中只有六题有对有错,本轮真正用于主练的是 6 × 8 = 48 份,不是收集到的一百六十份都能推动学习。
下一轮用的是上一轮采样时的真实结果。训练后不另做整批复测,更新后的能力由下一轮正式作答反馈。
第一轮输入和模型完全相同,九个训练组共用答案与首次主练的完整结果。包括模型、继续训练所需状态和已完成记录;不是只复制答案后把同一次学习算九遍。
从首轮纠错开始,各组独立。后续出题、答案、模型和纠错不跨组传递;不训练组 N 始终使用原始模型。三轮九组账面有二十七次主练阶段,实际最多计算十九次;三个纠错组另有最多九次纠错学习。
当前按一个组接一个组执行,同题两份答案一起做,八份分四批收齐;批次之间不训练。没有有效数据的阶段保留结果,但不会空做一次模型调整。
既保留“重复练原题”,也保留“随机换题”,再逐项加入 Wide、Deep 和纠错。老师对照与学生完全自进化分开报告。
完整方法。学生自己分析、出题与纠错,Wide 和 Deep 在同一轮共同组成二十道题。
与 WD 比较:纠错是否提供额外收益?
WD、WDR 后两轮默认 10 个 Wide 位置 + 10 个 Deep 位置;十六题方案为 8 + 8。不是先 Wide 学一遍再 Deep 学一遍,也不是各出二十题。没有可用的 Wide 失败来源时,名额交给 Deep。
当前准备使用的官方池包含 374 个训练目标、100 个测试目标,两者分开。固定二十道训练母题;最终测试从官方测试池预先固定五十题。
R 组先排除全部二十个母题,再从训练目标中无放回随机抽四十个,分给第二、第三轮。若统一切到十六题,使用母题及每轮随机池各自固定的前十六题,不根据模型成绩重抽。随机题准备失败也不偷偷换成更容易的一道。
本次各组从同一 Qwen3.5-4B 基础模型开始,不加入专家答案预热。准备时用于核实题目可行性的路线,不作为答案交给学生。
| 组别 | 第二、三轮怎样选题 | 谁分析 / 出题 | 谁纠错 | 主要比较 |
|---|---|---|---|---|
| N · 不训练 | 不进行训练 | — | — | 原始模型起点 |
| O · 原题 | 重复固定母题 | 不出新题 | — | O 对 N:重复训练 |
| R · 随机题 | 预先随机选择官方训练目标 | 不按错题出题 | — | R 对 O:普通换题 |
| WT · 老师 Wide | 从失败扩展同能力新题 | 老师 | — | WT 对 WS:出题者 |
| WS · 学生 Wide | 从失败扩展同能力新题 | 学生 | — | WS 对 R / O:针对性扩展 |
| D · Deep | 调难、保留可学题、回考旧题 | 学生 | — | D 对 R / O:Deep 组合机制 |
| DR4B · Deep + 纠错 | 同 D | 学生 | 学生 | DR4B 对 D:学生纠错 |
| DRL · Deep + 老师纠错 | 同 D | 学生 | 老师 | DRL 对 DR4B:纠错者 |
| WD · Wide + Deep | 同轮混合,两部分共用整轮题额 | 学生 | — | WD 对 WS / D:结合收益 |
| WDR · 完整方法 | 同轮混合,两部分共用整轮题额 | 学生 | 学生 | WDR 对 WD:完整组合中的纠错 |
DRL 只把纠错者换成老师,出题仍由学生负责。十组是同一实现内的机制比较,不等于已经复现十篇外部论文。
优先 20 题;预计全程超过 30 小时,所有组统一改 16 题。测试不缩减。
实际新增主练答卷
160 + 9 × 2 × 160固定最终测试答卷
10 组 × 50 题 × 3 份普通完整答卷合计
另计出题与纠错执行| 项目 | 20 题方案 | 16 题方案 |
|---|---|---|
| 每组每轮主练答卷 | 160 份 | 128 份 |
| 每组三轮主练答卷 | 480 份 | 384 份 |
| 首轮共用后新增主练答卷 | 3,040 份 | 2,432 份 |
| 全部候选题位置上限 | 280 | 224 |
| 全部分析请求上限 | 280 | 224 |
| 全部纠错方案上限 | 540 | 432 |
| 最终测试答卷 | 1,500 份 | 1,500 份 |
| 独立摸底 / 额外参考答卷 | 0 / 0 | 0 / 0 |
官方一百道测试任务中预先固定五十题,抽样种子 618050,保留官方顺序。每组最终模型对每题做两份随机作答 + 一份固定作答,每份最多二十四动作。随机种子 618001、618002;固定作答不随机采样。
十组先各完成训练与前三十题测试,再统一完成后二十题;不会用前段成绩挑选哪些组继续。测试期间不学习、不纠错、不提供训练参考答案。
分别报告一百份随机答案和五十份固定答案的成功率。“两份里任一成功”不是单份作答成功率;两次随机作答也不是两个独立训练种子。
七个调整课程的组只在后两轮出题,最多 7 × 2 × 20 = 280 个候选位置。每个位置最多一次候选,不合格就保留来源题;同来源、同能力、同方向的候选最多两道合并请求。整轮去重,缺位从旧题或母题补齐。
纠错方案还需在原环境执行,最多二十四动作;验题搜索、分析、出题和纠错都占用时间,不能只用普通答卷数估算整场耗时。
下面展示保存下来的真实模型动作、环境反馈与历史出题。可以切换实例、展开完整过程,比较相同任务上的成功与失败。
这是历史原始记录,不是新版演示结果。这些答卷来自旧版初始作答;历史出题使用当时的规则。当前新版还没有真实训练后答卷,也没有可展示的新版成功纠错轨迹。
REAL RECORDS / 历史原文
正在载入已脱敏的真实记录…
动作和环境反馈保留原文;中文解释与高亮是本页整理。全量公开实例可在精选记录文件中查看,包含公开来源编号与原始文件摘要。
先确定这道题能做成,再验证它真的保留了那项能力,以及变化方向是否正确。保留这些判断,是为了确保研究比较的是同一件事。
必须换目标;必要链深度差 ≤ 1。最少动作差 ≤ 原题最少动作的四分之一向上取整,至少容许差一步。
目标相关的必要能力链严格变深,且最少动作数不能减少。
必要能力链严格变浅,且最少动作数不能增加。已经只有一步时不再硬降。
下面是验题程序的结构示例,不是模型成功率。三个目标都经过同一条闪长岩制作能力。
闪长岩 · 直接练关键制作
安山岩 · 加一层依赖
磨制安山岩 · 更深组合
固定配方和已确认的父题结果复用;关闭不用的旧指标。每项搜索最多 3,000 个状态、30,000 次转移、12 秒。一个候选可能有多个搜索,所以十二秒不是整道候选的总上限。
搜索没完成不算合格新题;明确不合格就保留来源题。环境执行异常单独报告,不能偷偷当成模型出了一道坏题。
验题合格后不额外生成八份试答。下一轮正式八份中是否出现 1–7 份成功,才回答“这题有没有带来可学内容”。题目结构合格率与可学题比例分开统计。
当前验证能检查可完成性、必要能力和结构方向,但不会证明模型提出的失败原因是唯一原因;这些结构指标与模型实际感觉的难易程度,也需要通过后续作答验证。
Deep 负责接下来练什么;纠错负责把相关成功经验带回原失败。两者结合的价值,必须体现在原题修复和独立测试上。
保留完整失败过程,参考已有同能力成功,指出一到三个与失败有关的位置。全错题也可以尝试修正。
如果当前题是降难后的题,回到原来的失败难题。参考只提供思路,不能把简单题额外的材料带过去。
只学习真正改过、被执行到、帮助原目标的动作。不学习反思、反馈、未变化的正确动作或无关生产。
保留错误之前的状态,从出错位置重新写后续。学习的是“以后别在这里犯这个错”。
必须保留错误造成的真实后果。学习的是“已经出错时,如何恢复”,不把重写成功冒充现场补救。
每个训练位置最多三个方案:先提前改正,再保留错误尝试补救,最后对另一份失败再提前改正;只有一份失败时,第三次可继续使用这一份。每个方案最多挑三个值得学习的改正动作。
二十题时,每个纠错组每轮最多六十个方案、一百八十个改正动作;十六题时为四十八个方案、一百四十四个动作。实际学习量取决于是否有失败、修复是否成功、动作筛选与去重。
方案只有在原目标真正完成、所选能力实际参与、改正动作有意义时才保留。不学习无效动作、查询背包、未执行后续和对目标无用的产物;相同输入下的相同改正去重。
整轮主练后收集方案,收齐整轮合格动作后统一学一遍、最多调整一次。没有合格修改就不调整。DR4B 与 WDR 由此时的学生提出方案,DRL 使用老师。
当前尚无新版真实成功纠错记录。要检验它是否有效,必须观察原题修复率、无参考情况下的原题表现,以及未见任务收益;修复成功数本身不是最终成绩。
下方是当前冻结代码中的实际分工和提示原文。固定提示与动态输入分开展示;历史旧提示不会伪装成当前配置。
signal_first/protocol.py十组定义、三轮、题量、奖励与总工作量。
course.py · shared_learning.py收集、主练、纠错、保存与阶段接续。
curriculum.pyWide / Deep 位置分配、旧难题回考、去重补齐。
generation.py失败证据、具体能力、学生或老师候选。
family_judge.py可完成性、不可绕开的能力、真正的难度方向。
learning.py八份答案的相对结果、动作学习、一次集中调整。
correction.py两种修复方式、原题执行、动作筛选与纠错学习。
evaluation.py五十道同一测试题、随机与固定作答分开报告。
正在载入从当前代码核对的提示词…
每次分析包含同题八份成败统计;如有失败,选动作种类最多的一份完整失败;如有成功,选最短的一份完整成功。保留选中轨迹的全部动作和反馈,不把八条长全文全部重复塞入输入。
可选能力来自题目原配方中真正与目标有关的部分。模型选择具体制作能力,并引用真实动作位置;学生组分析失败不会偷偷切换老师。
候选输入还会提供来源题、目标变化方向、可用官方训练目标和起始材料约束。模型返回结构化候选,程序再验题;它自报“合格”不算数。
当前输入上限 4,096 token。完整所选证据放不下时,该位置保留旧题,不把截断过的任务当作同一题继续。内容不合格不无限重写;网络临时失败与内容失败分开处理。
老师只在明确的对照组参与,不担任奖励裁判。主练与纠错沿用同一阶段的学生状态,后者是独立的局部动作学习。
主练下侧 / 上侧截断为 0.2 / 0.3,双重截断参数 3.0,重要性权重上限 2.0。当前计算的停止梯度副本作为近端参照,采样时记录的概率用于独立的重要性权重。因为整轮最多更新一次,不应把它等同于旧版多次更新的学习器。
使用所选改正动作文字的交叉熵,按整轮输出 token 总数归一化,每动作最多 64 token。学习时重建普通做题输入:原题、保留的动作和环境反馈作为上下文;反思只用于提出修改,不输入最终纠错学习。修正不改变主练原始奖励。
正在载入核对后的函数对应…
完整答卷、八份汇总、候选与取舍、能力追踪、原题修复经过、每阶段模型、继续训练所需状态、最终每题成绩与总表。
完成一份答案再保存;每轮主练或纠错后保存模型。中断后只补缺失答案,不重学已经完成的阶段。
不逐动作写盘、不单独摸底、不额外做整批参考题、不反复读取固定配方和已完成的大型验题材料、不计算不用的旧指标、不在收尾复制扫描全部历史。
新的题目仍须验题,纠错仍须回原环境执行。这两项直接决定训练材料是否可靠。
当前另有可选的 WDR 最多两小时短运行与原地接续安排,用于约束一次试运行;不是完整十组只需两小时。读取缓存减少的是具体重复工作,不代表整场 GPU 已获得同样比例的提速。新方案总耗时仍需真实运行确认。
自生成训练、语言反思、局部反馈和错误修正都有先例。本项目要验证的是:同一能力的横向扩展与纵向追踪,能否共同带来更有用的学习。
正在载入原文核对的相关研究…
HYPOTHESIS 01
不是只记“上轮错了什么”,而是保留同一具体能力的难易关系。以前做对的继续考,退到简单题后仍记得回来。
HYPOTHESIS 02
同时观察结构合格率与有对有错的题目比例。检验 Wide 与 Deep 同轮组合,是否更好地利用有限题额。
HYPOTHESIS 03
把同能力成功当作修复线索,在原环境执行后只学相关动作;检验它能否弥合简单练习与复杂任务之间的差距。
这十组能比较重复、随机换题、针对性扩展、Deep 组合机制以及加入纠错的收益。但 D 没有进一步拆成“只调难不长期追踪”,也没有“无课程、只有纠错”组,因此不能单独归因长期追踪,或严格测出纠错与 Deep 的交互收益。
纠错组有额外请求与学习数据,需要同时报告耗时、模型调用和总成本;进一步用等成本比较,排除只是多花计算的解释。
Agent-R 已在 TextCraft 做过修正训练,是很直接的外部对照。复现比较要统一模型、训练任务、动作上限、搜索和训练预算;不能把它论文的百分数直接放到本项目成绩旁宣称胜负。
当前每组一个训练随机起点、三轮,只能先检查机制与初步收益。后续需要独立训练种子、更多课程轮次、原难题无帮助回考、已会任务保持、未见任务迁移,以及更多环境。
TextCraft 适合先把配方关系与判定做清楚;ALFWorld 是已探索的下一类环境。ScienceWorld 与 AppWorld 有直接相关论文,但当前页面不把它们写成已经接入或完成的新实验。
项目从多环境探索,逐步收敛到可验证的题目关系与学习信号。下面是历史审计的关键发现;不同日期与版本的数字不混成一张成绩榜。
AppWorld 的多轮训练没有形成可靠完成率提升。程序发生了参数更新,不等于任务能力提高;于是转向成败明确、难度关系更容易核实的任务。
BabyAI 小测试在预热后已满分,后续没有实际强化学习更新;TextCraft、ALFWorld 的旧实验也没有证明 Deep 比成功答案自训练更好。审计发现旧难题回访不足、两端缺少学习信号、辅助成功未迁回原题。
当时独立测试中,原始模型、随机选题、Wide、简化 Wide + Deep 分别成功 5、5、6、7 题;三个训练组各发生 48 次更新。这是旧辅助式 Deep 的单种子小样本信号。
原始模型成功 1 题、随机组 5 题、Wide 7 题、辅助历史组 9 题、完整 Deep 6 题。共同学习方式可以带来提升,问题不只是“小模型学不动”,还在于预算是否用在正确能力上。
难题可能全错,降到简单题后又可能全对;两者都可能缺少可比较的奖励。必须分别检查可学题比例、能力组合和原题迁回,而非只数训练成功。
重复固定材料检查、逐步保存和独立摸底拖慢流程。旧 Deep 入口对配方修改提出冲突要求,实际任务进不去;修正还需区分提前改写、错误后补救,以及简单成功是否真正带回原题。
按具体能力追踪,保留原配方,以正式八份答案调度;首轮共用,整轮统一学习。实现与本地检查已合并,新版正式模型实验尚未开始。
先做额外检测,学习一直排在后面。
直接用主练八份答案的结果选下一轮题,不另采一批摸底。
相同首轮重复采样与学习,增加成本与差异。
共用首轮完整学习终点,后续各组独立;O、R 同时保留。
配方改动约束互相冲突,或难度变化只停留在文字上。
保留原配方,通过训练目标和初始材料建立可核实的难易关系。
简单题成功后替换当前题,原难题可能丢失。
按具体能力保留未掌握分支,成功参考触发回考,不清空旧账。
反思、整段成功或文字变化,不一定对应真正有用的改正。
回原题执行成功,再筛选与失败及目标有关的局部动作。
重复读取固定材料,动作后检查与保存,反复扫描历史。
固定内容复用,完整作答和学习阶段保存;必要验题与修复验证留下。
当前正式设计尚未额外增加原难题无帮助复测;这一项是后续机制验证需求,不计入上方 4,540 份计划量。
可下载材料仅包含本页公开内容,不包含账号、连接信息、私有文件位置或未经筛选的混合日志。
当前方法依据 2026 年 10 月 31 日合并的实验说明、统一设置与实际实现核对,源码标识为 befbef135dfc7。这是页面的核对快照,不是实时实验监控。
真实模型实例采用原始作答与模型回复;本页生成的流程图标注为示意,真实配方链标注为环境结构验证。历史结果来自项目已有审计与复盘,保留当时版本、题量与比较范围。
相关论文在本轮查阅原文,分别链接到 arXiv。它们论文中的模型、交互上限和任务量与本项目不同,不直接混排成绩。