Wide / Deep 实验复盘 · 2026.11.03
← 回到实验首页实验已完成 · 共同 30 题

RESULTS → CAUSES → NEXT EXPERIMENT

为什么多练了,
提升还不稳?

纠错让正确答案出现得更多,但常用的做法仍会出错。扩大题量增加了学习材料,却没有解决练习衔接、错误重复和进退步抵消。

第一项比较纠错版与原模型,第二项比较 50 道种子版与改进联合版。以下所有成绩来自已完成实验;下一轮改进尚未运行。

01 / WHAT ACTUALLY CHANGED

先把成绩放在同一个尺度上。

七个训练组均完成三轮。八个主模型共 720 份答卷;学一次与四次的补充比较另有 180 份。

随机作答固定作答
原模型N
45.0%
50.0%
WideWT
50.0%
46.7%
DeepDT
50.0%
46.7%
原联合WDT
45.0%
50.0%
普通训练R
46.7%
46.7%
改进联合OPT
50.0%
46.7%
改进联合+纠错REPAIR
56.7%
50.0%
50 道种子版SCALE50
48.3%
43.3%
同一套题、同一判分规则。条形均表示成功率,长度按 0–100% 展示。

随机的 60 份,不能和固定的 30 份直接比数量。

每题随机作答两次、固定作答一次。随机分数把两次回答全部计入,没有取两次中的最好结果。随机收益也必须和原模型的随机成绩比较。

本次从原 50 题中预先固定选择 30 题,四档难度分别为 10、11、8、1 题。其余 20 题按原安排以后补测。

目前的结论

纠错版最值得继续研究。原联合版与原模型持平,扩大组没有优于 20 题版;这次尚未显示稳定的整体提升。

查看八组的完整数字
版本随机作答固定作答相对原模型:随机 / 固定
原模型27 / 60 · 45.0%15 / 30 · 50.0%+0 份 / +0 题
Wide30 / 60 · 50.0%14 / 30 · 46.7%+3 份 / -1 题
Deep30 / 60 · 50.0%14 / 30 · 46.7%+3 份 / -1 题
原 Wide+Deep27 / 60 · 45.0%15 / 30 · 50.0%+0 份 / +0 题
同题量普通训练28 / 60 · 46.7%14 / 30 · 46.7%+1 份 / -1 题
改进 Wide+Deep30 / 60 · 50.0%14 / 30 · 46.7%+3 份 / -1 题
改进 Wide+Deep+纠错34 / 60 · 56.7%15 / 30 · 50.0%+7 份 / +0 题
50 道种子版29 / 60 · 48.3%13 / 30 · 43.3%+2 份 / -2 题
02 / FROM OCCASIONAL SUCCESS TO RELIABLE ACTION

正确路径出现得更多,
常用路径仍会出错。

固定作答总分不变,并不代表每道题都没变。新学会的题与新做错的题可以恰好抵消。

答卷已经证明

纠错版:学会一题,又丢了一题。

相对原模型,丛林木楼梯从固定作答失败变成成功;投掷器则从成功变成失败。固定总分仍是 15 / 30。

随机作答有 7 题进步、1 题退步,多对 8 份、少对 1 份,净增 7 份。相对同样改进但不纠错的版本,则净增 4 份随机成功和 1 题固定成功。

与证据相符,尚待验证

训练可能改变了“有多大机会做对”,还没稳定改变“最常怎么做”。

训练中的回答带随机性。让某些正确做法更容易出现,未必立即改变固定作答最常选的动作;一旦走进错误循环,随机作答又有机会换一条路。

本次没有保存最终测试的完整选择概率。这个解释要靠下一轮少量关键状态的对比确认,不能仅凭分数认定。

真实答卷 / 投掷器

同一个纠错模型,既能做成,也会连续索要不需要的木棍。

原模型 · 固定作答
  1. 领取 1 份红石
  2. 领取 7 份圆石
  3. 制作投掷器
第 3 步成功
纠错版 · 固定作答
  1. 第 1、3 步分别领到红石、圆石
  2. 第 2 步及第 4–24 步索要木棍
  3. 环境拒绝,仍继续同一操作
重复失败 22 次,未完成
纠错版 · 两次随机作答
  1. 一份绕了很远,直到第 23 步才做成
  2. 另一份补齐红石和圆石,第 6 步做成
两份均成功,但过程并不都顺畅

原题所需材料里没有木棍。这次退步表现为选错动作、失败后不调整,不能简单理解成“整个制作能力消失”。

收益确实包含新突破:蓝色玻璃板、丛林木楼梯、黄绿色羊毛在原模型三份回答中全错,纠错版分别成功 1、3、1 份。但 34 份随机成功中,仍有 25 份出现过操作失败,做对不等于过程已经熟练。
03 / WHY MORE DATA DID NOT WIN

更多材料是真的,
没转成优势也是真的。

50 道种子版相对改进联合版,随机少对 1 / 60,固定少对 1 / 30。差距很小,不能据此推出“加题普遍有害”。

三轮合计20 道种子 · 改进联合50 道种子 · 扩大版
各轮题数31 → 40 → 4475 → 75 → 84
全部回答920 份1,872 份
有对有错的题次48 / 115117 / 234
主学习调整次数3 次3 次
最终随机成功率50.0%(30 / 60)48.3%(29 / 60)
最终固定成功率46.7%(14 / 30)43.3%(13 / 30)

“题次”按轮计数:同一题两轮都参与,就计两次。全对或全错题在主学习中已跳过,不会作为零分材料稀释平均值;它们主要消耗作答时间和题目名额。

01

扩大组第二轮没有完成预期扩题。

老师分组漏了一条诊断,整份分组被拒,55 份有效单题诊断没有进入出题。这轮仍完成 50 道种子和 25 道旧题的学习,但新题为零。因此,这次不能代表修好流程后的完整扩量效果。

02

新增练习补回了旧题失去的机会,没有推动难题继续前进。

最后一轮新增 9 题,只有 4 题有对有错;原 75 题中,这类题从 40 道降至 36 道,合起来仍是 40。旧题中原本至少成功过一次的题从 68 道降到 65 道。新题里仅增加起始铁锭数量的铁粒题,仍是一步完成、8 / 8 全对。

03

进步被退步抵消,种子题总分停在原地。

扩大组第二轮学习前后,同一批 50 道种子多对 24 份,又少对 24 份,仍是 279 / 400。全部 75 道旧题多对 43 份、少对 38 份,最后只增加 5 份。闪长岩台阶曾从 8 / 8 降到 5 / 8,再回到 8 / 8;单轮下降也可能包含作答波动。

04

更多材料被合并到相同的三次调整里,题目组成也变了。

学习确实发生了,但回答多一倍不等于模型多练一倍。当前按整轮材料平均后调整,更多题主要改变这次调整的方向。50 道种子包含原 20 道,加上固定随机补入的 30 道;数量和能力分布同时变化。是否学得太轻、不同题互相干扰,需要分别比较。

两处固定退步,都还有随机成功。

扩大版的投掷器和磨制黑石,固定作答失败,两次随机作答却都成功。磨制黑石的固定回答反复用错配方数量,耗尽 24 步;其中一份随机回答只用两步完成。优先修动作选择与反馈使用,比直接继续加题更有依据。

04 / WHERE THE LEARNING OPPORTUNITY IS LOST

出题、学什么、学多少,
是三个不同的问题。

题目能完成、能力没有被绕开、难度方向正确,仍不保证它适合当前学生,也不保证学到的内容会回到原题。

出题衔接

书架:从“会造纸”到“备齐三本书”,中间还缺练习。

早期简化题直接给纸,绕开了暴露的难点。后来的扩大组已经改成用甘蔗造纸、再做一本书,结果 8 / 8;原书架在三轮训练前的作答中均为 0 / 8。

保存的后期失败经过显示,学生能做纸、皮革,也做出过书,后来因数量不足反复失败。真正需要的是多份材料的筹备和完整次序。原题已有回考,缺的是从两步练习走向约十二步原题的过渡。

学习内容

整题成败,没有告诉模型究竟哪一步该改。

对有对有错的题,成功回答里的全部动作都受鼓励,失败回答中已做对的准备动作也一起受压低。长回答包含更多学习项,重复失败可能占去更多份量。

这能解释为什么应检查学习方式,却还不能证明它是退步的唯一原因。下一轮应比较每份回答如何分配学习量,以及只学有效改正能否改善结果;最终奖励继续由原目标是否完成决定。

下一轮应补的过渡 / 示意,尚无学生成绩
造纸,再做一本书已有简单题会做
连续备齐多本书保留造纸与数量筹备
完成原书架回原材料、原规则检验

只帮助非卡点材料,逐渐撤掉帮助;每道过渡题仍要通过可完成、能力必要、难度方向的验证。

已经做过的小对照

同一批材料学四次,改善仍然很小。

固定第一轮 31 题、248 份回答,不新增答卷。学 1 次 → 4 次:随机 28 → 29 / 60;固定 15 → 16 / 30。随机有 5 题进步、4 题退步,最后净增一份。

多学并非无效,但不能把全部问题归给“每轮只学一次”。这项比较使用首轮材料,不能代表更大课程或其他学习安排都已得到验证。

同一批材料
次数随机固定
1 次46.7%50.0%
4 次48.3%53.3%
补充训练阶段含准备与保存,共 27 分 49 秒。
+

Wide+Deep 的效果不会自动相加。

原联合版第二轮 9 道新题中有 6 道全对;第三轮 4 道新题是 3 道全错、1 道全对,没有一道提供主练的成败比较。固定总名额下,两类练习还会分摊机会。下一轮按真实薄弱点和预期学习价值分配名额,不能只满足两类题都有。

+

纠错目前验证的是完整方案,收益来源还要拆开。

纠错组三轮分别学习了 49、65、73 个合格动作,多了三次学习,后续又独立出题。下一轮保留这种自进化比较,同时用相同首轮材料做一个等学习量的小对照,区分“额外学了”与“学的是关键改正”。

+

三轮只给课程两次根据学习反馈改题的机会。

改进联合与纠错组复用原联合的首轮主练,新的出题安排实际只在后两轮展开。当前结果还不能判断更长的自进化是否有效。先让短程实验出现可重复净收益,再单独比较增加轮数;第三次训练后的效果看最终共同测试,不能用第三轮训练前的答卷代替。

05 / THE MOST CONCRETE FAILURE

收到失败反馈后,
经常没有改变下一步。

八个主模型的 11,040 次操作中,7,767 次被环境拒绝;其中 4,396 次是在相同库存下再次提交相同失败操作。失败题会做满 24 步,因此这里是动作统计,不是计算时间占比。

六题所有八组都未成功:红砂岩墙、砖墙、棕色地毯、红石比较器、蓝色地毯、漏斗矿车。下一轮从训练集中的同类错误设计练习,测试题继续留作检验。

纠错已经出现一个具体好例子。

丛林木楼梯中,两版前四步相同:造出四块木板,发现不够,又领取原木。原模型此后继续尝试用不足的木板做楼梯;纠错版第五步把原木再做成木板,第六步完成目标。下一轮应让这种“根据反馈补对步骤”的变化更多、更稳定。

不把所有重复操作直接截停:原模型做磨制黑石时,曾在重复错误后于第 15 步成功,纠错版一份投掷器回答在第 23 步成功。应训练模型减少重复,保留既定的测试规则。

06 / LOOK QUESTION BY QUESTION

把进步和退步分别展开。

选择两个版本和作答方式,查看同一题的变化。随机一栏每题最多成功两份;固定一栏每题一份。表格使用全部 30 题。

默认比较:原模型 → 改进联合+纠错,随机作答。7 题进步、1 题退步、22 题不变,净增 7 份成功。

题目难度档原模型纠错版成功份数变化
投掷器12 / 22 / 2+0 · 不变
深色橡木板11 / 21 / 2+0 · 不变
黑石楼梯12 / 22 / 2+0 · 不变
平滑石英台阶12 / 22 / 2+0 · 不变
磨制黑石12 / 22 / 2+0 · 不变
砂土12 / 22 / 2+0 · 不变
红石块12 / 22 / 2+0 · 不变
钻石头盔11 / 22 / 2+1 · 进步
浮冰12 / 22 / 2+0 · 不变
绯红木板11 / 20 / 2-1 · 退步
蓝色玻璃板20 / 21 / 2+1 · 进步
白色陶瓦22 / 22 / 2+0 · 不变
淡灰色玻璃板20 / 20 / 2+0 · 不变
蓝色陶瓦22 / 22 / 2+0 · 不变
红砂岩墙20 / 20 / 2+0 · 不变
丛林木楼梯20 / 22 / 2+2 · 进步
磨制黑石楼梯21 / 21 / 2+0 · 不变
砖墙20 / 20 / 2+0 · 不变
红石灯21 / 21 / 2+0 · 不变
紫色染料21 / 21 / 2+0 · 不变
黑色羊毛20 / 21 / 2+1 · 进步
錾制红砂岩31 / 21 / 2+0 · 不变
末地水晶30 / 21 / 2+1 · 进步
錾制石砖30 / 21 / 2+1 · 进步
棕色地毯30 / 20 / 2+0 · 不变
红石比较器30 / 20 / 2+0 · 不变
蓝色地毯30 / 20 / 2+0 · 不变
黄绿色羊毛30 / 21 / 2+1 · 进步
蘑菇煲32 / 22 / 2+0 · 不变
漏斗矿车40 / 20 / 2+0 · 不变
这些差异还需要怎样确认?

每种方法只完整运行了一次,每题只有两份随机答案。随机多对一份是 1.7 个百分点;固定多对一题是 3.3 个百分点,少数题就会影响排名。最高难度档只有一题。

按整道题配对的探索性检验中,纠错相对原模型的双侧值为 0.0625,相对改进非纠错版为 0.3594,尚不足以确认稳定优势。下一轮在训练集内部选方案,对入选方案做独立重复,再检查预定剩余测试题;不按这 30 题的分数反复挑设置。

07 / THE NEXT EXPERIMENT

先把有效练习接成链,
再扩大规模。

建议先保留 20 道共同种子、3 轮、每题 8 份、每轮总量上限 60 题。全部题收齐后统一训练;先验证改动,再增加题量或轮数。

已准备,尚未上实验

本地候选已合并材料说明、诊断与分组漏项修复、卡点保留、数量过渡、跨题成绩共享及作答并行改进。它仍需与完整代码组合;真实效果和显卡提速尚未测量。

1

不再把诊断和练习机会丢掉

使用完整八份表现,老师漏分一项时保留其他有效诊断;补齐真实可练的制作步骤。同类与跨类已有成绩一起看,减少重复出已经轻松全对的题。

看什么:漏掉的失败数、合格新题覆盖、实际有对有错的题量。
2

Deep 练卡点,逐步回到原难题

全错时简化非卡点;简单题做对先回原题。原题仍全错,就从已会简单题增加一点必要制作或数量筹备,形成过渡。对已有正确做法的题,检查是否仍频繁出错,再决定升难。

看什么:原本全错题的突破、原题无帮助时的成功率、过渡题是否保留卡点。
3

让学习更明确,也保住已有正确做法

先固定已有一批材料,分别检查长失败的学习占比、每份回答的权重,以及少量成功复习是否减少退步。最终成败奖励保持不变;不把这几项一次全改后只比较总分。

看什么:固定与随机两种成绩、进步和退步分别多少、重复错误是否减少。
4

把纠错收益与额外学习分开

主实验仍按各自模型独立出题,检验完整自进化流程。另用相同首轮材料,比较等学习量的普通成功动作和合格改正动作;都在原题原条件下验证完成。

看什么:独立原题表现、共同测试、每份有效改正的收益与时间。
先做

修好共用说明与学习环节

复用已有答卷完成离线检查。用训练集内部的小验证确定学习安排,不重复已经做完的一次/四次比较。提示有变化时,未训练参考和所有组都用同一版。

再做

用少量版本检验方法

未训练参考、同题量普通训练、修订 Wide+Deep、修订 Wide+Deep+纠错。普通训练匹配题量和主学习安排;纠错的额外学习单列。对入选方案做独立重复。

最后做

看到稳定净收益后,再扩到 50 题

20 题作为 50 题中的固定子集,保持共同说明、出题规则和学习安排;配同题量普通训练。检查新增能力覆盖,同时报告额外耗时,避免用更多计算掩盖效率下降。

速度优化继续保留,研究判断也继续保留。

首份答案先送老师,其余回答并行补齐;确定录用的新题可尽早作答。每题仍收齐八份,整轮再训练。只保留题目、完整答卷、关键结果和各阶段模型,不新增一轮摸底或逐步备份。验题结果复用,可完成、能力必要、方向正确、训练测试分离四项不删。

下一轮是否值得继续扩大,主要看:原本不会的题开始会,原来会的题保得住,而且未见题在固定和随机作答中都有可重复的净收益。

EVIDENCE & DOWNLOADS

结论能回到具体答卷。

根据已收回的完整测试、各轮学习记录、原题历史及实际学习方式整理。新页面没有重新训练、重新做题或改变已有结果。