红色地毯:做了一块,缺第二块
红羊毛确实练过:种子题从 6 / 8 到 7 / 8,再到 8 / 8,前两轮有实际学习。测试中,一份随机回答和固定回答都做出了一块红羊毛,但地毯需要两块。模型反复尝试最终合成,没有再做第二块。
旧训练里,不少红旗题开局给了五块羊毛,只需补做一块;从头做够六块的原题三轮仍全错。
随机作答每题两份,全部计分;固定作答每题一份。模型相同,变化来自加入新的题。
| 范围 | 随机作答 | 固定作答 | 三份全错的题 |
|---|---|---|---|
| 原 30 题 | 34 / 60 · 56.7% | 15 / 30 · 50% | 7 / 30 |
| 新增 20 题 | 16 / 40 · 40% | 9 / 20 · 45% | 9 / 20 |
| 完整 50 题 | 50 / 100 · 50% | 24 / 50 · 48% | 16 / 50 |
随机 45% → 56.7%
固定 50% → 50%
随机 46% → 50%
固定 48% → 48%
完整 50 题的同条件训练收益,还缺相同作答设置下的未训练模型完整记录。两份旧参考的原 30 题随机分恰好都是 45%,但不是同一批答卷。
新增 60 份答案中有 35 份失败,全部耗尽 24 步。其中 32 份至少三次重复同一个失败动作,25 份至少重复五次;失败答案的 840 步里,636 步被环境拒绝。
红羊毛确实练过:种子题从 6 / 8 到 7 / 8,再到 8 / 8,前两轮有实际学习。测试中,一份随机回答和固定回答都做出了一块红羊毛,但地毯需要两块。模型反复尝试最终合成,没有再做第二块。
旧训练里,不少红旗题开局给了五块羊毛,只需补做一块;从头做够六块的原题三轮仍全错。
旧训练没有这条制作链的专项练习。一份随机回答和固定回答已经造出三个玻璃瓶,而目标需要四个。此后继续尝试最终合成,没有再做一批瓶子。
这既有覆盖不足,也暴露了“产量不够就再做一批”的共同缺口。
蓝羊毛及相关变体共七个题次,不是八次全对,就是八次全错,没有参加主练,也没有留下合格纠错。固定测试做出蓝染料后,反复索取不能直接领取的白羊毛,没有取线去制作。
旗帜还需要六块蓝羊毛,远超过做成一块。
旧训练缺少普通活塞和黏性活塞的完整制作链。固定测试做好木板后,仍缺普通活塞,却反复领取已经够用的黏液球,没有准备铁锭、红石和圆石。
只增加木板练习,解决不了这个组合任务。
三轮共 115 个题次、920 份回答;有对有错的 47 个题次参加主练。八次全对或全错的题,在这套主练规则下没有对错差异。
| 轮次 | 题数 | 参加主练 | 全对 | 全错 | 学习的改正动作 |
|---|---|---|---|---|---|
| 1 | 31 | 14 | 15 | 2 | 49 |
| 2 | 40 | 15 | 17 | 8 | 65 |
| 3 | 44 | 18 | 17 | 9 | 73 |
旧组三轮的 53 道不同训练题全部预给材料、禁止额外领取。刚暂停的新版,20 道种子和普通训练的 240 道候选也如此;第五组同样受影响。这是实际执行规则的差异。
35 份失败答案中,33 份曾经成功取料。要补的不是单纯“会不会取料”,而是发现缺口、补足原料或中间产物、继续完成原目标。
种子、普通训练和 Wide/Deep 使用与测试相同的真实原料领取规则。取料算在 24 步内,不能把准备材料从用时和难度中抹掉。
原配方不变;验证能否做成、所练能力能否绕开、难度是否按要求变化。开放取料后,一些旧的能力判断不再成立,必须重新判断,不能沿用旧结论。
保留新题八次作答的筛选和完整补救学习,检查真正有用的取料动作不会被丢掉。中间材料不足时要继续制作,不能一律用领取代替。
已完成的 50 题直接保留;暂停前 46 份回答只归档。以后共享首轮种子回答,必须模型、题目、材料条件和作答说明全部相同。
五组、20 道种子、三轮、每题八份、每轮最多 60 题的规模不变,最终继续测共同 30 题。记录新题真正参加学习的比例、重复失败的次数、能否补足数量和从空背包完成任务,再看总成绩。
这些测试案例已被用于改进方法;下一轮能检验修订是否解决已见问题,最终确认能否推广还需要没参与分析的新题。