# 新题是否真正用于学习，以及下一轮怎样改

旧实验中，相当一部分新题没有直接推动主练。新版加入一次有上限的补题，先提高每轮有效练习的数量；本次仍做三轮。

## 旧实验实际用了多少新题

下面逐题核对了选题记录、八份原回答和实际学习记录。“有效”指八份中既有成功也有失败，并且实际参加了主练。纠错的额外学习量单独记录。

| 旧实验组 | 三轮实际练过的新题 | 有效新题 | 八份全对 | 八份全错 |
| --- | ---: | ---: | ---: | ---: |
| Wide | 24 | 12 | 4 | 8 |
| Deep | 24 | 16 | 7 | 1 |
| 原 Wide＋Deep | 24 | 9 | 12 | 3 |
| 改进 Wide＋Deep | 33 | 15 | 13 | 5 |
| 改进 Wide＋Deep＋纠错 | 33 | 13 | 13 | 7 |
| 50 种子的大题量组 | 34 | 17 | 13 | 4 |

原联合组只有 9/24 道新题参与主练；第三轮新增的四题全部没有成败差异。纠错组也只有 13/33 道新题参与主练。旧程序已经排除全对、全错题的主练，缺少的是发现无效后再有界补题。

逐题来源见 [原始核对结果](new-task-signal-data.json)。

## 新版筛题做什么

先保留原来的环境验题：任务能完成、真正使用所选能力、变化方向正确。通过后，再用学生自己的八份正式回答判断是否适合主练。

1. 八份中成功 1–7 份的新题可以入选。保留全部八份，不挑好答案，不改奖励。
2. 全错或全对的新题先留下完整记录。老师根据这些真实结果调整任务，最多再出一批；不会对同一道题反复抽答案直到出现想要的成败比例。
3. 普通训练组也用相同的筛题规则和候选上限，从预先固定的官方题池取下一批，避免只有方法组多获得一次筛选机会。
4. 三组筛完后，分别匹配种子与复习题数量、新题数量，收齐整轮后统一学习。入选题直接复用刚才的八份回答。
5. 学习结束后核对入选新题确实参加了更新。被筛掉的题、补题失败和未匹配入选的题都保留，不把它们的作答成本藏起来。

这个筛选能保证最终录用的新题提供真实的成败差异。它不能保证每道提出的候选都合格，也不能保证测试分数一定上涨。补题用尽后按实际有效题量继续，各组不会为凑满 60 题无限等待。

原有改动继续保留：第一份先给老师，补齐八份后再决定课程；降难保留当前不会的步骤；简单题成功后回原难题；回考仍失败时补过渡练习；全对但反复出错的题暂缓升难。

## 先补旧最佳组的完整 50 题

旧纠错组在共同 30 题上的随机成绩最好，固定成绩与原模型持平。先保留这 30 题的 90 份真实答卷，只补原 50 题中缺少的 20 题：每题随机两份、固定一份，共新增 60 份。

补测沿用旧模型、旧材料说明、原题顺序和原作答设置。新版训练使用的新说明不会混入旧补测。补测完整结果保存后，新训练才开始。中断后只补缺失回答。

这 50 题成绩单列展示，原来各组共同 30 题的比较保留。其他组只有 30 题时，不能拿不同题集的百分比直接重新排名。

当前补测入口已通过本地检查，真实补测等待开机，预计约 20–40 分钟。

## 本次要不要增加轮数

更多轮值得做对照，但现在直接加轮还不是最划算的第一步。

三轮只能根据学习后的表现调整课程两次，对“简化练习—回原题—过渡练习—再次回考”可能偏短。另一方面，旧联合组第三轮四道新题没有一题提供有效主练信号，单纯重复这种轮次不会解决问题。

旧的同批材料学一次与四次比较，随机与固定测试都只多答对一份。这不能说明更多课程轮次无用，因为“对同一批再学几次”和“再根据新表现出一轮题”是两件事。

本次保持三轮，逐轮记录有效新题数量、原难题回升、已会题退步和重复错误。若第三轮仍持续产出有效新题，原难题的回升也没有明显停滞，再预先约定三组一起从三轮续到五轮，保留第三轮模型。是否继续由训练题的这些表现判断，不拿最后测试题反复选轮数。

## 时间和费用重新计算

筛题会增加部分候选作答，旧的约 13 小时估计不再直接沿用。新的中间场景约 **17 小时**；候选较少时约 **13 小时**；所有候选额度都用完且复杂题变慢的保守场景约 **47 小时**。最后一个是留余量的场景，不是预计必然花费。

按旧费率每小时 1.79 美元，分别约 31、22、84 美元。以上包括补测、出题、所有候选作答、主练、纠错、加载、保存、共同测试和收尾；老师与存储另计。新机器费率需要开机时核对。

所有候选都按旧实验的完整阶段耗时估计，没有提前把未测到的并行提速算成节省。实际前一轮完成后，按候选数、有效题量和完整耗时更新剩余时间。计算明细见 [时间预算](new-experiment-plan.json)。

## 随机与固定成绩怎样理解

模型写下一个字词时，会给不同选择分配概率。固定作答取概率最高的选择；随机作答按这些概率抽一次，高概率的选择更容易被抽到。每次仍只完成一份回答，不遍历所有路线。

本次随机每题两份，全部计分，不取最好的一份；固定每题一份。两种成绩分开展示。

[AgentGym-RL 官方 TextCraft 测试示例](https://github.com/WooooDyy/AgentGym-RL/blob/82402a99c62a293735a3f412fb8ac9a600673bc0/examples/eval/textcraft_eval.sh)每题随机作答一份，没有要求同时报固定成绩。我们把随机成绩作为主要结果，固定成绩用于观察惯常错误是否改稳。官方脚本与本实验的作答次数、动作额度等并非完全相同，因此这里用于说明设置，不直接比较双方分数。

固定测试不是多给模型提示，也没有额外老师帮助或自动回退。纠错发生在训练中，测试仍由学生独立完成。