为什么随机有收益,固定没有?
随机时更容易走到正确路径,但固定作答仍可能进入失败循环。纠错版学会了丛林木楼梯,又在投掷器上退步,总分正好抵消。
900 份测试给出了同一个提醒:更常答对,还不等于稳定学会。新版本围绕漏掉的失败、绕开的卡点、反复出错的成功路径,以及中断接续做了修改,已完成本地准备。
每次完成一轮、形成一批测试结果、确认原因或冻结修改,都会在这里留下对应的记录时间。下面分别列出已经得到的结果、已经写入的改动和下一步要检验的问题。
八个主要模型使用共同 30 题,每题随机两份、固定一份,共 720 份。一次/四次学习的小比较另有 180 份,合计 900 份。
| 版本 | 随机作答 | 固定作答 |
|---|---|---|
| 原模型 | 27 / 60 · 45.0% | 15 / 30 · 50.0% |
| Wide | 30 / 60 · 50.0% | 14 / 30 · 46.7% |
| Deep | 30 / 60 · 50.0% | 14 / 30 · 46.7% |
| 原 Wide+Deep | 27 / 60 · 45.0% | 15 / 30 · 50.0% |
| 同题量普通训练 | 28 / 60 · 46.7% | 14 / 30 · 46.7% |
| 改进 Wide+Deep | 30 / 60 · 50.0% | 14 / 30 · 46.7% |
| 改进 Wide+Deep+纠错 | 34 / 60 · 56.7% | 15 / 30 · 50.0% |
| 50 道种子版 | 29 / 60 · 48.3% | 13 / 30 · 43.3% |
随机成绩计算两次作答的全部结果,不挑最好的一份。一次/四次小比较中,随机为 28 → 29 / 60,固定为 15 → 16 / 30,增加学习次数的收益很小。每个方法目前只有一次完整运行,30 题的四档难度分布为 10、11、8、1;还不足以确定稳定优势。
随机时更容易走到正确路径,但固定作答仍可能进入失败循环。纠错版学会了丛林木楼梯,又在投掷器上退步,总分正好抵消。
扩大组确实获得了更多有对有错的练习;问题包括第二轮整批诊断丢失、缺少卡点过渡,以及新增进步被旧题退步抵消。
纠错版 34 份随机成功中,25 份仍有被拒动作。只按整题成败学习,可能连成功过程中的重复错误也一起强化。
以下改动已合并进 11 月 3 日的正式准备版本,并通过对应本地检查。它们解决流程与课程安排的问题;最终能否减少退步、提高成绩,需要新实验回答。
发现:材料规则没有说透时,答错可能来自理解方式不同;长题切换显示方式也可能漏说明。
已改:学生、老师和普通训练组使用共同说明;长题仍保留完整动作、库存与反馈。
本地用旧长题失败记录检查了四种显示方式,内容可完整还原。
发现:扩大组第二轮漏了一条分组,55 份有效诊断没有进入出题。
已改:保留已经分好的有效诊断,遗漏项单独处理,让其余题继续进入课程。
本地回放了原来的遗漏情况,其他有效诊断保留下来。
发现:只看第一份回答,会漏掉其他回答已经暴露的失败。
已改:第一份先给老师;八份补齐后,完整成败和同能力历史表现共同决定 Wide、Deep 的安排。
本地检查覆盖首份成功、后续失败的情况,以及同能力跨题成绩的使用。
发现:书架题缺造纸练习时直接送纸,或者已经会造纸却仍不会备齐数量,都需要更具体的过渡。
已改:简化其他负担,保留当前不会的必要步骤;简单题成功后优先回原题,仍不会就补数量和制作次序的过渡。
本地检查覆盖卡点保留、原题回访和过渡安排;可完成、能力必要、难度方向的验题继续保留。
发现:纠错版 34 份随机成功中,25 份仍出现被环境拒绝的动作;做成不等于过程稳定。
已改:从已有答卷记录重复失败和恢复情况;八份全对但过程出错的题优先回访,暂缓升难。
本地检查确认了回访优先级。这是课程安排的变化,八份仍全对时,主练本身仍没有成败差异。
发现:错误发生前重写,与错误发生后现场补救,学到的能力不同。
已改:现场补救保留至少一次实际失败和后果;回原题执行到成功,只学习改过、执行过且帮助原目标的动作。
本地检查覆盖原题执行和动作筛选;反思文字、未改动作及无关产物不作为学习目标。
发现:学生答完等待老师、重复准备和过细保存,会占用付费显卡时间。
已改:老师工作时继续补齐旧题;作答最多并行八份,训练按显存余量安排。同时只驻留一个模型,只保存题目、完整答卷、关键结果和阶段模型。
本地检查覆盖并行补答和完整流程。新题仍要等两组计划和匹配题量确定后再做;没有额外摸底、逐动作保存或反复扫描历史。
发现:模型已保存、汇总还没写完时重启,可能重复更新;老师正常工作也可能被误当作无进展。
已改:直接接回已完成的模型;老师临时故障最多尝试三次,完成回复时记录进度。内部调用额度只记账。
本地真实学习检查了保存、重载和继续学习的一致性;整套流程完成后重启,没有新增工作。
本次从未训练模型重新开始。两个方法组从第一轮就使用新课程;纠错组每轮用自己纠错后的模型决定后续题目。旧七组结果全部保留。
| 版本 | 做什么 | 用来回答什么 |
|---|---|---|
| 未训练参考 | 使用统一后的说明,重新测共同 30 题 | 在相同条件下比较是否学到了 |
| 同题量普通训练 | 用官方训练题,匹配实际题量和主练安排 | 进步是否只是因为多练了 |
| 修订 Wide+Deep | 按完整八份结果出题、保留卡点、长期回访 | 新的课程安排是否带来净收益 |
| 同样方法+纠错 | 每轮主练后,收集并学习有效改正 | 加入原题纠错的完整流程是否更好 |
种子与到期历史题先各做一份,开始诊断、归因和分组。
老师工作期间继续作答,用完整表现补全失败覆盖。
生成 Wide、Deep,验明可完成、保留能力、方向正确;各组确定相同题量。
新题也各做八份;所有入选题收齐后,统一做主练。
回原题完成有效改正,收齐后至多再学一次;进入下一轮。
每轮每组最多 480 份训练回答,三个训练组的实际题量严格匹配。每轮主练至多一次,三轮合计至多 9 次;纠错另至多 3 次。第一份诊断回答直接计入八份,不另做摸底。共同说明已变化,因此旧 base 成绩不能直接作为新条件下的参考。
最后测试:四个版本共同 30 题,每题随机两份、固定一份,共 360 份。其余 20 题、50 种子组、单独 Wide/Deep 组及旧一次/四次比较,都不由本轮自动追加。
规划范围 8–31 小时
按旧显卡价格每小时 1.79 美元,约 23 美元,范围约 15–55 美元;老师和存储另计。估时来自已完成实验的整轮耗时,包含出题、作答、纠错、学习、保存、加载和测试。
没有把新并行方式尚未实测的提速提前扣掉。开机后用首批正式产出更新速度和剩余时间,完成的回答直接保留。
使用本地小模型完成实际学习、保存、重载和继续学习。整套流程采用受控动作与老师回复,在真实环境检查;这些记录只用于检查流程。
| 范围 | 通过 | 验证了什么 |
|---|---|---|
| 主练与并行补答 | 98 | 实际模型更新、完整回答、共同说明和有效诊断保留 |
| 长题处理 | 6 | 实际分词器、旧失败答卷和四种显示方式 |
| 整套流程 | 2 | 三个训练组各三轮、四版本测试与完成后接续 |
| 固定材料学习比较 | 5 | 同一初始模型与同一批答卷的真实学习 |
| 老师与进度 | 14 | 临时故障、有限重试、回复恢复和调用记账 |
| 启动与退出 | 8 | 重复启动、安装、空间不足、中断与无进展退出 |
| 方法与纠错 | 46 | 真实验题、回访、有效改正与保存后接续 |
真实显卡的兼容性、显存、首次正式学习保存和整题速度,开机后随第一段正式实验核对。前 15 分钟查看首批产出;首次有效学习和保存按两小时观察窗口安排。连续 45 分钟没有新产出时停止工作进程并保留结果,显卡停机另由实验负责人确认。
旧实验成绩保留原始记录时间。后续新结果将接在这里,说明本轮做了什么、得到什么,以及下一步为什么调整。
统一首页、分析页和最新进展页;新增八项代码改动、检查摘要、四版本实验安排和未解决问题。
合并修改,179 项检查通过,最终包完成独立解压和实际安装。等待新实验开机。
结合逐题答卷分析随机与固定表现、扩大题量效果、进退步抵消和下一轮改进。
21 轮训练、720 份主测试、180 份补充比较完成;21:01 确认显卡停机。