RQ3 · input familiarity signal

输入 NLL 与前缀冗余呈正向条件关联,但预测力有限。

四因素联合分析显示:控制 A-hat、操作量与无关节点数后,原始 mean NLL 的系数为正;但样本外解释度接近于零。这里报告的是关联,不是“陌生导致 overthink”的因果结论。

固定 random600 campaign273独立、正确且 n_steps ≥ 2 的自然轨迹
+0.0568
mean NLL 每增加 1 SD,rho 的条件变化
0.0084
5-fold group-isolated OOF R²
0.8233
样本平均 rho(273/273 可测)

四因素联合模型

系数已按 predictor 标准差缩放;rho 保持原始尺度。线段为 HC3 95% CI,圆点为估计系数。

rho ~ z(A-hat) + z(op) + z(irrelevant) + z(raw mean NLL)
点击切换名义 p / Holm 校正 p
零线表示无条件关联。HC3 联合检验 p = 0.0056;Holm 后,mean NLL 仍显著(p = 0.0095),无关节点数不再显著(p = 0.0638)。
读法:mean NLL 的方向与 rho 同向,但联合模型样本内 R² = 0.0485、调整 R² = 0.0343;OOF R² = 0.0084,训练折均值 baseline 的 MSE 仅改善 1.35%。

测量锚点

k=0 judge 正确149 / 273
full-prefix judge 正确270 / 273
rho ≥ 0.95153 / 273
rho 定义1 − k*/N
judgegpt-4o-mini
估计量complete-case
方法与边界(展开)

数据来自随机 600 GSMDC 原始题中的条件化队列:273 个独立自然轨迹,均正确且 n_steps ≥ 2;并非“全部 600”,也不是旧的 49 题中期样本。每题 8 DIRECT + 8 THINK_A 收益;rho 使用 HMTE 的首个成功正前缀定义,四因素模型使用 HC3 置信区间与 Holm 校正。

  • 文本 NLL 不是直接的训练熟悉度测量,可能同时受词汇、格式等因素影响。
  • 这是单一 OLMo-3-32B-Think checkpoint;不能推出跨模型或因果结论。
  • 7B 预检结果未纳入本页。
辅助 B 差值关联(不作为主结果)
Bscaled Pearson r−0.1049 · p=.0837 · Holm=.2510
A-hat Pearson r−0.0264 · p=.6638 · Holm=.6718
mismatch Pearson r−0.0585 · p=.3359 · Holm=.6718