Microsoft 研究:AI 评测如何暴露传统 benchmark 之外的“意外失败”
Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动当前 AI 系统突破性能边界,以及模型在传统 benchmark 之外测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历,分享了使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细审视数据。
Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动当前 AI 系统突破性能边界,以及模型在传统 benchmark 之外测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历,分享了使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细审视数据。
前 Google DeepMind 研究员指出,LLM 靠逐 token 预测生成思维链,本质仍是"系统 1"式的快速联想,并非真正推理。他列举三大缺陷:缺乏可检视的持久认知状态、知识与推理在权重中纠缠不清、思维链常是事后编造。他主张借鉴 AlphaGo 的搜索架构,为模型建立显式的认知状态,以支撑医疗、科研等高风险场景。
MIT 研究者 Alex Zhang 在 Latent Space 播客中讲述其从 GPU kernel、KernelBench 到递归语言模型(RLM)的研究路径,RLM 驱动的 harness 是首个接近解决 ARC-AGI-3 的方案,早于 OpenAI 的 Astra。
伯克利 AI 研究团队发布综述,系统梳理并行推理领域进展,重点分析自适应并行推理——让模型自行决定何时分解并并行化独立子任务、生成多少并发线程以及如何协调。文章对比了自一致性、Best-of-N、Tree/Graph of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild!