GitHub 发布 AI 代码评审基准 ReviewBench

GitHub 发布 ReviewBench，一个面向 AI 代码审查的开放离线基准，基于 1.039 亿个 GitHub pull request 的分布构建，包含 219 个 pull request、覆盖 19 种语言。GitHub 称其目的是填补代码审查领域缺少评测基准的空白。 ReviewBench 研究预览版已通过其网站开放，用户可查看完整基准、比较代码审查 agent，并接入自己的 agent 进行评测和迭代。评测可先在 25 个 PR 的测试集上运行并查看逐 PR 详情，反复调整配置后再运行全部 219 个 pull request（三轮），由与其他参赛者相同的评审打分。 排行榜只收录超过该 agent 当前成绩的分数，或该 agent 的首次上榜成绩。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。