JetBrains发布Kotlin AI编码代理基准测试
Agentic coding benchmarks 正逐渐贴近真实世界的软件开发。对于 Kotlin 团队来说，最核心的问题是：AI 代理在端到端 Kotlin 任务上的可靠性如何——从阅读问题单到生成通过验证的解决方案。
我们迈出了填补这一差距的第一步，正式发布 Kotlin Benchmark——JetBrains 用于评估 AI 编程代理在 Kotlin 软件工程任务上表现的官方基准。我们的目标是让开发者能够通过一个可信、公开的方式来评估不同代理在 Kotlin 上的表现，并使用更贴近日常开发工作的任务来比较代理的配置。
伴随基准测试的发布，我们同时在 GitHub 上公开了基准测试资产，并推出了官方排行榜来追踪评估结果。
Kotlin Benchmark 的工作原理
Kotlin Benchmark 的首个公开版本基于 SWE-bench 方法论，专注于仓库级别的 Kotlin 软件工程任务。
Kotlin 已经拥有强大的模型级评估资产，包括 Kotlin_HumanEval 和 Kotlin_QA，这些有助于衡量模型对语言语法和核心概念的理解。而 Kotlin Benchmark 则关注另一个层面：AI 编程代理在现有 Kotlin 项目中完成已验证的软件工程任务的能力。
该数据集包含从活跃的开源仓库中选取的 105 项工程任务。每项任务要求 AI 代理解读真实的问题描述，理解项目上下文，并生成一个有效的补丁。解决方案在容器化环境中严格验证，只有生成的解决方案通过了所需的测试验证，任务才算被解决。
你可以在方法学页面上了解更多关于我们的环境搭建和数据收集的信息。
首批结果
首批评估结果显示，领先的编程代理能够完成当前 Kotlin Benchmark 中很大一部分任务。这些结果反映了基准测试的首个公开版本，尚未包含最新的模型发布。我们已经在筹备第二个版本，并将随着新评估的加入更新排行榜。
在这一轮中，最佳结果来自使用 Opus 4.7 xhigh 的 Claude Code，它解决了 105 项任务中的 90 项，解决率达到 85.71%。JetBrains Junie（Opus 4.7 max，81.9%）和 Codex（GPT 5.5 xhigh，81.9%）紧随其后。
完整的排行榜可在 kotlinlang.org/benchmark 上查看，你可以在那里详细比较不同代理和配置。
[LOADING...] 此处显示的结果反映了 Kotlin Benchmark 的首个公开版本。排行榜将随着更新的模型评估加入而更新。
对于评估编程代理的团队，该基准测试提供了一个共同的参考框架，用于比较不同配置在 Kotlin 任务上的表现，而不是仅仅依赖供应商的宣传。这些分数旨在作为一个参考信号，而非对每个代码库的保证。实际结果取决于你的架构、内部 API、编码规范、工具链以及验证流程。
未来计划
我们重视开放的方法，因此我们基于开源 Multi-SWE-bench 基础架构构建了这个基准测试，并将所有数据集和测试框架公开发布。
我们将基准测试视为一个持续的质量度量管道。展望未来，我们计划在以下几个方面扩展框架：
- 更广泛的 Kotlin 生态系统覆盖： 我们希望任务组合能更好地反映 Kotlin 在实际中的使用情况，包括 Android 和 Kotlin Multiplatform 等领域，并涵盖更广的任务难度级别。
- 更多的评估指标： 通过测试是一个有用的正确性信号，但它只是代理评估的一部分。未来的版本将关注成本、性能、可维护性和代码质量。
- 更多的代理和模型配置： 我们计划评估更多的商业代理、代理-模型配置以及开源模型，以便团队能够比较更广泛的配置。
该基准测试是开放的，因此你可以检查任务、比较结果，并告诉我们接下来应该覆盖哪些 Kotlin 场景。