产品介绍
大多数 AI 基准测试都是反向构建的。有人坐下来，凭空想象困难的问题，然后衡量 agent 解决这些问题的能力。结果很有趣，但不一定能反映真正重要的东西：agent 在实际工作中的表现。这就是我们构建 cto.bench 的原因。我们的基准测试不是基于假设任务，而是基于真实工作。cto.bench 上的每个数据点都来自 cto.new 用户在平台上的实际使用情况。
适合谁关注
- 开发者和技术团队
- 产品经理、运营和高频知识工作者
- 正在评估 AI 工具或智能体落地的团队
可借鉴场景
- 快速理解 cto bench 的定位、核心能力和 Product Hunt 热度
- 判断“真实代码 agent 基准测试”这类需求是否值得做竞品调研
- 沿着 分析、开发者工具 继续发现同类产品和替代方案
- 筛选高票产品，观察海外用户当前愿意投票支持的产品形态
101
投票数
6
评论数
12月20日
发布日期
作者自荐
总结
cto.bench 通过一个创新视角解决了 AI 基准测试的根本问题——从真实使用场景而非虚拟任务出发。传统基准测试往往脱离实际应用，导致模型在测试中表现优异但在生产环境中效果欠佳。该产品通过收集 cto.new 用户的实际代码提交和合并率数据，建立基于真实工作负载的性能评估体系，使测试结果更具实用价值。目标用户包括大模型开发者、AI 工程师和开发工具提供商。核心优势在于数据的真实性和代表性，避免了人为设计测试用例的偏差。随着 AI agent 应用的深化，这类基于真实场景的评估工具将成为模型选型和优化的重要参考。
GitMemo免费开源
把 AI 对话保存到你的 Git 知识库
本地优先，支持 macOS 与 Android。剪贴板、截图、笔记和文件都能集中保存、搜索、同步。
获取安装包
很高兴宣布 cto bench 已正式上线。这是一个基准测试工具，用真实的模型使用方式进行测试，这些数据来自 cto.new 用户对最新前沿模型的实际使用。许多基准测试工具通过自定义测试套件来运行 LLM 以验证其可行性，但 cto bench 使用实际的使用模式和 PR 合并率来验证模型在真实任务中的表现。我们希望为不断演进的 LLM 基准测试领域提供有价值的、实用的数据点。