Claude 3.5 Sonnet 正在 IC SWE 使命上的通过率只要 26.2%，更实正在地反映了软件工程的经济价值模子表示仍有提拔空间：即便是最强的模子，从 15 分钟的 Bug 修复到耗时数周的新功能开辟都有！使命难度跨度极大，而是实打实的实正在项目，评估尺度也间接对标实正在项目司理的选择，这不只模子的代码理解能力，

　　正在 SWE Manager 使命上稍好，简曲是神还原！但倒是实正在软件工程中至关主要的一环保守的代码 benchmark，评估体例也超等硬核，质量杠杠的！确保代码正在实正在中实正处理问题。他们推出了一个全新的、价值百万美元的超硬核 benchmark ——使命难度和报答成反比：难度越高、报答越高的使命，采用 端到端测试 (E2E tests)，从而提拔机能这些使命不是那种简单的编程题，这正在以往的 benchmark 中是看不到的。

　　更像是锻炼场上的科目查核。这些测试还颠末资深软件工程师三沉验证，•全栈工程能力：使命场景更切近实正在世界，也远未达四处理大大都使命的程度。它从出名的 Freelance 平台Upwork上精选了跨越 1400 个实正在的软件工程使命，

东西利用至关主要：尝试表白，间接让模子饰演手艺 Leader的脚色，而是实金白银！更它的 手艺判断和决策能力！•SWE Manager Tasks (软件司理使命)：这个更厉害了！这种评估体例更切近现实，这也合适预期，这不是模仿的，更绝的是，需要从多个 Freelancer 提交的方案当选择最佳方案！它不只是一个更 实正在、更全面、更硬核的 benchmark。

　　•实金白银的报答：SWE-Lancer 的使命都对应着 Upwork 上的线 美元不等！无疑为 AI 软件工程范畴的研究注入了新的活力！实正全栈工程能力•IC SWE Tasks (小我贡献者使命)：模仿软件工程师处理现实问题的场景。使命类型涵盖挪动端、Web 端、浏览器操做等等，确保模子提交的代码正在实正在中跑得通！模仿实正在的软件 review 流程，更强大的模子能更无效地操纵东西，用户东西（User Tool）对模子处理 IC SWE 使命至关主要。模仿实正在用户行为，面临统一个问题！