コーディング評価「SWE-Bench Pro」は役に立たない。OpenAIが非推奨に

OpenAIは7月8日(米国時間)、広く使われているAIコーディングベンチマークの1つである「SWE-Bench Pro」を監査したところ、フロンティアコーディング能力について信頼性の高い測定ができなくなっていることを発見したため、主要なコーディングベンチマークとして推奨していたことを撤回した。