OpenAI週四(8/13)預覽 新的API服務層級Ultrafast ,號稱執行GPT-5.6 Sol可比標準模式快最高14倍。
Ultrafast採用Cerebras提供的運算基礎架構,最高可以每秒750 token的速度輸出生成結果,可讓最強大的OpenAI模型支援高時效應用和工作流任務,包括運算基礎架構的事件回應系統、財務分析、安全研究、技術支援或客服中心、電商平台及即時研究和實驗等。
OpenAI已經讓部分組織試用以取得用户回饋。OpenAI公司內部也開始利用GPT-5.6 Sol on Ultrafast模式來瞭解尖端模型即時回答對哪種任務最有助益。其事件回應小組用它來讀取日誌、分析訊號及追蹤資料、彙整對話內容、驗證假設、辨識檢查點、及準備和驗證修補程式等。研究人員也用它來搜尋知識來源、查詢資料、快速蒐集、整理及摘要多個工具的資訊。OpenAI表示,以這個環境可將所需時間縮短為極小比例。在過去需要跑一整夜的流程,可以縮短為一個白天就完成。
Ultrafast模式已在OpenAI API上線以早期預覽版提供給一小部份客户,之後待容量擴充後會擴大提供。有興趣的企業組織可以加入 等候清單 。