阿里通義千問(wèn)昨日（11 月 18 日）發(fā)布博文，宣布在經(jīng)過(guò)數(shù)月的優(yōu)化和打磨后，針對(duì)社區(qū)中對(duì)更長(zhǎng)上下文長(zhǎng)度（Context Length）的要求，推出了 Qwen2.5-Turbo 開(kāi)源 AI 模型。
Qwen2.5-Turbo 將上下文長(zhǎng)度從 12.8 萬(wàn)個(gè)擴(kuò)展至 100 萬(wàn)個(gè) tokens，這一改進(jìn)相當(dāng)于約 100 萬(wàn)英語(yǔ)單詞或 150 萬(wàn)漢字，可以容納 10 部完整小說(shuō)、150 小時(shí)的演講稿或 30000 行代碼。
注：上下文長(zhǎng)度（Context Length）是指在自然語(yǔ)言處理（NLP）中的大型語(yǔ)言模型（LLM）在一次處理過(guò)程中能夠考慮和生成的文本的最大長(zhǎng)度。
該模型在 1M-token 的 Passkey 檢索任務(wù)中實(shí)現(xiàn)了 100% 準(zhǔn)確率，RULER 長(zhǎng)文本評(píng)估得分為 93.1，超越了 GPT-4 和 GLM4-9B-1M。
團(tuán)隊(duì)通過(guò)整合稀疏注意力機(jī)制（sparse attention mechanisms），將處理 100 萬(wàn) tokens 到輸出第一個(gè) tokens 的時(shí)間，從 4.9 分鐘縮短至 68 秒，速度提升達(dá) 4.3 倍，這一進(jìn)步顯著提高了模型的響應(yīng)效率，使其在處理長(zhǎng)文本時(shí)更加迅速。
Qwen2.5-Turbo 的處理成本保持在每百萬(wàn)個(gè) tokens 0.3 元，能夠處理 3.6 倍于 GPT-4o-mini 的 token 數(shù)量。這讓 Qwen2.5-Turbo 在經(jīng)濟(jì)性上具備了更強(qiáng)的競(jìng)爭(zhēng)力，成為高效、經(jīng)濟(jì)的長(zhǎng)上下文處理解決方案。
盡管 Qwen2.5-Turbo 在多個(gè)基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異，團(tuán)隊(duì)仍然意識(shí)到在真實(shí)場(chǎng)景中的長(zhǎng)序列任務(wù)表現(xiàn)可能不夠穩(wěn)定，且大型模型的推理成本需要進(jìn)一步優(yōu)化。
團(tuán)隊(duì)承諾將繼續(xù)優(yōu)化人類偏好、提高推理效率，并探索更強(qiáng)大的長(zhǎng)上下文模型。 
