據(jù) TechCrunch 報道,谷歌針對其大型語言模型 Gemini 回復(fù)的外包評估流程進行了一項調(diào)整,引發(fā)了外界對其在敏感領(lǐng)域信息準(zhǔn)確性的擔(dān)憂。這項調(diào)整要求外包評估員不得再像以往那樣,因自身專業(yè)知識不足而跳過某些特定的評估任務(wù),這或?qū)?dǎo)致 Gemini 在醫(yī)療保健等高度專業(yè)性領(lǐng)域的信息輸出出現(xiàn)偏差。
為了改進 Gemini,谷歌與其外包公司日立旗下的 GlobalLogic 合作,由后者雇傭的合同工負(fù)責(zé)評估人工智能生成的回復(fù),評估標(biāo)準(zhǔn)包括“真實性”等因素。此前,如果評估員認(rèn)為某個問題超出了自身專業(yè)領(lǐng)域,例如一個關(guān)于心臟病學(xué)的專業(yè)問題,而評估員本身并無相關(guān)科學(xué)背景,他們可以選擇“跳過”該回應(yīng),從而避免評估針對該提示(prompt)的人工智能回復(fù)。
然而,上周 GlobalLogic 宣布了一項來自谷歌的變更:評估員不得再以缺乏專業(yè)知識為由跳過任何提示。內(nèi)部通信顯示,此前的指導(dǎo)方針是:“如果您沒有評估此提示所需的關(guān)鍵專業(yè)知識(例如編碼、數(shù)學(xué)),請?zhí)^此任務(wù)。”而新的指導(dǎo)方針則改為:“您不應(yīng)跳過需要特定領(lǐng)域知識的提示。”取而代之的是,評估員需要“評估您理解的提示部分”,并注明自己缺乏相關(guān)領(lǐng)域知識。
這項變更引發(fā)了人們對 Gemini 在某些主題上準(zhǔn)確性的擔(dān)憂,因為現(xiàn)在評估員有時需要評估一些他們完全不熟悉的、高度專業(yè)的技術(shù)性人工智能回復(fù),例如關(guān)于罕見疾病的問題。一位合同工在內(nèi)部通信中表示:“我原以為跳過的目的是通過將其交給更專業(yè)的人來提高準(zhǔn)確性?”
根據(jù)新的指導(dǎo)方針,評估員現(xiàn)在只能在兩種情況下跳過提示:一是提示或回復(fù)“完全缺失信息”,二是提示包含需要特殊同意書才能評估的有害內(nèi)容。
這項新規(guī)的實施,意味著一些對專業(yè)性要求極高的領(lǐng)域,例如醫(yī)療健康等,將由缺乏相關(guān)背景知識的評估員進行評估,這無疑增加了 Gemini 輸出不準(zhǔn)確信息的風(fēng)險。外界擔(dān)憂,此舉可能會對用戶造成誤導(dǎo),尤其是在涉及健康等重要問題時,不準(zhǔn)確的信息可能會帶來嚴(yán)重后果。