Meta加入AI軍備競賽：發(fā)布開源大語言模型，號稱優(yōu)于ChatGPT

澎湃新聞記者 吳雨欣

繼微軟、谷歌之后，臉書(Facebook)母公司Meta(Nasdaq：META)也加入AI軍備競賽。

(資料圖片)

當?shù)貢r間2月24日，Meta官網公布了一款新的人工智能大型語言模型LLaMA，從參數(shù)規(guī)模來看，Meta提供有70億、130億、330億和650億四種參數(shù)規(guī)模的LLaMA模型，并用20種語言進行訓練。

Meta首席執(zhí)行官馬克·扎克伯格表示，LLaMA模型旨在幫助研究人員推進工作，在生成文本、對話、總結書面材料、證明數(shù)學定理或預測蛋白質結構等更復雜的任務方面有很大的前景。

怎么理解人工智能大型語言模型的參數(shù)？

據(jù)悉，AIGC(利用人工智能技術來生成內容)形成的學習能力在一定程度上取決于參數(shù)的規(guī)模。Open AI推出的ChatGPT是通過其AI大模型GPT-3的基礎上通過指令微調后得到的，參數(shù)量達1750億，谷歌推出的Bard使用的是輕量級LaMDA模型，相比標準版本，輕量化版本模型所需要的運算能力較小，能面向更多使用者開放，使其參與體驗，有報道指出LaMDA模型參數(shù)量在1370億。百度文心大模型參數(shù)量達到2600億，阿里則表示，從過往實踐來看，其具備支撐超萬億參數(shù)大模型研發(fā)的技術實力。

Meta此次推出的大模型實力如何呢？

Meta首席AI科學家楊立昆(Yann LeCun)表示，在一些基準測試中，LLaMA 130億參數(shù)規(guī)模的模型性能優(yōu)于OpenAI推出的GPT3，且能跑在單個GPU上；650億參數(shù)的LLaMA模型能夠和DeepMind 700億參數(shù)的Chinchilla模型、谷歌5400億參數(shù)的PaLM模型競爭。

法新社稱，按照Meta的表述，LLaMA是一套“更小、性能更好”的模型，且不同于谷歌的LaMDA和OpenAI的GPT機密訓練資料和演算，LLaMA是基于公開資料進行訓練。

Meta在官網表示，在大型語言模型中，像LLaMA這樣的小型基礎模型是可取的，因為測試新方法、驗證他人的工作和探索新用例所需的計算能力和資源要少得多?；A模型基于大量未標記的數(shù)據(jù)進行訓練，這使得它們非常適合于各種任務的微調。與其他大型語言模型一樣，LLaMA的工作原理是將一系列單詞作為輸入，并預測下一個單詞以遞歸生成文本。

Meta稱將致力于這種開源模型的研究，新模型會開源給整個AI研究社區(qū)使用，并授予大學、非政府組織和行業(yè)實驗室訪問權限。另外，Meta表示其還有更多研究需要做，以解決大型語言模型中的偏見、有害評論等風險。

Meta披露的2022年第四季度財報顯示，該公司已連續(xù)第三個季度出現(xiàn)營收同比下滑，四季度營收312.54億美元，同比下降4%。廣告為Meta的支柱業(yè)務，為第四季度的總營收貢獻超97%，報告期內，盡管廣告展現(xiàn)量增長了23%，但單位廣告價格下滑了22%。

截至美東時間2月24日，Meta股價跌0.96%報170.390美元/股，總市值4418億美元。