DeepSeek論文登國際學術期刊《自然》封面

內媒報道,DeepSeek(深度求索)團隊研發的DeepSeek-R1推理模型論文登上《自然》(Nature)封面,由梁文鋒擔任通訊作者。DeepSeek-R1成為首個通過同行評議的主流大語言模型,與今年1月未經評審的初版論文相比,新版內容有顯著改進。

在同行評議中,DeepSeek團隊根據意見,減少擬人化描述,補充模型訓練的技術細節,包括訓練資料類型和安全性考慮,並回應關於知識蒸餾的質疑。團隊否認使用OpenAI模型輸出進行訓練,強調DeepSeek-V3 Base的數據全來自互聯網,雖可能包含GPT-4生成內容,但並非有意為之,亦無專門蒸餾環節。

開源後,R1在Hugging Face下載量超1090萬次,成為全球最受歡迎的開源推理模型。DeepSeek首次公開R1訓練成本僅29.4萬美元,加上約600萬美元的基礎模型成本,仍遠低於OpenAI、Google等訓練AI的成本。

《自然》將該論文選為封面,標誌中國在大模型基礎研究領域的重大突破。該期刊指出,隨着AI技術普及,無法驗證的宣傳可能帶來風險,而同行評議有助抑制AI產業過度炒作,DeepSeek的做法為業界樹立了值得歡迎的先例。

知識庫:什麼是知識蒸餾?

知識蒸餾(knowledge distillation)是AI領域的一項模型訓練技術。該技術透過類似於教師—學生的方式,令規模較小、結構較為簡單的AI模型從已經經過充足訓練的大型、複雜模型身上學習其掌握的知識。

該技術可以讓小型簡單模型快速有效學習到大型複雜模型透過漫長訓練才能得到的結果,從而改善模型的效率、減少運算開銷,因此亦被稱為模型蒸餾(model distillation)。

20.3億年!我國科學家精確測定月球年齡

國家航天局公布了我國嫦娥五號月球樣品的科研成果。科學家們通過對月球樣品的研究,精確測定了月球的年齡是20.3億年。

嫦娥五號的首批樣品於2021年7月12日向國內科學家發放,目前已完成五次樣品分發,共計198份65.1克。

2021年,科學家團隊通過對嫦娥五號採集月球樣品中玄武岩的研究,證實月球火山活動可以一直持續到20億年前,刷新了人類對月球岩漿活動和熱演化歷史的認知。

中國科學院地質與地球物理研究所李獻華院士表示,中國科學院地質與地球物理團隊2021年取得很好的成就,發表了三篇的《自然》文章,精確測定了嫦娥五號月壤樣品的年齡是20.3億年,過去認為30億年最晚到28億年就結束了。

李獻華院士表示,通過對嫦娥五號月球樣品的研究,加深了人類對於月球的認識,因此他們也更加期待嫦娥六號任務能夠帶來更多新的發現。

李獻華院士指出,南極艾肯盆地直徑非常大,超過2000公里,是我們內太陽系最大的撞擊坑,它很可能揭示了月球形成早期的很多的信息。「嫦娥六號將是人類第一次到月球背面去取樣返回,而且這個樣品它帶來的對月球演化的早期的信息有非常重要的科學意義,所以我們都特別期待。」