清華大學(xué)計(jì)算機(jī)系副教授劉知遠(yuǎn)小學(xué)時(shí)寫應(yīng)用題,面壁們老會(huì)卡殼。智能知遠(yuǎn)他總會(huì)過(guò)度思考,創(chuàng)始從一個(gè)題目里讀出多重含義。人劉到了高中,該把個(gè)工寫英語(yǔ)閱讀理解時(shí),看作這種感受更強(qiáng)烈了。面壁們
劉知遠(yuǎn)從未懷疑過(guò)出題人,智能知遠(yuǎn)反而懷疑是創(chuàng)始不是自己太笨了,“理解不了題目”。人劉多年后深入學(xué)習(xí)語(yǔ)言哲學(xué)之后,該把個(gè)工他才漸漸意識(shí)到這其實(shí)是看作種天賦,“我就比較善于抓住語(yǔ)言里面那個(gè)不確定的面壁們地方”。
自然語(yǔ)言處理的智能知遠(yuǎn)本質(zhì)就是消除這種不確定,讓機(jī)器能夠精確無(wú)誤地理解人類的創(chuàng)始語(yǔ)言。劉知遠(yuǎn)前半生正是與這種不確定性纏斗的二十年。
特別是過(guò)去兩年,搭上ChatGPT的便車,自然語(yǔ)言處理坐上了時(shí)光機(jī),“從2023年到2024年所經(jīng)歷的這些新事情,比過(guò)去20年經(jīng)歷的總和還要多得多”。
回望中國(guó)大模型史,年屆四十的劉知遠(yuǎn)是個(gè)繞不過(guò)去的人物。他參與締造中國(guó)第一個(gè)大模型,又躬身參與了這一輪大模型創(chuàng)業(yè)。2022年8月,在ChatGPT發(fā)布的三個(gè)月前,劉知遠(yuǎn)發(fā)起成立了一家大模型公司——面壁智能。
這家公司最為出圈的一件事是,2023年6月3日,斯坦福大學(xué)一個(gè)學(xué)生團(tuán)隊(duì)發(fā)布的一個(gè)模型被發(fā)現(xiàn)是抄襲了面壁智能的模型。
面壁智能的辦公室位于北京中關(guān)村東路1號(hào)院6號(hào)樓3 層,辦公室的白墻上隨處可見(jiàn)那句《三體》的經(jīng)典臺(tái)詞,“這是面壁計(jì)劃的一部分”。
圖片由農(nóng)健使用AI工具生成
1984年,劉知遠(yuǎn)出生在山東泰安新泰市一個(gè)普通工薪家庭,小學(xué)偶爾逃課去游戲廳玩,家里也沒(méi)期待過(guò)他能上清華。他父親在郵電局上班,還建議放棄初中直接讀中專,方便以后接他的班。
沒(méi)想到十幾年后,劉知遠(yuǎn)以山東省前三十名的成績(jī),如愿進(jìn)入清華大學(xué)。
當(dāng)時(shí)正是互聯(lián)網(wǎng)泡沫破滅之時(shí),最熱門的方向是建筑和生物醫(yī)學(xué),計(jì)算機(jī)專業(yè)并不是高分專業(yè)。劉知遠(yuǎn)報(bào)了建筑、生物工程和電子系,招生組反饋這些專業(yè)的名額已經(jīng)被分?jǐn)?shù)更高的同學(xué)占了,無(wú)奈選了計(jì)算機(jī)專業(yè),“算是一個(gè)機(jī)緣巧合吧”。
讀博時(shí)也是如此,報(bào)考生物信息學(xué)方向也是招滿了,他陰差陽(yáng)錯(cuò)進(jìn)入了自然語(yǔ)言實(shí)驗(yàn)室,“我覺(jué)得非常幸運(yùn),因?yàn)槲迥曛笊镄畔W(xué)的導(dǎo)師自己都放棄了這個(gè)方向。”自然語(yǔ)言處理正好開(kāi)始了高歌猛進(jìn)的二十年。
劉知遠(yuǎn)清楚記得,讀博期間,實(shí)驗(yàn)室有個(gè)大師兄做文本分類,“給你一篇文章,看能不能把它分到相關(guān)的類別里面,比如這篇新聞是社會(huì)新聞,還是國(guó)際新聞、軍事新聞,或是別的新聞?”他的博士論文就是關(guān)鍵詞提取,“通過(guò)統(tǒng)計(jì)的方法識(shí)別出文檔到底哪個(gè)詞,能代表文章主題的關(guān)鍵詞。”
2012年成為一個(gè)分水嶺,深度學(xué)習(xí)在大洋彼岸叩響了發(fā)令槍。當(dāng)年10月,Geoffrey Hinton和他的兩名學(xué)生——Alex Krizhevskyr,以及ChatGPT 的靈魂人物 Ilya Sutskeve,獲得ImageNet圖像識(shí)別比賽的冠軍,并且發(fā)表論文介紹了第一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet。ImageNet是斯坦福大學(xué)教授李飛飛創(chuàng)辦的人工智能領(lǐng)域一個(gè)重要賽事,通過(guò)對(duì)機(jī)器算法識(shí)別圖像,從而促進(jìn)最先進(jìn)算法的開(kāi)發(fā)。
在處理圖像識(shí)別、語(yǔ)音識(shí)別方面,深度學(xué)習(xí)的能力得到了廣泛認(rèn)可。在老師孫茂松的帶領(lǐng)下,劉知遠(yuǎn)花了兩個(gè)月尋找答案。可自然語(yǔ)言處理方向的大多數(shù)人的意見(jiàn)是,深度學(xué)習(xí)不能幫助自然語(yǔ)言處理。
最終劉知遠(yuǎn)得出一個(gè)結(jié)論:基于統(tǒng)計(jì)學(xué)習(xí)用符號(hào)去表示語(yǔ)言知識(shí)的這種傳統(tǒng)路線,已經(jīng)沒(méi)有太多突破的可能,深度學(xué)習(xí)是個(gè)非常值得探索的新技術(shù)路線。正是基于這樣的判斷,“我們實(shí)驗(yàn)室應(yīng)該是國(guó)內(nèi)最早擁抱深度學(xué)習(xí)的團(tuán)隊(duì)”。
2017