與正式亮相時隔4個月之后，創(chuàng)新工場董事長兼CEO李開復創(chuàng)辦的AI公司“零一萬物”有了新進展。
11月6日，零一萬物正式發(fā)布了開源大模型“Yi”。目前，Yi系列模型已在Hugging Face、ModelScope、GitHub三大全球開源社區(qū)平臺上線，并對外開放了商用申請。
李開復說，開源對推動世界技術革命的發(fā)展有著非常重要的意義，從Linux開始，到各種AI技術，再到今天AI 2.0，一直有開源的力量在不斷地推動一波波的技術浪潮。
這也是零一萬物選擇做開源大模型的原因?！傲阋蝗f物的發(fā)展受益于此前開源社區(qū)的一些集體智慧，這也讓我們有義務去做一些貢獻，”李開復表示，“很多人覺得大模型需要超級多的資源，只有OpenAI、微軟、谷歌、阿里、百度、騰訊這樣的公司才能做，但是任何技術都是需要全球化的參與，而開源的方向是讓大家都有機會能夠接觸到大模型?！?/p>
“燒錢”
今年3月，李開復在社交平臺正式宣布要創(chuàng)辦一家AI公司。到了7月，新公司正式定名為“零一萬物”，并已有數(shù)十名核心成員，主要集中在大模型技術、人工智能算法、自然語言處理、系統(tǒng)架構、算力架構、數(shù)據(jù)安全、產(chǎn)品研發(fā)等領域。
據(jù)當時介紹，零一萬物的聯(lián)創(chuàng)團隊成員包含前阿里巴巴副總裁、前百度副總裁、前滴滴/百度首席算法負責人、前谷歌中國高管、前微軟/SAP/Cisco/副總裁，算法和產(chǎn)品團隊背景均來自國內(nèi)外大廠。
在發(fā)布Yi系列模型的同時，零一萬物的部分團隊成員也首度亮相。比如零一萬物技術副總裁及Pretrain負責人黃文灝曾先后任職于微軟亞洲研究院和智源研究院，非常早就介入了AI 2.0工作。
零一萬物技術副總裁及AI Infra負責人戴宗宏此前曾擔任過華為云AI CTO及技術創(chuàng)新部長、阿里達摩院AI Infra總監(jiān)。他管理的Infra團隊核心成員主要來自于阿里、華為、微軟、商湯，這些人曾經(jīng)參與支持了4個千億參數(shù)大模型規(guī)模化訓練，管理過數(shù)萬張GPU卡。
有了豐富的人才儲備之后，零一萬物還需要解決數(shù)據(jù)和算力等問題。據(jù)李開復介紹，零一萬物想盡了各種辦法和渠道解決數(shù)據(jù)問題?！拔覀冊谕赓徺I了很多數(shù)據(jù)，也動用網(wǎng)絡爬蟲，去合法獲取允許的網(wǎng)站內(nèi)容，同時也用了很多網(wǎng)上已經(jīng)開源分享的數(shù)據(jù)。不過在拿到這些數(shù)據(jù)后，其中有很多重復，質(zhì)量也參差不齊，所以我們對這些數(shù)據(jù)做了非常系統(tǒng)化的篩選，最終是從100多T的數(shù)據(jù)中挑選出3T”。
在算力方面，李開復則提到，“在零一萬物初創(chuàng)階段，就判斷GPU比黃金重要，所以很早就在規(guī)劃各種資源，現(xiàn)在零一萬物的算力資源足夠用到18個月之后”。
而對于一家AI公司尤其是做大模型的公司來說，無論是招募人才，還是購置數(shù)據(jù)和算力資源，都是一筆不菲的投入。李開復也透露稱，在沒有完成新一輪融資之前，零一萬物已經(jīng)負債幾千萬美元。
不過，零一萬物也已得到資本的青睞。據(jù)記者了解，零一萬物已完成新一輪融資，由阿里云領投，估值超過了10億美元。這也意味著，李開復只用了8個月的時間，就創(chuàng)造出一個獨角獸公司。
成績
據(jù)李開復介紹，零一萬物從今年6、7月份才開始寫下第一行代碼，在短短四個月的時間內(nèi)，零一萬物卻交出一份亮眼的成績單。
此次發(fā)布的Yi系列模型包含34B和6B兩個版本。其中，截至11月5日的數(shù)據(jù)，Yi-34B在Hugging Face英文測試公開榜單Pretrained預訓練開源模型排名中，以70.72的分數(shù)位列全球第一，超過了LLaMA2-70B和Falcon-180B等眾多大尺寸模型。
在中文方面，Yi-34B在C-Eval中文權威榜單排行榜上也超越了全球所有開源模型。其中在CMMLU、E-Eval、Gaokao三個主要的中文指標上，Yi-34B的表現(xiàn)也已超越GPT-4。
另外值得注意的是，Yi-34B將發(fā)布可支持200K上下文窗口（context window）版本，可以處理約40萬漢字超長文本輸入。相比之下，OpenAI的GPT-4上下文窗口只有32K，文字處理量約2.5萬字。
在語言模型中，上下文窗口是大模型綜合運算能力的金指標之一，對于理解和生成與特定上下文相關的文本至關重要，擁有更長窗口的語言模型可以處理更豐富的知識庫信息。而零一萬物，也成為第一家將超長上下文窗口在開源社區(qū)開放的大模型公司。
除了此次發(fā)布的大模型產(chǎn)品之外，李開復還重點介紹了背后的一些研發(fā)能力。其表示，憑借AI Infra的支撐，Yi-34B模型訓練成本下降了40%，“也就是說別的公司如果需要2000臺GPU訓練這樣一個模型，而我們可能只要1200張”。
同時，經(jīng)過幾個月大量的建模和實驗，零一萬物自研出一套“規(guī)?；柧殞嶒炂脚_”，用來指導模型的設計和優(yōu)化?，F(xiàn)在，數(shù)據(jù)配比、超參搜索、模型結構實驗等都可以在小規(guī)模實驗平臺上進行，小尺寸模型成功后，再應用到大尺寸模型當中，在訓練34B模型時，零一萬物已經(jīng)驗證了該平臺的有效性，并且每個節(jié)點的預測誤差都控制在了0.5%以內(nèi)。
基于這樣的模型預測能力，可大大減少訓練誤差對于計算資源的浪費，同時也讓以往的大模型訓練碰運氣的“煉丹”過程變得極度細致和科學化。李開復宣布，在完成Yi-34B預訓練的同時，零一萬物已經(jīng)啟動下一個千億參數(shù)模型的訓練。
未來
在談到大模型的未來前景時，李開復再次強調(diào)，大模型時代不僅是人類跨向AGI的重要一步，同時也是一個巨大的平臺機會，這個平臺可以比肩PC時代、移動互聯(lián)網(wǎng)時代。
而在這樣一個時代，最大的商機是創(chuàng)造出超級應用（Super App）。在李開復看來，Super App是大部分人需要花大量時間，每天必須有它才能得到自己的價值體現(xiàn)。比如PC時代的微軟Office，移動互聯(lián)網(wǎng)時代的微信等，都是Super App。
所以，做出一款Super App也是零一萬物在努力的目標?！拔覀兊腟uper App雛形很快就會跟大家見面，”李開復表示，“在這個階段，我們也不認為我們自己就能把Super App做出來，但Super App一定都是簡單的開始，然后用精益創(chuàng)業(yè)的方法不斷迭代，最終迭代成超級應用”。
這是零一萬物做Super App的方法論，李開復認為這也將是未來十萬甚至上百萬開發(fā)者去嘗試的方法論。AI 2.0充滿著機會，零一萬物希望自己能夠開發(fā)出一個Super App，同樣，任何一個創(chuàng)業(yè)者如果找對了方向，并進行快速迭代，那也有可能打造出AI 2.0時代的Super App。
另外從企業(yè)發(fā)展角度，李開復也表示，在AI 2.0時代，商業(yè)化非常重要。在AI 1.0時代，很多AI公司沒有做好商業(yè)化，很早就被淘汰，而那些做出收入的，在持續(xù)性上也做得不夠好，所以AI 1.0的公司交出的成績單并不理想。
這也為AI 2.0時代的創(chuàng)業(yè)公司敲響了警鐘。“我們做App就是朝著能夠快速有收入，并且能夠產(chǎn)生非常好的利潤，讓收入變得可持續(xù)?，F(xiàn)在那些發(fā)展成功的公司，都是因為他們的收入有質(zhì)量，在零一萬物看來，應用的收入質(zhì)量要高于做ToB，所以我們也選擇堅定不移地走ToC路徑?！崩铋_復說。
來源：21世紀經(jīng)濟報道 白楊
責任編輯：李賽男
請輸入驗證碼