您的位置:首頁 >公共 >

【環(huán)球快播報】云啟合伙人陳昱:OpenAI沒有公開的“秘密”,大模型的壁壘在工程創(chuàng)新

2023-05-29 08:28:56 來源:騰訊科技

文|周小燕

在ChatGPT成為“全民應(yīng)用”的半年時間內(nèi),隨著入場做大模型的角色增多,關(guān)于大模型創(chuàng)業(yè)風(fēng)口的爭議點已發(fā)生了一輪轉(zhuǎn)變:從討論大模型是否為大廠專屬,轉(zhuǎn)而關(guān)注大模型創(chuàng)業(yè)的核心壁壘,在此背景之下,創(chuàng)業(yè)公司的競爭力在哪里?VC的投資策略需要做哪些調(diào)整?


(資料圖片)

騰訊科技“AI未來指北”系列,本期專訪國內(nèi)大模型獨(dú)角獸公司MiniMax背后早期投資方云啟合伙人陳昱,對以上問題進(jìn)行探討,核心觀點:

1大模型時代下,未來的應(yīng)用也有一個“二八定律”,大約有80%會是現(xiàn)在的應(yīng)用接入大模型后的「升級版」,有20%是基于大模型的新能力開發(fā)出的新應(yīng)用。 2各行各業(yè)的整體格局都不會因為大模型而發(fā)生大的改變,即便大模型改變了應(yīng)用入口,也不會對商業(yè)格局的本身產(chǎn)生大的改動,它只是一個體驗升級。AI原生應(yīng)用的機(jī)會可能在:跨境電商、面向開發(fā)者的AI解決方案(AI for Developers)、私有化部署和AI安全。 3很多人認(rèn)為模型層面的創(chuàng)業(yè)機(jī)會比較小,可能數(shù)據(jù)層面的創(chuàng)業(yè)機(jī)會比較多,但其實認(rèn)為市場并不缺數(shù)據(jù),公開的數(shù)據(jù)很多都還沒有用好,ChatGPT的數(shù)據(jù)也只更新到2021年9月,對私有數(shù)據(jù)的考慮可以靠后,先把公有數(shù)據(jù)用好。并且數(shù)據(jù)的獨(dú)特性本身比數(shù)據(jù)量更重要,真正擁有自己獨(dú)特私有數(shù)據(jù)并能轉(zhuǎn)化商業(yè)價值的公司幾乎很少甚至是沒有的。 4一個模型做到80分可能不算擁有壁壘,但如果能做到95分,肯定是一種壁壘。雖然國內(nèi)各種公司都在做模型,但真正能全面碾壓GPT-4的還沒有出現(xiàn),因為它的核心壁壘是工程上的優(yōu)化,而這是Open AI沒有公開的“秘密”。 5國內(nèi)外大模型投資策略的差異源自于項目退出途徑。在國外,投資人愿意投資單點技術(shù)創(chuàng)新類的項目,此類項目能通過并購?fù)顺?。反觀國內(nèi),由于并購案例稀少,投資機(jī)構(gòu)更愿意在最終能上市退出的大idea上下注。

云啟合伙人陳昱

以下為訪談全文:

騰訊科技:ChatGPT讓大模型賽道的創(chuàng)業(yè)和投資變得很熱鬧,云啟重點投資了哪些項目?當(dāng)時做投資決策背后有哪些考量?

陳昱:ChatGPT在半年前進(jìn)入大眾視線,我們大約在18個月之前投資了一款主打社交聊天軟件的多模態(tài)企業(yè)MiniMax,MiniMax以多模態(tài)大模型研發(fā)為主,有三種模態(tài)基礎(chǔ)架構(gòu):文本到視覺(text to visual)、文本到語音(text to audio)、文本到文本(text to text),基于大模型的主要產(chǎn)品是智能對話機(jī)器人Glow,目前有五百萬用戶,并且也開放了API接口,與WPS等眾多企業(yè)合作。

我們的決策邏輯主要是賭團(tuán)隊和技術(shù)大方向。早在2021年1月份,我們就開始接觸MiniMax創(chuàng)始團(tuán)隊,彼時他們還沒決定正式出來創(chuàng)業(yè)。當(dāng)時GPT-2和GPT-3也已經(jīng)出世,只是不像ChatGPT做得這么好。到2021年底,團(tuán)隊認(rèn)為時機(jī)成熟,MiniMax正式成立,我們便投了天使輪。

MiniMax的出發(fā)點是希望沿著通用人工智能的方向做產(chǎn)品,底層是多模態(tài)大模型,這個想法和我們不謀而合,我們當(dāng)時正好也在思考通用大模型這件事情。

具象地說,通用人工智能相當(dāng)于復(fù)刻一個數(shù)字人腦,人類擁有自由的思維、能夠通過學(xué)習(xí)推理出新的知識,通用人工智能也應(yīng)該能像人類一樣思考,它能夠完成多任務(wù)操作,即便面對沒見過的東西,也能給出一個答案。

我們已經(jīng)投資了MiniMax,并且聊過市面上大部分的模型創(chuàng)業(yè)公司,在這波潮流熱起來之后,至少在基建層目前不需要再投第二家大模型公司了,投資重心會轉(zhuǎn)移到應(yīng)用層,重點關(guān)注能夠利用大模型特性做應(yīng)用的項目。同時我們也會關(guān)注Open AI以外會有什么新的技術(shù)出現(xiàn),希望能投資一些更具備創(chuàng)新性的東西。

騰訊科技:有一種說法認(rèn)為,未來所有產(chǎn)業(yè)都值得用大模型重新做一遍,很多行業(yè)可能會利用大模型做升級,比如美團(tuán)、淘寶這些生意是不是都能用大模型做一遍?創(chuàng)業(yè)公司有沒有機(jī)會為這些大公司的改變提供更多幫助?

陳昱:大模型時代下,未來的應(yīng)用也有一個“二八定律”,大約有80%會是現(xiàn)在的應(yīng)用接入大模型后的「升級版」,有20%是基于大模型的新能力開發(fā)出的新應(yīng)用。

大模型是不是適用于所有行業(yè),現(xiàn)在還沒有定論,第一個挑戰(zhàn)就是國內(nèi)還沒有成熟的中文大語言模型可用,光這一步的優(yōu)化就需要很多年時間?,F(xiàn)在也不能確定國內(nèi)哪一個模型使用體驗更強(qiáng),因為使用的感覺非常主觀,并且每個模型都有自己擅長的地方,到最后還是看綜合用戶體驗。

如果中文大語言模型發(fā)展得很成熟了,這波產(chǎn)業(yè)升級肯定也會先從互聯(lián)網(wǎng)行業(yè)開始,然后再逐漸過渡到傳統(tǒng)行業(yè),這個過程可能也會持續(xù)5-8年時間。

未來大模型可能會變成所有應(yīng)用的入口,舉例來說,現(xiàn)在大家買東西要上美團(tuán)APP或者小程序,未來可能直接對大模型說幫我買一個東西,就完成了整個購買操作動作,就沒有類似美團(tuán)這種一級入口了,它的APP或小程序反而變成二級入口。未來,隨著人機(jī)交互方式的改變,這些都是很可能會發(fā)生的。

但這些改變之前也被嘗試過,比如蘋果Siri、各種智能音箱都嘗試做這樣的場景改變,也鬧出過很多笑話,可能就是因為語言模型還不夠好,影響用戶的使用體驗,如果花一樣的時間但體驗不好,用戶就不會再用它了。

再看創(chuàng)業(yè)公司在這波產(chǎn)業(yè)升級中的機(jī)會,我認(rèn)為各行各業(yè)的整體格局都不會因為大模型而發(fā)生大的改變,比如外賣行業(yè)原先就只有美團(tuán)和餓了么,本來也沒有創(chuàng)業(yè)公司存在,即便大模型改變了應(yīng)用入口,也不會對商業(yè)格局的本身產(chǎn)生大的改動,它只是一個體驗升級。

騰訊科技:如果說80%的存量應(yīng)用可能會在接入大模型后做升級,那么你提及的20%基于大模型開發(fā)出的新應(yīng)用就相當(dāng)于增量市場的機(jī)會,你認(rèn)為這類AI原生應(yīng)用會優(yōu)先產(chǎn)生在哪些場景?從云啟已經(jīng)投資的項目中看,哪些屬于這20%的增量機(jī)會?

陳昱:先回答后一個問題,大家可能存在一個誤區(qū),好像今天投資了以后明天就能看到結(jié)果,這是不可能的事情。一個創(chuàng)業(yè)公司真正能夠做出東西、讓大家看到結(jié)果,至少要等18-24個月,一周能做出來的東西沒有壁壘和想象力,我們會關(guān)注更實際的東西。

從我們投資的案例來看,因為我們一般都在非常早期的階段進(jìn)行投資,整體項目本身發(fā)展都還處于很早期,所以也很難判斷這20%的原生應(yīng)用是否已經(jīng)做到。即便是MiniMax這樣已經(jīng)能看出潛力的企業(yè),回溯對它的投資歷程,其實我們在投資之前也觀察了近一年的時間。

再回到關(guān)于AI原生應(yīng)用的機(jī)會預(yù)測上,我認(rèn)為AI原生應(yīng)用的探尋挖寶過程,就像以往西部牛仔的淘金歷程一樣,需要敢于探險,這波的機(jī)會可能在這幾個地方:

第一,跨境電商,因為涉及多語言(multilingual)交流;

第二、面向開發(fā)者的AI解決方案(AI for Developers),幫助程序員寫代碼或者檢查錯誤和安全漏洞;

第三、私有化部署,企業(yè)客戶會有個性化模型和數(shù)據(jù)安全方面的需求;

第四、AI安全,大模型的廣泛應(yīng)用會帶來一系列安全問題,譬如模型生成的內(nèi)容造成的虛假信息傳播,還有針對模型進(jìn)行提示詞注入攻擊(prompt injection)導(dǎo)致企業(yè)內(nèi)部信息泄漏等。

騰訊科技:在大模型帶來的機(jī)會中,高效利用有限數(shù)據(jù)的能力,比如數(shù)據(jù)標(biāo)注、數(shù)據(jù)提煉等,以及利用私有數(shù)據(jù)做垂直模型,是否是創(chuàng)業(yè)公司潛在的增長點?對投資人來說機(jī)會點在哪里?

陳昱:前陣子谷歌內(nèi)部泄露一份文件,谷歌內(nèi)部一名研究員認(rèn)為Open AI沒有護(hù)城河,里面也提到你可以通過一個開源模型做fine tuning得到一個80分的模型,但是它和GPT-4這樣95分的模型還是有很大的差距。

雖然創(chuàng)業(yè)者通過開源可以將做模型的成本極度降低,但不意味著他們能做出95分的模型,而95分的模型會吃掉大部分的市場。這里可以類比歷史上的谷歌,剛開始搜索引擎市場也百花齊放,但最后90%以上的市場占有率都在谷歌身上,所以當(dāng)一個東西被做到極致之后,沒有多少終端消費(fèi)者會愿意使用非主流的產(chǎn)品。

在這樣的情況下,很多人認(rèn)為模型層面的創(chuàng)業(yè)機(jī)會比較小,可能數(shù)據(jù)層面的創(chuàng)業(yè)機(jī)會比較多,但我認(rèn)為市場并不缺數(shù)據(jù),公開的數(shù)據(jù)大家都還沒有用好,ChatGPT和GPT-4的數(shù)據(jù)也只更新到2021年9月,對私有數(shù)據(jù)的考慮可以靠后,先把公有數(shù)據(jù)用好。

至于怎么用好這塊數(shù)據(jù),就要各顯神通了,這就需要團(tuán)隊不斷改進(jìn)算法、改進(jìn)工程能力,本質(zhì)上還是看人。在軟件科技創(chuàng)新領(lǐng)域,我們一直強(qiáng)調(diào)要投“聰明”并且“有野心”的“年輕人”,因為技術(shù)每年都會更新迭代,年輕人跟進(jìn)的速度最快。

對于投資擁有自己獨(dú)特私有數(shù)據(jù)的垂直模型,我們持保留態(tài)度。我們在研究機(jī)器學(xué)習(xí)的時候也能了解到,數(shù)據(jù)的獨(dú)特性本身比數(shù)據(jù)量更重要,但我認(rèn)為真正擁有自己獨(dú)特私有數(shù)據(jù)的公司幾乎很少甚至是沒有的,而當(dāng)通用大模型的訓(xùn)練數(shù)據(jù)里某領(lǐng)域的數(shù)據(jù)足夠多的時候,垂直模型的表現(xiàn)不一定會比通用大模型好。

舉個例子,比如某教育類上市公司披露自己有很多私有的試卷數(shù)據(jù),但實際上用公共網(wǎng)絡(luò)上已有的試卷數(shù)據(jù)就能訓(xùn)練出不錯的結(jié)果,并不需要上市公司提供的私有數(shù)據(jù)。很多公司擁有的所謂私有數(shù)據(jù)其實沒有想象中的那么重要,真正有價值的私有數(shù)據(jù)是獨(dú)特的數(shù)據(jù),而且不需要很多的量就能做出不錯的效果,而這類獨(dú)特數(shù)據(jù)實在太少了,專有獨(dú)特的數(shù)據(jù)公司在整個市場可能都找不出幾家,即便有了這類數(shù)據(jù),也不代表就能利用好它們或讓其產(chǎn)生商業(yè)價值,這幾個條件一卡,就會發(fā)現(xiàn)沒什么項目可以投資。

此外,即便沒有大模型,類似智能制造這些傳統(tǒng)行業(yè)也會擁有自己的數(shù)據(jù),但如果在大模型出現(xiàn)之前并沒有利用好這些數(shù)據(jù),有了大模型后也不一定能顯著提升數(shù)據(jù)利用效率,如果它們真的有投資價值,在大模型出現(xiàn)之前應(yīng)該已經(jīng)被大家看到了。

騰訊科技:一方面,按照你的說法,模型的出現(xiàn)并不會提升擁有私有數(shù)據(jù)的公司的壁壘;另一方面,做大模型好像并不難,在ChatGPT剛火的時候,行業(yè)默認(rèn)大模型是大廠專屬,但從最近三個月的情況來看,越來越多的非大廠出品的大模型也出現(xiàn)了。在這樣的背景下,是否可以認(rèn)為大模型創(chuàng)業(yè)的門檻本身就不穩(wěn)固?投資人是否需要重新評估投資機(jī)會?

陳昱:關(guān)于模型壁壘的問題,需要分層看待。一個模型做到80分可能不算擁有壁壘,但如果能做到95分,那肯定是一種壁壘。

雖然國內(nèi)各種公司都在做模型,但真正能全面碾壓GPT-4的還沒有出現(xiàn),因為它的核心壁壘是工程上的優(yōu)化,即團(tuán)隊對工程細(xì)節(jié)的反復(fù)打磨,并且不僅僅是一兩個地方的優(yōu)化,可能涉及50個甚至100個子工程的優(yōu)化,而這是Open AI沒有公開的“秘密”,需要技術(shù)團(tuán)隊自己在創(chuàng)新的過程中反復(fù)試水調(diào)優(yōu),很難產(chǎn)生能被國內(nèi)公司借鑒的方法論,它是一項工程創(chuàng)新,而非技術(shù)創(chuàng)新。

在GPT-3.5及之前,Open AI還是比較開放的,他們會在論文里仔細(xì)地描述自己做了什么,發(fā)展到GPT-4階段就開始“語焉不詳”了,外界只能靠猜測或者找Open AI里面的人去聊的方式,來了解一二,但團(tuán)隊里的人也不能泄露公司的秘密,對于外界來說這就像一個令人琢磨不透的黑匣子。

我曾經(jīng)在谷歌擔(dān)任工程師,谷歌的搜索引擎質(zhì)量非常好,它的壁壘也在于工程優(yōu)化。15年前谷歌就有超過200個工程師全職做搜索質(zhì)量的改進(jìn)工作。每個工程師都會以不同的方式去優(yōu)化搜索引擎,通過A/B測試的方式,決定某項改進(jìn)工作是否能最終發(fā)布,這樣做的結(jié)果是量變引起質(zhì)變,每年數(shù)百項的改進(jìn)極大的提高了搜索質(zhì)量,但在這中間沒有任何一個人知道全景是怎么樣的。

在這樣的背景下,如果總結(jié)對這類項目的投資判斷標(biāo)準(zhǔn),我認(rèn)為有這幾點:

第一,團(tuán)隊成員至少長期耕耘在這個領(lǐng)域;

第二,要有很強(qiáng)的工程創(chuàng)新和實踐能力;

第三,做這類創(chuàng)業(yè)非常燒顯卡、燒算力,這就要求團(tuán)隊有很強(qiáng)的融資能力,否則很難上牌桌。

騰訊科技:國內(nèi)大模型如雨后春筍涌現(xiàn),對比國內(nèi)外大模型,可以看出國外代表性的ChatGPT目前走的是to C訂閱模式,國內(nèi)模型很多接入到產(chǎn)業(yè)層面。從投資角度看,大模型國內(nèi)外投資方法和風(fēng)格有哪些不同?國外AI發(fā)展的經(jīng)驗比我們快,有沒有可以copy to China的東西?

陳昱:從國內(nèi)外模型的差異來看,目前核心還是技術(shù)的差異,第一梯隊的OpenAI GPT-4、第二梯隊的谷歌PaLM 2,還有從Open AI離職出來創(chuàng)業(yè)的Anthropic,他們都做得非常好,如果做測評的話,會發(fā)現(xiàn)中外模型之間的差異主要在技術(shù)層面。

另外,雖然國外目前主流大模型ChatGPT是to C的訂閱付費(fèi)模式,但不代表國外沒有做to B,他們的模型應(yīng)用也是百花齊放的,但國外做to C的一個優(yōu)勢是他們用戶付費(fèi)意愿強(qiáng),比如Midjourney團(tuán)隊只有11個人,但是卻有1億美金的收入,這在國內(nèi)是難以想象的。

從投資角度來看:

第一,在國外我們更愿意投資單點技術(shù)創(chuàng)新類的項目,在國內(nèi)的話很多投資機(jī)構(gòu)會設(shè)想項目idea能不能做到IPO;

第二,從投資人的經(jīng)驗來看,國內(nèi)外各有擅長的東西,國外軟件做得普遍比國內(nèi)好,國內(nèi)偏硬件的東西做得比國外好。所以國內(nèi)的投資機(jī)會更偏向機(jī)器人、電動車這類硬件的出海,因為它們利用了國內(nèi)供應(yīng)鏈優(yōu)勢將生產(chǎn)成本降到很低。如果在AI層面做到80分,再和硬件結(jié)合起來,產(chǎn)品的競爭力就很強(qiáng)了。我們看好通用人形機(jī)器人,它會是大模型和機(jī)器人的結(jié)合。

騰訊科技:為什么國內(nèi)外大模型投資策略會產(chǎn)生這樣的差異?

陳昱:國內(nèi)外大模型投資策略的差異源自于項目退出途徑。在國外,投資單點技術(shù)創(chuàng)新類的項目能通過并購?fù)顺?。反觀國內(nèi),由于并購案例稀少,投資機(jī)構(gòu)更愿意在最終能上市退出的大idea上下注。

不同的投資人可能有不同的風(fēng)格,對于偏早期的投資人而言,投資就是投“變量”,如果一個項目缺乏未來想象空間,我們就不會投;如果它只是停留在想象力層面,團(tuán)隊沒有落地能力和堅定信仰,我們也不會投。大模型才剛剛開始,能到上市階段至少是好幾年之后的事情,如果要投資“確定性”,可能就要等到項目上市前一兩年再投進(jìn)去,這可能不是早期基金的風(fēng)格。

另一方面,大家確實會考慮宏觀環(huán)境,比如當(dāng)下大家投資硬科技項目會相對多一些,模式和軟件類的偏少一些,但大家的思路和想法是沒有變的,還是跟隨變量、投資想象空間大的東西,并不斷關(guān)注技術(shù)帶來的產(chǎn)業(yè)變革。

可能這幾年受大環(huán)境的影響,很多人非常思慮退出問題,我認(rèn)為不用過于憂慮,比如美元基金可以通過中外合資或QFLP投資項目,并且退出途徑也是比較多元的,港股也是其中一個選擇。

我們是比較早期的基金,很多項目都會經(jīng)過多輪融資,在這中間也能實現(xiàn)適度退出,所以我們目前的投資都保持著自己的節(jié)奏。

騰訊科技:Open AI做出來的ChatGPT,算是近幾年國外單點技術(shù)創(chuàng)新的代表性案例,能否預(yù)測Open AI的下一個關(guān)鍵變化節(jié)點?

陳昱:Open AI可能確實有“后招”:

第一,大語言模型未來會往多模態(tài)方向發(fā)展。“多模態(tài)”不僅體現(xiàn)在“輸入”,“輸出”也可以是文本、圖像或視頻;

第二,未來生成式AI的輸出結(jié)果可能從二維圖像變成三維模型。OpenAI 近日對外發(fā)布條件生成模型 Shap-E,它可以用來生成3D資產(chǎn)。Shap-E 可以生成隱含函數(shù)的參數(shù),這些函數(shù)可以被渲染成紋理網(wǎng)格或神經(jīng)輻射場(NeRF),從而可以生成多功能的、現(xiàn)實的3D資產(chǎn)。

騰訊科技:最后,回到國內(nèi)看AI治理,最近網(wǎng)信辦也頒布了關(guān)于大模型相關(guān)的數(shù)據(jù)管理辦法,中國的生成式AI應(yīng)該如何正確地應(yīng)對監(jiān)管法規(guī)?

陳昱:以前純靠人工去做監(jiān)管,現(xiàn)在可能需要用模型去監(jiān)管模型,因為模型生成的內(nèi)容數(shù)量巨大,且容易以假亂真,監(jiān)管部門需要思考如何更好的利用技術(shù)來規(guī)范行業(yè)。此外,模型本身是有價值觀的,企業(yè)在訓(xùn)練模型的時候,就得對訓(xùn)練數(shù)據(jù)做仔細(xì)的篩選和清洗,并使之與正確的價值觀對齊。OpenAI在這方面下了很大的功夫,值得國內(nèi)企業(yè)學(xué)習(xí)。

標(biāo)簽:

相關(guān)文章