「你們正在進(jìn)行的事情，具有巨大的潛力和巨大的危險性?！?/p>

(資料圖)

美國白宮的會議室，總統(tǒng)拜登對著幾大科技公司的負(fù)責(zé)人提醒道。

5月初，美國科技巨頭和AI公司的掌門人受邀前往白宮，討論AI的未來。在拜登召見的人物來頭中，除了人盡皆知的OpenAI、谷歌、微軟三家目前AI領(lǐng)域的巨頭外，還有一家剛剛成立不久的初創(chuàng)公司Anthropic。

5月23日，Anthropic再下一城，拿下4.5億美元C輪融資，而這距離其收到谷歌的3億美元剛剛過去兩個月時間。至此，據(jù)Crunchbase統(tǒng)計，Anthropic的資金儲備達(dá)到了14.5億美元，估值超過40億美元。

一家由OpenAI前員工創(chuàng)立的公司，怎么就在兩年之內(nèi)，成為超級獨角獸，并且積攢起對抗如日中天的OpenAI的實力的？Anthropic強(qiáng)調(diào)的「符合憲法的AI」，以及其AI助手Claude，能成為ChatGPT之外大語言模型的「另一級」嗎？

01

OpenAI的「叛徒」

一直到2023年1月，OpenAI也只有375名全職員工，雖然規(guī)模不過數(shù)百人，其推出的大型語言模型卻不僅撼動了硅谷，影響力也蔓延全球。與此同時，有些離開OpenAI的雇員，創(chuàng)辦起了自己的公司。

「我們成立于2021年初，最初是一個由7人組成的團(tuán)隊，一起從OpenAI出來。」Anthropic的聯(lián)合創(chuàng)始人在生命未來研究所的一檔播客節(jié)目中說道。

據(jù)稱，他們之所以離開OpenAI，是因為對該公司的發(fā)展方向產(chǎn)生了分歧——即OpenAI在2019年與微軟達(dá)成第一筆10億美元的交易后，越來越趨向商業(yè)化。Anthropic的目標(biāo)是在未來兩年內(nèi)籌集多達(dá)50億美元，以與OpenAI競爭，并進(jìn)入十幾個行業(yè)。

帶頭出走的包括一對兄弟姐妹，即DarioAmodei和DanielaAmodei，他們還帶走了曾在OpenAI領(lǐng)導(dǎo)GPT-3模型的工程師TomBrown，一起在舊金山創(chuàng)辦Anthropic。

從履歷看，DarioAmodei在OpenAI呆了四年半，最早是AI安全的團(tuán)隊負(fù)責(zé)人，隨后相繼升任研究主管、研究副總裁，此前還在谷歌、百度工作過。DanielaAmodei則在OpenAI呆了兩年，離職前是OpenAI安全和政策副總裁，更早前在Stripe工作，還擔(dān)任過國會工作人員。

Amodei兄妹向外界強(qiáng)調(diào)，一起出走的團(tuán)隊有著「高度一致的AI安全愿景」，創(chuàng)始團(tuán)隊七個人的共同特點是重視AI安全，包括語言模型的可解釋性，想「讓模型更安全，更符合人類價值觀」，目標(biāo)是「建立有用、誠實和無害的系統(tǒng)」。

DarioAmodei認(rèn)為，現(xiàn)有的大型語言模型「可能會說一些可怕、有偏見或不好的話」，AI安全研究需要降低甚至排除它們做壞事的可能性。

02

谷歌，強(qiáng)力「后援」

自創(chuàng)立以來，Anthropic一直在籌集資金，并擴(kuò)大研究團(tuán)隊，2021年5月宣布A輪融資1.24億美元，由Skype聯(lián)合創(chuàng)始人JaanTallinn領(lǐng)投，其他支持者包括Facebook和Asana聯(lián)合創(chuàng)始人DustinMoskovitz、前谷歌首席執(zhí)行官EricSchmidt。

不到一年后，Anthropic在2022年4月宣布B輪融資5.8億美元，由FTX首席執(zhí)行官SamBankman-Fried領(lǐng)投。FTX是一家現(xiàn)已破產(chǎn)的加密貨幣平臺，被控欺詐，法庭是否可以追回這筆錢存在疑問。

不過，在資金問題上，Anthropic陸續(xù)迎來其他實力雄厚的支持者。2023年5月23日，Anthropic宣布完成C輪融資4.5億美元，由SparkCapital領(lǐng)投，還有包括Google、Salesforce（通過其子公司SalesforceVentures）和Zoom（通過ZoomVentures）在內(nèi)的科技巨頭參與，此外還有SoundVentures、MenloVentures和其他未披露的投資方。

在Anthropic的所有投資方里，來自谷歌的支持一直備受關(guān)注。此前，就在微軟高調(diào)宣布向OpenAI投資100億美元后不久，谷歌向Anthropic投資了約3億美元，以換取該公司10％的股份，根據(jù)交易條款，Anthropic要將谷歌云作為其首選云服務(wù)提供商。

這筆交易標(biāo)志著一家科技巨頭與一家AI初創(chuàng)公司的最新聯(lián)盟，類似于微軟和OpenAI之間的合作關(guān)系，OpenAI進(jìn)行專業(yè)研究，而微軟提供資金和訓(xùn)練AI模型所需的計算資源。

在谷歌和Anthropic結(jié)盟前，微軟早已投資了數(shù)十億美元，并將OpenAI的技術(shù)整合到自家許多服務(wù)中，谷歌現(xiàn)階段的聯(lián)盟似乎蘊(yùn)含著準(zhǔn)備和微軟打「代理人戰(zhàn)爭」的信號。但目前消息顯示，谷歌與Anthropic的關(guān)系，仍僅限于作為Anthropic的技術(shù)支持和資金提供方。

谷歌的投資是由其云計算部門進(jìn)行的，由谷歌云首席執(zhí)行官ThomasKurian負(fù)責(zé)，計劃將Anthropic的數(shù)據(jù)密集型計算工作帶到谷歌的數(shù)據(jù)中心，而且，谷歌已有自己的大規(guī)模語言模型。

Anthropic與谷歌云計算服務(wù)綁定｜Twitter

相比微軟，谷歌還會計劃將Claude整合到其服務(wù)中嗎？看起來未必。根據(jù)谷歌宣布的Bard和PaLM，谷歌自身已經(jīng)有了足夠的內(nèi)部研究基礎(chǔ)，似乎不太可能像微軟那樣在其產(chǎn)品中依賴一家外部AI公司的解決方案，與Anthropic結(jié)盟的動機(jī)更像是為了谷歌的云計算業(yè)務(wù)，而且對于谷歌而言，資助OpenAI的競爭對手可能符合谷歌的戰(zhàn)略利益。

谷歌云首席執(zhí)行官ThomasKurian在一份聲明中表示：「谷歌云正在為下一代人工智能初創(chuàng)公司提供開放式基礎(chǔ)設(shè)施，我們與Anthropic的合作是一個很好的例子?！?/p>

對于Anthropic來說呢？相比前東家，Anthropic的創(chuàng)始人們尤其強(qiáng)調(diào)要建立「可靠、可解釋和可控制的AI系統(tǒng)」，并因OpenAI商業(yè)化發(fā)展方向的「分歧」出走，問題便在于，現(xiàn)在谷歌的投資是否會對其發(fā)展方向有所影響？

目前，Anthropic的AI研究原則宣言是：「我們認(rèn)為，批判性地評估我們工作的潛在社會影響是研究的一個關(guān)鍵支柱?！?/p>

03

高舉「合憲AI」旗幟

鑒于Anthropic創(chuàng)始人是OpenAI前員工的淵源，這是否意味Anthropic在大模型方面的技術(shù)和OpenAI一樣，只是安全理念有別？目前看，Anthropic并不完全復(fù)制OpenAI的方法，模型的訓(xùn)練目標(biāo)、訓(xùn)練方法都存在差異。

自詡為AI安全公司的Anthropic，提出了「合憲AI」（ConstitutionalAI）。在訓(xùn)練過程中，研究人員會定義一些原則來約束系統(tǒng)的行為，如不得產(chǎn)生威脅人身安全的內(nèi)容，不得違反隱私或造成傷害等。AI系統(tǒng)在與人對話時，需要不斷判斷生成的響應(yīng)是否符合這些原則。

根據(jù)其研究論文解釋，其用AI的幫助來監(jiān)督其他AI，先訓(xùn)練一個無害的AI助手，而非用人工標(biāo)注來識別有害輸出，這種技術(shù)方法包括監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)兩個階段。在監(jiān)督學(xué)習(xí)階段，其從初始模型中采樣，然后生成自我批評和修正，基于此微調(diào)初始模型。

在強(qiáng)化學(xué)習(xí)階段，其從微調(diào)的模型中采樣，用模型評估兩個樣本中哪個更好，從這組AI偏好的數(shù)據(jù)集中訓(xùn)練一個偏好模型，使用偏好模型作為獎勵信號進(jìn)行強(qiáng)化學(xué)習(xí)，即使用「來自AI反饋的強(qiáng)化學(xué)習(xí)」（RLAIF）。

簡言之，他們通過規(guī)則約束和模型自我監(jiān)督的方式來控制AI系統(tǒng)的行為，使其對人類來說更加可靠與透明，通過AI模型之間的互動與反饋來優(yōu)化系統(tǒng)，這也是「合憲AI」技術(shù)的關(guān)鍵所在。

與之相比，OpenAI使用無監(jiān)督學(xué)習(xí)和海量非結(jié)構(gòu)化數(shù)據(jù)訓(xùn)練語言模型，以最大限度地預(yù)測人類語言為目的，而Anthropic用人工制定的規(guī)則或原則來約束AI系統(tǒng)的行為，通過引入模型自我監(jiān)督和反饋機(jī)制，AI系統(tǒng)在交互過程中需要持續(xù)判斷自己的響應(yīng)，而非簡單地最大化語言預(yù)測的準(zhǔn)確性。

Anthropic的研究論文提出「合憲AI」（ConstitutionalAI）｜Cornelluniversity

這樣看來，Anthropic為「安全」「可控」的目標(biāo)，一定程度上犧牲了語言生成的自由度，但這樣的理念無疑迎合著各地監(jiān)管AI的部分聲浪。

在大型語言模型躥紅之際，警惕AI的聲音越來越多，多國立法提案要求強(qiáng)制合規(guī)，有人呼吁建立新的機(jī)構(gòu)來監(jiān)管AI，還有研究人員呼吁暫時「暫?！寡邪l(fā)，美國國會還開了AI監(jiān)管議題的聽證會。

Anthropic所提到的「憲法」原則不是狹義上的憲法，其官網(wǎng)列舉了一系列原則來源，包括聯(lián)合國人權(quán)宣言、受Deepmind的Sparrow原則啟發(fā)的原則、Apple的服務(wù)條款、非西方觀點的原則等。例如：

Anthropic同時強(qiáng)調(diào)，這些原則既沒有最終確定，也可能不是最好的，希望對其進(jìn)行迭代，并歡迎進(jìn)一步的研究和反饋。其自認(rèn)與其他人工智能聊天機(jī)器人相比，旗下Claude「產(chǎn)生有害輸出的可能性要小得多」。

04

挑戰(zhàn)者的挑戰(zhàn)

那么模型輸出具體現(xiàn)實表現(xiàn)如何？業(yè)內(nèi)不少實踐測評認(rèn)為，Claude在創(chuàng)意任務(wù)、遵循用戶指令、瑣事問題上表現(xiàn)更好，響應(yīng)速度更快，但在編程、語法等問題上則遜于ChatGPT。

斯坦福人工智能實驗室的一名學(xué)生對Claude和ChatGPT進(jìn)行評估比較，認(rèn)為Claude「通常更接近它所要求的內(nèi)容」，但「不夠簡潔」，因為它傾向于解釋它所說的內(nèi)容，而且他覺得Claude的數(shù)學(xué)和編程能力都不如ChatGPT。

另一方面，Claude似乎擅長與娛樂、地理、歷史等有關(guān)的問題，有一名AI研究員測評認(rèn)為，Claude比ChatGPT更擅長講笑話，并且稱其「多了一點點良心」。值得注意的是，他還報告稱，Claude并沒有解決「幻覺」問題，這在類似ChatGPT的AI系統(tǒng)中也長期存在，即AI會生成與事實不一致的錯誤陳述，比如為一種不存在的化學(xué)物質(zhì)發(fā)明一個名稱。

從行業(yè)應(yīng)用看，截至目前，Claude已經(jīng)通過合作伙伴集成到部分行業(yè)產(chǎn)品中，例如DuckDuckGo的DuckAssist即時摘要、以及為Quora創(chuàng)建的名為Poe的人工智能聊天應(yīng)用程序。5月23日，Anthropic還宣布與Zoom建立合作關(guān)系，ZoomVentures也對Anthropic進(jìn)行了投資。

不過，第一個推出產(chǎn)品的公司通?！甘情L期贏家，因為他們先開始了，」微軟技術(shù)主管SamSchillace認(rèn)為，「有時差異以周為單位?！雇瑫r，Anthropic不僅要與OpenAI競爭，還有大量AI初創(chuàng)公司在開發(fā)自己的人工智能系統(tǒng)。

Claude回應(yīng)自己挑戰(zhàn)ChatGPT的勝算

甚至連Claude在被問到Anthropic是否有勝算時，Claude也直言短期內(nèi)Anthropic難以全面超越OpenAI的競爭地位。但是它認(rèn)為，「Anthropic將AI安全技術(shù)作為其產(chǎn)品與解決方案的賣點，這一商業(yè)定位與OpenAI有所區(qū)別」，其或有機(jī)會在AI安全市場占得先機(jī)。

有意思的是，相比Claude給出短期、中長期的分析預(yù)測，ChatGPT在面對相同的問題時，說法僅是「由于Anthropic的最新動態(tài)不在我的知識范圍內(nèi)，我無法提供當(dāng)前的競爭態(tài)勢?！?/p>

Claude則總結(jié)道：「整體而言，Anthropic與OpenAI的競爭將是一場蹲點戰(zhàn)，最終結(jié)果還難以預(yù)料。但無論結(jié)果如何，這場競賽都將有利于人工智能技術(shù)的發(fā)展與進(jìn)步。」

來源：極客公園

關(guān)鍵詞：