每經(jīng)記者:蔡鼎 每經(jīng)編輯:蘭素英
過(guò)去幾個(gè)月時(shí)間里,由ChatGPT在全球科技巨頭之間引發(fā)的人工智能熱潮推動(dòng)了大量語(yǔ)言模型的生產(chǎn)力前置。據(jù)《華爾街日?qǐng)?bào)》,雖然谷歌早在兩年前就做出了類(lèi)似ChatGPT的人工智能聊天工具,但谷歌對(duì)AI的小心謹(jǐn)慎態(tài)度讓其失去了對(duì)生成式AI的先機(jī)。
不過(guò),作為硅谷科技巨頭,谷歌從來(lái)不缺乏“后來(lái)居上”的決心和實(shí)力。
(相關(guān)資料圖)
美西時(shí)間3月6日(周一),來(lái)自谷歌和德國(guó)柏林工業(yè)大學(xué)的一組人工智能研究人員公布了史上最大視覺(jué)語(yǔ)言模型PaLM-E(全稱(chēng)Pathways Language Model with Embodied)。
作為一種多模態(tài)具身視覺(jué)語(yǔ)言模型 (VLM),PaLM-E能將視覺(jué)和語(yǔ)言集成到機(jī)器人控制中。谷歌和柏林工業(yè)大學(xué)稱(chēng),PaLM-E是迄今為止人類(lèi)開(kāi)發(fā)的最大規(guī)模VLM,其可以在不需要再訓(xùn)練的情況下執(zhí)行各種任務(wù)。此外,通過(guò)PaLM-540B語(yǔ)言模型與ViT-22B視覺(jué)Transformer模型相結(jié)合,PaLM-E最終的參數(shù)量高達(dá)5620億(GPT-3 的參數(shù)量為1750億),這是全球已知的最大視覺(jué)語(yǔ)言模型。
可分析視覺(jué)數(shù)據(jù)執(zhí)行高級(jí)命令
“我們觀察到諸如多模態(tài)思維鏈推理(允許模型分析包括語(yǔ)言和視覺(jué)信息的一系列輸入),只接受單圖像提示訓(xùn)練的多圖像推理(使用多個(gè)圖像作為輸入來(lái)做出推理或預(yù)測(cè))等涌現(xiàn)能力?!闭撐牡牡谝蛔髡摺⒐雀鐰I研究員Danny Driess在推特上寫(xiě)道。
圖片來(lái)源:推特
據(jù)谷歌介紹,當(dāng)接到“把抽屜里的薯片拿過(guò)來(lái)”等較為高級(jí)的命令時(shí),PaLM-E可以為一個(gè)有“手臂”的移動(dòng)機(jī)器人平臺(tái)(由谷歌Robotics公司開(kāi)發(fā))生成行動(dòng)計(jì)劃,并自行執(zhí)行任務(wù)。機(jī)器人能夠順利地從十多個(gè)開(kāi)放式抽屜中找到米餅,拿給研究人員。
圖片來(lái)源:谷歌
在另外一個(gè)案例中,研究人員還要求機(jī)器人“將所有色塊按顏色堆放到不同角落”的指令,以及將“綠色色塊推到烏龜旁邊”的指令,即便機(jī)器人之前沒(méi)有見(jiàn)過(guò)這只烏龜擺件,也能順利地完成任務(wù)。
圖片來(lái)源:谷歌
在圖像識(shí)別的案例中,PaLM-E識(shí)別圖像中的已故籃球明星科比·布萊恩特,并可以生成關(guān)于他的文本信息,例如他贏得了多少次NBA總冠軍戒指。研究人員寫(xiě)道,PaLM-E也是一種“有效的視覺(jué)語(yǔ)言模型”。
圖片來(lái)源:谷歌
具體來(lái)講,PaLM-E通過(guò)分析來(lái)自機(jī)器人攝像頭的數(shù)據(jù)來(lái)實(shí)現(xiàn)對(duì)高級(jí)命令的執(zhí)行,而無(wú)需對(duì)場(chǎng)景進(jìn)行預(yù)處理。這消除了人類(lèi)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理或注釋的需要,并允許更自主的機(jī)器人控制。
此外,PaLM-E也非常具有彈性,能根據(jù)所處的具體環(huán)境做出反應(yīng)。例如,PaLM-E模型可以引導(dǎo)機(jī)器人從廚房取出一個(gè)薯片袋,并且將PaLM-E集成到控制循環(huán)中,它可以抵抗任務(wù)執(zhí)行期間可能發(fā)生的中斷。在谷歌發(fā)布的視頻中,一名研究人員從機(jī)器人手中抓起薯片并進(jìn)行移動(dòng),但最終機(jī)器人可以找到這些薯片并再次抓起。
“PaLM-E幾乎擁有所有語(yǔ)言能力”
據(jù)谷歌和柏林工業(yè)大學(xué)的合著論文介紹,PaLM-E是一個(gè)僅有解碼器的大型語(yǔ)言模型(LLM),在給定前綴(prefix)或提示(prompt)下,能夠以自回歸方式生成文本補(bǔ)全。其訓(xùn)練數(shù)據(jù)為包含視覺(jué)、連續(xù)狀態(tài)估計(jì)和文本輸入編碼的多模式語(yǔ)句。
由于PaLM-E是基于語(yǔ)言模型,所以它會(huì)連續(xù)觀察圖像或傳感器數(shù)據(jù),并將其編碼成與語(yǔ)言符號(hào)大小相同的向量序列。這使得模型能夠以處理語(yǔ)言的相同方式“理解”感覺(jué)信息。
谷歌和柏林工業(yè)大學(xué)研究人員發(fā)布的預(yù)印本論文
除了RT-1機(jī)器人外,PaLM-E還借鑒了谷歌之前在VIT-22B上的工作,后者是谷歌在上月公布的一款視覺(jué)語(yǔ)言模型。VIT-22B已經(jīng)在各種視覺(jué)任務(wù)上進(jìn)行了訓(xùn)練,例如圖像分類(lèi)、目標(biāo)檢測(cè)、語(yǔ)義分割和圖像字幕等。
除了機(jī)器人技術(shù)外,谷歌的研究人員還觀察到了幾個(gè)有趣的現(xiàn)象。首先,PaLM-E在實(shí)驗(yàn)案例中表現(xiàn)出了“正向轉(zhuǎn)移(positive transfer)”,這意味著它可以將所學(xué)到的知識(shí)和技能從一個(gè)任務(wù)轉(zhuǎn)移到另一個(gè)任務(wù),因此與執(zhí)行單個(gè)任務(wù)的機(jī)器人模型相比,性能有顯著的提高。
此外,谷歌研究人員還觀察了PaLM-E大規(guī)模參數(shù)下的一個(gè)趨勢(shì):“語(yǔ)言模型規(guī)模越大,在進(jìn)行視覺(jué)語(yǔ)言和機(jī)器人任務(wù)訓(xùn)練時(shí),它就越能保持語(yǔ)言能力——從參數(shù)規(guī)模上來(lái)講,5620億參數(shù)的PaLM-E幾乎擁有所有語(yǔ)言能力。”
谷歌研究人員計(jì)劃未來(lái)將探索PaLM-E在現(xiàn)實(shí)世界中有更多應(yīng)用,例如家庭自動(dòng)化或工業(yè)機(jī)器人,也希望PaLM-E能夠激發(fā)更多關(guān)于多模態(tài)AI的應(yīng)用。
《每日經(jīng)濟(jì)新聞》記者還注意到,作為AI大戰(zhàn)的老對(duì)手,微軟也已經(jīng)在“圖像+語(yǔ)言模型”的路數(shù)上有所布局。在今年2月底發(fā)表的研究中,微軟就展現(xiàn)了如何使用ChatGPT為大疆Tello無(wú)人機(jī)編寫(xiě)“找飲料”程序的案例。
微軟最近發(fā)布的“用于機(jī)器人的ChatGPT(ChatGPT for Robotics)”論文,就嘗試以類(lèi)似于谷歌PaLM-E的方式將視覺(jué)數(shù)據(jù)和大型語(yǔ)言模型結(jié)合起來(lái),對(duì)機(jī)器人進(jìn)行控制。
每日經(jīng)濟(jì)新聞
關(guān)鍵詞:
新聞發(fā)布平臺(tái) |科極網(wǎng) |環(huán)球周刊網(wǎng) |中國(guó)創(chuàng)投網(wǎng) |教體產(chǎn)業(yè)網(wǎng) |中國(guó)商界網(wǎng) |互聯(lián)快報(bào)網(wǎng) |萬(wàn)能百科 |薄荷網(wǎng) |資訊_時(shí)尚網(wǎng) |連州財(cái)經(jīng)網(wǎng) |劇情啦 |5元服裝包郵 |中華網(wǎng)河南 |網(wǎng)購(gòu)省錢(qián)平臺(tái) |海淘返利 |太平洋裝修網(wǎng) |勵(lì)普網(wǎng)校 |九十三度白茶網(wǎng) |商標(biāo)注冊(cè) |專(zhuān)利申請(qǐng) |啟哈號(hào) |速挖投訴平臺(tái) |深度財(cái)經(jīng)網(wǎng) |深圳熱線(xiàn) |財(cái)報(bào)網(wǎng) |財(cái)報(bào)網(wǎng) |財(cái)報(bào)網(wǎng) |咕嚕財(cái)經(jīng) |太原熱線(xiàn) |電路維修 |防水補(bǔ)漏 |水管維修 |墻面翻修 |舊房維修 |參考經(jīng)濟(jì)網(wǎng) |中原網(wǎng)視臺(tái) |財(cái)經(jīng)產(chǎn)業(yè)網(wǎng) |全球經(jīng)濟(jì)網(wǎng) |消費(fèi)導(dǎo)報(bào)網(wǎng) |外貿(mào)網(wǎng) |重播網(wǎng) |國(guó)際財(cái)經(jīng)網(wǎng) |星島中文網(wǎng) |上甲期貨社區(qū) |品牌推廣 |名律網(wǎng) |項(xiàng)目大全 |整形資訊 |整形新聞 |美麗網(wǎng) |佳人網(wǎng) |稅法網(wǎng) |法務(wù)網(wǎng) |法律服務(wù) |法律咨詢(xún) |媒體采購(gòu)網(wǎng) |聚焦網(wǎng) |參考網(wǎng) |熱點(diǎn)網(wǎng)
亞洲資本網(wǎng) 版權(quán)所有
Copyright © 2011-2020 亞洲資本網(wǎng) All Rights Reserved. 聯(lián)系網(wǎng)站:55 16 53 8 @qq.com