亞洲資本網(wǎng) > 關(guān)注 > 正文
Hugging Face推開源多模態(tài)AI模型IDEFICS 支持圖像、文本輸入
2023-08-28 11:40:20來源： 站長之家


(資料圖)

編程客棧（）8月23日 消息:最近， Hugging Face 推出了一個(gè)名為 IDEFICS 的開源多模態(tài) AI 模型，它可以接受圖像和文本作為輸入，并生成連貫的文本輸出。

IDEFICS 是一個(gè)強(qiáng)大的視覺語言模型，擁有高達(dá)800億的參數(shù)量，功能包括根據(jù)圖像生成描述、回答相關(guān)問題以及根據(jù)多個(gè)圖像生成敘述等。

IDEFICS 基于 DeepMind 開發(fā)的 Flamingo 模型，后者是一種目前最先進(jìn)的視覺語言模型，但尚未對外開源。相比之下，IDEFICS 作為 Flamingo 的開源實(shí)現(xiàn)版本，其測試結(jié)果顯示在各類圖像理解任務(wù)上其表現(xiàn)與 Flamingo 相當(dāng)。

為訓(xùn)練 IDEFICS，Hugging Face 利用了多種公開的數(shù)據(jù)集，還額外構(gòu)建了一個(gè)包含1.4億張圖像的大規(guī)模圖像-編程客棧文本數(shù)據(jù)集。

IDEFICS 有兩個(gè)版本，包括90億參數(shù)的基礎(chǔ)版和800億參數(shù)的大模型版，可以處理不同的應(yīng)用場景。

IDEFICS 的推出為研究人員和開發(fā)者提供了js一個(gè)強(qiáng)大的開源視覺語言編程模型，相比專利系統(tǒng)如 GPT-3，它提供了更大的靈活性。同js時(shí)，IDEFICS 也顯示出生成式模型處理多模態(tài)輸入的潛力。

未來如果能進(jìn)一步提升多模態(tài)理解和生成能力，將可以大幅推動(dòng)諸如機(jī)器人、自動(dòng)駕駛等多模態(tài) AI 應(yīng)用的發(fā)展。

項(xiàng)目網(wǎng)址:https://huggingface.co/spaces/HuggingFaceM4/idefics_playground

關(guān)鍵詞：

專題新聞
  • 培養(yǎng)綜合素質(zhì)，科大訊飛AI學(xué)習(xí)機(jī)LUMIE 10系列讓孩子在快樂中成長
  • 菏澤堯舜牡丹生物科技有限公司(關(guān)于菏澤堯舜牡丹生物科技有限公司簡述)
  • 鄭州“夏日招聘夜市”走進(jìn)萬達(dá)商圈|關(guān)注高校畢業(yè)生就業(yè)
  • 自首后，特朗普狂攬710萬美元競選資金
  • 汕尾陸河創(chuàng)新禁毒宣傳形式，將禁毒宣傳與足球相結(jié)合
  • 致命失誤！米爾斯空砍21+5+6，兩戰(zhàn)46分創(chuàng)紀(jì)錄，無緣兩連勝
最近更新

京ICP備2021034106號-51

Copyright © 2011-2020  亞洲資本網(wǎng)   All Rights Reserved. 聯(lián)系網(wǎng)站：55 16 53 8 @qq.com