(資料圖)
人民日報(bào)上海8月15日電 (記者沈文敏)近日,上海人工智能實(shí)驗(yàn)室宣布聯(lián)合語料數(shù)據(jù)聯(lián)盟成員單位,共同開源發(fā)布“書生·萬卷”1.0多模態(tài)預(yù)訓(xùn)練語料。
“書生·萬卷”1.0集合了語料數(shù)據(jù)聯(lián)盟成員豐富的內(nèi)容積累與上海人工智能實(shí)驗(yàn)室的數(shù)據(jù)處理能力等優(yōu)勢,將為學(xué)術(shù)界及產(chǎn)業(yè)界提供高質(zhì)量大模型多模態(tài)預(yù)訓(xùn)練語料。本次開源的數(shù)據(jù)總量超過2TB,具備多元融合、精細(xì)處理、價(jià)值對齊、易用高效等四大特征。
本次開源的“書生·萬卷”1.0包含文本、圖文、視頻三部分?jǐn)?shù)據(jù)集。其中文本數(shù)據(jù)來自網(wǎng)頁、百科、書籍、專利、教材、考題等,數(shù)據(jù)總量超過5億個(gè)文檔,數(shù)據(jù)大小超過1TB,覆蓋科技、文學(xué)、媒體、教育、法律等多個(gè)領(lǐng)域;圖文數(shù)據(jù)主要來自公開網(wǎng)頁,經(jīng)處理后形成圖文交錯(cuò)文檔,總量超過2200萬個(gè),數(shù)據(jù)大小超過140GB(不含圖片),覆蓋新聞事件、人物、自然景觀、社會生活等多個(gè)領(lǐng)域;視頻數(shù)據(jù)主要來自中央廣播電視總臺和上海文廣集團(tuán),包含新聞、影視等多種類型的節(jié)目影像,總計(jì)視頻文件數(shù)超過1000個(gè),數(shù)據(jù)大小超過900GB,內(nèi)容覆蓋軍事、文藝、體育、自然、知識、影像藝術(shù)等方面。
關(guān)鍵詞:
新聞發(fā)布平臺 |科極網(wǎng) |環(huán)球周刊網(wǎng) |tp錢包官網(wǎng)下載 |中國創(chuàng)投網(wǎng) |教體產(chǎn)業(yè)網(wǎng) |中國商界網(wǎng) |萬能百科 |薄荷網(wǎng) |資訊_時(shí)尚網(wǎng) |連州財(cái)經(jīng)網(wǎng) |劇情啦 |5元服裝包郵 |中華網(wǎng)河南 |網(wǎng)購省錢平臺 |海淘返利 |太平洋裝修網(wǎng) |勵普網(wǎng)校 |九十三度白茶網(wǎng) |商標(biāo)注冊 |專利申請 |啟哈號 |速挖投訴平臺 |深度財(cái)經(jīng)網(wǎng) |深圳熱線 |財(cái)報(bào)網(wǎng) |財(cái)報(bào)網(wǎng) |財(cái)報(bào)網(wǎng) |咕嚕財(cái)經(jīng) |太原熱線 |電路維修 |防水補(bǔ)漏 |水管維修 |墻面翻修 |舊房維修 |參考經(jīng)濟(jì)網(wǎng) |中原網(wǎng)視臺 |財(cái)經(jīng)產(chǎn)業(yè)網(wǎng) |全球經(jīng)濟(jì)網(wǎng) |消費(fèi)導(dǎo)報(bào)網(wǎng) |外貿(mào)網(wǎng) |重播網(wǎng) |國際財(cái)經(jīng)網(wǎng) |星島中文網(wǎng) |手機(jī)測評 |品牌推廣 |名律網(wǎng) |項(xiàng)目大全 |整形資訊 |整形新聞 |美麗網(wǎng) |佳人網(wǎng) |稅法網(wǎng) |法務(wù)網(wǎng) |法律服務(wù) |法律咨詢 |成報(bào)網(wǎng) |媒體采購網(wǎng) |聚焦網(wǎng) |參考網(wǎng)
亞洲資本網(wǎng) 版權(quán)所有
Copyright © 2011-2020 亞洲資本網(wǎng) All Rights Reserved. 聯(lián)系網(wǎng)站:55 16 53 8 @qq.com