1月9日，上海人工智慧實驗室（上海AI實驗室）聯合大模型語料數據聯盟成員發佈了“萬卷·絲路”多語言預訓練語料庫，為多語言大模型訓練提供高質量數據支撐。

隨著共建“一帶一路”進入高質量發展新階段，科技創新與合作將在其中發揮更關鍵的作用。上海AI實驗室通過研發先進數據智能技術，提供多語言語料庫等舉措，探索以人工智慧賦能高質量共建“一帶一路”。

“萬卷·絲路”首期開源了包含泰、俄、阿、韓、越等五個語種的語料，總規模超1.2TB（單語種均超過150GB），Token總數超過300B，涵蓋使用上述語種國家地區的生活、百科、文化、新聞等七大領域數據。

數據是人工智慧重要的基礎設施，數據品質是決定人工智慧應用能力的關鍵因素之一。作為綜合性文本語料庫，“萬卷·絲路”採集了多個國家地區的網路公開信息、文獻、專利等資料，數據總規模超1.2TB，Token總數超過300B（300 billion），處於國際領先水準。首期開源的語料庫主要由泰語、俄語、阿拉伯語、韓語和越南語5個子集構成，每個子集的數據規模均超過150GB。

基於“書生·浦語”智能標籤分類體系，研究團隊將每個語料子集細分為7個大類和32個小類，覆蓋歷史、政治、文化、房產、購物、天氣、餐飲、百科、專業知識等多類具有語言所在地特徵內容，便於研究者根據具體需求檢索數據，並可適應不同研究領域多樣化需求。

“萬卷·絲路”語料庫子集分類（共計7個大類、32個小類，圖表中僅展示了部分標籤）

“萬卷·絲路”語料庫通過專家人工標注，確立了包含七個維度的文本數據品質評估體系，從完整性、有效性、可理解性、流暢性、相關性、相似性和安全性等方面保障數據的高標準與高質量。

通過使用基於大語言模型的數據品質評估開源工具——Dingo（https://github.com/DataEval/dingo），研究團隊從多維度對“萬卷·絲路”的數據品質進行了全面評估。結果表明，其五個子集均獲得優異的綜合評分。

大模型語料數據聯盟由上海人工智慧實驗室聯合中央廣播電視總臺、人民網、國家氣象中心、中國科學技術資訊研究所、上海報業集團、上海文廣集團等10家單位聯合發起。

來源：中國澎湃新聞