SEMGO
Eng
  • 首頁
  • 頭條新聞
  • 聚焦英國
  • 經濟觀察
    • 宏觀
    • 公司
    • 產經
    • 金融
  • 中國視野
  • 全球精英連線
  • 電子報紙
  • 新聞資訊
  • 旅遊
  • 英中投资
  • 深度· 言論
  • 首頁
  • 頭條新聞
  • 聚焦英國
  • 經濟觀察
    • 宏觀
    • 公司
    • 產經
    • 金融
  • 中國視野
  • 全球精英連線
  • 電子報紙
  • 新聞資訊
  • 旅遊
  • 英中投资
  • 深度· 言論
没有结果
查看所有结果
SKY ECONOMY NEWS
没有结果
查看所有结果
您當前的位置 : 中國視野 > 文章内容 返回
多語言語料庫“萬卷·絲路”發佈,AI賦能共建“一帶一路”
发布:2025-01-10

1月9日,上海人工智慧實驗室(上海AI實驗室)聯合大模型語料數據聯盟成員發佈了“萬卷·絲路”多語言預訓練語料庫,為多語言大模型訓練提供高質量數據支撐。

隨著共建“一帶一路”進入高質量發展新階段,科技創新與合作將在其中發揮更關鍵的作用。上海AI實驗室通過研發先進數據智能技術,提供多語言語料庫等舉措,探索以人工智慧賦能高質量共建“一帶一路”。

“萬卷·絲路”首期開源了包含泰、俄、阿、韓、越等五個語種的語料,總規模超1.2TB(單語種均超過150GB),Token總數超過300B,涵蓋使用上述語種國家地區的生活、百科、文化、新聞等七大領域數據。

數據是人工智慧重要的基礎設施,數據品質是決定人工智慧應用能力的關鍵因素之一。作為綜合性文本語料庫,“萬卷·絲路”採集了多個國家地區的網路公開信息、文獻、專利等資料,數據總規模超1.2TB,Token總數超過300B(300 billion),處於國際領先水準。首期開源的語料庫主要由泰語、俄語、阿拉伯語、韓語和越南語5個子集構成,每個子集的數據規模均超過150GB。

基於“書生·浦語”智能標籤分類體系,研究團隊將每個語料子集細分為7個大類和32個小類,覆蓋歷史、政治、文化、房產、購物、天氣、餐飲、百科、專業知識等多類具有語言所在地特徵內容,便於研究者根據具體需求檢索數據,並可適應不同研究領域多樣化需求。

“萬卷·絲路”語料庫子集分類(共計7個大類、32個小類,圖表中僅展示了部分標籤)

“萬卷·絲路”語料庫通過專家人工標注,確立了包含七個維度的文本數據品質評估體系,從完整性、有效性、可理解性、流暢性、相關性、相似性和安全性等方面保障數據的高標準與高質量。

通過使用基於大語言模型的數據品質評估開源工具——Dingo(https://github.com/DataEval/dingo),研究團隊從多維度對“萬卷·絲路”的數據品質進行了全面評估。結果表明,其五個子集均獲得優異的綜合評分。

大模型語料數據聯盟由上海人工智慧實驗室聯合中央廣播電視總臺、人民網、國家氣象中心、中國科學技術資訊研究所、上海報業集團、上海文廣集團等10家單位聯合發起。

來源:中國澎湃新聞

上一篇:中國新類型鈾礦找礦實現重大突破
下一篇:英國央行布裏登支持降息,但稱難以確定降息速度
相關推荐
  • 中國超算“靈晟”,蟬聯世界第一
    链接阅读
  • 中國團隊利用郭守敬望遠鏡確認絲綢星雲為超新星遺跡
    链接阅读
  • 數智領域占APEC“中國年”經貿合作成果半壁江山
    链接阅读
  • 今年中國與APEC經濟體已達成近50項經貿領域務實成果
    链接阅读
  • 中國前十個月國家鐵路發送貨物超三十四億噸,同比增長1.1%
    链接阅读
  • 中國深層葉岩油最短鑽井週期紀錄刷新
    链接阅读
  • 中國自主研發電子航海日誌系統發佈,航運基礎文書數位化轉型關鍵一步
    链接阅读
  • “十五五”時期中國將加快構建現代化基礎設施體系
    链接阅读

歡迎瀏覽閱讀星空經濟新聞華文網

投稿郵件:
news@skyeconomymedia.com

誰將接掌英偉達?庫克出任CEO猜想引熱議全球市場聚焦繼任人選

2026-11-13

投資者擔憂:黃仁勳離任後,AI賽道或失去英偉達的資金支持

英國央行加入加息陣營,澳大利亞或已走完本輪加息週期

2026-11-06

國會失守,特朗普仍握外交主導權

主場失利後,特朗普在伊朗問題上面臨嚴峻抉擇——達成協議還是升級衝突

美國新聞機構將如何預測中期選舉結果 

2026-11-02

關於我們

星空經濟新聞華文網是一家專注於提供英中兩國最新資訊的新聞媒體,作為英中新聞分享的領導者,我們致力於打造一個全球化、多元化的新聞環境,旨在搭建東西方文化橋樑,連接同一星空下的每一處角落。

聯絡我們

編 輯 部:KINGTON UNITED KINGDOM HR5 3DJ
電子郵箱:skyeconomyandmediagroup@gmail.com

總编寄语

穿越天際,照亮世界,星空新聞,不負每一份關注。
友情:英國駐中國大使館 中國駐英國大使館 新華網 中國日報 鳳凰網 中國僑網 歐洲時報 俄羅斯龍報
没有结果
查看所有结果
  • 首頁
  • 頭條新聞
  • 聚焦英國
  • 經濟觀察
    • 宏觀
    • 公司
    • 產經
    • 金融
  • 中國視野
  • 全球精英連線
  • 電子報紙
  • 新聞資訊
  • 旅遊
  • 英中投资
  • 深度· 言論

© 2023 SEMG.