本網綜合 Stephen Nellis 報導 亞馬遜雲部門週三表示,已與人工智慧初創企業Hugging Face合作,使數千個AI模型在亞馬遜定制計算晶片上運行更加容易。
Hugging Face估值45億美元,已成為AI研究人員和開發者分享聊天機器人和其他AI軟體的中心樞紐,其投資者包括亞馬遜、穀歌母公司Alphabet和英偉達等。它是開發者獲取和修改Meta Platforms的Llama 3等開源AI模型的主要場所。
但一旦開發者對開源AI模型進行了調整,他們通常希望使用該模型來驅動一款軟體。週三,亞馬遜和Hugging Face表示,他們已聯手在名為Inferentia2的定制亞馬遜網路服務(AWS)晶片上實現這一功能。
“對我們來說,效率是一個非常重要的因素——確保盡可能多的人能夠運行模型,並且以最有效的方式運行它們,”Hugging Face產品與增長部門負責人傑夫·布迪爾(Jeff Boudier)說。對於AWS來說,它希望吸引更多的AI開發者使用其雲服務來實現AI。雖然Nvidia在訓練模型的市場中佔據主導地位,但AWS認為,其晶片可以在更長時間內以更低的成本運行這些已訓練的模型——這一過程稱為推理。
“你可能每個月只訓練一次這些模型。但你可能每小時要對它們進行數萬次的推理。這就是Inferentia2真正閃光的地方,”負責AWS人工智慧產品的馬特·伍德(Matt Wood)說。