應用

技術

物聯網世界 >> 物聯網新聞 >> 物聯網熱點新聞
企業(yè)注冊個人注冊登錄

亞馬遜與 AI 公司 Hugging Face 合作:定制芯片低成本運行 AI 模型

2024-05-24 08:55 IT之家
關鍵詞:亞馬遜AI芯片

導讀:亞馬遜公司的云部門宣布,已與人工智能初創(chuàng)公司 Hugging Face 合作,將在亞馬遜的定制計算芯片上更低成本地運行數千個 AI 模型。

  5 月 23 日消息,亞馬遜公司的云部門宣布,已與人工智能初創(chuàng)公司 Hugging Face 合作,將在亞馬遜的定制計算芯片上更低成本地運行數千個 AI 模型。

  估值 45 億美元(IT之家備注:當前約 326.25 億元人民幣)的 Hugging Face 已成為 AI 研究人員和開發(fā)者分享聊天機器人或其他 AI 軟件的中心,并得到了亞馬遜、Alphabet 旗下的谷歌和英偉達等公司的支持,它是開發(fā)者獲取和調整開源 AI 模型(如 Meta Platforms 的 Llama 3)的主要平臺。

  當開發(fā)人員調整了開源的 AI 模型后,他們通常希望使用該模型來驅動軟件。亞馬遜和 Hugging Face 周三宣布,他們已經合作在一個名為 Inferentia2 的定制亞馬遜網絡服務(AWS)芯片上實現這一目標。

  “對我們來說,效率非常重要 —— 確保盡可能多的人能夠運行模型,并且能夠以最具成本效益的方式運行,”Hugging Face 的產品和增長負責人 Jeff Boudier 說。

  AWS 希望吸引更多的 AI 開發(fā)者使用其云服務來交付 AI。雖然英偉達在訓練模型的市場上占據主導地位,但 AWS 認為其芯片可以以較低成本運行那些經過訓練的模型。

  負責 AWS 人工智能產品的 Matt Wood 表示,你可能每個月訓練這些模型一次,但可能每小時對它們進行成千上萬次推理,這是 Inferentia2 真正閃光的地方。