Red Hat推出llm-d社群專案,加速推進大規模分散式的生成式AI推論回應未來生成式AI的大規模推論需求
Red Hat近期宣布推出全新開源專案llm-d,旨在回應未來生成式AI (Gen AI)最關鍵的大規模推論需求。 此專案由創始貢獻者CoreWeave、Google Cloud、IBM Research與NVIDIA共同發起,並且獲得AMD、Cisco、Hugging Face、Intel、Lambda和Mistral AI 等業者,以及加州大學柏克萊分校和芝加......

