NVIDIA以TensorRT-LLM模型提高H100 GPU上的大型自然語言模型推論能力加快人工智慧應用服務執行效率

首圖

針對目前多數業者採用的大型自然語言模型應用需求,NVIDIA宣布以開源架構設計的TensorRT-LLM模型,強化H100 GPU在大型自然語言模型的推論能力。 此項開源架構設計的TensorRT-LLM模型將在未來幾周內提供,本身以TensorRT深度學習框架組成,包括經最佳化調整的內核、前處理及後處理步驟,加上多組GPU、多節點通訊基礎,可在NVIDIA GP......