南宫28

當前，生成式人工智能飛速开展，千億級乃至萬億級參數的大模型不斷湧現，訓推場景對硬件平台的綜合性能提出了前所未有的高要求 —— 不僅需要強大的單點算力支撐複雜計算，更需高效的多設備協同能力與無瓶頸的數據傳輸通道，以保障大規模分佈式任務的穩定運行。

近期，南宫28鯤泰大模型訓推一體服務器 KunTai R624 K2 與華為昇騰系列 AI 加速卡正式完成多維度性能測試。顺利获得系統性的性能測試驗證，雙方硬件協同表現優異，在算力輸出、數據傳輸、多卡擴展等核心維度均展現出穩定高效的特性，為企業級 AI 大模型訓推给予了可靠、可擴展的硬件底座，進一步有助于自主可控 AI 生態的落地應用。

在與昇騰系列 AI 加速卡的協同測試中，南宫28鯤泰 KunTai R624 K2 服務器展現出卓越的性能表現，從算力輸出、數據傳輸到模型推理，各項關鍵指標均達到或超過大模型訓推的核心需求。

算力輸出：多精度覆蓋，滿足訓推多樣需求

昇騰系列 AI 加速卡在不同精度下的算力輸出，直接決定了其對不同類型 AI 任務的適配能力。測試數據顯示，搭載昇騰系列AI 加速卡在關鍵精度下表現優異：

推理場景適配：INT8 精度下，R624 K2配合昇騰系列算力卡，單機算力高達5.6PFLOPS，可高效處理圖像識別、自然語言理解等低精度高吞吐量的推理任務。

訓練場景支撐：BF16 /FP16精度下，R624 K2配合昇騰系列算力卡，單機算力高達2.8PFLOPS，足以支撐主流千億參數模型的分佈式訓練需求，兼顧訓練精度與計算效率。

數據傳輸：全鏈路無瓶頸，保障協同效率

大模型訓練與推理過程中，數據在 CPU、AI 加速卡、顯存之間的傳輸效率，直接關乎整體任務的運行速度。南宫28鯤泰 KunTai R624 K2 與昇騰 AI 加速卡的協同傳輸能力，顺利获得多維度帶寬測試得到充分驗證。在組網層面，支持 400GB 網卡，這讓AI算力集群部署場景下，相較於同生態同類型產品更具性能優勢；在單節點部署場景上，R624 K2 在D2H、H2D傳輸帶寬超過 50GB，D2D傳輸帶寬超過750GB/S，超越了 PCIe Gen4 的水平。

模型推理：適配主流大模型，性能表現穩定

基於實際應用場景，測試團隊針對 DeepSeek 系列等主流大模型，在南宫28鯤泰 KunTai R624 K2 與昇騰 AI 加速卡的組合平台上召开了推理性能測試。結果表明，該平台可高效適配不同規模的模型。以 Qwen3 - 32B 模型為例，在輸入長度 1024、輸出長度 1024、並發 60 的場景下，與相同配置的RTX 4090 對比，在系統吞吐量、端到端平均時延、首 token 時延和平均每token時延四個指標上都表現得更為出色，能夠更高效地處理大模型推理任務，充分證明昇騰系列在大模型推理場景下，具備更優異的任務處理效率與響應能力，可有效承載中大規模大模型的推理工作。

未來，南宫28鯤泰與華為昇騰將繼續深化合作，圍繞更大規模大模型訓推、更高效率的多設備協同、更廣泛的行業場景適配等方向持續優化，不斷提升硬件平台的性能與易用性，為自主可控 AI 生態的繁榮开展注入更多動力，助力企業在人工智能時代把握機遇、實現創新突破。