芯片制造商英偉達今天宣布推出 NVIDIA H100 GPU 的英偉下一代產品：NVIDIA HGX H200 GPU，基于 Hopper 架構開發(fā)、達宣采用 HBM3e 內存、布推常州外圍預約平臺（外圍上門）外圍外圍上門外圍女（電話微信181-2989-2716）一二線城市外圍預約、空姐、模特、留學生、熟女、白領、老師、優(yōu)質資源帶寬 4.8TB 每秒。工智
就人工智能方面的速卡速度優(yōu)勢，英偉達稱，推理與 H100 加速卡相比，翻倍HGX H200 在 Llama 2 (Meta AI 推出的藍點開源模型，參數為 70B) 上的英偉推理速度提高了一倍。
英偉達稱借助 HBM3e 內存，達宣HGX H200 帶寬高達 4.8TB 每秒、布推常州外圍預約平臺（外圍上門）外圍外圍上門外圍女（電話微信181-2989-2716）一二線城市外圍預約、空姐、模特、留學生、熟女、白領、老師、優(yōu)質資源提供 141GB 的工智內存，這可以為參數更多的速卡速度 LLM 提供更多、更快的推理內存需求。
HGX H200 提供 4 路和 8 路配置，翻倍與 H100 系統(tǒng)中的軟硬件都兼容，適合各種類型的數據中心，包括本地、云、混合云、邊緣計算，并且可以通過 AWS、Google Cloud、Microsoft Azure 和 Oracle Cloud 進行部署。
HGX H200 將在 2024 年第二季度上市銷售。
另一款產品是 NVIDIA GH200 Grace Hopper 超級芯片，英偉達稱其與 NVLink-C2C 互聯(lián)可以將 HGX H200 GPU 與基于 Arm 的 NVIDIA Grace CPU 結合在一起。
這個方案是專門為超算設計的，可以讓科學家和研究人員通過加速運行 TB 級別的數據和進行復雜的 AI 計算來解決世界上最具有挑戰(zhàn)性的問題。
英偉達稱 GH200 用于全球研究中心、系統(tǒng)制造商和云提供商的 40 多臺人工智能超算，包括戴爾、HPE、聯(lián)想、Eviden、QCT、Supermicro 等公司的超算。
其中 HPE 的 Cray EX2500 超算使用四顆 GH200，可以擴展到數萬個 Grace Hopper Superchip 節(jié)點。
而最大的 Grace Hopper 超算應該是德國的 JUPITER，這臺超算將在 2024 年完成部署并成為世界最強大的人工智能系統(tǒng)，其采用液冷架構，使用 24,000 個 GH200 與 NVIDIA Quantum-2 InfiniBand 網絡平臺互聯(lián)。
英偉達稱德國的 JUPITER 將在氣候和天氣預測等領域取得科學突破，通過交互式可視化生成高分辨率的氣候和天氣模擬，也將被用于藥物研發(fā)、量子計算和工業(yè)工程領域。
附 H200 參數：
FP64 34 TFLOPS
FP64 Tensor Core 67 TFLOPS
FP32 67 TFLOPS
TF32 Tensor Core 989 TFLOPS
BFLOAT16 Tensor Core 1,979 TFLOPS
FP16 Tensor Core 1,979 TFLOPS
FP8 Tensor Core 3,958 TFLOPS
INT8 Tensor Core 3,958 TFLOPS
GPU Memory 141GB
GPU Memory Bandwidth 4.8TB/s
Decoders 7 NVDEC/JPEG
Max Thermal Design Power (TDP) Up to 700W (configurable)
Multi-Instance GPUs Up to 7 MIGs @16.5GB each
Interconnect NVIDIA NVLink?: 900GB/s
PCIe Gen5: 128GB/s
Server Options NVIDIA HGX? H200 partner and NVIDIA-Certified Systems? with 4 or 8 GPUs
NVIDIA AI Enterprise Add-on