近日，微软正式推出ND H200v5系列Azure虚拟机（VM），旨在帮助企业应对日益繁重的AI工作负载需求。
AI虚拟机是云计算环境中的一种资源，它提供了专门的硬件资源和软件环境，用于支持人工智能和机器学习工作负载。AI虚拟机通常配备了高性能的GPU，以加速AI模型的训练和推理过程。
ND H200v5虚拟机在性能、效率和扩展性上都有大幅提升，现已广泛应用于微软的AI服务平台，包括Azure机器学习和Azure OpenAI服务等。OpenAI的基础设施负责人Trevor Cai透露，OpenAI正在使用Azure新推出的H200虚拟机来推动ChatGPT的研发工作，旨在进一步提升用户体验。Cai指出，H200虚拟机在最小化迁移工作负载的同时，提供了更好的运算性能。
ND H200v5系列AI虚拟机是微软Azure云服务中的一种高性能计算资源，专为AI工作负载设计，能够处理从基础模型训练到复杂生成式推理等高级AI工作负载。这些虚拟机配备了英伟达H200Tensor Core GPU，提供了强大的计算能力和高速的内存带宽，非常适合执行大规模的AI训练和推理任务。与上一代Azure ND H100v5相比，ND H200v5带来了76％的大带宽内存（HBM）提升，容量达到141GB，同时HBM带宽提高43％，达到4.8TB/s。
带宽的提升让GPU能更快访问模型参数，从而降低整体延迟，特别适合需要即时响应的应用场景，如交互式智能体。ND H200v5还支持在单个虚拟机中处理更复杂的大语言模型（LLM），减少了跨多台虚拟机分布式计算的开销，从而提高整体性能。
