英特尔披露至强6处理器针对Meta Llama 3模型的推理性能

时间：2024/4/23 8:07:16 来源：打印

      近日，Meta重磅推出其80亿和700亿参数的Meta Llama 3开源大模型。该模型引入了改进推理等新功能和更多的模型尺寸，并采用全新标记器（Tokenizer），旨在提升编码语言效率并提高模型性能。

      在模型发布的第一时间，英特尔即验证了Llama 3能够在包括英特尔?至强?处理器在内的丰富AI产品组合上运行，并披露了即将发布的英特尔至强6性能核处理器（代号为Granite Rapids）针对Meta Llama 3模型的推理性能。

      英特尔至强处理器可以满足要求严苛的端到端AI工作负载的需求。以第五代至强处理器为例，每个核心均内置了AMX加速引擎，能够提供出色的AI推理和训练性能。截至目前，该处理器已被众多主流云服务商所采用。不仅如此，至强处理器在进行通用计算时，能够提供更低时延，并能同时处理多种工作负载。