英特尔第五代至强处理器通过 AISBench 人工智能服务器系统性能测试，成为首家通过大语言模型 (LLM) 推理性能测试的企业。
在 AISBench 2.0 评估下，第五代至强处理器在 ChatGLM V2-6B（60 亿参数）和 Llama2-13B（130 亿参数）模型上表现突出，满足轻量级 LLM 的实时推理需求。
具体性能表现如下：
- ChatGLM V2 模型通用推理（输入输出序列 256）：每秒 2493 个 token
- ChatGLM V2 模型通用推理（输入输出序列 2048）：每秒 926 个 token
- Llama2 模型通用推理（输入输出序列 256）：每秒 513 个 token
- Llama2 模型通用推理（输入输出序列 2048）：每秒 132 个 token
AISBench 2.0 测试结果证明了英特尔至强在轻量级 LLM 推理方面的卓越性能。
基于至强的服务器可构建通用 AI 系统，用于数据预处理、模型推理和部署，提供 AI 性能、效率、准确性和可扩展性的结合。
英特尔至强还支持“开箱即用”部署部分 AI 工作负载，降低总体拥有成本，为企业提供更佳的优势。
本文来自作者[admin]投稿，不代表ab资讯网立场，如若转载，请注明出处：https://mip.abcgs.cn/post/43.html
评论列表（4条）
我是ab资讯网的签约作者“admin”！
希望本篇文章《Intel首批通过AISBench大模型性能测试！5代至强可达每秒2493 token》能对你有所帮助！
本站[ab资讯网]内容主要涵盖：国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览：英特尔第五代至强处理器通过 AISBench 人工智能服务器系统性能测试，成为首家通过大语言模型 (LLM) 推理性能测试的企业。在 AISBench 2.0 评估下，第五代至...