励志箴言
成功不是将来才有的,而是从决定去做的那一刻起,持续累积而成。
随机文章
- 一加13是安卓性能王者!李杰:能跟苹果A18 Pro掰手腕!
- 王海连日打假小杨哥!称其带货韩国面膜非法添加防腐剂!
- 11、13、14、15、16号台风接踵而至!捅了台风窝了?
- 史诗级提升!iPhone 16全系国行入网:最高支持45W快充!
- 男子修机箱意外发现失踪3年的螃蟹:直接风干了!
- 杭州一酒店禁止新能源车进车库 理由让车主扎心!数据:电车起火率低于油车!
- 史上最大iPhone来了!iPhone 16 Pro Max配备6.9英寸屏幕!
- 汽车运输卡车高速侧翻 一整车比亚迪新车变成事故车!
- 乘客开门杀致人受伤后跑掉 官方回应已找到:乘客司机谁负责 律师释疑!
- 玩家开炮西方ZZZQ游戏风气:谁说东方美人不存在!
近日,第五代英特尔至强处理器,以优秀的表现通过了中国电子技术标准化研究院组织的人工智能服务器系统性能测试(AISBench)。
借此,英特尔也成为首批通过AISBench大语言模型(LLM)推理性能测试的企业。
在AISBench 2.0测试工具的评估下,第五代英特尔至强处理器在ChatGLM V2-6B(60亿参数)和Llama2-13B(130亿参数)两个模型上均展现了卓越的性能,能够满足轻量级大语言模型的实时推理要求。
测试结果显示,在60亿参数的ChatGLM V2模型通用推理中,当输入输出序列为256时,处理器可达每秒2493 token的性能;当输入输出序列为2048时,性能为每秒926 token。
在130亿参数的Llama2模型通用推理中,当输入输出为256时,性能为每秒513 token;当输入输出序列为2048时,性能为每秒132 token。
AISBench 2.0的测试结果,验证了英特尔至强在运行轻量级大语言模型时展现出的优异推理性能。
也使得客户可以通过基于至强的服务器,构建一个通用AI系统进行数据预处理、模型推理和部署,从而获得兼具AI性能、效率、准确性和可扩展性的组合。
同时还彰显了英特尔至强可以为企业提供“开箱即用”的功能,即可以在通用系统上部署一部分AI工作负载,从而为客户带来更佳的总体拥有成本(TCO)优势。