【概要描述】

AI年夜模子空前火爆，利用办事加快，正在走进人们的工作和糊口。此中，年夜说话模子（LLM）以其在图象、语音、天然说话处置等方面表示出的出色能力，使其成为最主要的AI手艺之一。作为中国AI办事器市场的TOP3和中国领先的计较产物方案供给商，宝德对峙手艺立异，基在英特尔AI软硬件手艺根本等打造多样性的AI算力息争决方案，为AI财产快速成长和AI年夜模子落地利用做出积极的进献。

英特尔®至强®CPU Max系列，年夜说话模子工作负载的实力担任

一向以来，英特尔以普遍的AI硬件和软件组合助力年夜说话模子的普和，鞭策AI成长惠和各行各业。此中，第四代英特尔®至强®可扩大处置器以其原生AI加快能力和周全晋升的整体机能，充实知足年夜模子工作负载和复杂AI计较场景的需求。

第四代英特尔®至强®可扩大处置用具有英特尔高级矩阵扩大（AMX）的AI加快功能，有全新的指令集与电路设计，可帮忙诸如图象辨认、对象探测等使命中的张量处置取得多倍效力晋升，并可用在INT8、BF16等分歧数据格局以加快深度进修练习和推理工作负载等多种类型的AI模子，机能高达上一代10倍。

英特尔®至强®CPU Max系列

在此根本上，英特尔®至强®CPU Max系列更是年夜模子的算力担任，它每颗CPU供给64GB的高带宽内存（HBM2E），两颗共128GB，有用爱游戏解决年夜说话模子工作负载常常遭到内存带宽限制的逆境。数据显示，其针对建模、人工智能、深度进修、高机能计较 (HPC) 和数据阐发等现实工作负载的机能晋升了 4.8 倍。

基在英特尔®至强®CPU Max系列的宝德办事器，为年夜模子推理利用供给彭湃算力

宝德自研双路办事器PR2715E

宝德自研双路办事器PR2715E，撑持两颗英特尔®至强®CPU Max系列，以比力根本的32焦点+64GB HBM缓存的Max 9462为例，该产物便可轻松撑持60B参数下8路推理需求。它采取CPU+GPU异构计较设计，有8个尺度PCIe5.0插槽，可以撑持8张单宽或3张双宽包罗英特尔®GPU Flex系列的GPU计较卡，壮大的AI算力和平安手艺，可以或许为年夜模子AI推理工作负载加快和护航。别的，该机型有32个DDR5内存插槽，最年夜可撑持8TB，撑持400Gb/s高速收集，优化低延迟利用体验；它最年夜撑持12个2.5”( 3.5”)和4个后置2.5”SATA/SAS/NVMe热插拔硬盘，或24个2.5”SATA/SAS/NVMe和2个后置2.5”SATA/SAS热插拔硬盘，撑持内置1个M.2（NVMe/SATA），保障了整机机能的强劲靠得住。另外，PR2715E撑持液冷散热方案，经由过程选用冷板液冷方案，可以有用削减AI年夜模子算力集群和数据中间的整体碳排放和显著下降客户TCO（整体具有本钱）。

宝德四子星办事器PR2745TE

特别值得一提的是，宝德四子星办事器PR2745TE，在2U 机架中供给多达 4个双路节点和高容量存储，使得它1台办事器便可以撑持多达八颗英特尔®至强®CPU Max系列，从而完善撑持60B参数下32路推理需求。并且，它在2U规格内供给超凡的吞吐量、存储、收集、I / O、内存和处置能力，构成一个矫捷的平台,为要求刻薄的AI、高机能和横向扩大等工作负载供给强劲动力。PR2745TE为简化摆设和保护而设计，并以最高质量组装，以确保最年夜容量的持续操作。客户可以经由过程它供给的解决方案知足最具挑战性的IT 需求，并受益在非凡的总具有本钱(TCO)。 作为业界双子星/多子星办事器的初创，宝德四子星办事器久经市场考验，已帮忙AI用户、数据中间、 高机能计较和云计较情况的客户取得了来自数据中间资本的壮大竞争优势，也将是年夜模子推理利用坚实的算力根本之一。

• 分类： 博鱼新闻
• 作者：博鱼
• 来源：集团新闻
• 发布时间：2024-07-12
• 访问量： 0