自从Deepseek发布开源AI大模型以来,引发各行各业都在进行AI大模型赋能热潮,由于各种这样或那样的原因,很多组织和公司比较青睐用训练推理一体机来实现这个目标,而英伟达“迷你超算”即将大规模推向市场,即将成为国内大火的训练推理一体机的最大竞争对手。
长期以来,一直有传言称GPU 英伟达(NVIDIA) 计划在2025 年进军消费级CPU 市场的消息。而如今,我们可能已第一次看到了它新的进展。
The verge 报道,在CES 2025上英伟达推出了新款的Project Digits,这是一款价值3,000 美元的个人AI 超级电脑,由新设计的Blackwell 架构GB10 Grace 超级芯片来提供算力。报道指出,英伟达执行长黄仁勋向投资者和分析师暗示,该芯片当中与联发科共同开发的Arm 架构的CPU 未来有更大的计划。
黄仁勋在一次投资者演讲中提到新的20 核心CPU 时表示,我们有我们的计划。但他表示,他会在未来告知这些计划是什么。不过,由于合作厂商联发科也有自己的企图心,所以黄仁勋强调,联发科也可能将新的独立CPU 推广于市场,不完全与英伟达合作。因此,他们能够向咱们提供,他们能够自己保留并服务市场,这使得该计划成为一个伟大的双赢局面。
事实上,英伟达新推出的Project Digits 本身并不是一款大众市场产品。因为其售价高达3,000 美元,并且以执行专为AI 研发人员设计的客制化Linux 系统为主。
最近,据一些外国新闻媒体报道,英伟达(Nvidia)和联发科(MediaTek)已经收到大量关于其GB10 Grace Blackwell超级芯片的订单,这些芯片将用于Project Digits低成本个人AI超级计算机,预计这种强劲需求将持续到2025年底。这两家公司已要求代工合作伙伴台积电(TSMC)以及封装和测试合作伙伴日月光(ASE)和京元电子(KYEC)增加产能。目前这些芯片慢慢的开始生产,并将于今年下半年开始发货。
“Project DIGITS”是什么?NVIDIA方面将其称之为“目前体积最小的AI超算”。
这是一款大约只有饭盒大小的PC主机,从发布会上的演示视频来看,它可能与大家熟悉的Mac mini,或是那些较小的x86 NUC差不多大小。
在“Project DIGITS”内部,却并不是常见的低电压移动版PC平台,但是NVIDIA称其称之为“超算”,确实是一点也没吹牛。
除此之外,Project DIGITS还配备了一颗独立的NVIDIA ConnectX互联芯片,它可以让“GB10”超级芯片内部的GPU兼容多种不同的互联技术标准,这中间还包括NCCL、RDMA、GPUDirect等,从而使得这颗“大核显”可以被各种开发软件和AI应用直接访问。
大容量内存和存储 :配备 128GB LPDDR5X 内存和 4TB NVMe SSD,为处理大型数据集和复杂的 AI 模型提供了充足的内存和存储空间。
先进的接口和技术 :支持多种接口类型,兼容性强,使用先进的 DRAM 芯片和 NAND 存储技术,提高了数据的传输速度和读取写入速度。
预装操作系统和工具 :搭载基于 Ubuntu 22.04 的 Linux 操作系统 DGX OS,预装了完整的 AI 开发工具链,包括 SDK、编排工具、PyTorch 等 AI 框架,和来自 NVIDIA NGC 目录的预训练模型和资源库,开发者无需进行复杂的配置即可开始工作。
优化的 AI 软件 :包含多项优化、附加驱动及诊断 / 监控工具,如 NVIDIA NeMo 框架和 RAPIDS 库等,助力开发者将工作部署至云端和数据中心。
快速的 AI 训练 :利用每秒一千万亿次的 AI 能力,加速了 AI 模型的训练、微调和测试过程,研发人员可以更快地进行迭代,减少部署时间。
高效的数据处理 :通过先进的存储技术和接口,提高了数据的读取和写入速度,在处理数据密集型的 AI 计算任务时表现出色。
降低云端费用 :在本地提供强大的计算能力,削减了经常性的云端费用,对于处理大型数据集的团队和初创公司、研究团队来说非常理想。
一次性投资 :相比传统的基于云端的人工智能服务,Project Digits 只需一次性投资,无需持续的订阅费用或隐藏费用。
灵活的扩展方案 :能够最终靠叠加使用的方式提升解决能力,以支持更大的 AI 模型,为 AI 领域的应用提供了更多的可能性和灵活性。
适应不同规模项目 :既适合小型团队和个人开发者,也适用于大规模的公司,能够随着需求的增长而扩展。
体积小巧 :这款超级计算机体积紧凑,可置于桌面,相比传统的 AI 设备,不再需要笨重、昂贵的硬件。
重点介绍英伟达Project Digits主机的叠加能力可分为以下几种情况:
1. 官方明确支持的叠加数量双机互联:英伟达官方指出,单台Project Digits可处理2000亿参数的大模型(如Meta Llama 3.1的4050亿参数版本),需通过双机互联实现,即两台叠加后可支持4050亿参数模型的运行。
互联技术:双机通过NVIDIA ConnectX网络接口连接,带宽达400Gbps,确保数据传输效率。
2. 理论扩展潜力与第三方分析多机互联可行性:部分第三方评测认为,Project Digits支持通过以太网扩展更多设备。例如,8台互联可形成环形拓扑结构,共享内存达1TB,适合大规模模型推理或低延迟训练需求。
带宽瓶颈:若叠加过多设备,网络带宽有几率会成为性能瓶颈,影响生成速度(如Token/s)。
适用场景:多机叠加更适合教育、研究或企业级推理等对实时性要求不高的场景,而非需要高吞吐量的实时训练。
3. 叠加后的性能与应用场景算力提升:单台Project Digits的AI算力为1 PetaFLOP(FP4精度),叠加后算力线性增长,但实际效率受互联带宽限制。
成本优势:相比传统显卡集群,8台叠加总成本约2.4万美元,显存容量达1TB,性价比明显高于购买多张高端显卡。
推荐场景:优先选择双机互联应对主流大模型,多机扩展适用于非实时推理或实验性研究。
英伟达的 Project Digits 有潜力成为训练推理一体机的强劲竞争对手,以下是具体分析:
高效的数据处理 :配备 128GB LPDDR5X 内存和 4TB NVMe SSD,以及先进的 DRAM 芯片和 NAND 存储技术,提高了数据的传输速度和读取写入速度,在处理数据密集型的 AI 计算任务时表现出色。
降低云端费用 :在本地提供强大的计算能力,削减了经常性的云端费用,对于处理大型数据集的团队和初创公司、研究团队来说非常理想。
一次性投资 :相比传统的基于云端的人工智能服务,Project Digits 只需一次性投资,无需持续的订阅费用或隐藏费用。
预装操作系统和工具 :搭载基于 Ubuntu 22.04 的 Linux 操作系统 DGX OS,预装了完整的 AI 开发工具链,包括 SDK、编排工具、PyTorch 等 AI 框架,和来自 NVIDIA NGC 目录的预训练模型和资源库,开发者无需进行复杂的配置即可开始工作。
优化的 AI 软件 :包含多项优化、附加驱动及诊断 / 监控工具,如 NVIDIA NeMo 框架和 RAPIDS 库等,助力开发者将工作部署至云端和数据中心。
AI 开发与研究 :为 AI 开发者和研究人员提供了一个高性能的计算平台,能够加速 AI 模型的训练、微调和测试过程,缩短开发周期,提高研发效率。
企业级应用 :适用于企业级的 AI 应用场景,如数据分析、预测建模、智能客服等,可以帮助企业快速构建和部署 AI 解决方案,提升业务竞争力。
教育领域 :在教育领域,可用于教学智能化、个性化评估等场景,为教育工作者和学生提供更高效的教学和学习工具。
市场认知度相比来说较低 :相比一些传统的训练推理一体机品牌,Project Digits 的市场认知度和品牌影响力还有待提升,可能会影响其在市场上的推广和应用。
ECO的完善程度 :虽然 Project Digits 搭载了丰富的 AI 开发工具和预训练模型,但其生态系统的完善程度可能不如一些成熟的训练推理一体机平台,例如在特定行业应用的解决方案和工具支持方面可能相对较少。
应用场景的局限性 :Project Digits 主要是针对 AI 开发和研究场景设计,对于一些非 AI 领域的应用场景可能不太适用,而一些训练推理一体机则具有更广泛的应用场景和通用性。
竞争对手 :训练推理一体机市场上存在众多竞争对手,如谷歌、微软、亚马逊等科技巨头,以及联想、新华三等硬件厂商,这一些企业都拥有强大的技术实力和市场占有率,Project Digits 需要在激烈的市场之间的竞争中脱颖而出。
市场趋势 :随着 AI 技术的持续不断的发展和应用场景的拓展,训练推理一体机市场呈现出迅速增加的趋势,但同时也面临着技术更新换代快、客户的真实需求多样化等挑战,Project Digits 要一直跟进市场趋势,提升产品性能和功能,以使用户得到满足的需求。
综上所述,英伟达的 Project Digits 凭借其强大的性能、成本效益和便捷的软件环境,在训练推理一体机市场上具有一定的竞争优势,但同时也面临着市场认知度、生态系统和应用场景等方面的挑战。未来,随技术的慢慢的提升和市场的一直在变化,Project Digits 有望成为训练推理一体机市场的重要参与者之一。
淳中科技成为Project Digits重要经销商在国内训练及推理一体机市场的开拓策略与前景研究
在数字化与智能化快速的提升的当下,人工智能(AI)技术成为推动各行业变革与进步的核心力量。训练及推理一体机作为 AI 技术实现的关键硬件设备,在科研、企业数字化转型、智能安防等众多领域展现出不可或缺的价值,其市场需求呈现出迅猛增长的态势。依据市场研究机构的数据,过去几年全球训练及推理一体机市场规模以每年超过 20% 的速度增长,预计在未来几年仍将保持强劲的增长势头。
淳中科技作为行业内的有名的公司,在专业视音频显控领域拥有深厚的技术积累和丰富的市场经验。公司长期服务于政府、军队、公安、交通、金融、能源、大规模的公司等社会各类客户,构建了庞大且稳定的客户网络。这些客户在数字化转型和智能化升级过程中,对训练及推理一体机存在潜在的强烈需求,为淳中科技开拓新市场提供了得天独厚的客户资源基础。
与此同时,淳中科技与全球图形技术和AI计算领域的领导者英伟达建立了紧密的合作伙伴关系。英伟达在 AI 芯片及有关技术方面的卓越成就,使其成为训练及推理一体机核心组件的主要供应商。而这次英伟达最新推出的Project Digits将有望成为淳中科技与英伟达的合作又一个最新旗舰项目,将使淳中科技不仅仅可以获取先进的技术上的支持和优质的硬件资源,更能够借助英伟达的品牌影响力和市场渠道,加速自身在训练及推理一体机市场的布局与发展。
副局长回应“货车躲追查侧翻执法者未救司机”:深表歉意,两名涉事人员调离,车主涉及嫌疑违反法律加装“飞机轮”
极目新闻记者 舒隆焕近日,辽宁沈阳康平县交通运输局两名执法人员追查司机安某某驾驶的半挂车,半挂车侧翻后,后方执法车掉头驶离现场,执法人员未下车施救,引发关注。5月24日,康平县交通运输局就执法人员掉头驶离现场,未下车施救,向安某某及其家属致歉。
近日海军山东舰进行飞行保障全流程演练而作为我国首艘弹射型航空母舰福建舰正在加紧进行海试贴近实战!山东舰最新演练现场近日,海军山东舰在海南三亚某军港,进行飞行保障全流程演练,紧贴战训任务磨砺官兵实战本领。
5月24日,全红婵退赛后现身跳水冠军赛现场,头戴绿色卡通发卡,略显疲态,全妹早点康复,下一个赛场见。
没有全红婵参赛,上座率惨不忍睹啊,看到了吗?婵宝就是实力,就是民心,就是正义!!!!#跳水#全红婵
深圳一户人家做饭总闻到臭气、墙面渗水发霉,发现原来是楼上厨房改厕所,法院判决
邻里共住一栋楼,本该岁月静好,却因装修 “变了味”,每日下厨抬头就是楼上排污管。多次协商后,对方仍旧不愿整改,怎么办?深圳市中级人民法院日前公布了这个案例。杨某与李某是楼上楼下的邻居。
5月22日,美国国土安全部宣布,撤销哈佛大学招收国际学生资格,约四分之一的国际学生面临转学困境,这中间还包括大量中国留学生。
教育局分管副局长、校长等被停职检查,分管副校长被免职!余姚市联合调查组通报“学校食堂绞肉机发现活蛆”
央视新闻消息,5月23日,有网友反映浙江宁波余姚市姚北实验学校食堂的绞肉机中有大量蠕动的活蛆。
联系人:王经理
手机:131561872638
邮箱:2853760590@qq.com
地址: 济南市历城区荷花路街道宁华路288号