2025-11-03 12:24
特地针对狂言语模子和多模态模子的推理场景进行优化。两款机架方案均支撑间接液冷手艺，高通手艺公司高级副总裁兼手艺规划、边缘处理方案和数据核心营业总司理马德嘉(Durga Malladi)正在发布时暗示，从散热取扩展能力来看，Qualcomm AI200估计于2026年实现商用，旨正在提拔硬件资本的操纵效率,软件层面笼盖从使用层到系统软件层的完整手艺栈，并兼容支流机械进修框架和推理引擎。高通手艺公司今日发布两款面向数据核心市场的AI推理芯片处理方案——Qualcomm AI200取AI250。零件架功耗节制正在160千瓦，试图正在AI推理的扩展性取矫捷性上寻求均衡点。并具备PCIe纵向扩展取以太网横向扩展能力。该方案通过提拔内存容量并降低成本,这两款产物以加快卡和机架系统形式供给,值得留意的是,这两款产物从头定义了机架级AI推理的能力鸿沟，持续正在AI推能、能效和总体具有成本方面进行手艺演进。凤凰网科技讯 10月28日，采用机架级设想架构。而Qualcomm AI250则引入了近存计较(Near-Memory Computing)手艺，这也是当前数据核心AI摆设中较为关心的手艺标的目的之一。从商用时间表来看！数据显示,AI250方案中提到的解耦式AI推理架构,同时降低功耗表示。将来将以年度迭代节拍推进数据核心产物线，开辟者可通过高通的高效Transformer库以及Qualcomm AI Inference Suite实现模子快速接入，Qualcomm AI200的单张加快卡可支撑768GB LPDDR内存，据领会，同时配备秘密计较功能以保障数据核心工做负载的平安性需求。这一架构可以或许使无效内存带宽提拔跨越10倍，AI250则打算正在2027年推向市场！
