英伟达、韩国电信运营商SK电讯和韩国AI芯片初创公司Rebellions于11月9日(周一)签署三方谅解备忘录(MOU),合作建设把英伟达图形处理器(GPU)与Rebellions神经网络处理器(NPU)连在一起的「异构」AI计算系统。签约在英伟达于首尔江南区COEX举办的「英伟达AI日·首尔」活动期间进行,韩国科学技术信息通信部(科技部)对外公布了这一消息。

根据合作内容,Rebellions将采用英伟达的NVLink Fusion技术,把正在研发的下一代NPU「Rebel R200」连接到英伟达平台,并采用英伟达的MGX服务器机架标准设计,开发机架级的GPU与NPU一体化系统。NVLink Fusion原本是英伟达GPU之间高速互传数据的连接技术,扩展后可让其他公司设计的AI芯片也接入英伟达的机架级架构。

三方计划采用「分离式推理」:AI回答问题分为两步,先分析用户输入的「预填充」(prefill)阶段计算量大,由英伟达GPU负责;再逐字生成答案的「解码」(decode)阶段更看重从内存快速调取数据,由Rebellions的NPU负责,目标是提高处理速度和能效。SK电讯将把这套系统部署到自家AI数据中心,验证性能和稳定性,评估实际服务和商用的可能,并接入自有大模型以及韩国面向全民的「全民AI」等公共服务。

韩国副总理兼科技部长官裴庆勋表示,这次合作让韩国自研的NPU得以通过NVLink Fusion,与全球AI计算龙头英伟达一同进入计算基础设施市场。科技部称,接入英伟达平台可帮助韩国芯片企业走出单打独斗的产品开发,到全球市场验证技术,政府将支持合作从Rebellions扩展到其他本土NPU开发商;科技部同时也在推动与AMD建立类似合作。

同日,科技部与英伟达还举办AI初创企业合作论坛,22家涉及半导体、AI模型、机器人、视频分析和计算基础设施的韩国企业参加,包括Upstage、Twelve Labs、FuriosaAI、DeepX和Rebellions。英伟达另表示,将通过韩国的「全民AI」计划,与三个入选联合体及四家韩国头部基础模型开发商合作,用英伟达Dynamo软件优化和扩展AI推理。

下南洋预测市场:https://tonanyang.cc/webapp/