
东说念主工智能平台Clarifai(Clarifai)于周四文书推出一款新式推理引擎。该公司称,这款引擎能让东说念主工智能模子的动手速率擢升一倍,同期资本缩小 40%。该系统想象上可适配多种模子及云主机,通过一系列优化技巧,在调换硬件条目下开释更强的推理能力。
“咱们给与了多种不同类型的优化本领,从底层的 CUDA 内核优化,到先进的投契性解码本领,方方面面齐有阴私,” Clarifai首席实施官马修・蔡勒(Matthew Zeiler)暗示,“骨子上,等于能让同款显卡发扬更大性能。”
第三方公司 Artificial Analysis 通过一系列基准测涵养证了上述恶果,测试数据表示,该推理引擎在朦拢量和延长两样式的上均创下行业最好记载。
该推理引擎的优化重点聚焦于 “推理阶段”—— 即动手已完成涵养的东说念主工智能模子时所需的有计划经由。跟着智能体模子(agentic model)和推理模子的兴起,这一阶段的有计划负载变得尤为长途:这类模子仅反应一个领导就需实施多步运算。
Clarifai最先以有计划机视觉处事起家,跟着东说念主工智能飞扬大幅推高对图形贬责器(GPU)及承载 GPU 的数据中心的需求,该公司冉冉将要点转向有计划编排限制。昨年 12 月,Clarifai在亚马逊云科技(AWS)re:Invent 大会上初次公布了其有计划平台,而这次推出的新推理引擎,是该公司首款成心针对多要领智能体模子打造的居品。
这款居品推出之际,东说念主工智能基础要领限制正濒临弘远压力,这一压力也催生了一系列价值数十亿好意思元的交游。举例,OpenAI 已制定狡计,拟插足高达 1 万亿好意思元用于新建数据中心,其量度将来对有计划资源的需求险些是无穷的。不外,尽管面前硬件设置力度弘远,Clarifai首席实施官仍合计,在优化现存基础要领方面,还有更多责任可作念。
“像Clarifai推理引擎这么的软件本领,不错让优秀模子的性能更进一步,” 蔡勒暗示,“此外,算法改良也有助于缓解对千兆瓦级数据中心的需求。况兼我合计,算法立异尚未达到至极。”
 海量资讯、精确解读,尽在新浪财经APP
                海量资讯、精确解读,尽在新浪财经APP
            
            
            
			
			
包袱裁剪:郭明煜 九游会j9体育(中国)官方网站
