智能涌现丨AI推理95%的钱花在算力上芯片企业大力降成本

十大品牌 2025年08月02日 23:10 0 aa

央广网北京7月29日消息（记者吕红桥）据中央广播电视总台经济之声《天下财经》报道，AI应用离不开算力支持，算力需求增长带动芯片更新迭代。在2025世界人工智能大会上，一批最新的推理芯片集中亮相，性能更优，成本更低。系列报道《智能涌现》本期推出：AI推理95%的钱花在算力上，芯片企业大力降成本。

用户使用AI，主要用到的是推理算力。当前AI应用百花齐放，算力成本高不高？在2025世界人工智能大会“芯节点·新突破——协同创新聚力加速智算破局”论坛上，中国工程院院士、清华大学计算机系教授郑纬民测算了AI算力成本构成情况。他表示，目前大模型的推理算力成本还是很高。

郑纬民说：“不管是推理也好，训练也好，算力成本还是很贵。推理成本里头，人力占3%，数据占2%，算力占95%，钱主要是花在算力上面了。ChatGPT的推理开销是每天70万美元。DeepSeek V3推理开销大概每天8.7万美元。”

尽管价格高，推理算力的需求仍然巨大，并且在高速增长。工信部数据显示，截至今年3月底，我国在用算力标准机架已达到1043万架，智能算力规模达到748EFLOPS，其中不少可以用于推理。去年底，甘肃庆阳建成了国内首个万卡推理集群，为“东数西算”枢纽节点提供强劲支撑。燧原科技创始人、董事长、CEO赵立东预测，未来推理算力的需求将是训练算力的百倍甚至千倍。

赵立东说：“当前，训练规模越来越大，但玩家越来越少。与此同时，高性能推理正在成为主流，OpenAI、DeepSeek都需要更大规模、更高性能的推理算力支撑。DeepSeek等模型的开源以及后续产品迭代，都驱动着AI应用的爆发式增长。未来对推理算力的需求将是训练算力的百倍甚至千倍。”

推理算力需求增长带动推理芯片更新迭代。在2025世界人工智能大会现场，不少芯片企业展示了最新技术。比如，燧原科技发布了新一代训推一体AI芯片“燧原L600”。燧原科技创始人兼COO张亚林说，用全新一代训推一体产品组成的万卡集群具备高密度、高效率、高稳定和高集成的特点。

张亚林说：“万卡集群成本结构的优化是非常关键的，因为万卡集群动辄10亿元以上的成本，所以要从功耗、部署效率、运维效率、基础设施的落地等各个方面，提供更优的集群成本。”

郑纬民认为，要发展好推理算力，就要从算子优化、模型量化、异构调度、并行优化等四个关键方面发力，进一步降低算力成本。

郑纬民说：“什么叫模型量化？是把模型中的浮点参数转换为低比特整数，比如原来是32位、16位浮点，我们想办法把它弄成8位整数。原来是16位，现在把它变成8位，这样存储器就减少了一半，到算的时候就算得快了。但前提是精度还得有保证，这件事情做起来也挺费劲，但是大家都得做这件事。”