业界全力普及 Token 速率、责怪资本，相沿千行百业最初智能体畛域落地临界点。

文｜游勇

编｜周路平

不久前的 2025 东说念主工智能谋划大会上，海浪信息公布了一份业内堤防的收获单：基于元脑 SD200 超节点 AI 劳动器，DeepSeek R1 大模子 Token 生成速率仅需 8.9 毫秒，创造国内大模子最快 Token 生成速率；而最新发布的元脑 HC1000 超膨大 AI 劳动器，罢了每百万 Token 资本初度击破 1 元大关。

海浪信息在鼓舞 AI 推理负责干与" 10 毫秒、1 块钱"的期间，而背后是底层算力在叮嘱智能体大畛域应用时濒临的两大挑战：一方面，多智能体之间的交互，对反馈速率愈加严苛；另一方面，智能体带来 Token 破钞量的指数级增长，若何责怪 Token 生成的资本，成了智能体大畛域应用以及将来能否罢了生意闭环必须要攻克的一环。

在业内看来，Token 速率的普及和资本的大幅责怪有望鼓舞千行百业加快应用智能体。

速率与资本，已成智能体期间头号敌东说念主

本岁首，DeepSeek 在推理模子上的发达以及 Manus 令东说念主目下一亮的践诺，快速鼓舞大模子从教育干与以智能体技能为代表的推理期间。能够罢了自主谋划引申旅途、生动调用器具的智能体，无论是在 C 端应用，照旧在 B 端市集，齐爆发出强大的应用后劲。本年也被觉得是 Agent 元年。

德勤量度，到 2025 年，将有 25% 的企业部署生成式 AI 运转的智能代理；到 2027 年，这一比例将升至 50%。

2025 年 8 月，国务院也出台了《对于深入实施"东说念主工智能 + "步履的见识》，明确提议到 2027 年，新一代智能末端、智能体等应用普及率超 70%。

而中国东说念主工智能企业的数目仍是卓绝 5000 家，平均约 11 个小时就有一家东说念主工智能企业降生。智能体落地方兴未艾，各样智能体产物和智能体竖立平台层见错出。无论是汽车、金融、集结安全、电商以及协同办公等行业齐在探索智能体的应用场景。而在编程、客服、营销、办公助手、生意智能、学问助手等通用场景仍是看到了收效。在不久前的 WAIC 上，各厂商的重点果真齐放在了智能体的落地上。

"智能体仍是干与到大畛域生意部署的阶段。"海浪信息首席 AI 政策官刘军说，国内几个头部的 AI 产物，调用量仍是相等大，Token 增长的比例齐是每月几倍的增长，而国内本年比昨年的 Token 调用量可能会飞腾 50 倍。 2025 年 5 月底，火山引擎表现，豆包大模子日均 tokens 使用量卓绝 16.4 万亿。腾讯在本年 9 月暗示，目前用户每天向元宝的发问量仍是达到年月吉个月的总数。

但行业猛火烹油的背后，大模子应用落地从教育走向推理，这也给行业带来速率与资本的双重教育。

百度智能云 CEO 沈抖曾提到，因为在大模子推理上，推理的使命负载会跟着流量畛域、输入输出长度的变化而变化。为了保合手高否认、低时延，不时需要多个节点之间协同完成谋划与通讯。要是通讯和谋划的养息不够高效，就会变成算力空转、恭候时分增多，推感性能下跌，"这个时候，单靠堆卡是不够的，需要作念系统性的优化。"

"智能体干与大畛域生意化应用时，反馈速率成了企业的中枢竞争力之一。"刘军说，"对于 Agent 速率的痛点，宇宙在产业内部感知到了，然而一直莫得很明确地去把这个问题放到这样紧迫的位置上。"

过往所以 Chat 为中枢的东说念主机交互，对延伸没那么惨酷，只需要跟上东说念主的阅读速率就基本能得志需求。但智能体期间，东说念主机交互进化成智能体与智能体之间的交互，而智能体吸收信息的速率果真莫得上限，智能体之间的交互对于延伸的痛感越来越热烈。比如金融行业的诈骗检测需要作念到 10 毫秒摆布、具身智能的谋划决议需要作念到 50 毫秒。

而且，跟着单一智能体走向多智能体，每一个时事的延伸齐会累加，最终让延伸变得不能接受。"要是延伸不作念到弥散低的话，莫得生意的可能性。"刘军说。

除了推理模子的反馈速率，答应的需乞降 Token 的指数级增长也给全行业带来另一个幸福的烦懑：底层的算力基础设施能否把推理资本作念得弥散低。

"咱们看到了 Token 资本带给总共这个词产业的强大压力。"刘军说，"客户最和顺的问题转为了资本是不是弥散低，是不是能够罢了一个超大畛域的膨大，使得我的基础设施能够相沿大畛域应用劳动的材干。"

面前，企业部署一个智能体平均每月的 Token 资本或者是 1000 到 5000 好意思元。以 OpenAI 的 GPT-5 为例，其在处理复杂任务时，输入 Token 资本为每百万 1.25 好意思元，输出 Token 为每百万 10 好意思元。

尽管行业的 Token 资本每半年就出现较大幅度的下跌，但跟着大畛域应用，若何责怪资本依然是行业所和顺的话题。尤其是超大畛域的生意用户，对资本的感知会愈加深切。

"省资本是用户体验相等紧迫的一个主义。"百度集团副总裁侯振宇说，百度智能云针对推理劳动，重新假想了养息器、加快引擎与 KVCache 系统，在万卡集群畛域上罢了了否认大幅普及与首 Token 延伸显赫下跌。

国庆假期前，DeepSeek 特殊发布了新款推理模子，引入全新的寥落细心力机制，罢了了推理资本大幅责怪，竖立者调用 API 的价钱责怪 50% 以上。

火山引擎亦然国内在 AI 推理上降价最为凶猛的云厂商之一。火山引擎总裁谭待曾暗示，单个 Agent 任务的 Token 破钞量可达传统聊天场景的数十倍，资本成为畛域化应用的制肘，"曩昔东说念主与模子聊一小时耗 20 万 Token，如今 Agent 处理一个复杂任务就要 20 万 Token，降价是普及的前提。"

春江水暖鸭先知。当这些模子厂商、AI 云厂商抒发出对速率和资本的热烈痛点时，手脚国内算力龙头，海浪信息所处的生态位，也让其更早地捕捉到行业演进的趋势，"有时一般畛域的企业当下对资本的感知不彊，但资本一定是在超大畛域的生意用户起始感知到这样一个永逝。"刘军说，海浪信息正在基于底层谋划架构的翻新优化，探索了一条更契合行业发展的降本提效旅途。

海浪信息若何作念到" 10 毫秒、1 块钱"？

手脚海浪信息在推理场景的主打产物，HC1000 和 SD200 背后有着明确的客群。HC1000 会更相宜大畛域的互联网客户，他们对截止资本有着更强的感知和需求。SD200 则是得志在行业应用时对延伸条目敏锐的客户，强调东说念主工智能 + 产业落地，比如金融行业、具身智能等。

"咱们不会为了技能而去作念技能，为了主义而去作念主义，更多是针对产业的中枢挑战来针对性地优化假想。"刘军说，海浪信息在不竭算力痛点时，一直坚合手的想路所以应用为导向，以系统为中枢。

海浪信息针对 Agent 的全链条作念了深入细密的量化分析，找到了每个时事可能会影响速率的成分，然后聚拢在中枢部分进行攻关。

比如海浪信息发现，智能体之间的交互，通讯数据包相对较小，超大带宽的用途不曲直凡大。刘军作念了个形象的比方，就像是从 a 地到 b 地修了 16 车说念的高速公路，然而车辆在 16 车说念上只跑了很短的距离，反而在上高速和下高速这两个节点花了很永劫分，"咱们重点就不竭了车辆上高速和下高速的速率问题，让车辆纵贯上去，纵贯下去"。

此外，海浪信息也对架构层面作念了翻新，比如元脑 SD200 摄取了翻新的多主机 3D Mesh 系统架构，将多个主机的 GPU 资源整合成一个融合的谋划域，况兼当中能够罢了跨主机域全局融合编址。况兼通过 Smart Fabric Manager，元脑 SD200 罢了了超节点 64 卡全局最优路由的自主创建，保险 AI 芯片间通讯旅途最短，进一步裁汰基础通讯延伸。

而影响 Token 生成资本的一个枢纽成分是目前推理的算效太低。刘军表现，大模子在推理经过中的算效比相等低，"可能比教育低以至一个数目级以上。"

其中，推理算效低的一大原因在于谋划负载不平衡。

业内目前的无数作念法是 PD 折柳，将预填充息争码两个阶段分开部署，罢了了谋划资源的更细粒度养息与诈骗，为普及否认、责怪延伸提供了结构基础。

除了业内常用的 PD 折柳，海浪信息在背后作念了更多的折柳技能来普及算效。比如在 Decode（解码）阶段，把细心力谋划和 FFN 谋划辩认，在 FFN 部分又把不同的群众辩认。通过这些充分的拆解息争耦，让每一块 GPU 的谋划后果弥散高，最终带来了算效的倍数普及。

海浪信息最新发布的元脑 HC1000 超膨大 AI 劳动器就摄取了全对称的 DirectCom 极速架构，不错智能养息每个时事的算力需求，不让谋划资源闲置或恭候，让它时刻处于谋划和通讯景况，总共这个词集结的诈骗率接近 98%，"把谋划诈骗率调提高快要 7 倍"。

而在硬件层面，元脑 HC1000 翻新了 16 卡谋划模组假想、单卡"谋划 - 显存 - 互连"平衡假想，大幅责怪单卡资本和每卡系统分担资本。同期，全对称的系统拓扑假想支合手超大畛域无损膨大。据测算，元脑 HC1000 的推感性能比较传统 RoCE 普及 1.75 倍，单卡模子算力诈骗率最高普及 5.7 倍。

而且，当推理经过被尽可能地解耦之后，系统对单芯片的性能依赖也大幅减小。过往，业内主流 AI 芯片的解题想路是在连接普及单芯片的性能，十分于一个六边形战士。但如今解耦之后，每个阶段对芯片的需求出现各异，用户不错无用不菲的高带宽内存，也能取得很高的算效。这种全局的不竭想路更相宜面前国内因为难以取得高端 GPU 卡而出现的算力瓶颈。

诚然，从产业发展的视角来看，百万 Token 输出资本一块钱是面前国内的最好水平，但远不是算力演进的非常，"将来 5 年咱们评估的数是跟着 Token 数目的增长，需要相对应的罢了单 Token 资本同等的数目级的下跌，才能保合手一种平衡。"刘军说。

结语：AI 谋划架构将走向专用

本体上，面前的 GPU 和 ASIC 芯片齐是通用谋划芯片，不是针对大模子去作念的极致优化，内部仍然有许多的冗余。"要跟上 Token 高速增长的范例，咱们就一定要去更肃穆营的架构。"

刘军觉得，当行业处于 AI 应用的起步和探索阶段，平台竖立生态的通用性会愈加紧迫，不错罢了与不同的竖立生态和软件生态耦合。但要是干与到大畛域生意部署阶段，这种状貌很快会碰到瓶颈，普惠 AI 将变得牛年马月。

"只须形成了一定的产业畛域，最终会向极致的定制化和专科化的假想改变。"刘军说，"这是一个专用与通用对立融合、瓜代发展的经过。要是说 AI 的上半场是教育，那么下半场将是推理。大模子具有一次教育、无尽次推理的秉性，而模子权重在推理时是固定的，摄取算法硬件化的专用谋划架构将更相宜推理场景，这应当是将来的发展标的。"

刘军提到了一个例子，D. E. Shaw 征询所是搞量化的始祖，这家机构为分子能源学打造了一台特殊假想、功能单一的专用超等谋划机 Anton，通过算法翻新和软硬件协同，最终使得其在分子能源学模拟中取得了比通用谋划机高出百倍的谋划能效。

这给 AI 谋划架构也提供了模仿。当大模子干与到一个畛域海量、应用相等聚拢的阶段时，"通用就一定不合算"，海浪信息觉得，摄取算法硬件化的专用谋划架构更相宜推理场景，探索竖立专用大模子芯片，罢了软硬件深度优化，针对大模子的核默算法算子去作念极致优化，"只须这样性能膨大定律才能跟得上 Token 增长的海量需求"。

© 本文为数智前哨（szqx1991）原创内容

进群、转载或商务合营关系后台

著作精选开云kaiyun