AI推理，行业下一个焦点

隔夜OpenAI终于正式发布了传说中的“草莓”模型——o1。

据OpenAI公布测试的数据显示，o1在美国数学奥林匹克预选赛中，排名美国前500名学生之列，并且在物理、生物学、化学基准上，首次超过了人类博士。o1也超过GPT-4o成现役最强的超复杂推理大模型。

据悉，拟人化的推理模式是o1的主打功能之一，与传统模型不同，它在回答问题之前会进行深入的思考，生成一个较长的内部思维链。这种思维链的产生使得o1能够更好地理解问题的本质，分析问题的各个方面，从而给出更准确和合理的答案。

自适应强化学习、纠错则是其第二大技术特点，o1通过大规模的强化学习算法进行训练，在训练过程中，模型学会了如何有效地利用其思维链来解决问题。

这种训练方法使得o1能够不断优化自己的策略，识别和纠正错误，学会将复杂的步骤分解为更简单的部分，并在当前方法不奏效时尝试不同的方法来解决。通过不断的学习和改进，o1的推理能力得到了极大的提升，也就是说o1具备了智能体的功能。

AI推理正在成为行业焦点

推理大模型的特点，就是AI会在回答之前花更多时间进行思考，就像人类思考解决问题的过程一样。以往的大模型，背后的逻辑是通过学习大量数据集中的模式，来预测单词生成的序列。

在训练阶段，公司往往会给模型“喂”海量数据进行大规模神经网络的训练。由于高计算密度、低能耗、内存带宽大等要求，目前大多数AI模型的训练均依赖于英伟达的GPU；而在推理阶段，AI模型在训练的基础上，利用神经网络模型进行推理预测，从而响应用户指令。这类芯片（LPU）对整体性能的要求没有GPU那么高，但推理引擎性能更强。

今年2月，英伟达首席财务官Colette Kress在上周表示，英伟达最大的营收来源数据中心部门中，去年有超过40%的业务是有关部署AI模型，而非训练——这一比例是AI芯片市场开始转向的重要迹象。

同样的，英伟达的另一强劲对手AMD执行副总裁Mark Papermaster也在3月的访谈中表示，AMD获得了大量对AI定制推理芯片的需求，这些需求覆盖了广泛的嵌入式应用场景。因此，随着这一趋势的发展，AMD将提供更多定制化计算产品来回应这一需求。

华福证券表示，当前推理算力市场已然兴起，24年AI推理需求成为焦点。

推理芯片、以太网、HBM等将受益

AI推理首先推动的就是推理芯片的需求；据西部证券推测，最终训练芯片与推理芯片数量之比或达到2：8。

其认为，随着生成式AI模型参数和Token数量不断增加，模型单次推理所需的算力持续攀升。同时，ChatGPT、Gemini、Kimi等聊天机器人的用户数逐步上升，MicrosoftCopilot、Adobe Firefly、WPS AI等办公助手持续落地，用户侧的流量不断上升，推理算力未来有望超过训练算力。

其次是以太网的渗透率将提升。中泰证券认为，随着AI应用拓展，推理侧算力需求占比提升，以太网此前长期积累的性价比和应用生态优势将驱动头部云厂商将其作为主干网络集成AI业务，叠加持续网络技术创新，市场份额有望提升，交换芯片、交换机、光模块等需求也将相应提升。

最后广发证券表示，HBM显存能提升推理性能。

根据广发证券推算结果显示，使用HBM显存会显著提升L40S的推理性能；使用192GB容量、8TB/s带宽HBM时，推理性能可达原L40S芯片的约13倍；同时其认为，大模型支持上下文长度的持续、快速提升是行业发展的明显趋势之一；一方面，超长上下文会使得推理过程KV Cache增大，从而对显存容量提出了更高的要求；另一方面，为实现一定的每秒输出Tokens数量以保障用户体验，超长上下文场景会对显存带宽带来更高的要求。因此，超长上下文的发展趋势也会带动对高带宽、大容量HBM显存方案的需求。