本文为《Token经济学》系列第九期。Token 正在重塑AI时代的价值坐标，当所有人都在用 Token 丈量 AI 的价值时，两篇几乎同时发表的论文提出了一个更根本的问题：语言生成的核心计算，是否必须发生在 Token ...

只要将注意力切块，就能让大模型解码提速20倍。 来自韩国科学技术研究院、LG和DeepMind的研究人员，提出了一种新的Transformer架构。 不仅获得了更快的推理速度，内存开销也大幅度下降。 研究人员详细分析了原始Transformer推理速度慢的原因—— 原始Transformer每 ...

RTP-LLM 是阿里巴巴大模型预测团队开发的高性能 LLM 推理加速引擎。它在阿里巴巴集团内广泛应用，支撑着淘宝、天猫、高德、饿了么等核心业务部门的大模型推理需求。在 RTP-LLM 上，我们实现了一个通用的投机采样框架，支持多种投机采样方法，能够帮助业务 ...

本文来自“《大模型推理PD分离技术全面：原理、优势、挑战与未来展望》”，随着大语言模型(LLM)在各行业的广泛应用，如何高效地进行模型推理成为关键挑战。PD分离(Prefill-Decode Disaggregation)技术作为近年来大模型推理领域的重要突破，通过将预填充(Prefill)和 ...

过去，管理者以工程师写了多少行代码或者提交了多少次代码修改作为考核标准，现在，Token与KPI直接挂钩，“Token最大化”（tokenmaxxing）已成硅谷衡量生产力的流行指标。 当地时间4月7日，独立数字媒体The decoder援引The Information报道称，Meta内部有一个名为 ...