搜索
LLM的下一个推理单位，何必是Token？刚刚，字节Seed团队发布最新研究——DLCM（Dynamic Large Concept Models）将大模型的推理单位从token（词） 动态且自适应地推到了concept（概念）层级。
VLA 模型正被越来越多地应用于端到端自动驾驶系统中。然而，VLA 模型中冗长的视觉 token 极大地增加了计算成本。但现有的视觉 token 剪枝方法都不是专为自动驾驶设计的，在自动驾驶场景中都具有局限性。
2025年的最后一天， MIT CSAIL提交了一份具有分量的工作。当整个业界都在疯狂卷模型上下文窗口（Context Window），试图将窗口拉长到100万甚至1000万token时，这篇论文却冷静地指出了一个被忽视的真相：这就好比试图通过背诵整本百科全书来回答一个复杂问题，既昂贵又低效。
随着大模型的发展，编程不再是一场苦修，而是一场大型即时策略游戏。在这个游戏里，很多人学会了与 AI 并肩作战，学会了用一种更纯粹、更直抵本质的方式去构建自己想要的世界。
最近在研究 RAG 系统优化的时候，发现了一个有意思的格式叫 TOON。全称是 Token-Oriented Object Notation，翻译过来就是面向 Token 的对象表示法。
近日，来自伊利诺伊大学芝加哥分校、纽约大学、与蒙纳士大学的联合团队提出QuCo-RAG，首次跳出「从模型自己内部信号来评估不确定性」的思维定式，转而用预训练语料的客观统计来量化不确定性，
，时长 00:20 视频 1：单样例推理速度对比：SGLang 部署的 Qwen3-8B (NVIDIA) vs. LoPA-Dist 部署 (NVIDIA & Ascend)（注：NVIDIA 平台
在大语言模型（LLM）落地应用中，推理速度始终是制约效率的核心瓶颈。传统自回归（AR）解码虽能保证生成质量，却需逐 token 串行计算，速度极为缓慢；扩散型 LLM（dLLMs）虽支持并行解码，却面
Metronome成立于2019年的旧金山，专注于为AI与软件公司提供实时计费基础设施，解决从传统按Seat收费转向按用量、Token等复杂定价的工程难题。目前其融资总额达1.28亿美元，已服务OpenAI、NVIDIA、Databricks等头部企业，终端用户超1.5亿，成为AI时代“按价值收费”的关键基础设施。
英伟达在开源模型上玩的很激进： “最高效的开放模型家族”Nemotron 3，混合Mamba-Transformer MoE架构、NVFP4低精度训练全用上。而且开放得很彻底：