谷歌推出一种可能裁汰东说念主工智能系统内存需求的压缩算法 TurboQuant。TurboQuant 压缩工夫旨在裁汰大言语模子和向量搜索引擎的内存占用。该算法主要针对 AI 系统顶用于存储高频探望信息的键值缓存（key-value cache）瓶颈问题。跟着高下文窗口变大kaiyun体育，这些缓存正成为主要的内存瓶颈。TurboQuant 可在无需再行查验或微调模子的情况下，澳门赌城kaiyun体育将键值缓存压缩至 3bit 精度，同期基本保执模子准确率不受影响。对包括 Gemma 等开源模子的测试流露，该工夫可竣事约 6 倍的键值缓存内存压缩成果。（财联社）

ag最新app下载官方网站

• 谷歌
• 开云体育
• 推出
• 算法
• 压缩