仅用 10 比特,就能从 Haiku 跨越到 Opus:LLM 实现大幅压缩

MATS 学员:

Roy Rinberg

作者:

Roy Rinberg, Annabelle Michael Carrell, Simon Henniger, Nicholas Carlini, Keri Warr

引用次数

0 Citations

摘要:

我们研究了 LLM 生成文本在无损和有损情形下的压缩,并刻画出压缩—算力前沿:投入更多算力,可以实现更高压缩率。对于无损压缩,针对领域调整的 LoRA 适配器可以让基于 LLM 的算术编码效率比仅使用基础 LLM 提高两倍。对于有损压缩,先提示模型简洁改写文本,再进行算术编码,压缩率约可达到 0.03,比直接压缩原始回答提高两倍。我们还提出一种名为“提问式压缩”(QA)的互动有损协议,灵感来自“二十个问题”游戏。小模型反复向强模型提出是非题,逐步完善自己的回答;每个答案恰好传递 1 比特信息。在涵盖数学、科学和代码的八个基准上,提出 10 个二选一问题,就能弥补小模型与大模型在标准基准上 23% 至 72% 的能力差距,在更难的基准上弥补 7% 至 38%,压缩率达到 0.0006 至 0.004。其数据量比以往基于 LLM 的压缩方法小 100 多倍(Del´etang 等,2024),表明互动协议传递知识的效率远高于发送完整回答。

近期研究

非大国冲突与 AI 风险

作者:

Kristina Kempkey

日期:

August 26, 2026

引用次数:

合成角色预训练:从第一个 token 开始对齐

作者:

Julian Minder

日期:

August 13, 2026

引用次数:

常见问题

什么是 MATS 项目?
项目持续多久?