MATS 学员:
Roy Rinberg
作者:
Roy Rinberg, Annabelle Michael Carrell, Simon Henniger, Nicholas Carlini, Keri Warr
引用次数
摘要:
我们研究了 LLM 生成文本在无损和有损情形下的压缩,并刻画出压缩—算力前沿:投入更多算力,可以实现更高压缩率。对于无损压缩,针对领域调整的 LoRA 适配器可以让基于 LLM 的算术编码效率比仅使用基础 LLM 提高两倍。对于有损压缩,先提示模型简洁改写文本,再进行算术编码,压缩率约可达到 0.03,比直接压缩原始回答提高两倍。我们还提出一种名为“提问式压缩”(QA)的互动有损协议,灵感来自“二十个问题”游戏。小模型反复向强模型提出是非题,逐步完善自己的回答;每个答案恰好传递 1 比特信息。在涵盖数学、科学和代码的八个基准上,提出 10 个二选一问题,就能弥补小模型与大模型在标准基准上 23% 至 72% 的能力差距,在更难的基准上弥补 7% 至 38%,压缩率达到 0.0006 至 0.004。其数据量比以往基于 LLM 的压缩方法小 100 多倍(Del´etang 等,2024),表明互动协议传递知识的效率远高于发送完整回答。
MATS 是一个独立的研究与教育项目,致力于连接新兴研究人员与 AI 对齐、治理和安全领域的导师。
每期 MATS 项目在加州伯克利进行,为期 12 周。部分学员可选择之后前往伦敦参加为期 6 至 12 个月的延伸项目。