# 重磅开源！1-bit Bonsai 8B模型发布：内存暴降14倍，性能媲美全精度
**核心要点速览**
* **模型发布**：加州理工学院背景的AI实验室PrismML开源真1-bit大语言模型系列。
* **极致压缩**：旗舰8B参数模型内存占用仅1.15GB，较同规模16-bit模型压缩约**14倍**。
* **性能相当**：官方称其在推理与语言理解能力上与16-bit全精度模型相当。
* **实测惊艳**：在消费级硬件上实现高速推理，iPhone亦可本地运行。
—
## 技术突破：从数学理论到开源模型
据 [1M AI News](https://t.me/OneMillion_AI) 监测，由加州理工学院数学家 **Babak Hassibi** 联合创立的AI实验室 **PrismML** 已结束隐身期，正式开源其**1-bit Bonsai系列大语言模型**。
此次开源的旗舰模型 **1-bit Bonsai 8B** 拥有82亿参数，但内存占用被压缩至惊人的 **1.15 GB**。相比之下，同参数规模的常规16-bit模型内存占用约为16 GB，**压缩比达到约14倍**。同时发布的还有更轻量的 **4B（0.5 GB）** 和 **1.7B（0.24 GB）** 版本。所有模型权重均已基于 **Apache 2.0 许可证** 在 HuggingFace 平台开放下载。
### 何为“真1-bit”？
Bonsai 8B 是一个端到端的真1-bit模型。这意味着其**嵌入层、注意力层、MLP层和输出头**的全部权重，都仅用 **+1 或 -1** 两个值表示，**没有使用任何高精度权重作为补丁**。PrismML宣称，该模型在标准基准测试中展现出的推理和语言理解能力，与16-bit全精度模型相当。
这项核心压缩技术的数学基础，由Babak Hassibi团队在**加州理工学院历时数年研发完成**，相关知识产权归加州理工所有，PrismML是其**唯一独占授权方**。模型训练使用了**谷歌的v4 TPU**。
—
## 实测表现：消费级硬件上的“飞行”体验
极致的压缩带来了革命性的部署优势。以下是在不同设备上的实测推理速度（Token/s）：
* **M4 Pro Mac**：**136 tok/s**
* **RTX 4090**：**440 tok/s**
* **iPhone 17 Pro Max**：**约 44 tok/s**
作为对比，标准的16-bit 8B模型**根本无法装入任何iPhone**运行。此外，1-bit模型的**能耗较16-bit模型降低了约4-5倍**。
PrismML特别指出，**现有硬件并非为1-bit推理专门设计**。当前的速度与能效优势，主要来源于内存占用大幅缩小所带来的数据搬运开销降低。他们展望，如果未来出现专为1-bit计算设计的硬件（仅需加减法，无需乘法器），其效率**还有望再提升一个数量级**。
—
## 行业反响：不仅是迭代，更是突破
PrismML 目前已完成了总额 **1625万美元** 的 SAFE 及种子轮融资，投资方包括 **Khosla Ventures、Cerberus Capital 以及加州理工学院本身**。
对此项技术，Khosla Ventures 创始人 **Vinod Khosla** 给予了极高评价，他表示：“这**不是一次小的迭代，而是一个重大的技术突破，是数学上的突破。它不只是又一个‘小模型’**。”
**模型下载与了解更多**：
* **HuggingFace 模型主页**：[点击访问](https://huggingface.co/prismml)（请在发布时替换为实际链接）
* **PrismML 官方**：[官网链接](https://prismml.ai)（请在发布时替换为实际链接）
*本文信息监测自 1M AI News。*
原创文章，作者：admin，如若转载，请注明出处：https://www.23btc.com/165558/
