三值量化让大模型轻松上手机端

admin5天前39
中国团队突破大模型部署瓶颈,采用三值量化技术将模型压缩至原体积1/6,性能保留97%以上,实现600亿参数大模型在8GB内存手机上运行。了解大模型瘦身革命及三值量化的极致压缩原理。...

端侧音乐大模型突破“不可能三角”

admin3周前 (05-13)55
联发科与阶跃星辰携手发布天玑AI开发套件3.0,实现ACE-Step音乐大模型在端侧平台的可视化部署,显著提升移植效率、降低功耗,推动AI大模型商业化落地。...