FreeToken开源：一张5090跑DeepSeek-V4-Flash，最高25 Token/s

AI 摘要

伯克利、MIT等研究者开源FreeToken，一款面向本地设备的MoE推理引擎，通过将部分权重置于系统内存并协同CPU/GPU推理，解决超大模型显存不足问题。实测RTX 5090可运行284B参数的DeepSeek-V4-Flash达22-25 Token/s，8GB显存RTX 4060上运行35B模型达39.3 Token/s，单张RTX PRO 6000可跑753B GLM-5.2且速度约为llama.cpp两倍。项目已采用Apache 2.0许可，支持20余款MoE模型。