WebLLM

WebLLM：利用WebGPU在浏览器运行语言模型的开源推理引擎，可用于开发本地聊天应用。

利用WebGPU在浏览器运行语言模型的开源推理引擎，可用于开发本地聊天应用。 官方示例体验；主要供开发者集成。

主要用途

• 在浏览器内运行支持的语言模型
• 提供类似OpenAI的调用接口供网页接入
• 支持模型加载进度、缓存和Web Worker等应用方式

适合谁

希望尝试浏览器本地AI，或开发无需云端推理接口的网页应用的开发者。

从哪里开始

先打开官方示例检查设备兼容性，选择较小模型并等待下载；从短文本测试开始，观察首轮加载、内存和响应速度。

费用与使用限制

Apache-2.0开源引擎；本地推理无需云端按次模型API，但模型分发、缓存和设备资源仍有成本。

需要兼容WebGPU的浏览器与设备，首次模型下载可能较大。手机、低内存或较旧显卡不一定可用；模型许可与引擎许可分开，也不能保证回答准确。

本站根据官方项目资料整理，未完成账户内功能或设备效果实测。

官方资料

官方入口 · GitHub项目与安装说明 · 按需求找其他工具

资料核验日期：2026-10-13。