本榜收录可自行下载、部署、二次开发的 AI 开源项目，覆盖本地推理、聊天前端、工作流编排、图像生成与向量检索五条主线。榜单优先选择 GitHub 活跃、许可证明确、文档齐全的项目，剔除已停止维护或商用授权含糊的仓库。
评分规则：社区活跃度 30 分、部署难度 25 分、许可证清晰度 20 分、文档与社区支持 15 分、硬件要求友好度 10 分。
| 排名 | 评分 | 资源与实测评价 |
|---|---|---|
| 1 | 97 | Ollama 一行命令在本地跑开源大模型，跨 macOS / Windows / Linux。 本地推理一键安装MIT
推荐理由：把"本地跑大模型"从工程活变成一条命令，模型生态更新最快，是本地 AI 的事实标准入口。 适合：想在本地白嫖大模型、不上传数据 限制：需一定内存与显卡，量化模型效果弱于云端旗舰。 |
| 2 | 94 | ComfyUI 节点式 Stable Diffusion 界面，工作流可导出复用。 工作流图像生成节点式
推荐理由："工作流即文件"的方式让出图流程可复现、可交易，是目前二次创作分发的标准。 适合：批量出图、风格化流程沉淀 限制：学习曲线陡，依赖与显卡要求偏高。 |
| 3 | 93 | Dify 开源 LLM 应用开发平台，可视化编排工作流与知识库。 LLM应用编排RAG开源
推荐理由：把 RAG、Agent、模型接入都做成可拖拽配置，自托管免费。 适合：快速搭知识库问答与内部 AI 应用 限制：功能面广，团队协作与权限治理需自行补齐。 |
| 4 | 91 | vLLM 高吞吐量大模型推理与服务框架，PagedAttention 降低显存浪费。 推理引擎高吞吐Apache-2.0
推荐理由：自建推理栈的默认选择，吞吐与并发表现业界领先。 适合：有 GPU 服务器的团队做自托管推理 限制：面向工程团队，个人部署偏重。 |
| 5 | 90 | LobeChat 现代化开源 AI 聊天前端，支持多模型、插件与知识库。 聊天前端多模型MIT
推荐理由：开箱即用的自托管聊天界面，UI 完成度与插件生态在开源项目里领先。 适合：自建对话前端、团队共享 AI 入口 限制：需要自备模型 API Key。 |
| 6 | 89 | Open WebUI 自托管 AI 交互界面，兼容 Ollama 与主流 API，内置文档问答。 自托管兼容OllamaRAG
推荐理由：本地部署 Ollama 之后最常用的"壳"，权限与用量管理更完整。 适合：完全离线的内网 AI 助手 限制：功能较重，低配机器需调优。 |
| 7 | 87 | Stable Diffusion WebUI (A1111) 最经典的 Stable Diffusion 图形界面，插件生态庞大。 图像生成插件生态经典
推荐理由：生态积累最久，几乎所有热门模型与 ControlNet 方案都有现成插件。 适合：需要精细可控的出图与后期修复 限制：界面老旧，依赖管理容易出冲突。 |
| 8 | 86 | Flowise 拖拽式 LLM 链编排工具，支持 Agent、RAG、多步调用。 低代码工作流拖拽
推荐理由：比 Dify 更轻的编排方案，本地拖拽即可跑通链路。 适合：快速验证一条 AI 链路是否走得通 限制：复杂流程的可维护性弱于代码化实现。 |
| 9 | 85 | llama.cpp 纯 C++ 实现的 LLM 推理引擎，CPU 也能跑量化模型。 推理引擎CPU可跑量化
推荐理由：最低门槛的本地推理方案，量化生态与社区调优方案最丰富。 适合：无显卡环境跑小参数量模型 限制：功能极简，能力上限受量化影响。 |
| 10 | 83 | Langfuse 开源 LLM 可观测与评测平台，记录调用链、成本与延迟。 可观测评测开源
推荐理由：让"调 prompt"从玄学变成有数据可比的工程过程。 适合：上线 AI 功能后做成本与质量监控 限制：需先有可观测诉求才值得部署。 |
| 11 | 82 | FastGPT 中文优化良好的开源知识库问答与工作流平台。 知识库RAG中文
推荐理由：中文语料切分与检索效果调过，落地中文客服/内部问答更省事。 适合：中文知识库问答落地 限制：模型侧仍需自备 API 或本地部署。 |
| 12 | 80 | InvokeAI 面向创作者的图像生成工作台，界面友好，支持画布式局部重绘。 图像生成易用画布
推荐理由：把 SD 的能力包装成更接近设计软件的交互。 适合：设计师做局部修图与合成 限制：插件生态不如 A1111。 |
| 13 | 79 | LangGraph 以状态图方式编排多步 Agent 流程，支持循环与人工介入。 Agent状态图编排
推荐理由：复杂 Agent 的流程可控、可回溯，避免"黑箱式"调用。 适合：需要可控多步 Agent 的开发者 限制：需一定编码能力。 |
