整理了 AI Agent 生态的开源项目,也推一下自己的

最近在做 AI Agent 相关的产品,整理了一下技术栈中用到的开源项目,分享给有类似需求的朋友。

沙箱 / 代码执行

Agent 要执行代码、装包、操作文件,隔离是刚需。

https://github.com/boxlite-labs/boxlite — 可嵌入的轻量 VM 运行时,硬件级隔离,无 daemon ,直接用 OCI 镜像。适合需要完整 Linux 环境但又不想管 VM 基础设施的场景。
https://github.com/firecracker-microvm/firecracker — AWS 开源的 microVM ,Lambda 和 Fargate 背后的技术,功能强大但上手门槛较高。
https://github.com/google/gvisor — Google 的用户态内核,拦截系统调用实现隔离,比纯容器安全但有兼容性问题。

Agent 框架

https://github.com/langchain-ai/langchain — 生态最全,工具链丰富,但抽象层多,调试有时候头疼。
https://github.com/langchain-ai/langgraph — LangChain 团队做的,适合复杂多步骤 workflow 。
https://github.com/crewAIInc/crewAI — 多 Agent 协作,上手简单。
https://github.com/microsoft/autogen — 微软出品,多 Agent 对话模式。

向量数据库 / RAG

https://github.com/chroma-core/chroma — 轻量嵌入式,本地开发首选。
https://github.com/milvus-io/milvus — 生产级,支持分布式,适合大规模。
https://github.com/qdrant/qdrant — Rust 写的,性能不错,API 设计干净。
https://github.com/run-llama/llama_index — RAG 全家桶,数据连接器多。

模型推理

https://github.com/vllm-project/vllm — 高吞吐推理,PagedAttention ,生产部署常用。
https://github.com/ollama/ollama — 本地跑模型最省心的方案。
https://github.com/ggerganov/llama.cpp — CPU 推理之王,量化模型必备。

可观测性

https://smith.langchain.com/ — LangChain 配套,trace 调试方便(非开源但有免费额度)。
https://github.com/Arize-ai/phoenix — 开源的 LLM 可观测性工具。

----------------------

https://www.v2ex.com/t/1182038 #AI GitHub - boxlite-ai/boxlite: Local-first sandbox for AI agents.
 
 
Back to Top
OKHK