Crawl4AI RAG MCP Server

1. 14:54 · 2025年5月22日 · 周四

   Crawl4AI RAG MCP Server
   
   https://github.com/coleam00/mcp-crawl4ai-rag
   
   一个强大的 Model Context Protocol (MCP) Server 。
   
   集成了 Crawl4AI 和 Supabase， 为 AI Agent 和 AI Coding Assistant 提供强大的网络爬虫和 RAG 能力。
   
   可以抓取任何内容，并将其用于 RAG。该项目的主要目标是将其集成到 Archon 中，以创建一个更强大的知识引擎，供 AI 编码助手构建 AI 代理使用。
   
   1. 智能 URL 检测:自动检测和处理不同类型的 URL(常规网页、网站地图、文本文件)
   2. 递归爬取:跟踪内部链接以发现更多内容
   3. 并行处理:高效地同时爬取多个页面
   4. 内容分块:通过标题和大小智能地将内容分块，以便更好地处理
   5. 向量搜索:在已爬取的内容上执行 RAG，可选择按数据源过滤以提高精度
   6. 源检索:检索可用于过滤的源，以指导 RAG 过程
   
   #MCP #AI #Tool #GitHub

   GitHub

   

   GitHub - coleam00/mcp-crawl4ai-rag: Web Crawling and RAG Capabilities for AI Agents and AI Coding Assistants

   Web Crawling and RAG Capabilities for AI Agents and AI Coding Assistants - coleam00/mcp-crawl4ai-rag