开源爬虫

Crawl4AI 是一款面向大语言模型、RAG 与 AI Agent 的开源网页抓取工具，可将复杂网页清洗并转换为模型友好的 Markdown，同时支持动态页面、深度抓取、代理和自定义脚本。