我从小在父亲的影响下接触 Amstrad 电脑，从此便从未停止过开发。研究生期间，我专攻自然语言处理，并为研究项目构建爬虫。正是在那时，我才深刻体会到数据提取的重要性。

2023 年，我需要一个能将网页转换为 Markdown 的工具。“开源”方案却要求注册账号、获取 API Token，还要支付 16 美元，结果却远未达到预期。于是我怒而行动，几天内就开发出了 Crawl4AI，随后迅速走红。如今，它已成为 GitHub 上获赞最多的爬虫工具。

我将其开源是为了确保可用性，任何人都可以无需门槛地使用它。现在，我正致力于打造一个经济实惠的平台，让每个人都能以低成本运行大规模爬取任务。如果您对此深有共鸣，欢迎加入我们，提供反馈，或者用它来爬取一些精彩的内容。

• 适合大语言模型的输出，智能 Markdown 格式，包含标题、表格、代码及引用提示
• 实际速度快，异步浏览器池、缓存机制、跳转次数少
• 完全可控，支持会话、代理、Cookie、用户脚本和钩子
• 自适应智能，能够学习网站结构模式，只抓取重要内容
• 随处部署，无需密钥，提供 CLI 和 Docker 支持，兼容云端环境

• 🧹 纯净Markdown：生成格式准确、结构清晰的Markdown文档。
• 🎯 精炼Markdown：基于启发式过滤，去除噪声和无关内容，便于AI处理。
• 🔗 引用与参考文献：将页面链接转换为带编号的参考列表，并附上规范的引用格式。
• 🛠️ 自定义策略：用户可根据特定需求，制定个性化的Markdown生成策略。
• 📚 BM25算法：采用BM25算法进行核心信息提取，剔除无关内容。

• 🤖 LLM驱动提取：支持所有开源及专有大模型进行结构化数据提取。
• 🧱 分块策略：实施基于主题、正则表达式或句子级别的分块技术，实现精准内容处理。
• 🌌 余弦相似度：根据用户查询找到相关的内容块，完成语义提取。
• 🔎 CSS选择器提取：利用XPath和CSS选择器快速完成基于Schema的数据提取。
• 🔧 Schema定义：定义自定义Schema，从重复性模式中提取结构化JSON数据。

• 🖥️ 托管浏览器：使用用户自有浏览器，完全掌控，避免被识别为机器人。
• 🔄 远程浏览器控制：连接Chrome开发者工具协议，实现大规模远程数据提取。
• 👤 浏览器配置文件：创建并管理持久化配置文件，保存认证状态、Cookie和设置。
• 🔒 会话管理：保留浏览器状态，供多步骤爬取复用。
• 🧩 代理支持：无缝连接带有认证的代理，确保安全访问。
• ⚙️ 全面浏览器控制：修改请求头、Cookie、User-Agent等参数，打造定制化的爬取环境。
• 🌍 多浏览器支持：兼容Chromium、Firefox和WebKit。
• 📐 动态视口调整：自动调整浏览器视口以匹配页面内容，确保完整渲染并捕获所有元素。

• 🖼️ 媒体支持：提取图片、音频、视频以及响应式图片格式，如srcset和picture。
• 🚀 动态爬取：执行JavaScript代码，等待异步或同步操作完成，从而提取动态内容。
• 📸 截图：在爬取过程中截取页面截图，用于调试或分析。
• 📂 原始数据爬取：直接处理原始HTML（raw:）或本地文件（file://）。
• 🔗 全面链接提取：提取内部链接、外部链接以及嵌入式iframe内容。
• 🛠️ 可定制钩子：在每个步骤定义钩子，自定义爬取行为（支持字符串和函数两种API）。
• 💾 缓存机制：对数据进行缓存，提升速度并避免重复抓取。
• 📄 元数据提取：从网页中获取结构化的元数据。
• 📡 IFrame内容提取：无缝提取嵌入式iframe中的内容。
• 🕵️ 懒加载处理：等待图片完全加载，确保不会因懒加载而遗漏内容。
• 🔄 全页扫描：模拟滚动加载，捕获所有动态内容，特别适用于无限滚动页面。

• 🐳 Docker化部署：优化后的Docker镜像搭配FastAPI服务器，轻松部署。
• 🔑 安全认证：内置JWT令牌认证，保障API安全性。
• 🔄 API网关：一键部署，配备安全令牌认证，适用于基于API的工作流。
• 🌐 可扩展架构：专为大规模生产设计，优化服务器性能。
• ☁️ 云部署：针对主流云平台提供开箱即用的部署配置。

• 🕶️ 隐身模式：通过模拟真实用户行为，避免被检测为机器人。
• 🏷️ 标签内容提取：根据自定义标签、头部信息或元数据细化爬取范围。
• 🔗 链接分析：提取并分析所有链接，深入探索数据。
• 🛡️ 错误处理：强大的错误管理机制，确保流程顺畅运行。
• 🔐 CORS与静态服务：支持基于文件系统的缓存及跨域请求。
• 📖 清晰文档：简化并更新的指南，方便新手入门及高级用户使用。
• 🙌 社区认可：公开感谢贡献者及Pull Request，增强透明度。

请选择最适合您的安装方式：

基础安装

适用于基本的网页爬取任务：

pip install crawl4ai
crawl4ai-setup # 设置浏览器

默认情况下，这将安装Crawl4AI的异步版本，使用Playwright进行网页爬取。

👉 注意：安装Crawl4AI时，crawl4ai-setup应自动安装并配置Playwright。但如果遇到Playwright相关问题，您可以尝试以下方法手动安装：

1. 通过命令行：

   playwright install
   

2. 如果上述方法无效，请尝试更具体的命令：

   python -m playwright install chromium
   

后一种方法在某些情况下更为可靠。

同步版本安装

同步版本已弃用，未来版本中将被移除。如果您需要使用Selenium的同步版本：

pip install crawl4ai[sync]

开发安装

对于计划修改源代码的贡献者：

git clone https://github.com/unclecode/crawl4ai.git
cd crawl4ai
pip install -e .                    # 以可编辑模式进行基础安装

安装可选功能：

pip install -e ".[torch]"           # 包含 PyTorch 功能
pip install -e ".[transformer]"     # 包含 Transformer 功能
pip install -e ".[cosine]"          # 包含余弦相似度功能
pip install -e ".[sync]"            # 包含同步爬取（Selenium）功能
pip install -e ".[all]"             # 安装所有可选功能

🚀 现已可用！ 我们全新设计的 Docker 实现正式上线！这一新方案让部署比以往更加高效、无缝。

新 Docker 特性

新版 Docker 实现包括：

• 实时监控仪表板，提供系统运行指标和浏览器池状态的实时可视化
• 浏览器池化，支持页面预热以提升响应速度
• 交互式 Playground，用于测试和生成请求代码
• MCP 集成，可直接连接到 Claude Code 等 AI 工具
• 全面的 API 端点，涵盖 HTML 提取、截图、PDF 生成以及 JavaScript 执行等功能
• 多架构支持，自动检测 AMD64/ARM64 架构
• 资源优化，改进了内存管理

快速入门

# 拉取并运行最新版本
docker pull unclecode/crawl4ai:latest
docker run -d -p 11235:11235 --name crawl4ai --shm-size=1g unclecode/crawl4ai:latest

# 访问监控仪表板：http://localhost:11235/dashboard
# 或访问 Playground：http://localhost:11235/playground

快速测试

运行一个快速测试（两种 Docker 方案均适用）：

import requests

# 提交一个爬取任务
response = requests.post(
    "http://localhost:11235/crawl",
    json={"urls": ["https://example.com"], "priority": 10}
)
if response.status_code == 200:
    print("爬取任务提交成功。")
    
if "results" in response.json():
    results = response.json()["results"]
    print("爬取任务已完成。结果如下：")
    for result in results:
        print(result)
else:
    task_id = response.json()["task_id"]
    print(f"爬取任务已提交。任务 ID：{task_id}。")
    result = requests.get(f"http://localhost:11235/task/{task_id}")

更多示例请参阅我们的 Docker 示例。如需高级配置、监控功能及生产环境部署，请参考我们的 自托管指南。

import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode
from crawl4ai.content_filter_strategy import PruningContentFilter, BM25ContentFilter
from crawl4ai.markdown_generation_strategy import DefaultMarkdownGenerator

async def main():
    browser_config = BrowserConfig(
        headless=True,  
        verbose=True,
    )
    run_config = CrawlerRunConfig(
        cache_mode=CacheMode.ENABLED,
        markdown_generator=DefaultMarkdownGenerator(
            content_filter=PruningContentFilter(threshold=0.48, threshold_type="fixed", min_word_threshold=0)
        ),
        # markdown_generator=DefaultMarkdownGenerator(
        #     content_filter=BM25ContentFilter(user_query="WHEN_WE_FOCUS_BASED_ON_A_USER_QUERY", bm25_threshold=1.0)
        # ),
    )
    
    async with AsyncWebCrawler(config=browser_config) as crawler:
        result = await crawler.arun(
            url="https://docs.micronaut.io/4.9.9/guide/",
            config=run_config
        )
        print(len(result.markdown.raw_markdown))
        print(len(result.markdown.fit_markdown))

if __name__ == "__main__":
    asyncio.run(main())

import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode
from crawl4ai import JsonCssExtractionStrategy
import json

async def main():
    schema = {
    "name": "KidoCode Courses",
    "baseSelector": "section.charge-methodology .w-tab-content > div",
    "fields": [
        {
            "name": "section_title",
            "selector": "h3.heading-50",
            "type": "text",
        },
        {
            "name": "section_description",
            "selector": ".charge-content",
            "type": "text",
        },
        {
            "name": "course_name",
            "selector": ".text-block-93",
            "type": "text",
        },
        {
            "name": "course_description",
            "selector": ".course-content-text",
            "type": "text",
        },
        {
            "name": "course_icon",
            "selector": ".image-92",
            "type": "attribute",
            "attribute": "src"
        }
    ]
}

    extraction_strategy = JsonCssExtractionStrategy(schema, verbose=True)

    browser_config = BrowserConfig(
        headless=False,
        verbose=True
    )
    run_config = CrawlerRunConfig(
        extraction_strategy=extraction_strategy,
        js_code=["""(async () => {const tabs = document.querySelectorAll("section.charge-methodology .tabs-menu-3 > div");for(let tab of tabs) {tab.scrollIntoView();tab.click();await new Promise(r => setTimeout(r, 500));}})();"""],
        cache_mode=CacheMode.BYPASS
    )
        
    async with AsyncWebCrawler(config=browser_config) as crawler:
        
        result = await crawler.arun(
            url="https://www.kidocode.com/degrees/technology",
            config=run_config
        )

        companies = json.loads(result.extracted_content)
        print(f"成功提取了 {len(companies)} 家公司")
        print(json.dumps(companies[0], indent=2))


if __name__ == "__main__":
    asyncio.run(main())

import os
import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode, LLMConfig
from crawl4ai import LLMExtractionStrategy
from pydantic import BaseModel, Field

class OpenAIModelFee(BaseModel):
    model_name: str = Field(..., description="Name of the OpenAI model.")
    input_fee: str = Field(..., description="Fee for input token for the OpenAI model.")
    output_fee: str = Field(..., description="Fee for output token for the OpenAI model.")

async def main():
    browser_config = BrowserConfig(verbose=True)
    run_config = CrawlerRunConfig(
        word_count_threshold=1,
        extraction_strategy=LLMExtractionStrategy(
            # 在这里你可以使用 Litellm 库支持的任何提供商，例如：ollama/qwen2
            # provider="ollama/qwen2", api_token="no-token", 
            llm_config = LLMConfig(provider="openai/gpt-4o", api_token=os.getenv('OPENAI_API_KEY')), 
            schema=OpenAIModelFee.schema(),
            extraction_type="schema",
            instruction="""从抓取的内容中提取所有提到的模型名称及其输入和输出 token 的费用。
            不要遗漏整个内容中的任何模型。提取出的一个模型 JSON 格式应如下所示：
            {"model_name": "GPT-4", "input_fee": "US$10.00 / 1M tokens", "output_fee": "US$30.00 / 1M tokens"}."""
        ),            
        cache_mode=CacheMode.BYPASS,
    )
    
    async with AsyncWebCrawler(config=browser_config) as crawler:
        result = await crawler.arun(
            url='https://openai.com/api/pricing/',
            config=run_config
        )
        print(result.extracted_content)

if __name__ == "__main__":
    asyncio.run(main())

import os, sys
from pathlib import Path
import asyncio, time
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode

async def test_news_crawl():
    # 创建一个持久化的用户数据目录
    user_data_dir = os.path.join(Path.home(), ".crawl4ai", "browser_profile")
    os.makedirs(user_data_dir, exist_ok=True)

    browser_config = BrowserConfig(
        verbose=True,
        headless=True,
        user_data_dir=user_data_dir,
        use_persistent_context=True,
    )
    run_config = CrawlerRunConfig(
        cache_mode=CacheMode.BYPASS
    )
    
    async with AsyncWebCrawler(config=browser_config) as crawler:
        url = "ADDRESS_OF_A_CHALLENGING_WEBSITE"
        
        result = await crawler.arun(
            url,
            config=run_config,
            magic=True,
        )
        
        print(f"成功抓取了 {url}")
        print(f"内容长度: {len(result.markdown)}")

由于原始包受到 PyPI 供应链攻击的影响，已将 litellm 依赖替换为 unclecode-litellm。如果您使用的是 v0.8.5 或更早版本，请立即升级。

pip install -U crawl4ai

这是我们自 v0.8.0 以来最大的一次发布。新增反机器人检测与代理升级功能、Shadow DOM 展平处理、深度爬虫取消功能，以及超过 60 项 Bug 修复。

• 🛡️ 反机器人检测与代理升级:

  • 三层检测机制：识别已知厂商、通用拦截指标、结构完整性检查
  • 自动重试功能，结合代理链和回退抓取函数

  from crawl4ai import CrawlerRunConfig
  from crawl4ai.async_configs import ProxyConfig
  
  config = CrawlerRunConfig(
      proxy_config=[ProxyConfig.DIRECT, ProxyConfig(server="http://my-proxy:8080")],
      max_retries=2,
      fallback_fetch_function=my_web_unlocker,
  )
  

• 🌑 Shadow DOM 展平处理:

  • 提取隐藏在 Shadow DOM 组件内的内容

  config = CrawlerRunConfig(flatten_shadow_dom=True)
  

• 🛑 深度爬虫取消功能:

  • 可通过 cancel() 方法或 should_cancel 回调函数优雅地停止长时间运行的爬虫
  • 适用于 BFS、DFS 和 BestFirst 策略

• ⚙️ 配置默认值 API:

  • 在 BrowserConfig 和 CrawlerRunConfig 中新增 set_defaults()、get_defaults() 和 reset_defaults()

• 🔒 重要安全修复:

  • 移除了 Docker /crawl 端点中通过反序列化导致的 RCE 漏洞，并添加了白名单机制
  • 升级到 Redis 7.2.7 版本，修复了 CVE-2025-49844 漏洞（CVSS 评分 10.0）

• 60+ Bug 修复：涵盖浏览器管理、代理、深度爬虫、内容提取、命令行工具和 Docker 等方面

完整 v0.8.5 发布说明 →

本次发布引入了深度爬虫的崩溃恢复功能、用于快速发现 URL 的预取模式，以及针对 Docker 部署的重要安全修复。

• 🔄 深度爬虫崩溃恢复:

  • on_state_change 回调会在每次处理完一个 URL 后触发，实现实时状态保存
  • resume_state 参数可用于从保存的检查点继续爬取
  • 支持 JSON 序列化的状态存储，便于存入 Redis 或数据库
  • 适用于 BFS、DFS 和 Best-First 策略

  from crawl4ai.deep_crawling import BFSDeepCrawlStrategy
  
  strategy = BFSDeepCrawlStrategy(
      max_depth=3,
      resume_state=saved_state,  # 从检查点继续
      on_state_change=save_to_redis,  # 每处理完一个 URL 调用
  )
  

• ⚡ 预取模式，加速 URL 发现:

  • 设置 prefetch=True 可跳过 Markdown 处理、内容提取和媒体处理
  • 速度比完整处理快 5 到 10 倍
  • 非常适合两阶段爬取：先发现 URL，再有选择地进行处理

  config = CrawlerRunConfig(prefetch=True)
  result = await crawler.arun("https://example.com", config=config)
  # 只返回 HTML 和链接，不生成 Markdown
  

• 🔒 安全修复（Docker API）:

  • 默认禁用钩子功能（CRAWL4AI_HOOKS_ENABLED=false）
  • 在 API 端点上阻止 file:// URL，以防止 LFI 攻击
  • 从钩子执行沙盒中移除了 __import__ 函数

完整 v0.8.0 发布说明 →

本次发布专注于稳定性，修复了社区反馈的 11 个问题。没有新增功能，但显著提升了系统的可靠性。

• 🐳 Docker API 修复:

  • 修复了深度爬虫请求中 ContentRelevanceFilter 的反序列化问题 (#1642)
  • 修复了 BrowserConfig.to_dict() 中 ProxyConfig 的 JSON 序列化问题 (#1629)
  • 修复了 Docker 镜像中 .cache 文件夹的权限问题 (#1638)

• 🤖 LLM 提取功能改进：

  • 可配置的速率限制退避机制，新增 LLMConfig 参数 (#1269)：

    from crawl4ai import LLMConfig
    
    config = LLMConfig(
        provider="openai/gpt-4o-mini",
        backoff_base_delay=5,           # 第一次重试等待5秒
        backoff_max_attempts=5,          # 最多重试5次
        backoff_exponential_factor=3     # 每次重试延迟时间乘以3
    )
    

  • LLMExtractionStrategy 支持 HTML 输入格式 (#1178)：

    from crawl4ai import LLMExtractionStrategy
    
    strategy = LLMExtractionStrategy(
        llm_config=config,
        instruction="提取表格数据",
        input_format="html"  # 现在支持："html"、"markdown"、"fit_markdown"
    )
    

  • 修复了原始 HTML URL 变量问题——提取策略现在接收 "Raw HTML" 而不是 HTML Blob (#1116)

• 🔗 URL 处理：

  • 修复了 JavaScript 重定向后的相对 URL 解析问题 (#1268)
  • 修复了提取代码中导入语句的格式问题 (#1181)

• 📦 依赖项更新：

  • 用 pypdf 替代已弃用的 PyPDF2 (#1412)
  • Pydantic v2 ConfigDict 兼容性——不再出现弃用警告 (#678)

• 🧠 AdaptiveCrawler：

  • 修复了查询扩展功能，使其真正使用 LLM 而不是硬编码的模拟数据 (#1621)

完整 v0.7.8 发行说明 →

• 📊 实时监控仪表板：交互式 Web UI，提供系统实时指标和浏览器池状态可视化

  # 访问监控仪表板
  # 地址：http://localhost:11235/dashboard
  
  # 实时指标包括：
  - 系统健康状况（CPU、内存、网络、运行时间）
  - 当前活动及已完成请求跟踪
  - 浏览器池管理（永久/热/冷）
  - 清理任务事件
  - 错误监控，附带完整上下文信息
  

• 🔌 全面监控 API：完整的 REST API，用于程序化访问所有监控数据

  import httpx
  
  async with httpx.AsyncClient() as client:
      # 系统健康状况
      health = await client.get("http://localhost:11235/monitor/health")
  
      # 请求跟踪
      requests = await client.get("http://localhost:11235/monitor/requests")
  
      # 浏览器池状态
      browsers = await client.get("http://localhost:11235/monitor/browsers")
  
      # 端点统计信息
      stats = await client.get("http://localhost:11235/monitor/endpoints/stats")
  

• ⚡ WebSocket 实时流：每 2 秒推送一次实时更新，适用于自定义仪表板

• 🔥 智能浏览器池：三层架构（永久/热/冷），具备自动提升和清理功能

• 🧹 清洁系统：自动资源管理，并记录事件日志

• 🎮 控制操作：可通过 API 手动管理浏览器（终止、重启、清理）

• 📈 生产级指标：6 项关键指标，助力卓越运营，并集成 Prometheus

• 🐛 重要错误修复：

  • 修复了异步 LLM 提取阻塞问题 (#1055)
  • 增强了 DFS 深度爬取策略 (#1607)
  • 修复了 AsyncUrlSeeder 中站点地图解析问题 (#1598)
  • 解决了浏览器视口配置问题 (#1495)
  • 修复了 CDP 定时问题，并引入指数退避机制 (#1528)
  • 更新了 pyOpenSSL 安全补丁（≥25.3.0）

完整 v0.7.7 发行说明 →

• 🔧 Docker 钩子系统：通过用户提供的 Python 函数，在 8 个关键节点实现完整管道自定义

• ✨ 基于函数的钩子 API（新）：可将钩子编写为常规 Python 函数，享受完整的 IDE 支持：

  from crawl4ai import hooks_to_string
  from crawl4ai.docker_client import Crawl4aiDockerClient
  
  # 定义常规 Python 函数作为钩子
  async def on_page_context_created(page, context, **kwargs):
      """阻止加载图片以加快爬取速度"""
      await context.route("**/*.{png,jpg,jpeg,gif,webp}", lambda route: route.abort())
      await page.set_viewport_size({"width": 1920, "height": 1080})
      return page
  
  async def before_goto(page, context, url, **kwargs):
      """添加自定义请求头"""
      await page.set_extra_http_headers({'X-Crawl4AI': 'v0.7.5'})
      return page
  
  # 方法一：使用 hooks_to_string() 工具生成 REST API 代码
  hooks_code = hooks_to_string({
      "on_page_context_created": on_page_context_created,
      "before_goto": before_goto
  })
  
  # 方法二：推荐使用 Docker 客户端自动转换
  client = Crawl4aiDockerClient(base_url="http://localhost:11235")
  results = await client.crawl(
      urls=["https://httpbin.org/html"],
      hooks={
          "on_page_context_created": on_page_context_created,
          "before_goto": before_goto
      }
  )
  # ✓ 完整的 IDE 支持、类型检查及代码复用！
  

• 🤖 增强的 LLM 集成：支持自定义提供商，可控制温度并配置基础 URL

• 🔒 HTTPS 保留：通过 preserve_https_for_internal_links=True 实现内部链接的安全处理

• 🐍 Python 3.10+ 支持：采用现代语言特性，性能进一步提升

• 🛠️ 错误修复：解决了社区反馈的多个问题，包括 URL 处理、JWT 认证和代理配置等

完整 v0.7.5 发行说明 →

• 🚀 LLMTableExtraction：革命性的表格提取功能，采用智能分块技术，可处理超大表格：

  from crawl4ai import LLMTableExtraction, LLMConfig
  
  # 配置智能表格提取策略
  table_strategy = LLMTableExtraction(
      llm_config=LLMConfig(provider="openai/gpt-4.1-mini"),
      enable_chunking=True,           # 处理超大表格
      chunk_token_threshold=5000,     # 智能分块阈值
      overlap_threshold=100,          # 保持分块间的上下文连贯性
      extraction_type="structured"    # 输出结构化数据
  )
  
  config = CrawlerRunConfig(table_extraction_strategy=table_strategy)
  result = await crawler.arun("https://complex-tables-site.com", config=config)
  
  # 表格会自动分块、处理并合并
  for table in result.tables:
      print(f"提取的表格：{len(table['data'])} 行")
  

• ⚡ 调度器错误修复：修复了 arun_many 中针对快速完成任务的顺序处理瓶颈

• 🧹 内存管理重构：将内存相关工具整合到主工具模块中，使架构更加清晰

• 🔧 浏览器管理器修复：通过线程安全锁解决了并发页面创建中的竞态条件

• 🔗 高级 URL 处理：更好地处理 raw:// URL 以及 base 标签的链接解析

• 🛡️ 增强的代理支持：灵活的代理配置，同时支持字典和字符串格式

完整 v0.7.4 发布说明 →

• 🕵️ 无痕浏览器支持：绕过复杂的机器人检测系统：

  from crawl4ai import AsyncWebCrawler, BrowserConfig
  
  browser_config = BrowserConfig(
      browser_type="undetected",  # 使用无痕 Chrome 浏览器
      headless=True,              # 可以无头运行并保持隐身
      extra_args=[
          "--disable-blink-features=AutomationControlled",
          "--disable-web-security"
      ]
  )
  
  async with AsyncWebCrawler(config=browser_config) as crawler:
      result = await crawler.arun("https://protected-site.com")
  # 成功绕过 Cloudflare、Akamai 和自定义机器人检测
  

• 🎨 多 URL 配置：为同一批次中的不同 URL 模式采用不同策略：

from crawl4ai import CrawlerRunConfig, MatchMode, CacheMode
  
  configs = [
      # 文档站点 - 积极缓存
      CrawlerRunConfig(
          url_matcher=["*docs*", "*documentation*"],
          cache_mode=CacheMode.WRITE_ONLY,
          markdown_generator_options={"include_links": True}
      ),
      
      # 新闻/博客站点 - 获取最新内容
      CrawlerRunConfig(
          url_matcher=lambda url: 'blog' in url or 'news' in url,
          cache_mode=CacheMode.BYPASS
      ),
      
      # 其他情况的默认配置
      CrawlerRunConfig()
  ]
  
  results = await crawler.arun_many(urls, config=configs)
  # 每个 URL 都会自动获得最合适的配置

• 🧠 内存监控：在爬取过程中跟踪并优化内存使用：

  from crawl4ai.memory_utils import MemoryMonitor
  
  monitor = MemoryMonitor()
  monitor.start_monitoring()
  
  results = await crawler.arun_many(large_url_list)
  
  report = monitor.get_report()
  print(f"峰值内存：{report['peak_mb']:.1f} MB")
  print(f"效率：{report['efficiency']:.1f}%")
  # 获取优化建议
  

• 📊 增强的表格提取：直接将网页表格转换为 DataFrame：

  result = await crawler.arun("https://site-with-tables.com")
  
  // 新方式 - 直接访问表格
  if result.tables:
      import pandas as pd
      for table in result.tables:
          df = pd.DataFrame(table['data'])
          print(f"表格：{df.shape[0]} 行 × {df.shape[1]} 列")
  

• 💰 GitHub 赞助：项目可持续发展的四层赞助体系

• 🐳 Docker LLM 灵活性：可通过环境变量配置提供商

完整 v0.7.3 发布说明 →

• 🧠 自适应爬取：您的爬虫现在可以自动学习并适应网站模式：

  config = AdaptiveConfig(
      confidence_threshold=0.7, # 停止爬取的最低置信度
      max_depth=5, # 最大爬取深度
      max_pages=20, # 最大爬取页数
      strategy="statistical"
  )
  
  async with AsyncWebCrawler() as crawler:
      adaptive_crawler = AdaptiveCrawler(crawler, config)
      state = await adaptive_crawler.digest(
          start_url="https://news.example.com",
          query="latest news content"
      )
  # 爬虫会随着时间推移学习模式并改进提取效果
  

• 🌊 虚拟滚动支持：从无限滚动页面中完整提取内容：

  scroll_config = VirtualScrollConfig(
      container_selector="[data-testid='feed']",
      scroll_count=20,
      scroll_by="container_height",
      wait_after_scroll=1.0
  )
  
  result = await crawler.arun(url, config=CrawlerRunConfig(
      virtual_scroll_config=scroll_config
  ))
  

• 🔗 智能链接分析：三层评分系统实现智能链接优先级排序：

  link_config = LinkPreviewConfig(
      query="machine learning tutorials",
      score_threshold=0.3,
      concurrent_requests=10
  )
  
  result = await crawler.arun(url, config=CrawlerRunConfig(
      link_preview_config=link_config,
      score_links=True
  ))
  # 链接按相关性和质量排序
  

• 🎣 异步 URL 种子生成器：可在几秒钟内发现数千个 URL：

  seeder = AsyncUrlSeeder(SeedingConfig(
      source="sitemap+cc",
      pattern="*/blog/*",
      query="python tutorials",
      score_threshold=0.4
  ))
  
  urls = await seeder.discover("https://example.com")
  

• ⚡ 性能提升：通过优化资源管理和内存效率，速度最高可提升至 3 倍

更多详细信息请参阅我们的 v0.7.0 发布说明，或查看 CHANGELOG。

我们的版本号采用 MAJOR.MINOR.PATCH 格式（例如：0.4.3）。

预发布版本

我们使用不同的后缀来表示开发阶段：

• dev（0.4.3dev1）：开发版本，不稳定
• a（0.4.3a1）：Alpha 版本，包含实验性功能
• b（0.4.3b1）：Beta 版本，功能已完善但需测试
• rc（0.4.3）：发布候选版本，可能是最终版本

安装

• 正常安装（稳定版本）：

  pip install -U crawl4ai
  

• 安装预发布版本：

  pip install crawl4ai --pre
  

• 安装特定版本：

  pip install crawl4ai==0.4.3b1
  

为什么使用预发布版本？

我们使用预发布版本是为了：

• 在实际场景中测试新功能
• 在正式发布前收集反馈
• 确保生产环境的稳定性
• 让早期使用者尝试新功能

对于生产环境，我们建议使用稳定版本。如果需要测试新功能，可以使用 --pre 标志来安装预发布版本。

• 0. 图形爬虫：使用图搜索算法实现智能网站遍历，用于全面提取嵌套页面
• 1. 基于问题的爬虫：通过自然语言驱动的网页发现与内容提取
• 2. 知识最优爬虫：在最小化数据提取的同时最大化知识获取的智能爬取
• 3. 智能体式爬虫：用于复杂多步骤爬取操作的自主系统
• 4. 自动化模式生成器：将自然语言转换为提取模式
• 5. 领域特定爬虫：针对常见平台（学术、电商等）预配置的提取工具
• 6. 网页嵌入索引：用于已爬取内容的语义搜索基础设施
• 7. 交互式 Playground：带有 AI 辅助的 Web UI，用于测试和比较策略
• 8. 性能监控器：实时洞察爬虫运行情况
• 9. 云集成：跨云服务商的一键部署解决方案
• 10. 赞助计划：分层权益的结构化支持体系
• 11. 教育内容：《如何爬取》视频系列及互动教程

主题	徽章
迪斯科主题（动画）
夜景主题（暗黑霓虹）
经典暗黑主题
经典亮色主题

添加徽章的 HTML 代码：

<!-- 迪斯科主题（动画） -->
<a href="https://github.com/unclecode/crawl4ai">
  <img src="https://raw.githubusercontent.com/unclecode/crawl4ai/main/docs/assets/powered-by-disco.svg" alt="Powered by Crawl4AI" width="200"/>
</a>

<!-- 夜景主题（暗黑霓虹） -->
<a href="https://github.com/unclecode/crawl4ai">
  <img src="https://raw.githubusercontent.com/unclecode/crawl4ai/main/docs/assets/powered-by-night.svg" alt="Powered by Crawl4AI" width="200"/>
</a>

<!-- 经典暗黑主题 -->
<a href="https://github.com/unclecode/crawl4ai">
  <img src="https://raw.githubusercontent.com/unclecode/crawl4ai/main/docs/assets/powered-by-dark.svg" alt="Powered by Crawl4AI" width="200"/>
</a>

<!-- 经典亮色主题 -->
<a href="https://github.com/unclecode/crawl4ai">
  <img src="https://raw.githubusercontent.com/unclecode/crawl4ai/main/docs/assets/powered-by-light.svg" alt="Powered by Crawl4AI" width="200"/>
</a>

<!-- 简单盾牌徽章 -->
<a href="https://github.com/unclecode/crawl4ai">
  <img src="https://img.shields.io/badge/Powered%20by-Crawl4AI-blue?style=flat-square" alt="Powered by Crawl4AI"/>
</a>

• 数据资本化：将数字足迹转化为可衡量的价值资产。
• 真实的人工智能数据：为 AI 系统提供真正的人类见解。
• 共享经济：创建一个公平的数据市场，使数据创造者受益。

1. 开源工具：由社区驱动的透明数据提取平台。
2. 数字资产结构化：用于组织和评估数字知识的工具。
3. 道德数据市场：一个安全、公平的平台，用于交换结构化数据。

更多详情，请参阅我们的完整使命宣言。