使用 Crawl4AI 为 Amazon Bedrock 知识库准备网页内容

据 2026 年 11 月 2 日的 AWS 官方资料，这项变化并非让 Amazon Bedrock 在推理时临时抓取网页，而是把 Crawl4AI 放在知识库入库之前，作为网页内容准备层：Crawl4AI 抓取公开网站，将页面转换为 Markdown，并为每篇文档生成元数据边车文件，再上传至 Amazon S3，供 Amazon Bedrock Knowledge Bases 执行解析、分块、嵌入和索引。

选择网页内容接入路径

AWS 建议优先评估 Amazon Bedrock Web Crawler。该连接器支持设置种子 URL 或站点地图，按照指定范围和速率限制抓取，并遵守 robots.txt。首次完整抓取后，后续同步只处理新增、更新和删除的内容；它还可以等待由 JavaScript 加载的页面，并提供 Basic、表单和 SAML 等身份验证选项。对于多数公开网站，这是一条无需自行维护爬虫的接入路径。

当页面需要额外清洗或精细控制时，再使用 Crawl4AI 准备流程。它主要提供三类能力：

• 使用 PruningContentFilter 清理导航等样板内容，同时保留标题、列表和表格，生成结构化 Markdown。
• 通过可选 CSS 选择器仅提取指定页面区域，并按种子来源、主机、路径、深度、页面数量和 URL 模式限制抓取范围。
• 为文档附加来源 URL、抓取时间、内容类型及自定义属性，供知识库检索时进行过滤。

从定时抓取到检索回答

在示例架构中，Amazon EventBridge 按计划启动运行于 AWS Fargate 的 Amazon ECS 任务。任务完成抓取和 Markdown 准备后，将文件写入与知识库数据源关联的 S3 桶，再调用 StartIngestionJob。托管知识库随后完成解析、分块、托管模型嵌入和向量索引，应用可通过知识库查询相关片段或生成带引用的回答。

该流程适用于已知网站或网页集合的批量入库，不属于推理时实时联网检索，例如 Amazon Nova 的 Web Grounding。托管型与客户托管型知识库均可使用此 S3 接入方式。

限制与上线前检查

• 示例流程仅处理公开页面，不实现登录会话；需要认证的网站应先评估 Web Crawler 的身份验证能力。
• 元数据边车文件最大为 10 KB，超限时任务会终止。Amazon S3 Vectors 每个向量最多可附加 1 KB 自定义元数据，属性应保持精简。
• 托管知识库可选默认、固定大小或不分块策略。默认分块为 300 个 token、重叠 20%；分块策略不能直接修改，后续变更需创建新数据源。
• 抓取任务必须获得网站授权。若 VPC Block Public Access 阻止任务访问互联网，需要配置 NAT 等出站路径，NAT 网关会产生额外费用。
• Crawl4AI 的剪枝规则属于启发式方法，上线前仍应检查代表性页面的输出以及实际检索结果。

资料来源：Prepare web content for Amazon Bedrock Knowledge Bases with Crawl4AI（2026-11-02）。