robots.txt 生成器

robots.txt 生成器适合网站上线、搜索引擎收录配置、后台路径屏蔽和 Sitemap 提交前检查。通过配置 User-agent、Allow、Disallow、Crawl-delay 和 Sitemap，可以快速生成可部署到站点根目录的 robots.txt 文件。

使用方法

填写站点地址、Sitemap 地址、目标爬虫和抓取规则，或使用允许全部、屏蔽后台、禁止全部模板快速生成；生成后复制或下载 robots.txt 并部署到网站根目录。

输入与输出

输入：输入项包括站点地址、Sitemap 地址、User-agent、Crawl-delay、Allow 规则和 Disallow 规则。Allow / Disallow 支持每行一条路径。

输出：输出标准 robots.txt 文本，可直接复制或下载为 robots.txt 文件。

使用提示

robots.txt 只是爬虫抓取建议，不能作为安全控制。后台、接口和敏感资源仍需要登录鉴权、网关限制或防火墙保护。

示例

屏蔽后台路径示例

生成允许前台页面抓取、屏蔽后台和接口路径的 robots.txt。

站点：https://www.abplus.xin；Sitemap：https://www.abplus.xin/sitemap.xml；Disallow：/admin/、/api/
User-agent: *
Allow: /
Allow: /tools/
Disallow: /admin/
Disallow: /api/

Sitemap: https://www.abplus.xin/sitemap.xml

常见问题

robots.txt 可以阻止用户访问后台吗？

不能。robots.txt 只是给搜索引擎爬虫的抓取建议，不具备访问控制能力。后台仍需要鉴权和网络限制。

Sitemap 是否应该写在 robots.txt 里？

建议写入完整 Sitemap 地址，方便搜索引擎发现站点地图。

Disallow: / 会有什么影响？

它表示建议目标爬虫不要抓取整站，生产站点使用前需要谨慎确认，避免影响搜索收录。

相关工具