Robots.txt 生成器

点击预设按钮快速填充常见规则：允许所有、禁止所有、禁止后台目录、禁止特定爬虫，也可使用 Meta 标签生成 工具。

点击 「+ 添加规则」添加新行，每行配置 User-agent（如 * / Googlebot）、动作（Allow 或 Disallow）和路径。右上角 x 按钮可删除该行，可配合 OG Meta 标签 工具一起使用。

可在 Sitemap 输入框中填入网站 Sitemap 地址，会自动追加到 robots.txt 文件末尾，也可使用 URL Slug 生成 工具。

点击 「复制」将 robots.txt 内容复制到剪贴板，点击 「下载」保存为 robots.txt 文件。