Robots.txt 生成器
搜索引擎爬虫规则配置,可视化生成 robots.txt 文件
快捷预设
点击预设按钮快速填充常见规则:允许所有、禁止所有、禁止后台目录、禁止特定爬虫。
自定义规则
点击 「+ 添加规则」添加新行,每行配置 User-agent(如 * / Googlebot)、动作(Allow 或 Disallow)和路径。右上角 x 按钮可删除该行。
Sitemap
可在 Sitemap 输入框中填入网站 Sitemap 地址,会自动追加到 robots.txt 文件末尾。
复制与下载
点击 「复制」将 robots.txt 内容复制到剪贴板,点击 「下载」保存为 robots.txt 文件。