要为你的 WordPress 站点添加 robots.txt 文件,你可以按照以下步骤进行操作:
Useragent:
Disallow: /wpadmin/
Disallow: /wpincludes/
上面的示例会阻止所有爬虫访问 WordPress 的后台和核心文件。你可以根据你的需求添加更多规则。
请注意,robots.txt 文件用于指导搜索引擎爬虫,但并不会强制执行。一些爬虫可能会忽略它,因此如果你希望某些内容对搜索引擎完全不可见,最好使用其他方法,如密码保护或禁用插件。
在创建或编辑 robots.txt 文件时,请确保谨慎操作,以免意外地排除了搜索引擎访问你希望被索引的内容。