发布网友 发布时间:2022-04-21 09:27
共2个回答
热心网友 时间:2023-07-21 10:50
robots文件一般放在网站根目录,所以想查看它很简单,
只需要在你的网站URL后面输入:robots.txt
以百度的robots为例:www.baidu.com/robots.txt
如果觉得有用记得点个赞!
热心网友 时间:2023-07-21 10:51
robots.txt文件应该放在网站根目录下,用好robots是很容易为你网站提权的。
robots.txt其实就是个记事本文件,这个文件应该放到网站的根目录
如想让蜘蛛抓取你的所有页面,可以上传一个空的记事本文件命名为“robots.txt”上传到根目录即可