Robots.txt 文件应放在哪里?

Robots.txt 文件应放在哪里?

robots.txt文件应该放置在网站根目录下。所谓根目录就是就是我们的网站空间里,一般是www里面,举例来说,当spider访问一个网站(比如 http://www.52tuiguang.com)时,首先会检查该网站中是否存在http://www.52tuiguang.com/robots.txt这个文件,如果 Spider找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。
学会

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: