我们搭建好一个网站，搜索引擎爬取我们页面的工具叫做搜索引擎机器人，也就是所谓的“蜘蛛”，蜘蛛在爬取网站页面之前，会先去访问网站根目录下面...