很多站长都不是很关注robots，其实我们在做杭州SEO这几个字的时候没考虑太多机器人。

 因为只要网站根目录没有robots文件的话，引擎都会自动作为默认。默认等于收录会给索引。

 如果你的站点站的不想收录的话就在你的robots文件里面注明，禁止引擎收录。

但是有些站长的有些目录如ADMIN目录 管理员目录和数据库等文件不希望被引擎快找到，或是索引到。

那么你就需要单独的设置一个robots了。不然你的数据库和一些非公开的秘密就是公开的秘密了。

有些站长又开始郁闷了，我开始不知道。但是引擎已经抓取了。

怎么办，那你现在立即马上快，赶紧写个robots吧。被收录的页面应该不会马上就被取消快照和收录。

百度官方说明是 数月后去掉，但是百度比较喜欢周杰伦一首歌里面的歌词：在我地盘的，你就得听我的

谷歌是一个月就差不多了，比较快。

具体的时间，各家引擎都有自己的一套规定和说话。这个就不深究了。

我们这里也只是讨论下方法！

作者:fengmu@SEO,杭州SEO|网站优化|网站推广|网站整合|杭州SEO公司