robots.txt方法

搜索引擎默认的遵守robots.txt协议，创建robots.txt文本文件放至网站根目录下，编辑代码如下:

User-agent: *
Disallow: /

通过以上代码，即可告诉搜索引擎不要抓取采取收录本网站，注意慎用如上代码：这将禁止所有搜索引擎访问网站的任何部分。

如何只禁止百度搜索引擎收录抓取网页

1、编辑robots.txt文件，设计标记为:

User-agent: Baiduspider
Disallow: /

下面举几个robots.txt用法的例子：

User-agent: *
Disallow: /

禁止所有搜索引擎访问网站的所有部分

User-agent: Baiduspider
Disallow: /

禁止百度收录全站
User-agent: Googlebot
Disallow: /

禁止Google收录全站

User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
禁止除Google外的一切搜索引擎收录全站
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
禁止除百度外的一切搜索引擎收录全站

User-agent: *
Disallow: /css/
Disallow: /admin/
禁止所有搜索引擎访问某个目录
（例如禁止根目录下的admin和css）