如何编写有效的 robots.txt 文件以控制搜索引擎的抓取行为？

wdzsjl 2个月前 (01-08) 阅读数 544 #ASP

规则类型	示例代码	描述
禁止所有搜索引擎	`User-agent: *<br>Disallow: /`	完全阻止所有搜索引擎访问整个站点
针对特定搜索引擎	`User-agent: [搜索引擎名称]<br>Disallow: /`	只阻止指定搜索引擎访问整个站点
限制特定目录	`User-agent: *<br>Disallow: /[目录名]/`	阻止访问特定目录下的所有内容
阻止动态页面	`User-agent: <br>Disallow: /.[扩展名]$`	阻止特定类型的动态页面被索引
防止图片索引	`User-agent: <br>Disallow: /.[图片格式]$`	阻止特定格式的图片文件被索引
只允许HTML页面	`User-agent: <br>Allow: /.html$<br>Disallow: /`	允许HTML页面被抓取，其他一律禁止