robots.txt和Robots META标签

　　要注意的是:上述的robots.txt和Robots META标签限制搜索引擎机器人(ROBOTS)抓取站点内容的办法只是一种规则，需要搜索引擎机器人的配合才行，并不是每个ROBOTS都遵守的。

　　目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以限制GOOGLE是否保留网页快照。例如:<META NAME="googlebot" CONTENT="index,follow,noarchive">

　　表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照

　　为网站的Web Robot 设计路标

　　HTML文档中小meta的大作用

　　Robots.txt指南

　　Robots Meta Tag的使用

最新相关文章

• ·CSS教程之关于框架网页设计
• ·CSS设计网页头部的优化写法
• ·控制网页文件大小通过精简CSS实现
• ·CSS制作符合网站标准的细线表格
• ·增加CSS的overflow属性来清除浮动
• ·CSS教程之网页表单设计技巧
• ·与表格边框有关的CSS语法
• ·多个CSS样式表争夺特定选择符的控制权
• ·学习CSS制作网页总结的一些经验
• ·纯CSS制作的新闻网站中的文章列表
• ·CSS教程:CSS中的定位（position）
• ·CSS布局实例:上中下三行,中间自适应
• ·实用：CSS常见问题和技巧总结
• ·CSS模块化设计——从空格谈起
• ·css属性之媒体（Media）类型
• ·DIV+CSS常见错误汇总