百度搜索结果提供robots设置提示
摘要：你有没有发现，在百度搜索结果中，有时会出现个别网页没有摘要显示的现象？作为网站管理员，你是不是常发现网站部分内容不收录的问题？百度新推出的“搜索结果robots设置提示”可以解答你的疑问。
你有没有发现，在百度搜索结果中，有时会出现个别网页没有摘要显示的现象？作为网站管理员，你是不是常发现网站部分内容不收录的问题？百度新推出的“搜索结果robots设置提示”可以解答你的疑问。
robots.txt文件是网站根目录下面的纯文本文件，是蜘蛛索引网站时第一个要读取的文件，它用于指定spider在网站上的抓取范围，当网站中有不需要被蜘蛛抓取的内容时，可以使用robots.txt文件加入屏蔽，以免增加网站蜘蛛的抓取难度。
为了能够让网站建设者更方便地了解网站页面在出现上述问题时是否是由于设置robots文件而引起，百度最近上线了“搜索结果robots.txt文件提示”。当网站使用robots.txt文件禁止百度收录网站的部分或全部内容，百度将会在搜索结果中给出robots.txt的提示，让站长及时了解网站在搜索结果中无摘要显示的原因，同时可在搜索结果中点击“了解详情”，查看网站详细的robots信息，确认是否是由于robots.txt的误设置而导致的封禁。
例如淘宝的robot.txt文件设置的是禁止百度蜘蛛的抓取，网站任何位置都不允许抓取。那么现在我们在百度搜索中搜索“淘宝”之后将看到这样的搜索页：
图中红框标出的就是“搜索结果robots.txt文件提示”，相信你可以回忆起之前的淘宝搜索结果在红框这个区域是没有任何介绍的。点击红框右侧“了解详情”后，你可以看到百度站长平台对该网站的检测结果：
但是，“百度搜索页robot设置提示”这个工具目前只对全站都屏蔽了蜘蛛的情况作出显示，对于网站中部分页面禁止蜘蛛搜索的情况还不能通过百度搜索页得知，想要之道网站具体的robot.txt设置信息可以进入百度站长平台的“Robot”进行查询。
