0

  搜素引擎蜘蛛如何决定到哪里访问?
  
  这依赖于robot蜘蛛机器人,每一个机器人使用自己不同的策略。
  
  通常他们从一些著名的URL链接开始,特别是一些拥有许多链接的地方,如服务器列表、“最新新闻信息”页面、和互联网上最流行的网站等。
  
  大多数索引服务还允许你手动提交url地址,这些地址将会加入到robot蜘蛛的索引列表进行排队和访问。
  
  有些时候,其他的一些url源也被使用,例如USENET网络新闻扫描器列表、公开的邮件列表档案等。
  
  有了这些起始点,一个robot机器人可以选择URL来访问、索引、和进行解析,并提取新的URL作为目标索引源。