互联网爬虫，也可以称为网页蜘蛛、互联网机器人、蠕虫等，还常常被叫做网页追逐者），这是一种根据肯定的规则，自动地抓取互联网信息的程序或者脚本。 互联网爬虫主如果针对目前互联网上的大量资源设计的，当大家在搜索引擎上设定了一个搜索关键词组后，互联网爬虫就能依据设定的抓取目的，有选择的访问互联网上的网页与有关的链接，获得所需要的信息。那样，互联网爬虫在进行信息抓取时，非常重要的就是通过网站的导航来进行抓取，那样它是怎么样进行运作的呢？
用户想要深入访问网站的核心部分，就需要互联网爬虫的精确抓取。所以，一个网站假如有结构明确的网站导航，将会对网站SEO发挥巨大功用，它的设计能对互联网爬虫有序的深入访问网站带来不少便利，是互联网爬虫在进行信息抓取是十分看重的一个项目。大家一般可以从以下几个方面来对网站的导航进行优化。 一是用文字链接设置导航。虽然现阶段科技在告诉的进步，但互联网爬虫在仍然将文字作为最主要的内容进行辨别，对于 flash 与JS等识仍有着肯定的困难程度。因此，用文字链接设置导航对面向互联网爬虫公司网站优化发挥要紧用途。 第二是导航关键字的设置。对于导航关键字进行设置的时候，一般使用目的关键字的长尾关键词最适合，他能有效的预防与首页发生冲突=。同时，锚文字也具备要紧价值，将导航上锚文字的其应用于导航关键字的设置中具备实践意义，可依据从左至右，价值的重要程度来设置，而对没实质用途的栏目应尽可能防止用。 第三是网站地图的设置。网站地图与网站导航有着异曲同工之妙，因此，网站地图有哪些用途十分要紧。不论是 html 还是 xml，目前的主流搜索引擎都支持。对于互联网爬虫没办法辨别的图片与动态网页的状况，网站地图能有效解决。当站点栏目或内容过多时，将网站地图应用其中，可以满足用户的深入访问。而且对互联网爬行的爬行和抓取也发挥要紧用途。
本文名字面向互联网爬虫的网站导航优化
