楼(lou)上说(shuo)的很(hen)多(duo)，我(wo)补充一下，正(zheng)确的应该叫网(wang)络蜘(zhi)蛛，又(you)称爬虫，本质是搜索引擎派出的一个执行抓(zhua)取任务(wu)的程序蜘蛛池的(de)本质是大量的网站互(hu)相链接，每(mei)个站单独产生(sheng)大(da)量(liang)的内容吸引蜘蛛来爬(pa)，几千(qian)个网站(zhan)互链时(shi)，可(ke)以(yi)想象蜘蛛的(de)链(lian)接