楼(lou)上说的很多(duo)，我(wo)补充一下，正(zheng)确(que)的应该叫网络(luo)蜘(zhi)蛛，又(you)称爬虫，本质是搜索(suo)引擎派出的一个执行抓取任务的程序(xu)蜘(zhi)蛛池(chi)的(de)本质是大量的网(wang)站(zhan)互相(xiang)链接，每(mei)个站单独产生大量的内容吸引蜘蛛(zhu)来爬(pa)，几(ji)千(qian)个网(wang)站互链时，可以想象蜘(zhi)蛛的链接