而大家把這種搜尋機制稱之為機器人(Roobot)程式又稱為蜘蛛程式Spider(因為像機器人一般不斷的蒐集資料，又像蜘蛛一般在網路上爬來爬去)

搜尋引擎的主要工作主要就是透過網際網路取得各個網站的資料，然後建立資料庫在將資料庫分類排序後顯示給使用者瀏覽，具代表性的搜尋引擎如Google, Yahoo ,MSN等。

搜尋引擎的服務包括蒐集名單>分析網頁>排序>顯示給使用者瀏覽(提供查詢)

而Spider 或是 Roobot 主要的工作內容就是不停的在搜尋名單跟備份資料

出發點來自這裡 www.google.com/addurl/(以Google 做為舉例)
Roobot 擁有著一大堆的名單每天都要出門拜訪，到達目(URL)之後開始蒐集網站內的資料，在探索的過程中如果發現其他的網址，將會把這些網址再列為拜訪清單一直無限循環的拜訪下去。

可以說每個Roobot都一定有去拜訪過您的網頁，但是Roobot打的分數就要看您的網頁是否符合他們的水準要求了。

若是覺得您的網站不錯，他們就會告訴他們的主機老大 把你排前面一些。