網(wǎng)站優(yōu)化過程中怎么屏蔽蜘蛛爬行頁面？相信很多人都會(huì)遇見想屏蔽的頁面被搜索引擎抓取，其實(shí)很簡(jiǎn)單，只要用好robots文件就行。也就好似robots.txt文件，這個(gè)文件可以屏蔽搜索引擎蜘蛛。下面請(qǐng)看具體的操作方法。

　　User-agent: *  　　(星號(hào)代表所有的搜索引擎)

　　Disallow: /admin 　�。ń�止所有的搜索引擎蜘蛛抓取admin目錄下的文件）

　　Disallow: /hello 　　（禁止所有的搜索引擎蜘蛛抓取hello目錄下的文件）

　　robots.txt必須放置在一個(gè)站點(diǎn)的根目錄下，而且文件名必須全部小寫。

　　robots.txt文件的格式

　　User-agent: 定義搜索引擎的類型

　　Disallow: 定義禁止搜索引擎收錄的地址

　　Allow: 定義允許搜索引擎收錄的地址

　　我們常用的搜索引擎類型有： (User-agent區(qū)分大小寫)

　　google蜘蛛：Googlebot

　　百度蜘蛛：Baiduspider

　　yahoo蜘蛛：Yahoo!slurp

　　alexa蜘蛛：ia_archiver

　　bing蜘蛛：MSNbot

　　altavista蜘蛛：scooter

　　lycos蜘蛛：lycos_spider_(t-rex)

　　alltheweb蜘蛛：fast-webcrawler

　　inktomi蜘蛛： slurp

　　Soso蜘蛛:Sosospider

　　Google Adsense蜘蛛:Mediapartners-Google

　　有道蜘蛛:YoudaoBot

◆電話受理中心（用戶綜合窗口）
為了給廣大客戶提供更優(yōu)質(zhì)、快捷的網(wǎng)站維護(hù)服務(wù)，在中國業(yè)界率先設(shè)立了全天候服務(wù)式的電話受理中心，并始終堅(jiān)持“快速”“準(zhǔn)確”“親切”的服務(wù)理念。走過風(fēng)雨兼程的10年，我們嘗盡酸甜苦辣，但是為客戶服務(wù)的心，卻一刻也不曾停歇，為了您的歡笑，我們?nèi)詫⒗^續(xù)前行。

◆全國統(tǒng)一免費(fèi)網(wǎng)站維護(hù)電話:400-670-5808（支持任何用戶撥打）郵箱：xieaijiao@cdsheji.com QQ:284888576

◆營業(yè)時(shí)間：365天·24小時(shí)，年中無休。
◆對(duì)應(yīng)業(yè)務(wù)：與網(wǎng)站維護(hù)有關(guān)的任何商談和咨詢（網(wǎng)站維護(hù)、網(wǎng)站修改、網(wǎng)頁修改、網(wǎng)站安全、網(wǎng)站殺毒、網(wǎng)站中毒、網(wǎng)站備份、網(wǎng)站恢復(fù)、網(wǎng)站備案、網(wǎng)站建設(shè)、技術(shù)咨詢、網(wǎng)站域名、網(wǎng)站空間、企業(yè)郵箱等）