專業(yè)的站長(zhǎng)應(yīng)該了解robots文件是什么了，其實(shí)這個(gè)是專門給搜索引擎提供的一個(gè)信息，可以告訴蜘蛛哪些網(wǎng)站文件可以抓取，哪些是不可以抓取的。有了這個(gè)文件的支持，可以說(shuō)對(duì)網(wǎng)站是有很大的幫助。
廊坊網(wǎng)站建設(shè)的工作人員在下面會(huì)將自己對(duì)robots文件的書寫規(guī)范知識(shí)分享給大家，以下是詳細(xì)介紹。
首先大家要做的是，將該文件中可以寫好Sitemap: http://www.***.com/sitemap.xml的網(wǎng)址，這可以告訴搜索引擎，我們的網(wǎng)站中有地圖，可以更好的指引蜘蛛前來(lái)抓取。
如果網(wǎng)站是動(dòng)態(tài)的，并且您為這些網(wǎng)頁(yè)創(chuàng)建了靜態(tài)副本，以供搜索蜘蛛更容易抓取，那么你需要在robots文件里設(shè)置避免動(dòng)態(tài)網(wǎng)頁(yè)被蜘蛛索引。
最后，您的網(wǎng)站中會(huì)有重要的文件不想被抓取，這時(shí)候可以屏蔽，例如Disallow:/。想要抓取莫些頁(yè)面的時(shí)候可以利用Allow:/，這樣分清楚，可以更好的指引搜索引擎抓取網(wǎng)站頁(yè)面。
sjfc2008@126.com 
