網(wǎng)站 ***.txt 顯示網(wǎng)頁代碼# www.***.com/User-agent: *sitemap: http://www.***.com/***.xml

***.txt是告知搜索引擎訪問網(wǎng)站的時(shí)候,，網(wǎng)站中哪內(nèi)容可以被抓取,，哪些禁止抓取等

其中帶#的注釋

User-agent表示定義哪個(gè)搜索引擎,，所面的*表示所有的，而Googlebot表示只針對(duì)google

而sitemap為網(wǎng)站地圖,，里面的內(nèi)容一般為

<urlset><!--必填標(biāo)簽--><url><!--必填標(biāo)簽,這是具體某一個(gè)鏈接的定義入口，每一條數(shù)據(jù)都要用<url>和</url>包含在里面,，這是必須的 --><loc>網(wǎng)頁地址</loc><!--必填,URL鏈接地址,長度不得超過256字節(jié)--><lastmod>最后修改時(shí)間</lastmod><!--可以不提交該標(biāo)簽,用來指定該鏈接的最后更新時(shí)間--><changefreq>更新頻率</changefreq><!--可以不提交該標(biāo)簽,用這個(gè)標(biāo)簽告訴此鏈接可能會(huì)出現(xiàn)的更新頻率：always ,，hourly ，daily ,，weekly ,，monthly ,，yearly ，never--><priority>優(yōu)先權(quán)</priority><!--可以不提交該標(biāo)簽,用來指定此鏈接相對(duì)于其他鏈接的優(yōu)先權(quán)比值,，此值定于0.0-1.0之間--></url></urlset>

Tags：代碼頁面txt

文章版權(quán)聲明：除非注明,，否則均為便查問答網(wǎng)原創(chuàng)文章，轉(zhuǎn)載或復(fù)制請(qǐng)以超鏈接形式并注明出處,。