<s id="67t22"></s>

      1. <button id="67t22"></button>
        1. 誤操作robots.txt禁止spider抓取如何處理?

          2020-09-07 17:38:11

          什么是robots.txt?百度百科的解釋是"robots.txt一般指Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”(Robots Exclusion Protocol),網站通過Robots協議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。"


          用大白話解釋一遍:robots.txt文件就是網站的一扇門,關掉門就把搜索引擎spider拒之門外了,打開門spider就可以隨意觀賞你網站的每個角落,發現好看的地方就會拍照留存,你也是可以通過設置robots文件的內容,禁止spider看你的私人臥室的。當然spider有時候可能好奇心比較重,會破門而入那就是特殊情況了。


          網絡推廣公司


          如果在網站優化的過程中,因為誤操作不小心把這扇門給關上了,就意味著是私人領地禁止spider訪問,搜索引擎spider會很紳士的回去,下一次再來拜訪,多次拜訪后還是禁止訪問,spider就明白你的意思了,不會再來拜訪了!spider會認為你的網站內容不適合公開,就不會在搜索引擎中給予任何排名。


          為了保證搜索體驗,搜索引擎還是會把你網站首頁留存在索引里面,當別人查詢的時候就告訴別人,我曾經多次訪問過這個網站,但它把我拒之門外了,我是紳士所以不能訪問這個網站的內容,你可以點擊這個排名結果訪問。


          一:如果你的網站是希望通過搜索引擎獲取排名的,但卻因為誤操作通過robots.txt文件,封禁了搜索引擎的抓取,如何處理呢?


          1.修改Robots封禁為允許,然后到百度站長后臺檢測并更新Robots。


          2.在百度站長后臺抓取檢測,此時顯示抓取失敗,沒關系,多點擊抓取幾次,觸發蜘蛛抓取站點。


          3.在百度站長后臺抓取頻次,申請抓取頻次上調。


          4.百度反饋中心,反饋是因為誤操作導致了這種情況的發生。


          5.百度站長后臺鏈接提交處,設置數據主動推送(實時)。


          6.更新sitemap網站地圖,重新提交百度,每天手工提交一次。


          正確的處理robots封禁文件后,搜索引擎會在一周的時間內,重新抓取你的網站,你的網站就會恢復到正常抓取狀態!雖然處理這個問題并不難,畢竟多多少少會給網站帶來損失,因此還是需要seoer們多多注意的。


          二:什么情況下會導致誤操作封禁了robots.txt文件呢?


          1.在網站建設或開發的前期,一般都會封禁robots.txt文件,禁止spider抓取,而網站上線后卻忘記了修改robots文件;


          2.在網站升級或改版的時候,如果技術選擇了在線開發,但為了避免spider抓取開發版本,造成不好的印象,而要求技術人員設置了Robots封禁處理,版本迭代卻忘了更新robots文件;


          3.對robots.txt文件的設置使用不熟練,也有可能錯誤的禁止了某些本該開放抓取的文件,或者開放了某些本該禁止抓取的文件。


          Z近瀏覽:

          通過祥云平臺網絡營銷獲取更多客戶

          留下你的聯系方式,服務顧問盡快與你聯系

          • 7x24

            在線售后支持

          • 10

            +

            10年互聯網服務經驗

          • 300

            +

            全國300余家服務機構

          • 5000

            +

            5000多人一對一服務

          • 70000

            +

            與70000余家企業客戶攜手

          服務熱線

          18174101275

          公司:廣西華企網絡科技有限公司

          地址:廣西南寧市西鄉塘區北湖北路2號大唐天城7棟1501室

          備案碼:桂ICP備19007543號-1

          廣西華企網絡科技有限公司主要從事南寧網絡公司,網絡公司,網站建設,南寧網站建設,南寧網站推廣, 歡迎來電咨詢!

          網站中有部分文字內容和圖片來源于網絡,如有侵權請告知刪除!
          久草园视频网