哎呀呀,做網站SEO的時候,上海網站優化公司總是希望搜索引擎能多多光顧,但有時候,上海網站優化公司的小秘密頁面可不想被它發現哦,比如公司內部的小秘密基地、后臺登錄界面這些,上海網站優化公司可不想讓外人來個“驚喜訪問”。所以,得想個辦法阻止搜索引擎的小偵探們。
來來來,看個例子:這是搜索引擎拒絕訪問某個網站的截圖,可以看到,頁面描述里寫著“因為該網站的robots.txt文件存在限制指令,系統無法提供該頁面內容描述”。哈哈,這就是上海網站優化公司的秘密武器!
Robots.txt文件,簡直就是站點和蜘蛛之間的秘密通道。通過這個文件,上海網站優化公司告訴搜索引擎哪些地方是不能去的,或者哪些地方它可以去探索探索。
百度最近升級了它的Robots,現在如果你的網站里有些內容是不想被視頻搜索引擎收錄的,那就得用到這個robots.txt文件啦。不過,如果你的網站所有內容都希望搜索引擎收錄,那就不需要設置robots.txt文件啦。
對了,如果你的網站還沒有設置robots協議,那百度在收錄你的視頻URL時,會包括視頻播放頁URL、頁面中的視頻文件和視頻周邊文本等信息哦。而且,對于已經收錄的短視頻資源,用戶會直接看到視頻極速體驗頁。至于綜藝影視類長視頻,搜索引擎只會收錄頁面URL。