網頁去重算法-怎么和搜索引擎算法做斗爭，不知道大家有沒有仔細去研究過搜索引擎爬蟲抓取的一個過程，這里可以簡單的說一下：
一、定(要知道你準備在哪個范圍或者網站去搜索);百度提交，合作DNS，已有爬蟲入口
二、爬(將所有的網站的內容全部爬下來)
三、取(分析數據，去掉對我們沒用處的數據); 去重：Shingle算法》SuperShinge算法》I-Match算法》SimHash算法
四、存(按照我們想要的方式存儲和使用)
五、表(可以根據數據的類型通過一些圖標展示)
搜索引擎簡單的看就是抓取到頁面到數據庫，然后存儲頁面到數據庫，到數據庫取出頁面進行展現，所以這里面是有很多算法的，到現在搜索引擎為了防止作弊，更好的滿足用戶需求對很多算法已經進行改進，具體的有哪些基礎算法大家可以自己去了解(點擊： SEO算法 -進行了解 )。今天主要講的是源碼去重，也就是第三部取。
通過上面幾個步驟可以了解到，搜索引擎不可能把互聯(lián)網上的所有頁面都存儲到數據庫，在把你的頁面存到數據庫之前是要對你的頁面進行檢查的，檢查你的頁面是否跟已經存儲的頁面重復了，這也是很多seoer要去做偽原創(chuàng)增加收錄幾率的原因。
根據去重的基礎算法可以了解到頁面去重它是分代碼去重和內容去重的，如果我把別人網站的模板程序原封不動的拿過來做網站，那我需要怎么做代碼去重呢?今天分享一下怎么做代碼去重。
如圖，可以看到在每個模板的class后面加上自己的特征字符，這樣是既不不影響css樣式，又可以做到代碼去重的效果，欺騙搜索引擎，告訴它我這是你沒有見過的代碼程序。
很多東西說出來簡單，都是經過很多實操總結出來的，大家需要多去操作，那給大家提一下發(fā)散的問題。
如果去重算法有效的話，互聯(lián)網上面這么多相同程序的網站他們的代碼幾乎相同(很多程序用相同的模板：織夢，帝國等)，他們的權重排名為什么都可以做的很好?
去重算法他有一個發(fā)展升級的，簡單的說就是最開始的Shingle算法，到后面的SuperShinge算法再升級到I-Match算法之后到SimHash算法，現在每個搜索引擎的算法都是在這些基礎的算法上面進行升級改進，我們可以了解大致的原理。
簡單點說就是搜索引擎給每個頁面一個指紋，每個頁面分層很多個小模塊，由很多個小模塊組成一個頁面，就像指紋一樣由很多條線組成。
知道這個原理的話我們就知道現在大家所做的偽原創(chuàng)是沒有用的，打亂段落順序，改一些詞，是不會影響頁面指紋的。
真正的可以做到抄別人內容，還不被判定為重復內容要怎么去做呢?
首先了解一個機制，搜索引擎存儲的頁面數據他是分層級的，簡單點說就是你輸入一個搜索詞的時候它優(yōu)先排名的是優(yōu)質層的數據，其次再是普通層，劣質層。平時看到的很多高權重平臺他的內頁的排名也可以超過很多網站首頁有這里面的原因。
當2個網站程序代碼幾乎相同，內容也幾乎相同的時候，搜索引擎怎么去發(fā)現他們是重復的呢?
因為搜索引擎存儲的數據量很大，不可能每存儲一個新頁面就把之前所有存儲的頁面拿出來對比，那他只能是通過算法判斷拿出與新頁面標題描述相關的優(yōu)質層的頁面，來與新頁面進行重復度對比。如果重復度達到某個值那么他就會被判斷為重復內容，就被去重算法給去掉不被收錄，如果沒有被判定為重復內容則被收錄到劣質層。當你想對這個新頁面做優(yōu)化讓他的排名有所提，進入到優(yōu)質層，那它相應的要求也會提升，它會調取更多的頁面數據出來，與其進行對比，而不僅僅是通過調取相關標題描述的數據。這樣的話就會被搜索引擎發(fā)現，它不是原創(chuàng)的，通過綜合的一個評估不給予它進入到優(yōu)質層。
這也是我們看到的一個現象，為什么很多抄的內容可以收錄，但是沒辦法獲得好的排名。
如果我們抄了一篇文章，但是我們用了不同的標題，那對于搜索引擎來說，他在劣質層里面沒辦法發(fā)現他是重復的。這也是解釋很多奇怪的現象，比如圖中：
一個克隆的網站，因為標題的不同，搜索引擎在抓取去重過程中沒有發(fā)現它，但是之后如果這個頁面想要進去到優(yōu)質層數據庫，它就會被發(fā)現是重復的，不會給予好的排名展現。
總結：市面上面的偽原創(chuàng)工具是沒有用的，沒有影響要頁面的指紋，如果非要抄別人的修改標題即可，但是不會獲得好的排名。在新站初期可以用改標題的方法增加收錄，增加網站蜘蛛，中期開始要自己做內容，為獲得好的排名展現做鋪墊。
那如果就是想抄別人的內容，放到自己的網站上面，怎么把它變成優(yōu)質的內容?文章轉載：https://leosem.com/
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
