Издадохме нова книга „Маркетинг на съдържанието в в социалните мрежи: Как да влезете в главата на абонатите и да се влюбите във вашата марка.

Дублиращи се страници са страници, които са еднакви една с друга на различни URL адреси. Копията на страници затрудняват индексирането на сайтове търсачкио

Какво представляват дублиращи се страници в сайта

При използване могат да възникнат дубликати различни системипопълване на съдържание. Добре е за потребителя, ако дубликатите са на един и същ сайт. Но търсачките, след като открият дублиращи се страници, могат да приложат филтър / по-ниски позиции и т.н. Следователно дубликатите трябва да бъдат бързо премахнати и да се опитат да не им позволяват да се появяват.

Какви са видовете дубликати

Дублиращите се страници в сайта са както пълни, така и непълни.

• Непълни вземания- когато фрагменти от съдържание се дублират на ресурса. Така, например, и поставяйки части от текста в една статия от друга, ще получим частично дублиране. Понякога такива дубликати се наричат ​​непълни.
• Пълни вземанияса страници, които имат пълни копия. Те влошават класирането на сайта.

Например много блогове съдържат дублирани страници. Дубликатите засягат класирането и намаляват стойността на съдържанието до нищо. Следователно трябва да се отървете от дублиращи се страници.

Причини за дублиране на страници

1. Използване на системата за управление на съдържанието(CMS) е най-честата причина за дублиране на страници. Например, когато един запис в даден ресурс принадлежи към няколко категории едновременно, чиито домейни са включени в адреса на сайта на самия запис. Резултатът е дублирани страници: например:
   wiki.site.ru/blog1/info/
   wiki.site.ru/blog2/info/
2. Техническа частс. Тук Bitrix и Joomla грешат най-много. Например, една от функциите на сайта (търсене, филтриране, регистрация и т.н.) генерира параметрични адреси със същата информация по отношение на ресурс без параметри в URL. Например:
   site.ru/rarticles.php
   site.ru/rarticles.php?ajax=Y
3. Човешки фактор. Тук, на първо място, това означава, че човек поради невнимание може да дублира една и съща статия в няколко раздела на сайта.
4. Технически грешки. При неправилно генериране на връзки и настройки в различни системи за управление на информация възникват грешки, които водят до дублиране на страници. Например, ако връзката е крива в системата Opencart, тогава може да възникне цикъл:
   site.ru/tools/tools/tools/…/…/…

Защо дублиращите се страници са опасни?

1. Оптимизирането на сайта в търсачките става много по-трудно. Може да има много дубликати на една страница в индекса на търсачката. Те пречат на индексирането на други страници.
2. Загубени външни връзки към сайта. Копията затрудняват идентифицирането на подходящи страници.
3. Има дубликати в изхода. Ако дублираният източник е снабден с поведенчески показатели и добър трафик, тогава когато данните се актуализират, той може да заеме мястото на основния ресурс в резултатите от търсачката.
4. Загубени позиции в издаването на търсачките. Ако в основния текст има неясни дубликати, тогава статията може да не влезе в SERP поради ниска уникалност. Така например част от новината, блога, публикацията и т.н. може просто да не бъдат забелязани, тъй като алгоритъмът за търсене ги приема за дубликати.
5. Вероятността основният сайт да попадне под филтъра на търсачките се увеличава. Google търсачкии Yandex се борят срещу неуникалната информация, на сайта могат да бъдат наложени санкции.

Как да намерите дублиращи се страници

За да премахнете дублиращи се страници, първо трябва да ги намерите. Има три начина за намиране на копия на сайта.

Как да премахнете дублиращи се страници

Трябва да се отървете от дубликати. Необходимо е да се разберат причините за появата и да се предотврати разпространението на копия на страници.

• Можете да използвате вградените функции на търсачката. В Google използвайте атрибут във формата rel="canonical". Тагът е вграден в кода на всяко вземане във формата , който сочи към основната страница, която трябва да бъде индексирана.
• Можете да деактивирате индексирането на страници във файла robots.txt. По този начин обаче няма да е възможно напълно да се премахнат дубликатите в търсачката. В крайна сметка за всеки отделна страницане можете да пишете правила за индексиране, това ще работи само за групи от страници.
• Можете да използвате 301 пренасочвания. Така че роботите ще бъдат пренасочени от дубликата към оригиналния източник. В този случай отговорът 301 на сървъра ще им каже, че такава страница вече не съществува.

Дубликатите влияят на класирането. Ако те не бъдат премахнати навреме, тогава има голяма вероятност сайтът да попадне под филтрите Panda и ACS.

Отчетът групира страниците в четири групи за уникалност. Разделението се основава на степента на сходство. Допълнително е дадена статистиката за запълване на страницата с текстово съдържание.

Дублиращи се страници, които се появяват на сайта, пречат на ефективното популяризиране на портала. След като създадете ресурс, трябва да се отървете от подобни смущения възможно най-скоро и да предотвратите появата им в процеса на работа.

Дубликатът е отделна страница (документ) на портала, чието съдържание напълно или частично съвпада с публикуваната информация. Данните могат да бъдат дублирани по няколко причини. Между тях:

• Изкуствено създаване от собственика на страниците за изпълнение на редица функции. Пример би бил печатни формиза копиране на информация за продукт/услуга.
• Генерация на двигателя. CMS създава дубликат, който има различен адрес и се намира в различна директория.
• Грешки на уеб администратора, управляващ ресурса. Например един портал може да има две еднакви главни страници с различни url адреси („name.ru“ и „name.ru/index.php“).

Поради горните причини има ясен двойник. Освен това може да възникне частично припокриване на съдържанието. Такива малки пречки са страници, които имат обща част от шаблона на портала и се различават по малко съдържание (резултати от търсене или отделни елементи на статията).

Търсенето на дублирани страници на сайта е необходима мярка за предотвратяване на различни грешки и проблеми, свързани с промоцията в търсачките.

Проверете за дублирани страници

Техният отчет ще ви каже броя на уникалните страници, дела на дублираното съдържание, броя на думите и граматическите грешки на страницата. Групите могат да бъдат сортирани.

В края на анализа услугата ще генерира отчет, в който можете да проверите съдържанието си за дубликати. Справката е представена под формата на диаграма с уникалността на съдържанието в сайта.

Дублираното съдържание, за да се улесни намирането на дублиращи се страници, попада в четири категории:

• единствен по рода си;
• много подобно;
• почти дубликати;
• пълни дубликати;
• не е каноничен.

Докладът е предназначен да улесни търсенето на дублиращи се страници в сайта. Показва списък с подобни страници.

Търсене на дублиращи се страници

Проверката на страници с помощта на услугата SiteReport ви позволява бързо да намерите дубликати и да ги премахнете. Услугата предоставя информация в проста и визуална форма.

Отчетът показва дела на дублиращи се тагове и мета тагове. Качване на информация в csv файлще можете да проверите уникалността на съдържанието на страницата с дубликати.

Например разделът „Тагове“ съдържа резултатите от проверката на сайта чрез търсене на дубликати сред таговете и мета таговете, поставени на страниците. Получената информация е първото нещо, на което трябва да обърнете внимание, когато идентифицирате дублирано съдържание.

Докладът предоставя:

• диаграма за попълване на тагове и броя на дублиращите се тагове на страниците;
• диаграми на динамиката, съдържанието и разпределението на таговете;
• подобие на страницата.

За извършване на корекции и допълнителен анализ услугата има функция за качване на данни в CSV файл.

Проверете уебсайта за дублиращи се страници

Следващата стъпка е анализ на съдържанието. Резултатите от търсенето на дублирани страници чрез проверка на съдържащата се информация са представени в специален раздел.

Докладът включва:

• диаграми за количество и дублирано съдържание;
• списък с адреси на страници, включени в търсенето, с посочване на характеристиките на съдържанието (граматически грешки, обем и уникалност на информацията);
• осева таблицаполучени данни.

В допълнение към изпълнението на горните функции, услугата SiteReport ви позволява да провеждате много други видове анализ на ресурси. Предлага се и генериране на XML карта на сайта.

По този начин, използвайки нашата услуга, можете бързо да търсите и проверявате сайта за дублирано съдържание. След като получите информацията под формата на отчет, можете да вземете решение за оптимизиране на съдържанието.

Наличност дубликати на вътрешни странициможе да доведе до грешки при индексирането на сайта и дори да анулира резултатите от промоцията. Например, ако популяризираната страница има дубликати, след следващата актуализация един от тях може да замени желаната страница в резултатите от търсенето. И това обикновено е придружено от значително потъване на позициите, тъй като дубликатът, за разлика от популяризираната страница, няма маса от връзки.

Откъде идват дублиращите се страници?

Както току-що споменах, има ясни и неясни снимки.
Ясните дубликати са страници с абсолютно същото съдържание, които имат различни URL адреси- адреси.Например страница за печат и нормалния й оригинал, страници с идентификатори на сесии, същите страници с различни разширения (.html, .php, .htm). Повечето ясни дубликати се генерират от двигателя на сайта, но има и такива, които възникват поради невнимание на уеб администратора. Например различни URL адреси за начална страница– за един от нашите клиенти доскоро „лицето“ на напълно статичен сайт (без двигател) беше достъпно на три различни URL адреса: site.ru/, site.ru/index.html и site.ru/default. html. Много често се появяват ясни дубликати след промяна на дизайна и структурата на сайта - всички страници получават нови URL адреси, но старите URL адреси също работят и в резултат на това всяка страница е достъпна на 2 различни URL адреса.

Неясни дубликати са страници с много подобно съдържание:
–където съдържателната част е много по-малка от проходната част: страници с галерии (където съдържанието на самата страница се състои само от една снимка, а останалите са кръстосани блокове), страници с продуктови артикули с описание на продукта само в едно изречение и др.
– страници, които частично (или изцяло, но в различен ред) повтарят едно и също съдържание. Например страници с продуктови категории в онлайн магазини, където едни и същи продукти са сортирани по различни показатели (по цена, по новост, по рейтинг и т.н.) или страници с категории, където едни и същи продукти се пресичат с едни и същи описания. Както и страници за търсене в сайта, страници с новинарски съобщения (ако едно и също съобщение се използва на няколко страници) и др.

Как да определите дали има дубликати на сайта?

Можете да определите наличието на вътрешни дубликати на сайта с помощта на търсенето в Yandex.За да направите това, в реда за търсене в разширеното търсене трябва да въведете част от текста на страницата, за която се подозира, че е дубликат (текстът трябва да бъде въведен в кавички), като посочите вашия домейн в реда „на сайта ". Всички намерени страници могат да бъдат ясни или размити дубликати една на друга:

Можете също да идентифицирате дубликати, като използвате Търсене в Google. За да направите това, трябва да въведете част от текста на проверяваната страница в кавички в полето за търсене и да посочите областта за търсене през интервала - site:examplesite.ru. Пример за заявка за проверка за дубликати:

„Дълго изречение от десет до петнадесет думи от страница, за която подозираме, че има дубликати и искаме да потвърдим или отхвърлим това“ site:examplesite.ru

Ако има дубликати, ще изглежда така:

Как да се отървете от дублиращи се страници?

Най-добрият начин да се отървете от дубликати зависи от това как дубликатът се е появил на сайта и дали има нужда да го оставите в индекса (например, ако е продуктова категория или страница с галерия).

Директива Disallow в Robots.txt

Директива "забранявам"се използва за забрана на индексирането на страници от роботи за търсене и за премахване на вече индексирани страници от базата данни. Това е най-добрият вариант за справяне с дубликати в случаите, когато дублиращите се страници се намират само в определени директории или ако URL структурата ви позволява да затворите много дубликати с едно правило.
Например, ако трябва да затворите всички страници с резултати от търсене в сайта, които се намират в папката www.examplesite.ru/search/, достатъчно е да напишете следното правило в Robots.txt:

Друг пример. Ако знакът "?" е идентификатор на сесия, можете да предотвратите индексирането на всички страници, съдържащи този знак, с едно правило:

По този начин ясни дубликати могат да бъдат забранени от индексиране: страници за печат, страници с идентификатори на сесии и т.н., страници за търсене в сайта и т.н.
Описание на директивата "Disallow" в раздела за помощ на Yandex
Описание на правилата за блокиране и изтриване на страници в Google Help

rel=каноничен етикет

Етикет rel=канониченсе използва, за да посочи на роботите коя страница от групата дубликати трябва да участва в търсенето. Тази страница се нарича каноничен.
За да посочите каноничната страница на роботите, е необходимо да регистрирате нейния URL на неосновни страници:

Този начин за премахване на дубликати е чудесен, ако има много дубликати, но е невъзможно да ги затворите с едно правило в Robots.txt поради особеностите на URL адреса.

301 пренасочване

301 Постоянно пренасочванеизползвани за пренасочване на потребители и ботове за търсене от една страница към друга. Трябва да използвате този метод, ако някои страници са променили своя URL адрес в резултат на промяна на двигателя или структурата на сайта и една и съща страница е достъпна както на стария, така и на новия URL адрес. Пренасочване 301 сигнализира на търсещите ботове, че страницата е променила трайно адреса си на нов, което води до прехвърляне на теглото на старата страница към новата (в повечето случаи).

Можете да настроите пренасочване от една страница към друга, като напишете следното правило във файла .htaccess:

Пренасочване 301 /category/old-page.html http://www.melodina.ru/category/new-page.html

могат да бъдат персонализирани и масово пренасочванеот страници от един тип към друг, но това изисква те да имат една и съща URL структура.

Как да направите 301 пренасочване в блога Devaka.ru .

Творчество

Има случаи, когато страници, които имат признаци на размити дубликати, съдържат полезна информацияи не бих искал да ги премахвам от индекса. Какво да направите в този случай? Променете, добавете или уникализирайте съдържанието.
Например, ако проблемът с размитите кадри се дължи на твърде много навигация, трябва да потърсите начини за увеличаване на съдържателната част или.

Често се случва така страниците с описания на продукти от една и съща категория са много сходни една с друга. Не винаги е възможно да се уникализира такъв текст и не е препоръчително да се затваря за индексиране (това намалява съдържанието). В този случай може да се посъветва да добавите някои интересни блокове към страниците: рецензии на продукти, списък с разлики от други продукти и др.

В случай, че много от едни и същи продукти с еднакви описания са показани в различни рубрики, можете също да приложите творчески подход. Да кажем, че има онлайн магазин за чанти, където едни и същи продукти са изложени в няколко категории едновременно. Например, дамска кожена чанта с дръжка от Chanel може да бъде изложена едновременно в 4 категории: дамски чанти, кожени чанти, ръчни чанти и чанти Chanel. В това няма нищо лошо, тъй като чантата наистина е подходяща за всичките 4 категории, но ако рекламата с описанието на чантата се показва във всички тези категории, това може да бъде вредно (особено ако има много припокриващи се продукти) . Изходът е или изобщо да не се показват обяви на заглавните страници, или да се намалят до минимум и автоматично да се променят описанията в зависимост от категориите, в които се показва продуктът.
Пример: Стилна [дамска] [кожена] чанта в черно [с дръжка] за всеки ден.

Срещнах много различни вариантивътрешни дубликати на сайтове с различна сложност, но нямаше проблем, който да не може да бъде разрешен. Основното нещо е да не отлагате проблема с дубликатите до желаните страницище започне да излиза от индекса и сайтът ще започне да губи трафик.

Добър ден приятели! От много време читатели на блога ме молеха да направя публикация за това как да се отърва от replytocom. Тази тема е уместна, защото поради това в индекса се получават огромен брой подобни страници с параметри за коментари. Работата е там, че много блогове се създават на WordPress CMS, който греши с дублиране на коментари. Затова реших да дам цялата информация не само за replytocom. В статията разкривам концепцията за дублираното съдържание, давам метод за намиране на дублиращи се страници на сайта и обяснявам защо те трябва да бъдат елиминирани. И в следващия пост ще ви покажа как да ги премахнете.

Дублирано съдържание на сайта

Двойниците са различни - тихи и заразителни. 🙂 Сериозно, дублиращата се страница е документ на сайт, който може да има напълно или частично същото съдържание. Разбира се, всеки дубликат има свой собствен адрес (url на страницата). Ясен дубликат на страница може да възникне поради следните причини:

• изкуствено създадени от собственика на сайта за специални нужди. Например страници за печат, които позволяват на потребителя на търговски сайт да копира информация за избран продукт/услуга.
• се генерират от двигателя на ресурсите, тъй като го имат в тялото си. Някои съвременни CMS предоставят подобни страници с различни URL адреси, поставени в техните собствени различни директории.
• се появяват поради грешки на уеб администратора, който управлява сайта. Например, един ресурс може да има две еднакви главни страници с различни адреси (например site.ru и site.ru/index.php).
• възникват по повод на промяна в структурата на сайта. Например, когато създавате нов шаблон с различна url система, новите страници със старо съдържание получават напълно различни адреси.

Страници, които частично дублират съдържание, получават размит дубликат. Такива страници имат обща част от шаблона на сайта, но се различават по малко съдържание. Например, такива малки дубликати могат да бъдат страници с ресурси, които имат резултати от търсене или отделни елементи на статия (например снимки - това е много често срещано в много шаблони на блогове).

На следващата фигура съм събрал най-често срещаните опции за дублиращи се страници, които са присъщи на блог с двигателя на WordPress (с изключение на различни плъгини и шаблонни чипове, които също често създават дублирани документи):

Наличието на дублирани страници в сайта може да означава, че или уеб администраторът не знае за тяхното присъствие, или просто не знае как да се справи с тях. И трябва да се борите с тях, тъй като те водят до различни грешки и проблеми по отношение на промотирането в търсачките. Нека поговорим за това сега.

Защо трябва да премахнете дублиращи се страници

Но колкото и пасивни да са дублираните страници, те могат да поставят конкретно прасе на собственика на всеки сайт или блог. Така че защо дублираното съдържание е толкова опасно? Ето основните проблеми, които възникват, когато има дубликати:

Влошаване на индексирането на сайта. Наричам този проблем номер 1. Факт е, че в зависимост от източника и грешките на уеб администратора, една страница на сайта може да има от един до няколко или повече дубликати. Например, основният може да съгреши с два или три дубликата, а публикациите в блога поради вездесъщия replytocom ще бъдат копирани според броя на коментарите. И ако блогът е популярен, тогава броят на "левите" страници ще бъде огромен. А търсачките (особено Google) не обичат дубликати и затова често подценяват позицията на самия сайт.

Замяна на съответната страница. Алгоритъмът на търсачката може да сметне дубликата за по-подходящ от популяризираната оригинална страница (). По този начин проблемът няма да съдържа целевата страница, а неин клонинг. Но този клонинг има напълно различни второстепенни параметри (тегло на връзката,), които с течение на времето песимизират сайта в сърпа на търсачката.

Така че нека обобщим горното. Дублиращите се страници създават пречка за нормалното индексиране на сайта, стават източник на неправилен избор от търсачката на съответната страница, отнемат влиянието на естествените външни връзки. Освен това дубликатите неправилно разпределят теглото на вътрешната връзка, отнемайки силата на популяризираните страници и променяйки поведенческите индикатори:

Като цяло дубликатите са голямо зло в промоция при търсенеи кошмарът на оптимизатора. 🙂

Как да идентифицирате и проверите дублирани страници

Яжте различни начинитърсене и проверка на дублирани страници. Те изискват различни нива на познаване на CMS и разбиране на това как работи индексът за търсене. Ще ви покажа най-лесния начин. Това не означава, че ако е просто, значи не е точно. С негова помощ лесно се откриват дублирани документи на сайта. И най-важното - този метод не изисква специални познания и не отнема много време.

За да намерите и проверите сайта си за дублиращи се страници, трябва или да използвате разширеното търсене на Yandex (Google), или веднага да въведете специална заявка в полето за търсене. Нека първо разгледаме първия вариант.

Проверка на сайта за дубликати чрез разширено търсене

Разширеното търсене на Yandex ви позволява да получите по-точни резултати поради изясняващи параметри на заявката. В нашия случай се нуждаем само от два параметъра - адреса на сайта и част от текста на страницата, на която търсим дубликати. Първо избираме текста, който е на тази страница от нашия сайт (например, взет е напълно чужд ресурс), който ще проверим за дубликати. След това отива в разширеното търсене на Yandex и въвежда част от съдържанието и адреса на сайта на съответните позиции:

След това натискаме заветната дума „Намери“ и руската търсачка започва да генерира резултати. Няма да се окаже този, който обикновено виждаме - ще се състои изцяло от заглавия и фрагменти само от нашия ресурс. Освен това, ако има само един резултат от търсенето в резултатите от търсенето, тогава всичко е наред - няма дублирано съдържание на тази страница. Ако има няколко резултата в получения сърп, тогава ще трябва да вземете лопата:

В моя пример търсачката намери няколко неясни дубликати - брой страници от пагинация за някои заглавия. Веднага става ясно, че на този сайт страницата с подчертания текст за рецептата за салата беше ясно поставена в различни заглавия наведнъж. И тъй като нямаше забрана за индексиране на страници за пагинация за този ресурс, в индекса се появиха всякакви дубликати.

Сега помислете за същите действия за чужда търсачка. Отиваме на страницата за разширено търсене на Google и извършваме същите действия:

След като попълним всичко необходимо в разширеното търсене, получаваме индексирането на сайта, който се изследва, според посочения фрагмент от текст:

Както можете да видите, Google също индексира неточни дубликати на изследваната страница - при издаването на всички същите заглавни страници.

По принцип можете да получите същите резултати, без да използвате разширено търсене. За да направите това, трябва да напишете следната заявка в проста версия на Google или Yandex. И това е вторият начин за определяне на дубликати.

Търсене на дублиращи се страници чрез специална заявка

Използвайки разширеното търсене, можете лесно да намерите всички дубликати за даден текст. Разбира се, с помощта този методняма да получим дублирани страници, които не съдържат текст. Например, ако дубликат е създаден от „крив“ шаблон, който по някаква причина показва на друга страница снимка, която е на оригиналната страница. Тогава такъв дубликат не може да бъде намерен по гореописания метод. В този случай ще трябва да използвате друг метод.

Същността му е проста - с помощта на специален оператор изискваме индексиране на целия ни сайт (или отделна страница) и ръчно разглеждаме изхода в търсене на дублиращи програми. Ето синтаксисните правила за тази заявка:

Когато посочим адреса на главната страница в заявката, ние просто получаваме списък със страници, индексирани от робота за търсене. Ако посочим адреса на конкретна страница, тогава получаваме списък с индексирани дубликати на тази страница. В Yandex те се виждат веднага. Но в Google всичко е малко по-сложно - първо ще ни бъдат показани онези страници, които са в основния брой:

Както можете да видите на снимката, в основния брой имаме една страница от сайта и тя също е оригиналната. Но има други страници в индекса, които са дубликати. За да ги видите, трябва да кликнете върху връзката "Покажи скрити резултати":

В резултат на това ни се дава списък с дубликати, които Google индексира и свърза към оригиналната страница (номер 1 на снимката). В моя пример страници с позиции 2 и 3 станаха такива дубликати.

Втората позиция е заета от дубъл, който е тракбек на този документ ( автоматично известяване на други сайтове в тази публикация). Нещото със сигурност е необходимо, но присъствието му в индекса не е желателно. Собственикът на този сайт разбира това много добре и затова наложи забрана за индексиране на обратни връзки от сайта. Това се указва от надписа "Описанието на уеб страницата не е достъпно поради ограничения във файла robots.txt." Ако погледнете инструкциите за търсачките (robots.txt), ще видим следната картина:

Благодарение на последните директиви, авторът на сайта посочи забраната за индексиране на trackbacks. Но за съжаление Google поставя в своя индекс всичко, което му попадне. И тук просто трябва да премахнете дубликати от базата данни. ще говорим за това във втората статия за дублираното съдържание.

Третата позиция показва любимия replytocom от много блогъри. Получава се чрез използване на коментари в блогове и уебсайтове. И благодарение на него има просто огромен куп дубликати - обикновено този брой е приблизително равен на броя на коментарите в ресурса. В нашия пример този атрибут, подобно на обратната връзка, е затворен за индексиране. Но Google също го вкара в своя индекс. Освен това трябва да се почисти ръчно.

Между другото, ако леко променим нашата заявка, можем да получим същите резултати, което дава разширено търсене на дубликати в част от текста:

И така, приятели, в тази статия отворих завесата за концепцията за дублирани страници и тяхното успешно търсене и проверка. Като консолидация на обхванатия материал предлагам да гледате моето видео по тази тема. В него ясно показах не само днешния материал в две части, но и добавих други примери за дублирано съдържание:

В следващата статия ще научите. Ще се видим!

С уважение, Вашият Максим Довженко