Устранение дублей страниц

Под дублями понимаются страницы сайта, которые содержат повторяющийся контент, то есть дублируют друг друга. Причины дублей различны, а последствия − неутешительны для оптимизаторов.

    Разобравшись с причинами возникновения дублей, можно определить метод борьбы с ними:
  • Не стоит 301 редирект на главное зеркало
  • Неправильная настройка ЧПУ
  • Страницы со слешем на конце и без
  • Сессионные дубли
  • Не настроен обработчик 404 ошибки
  • Наличие на сайте реферальной системы
  • Присутствие на сайте страниц для печати и других, подобных страниц
    Поиск дублей:
  • Визуальная проверка списка (страницы в индексе + сканирование XENU)
  • Поиск в пределах сайта уникальной фразы с типовой страницы (главн., раздел, карточка)
  • Проверка по запросу rhost=»ru.url.*»
  • Проверка дублей при сортировках
  • Проверка на абракадабру после URL
  • Поиск по сайту разными поисками (/?from_direct )
    Способы устранения дублей:
  1. Использование SEF-компонентов (например, sh404SEF)
  2. Запрещение к индексации дублей при помощи robots.txt
  3. Устранение идентификатора сессии адреса при помощи вставки в .htaccess следующего кода:
    php_flag session.use_trans_sid off
    php_flag session.use_cookies on
    php_flag session.use_only_cookies on

  4. В CMS Joomla, при переходе из выведенного на сайте раздела к категории, к url будет добавляется следующий код - &layout=default.
    Чтобы избежать этого, достаточно в файле
    components/com_content/views/section/view.html.php следующую строчку кода -
    $category->link = JRoute::_(ContentHelperRoute::getCategoryRoute($category->slug, $category->section).\'&layout=default\');
    изменить следующим образом:
    $category->link = JRoute::_(ContentHelperRoute::getCategoryRoute($category->slug, $category->section));
  5. Необходимо помнить, что для любого поисковика страница, заканчивающаяся на /, и без / - это две разные страницы. Таким образом, если на сайте используется SEF URLs без .html на конце (скажем, в \"Общих настройках\" joomla - \"Установки SEO\" - \"Добавить суффикс к URL\" - Нет), то вновь появляются дубли, которые можно убрать при помощи .htaccess:
    RewriteCond %{REQUEST_URI} (.*/[^/.]+)($|\\?) RewriteRule .* %1/ [R=301,L]
  6. Дубли главной страницы можно убрать, поместив в .htaccess следующие строчки:
    RewriteBase /
    RewriteCond %{HTTP_HOST} ^www.vash_site$ [NC]
    RewriteRule ^(.*)$ http://vash_site/$1 [R=301,L]
    RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\\ /index\\.php\\ HTTP/
    RewriteRule ^index\\.php$ http://vash_site/ [R=301,L]
Нашли полезные статьи? Расскажите друзьям!

Спасибо!