Тонкая настройка модуля XML Sitemap с привязкой таксономии в Drupal

Для улучшения информационной архитектуры ресурса на базе CMF Drupal требуется установить несколько модулей. Они добавляют те опции, которые не входят в коробочную версию. На примере простенького сайта разберём какие компоненты модулей нам потребуются и как их грамотно настроить. В этой части обзора речь пойдёт о тонкой настройке модуля XML Sitemap.

Выбор компонентов модуля XML Sitemap

Первым делом скачиваем: XML Sitemap.

После скачивания модуля распакуем архив и выберем только нужные нам компоненты, остальное удалим. Я не буду расписывать всё, что нужно оставить, просто выложу скриншот с папки модуля, готовой к заливке на сервер.

XML Sitemap

Здесь нам нужно всего лишь 3 компонента: XML sitemap, XML sitemap node, XML sitemap taxonomy. Первый — базовый, второй позволяет добавлять в карту любые типы страниц, третий для таксономии.

Нужны только три компонента т.к. большинство сайтов не содержат в профилях пользователей каких бы то ни было ценных данных. Следовательно профили пользователей вообще индексировать ни к чему, уменьшим очередь обхода и оставим приоритет за контентом.

Настройка XML Sitemap

Все нужные компоненты выбраны, заливаем их на сервер. Включаем модули и переходим к настройке.

/admin/settings/xmlsitemap/settings

Порядок настройки XML Sitemap и пояснения

Пояснений практически не требует. Минимальное время жизни карты устанавливаем в зависимости от объема информации. Для больших сайтов во избежание постоянной перестройки карты, вызывающей нагрузку, ставим побольше. Если сайт маленький 10-400 нод, то его можно не устанавливать вовсе.

Использовать стили — включает улучшенное оформление карты сайта для восприятия человеком. Практически бесполезная опция.

Prefetch URL aliases — когда включено, обрабатывает все URL синонимы одним разом по запуску крона. Для малых сайтов(10-400 нод) можно включить.

Количество ссылок на одну карту сайта — эта опция определят порог количества адресов, после которого лишние URL будут попадать в дополнительную карту сайта. Карты автоматически объединяются индексным файлом. Если у Вас более 25000 адресов, то имеет смысл кастомизировать опции для понижения нагрузки на генерацию.

Maximum numbers to process at once — сколько адресов обрабатывать за один запуск крона для добавления в карту сайта. Если контент часто обновляется, во избежание нагрузки выставляйте 100-200. Число будет также зависеть от того на сколько часто у вас запускается Cron.

Default Base URL — полный путь главного зеркала сайта. Либо с www, либо без www. В зависимости от ваших предпочтений.

Last modification date format — формат штампа даты последнего обновления. Ставим полный.

Эта секция настраивает словари таксономии, которые должны быть отображены в карте сайта. Включить в карту нужно весь полезный контент, который должен быть проиндексирован. Исключить стоит те словари, которые не несут информационной ценности для пользователей, пришедших с поисковика.

Здесь же можно посмотреть статистику карты и увидеть какие адреса ожидают обработки, какие ещё не обработаны и какие уже находятся в карте сайта.

Почти всегда целесообразно для главной страницы ставить приоритет 1. Это высший приоритет и первой в списке будет сканироваться главная страница сайта. Это разумно т.к. большинство сайтов выводят новые материалы именно на главную.

Частоту обновления нужно установить в зависимости от того, как часто обновляется главная страница. Если новое появляется раз в день, то daily — оптимальное значение, если раз в неделю, то weakly.

Последняя полезная секция настраивает присутствие отдельных типов содержимого в карте Drupal. Можно включить или исключить из карты типы содержимого не являющиеся контентными и те, что не требуется индексировать.

Настройка карты сайта для отдельных страниц

Не стоит забывать, что любую отдельную страницу созданную пользователем (ноду) можно настроить отдельно. Это полезно, когда маска запрещает весь спектр страниц одного типа материала, но нужно включить в карту отдельную страницу.

Соответствующая секция появится при редактировании и создании нового материала.

Более того, подобная настройка будет доступна и индивидуальна для каждого отдельного словаря и термина таксономии.

Запуск обновления карты

После настройки типов материалов, словарей и терминов таксономии запускаем обновление карты сайта.

admin/settings/xmlsitemap/rebuild

Опцию save and restore лучше оставить включенной, это предотвратит сброс настроек для отдельно сконфингурированных страниц. После добавления нового содержимого оно не попадает в карту сразу, это происходит после ручного либо автоматического запуска хронометра.

Также не стоит запускать перестройку карты каждый раз после появления новых материалов.

Пропишем sitemap.xml в robots.txt

Не забывайте добавить строку указывающую на карту сайта в robots.txt. Адрес должен совпадать с адресом главного зеркала, которое вы указали в настройках Default Base URL. Теперь нет надобности добавлять карту во все мыслимые поисковики, они сами найдут её.

User-agent: *
Crawl-delay: 1
....
...
....
Sitemap: http://YOUR-DOMAIN.ru/sitemap.xml
Host: YOUR-DOMAIN.ru

Google Sitemap

Google поддерживает специальные карты сайта для новостей, видео, картинок и д.р., но спецификация этих карт несколько отличается от традиционных sitemap.xml. Чтобы не навлекать непонятки со стороны других поисковиков рекомендуется делать отдельные карты для гугл.

У меня при попытке скормить в Яндекс карту сайта содержащую информацию об изображениях в вебмастере вылезли предупреждения. Не могу сказать точно на сколько оно плохо влияет на Яндекс, но рисковать не хочется. Позже отпишусь о результатах.

Есть хороший модуль для построения карты новостей под Google. Если надумаете использовать его, то качайте прямо сейчас(в скором будущем её может не оказаться в виде отдельного модуля и по всей видимости весь функционал спихивается в один компонентный модуль, что не учитывает наши интересы продвигать под Яндекс). Карту он строит отдельно от основной, что позволяет скормить её google через веб-мастер. Настройка элементарна.

Подробности о файле карты сайта sitemap.xml.