Продолжая цикл публикаций посвященных внутренней оптимизации, хочу провести тонкую нить между скоростью сайта и способностью индексироваться. Есть множество факторов, которые сказываются как на посетителе, так и на поисковой системе. К таким факторам можно отнести, в первую очередь, скорость загрузки сайта.

Давайте попробуем выделить основные направления, по которым надо работать для достижения максимального ускорения.

Намедни размышлял, чего бы такого интересного предложить читателям. Писать постоянно о SEO и концепциях сайтостроения довольно наскучивает. Скрипты скриптами, оптимизация оптимизацией, вёрстка - вёрсткой, но ведь всем этим занимаются люди.

И, поскольку каждый индивид обладает своим мировоззрением и интересами, было бы неплохо осветить точки зрения разных людей на одни и те же, казалось бы, банальные вещи.

В очередной раз прогуливаясь по просторам всемирной паутины в поисках информации, я натолкнулся на дневник питерского программиста Александра Шуйского. Дневник меня заинтересовал, и я решил, что Александр должен стать первой жертвой меня-журналиста.

Согласие на интервью получено, встреча в ICQ назначена, поехали ...

Спасибо доброму человеку, который подсказал про XSS уязвимость в плагине Роя Тэнка cumulus. Вот такая банальная любовь к красивому может стать серьёзным касипором.

Ни для кого не секрет, что Google может использовать RSS каналы ресурса в качестве sitemap.xml.

Я решил провести простенький эксперимент, в ходе которого выяснилось, что RSS канал обладает большей эффективностью в качестве sitemap, нежели традиционная карта сайта в формате xml.

Вы когда-нибудь задавались вопросом: что делают поисковые роботы на Вашем сайте, какие страницы они просматривают, когда они это делают?

Этот скрипт, состоящий из трёх файлов, отследит их всех и соберет статистику по каждому.

Принцип работы Spider Trap очень прост: на «входной контур» подключается ловушка. При запросе каких-либо ресурсов сайта «crawler» поисковой системы запускает механизм логирования. В результате в файл лога пишется UserAgent паука, IP адрес, список запрошенных им ресурсов и время обращения.

Со временем успешные ресурсы растут и количество url, которые необходимо внести в карту формата xml, превышает технические ограничения. Иногда возникает необходимость добавить карты сайта для специфичных разделов ресурса отдельно.

Как же поступить в такой ситуации?

В отличие от html-карты сайта, предназначенной для пользователей и ориентированной на структурирование разделов и документов ресурса, xml-карты сайта предназначены исключительно для краулеров поисковых систем (search engines crawlers).

Традиционный путь страниц сайта в индекс — это переход паука(поискового бота) на эти страницы с внутренних или внешних ссылок. Карта сайта в формате XML — это перечень URL-адресов страниц сайта с метаданными.

Рассмотрим основные особенности и характерные черты карт сайта в формате XML.

Я хочу поделиться с Вами незаменимым инструментом любого разработчика. Он воистину мощный, быстрый и удобный. Всё еще сидите на файрфоксе? Пользуетесь файрбагом?

Вы вызовите у меня только снисходительную улыбку. Прошло уже больше года с моего знакомства с Google Chrome. Более года нашего с ним тесного сотрудничества принесли ощутимые плоды.

Заядлый файрфоксер, читая эти строки, насупится и изречёт что-то наподобие: "А... знаем мы ваши мажорские штучки. Всё рано лучше фокса не бывает".

Готов поспорить. Я не хочу и не буду писать длинных строк о том, как удобен, быстр и функционален этот зверь, наделенный движком V8. Я просто покажу пару скриншотов ;-). Кто «в теме» - тот оценит.

Это полноценный аналог firebug. Он предустановлен и не надо ничего качать. Кроме того имеется ещё куча опций.

robots.txt — текстовый файл, предназначенный для определения правил индексации ресурса в целом. В глобальном смысле он определяет границы области индексации документов и файлов относительно корня ресурса. В узком смысле - может определять наборы правил поведения пауков, причем, специфичные для каждой поисковой системы.

Простыми словами: robots.txt — это контейнер унифицированных инструкций для сканирующих роботов поисковых систем.

Значимость этого файла не преувеличена. Перед тем, как приступить к индексации ресурса и начать проход по внутренним ссылкам документа, поисковая система запрашивает файл robots.txt из корня сайта. Полученный набор инструкций накладывается на url-структуру ресурса.

Отсутствие файла, неправильное имя файла, неверное местонахождение или явные ошибки в robots.txt могут негативно отразиться на процессе индексации ресурса и повлечь попадание в индекс не предназначенных для широкой публики документов и файлов.