seo старт и внутренняя оптимизация сайта. Программные аспекты

Автор: Katya | В рубрике SEO курсы

Предназначение файла robots.txt - ограничение доступа роботов к сайту

Мое обучение на seo курсах компании Artox продолжается, а блог о seo старте нелегкого и тернистого пути в горячий интернет-маркетинг регулярно пополняется свежими статьями на эту тему. 21-го июня состоялось, пожалуй, самое информационно насыщенное (оговорюсь, лично для меня) занятие, на котором Дмитрий Иванов рассказывал всем seo стартерам о задачах программной оптимизации.

В первую очередь хочу напомнить о необходимости создании robots.txt – файла, предназначенного для ограничения доступа поисковым роботам к сайту. Ограничивать доступ часто бывает необходимо: например, чтобы закрыть от роботов страницы, находящиеся в разработке. Следует помнить, что роботы сначала ищут свою секцию (т.е. робот Яндекс будет искать специально предназначенную для него секцию, робот Google – свою и т.д.), а уже потом считывают директивы из общей секции; директивы из своей секции (естественно, при ее наличии) для робота буду приоритетными для выполнения по сравнению с директивами, прописанными в общей.

Приведу пример структуры robots.txt:

Структура файла robots.txt

Ну и следует помнить наиковарнейшую особенность:

Директива Disallow: /  (запрет всего сайта к индексации)  аналогична директиве Allow:  (нет разрешенных к индексации страниц).

Заинтересовавшимся предлагаю прочесть очень хороший мануал по robots.txt в вебмастере Яндекс, там все рассмотрено подробнейшим образом, с массой примеров с комментариями.

Особое внимание было уделено созданию и модификации .htaccess – файла дополнительной конфигурации сервера Apache. Данный файл используется для перенаправления пользователей с одного URL на другой, преобразования длинных URL, обработки ошибок (404-я страница) и т.д. В рамках занятия мы рассматривали возможности переадресации, т.к. это именно то, чем приходится заниматься любому seo-специалисту, а на этапе seo старта необходимо обладать хотя бы минимальными знаниями на этот счет.

Мощнейший инструмент .htaccess – модуль mod_rewrite. Модуль представляет собой синтаксический анализатор для преобразования URL, основанный на регулярных выражениях. Использование этого модуля просто необходимо при смене домена, переносе страниц, склейке имени сайта с www и без.

Наиболее используемые директивы:

  • Redirect – простое перенаправление, при котором не используются условия;
  • RewriteRule – правило для преобразования, чаще всего используется при соблюдении указанного условия;
  • RewriteCond – определяет условие, при котором происходит преобразование (согласно синтаксису должна находиться перед директивой RewriteRule).

Самые популярные редиректы:

  • 301-й (moved permanently – документ перемещен на постоянной основе);
  • 302-й (moved temp – документ перемещен временно);
  • 303-й (seeother – смотрите другой ресурс, запрашиваемый документ существует под другим адресом);
  • 410-й (gone – документ был удален с сайта)

Синтаксис директивы Redirect

Подробно в данной статье я описывать все премудрости модуля mod_rewrite не буду, в планах – отдельный пост на эту тему, позже, когда займусь вплотную своим .htaccess. Но рекомендую всем seo стартерам посетить ресурс, содержащий исчерпывающую информацию по всем тонкостям .htaccess.

Тема обширнейшая, думаю, что ее стоило бы выносить в отдельное занятие, нам, например, времени на выполнение запланированных практических кейсов не хватило, т.к. в процессе рассмотрения материала возникало много вопросов, особенно по mod_rewrite.

Еще один, немаловажный аспект внутренней оптимизации сайта – это создание sitemap.xml.

Всем, кто еще находится на старте seo и занят выбором ключевых слов для продвижения своего сайта, рекомендую свою статью об эффективных способах составления семантического ядра, ну а опытным адептам горячего интернет-маркетинга предлагаю найти материал по потребностям на главной странице блога о моем seo старте. А новостей на сегодня больше нет:)

| Июнь 26, 2012

Комментарии (2):

  1. Алексей пишет:
    Июль 3, 2012 в 14:56

    И статья хорошая и результат просто улет. Катерина будешь давать мастер класс. Ты на первом месте по SEO старт запросу в Яндексе.

  2. Katya пишет:
    Июль 3, 2012 в 21:15

    Алексей, спасибо!:) Ты принес мне радостную весть, но я думаю, что это все временно:))

Оставить комментарий

Обязательные для заполнения поля отмечены *


девять × = 9