Сегодня я хочу вам рассказать о файле robots.txt. И попытаюсь вам помочь его сделать его, если ещё у вас его нету.
Robots.txt – это файл находящийся в корне вашего сайта, в котором содержаться инструкции для роботов поисковых систем. В нём можно запрещать индексацию страниц, категорий, папок вашего сайта. Указывать правильное зеркало домена и карты sitemap.xml.
И ещё много разных функций. Но я вам сегодня расскажу об основных. И файл robots.txt я буду делать для движка блогов WordPress. И я вам сразу говорю, если у вас сайт на DataLife Engine (то-есть DLE) вы можете не читать эту статью. Так как там уже по умолчанию идёт файл robots.txt и вам не надо ничего делать.
Robots.txt также важен при поисковой оптимизации сайта. Она проходит быстрее за счёт того если вы запретили к индексации папки вашей CMS.
Итак, рассмотрим функции файла robots.txt.
User-agent – указывается имя поискового робота для которого нужно применить правила. Можно также поставить * тогда правила будут приниматься ко всем поисковым роботам.
Disallow – запрещает доступ к тому что вы пропишите дальше. Также есть противоположная команда Allow которая разрешает доступ к тем или иным файлам.
Sitemap – указание пути к карте сайта в xml формате.
Host – указывает главное зеркало сайта. Прописывается только для яндекса.
Итак, теперь перейдём к созданию карты сайта:
User-agent: Yandex – для яндекса всегда прописываются правила отдельно. И желательно чтобы всегда правила для яндекса прописывались первыми в robot.txt.
Disallow: /cgi-bin – запрещаем индексацию папки.
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins – запрещаем индексацию папки в папке wp-content.
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback.php – запрещаем индексацию файла. И желательно при запрещении или разрешении индексации файла указывайте его расширение.
Disallow: /wp-feed.php
Disallow: /wp-comments.php
Disallow: */trackback.php
Disallow: */feed.php
Disallow: */comments.php
Host: site.ru – это главное зеркало сайта.
User-agent: * – а эти правила уже для остальных поисковых роботов.
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback.php
Disallow: /wp-feed.php
Disallow: /wp-comments.php
Disallow: */trackback.php
Disallow: */feed.php
Disallow: */comments.php
Sitemap: http://site.ru/sitemap.xml – а это путь к xml карте сайта.
И кстати про главное зеркало сайта. Некоторые спрашивают, как лучше написать с www или без?! Это без разницы сайт будет так же функционировать. Это просто на ваш выбор. И где главное зеркало сайта и карта сайта xml замените домен на свой.