Окт 01 2016

Основные методы создания файла robots txt

Как создать файл robots txt? Где взять robots новичку? Сегодня мы поговорим о так называемом файле robots. Мы узнаем, какие задачи решает данный файл. Что он должен выполнять. Как его можно отредактировать. Как его можно составить, какие есть варианты и способы.

Поскольку данная статья предназначена для новичков, которые сталкиваются с проблемой составления данного файла. И поскольку когда новички составляют сайт на  WordPress, данного файла просто там нет. Новички даже и не подозревают, что такой файл должен быть и его нужно составлять.

Содержание:

Как создать файл robots txt

Что позволяет делать файл robots txt?

И так у нас есть информация, что такое файл robots.txt на Яндекс Вебмастер. Я надеюсь, вы уже создали сайт, и уже зарегистрировали права в Яндекс Вебмастере и Гугл Вебмастере (там тоже можно посмотреть). По информации самого Яндекса файл robots.txt позволяет делать следующее. Советую перейти в Яндекс Вебмастер, там есть дополнительные материалы, какие правила поддерживает этот файл Яндекса, почитать посмотреть информацию. А также там можно посмотреть не большой видео ролик.

Я перескажу, как представляет это Яндекс (скорее это будет для новичков). У вас есть большой дом (сайт) и у этого дома есть чердак, где храниться всякие не нужные вещи и вы не хотите их показывать никому (повесили большой замок). Таким образом, когда вы создали сайт, у вас есть папки, которые нельзя делать достоянием, гласности. Поэтому выработаны такие правила, общие по земному шару 1994 года, в которых договорились, что определенными директивами, написать запрет для роботов. Забегая маленько вперед, что например Гугл иногда игнорирует эти правила. Он конечно, заходи в файл robots.txt и может, что-то показывать оттуда, но так далеко заходить я не буду.

Давайте все-таки посмотрим, что защищает этот файл?

  1. Защищает он те материалы, которые не должны быть достоянием гласности, там есть какие-то личные данные, в папках могут быть и логины и контакты, поэтому робот не позволяет эти данные обнародовать.
  2. Мы все знаем, что дубли контента крайне вредно для продвижения сайта. И если не предпринять действий, с помощью этого файла, то будет плодиться бесчисленное количество дублей, которые в несколько раз будут превышать ваши истинные страниц сайта. И в этих условиях сайт никогда не сможет продвинуться в топовые позиции.
  3. Также решаются вопросы безопасности, если не будет доступа к контактным данным, то можно исключить всякую рассылку спама, от вашего имени. От тех людей, которые есть контакты. Из выше сказанного, любой сайт, блог, без этого файла обойтись не может. Так, что после создания сайта, его нужно установить.

Вы можете зайти на специальный ресурс, который посвящен этому файлу robots.txt. Сайт так и называется robotstxt.org.ru. Вы можете почитать, что такое робот, какие характеристики, как работать с ним и так далее. В общее то данная тема очень интересна, огромная, можно писать даже книжки по этой теме, но эта информация нужна только узкому кругу лиц. А обычным пользователям нужно понять только, зачем это, и как с этим работать.

Теперь перейдем к созданию файла  robots.txt

Как создать файл robots txt?

  • Первый способ. Это использование различных генераторов. Хочу обратить внимание, что при работе с этими генераторами нужны знания, а если их нет, то эти генераторы не помогут, а только молодому сайту навредят. Между тем, если предупрежден, то значит вооружен. Ссылки на генераторы, я давать не буду. Их множество в интернете, как бесплатных, так и платных. 

    Работа в таких генераторах очень проста. Нужно прописать ваш сайт, указать для каких поисковых систем вы создаете файл robots, прописываете, что вы хотите защитить и в низу в окошке будет написан код. В любом случае, что вы получили нужно перенести в блокнот, подумать, проанализировать. Так же в этих сервисах можно найти интересные функции. Вы можете походить по этим сервисам и найти для себя много интересного.

  • Второй способ. Если сайт сделан на WordPress, то вы сможете, установит плагин и генерировать файл robots.txt, я также не буду перечислять, какие есть плагины. Их в интернете можно найти без труда. Я не советую новичкам использовать эти два варианта создания данного файла. Так как чтобы сделать этот файл вам нужно разбираться и понимать суть, что такое робот. А если вы не понимаете, и опыта нет, то вы больше получите вреда, чем пользы. Так как, то, что вы сгенерируете, закроет нужные папки от индексации или что-то можете не учесть.
  • Третий способ. Вы просто можете составить робот в блокноте. Так почему в названии этого файла, на конце  txt, то по сути это и есть документ блокнота.  Открыв блокнот, вы просто, набираете ряд команд, и в принципе получается этот файл. И этот файл закачиваете в каталог сайта.
  • Четвертый вариант. Самый, подходящий для новичков. Взять этот файл с нормального, хорошего сайта, который высоко посещаемый, трастовый. Явно там robots.txt сделан профессионально. Вы можете использовать его для своего сайта. На первых порах это будет хорошо работать, защитит от грубых ошибок, а со временем вы сможете сделать корректировочку своего робота, даже если сделаете через год (в зависимости специфики своего сайта, блога). Отработав ваш сайт хотя-бы полгода, можно сделать анализ, в какую сторону он идет.

Рассмотрев четыре способа, многие не хотят вкладывать мозги, время, силы и думают о четвертом методе. Причем многие новички и понятия не имеют, как его составлять. Все делается очень просто.

  1. В верхнюю поисковую строку, вбиваете любой сайт.
  2. Наконец, имени сайта, вбиваете слэш (учтите все должно быть на английском языке), и вставляете надпись robots.txt, нажимаете Enter.
  3. Вот и все вы попадаете на робот.
  4. Потом можно выделить, скопировать, перенести себе в блокнот. А там, можно посмотреть, использовать, отредактировать или один в один скопировать себе на сайт.

Но обратите внимание, что тупо перенести себе на сайт нельзя, так в конце прописываются адреса вашего сайта. И так этот метод работает для молодых сайтов, блогов приблизительно на 95-99%, этот файл, будет удовлетворять потребностям, и вы будете нормально работать. И потом, когда ваш сайт наберет силу, можно будет скорректировать этот файл по себя.

Сейчас, маленько информации по роботу:

обратите внимание, внизу прописывается ваш Host: указываем адрес вашего сайта. Если вы будете делать файл robots.txt, на основании другого файла не забудьте прописать свой Host. А дальше внизу прописываете карту своего сайта. То есть берете запись, удаляете чужое доменное имя и вставляете свое. Например:

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /tag
Host: Yasygobs.ru
Sitemap: http://Yasygobs/sitemap.xml

И так вы все сделали. Теперь сохраняете этот файл блокнота на рабочий стол. Далеко не убираете. Потому что его нужно загрузить себе на сайт, т.е. в папку каталога вашего сайта. И еще информации, этот файл не должен превышать 32 килобайта.

Надеюсь, пост как создать файл robots txt, был полезным!