dle.in.ua » Хаки » robots.txt

robots.txt

Автор: Godone от 12-02-2009, 22:40
robots.txt

От нубов до профи полезна всем! fellow
robots.txt для Datalife Engine


В этой записи я расскажу о том, как сделать правильный robots.txt для своего сайта на Даталайф.

Откуда проблемы?
Имея кучу сайтов на DLE, сталкиваешься с одинаковыми проблемами: к примеру, Яндекс проиндексировал печатные версии страниц (url вида print:…), конечно же, Сапа не видит их. А Яндексу они приятнее, так как всякого мусора на них меньше: только контент. Или же Яндекс индексирует ссылки вида ”my-dle-site/user/ya-spamer”, на которых куча внешних ссылок в профилях и никакого контента.
Вообще, причины вспомнить о robots.txt могут быть разными, к примеру, в этом заветном файле можно передать Sitemap Google’у и Яндексу не заходя в панель вебмастера.

Как сделать правильно?
Почитав и интернете форумы и официальные мануалы поисковиков и сравнивая прочитанное, можно сказать, что люди часто не читают руководств и ошибаются, к примеру, в robots.txt нет директивы”Allow” есть только”Disallow”
Для начала давайте выясним, чего мы хотим от нашего файла:
Хорошая индексируемость нужных страниц ПС
Отсутствие ненужных страниц в индексе ПС (всё равно вылетят из индекса)
Задание заркала для Яндекса

Если хотите разобраться, тогда давайте по порядку. Это запретит индексировать всем поисковым роботам страницы для печати:
User-agent: *
Disallow: /*print


Уберём из индекса страницы без контента (они рано или поздно всё выпадут):
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html


По вкусу, и в зависимости от уровня Вашей паранои можно добавить также:
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts


Теперь любезно добавляем Sitemap для Поисковых систем. Вы наверняка прекрасно знаете, насколько он полезен для индексации Вашего сайта.
Идём в админку -> другие разделы -> в самом низу заходим в «Google Sitemap». Оставляем все настройки по умолчанию и жмём «создать/обновить». Сверху должна появиться надпись вида «25.01.2009 10:37 файл индекса для Google Sitemap был создан и доступен по адресу: http://my-dle-site.ru/sitemap.xml». Теперь даём знать о нём поисковикам:

Sitemap: http://my-dle-site.ru/sitemap.xml

И добавляем основное зеркало для Яндекса, чтобы не было недоразумений с его стороны) Идём по адресу: http://yandex.ru/yandsearch?serverurl=my-dle-site.ru
и смотрим, как проиндексирован Ваш сайт с www или без. Добавляем в robots.txt директиву вида:
User-agent: Yandex
Host: my-dle-site.ru


my-dle-site.ru, если сайт в индексе без www, и наоборот. Если сайт ещё не проиндексирован Яшей, то указывайте так, как Вам больше нравится видеть Ваш сайт.

Вот и всё. Правильный robots.txt для ДЛЕ будет выглядеть примерно так:
User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://my-dle-site.ru/sitemap.xml
User-agent: Yandex
Host: my-dle-site.ru


Потратив 5 минут на создание такого файла можно значительно облегчить себе/поисковикам жизнь/работу в дальнейшем.
  • Группа: User
  • Icq: 288569677
  • Комментариев: 703
  • Публикаций: 245
  • Disallow: /user/
    Я бы это неделал для сайтов которые находяться в Сапе.
    Такое возможно нужно делать для сайтов, которые непосредственно новые создаються. Ну а так смысл выключать после индексации и если сайту много времени.
    Disallow: /favorites/
    Ваши или пользователей закладки тоже плохого незаделают.
    Ну по остальным пунктам тоже очень много вопросов.
    Я бы лично забанил поисковики на проверку rss.xml-так как это
    Формат документа не поддерживается
    Сервер не указывает тип документа, указывает неправильно или указанный тип не поддерживается Яндексом.

    Disallow: /engine/ эту папку я тож забанил, так как там находиться это.
    DataLife Engine Demo DataLife Engine Search admin@website.ru DataLife Engine Search http://www.туть.com.ua/logo.png http://www.туть.com.ua/favicon.ico SoftNews Media Group (http://dle-news.ru) Copyright 2002-2007 SoftNews Media Group All Rights Reserved. open false ru-ru windows-1251 windows-1251

    Ну и вообще как по мне там много всяких приколов, которые нужно убрать или наоборот добавить, поэтому получаеться, что список неполный тут.
    Поэтому можно сообща и все вместе, ну кто понимает или более мение начитан, то это дело обьеденить для всех.
    Я ЗА и внёс несколько своих предложений и думаю что в нулл это дело сразу ложить нужно будет, ну что бы незнающим помогать.
    laughing

    --------------------
    • GauraStyle
    • Регистрация: 21.01.2008
    • Репутация: (0|0|0)
    • 12 февраля 2009 23:14
    • 1
    ^
  • Группа: User
  • Icq: 362557054
  • Комментариев: 124
  • Публикаций: 5
  • в robots.txt нет директивы”Allow” есть только”Disallow”

    а почему тогда первое, что гугль предлагает вписать в этот файлик это:
    User-Agent: *
    Allow: /
    ИМХО, что-то вы недочитали...

    --------------------
    • GausS
    • Регистрация: 16.07.2008
    • Репутация: (0|0|0)
    • 13 февраля 2009 00:44
    • 2
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • Disallow: /templates/
    Disallow: /language/
    • azaq3
    • Регистрация: --
    • Репутация: (||)
    • 13 февраля 2009 01:18
    • 3
    ^
  • Группа: User
  • Icq: 288569677
  • Комментариев: 703
  • Публикаций: 245
  • Важно: в целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву 'Host' необходимо добавлять в группе, начинающейся с записи 'User-Agent', непосредственно после директив 'Disallow'('Allow'). Аргументом директивы 'Host' является доменное имя с номером порта (80 по умолчанию), отделенным двоеточием.
    #Пример корректно составленного robots.txt, при обработке которого директива Host учитывается
    User-Agent: *
    Disallow:
    Host: www.myhost.ru

    #Примеры некорректно составленных robots.txt, при обработке которых директива Host может не учитываться
    #1.
    User-Agent: *
    Host: www.myhost.ru

    #2.
    Host: www.myhost.ru

    #3.
    User-Agent: *
    Host: www.myhost.ru
    Disallow:

    #4.
    Host: www.myhost.ru
    User-Agent: *
    Disallow:
    --------------------------------------------------------------------------------
    ----------------------
    Я лично так устанавливаю.
    Может много или мало, но считаю нормально.
    User-agent: *
    Disallow: /backup/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /uploads/

    User-agent: *
    Allow: /
    Sitemap: http://hostname.ru/sitemap.xml
    Host: hostname.ru
    --------------------------------------------------------------------------------
    ------------------
    Ну вот и всё.
    Мож ещё кто дополнит в продолжение Темы?
    А то полезно кстати для всех это дело иметь у себя, поэтому давайте составим действительно полный robots.txt и по возможности с описанием кратким, что стоит включать, а что нет.
    Тема очень полезная и актуальная, я для себя перечитав снова ещё информацию подчерпнул, другие думаю тоже полезное с этого будут иметь.
    laughing

    --------------------
    • GauraStyle
    • Регистрация: 21.01.2008
    • Репутация: (0|0|0)
    • 13 февраля 2009 04:30
    • 4
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • Для яндекса надо повторять, т.к. он любит выделиться и часто игнорирует общие правила.
    User-agent: Yandex
    Allow: /
    Host: hostname.ru

    • infant
    • Регистрация: --
    • Репутация: (||)
    • 13 февраля 2009 07:40
    • 5
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 52
  • Публикаций: 3
  • этой новосте хрен знает скока !!!
    • oleksdanderm
    • Регистрация: 30.08.2008
    • Репутация: (0|0|0)
    • 13 февраля 2009 08:25
    • 6
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • для нубов говорите?
    Disallow: /admin.php

    этот файл как раз-таки только у нубов имеет имя admin.php
    а писать в robots.txt адрес своей админки не только бесполезно (боты итак ее не еайдут), но и глупо
    • def
    • Регистрация: --
    • Репутация: (||)
    • 13 февраля 2009 09:02
    • 7
    ^
  • Группа: User
  • Icq: 6017724
  • Комментариев: 276
  • Публикаций: 4
  • Disallow: /index.php?do=pm
    Disallow: /favorites/


    когда єт ботнег научился регаться на сайте?

    статья норм чуть доработать smile

    --------------------
    • vilcom
    • Регистрация: 18.10.2008
    • Репутация: (0|0|0)
    • 13 февраля 2009 13:01
    • 8
    ^
  • Группа: User
  • Icq: 288569677
  • Комментариев: 703
  • Публикаций: 245
  • User-agent: Googlebot-Mobile
    Disallow: /

    User-agent: Googlebot-Image
    Disallow: /

    User-Agent: Googlebot
    Disallow: /

    # Инструкции для робота Рамблера
    User-Agent: StackRambler
    Disallow: /

    User-Agent: Yahoo
    Disallow: /

    User-agent: Roverdog
    Disallow: /

    Вот такое ещё дополнение у меня Вам есть.
    Кто ещё поделиться важной информацией?
    laughing

    --------------------
    • GauraStyle
    • Регистрация: 21.01.2008
    • Репутация: (0|0|0)
    • 13 февраля 2009 13:16
    • 9
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • Цитата: GauraStyle
    User-agent: Googlebot-Mobile
    Disallow: /

    User-agent: Googlebot-Image
    Disallow: /

    User-Agent: Googlebot
    Disallow: /

    # Инструкции для робота Рамблера
    User-Agent: StackRambler
    Disallow: /

    User-Agent: Yahoo
    Disallow: /

    User-agent: Roverdog
    Disallow: /


    спс, я так понял что каждый поисковик любит когда он там есть отдельно!? fellow
    • Godone
    • Регистрация: --
    • Репутация: (||)
    • 13 февраля 2009 13:53
    • 10
    ^
  • Группа: User
  • Icq: 6017724
  • Комментариев: 276
  • Публикаций: 4
  • User-agent: Googlebot-Mobile
    Disallow: /

    User-agent: Googlebot-Image
    Disallow: /

    User-Agent: Googlebot
    Disallow: /

    # Инструкции для робота Рамблера
    User-Agent: StackRambler
    Disallow: /

    User-Agent: Yahoo
    Disallow: /

    User-agent: Roverdog
    Disallow: /


    Имхо добавить только для яндекса и гугля остальные прекрасно подчиняються User-Agent:*

    --------------------
    • vilcom
    • Регистрация: 18.10.2008
    • Репутация: (0|0|0)
    • 13 февраля 2009 13:57
    • 11
    ^
  • Группа: User
  • Icq: 288569677
  • Комментариев: 703
  • Публикаций: 245
  • User-agent: *
    Crawl-delay: 10

    Параметр Crawl-delay указывает поисковому роботу чтобы он загружал страницы вашего сайта с интервалом не менее 10 секунд, другими словами просто выдерживал паузу во время индексации страниц вашего сайта. И ваш сайт спокойно индексируется в пределах допустимой нагрузки. Вы можете менять интервал по своему усмотрению, делая его больше или меньше.

    Вот ещё малость дополнений. Это к тем у которых хостинг нагрузок невыдерживает и жалуеться на поисковых роботов, которые сервак ложат нараз.
    Давайте как то инциативненько то, а то получаеться что сам с собой общаюся и никому это совсем ненужно получаеться.
    Ведь это очено полезная и нужная информация для всех пользователей ДЛЕ.
    laughing

    --------------------
    • GauraStyle
    • Регистрация: 21.01.2008
    • Репутация: (0|0|0)
    • 13 февраля 2009 14:38
    • 12
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • Здраствуйте господа професионалы !
    У меня не большой вопросик !
    Стоит Cms dle версия 7.3, если я сохраню базу данных вместе с картинками и файлами которые с новостей *статей* и перекину на другой домен всё будет работать отлично ? или же у меня будет показываться в настройках прежний домен сайта ?

    • quns
    • Регистрация: --
    • Репутация: (||)
    • 13 февраля 2009 16:52
    • 13
    ^
  • Группа: User
  • Icq: 288569677
  • Комментариев: 703
  • Публикаций: 245
  • quns,
    Стучи в аську или создай Тему на форуме у нас и тебе обстоятельно ответят.
    Ничего нигде не прападёть.
    Если читая мануал правильно всё выполнить.
    fellow

    --------------------
    • GauraStyle
    • Регистрация: 21.01.2008
    • Репутация: (0|0|0)
    • 13 февраля 2009 18:02
    • 14
    ^
  • Группа: User
  • Icq: 362557054
  • Комментариев: 124
  • Публикаций: 5
  • Если собрались писать для каждого бота, то вот вам их имена:
    Search Engine: User-Agent
    AltaVista: Scooter
    Infoseek: Infoseek
    Hotbot: Slurp
    AOL: Slurp
    Excite: ArchitextSpider
    Google: Googlebot
    Goto: Slurp
    Lycos: Lycos
    MSN: Slurp
    Netscape: Googlebot
    NorthernLight: Gulliver
    WebCrawler: ArchitextSpider
    Iwon: Slurp
    Fast: Fast
    DirectHit: Grabber
    Yahoo Web Pages: Googlebot
    Looksmart Web Pages: Slurp
    Rambler: StackRambler

    --------------------
    • GausS
    • Регистрация: 16.07.2008
    • Репутация: (0|0|0)
    • 13 февраля 2009 18:50
    • 15
    ^
  • Группа: User
  • Icq: 288569677
  • Комментариев: 703
  • Публикаций: 245
  • Я так понял, что больше никого неинтересует это. Да и дятлы сидят почти все на сайте. поэтому последующие посты будут удаляться, которые некасаються темы и пользователь минимум на месяць получить БАН от меня, но это под настроение минимум, а так больше. Так что ваяйте, я пасатрю на вашу эрудированость.
    angry

    --------------------
    • GauraStyle
    • Регистрация: 21.01.2008
    • Репутация: (0|0|0)
    • 13 февраля 2009 20:30
    • 16
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 32
  • Публикаций: 0
  • Не могли бы вы выложит текст уже полностью готового файла, чтоб вставил на серв и все?
    • Орлак
    • Регистрация: 26.08.2008
    • Репутация: (0|0|0)
    • 13 февраля 2009 23:17
    • 17
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • User-Agent: *
    Disallow: /out/
    Disallow: /user/
    Disallow: /cache/
    Disallow: /cgi-bin/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /images/
    Disallow: /forum/
    Disallow: /backup/
    Disallow: /files/
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=search
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=addnews
    Disallow: /index.php?subaction=newposts

    User-agent: *
    Allow: /
    Sitemap: http://health.sumy.ua/uploads/sitemap.xml
    Host: health.sumy.ua

    User-agent: Yandex
    Allow: /
    Disallow: /out/
    Disallow: /user/
    Disallow: /cache/
    Disallow: /cgi-bin/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /images/
    Disallow: /forum/
    Disallow: /backup/
    Disallow: /files/
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=search
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=addnews
    Disallow: /index.php?subaction=newposts
    Sitemap: http://health.sumy.ua/uploads/sitemap.xml
    Host: health.sumy.ua

    насколько правильно будет ? может что лишнее ?
    • alexei
    • Регистрация: --
    • Репутация: (||)
    • 13 февраля 2009 23:55
    • 18
    ^
  • Группа: User
  • Icq: 362557054
  • Комментариев: 124
  • Публикаций: 5
  • alexei лишнего понаписывал.
    Я бы сделал так:
    User-Agent: *
    Disallow: /*print
    Disallow: /out/
    Disallow: /user/
    Disallow: /cache/
    Disallow: /cgi-bin/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /images/
    Disallow: /forum/
    Disallow: /backup/
    Disallow: /files/
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=search
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=addnews
    Disallow: /index.php?subaction=newposts
    Sitemap: http://health.sumy.ua/uploads/sitemap.xml
    Host: health.sumy.ua

    User-agent: Yandex
    Disallow: /*print
    Disallow: /out/
    Disallow: /user/
    Disallow: /cache/
    Disallow: /cgi-bin/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /images/
    Disallow: /forum/
    Disallow: /backup/
    Disallow: /files/
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=search
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=addnews
    Disallow: /index.php?subaction=newposts
    Sitemap: http://health.sumy.ua/uploads/sitemap.xml
    Host: health.sumy.ua


    Хотя http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml показал что Яндексу пофиг обращаются к ниму лично или обобщённо.

    --------------------
    • GausS
    • Регистрация: 16.07.2008
    • Репутация: (0|0|0)
    • 14 февраля 2009 03:25
    • 19
    ^
  • Группа: User
  • Icq: 6017724
  • Комментариев: 276
  • Публикаций: 4
  • вот дополнение,типичная ошибка:

    User-Agent: *
    Disallow: /cgi-bin/
    Disallow: /templates/
    Disallow: /engine/
    Disallow: /languages/
    Host: трярря

    User-agent: Yandex
    Allow: /
    Sitemap: тряряря


    при этом общим правилом мы запрещаем, а для яндекса все разрешаем.так яндекс проиндексит все

    --------------------
    • vilcom
    • Регистрация: 18.10.2008
    • Репутация: (0|0|0)
    • 14 февраля 2009 22:55
    • 20
    ^
  • Группа: User
  • Icq: 362557054
  • Комментариев: 124
  • Публикаций: 5
  • Кстати, забыл написать раньше, есть строка:
    <meta name="robots" content="all" />

    которая розрешает всем всё несмотря (или смотря, хз) на записи в robots.txt
    all - index, follow для всего

    советую в engine.php удалить строку
    <meta name="robots" content="all" />

    --------------------
    • GausS
    • Регистрация: 16.07.2008
    • Репутация: (0|0|0)
    • 25 февраля 2009 23:23
    • 21
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 39
  • Публикаций: 0
  • Кто нибудь дайте полный роботс.тхт
    • Alexander.S
    • Регистрация: 24.04.2008
    • Репутация: (0|0|0)
    • 26 февраля 2009 19:16
    • 22
    ^
  • Группа: User
  • Icq: 6017724
  • Комментариев: 276
  • Публикаций: 4
  • <meta name="robots" content="all" />


    данный мета-тег говрит что страницу можно индексить (а после этого уже действуют теги noindex для Яши и rel=nofollow для гугла) +робот

    кстати проверить роботс можно в справке яндекса

    --------------------
    • vilcom
    • Регистрация: 18.10.2008
    • Репутация: (0|0|0)
    • 26 февраля 2009 19:31
    • 23
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • У меня такой:

    User-agent: *
    Disallow: /downloads/
    Disallow: /admin.php
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=search
    Disallow: /index.php?do=addnews
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?subaction=newposts
    Disallow: /engine/
    Disallow: /admin.php?mod=main
    Disallow: /templates/
    Disallow: /language/
    Host: jeeraf.ru
    Request-rate: 1/5
    Crawl-delay: 5
    Visit-time: 2100-0100
    Sitemap: http://jeeraf.ru/sitemap.xml
    • Administrator
    • Регистрация: --
    • Репутация: (||)
    • 14 марта 2009 13:47
    • 24
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • Смотрю тут у всех папки обозначены двумя косыми /pub/ А вот справочник яндекса предлогает с одной косой /pub . Хотя думаю в этом нет ничего страшного, ведь в справочнике не указано как правильней.

    Кому интересно и кто еще не знает, совеветую почитать _http://help.yandex.ru/webmaster/?id=996567 и на той же странице, слева под пунктом "Приложения".

    Прочитал все комменты, немного добавил в свой роботс. С некотороми указаниями в комментариях не полностью согласен smile
    • mod
    • Регистрация: --
    • Репутация: (||)
    • 16 марта 2009 23:59
    • 25
    ^
  • Группа: User
  • Icq: 567081900
  • Комментариев: 72
  • Публикаций: 2
  • а у меня его нету :(
    мб скажете куда сохранять?) фкорень?))

    --------------------
    • slovn
    • Регистрация: 13.03.2009
    • Репутация: (0|0|0)
    • 19 марта 2009 05:14
    • 26
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • да smile
    • varezz
    • Регистрация: --
    • Репутация: (||)
    • 19 марта 2009 07:54
    • 27
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 13
  • Публикаций: 0
  • GauraStyle
    Я лично так устанавливаю.
    Может много или мало, но считаю нормально.
    User-agent: *
    Disallow: /backup/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /uploads/

    User-agent: *
    Allow: /
    Sitemap: http://hostname.ru/sitemap.xml
    Host: hostname.ru


    думую правельнее будет так
    User-agent: *
    Host: hostname.ru
    Disallow: /backup
    Disallow: /engine
    Disallow: /language
    Disallow: /templates
    Disallow: /uploads
    Sitemap: http://hostname.ru/sitemap.xml

    Administrator,
    User-agent: *
    Disallow: /downloads/
    Disallow: /admin.php это лишнее вы бы еще тут пароли написали wink
    Disallow: /index.php?do=pm это лишнее
    Disallow: /index.php?do=stats это лишнее
    Disallow: /index.php?do=search это лишнее
    Disallow: /index.php?do=addnews это лишнее
    Disallow: /index.php?do=register это лишнее
    Disallow: /index.php?do=feedback это лишнее
    Disallow: /index.php?do=lostpassword это лишнее
    Disallow: /index.php?subaction=newposts это лишнее
    Disallow: /engine/
    Disallow: /admin.php?mod=main это лишнее
    Disallow: /templates/
    Disallow: /language/
    Host: jeeraf.ru
    Request-rate: 1/5
    Crawl-delay: 5 это вы зря
    Visit-time: 2100-0100 это лишнее
    Sitemap: http://jeeraf.ru/sitemap.xml

    чем менше robots тем луче

    Не обязательно для каждого робота писать отдельно инструкцию
    • bobkli
    • Регистрация: 24.07.2008
    • Репутация: (0|0|0)
    • 27 марта 2009 11:10
    • 28
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • на самом деле engine лучше не закрывать, потому, что яндекс очень любит версии для печати, а print.php лежит в ней. И если ее перекрыть, то в поиске пропадут даже те принты которые в нем были а как правело в ядексе их обычно больше половины всех страниц
    • diamante
    • Регистрация: --
    • Репутация: (||)
    • 27 марта 2009 14:25
    • 29
    ^
  • Группа: User
  • Icq: 6017724
  • Комментариев: 276
  • Публикаций: 4
  • на самом деле engine лучше не закрывать, потому, что яндекс очень любит версии для печати, а print.php лежит в ней. И если ее перекрыть, то в поиске пропадут даже те принты которые в нем были а как правело в ядексе их обычно больше половины всех страниц


    ну во первых наооборот необходимо закрыть страницы для печати нафиг они нужны в выдаче а во вторых посмотри адресс страницы для печати

    --------------------
    • vilcom
    • Регистрация: 18.10.2008
    • Репутация: (0|0|0)
    • 27 марта 2009 16:25
    • 30
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • мой

    User-agent: *
    Disallow: /backup/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Sitemap: http://vvarez.net.ru/sitemap.xml
    Host: vvarez.net.ru

    User-agent: Yandex
    Disallow: /backup/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Sitemap: http://vvarez.net.ru/sitemap.xml
    Host: vvarez.net.ru
    • KeNeDi
    • Регистрация: --
    • Репутация: (||)
    • 12 апреля 2009 22:53
    • 31
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • Цитата: bobkli
    User-agent: *
    Disallow: /downloads/
    Disallow: /admin.php это лишнее вы бы еще тут пароли написали
    Disallow: /index.php?do=pm это лишнее
    Disallow: /index.php?do=stats это лишнее
    Disallow: /index.php?do=search это лишнее
    Disallow: /index.php?do=addnews это лишнее
    Disallow: /index.php?do=register это лишнее
    Disallow: /index.php?do=feedback это лишнее
    Disallow: /index.php?do=lostpassword это лишнее
    Disallow: /index.php?subaction=newposts это лишнее
    Disallow: /engine/
    Disallow: /admin.php?mod=main это лишнее
    Disallow: /templates/
    Disallow: /language/
    Host: jeeraf.ru
    Request-rate: 1/5
    Crawl-delay: 5 это вы зря
    Visit-time: 2100-0100 это лишнее
    Sitemap: http://jeeraf.ru/sitemap.xml


    "это лишнее" - я бы так не сказал. Зачем в выдаче эти страницы нужны?! смысл от них.


    Цитата: KeNeDi
    User-agent: *
    Disallow: /backup/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Sitemap: http://vvarez.net.ru/sitemap.xml
    Host: vvarez.net.ru

    этого достаточно.
    • mod
    • Регистрация: --
    • Репутация: (||)
    • 16 апреля 2009 22:54
    • 32
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • а допусти у сайта есть зеркало что делать? что прописывать?
    • KeNeDi
    • Регистрация: --
    • Репутация: (||)
    • 17 апреля 2009 19:40
    • 33
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • Спасибо GauraStyle, добрался я и сюда с конца... ))
    • alive
    • Регистрация: --
    • Репутация: (||)
    • 25 апреля 2009 22:59
    • 34
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • Доброго времени суток. Может ли кто показать свой рабочий файл robot.txt а то инфу читаю уже неделю и материалы с разных сайтов противоречат друг другу.
    • xxq
    • Регистрация: --
    • Репутация: (||)
    • 27 апреля 2009 23:08
    • 35
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • а допусти у сайта есть зеркало что делать? что прописывать?
    • KeNeDi
    • Регистрация: --
    • Репутация: (||)
    • 30 апреля 2009 19:02
    • 36
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • а то что надо ещё прописать Crawl-delay: 10 совсем забыли fellow
    • Hedin
    • Регистрация: --
    • Репутация: (||)
    • 2 июня 2009 11:07
    • 37
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • Я сделал следующий код в файле robots.txt подскажите где я ошибся?


    User-agent: Yandex
    Disallow: /*print
    Disallow: /user/
    Disallow: /backup/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /upgrade/
    Disallow: /uploads/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /index.php?do=addnews
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=register
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=search
    Disallow: /index.php?subaction=newposts
    Disallow: /?do=lastcomments
    Disallow: /statistics.html
    Disallow: /showlinks.php
    Disallow: /*rss
    Disallow: /*rrs
    Host: chaynikoff.net
    Sitemap: http://chaynikoff.net/sitemap.xml

    User-agent: *
    Disallow: /*print
    Disallow: /user/
    Disallow: /backup/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /upgrade/
    Disallow: /uploads/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /index.php?do=addnews
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=register
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=search
    Disallow: /index.php?subaction=newposts
    Disallow: /?do=lastcomments
    Disallow: /statistics.html
    Sitemap: http://chaynikoff.net/sitemap.xml
    Host: chaynikoff.net

    • InformGRU
    • Регистрация: --
    • Репутация: (||)
    • 29 сентября 2009 17:40
    • 38
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 156
  • Публикаций: 2
  • Народ я еще гдето слышал что если sitemap большой. тоесть там несколько тысяч ссылок то яндекс может пошитать спамом и выкинуть сайт.
    ЭТО ПРАВДА?
    • Dimas-rap
    • Регистрация: 16.08.2008
    • Репутация: (0|0|0)
    • 28 октября 2009 15:33
    • 39
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 41
  • Публикаций: 1
  • User-Agent: *
    Disallow: /language/
    Disallow: /templates/
    Disallow: /admin.php
    Disallow: /backup/
    Disallow: /files/
    Allow: /
    Sitemap: http://host.ru/sitemap.xml
    Host: host.ru

    User-agent: Yandex
    Disallow: /language/
    Disallow: /templates/
    Disallow: /admin.php
    Disallow: /backup/
    Disallow: /files/
    Allow: /
    Sitemap: http://host.ru/sitemap.xml
    Host: host.ru


    Как вам такой

    --------------------
    • MyxPyM
    • Регистрация: 11.02.2010
    • Репутация: (0|0|0)
    • 3 июня 2010 05:25
    • 40
    ^
    Информация
    Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.