#
# Запросы для robots.txt перенаправляются на robots.php (см. файл .htaccess)
# Так мы собираем статистику о посещениях роботов.
# Из файла robots.php подгружается этот файл.
#
# @charset UTF-8
# @version 1.0.1

#разрешаем индексировать страницы для след. роботов:
User-agent: *

#запрещаем к индексированию страницы
Disallow: /en/
Disallow: /index.php
Disallow: /?page

#динамические параметры которые не влияют на содержимое страниц (для увеличения скорости индексации в Yandex)
Clean-param: sid&page_stat&x&y&refer&o

#указываем основной сайт, "www.avtorif.ru" будет зеркалом
Host: www.avtorif.ru

#Хороший робот прочитает robots.txt, так вы его и узнаете.
#А для плохих роботов вы можете сделать невидимую ссылку — если пошёл по ней, значит робот

#запретить страницу к индексированию через таг <META> на html странице: <META NAME="ROBOTS" CONTENT="NOINDEX">
#робот поисковой машины не должен идти по ссылкам с данной страницы: <META NAME="ROBOTS" CONTENT="NOFOLLOW">
#для одновременного запрета индексирования страницы и обхода ссылок с неё: <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
#чтобы запретить индексирование определенных фрагментов текста в документе, пометьте их тегами <NOINDEX></NOINDEX>