Robots для сайта на DLE

Индексация для сайта важна, и главное, чтобы как можно меньше было ошибок при обходе его. А чтобы закрыть лишнее и показать, только нужно правильно нужно настроить robots.txt.

Покажу пару примеров которые понравится Яндекс и Google.

Robots для Yandex

User-agent: *
Allow: /engine/classes/min/index.php?
Allow: /engine/data/emoticons/
Disallow: /engine/
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*do=download
Disallow: /*do=go
Disallow: /xfsearch/
Disallow: /*/page/
Disallow: /page/
Disallow: /page/*
Disallow: /page

Host: https://сайт
Sitemap: https://сайт/sitemap.xml

Robots для Google

User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Оба примера имеют права быть на сайте для DLE. Пример robots для WordPress здесь