Robots для сайта на WordPress

0
4423

Многие ломают голову каким же должен быть правильный Robots.txt, а кто то и больше хочет, чтобы он был просто идеальным. Вообще для каждого сайта существует свой правильный файл с настройками. Хотя можно использовать и универсальный.

Пример файл robots txt

 

Вот такой можно добавить и как показывает проверка в нем все правильно прописано

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */trackback
Disallow: /wp-json
Disallow: */feed
Disallow: /*?
Disallow: /author/
Disallow: /transfers.js
Disallow: /go.php
Disallow: /xmlrpc.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */trackback
Disallow: /wp-json
Disallow: */feed
Disallow: /*?
Disallow: /author/
Disallow: /transfers.js
Disallow: /go.php
Disallow: /xmlrpc.php
Host: https://pronets.ru

User-agent: Googlebot
Allow: *.css
Allow: *.js
Allow: /wp-includes/*.js
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/cache
Disallow: */trackback
Disallow: /wp-json
Disallow: */feed
Disallow: /author/
Disallow: /transfers.js
Disallow: /go.php
Disallow: /xmlrpc.php
Disallow: /*?

Sitemap: https://pronets.ru/sitemap.xml

А как по Вашему, это удачной пример или что-то можно поменять или внести изменения.