WordPress

Robots для сайта на WordPress

Файл robots.txt является важным элементом оптимизации сайта на WordPress для поисковых систем. Он позволяет управлять индексацией страниц вашего сайта и указывать поисковым роботам, какие страницы имеют наибольшую важность и следует индексировать, а какие необходимо исключить из индексации.

Для создания файла robots.txt на сайте WordPress необходимо выполнить несколько шагов:

  1. Создайте файл robots.txt на вашем компьютере в текстовом редакторе.
  2. Вставьте в файл правила и указания для поисковых роботов.
  3. Сохраните файл robots.txt.
  4. Загрузите файл на ваш сайт через FTP-клиент или панель управления хостингом.

Пример файла robots.txt для сайта на WordPress

 

Вот такой можно добавить и как показывает проверка в нем все правильно прописано

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */trackback
Disallow: /wp-json
Disallow: */feed
Disallow: /*?
Disallow: /author/
Disallow: /transfers.js
Disallow: /go.php
Disallow: /xmlrpc.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */trackback
Disallow: /wp-json
Disallow: */feed
Disallow: /*?
Disallow: /author/
Disallow: /transfers.js
Disallow: /go.php
Disallow: /xmlrpc.php
Host: https://pronets.ru

User-agent: Googlebot
Allow: *.css
Allow: *.js
Allow: /wp-includes/*.js
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/cache
Disallow: */trackback
Disallow: /wp-json
Disallow: */feed
Disallow: /author/
Disallow: /transfers.js
Disallow: /go.php
Disallow: /xmlrpc.php
Disallow: /*?

Sitemap: https://pronets.ru/sitemap.xml

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/cache/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Allow: /wp-content/uploads/
Sitemap: https://example.com/sitemap.xml

В данном примере мы запретили поисковым роботам индексировать страницы административной панели, каталоги с плагинами и темами, страницы регистрации и авторизации, а также различные форматы URL-адресов, связанные с отслеживанием и комментариями. При этом мы разрешили индексацию каталога с загруженными файлами и указали ссылку на файл карты сайта.

Вывод: файл robots.txt является важным инструментом для оптимизации сайта на WordPress для поисковых систем. С его помощью можно контролировать индексацию страниц и улучшить позиции сайта в поисковых результатах. Правильно настроенный файл robots.txt поможет повысить эффективность SEO-оптимизации вашего сайта.

 

 

Подписаться
Уведомить о
guest
0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии
Back to top button