Сайты должны работать правила такие рекомендации идут как от Google так и от Яндекса. Чтобы узнать какие ошибки на сайте многие пользуются панелями для вебмастеров особенно Google. Там наверное многие замечали такие ошибки, когда Googlebot не может получить доступ к файлам CSS и JS.
Сейчас мы рассмотрим как же повлиять, чтобы исправить данную проблему.
Заходим в Google Search Console
А теперь все что у нас получилось по возможности добавляем в robotx.txt
Кстати есть уже готовые шаблоны для работы с разными CMS которые должны помочь.
Примеры что нужно добавить для стандартных движков:
WordPress
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/
Универсальное решение для всех CMS
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Joomla
Allow: /templates/*.css
Allow: /templates/*.js
Allow: /components/*.css
Allow: /components/*.js
Allow: /media/*.js
Allow: /media/*.css
Allow: /plugins/*.css
Allow: /plugins/*.js
DLE
Allow: /engine/classes/*.css
Allow: /engine/classes/*.js
Allow: /templates/Название шаблона/style/*.css
Allow: /templates/Название шаблона/js/*.js
