11го апреля Google объявил, что их робот будет заполнять формы на страницах и отправлять их на сервер. Делают они это, чтобы робот мог найти новые страницы, которые не доступны если следовать только по ссылкам на сайте.
Это всё здорово, но что если форма делает какие то деструктивные действия? Например стирает что либо из базы данных? Там можно, благодаря гуглу, остаться с пустым сайтом. Вот некоторые советы как этого избежать.
- Используйте POST для деструктивных форм
Используйте GET для получения какой либо информации, например для поиска по сайту. Используйте POST для каких либо изменений в базе данных. Google будет отправлять только GET формы. - Фильтруйте на сервере GET и POST запросы
Если у вас форма POST, то проверьте чтобы сервер не обрабатывал её с GET запросом. - Используйте robots.txt
Блокируйте доступ гуглу к определённым страницам на сайте. Например эта строчкаDisallow: /forum/edit/в robots.txt скажет гуглу, что в этот раздел сайта идти нельзя. Главное не перестарайтесь. Слишком мало индексированных страниц это тоже ничего хорошего. - Используйте CAPTCHA
Если форма важная, то её можно защитить от гугла и от спаммеров с помощью CAPTCHA. - Используйте nofollow
В формы или ссылки, которые надо защитить от гугла, можно добавить rel=”nofollow”.
