robots.txt - вот причина
Видео по теме: (July 2024).
Если вы работаете на веб-сайте, вы, вероятно, уже обнаружили файл robots.txt в вашей программе FTP. Вы можете узнать, что стоит за этим текстовым файлом и почему это важно в этом практическом совете.
robots.txt - Требования к поисковым системам
Каждый домен должен иметь файл robots.txt. Это важная часть SEO.
- Поисковые машины работают с гусеницами. Это небольшие, независимо работающие программы. Они ищут в интернете контент. Сайты считываются и индексируются.
- Поскольку сканеры работают независимо, их также называют роботами поисковых систем или роботами.
- Robots.txt на вашем сайте сообщает этим сканерам, какие каталоги можно и нельзя читать.
- Чтобы получить эту информацию, сканеры сначала ищут robots.txt домена. По этой причине файл robots.txt должен находиться на верхнем уровне структуры каталогов. Его нельзя перемещать в каталог - тогда боты не найдут эти текстовые файлы.
- Проще говоря, robots.txt предоставляет поисковым системам, сканирующим две части информации. Запись «User-agent:» указывает, для какого робота - это рассматривается в robots.txt как user-agent - применяется следующая инструкция.
- Далее следует запись «allow:» или «disallow:». Каталоги и подкаталоги, которые боту разрешено сканировать и какие каталоги следует исключить при индексации, перечислены в списке.
- Запись "allow:" менее важна. Все, что явно не исключено, индексируется роботом в любом случае.
- Некоторые CMS, такие как Drupal, создают robots.txt непосредственно во время установки. В WordPress вы можете создать robots.txt с помощью плагина.
Если вы получите сообщение Google «Необычно много запросов», вы можете узнать из нашего следующего практического совета, что вы можете сделать.