Карта сайта : позволяет нам указать, где находится карта сайта веб-сайта. Мы можем указать несколько, просто добавив несколько параметров карты сайта в файл robots txt.
сканирование-задержка : позволяет указать количество секунд ожидания между каждой страницей, просматриваемой рассматриваемым ботом. Это полезно, чтобы избежать эксцессов со стороны ботов и сканеров, хотя многие боты не обращают на это внимания, например. Сам GoogleBot.
Чтобы вы могли более или менее увидеть, как используются эти параметры (хотя вы увидите это позже в файле robots.txt , который мы подготовили для вас), мы покажем вам несколько примеров того, что вы можете делать с параметрами robots.txt .
С помощью этого кода вы блокируете доступ к сайту ВСЕМ ботам (очевидно, его целесообразно использовать только на тех сайтах, которые вы не хотите, чтобы их сканировали поисковые системы
Пользовательский агент: *
Disallow: /
В этом другом случае, который мы покажем ниже, доступ база данных номеров whatsapp в нидерландах бота Google ко ВСЕМ веб-сайту блокируется :
Пользовательский агент: Googlebot
Disallow: /
Kак мы блокируем доступ GoogleBot (бота Google) к определенному маршруту и используем подстановочный знак, чтобы сделать то же самое со всеми подстраницами:
Пользовательский агент: Googlebot
Disallow: /aquinoentras/*
И теперь мы блокируем определенные маршруты от ВСЕХ ботов (этот код обычно используется для того, чтобы поисковые системы не индексировали страницы и не считали их дубликатом контента
Пользовательский агент: *
Запретить: page.