Генератор robots.txt
Генератор robots.txt — быстрый и удобный онлайн-инструмент без регистрации. Запустите генератор robots.txt прямо сейчас и получите результат за несколько секунд.
Создайте файл robots.txt для вашего сайта за 10 секунд.
Что такое robots.txt?
Robots.txt — текстовый файл в корне сайта, указывающий поисковым роботам (Google, Яндекс, Bing и AI-краулерам), какие страницы можно сканировать, а какие — запрещено.
После генерации загрузите файл в корень сайта (где лежит index.php) — он станет доступен по адресу https://ваш-сайт.ru/robots.txt.
Нужен аудит или настройка сайта?
Разберём ваш проект, найдём точки роста и предложим план продвижения.
Обсудить проект →