WEBSITE TEMPLE / SEO ИНСТРУМЕНТИ

ПРОВЕРКА НА ROBOTS.TXT

Провери реалния robots.txt на сайт и виж дали конкретен URL е достъпен за Google, ChatGPT, Claude, Gemini, Perplexity или друг crawler.

Тестваме реалния файл. Без регистрация.

Зареждаме публичния robots.txt само за проверката. Не съхраняваме файла или въведения URL.

URL за проверка

Crawler

LIVE ROBOTS.TXT CHECK

Провери дали конкретен URL е разрешен за Google и AI crawlers

Проверката на robots.txt зарежда публичния robots.txt на сайта и прилага правилата към конкретен URL и избран crawler. Така виждаш live конфигурацията, а не локален preview.

Как работи проверката

Въведи URL от сайта, който искаш да провериш.

Избери crawler като Googlebot, OAI-SearchBot, Claude-SearchBot, Google-Extended или PerplexityBot.

Виж дали URL-ът е разрешен или блокиран и кое Allow/Disallow правило е приложено.

Кога е полезен tester-ът

След промяна на robots.txt, за да провериш реално публикувания файл.

Когато искаш различен crawler да има различен достъп до една и съща страница.

Когато sitemap или SEO одит показва проблем с crawlability.

Често задавани въпроси за проверката на robots.txt

Tester-ът променя ли robots.txt?

Не. Инструментът само чете публичния файл и оценява правилата за URL-а и crawler-а, които си избрал.

Какво става, ако robots.txt липсва?

Показваме, че файлът не е открит. Липсата на robots.txt сама по себе си не блокира crawling.

Поддържа ли AI crawlers?

Да. Има готови избори за официално документирани tokens на OpenAI, Anthropic, Google и Perplexity, както и custom User-agent.

SEO инструменти

Генератор на robots.txt Проверка на сайт