Къде трябва да стои robots.txt?
Файлът трябва да е достъпен в root на конкретния host, например https://example.com/robots.txt.
WEBSITE TEMPLE / SEO ИНСТРУМЕНТИ
ГЕНЕРАТОР НА ROBOTS.TXT
Създай чист robots.txt с Allow, Disallow и Sitemap правила и настрой отделно как AI crawlers да достъпват сайта.
Без регистрация. Генерирането е локално.
Нищо от въведените правила не се изпраща към сървър. Сваляш готовия robots.txt директно от браузъра.
AI & SEARCH CRAWLERS
Добави отделно правило само когато искаш конкретният crawler да се държи различно от основните правила.
ChatGPT Search
OAI-SearchBot
Видимост в ChatGPT Search
OpenAI training
GPTBot
Потенциално използване за обучение
Claude Search
Claude-SearchBot
Видимост в Claude Search
Claude training
ClaudeBot
Потенциално използване за обучение
Gemini / Google AI
Google-Extended
AI използване; не променя Google Search
Perplexity Search
PerplexityBot
Видимост в Perplexity Search
Grok / xAI
Няма официално потвърден robots.txt token
Не генерираме предположение. Ако xAI публикува официален crawler token, може да бъде добавен тук.
LIVE PREVIEW
User-agent: * Disallow:
ПРОВЕРИ ПУБЛИКУВАНИЯ ФАЙЛ
Тествай реалния robots.txt
След като качиш файла в root директорията, провери конкретен URL през Googlebot, ChatGPT, Claude, Gemini или друг crawler.
ОТВОРИ ПРОВЕРКАТАrobots.txt управлява crawling, не поверителност.
Не използвай robots.txt за скриване на чувствителни страници. За тях е нужен реален access control.
SEO & CRAWLING
Създай robots.txt с отделен контрол за search и AI crawlers
robots.txt указва кои части от сайта могат да бъдат обхождани. Генераторът поддържа User-agent, Allow, Disallow и Sitemap и позволява отделни правила за ChatGPT Search, OpenAI training, Claude, Gemini и Perplexity.
Как да създадеш robots.txt
01
Задай основните crawl правила за всички crawlers или за конкретен User-agent.
02
Добави отделни AI crawler правила само когато искаш различно поведение от основните правила.
03
Копирай или свали файла, публикувай го в root и провери live версията с инструмента за проверка на robots.txt.
Важни правила
Sitemap directive трябва да е пълен absolute URL.
Google-Extended контролира определено AI използване на съдържанието и не влияе на Google Search.
robots.txt управлява crawling, не достъп до чувствително съдържание.
Често задавани въпроси за robots.txt
Мога ли отделно да управлявам ChatGPT и Claude crawlers?
Да. Официалните crawler tokens могат да имат собствени User-agent групи. Генераторът не добавя отделно правило, освен ако изрично не го избереш.
Мога ли да използвам robots.txt за скриване на чувствителна страница?
Не. За чувствително съдържание използвай реален access control. robots.txt управлява crawling, а не сигурност.
SEO инструменти