Generator robots.txt

Plik składa się z grup. Grupa zaczyna się wierszem User-agent — nazwą robota, do którego się zwraca — i zawiera reguły Disallow i Allow. * oznacza dowolnego robota, który nie znalazł w pliku grupy ze swoją nazwą. Jeśli wybierzesz Googlebot, reguły dostanie tylko on, a dla pozostałych robotów strona zostaje otwarta.

Disallow zamyka ścieżkę, Allow otwiera. Gdy do adresu pasują obie, wygrywa reguła z dłuższą ścieżką: Disallow: /admin/ i Allow: /admin/public/ zamykają panel, ale zostawiają otwartą jego publiczną część. Pusty Disallow: oznacza „wolno wszystko” — generator zapisuje go, gdy lista zamkniętych jest pusta.

Ścieżka zaczyna się od / lub . zastępuje dowolne znaki, $ na końcu oznacza koniec adresu: /*.pdf$ zamyka wszystkie pliki PDF. Wiersz bez / na początku roboty po cichu pomijają, dlatego generator go nie przyjmuje.

Standard wymaga, by znaki spoza ASCII były zapisane jako bajty UTF-8 w postaci %XX. Generator przekodowuje je sam: /żółw/ staje się /%C5%BC%C3%B3%C5%82w/. Ścieżka już zakodowana zostaje bez zmian.

„Zamknij wszystko poza otwartym” zapisuje Disallow: /. Pozostałe wiersze z listy zamkniętych niczego wtedy nie zmieniają, więc generator ich nie drukuje i pokazuje, ile odrzucił. Otwarte ścieżki zostają — to jedyny sposób, by wpuścić robota tylko do kilku sekcji.

Przełącznik dodaje osobną grupę z wierszami User-agent dla GPTBot, ClaudeBot, CCBot i Google-Extended oraz regułą Disallow: /. Zwykłe wyszukiwanie Google się od tego nie zmienia: Google-Extended to osobna zgoda na użycie tekstów do modeli, a nie robot wyszukiwarki.

Crawl-delay to przerwa między zapytaniami robota, w sekundach. Nie ma go w RFC 9309: Bing i niektóre inne roboty go czytają, Google — nie. Sitemap to pełny adres mapy strony; generator stawia go w ostatnim wierszu, osobno od grup.

W katalogu głównym strony, żeby otwierał się pod adresem https://twoja-strona/robots.txt. Pliku w podfolderze roboty nie szukają. Każda subdomena potrzebuje własnego.

Nie. Prosi, by nie skanować strony, ale może ona zostać w wynikach, jeśli prowadzą do niej linki. Żeby usunąć stronę z wyników, potrzebny jest tag noindex, a strona musi być wtedy otwarta dla robota — inaczej go nie zobaczy.

Nie. To prośba, a nie zamek: uczciwe roboty ją wykonują, reszta — nie. Plik jest poza tym otwarty dla wszystkich, więc lista zamkniętych pokazuje, gdzie leży panel. Takie sekcje zabezpieczaj hasłem.

To wybór właściciela. Zamknięcie nie wpływa na zwykłe wyszukiwanie, ale teksty strony przestaną trafiać do zbiorów treningowych firm, których roboty przestrzegają robots.txt.