Narzędzia / Generatory

Generator robots.txt

Generator składa plik robots.txt w przeglądarce z grup User-agent, reguł Allow i Disallow, adresu mapy witryny i opcjonalnego Crawl-delay. Podgląd zmienia się przy każdej edycji pola. Gotowy plik skopiujesz albo pobierzesz i wgrasz do katalogu głównego domeny.

Narzędzie: Generator robots.txt

Konfiguracja robots.txt

User-agent

Crawl-delay

Dozwolone ścieżki

Jedna ścieżka w linii

Zablokowane ścieżki

Jedna ścieżka w linii

Adres sitemap

Podgląd pliku

User-agent: *
Allow: /
Disallow: /admin
Disallow: /koszyk

Sitemap: https://twojadomena.pl/sitemap.xml

Instrukcja

Jak korzystać z narzędzia

Krok po kroku

Wybierz robota lub zostaw gwiazdkę, aby reguły dotyczyły wszystkich crawlerów.
Dodaj ścieżki Allow i Disallow oraz pełny adres sitemap.xml swojej domeny.
Sprawdź podgląd, pobierz plik i wgraj go jako /robots.txt do katalogu głównego.

Ograniczenia

Generator nie pobiera obecnego pliku, nie sprawdza wdrożenia ani pełnej składni wpisanych ścieżek. Disallow ogranicza crawlowanie, ale nie usuwa adresu z indeksu. Crawl-delay ignoruje część robotów, w tym Googlebot.

Pytania i odpowiedzi

Czy Disallow w robots.txt usunie stronę z Google?

Nie. Disallow prosi roboty, by nie pobierały danej ścieżki, ale adres znany z linków może nadal pojawić się w wynikach bez opisu. Aby wykluczyć stronę z indeksu, użyj meta robots noindex lub nagłówka X-Robots-Tag. Pozwól robotowi pobrać stronę, bo inaczej nie zobaczy tej dyrektywy.

Gdzie umieścić wygenerowany plik robots.txt?

Plik musi leżeć w katalogu głównym hosta, na przykład https://twojadomena.pl/robots.txt, i dotyczy tylko tego protokołu i subdomeny. Sklep pod sklep.twojadomena.pl potrzebuje osobnego pliku. Po wgraniu otwórz adres w przeglądarce i sprawdź, czy serwer zwraca kod 200 i czysty tekst.

Wolisz zlecić poprawki?

Jeśli wynik pokazuje problem, którego nie chcesz poprawiać samodzielnie, pomożemy przy SEO, stronie internetowej lub automatyzacji.