Przejdź do treści

Co to jest crawl budget?

Crawl budget to ograniczona pula adresów URL, które Googlebot może i chce przeskanować w Twoim serwisie w określonym czasie. Składają się na niego dwa elementy. Pierwszy to crawl rate limit, czyli maksymalna częstotliwość pobierania stron, przy której serwer nie zostaje przeciążony. Drugi to crawl demand, czyli zapotrzebowanie Google na ponowne odwiedzenie konkretnych adresów URL w oparciu o ich popularność i świeżość. Te dwa czynniki razem decydują, ile zasobów Googlebot faktycznie poświęci danej domenie.

Crawl budget ma największe znaczenie dla średnich i dużych serwisów. Dotyczy to witryn z powyżej 10 tysięcy unikalnych, dynamicznie aktualizowanych adresów URL. Masz witrynę z kilkudziesięcioma podstronami? Googlebot najprawdopodobniej przeskanuje ją w całości bez żadnych problemów. Zupełnie inaczej wygląda to przy rozbudowanych sklepach internetowych, portalach ogłoszeniowych czy serwisach newsowych. Tam robot musi wybierać: które strony odwiedzi teraz, a które pominie lub odłoży na później.

Dlaczego te limity w ogóle istnieją? Współczesny internet liczy już ponad 1,5 miliarda witryn. Żaden robot nie jest w stanie ciągle przeszukiwać każdej domeny z taką samą częstotliwością. Googlebot operuje na skończonych zasobach obliczeniowych i musi je dzielić pomiędzy miliardy stron. Dlatego każdemu serwisowi przydziela indywidualny budżet skanowania – proporcjonalny do jego wielkości, jakości i aktualności treści.

Crawl budget to zatem miara uwagi, jaką Googlebot przydziela Twojej witrynie. Im lepiej nią zarządzasz, tym szybciej nowe i zaktualizowane strony trafiają do indeksu wyszukiwarki.

Crawl rate limit i crawl demand jako składowe budżetu indeksowania

Crawl budget powstaje z dwóch niezależnych składowych: crawl rate limit oraz crawl demand. Jego ostateczna wartość równa się tej niższej z nich. Googlebot nie będzie skanować szybciej, niż pozwala serwer. Nie będzie też skanować więcej, niż wynika z jego zapotrzebowania na nowe treści. Nawet potężna infrastruktura serwerowa nic tu nie zmieni, jeśli Google po prostu nie widzi powodu, by odwiedzać Twoje strony częściej.

Crawl rate limit to maksymalna liczba jednoczesnych połączeń i żądań, które Googlebot może wykonać bez przeciążenia serwera. Google wyznacza ten limit automatycznie na podstawie czasu odpowiedzi. Im szybciej serwer zwraca odpowiedzi, tym więcej zapytań Googlebot wysyła w jednostce czasu. Gdy czas odpowiedzi rośnie powyżej kilku sekund albo serwer zaczyna zwracać błędy 5xx, Googlebot natychmiast zwalnia. Robi to, żeby nie pogorszyć doświadczenia użytkowników. Dbanie o wydajność i szybkość wczytywania przynosi podwójną korzyść. Zmniejsza współczynnik odrzucenia wśród odwiedzających, a jednocześnie poszerza dopuszczalny przydział zasobów serwera dla robotów.

Crawl demand to z kolei miara zapotrzebowania Google na zawartość Twojej witryny. Składa się z trzech czynników: popularności URL-i (mierzonej liczbą linków przychodzących i ruchu), częstotliwości aktualizacji treści oraz liczby wartościowych, unikalnych adresów w serwisie. Różnica potrafi być ogromna. Strona aktualizowana codziennie z setkami backlinków generuje wielokrotnie wyższy crawl demand niż statyczna witryna z kilkoma podstronami bez linków zewnętrznych.

Co to oznacza w skrócie? Oba czynniki działają jak system naczyń połączonych:

  • crawl rate limit – zależy od czasu odpowiedzi serwera, liczby błędów HTTP i ogólnej kondycji technicznej infrastruktury
  • crawl demand – zależy od popularności strony, świeżości treści i liczby URL-i uznanych przez Google za wartościowe
  • crawl budget – przyjmuje wartość niższej z dwóch składowych, więc wąskie gardło po którejkolwiek stronie ogranicza całość

W praktyce musisz pracować nad obiema składowymi jednocześnie. Szybki serwer bez wartościowych treści daje taki sam efekt jak świetny content na przeciążonej infrastrukturze – czyli żaden. Końcowy budżet indeksowania Twojej witryny to zawsze minimum z crawl rate limit i crawl demand. Dlatego identyfikacja słabszego ogniwa jest pierwszym krokiem do zwiększenia liczby skanowanych stron.

Co powoduje marnowanie crawl budget?

Crawl budget najczęściej zjadają problemy techniczne. Zmuszają one Googlebota do wielokrotnego odwiedzania stron bez żadnej wartości indeksacyjnej. Zamiast skanować kluczowe podstrony z unikalnymi treściami, robot traci czas na duplikaty, błędy i przekierowania. Przyczyny są różne, ale efekt zawsze ten sam: mniej zaindeksowanych stron, które faktycznie mają znaczenie dla Twojej widoczności.

  • Duplicate content – Googlebot traktuje każdy wariant URL jako osobną stronę do przeskanowania. Powielone treści – np. wersje z www i bez www czy HTTP i HTTPS – podwajają lub potrajają liczbę żądań bez żadnej korzyści dla indeksu.
  • Nawigacja fasetowa – w sklepach internetowych filtry kolorów, rozmiarów, cen i marek generują tysiące kombinacji parametrów URL. Powstaje nieskończona liczba wariantów jednej podstrony kategorii. Googlebot próbuje skanować je po kolei.
  • Niekontrolowane parametry URL – każdy parametr śledzenia typu utm_source, session_id czy sort_by tworzy osobny adres z identyczną treścią. W połączeniu z nawigacją fasetową potrafi to wygenerować setki tysięcy bezwartościowych adresów.
  • Błędy 404 – nieistniejące strony zmuszają robota do odpytywania adresów, które nie zwracają żadnej treści. Jeśli takich adresów są tysiące (np. po migracji), Googlebot poświęca na nie sporą część swojej aktywności.
  • Błędy 5xx – ciągłe problemy po stronie serwera drastycznie ograniczają przydzielony budżet skanowania. Google interpretuje błędy 500 i 503 jako sygnał przeciążenia. W odpowiedzi automatycznie obniża crawl rate limit.
  • Łańcuchy przekierowań 301 – gdy jedno przekierowanie prowadzi do kolejnego, a to do następnego, Googlebot musi wykonać kilka żądań HTTP zamiast jednego. Zużycie crawl budget rośnie wprost proporcjonalnie do długości łańcucha.
  • Thin content – strony z minimalną lub zerową wartością merytoryczną (puste tagi, strony wyników wewnętrznej wyszukiwarki) są skanowane, ale obniżają postrzeganą jakość witryny. To z kolei negatywnie wpływa na crawl demand.

Co z tych problemów jest najgroźniejsze? Według dokumentacji Google największy wpływ na ograniczenie częstotliwości odwiedzin mają błędy serwera 5xx. Robot potrafi w ciągu godzin zmniejszyć liczbę żądań o rząd wielkości, jeśli serwer konsekwentnie zwraca kody 500 lub 503. Błędy 404 działają łagodniej. Przy dużej skali – powyżej kilku tysięcy martwych URL-i – też jednak zauważalnie odciągają robota od wartościowych zasobów.

Wspólny mianownik wszystkich tych przyczyn? Generowanie żądań do URL-i, które nigdy nie powinny trafić do indeksu Google.

Jakie są skutki wyczerpanego budżetu indeksowania?

Wyczerpany crawl budget to sytuacja, w której Googlebot kończy wizytę w Twoim serwisie, zanim dotrze do wszystkich ważnych podstron. Nowe produkty, zaktualizowane artykuły, świeże oferty – wszystko to zostaje niewidoczne w wynikach wyszukiwania. Powodem nie jest niska jakość treści. Robot po prostu ich nie pobrał. Techniczny limit przekłada się wprost na realne straty w ruchu organicznym.

Co to oznacza dla Twojego serwisu? Konsekwencje uderzają w trzy obszary naraz.

Pierwsza z nich to opóźnione indeksowanie nowych podstron. Wyobraź sobie sklep internetowy z tysiącami SKU. Świeżo dodany produkt czeka tygodniami na pojawienie się w Google. Tymczasem konkurencja z lepiej zarządzanym budżetem wyświetla analogiczny towar już następnego dnia. Tygodnie opóźnienia to tygodnie straconych zamówień.

Drugi problem dotyczy aktualizacji treści. Zmieniona cena, poprawiony opis, nowa data wydarzenia – wyszukiwarka ich nie odnotowuje. Użytkownik widzi w SERP jedną wersję, a po kliknięciu trafia na zupełnie inną. To prosta droga do frustracji i utraty zaufania.

Trzeci efekt jest najbardziej podstępny: systematyczny spadek widoczności całego serwisu. Google traktuje rzadko crawlowane strony jako mniej istotne. W odpowiedzi jeszcze bardziej obniża częstotliwość ich odwiedzania. Powstaje błędne koło – im rzadziej robot przychodzi, tym mniejsze znaczenie przypisuje danym podstronom.

Kogo to dotyczy najbardziej? Dużych i dynamicznie rozbudowywanych witryn. Chodzi o sklepy e-commerce z katalogami liczącymi dziesiątki tysięcy podstron, portale ogłoszeniowe generujące setki nowych ofert dziennie oraz serwisy newsowe, gdzie aktualność treści decyduje o pozycji w rankingu. Dane z Google Search Central pokazują, że strony z poważnymi problemami technicznymi mogą tracić nawet 50–80% potencjalnych wizyt robota. Brak prawidłowego tagu kanonicznego, masowe duplikaty czy nieskończone pętle parametrów URL kierują robota na podstrony, które w ogóle nie powinny być crawlowane.

Tag kanoniczny wskazuje wyszukiwarce preferowaną wersję strony. Gdy go brakuje lub jest źle wdrożony, Googlebot marnuje zasoby na indeksowanie zduplikowanych wersji tej samej treści. Zamiast tego mógłby odkrywać nowe, unikalne podstrony. To jak wysyłanie kuriera pod ten sam adres pięć razy, podczas gdy paczki pod innymi adresami czekają na dostawę.

Mały serwis liczący kilkaset podstron raczej nie odczuje tego problemu – Google bez trudu pobiera go w całości. Sytuacja zmienia się diametralnie w witrynach przekraczających 10 000 adresów URL. Tam każda nieoptymalna decyzja architektoniczna kumuluje się z czasem. Stopniowo odcina coraz większe fragmenty serwisu od indeksu.

Krótko mówiąc: wyczerpany crawl budget przekłada się bezpośrednio na spadek widoczności, opóźnione indeksowanie i utratę ruchu organicznego. Dotyczy to szczególnie dużych serwisów, gdzie robot nie jest w stanie odwiedzić wszystkich istotnych podstron w wyznaczonym oknie czasowym.

Jak zoptymalizować crawl budget w dużym serwisie?

Optymalizacja crawl budget w dużym serwisie sprowadza się do eliminacji marnotrawstwa. Blokujesz dostęp do bezwartościowych URL, naprawiasz błędy techniczne i kierujesz robota wyłącznie do stron przeznaczonych do indeksu. Gdy Twój serwis przekracza 10 tys. podstron, każde z tych działań realnie decyduje o tym, czy Googlebot dotrze do kluczowych treści.

Poniższe kroki warto układać według priorytetów. Zacznij od tych, które najszybciej odblokują zasoby crawlera.

  1. Zablokowanie bezwartościowych URL w robots.txt – filtry fasetowe (kolor, rozmiar, cena), parametry sortowania i paginacja wewnętrzna potrafią wygenerować tysiące adresów bez unikalnej treści. Reguły Disallow dla wzorców typu /kategoria?kolor= lub /produkty?sort= eliminują wizyty na stronach, które nigdy nie powinny pojawić się w wynikach wyszukiwania.
  2. Wdrożenie tagów kanonicznych dla duplikatów – jeśli te same produkty widnieją pod kilkoma URL (np. przez przypisanie do wielu kategorii), wskaż wersję kanoniczną za pomocą rel="canonical". Googlebot wciąż może odwiedzić duplikat, ale szybciej go porzuci i przeniesie sygnały do właściwego adresu.
  3. Pofragmentowanie sitemap.xml i utrzymanie jej w czystości – mapy witryny przekraczające 50 tysięcy URL lub 50 megabajtów wagi po kompresji wymagają podziału na mniejsze pliki (np. sitemap-produkty-1.xml, sitemap-blog.xml). Usuń URL z kodem 3xx, 4xx i 5xx. Mapa powinna zawierać wyłącznie strony indeksowalne o statusie 200.
  4. Naprawa błędów 4xx i 5xx – każdy adres zwracający błąd to zmarnowana wizyta crawlera. Raporty w Google Search Console i Screaming Frog pomogą Ci szybko namierzyć takie adresy. Następnie ustaw przekierowania 301 albo zwracaj kod 410 dla trwale usuniętych zasobów.
  5. Skrócenie łańcuchów przekierowań 301 – przekierowanie prowadzące do kolejnego przekierowania (A → B → C) podwaja lub potraja zużycie crawl budget na jeden docelowy URL. Każdy łańcuch powinien kończyć się maksymalnie jednym skokiem. Im mniej przeskoków, tym lepiej.
  6. Poprawa wydajności serwera i Core Web Vitals – Googlebot dostosowuje tempo crawlowania do szybkości odpowiedzi serwera. Czas TTFB poniżej 200 ms, stabilne wyniki Largest Contentful Paint i Interaction to Next Paint – to sygnały, że robot może crawlować intensywniej bez ryzyka przeciążenia.
  7. Budowanie logicznego linkowania wewnętrznego do priorytetowych stron – linkowanie wewnętrzne pełni rolę drogowskazu dla crawlera. Strony oddalone o więcej niż 3 kliknięcia od strony głównej są crawlowane rzadziej. Kluczowe kategorie i landing page’e powinny otrzymywać linki z nawigacji głównej, breadcrumbów i kontekstowych odnośników w treści.

Co to oznacza w praktyce? Nawet najlepiej przygotowana lista URL na niewiele się zda, jeśli sitemap nie spełnia wymogów technicznych. Według dokumentacji Google pojedynczy plik sitemap.xml nie może przekraczać 50 000 URL ani 50 MB po kompresji. Przekroczenie któregokolwiek z tych limitów sprawia, że wyszukiwarka ignoruje nadmiarowe adresy. To bezpośrednio obcina crawl budget przydzielony Twoim priorytetowym stronom.

Skuteczna optymalizacja crawl budget sprowadza się do jednej zasady – usuń z pola widzenia robota wszystko, co nie zasługuje na indeksację. Skieruj jego uwagę na strony generujące ruch i przychody.

Gdzie sprawdzić, jak Googlebot skanuje witrynę?

Google Search Console i logi serwera – to dwa podstawowe źródła wiedzy o tym, jak Googlebot gospodaruje crawl budgetem Twojej witryny. Razem dają pełny obraz: od ogólnych statystyk po konkretne ścieżki robota na poziomie pojedynczego żądania HTTP.

W Google Search Console znajdziesz raport „Statystyki indeksowania”. Ukryto go w sekcji Ustawienia → Statystyki skanowania. Raport pokazuje trzy kluczowe metryki: liczbę żądań skanowania dziennie, średni czas odpowiedzi serwera w milisekundach oraz rozkład kodów odpowiedzi HTTP – 200, 301, 404, 500. Na tej podstawie ocenisz, czy serwer odpowiada wystarczająco szybko i ile podstron Googlebot odwiedza dziennie. Spadek liczby żądań przy niezmienionej wielkości serwisu? To wyraźny sygnał problemu z crawl budgetem.

Co jednak z danymi, których Search Console nie udostępnia?

Tutaj wkraczają logi serwera. Każdy wpis w logu zawiera adres IP bota, żądany URL, kod odpowiedzi, rozmiar przesłanych danych i znacznik czasu. Filtrowanie wpisów po user-agent „Googlebot” pozwala wyodrębnić wyłącznie wizyty robota Google. Widzisz dokładnie, które ścieżki skanuje najczęściej, a które całkowicie pomija. Narzędzia takie jak Screaming Frog Log Analyser, GoAccess czy ELK Stack automatyzują tę analizę nawet na archiwach logów sięgających kilku lat wstecz.

Według danych Google raport statystyk skanowania w Search Console obejmuje ostatnie 90 dni aktywności Googlebota. To wystarczająco długi okres, by śledzić trendy sezonowe i skutki zmian technicznych. Wychwycisz zarówno nagłe anomalie, jak i stopniowe pogorszenie indeksowania – zanim stanie się poważnym problemem.

W praktyce analiza logów i danych z Search Console sprowadza się do kilku powtarzalnych kroków:

  • Pobieranie surowych logów serwera – eksport plików access.log z panelu hostingu lub przez SSH za okres minimum 30 dni
  • Filtrowanie ruchu Googlebota – wyszukanie wpisów zawierających „Googlebot” w polu user-agent, z odrzuceniem innych botów i użytkowników
  • Identyfikacja najczęściej skanowanych URL-i – posortowanie przefiltrowanych wpisów według liczby żądań na dany adres pozwala wykryć podstrony nadmiernie obciążające crawl budget
  • Analiza kodów odpowiedzi – wyodrębnienie żądań zwracających kody 301, 404 i 500, bo każde takie żądanie zużywa budżet skanowania na podstrony bez wartości
  • Porównanie danych z Google Search Console – zestawienie logów z raportem „Statystyki indeksowania” ujawnia rozbieżności między tym, co skanuje Googlebot, a tym, co faktycznie trafia do indeksu
  • Usunięcie zbędnych ścieżek z dostępu robota – na podstawie analizy warto zablokować w robots.txt lub oznaczyć tagiem noindex podstrony, które Googlebot odwiedza regularnie, ale nie powinny zużywać crawl budgetu

Regularna analiza danych z Google Search Console i logów serwera pozwala wykryć podstrony marnujące crawl budget. Dzięki temu podejmiesz konkretne działania naprawcze – zanim spadki w indeksowaniu przełożą się na utratę widoczności w wynikach wyszukiwania.