Przejdź do treści

Web crawler

Web crawler to program, który sam odwiedza strony internetowe, pobiera ich treść i przechodzi dalej po linkach. Wyszukiwarki i firmy od AI używają crawlerów, żeby znaleźć nowe adresy i odświeżyć wiedzę o znanych. Po polsku mówi się też robot, bot albo pająk.

Jak działa crawler?

Crawler zaczyna od listy znanych adresów. Pobiera stronę, zapisuje jej kod i wyciąga z niego linki. Nowe adresy trafiają do kolejki, a robot wraca po nie później. Drugim źródłem adresów jest mapa strony w XML. Przed wejściem na stronę porządny crawler czyta plik robots.txt i sprawdza, czego właściciel nie chce udostępniać.

Pobranie strony to dopiero pierwszy krok. Google osobno renderuje stronę, czyli uruchamia jej JavaScript, a potem decyduje o indeksowaniu. Strona odwiedzona przez robota nie musi więc trafić do wyników wyszukiwania.

Jakie crawlery odwiedzają Twoją stronę?

Dla firm w Polsce najważniejszy jest Googlebot. Obok niego chodzi Bingbot, który zasila wyszukiwarkę Microsoftu. Coraz częściej w logach serwera widać też roboty firm od modeli językowych, na przykład GPTBot od OpenAI, ClaudeBot od Anthropic albo PerplexityBot. Jedne zbierają dane do trenowania modeli. Inne pobierają stronę na bieżąco, gdy użytkownik zada pytanie w czacie.

Zależy Ci na tym, żeby AI polecało Twoją firmę? Nie blokuj tych robotów bez namysłu. Więcej o tym piszemy przy usłudze Widoczność w AI.

Crawlerem jest też narzędzie, które uruchamiasz sam. Screaming Frog przechodzi stronę podobnie jak Googlebot i pokazuje błędy, przekierowania i brakujące tagi. Tak powstaje techniczna część audytu SEO.

Jak kontrolować crawlery?

Plik robots.txt mówi robotom, których katalogów nie pobierać. Nie usuwa jednak strony z wyników wyszukiwania. Do tego służy tag noindex, a robot musi mieć dostęp do strony, żeby go zobaczyć. To częsty błąd przy porządkowaniu strony. Ktoś blokuje adres w robots.txt i dziwi się, że podstrona wciąż wisi w Google.

Roboty nie mają nieograniczonego czasu na jedną witrynę. Google nazywa ten limit budżetem indeksowania. Przy stronie firmy usługowej z kilkudziesięcioma podstronami limit rzadko ma znaczenie. Problem pojawia się przy tysiącach adresów z filtrów, parametrów i duplikatów.

Co z tego wynika dla Ciebie? Zajrzyj raz w Google Search Console do raportu „Statystyki indeksowania”. Zobaczysz, jak często Googlebot odwiedza stronę i czy serwer odpowiada mu bez błędów.