Pozycjonowanie strony www to bardzo złożony i skomplikowany proces. Aby w pełni zrozumieć jego istotę i założenia, warto poznać wszystkie najważniejsze pojęcia z nim związane. Jednym z nich jest z pewnością crawl budget. Mimo że wiele osób być może o nim słyszało, nieliczni potrafią dobrze wyjaśnić, na czym polega i co zrobić, by go odpowiednio zoptymalizować. Niektórzy błędnie twierdzą, że crawling dotyczy tylko właścicieli największych stron www. W istocie crawl budget jest pojęciem, które powinny zrozumieć osoby posiadające witryny, którym zależy na szybkiej ich indeksacji.
Crawl budget, czyli co…?
Crawl budget to nic innego jak częstotliwość indeksowania strony przez crawlery i boty oraz łączna ilość adresów, które mogą crawlować witrynę. Doskonale zdajemy sobie sprawę, że samo pojęcie brzmi dość skomplikowanie i być może nie “mówi” zbyt wiele. Aby w pełni zrozumieć istotę crawlowania, warto więc rozpocząć od omówienia dwóch parametrów, które o nim decydują. Są to crawl rate limit i crawl demand.
Crawl rate limit – limit współczynnika indeksacji
Crawl rate limit to – jak sama nazwa wskazuje – limit, którego celem jest to, by wyszukiwarka nie crawlowała zbyt wielu witryn w krótkim okresie. Jeśli limit byłby zbyt wysoki, serwer strony www mógłby być za bardzo przeciążony i – tym samym – szybkość witryny pozostawiałaby wiele do życzenia. Limit ten można samodzielnie zmienić w Google Search Console. Ostrzegamy jednak od razu, że ustawienie ekstremalnie wysokiego limitu nie jest równoznaczne z szybszym indeksowaniem strony.
Crawl demand – częstotliwość indeksacji
Od czego zależy crawl demand? Nie da się ukryć, że na częstotliwość indeksacji mają wpływ takie czynniki, jak aktualność i popularność treści, a także ich unikatowość.
Crawl budget “po ludzku”
Innymi słowy, crawl budget to po prostu ilość podstron Twojej witryny, które boty Google – biorąc pod uwagę dwa powyższe parametry – mogą poddać crawlingowi.
Jak sprawdzić crawl budget swojej strony www?
Jak już wspomnieliśmy, crawl budget można sprawdzić po zalogowaniu do Google Search Console. Po wejściu w “statystyki indeksowania” można zobaczyć dzienne dane dotyczące liczby indeksowanych stron, liczby pobieranych kilobajtów danych oraz czas niezbędny do pobierania strony.
Jak pracować z crawl budget?
Jak “pracować” z budżetem crawlowania? Czy wystarczy troszczyć się o crawl rate limit lub crawl demand? Nie, należy dbać o to, by oba te parametry były na odpowiednim poziomie! Czynników, które wpływają na crawl budget, jest naprawdę wiele. Zaliczają się do nich m.in. wydajność serwera, duplikacja treści, thin content czy blokady w pliku robots.txt. Linkowanie wewnętrzne również odgrywa tu znaczącą rolę.
Optymalizacja
Jak wygląda proces optymalizacji crawl budget? Działania z nim związane najczęściej dzieli się na trzy fazy: zbierania danych, analizy widoczności i low-hanging fruit oraz rekomendacji.
Zbieranie danych
Zbieranie danych obejmuje pełen crawl serwisu (najczęściej są to minimum dwa crawle). Ilość adresów do analizy, jeśli mowa jest o naprawdę dużym serwisie/portalu, to ok. 300 000 podstron. Oprócz tego, analizuje się logi serwera – najlepiej z ostatniego miesiąca. Pełen obraz tego, co “widać” na stronie, powinien dać również eksport danych z Google Search Console. Nie mniej istotne są na etapie zbierania danych również dane dotyczące ruchu organicznego oraz przegląd danych bezpośrednio z indeksu. Gdy pozyska się wszystkie te dane, agreguje się je i przechodzi do analizy.
Analiza widoczności i low hanging fruits
Kolejna faza obejmuje analizę, a raczej przegląd tego, co jak działa i gdzie wzrost jest najszybszy. Najbardziej interesujące są w na tym etapie wszystkie sytuacje niecodzienne – nagłe spadki czy zwyżki ruchu, które nie są uwarunkowane sezonowością.
Rekomendacje
Rekomendacje dotyczące crawl budget mogą być w każdym przypadku zupełnie inne. Są one uzależnione przede wszystkim od wielkości serwisu. Podczas prac na tym etapie najczęściej bierze się pod uwagę kilka istotnych elementów. Zaliczają się do nich m.in. eliminacja błędów 404/410, poprawa łańcuchów przekierowań, konsolidacja duplikatów czy weryfikacja ilości adresów noindex. Ponadto, istotne są również praca z architekturą informacji oraz sitemap.xml. Nie bez znaczenia jest wydajność strony. Warto jednak pamiętać, że najważniejszym celem wszystkich działań jest uporanie się z tzw. wąskimi gardłami w serwisie.
Pamiętaj, że od crawl budget zależy ruch w Twojej witrynie!
To od crawl budget zależy ilość (i szybkość) indeksowania stron serwisów. Warto więc dbać o crawl rate limit i crawl demand witryny, by “zagwarantować” na niej ruch i – tym samym – sobie dochód.
Szukasz Specjalistów, którzy profesjonalnie zajmą się Twoją stroną internetową? Koniecznie skontaktuj się z KoboSystem!
