Dowiedz się, czym jest crawl budged, kiedy musisz zwrócić na niego uwagę, które czynniki mają kluczowy wpływ na budżet indeksowania i jak go skutecznie zoptymalizować. Podpowiadamy, co warto wiedzieć na ten temat.
Crawl Budget – czym jest?
Google dziennie mierzy się z astronomiczną liczbą podstron, dla których ustala pozycję na konkretne zapytania wpisywane przez użytkowników. Im większą liczbę podstron posiada Twój serwis, tym więcej uwagi jest potrzebne, aby w całości przeskanować i zaindeksować te adresy. W związku z tym, że zasoby Google nie są nieograniczone, wprowadzono limit, który nazywamy budżetem indeksowania.
Crawl budget to liczba stron w witrynie, które indeksujące wyszukiwarki są w stanie przeszukać i indeksować w danym przedziale czasowym.
Pamiętaj jednak, że sama praca nad optymalizacją crawl budgetu to zagadnienie, które w większości dotyczy dużych serwisów z ilością podstron oscylujących w liczbie 1 000 000. Dlatego, jeśli dopiero zaczynasz przygodę z pozycjonowaniem swojego serwisu, to optymalizacja budżetu indeksowania nie będzie Twoim głównym problemem do rozwiązania. Mimo to poniższa treść pozwoli Ci już od początku poznać i zastosować dobre praktyki, które przełożą się na mniejszą ilość pracy w momencie, gdy Twój serwis stanowczo się rozwinie, a kto wie, może nawet zostanie liderem dla swojej niszy!
Czy da się policzyć Crawl Budget?
Dla jak najmniejszego narażenia na obciążenie serwerów witryn internetowych Google posiłkuje się szybkością indeksowania (ang. Crawl Rate Limit) oraz zapotrzebowaniem na indeksowanie (ang. Crawl Demand). Szybkość indeksowania wyliczana jest na podstawie wszystkich możliwych połączeń równoległych, jakich Google może użyć do zeskanowania witryny. Dodatkowo, pod uwagę bierze również ewentualne opóźnienie, które występuje między pobraniem zasobów. Intensyfikacja lub ograniczanie szybkości indeksowania zależy od kilku mniejszych czynników, którymi są:
- Stan indeksowania – w ogólnym rozumowaniu nie ma ograniczeń co do liczby stron, które może zaindeksować wyszukiwarka, jednak rozmiar indeksu będzie miał wpływ na optymalizację pod kątem wyszukiwarek. Innymi słowy, im większa i szybsza reakcja ze strony witryny, tym większy limit zostanie jej przyznany, jednak jeśli Google napotka jakiekolwiek błędy, np. przez wzgląd na powszechne błędy serwera, tym większe ograniczenie Google nałoży na witrynę i tym mniejszy limit indeksowania jej przyzna,
- Limit indeksowania właściciela – jako właściciel stron internetowych, masz realny wpływ na maksymalną liczbę adresów URL, które możesz przesłać do konsoli wyszukiwania w celu indeksowania. Limit ten jest ustalany przez Ciebie i to Ty możesz go zmienić w dowolnym momencie. Pamiętaj jednak, że jeśli jako właściciel witryny przekroczysz limit indeksowania, będziesz musiał przesłać nowe żądanie do Search Console,
- Limit indeksowania Google – ograniczenia indeksowania Google mogą być wyzwaniem dla SEO. Koniec końców, to właśnie Google uwzględniając swoje wewnętrzne zasoby, zezwala tylko na określoną liczbę indeksowań dziennie dla danych adresów IP.
Poznawszy czynniki, które towarzyszą policzalnym metrykom szybkości indeksowania, pozostaje nierozwiązana jeszcze kwestia zapotrzebowania na indeksowanie. Aby poprawić pozycję swojej witryny na stronach wyników wyszukiwania (SERP), musisz mieć pewność, że zapotrzebowanie na indeksowanie Twojej witryny jest wysokie, a postrzegane zasoby są niskie.
Zapotrzebowaniem na indeksowanie nazywamy liczbę odwiedzin witryny przez roboty wyszukiwarki określaną na podstawie linków prowadzących do Twojej witryny, aktualności treści i liczby stron. W oczach Google, postrzegane zasoby reklamowe Twojej witryny, to te strony, które są realnie indeksowane przez wyszukiwarki. Dzięki temu Google definiuje zapotrzebowanie na potrzeby przyszłych faz indeksowania, Kluczowymi składowymi tego zapotrzebowania są takie elementy jak:
- Domniemane zasoby – SEO jako gra sygnałów wymaga od Ciebie precyzyjnych wskazówek dla robotów indeksujących. Domniemane zasoby to liczba wszystkich stron, które według wyszukiwarki znajdują się w Twojej witrynie. Dlatego im mniej nieporozumień na linii roboty crawlujące – właściciele stron internetowych, tym efektywniejsza współpraca, która przełoży się na większe zapotrzebowanie na indeksowanie,
- Popularność – im bardziej popularna jest Twoja witryna internetowa, tym większe prawdopodobieństwo, że zapotrzebowanie na jej indeksowanie wzrośnie. Dzieje się tak, ponieważ popularne strony internetowe mają zwykle więcej linków, które do nich kierują, a to z kolei oznacza, że mają jeszcze większe szanse na to, że zostaną odwiedzone przez roboty crawlujące. Dlatego jeśli myślisz o Tym jak zwiększyć zapotrzebowanie na indeksowanie, to powinieneś skupić się na budowaniu linków do swojej witryny z innych popularnych serwisów,
- Aktualność – jeśli witryna ma problem z regularnym indeksowaniem, to jej wyniki wyszukiwania mogą być przestarzałe i “nieaktualne”.
Co wpływa na budżet indeksowania?
Istnieje wiele czynników, które wpływają na budżet indeksowania witryny. Jednym z najważniejszych jest jej ogólny stan. Witryna, która jest dobrze zarządzana i regularnie aktualizowana ma szansę być indeksowana ze znacznie większą częstotliwością niż witryna zaniedbana. W związku z tym warto, aby w obrębie Twojej witryny było jak najmniej adresów URL, których wartość zostanie scharakteryzowana przez Google jako niska. Przez niską wartość definiujemy takie elementy jak:
- Poprawne zarządzanie zasobami URL – wszystkie strony w obrębie Twojej witryny, to potencjalne adresy URL, które wyszukiwarka może zaindeksować. Im więcej tych stron, tym większe zużycie potencjalnego budżetu, dlatego tak ważne jest dokładne kontrolowanie i zezwalanie na indeksowanie tylko najważniejszych stron w Twojej witrynie. Nie ma najmniejszego sensu, aby Twój serwis wykorzystywał nadmiarowe wewnętrzne przekierowania, skup się na tym aby ścieżka była możliwie najkrótsza.
- Duplikacja treści – zduplikowana treść to każda treść, która jest identyczna lub bardzo podobna do innych treści w Internecie. Gdy wyszukiwarki napotykają zduplikowaną treść muszą zdecydować, którą wersję treści indeksować i pozycjonować. Jest to jeden z czynników, który może spowodować obniżenie pozycji Twoich podstron, a nawet całkowite ich usunięcie z wyników wyszukiwania.
- Strony trwale usunięte – jeśli w Twojej witrynie trwale usunięto niektóre podstrony to najlepiej, abyś poinformował o tym roboty crawlujące dzięki kodom odpowiedzi 404 lub 410. To pozwala uniknąć nadmiernej gimnastyki ze strony Google i ogranicza straty na rzecz crawl budgetu. Roboty już wiedzą, że treść nie jest już dostępna i nie muszą tracić czasu na jej indeksowanie
Wskazówki dotyczące optymalizacji budżetu indeksowania
Jeśli chcesz mieć pewność, że Twoja witryna jest regularnie indeksowana, powinieneś ostrożnie zarządzać budżetem indeksowania. Oto kilka wskazówek, jak robić to w sposób optymalny.
- Dowiedz się i zrozum jak ustalany jest budżet indeksowania
Jak już wspominaliśmy, budżet indeksowania zależy od wielu czynników. Istotne jest, aby je zrozumieć i móc wprowadzać zmiany w witrynie, które zwiększą prawdopodobieństwo jej częstszego indeksowania.
- Upewnij się, że Twój serwer jest szybki i responsywny
Jeśli Twój serwer działa wolno lub, co gorsza, nie odpowiada, wpłynie to negatywnie na budżet indeksowania. Wolne działania serwera najczęściej zweryfikujesz dzięki monitorowaniu wartości czasu do pierwszego bajtu (tzw. TTFB). Pamiętaj, aby upewnić się, że Twój serwer działa możliwie szybko i jest w stanie poradzić sobie z nadmiarową ilością ruchu, który obsługuje.
- Utrzymuj czystą i prostą strukturę witryny
Czysta, przemyślana i dobrze zorganizowana witryna jest witryną łatwiejszą w rozumieniu indeksowania i crawlowania jej przez roboty. Jeśli Twoja struktura witryny jest nieuporządkowana lub nad wyraz skomplikowana to jej indeksowanie zajmie więcej czasu, a to realnie wpłynie na budżet.
- Regularnie aktualizuj zawartość
Roboty crawlujące są bardziej skłonne do indeksowania witryn, które regularnie aktualizują swoją zawartość. Jeśli chcesz, aby Twoja witryna miała większe prawdopodobieństwo indeksowania, pamiętaj o regularnym dodawaniu nowych i aktualnych treści.
- Promuj swoją witrynę za pośrednictwem mediów społecznościowych i innych kanałów marketingowych
Im bardziej popularna będzie Twoja witryna, tym większa szansa na częste indeksowanie nowych zmian. Jednym ze sposobów na zwiększenie popularności Twojej witryny jest promowanie jej w mediach społecznościowych i innych kanałach online.
Statystyki indeksowania – GSC
Na koniec, warto wspomnieć o bardzo przydatnym narzędziu związanym z monitorowaniem statystyk indeksowania. Odnajdziesz je w Google Search Console pod zakładką indeks. Z rozwijanego menu wystarczy przejść do sekcji stan, aby otrzymać pełen zestaw informacji na temat sposobu indeksowania Twojej witryny przez Google. To narzędzie w możliwie najszybszy sposób pozwoli Ci na zidentyfikowanie wszystkich problemów, które mogą uniemożliwiać prawidłowe indeksowanie witryny. Co więcej, narzędzie monitorujące statystyki indeksowania śledzi postęp Twoich prac w czasie, a co za tym idzie, pozwala na szybką weryfikację postępów prac optymalizacyjnych serwisu. Jeśli poważnie myślisz nad optymalizacją SEO na potrzeby swojego serwisu, to stałe monitorowanie statystyk indeksowania GSC jest koniecznością.
Dzięki statystykom indeksowania GSC, w prosty sposób zweryfikujesz i ustalisz ewentualne problemy serwisu na tle takich rzeczy jak:
- Nadmiarowe przekierowania,
- Ewentualne i przypadkowe blokady grup adresów URL związanych z nieefektywnym wykorzystaniem pliku robots.txt,
- Wszelkie błędy związane z nieodpowiednim wykorzystywaniem tagów kanonicznych.
Postępując zgodnie z wyżej wymienionymi wskazówkami i dobrymi praktykami, które w przejrzysty sposób opisujemy w naszym artykule, możesz być pewien, że zapewnisz swojej witrynie regularne indeksowanie i możliwie najefektywniejsze wykorzystanie crawl budgetu.
