03 kwietnia 2024

Oszczędny crawling – Gary Illyes z Google o nowym podejściu do indeksowania

Indeksacja stron w Google odbywa się przy pomocy tzw. crawlerów, czyli botów skanujących witryny. Googlebot odwiedza nasze strony w celu dodania ich do indeksu oraz przyznania pozycji w wynikach wyszukiwania. Specjaliści SEO spekulują, że istnieje coś takiego jak crawl budget, czyli limit podstron w obrębie jednej domeny, jakie boty są w stanie przeskanować w określonym czasie. Przedstawiciele Google dementują taką interpretację tego pojęcia. Niedawno Gary Illyes, analityk Google, wypowiedział się też na temat potencjalnego zmniejszenia częstotliwości crawlowania.  

Wypowiedź Illyesa na LinkedIn – mniej crawlowania? 

Czy Google obecnie skanuje strony rzadziej niż w poprzednich latach? W tym temacie rozgorzała dyskusja na platformie Reddit. Gary Illyes postanowił odnieść się do tego na LinkedInie, zapowiadając jednocześnie, że chciałby zmniejszyć ilość przetwarzanych przez Google danych w nadchodzącym roku. 

(…) Kilka dni temu pojawił się post w redditowej społeczności, o tym jak, w opinii autora, Google crawluje mniej niż w poprzednich latach. W ogólnym planie rzeczy tak się nie dzieje. Crawlujemy mniej więcej tyle samo, co wcześniej, ale planowanie stało się bardziej inteligentne i skupiamy się bardzie na URLach, które wydają się bardziej zasługiwać na crawlowanie. (…)

Dalsza część wypowiedzi odnosi się do potrzeby faktycznego zmniejszenia konsumpcji danych i poszukiwania pomysłów, jak tego dokonać. 

Od czego zależy crawlowanie? 

Jeśli chodzi o to, które podstrony będą skanowane przez Googlebota jako pierwsze, decydują o tym różne czynniki. Z biegiem lat, proces crawlowania i indeksowania jest usprawniany, by w pierwszej kolejności analizować wartościowy content. Zatem kolejność i pozycja będą mocno zależne od jakości treści, a tak przynajmniej informują nas przedstawiciele Google. 

Co jeszcze się liczy? Jeśli Twoje treści są aktualne i świeże, to z pewnością pomoże. Dbaj też o przejrzystą architekturę strony, by crawler mógł się sprawnie po niej poruszać. Linkowanie wewnętrzne mu to ułatwi. Zwróć też uwagę na pojęcie search demand, przedstawione kiedyś przez Illyesa. Wskazuje ono na to, że popyt na wyszukiwanie pewnych tematów, wpływa na częstotliwość crawlowania.