Crawl Budget czyli budżet indeksowania witryny to maksymalna liczba stron, które Google może zaindeksować w obrębie jednej witryny internetowej. Innymi słowy Crawl Budget to potencjał jaki posiada twój serwis aby odnieść sukces w wyszukiwarce internetowej i wyprzedzić konkurencję.
Crawl Budget nie jest wartością stałą i dla każdej witryny jest wyliczany indywidualnie. Składają się na niego czynniki on-site, takie jak prędkość strony, obecność nawigacji fasetowej, duplikacja treści wewnątrz witryny, atak hakerski lub drobne niedociągnięcia techniczne. W uproszczeniu można przyjąć, że im prościej i szybciej będzie się robot Google mógł przemieszczać po witrynie, tym większym budżetem crawlowania dysponujemy.
Problematyka Crawl Budget dotyczy dużych serwisów internetowych jak strony newsowe oraz sklepy posiadające więcej niż 1000 produktów. Zwykłe strony usługowe, lokalne czy nawet ogólnokrajowe nie odczuwają zazwyczaj ograniczeń w budżecie crawlowania.
