Googlebot jest to najprościej rzecz ujmując robot – skrypt – którego główne zadanie polega na analizowaniu stron internetowych pod kątem ich zawartości, jakości technicznej oraz struktury logicznej, a następnie umieszczanie ich w indeksie witryn Google.
Strony internetowej, do których Googlebot nie dotrze z powodu braku wzajemnego linkowania z inną witryną lub braku zgłoszenia do Google Search Console nie znajdą się w rankingu Google, a co za tym idzie w wynikach SERP.
Na etapie tworzenia strony internetowej zespoły web developerów umieszczają często na projekcie blokadę googlebota w celu zapobiegnięcia jej indeksacji na złym adresie lub w wersji nieukończonej. Blokada taka powinna zostać zdjęcia po umieszczeniu gotowej strony na docelowym adresie URL.
