Bei einem Crawler handelt es sich um ein Programm, mit dessen Hilfe Webinhalte aufgerufen und ausgelesen werden können. Google unterscheidet bei seinen Crawlern zwischen zwei verschiedenen Arten: Ein Crawler für die Desktop-Version und ein Crawler für die Mobile-Version einer Website. Mit der Umstellung auf Mobile First Indexing, kommen die meisten Anfragen des Google Bots über den mobilen Crawler, weshalb eine optimierte Website für mobile Endgeräte besonders wichtig ist.