{{위키데이터 속성 추적}}
{{소프트웨어 정보
|name                       = 구글봇
|screenshot                  =
|caption                    =
|logo                       = Google 2015 logo.svg
|author                     = [[구글]]
|developer                  =
|released                   = <!-- {{시작 날짜|YYYY|MM|DD}} -->
|discontinued               =
|latest release version     =
|latest release date        = <!-- {{시작 날짜와 나이|YYYY|MM|DD}} -->
|latest preview version     =
|latest preview date        = <!-- {{시작 날짜와 나이|YYYY|MM|DD}} -->
|programming language       =
|operating system           =
|platform                   =
|size                       =
|language                   =
|status                     =
|genre                      = [[웹 크롤러]]
|license                    =
|website                    = [http://www.google.com/support/webmasters/bin/answer.py?answer=80553 Googlebot FAQ]
}}

'''구글봇'''({{llang|en|Googlebot}})은 [[구글]]이 사용하는 [[웹 크롤러|검색 봇]] 소프트웨어이며 [[월드 와이드 웹|웹]]으로부터 [[문서]]를 수집하여 [[구글 검색]] 엔진을 위한 검색 가능한 색인을 만든다. 이 이름은 실제로 각기 다른 두 종류의 [[웹 크롤러]]를 가리키기 위해 사용된다: 데스크톱 크롤러(데스크톱 사용자를 시뮬레이트하기 위함), 모바일 크롤러(모바일 사용자를 시뮬레이트하기 위함)<ref>{{웹 인용|url=https://support.google.com/webmasters/answer/182072?hl=en|title=Googlebot|last=|first=|date=2019-03-11|website=Google|archive-url=|archivedate=|accessdate=2019-03-11}}</ref>

웹사이트는 구글봇 데스크톱과 구글봇 모바일에 의해 크롤링될 가능성이 있다. 요청 중 사용자 에이전트 문자열을 살펴봄으로써 구글봇의 서브타입을 식별할 수 있다. 그러나 두 종류의 크롤러 모두 robots.txt의 동일한 제품 토큰(useent 토큰)을 준수하므로 robots.txt를 사용하여 구글봇 모바일 또는 구글봇 데스크톱을 선별적으로 지정할 수 없다.

[[웹마스터]]가 구글봇이나 다른 [[웹 크롤러|스파이더]]에 이용할 수 있는 사이트의 정보를 제한하고 싶다면 [[로봇 배제 표준|robots.txt]] 파일에 적절한 디렉티브를 지정하여 해당 작업을 수행할 수 있으며,<ref name="tools">{{웹 인용|url=https://search.google.com/search-console/about|title=Google Search Console|last=|first=|date=|website=Google.com|archive-url=|archive-date=|access-date=}}</ref> [[메타 엘리먼트|메타 태그]] <code><nowiki><meta name="Googlebot" content="nofollow" /></nowiki></code>를 웹 페이지에 추가하여 진행할 수도 있다.<ref>{{웹 인용|url=https://search.google.com/search-console/about|title=Google Search Console|website=search.google.com|access-date=2019-03-11}}</ref> [[웹 서버]] 대한 구글봇의 요청은 "Googlebot"을 포함하는 [[사용자 에이전트]] 문자열, "googlebot.com"을 포함하는 호스트 주소로 식별이 가능하다.<ref>Exact Googlebot client info can be found in Google-cached copies of pages which display such data to visitors. For example, see [https://archive.today/19991128232321/http://ipid.shat.net/]</ref>

현재 구글봇은 [[HTML 요소|HREF]] 링크와 SRC 링크를 따른다.<ref name="tools"/> 구글봇이 자바스크립트를 실행하고 [[Ajax]] 호출에 의해 생성된 콘텐츠의 구문을 분석할 수 있다는 정황이 있다.<ref name="ajax">{{웹 인용 |title=Googlebot makes POST requests via AJAX |url=http://www.thumbtack.com/engineering/googlebot-makes-post-requests-via-ajax/ |확인날짜=2019-04-03 |보존url=https://web.archive.org/web/20190403235704/http://www.thumbtack.com/engineering/googlebot-makes-post-requests-via-ajax/ |보존날짜=2019-04-03 |url-status=dead }}</ref><ref name="javascript">{{웹 인용|title=Google, the Jig is Up! Googlebot is actually a browser...|url=http://www.distilled.net/blog/seo/google-stop-playing-the-jig-is-still-up-guest-post/|확인날짜=2019-04-03|archive-date=2019-04-03|archive-url=https://web.archive.org/web/20190403235711/https://www.distilled.net/blog/seo/google-stop-playing-the-jig-is-still-up-guest-post/}}</ref> 진보된 구글봇의 기능을 설명하는 여러 이론들을 뒷받침하는 것은 자바스크립트를 처리하는 것이다.<ref>{{웹 인용|title=Googlebot's Javascript Interpreter: A Diagnostic|url=http://www.thegooglecache.com/white-hat-seo/googlebots-javascript-interpreter-a-diagnostic/}}</ref><ref>{{웹 인용|title=Googlebot is Chrome|url=http://ipullrank.com/googlebot-is-chrome/}}</ref><ref>{{웹 인용|title=How Googlebot crawls JavaScript|url=http://searchengineland.com/tested-googlebot-crawls-javascript-heres-learned-220157/}}</ref> 현재 구글봇은 크롬 41(M41) 기반의 웹 렌더링 서비스(WRS)를 사용한다<ref>{{웹 인용|url=https://developers.google.com/search/docs/guides/rendering|title=Understand rendering on Google Search {{!}} Search|website=Google Developers|language=en|access-date=2019-03-11}}</ref>. 구글봇은 모든 문서의 모든 링크를 찾아들어가면서 페이지를 발견한다. 그 다음 다른 웹 페이지의 이 링크들을 따라간다. 새 웹 페이지들은 웹 상에 알려진 다른 문서들과 연결되어 있어야 웹마스터가 크롤링, 색인, 수동 제출을 할 수 있게 된다.

== 미디어봇 ==
미디어봇은 내용 분석을 위해 [[구글]]이 사용하는 [[웹 크롤러]]이며 이를 이용하여 [[구글 애드센스]]는 문맥상 적절한 광고를 웹 페이지에 서비스할 수 있다. 미디어봇의 사용자 에이전트는 "Mediapartners-Google/2.1"이다.

다른 크롤러들과 달리 미디어봇은 새로운 크롤링 가능한 URL을 발견하기 위해 링크를 따라가지 않으며 애드센스 코드에 포함된 URL만을 방문한다.<!--<ref>{{웹 인용|url=https://support.google.com/adsense/answer/99376?hl=en&ref_topic=1348129|title = About the AdSense Crawler}}</ref>--> 콘텐츠가 로그인 뒷편에 존재하는 경우 크롤러에 로그인을 제공하여 보호된 내용을 크롤링하는 것이 가능하다.<!--<ref>{{웹 인용|url=https://support.google.com/adsense/answer/161351|title = Display ads on login-protected pages}}</ref>-->

== 각주 ==
{{각주}}

== 외부 링크 ==
* [https://developers.google.com/search/docs/crawling-indexing/googlebot?visit_id=638679406766691226-216931713&rd=1&hl=ko 구글의 공식 구글봇 FAQ]

{{구글}}
{{웹 크롤러}}

[[분류:구글의 소프트웨어]]
[[분류:웹 크롤러]]
[[분류:인터넷 봇]]
[[분류:구글 검색]]