{{위키데이터 속성 추적}}
{{다른 뜻|웹크롤러||검색 엔진}}
[[파일:WebCrawlerArchitecture.svg|섬네일|웹 크롤러의 구조.]]
'''웹 크롤러'''({{lang|en|web crawler}})는 조직적, 자동화된 방법으로 [[월드 와이드 웹]]을 탐색하는 컴퓨터 프로그램이다.

웹 크롤러가 하는 작업을 '웹 크롤링'(web crawling) 혹은 '스파이더링'(spidering)이라 부른다. 검색 엔진과 같은 여러 사이트에서는 데이터의 최신 상태 유지를 위해 웹 크롤링한다. 웹 크롤러는 대체로 방문한 사이트의 모든 페이지의 복사본을 생성하는 데 사용되며, 검색 엔진은 이렇게 생성된 페이지를 보다 빠른 검색을 위해 인덱싱한다. 또한 크롤러는 링크 체크나 HTML 코드 검증과 같은 웹 사이트의 자동 유지 관리 작업을 위해 사용되기도 하며, 자동 이메일 수집과 같은 웹 페이지의 특정 형태의 정보를 수집하는 데도 사용된다.

웹 크롤러는 봇이나 소프트웨어 에이전트의 한 형태이다. 웹 크롤러는 대개 시드(seeds)라고 불리는 URL 리스트에서부터 시작하는데, 페이지의 모든 하이퍼링크를 인식하여 URL 리스트를 갱신한다. 갱신된 URL 리스트는 재귀적으로 다시 방문한다.

== 용어 ==
웹 크롤러는 웹 스파이더<ref name="spekta">{{웹 인용|last=Spetka|first=Scott|title=The TkWWW Robot: Beyond Browsing|url=http://archive.ncsa.uiuc.edu/SDG/IT94/Proceedings/Agents/spetka/spetka.html|publisher=[[National Center for Supercomputing Applications|NCSA]]|accessdate=21 November 2010|archiveurl=https://web.archive.org/web/20040903174942/http://archive.ncsa.uiuc.edu/SDG/IT94/Proceedings/Agents/spetka/spetka.html|archivedate=2004년 9월 3일|url-status=dead}}</ref>, 앤트, 오토매틱 인덱서<ref>{{저널 인용|author1=Kobayashi, M. |author2=Takeda, K. |lastauthoramp=yes | title = Information retrieval on the web | journal = ACM Computing Surveys | volume = 32 | issue = 2| pages = 144–173 | year = 2000 | publisher = ACM Press | url = http://doi.acm.org/10.1145/358923.358934 | doi = 10.1145/358923.358934 }}</ref>, 웹 스커터로도 부를 수 있다.<ref>See [http://wiki.foaf-project.org/w/Scutter definition of scutter on FOAF Project's wiki] {{웨이백|url=http://wiki.foaf-project.org/w/Scutter |date=20091213213920 }}</ref> 그 외에 봇(bots), 웜(worms), 웹 로봇(web robot) 등으로도 부른다.

== 크롤링 정책 ==
웹 크롤러의 행위는 복합적 정책들의 산물이다:<ref>{{학위논문 인용|degree=Ph.D. |title=Effective Web Crawling |url=http://chato.cl/research/crawling_thesis |last=Castillo |first=Carlos |year=2004 |publisher=University of Chile|accessdate=2010-08-03|docket= }}</ref>
* 선택 정책: 페이지의 다운로드를 언급
* 재방문 정책: 언제 문서의 변경사항을 검사할지를 언급
* 공손성 정책: [[웹사이트]]의 과부하를 막기 위한 언급
* 병렬화 정책: 분산 웹 크롤러를 어떻게 조율할지를 언급

== 예 ==
* [[빙봇]]
* FAST Crawler<ref>Risvik, K. M. and Michelsen, R. (2002). [http://citeseer.ist.psu.edu/rd/1549722%2C509701%2C1%2C0.25%2CDownload/http://citeseer.ist.psu.edu/cache/papers/cs/26004/http:zSzzSzwww.idi.ntnu.nozSz%7EalgkonzSzgenereltzSzse-dynamicweb1.pdf/risvik02search.pdf Search Engines and Web Dynamics]{{깨진 링크|url=http://citeseer.ist.psu.edu/rd/1549722%2C509701%2C1%2C0.25%2CDownload/http://citeseer.ist.psu.edu/cache/papers/cs/26004/http:zSzzSzwww.idi.ntnu.nozSz%7EalgkonzSzgenereltzSzse-dynamicweb1.pdf/risvik02search.pdf }}. Computer Networks, vol. 39, pp. 289–302, June 2002.</ref>: 분산 크롤러
* [[구글봇]]
* GM Crawl
* PolyBot
* RBSE
* Swiftbot
* [[웹크롤러]](WebCrawler)
* [[WebFountain]]
* WebRACE<ref>Zeinalipour-Yazti, D. and Dikaiakos, M. D. (2002). [http://www.cs.ucr.edu/~csyiazti/downloads/papers/ngits02/ngits02.pdf Design and implementation of a distributed crawler and filtering processor]. In Proceedings of the Fifth Next Generation Information Technologies and Systems (NGITS), volume 2382 of Lecture Notes in Computer Science, pages 58–74, Caesarea, Israel. Springer.</ref>
* [[월드 와이드 웹 웜]]<ref>McBryan, O. A. (1994). GENVL and WWWW: Tools for taming the web. In Proceedings of the First World Wide Web Conference, Geneva, Switzerland.</ref>
* [[Yahoo! Slurp]]

=== 오픈 소스 크롤러 ===
* [[Frontera]]
* [[Wget|GNU Wget]]
* [[GRUB]]
* [[Heritrix]]
* [[HTTrack]]
* [[mnoGoSearch]]
* [[news-please]]
* [[아파치 너치]](Apache Nutch)
* [[오픈 서치 서버]]
* [[PHP-Crawler]]
* [[Scrapy]]
* [[Seeks]]
* [[스핑크스 (검색 엔진)]]
* [[스톰크롤러]]
* [[tkWWW Robot]]
* [[Xapian]]
* [[YaCy]]
* [[Octoparse]]

== 같이 보기 ==
* [[메타검색]]
* [[데스크톱 검색]]
* [[검색 엔진]]

== 각주 ==
{{각주}}

{{웹 크롤러}}
{{전거 통제}}
{{토막글|소프트웨어}}

[[분류:웹 크롤러| ]]
[[분류:검색 엔진| ]]
[[분류:검색 엔진 소프트웨어]]