ウェブスクレイピング

ウェブスクレイピング（）とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。通常このようなソフトウェアプログラムは低レベルのHTTPを実装することで、もしくはウェブブラウザを埋め込むことによって、WWWのコンテンツを取得する。ウェブスクレイピングはユーザーが手動で行なうこともできるが、一般的にはボットやクローラ()を利用した自動化プロセスを指す。

ウェブスクレイピングは多くの検索エンジンによって採用されている、ボットを利用してウェブ上の情報にインデックス付けを行うウェブインデクシングと密接な関係がある。ウェブスクレイピングではウェブ上の非構造化データの変換、一般的にはHTMLフォーマットからデータベースやスプレッドシートに格納・分析可能な構造化データへの変換に、より焦点が当てられている。また、コンピュータソフトウェアを利用して人間のブラウジングをシミュレートするウェブオートメーションとも関係が深い。ウェブスクレイピングの用途は、オンラインでの価格比較、気象データ監視、ウェブサイトの変更検出、研究、ウェブマッシュアップやウェブデータの統合等である。

手法
ウェブスクレイピングはWWWから自動的に情報を収集する処理に他ならない。この分野はいまだテキスト処理や意味論的理解、人工知能、ヒューマンコンピュータインタラクションの面でブレークスルーを必要としている野心的な手法であるセマンティックウェブと目指すところが近い。対して、ウェブスクレイピングでは既存技術に基づいた、その場しのぎであろうとも現実的な解決案を良しとする。したがって、ウェブスクレイピング技術は次のような異なる自動化技術の集合体である。
 人間によるコピーアンドペースト
 全文検索と正規表現マッチ
 HTTPプログラミング
 データマイニングアルゴリズム
 DOM解析
 HTMLパーサ
 ウェブスクレイピングソフトウェア
 垂直統合プラットフォーム
 意味注釈認識

法的問題
ウェブスクレイピングはいくつかのウェブサイトの規約に反する可能性がある。
例えば、短文投稿サイトのツイッターではサービス利用規約によって明示的に禁止されておりサービス利用規約 - Twitter、APIの利用が必須となる。

米国時間2025年11月10日に、Wikipediaを運営する非営利団体ウィキメディア財団は、AIを扱う企業へAIモデルのトレーニングを目的としたWikipedia等のデータ収集（スクレイピング）をする際に無断で行うのを止めて、ウィキメディア財団の提供する有料APIを利用し、Wikipedia等を出典としたことを示すクレジット表示と財政的支援を求める声明を発表した。

ボットを禁止するための技術的手段
ウェブサイトの管理者にはボットを停止または処理を遅らせるいくつかの手段が存在する。

たとえば、HTMLを書く際にヘッダ内（<head></head>）に

<meta name="robots" content="noindex,nofollow">

と記載することで、当該ページを bot により（検索エンジンなどに）登録（index）したり、当該ページからリンクをたどっていかないように（nofollow）指定できる。

脚注

関連項目

 30 Digits
 Anubis (ソフトウェア)


 Octoparse
 コーパス言語学
 スクリーンスクレイピング
 レポートマイニング
 マッシュアップ (Webプログラミング)
 OpenSocial

 検索エンジンスパム
 コーパス
 クローラ
 robots.txt
 メタデータ
 アカウントアグリゲーション

 :en:noindex、:en:nofollow
 岡崎市立中央図書館事件

Category:World Wide Web
Category:データ処理