ウェブスクレイピング
ウェブサイトの管理者にはボットを停止または処理を遅らせるいくつかの手段が存在する。
たとえば、HTMLを書く際にヘッダ内(<head>~</head>)に
と記載することで、当該ページを bot により(検索エンジンなどに)登録(index)したり、当該ページからリンクをたどっていかないように(nofollow)指定できる。
robots.txt