質問: 「許可しない」だけでなく、インターネットアーカイブを制御しますか? インターネットアーカイブがサイトでアーカイブする内容を制御するメカニズムはありますか?すべてのページを禁止することを知っています 追加できます :user-agent: ia_archiver disallow: / 月に一度、または年に一度、サイトをクロールするようにボットに伝えることはできますか? アセットが取得されないため、正しくアーカイブされない/されないサイトがあります。インターネットアーカイブボットがサイトを取得する場合に必要な資産をインターネットボットに伝える方法はありますか?
回答: ほとんどの検索エンジンは「クロール遅延」ディレクティブをサポートしていますが、iaがサポートしているかどうかはわかりません。あなたもそれを試すことができます:user-agent: ia_archiver crawl-delay: 3600 これにより、リクエスト間の遅延が3600秒(つまり1時間)、または1か月あたり約700リクエストに制限されます。#2は可能だとは思わない-iaボットは、適切と判断したときに資産を取得します。あまりにも多くのストレージを使用しないように、ファイルサイズに制限がある場合があります。