質問: 検索エンジンからクロールされないwebサイトの公開の仕方はありますか? URLを教えた人がアクセスする分には構わないのですが、Googleなどにクロールされて第三者からアクセスされることは避けたいと考えています。 というふうにsample.comのドメインを所有していて、hogeというサブドメインを設定してそのURLで公開したいと考えています。 サーバーはさくらレンタルサーバーのスタンダードプランです。 ドメインはムームードメインで取得しました。 ターミナルからSSHでログインしてコマンドを入力することにはそこまで抵抗はありません。 BASIC認証のような認証画面を挟むことはできるだけ避けたいです。 .htaccessかApacheかわかりませんが、なにか効果的なやり方があれば教えて頂けないでしょうか。 ※URLを教えた人がツイッターにURLをつぶやくなどして、私が意図していない第三者がアクセスしうる可能性があるということは承知しています。
回答: robots.txt を設定してクローラをブロックするのが一般的だと思います。 > robots.txt ファイルを使用してページをブロックまたは削除する > ... > > robots.txt ファイルを作成する > > 非常に単純な形式の robots.txt ファイルでは、次の 2 つのルールを使用します: > > * User-agent: 以降のルールを適用するロボット > * Disallow: ブロックする URL > > robots.txt ファイルの各セクションは独立しており、先行のセクションには依存しません。次に例を示します: > ... > > > > User-agent: * > > Disallow: /folder1/ > > > > User-Agent: Googlebot > > Disallow: /folder2/ > > > > > > この例では、/folder2/ に一致する URL のみが Googlebot に対してブロックされます。 > > robots.txt ファイルを使用してページをブロックまたは削除する - ウェブマスター ツール ヘルプ