【備忘録】robots.txt について

備忘録です。

robots.txt に関して、
色々と困ったり、調べたりしたので、忘れない様にメモ。

# ■ そもそも、検索エンジンの仕組みについて
とりあえず、いくつかのサイトを見てみたところ、

* <b>クローラーというロボットが、ネットを巡回しながらサイトの情報を収集し、</b>
* <b>インデクサが、クローラが収集した情報を解析し、</b>
* <b>解析されたデータを元に、検索エンジン毎のアルゴリズムに従って検索結果を返す。</b>

といった仕組みの様です。

以下、参考にしたサイトです。

* [クローラーとは？検索エンジンの仕組みを解説！【初心者向け】](https://nozziedesign.com/1341.html)
    * … 以下のページでは、10分程度の動画で説明してくれるので、非常にわかり易いです。

他にもこれらのサイトも参考になるかと。

* [Google検索の仕組みの基本！クロールとインデックスされない恐怖を知っておかないと… \| ジュンイチのブログ](https://junichi-manga.com/mechanism-of-google-search/)
* [クローリングとは？仕組みとクローラーの促進＆抑制方法｜検索エンジンの仕組みを理解しよう \| なんでものびるWEB](https://nandemo-nobiru.com/3661/)
* [クローラーとは／検索エンジンの仕組みをおさらい。クローラー対策とステータスコード \| エンジニアのためのSEO入門 \| Web担当者Forum](https://webtan.impress.co.jp/e/2009/03/27/4952)

# ■ で、robots.txt とは？
とりあえず、いくつかのサイトを見てみたところ、

* <b>robots.txt とは、クローラーに、「クロールされたいページ」や「クロールされたくないページ」を教えるテキストファイルで、</b>
* <b>そのドメインの最上位ディレクトリに設置・公開される。</b>

みたいです。

以下のページにそのまま記載してます。

* [大手サイトのrobots\.txtでわかる「検索でヒットされたくないページ」の特徴 \| 齊藤貴義の唯物論](https://www.geek.sc/archives/869)

# ■ SEO、パフォーマンスの観点から
SEO、サイト負荷(パフォーマンス)の観点からみると、

* <font color="green"><b>クローラーの巡回によりサイト負荷が上がっている場合、robots.txt で重要でない大量のコンテンツをクローラーの巡回から外すことで、サイト負荷を軽減し、</b></font>
* <font color="green"><b>重要なコンテンツへの巡回効率を向上することができる。</b></font>

とうことで、
重要なコンテンツと重要でないコンテンツを区別することで、
SEO 的にも、パフォーマンス(サイト負荷)的にも良いみたいです。

で、
ここでいう重要でないコンテンツを調べてみると、

1. 検索エンジンにインデックスしなくてもいいページ
1. 価値の低いコンテンツのページ
1. 同じコンテンツの複数のページ
1. サイトに入れている広告のリンク先のページ
1. 限られた人にしか公開したくないページ
1. 管理系のファイル

などがあるみたいです。

※[2018.13]追記
なお、
検索エンジンにインデックスしなくていいページや価値の低いコンテンツのページには、古い記事や古いリンク先が多くリンク切れが発生しているなどのメンテナンスされていないページなどが考えられるみたいです。

# ■ セキュリティの観点から
で、セキュリティの観点からちょっと見てみると、
以下の点が、ちょっと気になります。

* <font color="red"><b>robots.txt に強制力はない</b></font>
* <font color="red"><b>限られた人にしか公開したくないコンテンツがバレてしまう</b></font>

## robots.txt に強制力はない

これは、「「クロールされたいページ」や「クロールされたくないページ」を教える」と記載したとおり、あくまで robots.txt はクローラーに教えるだけで、クローラーがそれに従うかどうかはクローラーの判断によるみたいです。一部のクローラーには、robots.txt を無視するものもあるみたいです。

## 限られた人にしか公開したくないコンテンツがバレてしまう

これは、robots.txt に「管理系のファイル」や「限られた人にしか公開したくないページ」を設定した場合、検索エンジンの検索結果に出てこなくはなるものの、robots.txt は公開されているので、robots.txt を直接見てしまうと、「管理系のファイル」や「限られた人にしか公開したくないページ」がバレてしまう。ということですね。

robots.txt に設定をすることで、

* <font color="green"><b>検索エンジンの検索結果に表示されるというセキュリティリスクは軽減されたものの、</b></font>
* <font color="red"><b>robots.txt からセキュリティ的に重要なコンテンツがわかってしまうというセキュリティリスクが生まれてしまう</b></font>

という状態が発生するかと。

これをどうみるかという判断はありますが、
兎にも角にも「セキュリティ的に重要な管理系のファイル」や「特定の限られた人にしか公開したくないページ」は、ログイン認証や IP アドレス制限など、しっかりとアクセス制限を設ける必要がありますね。

# ■ robots.txt の設定と確認の手順について

とりあえず、
Google Search Console を利用すると良いみたいなので、

#### １．まずは、Google Search Console へサイトを追加
以下のサイトを参考にサイトを追加します。

* [Search Consoleへのサイトの追加と削除 \- Google Search Consoleの使い方\(旧ウェブマスターツール\)](https://www.adminweb.jp/wmt/setup/index10.html)
    * [Google Search Consoleビギナー向けガイド（サイトの追加・確認編） \| Moz \- SEOとインバウンドマーケティングの実践情報 \| Web担当者Forum](https://webtan.impress.co.jp/e/2015/11/09/21463)
    * [サーチコンソールの登録方法と初心者でも分かる使い方](https://liskul.com/search-console-13563)

#### ２．次に、robots.txt テスターを使って、robots.txt を設定
以下のサイトを参考に robots.txt を設定します。

* [robots\.txtテスター、サイトマップから見えるサーチコンソールを用いたサイト運営　 – KOBIT](https://kobit.in/archives/6201)
    * [Google Search Consoleビギナー向けガイド（まず知っておくといい基本機能編） \| Moz \- SEOとインバウンドマーケティングの実践情報 \| Web担当者Forum](https://webtan.impress.co.jp/e/2015/11/16/21464)
    * [内部対策SEO：robots\.txtテスターの使い方｜ferret \[フェレット\]](https://ferret-plus.com/1354)

#### Ｘ．参考

* [【5分で完了】サーチコンソールとGoogleアナリティクスを連携する方法｜アクセス解析ツール「人工知能AIアナリスト」ブログ](https://wacul-ai.com/blog/access-analysis/google-analytics-setting/googleanalytics-searchconsole/)

<br>

***

# ※ 参考

* [Robots\.txtで秘密がバレる\!? \[ホームページ作成\] All About](https://allabout.co.jp/gm/gc/23784/)
* [bingo\-cms\.jp \| Website Review for bingo\-cms\.jp \| WooRank\.com](https://www.woorank.com/en/www/bingo-cms.jp)
* [WordPressサイトのrobots\.txtについてのまとめ！ \| WordPressブログ作ってみる?](http://hublog.biz/bwpb/about-robots-txt-of-wordpress-site/)
* [robots\.txt ファイルについて \- Search Console ヘルプ](https://support.google.com/webmasters/answer/6062608?hl=ja)
* [robots\.txtをSEO対策で利用するときに調べたことのまとめ](https://lightup-works.com/seo/robots-text)
* [robots\.txtの設置方法！SEOとセキュリティ対策。WordPress用も紹介 \- ゆめぴょんの知恵](http://wispyon.com/robotstxt-wordpress/)
* [robots\.txtの書き方解説「クローラーを制御してインデックス効率化する」 \| プロモニスタ](https://promonista.com/glossary-robottxt/)
* [robots\.txtがこんなに重要だったとは。。。身をもって知りました \| Rriver](https://parashuto.com/rriver/development/importance-of-robots-txt)
* [robots\.txtの作成と記述方法　使い方と注意点 \| アレグロのSEOブログ　意味・解説・利点・欠点など](https://www.allegro-inc.com/seo/robots-txt-setting)
* [robots\.txtの書き方と効果的な活用法](https://bazubu.com/robots-txt-16678.html)
* [初心者にも分かる！robots\.txtの作り方](https://syncer.jp/how-to-setting-robots-txt)
* [robots\.txtとは？「robots\.txt」の書き方をまとめてみた](http://viral-community.com/seo/robots-txt-2377/)