質問: 現在、Google用のsitemapを手動で作成しているのですが 以下のように生成した、。URLがインデックス登録されません。 Googleのウェブマスターツールでは、 サイトマップにあるすべての URL:生成したURLの数を認識している。 サイトマップでインデックスに登録された URL:0 となってしまっている。 もしかしたら、locの部分のURLをエンコードしているのでいけないのでしょうか? > > 2009-08-18 daily 1.0 やりたいことは、キーワードでのURLを動的に作成して それを、インデックスしたいです。 キーワードの場合は、Googleで書いている、ニュース用のxmlにしないと 駄目なのでしょうか? わかる方が、いれば教えて頂けると助かります。
回答: サイトマップでクロールして欲しいURLを指定してもrobots.txtで拒否している場合はクロールされません。 大手のblogサービスでは、ラベルごとのアーカイブ等はクロールされないようにrobots.txtが設定されている場合が多いです。 ご自分のサイトのrobots.txtの内容を確認し ``` Disallow: /search ``` という記述があれば削除してください。 blogサービス等を利用し、自動でrobots.txtが設定されている場合は、Googleウエブマスターツールの、 サイト設定→クローラーのアクセス でrobots.txtの内容を確認できます。 robots.txtの内容を自由に設定できるかどうかは、blogサービスの仕様によります。