質問: 自分のホームページにリンクしているホームページのみを全文検索したいのですが、方法はあるでしょうか。 numazuだとサーバー内だけと聞いていますし、一般の検索エンジンを使うとリンクしていないホームページまで検索してしまうので、目的に合いません。 本格的なデータベースを構築すると費用がかかるので、簡易なデータベースあるいはフリーのソフトで行う方法があれば教えて下さい。 検索したいリンク先の件数は、約1000件を予定しています。
回答: 『httpdown』 と 『全文検索』 を組み合わせることで可能ではありますが、多分、1000件という数字は現実的ではないですね。 少なくとも、あらかじめ、検索インデックスを作成していない状態で1000サイトものサーバ外サイトを検索したら、検索ボタンを押したら制御は当面かえってこず、検索エンジンとして成立しないでしょう。 やはりnamazuなどインデックス生成型全文検索システムを改造して、「その1000件のサイト」を対象とする「WWW収集型ロボット」を作るしかないと思います。