(57)【要約】【課題】分散型ネットワーク上に大量に分散している静止画像データ、動画像データの効率的かつ効果的な検索方法および検索装置を提供すること。【解決手段】分散型ネットワークにおいて、画像照合の対象となる検索キー画像を、意思決定手段のひとつである階層分析法によって選定されたコンピュータへのみ転送する。階層分析法における評価要素としては、過去の画像データ検索における、コンピュータ間のネットワーク遅延時間と画像照合実行時間とを加算した各コンピュータ間のサービス遅延時間、利用者が検索結果に基づいて各コンピュータにアクセスしたアクセス回数、利用者が閲覧した画像データに付加されているメタ情報で構成される利用者メタ情報を用いる。また、該検索方法を具現化する装置として、検索処理を実行する機能を有する演算装置、記憶装置、出力装置などの装置が組合わさって実装されたコンピュータとする。【選択図】　図１
2004118613.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも３つ以上のコンピュータからなる分散型ネットワークで実行される、画像照合の対象となる検索キー画像に基づく画像データ検索方法であって、
いずれかのコンピュータに少なくとも検索キー画像が入力される、検索キー画像入力ステップと、
検索キー画像を入力されたコンピュータにおいて、少なくとも検索キー画像を転送する転送先コンピュータを、所定の評価要素および所定の重要度に基づいて階層分析法によって決定する、検索キー画像を入力されたコンピュータにおける転送先コンピュータ選定ステップと、
検索キー画像を入力されたコンピュータにおいて、検索キー画像を入力されたコンピュータにおける転送先コンピュータ選定ステップによって選定されたコンピュータに、少なくとも検索キー画像を転送する、検索キー画像を入力されたコンピュータにおける転送ステップと、
検索キー画像を転送されたコンピュータにおいて、
検索キー画像を転送されたコンピュータ内の、少なくとも画像データから構成されるデータベースと、検索キー画像との画像照合を行う、検索キー画像を転送されたコンピュータにおける画像照合ステップと、
検索キー画像を転送されたコンピュータにおける画像照合ステップの照合結果を、検索キー画像を入力されたコンピュータに返信する、返信ステップとを有するとともに、
少なくとも検索キー画像を転送する転送先コンピュータを、所定の評価要素および所定の重要度に基づいて階層分析法によって決定する、検索キー画像を転送されたコンピュータにおける転送先コンピュータ選定ステップと、
検索キー画像を転送されたコンピュータにおける転送先コンピュータ選定ステップによって選定されたコンピュータに、少なくとも検索キー画像を転送する、検索キー画像を転送されたコンピュータにおける転送ステップとを有し、
検索キー画像を入力されたコンピュータにおいて、検索キー画像を転送されたコンピュータから返信ステップによって返信された照合結果を統合する、統合ステップと、
検索キー画像を入力されたコンピュータにおいて、統合ステップによって統合された照合結果を検索結果として出力する、出力ステップと、
を有することを特徴とする画像データ検索方法。
【請求項２】
検索キー画像が入力されたコンピュータにおいて、
検索キー画像を入力されたコンピュータにおける転送先コンピュータ選定ステップと、検索キー画像を入力されたコンピュータにおける転送ステップとを有するとともに、
検索キー画像を入力されたコンピュータ内の、少なくとも画像データから構成されるデータベースと、検索キー画像との画像照合を行う、検索キー画像を入力されたコンピュータにおける画像照合ステップを有する、請求項１に記載の画像データ検索方法。
【請求項３】
検索キー画像を入力されたコンピュータにおいて、
検索キー画像を入力されたコンピュータにおける画像照合ステップの後に、検索キー画像との画像照合率が所定の閾値以上の画像データが、検索キー画像を入力されたコンピュータ内のデータベースに存在する場合であって、かつ、該画像データのメタ情報からリンクされている画像データが存在する場合に、該画像データのメタ情報からリンクされている画像データを有するコンピュータに検索キー画像を転送する、検索キー画像を入力されたコンピュータにおけるリンク転送ステップと、
統合ステップの後に、検索キー画像との画像照合率が所定の閾値以上の画像データが、検索キー画像を入力されたコンピュータ内のデータベースに存在する場合に、該画像データのメタ情報と、統合された照合結果に基づき他のコンピュータから取得された、検索キー画像との画像照合率が所定の閾値以上の各画像データのメタ情報との間にリンクを形成する、リンク形成ステップとを有するとともに、
検索キー画像を転送されたコンピュータにおいて、
検索キー画像との画像照合率が所定の閾値以上の画像データが、検索キー画像が転送されたコンピュータ内のデータベースに存在する場合であって、かつ、該画像データのメタ情報からリンクされている画像データが存在する場合に、該画像データのメタ情報からリンクされている画像データを有するコンピュータに検索キー画像を転送する、検索キー画像を転送されたコンピュータにおけるリンク転送ステップとを有する、請求項１または２に記載の画像データ検索方法。
【請求項４】
検索キー画像との画像照合率の閾値を設定する、閾値設定ステップを、検索キー画像入力ステップの前後いずれかに有する、請求項１ないし３に記載の画像データ検索方法。
【請求項５】
階層分析法の評価要素の重要度を設定する、重要度設定ステップを、検索キー画像入力ステップの前後いずれか、または、閾値設定ステップの前後いずれかに有する、請求項１ないし４に記載の画像データ検索方法。
【請求項６】
階層分析法の評価要素が、過去の画像データ検索における、
各コンピュータとのネットワーク遅延時間に各該コンピュータでの画像照合実行時間を加算した、各コンピュータとのサービス遅延時間、
利用者が検索結果に基づいてアクセスした各コンピュータへのアクセス回数、少なくとも利用者が閲覧した画像データに付加されているメタ情報で構成される利用者メタ情報
のうち少なくとも一つを有する請求項１ないし５に記載の画像データ検索方法。
【請求項７】
返信ステップが、検索キー画像を転送されたコンピュータにおける画像照合ステップの照合結果を、検索キー画像が転送されたネットワーク上の経路を逆に辿らずに、ネットワーク上の最短の経路を選択して検索キー画像を入力されたコンピュータへ返信する請求項１ないし６に記載の画像データ検索方法。
【請求項８】
検索キー画像を転送されたコンピュータにおいて、
検索キー画像が該コンピュータに転送されるまでの経路過程において、検索キー画像が転送されることによって経た経路過程コンピュータおよび検索キー画像を入力されたコンピュータを除くコンピュータを、検索キー画像を転送されたコンピュータにおける転送先コンピュータ選定ステップの転送先コンピュータ選定対象とする、請求項１ないし７に記載の画像データ検索方法。
【請求項９】
検索キー画像を入力されたコンピュータまたは既に検索キー画像が転送されたコンピュータに、同じ画像データ検索における検索キー画像が転送された場合に、該コンピュータにおける画像照合および階層分析法による転送先コンピュータの選定を行わない、請求項１ないし８に記載の画像データ検索方法。
【請求項１０】
出力ステップが、統合された照合結果に基づき取得された、検索キー画像との画像照合率が所定の閾値以上の画像データまたは該画像データのサムネイル画像を利用者に返信するステップである、請求項１ないし９に記載の画像データ検索方法。
【請求項１１】
画像データが、静止画像データである請求項１ないし１０に記載の画像データ検索方法。
【請求項１２】
画像データが、動画像データを構成するキーフレームである請求項１ないし１０に記載の画像データ検索方法。
【請求項１３】
少なくとも３つ以上のコンピュータからなる分散型ネットワークにおいてコンピュータに実装される、画像照合の対象となる検索キー画像に基づく画像データ検索装置であって、
いずれかのコンピュータに少なくとも検索キー画像が入力される、検索キー画像入力手段と、
検索キー画像を入力されたコンピュータにおいて、少なくとも検索キー画像を転送する転送先コンピュータを、所定の評価要素および所定の重要度に基づいて階層分析法によって決定する、検索キー画像を入力されたコンピュータにおける転送先コンピュータ選定手段と、
検索キー画像を入力されたコンピュータにおいて、検索キー画像を入力されたコンピュータにおける転送先コンピュータ選定手段によって選定されたコンピュータに、少なくとも検索キー画像を転送する、検索キー画像を入力されたコンピュータにおける転送手段と、
検索キー画像を転送されたコンピュータにおいて、
検索キー画像を転送されたコンピュータ内の、少なくとも画像データから構成されるデータベースと、検索キー画像との画像照合を行う、検索キー画像を転送されたコンピュータにおける画像照合手段と、
検索キー画像を転送されたコンピュータにおける画像照合手段の照合結果を、検索キー画像を入力されたコンピュータに返信する、返信手段とを有するとともに、
少なくとも検索キー画像を転送する転送先コンピュータを、所定の評価要素および所定の重要度に基づいて階層分析法によって決定する、検索キー画像を転送されたコンピュータにおける転送先コンピュータ選定手段と、
検索キー画像を転送されたコンピュータにおける転送先コンピュータ選定手段によって選定されたコンピュータに、少なくとも検索キー画像を転送する、検索キー画像を転送されたコンピュータにおける転送手段とを有し、
検索キー画像を入力されたコンピュータにおいて、検索キー画像を転送されたコンピュータから返信手段によって返信された照合結果を統合する、統合手段と、
検索キー画像を入力されたコンピュータにおいて、統合手段によって統合された照合結果を検索結果として出力する、出力手段と、
を有することを特徴とする画像データ検索装置。
【請求項１４】
各コンピュータとのサービス遅延時間、各コンピュータへのアクセス回数と利用者メタ情報を各々保管する手段を備える請求項１３に記載の画像データ検索装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、インターネット等のネットワークを利用して静止画像データ、動画像データの各画像データを検索する方法に関わり、特に、分散型ネットワークにおいて存在する膨大かつ大容量の静止画像データ、動画像データの中から所望の静止画像データ、動画像データを効率的かつ経済的に取得することのできる検索技術に関する。
【０００２】
【従来の技術】
現在、ネットワークの拡大普及に伴い、該ネットワーク上に存在するテキストや画像等の各種データの中から、利用者が必要とするデータを検索し提供する検索エンジンが各種存在する。
【０００３】
これら検索エンジンのうち、ＡｌｔａＶｉｓｔａ（登録商標第４２８７５８２号）等にみられるサーバクライアント型の検索エンジンが一般的に用いている検索方法は、データの内容を解析したメタ情報をデータ自体に付加し、該メタ情報を集積したデータベースをサーバコンピュータ内に作成して、クライアントコンピュータから入力された検索キーとなるキーワードとサーバコンピュータ内のメタ情報データベースとを照合し、照合した結果該当するメタ情報を有するデータを検索結果として表示するという方法である。
【０００４】
また、Ｇｎｕｔｅｌｌａ等にみられる分散型（ピア・ツー・ピア型）の検索エンジンが一般的に用いている検索方法は、検索キーを受信したコンピュータが、該コンピュータ自体で蓄積するデータと検索キーとの照合を行いつつ、ネットワークで繋がる各コンピュータにもバケツリレー方式で検索キーを転送することを順次繰り返し、各コンピュータが、検索キーを入力されたコンピュータに返信してきた照合結果を検索結果として表示する方法である。
【０００５】
ところで、近年、超高速ネットワークの整備が進められていることに伴い、テキストデータだけでなく静止画像データや動画像データ等の大容量データの蓄積が増加の一途を辿っている。これらの大量かつ大容量のデータを検索しようとした場合、従来の検索方法では、諸般の問題が生じることになる。
【０００６】
サーバクライアント型の検索エンジンの方法では、一般的に検索キーとしてキーワードを用いるため、静止画像データあるいは動画像データを構成するキーフレームの色や色の配置、割合などの特徴量に基づく検索が困難となる。そこで、サーバコンピュータ内にメタ情報を蓄積したデータベースを作成することにかえて、サーバコンピュータ内に静止画像データあるいは動画像データを構成するキーフレームを蓄積したデータベースを作成し、該データベースと画像照合の対象となる検索キー画像とを照合するという方法が考えられるが、静止画像データやキーフレームはテキストデータに比較して大容量であるため、大容量データを転送するネットワーク帯域上の制限と、静止画像データあるいは動画像データを構成するキーフレームを蓄積するコンピュータの処理能力の制限から実現するには相当の困難を伴うことになる。
【０００７】
このため、サーバクライアント型の検索エンジンの方法ではなく、大量かつ大容量のデータがネットワーク上に広範囲に分散して蓄積されている中から、利用者に必要なデータを検索して提供することを可能とする分散型の検索エンジンの方法が求められることになる。また、分散型の検索エンジンの方法は、サーバコンピュータへのデータの収集が不要となる利点に加え、検索方法が各コンピュータに依存するため、検索キーとして画像照合の対象となる検索キー画像を利用することができ、静止画像データあるいは動画像データを構成するキーフレームの色や色の配置、割合などの特徴量に基づく検索が可能になるという利点もある。しかし、従来の分散型の検索エンジンの方法では、コンピュータの台数の増加に伴い検索キーである検索キー画像の転送によって発生するネットワーク上のトラフィックが増加してネットワークに対する負荷が大きくなるという問題があった。
【０００８】
このトラフィックを削減するために、ＴＴＬ（Ｔｉｍｅ　ｔｏ　Ｌｉｖｅ）を用いて転送先のホップ数を制限する手法が提案されているが、ＴＴＬの値を的確に設定する指針がないため、ＴＴＬの値をある一定値に固定すると、コンピュータの台数の増加に伴い、検索キー画像が目的のコンピュータへ到達する確率が低下してしまうという問題を生じる。一方、ＴＴＬの値を任意に設定可能とした場合、コンピュータの台数に比してＴＴＬの値を小さく設定すると検索キー画像が目的のコンピュータへ到達する確率が低下してしまい、コンピュータの台数に比してＴＴＬの値を大きく設定するとトラフィックが増大するという問題を生じてしまう。
【０００９】
これに対し、ＴＴＬを用いる方法ではなく、通信コストと時間コストの評価量でコンピュータ探索効果を測定し、その時点で最も効果的と思われるコンピュータへ転送を繰り返す方法もあるが、この方法では、コンピュータの台数の増加に伴うコンピュータ探索回数の増加や、所望の静止画像データあるいは動画像データを構成するキーフレームを有するコンピュータまでのネットワーク遅延時間の大きい場合のトラフィックが増大するという問題を回避することが困難となる。
【００１０】
【発明が解決しようとする課題】
そこで本発明は、上記の問題点に鑑み、ネットワーク上に発生するトラフィックが増大することを防止し、ネットワーク上に大量に分散している静止画像データ、動画像データの各画像データの効率的かつ経済的な検索方法を提供することを課題とする。
【００１１】
【課題を解決するための手段】
本発明は上記課題の解決を図るため、次の手段を用いる。
【００１２】
少なくとも３つ以上のコンピュータからなる分散型ネットワークで実行される、画像照合の対象となる検索キー画像に基づく画像データ検索方法であって、いずれかのコンピュータに少なくとも検索キー画像が入力される、検索キー画像入力ステップと、検索キー画像を入力されたコンピュータにおいて、少なくとも検索キー画像を転送する転送先コンピュータを、所定の評価要素および所定の重要度に基づいて階層分析法によって決定する、検索キー画像を入力されたコンピュータにおける転送先コンピュータ選定ステップと、検索キー画像を入力されたコンピュータにおいて、検索キー画像を入力されたコンピュータにおける転送先コンピュータ選定ステップによって選定されたコンピュータに、少なくとも検索キー画像を転送する、検索キー画像を入力されたコンピュータにおける転送ステップと、検索キー画像を転送されたコンピュータにおいて、検索キー画像を転送されたコンピュータ内の、少なくとも画像データから構成されるデータベースと、検索キー画像との画像照合を行う、検索キー画像を転送されたコンピュータにおける画像照合ステップと、検索キー画像を転送されたコンピュータにおける画像照合ステップの照合結果を、検索キー画像を入力されたコンピュータに返信する、返信ステップとを有するとともに、少なくとも検索キー画像を転送する転送先コンピュータを、所定の評価要素および所定の重要度に基づいて階層分析法によって決定する、検索キー画像を転送されたコンピュータにおける転送先コンピュータ選定ステップと、検索キー画像を転送されたコンピュータにおける転送先コンピュータ選定ステップによって選定されたコンピュータに、少なくとも検索キー画像を転送する、検索キー画像を転送されたコンピュータにおける転送ステップとを有し、検索キー画像を入力されたコンピュータにおいて、検索キー画像を転送されたコンピュータから返信ステップによって返信された照合結果を統合する、統合ステップと、検索キー画像を入力されたコンピュータにおいて、統合ステップによって統合された照合結果を検索結果として出力する、出力ステップとを有することを特徴とする画像データ検索方法とする。
この方法をとることによって、検索キー画像が階層分析法によって選定されたコンピュータへだけ転送されるので、検索キー画像が無駄にコンピュータ間を転送することを減らすことができ、結果として、検索キー画像を転送することによって発生するネットワーク上のトラフィックの増大を防止することができる。
【００１３】
検索キー画像が入力されたコンピュータにおいて、検索キー画像を入力されたコンピュータにおける転送先コンピュータ選定ステップと、検索キー画像を入力されたコンピュータにおける転送ステップとを有するとともに、検索キー画像を入力されたコンピュータ内の、少なくとも画像データから構成されるデータベースと、検索キー画像との画像照合を行う、検索キー画像を入力されたコンピュータにおける画像照合ステップを有する画像データ検索方法としてもよい。
これによって、検索キー画像を入力されたコンピュータにおける転送先コンピュータ選定ステップにおいて、転送先コンピュータが１つも選定されなかったとしても、検索キー画像が入力されたコンピュータにおける画像照合が必ず行われるので、画像照合が１度も行われることなく画像データ検索が終了することを防止することが可能となる。
【００１４】
検索キー画像を入力されたコンピュータにおいて、検索キー画像を入力されたコンピュータにおける画像照合ステップの後に、検索キー画像との画像照合率が所定の閾値以上の画像データが、検索キー画像を入力されたコンピュータ内のデータベースに存在する場合であって、かつ、該画像データのメタ情報からリンクされている画像データが存在する場合に、該画像データのメタ情報からリンクされている画像データを有するコンピュータに検索キー画像を転送する、検索キー画像を入力されたコンピュータにおけるリンク転送ステップと、統合ステップの後に、検索キー画像との画像照合率が所定の閾値以上の画像データが、検索キー画像を入力されたコンピュータ内のデータベースに存在する場合に、該画像データのメタ情報と、統合された照合結果に基づき他のコンピュータから取得された、検索キー画像との画像照合率が所定の閾値以上の各画像データのメタ情報との間にリンクを形成する、リンク形成ステップとを有するとともに、検索キー画像を転送されたコンピュータにおいて、検索キー画像との画像照合率が所定の閾値以上の画像データが、検索キー画像が転送されたコンピュータ内のデータベースに存在する場合であって、かつ、該画像データのメタ情報からリンクされている画像データが存在する場合に、該画像データのメタ情報からリンクされている画像データを有するコンピュータに検索キー画像を転送する、検索キー画像を転送されたコンピュータにおけるリンク転送ステップとを有する画像データ検索方法としてもよい。
このようにすることによって、ネットワーク上のトラフィックの増大防止に寄与しつつ、加えて、検索キー画像に対して高い画像照合率を有する画像データを保有する確率の高いコンピュータへ検索キー画像を転送することができるので、より一層効率的に所望の画像データを検索して得ることのできる画像データ検索が可能となる。
【００１５】
検索キー画像との画像照合率の閾値を設定する、閾値設定ステップを、検索キー画像入力ステップの前後いずれかに有する画像データ検索方法としてもよい。このステップを有することで、検索結果として表示される画像データまたは該画像データのサムネイル画像の数を制限または拡大すること、または、画像データのメタ情報間でリンクが形成される数を制限または拡大することを、利用者側で設定することができるので、利用者の要求に応じた検索を可能にする。さらに、画像照合率の低い、即ち、検索キー画像との類似性の低い画像データを取得するという無駄を省くことができるので、ネットワーク上のトラフィックの増大防止に寄与することになる。
【００１６】
階層分析法の評価要素の重要度を設定する、重要度設定ステップを、検索キー画像入力ステップの前後いずれか、または、閾値設定ステップの前後いずれかに有する画像データ検索方法としてもよい。
このステップを有することによって、利用者が設定することで、利用者の価値判断に応じた検索を可能にする。
【００１７】
階層分析法の評価要素が、過去の画像データ検索における、各コンピュータとのネットワーク遅延時間に各該コンピュータでの画像照合実行時間を加算した、各コンピュータとのサービス遅延時間、利用者が検索結果に基づいてアクセスした各コンピュータへのアクセス回数、少なくとも利用者が閲覧した画像データに付加されているメタ情報で構成される利用者メタ情報のうち少なくとも一つを有する画像データ検索方法としてもよい。
これによって、検索時間の削減、コンピュータの台数の増加に依存しない効率的な検索、あるいは利用者の検索傾向といった特性を反映した検索が可能になる。
【００１８】
返信ステップが、検索キー画像を転送されたコンピュータにおける画像照合ステップの照合結果を、検索キー画像が転送されたネットワーク上の経路を逆に辿らずに、ネットワーク上の最短の経路を選択して検索キー画像を入力されたコンピュータへ返信する画像データ検索方法としてもよい。
これによって、ネットワーク上のトラフィックをより一層低減することができる。
【００１９】
検索キー画像を転送されたコンピュータにおいて、検索キー画像が該コンピュータに転送されるまでの経路過程において、検索キー画像が転送されることによって経た経路過程コンピュータおよび検索キー画像を入力されたコンピュータを除くコンピュータを、検索キー画像を転送されたコンピュータにおける転送先コンピュータ選定ステップの転送先コンピュータ選定対象とする画像データ検索方法としてもよい。
これによって、階層分析法による転送先コンピュータ選定のための演算回数を減らして検索時間の短縮を図ることができる上に、検索キー画像を入力された経路過程コンピュータに送り返す無駄を防止することが可能となる。
【００２０】
検索キー画像を入力されたコンピュータまたは既に検索キー画像が転送されたコンピュータに、同じ画像データ検索における検索キー画像が転送された場合に、該コンピュータにおける画像照合および階層分析法による転送先コンピュータの選定を行わない画像データ検索方法としてもよい。
これによって、検索キー画像を入力されたコンピュータまたは既に検索キー画像が転送されたコンピュータにおいて、繰り返し画像照合および転送先のコンピュータを選定するという無駄な演算を防止することが可能となる上に、このような画像データ検索方法としない場合に比較して、ネットワーク上のトラフィックをより一層低減させることが可能となる。
【００２１】
出力ステップが、統合された照合結果に基づき取得された、検索キー画像との画像照合率が所定の閾値以上の画像データまたは該画像データのサムネイル画像を利用者に返信するステップである画像データ検索方法としてもよい。
これによって、視覚的に検索結果を利用者に表示することになるため、テキスト表示にした場合に比較して利用者が検索結果を具体的に把握することができる。
【００２２】
画像データが、静止画像データである画像データ検索方法としてもよい。
これによって、静止画像データ検索方法として機能することになる。
【００２３】
画像データが、動画像データを構成するキーフレームである画像データ検索方法としてもよい。
これによって、動画像データ検索方法として機能することになる。
【００２４】
少なくとも３つ以上のコンピュータからなる分散型ネットワークにおいてコンピュータに実装される、画像照合の対象となる検索キー画像に基づく画像データ検索装置であって、いずれかのコンピュータに少なくとも検索キー画像が入力される、検索キー画像入力手段と、検索キー画像を入力されたコンピュータにおいて、少なくとも検索キー画像を転送する転送先コンピュータを、所定の評価要素および所定の重要度に基づいて階層分析法によって決定する、検索キー画像を入力されたコンピュータにおける転送先コンピュータ選定手段と、検索キー画像を入力されたコンピュータにおいて、検索キー画像を入力されたコンピュータにおける転送先コンピュータ選定手段によって選定されたコンピュータに、少なくとも検索キー画像を転送する、検索キー画像を入力されたコンピュータにおける転送手段と、検索キー画像を転送されたコンピュータにおいて、検索キー画像を転送されたコンピュータ内の、少なくとも画像データから構成されるデータベースと、検索キー画像との画像照合を行う、検索キー画像を転送されたコンピュータにおける画像照合手段と、検索キー画像を転送されたコンピュータにおける画像照合手段の照合結果を、検索キー画像を入力されたコンピュータに返信する、返信手段とを有するとともに、少なくとも検索キー画像を転送する転送先コンピュータを、所定の評価要素および所定の重要度に基づいて階層分析法によって決定する、検索キー画像を転送されたコンピュータにおける転送先コンピュータ選定手段と、検索キー画像を転送されたコンピュータにおける転送先コンピュータ選定手段によって選定されたコンピュータに、少なくとも検索キー画像を転送する、検索キー画像を転送されたコンピュータにおける転送手段とを有し、検索キー画像を入力されたコンピュータにおいて、検索キー画像を転送されたコンピュータから返信手段によって返信された照合結果を統合する、統合手段と、検索キー画像を入力されたコンピュータにおいて、統合手段によって統合された照合結果を検索結果として出力する、出力手段とを有することを特徴とする画像データ検索装置とする。
【００２５】
各コンピュータとのサービス遅延時間、各コンピュータへのアクセス回数と利用者メタ情報を各々保管する手段を備える画像データ検索装置としてもよい。
これらが、階層分析法の評価要素として用いられることによって、検索時間の短縮、利用者の検索傾向・趣味といった特性を反映する検索が可能になる。
【００２６】
【発明の実施の形態】
以下、本発明の実施形態について、図面に示した実施例に基づいて説明するが、以下の具体例は本発明を限定するものではない。実施形態は、本発明の主旨から逸脱しない限り適宜変更可能なものである。
【００２７】
図１、２、３は、リンク転送ステップ、リンク形成ステップのない場合の画像データ検索方法の処理手順を示すフローチャートであり、図４、５、６は、リンク転送ステップ、リンク形成ステップを有する場合の画像データ検索方法の処理手順を示すフローチャートである。図７は、本発明の画像データ検索方法を実施するための装置の構成例を示すブロック図である。図８は、分散型ネットワークにおいて検索キー画像や照合結果などが転送される様子を例示した概念図である。
【００２８】
本実施例における分散型ネットワークの構成は、３台以上（図８では、１２台としている。）のコンピュータ（以下、便宜上ホストコンピュータと呼称することとし、特に断りのないかぎり、ホストと略称する。）からなるものとする。
【００２９】
本実施例では、各コンピュータのデータベースを構成する画像データは、動画像データを構成するキーフレームであるとする。
【００３０】
＜階層分析法＞
本発明は、検索キー画像等の転送先ホストの選定にあたって、意思決定問題に対するシステムアプローチである階層分析法を用いる。転送先ホストを選定するにあたり、選定する判断基準となる評価要素と、分析にあたってどの評価要素を他の評価要素に比較してより重く評価するか否かという各評価要素の相対価値ともいうべき重要度とをもって各ホストの一対比較を行い、各ホストの評価を総合得点という数値にして表す。本発明の実施形態例では、どのホストに検索キー画像等を転送するかという問題に対して、階層分析法における評価要素を、過去の画像データ検索における、各ホストとのネットワーク遅延時間に各該ホストでの画像照合実行時間を加算した各ホストとのサービス遅延時間、利用者が検索結果に基づいてアクセスした各ホストへのアクセス回数、少なくとも利用者が閲覧した画像データに付加されているメタ情報で構成される利用者メタ情報としている。
【００３１】
評価要素に各ホストとのサービス遅延時間を取り入れることで、ネットワーク遅延時間が短いホスト、またはホストの画像照合能率が高くて検索時間の短いホストに重要度に応じて優先的に転送できるようになるため、検索時間の削減を図ることができる。また、各ホストへの過去のアクセス回数から、アクセス回数の多いホストには利用者が所望する画像データが多く保有されている可能性が高いという推定が働くので、評価要素に各ホストへのアクセス回数を取り入れることで、アクセス回数の多いホストへ重要度に応じて優先的に転送することによって効率の良い検索が可能となる。さらに、評価要素に利用者メタ情報を取り入れることで、過去の画像データ検索で利用者が閲覧した画像データのメタ情報から推定される利用者の趣味などの特性に基づく転送先を選定できる。つまり例えば、過去に自動車の画像データを多く検索しているならば、自動車に関するメタ情報を多く有するホストへ重要度に応じて優先的に転送することで、効率の良い検索が可能となる。また、評価要素に利用者メタ情報を取り入れることで、各ホストで、データベースを構成する画像データと検索キー画像との画像照合の順番を、利用者メタ情報と同じか類似のメタ情報を有する画像データから優先的に行っていくという指標に用いることができるので、効率的な画像照合処理に資することも可能になる。
【００３２】
本発明における画像データ検索方法の処理手順の大要は、大きく５つの処理段階から構成されている。簡略的に説明すると、１００番台の処理段階は、画像データ検索の利用者が分散型ネットワークにおけるあるホストに検索キー画像、階層分析法における各評価要素の重要度、履歴情報を入力する入力処理段階である。該ホストを便宜上スタートホストと呼ぶことにする。２００番台の処理段階は、スタートホスト内における画像照合処理である。３００番台の処理は、スタートホストにおける、階層分析法による検索キー画像等の転送先ホストの選定と転送の処理段階である。４００番台の処理は、転送先ホストにおける、スタートホストにおいて２００番台、３００番台の処理に相当する処理およびスタートホストへ転送先ホストでの照合結果を返信する処理を行う段階である。７００番台は、スタートホスト内において、スタートホスト内の照合結果と、転送先ホストの照合結果とを統合し、さらに、統合された照合結果に基づいて取得した画像データ等を検索結果として利用者に出力する処理段階である。
【００３３】
＜スタートホスト内での基本処理＞
ここで図１、２、３を参照の上、リンク転送ステップ、リンク形成ステップのない場合の画像データ検索方法の処理手順を説明する。
【００３４】
まず、検索キー画像入力ステップであるステップ１００において、画像データ検索の利用者が、画像照合の対象となる検索キー画像を入力する。そして、本実施形態例では、階層分析法における評価要素の重要度を利用者において設定可能な画像データ検索方法であるとして、検索キー画像の入力に続くステップ１０１（重要度設定ステップである。）で、該重要度を利用者が入力する。
【００３５】
なお、階層分析法における評価要素の重要度は、各ホストとのサービス遅延時間、各ホストへのアクセス回数、利用者メタ情報の各重要度を例えば１：３：６としておくように、各評価要素に対して固定された割合を持つものとしてもよいし、ステップ１００の前に、階層分析法における評価要素の重要度を利用者が入力するステップを設けてもよい。
【００３６】
続いて、ステップ１０２において、利用者は、スタートホストに、利用者側で保管されている履歴情報を入力する。該履歴情報は、過去の画像データ検索において、利用者が検索結果に基づいてアクセスした各ホストへのアクセス回数と、少なくとも利用者が閲覧した画像データに付加されているメタ情報で構成される利用者メタ情報とから構成される。
【００３７】
履歴情報の入力方法としては、例えば、該履歴情報が格納された、コンピュータにおいて読み込みおよび書き込み自在な光ディスクのような記憶媒体を、ホストに読み込ませるようにしてもよい。また、該履歴情報は、必ずしも利用者側においてのみ保管されなければならないものではなく、例えば、ホスト内において保管されていて、利用者が検索キー画像を入力する際に、利用者に固有のＩＤ番号を入力させることなどによって履歴情報をホスト内から引き出すようにしてもよい。
【００３８】
続いて、検索キー画像を入力されたコンピュータにおける画像照合ステップであるステップ２００において、スタートホスト内で、利用者から入力された検索キー画像と、画像データから構成されるスタートホスト内のデータベースとの間で画像照合を行い、該データベース内の各画像データの画像照合率を算出する。
【００３９】
そして、ステップ２０１で、ステップ２００で算出された各画像データの画像照合率が、所定の閾値以上かどうかを判定する。
【００４０】
ステップ２０１において、閾値以上の画像照合率を有する画像データが存在しなかった場合はステップ５００に進み、検索結果として、検索キー画像と類似する画像データはなかった旨を利用者に返信する。
【００４１】
ステップ２０１において、閾値以上の画像照合率を有する画像データが存在する場合は、ステップ７００に進む。
【００４２】
ステップ１０１に続いて、検索キー画像を入力されたコンピュータにおける転送先コンピュータ選定ステップであるステップ３００において、階層分析法によって、スタートホスト以外の各ホストの評価を表す総合得点を算出する。階層分析法における評価要素は、本実施例では、過去の画像データ検索における、各ホストとのネットワーク遅延時間に各該ホストでの画像照合実行時間を加算した各ホストとのサービス遅延時間、利用者が検索結果に基づいてアクセスした各ホストへのアクセス回数、少なくとも利用者が閲覧した画像データに付加されているメタ情報で構成される利用者メタ情報としている。これらは、前回までの過去の全ての画像データ検索によって更新または蓄積されたものとしてもよいし、例えば、直前の過去１０回の画像データ検索によって更新または蓄積されたものとしてもよい。なお、各評価要素の重要度は、利用者によって入力されたものとするが、上述のとおり、固定された割合であってもよい。また、各ホストとのサービス遅延時間は、各ホストごとに保管されるものとする。
【００４３】
そして、続くステップ３０１において、所定の閾値以上の総合得点を有するホストが存在するかどうかを判定する。
【００４４】
ステップ３０１において、所定の閾値以上の総合得点を有するホストが存在しなかった場合はステップ５００に進み、検索結果として、検索キー画像と類似する画像データはなかった旨を利用者に返信する。
【００４５】
ステップ３０１において、所定の閾値以上の総合得点を有するホストが存在する場合には、検索キー画像を入力されたコンピュータにおける転送ステップであるステップ３０２に進み、該ホストに、検索キー画像、スタートホストのアドレス、階層分析法における評価要素である各ホストへのアクセス回数、利用者メタ情報、および該評価要素の重要度を転送する。なお、転送される情報は、検索キー画像、スタートホストのアドレス、階層分析法における評価要素である各ホストへのアクセス回数、利用者メタ情報、および該評価要素の重要度に限るものではなく、例えば、これらに加えて、ポート番号や転送スピードなどの情報を含んでもよい。
【００４６】
また、所定の閾値以上の総合得点を有するホスト全部に転送してもよいし、所定の閾値以上の総合得点を有するホストの内、総合得点の所定の順位以上のホストに転送するようにしてもよい。該所定順位は、例えば、上位５位以内というように固定されていてもよいし、利用者が設定できるようにしてもよい。利用者が設定する場合には、利用者による入力ステップが必要になるが、利用者の断続的な入力作業による煩わしさを避けるためにも、該ステップは、ステップ１００またはステップ１０１あるいはステップ１０２の前後に設けるのが好ましい。
【００４７】
ステップ２００、２０１とステップ３００、３０１、３０２は、スタートホスト内において並列的に処理されてもよいし、どちらかのステップ群を先に処理するものでもよい。
【００４８】
ステップ６００では、転送先ホストにおいて行われた、該ホスト内のデータベースを構成する各画像データと転送されてきた検索キー画像との画像照合の結果が、該ホストからスタートホストへ返信されてくる。
【００４９】
そして、ステップ６０１において、返信されてきた照合結果の中に、画像照合率が含まれているかどうかを判定する。この結果、画像照合率が含まれる場合には、ステップ７００に進み、画像照合率が含まれない場合は、ステップ６０２に進み該照合結果は破棄される。
【００５０】
ステップ７００においては、スタートホスト内において行われた、データベースを構成する各画像データと検索キー画像との画像照合の結果と、転送先ホストで行われた、データベースを構成する各画像データと検索キー画像との画像照合の結果とを、画像照合率の大小に基づいて、より画像照合率の高い画像データが上位になるようにソーティングを行う。
【００５１】
検索キー画像との画像照合率が同一である画像データが存在する場合には、何らの指標を用いることなく同一順位として扱うことでもよいし、画像データのメタ情報が利用者メタ情報と同一又は類似の画像データを上位とするものとしてもよい。
【００５２】
続くステップ７０１では、ステップ７００で行われたソーティングの結果のうち、画像照合率が所定の基準順位よりも上位の照合結果を残留し、該順位以内に入らなかった照合結果については、ステップ７０２に進み破棄する。
【００５３】
所定の基準順位は、例えば２０位と固定されていてもよいし、利用者が設定することができるものであってもよい。利用者が設定できる場合には、利用者が基準順位を入力するステップが必要となるが、利用者の断続的な入力作業による煩わしさを避けるためにも、該ステップは、ステップ１００またはステップ１０１あるいはステップ１０２の前後に設けるのが好ましい。
【００５４】
さらにステップ７０３で、ステップ７０１で残留した各照合結果が、スタートホスト内で得られたものなのか、スタートホスト以外のホストから得られたものなのかを判定する。
【００５５】
スタートホスト内で得られた照合結果であればステップ７０５に進み、スタートホスト以外のホストで得られた照合結果であればステップ７０４に進む。
【００５６】
ステップ７０５においては、スタートホスト内で、照合結果に対応する画像データと該画像データのメタ情報を取得する。
【００５７】
ステップ７０４においては、スタートホストが、照合結果に対応する画像データを保有するホストから、該画像データと該画像データのメタ情報を取得する。取得する情報は、画像データ、該画像データのメタ情報に限るものではなく、例えば、これらに加えて、画像データ名、画像データサイズも取得するものとしてもよい。
【００５８】
続いて統合ステップであるステップ７０６で、ステップ７０４、７０５で取得された画像データと該画像データのメタ情報が、スタートホスト内で、画像データ検索における最終的な照合結果として統合される。
【００５９】
最後に出力ステップであるステップ７０７で、最終的な照合結果が検索結果として利用者に返信される。画像データ検索の結果返信方法としては、取得された画像データを表示するか該画像データのサムネイル画像を表示することが好ましいので、取得された画像データまたは該画像データのサムネイル画像を表示するものとするが、これに限らず、取得された画像データのメタ情報の内容が利用者にテキスト表示されるものとしてもよい。勿論、該画像データに併せて該画像データのメタ情報の内容をテキスト表示するものとしてもよい。
【００６０】
＜転送先ホストでの基本処理＞
転送先ホストで行われる処理を以下に説明する。
説明の便宜上、スタートホストから検索キー画像等を受信したホストでの処理を説明するが、図２、５に示すように、検索キー画像を転送されたコンピュータにおける転送ステップであるステップ４０９によってループすることにより、転送先ホストから検索キー画像等を受信したホストでの処理はスタートホストから検索キー画像等を受信したホストでの処理と同じである。つまり、スタートホストから検索キー画像等を受信するか、スタートホスト以外のホストから検索キー画像等を受信するかの差異があるだけで、スタートホスト以外の転送先ホストで行われる処理は同じである。
【００６１】
ステップ４０１において、ステップ３０２によって転送されてくる場合には、検索キー画像、スタートホストのアドレス、階層分析法における評価要素である各ホストへのアクセス回数、利用者メタ情報及び該評価要素の重要度が転送先ホストに届き、ステップ４０９によって転送されてくる場合には、検索キー画像、スタートホストのアドレス、階層分析法における評価要素である各ホストへのアクセス回数、利用者メタ情報及び該評価要素の重要度、検索キー画像が通過した全てのホストのアドレスが転送先ホストに届く。転送されてくる情報は、これらの情報に限るものではなく、例えば、これらに加えてポート番号などが含まれるものとしてもよい。
【００６２】
続いて、検索キー画像を転送されたコンピュータにおける画像照合ステップであるステップ４０２において、ホストに蓄積されているデータベースの各画像データと、転送されてきた検索キー画像との画像照合を行い、各画像データの画像照合率を算出する。
【００６３】
そして、ステップ４０４において、ステップ４０２で算出された各画像データの画像照合率が、所定の閾値以上かどうかを判定する。
【００６４】
ステップ４０４において、閾値以上の画像照合率を有する画像データが存在しなかった場合は返信ステップであるステップ４０７に進み、検索結果として、検索キー画像と類似する画像データはなかった旨をスタートホストに返信する。
【００６５】
ステップ４０４において、閾値以上の画像照合率を有する画像データが存在する場合は、返信ステップであるステップ４０６に進み、該画像データの画像データ名、画像データサイズ、該画像データを保有するホストのアドレス、画像照合率、該画像データのメタ情報、サービス遅延時間をスタートホストに返信する。なお、この場合に返信する情報は、該画像データの画像データ名、画像データサイズ、該画像データを保有するホストのアドレス、画像照合率、該画像データのメタ情報、サービス遅延時間に限るものではなく、例えばこれらに加えて、ポート番号、転送スピード、検索キー画像が通過した全てのホストのアドレスなどを含んだものでもよい。
【００６６】
また、返信方法としては、検索キー画像等が転送されてきたネットワーク上の経路を逆に辿るようにしてスタートホストに返信される方法でもよいし、検索キー画像等が転送されてきたネットワーク上の経路を逆に辿らずに、スタートホストへのネットワーク上の最短の経路を選択して返信する方法としてもよい。最短の経路の選択基準としては、ネットワーク回線の通信スピード、ネットワーク遅延時間などによることでもよい。
【００６７】
ステップ４０１に続いて、検索キー画像を転送されたコンピュータにおける転送先コンピュータ選定ステップであるステップ４０３において、階層分析法によって、受信した検索キー画像が通過してきたホスト（スタートホストを含む。）以外のホストの評価を表す総合得点を算出する。受信した検索キー画像が通過してきたホストを除外することで、階層分析法による転送先ホスト選定のための演算回数を減らして検索時間の短縮を図ることができる上に、検索キー画像等を既に受信したホストに送り返す無駄を省くことができる。
【００６８】
ここでの階層分析法における評価要素は、本実施例では、過去の画像データ検索における、各ホストとのネットワーク遅延時間に各該ホストでの画像照合実行時間を加算した各ホストとのサービス遅延時間、利用者が検索結果に基づいてアクセスした各ホストへのアクセス回数、少なくとも利用者が閲覧した画像データに付加されているメタ情報で構成される利用者メタ情報としている。
【００６９】
続くステップ４０５において、所定の閾値以上の総合得点を有するホストが存在するかどうかを判定する。
【００７０】
ステップ４０５において、所定の閾値以上の総合得点を有するホストが存在しなかった場合はステップ４０８に進み、検索キー画像の転送が終了する。但し、この検索キー画像の転送の終了は、ネットワーク全体における検索キー画像の転送の終了を意味するのではなく、検索キー画像のある転送経路が階層分析法を適用した結果行き止まりとなったことを意味する。なお、ネットワーク上、他のホストに接続していないことによる物理的転送不能の場合なども終了原因となる。
【００７１】
ステップ４０５において、所定の閾値以上の総合得点を有するホストが存在する場合には、検索キー画像を転送されたコンピュータにおける転送ステップであるステップ４０９に進み、該ホストに、検索キー画像、スタートホストのアドレス、階層分析法における評価要素である各ホストへのアクセス回数、利用者メタ情報、および該評価要素の重要度、検索キー画像が通過した全てのホストのアドレスを転送する。なお、転送される情報は、検索キー画像、スタートホストのアドレス、階層分析法における評価要素である各ホストへのアクセス回数、利用者メタ情報、および該評価要素の重要度、検索キー画像が通過した全てのホストのアドレスに限るものではなく、例えば、これらに加えて、ポート番号や転送スピードなどの情報を含んでもよい。
【００７２】
また、所定の閾値以上の総合得点を有するホスト全部に転送してもよいし、所定の閾値以上の総合得点を有するホストの内、総合得点が所定の順位以上のホストに転送するようにしてもよい。該所定順位は、例えば上位５位以内というように固定されていてもよいし、利用者が設定できるようにしてもよい。利用者が設定する場合には、利用者による入力ステップが必要になるが、利用者の断続的な入力作業による煩わしさを避けるためにも、該ステップは、ステップ１００またはステップ１０１あるいはステップ１０２の前後に設けるのが好ましい。
【００７３】
ステップ４０２、４０４、４０６、４０７とステップ４０３、４０５、４０８、４０９は、ホストにおいて並列的に処理されるものであってもよいし、どちらかのステップ群が先に処理されるものであってもよい。
【００７４】
ステップ４０９からステップ４０１にループする際、既に検索キー画像等が転送されてきたホストに、再び検索キー画像等が転送される可能性がある。この場合、無条件に、階層分析法によって選定したホストに検索キー画像等を転送するようにしてもよいが、ネットワーク上のトラフィックのより一層の増大防止を図るとともに、既に検索キー画像等が転送されてきたホストにおいて再び検索キー画像との画像照合を行う等の無駄を省くためにも、例えば、画像データ検索が行われるたびに、検索固有番号を検索キー画像等に併せて転送し、初めて検索キー画像等を受信してから一定時間以内に同じ検索固有番号の検索キー画像等が転送されてきた場合には、再度転送されてきた検索キー画像等を破棄するものとしてもよい。
【００７５】
＜リンク転送ステップ、リンク形成ステップを有する場合＞
図４、５、６に、リンク転送ステップとリンク形成ステップを有する場合の画像データ検索方法のフローチャートを示す。
この場合には、上述の実施形態例に、下記のステップが加わる。
【００７６】
＜リンク転送ステップ＞
ステップ２０１において、閾値以上の画像照合率を有する画像データが存在した場合、ステップ８０１に進み、該画像データのメタ情報にリンクされている画像データ情報、例えば、画像データ名、画像データサイズ、画像データを保有するホストのアドレスなどがないかどうかを判定する。
【００７７】
画像データ情報が存在しない場合、ステップ８０２に進み、リンクに基づく転送は行われず終了する。画像データ情報が存在する場合は、ステップ８０３に進む。
【００７８】
検索キー画像を入力されたコンピュータにおけるリンク転送ステップであるステップ８０３において、画像データ情報に基づき、画像データを保有するホストに、検索キー画像、スタートホストのアドレス、階層分析法における評価要素である各ホストへのアクセス回数、利用者メタ情報、および該評価要素の重要度を転送する。なお、転送される情報は、検索キー画像、スタートホストのアドレス、階層分析法における評価要素である各ホストへのアクセス回数、利用者メタ情報、および該評価要素の重要度に限るものではなく、例えば、これらに加えて、ポート番号や転送スピードなどの情報を含んでもよい。
【００７９】
検索キー画像等を転送されたホストでは、上述の４００番台のステップが処理される。なお、ステップ４０４において、閾値以上の画像照合率を有する画像データが存在した場合には、ステップ４０６とは別に、さらに、ステップ８０４へと進む。ステップ８０４ではステップ８０１と同じ処理が行われる。ステップ８０４からは、画像照合率が閾値以上の画像データのメタ情報にリンクされている画像データ情報の有無によって、ステップ８０２に対応するステップ８０５、ステップ８０３に対応するステップ８０６（検索キー画像を転送されたコンピュータにおけるリンク転送ステップである。）に分岐する。ステップ８０５では、リンクに基づく転送は行われず終了する。ステップ８０６では、画像データ情報に基づき、画像データを保有するホストに、検索キー画像、スタートホストのアドレス、階層分析法における評価要素である各ホストへのアクセス回数、利用者メタ情報、および該評価要素の重要度、検索キー画像が通過した全てのホストのアドレスを転送する。なお、転送される情報は、検索キー画像、スタートホストのアドレス、階層分析法における評価要素である各ホストへのアクセス回数、利用者メタ情報、および該評価要素の重要度、検索キー画像が通過した全てのホストのアドレスに限るものではなく、例えば、これらに加えて、ポート番号や転送スピードなどの情報を含んでもよい。
【００８０】
＜リンク形成ステップ＞
ステップ７０６とステップ７０７の間にステップ８０７を設け、スタートホスト内で統合された最終的な照合結果のなかに、スタートホストから取得された画像データが含まれるかどうかを判定する。
【００８１】
スタートホストから取得された画像データが含まれていない場合は、ステップ７０７に進む。
【００８２】
スタートホストから取得された画像データが含まれる場合には、リンク形成ステップであるステップ８０８に進み、スタートホストから取得された画像データのメタ情報と、転送先ホストから取得された画像データのメタ情報との間にリンクを形成する。具体的には、メタ情報内におのおの相互の情報、例えば、画像データ名、画像データを保有するホストのアドレスなどを追加することによってリンクを形成するが、このような方法に限定するものではない。そして、ステップ７０７に進み、利用者に検索結果が返信される。
【００８３】
＜閾値の設定＞
ステップ２０１、３０１、４０４、４０５における閾値は、利用者が設定できるようにしてもよく、この場合、利用者が閾値を入力するステップを設ける必要があるが、利用者の断続的な入力作業による煩わしさを避けるためにも、該ステップは、ステップ１００またはステップ１０１あるいはステップ１０２の前後に設けるのが好ましい。
【００８４】
＜検索装置＞
上述の検索方法を具現化する装置は、ネットワークがコンピュータおよび周辺機器等によって構成されている現状に照らして、上述した各処理を実行する機能を有する演算装置、データ処理装置、記憶装置、出力装置などの装置が組合わさって実装されたコンピュータとする。しかし、例えば、コンピュータへの検索キー画像入力手段としては、コンピュータにスキャナで検索キー画像となる静止画像を取り込むことによってもよいし、カメラ装置が備わっている携帯電話で撮影した静止画像を、携帯電話からリモートコンピュータに無線送信することでもよく、本発明は装置構成にコンピュータ以外の装置が含まれることを排除するものではない。
【００８５】
図７に装置の構成例のブロック図を示す。
具体的には、例えば、スタートホストの装置構成として、通常のパーソナルコンピュータと同様のハードウェア構成であって、各種入力作業を行うためのキーボードやマウス、入力作業等を視覚的に行うためのディスプレイ、データ処理演算を行うための中央演算処理装置と内部記憶装置、画像データ等のデータを蓄積する外部記憶装置、ネットワークに接続するための回線ケーブル等から構成される。スタートホスト以外のホストも、一般的には、同様の装置構成である。
【００８６】
そして、データ処理演算を行う中央演算処理装置と内部記憶装置は、互いに協働することによって、▲１▼検索キー画像と外部記憶装置に蓄積されている画像データとの画像照合および画像照合率の算出という画像照合処理、▲２▼所定の評価要素と該評価要素の重要度に基づいて階層分析法によって各ホストの総合得点を算出して、検索キー画像等を転送する転送先ホストを選定するというホスト選定処理、▲３▼検索キー画像等を転送先ホストに転送する転送処理、▲４▼照合結果をソーティングして画像データ等を取得し、照合結果を統合する統合処理、▲５▼スタートホストにおいては統合された照合結果を検索結果として利用者に返信する処理に相当し、スタートホスト以外のホストにおいては画像照合結果をスタートホストに返信する処理に相当する返信処理を担当する。
【００８７】
また、過去の検索における各ホストとのサービス遅延時間、利用者が過去の検索結果に基づいてアクセスした各ホストへのアクセス回数と、少なくとも各ホストにアクセスして閲覧した画像データのメタ情報から構成される利用者メタ情報を各々格納する記憶装置を設ける。ホスト内に該記憶装置を設けてもよいし、利用者側で保管できるように光ディスクのような記憶媒体を設けるものでもよい。また、各ホストとのサービス遅延時間、各ホストへのアクセス回数、利用者メタ情報全てをホスト内の記憶装置に格納するものでもよいし、各ホストとのサービス遅延時間はホスト内の記憶装置に格納し、各ホストへのアクセス回数と利用者メタ情報は利用者側で保管できるように光ディスクに記憶格納するようにしてもよい。
これによって、階層分析法で検索キー画像を転送するホストを選定する際の評価要素に用いることができるとともに、利用者の過去の検索傾向に基づいた検索キー画像転送ができるようになる。
【００８８】
＜検索キー画像と画像照合＞
本発明において用いられる検索キー画像は、一般的に、ＢＭＰ、ＧＩＦ、ＪＰＥＧ、ＴＩＦＦなどの画像保存形式で保存された静止画像を用いる。画像照合の方法は、画像データを、各画像が持つ輝度を表す数値（画素値）の集合として捉え、該静止画像から所定の画素領域であるマイクロブロックごとにＤＣ成分（色情報）を抽出して、該静止画像の色分布を求め、同様に、データベースの各画像データの色分布も求め、相互の色分布を比較することによって照合を行う方法でもよいし、モルフォロジーによって画像中の物体の形状を定量的に抽出して、画像データ上の特徴的形状を求め、同様に、データベースの各画像データ上の特徴的形状も求め、相互の特徴的形状を比較することによって照合を行う方法でもよい。
【００８９】
また、検索キー画像が静止画像ではなく、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＡＶＩなどの圧縮形式の動画像データで入力された場合は、該動画像データから、検索キー画像となるキーフレームを適宜抜き出して、検索キー画像として静止画像が入力された場合と同様の照合方法を行うものとするが、この方法に限定するものではない。
【００９０】
なお、画像照合方法は、本発明の要部ではないので、上記方法以外の画像照合方法を用いてもよい。
【００９１】
＜検証実験＞
本発明者らは、所定の条件のもと検証実験を行った。
【００９２】
ホストコンピュータを１００台用いて、完全結合型のネットワークを構成した。但し、物理的完全結合型のネットワークではなく、ｐｉｎｇリクエストを送信して仮想的にコネクションを張ったＴＣＰ／ＩＰネットワーク上のモデルとしたもので、各ホストは直線的に接続した。各ホストのデータベースは、動画像データを構成するキーフレームによって構成した。
【００９３】
そして、シミュレーション実験にあたり、次の４つの仮定条件を課した。▲１▼各ホストは照合結果として、１枚のキーフレームを返信する、▲２▼利用者は検索結果に基づいて、画像照合率が最大値であるキーフレームを保有するホストにアクセスして、該キーフレームを含む動画像コンテンツを視聴する、▲３▼各ホストの動画像コンテンツは重複しないものとする、▲４▼利用者は、特定のホストに検索キー画像を送信する。また、階層分析法における評価要素を、サービス遅延時間と、各ホストへのアクセス回数とした。
【００９４】
１回目の検索において、各ホストで選定されるホストの数は１台とした。２回目以降の検索において、各ホストで選定されるホストの数は５台以下とした。各ホストへのアクセス数の初期値はいずれも０回とした。サービス遅延時間は、各ホスト間で１００分の１秒とし、利用者が検索キー画像を送信したホストから１００台目のホストまで１００分の１秒ずつ増加させた。
【００９５】
予め画像照合率の分布を３つのパターンに分けて各ホストに配した。ケース（ａ）は、サービス遅延時間が小さいホストに画像照合率の高い画像データが集中している場合、ケース（ｂ）は、サービス遅延時間が大きいホストに画像照合率の高い画像データが集中している場合、ケース（ｃ）は、サービス遅延時間の平均値に近いホストに画像照合率の高い画像データが集中している場合とした。
これらの諸条件のもと、各ホストがコネクション確立に必要なデータ、検索キー画像データおよび照合結果のデータを合計した総データと各ホスト間で検索キー画像等が転送される回数との積で表される、ネットワーク上のトラフィックを計測した。
【００９６】
実験結果は、（ａ）、（ｂ）、（ｃ）いずれのケースにおいても、１回目の検索、即ち、階層分析法における評価要素としてサービス遅延時間のみを利用した場合に比較して、２回目以降の検索の方がネットワーク上のトラフィックが減少していること、および、検索回数が増加するにしたがって、ネットワーク上のトラフィックが減少することが確認された。
なお、検証実験については、本発明者らによる下記の非特許文献１に詳しい。
【非特許文献１】
「広域ネットワークにおける動画像検索のための画像配信制御方式の評価」
（情報処理学会研究会報告（マルチメディア通信と分散処理研究会　ＤＰＳ　１０７−３２）、Ｖｏｌ．２００２、Ｎｏ．３２、ｐｐ．１８７−１９２、Ｍａｒｃｈ　２００２）
【００９７】
【発明の効果】
本発明は、以下のような効果を有する。
【００９８】
請求項１に記載の検索方法とすることで、分散型ネットワークにおける画像データ検索で、画像照合の対象となる検索キー画像が、利用者の所望する画像データを保有する確率の低いと思料されるコンピュータへ転送されることを抑制することができる。つまり、結果的に無駄となる確率の高いコンピュータへ大容量の検索キー画像を転送することを抑制できるので、検索キー画像を転送することによって発生するネットワーク上のトラフィックの増大を防止する効果をもたらし、効率的かつ経済的な画像データ検索を可能にする。
【００９９】
請求項２に記載の画像データ検索方法によれば、検索キー画像を入力されたコンピュータにおける転送先コンピュータ選定ステップにおいて、転送先コンピュータが１つも選定されなかったとしても、検索キー画像が入力されたコンピュータにおける画像照合が必ず行われるので、画像照合が１度も行われることなく画像データ検索が終了することを防止することが可能となる。
【０１００】
検索キー画像に対して高い画像照合率を有する画像データを保有するコンピュータは、該コンピュータ内に該画像データ以外にも、検索キー画像に対して高い画像照合率を有する画像データを保有している確率が高いとの推測が働くので、請求項３に記載の画像データ検索方法によれば、各コンピュータのデータベース内の画像データ間にリンクを形成し、また、リンクの張られている画像データを保有するホストへ検索キー画像等を転送するので、より一層効率的に所望の画像データを検索して得ることのできる画像データ検索が可能になる。また、画像データ検索が繰り返されることによって、各コンピュータのデータベース内の画像データ間におけるリンク形成が進むので、より一層効率的かつ経済的な画像データ検索が可能となる。
【０１０１】
請求項４に記載の画像データ検索方法とすることで、検索結果として表示される画像データまたは該画像データのサムネイル画像の数を制限または拡大すること、または、画像データのメタ情報間でリンクが形成される数を制限または拡大することを、利用者側で設定することができるので、利用者の要求に応じた検索が可能となる。さらに、画像照合率の低い、即ち、検索キー画像との類似性の低い画像データを取得するという無駄を省くことができるので、ネットワーク上のトラフィック低減に寄与することになり、効率的かつ経済的な画像データ検索を可能にする。
【０１０２】
請求項５に記載の画像データ検索方法とすることで、階層分析法における評価要素の重要度が利用者によって設定できるので、利用者の価値判断に応じた検索が可能となる。
【０１０３】
請求項６に記載の画像データ検索方法とすることで、評価要素にサービス遅延時間を取り入れると、ネットワーク遅延時間が短い、またはコンピュータの画像照合能率が高くて検索時間の短いコンピュータに重要度に応じて優先的に転送できるようになるため、検索時間の削減を図ることができる。また、各コンピュータへの過去のアクセス回数から、アクセス回数の多いコンピュータには利用者が所望する画像データが多く保有されている可能性が高いという推定が働くので、評価要素に各コンピュータへのアクセス回数を取り入れると、アクセス回数の多いコンピュータへ重要度に応じて優先的に転送することで効率の良い検索が可能となる。さらに、評価要素に利用者メタ情報を取り入れると、過去の画像データ検索で利用者が閲覧した画像データのメタ情報から、利用者の検索傾向という特性に基づく転送先を選定できる。つまり例えば、過去に自動車の画像データを多く検索しているならば、自動車に関するメタ情報を多く有するコンピュータへ重要度に応じて優先的に転送することで、効率の良い検索が可能となる。
また、過去の画像データ検索における、各コンピュータとのサービス遅延時間、各ホストへのアクセス回数、利用者メタ情報を階層分析法における評価要素とするので、画像データ検索を繰り返して各評価要素の情報量を蓄積していくことで、より一層効率的かつ経済的な画像データ検索が行えるようになる。
【０１０４】
請求項７に記載の画像データ検索方法とすることで、転送先コンピュータにおける照合結果が最短経路で利用者から検索キー画像等を受信したコンピュータに返信されるため、ネットワーク上のトラフィックをより一層低減することができる。
【０１０５】
請求項８に記載の画像データ検索方法によれば、検索キー画像を入力されたコンピュータおよび経路過程コンピュータを転送先コンピュータの選定対象から除外することで、階層分析法による転送先コンピュータ選定のための演算回数を減らして検索時間の短縮を図ることができる上に、検索キー画像を入力された経路過程コンピュータに送り返す無駄を防止することが可能となる。
【０１０６】
請求項９に記載の画像データ検索方法とすることで、検索キー画像を入力されたコンピュータまたは既に検索キー画像が転送されたコンピュータにおいて、繰り返し画像照合および転送先のコンピュータを選定するという無駄な演算を防止することが可能となる上に、このような画像データ検索方法としない場合に比較して、ネットワーク上のトラフィックをより一層低減させることが可能となる。
【０１０７】
請求項１０に記載の画像データ検索方法とすることで、検索結果を視覚的に利用者に表示できる。このことによって、テキスト表示にした場合に比較して利用者が検索結果を具体的に把握できるので、利用者は所望する画像データかどうかを容易に判別できるようになる。
【０１０８】
請求項１１に記載の検索方法とすることで、静止画像データ検索方法とすることができる。
【０１０９】
請求項１２に記載の検索方法とすることで、動画像データ検索方法とすることができる。
【０１１０】
請求項１３に記載の画像データ検索装置とすることで、上述の画像データ検索方法を用いた画像データ検索が可能となる。
【０１１１】
請求項１４に記載の画像データ検索装置によれば、保管される各コンピュータとのサービス遅延時間、各コンピュータへのアクセス回数、利用者メタ情報が階層分析法の評価要素として用いられることによって、検索時間の短縮、利用者の検索傾向・趣味といった特性を反映する検索が可能になる。
【図面の簡単な説明】
【図１】リンク転送ステップ、リンク形成ステップのない場合の画像データ検索方法の処理手順を示すフローチャート
【図２】図１の処理手順の続きを示すフローチャート
【図３】図１の処理手順の続きを示すフローチャート
【図４】リンク転送ステ２ップ、リンク形成ステップを有する場合の画像データ検索方法の処理手順を示すフローチャート
【図５】図４の処理手順の続きを示すフローチャート
【図６】図４の処理手順の続きを示すフローチャート
【図７】本発明の画像データ検索方法を実施するための装置の構成例を示すブロック図
【図８】分散型ネットワークにおいて検索キー画像や照合結果などが転送される様子を例示した概念図
【符号の説明】
１００　　検索キー画像入力ステップ
１０１　　重要度入力ステップ
２００　　画像照合ステップ
３００　　階層分析法による転送先ホスト選定ステップ
３０２　　検索キー画像等の転送ステップ
４０２　　画像照合ステップ
４０３　　階層分析法による転送先ホスト選定ステップ
４０９　　検索キー画像等の転送ステップ
７０１　　照合結果ソーティングステップ
７０６　　照合結果の統合ステップ
７０７　　検索結果の出力ステップ
８０３　　リンク転送ステップ
８０６　　リンク転送ステップ
８０８　　リンク形成ステップ
【図１】
2004118613.tif 000003
【図２】
2004118613.tif 000004
【図３】
2004118613.tif 000005
【図４】
2004118613.tif 000006
【図５】
2004118613.tif 000007
【図６】
2004118613.tif 000008
【図７】
2004118613.tif 000009
【図８】
2004118613.tif 000010