(57)【特許請求の範囲】
【請求項１】
デジタル化された多数のオブジェクトの中から、利用者が指定したオブジェクトである参照オブジェクトに類似したオブジェクトを、類似度が高い所定件数だけ取り出して利用者に提示する類似オブジェクト検索装置であって、
デジタル化されたオブジェクトデータを蓄積するオブジェクトデータ蓄積手段と、
利用者が前記参照オブジェクトを入力するための参照オブジェクト入力手段と、
前記参照オブジェクトと前記各オブジェクト間の類似度を類似観点の重みを加味して計算し、類似度が高い所定件数のオブジェクトをサンプルオブジェクト群として利用者に提示するサンプルオブジェクト提示手段と、
サンプルオブジェクト群から前記参照オブジェクトに類似していると思われるオブジェクトを利用者が指定するオブジェクト選択手段と、
前記参照オブジェクトと、利用者によって指定されたオブジェクトの関係により類似観点の重みを再計算する類似検索観点計算手段と、
前記参照オブジェクトと各オブジェクト間の類似度を、前記再計算された類似観点の重みを加味して計算する類似度計算手段と、
類似度が高い所定件数のオブジェクトを利用者に提示する類似オブジェクト提示手段を有し、
前記類似検索観点計算手段は、参照オブジェクトと利用者によって指定されたオブジェクトとの類似観点の距離が小さいほど、他の類似観点の重みに比べて該類似観点の重みを大きな値に設定する
ことを特徴とする類似オブジェクト検索装置。
【請求項２】
前記類似検索観点計算手段は、
参照オブジェクトと利用者によって指定されたオブジェクトとの各類似観点の距離に基づき小さい順に順位を設定し、距離の順位が小さいほど、他の類似観点の重みに比べて該類似観点の重みを大きな値に設定する
ことを特徴とする請求項１記載の類似オブジェクト検索装置。
【請求項３】
前記類似オブジェクト提示手段によって提示されるオブジェクトをサンプルオブジェクト群とし、
前記オブジェクト選択手段、前記類似検索観点計算手段、前記類似度計算手段、前記類似オブジェクト提示手段を繰り返し動作させる制御手段をさらに有する
ことを特徴とする請求項１または請求項２記載の類似オブジェクト検索装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電子博物館や電子カタログなどのデジタル化されたオブジェクト（画像、音声、音楽、テキストなど）を多数蓄積したものから、利用者が指定した参照オブジェクトに類似したオブジェクトを検索して表示する類似オブジェクト検索装置に関する。
【０００２】
【従来の技術】
従来、この種の類似オブジェクト検索装置では、オブジェクトについて、いくつかの特徴量を計算し、オブジェクト間でその特徴量の近さ（距離）を計算することで、類似度を求め、類似度により順位付けをしている。この際、オブジェクトを数量化するのに用いる特徴量には、例えばオブジェクトが画像であれば色調、明度、彩度や、画中の線の方向などさまざまなものが用いられている。
【０００３】
距離の計算は、個々の特徴量（多次元ベクトルになる）毎にユークリッド距離等として計算され、さらに、複数の特徴量の距離に重み付けをすることで類似性に対する利用者の観点（例えば、色が似ているという観点で類似の画像オブジェクトを検索したい）を加味して、最終的な類似性を判断するようになっている。この際、特徴量の距離の重みは、利用者が、検索条件入力手段から入力するようになっている。
【０００４】
【発明が解決しようとする課題】
上記のような従来の類似度計算による類似オブジェクト検索装置では、利用者が、自分の検索観点がどの特徴量に当たるのか分かっている場合は、検索条件入力手段で指定することが可能であるが、一般には、利用者の検索観点はいろいろな特徴量で表わされるものの複合になっていて、どの特徴量がどの程度加味されるべきかは利用者には分かりにくい。また、個々の特徴量がどのように抽出されているかなどのオブジェクトのタイプ毎にメディア処理の専門的な知識が必要であり、一般利用者には、重みの指定は困難であるという問題があった。
【０００５】
本発明の目的は、利用者の意図に合った類似オブジェクトを検索する類似オブジェクト検索装置を提供することにある。
【００１３】
【課題を解決するための手段】
本発明の類似オブジェクト検索装置は、
デジタル化されたオブジェクトデータを蓄積するオブジェクトデータ蓄積手段と、
利用者が前記参照オブジェクトを入力するための参照オブジェクト入力手段と、
前記参照オブジェクトと前記各オブジェクト間の類似度を類似観点の重みを加味して計算し、類似度が高い所定件数のオブジェクトをサンプルオブジェクト群として利用者に提示するサンプルオブジェクト提示手段と、
サンプルオブジェクト群から前記参照オブジェクトに類似していると思われるオブジェクトを利用者が指定するオブジェクト選択手段と、
前記参照オブジェクトと、利用者によって指定されたオブジェクトの関係により類似観点の重みを再計算する類似検索観点計算手段と、
前記参照オブジェクトと各オブジェクト間の類似度を、再計算された類似観点の重みを加味して計算する類似度計算手段と、
類似度が高い所定件数のオブジェクトを利用者に提示する類似オブジェクト提示手段を有し、
類似検索観点計算手段は、参照オブジェクトと利用者によって指定されたオブジェクトとの類似観点の距離が小さいほど、他の類似観点の重みに比べて該類似観点の重みを大きな値に設定することを特徴とする。
【００１４】
本発明の実施態様によれば、類似検索観点計算手段は、参照オブジェクトと利用者によって指定されたオブジェクトとの各類似観点の距離に基づき小さい順に順位を設定し、距離の順位が小さいほど、他の類似観点の重みに比べて該類似観点の重みを大きな値に設定する。
【００１５】
本発明の実施態様によれば、類似オブジェクト提示手段によって提示されるオブジェクトをサンプルオブジェクト群とし、オブジェクト選択手段、類似検索観点計算手段、類似度計算手段、類似オブジェクト提示手段を繰り返し動作させる制御手段をさらに有する。
【００１８】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１９】
図１は本発明の第１の実施形態の類似オブジェクト検索装置の構成図、図２、図３は本実施形態の動作を示す流れ図である。
【００２０】
本実施形態の類似オブジェクト検索装置は、オブジェクトＯｂ１  ，Ｏｂ２  ，・・・，Ｏｂｍ  のデジタル化されたオブジェクトデータを蓄積しているオブジェクトデータ蓄積部１０と、オブジェクトの特徴量を計算する特徴量算出部１１と、それを格納する特徴量格納部１２と、特徴量から距離を計算し、それと類似観点の重みを加味して参照オブジェクトとの類似度を計算する類似度計算部１３と、利用者が、参照オブジェクトを外部から入力するための参照オブジェクト入力部１４と、利用者が、オブジェクト間の類似度を計算すための類似観点の重みを指定する重み指定部１５と、オブジェクトを利用者に提示するためのオブジェクト提示部１６と、利用者が、提示されたサンプルオブジェクト群から、参照オブジェクトと類似していると思われるオブジェクトを指定するための類似オブジェクト選択部１７と、類似観点の重みを再計算する類似検索観点計算部１８と、中間結果を一時的に蓄積しておく一時データ蓄積部１９で構成されている。
【００２１】
次に、本実施形態の動作を図２の流れ図により説明する。
【００２２】
オブジェクトＯｂ１  の特徴量Ｏｂ１１，Ｏｂ１２，・・・，Ｏｂ１ｎ、オブジェクトＯｂ２  の特徴量Ｏｂ２１，Ｏｂ２２，・・・，Ｏｂ２ｎ、・・・、オブジェクトＯｂｍ  の特徴量Ｏｂｍ１，Ｏｂｍ２，・・・，Ｏｂｍｎが（ｎは特徴量の種類の数）特徴量算出部１１によってあらかじめ算出され、特徴量格納部１２に格納されている。
【００２３】
まず、利用者は参照オブジェクト入力部１４から参照オブジェクトと、類似オブジェクトの提示件数を入力する（ステップ２１）。次に、参照オブジェクトの特徴量ＶＲ１  ，ＶＲ２  ，・・・，ＶＲｎ  を特徴量算出部１１により計算する（ステップ２２）。次に、類似度計算部１３により、オブジェクトＯｂｋ  （ｋ＝１〜ｍ）の特徴量Ｖｋ１，Ｖｋ２，・・・，Ｖｋｎ（ｎは特徴の種類）と参照オブジェクトの特徴量ＶＲ１  ，ＶＲ２  ，・・・，ＶＲｎ  の間の特徴量の種類毎の距離ｄｋ１  ，ｄｋ２  ，・・・，ｄｋｎ  を計算し、さらにこれらを類似観点の重みの初期値ｗ１  〜ｗｎ  で重み付けして、例えばｗ１  ／ｄｋ１  ＋ｗ２  ／ｄｋ２  ＋・・・＋ｗｎ  ／ｄｋｎ  のように類似度が計算される（ステップ２３）。次に、類似度の高いものから、利用者が指定した件数だけ、それに対応するオブジェクトがオブジェクト提示部１６によってオブジェクトデータ蓄積部１０から取出され、利用者に提示される（ステップ２４）。なお、距離データｄｋ１  ，ｄｋ２  ，・・・，ｄｋｎ  は一時データ蓄積部１９に保管される。以上でサンプルオブジェクト群が得られる。次に、利用者は、サンプルオブジェクト群から、自分が、参照オブジェクトに類似していると思うオブジェクトを類似オブジェクト選択部１７によって指定し、検索を依頼する（ステップ２５）。次に、類似検索観点計算部１８によって、参照オブジェクトと利用者によって指定されたオブジェクトとの関係により、類似観点の重みを再計算し、調整する（ステップ２６）。
【００２４】
図３はステップ２６の詳細な流れ図である。まず、キューを空にする（ステップ３１）。次に、距離ｄ１  ，ｄ２  ，・・・，ｄｎ  を小さい順にソートし、キューに入れる（ステップ３２）。次に、この距離の小さい順に、特徴量Ｖｉ  に対する重みｗｉ  （０＜ｗｉ  ≦１）が小さくなるように重みｗｉ  を設定する（ステップ３１〜３７）。重み設定のための減少関数ＦはたとえばＦ（ｗｉ，ｃｎｔ）＝（ｎ＋１−ｃｎｔ）／ｎ（ｎは特徴量の種類数）などが考えられる。新たに設定された重みｗｉ  は類似度計算部１３に渡される。
【００２５】
類似度計算部１３では、一時データ蓄積部１９に格納されている距離データｄｋｉ  （ｋ＝１〜ｍ、ｉ＝１〜ｎ）を取り込み、新たに設定された重みｗ１，ｗ２，・・・ｗｎを用いて類似度ｗ１  ／ｄｋ１  ＋ｗ２  ／ｄｋ２  ＋・・・＋ｗｎ  ／ｄｋｎ  （ｋ＝１〜ｍ）が計算される（ステップ２７）。最後に、類似度が高い順に対応するオブジェクトがオブジェクト提示部１６により利用者に提示される（ステップ２８）。
【００２６】
このようにして得られたオブジェクトをサンプルオブジェクト群としてステップ２５からの処理を繰り返すことができる。
【００２７】
なお、利用者が重みの初期値を指定をしなかった場合は、装置にあらかじめ登録されているデフォルトの重み値を初期値として用いる。
【００２８】
以上の実施形態では、ステップ２１〜２４の処理で最初のサンプルオブジェクト群を得たが、オブジェクトデータ蓄積部１０に蓄積されているオブジェクトから例えばランダムにオブジェクトを選んで、サンプルオブジェクト群に用いることもできる。
【００２９】
図４は本発明の第２の実施形態の類似オブジェクト検索装置である類似画像検索装置の構成図、図５はその動作を示す流れ図である。
【００３０】
本実施形態の類似画像検索装置は、１００件の画像データＩ１，Ｉ２，・・・，Ｉ１００を蓄積し、特徴量データを蓄積するデータ蓄積部４０と、画像データＩ１〜Ｉ１００の特徴量（色調、明度、彩度）Ｖｋ１  ，Ｖｋ２  ，Ｖｋ３  （ｋ＝１〜１００）を算出し、データ蓄積部４０に蓄積する特徴量算出部４１と、特徴量から距離を計算し、それに類似観点の重みを加味して参照画像との類似度を計算する類似度計算部４３と、利用者が参照画像を外部から入力するための参照画像入力部４４と、利用者が、類似観点の重みを指定する重み指定部４５と、類似画像を利用者に表示し、また利用者がその中から画像を選択するための画像提示・類似画像選択部４５と、類似観点の重みを再計算する類似検索観点計算部４８と、中間結果を一時的に蓄積しておく一時データ蓄積部４９で構成されている。
【００３１】
参照画像入力部４４の例としてスキャナが考えられる。スキャナにより紙に印刷された絵や写真を取り込むことができる。また、ネットワークを経由して、他のサイトから画像データを取り込んでくることも考えられる。また、描画ツールのようなものにより、利用者がその場で、検索したい画像の大体のスケッチを入力して参照画像にすることも考えられる。
【００３２】
利用者が重みの初期値を指定をしなかった場合は、装置にあらかじめ登録してあるデフォルトの重み値を初期値として用いる。ここでは、デフォルト値を用いる場合を説明する。デフォルト値としてｗ１  ＝ｗ２  ＝ｗ３  ＝０．５とする。
【００３３】
次に、本実施形態の動作を図５の流れ図により説明する。
【００３４】
画像データＩ１〜Ｉ１００の特徴量（色調、明度、彩度）Ｖｋ１  ，Ｖｋ２  ，Ｖｋ３  （ｋ＝１〜１００）が特徴量算出部４１によってあらかじめ算出され、データ蓄積部３０に画像データＩ１〜Ｉ１００とともに格納されている。
【００３５】
まず、利用者は参照画像入力部４４から参照画像と、類似画像の表示件数「１０件」を入力する（ステップ５１）。次に、参照画像の特徴量ＶＲ１  ，ＶＲ２  ，ＶＲ３  が画像特徴量算出部４１により計算され、データ蓄積部４０に格納される（ステップ５２）。次に、類似度計算部４３により、画像データＩ１〜Ｉ１００の特徴量Ｖｋ１  ，Ｖｋ２  ，Ｖｋ３  （ｋ＝１〜１００）と参照画像の特徴量ＶＲ１  ，ＶＲ２  ，ＶＲ３  の間の距離ｄｋ１  ，ｄｋ２  ，ｄｋ３  （ｋ＝１〜１００）を計算し、さらにこれらを類似観点の重みの初期値ｗ１  ，ｗ２  ，ｗ３  で重み付けして、ｗ１  ／ｄｋ１  ＋ｗ２  ／ｄｋ２  ＋ｗ３  ／ｄｋ３  のように類似度が計算される（ステップ５３）。次に、類似度の高いものから、利用者が指定した１０件だけ、それに対応する画像データが画像提示・類似画像選択部４５によってデータ蓄積部４０から取り出され、表示される（ステップ５４）。なお、距離データｄｋ１  ，ｄｋ２  ，ｄｋ３  は一時データ蓄積部４９に保管される。
【００３６】
次に、利用者は、表示されている画像の中から、自分が、参照画像に類似していると思う画像を類似画像選択部４５により指定し、再検索を要求する（ステップ５５）。本実施形態では、結果の表示されたブラウザから、類似していると思われる画像を直接クリックすることにより選択する。次に、類似検索観点計算部４８により類似観点の重みを再計算する（ステップ５６）。再計算の手順は図３の方法に従う。距離ｄ１，ｄ２，ｄ３をそれぞれ、３，１，２とする。これは参照画像と利用者の指定した画像とでは第２の特徴量である「明度」が一番近いということになる。つまり、利用者は「明度」という観点で類似の画像を検索したいということが読み取れる。そこで次のように重みを再設定する。再設定のための減少関数ＦとしてＦ（ｗｉ，ｃｎｔ）＝（４−ｃｎｔ）／３を用いると、ｗ２  ＝１、ｗ３  ＝２／３、ｗ１  ＝１／３となる。次に、この新しい重みｗ１  ，ｗ２  ，ｗ３  の値を用いて類似度計算部４３により各画像に対して類似度ｗ１  ／ｄｋ１  ＋ｗ２  ／ｄｋ２  ＋ｗ３  ／ｄｋ３  が計算される（ステップ５７）。このとき距離データｄｋ１  ，ｄｋ２  ，ｄｋ３  （ｋ＝１，・・・，１００）は一時データ蓄積部４９に格納されているものが再利用される。最後に、類似度が高い順に対応する画像データが画像表示部４５に表示される（ステップ５８）。
【００３７】
これにより、明度が近いものがある程度優先されて検索されることになる。
【００３８】
利用者は、さらに表示された結果の中から類似していると思われるものを指定することでステップ５５からの処理を繰り返すことができる。
【００３９】
本実施形態により、利用者は、類似と思えるオブジェクトを指定することで、利用者の意図にあった類似オブジェクトが検索されることが可能になる。
【００４０】
【発明の効果】
以上説明したように、本発明は、最初に提示されたいくつかのサンプルオブジェクトから、利用者が参照オブジェクトに一番類似していると思えるオブジェクトを指定することで、類似観点を調整して、検索を行い、検索結果を提示することにより、利用者の意図に合った類似オブジェクトを検索できるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の類似オブジェクト検索装置の構成図である。
【図２】図１の実施形態の動作を示す流れ図である。
【図３】図２中のステップ２６の詳細な流れ図である。
【図４】本発明の第２の実施形態の類似オブジェクト検索装置の構成図である。
【図５】図４の実施形態の動作を示す流れ図である。
【符号の説明】
１０    オブジェクトデータ蓄積部
１１    特徴量算出部
１２    特徴量データ格納部
１３    類似度計算部
１４    参照オブジェクト入力部
１５    重み指定部
１６    オブジェクト提示部
１７    類似オブジェクト選択部
１８    類似検索観点計算部
１９    一時データ蓄積部
２１〜２８，３１〜３７    ステップ
４０    データ
４１    特徴量算出部
４３    類似度計算部
４４    参照画像入力部
４５    重み指定部
４８    類似検索観点計算部
４９    一時データ蓄積部
５１〜５８    ステップ
【図１】
0003609225.tif 000002
【図２】
0003609225.tif 000003
【図３】
0003609225.tif 000004
【図４】
0003609225.tif 000005
【図５】
0003609225.tif 000006