(57)【特許請求の範囲】
【請求項１】
画像データを管理する画像処理装置であって、
入力画像データ中の着目画像データの座標を入力する入力手段と、
前記入力手段で入力された前記着目画像データの座標に基づいて、該着目画像データを抽出する着目画像データ抽出手段と、
前記入力手段で入力された前記着目画像データの座標に基づいて、該着目画像データの画像特徴量を算出する算出手段と、
前記算出手段で算出された画像特徴量と前記入力画像データを対応づけて管理する管理手段と、
検索語を検索条件として入力する検索条件入力手段と、
前記検索条件入力手段により入力された検索語の特徴量を取得する特徴量取得手段と、
前記特徴量取得手段により取得された特徴量を用いて、前記管理手段から前記検索条件に対応する前記入力画像データを検索する画像検索手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記入力手段は、画像を撮影する撮影手段と、
前記撮影手段で撮影された画像に対するユーザの視線を検出する検出手段と、
前記検出手段の検出結果に基づいて、前記着目画像データの座標を抽出する抽出手段と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記入力手段は、画像を撮影する撮影手段と、
前記撮影手段で撮影された画像を表示する表示手段と、
前記表示手段で表示される画像中の着目画像を指定する指定手段と、
前記指定手段の指定結果に基づいて、前記着目画像に基づく着目画像データの座標を抽出する抽出手段と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記入力手段は、画像を撮影する撮影手段と、前記撮影手段の撮影特性に基づいて、前記画像中の着目画像に基づく着目画像データの座標を決定する決定手段と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記特徴量取得手段は、前記検索条件入力手段より入力された検索条件を解析する解析手段と、
前記解析手段による解析結果に基づいて、ユーザに対し前記検索条件とは異なる検索条件の入力を促す第１質問画面を出力する第１出力手段とを備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
同義語、類義語をそれらに対応する概念毎に管理する辞書を記憶する記憶手段を更に備え、
前記辞書で管理される単語には、前記検索語に対する自身の有効度を示す画像特徴重みが付加されており、
前記特徴量取得手段は、前記解析手段で解析した検索条件が示す検索語の特徴を示す外観特徴を特徴量として取得するとともに、前記検索語に対する前記画像特徴重みを取得する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記特徴量取得手段は、前記画像特徴重みに基づいて、前記検索条件が示す検索物の色が一意なものでないと判定される場合、前記ユーザに対し、色の指定を含む検索条件の入力を促す第２質問画面を出力する第２出力手段を備える
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記特徴量取得手段は、前記検索条件が示す検索物の大きさについての入力を促す第３質問画面を出力する第３出力手段と、
前記第３質問画面を介して前記検索物が大きいと指定されない場合、前記ユーザに対し、該検索物の背景物に関する検索条件の入力を促す第４質問画面を出力する第４出力手段と、
前記第４質問画面を介して指定された背景物の色が一意なものでないと判定される場合、前記ユーザに対し、色の指定を含む検索条件の入力を促す第５質問画面を出力する第５出力手段を備える
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
画像データを管理する画像処理装置の制御方法であって、
入力画像データ中の着目画像データの座標を入力する入力工程と、
前記入力工程で入力された前記着目画像データの座標に基づいて、該着目画像データを抽出する着目画像データ抽出工程と、
前記入力工程で入力された前記着目画像データの座標に基づいて、該着目画像データの画像特徴量を算出する算出工程と、
前記算出工程で算出された画像特徴量と前記入力画像データを対応づけて管理する管理工程と、
検索語を検索条件として入力する検索条件入力工程と、
前記検索条件入力工程により入力された検索語の特徴量を取得する特徴量取得工程と、
前記特徴量取得工程により取得された特徴量を用いて、前記管理工程で管理されている、前記検索条件に対応する前記入力画像データを検索する画像検索工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項１０】
前記入力工程は、撮影された画像に対するユーザの視線を検出する検出工程と、
前記検出工程の検出結果に基づいて、前記着目画像データの座標を抽出する抽出工程と
を備えることを特徴とする請求項９に記載の画像処理装置の制御方法。
【請求項１１】
前記入力工程は、撮影された画像を表示する表示工程と、
前記表示工程で表示される画像中の指定された着目画像に基づく着目画像データの座標を抽出する抽出工程と
を備えることを特徴とする請求項９に記載の画像処理装置の制御方法。
【請求項１２】
前記入力工程は、撮影された画像の撮影特性に基づいて、該画像中の着目画像に基づく着目画像データの座標を決定する決定工程と
を備えることを特徴とする請求項９に記載の画像処理装置の制御方法。
【請求項１３】
前記特徴量取得工程は、前記検索条件入力工程より入力された検索条件を解析する解析工程と、
前記解析工程による解析結果に基づいて、ユーザに対し前記検索条件とは異なる検索条件の入力を促す第１質問画面を出力する第１出力工程とを備える
を更に備えることを特徴とする請求項９に記載の画像処理装置の制御方法。
【請求項１４】
同義語、類義語をそれらに対応する概念毎に管理する辞書を記憶する記憶工程を更に備え、
前記辞書で管理される単語には、前記検索語に対する自身の有効度を示す画像特徴重みが付加されており、
前記特徴量取得工程は、前記解析工程で解析した検索条件が示す検索語の特徴を示す外観特徴を特徴量として取得するとともに、前記検索語に対する前記画像特徴重みを取得する
ことを特徴とする請求項１３に記載の画像処理装置の制御方法。
【請求項１５】
前記特徴量取得工程は、前記画像特徴重みに基づいて、前記検索条件が示す検索物の色が一意なものでないと判定される場合、前記ユーザに対し、色の指定を含む検索条件の入力を促す第２質問画面を出力する第２出力工程を備える
ことを特徴とする請求項１４に記載の画像処理装置の制御方法。
【請求項１６】
前記特徴量取得工程は、前記検索条件が示す検索物の大きさについての入力を促す第３質問画面を出力する第３出力工程と、
前記第３質問画面を介して前記検索物が大きいと指定されない場合、前記ユーザに対し、該検索物の背景物に関する検索条件の入力を促す第４質問画面を出力する第４出力工程と、
前記第４質問画面を介して指定された背景物の色が一意なものでないと判定される場合、前記ユーザに対し、色の指定を含む検索条件の入力を促す第５質問画面を出力する第５出力工程を備える
ことを特徴とする請求項１５に記載の画像処理装置の制御方法。
【請求項１７】
画像データを管理する画像処理装置の制御のプログラムコードが格納されたコンピュータ可読メモリであって、
入力画像データ中の着目画像データの座標を入力する入力工程のプログラムコードと、
前記入力工程で入力された前記着目画像データの座標に基づいて、該着目画像データを抽出する着目画像データ抽出工程のプログラムコードと、
前記入力工程で入力された前記着目画像データの座標に基づいて、該着目画像データの画像特徴量を算出する算出工程のプログラムコードと、
前記算出工程で算出された画像特徴量と前記入力画像データを対応づけて管理する管理工程のプログラムコードと、
検索語を検索条件として入力する検索条件入力工程のプログラムコードと、
前記検索条件入力工程により入力された検索語の特徴量を取得する特徴量取得工程のプログラムコードと、
前記特徴量取得工程により取得された特徴量を用いて、前記管理工程で管理されている、前記検索条件に対応する前記入力画像データを検索する画像検索工程のプログラムコードと
を備えることを特徴とするコンピュータ可読メモリ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データを管理する画像処理装置及びその方法に関するものである。
【０００２】
【従来の技術】
従来、画像処理装置の記憶媒体等に管理されている画像データを検索する際の検索条件として、撮影した画像を用いることは、その撮影した画像を正確に認識することが実現困難なため検索精度が良いものではなかった。
そのため、画像データを管理する際に、その画像データを示す説明文及びキーワードを付加し、画像データを検索する際には、その画像データに付加した説明文及びキーワードを用いて検索を行うことが一般的であった。
【０００３】
一方、説明文及びキーワードが付加されていない画像データを検索する方法として、例えば、以下に説明するもの提案されている。まず、画像データ全体の画像特徴量を抽出し、その抽出された画像特徴量と画像データを対応づけて管理しておく。そして、検索条件として入力された画像データの画像特徴量を抽出し、その抽出された画像特徴量と、管理されている画像データの画像特徴量を比較することで所望の画像データを検索するものである。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の画像データに説明文及びキーワードを付加して画像データを管理する画像処理装置では、特に、管理する画像データが多いと、その画像データに説明文及びキーワードを付加する作業がユーザに対し大きな負担となっていた。
【０００５】
また、画像データとその画像特徴量を対応づけて画像データを管理する画像処理装置では、画像データ全体の画像特徴量に基づいて画像データを検索するだけであり、その画像データ中のユーザが着目する着目画像データを含む画像データを精度良く検索することはできなかった。また、ユーザが検索条件として入力する画像データは、画像データ中のユーザが着目する着目画像データに基づいて決定されるのが一般的に想定されることを鑑みると、ユーザーが着目する着目画像データを検索条件として検索できることは極めて重要な意義がある。
【０００６】
本発明は上記の問題点に鑑みてなされたものであり、画像データを管理するためのユーザの負担を軽減し、かつ管理された画像データに対しユーザの嗜好にあった画像データの検索を行うことができる画像処理装置及びその制御方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
画像データを管理する画像処理装置であって、
画像データ及び該画像データ中の着目画像データの座標を入力する入力手段と、
前記入力手段で入力された前記着目画像データの座標に基づいて、該着目画像データの画像特徴量を算出する算出手段と、
前記算出手段で算出された画像特徴量と前記入力された画像データを対応づけて管理する管理手段と
を備える。
【０００８】
また、好ましくは、前記入力手段は、画像を撮影する撮影手段と、
前記撮影手段で撮影された画像に対するユーザの視線を検出する検出手段と、前記検出手段の検出結果に基づいて、前記着目画像データの座標を抽出する抽出手段と
を備える。
【０００９】
また、好ましくは、前記入力手段は、画像を撮影する撮影手段と、
前記撮影手段で撮影された画像を表示する表示手段と、
前記表示手段で表示される画像中の着目画像を指定する指定手段と、
前記指定手段の指定結果に基づいて、前記着目画像に基づく着目画像データの座標を抽出する抽出手段と
を備える。
【００１０】
また、好ましくは、前記入力手段は、画像を撮影する撮影手段と、
前記撮影手段の撮影特性に基づいて、前記画像中の着目画像に基づく着目画像データの座標を決定する決定手段と
を備える。
また、好ましくは、前記管理手段で管理される画像データより、所望の画像データを検索するための検索条件を入力する検索条件入力手段と
を更に備える。
【００１１】
また、好ましくは、前記検索条件入力手段より入力された検索条件を解析する解析手段と、
前記解析手段による解析結果に基づいて、ユーザに対し前記検索条件とは異なる検索条件の入力を促す質問を出力する出力手段と
を更に備える。
【００１２】
上記の目的を達成するための本発明による画像処理方法は以下の構成を備える。即ち、
画像データを管理する画像処理装置の制御方法であって、
画像データ及び該画像データ中の着目画像データの座標を入力する入力工程と、
前記入力工程で入力された前記着目画像データの座標に基づいて、該着目画像データの画像特徴量を算出する算出工程と、
前記算出工程で算出された画像特徴量と前記入力された画像データを対応づけて管理する管理工程と
を備える。
【００１３】
上記の目的を達成するための本発明によるコンピュータ可読メモリは以下の構成を備える。即ち、
画像データを管理する画像処理装置の制御のプログラムコードが格納されたコンピュータ可読メモリであって、
画像データ及び該画像データ中の着目画像データの座標を入力する入力工程のプログラムコードと、
前記入力工程で入力された前記着目画像データの座標に基づいて、該着目画像データの画像特徴量を算出する算出工程のプログラムコードと、
前記算出工程で算出された画像特徴量と前記入力された画像データを対応づけて管理する管理工程のプログラムコードと
を備える。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の好適な実施形態を詳細に説明する。
図１は本発明の実施形態の画像処理装置の構成を示すブロック図である。
図１において、１はユーザインタフェースであり、キーボード、マウスより構成される。４は画像蓄積部であり、画像メモリ５に一旦記憶される画像データを蓄積する。２は画像入力部であり、画像データを入力する。尚、本実施形態では、画像入力部２として、ファインダーに視線検出器が組み込まれた画像撮影入力装置、あるいは内蔵または外付けの表示装置上に表示される画像に対する加工や編集等の操作を行うことができる操作パネルを有する画像撮影入力装置等の画像撮影入力装置を用いる。そして、ユーザーインタフェース１からの指示により、撮影されている画像に基づく画像データ及びその画像中の着目物体に対応する画像データ（以下、着目画像データと呼ぶ）の座標の入力を行う。
【００１５】
例えば、画像入力部２として、ファインダーに視線検出器が組み込まれた画像撮影入力装置を用いた場合の着目画像データの座標は、視線検出器から得られるユーザーの視線の画像データ座標系が示す座標情報から獲得する。
また、内蔵または外付けの表示装置上に表示される画像に対する加工や編集等の操作を行うことができる操作パネルを有する画像撮影入力装置を用いた場合の着目画像データの座標は、表示装置上に表示される画像から着目物体を指定し、その指定された着目物体の表示装置上での座標情報から獲得する。
【００１６】
更に、上記の画像撮影入力装置の機能を有していない画像撮影入力装置を用いた場合の着目画像データの座標は、統計的に着目物体の事前存在確率の高い座標、あるいは明度・色相・彩度等の情報を心理学的な観点から決定される着目物体の座標から獲得する。尚、心理学的な観点から座標を獲得する方法としては、例えば、撮影されている画像の中心位置を着目画像データの座標とする、あるいは入力された画像データ中、彩度の高さ、輝度の高さに重みを付けた演算により目立ち度を算出し、その目立ち度の高い画像データを着目画像データの座標とする方法がある。
【００１７】
５は画像メモリであり、画像入力部２より入力された画像データ及び着目画像データの座標を一旦記憶する。５０は着目物体抽出部であり、入力された着目画像データの座標に基づいて、入力された画像データより着目画像データを抽出する。７は画像特徴抽出部であり、着目物体抽出部５０で抽出された着目画像データの類似画像データを検索するための画像特徴量を抽出する。
【００１８】
尚、着目画像データ及びその画像特徴量の抽出は、以下に説明する手順で抽出する。まず、画像データの色・エッジを考慮しながら、着目画像データの座標から周囲に向かって同一画像データと認識できる範囲を求めながら領域を成長させる。また、成長と並行して各範囲の境界上での画像特徴量を抽出する。そして、最終的に画像データの形・位置・大きさに領域が成長するまでに得られた各画像特徴量を、その着目画像データの画像特徴量として抽出する。
【００１９】
９は画像特徴インデックスであり、画像特徴抽出部７で抽出された画像データの画像特徴量を、その画像データと対応づけて登録する。３は言語処理部であり、ユーザーインタフェース１より入力された検索語を画像検索部１０に出力する。
６は全文検索登録部およびキーワード登録部であり、言語処理部３より入力される単語を、入力された画像データと対応づけて全文検索インデックスおよびキーワードインデックス１１に登録する。８は同義語・類義語・概念辞書であり、同義語、類義語をそれらに対応する概念毎に管理する辞書である。また、同義語・類義語・概念辞書８で管理される単語には、検索語に対する自身の有効度を示す画像特徴重みが付加されている。尚、この同義語・類義語・概念辞書８の詳細については後述する。
【００２０】
１０は検索部であり、画像検索部１０ａ、言語・画像特徴概念変換部１０ｂ、言語検索部１０ｃより構成される。言語検索部１０ｃは、言語処理部３より入力された検索語に該当する単語の検索を行う。言語・画像特徴概念変換部１０ｂは、検索語に対する画像特徴重みを同義語・類義語・概念辞書８を参照して取得し、画像データを検索するための画像特徴量を算出する。画像検索部１０ａは、言語・画像特徴概念変換部１０ｂで算出される画像特徴量に基づいて画像特徴インデックス９を参照し画像データを検索する。
【００２１】
１２は検索結果通知部であり、検索部１０より検索結果として得られる画像データを表示する。また、ユーザーに対し、入力された検索語に対し、検索に役立つ情報を得るための質問画面を表示する。
次に、本実施形態の同義語・類義語・概念辞書８の詳細な構成の一例について、図２を用いて説明する。
【００２２】
図２は本発明の実施形態の同義語・類義語・概念辞書の詳細な構成の一例を示す図である。
同義語・類義語・概念辞書８は、同義語・類義語を、それに対応する概念の抽象度に応じて登録されている。そして、概念の抽象度が異なる同義語・類義語の間には、その抽象度の差を示す概念距離が定義されている。例えば、図２では、「乗り物」と「車」との概念距離は１０になる。
【００２３】
また、同義語・類義語には、入力された検索語のｎ個の画像特徴量に、検索語に対し自身の画像特徴量の有効度を反映した重み付けを行うための画像特徴重みとしてｎ次元のベクトルが定義されている。そして、それらｎ次元のベクトルは、その大きさが１００となるように正規化されている。
例えば、自動車は人工物であり、様々な色があり得るので色に関する画像特徴量に対する重みは０として、参照すべきでないものとして定義される。これにより、検索語に対する有効な画像特徴量として、色以外の画像特徴量に重みを置いた検索が実行されることになる。但し、検索語が「赤い車」である場合には、「赤い」という情報を考慮し、画像特徴量として赤い色を考慮に入れた検索が実行される。
【００２４】
次に、本実施形態の画像処理装置で実行される画像データを登録する画像登録処理について、図３を用いて説明する。
図３は本発明の実施形態で実行される画像登録処理の処理フローを示すフローチャートである。
まず、ステップＳ１０１で、入力された画像データ及び着目画像データの座標を画像入力部２により入力する。そして、入力された画像データを画像メモリ５に一旦記憶する。ステップＳ１０２で、着目画像データの座標が入力されているか否かを判定する。着目画像データの座標が入力されている場合（ステップＳ１０２でＹＥＳ）、ステップＳ１０３に進み、その座標を用いて着目画像データを抽出する。
【００２５】
一方、着目画像データの座標が入力されていない場合（ステップＳ１０２でＮＯ）、ステップＳ１０７に進み、座標がユーザーより入力されたか否かを判定する。座標がユーザーより入力された場合（ステップＳ１０７でＹＥ）、ステップＳ１０８に進み、その座標を用いて着目画像データを抽出する。
一方、座標がユーザーより入力されない場合（ステップＳ１０７でＮＯ）、ステップＳ１０９に進み、統計的及び心理学的な観点から着目画像データの座標を決定する。そして、ステップＳ１０では、その決定された座標を用いて着目画像データを、着目物体抽出部４０で抽出する。
【００２６】
ステップＳ１０４で、抽出された着目画像データの画像特徴量を画像特抽出部７で抽出する。ステップＳ１０５で、着目画像データの画像特徴量を、入力された画像データと対応づけて画像特徴インデックス９に登録する。ステップＳ１０６で、その入力された画像データを画像蓄積部４に蓄積する。
次に、本実施形態の画像処理装置で実行される画像データを検索する検索処理の概要について、図４を用いて説明する。
【００２７】
図４は本発明の実施形態で実行される検索処理の概要を示すフローチャートである。
まず、ステップＳ２０１で、画像蓄積部４に蓄積されるすべての画像データを検索対象の画像データとしてセットする。次に、ステップＳ２０２で、検索条件として「自然語」をユーザーインタフェース１より入力する。次に、ステップＳ２０３で、入力された「自然語」に基づいて、画像データを検索する検索処理を行う。検索処理が実行されると、ステップＳ２０４で、その検索結果を検索結果通知部１２で表示する。ステップＳ２０５で、その検索結果に対するユーザの指示を受け付ける。
【００２８】
ユーザの指示が、検索結果に対し、更に検索語を設定して検索結果の絞り込みを行う場合は、ステップＳ２０８で、現在の検索結果を更に絞り込んで検索する旨をユーザーインタフェース１より設定し、ステップＳ２０２に戻り、新たな検索語を入力する。この場合、現在得られている検索結果は保持され、新たに入力された検索語による検索処理の検索結果と、保持されている検索結果の論理積をとることで検索結果の絞り込みが実現される。
【００２９】
ユーザの指示が、検索処理の終了である場合には、処理を終了する。
ユーザの指示が、検索のやり直しを行う場合は、ステップＳ２０９で、検索結果をクリアし、ステップＳ２０１に戻る。
ユーザの指示が、検索結果として表示される画像データ（縮小表示されている画像データ）に対し、所望の画像データの詳細を表示するために画像データを選択する場合は、ステップＳ２０７で、選択された画像データ（縮小表示されている画像データ）の詳細（原寸の画像データ）を表示する。
【００３０】
次に、ステップＳ２０３の検索処理の詳細について、図５を用いて説明する。図５は本発明の実施形態で実行される検索処理の詳細を示すフローチャートである。
まず、ステップＳ３０１で、同義語・類義語・概念辞書８を参照し、入力された検索条件である「自然語」を形態素解析および係り受け解析を行い、検索物名とその「検索物名」の特徴を示す外観特徴を抽出する。次に、抽出した「検索物名」が同義語・類義語・概念辞書８に存在するか否かを判定する。「検索物名」が同義語・類義語・概念辞書８に存在する場合（ステップＳ３０２でＹＥＳ）、ステップＳ３０３に進む。一方、「検索物名」が同義語・類義語・概念辞書８に存在しない場合（ステップＳ３０２でＮＯ）、ステップＳ３０９に進む。そして、ステップＳ３０９で、ユーザーに対し質問を行い、「検索物名」に最も近い概念の「物体名」を取得する。そして、取得した「物体名」を「検索物名」として設定する。このステップＳ３０９の処理により、入力された「検索物名」に近い概念の単語を抽出することが可能である。次に、ステップＳ３１０で、ステップＳ３０９で設定された「検索物名」を、同義語・類義語・概念辞書８に新たな「検索物名」として登録する。
【００３１】
ここで、ステップＳ３０９の処理の具体的な例について、図６〜図８を用いて説明する。
図６は本発明の実施形態のユーザーインタフェースの一例を示す図である。
ステップＳ３０９の処理が実行されると、例えば、図６に示すような単語入力画面が検索結果通知部１２に表示される。そして、この単語入力画面を用いて「検索物名」に近い概念の単語を一つ入力すると、その入力された単語に近い概念の単語が更に表示される。図６の例では、「検索物名」として「乗用車」を入力したが、これが同義語・類義語・概念辞書８に登録されていないので、それに近い概念である「自動車」を入力した場合を示している。
【００３２】
単語入力画面の右側には、「戻る」ボタン、「進む」ボタン、「探す」ボタン、「キャンセル」ボタン、「ＯＫ」ボタンの５つのボタンが配置されており、それぞれのボタンは、検索結果通知部１２上に表示されるカーソルで押下されることで以下に説明する処理が実行される。
「戻る」ボタンは、現在表示されている単語入力画面の前の単語入力画面に戻る。「進む」ボタンは、新規な単語入力画面を表示する。「探す」ボタンは、入力した単語に近い概念の単語を検索し、その結果を、例えば、図７のように表示する。「キャンセル」ボタンは、単語の入力をキャンセルする。「ＯＫ」ボタンは、同義語・類義語・概念辞書８に登録されていなかった「検索物名」に近い概念の単語を選択する。また、選択された単語に基づいて、同義語・類義語・概念辞書８に登録されていなかった「検索物名」が新たな単語として、同義語・類義語・概念辞書８の選択された単語の概念のレベルと、その次の概念のレベルの間の概念のレベルに登録される。
【００３３】
例えば、同義語・類義語・概念辞書８に登録されていなかった「乗用車」に近い概念の単語として「自動車」を選択すると、「乗用車」は、図８に示すように「自動車」の概念のレベルと「カー」の概念のレベルの間の概念のレベルの単語として登録される。また、「乗用車」の登録する位置は、「自動車」までの概念距離と、「カー」までの概念距離が同じとなる位置に登録する。更に、「自動車」の画像特徴重みと、「カー」の画像特徴重みに基づいて、「乗用車」の画像特徴重みを作成して登録する。
【００３４】
再び、図５のフローチャートの説明に戻る。
ステップＳ３０３で、「検索物名」の画像特徴重みを同義語・類義語・概念辞書８から取得する。ステップＳ３０４で、「検索物名」の外観特徴が抽出されている場合は、この外観特徴に関する画像特徴重みを、ステップＳ３０３で取得した画像特徴重みに付加する。ステップＳ３０５で、ユーザーに対し質問を行い、画像特徴量に対する有効な画像特徴重みを取得する。この処理の詳細について、図９のフローチャートを用いて説明する。
【００３５】
図９は本発明の実施形態のステップＳ３０５の処理の詳細を示すフローチャートである。
尚、図９における処理は、検索における有効な情報（画像特徴重み）を更に得たい場合、あるいは検索における画像特徴量が少ない場合に、これらを補うためのものである。
【００３６】
まず、ステップＳ４０３で、取得した「検索物名」の画像特徴重みに基づいて、「検索物名」が示す検索物の色が一意なものであるか否かを判定する。検索物の色が一意なものである場合（ステップＳ４０３でＹＥＳ）、ステップＳ４０４に進む。一方、検索物の色が一意なものでない場合（ステップＳ４０３でＮＯ）、ステップＳ４０７に進む。そして、ステップＳ４０７で、図１０に示すような質問画面を用いて「検索物に近い色を指定下さい」と質問し、ユーザーからの指定を受け付ける。色の指定は、図１０に示すように言葉、あるいは色見本を用いて指定する。ステップＳ４０８で、指定された色を画像特徴重みとして記憶する。
【００３７】
ステップＳ４０４で、図１１に示すような質問画面を用いて「検索物は大きく写ってますか」と質問する。ステップＳ４０５で、ユーザーは、質問画面を用いて「検索物名」が示す検索物の大きさについて応答する。検索物が大きく写っている場合（ステップＳ４０５でＹＥＳ）、ステップＳ４０６に進む。そして、ステップＳ４０６で、「検索物名」が示す検索物の色が極めて重要な検索情報であると判断し、検索物の色に関する画像特徴重みを増やして「検索物名」の画像特徴量を設定する。一方、検索物が大きく写っていない場合（ステップＳ４０５でＮＯ）、ステップＳ４０９に進む。
【００３８】
ステップＳ４０９で、図１２に示すような質問画面を用いて「背景物は何ですか」と質問し、ユーザーからの指定を受け付ける。背景の指定は、図１２に示すように、物体名で指定する。ステップＳ４１０で、背景物の色が一意なものであるか否かを判定する。背景物の色が一意なものである場合（ステップＳ４１０でＹＥＳ）、ステップＳ４１１に進む。一方、背景物の色が一意なものでない場合（ステップＳ４１０でＮＯ）、ステップＳ４１２に進む。そして、ステップＳ４１３で、図１３に示すような質問画面を用いて「背景物に近い色を指定下さい」と質問し、ユーザからの指定を受け付ける。ステップＳ４１３で、指定された色を画像特徴重みとして記憶する。
【００３９】
ステップＳ４１１で、背景物の色が極めて重要な検索情報であると判断し、背景物の色に関する画像特徴重みを増やして「検索物名」の画像特徴量を設定する。
尚、ここでは、検索物の色や、背景物の色に関する情報を、ユーザーから指定する場合について説明したが、検索物の表面の特徴や、それ以外の特徴に関する情報をユーザーから指定するような構成にすることができるのは、言うまでもない。以上の構成によって、入力した検索条件による検索に役立つ画像特徴重みを作成でき、この画像特徴重みを考慮した画像特徴量に基づいて検索を行えるのでより精度の高い検索を行うことが可能となる。
【００４０】
再び、図５のフローチャートの説明に戻る。
ステップＳ３０６で、画像特徴量に基づいて、画像特徴インデックス９を参照し画像データの検索を行う。ステップＳ３０７で、検索される画像データが存在するか否かを判定する。検索される画像データが存在する場合（ステップＳ３０７でＹＥＳ）、ステップＳ３０８に進む。そして、ステップＳ３０８で、検索された画像データを検索結果通知部１２に表示する。一方、検索される画像データが存在しない場合（ステップＳ３０７でＮＯ）、ステップＳ３１２に進む。
【００４１】
ステップＳ３１２で、ユーザーが画像特徴量の再指定を望むか否かを判定する。再指定を望む場合（ステップＳ３１２でＹＥＳ）、ステップＳ３１１に進む。そして、ステップＳ３１１で、ユーザーに対し質問を行い、画像特徴量に対する有効な画像特徴重みを取得する。この処理の詳細については、図６のフローチャートで説明した通りである。一方、再指定を望まない場合（ステップＳ３１２でＮＯ）、ステップＳ３１３に進む。そして、ステップＳ３１３で、検索される画像データはないと検索結果通知部１２に表示する。
【００４２】
以上説明したように、本実施形態によれば、入力された画像データをその画像データ中の着目画像データの画像特徴量と対応づけて管理することで、従来のような画像データに対する説明文及びキーワードを付加する作業をすることなく、管理されている画像データから所望の画像データを効率的に検索することができる。
【００４３】
また、入力された検索条件に応じて、その検索条件を構成する検索物名の外観特徴を入力することができ、よりユーザーが所望する詳細な検索条件を入力することができる。また、同義語・類義語・概念辞書８に登録されていない自然語が入力されても、その自然語に近い概念の単語を入力して検索することができる。また、ユーザがキーワード付けを行わなくても、検索語を入力するだけで、ユーザが所望する画像データを検索することが可能となる。また、新語造語等の未知語に対してはユーザとの対話インタフェースを通し、学習機能により同義語・類義語・概念辞書８を更新することができ、時代の流れに合わせて検索の幅を広げてゆくユーザの嗜好にあった検索の自動学習機能を実現できる。
【００４４】
尚、本実施形態においては、自然画像データの検索を行う例を説明したが、本発明の趣旨はあらゆる形態の情報メディア検索へも適応可能な技術である。
また、本実施形態において述べなかったが、画像へ説明文およびキーワードを付加し、これらにより検索を行う処理と並行して処理を行い、これらの結果と統合して検索結果を通知することも可能である。
【００４５】
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００４６】
この場合、記憶媒体から読出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００４７】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００４８】
更に、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４９】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、図１４のメモリマップ例に示す各モジュールを記憶媒体に格納することになる。
すなわち、少なくとも「入力モジュール」、「算出モジュール」および「管理モジュール」の各モジュールのプログラムコードを記憶媒体に格納すればよい。
【００５０】
尚、「入力モジュール」は、画像データ及び該画像データ中の着目画像データの座標を入力する。「算出モジュール」は、入力された着目画像データの座標に基づいて、該着目画像データの画像特徴量を算出する。「管理モジュール」は、算出された画像特徴量と入力された画像データを対応づけて管理する。
【００５１】
【発明の効果】
以上説明したように、本発明によれば、画像データを管理するためのユーザの負担を軽減し、かつ管理された画像データに対しユーザの嗜好にあった画像データの検索を行うことができる画像処理装置及びその制御方法を提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態の画像処理装置の構成を示すブロック図である。
【図２】本発明の実施形態の同義語・類義語・概念辞書の詳細な構成の一例を示す図である。
【図３】本発明の実施形態で実行される画像登録処理の処理フローを示すフローチャートである。
【図４】本発明の実施形態で実行される検索処理の概要を示すフローチャートである。
【図５】本発明の実施形態で実行される検索処理の詳細を示すフローチャートである。
【図６】本発明の実施形態のユーザーインタフェースの一例を示す図である。
【図７】本発明の実施形態のユーザーインタフェースの一例を示す図である。
【図８】本発明の実施形態における同義語・類義語・概念辞書の更新の例を示す図である。
【図９】本発明の実施形態のステップＳ３０５の処理の詳細を示すフローチャートである。
【図１０】本発明の実施形態のユーザーインタフェースの一例を示す図である。
【図１１】本発明の実施形態のユーザーインタフェースの一例を示す図である。
【図１２】本発明の実施形態のユーザーインタフェースの一例を示す図である。
【図１３】本発明の実施形態のユーザーインタフェースの一例を示す図である。
【図１４】本発明の実施形態を実現するプログラムコードを格納した記憶媒体のメモリマップの構造を示す図である。
【符号の説明】
１  ユーザーインタフェース
２  画像入力部
３  言語処理部
４  画像蓄積部
５  画像メモリ
６  全文検索登録部およびキーワード登録部
７  画像特徴抽出部
８  同義語・類義語・概念辞書
９  画像特徴インデックス
１０  検索部
１０ａ  画像検索部
１０ｂ  言語・画像特徴概念変換部
１０ｃ  言語検索部
１２  検索結果通知部
５０  着目物体抽出部
【図１】
0003673615.tif 000002
【図２】
0003673615.tif 000003
【図３】
0003673615.tif 000004
【図４】
0003673615.tif 000005
【図５】
0003673615.tif 000006
【図６】
0003673615.tif 000007
【図７】
0003673615.tif 000008
【図８】
0003673615.tif 000009
【図９】
0003673615.tif 000010
【図１０】
0003673615.tif 000011
【図１１】
0003673615.tif 000012
【図１２】
0003673615.tif 000013
【図１３】
0003673615.tif 000014
【図１４】
0003673615.tif 000015