(57)【要約】【課題】全ての画像ファイルにコメントをつけずに、検索に際してデータベースなどを構築する必要がなく、主に画像ファイル生成時に自動的に付加される属性を元に画像を検索することが可能な画像処理装置及び画像検索方法並びにコンピュータ・ソフトウエアを提供する。【解決手段】画像データと画像データの属性値とを対応させて記憶する記憶部Ｂ４と、画像を表示する表示部Ｂ２とを備えた画像処理装置において、ユーザが語句を入力する入力部Ｂ１と、検索対象画像から画像データを検索する画像データ検索部Ｂ５とを備え、そして、表示部Ｂ２は画像データ検索部により検索された画像を表示する。【選択図】　　　　図１
2004102503.tif 000002
【特許請求の範囲】
【請求項１】
画像データと該画像データの属性値とを対応させて記憶する記憶部と、画像を表示する表示部とを備えた画像処理装置において、
ユーザが語句を入力する入力部と、検索対象画像から画像データを検索する画像データ検索部とを備え、そして、前記表示部は画像データ検索部により検索された画像を表示することを特徴とする画像処理装置。
【請求項２】
上記画像データ検索部は、上記入力部により入力された語句をキーとして画像データを検索する請求項１記載の画像処理装置。
【請求項３】
上記画像データ検索部は、語句をキーとして検索して得られた画像ファイル間で共通する属性値を抽出し、かつ、抽出した属性値をキーとして画像データを検索する請求項２記載の画像処理装置。
【請求項４】
ユーザが語句を入力する入力手順と、画像データと該画像データの属性値とを対応させて記憶する記憶手順と、検索対象画像から画像データを検索する画像データ検索手順と、該画像データ検索手順により検索された画像を表示する表示手順とを備えたことを特徴とする画像検索方法。
【請求項５】
上記画像データ検索手順は、上記入力手順により入力された語句をキーとして検索する請求項４記載の画像検索方法。
【請求項６】
上記画像データ検索手順は、語句をキーとして検索して得られた画像ファイル間で共通する属性値を抽出し、次に、抽出した属性値をキーとして画像データを検索する請求項５記載の画像検索方法。
【請求項７】
各種の属性値を有する画像データを第１の画像データ集合体として収めた記録媒体から画像データを検索する方法であって、
前記第１の画像データ集合体を検索対象のキーワードで検索して第２の画像データ集合体を形成し、次に、第２の画像データ集合体に共通する属性値のうち、前記キーワードを除く属性値を抽出し、そして、抽出した属性値をキーとして前記第１の画像データ集合体から画像データを検索することを特徴とする画像検索方法。
【請求項８】
語句を入力する入力機能と、画像データと該画像データの属性値とを対応させて記憶する記憶機能と、検索対象画像から画像データを検索する画像データ検索機能と、該画像データ検索機能により検索された画像データを表示する表示機能とをコンピュータに実現させるプログラムからなるコンピュータ・ソフトウエア。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、記録媒体、画像表示機能を備える画像処理装置に適応され、記録媒体に記録された画像の属性を利用した検索を行う機能を有する制御プログラムを記録した装置および方法に関する。
【０００２】
【従来の技術】
一般的に、画像ファイル群から所望の画像ファイルを探し出す手法として、その内容を一枚一枚目視で確認する方法がとられている。近年、デジタルカメラの普及に伴い、個人が多数の画像ファイルを取り扱うようになった。それにつれて、本手法は非効率な手法となってきている。よって、画像ファイルを検索する手法が発明されてきた。
【０００３】
特許文献１ではユーザがそのままで意味を理解可能な言語で記述された文字列を元に画像ファイルの管理を容易に行う手法が提案されている。一般的にユーザは、重要な意味を持つ画像に対してのみコメントを付加し、それ以外の画像ファイルに対しては付加しない。しかし、この方法では全ての画像ファイルに対して付加する必要があり、非常に煩雑な方法である。
【０００４】
また、特許文献２では、画像ファイルに付加された属性のうち位置情報と時刻情報をもとに検索を行う手法が提案されている。本手法では、ユーザが与えた語句に関連する位置情報と時刻情報の組み合わせを作り出し、作り出された情報を元に検索を行う。しかし、本手法では、ユーザが与えた語句から位置および時刻情報を作り出すためのデータベースを作成する必要があり、このデータベースの作成、更新の手間が煩雑であった。
【０００５】
【特許文献１】
特開平５−２６６１５６号公報
【特許文献２】
特開２００１−２８２８１３号公報
【０００６】
【発明が解決しようとする課題】
本発明では、全ての画像にコメントを付加する必要がなく、検索用データベースを構築する必要もなく、撮影時に自動的に付加された情報を主に使用して検索を行うので、画像検索の利便性において従来までの特許より優れていると判断でき、これらを実現する機能を提案する。即ち、全ての画像ファイルにコメントをつけずに、検索に際してデータベースなどを構築する必要がなく、主に画像ファイル生成時に自動的に付加される属性を元に画像を検索することが可能な画像処理装置及び画像検索方法並びにコンピュータ・ソフトウエアを提供することを目的とする。本方法、装置では全ての画像ファイルにコメントを付加する必要も、検索用データベースを構築する必要もなくなる。
【０００７】
【課題を解決するための手段】
本発明は、画像データと該画像データの属性値とを対応させて記憶する記憶部と、画像を表示する表示部とを備えた画像処理装置において、ユーザが語句を入力する入力部と、検索対象画像から画像データを検索する画像データ検索部とを備え、そして、前記表示部は画像データ検索部により検索された画像を表示する画像処理装置である。
【０００８】
また、本発明は、上記画像データ検索部が上記入力部により入力された語句をキーとして画像データを検索する画像処理装置である。
【０００９】
そして、本発明は、上記画像データ検索部が、語句をキーとして検索して得られた画像ファイル間で共通する属性値を抽出し、かつ、抽出した属性値をキーとして画像データを検索する画像処理装置である。
【００１０】
更に、本発明は、ユーザが語句を入力する入力手順と、画像データと該画像データの属性値とを対応させて記憶する記憶手順と、検索対象画像から画像データを検索する画像データ検索手順と、該画像データ検索手順により検索された画像を表示する表示手順とを備えた画像検索方法である。
【００１１】
また、本発明は、上記画像データ検索手順で、上記入力手順により入力された語句をキーとして検索する画像検索方法である。
【００１２】
そして、本発明は、上記画像データ検索手順で、語句をキーとして検索して得られた画像ファイル間で共通する属性値を抽出し、次に、抽出した属性値をキーとして画像データを検索する画像検索方法である。
【００１３】
更に、本発明は、各種の属性値を有する画像データを第１の画像データ集合体として収めた記録媒体から画像データを検索する方法であって、前記第１の画像データ集合体を検索対象のキーワードで検索して第２の画像データ集合体を形成し、次に、第２の画像データ集合体に共通する属性値のうち、前記キーワードを除く属性値を抽出し、そして、抽出した属性値をキーとして前記第１の画像データ集合体から画像データを検索する画像検索方法である。
【００１４】
また、本発明は、語句を入力する入力機能と、画像データと該画像データの属性値とを対応させて記憶する記憶機能と、検索対象画像から画像データを検索する画像データ検索機能と、該画像データ検索機能により検索された画像データを表示する表示機能とをコンピュータに実現させるプログラムからなるコンピュータ・ソフトウエアである。
【００１５】
【発明の実施の形態】
本発明の実施の形態を説明する。
以下、図面を参照し本発明の好適な１実施形態を説明する。
【００１６】
はじめに、本発明の基本構成であるブロック構成図である図１の説明を行う。入力部Ｂ１は、ユーザが検索条件などを入力するための装置である。表示部Ｂ２は検索した画像などを再生するときに画像を表示するための、例えばモニタ画面である。ＣＰＵ（Ｂ３）は、画像の再生、検索など全ての演算処理を行う計算処理部である。記録メディアＢ４は、撮影した画像や画像に付属する属性値などを保管記録した、例えば記憶媒体のことである。メインメモリＢ５は、検索を行うためのメインプログラムなどを記憶する記録部である。
【００１７】
次に、画像ファイルの構造と、画像ファイルに付属した属性について説明する。デジタルカメラで撮影した画像ファイルは、例えば「デジタルスチルカメラ用画像ファイルフォーマット規格（Ｅｘｉｆ）」（ＪＥＩＤＡ−４９−１９９８）などのフォーマットで記録されている。Ｅｘｉｆフォーマットの構造の一例を図２に示す。Ｅｘｉｆフォーマットで記録された画像ファイルは、画像データを保存する領域に加えて、ＡＰＰ１と呼ばれる領域を持つ。ＡＰＰ１領域にはＥｘｉｆタグと呼ばれるデータを記録する。Ｅｘｉｆフォーマットで記録された画像ファイルは、Ｅｘｉｆタグを用いて、画像の各種属性を記録している。例えば、図２の画像ファイルで記録されている属性には、画像の幅、高さ、ストロボの使用の有無、撮影日時がある。そして、各属性の値により図２の画像は画像の幅が４８０、高さが６４０であり、本画像が撮影されたときにストロボが使用され、撮影日時は２００２年５月２８日であることを示している。記録できる属性には、時刻情報、位置情報等だけでなく、画像の大きさ・絞り値・シャッタースピード・ストロボの有無・被写体距離など各種撮影条件を記録することができ、さらに、ユーザが任意のコメントを記録することもできる。なお、コメント以外の各属性は通常デジタルカメラ等により撮影時に自動的に記録される。
【００１８】
なお、本明細書ではＥｘｉｆフォーマットに準拠した画像ファイルを例として説明するが、ＦｌａｓｈＰｉｘ（Ｆｌａｓｈ　Ｐｉｘは米国Ｅａｓｔｍａｎ　Ｋｏｄａｋ社の登録商標）等の属性を記録できる他の画像ファイルフォーマットを使用してもかまわない。
【００１９】
次に、画像ファイルに付属した属性値を用いた検索について説明する。一般的に、所望する画像ファイル間で属性値の一部が等しくなる。例えば、暗がりの中で人物を撮影した際には、ストロボが使用されるなどである。一方、その場合に位置情報等の属性値は等しくならない。また、「息子の小学校での記録」を検索する場合には属性のうち位置情報が等しくなり、ストロボの有無など撮影条件の属性値は等しくならない。
【００２０】
このように、属性値には所望する画像ファイル間で共通するものと、各画像ファイルに固有のものがある。本発明ではこの所望する画像ファイル間で共通する属性値を抽出し、抽出した属性値を用いて検索を行う。
【００２１】
本発明の検索においては属性値を抽出するために２段階の検索を行う。まず、ユーザに所望の画像を表す語句を入力してもらい、１段階目の検索においてコメントによる検索を行い、コメントの付加された画像ファイルの内より所望する画像ファイルを検索する。この検索において得られた画像ファイルより所望する画像ファイル間で共通する属性値を抽出し、第二段の検索において、抽出した属性値による検索を行い、所望する画像ファイルを得る。
【００２２】
以下、検索処理を図３のフローチャートを用いて説明する。まず、スタートし（Ｓ１０１）、入力モードへと移る。入力モードではユーザが図１中にある入力部Ｂ１より、検索に用いる語句を入力する（Ｓ１０２）。次に語句による検索部で、画像に付属したコメント中に入力モードで入力された語句が現れる画像ファイルをコメントが付加された画像ファイル中より検索する（Ｓ１０３）。検索した結果画像が発見されたか判断し（Ｓ１０４）、発見されるとコメントが付加されていない画像の検索を行うための属性値抽出に移る（Ｓ１０５）。また、画像が発見できなければ、処理を終了する（Ｓ１０８）。
【００２３】
画像ファイルに共通する属性とその属性値を抽出する（Ｓ１０５）。属性値を抽出した後に、属性値を用いた検索に移る（Ｓ１０６）。次に、ステップＳ１０５で抽出した属性値をキーとして検索を行う（Ｓ１０６）。すなわち、ステップＳ１０５で抽出した属性値を持っている画像を検索する。ステップＳ１０６での検索の終了後、画像表示モードへ移行する（Ｓ１０７）。ステップＳ１０７では、ステップＳ１０３，Ｓ１０６で検索できた画像を図１中にある表示部Ｂ２に表示する。
【００２４】
以下、実施例により具体的に説明する。実施例１を説明する。本実施例では、図４の画像ファイル中より、暗がりで人が写っている画像を検索する場合を例に説明する。図４（ａ）〜（ｄ）は、画像データ集合体を構成する画像１〜４を示しており、それぞれ図示する属性値と対応している。まず、フローチャート図３のステップＳ１０２で「暗い、人」と検索語句が入力される。その後ステップＳ１０３にて、文字列検索が行われる。Ｂｏｙｅｒ−Ｍｏｏｒｅの方法（石畑清著、「アルゴリズムとデータ構造」（岩波書店）、ｐ３０４〜ｐ３２１，ＩＳＢＮ４−００−０１０３４３−１）により文字列の検索は可能である。ステップＳ１０３での検索の結果、画像ファイル１，２が検索される。次にステップＳ１０５で属性値の抽出が行われる。
【００２５】
以下、図５のフローチャートを用いて、属性値抽出の１例を説明する。以降の処理を簡単にするため、属性に番号をつける。図４の場合、属性ｆｌａｓｈを番号１，露出プログラムを番号２、Ｄａｔｅを番号３、Ｐｌａｃｅを番号４とする。なお、属性コメントに番号を付けないのは以降の検索に属性コメントを用いないためである。
【００２６】
属性値抽出ではＶａｌｕｅという配列に抽出した属性値を格納する。また、Ｉ番目の属性値がステップＳ１０３での検索されたファイル間で共通でなかった場合、即ち後段の検索で用いられない場合にはＶａｌｕｅ［Ｉ］には「ＮｏｔＳｐｅｃｉｆｙ」という値を格納する。
【００２７】
処理を開始し（Ｓ２０１）、制御変数Ｉの初期化を行う（Ｓ２０２）。制御変数Ｉは現在抽出対象である属性の番号をあらわす。すべての属性に関し抽出処理が終了したかを判定し（Ｓ２０３）、終了していれば処理全体を終了する（Ｓ２１１）。終了していなければ、Ｖａｌｕｅ［Ｉ］の初期値を設定する（Ｓ２０４）。次に、制御変数Ｊの初期値を設定する（Ｓ２０５）。制御変数Ｊは現在処理しているファイル番号を表す。全てのファイルに関し処理が終了したかを判定し（Ｓ２０６）、終了していれば制御変数Ｉの値を１進め（Ｓ２１０）、次の属性の抽出を行う（Ｓ２０６）。終わっていなければ、Ｖａｌｕｅ［Ｉ］の値とファイルＪの属性Ｉの値を比較する（Ｓ２０７）。一致しなければ、属性Ｉは共通属性でないのでＶａｌｕｅ［Ｉ］に「ＮｏｔＳｐｅｃｉｆｙ」を代入し（Ｓ２０９）、次に、Ｉの値を１増やし（Ｓ２１０）、次の属性の抽出に進む（Ｓ２０３）。ステップＳ２０７で一致していると判定されると、Ｊの値を１増やし（Ｓ２０８）、次のファイルの判定に進む（Ｓ２０６）。本方式を図４（ａ）、（ｂ）の画像１，２に適用すると配列Ｖａｌｕｅは｛１，ＮｏｔＳｐｅｃｉｆｙ，ＮｏｔＳｐｅｃｉｆｙ，ＮｏｔＳｐｅｃｉｆｙ｝となる
【００２８】
次にステップＳ１０６での検索処理について、図６のフローチャートを用いて説明する。各画像ファイルの属性が、配列Ｖａｌｕｅの値と一致するものを検索する。スタートし（Ｓ３０１）、制御変数Ｉを初期化する（Ｓ３０２）。制御変数Ｉは現在検索対象となっているファイル番号を表す。全てのファイルに関し検索されたかを判定し（Ｓ３０３）、終了していれば全体の処理を終了する（Ｓ３１１）。終了していなければ、制御変数Ｊの初期化を行う（Ｓ３０４）。制御変数Ｊは現在検索のキーとして用いている属性の番号をあらわす。ｖａｌｕｅ［Ｊ］が「ＮｏｔＳｐｅｃｉｆｙ」であるかを判定する（Ｓ３０６）。「ＮｏｔＳｐｅｃｉｆｙ」であれば、検索に関係のない属性なのでＪの値を１増やし（Ｓ３０８）、次の属性での検索に移る（Ｓ３０５）。「ＮｏｔＳｐｅｃｉｆｙ」でなければＶａｌｕｅ［Ｊ］と画像Ｉの属性Ｊの値が等しいかを判定する（Ｓ３０７）。等しくなければ、検索条件に適合しない画像ファイルであるので、Ｉの値を１増やし（Ｓ３１０）、次のファイルを対象とする検索に移る（Ｓ３０５）。等しければ、次の属性で判定を行うためにＪの値を１増やし（Ｓ３０８）、次の属性をキーとする検索に移る。そして、全ての属性を用いて検索が終了したかを判定する（Ｓ３０５）。終了していれば全ての属性値が検索条件と一致する画像ファイルである。よって、ファイルＩを検索された画像として表示装置に表示する設定を行い（Ｓ３０９）、次のファイルを対象とする検索に移る（Ｓ３０３）。本方式を図４（ａ）（ｂ）の画像１，２に適用すると、画像１，２，３が検索される。
【００２９】
なお上記の手法は１例であり、属性値抽出、検索、画像表示の手法に関しては種々公知の技術がある。本実施例はこれに限定されない。
【００３０】
図４においては、人数などが異なるが、画像１と画像２、そして画像３は暗がりで人が写っている。画像１と画像２はコメントが付加されているが、画像３は付加されていない。よって、「暗い、人」というキーワードで検索を行ったとしても、コメントのみによる検索では画像３は検索できない。ここで、画像１と画像２、画像３では、暗闇という状況が共通しているために、ストロボの有無の属性が等しくなっている。これら共通する属性値をキーとして検索を行う結果、コメントの付加されていない画像３も検索できるようになる。
【００３１】
本実施例によれば、画像検索のために全ての画像ファイルにコメントを付加したり、検索用データベース構築などの手間が必要なくなる。数枚の主要な画像にのみコメントを記述しておけば、その他のコメントを付加していない画像ファイル中より、所望の画像ファイルを検索することができる。
【００３２】
なお、上記実施例で画像処理装置及び画像検索方法を説明したが、語句を入力する入力機能と、画像データと該画像データの属性値とを対応させて記憶する記憶機能と、検索対象画像から画像データを検索する画像データ検索機能と、該画像データ検索機能により検索された画像データを表示する表示機能とをコンピュータに実現させるプログラムからなるコンピュータ・ソフトウエア又はこのプログラムを格納したコンピュータ読取可能な記録媒体（例えばＣＤ−ＲＯＭ等）を使用することにより、本発明の画像処理装置を得ることができる。
【００３３】
【発明の効果】
本発明によれば、全ての画像ファイルにコメントをつけずに、検索に際してデータベースなどを構築する必要がなく、主に画像ファイル生成時に自動的に付加される属性を元に画像を検索することが可能な画像処理装置及び画像検索方法を得ることができる。
【図面の簡単な説明】
【図１】本発明の画像表示装置のハード構成を示すブロック図。
【図２】Ｅｘｉｆ規格に則った画像ファイルフォーマット。
【図３】本発明の画像検索のフローチャート図。
【図４】「暗い、人」という条件で検索の対象となる画像ファイル。
【図５】図３Ｓ３における属性値抽出の１例を示すフローチャート図。
【図６】図３Ｓ６における属性値検索の１例を示すフローチャート図。
【符号の説明】
Ｂ１　入力部
Ｂ２　表示部
Ｂ３　ＣＰＵ
Ｂ４　記憶メディア
Ｂ５　メインメモリ
【図１】
2004102503.tif 000003
【図２】
2004102503.tif 000004
【図３】
2004102503.tif 000005
【図４】
2004102503.tif 000006
【図５】
2004102503.tif 000007
【図６】
2004102503.tif 000008