(57)【要約】【課題】画面に同一と認識されうるオブジェクトが複数存在する場合でも、ユーザーに対して適切な処理を促すことが可能な画像処理装置、画像表示方法、画像表示プログラムの提供を目的とする。【解決手段】画像データーにおけるオブジェクトを認識し、オブジェクトに関する画像と付加情報とを表示する画像処理装置において、１の画像に同一と認識されうるオブジェクトが複数表示されている場合、前記オブジェクトに関する付加情報を異なる表示形式で表示する付加情報表示手段と、前記付加情報の変更を受付けた場合に、前記付加情報を変更する表示変更手段と、を有する。【選択図】図８
2011237910.tif 000002
【特許請求の範囲】
【請求項１】
画像データーにおけるオブジェクトを認識し、オブジェクトに関する画像と付加情報とを表示する画像処理装置であって、
１の画像に同一と認識されうるオブジェクトが複数表示されている場合、前記オブジェクトに関する付加情報を異なる表示形式で表示する付加情報表示手段と、
前記付加情報の変更を受付けた場合に、前記付加情報を変更する表示変更手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記表示変更手段は、前記同一と認識されうるオブジェクトが人物画である場合は、前記オブジェクトに関する表示の変更を受付けることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記付加情報は、メタデーターとして前記画像データーに記録されることを特徴とする請求項１又は請求項２のいずれかに記載の画像処理装置。
【請求項４】
前記表示変更手段は、変更後の前記付加情報の表示形式を他の付加情報と同一とすることを特徴とする請求項１〜請求項３のいずれか一項に記載の画像処理装置。
【請求項５】
前記表示変更手段は、前記同一と認識されうる複数のオブジェクトが人物画でない場合は、代表する付加情報のみを残し、他の付加情報を削除することを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
画像データーにおけるオブジェクトを認識し、オブジェクトに関する画像と付加情報とを表示する画像表示方法であって、
１の画像に同一と認識されうるオブジェクトが複数表示されている場合、前記オブジェクトに関する付加情報を異なる表示形式で表示する付加情報表示工程と、
前記付加情報の変更を受付けた場合に、前記付加情報を変更する表示変更工程と、を有することを特徴とする画像表示方法。
【請求項７】
画像データーにおけるオブジェクトを認識し、オブジェクトに関する画像と付加情報とを表示する機能を実現させる画像処理プログラムであって、
１の画像に同一と認識されうるオブジェクトが複数表示されている場合、前記オブジェクトに関する付加情報を異なる表示形式で表示する付加情報表示機能と、
前記付加情報の変更を受付けた場合に、前記付加情報を変更する表示変更機能と、をコンピューターに実現させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定のオブジェクトを含んだ画像を表示させる画像処理装置に関する。
【背景技術】
【０００２】
特許文献１には、取得した画像データーに付加情報を合成する装置が開示されている。例えば、画像データーがオブジェクトとして人物画を含む場合に、この付加情報は画像データーに含まれるオブジェクトに関連する個人情報等を含み、認証処理等において、上記画像データーと合成された付加情報を照合に用いることで、認証精度を向上させている（例えば、特許文献１参照。）。
【０００３】
また、画像データーに付加情報を合成させる手法の一例として、画像データーに含まれるオブジェクトを特徴量をもとに認識し、認識結果からオブジェクトに対応する付加情報を選択して合成する方法が存在する。例えば、画像データーに含まれるオブジェクトが人物画である場合、この人物画の顔領域から特徴量を取得し、予め登録された人物の特徴量と上記取得された特徴量とが類似する場合は、画像データーに含まれるオブジェクトを登録された人物と認識し、付加情報を合成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１０４１７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記した手法では、画面に同一と認識されうるオブジェクトが複数表示された場合に問題が生じる場合がある。オブジェクトの認識は周知のオブジェクト認識技術（例えば、パターンマッチング等の画像認識）をもとに実行されるが、認識対象となる特徴が同一又は極めて近い複数のオブジェクトに対しては、同一と認識してしまうことも起こりうる。このような場合、装置の処理としては適切であっても、ユーザーにとっては異なるオブジェクトに対して同一の付加情報を合成しているためエラー状態である可能性が高く、この状態を是正するために何らかの処理が必要である。
【０００６】
本発明は、上記課題にかんがみてなされたもので、画面に同一と認識されうるオブジェクトが複数存在する場合でも、ユーザーに対して適切な処理を促すことが可能な画像処理装置、画像表示方法、画像表示プログラムの提供を目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明では、画像データーにおけるオブジェクトを認識し、オブジェクトに関する画像と付加情報とを表示する画像処理装置において、１の画像に同一と認識されうるオブジェクトが複数表示されている場合、前記オブジェクトに関する付加情報を異なる表示形式で表示する付加情報表示手段と、前記付加情報の変更を受付けた場合に、前記付加情報を変更する表示変更手段と、を有する構成としてある。
【０００８】
上記のように構成された発明では、画像処理装置は、画像データーにおけるオブジェクトを認識し、このオブジェクトに対応する画像と付加情報とを表示可能である。このとき、付加情報表示手段は、１の画像に同一と認識されうるオブジェクトが複数表示されている場合、このオブジェクトに関する付加情報を異なる表示形式で表示する。また、表示変更手段は、表示形式が変更された付加情報に対してユーザーによる変更を受付け、付加情報の変更を行う。
【０００９】
そのため、ユーザーは画面上で付加情報が異なる表示形式で表示されていることを目視することで、今の状態がエラー状態であることを判断でき、表示変更手段を通じて付加情報を変更する等適切な処理を促すことが可能となる。
ここで、異なる表示形式とは、表示内容が同一であって、その表示の方法が異なることを意味し、例えば付加情報が表示される際の色彩が異なる場合や、大きさが異なる場合を含む概念である。
【００１０】
また、前記表示変更手段は、前記同一と認識されるオブジェクトが人物画である場合は、前記オブジェクトに関する表示の変更を受付ける構成としてもよい。
オブジェクトが人物画である場合、このオブジェクトに対して顔補正等の個別の補正を行う場合があり、付加情報を変更する必然性が高い。そのため、上記のように構成された発明では、以後の処理において適切な処理を実行することが可能となる。
【００１１】
そして、前記付加情報は、メタデーターとして前記画像データーに記録される構成としてもよい。
【００１２】
また、前記表示変更手段は、変更後の前記付加情報の表示形式を他の付加情報と同一とする構成としてもよい。
【００１３】
そして、前記表示変更手段は、前記同一と認識される複数のオブジェクトが人物画でない場合は、代表する付加情報のみを残し、他の付加情報を削除する構成としてもよい。
人物画意外のオブジェクトについては、個別に補正等を行う可能性も少なく、表示形式を削除しても問題はない。そのため、上記のように構成された発明では、代表する付加情報のみを残すことで、画面上での視認性を向上させることができる。
【００１４】
また、本発明は、画像処理装置以外にも、本発明の機能を実現する画像表示方法や、コンピューターに本発明の機能を実現させる画像処理プログラムに対しても適用することができる。
【図面の簡単な説明】
【００１５】
【図１】画像表示装置１０の構成を説明する図である。
【図２】画像表示装置により実施される処理を説明するための図である。
【図３】デジタルカメラ２０の構成を説明するためのブロック構成図である。
【図４】クライアントＰＣの構成を説明するためのブロック構成図である。
【図５】登録処理を実行する際の制御部２１の機能を説明するブロック構成図である。
【図６】ディスプレイ２５に表示される撮像画像を表示する図である。
【図７】オブジェクトデータベースＤＢ１を説明する図である。
【図８】登録処理においてデジタルカメラ２０が実行する処理を説明する図である。
【図９】表示処理において制御部２１の機能を説明するブロック図である。
【図１０】ディスプレイ２５に表示される被写体画像を示す図である。
【図１１】デジタルカメラ２０が撮像処理において実行する処理を説明するためのフローチャートである。
【図１２】ステップＳ２８において実行される処理を詳細に説明するフローチャートである。
【図１３】図１０に示す撮像画像における表示情報が変更される様子を説明するための図である。
【図１４】検索処理において制御部３２の機能を説明するブロック図である。
【図１５】ディスプレイ３７に表示される検索画面を示す図である。
【図１６】一例としてのオブジェクト補正データベースＤＢ２を示す図である。
【図１７】検索処理において実行される処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１６】
以下、下記の順序に従って本発明の実施形態を説明する。
１．本発明の概要：
２．画像表示装置の構成：
３．登録処理について：
４．表示処理について：
５．検索処理について：
６．その他の実施形態：
【００１７】
１．本発明の概要：
以下、図を参照して、この発明に係る画像処理装置を具体化した画像表示装置の形態について説明する。図１は、画像表示装置１０の構成を説明する図である。また、図２は、画像表示装置により実施される処理を説明するための図である。
【００１８】
画像表示装置１０は、デジタルカメラ２０と、クライアントＰＣ３０とを備えて構成される。デジタルカメラ２０は、任意の被写体を撮像し、この被写体に係る画像データー（以下撮像データーと記載する。）をフラッシュメモリー等の外部メモリーに記録する。また、クライアントＰＣ３０は、デジタルカメラ２０から送信される撮像データー、又は外部から取得された画像データーを記録するとともに、ユーザーからの指示に応じて記録された画像データーに対して表示、又は画像処理を施す。
【００１９】
本実施形態に係る画像表示装置１０では、任意のオブジェクトに合成するための付加情報をオブジェクトに対応付けて登録しておき（ステップＳ１：以下、登録処理と記載する。）、取得した画像データーに登録されたオブジェクトが含まれる場合は、このオブジェクトに対応する付加情報を合成して表示する（ステップＳ２：以下、表示処理と記載する。）。また、付加情報を合成した画像データーを記録したばあい、合成された付加情報をもとに画像データーを検索し、画面上に表示させることが可能である（ステップＳ３：以下、検索処理と記載する。）。また、検索された画像データーに対しては、オブジェクトごとに個別の補正を施すことが可能である。
【００２０】
上記画像表示装置１０において、画像データーに含まれるオブジェクトが登録されたオブジェクトであるか否かを認識するために、周知の画像認識を用いて認識が行われる。画像認識では取得された画像データーに含まれるオブジェクトの特徴量が登録されたオブジェクトの特徴量に近い場合、このオブジェクトを登録されオブジェクトとして認識する。そのため、画像データーに極めて近い特徴量を備えるオブジェクトが複数存在する場合、従来の画像認識では、上記複数のオブジェクトを同一のオブジェクトとして認識してしまう。例えば、極めて容姿が近い複数の人物（双子など）が画像データーに含まれる場合、従来の画像認識ではこの人物像を同一のオブジェクトとして認識し、このオブジェクトが異なる人物のものである場合でも、同一の付加情報を表示する（又は同一の処理を施す）可能性があった。
【００２１】
そのため、本実施形態に係る画像表示装置１０では、同一と認識されるオブジェクトが画像データーに複数含まれる場合に、ユーザーに対して各オブジェクトの識別を促し、ユーザーによって識別された結果をもとに以後の処理を実行する。
【００２２】
２．画像表示装置の構成：
図３は、デジタルカメラ２０の構成を説明するためのブロック構成図である。デジタルカメラ２０は、制御部２１と、ＥＥＰＲＯＭ２２と、ＲＡＭ２３と、撮像素子２４と、ディスプレイ２５と、外部メモリー２６と、操作キー２７とが、各種ＩＦ（インターフェース）２８ａ〜２８ｄ及びバス２９を介して接続されて構成されている。
【００２３】
撮像素子２４は、例えばＣＣＤ（Charge Coupled Device）により構成され、被写体に対応するＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の各刺激値を数値化する。ＥＥＰＲＯＭ２２には、制御部２１が実行するプログラムデーターＰＤ１や、所定のデーターが記録されており、制御部２１は、プログラムデーターＰＤ１を実行することで各種機能を実現する。
【００２４】
図４は、クライアントＰＣの構成を説明するためのブロック構成図である。クライアントＰＣ３０は、例えばパーソナルコンピューターにより実現され、デジタルカメラ２０と接続することで、このデジタルカメラ２０から送信された撮像データーを記録し、各画像データーに対して検索処理や画像処理を施す。また、クライアントＰＣ３０は、ＨＤＤ３１と、制御部３２と、入出力ＩＦ３３と、ＧＩＦ３４とが、バス３５に接続されて構成されている。また、クライアントＰＣ３０は、入出力ＩＦ３３を通じてキーボード３６、ディスプレイ３７と接続されている。さらに、クライアントＰＣ３０はＧＩＦ３４を通じてデジタルカメラ２０と接続することができる。
【００２５】
ＨＤＤ３１には、制御部３２が実行するプログラムデーターＰＤ２や、制御部３２が参照する各種データーが記録されており、制御部３２はプログラムデーターＰＤ２を実行することで各種機能を実現する。
【００２６】
３．登録処理について：
以下、デジタルカメラ２０を例に、本実施形態に係る登録処理を説明する。図５は、登録処理を実行する際の制御部２１の機能を説明するブロック構成図である。また、図６は、ディスプレイ２５に表示される撮像画像を表示する図である。なお、登録処理としてデジタルカメラ２０を用いることは一例であり、クライアントＰＣ３０に対しても同様の処理が実行されることは言うまでもない。また、撮像画像とは、記録された撮像データーにより表示される画像を意味する。
【００２７】
登録処理において、制御部２１は、ＥＥＰＲＯＭ２２に記録されたプログラムデーターＰＤ１を実行することにより、撮像モジュールＭ１、撮像画像表示モジュールＭ２、メタデーター登録モジュールＭ３、表示情報対応付けモジュールＭ４、特徴量抽出モジュールＭ５の各機能を実現する。
【００２８】
撮像モジュールＭ１は、撮像素子２４を通じて取得された三値刺激値を撮像データーに変換して外部メモリー２６に記録する。このとき、撮像モジュールＭ１による撮像条件はメタデーター登録モジュールＭ３に出力される。
【００２９】
メタデーター登録モジュールＭ３は、撮像データーに対して、撮像された条件、日時、場所、及びユーザーによって登録された撮像データーに含まれるオブジェクトの名称をメタデーター（付加情報）として合成する。ここで、メタデーターとは、例えばＥｘｉｆ（Exchangeable Image File Format For Digital Still Cameras）や、ＤＣＦ（Design Rule For Camera File System）の規格に基づいて構成されるデーターである。
【００３０】
特徴量抽出モジュールＭ５は、撮像データーに含まれるオブジェクトを背景画像から分離し、分離したオブジェクトの特徴量を示す正規化データーを認識用辞書に登録する。図６に示す撮像データーでは、特徴量抽出モジュールＭ５はオブジェクトＡ〜Ｅをそれぞれ周知の画像処理により背景画像から分離し、分離したオブジェクトから正規化データーを生成する。そして、画像認識モジュールは、生成された正規化データーを認識用辞書に登録する。
【００３１】
正規化データーの一例として、撮像データーに含まれるオブジェクトが人物画である場合は、この人物画の顔を含む顔領域から、目位置、両目の間隔及び画像の大きさを規定し、これらを特徴量として数値化する。また、撮像データーに含まれるオブジェクトが人物画意外のものである場合は、オブジェクトの種別に応じて備える特徴量をもとに周知の画像認証を用いた処理により正規化データーを作成すればよい。なお、撮像データーから顔領域を検出する方法としては、例えば、Ｖｉｏｌａ、Ｐ．；Ｊｏｎｅｓ，Ｍ．；Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，２００１．ＣＶＰＲ  ２００１．  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２００１  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ，Ｖｏｌｕｍｅ：１，８−１４  Ｄｅｃ  ２００１  Ｐａｇｅｓ：Ｉ−５１１〜５１８  Ｖｏｌ．１に示された方法を用いることができる。
【００３２】
表示情報対応付けモジュールＭ４は、上記特徴量抽出モジュールＭ５により認識用辞書に登録されたオブジェクトと、表示情報との対応付けを行う。表示情報は、撮像データーに合成されるメタデーターの一部であり、撮像データーが表示された際、オブジェクト毎に表記される情報である。例えば、表示情報対応付けモジュールＭ４は、登録されたオブジェクトと、表示情報との対応付けをオブジェクトデータベースＤＢ１に記録することで実行する。
【００３３】
図７は、オブジェクトデータベースＤＢ１を説明する図である。オブジェクトデータベースＤＢ１は、任意のオブジェクトと、このオブジェクトにおける認識用辞書により登録された正規化データーと、表示情報とを対応付けて記録するものであり、オブジェクトに対してどの表示情報を対応づけるかはユーザーにより設定される。
【００３４】
撮像画像表示モジュールＭ２は、撮像データーをディスプレイ２５に表示させる。このとき、撮像データーに含まれるオブジェクトに表示情報が合成されている場合は、ディスプレイ２５には、表示情報が表記されたオブジェクトが表示される。
【００３５】
以下、撮像データーに含まれるオブジェクトと、このオブジェクトに対応付けて表示される表示情報との登録方法を説明する。図８は、登録処理においてデジタルカメラ２０が実行する処理を説明する図である。
【００３６】
ステップＳ１０において、ユーザーがシャッターを操作すると、撮像モジュールＭ１は、撮像素子２４を通じて入力された三値刺激値を撮像データーとして外部メモリー２６に記録する。また、ステップＳ１１において、メタデーター登録モジュールＭ３は、外部メモリー２６に記録された撮像データーに対して撮影条件等のメタデーターを合成する。ステップＳ１１により合成されるメタデーターは例えば、撮像の際の条件等を示す情報であり、表示情報とは異なるものである。
【００３７】
ステップＳ１２において、ユーザーが記録された撮像データーをディスプレイ２５に表示させるよう操作すると、撮像画像表示モジュールＭ２は、外部メモリー２６に記録された撮像データーをディスプレイ２５に出力し表示させる。
【００３８】
この状態で、ユーザーが画面上のアイコンを操作して所定のオブジェクトを選択し、このオブジェクトに表示情報を登録する旨の操作入力を行うと（ステップＳ１３：ＹＥＳ）、ステップＳ１４では、特徴量抽出モジュールＭ５は、選択されたオブジェクトを背景画像から分離し抽出する。
【００３９】
ステップＳ１５では、特徴量抽出モジュールＭ５は、ユーザーがディスプレイ２５上でカーソルを当てて選択したオブジェクトに対して、選択されたオブジェクトに対応する正規化データーを抽出し認識辞書に登録する。
【００４０】
ステップＳ１６では、表示情報対応付けモジュールＭ４は、ステップＳ１３で選択されたオブジェクトと、このオブジェクトに対応付ける表示情報の登録を行う。例えば、ユーザーが操作キーを操作して選択されたオブジェクトに対応付ける表示情報を入力すると、表示情報対応付けモジュールＭ４は、オブジェクトデータベースＤＢ１の各値を更新する。
【００４１】
ステップＳ１７において、メタデーター登録モジュールＭ３は、ステップＳ１４で選択されたオブジェクトに対して撮像データー内での位置情報をメタデーターとして記録する。この位置情報は撮像データー内でのオブジェクトの位置を示す座標として取得され、以後の処理において使用される。以下、同様に、オブジェクトＢに対して登録を行う場合は（ステップＳ１８：ＹＥＳ）、上記処理を繰り返す。以上、登録処理を説明した。
【００４２】
４．表示処理について：
図９は、表示処理において制御部２１の機能を説明するブロック図である。また、図１０は、ディスプレイ２５に表示される被写体画像を示す図である。
【００４３】
デジタルカメラ２０における表示処理において、制御部２１は、ＥＥＰＲＯＭ２２に記録されたプログラムをもとに撮像モジュールＭ１１、撮像画像表示モジュールＭ１２、メタデーター登録モジュールＭ１３、画像認証モジュールＭ１４、表示情報合成モジュールＭ１５、表示情報変更モジュールＭ１６の各機能を実現する。
【００４４】
画像認証モジュールＭ１４は、撮像データーに含まれるオブジェクトの認証を行う。画像認証モジュールＭ１４におけるオブジェクトの認証は周知の画像認証処理により実行される。その一例として、画像認証モジュールＭ１４は、撮像データーからオブジェクトを抽出し、抽出されたオブジェクトの特徴量と、認識辞書に登録された正規化データーとの照合を行う。また、照合処理は、正規化データーと抽出されたオブジェクトの特徴量とをベクトル化し、類似度を計算することに行う。画像認証モジュールＭ１４は、オブジェクト間の類似度が高い場合に、両オブジェクトを同一のオブジェクトとして認証する。
なお、このような画像認証については、例えば、Ｔｕｒｋ，Ｍ．Ａ．；Ｐｅｎｔｌａｎｄ，Ａ．Ｐ．；Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，１９９１．Ｐｒｏｃｅｅｄｉｎｇｓ  ＣＶＰＲ’９１．ＩＥＥＥ  Ｃｏｍｐｕｔｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ，３−６  Ｊｕｎｅ  １９９１  Ｐａｇｅｓ：５８６−５９１に記載されている。
【００４５】
表示情報合成モジュールＭ１５は、撮像データーに登録されたオブジェクトが含まれる場合に、このオブジェクトに対応する表示情報を撮像データーに合成する。このとき、表示情報合成モジュールＭ１５は、オブジェクトデータベースＤＢ１に記録された正規化データーをもとにオブジェクトを認識し、このオブジェクトに対応する表示情報を撮像データーの所定箇所（例えば、オブジェクトが配置される位置）に合成する。
【００４６】
表示情報変更モジュールＭ１６は、撮像データーに、認識辞書に登録されたオブジェクトであって、その類似度が高いオブジェクトが複数含まれる場合、表示情報の表示形式を変更させる。例えば、図１０において、撮像画像内に、同一のオブジェクトＡ、Ｂが含まれる場合、このオブジェクトに関連づけて表示される表示情報はともに「ＡＡＡ」で同一であるが、どちらかの表示情報「ＡＡＡ」の表示形式を変更する。ここで、表示形式とは、表示情報の色彩や、大きさ、又は表示の有無を表す概念である。
【００４７】
なお、撮像モジュールＭ１１、撮像画像表示モジュールＭ１２、メタデーター登録モジュールＭ１３の機能は、上記した撮像モジュールＭ１、撮像画像表示モジュールＭ２、及びメタデーター登録モジュールＭ３と同様の機能であるため説明を省略する。
【００４８】
以下、本実施形態における表示処理について説明を行う。図１１は、デジタルカメラ２０が撮像処理において実行する処理を説明するためのフローチャートである。
ステップＳ２０では、ユーザーがシャッター操作を行うと、撮像モジュールＭ１１は、撮像素子２４を通じて生成された撮像データーを外部メモリー２６に記録する。
【００４９】
ステップＳ２１では、画像認証モジュールＭ１４は、撮像データーに含まれるオブジェクトを抽出し、抽出されたオブジェクトの特徴量と認証辞書に登録された正規化データーとを照合して、類似度を算出する。
【００５０】
撮像データーに含まれるオブジェクトの類似度が高く、このオブジェクトを登録されたオブジェクトであると認証した場合（ステップＳ２２：ＹＥＳ）、ステップＳ２３では、表示情報合成モジュールＭ１５は、オブジェクトデータベースＤＢ１を参照し、このオブジェクトに対応する表示情報を取得する。
【００５１】
更に、認証されたオブジェクトと同一のもので類似度が高いものが複数存在する場合（ステップＳ２４：ＹＥＳ）、ステップＳ２５では、表示情報変更モジュールＭ１６は、取得した表示情報の表示形式を変更し、変更後の表示情報を撮像データーにおける対応する箇所に合成する。
【００５２】
ステップＳ２６では、撮像画像表示モジュールＭ２は、撮像画像をディスプレイ２５に表示させる。このとき、同一と認識されたオブジェクトが複数存在する場合、このオブジェクトに関連付けて表示される表示情報の表示形式が変更されて表示される。本実施形態では、図１１に示すようにオブジェクトＡとオブジェクトＢとが同一と認識された場合に、オブジェクトＢに対して、表示情報「ＡＡＡ」の表示色がオブジェクトＡの表示情報と異なる色（例えば赤色）に変更され、ユーザーにエラー状態であることを通知する。また、同様にオブジェクトＣ〜Ｅが同一と認証された場合も、表示情報の表示形式が変更されて表示される。そのため、ステップＳ２４〜Ｓ２６の処理により、本発明の付加情報変更手段を実現する。
【００５３】
一方、撮像データーに登録されたオブジェクトが含まれているが（ステップＳ２２：ＹＥＳ）、類似度が高いオブジェクトが存在しない場合（ステップＳ２４：ＮＯ）、ディスプレイ２５には、各オブジェクトが表示情報の表示形式が変更されることなく表示される（ステップＳ２６）。
【００５４】
ユーザーがディスプレイ２５に表示された表示情報を目視することで、表示内容は同一ではあるが、色彩が異なる表示情報が表示されていると判断し、操作キー２７を操作して表示情報の変更入力を行うと（ステップＳ２７：ＹＥＳ）、ステップＳ２８では、表示情報変更モジュールＭ１６は、受け付けた操作入力に応じて表示情報を変更する。そのため、ステップＳ２７、Ｓ２８の処理により、本発明の表示変更手段を実現する。
【００５５】
図１２は、ステップＳ２８において実行される処理を詳細に説明するフローチャートである。また、図１３は、図１０に示す撮像画像における表示情報が変更される様子を説明するための図である。
【００５６】
表示情報の変更を受付けたオブジェクトが人物画（例えば、図１１のオブジェクトＡ，Ｂ）である場合は（ステップＳ２８１：ＹＥＳ）、表示情報変更モジュールＭ１６は、ユーザーの操作入力により、オブジェクトに対応する表示情報の変更を受付ける（ステップＳ２８２）。例えば、表示情報変更モジュールＭ１６は、図１１に示すオブジェクトＢの表示情報を「ＡＡＡ」から「ＢＢＢ」に変更する入力を受付ける（図１３）。ここで、オブジェクトが人物画である場合、以後の処理においてこのオブジェクトに対して顔補正等の個別の補正を行う場合があり、表示情報を変更する必然性が高い。そのため、上記のように構成された発明では、以後の処理において適切な処理を実行することが可能となる。
【００５７】
一方、表示情報の変更を受付けたオブジェクトが人物画でない（例えば、図１１のオブジェクトＣ〜Ｅ）場合は（ステップＳ２８１：ＮＯ）、表示情報変更モジュールＭ１６は、いずれかのオブジェクトに付加された表示情報のみを残し後の表示情報を削除する（ステップＳ２８３）。そのため、図１３に示す撮像データーにおいて例えば、オブジェクトＣ〜Ｅの表示情報が１つを残して削除される。また、このとき、残る表示情報を拡大して表示するものであってもよい。人物画意外のオブジェクトについては、個別に補正等を行う可能性も少なく、表示形式を削除しても問題はない。そのため、上記のように構成された発明では、代表する表示情報のみを残すことで、画面上での視認性を向上させることができる。
【００５８】
図１１に戻り、ステップＳ２９では、メタデーター登録モジュールＭ１３は、表示情報が変更された旨を示す履歴をメタデーターとして合成する。表示情報の変更を示す履歴は、以後、クライアントＰＣ３０による処理において利用される。以上、本実施形態に係る撮像処理を説明した。
【００５９】
５．検索処理について：
以下、ＰＣ３０に実行される検索処理について説明を行う。なお、クライアントＰＣ３０のＨＤＤ３１には、上記方法でデジタルカメラ２０により取得された撮像データーが記録されているものとする。更に、この撮像データーには、表示情報の変更履歴を示すメタデーターが合成されているものとする。
【００６０】
図１４は、検索処理において制御部３２の機能を説明するブロック図である。また、図１５は、ディスプレイ３７に表示される検索画面を示す図である。
【００６１】
制御部３２は、ＨＤＤ３１に記録されたプログラムデーターＰＤ２を実行することにより、画像検索モジュールＭ２１と、検索画面表示モジュールＭ２２と、表示情報変更モジュールＭ２３と、画像処理モジュールＭ２４と、画像認証モジュールＭ２５の機能を実現する。
【００６２】
画像検索モジュールＭ２１は、ユーザーによって入力されたキーワードに応じてこのキーワードに対応した撮像データーを検索する。その一例として、画像検索モジュールＭ２１は、入力されたキーワードと、メタデーターに記録された表示情報とを対応付けるデータベースを備えており、このデータベースをもとに撮像データーの検索を行なう。なお、画像検索モジュールＭ２１が撮像データーを検索する手法としては、上記した表示情報に限定されず、撮像データーに所定の識別子を対応付けて登録する構成としてもよい。
【００６３】
検索画面表示モジュールＭ２２は、画像検索モジュールＭ２１によって検索された撮像データーを検索画面上に一覧表示する。この検索画面では、画像検索モジュールＭ２１により検索された撮像データーが所定枚数毎（ＣＩ１〜ＣＩＮ）に縦横に配列して表示される。このとき、検索画面に表示される撮像データーは、表示情報をもとに検索されているため、各撮像データーに含まれるオブジェクトにはそれぞれ表示情報が表記される。
【００６４】
表示情報変更モジュールＭ２３は、検索画面が表示された状態で、ユーザーから表示情報を変更する旨の操作入力を受付けた場合に、この表示情報の変更を受付ける。本実施形態では、検索画面には、デジタルカメラ２０により表示情報が変更された撮像データー以外にも、表示情報が変更されていない撮像データーが表示される可能性があるため、表示情報変更モジュールＭ２３により、クライアントＰＣ３０でも表示情報の変更を行えるようにしている。
【００６５】
画像処理モジュールＭ２４は、撮像データーに合成されたメタデーターを参照して、所定の画像処理を施す。ここで、メタデーターには、各オブジェクトの位置と、オブジェクトを識別するための表示情報とが登録されているため、画像処理モジュールＭ２４は、メタデーターの各値を参照して、オブジェクト毎に所定の画像処理を施す。画像処理モジュールＭ２４がオブジェクト毎に施す画像処理を判断する手法として、本実施形態では、オブジェクト補正データベースＤＢ２を参照する。
【００６６】
図１６は、一例としてのオブジェクト補正データベースＤＢ２を示す図である。オブジェクト補正データベースＤＢ２は、予め登録されたオブジェクトの表示情報と、このオブジェクトに対応する補正の種別が対応付けて記録されている。登録される補正の種別としては、人物画の肌の色彩を補正する肌補正や、周知の顔補正等である。
【００６７】
なお、画像認証モジュールＭ２５は、上記した画像認証モジュールＭ１４と同様の機能を備えるため、説明は省略する。
【００６８】
以下、本実施形態に係る検索処理を説明する。図１７は、検索処理において実行される処理を説明するためのフローチャートである。
【００６９】
ステップＳ３０において、画像検索モジュールＭ２１は、ユーザーがキーボード３６を操作して入力した所定のキーワードを受信すると、ステップＳ３１では、入力されたキーワードに対応する表示情報を備える撮像データーをＨＤＤ３１から検索する。
【００７０】
表示情報変更モジュールＭ２３は、検索された全ての撮像データーの中に、表示情報が変更された履歴を有するものを検出した場合（ステップＳ３２：ＹＥＳ）、検索した撮像データーの中に類似度が高いオブジェクトを複数含むものが含まれていると判断する。上記したように、ＨＤＤ３１に記録された撮像データーの中には、前記したデジタルカメラ２０において類似するオブジェクトの表示情報を変更していないものも含まれている可能性があり、以後の処理において、撮像データーに類似度の高いオブジェクトが含まれているか否かを識別する。なお、表示情報が変更されているか否かは、付加されるメタデーターを参照して判断すればよい。また、履歴が存在する場合にのみ、処理を行なう構成とすれば、全ての検索された撮像データーに対して処理を行なう必要がなく、処理負荷を軽減することができる。
【００７１】
そのため、ステップＳ３３では、画像認証モジュールＭ２５は、検索された全ての撮像データーの中から、類似度が高いオブジェクトが含まれる撮像データーを検索する。即ち、画像認証モジュールＭ２５は、対象撮像データーに含まれるオブジェクトを抽出し、類似度を算出する。ここで、類似度を算出するオブジェクトは、ステップＳ３０で入力されたキーワードに対応する表示情報を持つものである。
【００７２】
ステップＳ３４では、表示情報変更モジュールＭ２３は、ステップＳ３３で検索された類似度が高いオブジェクトが複数含まれる撮像データーに対して、類似度が高いオブジェクトに対応する表示情報の表示形式を変更する。例えば、表示情報の色彩を赤色に変更し、ユーザーにエラー状態であることを通知できるようにする。
【００７３】
ステップＳ３５では、検索画面表示モジュールＭ２２は、検索された撮像データーを検索画面に一覧表示する。このとき、検索画面表示モジュールＭ２２は、検索された撮像データーに合成されるメタデーターをもとに表示情報を表示する。また、撮像データーに類似度が高いオブジェクトが複数含まれる場合は、表示情報の表示形式が変更されて表示される。
【００７４】
表示情報変更モジュールＭ２３は、ユーザーがキーボード３６等の操作を通じて出力された表示情報の変更を示す入力を受付けると（ステップＳ３６：ＹＥＳ）、ステップＳ３７では、ディスプレイ３７には、変更後の表示情報が表示される。
【００７５】
例えば、検索画面に表示された撮像データーに、キーワードに対応するオブジェクトＦ及びＧとが含まれる場合、オブジェクトＦ及びＧの表示情報がデジタルカメラ２０により変更されていない場合は、表示情報として同一の名称「ＦＦＦ」が表示されている。そのため、表示情報「ＦＦＦ」は赤色で表示されるため、異なるオブジェクトに同一の表示情報が付与されているいわゆるエラー状態であることをユーザーは認識することができる。その後、ユーザーがキーボード３６を操作して、オブジェクトＧの表示情報を「ＦＦＦ」から「ＧＧＧ」に変更すると、オブジェクトＧに対して変更後の表示情報「ＧＧＧ」が表記される。
【００７６】
以後、表示情報の変更を終了する場合は（ステップＳ３８：ＹＥＳ）、ステップＳ３９では、表示情報変更モジュールＭ２３は、受付けた変更後の表示情報、及び変更履歴をメタデーターに反映させる。
【００７７】
その後、ユーザーが再度の検索処理を行なった場合、キーワードの入力に応じて検索対象となる撮像データーが変更される。例えば、名称「ＧＧＧ」をキーワードとして入力した場合、以前は、表示情報が「ＦＦＦ」であるため検索対象から除外された撮像データーであっても、ステップＳ３６〜Ｓ３９の処理により表示情報が「ＧＧＧ」に変更されることで、新たな検索処理において検索対象に含まれることとなる。そのため、ユーザーの目視による識別を考慮した検索画面の表示を行うことが可能となる。
【００７８】
更に、検索画面上で、ユーザーが任意の撮像データーを選択し、選択した撮像データーに対して補正処理を施す旨の操作入力を行うと、画像処理モジュールＭ２４は、オブジェクト補正データベースＤＢ２、及びメタデーターに記録されたオブジェクトの位置情報をもとにオブジェクト毎の補正を実行する。このとき、撮像データーに類似度の高い複数のオブジェクトが含まれている場合でも、ユーザーが表示情報の変更を行った場合は、各オブジェクトに対して別々の補正が施される。一方、ユーザーが類似度の高い複数のオブジェクトに対して表示情報を変更しない場合は、各オブジェクトに対して同一の補正が実行される。以上、検索処理を説明した。
【００７９】
６．その他の実施形態：
本発明は様々な実施形態が存在する。
デジタルカメラにより本実施形態に係る登録処理及び表示処理を実施することは一例であり、クライアントＰＣにより実施する構成としてもよい。
表示情報として、登録されたオブジェクトの名称を用いるのは一例であり、他のものであってもよい。
更に、クライアントＰＣに替えてプリンターにより本実施形態の各処理を実施するものであってもよい。
【符号の説明】
【００８０】
１０…画像表示装置、２０…デジタルカメラ、２１…制御部、２２…ＥＥＰＲＯＭ、２３…ＲＡＭ、２４…撮像素子、２５…ディスプレイ、２６…外部メモリー、２７…操作キー、２８ａ〜２８ｄ…ＩＦ、２９…バス、３０…クライアントＰＣ、３１…ＨＤＤ、３２…制御部、３３…入出力ＩＦ、３４…ＧＩＦ、３５…バス、３６…キーボード、３７…ディスプレイ
【図１】
2011237910.tif 000003
【図２】
2011237910.tif 000004
【図３】
2011237910.tif 000005
【図４】
2011237910.tif 000006
【図５】
2011237910.tif 000007
【図６】
2011237910.tif 000008
【図７】
2011237910.tif 000009
【図８】
2011237910.tif 000010
【図９】
2011237910.tif 000011
【図１０】
2011237910.tif 000012
【図１１】
2011237910.tif 000013
【図１２】
2011237910.tif 000014
【図１３】
2011237910.tif 000015
【図１４】
2011237910.tif 000016
【図１５】
2011237910.tif 000017
【図１６】
2011237910.tif 000018
【図１７】
2011237910.tif 000019