(57)【要約】【課題】新たな画像表示形態を実現して画像鑑賞形態をより多様化し得る画像表示装置を提供する。【解決手段】撮影画像データを蓄積記録する記録部と、撮影画像データに基く画像を表示する表示部１８と、撮影画像データに付随する画像情報データに含まれる第１の画像データを記録する第１の画像データベース部１７ａと、第２の画像データを記録する第２の画像データベース部１７ｂと、第１，第２の検索用キーワード情報を設定するキーワード抽出部１５ｄと、第１の検索用キーワード情報に基いて第１の画像データベース部を検索し対応する第１の画像データを選択する第１検索部１５ａと、第２の検索用キーワード情報に基いて第２の画像データベース部を検索し対応する第２の画像データを選択する第２検索部１５ｃと、第１，第２の画像データに基いて画像合成処理を施し第３の画像を生成する合成部１６とを有してなる。【選択図】図１
2012142760.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像データを蓄積記録する記録部と、
上記撮影画像データに基く画像を表示する表示部と、
上記撮影画像データに付随する画像情報データに含まれる第１の画像データを記録する第１の画像データベース部と、
第２の画像データを記録する第２の画像データベース部と、
第１の検索用キーワード情報及び第２の検索用キーワード情報を設定するキーワード抽出部と、
上記キーワード抽出部によって設定された上記第１の検索用キーワード情報に基いて上記第１の画像データベース部を検索し、対応する第１の画像データを選択する第１検索部と、
上記キーワード抽出部によって設定された上記第２の検索用キーワード情報に基いて上記第２の画像データベース部を検索し、対応する第２の画像データを選択する第２検索部と、
上記第１の画像データと上記第２の画像データとに基いて画像合成処理を施して第３の画像を生成する合成部と、
を有することを特徴とする画像表示装置。
【請求項２】
上記第１の画像データは、上記表示部に表示中の表示画像に含まれる人物の顔を表わす顔画像データであり、
上記第２の画像データは、人物の動作を表わすテンプレート画像データであり、
上記第１の検索用キーワード情報は、人物を表わすキーワード情報であり、
上記第２の検索用キーワード情報は、人物の動作を表わすキーワード情報であることを特徴とする請求項１に記載の画像表示装置。
【請求項３】
上記第１の検索用キーワード情報と上記第１の画像データに基いて上記表示部に表示中の表示画像に含まれる人物の年齢情報を推定する年齢推定部を、さらに有し、
上記第２検索部は、上記年齢情報に基いて、上記第２の画像データを選択することを特徴とする請求項２に記載の画像表示装置。
【請求項４】
音声を集音し音声信号を生成する音声入力部を、さらに具備し、
上記キーワード抽出部は、上記音声入力部により生成された上記音声信号に基いて上記第１の検索用キーワード情報及び上記第２の検索用キーワード情報を設定することを特徴とする請求項１に記載の画像表示装置。
【請求項５】
撮影画像データを取得する撮像部と上記撮影画像データを蓄積記録する記録部とを備えると共に、上記撮影画像データに基く画像を表示する画像表示装置を具備するカメラにおいて、
上記撮影画像データの取得時に被写体の顔を検出し対応する顔画像データを取得する顔判定部と、
上記撮影画像データに関連付けて上記顔画像データを記録する第１の画像データベース部と、
予め生成されたテンプレート画像データを記録する第２の画像データベース部と、
複数の検索用キーワード情報を設定するキーワード抽出部と、
上記複数の検索用キーワード情報のうち人物を表わす検索用キーワード情報に基いて上記第１の画像データベース部を検索し、対応する顔画像データを選択する第１検索部と、
上記複数の検索用キーワード情報のうち人物の動作を表わす検索用キーワード情報に基いて上記第２の画像データベース部を検索し、対応するテンプレート画像データを選択する第２検索部と、
上記顔画像データと上記テンプレート画像データとに基いて画像合成処理を行って合成画像を生成する合成部と、
を有することを特徴とするカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像表示装置、詳しくは電子的な画像信号を画像として表示する画像表示装置に関するものである。
【背景技術】
【０００２】
従来、撮影光学系により結像された光学像を光電変換素子等によって順次画像信号に変換し、これにより得られた電子的な画像信号を所定の形態、例えばデジタル画像データ（以下、単に画像データと略記する）として記録媒体に記録し得る撮影装置、例えばデジタルカメラやビデオカメラ等（以下、これらを総称してカメラという）が、一般に実用化され広く普及している。
【０００３】
また、このような形態のカメラによって撮影記録された画像データに基いて、画像を再生表示する画像表示装置、例えば液晶表示装置（ＬＣＤ）等を備えて構成された画像表示装置が一般に実用化され、広く普及している。
【０００４】
このような形態の画像表示装置においては、複数の画像データを利用して、各種の画像処理（例えば画像合成処理等）を行い、一つの画像データに基いて表示される画像とは異なる画像を表示し得る新たな画像データを生成する機能を有するものがある。
【０００５】
例えば、特開平１０−２０７４８０号公報によって開示されている装置は、カラオケ装置において、カラオケ曲の演奏時に再生表示される画像データ（背景画像データ）に、そのカラオケ曲の演奏時にカメラで撮影取得される画像データ（カラオケ歌唱者の顔画像データ）を合成処理して合成画像データを生成し、こうして取得された合成画像データに基く合成画像を表示したり、プリンタでプリントするというものである。この場合において、背景画像データは、装置の製作者が予め撮影記録して記録媒体等に記録しておいたものが用いられる。また、背景画像データは、使用者の操作情報に基づいて、例えば選択されたカラオケ曲に対応するものが選択されるように構成されている。
【０００６】
一方、従来の画像表示装置や、このような画像表示装置を具備するカメラにおいては、記録された画像データを表示する機能を具備すると同時に、合成画像処理に限らず各種の画像処理を実行し得る高性能な画像処理回路を内部に備えて構成されているものが、一般に実用化され広く普及している。  
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−２０７４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記特開平１０−２０７４８０号公報によって開示されている装置においては、予め用意された背景画像データを利用するものであるので、生成される合成画像データは画一的なものでしかないという問題点がある。
【０００９】
また、上記公報に開示されている装置では、使用者が所望の処理結果を得るためには、各種の選択操作を行う必要があるため、煩雑な操作を強いられることになるという問題もある。
【００１０】
本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、撮影記録済みの撮影画像データと予め用意されている複数のテンプレート画像データとに基いて、所定の条件に合致する複数の画像データを選択し、選択した複数の画像データについての画像合成処理を行って疑似的シーンを表わす合成画像データを生成し、これに基く画像を表示させる新たな画像表示形態を実現し、これにより画像の鑑賞形態をより多様化し得る画像表示装置を提供することである。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明による画像表示装置は、撮影画像データを蓄積記録する記録部と、上記撮影画像データに基く画像を表示する表示部と、上記撮影画像データに付随する画像情報データに含まれる第１の画像データを記録する第１の画像データベース部と、第２の画像データを記録する第２の画像データベース部と、第１の検索用キーワード情報及び第２の検索用キーワード情報を設定するキーワード抽出部と、上記キーワード抽出部によって設定された上記第１の検索用キーワード情報に基いて上記第１の画像データベース部を検索し、対応する第１の画像データを選択する第１検索部と、記キーワード抽出部によって設定された上記第２の検索用キーワード情報に基いて上記第２の画像データベース部を検索し、対応する第２の画像データを選択する第２検索部と、記第１の画像データと上記第２の画像データとに基いて画像合成処理を施して第３の画像を生成する合成部とを有することを特徴とする。
【００１２】
また、本発明によるカメラは、撮影画像データを取得する撮像部と上記撮影画像データを蓄積記録する記録部とを備えると共に、上記撮影画像データに基く画像を表示する画像表示装置を具備するカメラにおいて、上記撮影画像データの取得時に被写体の顔を検出し対応する顔画像データを取得する顔判定部と、上記撮影画像データに関連付けて上記顔画像データを記録する第１の画像データベース部と、予め生成されたテンプレート画像データを記録する第２の画像データベース部と、複数の検索用キーワード情報を設定するキーワード抽出部と、上記複数の検索用キーワード情報のうち人物を表わす検索用キーワード情報に基いて上記第１の画像データベース部を検索し、対応する顔画像データを選択する第１検索部と、上記複数の検索用キーワード情報のうち人物の動作を表わす検索用キーワード情報に基いて上記第２の画像データベース部を検索し、対応するテンプレート画像データを選択する第２検索部と、上記顔画像データと上記テンプレート画像データとに基いて画像合成処理を行って合成画像を生成する合成部と、を有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、撮影記録済みの撮影画像データと予め用意されている複数のテンプレート画像データとに基いて、所定の条件に合致する複数の画像データを選択し、選択した複数の画像データについての画像合成処理を行って疑似的シーンを表わす合成画像データを生成し、これに基く画像を表示させる新たな画像表示形態を実現し、これにより画像の鑑賞形態をより多様化し得る画像表示装置と、この画像表示装置を具備するカメラを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態の画像表示装置を具備するカメラの主要構成を示すブロック構成図、
【図２】本実施形態のカメラにおける第１データベース（通常撮影画像と関連する撮影情報）の一例を示す図、
【図３】本実施形態のカメラにおける第２画像データベース（動作を表わす身体部画像集）の一例を示す図、
【図４】本実施形態のカメラにおける第２画像データベース（時代，場所を表わす背景画像集）の他の一例を示す図、
【図５】本実施形態のカメラを使用している状況を示し、該装置の作用を説明する概念図、
【図６】本実施形態のカメラにおける主要な作用を示すカメラ制御の処理シーケンスを示すフローチャート
【図７】図６の処理シーケンスのうち「スイッチ（ＳＷ）表示」処理（図６のステップＳ２６の処理）の詳細を示すサブルーチン、
【図８】図６の処理シーケンスのうち「スイッチ（ＳＷ）操作」処理（図６のステップＳ３２の処理）の詳細を示すサブルーチン、
【図９】図６の処理シーケンスのうち「対応動作画像検索」処理（図６のステップＳ３３，Ｓ４１の処理）の詳細を示すサブルーチン、
【図１０】図６の処理シーケンスのうち「対応人物画像検索」処理（図６のステップＳ３７の処理）の詳細を示すサブルーチン、
【図１１】図６の処理シーケンスのうち「対応人物画像切り出し」処理（図６のステップＳ４２の処理）の詳細を示すサブルーチン
【発明を実施するための形態】
【００１５】
以下、図示の実施の形態によって本発明を説明する。
【００１６】
本発明の一実施形態は、例えば光学レンズにより形成される光学像を固体撮像素子を用いて光電変換し、これによって得られる電子的な画像信号を静止画像又は動画像を表わすデジタル画像データに変換する撮像部と、こうして生成された画像データを記録媒体に記録する記録部と、該記録媒体に記録されたデジタル画像データに基いて対応する静止画像又は動画像を再生表示する画像表示装置とを具備して構成されるカメラを例に挙げて説明するものである。
【００１７】
まず、本発明の一実施形態の画像表示装置を具備するカメラの主要構成について、図１を用いて説明する。
【００１８】
図１に示すように、カメラ１０は、制御部１１と、撮像部１２と、音声入力部１３ａと、操作入力部１３ｂと、時計部１４と、記録部（第１画像データベース部１７ａ，第２画像データベース部１７ｂを含む）と、画像表示装置（表示部１８，タッチパネル１８ｂ）等によって構成される。
【００１９】
制御部１１は、カメラ１０の全体を統括的に制御する制御手段として機能するＣＰＵ等の制御回路等である。制御部１１の内部には、画像データを取り扱うための各種の回路、例えば画像処理部１１ｂ，第１検索部１５ａ，年齢推定部１５ｂ，第２検索部１５ｃ，キーワード抽出部１５ｄ，顔判定部１５ｅ，合成部１６等のほか、図示していないが、一般的なカメラ等の制御部が具備するその他の回路、例えば画像信号等のデータを一時的に記憶する一時メモリ（temporarily memory）や、電源に関する制御を行う電源制御部等が設けられている。
【００２０】
画像処理部１１ｂは、撮像部１２によって取得され上記一時メモリ等に一時的に記憶された画像信号について各種の信号処理を行う回路である。
【００２１】
第１検索部１５ａは、記録部のうちの第１画像データベース部１７ａに記録されている情報、即ち撮影記録済みの撮影画像データに付随する各種の画像情報データに基いて、所定の条件、例えば後述するキーワード抽出部１５ｄによって設定された検索用キーワード情報に適合する画像情報データの検索を行う回路である。
【００２２】
第２検索部１５ｃは、記録部のうちの第２画像データベース部１７ｂに記録されているテンプレート画像データ等（詳細は後述する）に基いて、所定の条件、例えば後述するキーワード抽出部１５ｄによって設定された検索用キーワード情報に適合するテンプレート画像データ等の検索を行う回路である。
【００２３】
年齢推定部１５ｂは、記録部のうちの第１画像データベース部１７ａに記録されている画像情報データのうち特に撮影年月日，日時情報等（以下、日時情報等と略記する）及び被写体（人物）に関するプロフィール情報等と、時計部１４による現在日時情報等の各種の情報に基いて、各画像データに含まれる被写体（人物）の年齢を推定し、所定の形態のリストを生成し保持する回路である。
【００２４】
キーワード抽出部１５ｄは、後述する音声入力部１３ａからの音声入力信号や、操作入力部１３ｂ若しくはタッチパネル１８ｂ等の操作部からの入力信号を受けて画像検索を行う際に利用する検索用キーワード情報を抽出し設定する回路である。
【００２５】
顔判定部１５ｅは、撮像部１２によって取得された画像信号に基いて画像中にある被写体のうちから人物若しくは動物等の顔の画像を検出し、その顔画像についての判定処理を行う回路である。
【００２６】
より詳しく説明すると、顔判定部１５ｅは、例えば撮像部１２によって取得された画像信号に基いて画像中にある被写体のうちから人物若しくは動物等の顔部分の画像を検出し、顔画像データを作成する。これにより作成された顔画像データについて、使用者は、所定の操作を行って、個々の顔画像データに関する情報、例えば、その顔画像に対応する人物の名前，性別，生年月日等のプロフィール情報等を付加して登録する。なお、プロフィール情報に含まれる性別情報は、例えば顔判定部１５ｅによる判定結果を用いてもよいし、使用者が登録の際に任意に入力するようにしてもよい。こうしてプロフィール情報を付加された顔画像データは、第１画像データベース部１７ａ等に記録される（顔画像登録処理）。
【００２７】
また、顔判定部１５ｅは、撮像部１２によって取得された画像データに含まれる被写体の顔画像が、上記顔画像等禄処理にて登録済みの顔画像データに合致するものがあるかどうかを判定する（顔画像判定処理）。合致する顔画像がある場合には、当該画像データの撮影記録動作時に、登録済み顔画像データに付加されたプロフィール情報を関連付けて記録する。合致する顔画像がない場合には、当該画像データの撮影記録動作時に、その旨を表示したり、上記顔画像登録処理を促すようなシーケンスを実行するようにしてもよい。
【００２８】
なお、顔判定部１５ｅによる上述のような顔画像検出処理，顔画像判定処理等は、従来のカメラにおいて、近年広く普及している画像処理技術の一つである。
【００２９】
合成部１６は、第１検索部１５ａ，第２検索部１５ｃ等による検索結果に基いて選択されるテンプレート画像データ（後述する）と撮影記録済み画像データとを利用して、後述する表示装置に含まれるタッチパネル１８ｂからの使用者による操作指示等を受けて、所定の合成画像データを生成する画像処理回路部である。この合成部１６により生成された合成画像データは、表示部１８へと出力され、画像として表示される。
【００３０】
なお、上記一時メモリや画像処理部１１ｂ，第１検索部１５ａ，第２検索部１５ｃ，年齢推定部１５ｂ，キーワード抽出部１５ｄ，顔判定部１５ｅ，合成部１６等は、本実施形態で示すように制御部１１内に含めて構成する形態のほか、制御部１１とは別の処理回路として個別に構成するようにしてもよい。
【００３１】
記録部は、例えば半導体メモリ等の記録媒体と、この記録媒体をドライブする記録手段等によって構成される。記録部は、通常の撮影画像データを記録する領域のほかに、第１画像データベース部１７ａと第２画像データベース部１７ｂとを有する。
【００３２】
第１画像データベース部１７ａには、撮影画像データに付随する画像情報データ等が記録される。ここで、画像情報データとしては、通常の撮影画像データに付与されるイグジフ（Exif：Exchangeable Image Format）情報、即ち撮影時の日時情報等を含む撮影情報等に加え、顔判定部１５ｅによって得られた顔画像データやそれに関して任意の操作により登録された登録情報（上記人物の顔に対応するプロフィール情報等）等がある。具体的には、例えば図２に示す第１画像データベースの一例等である。
【００３３】
図２に示す第２画像データベースの一例では、撮影年情報（図２の年代表記「９０年」，「９５年」等の欄）と、この撮影年情報に対応する撮影画像データ（図２では各年代に対応する画像を表記）と、その撮影画像データによって表される画像中に含まれる被写体（人物）の顔のそれぞれに関連付けされて付与（登録）された名前等のプロフィール情報（図２の符号Ａ，Ｂ，Ｃ等で表記）とを示している。
【００３４】
第２画像データベース部１７ｂには、主にテンプレート画像データ等が記録される。ここで、テンプレート画像データとは、例えばイラスト画像データ，フレーム画像データ，テキストデータ等、予め作成され用意されている画像データ等である。具体的には、例えば図３に示す第２画像データベースの一例（Ａ）や、図４に示す第１画像データベースの一例（Ｂ）等である。
【００３５】
図３に示す第２画像データベースの一例（Ａ）は、例えば「転ぶ」，「食べる」といった動作や仕草を表わす検索用キーワード情報に関連する複数のテンプレート画像データとしてイラスト等によって生成された画像データ（図３の例示を「身体部分画像データ」というものとする）を示している。また、図３では、各動作に対して異なる年齢，性別等に対応させて複数の「身体部分画像データ」が用意されている例を示している。
【００３６】
図４に示す第２画像データベースの一例（Ｂ）は、テンプレート画像データとして、例えばイラスト若しくは実写サンプル画像等によって生成された画像データ（図４の例示を
「背景画像データ」というものとする）を示している。この場合は、年代，場所等に対応して異なる複数の「背景画像データ」が用意されている例を示している。
【００３７】
画像表示装置は、表示部１８とタッチパネル１８ｂ等によって主に構成される。表示部１８は、撮像部１２によって順次取得される画像信号を連続的に表示して、カメラ１０の撮影時におけるファインダーの役目をすると共に、記録部に記録済みの画像データを画像として再生表示する機能を備えた画像表示装置である。この表示部１８としては、例えば液晶表示装置（ＬＣＤ）等が適用される。
【００３８】
タッチパネル１８ｂは、例えば表示部１８の表示画面上に配置され、操作部として機能するパネル状のセンサーである。
【００３９】
撮像部１２は、例えばＣＣＤ等の光電変換素子等からなる撮像素子を有する回路部と、被写体の光学像を結像させるレンズ部（不図示）等を含めて構成される構成ユニットである。この撮像部１２は、レンズ部によって形成される光学像を撮像素子の受光面に結像させ、該撮像素子が光電変換処理することによって画像の電気信号を生成するように構成される。撮像部１２によって生成された画像信号は、画像処理部１１ｂへと出力される。
【００４０】
音声入力部１３ａは、音声を電気信号に変換するマイクロフォン等を備え、該マイクロフォン等を介して得られた音声信号を制御部１１へと伝達する回路である。操作入力部１３ｂは、カメラ１０に複数設けられる各種操作部材からの入力信号を受けて、制御部１１へと伝達する回路である。また、時計部１４は、タイマー機能等を有する内部時計である。
【００４１】
そして、上記カメラ１０は、例えば、無線接続，有線ケーブル接続等によって接続される既存のネットワーク等を介して接続される外部データベース（ＤＢ）２１との間で通信を行うことができるようになっている。ここで、本カメラ１０は、外部データベース（ＤＢ）２１との間での通信によって、例えば新たなテンプレート画像データ等をダウンロードすることができ、そうして取得したテンプレート画像データ等は、記録部のうち第２画像データベース部１７ｂに蓄積記録される。
【００４２】
その他の構成については、本発明に直接関係しない部分であるので、その図示及び説明
を省略する。
【００４３】
このように構成される本実施形態の画像表示装置を具備するカメラの作用を、図５を用いて以下に簡単に説明する。
【００４４】
図５は、本実施形態のカメラにおける使用形態のうち画像表示装置に画像を表示させて使用する際の状況と、その場合のカメラの作用を概念的に示している。
【００４５】
例えば、図５において、第１の人物Ｂは、当該カメラ１０の所有者であって、第２の人物Ａの母親若しくは親族等であるとし、また、第２の人物Ａは、第１の人物Ｂの子供若しくは親族，知人，友人等であるものとする。
【００４６】
図５に示す状況は、カメラ１０の表示部１８に所定の画像、例えば過去に撮影された記念写真等の画像であって、該カメラ１０の第１画像データベース部１７ａに記録済みの画像データに基く画像を表示させた状態としている。そして、この状態のカメラ１０を第１の人物Ｂが手に持っており、その表示部１８に表示されている表示画像を第２の人物Ａと共に見ながら、第１の人物Ｂと第２の人物Ａとが会話をしている状況である。
【００４７】
上述したように、カメラ１０の表示部１８には、第１画像データベース部１７ａの画像データ（過去に撮影記録された画像データ）のうち、第２の人物Ａが被写体として撮影されている画像が表示されているものとする。
【００４８】
この状態にあるとき、例えば、第１の人物Ｂが第２の人物Ａに向かって、図５に示すように「Ａちゃんは、この時、転んだのよ。」といった発言を行なったとする。すると、この発言による音声は、音声入力部１３ａにより集音されて電気信号に変換された後、その音声信号が制御部１１のキーワード抽出部１５ｄへと入力される。キーワード抽出部１５ｄは、入力された音声信号に基いて所定の検索用キーワード情報、例えば人物を特定する「Ａちゃん」という語，時制を表わす「この時」という語，動作を表わす「転んだ」という語等を検索用キーワード情報として設定し、検索用キーワード情報のデータ信号を生成する。このようにして、キーワード抽出部１５ｄによって抽出され設定された検索用キーワード情報データ信号は、第１検索部１５ａ，第２検索部１５ｃへと出力される（検索用キーワード情報抽出処理）。
【００４９】
なお、上記検索用キーワード情報抽出処理は、上述の如く、音声入力部１３ａによる音声信号に基いて自動的に行うようにする手段のほか、他の手段によってもよい。例えば表示部１８を用いて、所定の検索用キーワード情報一覧表示（第１画像データベース部１７ａの登録済みプロフィール情報等や第２画像データベース部１７ｂのテンプレート画像データ等の一覧表示）を行って、操作入力部１３ｂ，タッチパネル１８ｂ等を用いて使用者が選択操作を行うことにより検索用キーワード情報選択設定を行うような手段としてもよい。
【００５０】
一方、年齢推定部１５ｂは、第１画像データベース部１７ａに記録されている画像情報データに基いて、表示部１８に現在表示中の画像に対応する画像データに関する情報のうち、撮影時の日時情報等と、当該画像中の被写体に関するプロフィール情報等と、時計部１４からの現在日時情報等により、当該画像中の被写体の現在や撮影時の年齢を推定する。こうして算出された推定年齢情報のデータ信号は、第２検索部１５ｃへ出力される。
【００５１】
第１検索部１５ａは、上記キーワード抽出部１５ｄからの検索用キーワード情報データ信号と年齢推定部１５ｂからの推定年齢情報データ信号とを受けて、第１画像データベース部１７ａの画像情報データを検索し、設定された検索用キーワード情報に適する顔画像データ（第１の画像）を選択する。こうして選択された顔画像データは、合成部１６へと出力される。
【００５２】
第２検索部１５ｃは、上記キーワード抽出部１５ｄからの検索用キーワード情報データ信号と、年齢推定部１５ｂからの推定年齢情報データ信号とを受けて、第２画像データベース部１７ｂのテンプレート画像データ（第２の画像）を検索し、設定された検索用キーワード情報に適するテンプレート画像データを選択する。こうして選択されたテンプレート画像データは、合成部１６へと出力される。
【００５３】
合成部１６は、第１検索部１５ａからの顔画像データと、第２検索部１５ｃからのテンプレート画像データとに基いて画像合成処理を行う。その結果、生成された合成画像データ（第３の画像）を表示部１８へと出力する。これを受けて表示部１８は、合成画像データに基く画像の表示処理を行う。これにより、表示部１８の表示画面１８ａには図５に示すような合成画像が表示される。
【００５４】
なお、上記一連の作用において、合成部１６による合成画像データを生成するための素材となる画像データは、例えば第１検索部１５ａ，第２検索部１５ｃによって自動的に選択される手段を示したが、これとは別の手段としてもよい。例えば表示部１８にテンプレート画像データ等の一覧表示を行って、操作入力部１３ｂ，タッチパネル１８ｂ等を用いて使用者が選択操作を行う手段としてもよい。
【００５５】
以上述べた本実施形態のカメラ１０による作用の詳細を図６〜図１１を用いて以下に説明する。
【００５６】
まず、カメラ１０の電源がオン状態にあるとき、図６のステップＳ１において、制御部１１は、設定されている動作モードが撮影モードであるか否かの確認を行う。ここで、設定されている動作モードが撮影モードであると確認された場合には、次のステップＳ２の処理に進む。また、設定されている動作モードが撮影モード以外の動作モードであると確認された場合には、ステップＳ２１の処理に進む。
【００５７】
即ち、図６に示すカメラ制御の処理シーケンスにおいて、ステップＳ１以降の処理シーケンスは、撮影モードで動作する際の処理シーケンスである。また、後述するように、ステップＳ２１以降の処理シーケンスは、再生モードで動作する際の処理シーケンスである。なお、本実施形態においては、上記撮影モード（ステップＳ１〜Ｓ９の処理シーケンス）と上記再生モード（ステップＳ２１以降の処理シーケンス）以外の動作モードにおける処理シーケンスについては、本発明とは直接関連しない作用であるので、その図示及び説明は省略する。
【００５８】
上述のステップＳ１の処理にて、撮影モードに設定されていることが確認されて、ステップＳ２の処理に進むと、ステップＳ２において、制御部１１は、撮像部１２，表示部１８を駆動制御してライブビュー画像表示処理を実行する。このライブビュー画像表示処理は、従来のカメラにおいて通常行われる処理と同様の処理である。その後、ステップＳ３の処理に進む。
【００５９】
ステップＳ３において、制御部１１は、顔判定部１５ｅを制御して、撮像部１２により取得された画像信号に基いて上記顔画像検出処理及び上記顔画像判定処理等を実行する。その後、ステップＳ４の処理に進む。
【００６０】
ステップＳ４において、制御部１１は、操作入力部１３ｂ若しくはタッチパネル１８ｂ等の操作部からの指示信号を監視して、撮影操作指示信号が生じたか否かの確認を行う。ここで、撮影操作指示信号が生じたことが確認された場合には、次のステップＳ５の処理に進む。また、撮影操作指示信号が生じていない場合には、上述のステップＳ１の処理に戻り、以降の処理を繰り返す。
【００６１】
ステップＳ５において、制御部１１は、撮像部１２，画像処理部１１ｂ等を制御して、通常の撮影動作処理を実行する。この撮影動作処理によって使用者が所望のタイミングで撮影操作を行った時点における撮影画像信号が取得される。この撮影画像信号は、制御部１１内の一時メモリ等に一時的に記憶される。この撮影動作処理についても、従来のカメラにおいて通常行われる処理と同様の処理である。その後、ステップＳ６の処理に進む。
【００６２】
ステップＳ６において、制御部１１は、上述のステップＳ５の処理における撮影動作処理で取得された撮影画像信号に対応する顔画像データを生成する。この顔画像データも一時メモリ等に一時的に記憶される。
【００６３】
続いて、ステップＳ７において、制御部１１は、時計部１４から時計データ、即ち上記撮影操作を行った時点の日時情報等を取得する。この日時情報等を表わす時計データも一時メモリ等に一時的に記憶される。
【００６４】
次いで、ステップＳ８において、制御部１１は、上記一時メモリに一時的に記憶されている撮影画像信号，顔画像データ，時計データを、所定の形態、例えば一つの撮影画像データとしてファイル化する。こうして生成された撮影画像データは、記録部へと出力されて記録処理される。
【００６５】
なお、撮影画像信号，顔画像データ，時計データ等は、例えば一つの撮影画像データとしてファイル化する手段としてもよいし、例えば撮影画像信号を単独の撮影画像データとしてデータ化する一方、顔画像データ，時計データ等をそれぞれ独立した形態でデータ化して保持し、これらを上記撮影画像データに関連付けして記録するようにしてもよい。
【００６６】
このように、撮影画像データの記録処理が完了したら、その後、上述のステップＳ１の処理に戻り、以降の処理を繰り返す。
【００６７】
一方、上述のステップＳ１の処理にて、撮影モード以外の動作モードに設定されていると確認されて、ステップＳ２１の処理に進むと、ステップＳ２１において、制御部１１は、設定されている動作モードが再生モードであるか否かの確認を行う。ここで、設定されている動作モードが再生モードであると確認された場合には、次のステップＳ２２の処理に進む。また、設定されている動作モードが再生モードではないことが確認された場合には、上述のステップＳ１の処理に戻り、以降の処理を繰り返す。なお、上述したように、本実施形態においては、撮影モードと再生モード以外の動作モードの処理シーケンスは、図示及び説明を省略する。
【００６８】
ステップＳ２２において、制御部１１は、記録部，表示部１８等を駆動制御して、記録部に記録済みの撮影画像データの一覧表示処理を実行する。その後、ステップＳ２３の処理に進む。
【００６９】
ステップＳ２３において、制御部１１は、操作入力部１３ｂ若しくはタッチパネル１８ｂ等の操作部からの指示信号を監視して、再生画像選択指示信号が生じたか否かの確認を行う。ここで、再生画像選択指示信号が生じたことが確認された場合には、次のステップＳ２４の処理に進む。また、再生画像選択指示信号が生じていない場合には、上述のステップＳ２１の処理に戻り、以降の処理を繰り返す。なお、実際のカメラ１０においては、上述のステップＳ２２の処理にて表示される一覧表示の形態にも複数種の表示形態があり、それらの表示形態を選択したり、一覧表示の中から所望の画像を選択する際にも各種の操作が行われる。これらの操作手段や表示形態等の作用については、本発明に直接関連しない部分であるので、その詳細説明は省略している。
【００７０】
上述のステップＳ２３の処理にて、再生画像選択指示信号が確認されてステップＳ２４の処理に進むと、ステップＳ２４において、制御部１１は、記録部（第１画像データベース部１７ａ），画像処理部１１ｂ，表示部１８等を制御して、上述のステップＳ２３の処理にて選択された画像データに基く画像を表示部１８に表示する表示処理を実行する。このときの状況が、図５を用いて上述した使用状況に相当する。つまり、人物Ｂは、上述したような一連のカメラ１０の操作を行って、表示部１８に所望の画像を表示させつつ、人物Ａとの間で会話をしている状況を想定している。
【００７１】
こうして使用者により選択された画像が表示部１８の表示画面に表示されると、制御部１１は、続いてステップＳ２５において、記録部（第１画像データベース部１７ａ）等を制御して、表示部１８に現在表示中の画像に対応する画像情報データを参照し、顔画像データが含まれているか否かの確認を行う。ここで、顔画像データが含まれていることが確認された場合には、次のステップＳ２６の処理に進む。また、顔画像データが含まれていないことが確認された場合には、ステップＳ３１の処理に進む。
【００７２】
ステップＳ２６において、制御部１１は、スイッチ表示処理を実行する。このスイッチ表示処理の詳細について、図７を用いて以下に説明する。
【００７３】
このスイッチ表示処理は、例えば選択し得る動作キーワード情報（即ち、当該カメラ１０の第２画像データベース部１７ｂに予め記録されている動作に関するテンプレート画像データ）に応じた動作キーワード（一覧）情報の設定を行ったり、表示中の画像に含まれる人物の顔画像データに基く人物キーワード情報を設定する等の処理でる。
【００７４】
即ち、図７のステップＳ５１において、制御部１１は、キーワード抽出部１５ｄ，第２検索部１５ｃを制御して、第２画像データベース部１７ｂに含まれる動作キーワードを設定する検索用キーワード情報抽出処理を実行する。
【００７５】
続いて、ステップＳ５２において、制御部１１は、キーワード抽出部１５ｄ，第１検索部１５ａを制御して、第１画像データベース部１７ａに含まれる人物キーワードを設定する設定処理を実行する。
【００７６】
そして、ステップＳ５３において、制御部１１は、キーワード抽出部１５ｄ，表示部等を制御して、上記ステップＳ５１，Ｓ５２の処理にて設定された検索用キーワード情報を表示部１８の表示画面上に、例えば現在表示中の画像に重畳させて一覧表示する表示処理を実行する。その後、図６のステップＳ３１の処理に進む（リターン）。
【００７７】
ステップＳ３１において、制御部１１は、操作入力部１３ｂ若しくはタッチパネル１８ｂ等の操作部からの指示信号を監視して、画像表示を終了させる指示信号が生じたか否かの確認を行う。ここで、画像表示終了指示信号が生じたことが確認された場合には、上述のステップＳ２１の処理に戻り、以降の処理を繰り返す。また、画像表示終了指示信号が生じていないことが確認された場合には、ステップＳ３２の処理に進む。
【００７８】
ステップＳ３２において、制御部１１は、操作入力部１３ｂ若しくはタッチパネル１８ｂ等の操作部からの指示信号を監視して、検索用キーワード情報を選択するためのスイッチ操作が行われたか否かの確認を行う（スイッチ操作確認処理）。このスイッチ操作確認処理の詳細を、図８を用いて以下に説明する。
【００７９】
このスイッチ操作確認処理は、上述のステップＳ２６のスイッチ表示処理にて表示部１８に表示された検索用キーワード情報一覧表示から、使用者が所望の検索用キーワード情報を選択する際になされる操作確認等を行う処理である。
【００８０】
即ち、図８のステップＳ５４において、制御部１１は、操作入力部１３ｂ若しくはタッチパネル１８ｂ等の操作部からの指示信号を監視して、表示中の検索用キーワード情報一覧表示中の動作キーワードが選択されたか否かの確認を行う。ここで、動作キーワードの選択がなされたことが確認された場合には、次のステップＳ５５の処理に進む。また、動作キーワードの選択が行われなかったことが確認された場合には、スイッチ操作がなされなかったものと判定されて（スイッチ操作なし判定）、図６のステップＳ３４の処理に進む。
【００８１】
ステップＳ５５において、制御部１１は、操作入力部１３ｂ若しくはタッチパネル１８ｂ等の操作部からの指示信号を監視して、表示中の検索用キーワード情報一覧表示中の人物キーワードが選択されたか否かの確認を行う。ここで、人物キーワードの選択がなされたことが確認された場合には、スイッチ操作の確認がなされたものと判定されて（スイッチ操作有り判定）、図６のステップＳ３３の処理に進む。また、人物キーワードの選択が行われなかったことが確認された場合には、次のステップＳ５６の処理に進む。
【００８２】
ステップＳ５６において、制御部１１は、タッチパネル１８ｂ等の操作部からの指示信号を監視して、表示画像中の顔部領域に対するタッチ操作が行われたかどうかの確認を行う。ここで、顔部領域に対するタッチ操作が行われたことが確認された場合には、スイッチ操作の確認がなされたものと判定されて（スイッチ操作有り判定）、図６のステップＳ３３の処理に進む。また、顔部領域に対するタッチ操作が行われたこと確認されない場合には、次のステップＳ５７の処理に進む。
【００８３】
ステップＳ５７において、制御部１１は、時計部１４を参照して、上述のステップＳ２６のスイッチ表示処理の開始から所定の時間、例えば５秒以上経過したか否かの確認を行う。ここで、所定時間が経過するまで待機し、所定時間の経過が確認された場合には、次のステップＳ５８の処理に進む。
【００８４】
ステップＳ５８において、制御部１１は、表示部１８，画像処理部１１ｂ等を制御して、現在表示中の画像のうち表示画像の略中央部近傍の所定範囲の領域（例えば画面の横方向の１／３を占める領域）中に表示されている人物の顔部が選択されたものと見なし、スイッチ操作がなされたものと判定されて（スイッチ操作有り判定）、図６のステップＳ３３の処理に進む。
【００８５】
上述のステップＳ５５，Ｓ５６，Ｓ５８の各処理にてスイッチ操作有り判定がなされて、図６のステップＳ３３の処理に進むと、制御部１１は、ステップＳ３３において、第２検索部１５ｃ等を制御して対応動作画像検索処理を実行する。この対応動作画像検索処理は、選択された動作キーワードに対応する動作を表わすテンプレート画像を、第２画像データベース部１７ｂより検索する処理である。この対応動作画像検索処理の詳細は後述する（図９参照）。その後、ステップＳ４２の処理に進む。
【００８６】
一方、上述のステップＳ５４の処理にてスイッチ操作なし判定がなされて、図６のステップＳ３４の処理に進むと、制御部１１は、ステップＳ３４において、音声入力部１３ａからの音声入力信号の監視を行って、音声入力信号が生じたか否かの確認を行う（音声判定処理）。ここで、音声入力信号が確認された場合には、次のステップＳ３５の処理に進む。また、音声入力信号が確認されない場合には、上述のステップＳ３１の処理に戻り、以降の処理を繰り返す。
【００８７】
ステップＳ３５において、制御部１１は、キーワード抽出部１５ｄを制御して、上述のステップＳ３４の処理にて確認された音声入力信号に基いて検索用キーワード情報判定処理を実行する。
【００８８】
続いて、ステップＳ３６において、制御部１１は、キーワード抽出部１５ｄを制御して、上述のステップＳ３５の処理にて確認された音声入力信号中に人物キーワードが有るかどうかの確認を行う。ここで、人物キーワード情報が有ることが確認された場合には、次のステップＳ３７の処理に進む。また、人物キーワード情報がないことが確認された場合には、上述のステップＳ３１の処理に戻り、以降の処理を繰り返す。
【００８９】
ステップＳ３７において、制御部１１は、対応人物画像検索処理を実行する。この対応人物画像検索処理は、上述のステップＳ３６の処理にて確認された人物キーワード情報に対応する人物についての顔画像データの検索処理である。ここで、対応人物画像検索処理の詳細は、図１０を用いて以下に説明する。
【００９０】
即ち、図１０のステップＳ７１において、制御部１１は、
上述のステップＳ３６の処理にて確認された人物キーワード情報と、表示中の画像データに付随する画像情報データとを参照し、両者に合致する名前情報が有るか否かの確認を行う。ここで、合致する名前情報が有ることが確認された場合には、次のステップＳ７２の処理に進む。
【００９１】
ステップＳ７２において、制御部１１は、合致する名前情報に従って表示画像の中から対応する人物の顔画像を選択する。その後、図６のステップＳ３８の処理に進む。
【００９２】
一方、上述のステップＳ７１の処理にて、合致する名前情報がないと判断された場合には、ステップＳ７３の処理に進む。
【００９３】
ステップＳ７３において、制御部１１は、予め設定されている標準顔画像（デフォルト顔画像；例えば使用者が登録している特定の子供の顔画像）を選択する。その後、図６のステップＳ３８の処理に進む。
【００９４】
図６に戻って、ステップＳ３８において、制御部１１は、キーワード抽出部１５ｄを制御して、上述のステップＳ３５の処理にて確認された音声入力信号中に動作キーワードが有るかどうかの確認を行う。ここで、動作キーワード情報が有ることが確認された場合には、次のステップＳ３９の処理に進む。また、動作キーワード情報がないことが確認された場合には、上述のステップＳ３１の処理に戻り、以降の処理を繰り返す。
【００９５】
ステップＳ３８において、制御部１１は、第１検索部１５ａ，第２検索部１５ｃ等を制御して、上述のステップＳ３８の処理にて確認された動作キーワード情報に対応する動作を表わすテンプレート画像データを検索する。その後、ステップＳ４１の処理に進む。
【００９６】
ステップＳ４１において、制御部１１は、対応動作画像検索処理を実行する。この対応動作画像検索処理は、上述のステップＳ３３の処理と同じ処理である。ここで、対応動作画像検索処理の詳細を図９を用いて以下に説明する。
【００９７】
即ち、図９のステップＳ６１において、制御部１１は、上記キーワード抽出部１５ｄからの検索用キーワード情報データや、年齢推定部１５ｂからの推定年齢情報データ等の各種の情報に基いて、対応する人物（選択された人物）の検索用キーワード情報に応じた年齢推定が可能か否かの確認が行われる。ここで、年齢推定可能であると判断された場合には、検索用キーワード情報に応じた年齢推定処理を行って、次のステップＳ６２の処理に進む。また、年齢推定が不可であると判断された場合には、ステップＳ６３の処理に進む。
【００９８】
ステップＳ６２において、制御部１１は、上述のステップＳ６１の処理にて推定された年齢情報と動作キーワード情報とに従って対応する動作を表わすテンプレート画像を選択する。その後、図６のステップＳ４２の処理に進む。
【００９９】
また、上述のステップＳ６１の処理にて年齢推定不可であると判断されてステップＳ６３の処理に進んだ場合、制御部１１は、ステップＳ６３において、動作キーワード情報に従って動作を表わすテンプレート画像を選択する。なお、この場合においては、推定年齢帯情報を図３の「子供」と見なして、この情報を自動的に選択する。その後、図６のステップＳ４２の処理に進む。
【０１００】
ステップＳ４２において、制御部１１は、対応人物画像の顔部切り出し処理を実行する。この対応人物画像の顔部切り出し処理の詳細を図１１を用いて以下に説明する。
【０１０１】
即ち、図１１のステップＳ８１において、制御部１１は、画像処理部１１ｂ等を制御して、上述のステップＳ３７の処理にて選択された人物の顔画像データについて、顔部分の画像切り出し処理を実行する。その後、ステップＳ８２の処理に進む。
【０１０２】
ステップＳ８２において、制御部１１は、上述のステップＳ４１の処理にて選択された動作を表わすテンプレート画像に対して、上述のステップＳ８１の処理にて取得した顔部分画像合成処理をするのに際して、両画像の大きさを整合させる処理を行う。即ち、動作テンプレート画像における身体部分と、上記切り出し処理にて新たに生成された顔部分との大きさを整合させるべく、顔部分データの拡大画像処理若しくは縮小画像処理を行う。その後、図６のステップＳ４３の処理に進む。
【０１０３】
図６に戻って、ステップＳ４３において、制御部１１は、合成部１６を制御して、上記顔部分画像データ（Ｉｍ２）と上記動作テンプレート画像データ（Ｉｍ１）とを合成処理する。この場合において、合成部１６は、上記顔部分画像データ（Ｉｍ２）の顔画像が、上記動作テンプレート画像データ（Ｉｍ１）の身体部分画像における顔位置に配置されるように位置設定を行う。このような合成処理結果の合成画像を表示部１８に所定の時間、例えば５秒間継続表示させる。その後、ステップＳ４４の処理に進む。
【０１０４】
ステップＳ４４において、制御部１１は、記録部（第１画像データベース部１７ａ），表示部１８等を制御して、上述のステップＳ２４の処理、即ち選択画像表示処理に戻り、以降の処理を繰り返す。
【０１０５】
なお、本実施形態においては、上述のステップＳ３３，Ｓ４１の対応動作画像検索処理（図９参照）において、年齢情報のみを取り扱う例を示すのみであるが、これに限られることはない。人物に関する情報としては、例えば性別情報があるので、これを加えて動作テンプレート画像を選択することもできる。
【０１０６】
また、上述の実施形態に示す例では、図１０の対応人物画像検索処理において、会話から抽出され設定された検索用キーワード情報と、表示画像中の名前情報とに合致する名前がない場合に選択されるデフォルト顔画像を、子供の顔画像としている。このことは、例えば子供であれば性別情報を加味しなくとも、本発明の主旨において生成される合成画像を微笑ましい画像として成立させることができるという効果がある。
【０１０７】
以上説明したように上記一実施形態による画像表示装置は、画像を再生表示しながら会話をしている状況下において、その会話による音声信号から表示画像中の人物，時制，動作等を表わす検索用キーワード情報を抽出し、予め記録部に記録されている複数画像の中から上記抽出された検索用キーワード情報に対応する複数の画像データを選択し、選択された複数の画像を合成処理し、これによって生成された合成画像を表示部に表示するように構成している。
【０１０８】
したがって、例えば過去に撮影済みの画像データにおける顔部分の画像データと、予め用意されたテンプレート画像データ（身体部分の画像データ）とに基いて合成画像処理を行うことにより、実際には撮影されなかった疑似的な過去のシーンを再現した合成画像を表示させることができる。このような合成画像を使用者に提供することにより、個人的に撮影記録され大量に蓄積された思い出深い画像データを鑑賞している際に、個人的な思い出等を当事者に想起させたり、対話相手との間で共有することができる。
【０１０９】
また、撮影済みの画像データのみでは分からない撮影時の状況等を思い起こさせたり、対話開いてに対して言葉だけでは説明し得ないような状況等を、疑似的シーンを表わす合成画像として視覚的に提供することができる。
【０１１０】
したがって、従来カメラ等にて撮りっぱなしで蓄積されるままであった個人的に撮影された大量の撮影済み画像データについて、画像を単に表示させるだけに留まらず、画像の鑑賞形態をより多様化できると共に、複雑な操作を用いることなく、新たな画像表示形態を実現することができ、よって、他人とのコミュニケーションツールとして有効に用いることができる画像表示装置を提供することができる。
【０１１１】
なお、上述の実施形態においては、画像表示装置を具備したカメラ１０を例に挙げて説明しているが、この形態に限られることはない。つまり、本発明は、画像データに基いて画像を再生表示する機能を備えた画像表示装置であればよく、必ずしもカメラとしての機能（撮影機能等）を備えている必要はない。また、画像表示装置を備えたカメラであっても、撮影機能を重視したものである必要はなく、撮影機能とその画像表示機能とを共に備えた他の形態の機器、例えば携帯電話等の機器であってもよい。
【０１１２】
本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【産業上の利用可能性】
【０１１３】
本発明は、デジタルカメラ等の撮影機能に特化した電子機器である撮影機器（カメラ）に限られることはなく、撮影機能と画像表示機能とを備えた他の形態の電子機器、例えば携帯電話，録音機器，電子手帳，パーソナルコンピュータ，ゲーム機器，テレビ，時計，ＧＰＳ（Global Positioning System）を利用したナビゲーション機器等、各種の撮影及び画像表示機能付き電子機器に対して広く適用することが可能である。
【符号の説明】
【０１１４】
１０……カメラ
１１……制御部
１１ｂ……画像処理部
１２……撮像部
１３ａ……音声入力部
１３ｂ……操作入力部
１４……時計部
１５ａ……第１検索部
１５ｂ……年齢推定部
１５ｃ……第２検索部
１５ｄ……キーワード抽出部
１５ｅ……顔判定部
１６……合成部
１７ａ……第１画像データベース部
１７ｂ……第２画像データベース部
１８……表示部
１８ａ……表示画面
１８ｂ……タッチパネル
【図１】
2012142760.tif 000003
【図２】
2012142760.tif 000004
【図３】
2012142760.tif 000005
【図４】
2012142760.tif 000006
【図５】
2012142760.tif 000007
【図６】
2012142760.tif 000008
【図７】
2012142760.tif 000009
【図８】
2012142760.tif 000010
【図９】
2012142760.tif 000011
【図１０】
2012142760.tif 000012
【図１１】
2012142760.tif 000013