(57)【特許請求の範囲】
【請求項１】
複数の画像を記憶する記憶部と、
前記記憶部が記憶する画像を表示する表示部と、
前記記憶部が記憶する複数の画像に含まれる同一の顔を検出する顔検出部と、
前記顔検出部が検出した同一の顔を含む複数の画像に対してトリミングを行うことにより、前記同一の顔の位置および大きさが略等しく、かつトリミング前の画像と同じ大きさを有する複数のトリミング画像を生成するトリミング画像生成部と、
前記トリミング画像生成部が生成した複数のトリミング画像の平均画像を生成する平均画像生成部と、
前記トリミング画像生成部が生成したトリミング画像と前記平均画像生成部が生成した平均画像との差分に基づいて、前記トリミング画像を強調処理した差分強調画像を生成する差分強調画像生成部と、
前記複数の画像または前記複数のトリミング画像を、前記差分強調画像とともに前記表示部に順次表示させる表示制御部と、
を備えたことを特徴とする画像表示装置。
【請求項２】
前記平均画像生成部が生成した平均画像と該平均画像の生成に用いられた前記複数のトリミング画像の各々との間で互いに対応する代表点の差分を検出する差分検出部をさらに備え、
前記平均画像生成部は、
前記トリミング画像生成部が生成した複数のトリミング画像の濃淡のパターンを平均化することにより平均画像を生成し、
前記差分強調画像生成部は、
各トリミング画像に対し、前記差分検出部が検出した差分を拡大することによって差分強調画像を生成することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記表示制御部は、
前記画像または前記トリミング画像と該画像または該トリミング画像に対応する前記差分強調画像とを連続して前記表示部に表示させることを特徴とする請求項２に記載の画像表示装置。
【請求項４】
複数の画像を記憶する記憶部と、
前記記憶部が記憶する画像を表示する表示部と、
前記記憶部が記憶する複数の画像に含まれる同一の顔を検出する顔検出部と、
前記顔検出部が検出した同一の顔を含む複数の画像に対してトリミングを行うことにより、前記同一の顔の位置および大きさが略等しく、かつトリミング前の画像と同じ大きさを有する複数のトリミング画像を生成するトリミング画像生成部と、
前記トリミング画像生成部が生成した複数のトリミング画像を、各トリミング画像の元の画像の生成順にしたがって略同数の二つのグループに分け、各グループを構成する複数のトリミング画像のパターンを濃淡の度合いに応じてそれぞれ平均化した第１平均画像および第２平均画像を生成する平均画像生成部と、
前記平均画像生成部が生成した第１平均画像と第２平均画像との間で互いに対応する代表点の差分を検出する差分検出部と、
前記複数のトリミング画像のうち、元の画像が最後に生成されたトリミング画像に対し、前記差分検出部が検出した差分を拡大することによって複数のトリミング画像間の差分を強調する差分強調画像を生成する差分強調画像生成部と、
前記複数の画像または前記複数のトリミング画像を、前記差分強調画像とともに前記表示部に順次表示させる表示制御部と、
を備えたことを特徴とする画像表示装置。
【請求項５】
前記差分強調画像生成部は、
前記差分を拡大する拡大率が互いに異なる複数の差分強調画像を生成することを特徴とする請求項４に記載の画像表示装置。
【請求項６】
前記表示制御部は、
前記複数の画像または前記複数のトリミング画像をトリミング前の画像の生成順に表示した後、前記複数の差分強調画像を前記拡大率が小さい順に前記表示部に表示させることを特徴とする請求項５に記載の画像表示装置。
【請求項７】
前記表示制御部は、
前記表示部に対し、前記差分強調画像を前記複数の画像または前記複数のトリミング画像より短い時間表示させることを特徴とする請求項１〜６のいずれか一項に記載の画像表示装置。
【請求項８】
所定の領域から光を集光して該領域内の被写体を撮像し、この撮像した画像の電子的なデータを生成する撮像部を備え、
前記記憶部は、
前記撮像部が撮影した複数の撮影画像を記憶することを特徴とする請求項１〜７のいずれか一項に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を表示する画像表示装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラやデジタルビデオカメラ等の撮像装置においては、撮影した画像に対して様々な画像処理を施す技術が知られている。例えば、撮影者の手ぶれや被写体の動きによってぶれた画像を撮影してしまった場合、その画像を自動的に消去する技術が知られている（例えば、特許文献１を参照）。この技術では、被写体画像の輝度信号に含まれる顔の特徴部分の高域成分を検索し、その高域成分が一定レベル未満の画像をぶれた画像とみなして消去する。
【０００３】
また、コマ撮りされた複数の画像フレームの各々について、撮影時刻が隣接する二つの画像フレームの重なり具合が最大となる画像位置を判別し、この判別した画像位置に基づいて各画像フレームの出力位置を揃える技術が知られている（例えば、特許文献２を参照）。この技術では、撮影時刻が隣接する二つの画像フレームの一方に対する他方の移動方向を算出することにより、重なり具合が最大となる画像位置を判別する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４０６３５９２号公報
【特許文献２】特開２００５−２６７００５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来より、同じ人物の画像を連続して表示する技術が知られている。この技術によれば、いろいろな状況下における同じ人物の画像を集中して楽しめるが、背景などにとらわれて、人物そのものの変化は見のがしてしまうことがあった。つまり、その人物の顔や髪型等の経時変化にユーザが気付き、その変化の態様を楽しみながら把握できるような工夫は施されていなかった。
【０００６】
本発明は、上記に鑑みてなされたものであって、ユーザが被写体の経時変化に気付き、その変化の態様を楽しみながら把握することを可能にする画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像表示装置は、複数の画像を記憶する記憶部と、前記記憶部が記憶する画像を表示する表示部と、前記記憶部が記憶する複数の画像に含まれる同一の顔を検出する顔検出部と、前記顔検出部が検出した同一の顔を含む複数の画像に対してトリミングを行うことにより、前記同一の顔の位置および大きさが略等しく、かつトリミング前の画像と同じ大きさを有する複数のトリミング画像を生成するトリミング画像生成部と、前記トリミング画像生成部が生成した複数のトリミング画像の平均画像を生成する平均画像生成部と、前記トリミング画像生成部が生成したトリミング画像と前記平均画像生成部が生成した平均画像との差分に基づいて、前記トリミング画像を強調処理した差分強調画像を生成する差分強調画像生成部と、前記複数の画像または前記複数のトリミング画像を、前記差分強調画像とともに前記表示部に順次表示させる表示制御部と、を備えたことを特徴とする。
【０００８】
また、本発明に係る画像表示装置は、上記発明において、前記平均画像生成部が生成した平均画像と該平均画像の生成に用いられた前記複数のトリミング画像の各々との間で互いに対応する代表点の差分を検出する差分検出部をさらに備え、前記平均画像生成部は、前記トリミング画像生成部が生成した複数のトリミング画像の濃淡のパターンを平均化することにより平均画像を生成し、前記差分強調画像生成部は、各トリミング画像に対し、前記差分検出部が検出した差分を拡大することによって差分強調画像を生成することを特徴とする。
【０００９】
また、本発明に係る画像表示装置は、上記発明において、前記表示制御部は、前記画像または前記トリミング画像と該画像または該トリミング画像に対応する前記差分強調画像とを連続して前記表示部に表示させることを特徴とする。
【００１０】
また、本発明に係る画像表示装置は、複数の画像を記憶する記憶部と、前記記憶部が記憶する画像を表示する表示部と、前記記憶部が記憶する複数の画像に含まれる同一の顔を検出する顔検出部と、前記顔検出部が検出した同一の顔を含む複数の画像に対してトリミングを行うことにより、前記同一の顔の位置および大きさが略等しく、かつトリミング前の画像と同じ大きさを有する複数のトリミング画像を生成するトリミング画像生成部と、前記トリミング画像生成部が生成した複数のトリミング画像を、各トリミング画像の元の画像の生成順にしたがって略同数の二つのグループに分け、各グループを構成する複数のトリミング画像のパターンを濃淡の度合いに応じてそれぞれ平均化した第１平均画像および第２平均画像を生成する平均画像生成部と、前記平均画像生成部が生成した第１平均画像と第２平均画像との間で互いに対応する代表点の差分を検出する差分検出部と、前記複数のトリミング画像のうち、元の画像が最後に生成されたトリミング画像に対し、前記差分検出部が検出した差分を拡大することによって複数のトリミング画像間の差分を強調する差分強調画像を生成する差分強調画像生成部と、前記複数の画像または前記複数のトリミング画像を、前記差分強調画像とともに前記表示部に順次表示させる表示制御部と、を備えたことを特徴とする。
【００１１】
また、本発明に係る画像表示装置は、上記発明において、前記差分強調画像生成部は、前記差分を拡大する拡大率が互いに異なる複数の差分強調画像を生成することを特徴とする。
【００１２】
また、本発明に係る画像表示装置は、上記発明において、前記表示制御部は、前記複数の画像または前記複数のトリミング画像をトリミング前の画像の生成順に表示した後、前記複数の差分強調画像を前記拡大率が小さい順に前記表示部に表示させることを特徴とする。
【００１３】
また、本発明に係る画像表示装置は、上記発明において、前記表示制御部は、前記表示部に対し、前記差分強調画像を前記複数の画像または前記複数のトリミング画像より短い時間表示させることを特徴とする。
【００１４】
また、本発明に係る画像表示装置は、上記発明において、所定の領域から光を集光して該領域内の被写体を撮像し、この撮像した画像の電子的なデータを生成する撮像部を備え、前記記憶部は、前記撮像部が撮影した複数の撮影画像を記憶することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、同一の顔を含む複数の画像またはこの複数の画像にそれぞれ対応する複数のトリミング画像を、トリミング画像の変化を強調する差分強調画像とともにを順次表示するため、ユーザは、被写体の単なる経時変化を示す画像と前後して、その変化を強調した仮想的な画像も前後して見ることとなる。したがって、ユーザは、被写体の経時変化に気付き、その変化の態様を楽しみながら把握することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】図１は、本発明の実施の形態１に係る画像表示装置の構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１に係る画像表示装置が行う処理の概要を示すフローチャートである。
【図３】図３は、同一人物が被写体となっている複数の画像を示す図である。
【図４】図４は、図３に示す複数の画像に対応したトリミング画像を示す図である。
【図５】図５は、本発明の実施の形態１に係る画像表示装置が行う平均画像生成処理の概要を示す図である。
【図６】図６は、本発明の実施の形態１に係る画像表示装置が行う差分検出処理の概要を示す図である。
【図７】図７は、本発明の実施の形態１に係る画像表示装置が行う差分強調画像生成処理の概要を示す図である。
【図８】図８は、本発明の実施の形態１に係る画像表示装置が行う差分検出処理（第２例）の概要を示す図である。
【図９】図９は、本発明の実施の形態１に係る画像表示装置が行う差分強調画像生成処理（第２例）の概要を示す図である。
【図１０】図１０は、本発明の実施の形態１に係る画像表示装置が変化強調モードに設定されている場合に表示部が表示する画像の遷移例を示す図である。
【図１１】図１１は、本発明の実施の形態１の変形例に係る画像表示装置が行う差分検出処理の概要を示す図である。
【図１２】図１２は、本発明の実施の形態１の変形例に係る画像表示装置が変化強調モードに設定されている場合に表示部が表示する画像の遷移例を示す図である。
【図１３】図１３は、本発明の実施の形態２に係る画像表示装置が行う処理の概要を示すフローチャートである。
【図１４】図１４は、本発明の実施の形態２に係る画像表示装置が行う第１平均画像生成処理の概要を示す図である。
【図１５】図１５は、本発明の実施の形態２に係る画像表示装置が行う第２平均画像生成処理の概要を示す図である。
【図１６】図１６は、本発明の実施の形態２に係る画像表示装置が行う差分検出処理の概要を示す図である。
【図１７】図１７は、本発明の実施の形態２に係る画像表示装置が行う差分強調画像生成処理の概要を示す図である。
【図１８】図１８は、本発明の実施の形態２に係る画像表示装置が変化強調モードに設定されている場合に表示部が表示する画像の遷移を示す図である。
【図１９】図１９は、本発明の別な実施の形態に係る画像表示装置が行う差分検出処理および差分強調画像生成処理の概要を示す図である。
【発明を実施するための形態】
【００１７】
以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。
【００１８】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像表示装置の一例である撮像装置の構成を示すブロック図である。同図に示す撮像装置１は、所定の領域からの光を集光し、この集光した光を光電変換することによって得られる画像信号からデジタルの画像データを生成する撮像部２と、撮像部２が生成した画像データに対応する画像に対して画像処理を施す画像処理部３と、画像処理部３で処理が施された画像を含む各種情報を表示する表示部４と、撮像部２が撮影した画像の画像データを含む各種情報を記憶する記憶部５と、レリーズ信号を含む撮像装置１の操作信号等の入力を受け付ける操作入力部６、タイマー機能を備えた時計７と、撮像装置１の動作を制御する制御部８と、を備える。
【００１９】
撮像部２は、一または複数のレンズによって構成され、所定の視野領域に存在する被写体からの光を集光する光学系と、光学系が集光した光の入射量を調整する絞りと、レリーズ入力に応じて動作するシャッタと、絞りおよびシャッタを通過した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）等の撮像素子と、撮像素子から出力されるアナログ信号に増幅等の信号処理を施した後、Ａ／Ｄ変換を行うことによってデジタルの画像データを生成する信号処理回路とを有する。
【００２０】
画像処理部３は、画像に含まれる人物の顔を検出する顔検出部３１と、顔検出部３１が検出した同一の顔を含む複数の画像に対してトリミングを行うことにより、前記同一の顔の位置および大きさが略等しく、かつトリミング前の画像と同じ大きさを有する複数のトリミング画像を生成するトリミング画像生成部３２と、トリミング画像生成部３２によって生成されたトリミング画像のうち同じ顔を含む複数のトリミング画像を平均化した平均画像を生成する平均画像生成部３３と、複数のトリミング画像間の差分を強調するために、トリミング画像と該トリミング画像を含むトリミング画像群の平均画像との差分を拡大することによって差分強調画像を生成する差分強調画像生成部３４と、画像データの圧縮または伸張を行う圧縮伸張部３５とを有する。ここで、顔の位置は、例えば顔の画像の一または複数の代表点の座標によって定められ、顔の大きさは、例えば顔の画像の輪郭部分の面積として定められる。また、顔の位置が略等しいとは、二つの顔の画像における一または複数の代表点の一部または全部の座標同士の差が所定の範囲よりも小さくなることを意味する。さらに、顔の大きさが略等しいとは、二つの顔の画像における顔の画像の輪郭部分の面積の差が所定の範囲よりも小さくなることを意味する。
【００２１】
表示部４は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて実現され、画像データのほかに撮像装置１の操作情報や撮影に関する情報を適宜表示する。
【００２２】
記憶部５は、撮像部２が撮影し、画像処理部３によって処理が施された画像の画像データを記憶する画像データ記憶部５１と、顔検出部３１が画像中の顔を検出する際に参照する顔情報を記憶する顔情報記憶部５２と、撮像装置１が実行する各種プログラムを記憶するプログラム記憶部５３とを有する。顔情報記憶部５２は、一般的な人物の顔の特徴を現す顔情報のほか、特定の人物の顔情報を記憶している。これらの顔情報としては、例えば複数の特徴点などが挙げられる。記憶部５は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを用いて実現される。なお、記憶部５が、外部から装着されるメモリカード等のコンピュータ読取可能な記録媒体に対して情報を記録する一方、記録媒体が記録する情報を読み出す記録媒体インターフェースとしての機能を有してもよい。
【００２３】
操作入力部６は、撮像装置１の電源スイッチ、撮像指示を与えるレリーズ信号を入力するレリーズスイッチ、撮像装置１で設定可能な各種動作モードの切替を行うモード切替スイッチなどを有する。また、表示部４に積層したタッチパネルによって操作入力部６を実現し、ユーザが表示部４で表示される情報に基いた操作信号の入力を行えるようにしてもよい。
【００２４】
制御部８は、トリミング画像生成部３２がトリミングする領域を決定するトリミング領域決定部８１と、二つの画像間の差分を検出する差分検出部８２と、表示部４の表示を制御する表示制御部８３とを有する。制御部８は、ＣＰＵ（Central Processing Unit）等を用いて実現され、制御対象である撮像装置１の各構成部位とバスラインを介して接続されている。
【００２５】
図２は、以上の構成を有する撮像装置１が行う処理の概要を示すフローチャートである。まず、撮像装置１が撮影モードに設定されている場合（ステップＳ１：Ｙｅｓ）、表示部４はスルー画表示を行う（ステップＳ２）。
【００２６】
その後、操作入力部６のレリーズスイッチが押されると（ステップＳ３：Ｙｅｓ）、撮像部２は画像の撮影を行う（ステップＳ４）。続いて、顔検出部３１は、撮影された画像に含まれる顔を検出する（ステップＳ５）。この際、顔検出部３１は、顔情報記憶部５２が記憶する顔情報を参照し、パターンマッチング等の手法によって顔を検出する。
【００２７】
顔検出部３１が画像に含まれる顔を検出した場合（ステップＳ６：Ｙｅｓ）、制御部８は、顔検出部３１によって検出された顔の位置や大きさを含む顔情報を撮影画像とともに記憶部５に書き込んで記憶させる（ステップＳ７）。ステップＳ７において、顔検出部３１が複数の顔を検出した場合には、例えば画面の中央部に最も近い画像のみを記憶部５に記憶させるようにすればよい。なお、顔検出部３１が複数の顔を検出した場合、最も面積が大きい顔のみを記憶部５に記憶させるようにしてもよい。
【００２８】
続いて、顔検出部３１は、顔情報記憶部５２を参照し、顔検出部３１が検出した顔画像が特定の個人の顔に対応しているか否かを判定する。具体的には、顔検出部３１は、顔画像の特徴点を抽出し、その特徴点を顔情報記憶部５２が記憶する特定人物の顔の特徴点と比較することによって判定を行う。判定の結果、その顔画像が特定人物の顔である場合（ステップＳ８：Ｙｅｓ）、制御部８は、その顔の顔情報に特定人物の識別情報を付与する（ステップＳ９）。図３（ａ）〜（ｄ）は、顔検出部３１によって同一の特定人物と判定された被写体を含む複数の画像を示す図である。これらの画像１０１〜１０４は、顔の位置および大きさならびに髪の毛の長さは異なっているが、同一人物を撮影した画像である。なお、画像１０１〜１０４の生成時間は、符号が小さいほど早いものとする。
【００２９】
この後、トリミング領域決定部８１が、撮影画像中でトリミングする領域を決定する（ステップＳ１０）。この場合のトリミング領域は、たとえば顔の大きさが画面のほぼ全域となるような領域であって縦横比が元の画像と同じである領域として設定される。その後、トリミング画像生成部３２は、トリミング領域決定部８１によって決定された領域にしたがって画像のトリミングを行い、トリミングした領域を元の画像の大きさに拡大することによってトリミング画像を生成し、画像データ記憶部５１に書き込んで記憶させる（ステップＳ１１）。図４は、トリミング画像生成部３２が生成したトリミング画像の例を示す図である。図４（ａ）〜図４（ｄ）にそれぞれ示すトリミング画像１１１〜１１４は、図３（ａ）〜（ｄ）にそれぞれ示す画像１０１〜１０４に対応している。
【００３０】
ステップＳ１１の後、操作入力部６から終了指示が入力された場合（ステップＳ１２：Ｙｅｓ）、撮像装置１は一連の処理を終了する。これに対し、操作入力部６からの終了指示が入力されない場合（ステップＳ１２：Ｎｏ）、撮像装置１はステップＳ１に戻って処理を繰り返す。ここでの終了指示は、操作入力部６の電源ボタンが押された場合に相当する。
【００３１】
ステップＳ６において、顔検出部３１が画像に含まれる顔を検出しなかった場合（ステップＳ６：Ｎｏ）、制御部８は撮影画像を画像データ記憶部５１に書き込んで記憶させる（ステップＳ１３）。その後、撮像装置１は、ステップＳ１２へ移行する。
【００３２】
ステップＳ８において、制御部８が判定した結果、特定人物の顔でない場合（ステップＳ８：Ｎｏ）、撮像装置１はステップＳ１２へ移行する。
【００３３】
次に、撮像装置１が撮影モードに設定されていない場合（ステップＳ１：Ｎｏ）を説明する。この場合において、撮像装置１が再生モードに設定されているとき（ステップＳ１４：Ｙｅｓ）、撮像装置１は、設定されている再生モードの種類に応じた処理を行う。一方、撮像装置１が再生モードに設定されていないとき（ステップＳ１４：Ｎｏ）、撮像装置１はステップＳ１２へ移行する。
【００３４】
まず、撮像装置１が、顔の経時変化を強調する再生を行う変化強調モードに設定されている場合（ステップＳ１５：Ｙｅｓ）を説明する。この場合において、画像データ記憶部５１がトリミング画像を記憶しているとき（ステップＳ１６：Ｙｅｓ）、平均画像生成部３３は、そのトリミング画像を含むトリミング画像群の平均画像を生成する（ステップＳ１７）。
【００３５】
図５は、平均画像生成部３３が行う平均画像生成処理の概要を模式的に示す図である。図５では、図４に示す４つのトリミング画像１１１〜１１４からなるトリミング画像群の平均画像を生成する場合を示している。図５（ａ）に示す画像１２１は、平均画像生成部３３がトリミング画像１１１〜１１４を重ね合わせた画像を模式的に示している。この重ね合わせにより、画像１２１には濃淡のパターンが生じる。平均画像生成部３３は、画像１２１の濃淡のパターンに対し、所定の濃度以上の箇所を外挿する等の処理を施すことによって輪郭を決定し、図５（ｂ）に示す平均画像１２２を生成する。なお、平均画像の生成処理は、ここで説明した方法に限定されるわけではない。
【００３６】
続いて、撮像装置１は、同じトリミング画像群に含まれる全ての撮影画像に対してループ処理を行う（ステップＳ１８）。なお、ステップＳ１８のループ処理は、トリミング画像の元の画像のデータ生成順（撮影順）に行うものとする。このループ処理では、まず表示制御部８３が、表示部４にトリミング画像を表示させる（ステップＳ１９）。例えば、図４に示すトリミング画像群の場合、表示制御部８３は、最初にトリミング画像１１１を表示部４に表示させる。
【００３７】
続いて、差分検出部８２は、ステップＳ１９で表示したトリミング画像と平均画像との差分を検出する（ステップＳ２０）。図６は、差分検出部８２が行う処理を模式的に示す図である。差分検出部８２は、トリミング画像と平均画像のパターンの差分を検出するために、パターンごとに上下左右の端点の位置の差分を算出する。図６では、差分検出部８２がトリミング画像１１１および平均画像１２２の髪の毛部分の差分を検出している状況を示している。より具体的には、上端位置の差分がΔｙ1、下端位置の差分がΔｙ2、左端位置の差分がΔｘ1、右端位置の差分がΔｘ2であることを示しており、いずれの位置でも、トリミング画像１１１の方が内側に位置している。このステップＳ２０で検出した差分値は、一時的に記憶部５に記憶される。
【００３８】
この後、差分強調画像生成部３４は、差分検出部８２の差分検出結果に基づいて、差分強調画像を生成する（ステップＳ２１）。図７は、差分強調画像生成部３４が行う差分強調画像生成処理の概要を模式的に示す図である。図７においては、図６で説明したトリミング画像１１１および平均画像１２２の髪の毛部分の差分検出処理の結果に基づいて行う差分強調画像生成処理を示している。図６に示す場合、トリミング画像１１１の髪の毛の量は、平均画像１２２の髪の毛の量よりも少なく、上下左右の端部におけるトリミング画像１１１の髪の毛の位置が平均画像１２２の髪の毛の位置の内側に来ている。この場合、差分強調画像生成部３４は、図７に示すように、トリミング画像１１１の髪の毛部分の上下左右端部を内側に距離ｒ1ずつシフトさせる。その後、差分強調画像生成部３４は、トリミング画像１１１の髪型に基づいて、髪の毛部分がシフト後の位置を通過するように外挿することにより、トリミング画像１１１より髪の毛部分を小さくした差分強調画像を生成する。このようにして得られた差分強調画像は、強調前のトリミング画像の平均画像からのズレを強調した画像となる。なお、上述した距離ｒ1は、差分値Δｙ1、Δｙ2、Δｘ1、Δｘ2を用いて定められる値であり、例えばこれら４つの差分値の平均でもよい。
【００３９】
ここで説明した差分強調画像生成処理は、上述した平均画像生成処理に応じて定められるものである。したがって、上記と異なる平均画像生成処理を行う場合には、差分強調画像処理も変更されることとなる。
【００４０】
ステップＳ２１に続いて、表示制御部８３は、差分強調画像生成部３４が生成した差分強調画像を表示部４に表示させる（ステップＳ２２）。なお、ステップＳ１９におけるトリミング画像の表示時間と、このステップＳ２２における差分強調画像の表示時間は、任意に設定することが可能である。例えば、トリミング画像の表示時間と差分強調画像の表示時間を同じとしてもよい。また、トリミング画像の表示時間を差分強調画像の表示時間より長くしてもよい。後者の場合には、現実の画像（トリミング画像）と仮想的な画像（差分強調画像）との違いを際立たせ、メリハリの利いた表示を実現することができる。
【００４１】
このようにして、撮像装置１は、一つのトリミング画像に対して、ステップＳ１９〜Ｓ２２の処理を繰り返す。
【００４２】
図８は、差分検出部８２がトリミング画像１１３に対して行う差分検出処理の概要を模式的に示す図である。図８では、差分検出部８２が、トリミング画像１１３および平均画像１２２の髪の毛部分の上端位置の差分がΔｙ3、下端位置の差分がΔｙ4、左端位置の差分がΔｘ3、右端位置の差分がΔｘ4であることを示しており、いずれの位置でも、トリミング画像１１３の方が外側に位置している。ここで検出した差分値も、一時的に記憶部５に記憶される。
【００４３】
図９は、差分強調画像生成部３４が、図８で示したトリミング画像１１３および平均画像１２２の髪の毛部分の差分検出処理の結果に基づいて行う差分強調画像生成処理の概要を模式的に示す図である。図８に示す場合、トリミング画像１１３の髪の毛の量は、平均画像１２２の髪の毛の量よりも多く、上下左右の端部におけるトリミング画像１１３の髪の毛の位置が、平均画像１２２の髪の毛の位置の外側に来ている。この場合、差分強調画像生成部３４は、図９に示すように、トリミング画像１１３の髪の毛部分の上下左右端部を外側に距離ｒ2ずつシフトさせる。その後、差分強調画像生成部３４は、トリミング画像１１３の髪型に基づいて、髪の毛部分がシフト後の位置を通過するように外挿することにより、トリミング画像１１３より髪の毛部分を大きくした差分強調画像を生成する。この場合にも、生成された差分強調画像は、強調前のトリミング画像の平均画像からのズレを強調した画像となる。なお、上述した距離ｒ2は、差分値Δｙ3、Δｙ4、Δｘ3、Δｘ4を用いて定められる値であり、例えばこれら４つの差分値の平均でもよい。
【００４４】
図１０は、ステップＳ１８のループ処理の際に表示部４が表示する画像の遷移例を示す図である。図１０に示すように、表示部４は、表示制御部８３の制御のもと、トリミング画像１１１を表示した後、そのトリミング画像１１１を用いて生成された差分強調画像１３１を表示する。その後、トリミング画像１１２を表示した後、そのトリミング画像１１２を用いて生成された差分強調画像１３２を表示する。以後、表示部４は、トリミング画像１１３、差分強調画像１３３、トリミング画像１１４、トリミング画像１１４を用いて生成された差分強調画像１３４の順に表示する。このように、撮像装置１は、実際に撮影されたトリミング画像と、そのトリミング画像を用いて生成された仮想的な画像である差分強調画像とを交互に表示することにより、トリミング画像が有している特徴をより強調した画像をそのトリミング画像の表示直後に表示することができる。したがって、表示画面を見ているユーザは、被写体のどの部分の変化が大きいかを的確に認識することができるだけでなく、これまでに見たこともない被写体の仮想的な姿を見ることができるため、被写体の時間変化を一段と楽しむことが可能となる。なお、本実施の形態１では、トリミング画像と差分強調画像とを交互に表示する場合を説明したが、トリミング前の元の画像と、その画像に対応する差分強調画像とを交互に表示するようにしてもよい。
【００４５】
ステップＳ１８のループ処理が終了後、撮像装置１はステップＳ１２へ移行する。
【００４６】
ステップＳ１５において撮像装置１が変化強調モードに設定されていない場合（ステップＳ１５：Ｎｏ）、およびステップＳ１６において画像データ記憶部５１がトリミング画像を記憶していない場合（ステップＳ１６：Ｎｏ）、撮像装置１は通常再生を行い（ステップＳ２３）、ステップＳ１２へ移行する。
【００４７】
なお、図２に示すフローチャートの場合、記憶部５が複数のトリミング画像群を記憶している場合には、ステップＳ１７〜Ｓ２２の処理を全てのトリミング画像群に対して個別に行うこととなる。これに対し、予めユーザが選択したトリミング画像群に対してのみ、ステップＳ１７〜Ｓ２２の処理を行うようにすることも可能である。
【００４８】
また、本実施の形態１では、トリミング画像と差分強調画像とを交互に表示するようにしたが、例えばトリミング画像群の中で、時間的に前後する二つのトリミング画像間の変化量（例えば代表点の差分の平均値）が所定の変化量より大きい場合にのみ差分強調画像を生成して表示するようにしてもよい。
【００４９】
以上説明した本発明の実施の形態１によれば、同一の顔を含む画像をトリミング画像と、トリミング画像の変化を強調する差分強調画像とを、トリミング前の画像の生成順に応じて定められる順序で表示するため、ユーザは、被写体の単なる経時変化を示す画像と前後して、その変化を強調した仮想的な画像も前後して見ることとなる。したがって、ユーザは、被写体の経時変化に気付き、その変化の態様を楽しみながら把握することが可能となる。
【００５０】
また、本実施の形態１によれば、現実の画像であるトリミング画像とこのトリミング画像に対応した仮想的な画像である差分強調画像とを連続して表示するため、ユーザは表示される画像の落差を楽しみながら被写体の経時変化の態様を認識することができる。
【００５１】
（実施の形態１の変形例）
上述した本発明の実施の形態１においては、差分強調画像として、トリミング画像の平均画像に対する差分を強調した画像を生成した（図７および図９を参照）。これに対し、トリミング画像の平均画像に対する差分だけ平均画像から増減させた２種類の差分強調画像を生成し、この生成した２種類の差分強調画像を、トリミング画像の表示後に連続して表示するようにしてもよい。
【００５２】
図１１は、差分強調画像生成部３４が、トリミング画像１１１に対して、平均画像１２２との差分に基づいて髪の毛部分を増やす差分強調画像生成処理の概要を模式的に示す図である。この場合、差分強調画像生成部３４は、トリミング画像１１１の髪の毛部分の上下左右端部を外側に等距離ｒ1ずつシフトさせ、この位置に対して髪の毛部分を、トリミング画像１１１の髪型に基づいて外挿することにより、髪の毛部分をトリミング画像１１１より大きくした差分強調画像を生成する。
【００５３】
図１２は、本変形例に係る画像表示装置が変化強調モードに設定されている場合に表示部が表示する画像の遷移例を示す図である。図１２に示すように、表示部４は、表示制御部８３の制御のもと、トリミング画像１１１、および差分強調画像１３１を表示した後、図１１に示すようにして生成した差分強調画像１４１を表示する。このようにして、トリミング画像を表示した後、そのトリミング画像と平均画像との差分を増減して強調した２種類の差分強調画像を表示することにより、ユーザはより的確にどの部分が変化しているのかを認識することができる。また、ユーザの仮想的な変化も多く表示されるため、ユーザは一段と表示を楽しむことができる。
【００５４】
（実施の形態２）
本発明の実施の形態２は、トリミング画像群を、各トリミング画像の元の画像の生成順にしたがって略同数の二つのグループ（前半部、後半部）に分け、各グループにおいて平均画像を生成し、この二つの平均画像間の差分を用いることによって差分強調画像を生成、表示する。本実施の形態２に係る画像表示装置としての撮像装置は、上記実施の形態１で説明した撮像装置１と同様の構成を有している（図１を参照）。
【００５５】
図１３は、本実施の形態２に係る撮像装置１が行う処理の概要を示すフローチャートである。図１３において、撮像装置１が撮影モードに設定されている場合（ステップＳ３１：Ｙｅｓ）のステップＳ３２〜Ｓ４３の処理は、図２におけるステップＳ２〜Ｓ１３の処理に順次対応している。
【００５６】
以下、ステップＳ３１において、撮像装置１が撮影モードに設定されていない場合（ステップＳ３１：Ｎｏ）を説明する。この場合において、撮像装置１が再生モードに設定されているとき（ステップＳ４４：Ｙｅｓ）、撮像装置１は、設定されている再生モードの種類に応じた処理を行う。一方、撮像装置１が再生モードに設定されていないとき（ステップＳ４４：Ｎｏ）、撮像装置１はステップＳ４２へ移行する。
【００５７】
まず、撮像装置１が変化強調モードに設定されている場合（ステップＳ４５：Ｙｅｓ）を説明する。この場合において、画像データ記憶部５１がトリミング画像を記憶しているとき（ステップＳ４６：Ｙｅｓ）、平均画像生成部３３は、トリミング画像群の前半部の平均画像（第１平均画像）を生成し（ステップＳ４７）、そのトリミング画像群の後半部の平均画像（第２平均画像）を生成する（ステップＳ４８）。なお、トリミング画像群を構成するトリミング画像の数が奇数である場合には、前半部および後半部の一方が他方よりも１枚多くなるようにすればよい。
【００５８】
図４に示すトリミング画像群（トリミング画像１１１〜１１４から構成）の場合には、トリミング画像１１１、１１２を前半部とし、トリミング画像１１３、１１４を後半部とする。
【００５９】
図１４は、図４に示すトリミング画像群の前半部を構成するトリミング画像１１１、１１２から第１平均画像を生成する処理の概要を模式的に示す図である。具体的には、図１４（ａ）は、トリミング画像１１１、１１２を重ね合わせた画像２０１を模式的に示している。この重ね合わせにより、画像２０１には濃淡のパターンが生じる。平均画像生成部３３は、画像２０１の濃淡のパターンに対し、所定の濃度以上の箇所を外挿する等の処理を施すことによって輪郭を決定し、図１４（ｂ）に示す平均画像２０２を生成する。
【００６０】
図１５は、図４に示すトリミング画像群の後半部を構成するトリミング画像１１３、１１４から第２平均画像を生成する処理の概要を模式的に示す図である。具体的には、図１５（ａ）は、トリミング画像１１３、１１４を重ね合わせた画像２０３を示している。この場合にも、平均画像生成部３３は、画像２０３の濃淡のパターンに対し、所定の濃度以上の箇所を外挿する等の処理を施すことによって輪郭を決定し、図１５（ｂ）に示す平均画像２０４を生成する。
【００６１】
続いて、差分検出部８２は、第１平均画像と第２平均画像との差分を検出する（ステップＳ４９）。差分検出部８２は、第１平均画像と第２平均画像とのパターンの差分を検出するために、パターンごとに上下左右の端点の位置の差分を算出する。図１６は、差分検出部８２が第１平均画像２０２および第２平均画像２０４を用いて行う差分検出処理の概要を模式的に示す図である。図１６では、差分検出部８２が第１平均画像２０２および第２平均画像２０４の髪の毛部分の差分を検出している状況を示している。より具体的には、上端位置の差分がΔｙ5、下端位置の差分がΔｙ6、左端位置の差分がΔｘ5、右端位置の差分がΔｘ6であることを示しており、いずれの位置でも、トリミング画像１１１の方が内側に位置している。このステップＳ４９で検出した差分値は、一時的に記憶部５に記憶される。
【００６２】
この後、表示制御部８３は、表示部４にトリミング画像群を連続的に表示させる（ステップＳ５０）。この際の表示順は、トリミング画像の元の画像の生成順である。なお、このステップＳ５０において、表示部４がトリミング画像群を連続的に表示する代わりに、トリミング画像の元の画像（例えば図３の画像１０１〜１０４）を連続的に表示させるようにしてもよい。また、トリミング画像群の表示順は、トリミング画像の元の画像の生成順でなくてもよい。
【００６３】
続いて、撮像装置１は、トリミング画像１１４を基準とする差分強調画像を複数生成する（ステップＳ５１〜Ｓ５５）。このために、まず繰り返し処理の回数を示すカウンタｎを１とする（ステップＳ５１）。その後、差分強調画像生成部３４は、トリミング画像１１４に対する差分強調画像を生成する（ステップＳ５２）。
【００６４】
図１７は、差分強調画像生成部３４が行う差分強調画像生成処理の概要を模式的に示す図である。図１７においては、図１６で説明した第１平均画像２０２および第２平均画像２０４の髪の毛部分の差分検出処理の結果に基づいて行う差分強調画像生成処理を示している。図１７に示す場合、差分強調画像生成部３４は、トリミング画像１１４の髪の毛部分の上下左右端部を外側に距離ｋ（ｎ）・ｒ3ずつシフトさせる。ここで、パラメータｋ（ｎ）は、繰り返しの回数ｎに応じて定められる定数であり、ｎの値が大きいほど大きい値を有する。その後、差分強調画像生成部３４は、トリミング画像１１４の髪型に基づいて、髪の毛部分がシフト後の位置を通過するように外挿することにより、トリミング画像１１４より髪の毛部分を大きくした差分強調画像を生成する。なお、上述した距離ｒ3は、差分値Δｙ5、Δｙ6、Δｘ5、Δｘ6を用いて定められる値であり、例えばこれら４つの差分値の平均でもよい。
【００６５】
続いて、表示制御部８３は、差分強調画像生成部３４が生成した差分強調画像を表示部４に表示させる（ステップＳ５３）。本実施の形態２においても、ステップＳ５０における個々のトリミング画像の表示時間とこのステップＳ５３における差分強調画像の表示時間を任意に設定することができる。加えて、本実施の形態２においては、差分強調画像の表示時間を、後で表示するものほど短くするようにしてもよい。これにより、差分強調画像の切換えが徐々に速くなっていくため、一段と娯楽性に富んだ表示を実現することができる。
【００６６】
その後、制御部８は、繰り返しの回数ｎが所定値Ｎと等しいか否かを判定する（ステップＳ５４）。制御部８による判定の結果、ｎ＝Ｎである場合（ステップＳ５４：Ｙｅｓ）、撮像装置１はステップＳ４２へ移行する。一方、制御部８による判定の結果、ｎ≠Ｎである場合（ステップＳ５４：Ｎｏ）、制御部８はカウンタをｎ＋１とし（ステップＳ５５）、ステップＳ５２へ戻る。ここでの所定値Ｎは任意に設定可能であるが、トリミング画像群を構成するトリミング画像の数（図４に示すトリミング画像群の場合は４）以上であればより好ましい。
【００６７】
図１８は、本実施の形態２に係る撮像装置１が変化強調モードに設定された場合に表示部４が表示する画像の遷移例を示す図である。図１８に示すように、表示部４は、トリミング画像群を構成するトリミング画像１１１〜１１４を順次表示した後、トリミング画像１１４を基準としてパラメータｋ（ｎ）を用いて順次形成された差分強調画像２１１〜２１４を表示する。図１８に示す場合、Ｎ＝４（トリミング画像群を構成するトリミング画像の数）である。図１８に示すように、後から表示される差分強調画像ほど、トリミング画像１１４からの乖離が大きく、変化が強調された表示となっている。
【００６８】
ステップＳ４５において撮像装置１が変化強調モードに設定されていない場合（ステップＳ４５：Ｎｏ）、およびステップＳ４６において画像データ記憶部５１がトリミング画像を記憶していない場合（ステップＳ４６：Ｎｏ）、撮像装置１は通常再生を行い（ステップＳ５４）、ステップＳ４２へ移行する。
【００６９】
なお、図１３に示すフローチャートの場合、記憶部５が複数のトリミング画像群を記憶している場合には、ステップＳ４７〜Ｓ５５の処理を全てのトリミング画像群に対して個別に行うこととなる。これに対し、予めユーザが選択したトリミング画像群に対してのみ、ステップＳ４７〜Ｓ５５の処理を行うようにすることも可能である。
【００７０】
以上説明した本発明の実施の形態２によれば、同一の顔を含む画像をトリミング画像と、トリミング画像の変化を強調する差分強調画像とを、トリミング前の画像の生成順に応じて定められる順序で表示するため、ユーザは、被写体の単なる経時変化を示す画像と前後して、その変化を強調した仮想的な画像も前後して見ることとなる。したがって、ユーザは、被写体の経時変化に気付き、その変化の態様を楽しみながら把握することが可能となる。
【００７１】
また、本実施の形態２によれば、現実の画像であるトリミング画像を連続して表示した後、仮想的な画像である差分強調画像を連続して表示するため、ユーザは、現実の画像から急激に乖離して変化していく状況を楽しみながら被写体の経時変化の態様を認識することができる。
【００７２】
なお、本実施の形態２では、トリミング画像群を表示した後、差分強調画像を表示したが、例えばトリミング画像群の中で生成時間が前後するトリミング画像同士の変化量（例えば代表点の差分の平均値）が所定の変化量より大きい箇所に差分強調画像を挿入するようにしてもよい。
【００７３】
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した２つの実施の形態によって限定されるべきものではない。例えば、差分強調画像生成部が差分強調画像を生成する際には、モーフィングの技術を適用することも可能である。具体的には、画像表示装置が、図１９（ａ）に示すように、画像の特徴点ごとの変化ベクトルを求めた後、図１９（ｂ）に示すように、その特徴点の変化ベクトルを拡大して変化を強調する画像を生成すればよい。
【００７４】
また、本発明においては、トリミング前の元の画像と差分強調画像とを適宜交えて表示するようにしてもよい。これにより、ユーザは、間違え探しを行うような気分で差分強調画像が出てくるのを楽しむことができるので、被写体の経時変化の態様を把握する際の娯楽性が一段と高まる。
【００７５】
また、本発明においては、撮像部が動画を撮影する場合にも、個々のフレームに対して上記同様の処理を施すことができる。ただしこの場合には、再生時に各フレームの表示時間を動画再生時よりも十分長く確保することが必要である。
【００７６】
また、本発明に係る画像表示装置は、撮像機能を具備している必要はない。すなわち、本発明においては、記憶部が記憶しているトリミング画像群を用いることによって、上記同様の変化強調再生処理を行うことが可能である。
【００７７】
また、本発明において、平均画像の生成処理は、上述した方法に限られるわけではない。
【００７８】
なお、本発明においては、人物の顔の一部である髪の毛の変化を例にとって説明したが、このような変化を強調することができる例としては、他にも皮膚の皺の数、白髪の割合、ひげの長さなどを挙げることができる。また、本発明において変化を強調することができる例として、太ったり痩せたりすることによって変化する顔の輪郭や、治り具合によって変化する顔の傷なども挙げることができる。また、本発明は、人間以外の動物の顔にも適用可能である。
【符号の説明】
【００７９】
１  撮像装置
２  撮像部
３  画像処理部
４  表示部
５  記憶部
６  操作入力部
７  時計
８  制御部
３１  顔検出部
３２  トリミング画像生成部
３３  平均画像生成部
３４  差分強調画像生成部
３５  圧縮伸張部
５１  画像データ記憶部
５２  顔情報記憶部
５３  プログラム記憶部
８１  トリミング領域決定部
８２  差分検出部
８３  表示制御部
【図１】
0005489693.tif 000002
【図２】
0005489693.tif 000003
【図３】
0005489693.tif 000004
【図４】
0005489693.tif 000005
【図５】
0005489693.tif 000006
【図６】
0005489693.tif 000007
【図７】
0005489693.tif 000008
【図８】
0005489693.tif 000009
【図９】
0005489693.tif 000010
【図１０】
0005489693.tif 000011
【図１１】
0005489693.tif 000012
【図１２】
0005489693.tif 000013
【図１３】
0005489693.tif 000014
【図１４】
0005489693.tif 000015
【図１５】
0005489693.tif 000016
【図１６】
0005489693.tif 000017
【図１７】
0005489693.tif 000018
【図１８】
0005489693.tif 000019
【図１９】
0005489693.tif 000020