(57)【特許請求の範囲】
【請求項１】
画像を表示する表示部と、
被写体又は背景の少なくとも一方と自装置との相対位置を変化させた連続撮影により取得された複数の画像を用いて、前記被写体又は前記背景の少なくとも一方の動きベクトルを検出する動き検出部と、
前記動き検出部により検出された前記被写体又は前記背景の少なくとも一方の動きベクトルから、前記連続撮影における撮影パターンを特定する特定部と、
前記複数の画像の数及び前記表示部の視野角に基づき、前記複数の画像を個別に表示するときの前記自装置の傾斜角を第１の傾斜角として算出する第１の算出部と、
前記複数の画像のいずれかの画像を表示したときに生じる自装置の姿勢の変化を検出する姿勢検出部と、
前記姿勢検出部により検出される前記自装置の姿勢の変化から、前記自装置が傾斜した傾斜角を第２の傾斜角として算出する第２の算出部と、
前記第２の傾斜角から判別される前記自装置の姿勢が変化する方向と、前記撮影パターンとから、前記複数の画像を個別に表示する表示順序を決定する決定部と、
前記自装置が前記第２の傾斜角まで傾斜する過程で前記自装置の傾斜角が前記第１の傾斜角に到達する毎に、前記表示部に表示する画像を前記表示順序に基づいて切り替えながら表示する表示制御部と、
を備えたことを特徴とする表示装置。
【請求項２】
請求項１に記載の表示装置において、
前記動き検出部は、前記複数の画像のうち、時間的に隣り合う２つの画像から、前記被写体又は前記背景の少なくとも一方の前記動きベクトルを検出することを特徴とする表示装置。
【請求項３】
請求項１又は請求項２に記載の表示装置において、
前記表示制御部は、前記自装置の姿勢が一方向に変化した後に前記一方向とは逆の方向に変化する場合、決定された前記表示順序とは逆の表示順序で画像を前記表示部に表示することを特徴とする表示装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の表示装置において、
前記表示制御部は、前記姿勢検出部により検出された前記自装置の傾きに応じた前記画像を前記表示部に表示することを特徴とする表示装置。
【請求項５】
画像を表示する表示部と、
被写体又は背景の少なくとも一方と自装置との相対位置を変化させた連続撮影により取得された複数の画像の数及び前記表示部の視野角に基づき、前記複数の画像を個別に表示するときの前記自装置の傾斜角を第１の傾斜角として算出する第１の算出部と、
前記複数の画像を個別に表示するときの前記自装置の姿勢の変化を検出する姿勢検出部と、
前記姿勢検出部により検出される前記自装置の姿勢の変化から、前記自装置が傾斜した傾斜角を第２の傾斜角として算出する第２の算出部と、
前記第２の傾斜角が前記第１の傾斜角に到達する毎に前記表示部に表示される画像を前記第１の傾斜角に対応する画像に切り替えることで、前記複数の画像を個別に表示する表示制御部と、
を備えたことを特徴とする表示装置。
【請求項６】
被写体又は背景の少なくとも一方と自装置との相対位置を変化させた連続撮影により複数の画像を取得する画像取得部と、
前記画像取得部により取得された前記複数の画像を記憶する記憶部と、
前記記憶部に記憶された前記複数の画像を表示可能な、請求項１から請求項５のいずれか１項に記載の表示装置と、
を備えたことを特徴とする撮像装置。
【請求項７】
被写体又は背景の少なくとも一方と自装置との相対位置を変化させた連続撮影により取得された複数の画像を用いて、前記被写体又は前記背景の少なくとも一方の動きベクトルを検出する動き検出工程と、
検出された前記被写体又は前記背景の少なくとも一方の動きベクトルから、前記連続撮影における撮影パターンを特定する特定工程と、
前記複数の画像の数及び画像を表示する表示部の視野角に基づき、前記複数の画像を個別に表示するときの前記自装置の傾斜角を第１の傾斜角として算出する第１の算出工程と、
前記複数の画像のいずれかの画像を表示したときに生じる自装置の姿勢の変化を検出する姿勢検出工程と、
検出される前記自装置の姿勢の変化から、前記自装置が傾斜した傾斜角を第２の傾斜角として算出する第２の算出工程と、
前記第２の傾斜角から判別される前記自装置の姿勢が変化する方向と、前記撮影パターンとから、前記複数の画像を個別に表示する表示順序を決定する決定工程と、
前記自装置が前記第２の傾斜角まで傾斜する過程で前記自装置の傾斜角が前記第１の傾斜角に到達する毎に、前記表示部に表示する画像を前記表示順序に基づいて切り替えながら表示する表示制御工程と、
をコンピュータに実行させることが可能な表示制御プログラム。
【請求項８】
請求項７に記載された表示制御プログラムが記憶され、該表示制御プログラムがコンピュータにて読み取ることが可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
画像を表示することが可能な表示装置、撮像装置、表示制御プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
立体感を持たせた画像を表示する方法として、人間の視差を利用した画像を表示する方法が挙げられる。また、この他に、例えば時間的に連続する３つの画像から被写体の領域（被写体領域）と背景となる領域（背景領域）とを求めた後、被写体領域に対して鮮明処理を、背景領域に対してぼかし処理を施すことが提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１５１１６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、視差のある２種類の画像を用いて立体感を持たせた画像を表示した場合には、ユーザの目に負担がかかる。また、特許文献１に記載された表示方法では、画像に含まれる被写体領域に鮮明処理を、背景領域にぼかし処理をそれぞれ施した画像を表示することから、画像としては不自然な画像となってしまう。
【０００５】
本発明は、擬似的に立体感を持たせた画像を簡単な構成で表示できるようにした表示装置、撮像装置、表示制御プログラム及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の表示装置は、画像を表示する表示部と、被写体又は背景の少なくとも一方と自装置との相対位置を変化させた連続撮影により取得された複数の画像を用いて、前記被写体又は前記背景の少なくとも一方の動きベクトルを検出する動き検出部と、前記動き検出部により検出された前記被写体又は前記背景の少なくとも一方の動きベクトルから、前記連続撮影における撮影パターンを特定する特定部と、前記複数の画像の数及び前記表示部の視野角に基づき、前記複数の画像を個別に表示するときの前記自装置の傾斜角を第１の傾斜角として算出する第１の算出部と、前記複数の画像のいずれかの画像を表示したときに生じる自装置の姿勢の変化を検出する姿勢検出部と、前記姿勢検出部により検出される前記自装置の姿勢の変化から、前記自装置が傾斜した傾斜角を第２の傾斜角として算出する第２の算出部と、前記第２の傾斜角から判別される前記自装置の姿勢が変化する方向と、前記撮影パターンとから、前記複数の画像を個別に表示する表示順序を決定する決定部と、前記自装置が前記第２の傾斜角まで傾斜する過程で前記自装置の傾斜角が前記第１の傾斜角に到達する毎に、前記表示部に表示する画像を前記表示順序に基づいて切り替えながら表示する表示制御部と、を備えたことを特徴とする。
また、本発明の表示装置は、画像を表示する表示部と、被写体又は背景の少なくとも一方と自装置との相対位置を変化させた連続撮影により取得された複数の画像の数及び前記表示部の視野角に基づき、前記複数の画像を個別に表示するときの前記自装置の傾斜角を第１の傾斜角として算出する第１の算出部と、前記複数の画像を個別に表示するときの前記自装置の姿勢の変化を検出する姿勢検出部と、前記姿勢検出部により検出される前記自装置の姿勢の変化から、前記自装置が傾斜した傾斜角を第２の傾斜角として算出する第２の算出部と、前記第２の傾斜角が前記第１の傾斜角に到達する毎に前記表示部に表示される画像を前記第１の傾斜角に対応する画像に切り替えることで、前記複数の画像を個別に表示する表示制御部と、を備えたことを特徴とする。
【０００７】
また、本発明の撮像装置は、被写体又は背景の少なくとも一方と自装置との相対位置を変化させた連続撮影により複数の画像を取得する画像取得部と、前記画像取得部により取得された前記複数の画像を記憶する記憶部と、前記記憶部に記憶された前記複数の画像を表示可能な、上記に記載の表示装置と、を備えたことを特徴とする。
【０００８】
また、本発明の表示制御プログラムは、被写体又は背景の少なくとも一方と自装置との相対位置を変化させた連続撮影により取得された複数の画像を用いて、前記被写体又は前記背景の少なくとも一方の動きベクトルを検出する動き検出工程と、検出された前記被写体又は前記背景の少なくとも一方の動きベクトルから、前記連続撮影における撮影パターンを特定する特定工程と、前記複数の画像の数及び画像を表示する表示部の視野角に基づき、前記複数の画像を個別に表示するときの前記自装置の傾斜角を第１の傾斜角として算出する第１の算出工程と、前記複数の画像のいずれかの画像を表示したときに生じる自装置の姿勢の変化を検出する姿勢検出工程と、検出される前記自装置の姿勢の変化から、前記自装置が傾斜した傾斜角を第２の傾斜角として算出する第２の算出工程と、前記第２の傾斜角から判別される前記自装置の姿勢が変化する方向と、前記撮影パターンとから、前記複数の画像を個別に表示する表示順序を決定する決定工程と、前記自装置が前記第２の傾斜角まで傾斜する過程で前記自装置の傾斜角が前記第１の傾斜角に到達する毎に、前記表示部に表示する画像を前記表示順序に基づいて切り替えながら表示する表示制御工程と、をコンピュータに実行させることが可能なものである。
【０００９】
また、本発明の記憶媒体は、上記に記載された表示制御プログラムが記憶され、該表示制御プログラムがコンピュータにて読み取ることが可能なものである。
【発明の効果】
【００１０】
本発明によれば、被写体領域と背景領域とに異なる処理を行わなくとも、擬似的に画像の立体感を表現することができる。
【図面の簡単な説明】
【００１１】
【図１】（ａ）デジタルカメラの正面を示す斜視図、（ｂ）デジタルカメラの背面を示す斜視図である。
【図２】デジタルカメラの電気的構成を示す機能ブロック図である。
【図３】画像及びＡＦエリアの位置関係を示す図である。
【図４】（ａ）撮影パターンＡにおける撮影方法と、被写体領域及び背景領域における動きベクトルとを示す図、（ｂ）撮影パターンＢにおける撮影方法と、被写体領域及び背景領域における動きベクトルとを示す図である。
【図５】（ａ）撮影パターンＣにおける撮影方法と、被写体領域及び背景領域における動きベクトルとを示す図、（ｂ）撮影パターンＤにおける撮影方法と、被写体領域及び背景領域における動きベクトルとを示す図である。
【図６】（ａ）撮影パターンＥにおける撮影方法と、被写体領域及び背景領域における動きベクトルとを示す図、（ｂ）撮影パターンＦにおける撮影方法と、被写体領域及び背景領域における動きベクトルとを示す図である。
【図７】デジタルカメラの姿勢の変化と連続画像を表示する順序とを撮影パターン毎にまとめた図である。
【図８】連続撮影を行った後、連続撮影により得られた画像を再生する流れを示すフローチャートである。
【図９】連続撮影を行った後、連続撮影により得られた画像を再生する流れを示すフローチャートである。
【図１０】連続撮影を行ったときの被写体とデジタルカメラの相対位置、取得された連続画像及び動きベクトルを示す図である。
【図１１】デジタルカメラの傾斜状態を示す上面図である。
【発明を実施するための形態】
【００１２】
以下、撮像装置の一実施形態としてデジタルカメラを例に挙げて説明する。
【００１３】
図１（ａ）及び図１（ｂ）に示すように、デジタルカメラ１０は、カメラ本体１１と、沈胴式のレンズ鏡筒１２とを備えている。カメラ本体１１の前面には、レンズ鏡筒１２の他に、ストロボ発光部１３等が設けられている。また、カメラ本体１１の上面には、レリーズボタン１４や電源ボタン１５などが設けられる。さらに、カメラ本体１１の背面には、後述する表示装置３４の表示面３４ａや設定操作部１６が設けられている。
【００１４】
図２に示すように、デジタルカメラ１０は、撮像光学系２１、撮像素子２２、Ａ／Ｄ変換部２３、レンズ駆動機構２４、タイミングジェネレータ（ＴＧ）２５、バッファメモリ３０、画像処理回路３１、接続用Ｉ／Ｆ３２、表示制御回路３３、表示装置３４、ＣＰＵ３５、内蔵メモリ３６、レリーズボタン１４、設定操作部１６、傾き検出センサ３７などから構成される。なお、Ａ／Ｄ変換部２３、バッファメモリ３０、画像処理回路３１、接続用Ｉ／Ｆ３２、表示制御回路３３、ＣＰＵ３５及び内蔵メモリ３６は、バス４０を介して接続される。
【００１５】
撮像光学系２１は、ズームレンズやフォーカスレンズなど、複数のレンズから構成されている。ズームレンズは、その光軸Ｌ方向に移動することで撮影倍率が変更される。また、フォーカスレンズは、光軸Ｌ方向に微小移動することで撮像光学系２１におけるフォーカスが調整される。
【００１６】
撮像素子２２は、例えばＣＣＤイメージセンサや、ＣＭＯＳイメージセンサが用いられる。この撮像素子２２は、撮像光学系２１により取り込まれた被写体光（入射光）を受光し、信号電荷に変換する。この信号電荷に基づいた電圧が、各画素の画素信号として出力される。なお、各画素の画素信号をまとめた信号が画像信号となる。
【００１７】
Ａ／Ｄ変換部２３は、撮像素子２２から出力された画像信号をアナログ信号からデジタル信号に変換する。このデジタル化された画像信号はバッファメモリ３０に書き込まれる。
【００１８】
レンズ駆動機構２４は、撮像光学系２１の各レンズを光軸Ｌ方向に移動させる。タイミングジェネレータ２５は、撮像素子２２やＡ／Ｄ変換部２３に対して、パルス信号を出力することで、これらの動作タイミングを同期させる。
【００１９】
画像処理回路３１は、バッファメモリ３０に書き込まれた画像信号に対して、ホワイトバランス処理、色補間処理、輪郭補償処理、ガンマ処理などの画像処理を施す。これにより、画像データが生成される。生成された画像データは、バッファメモリ３０に一時記憶される。この画像処理回路３１により画像処理が施された画像データは、圧縮符号化処理が施された後、記憶媒体４１に書き込まれる。
【００２０】
接続用Ｉ／Ｆ３２は、デジタルカメラ１０に装着される記憶媒体４１と電気的に接続されることで、記憶媒体４１へのデータの書き込みや、記憶媒体４１に記憶されたデータの読み出しを行うことが可能となる。
【００２１】
表示装置３４は、例えばＬＣＤやＥＬディスプレイなどから構成される。この表示装置３４は、スルー画像や、撮影により得られた画像の他に、設定を行う際の設定用の画像を表示する。なお、この表示装置３４における画像表示は、表示制御回路３３により制御される。
【００２２】
ＣＰＵ３５は、内蔵メモリ３６に格納される制御プログラムを読み出し実行することで、デジタルカメラ１０の各部を制御する。このＣＰＵ３５には、レリーズボタン１４、設定操作部１６、傾き検出センサ３７からの信号が入力される。
【００２３】
レリーズボタン１４は、撮影を行う際に操作されるボタンである。設定操作部１６は、デジタルカメラ１０における初期設定や、撮影時や再生時の設定などを行う際に操作される。
【００２４】
傾き検出センサ３７は、基準状態にあるデジタルカメラ１０の姿勢が変化する場合に、該デジタルカメラ１０の姿勢の変化を検出する。この傾き検出センサ３７からの検出信号はＣＰＵ３５に出力される。傾き検出センサ３７からの検出信号を受けて、ＣＰＵ３５は、デジタルカメラ１０の傾斜角θを算出する。なお、本実施形態おいては、デジタルカメラ１０の左右方向がｘ方向、前後方向がｙ軸方向、上下方向がｚ軸方向と、それぞれ平行となる場合をデジタルカメラ１０の基準状態とした場合について説明する。
【００２５】
なお、デジタルカメラ１０の基準状態は、上記に限定される必要はなく、デジタルカメラの左右方向、前後方向、上下方向が、それぞれｘ軸方向、ｙ軸方向、ｚ軸方向のいずれかの軸方向となればよい。また、デジタルカメラ１０の基準状態は、予め設定されていてもよいし、画像を表示する際のデジタルカメラ１０の姿勢を基準状態として、自動的に設定してもよいし、又はユーザの操作により設定してもよい。
【００２６】
上述したＣＰＵ３５は、撮影された画像を表示装置３４に表示する（再生する）再生モードが選択され、且つ再生する画像として連続撮影により得られた画像のいずれかが選択されたときに、制御部４５、領域判別部４６及び傾き算出部４７の機能を実行する。制御部４５は、領域判別部４６や傾き算出部４７の結果に基づいて、接続用Ｉ／Ｆ３２を介して記憶媒体４１に記憶された画像データを読み出す、又は表示制御回路３３に対する制御信号を出力する。以下、連続撮影により得られた画像を連続画像と称して説明する。
【００２７】
領域判別部４６は、連続画像のそれぞれに対して、被写体の領域（以下、被写体領域）と、背景の領域（以下、背景領域）とを判別する。この領域判別部４６による被写体領域と背景領域との判別としては、例えば撮影時に用いられるＡＦエリアの焦点状態の判別が挙げられる。以下、連続撮影時に使用されるＡＦエリアのうち、四隅のＡＦエリアａ１〜ａ４と、中央のＡＦエリアａ５とを用いる場合について説明する。図３に示すように、連続画像ＣＩが中央に被写体が位置する画像となる場合には、中央のＡＦエリアａ５の焦点状態が合焦状態となる。つまり、領域判別部４６は、ＡＦエリアａ５を被写体領域とし、他のＡＦエリアａ１〜ａ４を背景領域と判別する。なお、撮影時に用いられるＡＦエリアを用いているが、これに限定する必要はなく、例えば被写体認識を行うことで被写体が含まれる矩形の領域を被写体領域とし、それ以外の領域における任意の矩形の領域を背景領域として判別することも可能である。
【００２８】
動き検出部４７は、複数の連続画像のうち、時間的に連続する（隣り合う）２つの連続画像を用いて、領域判別部４６にて判別された被写体領域における動きベクトルと、各背景領域における動きベクトルを算出する。動き検出部４７によって動きベクトルが算出された後、制御部４５は、被写体領域における動きベクトル及び各背景領域における動きベクトルを用いて、連続撮影時における撮影パターンを特定する。
【００２９】
図４（ａ）に示すように、撮影者を中心にデジタルカメラ１０を反時計（Ｒ１）方向に移動させながら静止する被写体Ｏを連続撮影した場合には、被写体領域ａ５における動きベクトル及び背景領域ａ１〜ａ４における動きベクトルが右方向となる。このような動きベクトルとなる場合の撮影パターンを撮影パターンＡとする。また、図４（ｂ）に示すように、撮影者を中心にデジタルカメラ１０を時計（Ｒ２）方向に移動させながら静止する被写体Ｏを連続撮影した場合には、被写体領域ａ５における動きベクトル及び背景領域ａ１〜ａ４における動きベクトルが左方向となる。このような動きベクトルとなる撮影パターンを撮影パターンＢとする。
【００３０】
また、図５（ａ）に示すように、被写体Ｏを中心にデジタルカメラ１０を時計（Ｒ３）方向に移動させながら静止する被写体を連続撮影した場合には、被写体領域ａ５における動きベクトルの変化が無く、背景領域ａ１〜ａ４における動きベクトルが左方向となる。このような動きベクトルとなる撮影パターンを撮影パターンＣとする。図５（ｂ）に示すように、被写体Ｏを中心にデジタルカメラ１０を反時計（Ｒ４）方向に移動させながら静止する被写体を連続撮影した場合には、被写体領域ａ５における動きベクトルの変化が無く、背景領域ａ１〜ａ４における動きベクトルが右方向となる。このような動きベクトルとなる撮影パターンを撮影パターンＤとする。
【００３１】
また、図６（ａ）に示すように、デジタルカメラ１０の位置を固定して、右（ｘ１）方向に移動する被写体Ｏを連続撮影した場合には、被写体領域ａ５における動きベクトルが右方向で、背景領域ａ１〜ａ４における動きベクトルの変化がない。このような動きベクトルとなる撮影パターンを撮影パターンＥとする。図６（ｂ）に示すように、デジタルカメラ１０の位置を固定して、左（ｘ２）方向に移動する被写体Ｏを連続撮影した場合には、被写体領域ａ５における動きベクトルが左方向で、背景領域ａ１〜ａ４における動きベクトルの変化がない。このような動きベクトルとなる撮影パターンを撮影パターンＦとする。
【００３２】
制御部４５は、被写体領域及び背景領域の動きベクトルから撮影パターンが特定されると、デジタルカメラ１０の姿勢が変化したときの、各連続画像の表示順序を決定する。なお、図７は、デジタルカメラの姿勢の変化に基づく連続画像の表示順序を、撮影パターン毎にまとめた図である。なお、上述したように、デジタルカメラ１０の姿勢の変化は、ｚ方向を軸にした傾斜、つまり、デジタルカメラ１０の背面側が画像を観察するユーザに対峙している場合、デジタルカメラ１０の左端部を図１（ｂ）中Ｍ１方向に傾斜させる、または、デジタルカメラの左側端部を図１（ｂ）中Ｍ２方向に傾斜させることが挙げられる。
【００３３】
例えば、撮影パターンが撮影パターンＡ、撮影パターンＤ、撮影パターンＥのいずれかの場合、デジタルカメラ１０がＭ１方向に傾斜される場合には、制御部４５は、連続画像が撮影された順序を表示順序とする。また、デジタルカメラ１０がＭ２方向に傾斜される場合には、制御部４５は、連続画像が撮影された順序とは逆の順序を表示順序とする。
【００３４】
また、撮影パターンが撮影パターンＢ、撮影パターンＣ、撮影パターンＦのいずれかの場合、デジタルカメラ１０がＭ１方向に傾斜される場合には、制御部４５は、撮影された順序とは逆の順序を表示順序とする。また、デジタルカメラ１０がＭ２方向に傾斜される場合には、制御部４５は、連続画像が撮影された順序を表示順序とする。
【００３５】
また、この他に、制御部４５は、連続撮影にて得られた連続画像の数と、表示装置３４の視野角とから、各連続画像を表示させる際のデジタルカメラ１０の傾斜角θを算出する。これら撮影パターンに基づく連続画像の表示順序と、各連続画像を表示させる際のデジタルカメラ１０の傾斜角θとが算出されると、制御部４５は、これら情報を表示制御回路３３に出力する。表示制御回路３３は、これら情報と、ＣＰＵ３５から出力されるデジタルカメラ１０の姿勢の変化に基づいて、各連続画像を表示装置３４に表示させる。
【００３６】
次に、連続撮影から該連続撮影により得られた連続画像を再生する手順を、図８及び図９のフローチャートに基づいて説明する。なお、以下に説明するステップＳ１０１〜ステップＳ１０３の処理は、撮影モードとして連続撮影モードが設定されたときに実行される処理であり、ステップＳ１０４〜Ｓ１２０の処理は、再生モードに設定されたときに実行される処理である。
【００３７】
ステップＳ１０１は、連続撮像処理である。例えばレリーズボタン１４が操作されることを受けて予め設定された露光条件に基づいた撮像処理が連続して実行される。これにより、予め設定された数の画像信号がバッファメモリ３０に記憶されていく。
【００３８】
ステップＳ１０２は、画像処理である。バッファメモリ３０に記憶された画像信号に対して、画像処理回路３１は、ホワイトバランス処理、色補間処理、輪郭補償処理、ガンマ処理などの画像処理を施す。これにより、連続撮影による画像データ（連続画像データ）が生成される。なお、この連続画像データは、再度バッファメモリ３０に格納される。
【００３９】
ステップＳ１０３は、連続画像を記憶する処理である。バッファメモリ３０格納された連続画像データは、圧縮符号化処理がそれぞれの画像データに対して施される。ＣＰＵ３５は、圧縮符号化処理が施された各連続画像データに、露光条件、撮影日時、撮影方法などの付帯情報を付して記憶媒体４１に書き込む。
【００４０】
ステップＳ１０４は、連続画像を読み出す処理である。ＣＰＵ３５は、記憶媒体４１から連続画像データを読み出し、読み出された画像データをバッファメモリ３０に書き込む。
【００４１】
ステップＳ１０５は、被写体領域及び背景領域を判別する処理である。ＣＰＵ３５は、読み出された連続画像データのそれぞれを用いて、連続画像内に含まれる被写体領域と背景領域との判別を行う。なお、この判別においては、撮影時に使用するＡＦエリアａ１〜ａ５の焦点状態を判別する。例えば被写体が中央に位置している連続画像であれば、中央のＡＦエリアａ５の焦点状態が合焦状態であると判別されることから、このＡＦエリアａ５を被写体領域とし、他のＡＦエリアａ１〜ａ４を背景領域とする。
【００４２】
ステップＳ１０６は、領域毎の動きベクトルを算出する処理である。ＣＰＵ３５は、時間的に連続する２つの連続画像データを用いて、上述した被写体領域及び背景領域における動きベクトルを算出する。
【００４３】
ステップＳ１０７は、撮影パターンを特定する処理である。ＣＰＵ３５は、ステップＳ１０６から得られる被写体領域及び背景領域の動きベクトルから、撮影時の撮影パターンを特定する。
【００４４】
ステップＳ１０８は、連続画像の表示順序を決定し、各連続画像を表示させる傾斜角を算出する処理である。ＣＰＵ３５は、ステップＳ１０７にて特定された撮影時の撮影パターンに基づいて、デジタルカメラ１０の姿勢が変化したときの連続画像の表示順序を決定する。連続画像の表示順序を決定した後、ＣＰＵ３５は、連続画像の数と、表示装置３４における視野角とから、各連続画像を表示させるときのデジタルカメラ１０の傾斜角θを算出する。そして、ＣＰＵ３５は、連続画像の表示順序及び各連続画像を表示する際のデジタルカメラ１０の傾斜角θの情報を表示制御回路３３に出力する。
【００４５】
ステップＳ１０９は、特定された撮影パターンが、撮影パターンＡ、撮影パターンＤ或いは撮影パターンＥのいずれかであるか否かを判定する処理である。上述したステップＳ１０７の処理を実行することで、連続画像を取得したときの撮影パターンが特定されている。つまり、ＣＰＵ３５はステップＳ１０７の特定結果に基づいて、この判定処理を実行する。例えば、撮影パターンが撮影パターンＡ、撮影パターンＤ或いは撮影パターンＥのいずれかである場合には、ＣＰＵ３５は、ステップＳ１０９の判定処理をＹｅｓとし、ステップＳ１１０に進む。一方、それ以外の撮影パターンとなる場合には、ＣＰＵ３５は、ステップＳ１０９の判定処理をＮｏとし、ステップＳ１２０に進む。
【００４６】
ステップＳ１１０は、連続画像を表示する処理である。このとき、デジタルカメラ１０の姿勢は基準状態であることから、ＣＰＵ３５は、傾斜角θ＝０を示す信号を表示制御回路３３に出力する。これを受けて、表示制御回路３３は、バッファメモリ３０に書き込まれた連続画像のうち、傾斜角θ＝０となる場合の連続画像を読み出し、表示装置３４に表示させる。
【００４７】
ステップＳ１１１は、デジタルカメラ１０がＭ１方向に傾斜したか否かを判定する処理である。例えば傾き検出センサ３７からの検出信号がＣＰＵ３５に入力されると、ＣＰＵ３５は、傾き検出センサ３７からの検出信号に基づいて、デジタルカメラ１０の姿勢が変化したときの傾斜角θを算出する。算出された傾斜角θから、デジタルカメラ１０の姿勢が変化する方向がＭ１方向であると判別された場合には、ＣＰＵ３５は、ステップＳ１１１の判定処理をＹｅｓとする。この場合、ステップＳ１１２に進む。一方、デジタルカメラ１０の姿勢が変化する方向がＭ２方向であると判別された場合には、ＣＰＵ３５は、ステップＳ１１１の判定処理をＮｏとする。この場合には、ステップＳ１１３に進む。
【００４８】
ステップＳ１１２は、撮影順序にしたがって連続画像を表示する処理である。ＣＰＵ３５は、ステップＳ１１１によって求めた傾斜角θの情報を表示制御回路３３に出力する。表示制御回路３３は、入力される傾斜角θの情報と、ステップＳ１０８においてＣＰＵ３５から出力された連続画像の表示順序及び各連続画像を表示する際のデジタルカメラの傾斜角θの情報とを用いて、表示させる連続画像データを読み出す。そして、表示制御回路３３は、現在表示している連続画像の表示を終了させ、新たに読み出した連続画像データに基づく連続画像を表示装置３３に表示させる。このステップＳ１１２を行うことで、撮影順序にしたがった連続画像、言い換えれば表示される連続画像よりも後に取得された連続画像が表示される。なお、このステップＳ１１２の処理が実行されると、ステップＳ１１５に進む。
【００４９】
上述したステップＳ１１１において、デジタルカメラ１０がＭ１方向に傾斜していないと判定された場合には、ステップＳ１１３に進む。
【００５０】
ステップＳ１１３は、デジタルカメラ１０がＭ２方向に傾斜したか否かを判定する処理である。ステップＳ１１１にてデジタルカメラ１０の傾斜角θが算出されている。ＣＰＵ３５は、デジタルカメラ１０の傾斜角θから、デジタルカメラの姿勢が変化する方向がＭ２方向であるか否かを判定する。ＣＰＵ３５は、デジタルカメラ１０の姿勢が変化する方向がＭ２方向であると判別した場合には、ステップＳ１１３の判定処理をＹｅｓとする。この場合、ステップＳ１１４に進む。一方、デジタルカメラ１０の姿勢が変化する方向がＭ２方向ではないと判別した場合には、ＣＰＵ３５は、ステップＳ１１３の判定処理をＮｏとする。この場合には、ステップＳ１１１に戻る。この場合、表示された連続画像がそのまま表示装置３４に表示される。
【００５１】
ステップＳ１１４は、撮影順序とは逆の順序にしたがって連続画像を表示する処理である。ＣＰＵ３５は、ステップＳ１１１によって求めた傾斜角θの情報を表示制御回路３３に出力する。表示制御回路３３は、入力される傾斜角θの情報と、ステップＳ１０８においてＣＰＵ３５から出力された連続画像の表示順序及び各連続画像を表示する際のデジタルカメラの傾斜角θの情報とを用いて、表示させる連続画像データを読み出す。そして、表示制御回路３３は、現在表示している連続画像の表示を終了させ、新たに読み出した連続画像データに基づく連続画像を表示装置３３に表示させる。このステップＳ１１４を行うことで、撮影順序とは逆の順序にしたがった連続画像、表示される連続画像よりも先に取得された連続画像の表示に切り替えられる。なお、このステップＳ１１４の処理が実行されると、ステップＳ１１５に進む。
【００５２】
ステップＳ１１５は、連続画像の表示を終了するか否かを判定する処理である。ユーザによって、連続画像の表示を終了させる旨の操作が実行されている場合、ＣＰＵ３５には、その操作に基づいた信号が入力されている。連続画像の表示を終了させる旨の信号が入力されている場合には、ＣＰＵ３５は、ステップＳ１１５の判定処理をＹｅｓとし、フローチャートの処理を終了させる。一方、連続画像の表示を終了させる旨の信号が入力されていない場合には、ＣＰＵ３５は、ステップＳ１１５の判定処理をＮｏとし、ステップＳ１１１に戻る。
【００５３】
上述したステップＳ１０９における判定処理がＮｏとなる場合、つまり、撮影パターンが撮影パターンＢ、撮影パターンＤ或いは撮影パターンＥのいずれかとなる場合には、ステップＳ１２０に進む。
【００５４】
ステップＳ１２０は、連続画像を表示する処理である。なお、このステップＳ１２０の処理は、ステップＳ１１０と同一の処理であることから、ここでは、その詳細を省略する。
【００５５】
ステップＳ１２１は、デジタルカメラ１０がＭ１方向に傾斜したか否かを判定する処理である。このステップＳ１２１は、ステップＳ１１１と同一の処理である。なお、このステップＳ１２１の判定処理がＹｅｓとなる場合には、ステップＳ１２２に進む。また、ステップＳ１２１の判定処理がＮｏとなる場合には、ステップＳ１２３に進む。
【００５６】
ステップＳ１２２は、撮影順序とは逆の順序に従って連続画像を表示する処理である。なお、このステップＳ１２２の処理はステップＳ１１４と同一の処理である。このステップＳ１２２の処理が実行されると、ステップＳ１２５に進む。
【００５７】
上述したステップＳ１２１の判定処理がＮｏとなる場合には、ステップＳ１２３に進む。
【００５８】
ステップＳ１２３は、デジタルカメラ１０がＭ２方向に傾斜したか否かを判定する処理である。このステップＳ１２３は、ステップＳ１１３と同一の処理である。なお、このステップＳ１２３の判定処理がＹｅｓとなる場合には、ステップＳ１２４に進む。一方、ステップＳ１２３の判定処理がＮｏとなる場合には、ステップＳ１２１に戻る。この場合も、最初に表示された連続画像がそのまま表示装置３４に表示される。
【００５９】
ステップＳ１２４は、撮影順序にしたがって連続画像を表示する処理である。なお、このステップＳ１２４の処理は、ステップＳ１１２と同一の処理である。このステップＳ１２４の処理が実行されると、ステップＳ１２５に進む。
【００６０】
ステップＳ１２５は、連続画像の表示を終了させるか否かを判定する処理である。このステップＳ１２５の判定処理は、ステップＳ１１５と同一の処理である。つまり、ユーザによって、連続画像の表示を終了させる旨の操作が実行された場合には、ＣＰＵ３５に連続画像の表示を終了させる旨の信号が入力される。このような場合には、ＣＰＵ３５は、ステップＳ１２５の判定処理をＹｅｓとし、フローチャートの処理を終了させる。一方、ＣＰＵ３５に連続画像の表示を終了させる旨の信号が入力されていない場合には、ＣＰＵ３５は、ステップＳ１２５の判定処理をＹｅｓとし、ステップＳ１２１に戻る。
【００６１】
図１０は、連続撮影を行った場合の被写体とデジタルカメラの相対位置、取得された連続画像及び動きベクトルを示す図である。なお、図１０においては、５回の撮像処理を連続して行う場合を示している。
【００６２】
例えば被写体を中心にデジタルカメラ１０をＲ方向に移動させながら撮影を行うと、被写体とデジタルカメラとの相対位置が変化する５つの連続画像ＣＩ１〜ＣＩ５が取得される。なお、これら連続画像のうち、時間的に連続する２つの連続画像（例えば、連続画像ＣＩ１及び連続画像ＣＩ２など）を用いて被写体領域ａ５及び背景領域ａ１〜ａ５における動きベクトルを算出すると、被写体領域ａ５における動きベクトルには変化がなく、背景領域ａ１〜ａ４における動きベクトルは左方向となる。このような撮影パターンは、撮影パターンＣとなる。
【００６３】
図１１は、デジタルカメラの傾斜状態を示す上面図である。なお、図１１（ｃ）に示すデジタルカメラの状態が基準状態となる。この状態では、連続画像ＣＩ３が表示装置３４に表示される。例えばデジタルカメラ１０をＭ１方向に傾斜させると、傾斜角θ＝θ１となるときに連続画像ＣＩ２が、傾斜角θ＝θ２となるときに連続画像ＣＩ１がそれぞれ表示装置３４に表示される。つまり、Ｍ１方向に傾斜させると、連続画像が撮影順序とは逆の順序にしたがって表示されていく。一方、連続画像ＣＩ３が表示装置３４に表示されるときにデジタルカメラ１０をＭ２方向に傾斜させると、傾斜角θ＝θ３のときに連続画像ＣＩ４が、傾斜角θ=θ４のときに連続画像ＣＩ５がそれぞれ表示される。つまり、Ｍ２方向に傾斜させると、連続画像が撮影順序にしたがって表示されていく。なお、デジタルカメラ１０を一方向に傾斜させていく過程で、逆方向にデジタルカメラ１０を傾斜させた場合には、傾斜させる方向に基づいた順序に基づいて連続画像が表示される。つまり、Ｍ１方向に傾斜させている途中で、Ｍ２方向に傾斜させた場合には、撮影順序とは逆の順序にしたがった連続画像の表示から、撮影順序に従った連続画像の表示となる。これによれば、デジタルカメラ１０の傾斜方向と、撮影時のデジタルカメラと被写体との相対位置が変化する方向とを逆の方向とすることで、ユーザは、表示される連続画像を、擬似的な立体感が生じた画像として観察することができる。
【００６４】
本実施形態では、ｚ方向を軸にして、デジタルカメラ１０をＭ１方向、又はＭ２方向に傾斜させる場合について説明している。しかしながら、デジタルカメラ１０を上下方向に移動させながら連続撮影する、又は上下方向に移動する被写体を連続撮影する、或いはデジタルカメラと被写体との相対位置を変化させる方向を上下方向として連続撮影を行う場合も考えられる。このような連続撮影により取得された連続画像を表示する場合には、ｘ方向を軸にしてデジタルカメラ１０を傾斜させればよい。
【００６５】
本実施形態では、時間的に連続する２つの連続画像から得られる動きベクトルが常に同一方向となる場合について説明しているが、連続画像を取得している場合には、被写体、又はデジタルカメラ１０の移動方向が変化する場合や、被写体及びデジタルカメラ１０の移動自体が停止する場合もある。このような場合には、連続画像から得られる動きベクトルも変化する。このような場合に対応するために、再生モードにて連続画像を表示する場合には、連続画像から求められる動きベクトルに応じて、連続画像を表示する際の撮影パターンを切り替えればよい。
【００６６】
本実施形態では、撮像装置の一例としてデジタルカメラ１０を例に取り上げているが、これに限定する必要はなく、カメラ機能を備えた携帯電話機などの携帯型端末機であってもよい。また、本実施形態では、撮像装置１０を例に取り上げているが、この他に、携帯型の表示装置に本発明を用いることができる。このような表示装置は、図２に示すバッファメモリ３０、画像処理装置３１、接続用Ｉ／Ｆ３２、表示制御回路３３、表示装置３４、ＣＰＵ３５、内蔵メモリ３６の機能を備えた表示装置であればよい。このような表示装置においては、装着される記憶媒体やバッファメモリに記憶される連続画像に対して、図８及び図９のフローチャートで表される再生モードの処理を実行すればよい。
【００６７】
本実施形態では、撮像装置や表示装置を例に取り上げているが、この他に、図８及び図９のフローチャートで表される再生モードの処理をコンピュータに実行させることが可能な表示制御プログラムであってもよい。また、この表示制御プログラムは、メモリカード、光学ディスク、磁気ディスクなど、コンピュータに読み取り可能な記憶媒体に記憶されていることが好ましい。
【符号の説明】
【００６８】
１０…デジタルカメラ、３３…表示制御回路、３４…表示装置、３５…ＣＰＵ、３７…傾き検出センサ、４１…記憶媒体、４５…制御部、４６…領域判別部、４７…動き検出部
【図１】
0005703798.tif 000002
【図２】
0005703798.tif 000003
【図３】
0005703798.tif 000004
【図４】
0005703798.tif 000005
【図５】
0005703798.tif 000006
【図６】
0005703798.tif 000007
【図７】
0005703798.tif 000008
【図８】
0005703798.tif 000009
【図９】
0005703798.tif 000010
【図１０】
0005703798.tif 000011
【図１１】
0005703798.tif 000012