(57)【要約】【課題】複数の画像を順次再生する際において、画像全体の意味や特徴が表れた画像切替エフェクトを付加することができ、驚きや臨場感と言った演出効果を好適に高めることができる画像表示装置及び画像表示方法を提供する。【解決手段】撮影された複数の画像を記憶する画像記憶部６１と、前記画像ごとに対応させて、少なくとも前記画像が画面上に表示されている際における画素ごとの被写体距離を記憶する被写体距離マップ記憶部６２と、前記画像を前記画像記憶部６１から読み出し、順次画面上に表示する画像表示部６３と、前記画像表示部６３が現時表示画像から次表示画像へと切り替える際に用いる画像切替エフェクトを生成する画像切替エフェクト生成部６４と、を備え、前記画像切替エフェクト生成部６４が、前記被写体距離マップ記憶部６２が記憶する画素ごとの被写体距離に基づいた画像切替エフェクトである距離エフェクトを生成するようにした。【選択図】図１０
2012129697.tif 000002
【特許請求の範囲】
【請求項１】
撮影された複数の画像を記憶する画像記憶部と、
前記画像ごとに対応させて、少なくとも前記画像が画面上に表示されている際における画素ごとの被写体距離を記憶する被写体距離マップ記憶部と、
前記画像を前記画像記憶部から読み出し、順次画面上に表示する画像表示部と、
前記画像表示部が現時表示画像から次表示画像へと切り替える際に用いる画像切替エフェクトを生成する画像切替エフェクト生成部と、を備え、
前記画像切替エフェクト生成部が、前記被写体距離マップ記憶部が記憶する画素ごとの被写体距離に基づいた画像切替エフェクトである距離エフェクトを生成することを特徴とする画像表示装置。
【請求項２】
前記画像切替エフェクト生成部が、現時表示画像の各画素が次表示画像の各画素に置き換えられる順番を、前記被写体距離マップ記憶部から読み出された現時表示画像の各画素の被写体距離に基づいて決定して、前記距離エフェクトを生成する請求項１記載画像表示装置。
【請求項３】
前記画像切替エフェクト生成部が、時間の経過に伴って現時表示画像の各画素が被写体距離の大きいものから小さいものへと順に次表示画像の対応する各画素へ置き換えられるように現時表示画像の各画素が次表示画像の各画素に置き換えられる順番を決定して、前記距離エフェクトを生成する請求項１又は２記載の画像表示装置。
【請求項４】
前記画像切替エフェクト生成部が、被写体距離が所定の範囲内にある現時表示画像の１又は複数の画素ごとに次表示画像の対応する１又は複数の画素へと置き換えられるように現時表示画像の各画素が次表示画像の各画素に置き換えられる順番を決定して、前記距離エフェクトを生成する請求項１、２又は３記載の画像表示装置。
【請求項５】
前記画像表示部が現時表示画像に適用する画像切替エフェクトを、複数の画像切替エフェクトから決定する画像切替エフェクト決定部をさらに備え、
前記画像切替エフェクト決定部が、前記被写体距離マップ記憶部から読み出された各画素の被写体距離の示す距離の出現頻度の分布が所定の範囲にばらついている場合には、前記距離エフェクトに決定し、前記被写体距離マップ記憶部から読み出された各画素の被写体距離の示す距離の出現頻度の分布が所定の範囲に偏っている場合には、前記距離エフェクト以外の画像切替エフェクトに決定する請求項１、２、３又は４記載の画像表示装置。
【請求項６】
前記画像切替エフェクト決定部が、画像切替エフェクトごとの使用頻度に基づいていずれの画像切替エフェクトを使用するかについて決定する請求項１、２、３、４又は５記載の画像表示装置。
【請求項７】
請求項１乃至６いずれかに記載の画像表示装置を備えた撮像装置であって、
各光軸を所定距離だけ離間させて並列に設けた２つの撮像光学系と、
各記撮像光学系により形成される被写体像をそれぞれ画像信号に変換する２つの撮像素子と、
各撮像素子により変換された画像信号により生成される２つの画像に基づいて、各画像内において同一の被写体について撮像場所からの離間距離である被写体距離を算出する被写体距離算出部と、を備えた撮像装置。
【請求項８】
撮影された複数の画像を画像記憶部に記憶させる画像記憶ステップと、
前記画像ごとに対応させて、少なくとも前記画像が画面上に表示されている際における画素ごとの被写体距離を被写体距離マップ記憶部に記憶させる被写体距離マップ記憶ステップと、
前記画像を前記画像記憶部から読み出し、順次画面上に表示する画像表示ステップと、
前記画像表示ステップにおいて現時表示画像から次表示画像へと切り替える際に用いる画像切替エフェクトを生成する画像切替エフェクト生成ステップと、を備え、
前記画像切替エフェクト生成ステップにおいて前記被写体距離マップ記憶部に記憶させた画素ごとの被写体距離に基づいた画像切替エフェクトである距離エフェクトを生成することを特徴とする画像表示方法。
【請求項９】
前記画像切替エフェクト生成ステップにおいて、現時表示画像の各画素が次表示画像の各画素に置き換えられる順番を、前記被写体距離マップ記憶部から読み出された現時表示画像の各画素の被写体距離に基づいて決定して、前記距離エフェクトを生成する請求項８記載画像表示方法。
【請求項１０】
前記画像切替エフェクト生成ステップにおいて、時間の経過に伴って現時表示画像の各画素が被写体距離の大きいものから小さいものへと順に次表示画像の対応する各画素へ置き換えられるように現時表示画像の各画素が次表示画像の各画素に置き換えられる順番を決定して、前記距離エフェクトを生成する請求項８又は９記載の画像表示方法。
【請求項１１】
前記画像切替エフェクト生成ステップにおいて、被写体距離が所定の範囲内にある現時表示画像の１又は複数の画素ごとに次表示画像の対応する１又は複数の画素へと置き換えられるように現時表示画像の各画素が次表示画像の各画素に置き換えられる順番を決定して、前記距離エフェクトを生成する請求項８、９又は１０記載の画像表示方法。
【請求項１２】
前記画像表示ステップにおいて現時表示画像に適用する画像切替エフェクトを、複数の画像切替エフェクトから決定する画像切替エフェクト決定ステップをさらに備え、
前記画像切替エフェクト決定ステップにおいて、前記被写体距離マップ記憶部から読み出された各画素の被写体距離の示す距離の出現頻度の分布が所定の範囲にばらついている場合には、前記距離エフェクトに決定し、前記被写体距離マップ記憶部から読み出された各画素の被写体距離の示す距離の出現頻度の分布が所定の範囲に偏っている場合には、前記距離エフェクト以外の画像切替エフェクトに決定する請求項８、９、１０又は１１記載の画像表示方法。
【請求項１３】
前記画像切替エフェクト決定ステップにおいて、画像切替エフェクトごとの使用頻度に基づいていずれの画像切替エフェクトを使用するかについて決定する請求項８、９、１０、１１又は１２記載の画像表示方法。
【請求項１４】
各光軸を所定距離だけ離間させて並列に設けた２つの撮像光学系と、各記撮像光学系により形成される被写体像をそれぞれ画像信号に変換する２つの撮像素子と、を備えた撮像装置を用いて、
各撮像素子により変換された画像信号により生成される２つの画像に基づいて、各画像内において同一の被写体について撮像場所からの離間距離である被写体距離を算出する被写体距離算出ステップを更に備えた請求項８、９、１０、１１、１２又は１３記載の画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は複数の画像を順次表示する表示装置及び表示方法、それらを用いた撮像装置に関するものである。
【背景技術】
【０００２】
例えば、デジタルカメラにより撮影された複数の静止画像をパソコンや、デジタルカメラのモニタ、フォトフレーム等の表示装置で鑑賞する際には、スライドショー形式で各画像を順次再生が行われる。このようなスライドショーでは、ある画像から次の画像へと切り替えられる時に、画像切替エフェクトがかけられることが多い。
【０００３】
前記画像切替エフェクトとしては、例えば、現時表示画像からモザイク形式で次表示画像へと置き換わるモザイクあるいはワイプ、次表示画像が現時表示画像に対して側方等から挿入されるスクロール、原画像が消えていくと同時に次表示画像がディゾルブ等といったものが使用されている。
【０００４】
前述した表示装置は、これらのような複数の画像切替エフェクトを切替のたびにランダムに適用するように予め画像再生プログラムが組まれており、表示されている現時表示画像及び次表示画像と適用されている画像切替エフェクトとの間には何の関連性もない。つまり、画像が表示されている画面全体に対して一律的に作用する規定の画像切替エフェクトがランダムに適用されているにすぎず、画像の有している意味や、特徴といったものは画像切替エフェクトに利用されていない。
【０００５】
これに対して、撮影された画像中の意味や特徴そのものではなく、付加的な情報を加味してスライドショーを行うように構成されたものはある。特許文献１に記載されている画像再生装置は、撮影された画像にＧＰＳから取得した撮影地点に関する情報と、撮影された日時に関する情報を付加しておき、それらの情報に基づいて、スライドショー時に用いられるバックグランド画像やバックグラウンドミュージックを予め設定してある候補の中から撮影地点や撮影日時を想起させるものが選択されるように構成されている。また、撮影画像の合焦位置までの距離を算出して、その合焦距離に基づいて予め設定してある複数の画像切替エフェクトのうちどれを使用するかが決定されるように構成された画像再生装置が特許文献２に記載されている。
【０００６】
しかしながら、これらの画像再生装置では画像中の撮影場所、撮影日時、合焦距離といった画像への付加情報から、画面全体に一律に適用される画像切替エフェクト等を複数の中から選択するように構成されているだけであるので、バリエーションがどうしても限定され面白みにかけてしまい、新しい驚きや臨場感については乏しい演出になってしまいがちである。また、合焦位置等といった撮影された画像のごく一部に関する情報だけでは、画像が全体として有する意味や特徴を捉えた演出を行うことは難しい。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−７４５４８号公報
【特許文献２】特開２００６−５４５２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
そこで、本発明は上述したような問題点を鑑みてなされたものであり、複数の画像を順次再生する際において、画像全体の意味や特徴が表れた画像切替エフェクトを付加することができ、驚きや臨場感と言った演出効果を好適に高めることができる画像表示装置及び画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
すなわち、本発明の画像表示装置は、撮影された複数の画像を記憶する画像記憶部と、前記画像ごとに対応させて、少なくとも前記画像が画面上に表示されている際における画素ごとの被写体距離を記憶する被写体距離マップ記憶部と、前記画像を前記画像記憶部から読み出し、順次画面上に表示する画像表示部と、前記画像表示部が現時表示画像から次表示画像へと切り替える際に用いる画像切替エフェクトを生成する画像切替エフェクト生成部と、を備え、前記画像切替エフェクト生成部が、前記被写体距離マップ記憶部が記憶する画素ごとの被写体距離に基づいた画像切替エフェクトである距離エフェクトを生成することを特徴とする。
【００１０】
また、本発明の画像表示方法は、撮影された複数の画像を画像記憶部に記憶させる画像記憶ステップと、前記画像ごとに対応させて、少なくとも前記画像が画面上に表示されている際における画素ごとの被写体距離を被写体距離マップ記憶部に記憶させる被写体距離マップ記憶ステップと、前記画像を前記画像記憶部から読み出し、順次画面上に表示する画像表示ステップと、前記画像表示ステップにおいて現時表示画像から次表示画像へと切り替える際に用いる画像切替エフェクトを生成する画像切替エフェクト生成ステップと、を備え、前記画像切替エフェクト生成ステップにおいて前記被写体距離マップ記憶部に記憶させた画素ごとの被写体距離に基づいた画像切替エフェクトである距離エフェクトを生成することを特徴とする。
【００１１】
このようなものであれば、画像の各画素の被写体距離を用いて画像切替エフェクトを生成するので、画像全体の特徴や意味に応じた画像切替を行うことができ、しかも、画像ごとに全く異なる画像切替エフェクトにより切替を行っていくこともできる。従って、常に画像切替効果に驚きをもたらすことが可能となる。また、例えば、各画素の被写体距離に基づいているので、被写体距離が近い画素を一つの被写体として捉え、被写体ごとに順に現時表示画像から次表示画像に変化させていくことができ、自然で臨場感のある画像切替演出を行うことが可能となる。さらに、画面全体に一律に規定の画像切替エフェクトをかける場合とは異なり、被写体距離に基づいて、画像中の任意の点から画像切替を行うことが可能となり、演出の幅を非常に大きくすることができる。
【００１２】
臨場感のある画像切替エフェクトするためには、前記画像切替エフェクト生成部が、現時表示画像の各画素が次表示画像の各画素に置き換えられる順番を、前記被写体距離マップ記憶部から読み出された現時表示画像の各画素の被写体距離に基づいて決定して、前記距離エフェクトを生成するものであればよい。
【００１３】
例えば、画像切替エフェクトを実行している際に現時表示画像中の人物の顔の一部だけが先に次表示画像に入れ替わってしまう等して、不適切な画像が顔に合成されたかのようなとならないようにすることができ、鑑賞者に不快感を与えることなく、驚きや臨場感を演出できるようにするには、前記画像切替エフェクト生成部が、時間の経過に伴って現時表示画像の各画素が被写体距離の大きいものから小さいものへと順に次表示画像の対応する各画素へ置き換えられるように現時表示画像の各画素が次表示画像の各画素に置き換えられる順番を決定して、前記距離エフェクトを生成するものであればよい。このように構成すれば、単一の被写体であれば被写体距離は略同じであるので、例えば人物の一部だけが先行して切り替えられ、その状態が長時間維持されるといった事態は防ぐことができる。
【００１４】
現時表示画像の被写体ごとに次表示画像へと切り替えることができる別の具体的な実施の態様としては、前記画像切替エフェクト生成部が、被写体距離が所定の範囲内にある現時表示画像の１又は複数の画素ごとに次表示画像の対応する１又は複数の画素へと置き換えられるように現時表示画像の各画素が次表示画像の各画素に置き換えられる順番を決定して、前記距離エフェクトを生成するものが挙げられる。
【００１５】
距離エフェクトが有効に作用する画像にのみ、当該エフェクトが適用されるようにして、より鑑賞者に好適な印象を持たせることができるようにするには、前記画像表示部が現時表示画像に適用する画像切替エフェクトを、複数の画像切替エフェクトから決定する画像切替エフェクト決定部をさらに備え、前記画像切替エフェクト決定部が、前記被写体距離マップ記憶部から読み出された各画素の被写体距離の示す距離の出現頻度の分布が所定の範囲にばらついている場合には、前記距離エフェクトに決定し、前記被写体距離マップ記憶部から読み出された各画素の被写体距離の示す距離の出現頻度の分布が所定の範囲に偏っている場合には、前記距離エフェクト以外の画像切替エフェクトに決定するものであればよい。
【００１６】
よく似た画像が連続して表示される等して、同じような距離エフェクトが頻繁に使用され、鑑賞者に退屈感が生じないようにし、距離エフェクトの演出効果に飽きがこないようにするには、前記画像切替エフェクト決定部が、画像切替エフェクトごとの使用頻度に基づいていずれの画像切替エフェクトを使用するかについて決定するものであればよい。
【００１７】
画像の各画素についての被写体距離を容易に取得することができるとともに、本発明の画像表示方法を好適に用いることができる具体的な実施の態様としては、前述した画像表示装置と、各光軸を所定距離だけ離間させて並列に設けた２つの撮像光学系と、各記撮像光学系により形成される被写体像をそれぞれ画像信号に変換する２つの撮像素子と、各撮像素子により変換された画像信号により生成される２つの画像に基づいて、各画像内において同一の被写体について撮像場所からの離間距離である被写体距離を算出する被写体距離算出部と、を備えたものであればよい。
【発明の効果】
【００１８】
このように本発明の画像表示装置及び画像表示方法等によれば、画像中の各画素の被写体距離を用いて画像切替エフェクトを生成するように構成されているので、画面全体に一律に画像切替エフェクトを施す場合に比べて、任意の点から画像切替を行う、あるいは、画像全体の意味や特徴に応じた画像切替エフェクトを施すことが可能となる。このため、従来の画像切替方法に比べて、驚きや変化の臨場感を増すことができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係る撮像装置を示す模式的前方斜視図。
【図２】同実施形態における撮像装置を示す模式的後方斜視図。
【図３】同実施形態における撮像装置全体の電気的構成を示す機能ブロック図。
【図４】同実施形態における表示装置に関する構成を示す機能ブロック図。
【図５】同実施形態における被写体距離を測定する原理を説明するための概念図。
【図６】被写体距離を測定するための別の方法を説明する模式図。
【図７】従来の画像切替エフェクトによる画像切替の一例を示す模式図。
【図８】本実施形態の距離エフェクトに用いられる被写体距離マップの模式図。
【図９】同実施形態における距離エフェクトでの時間経過に伴う画像切替の進行を示すグラフ。
【図１０】同実施形態における距離エフェクトによる時間経過に伴う画像切替を示す模式図。
【図１１】同実施形態における距離エフェクトの適用の判断に用いられる距離マップ値のばらつきの概念を示すグラフ。
【図１２】同実施形態における撮影時の被写体距離マップ作成の動作を示すフローチャート。
【図１３】同実施形態におけるスライドショー時の動作を示すフローチャート。
【図１４】同実施形態における距離エフェクトの動作を示すフローチャート。
【図１５】同実施形態における距離エフェクトの動作の一部を示すフローチャート。
【図１６】その他の実施形態における距離エフェクトでの時間経過に伴う画像切替の進行を示すグラフ。
【発明を実施するための形態】
【００２０】
本発明の一実施形態について図面を参照しながら説明する。
【００２１】
＜装置全体の構成に関する説明＞
【００２２】
本実施形態の撮像装置１００は、撮影された画像をスライドショー形式で再生する表示装置２００を備えたものであり、そのスライドショー時における画像切替エフェクトに特徴を有するものである。前記表示装置２００は前記撮像装置１００内の各種構成部材が協業することによりその機能を発揮するように構成してある。
【００２３】
本実施形態の撮像装置１００は、立体画像を撮像するためのものであって、図１の前方斜視図に示すように、前面には電源オン時において撮像光学系１を保持する鏡筒が２つ並んで突出するように設けている他、ストロボ装置３８等が設けてある。なお、これらの鏡筒は電源オフ時には内部に収容されるようにしてある。また、図２の後方斜視図に示すように背面には撮像された画像を立体視するためのモニタ３５と、各種操作に用いられる操作キー５３等が設けてある。前記モニタ３５は例えば、レンチキュラーレンズを用いた３Ｄモニタである。そして上面には、シャッターレリーズ操作を行うために用いられるシャッタボタン５１と、撮影モードを切り替えるためのモードダイヤル５２が設けてある。
【００２４】
すなわち、本撮像装置１００は、各光軸１４を所定距離だけ離間させて並列に設けた２つの撮像光学系１と、各記撮像光学系１により形成される被写体像をそれぞれ画像信号に変換する２つの撮像素子２と、を備え、２つの撮像光学系１により同時に撮像することで、視差のある２つの画像を生成できるようにしてある。これらの視差のある２つの画像に基づいて前記モニタ３５において立体表示される立体画像が生成されるようにしてある。
【００２５】
図３は、本実施形態の撮像装置１００の電気的な構成を機能ブロックとして示すものである。図３に示すように、２つの撮像光学系１、２つの撮像素子２、画像信号処理回路３１、ＶＲＡＭ３２、評価値算出回路３３、表示画像処理回路３４、モニタ３５、圧縮処理回路３６、記録メディア３７、ＣＰＵ４１、メモリ４２、４３、等が協業して、いわゆるデジタルカメラとしての機能を発揮するように構成してある。以下に各部について説明する。
【００２６】
２つの撮像光学系１において共通する構成について説明する。なお、２つの撮像光学系１及び撮像素子２について区別が必要な場合には立体画像を構成する左側画像を生成するための撮像光学系１には第１、立体画像を構成する右側画像を生成するための撮像光学系１には第２を付けて区別するものとする。各撮像光学系１はそれぞれの光軸１４が平行となるように、人間の両目の視差と略同じ程度の距離だけ離間させて並列に設けてある。そして前記撮像光学系１は、光軸１４に沿って外側から順に、ズームレンズ１１、絞り１２、フォーカスレンズ１３の順で並べて構成してあり、前記フォーカスレンズ１３の後ろ側に前記撮像素子２が設けてある。前記撮像素子２としては、例えばＣＣＤ型やＣＭＯS型のイメージセンサが用いられる。
【００２７】
前記絞り１２にはアイリスモータが接続されており、ＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）動作時に絞り１２値を変化させて光束を制限して露出量を制御するために用いられる。また前記フォーカスレンズ１３にはレンズモータが接続されており、ＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）動作時に当該フォーカスレンズ１３を撮像光学系１の光軸１４に沿って移動させることにより、撮像光学系１のフォーカス位置を制御してピント調整を行うように構成してある。
【００２８】
前記撮像素子２は、前記撮像光学系１により結像された被写体像を画像信号に変化するものである。当該撮像素子２には、タイミングジェネレータ２１（ＴＧ）が接続してあり、ＴＧ２１により前記撮像素子２の光電荷蓄積、転送動作が制御される。なお、前記絞り１２、前記フォーカスレンズ１３はドライバ１５、１６を介して、前記撮像素子２はタイミングジェネレータ２１（ＴＧ）を介して、ＣＰＵ４１により制御される。
【００２９】
前記撮像素子２から出力された画像信号は、相関二重サンプリング回路（ＣＤＳ）及び増幅器（ＡＭＰ）２２、Ａ／Ｄコンバータ（ＡDＣ）２３、の順で入力され、アナログデータからデジタルデータへと変換される。デジタルデータに変換された画像信号は、画像コントローラ２４が入出力をコントロールする。前記画像信号は、画像信号処理回路３１に入力され、ホワイトバランス補正、γ補正処理等が施され、第１撮像光学系１により撮像された第１画像と、第２撮像光学系１により撮像された第２画像として、ＶＲＡＭ３２の所定領域Ａ、Ｂにそれぞれ別々に一次的に記憶される。このＶＲＡＭ３２に記憶されている各画像は所定周期ごとに更新される。具体的には前記タイミングジェネレータ２１により撮像素子２が１／３０秒（１フレーム）ごとに露光及び画像信号の出力が繰り返されるのに合わせて更新される。
【００３０】
前記評価値算出回路３３は、ＶＲＡＭ３２に記憶された第１及び第２画像の各々からＡＦ評価値及びＡＥ評価値等を算出するものである。ＡＦ評価値とは、本実施形態では被写体が各撮像素子２に結像した際の光軸からのずれ量の評価値であるずれ評価値、又は２つの画像の位相差評価値を含む被写体距離評価値や、コントラスト評価値等に相当するものである。被写体距離評価値は、後述する被写体距離の算出において用いられるものである。またコントラスト評価値は、前記各画像の所定領域について、輝度値の高周波成分を積算することにより算出されたものである。すなわち、隣接する画素間のコントラスト（輝度差）を所定領域内について足し合わせたものである。また、ＡＥ評価値とは、各画像データの所定領域について輝度値を積算することで算出され、画像の明るさを表すものである。コントラスト評価値、ＡＥ評価値はそれぞれ後述するＡＦ動作及びＡＥ動作において用いられる。
【００３１】
前記表示画像処理回路３４は、ＶＲＡＭ３２に記憶されている第１及び第２画像に基づいてＬＣＤモニタ３５において立体表示するための立体画像を合成するものである。前記モードダイヤル５２により撮影モードが選択されており、ＬＣＤモニタ３５がビューファインダとして使用される際には、前記表示画像処理回路３４によって合成された立体画像が、ＬＣＤドライバ３５１を介してＬＣＤモニタ３５にスルー画像として表示される。また、モードによっては立体合成画像を用いずに、前記ＶＲＡＭ３２に記憶されている画像をそのままＬＣＤモニタ３５に表示するようにしても構わない。
【００３２】
前記圧縮処理回路３６は、ＶＲＡＭ３２に記憶された第１及び第２画像に対して、ＪＰＥＧ方式等の圧縮形式により圧縮処理を施すものである。メディアコントーラ３７１は、圧縮処理回路３６によって圧縮処理された各画像をメモリカード等の記録メディア３７に保存する。また、モードダイヤル５２によりビューモードが選択されている場合には、この記録メディア３７に保存されている第１及び第２画像に基づいて、前記表示画像処理回路３４により生成された立体画像が前記モニタ３５により表示される。
【００３３】
前記モニタ３５はＬＣＤモニタであり、その詳細な構造は図示しないが、微小なかまぼこ状レンズを並べて形成したレンチキュラーをフィルタ上に形成して、そのフィルタをモニタの表面に設けてある。そして、モニタ３５に映し出す画像を左右それぞれの目に異なる画像を届けることで裸眼立体視を可能にする。なお、前記モニタ３５はその表面にパララックスバリア表示層を備えたパララックスバリア式のものであってもよい。より具体的には、モニタ３５は、立体表示を行う際に、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その仮想の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで立体視を可能としてもよい。
【００３４】
前記ＣＰＵ４１は、撮像装置１００の全体の動作を統括的に制御するものである。ＣＰＵ４１には、前述のシャッタボタン５１、モードダイヤル５２、各種操作キー５３の他、不揮発性メモリ４３が接続されている。
【００３５】
前記シャッタボタン５１は、２段押のスイッチ構造となっている。シャッタボタン５１がユーザにより軽く押圧（半押し）されると、撮像準備動作が開始される。シャッタボタン５１が強く押圧（全押し）されると、撮影処理が行われ、１画面分の第１及び第２画像がＶＲＡＭ３２から記録メディア３７に転送されて記憶される。また、この記録メディア３７に記憶されている撮影された画像は、モードダイヤル５２で再生モードが選択されている場合には、前記表示画像処理回路により立体画像が合成されたのちに前記モニタ３５に表示される。
【００３６】
＜表示装置に関連する構成の説明＞
【００３７】
前記前記不揮発性メモリ４３には、各種制御用のプログラムや設定情報等が記憶されている。しかして、前記ＣＰＵ４１、ＳＤＲAM４２、不揮発性メモリ４３、各種回路等、記録メディア３７等が協業してプログラムや設定情報に基づき、少なくとも、画像記憶部６１、被写体距離算出部６６、被写体距離マップ記憶部６２、画像表示部６３、画像切替エフェクト生成部６４、画像切替エフェクト決定部６５、画像切替パターン記憶部６７としての機能を発揮するように構成してある。これらの各部は撮影された画像をスライドショー形式で表示する表示装置２００として動作するものであり、その機能ブロック図は図４のようになる。
【００３８】
前記画像記憶部６１は、シャッタボタン５１が全押しされ、撮影された１組の画像を記憶するものである。より具体的には、前記画像記憶部６１は、前記記録メディア３７中に圧縮処理回路３６により圧縮されたＪＰＥＧ形式の画像を記憶するように構成してある。
【００３９】
前記被写体距離算出部６６は、各撮像素子２により変換された画像信号により生成される２つの画像に基づいて、各画像内において同一の被写体について撮像場所からの離間距離である被写体距離を算出するように構成してある。
【００４０】
被写体距離は三角測距の原理に基づいて測定されるものであり、図５に示すように２つの撮像光学系１がある場合、それぞれの撮像光学系１には視差があるため、撮像光学系１から被写体までの距離に応じて、前記撮像素子２上で結像する位置にずれが生じる。ここで、視差の大きさである各撮像光学系１の光軸１４間距離をＢ、撮像光学系１の主点から撮像素子２までの距離をｆ、ある被写体が第１撮像素子２に対して結像している結像位置が前記第１撮像光学系１の光軸１４に対してずれている量をＤ１、同じく第２撮像素子２に結像し、第２撮像光学系１の光軸１４に対してずれている量をＤ２、撮像光学系１の主点から被写体までの距離をＬとすると、三角形の相似条件等から、Ｌ＝Ｂｆ／（Ｄ１＋Ｄ２）で被写体距離を算出することができる。ここで、ｆとＢに関しては撮像装置１００の設定情報等から既知の値であるので、Ｄ１＋Ｄ２を求めればよい。このＤ１＋Ｄ２は各撮像光学系１及び撮像素子２により撮像され、前記ＶＲＡＭ３２に記憶されている第１及び第２画像について前記評価値算出回路３３により比較が行われ、被写体の結像位置が検出されることによりＤ１＋Ｄ２が算出される。そして、この情報に基づいて前記評価値算出回路３３から被写体距離が出力される。具体的には前記評価値算出回路３３においては、撮影された全ての画素中の被写体について、ずれ評価値であるＤ１＋Ｄ２を算出し、それに基づいて各画素の被写体距離を算出する。例えば、撮像された画像データの全ての画素について被写体距離を撮像するのではなく、画像が表示されるモニタやテレビ等の表示画素数に合わせて、算出する被写体距離の量を減らしても構わない。
【００４１】
なお、被写体距離を算出する方法は前述したものに限られず、例えば図６（ａ）に示すような第１画像と第２画像を、図６（ｂ）の右側のように単純に重ね合わせるのではなく、図６（ｂ）の右側に示すように第１画像及び第２画像を合焦位置において重ね合わせることにより生じる、画像中の各被写体のずれ量から撮像素子２での結像位置のずれ量Ｄ１＋Ｄ２を算出することもでき、このずれ量を用いて被写体距離算出を行うように評価値算出回路３３を構成しても構わない。このように本実施形態の撮像装置１００のように２眼の撮像装置であれば、同時に撮像された視差の有する２つの画像に基づいて、画像全体について被写体距離を容易に撮像することができる。仮に１眼の撮像装置であれば、コントラストＡＦ等の結果から画像の中央部等の一部領域にある合焦被写体までの距離を測定することはできるものの、画像全体での被写体距離を測定するのはメモリやＤＳＰ等の制約上非常に難しい。このような意味でも、本実施形態のように２つの撮像光学系１を有する撮像装置１００であれば、画像の各画素について被写体距離を算出するのに優位性がある。
【００４２】
なお、本実施形態の前記被写体距離算出部６６は、シャッタボタン５１が全押しされ撮影が行われた時に画像を生成される際に、併せて各画素での被写体距離を算出するように構成してあるが、２つの画像に基づいて、画像を生成するのとは別に例えばアイドル時等の撮像装置に計算負荷がかかっていない時に算出するように構成しても構わない。
【００４３】
前記被写体距離マップ記憶部６２は、撮影された画像ごとに対応させて、前記被写体距離算出部６６により算出される少なくとも前記画像がモニタ３５に表示されている際における画素ごとの被写体距離を被写体距離マップとして記憶するものである。本実施形態では、被写体距離マップ記憶部６２は、前記記録メディア３７上にあるＪＰＥＧファイルに付加情報として組み込んで形成してある。また、前記画像記憶部６１は、ＪＰＥＧファイルの画像情報の部分に相当する。なお、この被写体距離マップは前記画像と１対１に対応するのであれば、別ファイルとして記憶しても構わない。
【００４４】
前記画像表示部６３は、前記モニタ３５に前記画像記憶部６１から読み出された画像をスライドショー形式で順次表示するように構成してある。前記画像表示時部は、現在表示している現時表示画像から次に表示する次表示画像を表示する際に画像切替エフェクトをかけながら表示するようにしてある。
【００４５】
前記画像切替エフェクト生成部６４は、前記画像表示部６３において使用される画像切替エフェクトの１つである、前記被写体距離マップ記憶部６２から読み出された現時表示画像の被写体距離マップに基づいて距離エフェクトを生成するものである。ここで、本実施形態の距離エフェクトとは、時間の経過に伴って現時表示画像の各画素が被写体距離に応じて順番に次表示画像の対応する各画素へ置き換えられるようにした画像切替エフェクトである。この距離エフェクトについて、従来のワイプと比較しながらどのような画像切替エフェクトであるかについて説明する。
【００４６】
図７（ａ）に示すように複数の人が撮影された画像を現時表示画像、犬が撮影された画像を次表示画像として説明する。従来のワイプであれば、図７（ｂ）に示すように時間の経過に伴って、現時表示画像に映っている被写体に関係なく一律に次表示画像に変化していくことになる。より詳細には、この例であればある時点で、現時表示画像のうちＸ座標がある数値以上であるものは次表示画像に置き換えられるものであり、時間の経過とともにその閾値を小さく変化させていくことで順次切替が行われる。図７（ｂ）から明らかであるが、このような画像切替エフェクトの場合、画像全体に一律に変化を生じさせるものであるので、現時表示画像の被写体である人物等が次表示画像により切断されてしまう等する。
【００４７】
一方、本実施形態の距離エフェクトは、図８に示すような現時表示画像の被写体距離マップに基づいて、各被写体が次表示画像へと切り替えられる順番が決定されるようにしてある。なお、被写体距離は本実施形態では正規化してｎｅａｒ（最近接点）からｆａｒ（無限遠点）までを０から５０の距離マップ値に対応するようにしてある。そして、図９のグラフに示すようにこの距離マップ値の閾値を時間の経過とともに５０から０又は０から５０へと変化させ、現時表示画像の各画像の距離マップ値がこの直線に対してどちら側の領域にあるか、すなわちある時点での閾値に対する大小に基づいて、その画素を現時表示画像で維持するか、又は次表示画像に置き換えるかが決定されるようにしてある。
【００４８】
ここで、図９（ａ）に示すように距離マップ値が５０から０の順で現時表示画像が次表示画像へと置き換わる例で距離エフェクトについて説明する。図１０が距離エフェクトによる画像切替の状態遷移を示す図である。図８の被写体距離マップからもわかるように、図１０では、まず現時表示画像における無限遠点である被写体が空である部分から次表示画像に置き換えられ、次に山の部分も次表示画像へと置き換えられる。そして、一番遠い位置にいる人物と地面が次表示画像に置き換えられ、右側の人物、中央の人物の順で次表示画像へと置き換えられる。このように被写体単位で次表示画像に置き換えられるのは、一体のものであれば、基本的に被写体距離は略同じ値となるためである。これが、輝度値や色相等であると同一の被写体中であっても被写体の部位によってその値が大きく異なることがあるため、例えば人物の顔の一部のみが先行して次表示画像に切り替わってしまう等不快な画像切替になってしまう可能性がある。つまり、被写体距離マップに基づいた画像切替エフェクトであることから、上述したような不快な切替を防ぐことができるとともに、従来にない臨場感や驚きのある演出効果を奏することができる。
【００４９】
前記画像切替エフェクト決定部６５は、前記画像表示部６３に用いられる画像切替エフェクトを距離エフェクトにするか、もしくは、その他のパターン化された定型のエフェクトを用いるかについて決定するものである。すなわち、前記画像切替エフェクト決定部６５は、距離エフェクトを用いると大きな演出効果が見込める現時表示画像の場合には、距離エフェクトに決定するように構成してある。具体的には、前記画像切替エフェクト決定部６５は、図１１（ａ）に示すように前記被写体距離マップ記憶部６２から読み出された各画素の被写体距離の示す距離の出現頻度の分布が所定の範囲にばらついている場合には、前記距離エフェクトに決定し、図１１（ｂ）に示すように例えば距離マップ値が中央部に固まっており、前記被写体距離マップ記憶部６２から読み出された各画素の被写体距離の示す距離の出現頻度の分布が所定の範囲に偏っている場合には、前記距離エフェクト以外の画像切替エフェクトに決定するようにも構成してある。距離エフェクト以外の画像切替エフェクトは、前記画像切替パターン記憶部６７に記憶されている複数の定型エフェクトからランダムで選択され、前記画像表示部６３はその定型エフェクトに関する情報を取得する。
【００５０】
このように構成された表示装置２００を備えた撮像装置１００の距離マップの作成及びスライドショーでの動作についてフローチャートを参照しながら説明する。
【００５１】
まず、図１２に示すようにシャッタボタン５１が半押しにされと、前記撮像装置１００は合焦動作を開始しはじめ（ステップＳ１）、コントラストＡＦによりフォーカスレンズ１３を合焦位置へと駆動する（ステップＳ２）。ユーザによりシャッタボタン５２が全押しされると、静止画像の撮影が行われる（ステップＳ３）。その際、２つの撮像光学系により形成される視差のある２つの画像に基づいて、前記被写体距離算出部６６は三角測距方式により画像全体にわたって必要な被写体距離を算出する（ステップＳ４）。撮影された画像は圧縮回路３６によりＪＰＥＧ圧縮が行われるとともに前記画像記憶部６１の一部をなす前記記録メディア３７に記憶される（ステップＳ５）。また前記被写体距離算出部６６により算出された被写体距離マップは、撮影された後にＪＰＥＧ圧縮された画像に組み込まれ１つのファイルとされる（ステップＳ５）。
【００５２】
次に、モードダイヤル５２により再生モードが選択され、スライドショーが始まった場合の動作について説明する。
【００５３】
スライドショーが開始されると（ステップＳ７）、まず初期表示画像が前記画像記憶部６１から読み込まれる（ステップＳ８）。この際、前記画像切替エフェクト決定部６５は、この読み込まれた初期表示画像に被写体距離マップが組み込まれているかどうか（ステップＳ９）と距離マップ値の分布がばらついているかどうかについて判別する（ステップＳ１０）。ここで、被写体距離マップがあり、マップ値も適度にばらついている場合には、前記画像切替エフェクト決定部６５は、次表示画像に切り替える際の画像切替エフェクトを距離エフェクトにすることを決定し、（ステップＳ１１）、被写体距離マップが組み込まれていない、又は、距離マップ値が偏っている場合には、前記画像切替パターン記憶部６７から定型エフェクトのうちいずれを使用するかを決定する（ステップＳ１２）。
【００５４】
初期表示画像から次表示画像へと切り替える際の画像切替エフェクトが決定されると、次表示画像が前記画像記憶部６１から読み込まれる（ステップＳ１３）。この次表示画像が読み込まれた時点で、この次表示画像が現時表示画像となった後に切り替えられる際の画像切替エフェクトが決定される。すなわち、前記画像切替エフェクト決定部６５によりこの次表示画像に距離マップがあるかどうか（ステップＳ１４）、距離マップ値の分布がばらついているかどうか（ステップＳ１５）、さらに距離エフェクトの使用頻度が所定頻度よりも低いかどうか（ステップＳ１６）について判別が行われ、ステップＳ１４からＳ１６までが全てＹｅｓの場合のみ画像切替エフェクトを距離エフェクトに決定する（ステップＳ１７）。一つでもＮｏがあった場合には前記画像切替エフェクト決定部６５は、画像切替エフェクトを前記画像切替パターン記憶部６７に記憶された定型エフェクトから選択する（ステップＳ１８）。その後、現時表示画像に対して決定された画像切替エフェクトにより画像の切り替えが行われる（ステップＳ１９）。画像切替エフェクトが終了すると、この現時表示画像で最後の画像かどうかの判断が前記画像表示部６３で行われ、まだ表示すべき画像が残っている場合には、ステップＳ１３からステップＳ１８に至る動作が繰り返される（ステップＳ２０）。表示すべき画像が無くなった時点でスライドショーが終了される（ステップＳ１９）。
【００５５】
最後に前記ステップＳ１９での画像切替エフェクトにおいて距離エフェクトが実行された際の動作について詳述する。
【００５６】
距離エフェクトが開始されると（ステップＴ１）、まず前記画像切替エフェクト生成部６４において被写体距離マップの解析が行われ（ステップＴ２）、切替に掛ける時間である切替設定時間と距離マップ値の存在する範囲に基づいて、書き換えフレーム間隔が決定される（ステップＴ３）。次に、前記画像切替エフェクト生成部６４は、ｆａｒからｎｅａｒの順で現時表示画像を次表示画像へと書き換えるのか、ｎｅａｒからｆａｒの順で現時表示画像を次表示画像へと書き換えるのかについて決定する（ステップＴ４）。ｆａｒからｎｅａｒの順で画像を切り替える場合には（ステップＴ５）、前記画像切替エフェクト生成部６４は、現時表示画像のある画素を時間の経過とともに次表示画像へと切り替えかどうかの判断の基準となる閾値距離ｍをｍ＝５０に設定し（ステップＴ６）、被写体距離マップを参照して、現時表示画像が画面上での各座標での画素ごとの被写体距離を取得する（ステップＴ７）。次に、画像切替エフェクト生成部６４は現時表示画像の各座標にある画素ごとの被写体距離について、閾値距離ｍ以上であるかどうかを判別する（ステップＴ８）。各画素のうち被写体距離が閾値距離ｍ以上のものについてはその画素を対応する次表示画像の画素へと置き換えるとともに（ステップＴ８）、閾値距離ｍ未満であった画素についてはそのまま現時表示画像の画素で維持する（ステップＴ９）。そして、前記画像切替エフェクト生成部６４が、所定フレーム数が経過したかどうかの判断を行った後に（ステップＴ１０）、閾値距離ｍを減少させる演算を行い（ステップＴ１１）、閾値距離ｍが０となったかどうかを判断する（ステップＴ１２）。閾値距離ｍが０でない場合にはｍが０となるまでステップＴ８からステップＴ１２の動作を繰り返し、距離エフェクトを終了する（ステップＴ１３）。
【００５７】
なお、ステップＴ４においてｎｅａｒからｆａｒの順で現時表示画像を次表示画像へと書き換えるように決定された以降の動作については、図１５のフローチャートに示すようになる。これらは図１５のステップＴ６’からステップＴ１３’に関しては前述したステップＴ６からステップＴ１３に対応するものであるので、説明を省略する。
【００５８】
このように、構成された撮像装置１００及び表示装置２００によれば、画像全体にわたる各画素の被写体距離である被写体距離マップを容易に画像に付加することができ、その被写体距離マップに基づいて、スライドショー時において撮影された画像の被写体の特徴等を反映した画像切替エフェクトを施すことができる。このため、従来のような画像全体に一律に施される画像切替エフェクトよりも演出効果の高い切替を行うことができ、臨場感や驚きといった感情を鑑賞者におこさせることができる。
【００５９】
その他の実施形態について説明する。
【００６０】
前記実施形態では表示装置は、撮像装置に付属したものであったが、例えば、コンピュータのモニタや、テレビ、フォトフレームといったその他の表示装置であっても構わない。また、画像の画素の一部に被写体距離が無かった場合には例えば、周囲の画素の情報から補完するようにしても構わない。すなわち、前記被写体距離マップ記憶部は、画像の全ての画素に関して被写体距離を持っていてもよいし、一部の画素に被写体距離が欠落した状態で記憶しているものであっても構わない。要するに、画像の一部の領域に関してだけ被写体距離を有しているのではなく、全面にわたって被写体距離を有していればよい。
【００６１】
前記実施形態では、各画素の被写体距離を用いて現時表示画像から次表示画像へと切り替える際の各画素の切替順を決めていたが、その他用途に用いても構わない。例えば、画像全体における被写体距離の分布から被写体ごとの切替に要する時間を変化させてもよいし、各画素の被写体距離と色調の変化等を関連付ける等してもよい。また、前記実施形態で示した距離エフェクトは一例であってその他の変形であってもよく、例えば、単純に現時表示画像の画素から次表示画像の画素へと置き換わるのではなく、次表示画像の画素が画面の遠方から飛来して置き換えるべき現時表示画像の画素に到達するようにしてもよい。また、現時表示画像の各画素を置き換える順番の決め方は、図９に示すような閾値の決め方だけでなく図１６に示すような、階段関数状等であってもよい。また、無限遠から最近接まで一定の方向に変化させるものだけでなく、例えば無限遠、最近接、中間距離といった順で現時表示画像の各画素が変化するように設定しても構わない。
【００６２】
その他、本発明の趣旨に反しない限りにおいて、様々な変形や実施形態の組み合わせを行っても構わない。
【符号の説明】
【００６３】
１００・・・撮像装置
２００・・・表示装置
６１  ・・・画像記憶部
６２  ・・・被写体距離マップ記憶部
６３  ・・・画像表示部
６４  ・・・画像切替エフェクト生成部
６５  ・・・画像切替エフェクト決定部
【図１】
2012129697.tif 000003
【図２】
2012129697.tif 000004
【図３】
2012129697.tif 000005
【図４】
2012129697.tif 000006
【図５】
2012129697.tif 000007
【図６】
2012129697.tif 000008
【図７】
2012129697.tif 000009
【図８】
2012129697.tif 000010
【図９】
2012129697.tif 000011
【図１０】
2012129697.tif 000012
【図１１】
2012129697.tif 000013
【図１２】
2012129697.tif 000014
【図１３】
2012129697.tif 000015
【図１４】
2012129697.tif 000016
【図１５】
2012129697.tif 000017
【図１６】
2012129697.tif 000018