(57)【要約】【課題】鑑賞者に疲労感を与えにくいように立体映像および平面映像の画像送りを行う撮像装置を提供する。【解決手段】撮像装置の撮像素子５０５が、一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を備える。撮像装置が、撮像素子５０５の出力する画像信号に基づいて取得される左目用画像データと右目用画像データとに基づいて、第１の視差量を有する視差マップを生成する。撮像装置が、表示画像が立体画像に切り替わる場合に、この立体画像に対応する視差マップが有する視差量を、第２の視差量から上記第１の視差量になるまで徐々に変更しながら変更後の視差量に基づいて３次元表示用の画像データを生成して表示する。【選択図】図４
2014022888.tif 000002
【特許請求の範囲】
【請求項１】
一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を備える撮像素子と、
前記撮像素子の出力する画像信号に基づいて取得される左目用画像データと右目用画像データとに基づいて、３次元表示用の画像データの生成に用いる、第１の視差量を有する視差マップを生成して記憶手段に記憶する生成手段と、
表示対象の画像が切り替わる時の切り替わり後の画像が立体画像である場合に、前記記憶手段内の前記切り替わり後の画像に対応する視差マップが有する視差量を、該視差量が前記第１の視差量と異なる第２の視差量から前記第１の視差量になるまで徐々に変更しながら該変更後の視差量に基づいて３次元表示用の画像データを生成し、前記立体画像として表示する表示制御手段とを備える
ことを特徴とする撮像装置。
【請求項２】
前記第２の視差量は、前記第１の視差量より小さい
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記表示制御手段は、前記表示対象の画像が切り替わる時に、前記記憶手段内の視差マップが有する視差量をゼロに設定した上で、該視差量を前記第１の視差量に達するまで徐々に変更する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記表示制御手段は、前記表示対象の画像が他の立体画像から立体画像に切り替わる時に、前記記憶手段内の視差マップが有する視差量を、前記切り替わり前の他の立体画像に対応する視差量に設定した上で、該視差量を前記第１の視差量になるまで徐々に変更する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項５】
前記表示制御手段は、前記表示対象の画像が他の立体画像から立体画像に切り替わる時に、前記記憶手段内の視差マップが有する視差量を、前記切り替わり前の他の立体画像に対応する視差量と前記切り替わり後の立体画像に対応する前記第１の視差量との平均の量に設定した上で、該視差量を前記第１の視差量になるまで徐々に変更する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項６】
前記表示制御手段は、さらに、前記切り替わる前に表示対象の画像となっている前記他の立体画像に対応する視差量を、前記記憶手段内の前記他の立体画像に対応する視差マップが有する視差量から前記平均の量になるまで徐々に変更する
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記表示対象の画像の静止画像から立体画像への切り替わり、または立体画像から他の立体画像への切り替わりを決定する決定手段を備える
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を備える撮像素子を有する撮像装置の制御方法であって、
前記撮像素子の出力する画像信号に基づいて取得される左目用画像データと右目用画像データとに基づいて、３次元表示用の画像データの生成に用いる、第１の視差量を有する視差マップを生成して記憶手段に記憶する生成工程と、
表示対象の画像が切り替わる時の切り替わり後の画像が立体画像である場合に、前記記憶手段内の前記切り替わり後の画像に対応する視差マップが有する視差量を、該視差量が前記第１の視差量と異なる第２の視差量から前記第１の視差量になるまで徐々に変更しながら該変更後の視差量に基づいて３次元表示用の画像データを生成し、前記立体画像として表示する表示制御工程とを有する
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像装置の制御方法に関する。
【背景技術】
【０００２】
近年、３次元（３Ｄ）シネマや３Ｄディスプレイなど、立体映像関連機器の普及が急速に進んでいる。立体映像撮影は従来からフィルム式カメラなどでも行われてきたが、デジタル撮像装置の普及に伴い、デジタルカメラやデジタルビデオカメラ等により立体映像を生成するための元画像が撮影されるようになってきている。
【０００３】
立体映像をユーザが鑑賞する仕組みとしては、対象物を左目で見た像及び右目で見た像に対応するように、左右方向に視差を持たせた、右目用画像と左目用画像のデータが用意される。各画像をユーザが右目と左目でそれぞれ見ることで立体視可能である。その方法には、視差バリア方式やレンチキュラ方式などのように鑑賞対象の映像を視差分割する方法がある。また左右で特性の異なるフィルタを介して、ユーザの左目と右目に異なる映像を提示する方法などが知られている。
【０００４】
一方、立体映像として鑑賞可能な画像の撮影方法として、異なる視点での画像を同時に撮影する方法が、特許文献１および２に開示されている。特許文献１は、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが１対以上配置されている固体撮像素子を開示する。フォトダイオード対のうち、一方のフォトダイオードの出力から第１の画像信号が得られ、他方のフォトダイオードの出力から第２の画像信号が得られる。第１及び第２の画像信号を、左目用画像、右目用画像としてそれぞれ用いることで、ユーザの立体映像の鑑賞が可能となる。
【０００５】
また、特許文献２は、第１の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素を有する出力視差マップを開示する。この出力視差マップと第１の画像とに基づいて、第２の画像を生成することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開昭５８−２４１０５号公報
【特許文献２】特表２００８−５１８３１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
視聴者に立体映像を鑑賞させるためには、視聴者に、左右方向に視差を持たせた画像を、それぞれ対応する目で見させるようにすればよい。これは、特許文献１、２に開示された技術を用いて、左目で鑑賞するための左目用画像と、右目で鑑賞するための右目用画像とを３次元表示用画像として用意することで実現できる。ここで、撮像装置は、例えば、撮像素子の出力から得られる左目用画像と右目用画像とに基づいて視差マップを生成し、この視差マップを用いて、３次元表示用の左目用画像と右目用画像とを生成する。
【０００８】
しかし、このような立体映像を鑑賞する場合、視聴者は、平面画像を鑑賞するときに比べて奥行き感を感じており、鑑賞者にとって疲労感を感じやすい場合がある。さらに、平面画像と立体映像の立体感が異なることはもちろん、立体映像同士でも立体感が異なるので、スライドショー再生のように、撮像装置が、次々に画像を送りながら視聴者に鑑賞させる場合には、奥行き感の違いから、視聴者が感じる疲労感は、より重くなる。
【０００９】
本発明は、鑑賞者に疲労感を与えにくいように立体映像および平面映像の画像送りを行う撮像装置の提供を目的とする。
【課題を解決するための手段】
【００１０】
本発明の一実施形態の撮像装置は、一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を備える撮像素子と、前記撮像素子の出力する画像信号に基づいて取得される左目用画像データと右目用画像データとに基づいて、３次元表示用の画像データの生成に用いる、第１の視差量を有する視差マップを生成して記憶手段に記憶する生成手段と、表示対象の画像が切り替わる時の切り替わり後の画像が立体画像である場合に、前記記憶手段内の前記切り替わり後の画像に対応する視差マップが有する視差量を、該視差量が前記第１の視差量と異なる第２の視差量から前記第１の視差量になるまで徐々に変更しながら該変更後の視差量に基づいて３次元表示用の画像データを生成し、前記立体画像として表示する表示制御手段とを備える。
【発明の効果】
【００１１】
本発明の撮像装置によれば、鑑賞者に疲労感を与えにくいように立体映像および平面映像の画像送りを行うことができる。
【図面の簡単な説明】
【００１２】
【図１】撮像装置が適用する撮像素子の構成例を概略的に示す図である。
【図２】撮像素子の画素の構成例を示す図である。
【図３】撮影レンズの射出瞳から出た光束が撮像素子に入射する様子を表した概念図である。
【図４】本実施形態の撮像装置の構成例を示す図である。
【図５】本実施形態における視差マップの生成処理の一例を示す図である。
【図６】撮像装置が生成する画像データのファイル構造の一例である。
【図７】視差量の編集例を説明する図である。
【図８】視差量の編集例を説明する図である。
【図９】実施例１の撮像装置による画像ファイルの再生処理の例を説明するフローチャートである。
【図１０】奥行き調整画像送り処理の例を説明するフローチャートである。
【発明を実施するための形態】
【００１３】
図１は、本実施形態の撮像装置が適用する撮像素子の構成例を概略的に示す図である。撮像素子１００は、画素アレイ１０１と、画素アレイ１０１における行を選択する垂直選択回路１０２と、画素アレイ１０１における列を選択する水平選択回路１０４を含む。読み出し回路１０３は、画素アレイ１０１中の画素のうち垂直選択回路１０２によって選択される画素の信号を読み出す。読み出し回路１０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器などを列毎に有する。
【００１４】
シリアルインターフェース（ＳＩ）部１０５は、各回路の動作モードなどを外部回路からの指示に従って決定する。垂直選択回路１０２は、画素アレイ１０１の複数の行を順次選択し、読み出し回路１０３に画素信号を取り出す。また水平選択回路１０４は、読み出し回路１０３によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子１００は、図１に示す構成要素以外に、例えば、垂直選択回路１０２、水平選択回路１０４、読み出し回路１０３等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。
【００１５】
図２は、撮像素子１００の画素の構成例を示す図である。図２（Ａ）は１画素の構成を概略的に示す。図２（Ｂ）は、画素アレイ１０１の配置を示す。図２（Ａ）に示す画素２０１は、光学素子としてのマイクロレンズ２０２と、受光素子としての複数のフォトダイオード（以下、ＰＤと略記する）とを有する。
【００１６】
図２（Ａ）には、１画素に左側のＰＤ２０３と右側のＰＤ２０４の２個を設けた例を示すが、３個以上（例えば、４個または９個）のＰＤを用いてもよい。ＰＤ２０３は、受光した光束を光電変換して左目用画像を出力する。ＰＤ２０４は、受光した光束を光電変換して右目用画像を出力する。なお、画素２０１は、図示の構成要素以外にも、例えば、ＰＤ信号を読み出し回路１０３に取り出す画素増幅アンプや、行選択スイッチ、ＰＤ信号のリセットスイッチなどを備える。
【００１７】
画素アレイ１０１は、２次元画像を提供するため、図２（Ｂ）に示す多数の画素３０１から３０４のように、２次元アレイ状に配列して構成される。ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌは、図２（Ａ）中のＰＤ２０３に相当する。また、ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒは、図２（Ａ）中のＰＤ２０４に相当する。すなわち、本実施形態の撮像装置は、各々が、左目用画像を出力する第１の光電変換部（ＰＤ２０３）と、右目用画像を出力する第２の光電変換部（ＰＤ２０４）とを有する複数の画素部を備える撮像素子を備える。
【００１８】
次に、図２（Ｂ）に示す画素構成を有する撮像素子１００の受光について説明する。図３は、撮影レンズの射出瞳から出た光束が撮像素子１００に入射する様子を表した概念図である。
【００１９】
画素アレイ１０１は、マイクロレンズ２０２と、カラーフィルタ４０３と、ＰＤ４０４および４０５を有する。ＰＤ４０４、ＰＤ４０５は、図２（Ａ）中のＰＤ２０３、ＰＤ２０４にそれぞれ相当する。
【００２０】
図３において、マイクロレンズ２０２に対して、撮影レンズの射出瞳４０６から出た光束の中心を光軸４０９とする。射出瞳４０６から出た光は、光軸４０９を中心として撮像素子１００に入射する。一部領域４０７、４０８は、撮影レンズの射出瞳４０６の領域である。光線４１０、４１１は、一部領域４０７を通過する光の最外周の光線である。光線４１２、４１３は、一部領域４０８を通過する光の最外周の光線である。
【００２１】
射出瞳４０６から出る光束のうち、光軸４０９を境界線として、上側の光束はＰＤ４０５に入射し、下側の光束はＰＤ４０４に入射する。つまり、ＰＤ４０４とＰＤ４０５は、各々、撮影光学系の射出瞳の分割された異なる領域からの光束を受光する。このように各受光素子は射出瞳での異なる領域の光を検出するため、点光源からの光が暈けた状態で撮影される状況では、それぞれに異なった形状の撮影画像が得られることになる。
【００２２】
図４は、本実施形態の撮像装置の構成例を示す図である。図４を参照して、図１に示す撮像素子１００の、撮像装置であるデジタルカメラへの適用例について説明する。なお、本実施形態の制御方法は、図４に示す撮像装置が備える処理部の機能によって実現される。撮像光学系を構成するレンズ部５０１は、被写体からの光を撮像素子５０５に結像する。撮像素子５０５は、図１に示す撮像素子１００に相当し、図２（Ｂ）に示す画素構成を有する。
【００２３】
レンズ駆動装置５０２は、ズーム制御、フォーカス制御、絞り制御などを行う。メカニカルシャッタ５０３は、シャッタ駆動装置５０４によって制御される。撮像素子５０５は、レンズ部５０１により結像した被写体像を画像信号に変換する。撮像信号処理回路５０６は、撮像素子５０５の出力する画像信号に対して各種の処理や補正を行う。タイミング発生部５０７は、撮像素子５０５や撮像信号処理回路５０６に必要なタイミング信号を出力する。
【００２４】
システム制御部５０９は、各種演算を行い、撮像装置全体を制御する制御手段であり、不図示のＣＰＵ（中央演算処理装置）がプログラムを実行することで処理を行う。本実施形態に特有の動作として、システム制御部５０９は、画像合成回路５１３が生成した合成画像と、視差マップ生成回路５１４が生成した視差マップとに基づいて、被写体の形状が正しく反映された、３次元表示用の左目用画像と右目用画像とを生成する。また、システム制御部５０９は、生成した３次元表示用の左目用画像と右目用画像とを再生することによって、ユーザに立体画像を鑑賞させる。なお、システム制御部５０９は、左目用画像と右目用画像と基づいて、位相差の検知を行って、位相差ＡＦを実現することもできる。
【００２５】
メモリ部５０８は、画像データを一時的に記憶するメモリを備える。記憶媒体制御インターフェース部（以下、Ｉ／Ｆ部と略記する）５１０は、記録媒体５１１に画像データ（画像ファイル）などを記録し、または記録媒体５１１から画像データを読み出すために設けられる。撮像装置に着脱可能な記録媒体５１１は、半導体メモリ等である。外部Ｉ／Ｆ部５１２は、外部装置との間でデータを送受する。表示装置５２１は、表示制御回路５２２が出力する表示用データに従って、各種情報や撮影画像を表示する。
【００２６】
撮像信号処理回路５０６は、撮像素子５０５が出力する撮像データを左目用画像と右目用画像に振り分けて画像処理を行う。メモリ部５０８は、撮像信号処理回路５０６の出力データ、画像合成回路によって生成された合成画像、視差マップ生成回路によって生成された視差マップを記憶する記憶手段として機能する。
【００２７】
画像合成回路５１３は、左目用画像データと右目用画像データとに基づいて、合成画像データを生成する。具体的には、画像合成回路５１３は、左目用画像と右目用画像とを画素毎に加算平均処理することで左目用画像と右目用画像とを合成し、合成画像を生成する。画像合成回路５１３が、必要なＰＤ信号のみを取得して合成画像を生成するようにしてもよい。
【００２８】
図２（Ｂ）を例にとって説明すると、画像合成回路５１３は、ＰＤ３０１Ｌ乃至３０４Ｒが出力する画像信号のうち、ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌが出力する画像信号から左目用画像を生成する。また、画像合成回路５１３は、ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒが出力する画像信号から右目用画像を生成する。また、画像合成回路５１３は、ＰＤ３０１Ｌの出力とＰＤ３０１Ｒの出力とを加算し、ＰＤ３０２Ｌの出力とＰＤ３０２Ｒの出力とを加算し、ＰＤ３０３Ｌの出力とＰＤ３０３Ｒの出力とを加算し、ＰＤ３０４Ｌの出力とＰＤ３０４Ｒの出力とを加算する。これにより、合成画像が生成される。
【００２９】
視差マップ生成回路５１４は、画像合成回路５１３が生成した左目用画像と右目用画像とを取得し、取得した左目用画像と右目用画像とに基づいて、画素毎の視差量を算出して視差マップを生成する。生成当初において、視差マップは第１の視差量を有する。視差マップ生成回路５１４は、生成した視差マップをメモリ部５０８に記憶する。視差マップは、３次元表示用の画像データの生成に用いられる。すなわち、視差マップ生成回路５１４は、左目用画像データと右目用画像データとに基づいて、３次元表示用の画像データの生成に用いる、第１の視差量を有する視差マップを生成して記憶手段に記憶する生成手段として機能する。
【００３０】
圧縮伸長回路５２０は、記憶した画像データを所定の画像圧縮方法（例えば、適応離散コサイン変換（ＡＤＣＴ）等）で圧縮し、画像圧縮された画像データをメモリ部５０８に書き込む。また、圧縮伸長回路５２０は、メモリ５０８から読み出した画像データを伸長し、伸長した画像データをメモリ部５０８に書き込む。表示制御回路５２２は、表示装置５２１に対して表示用画像データ等を出力する。具体的には、表示制御回路５２２は、２次元画像の表示制御、３次元画像の表示制御を実行する。
【００３１】
図５は、本実施形態における視差マップの生成処理の一例を示す図である。図５（Ａ）中の符号６０１は、被写体を撮影して得られる構図を示す。符号６０２、６０３、６０４は、被写体を示す。図５（Ａ）中に示す構図では、被写体６０２、６０３、６０４は、この順に上から並んでいる。また、被写体は、図５（Ｃ）に示すように、奥行き方向に並んで配置されている。符号６０４が最も近い被写体、符号６０２が最も遠い被写体である。
【００３２】
図５（Ｂ）は、図５（Ａ）に示す構図を撮影して得られるステレオ画像を示す。画像６０５は左目用画像であり、画像６０６は右目用画像である。左目用画像６０５には、被写体６０２、６０３、６０４が、それぞれ、６０７Ｌ、６０８Ｌ、６０９Ｌとして示される。右目用画像６０６には、被写体６０２、６０３、６０４が、それぞれ、６０７Ｒ、６０８Ｒ、６０９Ｒとして示される。
【００３３】
左目用画像６０５における被写体と右目用画像６０６における当該被写体との間には、位置ずれがある。本実施形態では、位置ずれの量を視差量と定義する。視差マップ生成回路５１４は、まず、公知のパターンマッチング法を用いて、左目用画像６０５と右目用画像６０６に含まれる被写体を検知する。視差マップ生成回路５１４は、検知した被写体毎に、左目用画像における被写体の位置と右目用画像における被写体の位置とに基づいて、視差量を算出し、算出した視差量を持つ視差マップを生成する。なお、視差マップが含む視差量の情報は、メモリ部５０８に記憶される画像データまたは画像ファイルに含めてもよいし、関連付けされたファイルとして保存してもよい。この例では、視差量の情報は画像ファイルに含まれているものとする。
【００３４】
図５（Ｂ）中の符号６１０は、被写体６０２の左目用画像６０５における位置を基準とする、右目用画像６０６における位置のずれ量、つまり６０７Ｌと６０７Ｒとの間の視差量を示す。同様に、符号６１１は、被写体６０４の左目用画像６０５における位置を基準とする、右目用画像６０６における位置のずれ量、つまり６０９Ｌと６０９Ｒとの間の視差量を示す。被写体６０３については、左目用画像６０５における位置と右目用画像６０６における位置とが同じである。すなわち、被写体６０３については、視差量がない。
【００３５】
図６は、本実施形態の撮像装置が生成する画像データのファイル構造の一例である。図６では、サムネイル画像用視差マップを含むＤＣＦファイルの構造を例にとって説明する。このＤＣＦファイルは、ＤＣＦ画像データ部７０１と視差マップ部７０２とを有する。ＤＣＦ画像データ部７０１は、ＤＣＦヘッダ部７０３、サムネイル画像部７０４、ＪＰＥＧ画像部７０５を有する。ＤＣＦヘッダ部７０３は、ＤＣＦヘッダ情報を格納する領域であり、予め所定のデータサイズが与えられている。ＤＣＦヘッダ情報には、撮影情報やパラメータなどのメタデータＡ（７０８）が含まれる。また、ＤＣＦヘッダ情報には、サムネイル画像までのオフセット値Ｂ（７０９）、ＪＰＥＧ画像までのオフセット値Ｃ（７１０）が含まれる。また、ＤＣＦヘッダ情報には、サムネイル画像用の視差マップまでのオフセットＤ（７１１）、及びＪＰＥＧ画像用の視差マップまでのオフセットＥ（７１２）が含まれる。このオフセット値Ｂ、Ｃ、Ｄ、Ｅにより各画像データの開始位置が特定されることになる。
【００３６】
ＪＰＥＧ画像部７０５には、右目用画像と左目用画像とに基づいて生成された合成画像（ＪＰＥＧ画像）が格納される。サムネイル画像部７０４は、ＪＰＥＧ画像部７０５に格納されているＪＰＥＧ画像などを間引いてリサイズしたサムネイル画像を格納する領域である。視差マップ部７０７は、ＪＰＥＧ画像７０５の視差量を格納する領域である。サムネイル画像用の視差マップ部７０６は、サムネイル画像のサイズに合わせて生成された視差マップである。
【００３７】
図７および図８は、視差量の編集処理の例を説明する図である。図７は、視差マップの生成例を示す。図７中の８０１は、被写体の側面図である。８０２は、被写体の正面図である。８０３は被写体から得られる視差マップの例である。視差マップ８０３においては、被写体の背景部分の視差は０、四角い被写体の視差は１、丸い被写体の視差は２である。視差の値は、整数値であってもよいし、マイナスの値や実数をとってもよい。
【００３８】
図８は、視差マップの視差量の編集例を示す。図８（Ａ）中の８０４は左目用画像と右目用画像とから生成した合成画像である。図８（Ｂ）中の８０５は左目用画像である。図８（Ｃ）中の８０６は右目用画像である。図８（Ｄ）中の８０７は視差マップである。
【００３９】
システム制御部５０８は、視差マップ生成回路５１４に指示して、画像データを表示する表示装置の大きさに応じて視差マップ７０７の視差量を編集（重み付け）する。すなわち、システム制御部５０８および視差マップ生成回路５１４は、３次元表示用の画像データを表示する表示装置の大きさを取得し、取得した表示装置の大きさに応じて、視差マップの視差量を編集する視差量編集手段として機能する。
【００４０】
図８（Ｅ）中の８１０は、重み付けされ、視差量が２倍となった視差マップである。システム制御部５０９は、視差マップ８１０と合成画像８０４とに基づいて、視差拡大した左目画像８０８（図８（Ｆ））と視差拡大した右目画像８０９（図８（Ｇ））とを、３次元表示用画像データとして生成する。
【００４１】
（実施例１）
図９は、実施例１の撮像装置による画像ファイルの再生処理の例を説明するフローチャートである。図９を参照して、撮像装置が画像ファイルを画像送りして次の画像を表示する処理について説明する。
【００４２】
まず、システム制御部５０９（図４）が、画像送り指示の有無を判断する（ステップＳ９０１）。画像送り指示は、画像ファイルの再生開始を指示する命令である。システム制御部５０９は、操作部５１２を用いたユーザの操作を検知することを通じて、画像送りが指示されたかを判断する。システム制御部５０９が、スライドショー表示で画像の表示時間が所定時間経過した場合に、画像ファイルの再生開始を決定するようにしてもよい。画像送り指示がない場合は、ステップＳ９０１に戻る。画像送り指示がある場合は、処理がステップＳ９０２に進む。
【００４３】
次に、システム制御部５０９が、画像ファイルの読み込み処理を実行する（ステップＳ９０２）。この例では、システム制御部５０９は、記録媒体５１１内の画像ファイルをメモリ部５０８に読み出す。
【００４４】
次に、システム制御部５０９が、画像ファイル解析処理を実行する（ステップＳ９０３）。この例では、システム制御部５０９は、ステップＳ９０２においてメモリ部５０８に読み込んだ画像の解析を行う。本実施例では、画像ファイルに合成画像と視差マップが含まれるものとし、ステップ９０３の処理によって、合成画像と視差マップ情報とが画像ファイルから読み取られる。この視差マップ情報は、第１の視差量を有する。
【００４５】
次に、システム制御部５０９が、ステップＳ９０３における解析結果に基づいて、画像ファイルが立体画像ファイルであるかを判断する（ステップＳ９０４）。すなわち、ステップＳ９０４において、システム制御部５０９は、表示対象の画像の静止画像から立体画像への切り替わり、または立体画像から他の立体画像への切り替わりを決定する決定手段として機能する。システム制御部５０９は、視差マップが画像ファイルに含まれる場合に、この画像ファイルが立体画像ファイルであると判断する。また、システム制御部５０９は、視差マップが画像ファイルに含まれない場合に、この画像ファイルが静止画像（平面画像）ファイルであると判断する。システム制御部５０９は、ステップＳ９０４における判断結果をメモリ部５０８に保存しておき、後述するサブルーチン（奥行き調整画像送り処理）で利用する。
【００４６】
次に、システム制御部５０９が、奥行き調整画像送り処理を実行し（ステップＳ９０５）、処理を終了する。
【００４７】
図１０は、図９のステップＳ９０５における奥行き調整画像送り処理の例を説明するフローチャートである。まず、システム制御部５０９が、メモリ部５０８に保存しておいた図９のステップＳ９０４における判断結果に基づいて、表示対象の画像が立体画像であるかを判断する（ステップＳ１００１）。表示対象の画像が立体画像でなく、静止画像である場合、システム制御部５０９が、静止画像を表示して（ステップＳ１００８）、処理を終了する。
【００４８】
表示対象の画像が立体画像である場合、システム制御部５０９が、図９のステップＳ９０３の解析処理によって読み取られた視差マップ情報を取得する（ステップＳ１００２）。
【００４９】
次に、システム制御部５０９が、図９のステップＳ９０３における解析処理によって得られた合成画像を基準画像データとして取得する（ステップＳ１００３）。なお、図９のステップＳ９０２において読み込まれた画像ファイルが、本実施例の撮像装置とは異なる撮像装置で撮影された、画像ファイルである場合、この画像ファイルが合成画像ではなく通常の画像データを含むことがある。この場合には、システム制御部５０９は、画像ファイルに含まれる通常の画像データを基準画像データとして取得する。
【００５０】
次に、システム制御部５０９が、ステップＳ１００２において取得した視差マップに重み付け処理を行う（ステップＳ１００４）。視差マップの重み付け処理は、図７および図８を参照して説明した、視差量の編集処理である。本実施例では、システム制御部５０９は、視差マップの重み付けによって最初は視差量をゼロにし、徐々に元の視差量（第１の視差量）に戻すこととする。これにより、画像が切り替わったときには、視差がゼロから始まるので、画像ごとの奥行き感は画像送りの瞬間にゼロに統一される。その結果、鑑賞者の違和感が低減される。なお、システム制御部５０９は、視差マップの重み付けによって、視差量を第１の視差量と異なる任意の第２の視差量に設定し、視差量が第１の視差量に達するまで徐々に変更するようにしてもよい。第２の視差量は、例えば、第１の視差量より小さい視差量である。
【００５１】
次に、システム制御部５０９が、基準画像データと、重み付け処理後の視差マップとに基づいて、左目用画像データを作成する（ステップＳ１００５）。また、システム制御部５０９が、基準画像データと、重み付け処理後の視差マップとに基づいて、右目用画像データを作成する（ステップＳ１００６）。
【００５２】
次に、システム制御部５０９が、作成した左目用画像データと右目用画像データとを、表示制御回路５２２に送り、表示部５２１で表示する（ステップＳ１００７）。続いて、システム制御部５０９が、重み付け処理を完了するかを判断する（ステップＳ１００９）。システム制御部５０９は、ステップＳ１００４における視差マップの重み付け処理によって、当初ゼロに設定された視差量が徐々に調整されて、元の視差量に戻っている場合に、重み付け処理を完了すると判断し、処理を終了する。視差量が元の視差量に戻っていない場合、システム制御部５０９は、重み付け処理を完了しないと判断し、処理がステップＳ１００４に戻る。そして、システム制御部５０９は、視差量が元の視差量に戻るまで、視差マップの重み付け処理を繰り返す。
【００５３】
図１０を参照して説明したことから、システム制御部５０９は、システム制御部５０９は、表示対象の画像が切り替わる時の切り替わり後の画像が立体画像である場合に（Ｓ１００１でＹＥＳ）、以下の処理を実行する表示制御手段として機能する。システム制御部５０９は、記憶手段内すなわちメモリ部５０８内の切り替わり後の画像に対応する視差マップが有する視差量を、該視差量が元の第１の視差量と異なる第２の視差量から第１の視差量になるまで徐々に変更する（Ｓ１００４乃至Ｓ１００９）。システム制御部５０９は、視差量を上記のように徐々に変更しながら該変更後の視差量に基づいて３次元表示用の画像データを生成し、立体画像として表示する（Ｓ１００７）。
【００５４】
本実施例の撮像装置は、画像再生の際、画像送りの時に最初は立体感をゼロにし、立体感を徐々に大きくしながら再生する。したがって、本実施例の撮像装置によれば、奥行きが徐々に変化する視覚効果を得ることができる。その結果、鑑賞者が感じる違和感を抑え、疲労感を感じにくくすることができる。
【００５５】
（実施例２）
実施例２の撮像装置は、図１０のステップＳ１００４における視差マップの重み付け処理において、視差量を最初ゼロにするのではなく、前画像つまり表示対象の画像の前に表示されている画像の視差量と同じにする。すなわち、システム制御部５０９は、表示対象の画像が他の立体画像から立体画像に切り替わる時に、メモリ部５０８内の視差マップが有する視差量を、切り替わり前の他の立体画像の視差量に設定した上で、該視差量を元の第１の視差量になるまで徐々に変更する。これにより、表示される画像毎の奥行き感がなめらかに遷移する。
【００５６】
また、実施例２の変形例として、システム制御部５０９が、前画像の視差量と、次に表示対象となる画像との視差量の平均を求めておき、前画像に対して、視差量が元の視差量から徐々に上記視差量の平均の量になるように、視差マップの重み付け処理を行う。すなわち、システム制御部５０９は、前画像に対しては、徐々に立体感を視差量の平均になるように制御し、画像送りで表示対象とする画像については、当初、視差量を上記視差量の平均に設定した上で、徐々に視差を元の視差量に戻す。
【００５７】
このように、視差マップに重み付けをすることによって、鑑賞者が違和感を感じにくいように画像送りを行うことができる。以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、視差マップの重み付け処理は、変形及び変更が可能である。
【００５８】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００５９】
２０１  画素
２０２  マイクロレンズ
２０３、２０４  ＰＤ
【図１】
2014022888.tif 000003
【図２】
2014022888.tif 000004
【図３】
2014022888.tif 000005
【図４】
2014022888.tif 000006
【図５】
2014022888.tif 000007
【図６】
2014022888.tif 000008
【図７】
2014022888.tif 000009
【図８】
2014022888.tif 000010
【図９】
2014022888.tif 000011
【図１０】
2014022888.tif 000012