(57)【要約】【課題】カメラ位置の機械的な調整によらずに、撮影条件に応じたカメラの光軸の調整を実行可能なステレオ撮像装置を提供する。【解決手段】ステレオ撮像装置は、左右一対に設置され、複数の視点の画像を構成する画素を出力するカメラと電気的に接続する。ステレオ撮像装置は、画像構成手段と、視点決定手段と、出力画像決定手段と、表示手段とを有する。画像構成手段は、カメラの出力に基づき、視点の各々に対応する画像を構成する。視点決定手段は、観測者による入力に基づき、前記ステレオ撮像装置が出力すべき左右一対の画像に対応する各視点を決定する。出力画像決定手段は、画像構成手段が構成した画像に基づき、視点決定手段が決定した各視点に対応する画像を生成又は選択し、当該画像を前記左右一対の画像として出力する。表示手段は、出力画像決定手段が出力した画像を表示する。【選択図】図１
2013251704.tif 000002
【特許請求の範囲】
【請求項１】
左右一対に設置され、複数の視点の画像を構成する画素を出力するカメラと電気的に接続するステレオ撮像装置であって、
前記カメラの出力に基づき、前記視点の各々に対応する画像を構成する画像構成手段と、
外部入力に基づき、前記ステレオ撮像装置が出力すべき左右一対の画像に対応する各視点を決定する視点決定手段と、
前記画像構成手段が構成した画像に基づき、前記視点決定手段が決定した各視点に対応する画像を生成又は選択し、当該画像を前記左右一対の画像として出力する出力画像決定手段と、
前記出力画像決定手段が出力した画像を表示する表示手段と、
を有することを特徴とするステレオ撮像装置。
【請求項２】
前記画像構成手段が構成した画像に基づき、前記画像構成手段が構成した画像に対応する視点間の視点に対応する画像を生成する補間画像生成手段をさらに備え、
前記出力画像決定手段は、前記補間画像生成手段が生成した画像を出力することを特徴とする請求項１に記載のステレオ撮像装置。
【請求項３】
前記カメラのズーム値に基づき、前記カメラのズーム機能に基づく光軸ずれ量を推定する光軸ずれ量推定手段と、
前記光軸ずれ量に基づき、前記視点決定手段が決定した各視点の位置を補正する視点位置補正手段と、
をさらに備えることを特徴とする請求項１または２に記載のステレオ撮像装置。
【請求項４】
前記カメラの出力を記憶する記憶手段をさらに備え、
前記画像構成手段は、前記記憶手段が記憶した前記カメラの出力に基づき、前記視点の各々に対応する画像を構成することを特徴とする請求項１乃至３のいずれか一項に記載のステレオ撮像装置。
【請求項５】
左右一対に設置され、複数の視点の画像を構成する画素を出力するカメラと電気的に接続するステレオ撮像装置が実行する制御方法であって、
前記カメラの出力に基づき、前記視点の各々に対応する画像を構成する画像構成工程と、
外部入力に基づき、前記ステレオ撮像装置が出力すべき左右一対の画像に対応する各視点を決定する視点決定工程と、
前記画像構成工程が構成した画像に基づき、前記視点決定工程が決定した各視点に対応する画像を生成又は選択し、当該画像を前記左右一対の画像として出力する出力画像決定工程と、
前記出力画像決定工程が出力した画像を表示する表示工程と、
を有することを特徴とする制御方法。
【請求項６】
左右一対に設置され、複数の視点の画像を構成する画素を出力するカメラと電気的に接続するステレオ撮像装置が実行するプログラムであって、
前記カメラの出力に基づき、前記視点の各々に対応する画像を構成する画像構成手段と、
外部入力に基づき、前記ステレオ撮像装置が出力すべき左右一対の画像に対応する各視点を決定する視点決定手段と、
前記画像構成手段が構成した画像に基づき、前記視点決定手段が決定した各視点に対応する画像を生成又は選択し、当該画像を前記左右一対の画像として出力する出力画像決定手段と、
前記出力画像決定手段が出力した画像を表示する表示手段
として前記ステレオ撮像装置を機能させることを特徴とするプログラム。
【請求項７】
請求項６に記載のプログラムを記憶したことを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、左右一対のカメラにより、共通の被写体を撮影する技術に関する。
【背景技術】
【０００２】
従来から、２台のカメラを左右に並べて共通の被写体を撮影し、撮影された左右一対の画像を用いて、立体視を実現する技術が知られている。例えば、特許文献１には、２台のカメラを左右一対として保持する立体写真撮影装置であって、２台のカメラの間隔及び２台のカメラの設置角度を機械的手段により調整可能な技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１６０８１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術によれば、２台のカメラの光軸を調整し、これらの光軸がなす角度である輻輳角を調整することが可能である。一方、２台のカメラの光軸を機械的に調整する場合、三次元方向の調整が必要となる。従って、この場合、調整作業が煩雑となり、撮影条件に応じた光軸の調整に時間及び手間がかかるなどといった問題がある。
【０００５】
本発明が解決しようとする課題は上記のようなものが例として挙げられる。本発明は、カメラ位置の機械的な調整によらずに、撮影条件に応じたカメラの光軸の調整を実行可能なステレオ撮像装置を提供することを主な目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、左右一対に設置され、複数の視点の画像を構成する画素を出力するカメラと電気的に接続するステレオ撮像装置であって、前記カメラの出力に基づき、前記視点の各々に対応する画像を構成する画像構成手段と、外部入力に基づき、前記ステレオ撮像装置が出力すべき左右一対の画像に対応する各視点を決定する視点決定手段と、前記画像構成手段が構成した画像に基づき、前記視点決定手段が決定した各視点に対応する画像を生成又は選択し、当該画像を前記左右一対の画像として出力する出力画像決定手段と、前記出力画像決定手段が出力した画像を表示する表示手段と、を有することを特徴とする。
【０００７】
請求項５に記載の発明は、左右一対に設置され、複数の視点の画像を構成する画素を出力するカメラと電気的に接続するステレオ撮像装置が実行する制御方法であって、前記カメラの出力に基づき、前記視点の各々に対応する画像を構成する画像構成工程と、外部入力に基づき、前記ステレオ撮像装置が出力すべき左右一対の画像に対応する各視点を決定する視点決定工程と、前記画像構成工程が構成した画像に基づき、前記視点決定工程が決定した各視点に対応する画像を生成又は選択し、当該画像を前記左右一対の画像として出力する出力画像決定工程と、前記出力画像決定工程が出力した画像を表示する表示工程と、を有することを特徴とする。
【０００８】
請求項６に記載の発明は、左右一対に設置され、複数の視点の画像を構成する画素を出力するカメラと電気的に接続するステレオ撮像装置が実行するプログラムであって、前記カメラの出力に基づき、前記視点の各々に対応する画像を構成する画像構成手段と、外部入力に基づき、前記ステレオ撮像装置が出力すべき左右一対の画像に対応する各視点を決定する視点決定手段と、前記画像構成手段が構成した画像に基づき、前記視点決定手段が決定した各視点に対応する画像を生成又は選択し、当該画像を前記左右一対の画像として出力する出力画像決定手段と、前記出力画像決定手段が出力した画像を表示する表示手段として前記ステレオ撮像装置を機能させることを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】第１実施例に係るステレオ撮像装置の概略構成図である。
【図２】インテグラル方式ライトフィールドカメラの構造を模式的に示した図である。
【図３】再構成処理部の処理の概要を説明する図である。
【図４】モニタに表示された左画像及び右画像の表示例を示す。
【図５】第２実施例に係るステレオ撮像装置の概略構成図である。
【図６】第３実施例に係るステレオ撮像装置の概略構成図である。
【図７】第４実施例に係るステレオ撮像装置の概略構成図である。
【発明を実施するための形態】
【００１０】
本発明の１つの好適な実施形態では、左右一対に設置され、複数の視点の画像を構成する画素を出力するカメラと電気的に接続するステレオ撮像装置であって、前記カメラの出力に基づき、前記視点の各々に対応する画像を構成する画像構成手段と、外部入力に基づき、前記ステレオ撮像装置が出力すべき左右一対の画像に対応する各視点を決定する視点決定手段と、前記画像構成手段が構成した画像に基づき、前記視点決定手段が決定した各視点に対応する画像を生成又は選択し、当該画像を前記左右一対の画像として出力する出力画像決定手段と、前記出力画像決定手段が出力した画像を表示する表示手段と、を有する。
【００１１】
上記のステレオ撮像装置は、左右一対に設置され、複数の視点の画像を構成する画素を出力するカメラと電気的に接続する。ステレオ撮像装置は、画像構成手段と、視点決定手段と、出力画像決定手段と、表示手段とを有する。画像構成手段は、カメラの出力に基づき、視点の各々に対応する画像を構成する。視点決定手段は、観測者による入力に基づき、前記ステレオ撮像装置が出力すべき左右一対の画像に対応する各視点を決定する。出力画像決定手段は、画像構成手段が構成した画像に基づき、視点決定手段が決定した各視点に対応する画像を生成又は選択し、当該画像を前記左右一対の画像として出力する。表示手段は、出力画像決定手段が出力した画像を表示する。
【００１２】
この構成では、ステレオ撮像装置は、表示手段に表示された画像を観測者に確認させ、かつ、出力画像に対応する各視点を決定する入力を実行させる。そして、ステレオ撮像装置は、複数の視点の画像を構成する画素を出力するカメラを利用することで、視点の切り替えにより各カメラの光軸調整を行う。これにより、ステレオ撮像装置は、カメラの機械的な位置調整を行うことなく、撮影条件に応じた出力画像を得るためのカメラの光軸調整を好適に実行することができる。
【００１３】
上記ステレオ撮像装置の一態様では、ステレオ撮像装置は、前記画像構成手段が構成した画像に基づき、前記画像構成手段が構成した画像に対応する視点間の視点に対応する画像を生成する補間画像生成手段をさらに備え、前記出力画像決定手段は、前記補間画像生成手段が生成した画像を出力する。この態様により、ステレオ撮像装置は、撮影条件に応じた出力画像を得るためのカメラの光軸調整を、より高精度に実行することができる。
【００１４】
上記ステレオ撮像装置の他の一態様では、ステレオ撮像装置は、前記カメラのズーム値に基づき、前記カメラのズーム機能に基づく光軸ずれ量を推定する光軸ずれ量推定手段と、前記光軸ずれ量に基づき、前記視点決定手段が決定した各視点の位置を補正する視点位置補正手段と、をさらに備える。この態様により、ステレオ撮像装置は、カメラのズーム機能に起因した光軸ずれを勘案し、撮影条件に応じた出力画像を得るためのカメラの光軸調整をカメラのズーム値によらず好適に実行することができる。
【００１５】
上記ステレオ撮像装置の他の一態様では、前記カメラの出力を記憶する記憶手段をさらに備え、前記画像構成手段は、前記記憶手段が記憶した前記カメラの出力に基づき、前記視点の各々に対応する画像を構成する。この態様により、ステレオ撮像装置は、カメラによる被写体の撮影時と、光軸の調整時とを異ならせることができ、種々の用途に応じて好適に出力画像を生成することができる。
【００１６】
本発明の他の好適な実施形態では、左右一対に設置され、複数の視点の画像を構成する画素を出力するカメラと電気的に接続するステレオ撮像装置が実行する制御方法であって、前記カメラの出力に基づき、前記視点の各々に対応する画像を構成する画像構成工程と、外部入力に基づき、前記ステレオ撮像装置が出力すべき左右一対の画像に対応する各視点を決定する視点決定工程と、前記画像構成工程が構成した画像に基づき、前記視点決定工程が決定した各視点に対応する画像を生成又は選択し、当該画像を前記左右一対の画像として出力する出力画像決定工程と、前記出力画像決定工程が出力した画像を表示する表示工程と、を有する。ステレオ撮像装置は、この制御方法を実行することで、カメラの位置を調整することなく、撮影条件に応じた出力画像を得るためのカメラの光軸調整を好適に実行することができる。
【００１７】
本発明のさらに別の実施形態では、左右一対に設置され、複数の視点の画像を構成する画素を出力するカメラと電気的に接続するステレオ撮像装置が実行するプログラムであって、前記カメラの出力に基づき、前記視点の各々に対応する画像を構成する画像構成手段と、外部入力に基づき、前記ステレオ撮像装置が出力すべき左右一対の画像に対応する各視点を決定する視点決定手段と、前記画像構成手段が構成した画像に基づき、前記視点決定手段が決定した各視点に対応する画像を生成又は選択し、当該画像を前記左右一対の画像として出力する出力画像決定手段と、前記出力画像決定手段が出力した画像を表示する表示手段として前記ステレオ撮像装置を機能させる。ステレオ撮像装置は、このプログラムを実行することで、カメラの位置を調整することなく、撮影条件に応じた出力画像を得るためのカメラの光軸調整を好適に実行することができる。
【実施例】
【００１８】
以下、図面を参照して本発明の好適な各実施例について説明する。
【００１９】
＜第１実施例＞
まず、第１実施例について説明する。概略的には、第１実施例に係るステレオ撮像装置は、インテグラル方式ライトフィールドカメラを使用することで、カメラ位置を機械的に調整することなく、撮影条件に応じた出力画像を得るための光軸調整を好適に実行する。
【００２０】
図１は、第１実施例に係るステレオ撮像装置１００の概略構成図である。図１に示すように、ステレオ撮像装置１００は、インテグラル方式ライトフィールドカメラ１Ｌ、１Ｒと、再構成処理部２Ｌ、２Ｒと、視点選択処理部３Ｌ、３Ｒと、キャリブレーション処理部４と、モニタ５とを備える。なお、以下では、インテグラル方式ライトフィールドカメラ１Ｌ、１Ｒ、再構成処理部２Ｌ、２Ｒ、及び視点選択処理部３Ｌ、３Ｒの符号の末尾に付した「Ｌ」、「Ｒ」は、これらを区別しないで用いる場合には、省略するものとする。
【００２１】
インテグラル方式ライトフィールドカメラ１は、異なる視点の画像を一つの撮像素子で撮像することが可能なカメラである。図２は、インテグラル方式ライトフィールドカメラ１の構造を模式的に示した図である。図２に示すように、インテグラル方式ライトフィールドカメラ１は、主レンズ１０と、撮像素子１３と、主レンズ１０及び撮像素子１３の間に設けられたマイクロレンズアレイ１２とを有する。マイクロレンズアレイ１２は、複数のマイクロレンズが配列され、主レンズ１０から入射して画像平面１１上で焦点を形成する光を分割して撮像素子１３に導く。そして、インテグラル方式ライトフィールドカメラ１は、図２に示す撮像素子１３で撮像した各画素及び各画素に対応する光軸の情報を出力する。インテグラル方式ライトフィールドカメラ１は、本発明における「カメラ」の一例である。
【００２２】
再び図１を参照して、再構成処理部２について説明する。再構成処理部２Ｌは、インテグラル方式ライトフィールドカメラ１Ｌの複数のマイクロレンズから出力される画素を視点ごとに選択して合成した画像（「再構成画像Ｉｍｒ」とも呼ぶ。）を出力する。このとき、再構成処理部２Ｌは、各画素の光軸の情報に基づき合成させる画素を決定し、得ることが可能な全ての視点に対応する再構成画像Ｉｍｒを生成する。同様に、再構成処理部２Ｒは、インテグラル方式ライトフィールドカメラ１Ｒの複数のマイクロレンズから出力される画素に基づき、得ることが可能な全ての視点の再構成画像Ｉｍｒを生成する。
【００２３】
図３は、再構成処理部２の処理の概要を説明する図である。図３に示すように、マイクロレンズアレイ１２に配列されたマイクロレンズ１２１には、光線Ｌ１により示される光が入射し、撮像素子１３の素子１３２が当該光を受光する。また、マイクロレンズ１２２、１２３には、それぞれ光線Ｌ３、Ｌ５により示される光が入射し、素子１３４、１３６がそれぞれ当該光を受光する。この場合、再構成処理部２は、同一方向から入射した光を受光する素子１３２、１３４、１３６が出力する画素に基づき、光線Ｌ１、Ｌ３、Ｌ５の入射方向を光軸方向とする再構成画像Ｉｍｒを生成する。
【００２４】
同様に、マイクロレンズ１２１には、光線Ｌ２により示される光が光線Ｌ１と異なる入射角により入射し、撮像素子１３の素子１３１が当該光を受光する。また、マイクロレンズ１２２、１２３には、それぞれ光線Ｌ４、Ｌ６により示される光が入射し、素子１３３、１３５が当該光を受光する。この場合、再構成処理部２は、同一方向から入射した光を受光する素子１３１、１３３、１３５が出力する画素に基づき、光線Ｌ２、Ｌ４、Ｌ６の入射方向を光軸方向とする再構成画像Ｉｍｒを生成する。
【００２５】
このように、撮像素子１３の各素子は、いずれか一つのマイクロレンズを通過した光を受光し、画素を生成する。そして、再構成処理部２は、光軸方向ごとに、再構成画像Ｉｍｒを生成する。これにより、再構成処理部２は、一つのマイクロレンズに対応する画素数分だけ再構成画像Ｉｍｒを生成する。これにより、再構成処理部２は、各光軸方向に対応する各視点から撮像した再構成画像Ｉｍｒを生成することができる。そして、再構成処理部２Ｌは、生成した再構成画像Ｉｍｒを、対応する光軸の情報（「光軸情報Ｉａｘ」とも呼ぶ。）と共に視点選択処理部３Ｌに送信する。同様に、再構成処理部２Ｒは、生成した再構成画像Ｉｍｒを、対応する光軸情報Ｉａｘと関連付けて視点選択処理部３Ｒに送信する。このように、再構成処理部２は、本発明における「画像構成手段」の一例である。
【００２６】
再び図１を参照して、視点選択処理部３について説明する。視点選択処理部３は、キャリブレーション処理部４からインテグラル方式ライトフィールドカメラ１Ｌ、１Ｒの各視点を指定する情報（「視点情報Ｓｐ」とも呼ぶ。）を受信し、当該視点情報Ｓｐが示す視点に対応する再構成画像Ｉｍｒを出力する。具体的には、視点選択処理部３Ｌ及び視点選択処理部３Ｒは、それぞれ、視点情報Ｓｐが示す各視点に最も近い視点に対応する再構成画像Ｉｍｒを、再構成画像Ｉｍｒに関連付けられた光軸情報Ｉａｘに基づき選択する。そして、視点選択処理部３Ｌは、選択した再構成画像Ｉｍｒ（「左画像ＩｍＬ」とも呼ぶ。）を出力する。同様に、視点選択処理部３Ｒは、選択した再構成画像Ｉｍｒ（「右画像ＩｍＲ」とも呼ぶ。）を出力する。視点選択処理部３Ｌ、３Ｒが出力する左画像ＩｍＬ及び右画像ＩｍＲは、モニタ５に入力される。このように、視点選択処理部３は、本発明における「出力画像決定手段」の一例である。
【００２７】
キャリブレーション処理部４は、視点選択処理部３Ｌ及び視点選択処理部３Ｒがそれぞれ選択すべき再構成画像Ｉｍｒの視点を指定するための入力部４０を有する。そして、キャリブレーション処理部４は、入力部４０が生成した入力信号に基づき、左右の各視点の位置を示す視点情報Ｓｐを生成し、当該視点情報Ｓｐを視点選択処理部３Ｌ又は／及び視点選択処理部３Ｒに送信する。入力部４０は、例えば、各インテグラル方式ライトフィールドカメラ１の向きと垂直な上下方向及び左右方向における視点の移動量をそれぞれ入力可能なつまみ、ボタン等である。なお、入力部４０への入力がない初期状態では、キャリブレーション処理部４は、例えば、各再構成処理部２が生成した再構成画像Ｉｍｒに対応する視点の中央にある視点を指定する視点情報Ｓｐを各視点選択処理部３に送信する。
【００２８】
そして、キャリブレーション処理部４への入力を行う観測者は、モニタ５に表示された左画像ＩｍＬ及び右画像ＩｍＲを視認しつつ、これらの画像が所望の位置関係となるように、入力部４０に入力を行う。この場合、キャリブレーション処理部４は、例えば、観測者の入力部４０への入力に基づき、前回生成した視点情報Ｓｐが示す視点の位置を変更し、変更後の視点を示す視点情報Ｓｐを生成する。そして、キャリブレーション処理部４は、視点選択処理部３に当該視点情報Ｓｐを送信し、かつ、メモリに記憶する。このように、キャリブレーション処理部４は、本発明における「視点決定手段」の一例であり、モニタ５は、本発明における「表示手段」の一例である。
【００２９】
図４は、モニタ５に表示された左画像ＩｍＬ及び右画像ＩｍＲの表示例を示す。図４（Ａ）は、左画像ＩｍＬと右画像ＩｍＲとを横に並べた場合のモニタ５の表示例を示し、図４（Ｂ）は、左画像ＩｍＬと右画像ＩｍＲとを半透明にして重畳させた場合のモニタ５の表示例を示す。なお、左画像ＩｍＬ及び右画像ＩｍＲには、それぞれ、インテグラル方式ライトフィールドカメラ１Ｌ、１Ｒで共通した被写体を示す表示領域「ＯｂｊＬ」、「ＯｂｊＲ」が存在するものとする。
【００３０】
図４（Ａ）に示す表示例の場合、観測者は、左画像ＩｍＬに表示された被写体の表示領域ＯｂｊＬと、右画像ＩｍＲに表示された被写体の表示領域ＯｂｊＲとをモニタ５上で比較する。そして、観測者は、左画像ＩｍＬに表示された被写体の表示領域ＯｂｊＬと、右画像ＩｍＲに表示された被写体の表示領域ＯｂｊＲとが上下方向及び左右方向において適切な相対位置になるように、入力部４０に入力を行う。
【００３１】
ここで、右画像ＩｍＲに表示された被写体の表示領域ＯｂｊＲの位置を基準として、左画像ＩｍＬに表示された被写体の表示領域ＯｂｊＬの位置を合わせるように入力部４０に観察者が入力を行う場合について説明する。この場合、観察者は、左画像ＩｍＬに表示された被写体の表示領域ＯｂｊＬが下方向かつ右方向に移動するようにインテグラル方式ライトフィールドカメラ１Ｌの視点を移動させる旨の入力を入力部４０に行う。これに応じ、キャリブレーション処理部４は、入力部４０による入力に応じて移動させた視点を示す視点情報Ｓｐを、視点選択処理部３Ｌに送信する。これにより、視点選択処理部３Ｌは、視点情報Ｓｐにより指定された視点に対応する再構成画像Ｉｍｒを選択し、左画像ＩｍＬとして出力する。そして、観察者は、左画像ＩｍＬに表示された被写体の表示領域ＯｂｊＬが所望の位置に表示されたことをモニタ５上で確認した場合、入力部４０への入力を終了する。
【００３２】
図４（Ｂ）に示す表示例の場合も同様に、観測者は、重ねて表示された左画像ＩｍＬ及び右画像ＩｍＲをモニタ５上で観察し、左画像ＩｍＬに表示された被写体の表示領域ＯｂｊＬと右画像ＩｍＲに表示された被写体の表示領域ＯｂｊＲとが適切な相対位置となるように、入力部４０への入力を行う。そして、左画像ＩｍＬ又は／及び右画像ＩｍＲに表示させる再構成画像Ｉｍｒの視点を切り替える旨の入力を入力部４０が検知した場合、キャリブレーション処理部４は、入力に基づき視点情報Ｓｐを生成し、視点選択処理部３Ｌ又は／及び視点選択処理部３Ｒに送信する。
【００３３】
また、図４（Ａ）、（Ｂ）に示す表示例の他、モニタ５は、左画像ＩｍＬ及び右画像ＩｍＲに基づき、立体視が可能な画像を出力してもよい。この場合であっても、観測者は、モニタ５に表示された画像が適切に表示されているか確認し、適宜、左画像ＩｍＬ又は／及び右画像ＩｍＲに表示させる再構成画像Ｉｍｒの視点を切り替える旨の入力を入力部４０に行う。
【００３４】
以上説明したように、第１実施例に係るステレオ撮像装置１００は、左右一対に設置され、複数の視点の画像を構成する画素を出力するインテグラル方式ライトフィールドカメラ１と、再構成処理部２と、視点選択処理部３と、キャリブレーション処理部４と、モニタ５とを有する。再構成処理部２は、インテグラル方式ライトフィールドカメラ１の出力に基づき、視点の各々に対応する再構成画像Ｉｍｒを構成する。キャリブレーション処理部４は、入力部４０への入力に基づき、左画像ＩｍＬ及び右画像ＩｍＲに対応する各視点を決定する。視点選択処理部３は、再構成処理部２が生成した再構成画像Ｉｍｒから、キャリブレーション処理部４が決定した各視点に対応する画像を選択し、当該画像を左画像ＩｍＬ及び右画像ＩｍＲとして出力する。モニタ５は、視点選択処理部３が出力した左画像ＩｍＬ及び右画像ＩｍＲを表示する。この構成により、ステレオ撮像装置１００は、カメラ位置を調整することなく、撮影条件に応じた左画像ＩｍＬ及び右画像ＩｍＲを得るための光軸調整を好適に実行することができる。
【００３５】
＜第２実施例＞
次に、第２実施例について説明する。概略的には、第２実施例に係るステレオ撮像装置は、第１実施例に係る処理に加え、視点情報Ｓｐにより指定された視点の画像を、複数の再構成画像Ｉｍｒに基づき補間処理を行うことで生成する。これにより、ステレオ撮像装置は、撮影条件に応じた左画像ＩｍＬ及び右画像ＩｍＲを得るための光軸調整をより高精度に実行する。
【００３６】
図５は、第２実施例に係るステレオ撮像装置１００Ａの概略構成を示す。図５に示すように、ステレオ撮像装置１００Ａは、視点補間処理部６Ｌ、６Ｒを有する点で、第１実施例に係るステレオ撮像装置１００と異なる。その他の第１実施例と同様の部分については、同一の符号を付し、適宜その説明を省略する。また、以後では、視点補間処理部６Ｌ、６Ｒの符号の末尾に付した「Ｌ」、「Ｒ」は、これらを区別しないで用いる場合には、省略するものとする。
【００３７】
視点補間処理部６は、視点情報Ｓｐが示す視点に対応する再構成画像Ｉｍｒが存在しない場合に、視点情報Ｓｐが示す視点の近傍の視点に対応する複数の再構成画像Ｉｍｒに基づき、視点情報Ｓｐが示す視点に対応する画像（「補間画像Ｉｍｃ」とも呼ぶ。）を生成する。このように、視点補間処理部６は、本発明における「補間画像生成手段」の一例である。
【００３８】
従って、第２実施例では、まず、左画像ＩｍＬ又は／及び右画像ＩｍＲに表示させる再構成画像Ｉｍｒの視点を切り替える旨の入力を入力部４０が検知した場合、キャリブレーション処理部４は、指定された視点を示す視点情報Ｓｐを、対応する視点選択処理部３及び視点補間処理部６に送信する。そして、この場合、視点情報Ｓｐを受信した視点選択処理部３は、視点情報Ｓｐが示す視点に対応する再構成画像Ｉｍｒが存在するか否か判定し、対象の再構成画像Ｉｍｒが存在する場合には、当該再構成画像Ｉｍｒを左画像ＩｍＬ又は右画像ＩｍＲとして視点補間処理部６を介して出力する。
【００３９】
一方、視点情報Ｓｐにより指定された視点の再構成画像Ｉｍｒが存在しない場合、視点選択処理部３は、視点情報Ｓｐにより指定された視点の補間画像Ｉｍｃを生成するのに必要な再構成画像Ｉｍｒを選択し、視点補間処理部６に送信する。そして、視点補間処理部６は、視点選択処理部３から受信した再構成画像Ｉｍｒに基づき、キャリブレーション処理部４から受信した視点情報Ｓｐが示す視点に対応する補間画像Ｉｍｃを生成し、左画像ＩｍＬ又は右画像ＩｍＲとして出力する。
【００４０】
このように、第２実施例によれば、ステレオ撮像装置１００Ａは、キャリブレーション処理部４において入力された視点に的確に対応する左画像ＩｍＬ及び右画像ＩｍＲを出力することができる。従って、ステレオ撮像装置１００Ａは、光軸調整を高精度に行うことができる。
【００４１】
＜第３実施例＞
次に、第３実施例について説明する。一般に、ズームレンズを使用した場合には、ズーム値の変化によりインテグラル方式ライトフィールドカメラ１の光軸が変化する。以上を勘案し、第３実施例に係るステレオ撮像装置は、第１又は第２実施例に係る処理に加えて、インテグラル方式ライトフィールドカメラ１のズーム値に基づく光軸調整を行う。
【００４２】
図６は、第３実施例に係るステレオ撮像装置１００Ｂの概略構成図を示す。図６に示すように、ステレオ撮像装置１００Ｂは、光軸推定処理部７と、視点位置選択処理部８とを有する点において、第１実施例に係るステレオ撮像装置１００と異なる。その他の第１実施例と同様の部分については、同一の符号を付し、適宜その説明を省略する。
【００４３】
光軸推定処理部７は、インテグラル方式ライトフィールドカメラ１Ｌ、１Ｒからズーム値「Ｚｍ」を受信し、当該ズーム値Ｚｍに基づき、所定のマップ又は式等を参照し、ズーム機能に基づき光軸がずれた方向及びその度合い（「光軸ずれ量Ｌｄ」とも呼ぶ。）を推定する。上述のマップ等は、各ズーム値Ｚｍと、光軸ずれ量Ｌｄとの関係を示すマップであり、例えば予め実験等に基づき生成され、ステレオ撮像装置１００Ｂのメモリに記憶される。このように、光軸推定処理部７は、本発明における「光軸ずれ量推定手段」の一例である。
【００４４】
視点位置選択処理部８は、光軸推定処理部７から光軸ずれ量Ｌｄを受信すると共に、キャリブレーション処理部４から視点情報Ｓｐを受信する。そして、視点位置選択処理部８は、光軸ずれ量Ｌｄに基づき視点情報Ｓｐが示す視点の位置を補正した視点の情報（「補正視点情報Ｓｐｘ」とも呼ぶ。）を視点選択処理部３に送信する。そして、視点選択処理部３Ｌ、３Ｒは、受信した補正視点情報Ｓｐｘが示す視点に対応する再構成画像Ｉｍｒを、それぞれ左画像ＩｍＬ及び右画像ＩｍＲとして出力する。このように、視点位置選択処理部８は、本発明における「視点位置補正手段」の一例である。
【００４５】
第３実施例によれば、ステレオ撮像装置１００Ｂは、ズーム値Ｚｍが変化する場合であっても、ズーム値Ｚｍの変化に起因した光軸ずれを勘案し、キャリブレーション処理部４が指定する視点に的確に対応する左画像ＩｍＬ及び右画像ＩｍＲを出力することができる。
【００４６】
＜第４実施例＞
次に、第４実施例について説明する。第４実施例に係るステレオ撮像装置は、第１実施例乃至第３実施例の処理に加え、インテグラル方式ライトフィールドカメラ１が出力する画像やズーム値Ｚｍなどの情報を一時的に記憶する。これにより、第４実施例に係るステレオ撮像装置は、撮影時と光軸調整時とを異ならせる。
【００４７】
図７は、第４実施例に係るステレオ撮像装置１００Ｃの概略構成を示す。図７に示すように、第４実施例に係るステレオ撮像装置１００Ｃは、記憶再生部９を備える点において、第１実施例に係るステレオ撮像装置１００と異なる。その他の第１実施例と同様の部分については、同一の符号を付し、適宜その説明を省略する。
【００４８】
記憶再生部９は、インテグラル方式ライトフィールドカメラ１Ｌ、１Ｒが出力するデータを記憶する。そして、記憶再生部９は、左画像ＩｍＬ及び右画像ＩｍＲを出力すべき旨の指示信号を受信した場合に、再構成処理部２Ｌにインテグラル方式ライトフィールドカメラ１Ｌが出力したデータを出力すると共に、再構成処理部２Ｒにインテグラル方式ライトフィールドカメラ１Ｒが出力したデータを出力する。このように、記憶再生部９は、本発明における「記憶手段」の一例である。
【００４９】
第４実施例によれば、ステレオ撮像装置１００Ｃは、左画像ＩｍＬ及び右画像ＩｍＲの種々の用途に応じて、それぞれ適切な視点の再構成画像Ｉｍｒを左画像ＩｍＬ及び右画像ＩｍＲとして選択することが可能となり、利便性を向上させることができる。また、ステレオ撮像装置１００Ｃは、インテグラル方式ライトフィールドカメラ１による撮影時に左画像ＩｍＬ及び右画像ＩｍＲの光軸調整を行う必要がなくなり、撮影時の負担を軽減することが可能となる。
【００５０】
なお、第３実施例と第４実施例とを組み合わせた場合、記憶再生部９は、インテグラル方式ライトフィールドカメラ１から出力されたズーム値Ｚｍをさらに記憶し、所定の指示信号を受信した場合に、光軸推定処理部７にズーム値Ｚｍを送信する。
【産業上の利用可能性】
【００５１】
本発明は、デジタルシネマ用、放送用、民生用などの各種用途におけるステレオビデオカメラ、民生用のステレオスチルカメラ、ドライブレコーダ、車載カメラ付きナビゲーション装置、カメラ付き端末などに好適に利用することができる。
【符号の説明】
【００５２】
１、１Ｌ、１Ｒ  インテグラル方式ライトフィールドカメラ（カメラ）
２、２Ｌ、２Ｒ  再構成処理部（画像構成手段）
３、３Ｌ、３Ｒ  視点選択処理部（出力画像決定手段）
４  キャリブレーション処理部（視点決定手段）
５  モニタ（表示手段）
６、６Ｌ、６Ｒ  視点補間処理部（補間画像生成手段）
７  光軸推定処理部（光軸ずれ量推定手段）
８  視点位置選択処理部（視点位置補正手段）
９  記憶再生部（記憶手段）
１００、１００Ａ、１００Ｂ、１００Ｃ  ステレオ撮像装置
【図１】
2013251704.tif 000003
【図２】
2013251704.tif 000004
【図３】
2013251704.tif 000005
【図４】
2013251704.tif 000006
【図５】
2013251704.tif 000007
【図６】
2013251704.tif 000008
【図７】
2013251704.tif 000009