(57)【要約】【課題】フレーム取得のインターバル中に装置全体が動いても、簡単な構成で高精度・高画質のステレオ撮影が可能な時系列型のステレオ撮影装置を提供する。【解決手段】ステレオ撮影装置１０Ａは、左側，右側視点の被写体像を形成する第１，第２撮影光学系ＫＬ，ＫＲと、被写体像が形成される撮像面４Ｓを有する単一の撮像素子４と、を備える。クロスプリズム３は、第１，第２撮影光学系ＫＬ，ＫＲの両光路を合成して撮像面４Ｓに対する入射光の光路を構成する。シャッター５は、閉じることで第２撮影光学系ＫＲの光路のみを撮像面４Ｓに対する入射光の光路から分離する。光路制御部７はシャッター５を制御して、左側視点の被写体像のみを形成することにより、第１フレームでの第１画像を形成し、左側視点の被写体像のイメージサークル中に右側視点の被写体像のイメージサークルを部分的に重ねて左右視点の両被写体像を形成することにより、第２フレームでの第２画像を形成する。【選択図】図１
2012128096.tif 000002
【特許請求の範囲】
【請求項１】
第１視点の被写体像を形成する第１撮影光学系と、第２視点の被写体像を形成する第２撮影光学系と、前記被写体像が形成される撮像面を有する単一の撮像素子と、を備えた時系列型のステレオ撮影装置であって、
前記第１，第２撮影光学系の両光路を合成して前記撮像面に対する入射光の光路を構成する光路合成手段と、
前記第１，第２撮影光学系の両光路のうちの一方のみを前記撮像面に対する入射光の光路から分離する光路分離手段と、
第１視点の被写体像のみを形成することにより、第１フレームでの第１画像の形成を行い、第１視点の被写体像のイメージサークル中に第２視点の被写体像のイメージサークルを部分的に重ねて第１，第２視点の両被写体像を形成することにより、第２フレームでの第２画像の形成を行うように、前記光路合成手段と前記光路分離手段のうちの少なくとも一方を制御する制御手段と、
を有することを特徴とするステレオ撮影装置。
【請求項２】
前記第２視点の被写体像のイメージサークルが、前記第１視点の被写体像のイメージサークルより小さいことを特徴とする請求項１記載のステレオ撮影装置。
【請求項３】
前記第２視点の被写体像のイメージサークルの中心が、前記撮像面の中心から偏った位置にあることを特徴とする請求項１又は２記載のステレオ撮影装置。
【請求項４】
前記光路合成手段がクロスプリズムから成り、前記光路分離手段がシャッターから成ることを特徴とする請求項１〜３のいずれか１項に記載のステレオ撮影装置。
【請求項５】
前記光路合成手段及び前記光路分離手段が可動式ハーフミラーから成ることを特徴とする請求項１〜３のいずれか１項に記載のステレオ撮影装置。
【請求項６】
前記第２画像から前記第１画像を減算し、その結果に基づいて前記第２視点の被写体像の算出を行う画像処理手段を更に有することを特徴とする請求項１〜５のいずれか１項に記載のステレオ撮影装置。
【請求項７】
前記第２画像から前記第１画像を減算するときに、フレーム取得のインターバル中の第１，第２画像間の移動量を使って第１，第２画像の位置合わせを行うことを特徴とする請求項６記載のステレオ撮影装置。
【請求項８】
前記移動量が、前記第１，第２画像の両方に共通に写っている第１視点の被写体像を使って算出されたものであることを特徴とする請求項７記載のステレオ撮影装置。
【請求項９】
前記制御手段での制御により、前記第１，第２画像の形成を繰り返し行い、既に得られている第１視点の被写体像に基づいて前記第１，第２画像間の移動量が所定量よりも小さいと判定した場合には、第２フレームでの第２画像の形成において、第１視点の被写体像のみを形成するとともに、第２視点の被写体像として既に得られているものを用いることを特徴とする請求項１〜８のいずれか１項に記載のステレオ撮影装置。
【請求項１０】
前記第２フレームで第１，第２視点の両被写体像を形成するときには、前記第１フレームよりも前記撮像素子の露光時間を短くすることを特徴とする請求項１〜９のいずれか１項に記載のステレオ撮影装置。
【請求項１１】
前記第２フレームで第１，第２視点の両被写体像を形成するときには、前記第１，第２撮影光学系の両光路の光量を減らすことを特徴とする請求項１〜１０のいずれか１項に記載のステレオ撮影装置。
【請求項１２】
前記第２フレームで第１，第２視点の両被写体像を形成するときには、前記第１撮影光学系の光路を前記第２撮影光学系の光路と重なる部分の少なくとも一部で完全に遮光することを特徴とする請求項１〜１０のいずれか１項に記載のステレオ撮影装置。
【請求項１３】
前記第１画像と、前記第２画像中の第２視点の被写体像から算出される画像と、でステレオ視を行うことを特徴とする請求項１〜１２のいずれか１項に記載のステレオ撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はステレオ撮影装置に関するものであり、更に詳しくは、単一の撮像素子と２つの撮影光学系を用いて被写体のステレオ撮影を行う時系列型のステレオ撮影装置に関するものである。
【背景技術】
【０００２】
従来の単一の撮像素子を用いた時系列型のステレオ撮影装置は、撮像面上に左右の画像を交互に形成することによって左右の画像データを取得する構成になっている。その構成によると、左右のいずれの画像も撮像面全体で取り込むことができるため、高画質のステレオ画像を得ることが可能である。ただし、撮像面上に左右の画像を交互に形成するためには、例えば、特許文献１記載のステレオ撮影装置のように、左右の光路中に設けたシャッターで各光路の光を交互に透過・遮蔽する必要がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開昭６２−２０８７８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１記載のステレオ撮影装置のようにシャッターを用いると、シャッターの開閉と撮影のタイミングの同期の技術的難易度が高くなってしまう。つまり、ステレオ視は左右の画像が同時に撮像された被写体像から成ることを前提としているため、左右の撮影間（つまり、フレーム取得のインターバル中）に手ぶれ等により撮影装置が動いた場合、画面全体が移動して左画像と右画像とで位置ズレが生じてしまう。その結果、左右の画像の位置関係が視差によるものか撮影装置の動きによるものか判別できなくなって、ステレオ撮影の精度及び画質が低下することになる。
【０００５】
本発明はこのような状況に鑑みてなされたものであって、その目的は、フレーム取得のインターバル中に装置全体が動いても、簡単な構成で高精度・高画質のステレオ撮影が可能な時系列型のステレオ撮影装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、第１の発明のステレオ撮影装置は、第１視点の被写体像を形成する第１撮影光学系と、第２視点の被写体像を形成する第２撮影光学系と、前記被写体像が形成される撮像面を有する単一の撮像素子と、を備えた時系列型のステレオ撮影装置であって、前記第１，第２撮影光学系の両光路を合成して前記撮像面に対する入射光の光路を構成する光路合成手段と、前記第１，第２撮影光学系の両光路のうちの一方のみを前記撮像面に対する入射光の光路から分離する光路分離手段と、第１視点の被写体像のみを形成することにより、第１フレームでの第１画像の形成を行い、第１視点の被写体像のイメージサークル中に第２視点の被写体像のイメージサークルを部分的に重ねて第１，第２視点の両被写体像を形成することにより、第２フレームでの第２画像の形成を行うように、前記光路合成手段と前記光路分離手段のうちの少なくとも一方を制御する制御手段と、を有することを特徴とする。
【０００７】
第２の発明のステレオ撮影装置は、上記第１の発明において、前記第２視点の被写体像のイメージサークルが、前記第１視点の被写体像のイメージサークルより小さいことを特徴とする。
【０００８】
第３の発明のステレオ撮影装置は、上記第１又は第２の発明において、前記第２視点の被写体像のイメージサークルの中心が、前記撮像面の中心から偏った位置にあることを特徴とする。
【０００９】
第４の発明のステレオ撮影装置は、上記第１〜第３のいずれか１つの発明において、前記光路合成手段がクロスプリズムから成り、前記光路分離手段がシャッターから成ることを特徴とする。
【００１０】
第５の発明のステレオ撮影装置は、上記第１〜第３のいずれか１つの発明において、前記光路合成手段及び前記光路分離手段が可動式ハーフミラーから成ることを特徴とする。
【００１１】
第６の発明のステレオ撮影装置は、上記第１〜第５のいずれか１つの発明において、前記第２画像から前記第１画像を減算し、その結果に基づいて前記第２視点の被写体像の算出を行う画像処理手段を更に有することを特徴とする。
【００１２】
第７の発明のステレオ撮影装置は、上記第６の発明において、前記第２画像から前記第１画像を減算するときに、フレーム取得のインターバル中の第１，第２画像間の移動量を使って第１，第２画像の位置合わせを行うことを特徴とする。
【００１３】
第８の発明のステレオ撮影装置は、上記第７の発明において、前記移動量が、前記第１，第２画像の両方に共通に写っている第１視点の被写体像を使って算出されたものであることを特徴とする。
【００１４】
第９の発明のステレオ撮影装置は、上記第１〜第８のいずれか１つの発明において、前記制御手段での制御により、前記第１，第２画像の形成を繰り返し行い、既に得られている第１視点の被写体像に基づいて前記第１，第２画像間の移動量が所定量よりも小さいと判定した場合には、第２フレームでの第２画像の形成において、第１視点の被写体像のみを形成するとともに、第２視点の被写体像として既に得られているものを用いることを特徴とする。
【００１５】
第１０の発明のステレオ撮影装置は、上記第１〜第９のいずれか１つの発明において、前記第２フレームで第１，第２視点の両被写体像を形成するときには、前記第１フレームよりも前記撮像素子の露光時間を短くすることを特徴とする。
【００１６】
第１１の発明のステレオ撮影装置は、上記第１〜第１０のいずれか１つの発明において、前記第２フレームで第１，第２視点の両被写体像を形成するときには、前記第１，第２撮影光学系の両光路の光量を減らすことを特徴とする。
【００１７】
第１２の発明のステレオ撮影装置は、上記第１〜第１０のいずれか１つの発明において、前記第２フレームで第１，第２視点の両被写体像を形成するときには、前記第１撮影光学系の光路を前記第２撮影光学系の光路と重なる部分の少なくとも一部で完全に遮光することを特徴とする。
【００１８】
第１３の発明のステレオ撮影装置は、上記第１〜第１２のいずれか１つの発明において、前記第１画像と、前記第２画像中の第２視点の被写体像から算出される画像と、でステレオ視を行うことを特徴とする。
【発明の効果】
【００１９】
第１の発明によれば、第１視点の被写体像のみを形成することにより、第１フレームでの第１画像の形成を行い、第１視点の被写体像のイメージサークル中に第２視点の被写体像のイメージサークルを部分的に重ねて第１，第２視点の両被写体像を形成することにより、第２フレームでの第２画像の形成を行う構成になっているため、ステレオ視において常に撮影される第１視点の被写体像から、撮影装置の移動により起こる画像の位置ズレが検出可能となり、視差算出の高精度化が可能となる。したがって、フレーム取得のインターバル中に装置全体が動いても、簡単な構成で高精度・高画質のステレオ撮影が可能である。
【００２０】
第２の発明によれば、第２視点の被写体像のイメージサークルが、第１視点の被写体像のイメージサークルより小さい構成になっているため、イメージサークルが互いに重ならない領域が形成される。この重ならない領域には第２視点の被写体像が入らないので、この領域を使って位置ズレを高精度に検出することができる。上記重ならない領域は、まとまって表示される方が位置検出精度を上げやすい。したがって、第３の発明のように、第２視点の被写体像のイメージサークルの中心を撮像面の中心から偏った位置に配置すると、まとまった領域が確保されて、高い位置検出精度を得ることが可能となる。
【００２１】
第４の発明によれば、光路合成手段がクロスプリズムから成っており、光路分離手段がシャッターから成っているため、第１フレームでの第１画像の形成と第２フレームでの第２画像の形成との切替を高精度かつ容易に行うことができる。第５の発明によれば、光路合成手段及び光路分離手段が可動式ハーフミラーから成っているため、第１フレームでの第１画像の形成と第２フレームでの第２画像の形成との切替を簡単かつコンパクトな構成で行うことができる。また、ハーフミラーを用いることにより、第１，第２画像を重ね合わせて撮影するときに、露出過多にならないように両方の被写体像を減光することが可能となる。
【００２２】
第６の発明によれば、画像処理手段が第２画像から第１画像を減算し、その結果に基づいて第２視点の被写体像の算出を行う構成になっているため、重ね合わせた画像から視差算出に使うソース画像を容易に抽出することができる。第７の発明によれば、上記減算時にフレーム取得のインターバル中の第１，第２画像間の移動量を使って第１，第２画像の位置合わせを行う構成になっているため、検出した位置ズレ分シフトすることで、視差のズレを適正に補正することが可能となる。第８の発明によれば、上記移動量は第１，第２画像の両方に共通に写っている第１視点の被写体像を使って算出されたものであるため、位置ズレを直前に撮影したフレームとのテンプレートマッチで検出することが可能となる。
【００２３】
第９の発明によれば、第１，第２画像間の移動量が所定量よりも小さいと判定した場合、第２フレームでの第２画像の形成において、第１視点の被写体像のみを形成するとともに、第２視点の被写体像として既に得られているものを用いる構成になっているため、撮影装置の移動により撮影しているシーンが変更したときのみ視差画像が更新される。したがって、省電力を実現することが可能となる。
【００２４】
第１０の発明によれば、第２フレームで第１，第２視点の両被写体像を形成するときには、第１フレームよりも撮像素子の露光時間を短くする構成になっているため、シャッター速度が上がって、結果として、撮像面が露光過多になることを防ぐことができる。
【００２５】
第１１の発明によれば、第２フレームで第１，第２視点の両被写体像を形成するときには、第１，第２撮影光学系の両光路の光量を減らす構成になっているため、撮像面が露光過多になることを防ぐことができる。
【００２６】
第１２の発明によれば、第２フレームで第１，第２視点の両被写体像を形成するときには、第１撮影光学系の光路を第２撮影光学系の光路と重なる部分の少なくとも一部で完全に遮光する構成になっているため、第２フレームで第２視点の被写体像が形成される領域において、第１視点の被写体像は暗く形成される。結果として、撮像面が露光過多になることを防ぐことができる。
【００２７】
第１３の発明によれば、第１画像と、第２画像中の第２視点の被写体像から算出される画像と、でステレオ視を行う構成になっているため、ステレオ視をより一層適正に行うことができる。
【図面の簡単な説明】
【００２８】
【図１】ステレオ撮影装置の第１の実施の形態を示す模式図。
【図２】ステレオ撮影装置の第２の実施の形態を示す模式図。
【図３】各実施の形態における第１，第２フレームでの画像構成例を示す図。
【図４】各実施の形態における画像データ処理の概略構成例を示すブロック図。
【図５】各実施の形態における画像データの処理制御を示すフローチャート。
【図６】各実施の形態における左右画像のデータ生成を説明するための図。
【図７】各実施の形態における右画像の生成方法を説明するための図。
【発明を実施するための形態】
【００２９】
以下、本発明に係るステレオ撮影装置等を、図面を参照しつつ説明する。なお、各実施の形態等の相互で同一の部分や相当する部分には同一の符号を付して重複説明を適宜省略する。
【００３０】
《第１の実施の形態（図１，図３）》
図１に、被写体のステレオ撮影を行う時系列型のステレオ撮影装置１０Ａを示す。ステレオ撮影装置１０Ａは、第１，第２撮影光学系ＫＬ，ＫＲと、クロスプリズム３と、撮像素子（例えば、ＣＣＤ(Charge Coupled Device)）４と、シャッター５と、光路制御部７と、を備えている。第１撮影光学系ＫＬは、第１撮影レンズ１Ｌ等で構成されており、左側視点の被写体像を形成する。第２撮影光学系ＫＲは、第２撮影レンズ１Ｒ，光路折り曲げミラー２等で構成されており、右側視点の被写体像を形成する。単一の撮像素子４は、左側視点及び右側視点の被写体像が形成される撮像面４Ｓを有しており、その撮像面４Ｓ上にカラーフィルタを有している。
【００３１】
クロスプリズム３は、光量を２分割するハーフミラー面を有しており、光路合成手段として、第１，第２撮影光学系ＫＬ，ＫＲの両光路を合成して撮像面４Ｓに対する入射光の光路を構成する。シャッター５は、開く（ＯＮする）と第２撮影光学系ＫＲの光路を構成し、閉じる（ＯＦＦする）と第２撮影光学系ＫＲの光路を完全に遮る構成になっている。つまりシャッター５は、第２撮影光学系ＫＲの光路のみを撮像面４Ｓに対する入射光の光路から分離する光路分離手段として機能する。したがって、撮像素子４の撮像面４Ｓ上には、第１撮影光学系ＫＬからの射出光が常に入射し、第２撮影光学系ＫＲからの射出光がシャッター５が開いたときのみ入射する。結果として、撮像素子４の撮像面４Ｓ上には、第１撮影光学系ＫＬにより左側視点の被写体像が常に形成され、シャッター５が開いたときのみ第２撮影光学系ＫＲにより右側視点の被写体像も重ねて形成される。
【００３２】
シャッター５の開閉制御は光路制御部７により行われ、また、シャッター５の開閉は基本的にフレームの取得と同期して行われる。光路制御部７がシャッター５を閉じると、撮像面４Ｓに対する入射光の光路が第２撮影光学系ＫＲの光路のみとなるので、図３（Ａ）に示すように、第１フレームＦ１で撮像される第１画像は、左側視点の被写体像ｉＬ１のみで構成される。光路制御部７がシャッター５を開くと、撮像面４Ｓに対する入射光の光路が第１，第２撮影光学系ＫＬ，ＫＲの両光路となるので、図３（Ｂ）に示すように、第２フレームＦ２で撮像される第２画像は、左側視点の被写体像ｉＬ２と右側視点の被写体像ｉＲ２とで構成される。この第２フレームＦ２での第２画像の形成においては、第２撮影光学系ＫＲの倍率を制限することによって、左側視点の被写体像ｉＬ２のイメージサークルＣＬ中に右側視点の被写体像ｉＲ２のイメージサークルＣＲが部分的に重なるように、左側視点，右側視点の両被写体像ｉＬ２，ｉＲ２が形成される。
【００３３】
上記のように、第１の実施の形態によれば、左側視点の被写体像ｉＬ１のみを形成することにより、第１フレームＦ１での第１画像の形成を行い、左側視点の被写体像ｉＬ２のイメージサークルＣＬ中に右側視点の被写体像ｉＲ２のイメージサークルＣＲを部分的に重ねて両被写体像ｉＬ２，ｉＲ２を形成することにより、第２フレームＦ２での第２画像の形成を行う構成になっているため、ステレオ視において常に撮影される左側視点の被写体像ｉＬ１，ｉＬ２から、撮影装置１０Ａの移動により起こる画像の位置ズレが検出可能となり、視差算出の高精度化が可能となる。したがって、フレーム取得のインターバル中に装置全体が動いても、簡単な構成で高精度・高画質のステレオ撮影が可能である。なお、このシステムではシャッター５の開閉タイミングにのみ注意すればよいので、技術的には一般的な時系列型に比べて実装が容易であり、２Ｄ撮影（第１撮影光学系ＫＬによる被写体像ｉＬ１のみの撮像）と３Ｄ撮影との切替も容易である。
【００３４】
図３（Ｂ）に示すように、右側視点の被写体像ｉＲ２のイメージサークルＣＲは、左側視点の被写体像ｉＬ２のイメージサークルＣＬより小さい構成になっているため、イメージサークルＣＬ，ＣＲが互いに重ならない領域が形成される。この重ならない領域には右側視点の被写体像ｉＲ２が入らないので、この領域を使って位置ズレを高精度に検出することができる。上記重ならない領域は、まとまって表示される方が位置検出精度を上げやすい。したがって、右側視点の被写体像ｉＲ２のイメージサークルＣＲの中心ＰＲを撮像面４Ｓの中心ＰＬ（中心ＰＬはイメージサークルＣＬの中心と一致する）から偏った位置に配置すると、まとまった領域が確保されて、高い位置検出精度を得ることが可能となる。また、第１の実施の形態によれば、光路合成手段がクロスプリズム３から成っており、光路分離手段がシャッター５から成っているため、第１フレームＦ１での第１画像の形成と第２フレームＦ２での第２画像の形成との切替を、高精度かつ容易に行うことができる。
【００３５】
《第２の実施の形態（図２，図３）》
図２に、被写体のステレオ撮影を行う時系列型のステレオ撮影装置１０Ｂを示す。ステレオ撮影装置１０Ｂは、第１，第２撮影光学系ＫＬ，ＫＲと、撮像素子（例えば、ＣＣＤ）４と、可動式ハーフミラー６、光路制御部７と、を備えている。第１撮影光学系ＫＬは、第１撮影レンズ１Ｌ等で構成されており、左側視点の被写体像を形成する。第２撮影光学系ＫＲは、第２撮影レンズ１Ｒ，光路折り曲げミラー２等で構成されており、右側視点の被写体像を形成する。単一の撮像素子４は、左側視点及び右側視点の被写体像が形成される撮像面４Ｓを有しており、その撮像面４Ｓ上にカラーフィルタを有している。
【００３６】
可動式ハーフミラー６は、光量を２分割するハーフミラー面を有しており、図２（Ｂ）に示すように、開く（ＯＮする）と第２撮影光学系ＫＲの光路を構成し（ハーフミラー面が第１，第２撮影光学系ＫＬ，ＫＲの光軸に対して４５°の傾斜状態）、光路合成手段として、第１，第２撮影光学系ＫＬ，ＫＲの両光路を合成して撮像面４Ｓに対する入射光の光路を構成する。また可動式ハーフミラー６は、図２（Ａ）に示すように、閉じる（ＯＦＦする）と第２撮影光学系ＫＲの光路を透過光路と反射光路とに２分割して、撮像面４Ｓに対する入射光の光路から外す構成になっている（ハーフミラー面が第２撮影光学系ＫＲの光軸に対して直交状態）。つまり可動式ハーフミラー６は、第２撮影光学系ＫＲの光路のみを撮像面４Ｓに対する入射光の光路から分離する光路分離手段として機能する。したがって、撮像素子４の撮像面４Ｓ上には、第１撮影光学系ＫＬからの射出光が常に入射し、第２撮影光学系ＫＲからの射出光が可動式ハーフミラー６が開いたときのみ入射する。結果として、撮像素子４の撮像面４Ｓ上には、第１撮影光学系ＫＬにより左側視点の被写体像が常に形成され、可動式ハーフミラー６が開いたときのみ第２撮影光学系ＫＲにより右側視点の被写体像も重ねて形成される。
【００３７】
可動式ハーフミラー６の開閉制御は光路制御部７により行われ、また、可動式ハーフミラー６の開閉は基本的にフレームの取得と同期して行われる。光路制御部７が可動式ハーフミラー６を閉じると、撮像面４Ｓに対する入射光の光路が第２撮影光学系ＫＲの光路のみとなるので、図３（Ａ）に示すように、第１フレームＦ１で撮像される第１画像は、左側視点の被写体像ｉＬ１のみで構成される。光路制御部７が可動式ハーフミラー６を開くと、撮像面４Ｓに対する入射光の光路が第１，第２撮影光学系ＫＬ，ＫＲの両光路となるので、図３（Ｂ）に示すように、第２フレームＦ２で撮像される第２画像は、左側視点の被写体像ｉＬ２と右側視点の被写体像ｉＲ２とで構成される。この第２フレームＦ２での第２画像の形成においては、第２撮影光学系ＫＲの倍率を制限することによって、左側視点の被写体像ｉＬ２のイメージサークルＣＬ中に右側視点の被写体像ｉＲ２のイメージサークルＣＲが部分的に重なるように、左側視点，右側視点の両被写体像ｉＬ２，ｉＲ２が形成される。
【００３８】
上記のように、第２の実施の形態によれば、左側視点の被写体像ｉＬ１のみを形成することにより、第１フレームＦ１での第１画像の形成を行い、左側視点の被写体像ｉＬ２のイメージサークルＣＬ中に右側視点の被写体像ｉＲ２のイメージサークルＣＲを部分的に重ねて両被写体像ｉＬ２，ｉＲ２を形成することにより、第２フレームＦ２での第２画像の形成を行う構成になっているため、ステレオ視において常に撮影される左側視点の被写体像ｉＬ１，ｉＬ２から、撮影装置１０Ｂの移動により起こる画像の位置ズレが検出可能となり、視差算出の高精度化が可能となる。したがって、フレーム取得のインターバル中に装置全体が動いても、簡単な構成で高精度・高画質のステレオ撮影が可能である。なお、このシステムでは可動式ハーフミラー６の開閉タイミングにのみ注意すればよいので、技術的には一般的な時系列型に比べて実装が容易であり、２Ｄ撮影（第１撮影光学系ＫＬによる被写体像ｉＬ１のみの撮像）と３Ｄ撮影との切替も容易である。
【００３９】
図３（Ｂ）に示すように、右側視点の被写体像ｉＲ２のイメージサークルＣＲは、左側視点の被写体像ｉＬ２のイメージサークルＣＬより小さい構成になっているため、イメージサークルＣＬ，ＣＲが互いに重ならない領域が形成される。この重ならない領域には右側視点の被写体像ｉＲ２が入らないので、この領域を使って位置ズレを高精度に検出することができる。上記重ならない領域は、まとまって表示される方が位置検出精度を上げやすい。したがって、右側視点の被写体像ｉＲ２のイメージサークルＣＲの中心ＰＲを撮像面４Ｓの中心ＰＬ（中心ＰＬはイメージサークルＣＬの中心と一致する）から偏った位置に配置すると、まとまった領域が確保されて、高い位置検出精度を得ることが可能となる。また、第２の実施の形態によれば、光路合成手段及び光路分離手段が可動式ハーフミラー６から成っているため、第１フレームＦ１での第１画像の形成と第２フレームＦ２での第２画像の形成との切替を、簡単かつコンパクトな構成で行うことができる。
【００４０】
前述した第１の実施の形態（図１）の場合、第１撮影光学系ＫＬで構成される左画像はシャッター５のＯＮ／ＯＦＦにかかわらず常に一定の明るさを持つことになる。このため、第２撮影光学系ＫＲで構成される右画像が左画像の高い輝度部分に重なると撮像素子４で認識できない場合がある。第２の実施の形態（図２）のようにハーフミラー６を用いれば、第１，第２画像を重ね合わせて撮影するときに、露出過多にならないように両方の被写体像ｉＬ２，ｉＲ２を減光することが可能となる。
【００４１】
《第１，第２の実施の形態の画像データ処理（図４〜図７）》
図４にステレオ撮影装置１０Ａ，１０Ｂの画像データ処理の概略構成例を示し、図５に画像データの処理制御フローを示す。また、図６に左右画像のデータ生成の様子を模式的に示し、図７に右画像の生成方法を示す。前述したステレオ撮影装置１０Ａ，１０Ｂは、光路制御部７等の他に、図４に示すように、画像処理部１２と、画像保存部１３と、左画像表示部１４Ｌと、右画像表示部１４Ｒと、を備えている。
【００４２】
被写体２０（図７）のステレオ撮影が開始されると、光路制御部７での制御により右側光路をＯＦＦする（図５の＃１０）。つまり、第１の実施の形態（図１）の場合にはシャッター５を閉じ、第２の実施の形態（図２）の場合には可動式ハーフミラー６を閉じる。左側視点の被写体像ｉＬ１から成る第１画像（図６（Ａ））を第１フレームＦ１で撮影して、画像処理部１２から画像保存部１３に保持する（図５の＃２０）。
【００４３】
次に、光路制御部７での制御により右側光路をＯＮする（図５の＃３０）。つまり、第１の実施の形態（図１）の場合にはシャッター５を開き、第２の実施の形態（図２）の場合には可動式ハーフミラー６を開く。左側視点の被写体像ｉＬ２と右側視点の被写体像ｉＲ２から成る第２画像（図６（Ｂ））を第２フレームＦ２で撮影して、画像処理部１２から画像保存部１３に保持する（図５の＃４０）。
【００４４】
ステレオ撮影装置１０Ａ，１０Ｂが動くと、被写体像から成る画像は画面全体で動くことになるが、ステレオ視において常に撮影される左側視点の被写体像ｉＬ１，ｉＬ２から、撮影装置１０Ａ，１０Ｂの移動により起こる画像の位置ズレを検出することは可能であり、その検出結果を用いて視差算出の高精度化を達成することが可能である。したがって、フレーム取得のインターバル中に装置全体が動いても、簡単な構成で高精度・高画質のステレオ撮影が可能である。
【００４５】
そこで、第１，第２画像の左側視点の被写体像ｉＬ１，ｉＬ２を使って対応点探索を行い、第１，第２画像間の移動量δを求める（図５の＃５０）。左側視点の被写体像ｉＬ１，ｉＬ２が合致したときの第１，第２フレームＦ１，Ｆ２間の移動量δは、図６（Ｃ）から分かるように、第１，第２フレームＦ１，Ｆ２間でのステレオ撮影装置１０Ａ，１０Ｂの移動により生じる画面全体の移動量である。
【００４６】
求めた移動量δの分だけ第２画像を移動させて、第２画像から第１画像を減算する（図５の＃６０）。減算後の被写体像ｉＲ２から成る第２画像（図６（Ｄ））を、第１，第２撮影光学系ＫＬ，ＫＲの光学倍率比分、拡大（又は縮小）して、被写体像ｉＲ３から成る第３画像（図６（Ｅ））とする（図５の＃７０）。第１画像と第３画像とでステレオ視をして（図６（Ｆ））、被写体像ｉＲ４から成る距離画像（図６（Ｇ））を作成する（図５の＃８０）。なお、減算後の第２画像（図６（Ｄ））は解像度が低いので拡大するとノイズが多くなるが、距離画像（図６（Ｇ））を得るためのステレオ視（図６（Ｆ））に使うだけなので問題は無い。
【００４７】
第１画像（図６（Ａ））と距離画像（図６（Ｇ））から、右側視点の被写体像ｉＲから成る右画像（図６（Ｉ））を作成する（図５の＃９０）。そして、左側視点の被写体像ｉＬから成る左画像（図６（Ｈ））として、第１画像（図６（Ａ））を左画像表示部１４Ｌに送り、右画像（図６（Ｉ））を右画像表示部１４Ｒに送って（図５の＃１００）、処理を終了する。
【００４８】
図７に示すように、第１，第２撮影光学系ＫＬ，ＫＲの姿勢（視野角・視野の方向）が分かっているとき、各被写体像ｉＬ，ｉＲから成る左右の画像（図６（Ｈ），（Ｉ））上の点は、第１，第２撮影光学系ＫＬ，ＫＲの向きＰ１，Ｐ２を基準とした角度θ１，θ２として表現することができる。そして、角度θ１，θ２が分かれば、画像上の点の位置に戻すこともできる。また、三角測量の原理から、撮像素子４から被写体２０までの距離ｋは式：ｋ＝（（ｔａｎθ１・ｔａｎθ２）／（ｔａｎθ１＋ｔａｎθ２））ｄで表すことができる（ｄ：第１，第２撮影光学系ＫＬ，ＫＲ間の距離）。今、ｋは距離画像（図６（Ｇ））から明らかなので、右画像上のピクセルの輝度は上式を角度θ１について解けば得られる。角度θ１に対応する点の位置のピクセル輝度を持ってくれば、それがそこに対応する右画像上の点の輝度となる。したがって、前記右画像の作成（図５の＃９０）を行うことができる。
【００４９】
上述したように画像処理部１２が第２画像から第１画像を減算し（図５の＃６０）、その結果に基づいて右側視点の被写体像ｉＲ２の算出を行うことによって、重ね合わせた画像から視差算出に使うソース画像を容易に抽出することができる。また、上記減算時にフレーム取得のインターバル中の第１，第２画像間の移動量δを使って第１，第２画像の位置合わせを行うことにより、検出した位置ズレ分シフトすることで、視差のズレを適正に補正することが可能となる。上記移動量δは第１，第２画像の両方に共通に写っている左側視点の被写体像ｉＬ１，ｉＬ２を使って算出されたものであるため、位置ズレを直前に撮影したフレームとのテンプレートマッチ（移動量を算出するための対応点探索の一手法）で検出することが可能となる。
【００５０】
第１，第２画像間の移動量δが所定量よりも小さいと判定した場合、第２フレームＦ２での第２画像の形成において、左側視点の被写体像ｉＬ２のみを形成するとともに、右側視点の被写体像ｉＲ２として既に得られているものを用いれば、撮影装置１０Ａ，１０Ｂの移動により撮影しているシーンが変更したときのみ視差画像が更新されることになる。したがって、省電力を実現することが可能となる。例えば、図５の＃２０と＃３０との間で、第１，第２画像間の移動量δが所定量よりも大きいと判定した場合にのみ、第１の実施の形態（図１）ではシャッター５を開き、第２の実施の形態（図２）では可動式ハーフミラー６を開くように制御すればよい。
【００５１】
第２の実施の形態（図２）のように、第２フレームＦ２で左側視点，右側視点の両被写体像ｉＬ２，ｉＲ２を形成するときに、可動式ハーフミラー６で第１，第２撮影光学系ＫＬ，ＫＲの両光路の光量を減らす構成であれば、撮像面４Ｓが露光過多になることを防ぐことができる。また、第２フレームＦ２で左側視点，右側視点の両被写体像ｉＬ２，ｉＲ２を形成するときに、第１フレームＦ１よりも撮像素子４の露光時間を短くすることによっても、シャッター速度が上がることになるため、結果として、撮像面４Ｓが露光過多になることを防ぐことができる。
【００５２】
第２フレームＦ２で左側視点，右側視点の両被写体像ｉＬ２，ｉＲ２を形成するときに、第１撮影光学系ＫＬの光路を第２撮影光学系ＫＲの光路と重なる部分の少なくとも一部で完全に遮光すれば、第２フレームＦ２で右側視点の被写体像ｉＲ２が形成される領域において、左側視点の被写体像ｉＬ２は暗く形成される。結果として、撮像面４Ｓが露光過多になることを防ぐことができる。
【符号の説明】
【００５３】
ＫＬ    第１撮影光学系
ＫＲ    第２撮影光学系
１Ｌ    第１撮影レンズ
１Ｒ    第２撮影レンズ
２    光路折り曲げミラー
３    クロスプリズム（光路合成手段）
４    撮像素子
４Ｓ    撮像面
５    シャッター（光路分離手段）
６    可動式ハーフミラー（光路合成手段，光路分離手段）
７    光路制御部（制御手段）
１０Ａ，１０Ｂ    ステレオ撮影装置
１２    画像処理部（画像処理手段）
１３    画像保存部
１４Ｌ    左画像表示装置
１４Ｒ    右画像表示装置
２０    被写体
Ｆ１    第１フレーム
Ｆ２    第２フレーム
【図１】
2012128096.tif 000003
【図２】
2012128096.tif 000004
【図３】
2012128096.tif 000005
【図４】
2012128096.tif 000006
【図５】
2012128096.tif 000007
【図６】
2012128096.tif 000008
【図７】
2012128096.tif 000009