(57)【要約】【課題】被写体の移動に応じて視差データを素早く更新でき、高精細合成処理に必要な視差データを低ノイズかつ安定して取得できるとともに、視差データが算出できない場合でも、違和感無く映像を高精細化することができる撮像装置を提供する。【解決手段】画像を撮像する複数の撮像部と、複数の撮像部の画像から被写体までの距離を示す視差データを算出する視差算出部と、複数の撮像部の画像を合成するために必要な合成情報を、現時点の視差データと、現時点の合成情報と、所定の時間内に蓄積した視差データと、所定の時間内において視差データを算出できなかった回数とに基づき算出する合成情報算出部と、合成情報に基づき複数の撮像部の画像を合成して高精細画像を出力する画像合成処理部とを備える。【選択図】図１
2011182325.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する複数の撮像部と、
前記複数の撮像部の画像から被写体までの距離を示す視差データを算出する視差算出部と、
前記複数の撮像部の画像を合成するために必要な合成情報を、現時点の前記視差データと、現時点の前記合成情報と、所定の時間内に蓄積した前記視差データと、前記所定の時間内において前記視差データを算出できなかった回数とに基づき算出する合成情報算出部と、
前記合成情報に基づき前記複数の撮像部の画像を合成して高精細画像を出力する画像合成処理部と
を備えることを特徴とする撮像装置。
【請求項２】
前記合成情報算出部は、前記視差データが算出できなかった回数が所定の時間内で所定の回数以上の場合は前記合成情報としてエラー情報を出力し、
前記画像合成処理は、前記合成情報がエラー情報であった際に、前記複数の撮像部の画像の合成を行わず、予め決められている撮像部の基準画像から出力映像を生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記合成情報算出部は、前記視差算出部が算出した前記視差データと、現時点の前記合成情報とを比較して所定以上の大きな差がある場合、蓄積した前記視差データを破棄して新たな視差データを蓄積し直して前記合成情報を算出することを特徴とする請求項１または２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像部で撮影した映像から１つの高精細映像を合成する機能を備えた撮像装置に関する。
【背景技術】
【０００２】
近年、高画質なデジタルスチルカメラやデジタルビデオカメラ（以下、デジタルカメラという）が急速に普及してきている。また、並行してデジタルカメラの小型化、薄型化の開発も進められており、携帯電話等に小型で高画質なデジタルカメラが搭載され始めた。デジタルカメラに代表される撮像装置は、撮像素子とレンズ光学系から構成されている。撮像素子としては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等の電子デバイスが使用される。これら撮像素子は、撮像面に結像した光量分布を光電変換し撮影画像として出力するものである。レンズ光学系としては、収差を除去するために、数枚の非球面レンズから構成されているものが多い。更にズーム機能を持たせる場合は、複数のレンズと撮像素子の間隔を変える駆動機構（アクチュエータ）が必要となる。
【０００３】
一方、撮像装置の高画質化、高機能化の要求に応じて、撮像素子は多画素化、高精細化し、結像光学系は低収差、高精度化が進んでいる。それに伴い、撮像装置が大きくなり、小型化、薄型化が困難になってしまうという課題が表出している。このような課題に対して、レンズ光学系に複眼構造を採用する技術や、複数の撮像素子とレンズ光学系から構成される撮像装置が提案されている。
【０００４】
例えば、平面状に配置した固体レンズアレイと液晶レンズアレイと撮像素子から構成された撮像レンズ装置が提案されている（例えば、特許文献１参照）。この撮像レンズ装置は、図１６に示すように、レンズアレイ２００１と、同数の可変焦点型の液晶レンズアレイ２００２とを有するレンズ系と、このレンズ系を通して結像する光学像を撮像する撮像素子２００３と、撮像素子２００３により得られた複数の画像を画像処理して全体の画像を再構成する演算装置２００４と、演算装置２００４からフォーカス情報を検出して液晶レンズアレイ２００２を駆動する液晶駆動装置２００５から構成されている。この構成により焦点距離を短くした小型薄型の撮像レンズ装置が実現可能である。
【０００５】
また、撮像レンズ、カラーフィルタ、検出器アレイから構成される４つのサブカメラを組み合わせて、サブピクセル解像度を有する薄型カラーカメラも提案されている。（例えば、特許文献２参照）。この薄型カラーカメラは、図１７に示すように４つのレンズ２２ａ〜２２ｄと、４つのカラーフィルタ２５ａ〜２５ｄと、検出器アレイ２４から構成される。カラーフィルタ２５は、赤色光（Ｒ）を透過するフィルタ２５ａ、緑色光（Ｇ）を透過するフィフィルタと２５ｃ、青色光（Ｂ）を透過するフィルタ２５ｄから構成され、検出器アレイ２４は赤色、緑色、青色の画像を撮影する。この構成で、人間の視覚系で高い感度をもつ緑色の２つの画像から高解像度の合成画像を形成し、赤色と青色と組み合わせてフルカラー画像を得ることができる。これら複数のカメラで撮影した複数の画像から高解像度画像を合成する場合は、被写体までの距離を算出して、その距離毎に合成条件を変更する必要がある。通常、被写体までの距離はステレオマッチングと呼ばれる方法で求められる。ステレオマッチングは複数の撮影画像の対応点を求めてそのズレ量である視差（距離）情報を算出する。
【０００６】
しかしながら、被写体に特徴点（模様、テクスチャーなど）が無い場合、対応点が求まらずエラーやノイズが発生する。更に、一方のカメラでは撮影できるが、他方のカメラでは物体の陰に隠れて撮影できないオクルージョン（ｏｃｃｌｕｓｉｏｎ）と呼ばれる領域では対応点を求めることができないという問題がある。さらに、ステレオマッチングは映像信号の時間的揺らぎやノイズの影響も受けやすいが、このような問題に対して、特許文献３では、現在処理中の視差と、過去に処理され蓄積された視差を用いて視差を決定する計測装置が開示されている。この計測装置は、図１８に示すように、ステレオカメラで撮影した左画像１０１、右画像１０２はそれぞれ特徴抽出部１０３、１０４にて特徴抽出処理を施され、左特徴画像、右特徴画像が作成される。特徴抽出部１０３、１０４の出力は対応付け部１０５に入力され、前記特徴画像間で対応付けが行われ、その結果、視差が求められる。対応付け部１０５の出力は視差蓄積部１０６と視差決定部１０７に入力される。視差決定部１０７は、現在処理中視差と、過去に処理されて視差蓄積部１０６に蓄積された視差とを用いて最頻値または中央値を視差値に決定する。その結果、散発的に発生する映像信号の乱れやノイズなどの影響を受け難くし、計測誤差やエラーの少ない安定かつ高精度な視差データを取得することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２５１６１３号公報
【特許文献２】特表２００７−５２０１６６号公報
【特許文献３】特開２００１−３３２１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記の特許文献３の計測装置は、過去に取得したデータを用いて最頻値または中央値を視差とするため安定した視差データを取得することができるが、視差データの更新が遅れるといった問題が生じる。特許文献３の技術分野である計測装置はリアルタイム性よりも安定性が求められるため、更新が遅れても大きな問題とならないが、視差データを撮影画像の高精細化合成処理に用いる撮像装置の場合、被写体の動きに追従して視差データも素早く更新する必要がある。例えば、被写体が移動して視差データが変化した場合、特許文献３の装置では過去の蓄積データの最頻値または中央値が更新されるまで視差データは更新しないため、その間の間違った合成条件で合成することとなり、合成映像の画質が悪化する可能性がある。
【０００９】
また、上述したように視差データは常に算出できるものではなく、被写体に特徴点（輪郭、模様、テクスチャーなど）が無い場合や、一方のカメラでは撮影できるが他方のカメラでは物体の陰に隠れて撮影できないオクルージョン（ｏｃｃｌｕｓｉｏｎ）の場合は視差データが算出できないという問題がある。視差が算出できない被写体でも、撮像装置は高精細化合成処理を続行する必要があるため、画像を合成するための何らかの情報が必要となる。
【００１０】
本発明は、このような事情に鑑みてなされたもので、被写体の移動に応じて視差データを素早く更新でき、高精細合成処理に必要な視差データを低ノイズかつ安定して取得できるとともに、視差データが算出できない場合でも、違和感無く映像を高精細化することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、画像を撮像する複数の撮像部と、前記複数の撮像部の画像から被写体までの距離を示す視差データを算出する視差算出部と、前記複数の撮像部の画像を合成するために必要な合成情報を、現時点の前記視差データと、現時点の前記合成情報と、所定の時間内に蓄積した前記視差データと、前記所定の時間内において前記視差データを算出できなかった回数とに基づき算出する合成情報算出部と、前記合成情報に基づき前記複数の撮像部の画像を合成して高精細画像を出力する画像合成処理部とを備えることを特徴とする。
【００１２】
本発明は、前記合成情報算出部は、前記視差データが算出できなかった回数が所定の時間内で所定の回数以上の場合は前記合成情報としてエラー情報を出力し、前記画像合成処理は、前記合成情報がエラー情報であった際に、前記複数の撮像部の画像の合成を行わず、予め決められている撮像部の基準画像から出力映像を生成することを特徴とする。
【００１３】
本発明は、前記合成情報算出部は、前記視差算出部が算出した前記視差データと、現時点の前記合成情報とを比較して所定以上の大きな差がある場合、蓄積した前記視差データを破棄して新たな視差データを蓄積し直して前記合成情報を算出することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、高精細合成処理に必要な合成情報を、合成情報を算出した視差データと、現時点で映像合成を行うために使用している合成情報と、所定の時間内に蓄積した視差データの中央値と、所定の時間内の視差データのエラー回数とから算出するようにしたため、低ノイズかつ安定して取得することができる。また、視差算出エラー回数に基づき合成情報にエラーフラグをセットし、一つの撮像部の映像のみから出力映像を生成するため、被写体に特徴点（輪郭、模様、テクスチャ）が無い場合やオクルージョン領域の視差データが算出できない場合でも、違和感無く映像を高精細化することができる。また、視差算出結果と現在の合成情報と比較して大きく異なる場合は、これまでの蓄積視差データを破棄して新たに視差算出結果を蓄積するためするため、被写体の移動に応じて視差データを素早く更新することが可能になるという効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態における多眼撮像装置の概観図である。
【図２】実施形態における多眼撮像装置の全体構成を示すブロック図である。
【図３】実施形態における多眼撮像装置の視差算出部のブロック図である。
【図４】実施形態における多眼撮像装置の対応点探索処理を示す模式図である。
【図５】実施形態における多眼撮像装置の対応点探索処理を示す模式図である。
【図６】実施形態における多眼撮像装置の対応点探索処理を示す模式図である。
【図７】実施形態における多眼撮像装置の対応点探索処理を示す模式図である。
【図８】実施形態における多眼撮像装置の対応点探索処理のフローチャートである。
【図９】実施形態における合成情報算出部の構成を示すブロック図である。
【図１０】実施形態における映像合成処理部の構成を示すブロック図である。
【図１１】実施形態における多眼合成処理部の動作を示す図である。
【図１２】実施形態における高解像度合成処理の動作を示す図である。
【図１３】実施形態における単眼処理部及び多眼合成処理部の動作を示す図である。
【図１４】実施形態における単眼処理部及び多眼合成処理部の動作を示す図である。
【図１５】実施形態における映像合成処理部の動作を示すフローチャートである。
【図１６】従来技術による撮像装置の構成を示す図である。
【図１７】従来技術による撮像装置の構成を示す図である。
【図１８】従来技術による撮像装置の構成を示す図である。
【発明を実施するための形態】
【００１６】
本発明の一実施形態について、図面を参照して詳細に説明する。本発明の実施形態に係る多眼撮像装置の概観を図１に、その構成を示す機能ブロック図を図２に示す。図１及び２に示すように、撮像装置１０は、４系統の撮像部１０１、１０２、１０３、１０４から構成される。各撮像部１０１、１０２、１０３、１０４は撮像レンズ１１と撮像素子１２を備えている。撮像レンズ１１は被写体からの光を撮像素子１２上に結像し、結像されたイメージは、例えばＣＭＯＳ撮像素子などの撮像素子１２で光電変換されて映像信号として出力される。
【００１７】
４つの撮像部１０１、１０２、１０３、１０４で撮影された４系統の映像信号のそれぞれは映像合成処理部２０に入力される。更に、２つの撮像部１０１、１０２で撮影された映像信号は視差算出部２１にも入力される。視差算出部２１は入力された２つの映像の対応点探索を行い、その探索結果から２つの撮像部間の視差データを算出して合成情報算出部２２に出力する。視差データは、被写体までの距離データと等価である。合成情報算出部２２は入力された視差データを所定時間分蓄積し、蓄積された視差データから画像を合成するのに必要な合成情報を算出して、映像合成処理部２０に出力する。映像合成処理部２０は入力された映像信号を合成情報に基づき合成処理して高精細映像を出力する。
【００１８】
次に、図３を参照して、図２に示す視差算出部２１の構成を説明する。図３は、図２に示す撮像部１０１において撮影された画像（以下、基準画像という）と撮像部１０２において撮影された画像（以下、参照画像という）から視差データを算出する視差算出部２１の構成を示すブロック図である。２つの座標変換部３１、３２は、基準画像と参照画像の画像平面を同一平面上に乗せることを目的に、両画像を幾何学変換（座標変換）してエピポーララインを平行化する。カメラパラメータ３０は、撮像部１０１固有の焦点距離やレンズ歪みパラメータなどの内部パラメータと、４つの撮像部１０１、１０２、１０３、１０４間の位置関係を示す外部パラメータを予め保持している。同様に、図３においては省略しているが、座標変換部３２は、撮像部１０２固有のカメラパラメータを保持している。対応点探索部３３は、エピポーララインが平行となった基準画像と参照画像の対応画素を探索し、基準画像に対する参照画像の視差データを求めて出力する。
【００１９】
次に、図４〜図７を参照して、対応画素を探索する処理動作について説明する。図４および図５は、それぞれ参照画像および基準画像のエピポーラライン平行化後の画像平面を示している。基準画像上の画素に対応する参照画像上の画素（対応画素）を求めるために、基準画像上の注目画素の移動方法について図５を参照して説明する。基準画像上の注目画素を中心とするブロック（以下、注目ブロックという）を画像左上（探索開始ブロック）から順に右側のライン方向に１画素毎に移動させ、移動させた注目ブロックがラインの右端に到達した場合は、１ライン下の左側から順に右側のライン方向へと注目ブロックを移動させる。これを基準画像右下のブロック（探索終了ブロック）まで繰り返す。
【００２０】
次に、図５に示す基準画像上のある１つの注目ブロック（基準注目ブロック）に類似する参照画像上のブロックを探索する処理動作について図４を参照して説明する。図５に示す基準画像上の基準注目ブロックの座標（ｘ、ｙ）と同じ座標となる参照画像上のブロック（参照注目ブロック）から順に右側のライン方向へ参照注目ブロックを１画素毎に移動させていき、図４に示す参照画像上の探索終了ブロックまで繰り返す。ここで探索する範囲（探索範囲）は、撮影した被写体の最大視差で決まる値であり、設定した探索範囲によって、視差データを算出できる被写体までの最短の距離が決定される。以上の参照注目ブロックの探索を図５に示す基準画像上の各基準注目ブロックについて行う。
【００２１】
次に、基準注目ブロックと類似する参照注目ブロックの決定方法について図６および図７を参照して説明する。図７は基準注目ブロックを示しており、基準画像上の注目画素を中心とする横Ｍ×縦Ｎのサイズのブロックを表している。図６は参照注目ブロックを示しており、参照画像上の注目画素を中心とする横Ｍ×縦Ｎのサイズのブロックを表している。図６に示す参照注目ブロックおよび図７に示す基準注目ブロック上の任意の画素を表すために、横方向をｉ、縦方向をｊとした時の座標（ｉ，ｊ）の画素値をそれぞれＲ（ｉ，ｊ）、Ｔ（ｉ，ｊ）とする。類似度を求める方法は、一般的に多く用いられているＳＡＤ（Sum of Absolute Difference）を用いる。ＳＡＤは、（１）式に示す類似度判定式のようにＲ（ｉ，ｊ）とＴ（ｉ，ｊ）の差分の絶対値をブロックの全画素について求め、それを合計した値（この値をＳＳＡＤという）である。基準注目ブロックに類似する参照注目ブロックの決定は、前述した図４に示す参照画像上の探索範囲内の各参照注目ブロックの中でＳＳＡＤの値が最も小さくなる参照注目ブロックを基準注目ブロックと類似していると決定する。
【数１】
2011182325.tif 000003
【００２２】
以上の説明は、視差データの算出方法を処理単位毎に行ったものであるが、入力画素のシーケンスに沿った処理方法を図４〜図７及び図８に示すフローチャートを参照して説明する。まず、基準注目ブロックを基準画像（図５）の先頭（探索開始ブロック）に設定する（ステップＳ９００）。そして、基準注目ブロックの全画素値を基準画像（図５）から読み出す（ステップＳ９０１）。次に、参照注目ブロックを参照画像（図４）の先頭（参照画像左上）に設定する（ステップＳ９０２）。そして、参照注目ブロックの全画素値を参照画像（図４）から読み出す（ステップＳ９０３）。読み出した基準注目ブロックと参照注目ブロックの画素値のＳＳＡＤ値を（１）式に従って算出し、記憶する（ステップＳ９０４）。
【００２３】
次に、探索範囲が終了したか否かを判定し（ステップＳ９０５）、終了していなければ参照注目ブロックを右側のライン方向に１画素移動し（ステップＳ９０６）、再度ステップＳ９０３およびステップＳ９０４を行う。これらステップＳ９０３からステップＳ９０６を探索範囲内で繰り返し、探索範囲内の全ＳＳＡＤ値の算出が終了後、ＳＳＡＤ値が最小となる参照注目ブロックを検出する（ステップＳ９０７）。ここで、ステップＳ９０７で算出した最小のＳＳＡＤ値が必ずしも正しい類似ブロックとなるとは限らない。例えば、基準注目ブロックに特徴点となる模様（テクスチャー）や輪郭がない場合や、参照画像上の探索領域がオクルージョン領域の場合などに視差が正しく検出できない。
【００２４】
この視差が正しく検出できたかは、最小のＳＳＡＤ値がどれくらい小さい値になっているかから判断できる。即ち、最小のＳＳＡＤ値を閾値と比較して（ステップ９０８）、ＳＳＡＤ値が閾値以下の場合（即ち類似度が高い場合）は、基準注目ブロックの中心座標（基準画像上の注目画素）と検出した参照注目ブロックの中心座標（参照画像上の中心座標）の差分を、基準画像上の注目画素の視差データとして出力する（ステップＳ９０９）。一方、ＳＳＡＤ値が閾値以上の場合（即ち類似度が低い場合）は視差が検出できなかったと判断して、エラーフラグとして視差データを０もしくは所定のユニークな値として出力する（ステップ９１０）。
【００２５】
次に、処理が終了したか否かを判定し（ステップＳ９１１）、終了していなければ基準注目ブロックを右側のライン方向に１画素移動し（ステップＳ９１２）、再度ステップＳ９０１からステップＳ９１０を行う。これらステップＳ９０１からステップＳ９１０を基準注目ブロックが（ｂ）基準画像の探索終了ブロックとなるまで繰り返し、基準画像上の各画素の視差データを求める。
【００２６】
以上の説明において、図３の対応点探索部３３の処理方法の一例として、基準画像上の注目画素に類似する参照画像上の画素をＳＡＤの類似度評価関数で探索したが、この手法に限定されるものではなく、基準画像上と参照画像上の類似画素を探索する手法であればどのような手法を使用して、視差データを求めても良い。
【００２７】
次に、図９を参照して図２に示す合成情報算出部２２の構成と動作を説明する。図９は、視差算出部２１にて算出した視差データをもとに映像合成処理部２０の多眼合成処理に必要な合成情報を算出する合成情報算出部２２の構成を示すブロック図である。図中の符号９０は複数の視差データの中央値を算出する中央値算出部、９１は中央値算出に必要な視差データを格納するデータ格納部、９２は視差検出エラーの回数をカウントするエラーカウンタ、９３は入力された視差データと出力している合成情報の差分を求める比較器、９４は中央値とエラー情報の論理積を出力する論理積部である。
【００２８】
入力された視差データは中央値算出部９０、エラーカウンタ９２、比較器９３にそれぞれ入力される。エラーカウンタ９２は所定時間内の視差検出エラー回数をカウントして、エラー回数が所定以上の場合はエラーフラグとして０の値を論理積部９４に出力するとともに、リセット信号を中央値算出部９０に出力する。エラー回数が所定以上でない場合、エラーカウンタ９２は、リセット信号を出力せず、エラーフラグとして１の値を論理積部９４に出力する。論理積部９４は、視差データ中央値とエラーフラグの論理積を出力して、エラーが一定以上の回数発生した場合は０の値が、エラー回数の値が小さい場合は中央値算出部で算出した視差データの中央値の値が合成情報として映像合成処理部２０に出力することになる。
【００２９】
比較器９３は、入力された視差データと、論理積部９４から出力される合成情報とを比較して、その差分が所定以上の場合は視差データが大きく変化したと見なしてリセット信号を中央値算出部９０に出力する。中央値算出部９０では所定時間内の視差データをデータ格納部９１に格納して、データを昇順に並び替えて、その中央値を論理積部９４に出力する。尚、エラーカウンタ９２と比較器９３からのリセット信号によりデータ格納部９１に格納した視差データをリセットする。このように、視差データの中央値を合成情報として使用することで、映像信号のノイズや揺らぎによる視差データのノイズを低減できるとともに、被写体が移動して視差データが大きく変化した場合でも、データ格納部９１がリセット（データクリア）されるため、被写体の移動に応じて視差データを素早く更新することができる。
【００３０】
次に、図１０を参照して図２に示す映像合成処理部２０の詳細な構成と動作を説明する。映像合成処理部２０は、４つの補正処理部４０１−１〜４０１−４、単眼映像合成処理部４０３、多眼映像合成処理部４０４、高解像度合成処理部４０５を備える。４つの位置合わせ補正処理部４０１は、それぞれカメラパラメータ４０２を格納した記憶装置を備えるが、それを１つの位置合わせ補正処理部４０１−１内に図示した。撮像装置１０１の映像信号は位置合わせ補正処理部４０１−１に加えられ、以下同様にして、撮像装置１０４の映像信号は位置合わせ補正処理部４０１−４に加えられる。位置合わせ補正処理部４０１−１の出力は、単眼処理部４０３へ加えられる。位置合わせ補正処理部４０１−１〜４０１−４の出力は、多眼合成処理部４０４へ加えられる。単眼処理部４０３の出力と多眼合成処理部４０４の出力は、高解像度合成処理部４０５において高精細映像に合成され、外部へ出力される。
【００３１】
位置合わせ補正処理部４０１−１〜４は合成情報算出部２２から出力される合成情報と各撮像部の向きや姿勢やレンズ歪の状態を示すカメラパラメータ４０２に基づき、各撮像部１０１、１０２、１０３、１０４の映像が同じ被写体位置を捕らえるように位置合わせを行う。単眼処理部４０３は、入力した合成情報がエラーフラグの場合、視差を算出する際に基準とした撮像部１０１で撮影された映像信号のみで合成処理を行う。多眼合成処理部４０４はエラーフラグでない合成情報を元に、４つの撮像部１０１、１０２、１０３、１０４の映像信号を用いて高精細化合成を行う。
【００３２】
次に、位置合わせ補正処理部４０１の動作を説明する。各撮像部の向きや姿勢やレンズ歪の状態を示すカメラパラメータ４０２は、パターン形状が既知の市松模様チェッカーパターンを姿勢やアングルを変えながら数回撮像して、その撮影画像から算出するカメラキャリブレーションを行うことで求めることができる。カメラパラメータ４０２は外部パラメータと内部パラメータから構成され、外部パラメータはカメラの姿勢を示すヨー、ピッチ、ロールの３軸ベクトルと、平行移動成分を示す３軸の並進ベクトルの計６パラメータから構成される。また内部パラメータは、画像中心位置、撮像素子上で仮定した座標の角度とアスペクト比、焦点距離の５パラメータから構成される。ここでは撮像部１０１を基準の撮像部として、他の撮像部１０２、１０３、１０４の映像を撮像部１０１の映像に合せるものとして説明する。被写体までの視差データと、基準の撮像部１０１と、他の撮像部１０２、１０３、１０４との間隔（カメラ基線長）から算出されるシフト量をカメラパラメータの外部パラメータである並進量に加味したパラメータを用いて幾何学補正処理することで、４つの撮像部１０１、１０２、１０３、１０４の映像が被写体の同じ点を同じ位置（画素）で捕らえるように位置を合わせることができる。
【００３３】
次に、図１１を参照して、多眼合成処理部４０４の動作を説明する。図１１において、横軸は空間の広がり（大きさ）、縦軸は光の振幅（光強度）示している。説明の簡略化のため、ここでは２つの撮像部１０１、１０２で撮影した２つの画像の合成処理を説明する。図中の符号４０ｂと符号４０ｃはそれぞれ撮像部１０１と撮像部１０２の画素であり、相対位置関係が符号４０ｄの矢印で示すオフセット分だけずれているとする。撮像素子は画素単位で光強度を積分することになるため、符号４０ａで示す被写体の輪郭を、撮像素子１０１で撮影すると符号４０ｅで示す光強度分布の映像信号が得られ、撮像素子１０２で撮影すると符号４０ｆで示す光強度分布の映像信号が得られる。この２つの画像を合成することで、符号４０ｇに示す実際の輪郭に近い高精細な画像を再現することができる。
【００３４】
図１１においては２つの画像による高解像度合成処理を説明したが、４つの撮像部１０１、１０２、１０３、１０４それぞれで得られた画像を用いて高解像度化合成する一例を図１２に示す。ここでは、４つの撮像部１０１、１０２、１０３、１０４の解像度がＶＧＡ（６４０×４８０画素）で、その４倍の画素数であるＱｕａｄ−ＶＧＡの画素（１２８０×９６０画素）への高解像度合成処理を行う場合で説明する。図１２に示すように、Ｑｕａｄ−ＶＧＡの画素（１２８０×９６０画素）の隣接する４つの画素が、異なる撮像部で撮像された画素を割り当てて合成することで高解像度の画像を得ることが可能である。
【００３５】
一例として、撮像部１０１で撮像した画像の一番上のラインの画素を左から順にＧ１１、Ｇ１２、Ｇ１３、・・・とし、以下同様に、２番目のラインの画素を左から順にＧ１４、Ｇ１５、Ｇ１６、・・・とし、３番目のラインの画素を左から順にＧ１７、Ｇ１８、Ｇ１９、・・・とする。撮像部１０２で撮像した画像の一番上のラインの画素を、同様に、左から順にＧ２１、Ｇ２２、Ｇ２３、・・・とし、以下同様に、２番目のラインの画素を左から順にＧ２４、Ｇ２５、Ｇ２６、・・・とし、３番目のラインの画素を左から順にＧ２７、Ｇ２８、Ｇ２９、・・・とする。撮像部１０３、１０４で撮像した画素にも同様に図１２に示すような符号を付加する。高解像度合成処理後の画像としては、一番上のラインについては、左から順にＧ１１、Ｇ２１、Ｇ１２、Ｇ２２、Ｇ１３、Ｇ２３、・・・のように、撮像装置１０１、１０２で撮像した画素の一番上のラインの画素を入れ子にして配置する。２番目のラインについては、左から順にＧ３１、Ｇ４１、Ｇ３２、Ｇ４２、Ｇ３３、Ｇ４３、・・・のように、撮像装置１０３、１０４で撮像した画素の一番上のラインの画素を入れ子にして配置する。以下、図１２の高解像度合成処理後の画像に示すように、同様の配置になるように繰り返す。
【００３６】
次に、図１３、図１４を参照して、合成情報がエラーフラグの場合の、単眼処理部４０３及び多眼合成処理部４０４の動作を説明する。図１３に示すように、奥領域６２の手前に配置された手前領域６１（立方体）を、撮像部１０１、１０２それぞれで撮影した場合、基準となる撮像部１０１では見えているが撮像部１０２では隠れて見えないオクルージョン領域６３（図１３参照）が発生し、合成情報（視差データの中央値）においてエラー領域６４となる。このエラー領域６４は、合成情報（視差データの中央値）が生成できないため、単眼処理部４０３にて基準となる撮像部１０１の映像のみを用いた映像処理が行われ、それ以外の領域は合成情報（視差データの中央値）が生成できるため、多眼合成処理部４０４にて図１１と図１２により説明した高解像度合成処理が実施される。
【００３７】
図１４に示す符号６５は映像合成処理部２０にて生成された高精細画像、符号６７、６８、６９で示す３つのグラフは高精細画像６５の直線６６における輝度変化を示したものである。３つのグラフの縦軸は輝度を、横軸は位置を示し、横軸は右から手前領域６１、エラー領域６４、奥側領域６２と続いている。奥側領域６２と手前領域６１は合成情報（視差データの中央値）が生成できるため、多眼合成処理部４０４にて高解像度合成処理が実施される。
【００３８】
一方、エラー領域６４には撮像部１０１の映像をそのまま用いたグラフ６７中の点線で示す輝度曲線６２が適用される。輝度曲線Ｃ０が手前領域６１の輝度よりも明るい場合は、グラフ６７の矢印に示すように輝度値を下げて輝度曲線Ｃ１に補正する（輝度低下補正処理）。この映像処理により、エラー領域６４の輝度が手前領域６１よりも暗く合成することができるため、オクルージョンのため暗く見えるといった人間の視覚心理における奥行による明るさ知覚に適合した見えを効果的に演出することができる。
【００３９】
また、奥側の領域６１の輝度と一致させるため、グラフ６８の矢印に示すように輝度曲線Ｃ２のように補正する（繋ぎ補正処理）。この映像処理によりエラー領域６４と連続すべき奥側の領域６２との明るさ連続例を保ち、視覚心理的に違和感なく見えるように合成することができる。
【００４０】
さらに、グラフ６９の輝度曲線Ｃ３に示すようにエラー領域６４の輝度変化を平滑化フィルタで抑える（平滑化補正処理）ことにより、重なりのためぼやけて見えるといった人間の視覚心理における奥行の見えを効果的に演出することができる。
【００４１】
次に、図１５を参照して、図２に示す映像合成処理部２０の動作を説明する。まず、動作開始後に映像処理を行うべき画素を指定する（ステップＳ８００）。続いて、指定した画素の視差データがエラーフラグであるか否かの判定を行う（ステップＳ８０１）。エラーフラグでない場合は、４つの撮像部１０１、１０２、１０３、１０４の全ての映像においてカメラパラメータと視差データによる位置合わせ補正処理が実行する（ステップＳ８０２）。その後、多眼合成処理部４０４により多眼合成処理を実施する（ステップＳ８０３）。一方、エラーフラグの場合は、撮像部１０１の映像のみ補正処理を行い（ステップＳ８０４）、単眼映像処理を実行する（ステップＳ８０５）。以上の処理が、撮像処理が終了するまで繰り返される（ステップＳ８０６）。
【００４２】
以上説明したように、高精細合成処理に必要な合成情報（所定時間内の視差データの中央値）を、合成情報を算出した視差データと、現時点で映像合成を行うために使用している合成情報と、所定の時間内に蓄積した視差データの中央値と、所定の時間内の視差データのエラー回数とから算出するようにしたため、低ノイズかつ安定して取得することができる。また、視差算出エラー回数に基づき合成情報にエラーフラグをセットし、一つの撮像部の映像のみから出力映像を生成するため、被写体に特徴点（輪郭、模様、テクスチャ）が無い場合やオクルージョン領域の視差データが算出できない場合でも、違和感無く映像を高精細化することができる。また、視差算出結果と現在の合成情報と比較して大きく異なる場合は、これまでの蓄積視差データを破棄して新たに視差算出結果を蓄積するためするため、被写体の移動に応じて視差データを素早く更新することが可能となる。
【００４３】
なお、図３に示す視差算出部２１、図９に示す合成情報算出部２２、図１０に示す映像合成処理部２０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより高精細画像の合成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４４】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００４５】
複数の画像撮像系を使用して得られた複数の画像を合成することにより高精細画像を得ることが不可欠な用途に適用できる。
【符号の説明】
【００４６】
１０…撮像装置
１０１〜１０４…撮像部
１１…撮像レンズ
１２…撮像素子
２０…映像合成処理部
２１…視差算出部
２２…合成情報算出部
３０、４０２…カメラパラメータ記憶部
３１、３２…座標変換部
３３…対応点探索部
９０…中央値算出部
９１…データ格納部
９２…エラーカウンタ
９３…比較器
９４…論理積部
４０１−１〜４…位置合わせ補正処理部
４０３…単眼処理部
４０４…多眼合成処理部
４０５…高解像度合成処理部
【図１】
2011182325.tif 000004
【図２】
2011182325.tif 000005
【図３】
2011182325.tif 000006
【図４】
2011182325.tif 000007
【図５】
2011182325.tif 000008
【図６】
2011182325.tif 000009
【図７】
2011182325.tif 000010
【図８】
2011182325.tif 000011
【図９】
2011182325.tif 000012
【図１０】
2011182325.tif 000013
【図１１】
2011182325.tif 000014
【図１２】
2011182325.tif 000015
【図１３】
2011182325.tif 000016
【図１４】
2011182325.tif 000017
【図１５】
2011182325.tif 000018
【図１６】
2011182325.tif 000019
【図１７】
2011182325.tif 000020
【図１８】
2011182325.tif 000021