(57)【要約】【課題】現実の濃度値に近い補完を行うことができるステレオ映像処理装置等を得る。【解決手段】被写体が共通する少なくとも２つの異なる複数の映像に基づいて、解像度を増やしたステレオ映像を作成処理するステレオ映像処理装置１において、複数の映像における、任意の映像上の任意の点について、他の映像から対応する対応点を探し出すステレオ映像マッチング処理を行う距離情報算出手段１２と、対応点に基づいて、任意の映像を構成する画素間の濃度値を、他の映像を構成する画素の濃度値で補完する画素補完処理を行う画素補完手段１３と、任意の映像における画素の濃度値及び画素間の濃度値に基づいて画素内挿処理を行い、任意の映像の解像度を増やした映像を作成処理する画素内挿手段１４とを備え、各手段の処理により、少なくとも２つの映像について解像度を増やした映像を作成する。【選択図】図１
2008078772.tif 000002
【特許請求の範囲】
【請求項１】
被写体が共通する少なくとも２つの異なる複数の映像に基づいて、解像度を増やしたステレオ映像を作成処理するステレオ映像処理装置において、
前記複数の映像における、任意の映像上の任意の点について、他の映像から対応する対応点を探し出すステレオ映像マッチング処理を行う距離情報算出手段と、
前記対応点に基づいて、前記任意の映像を構成する画素間の濃度値を、前記他の映像を構成する画素の濃度値で補完する画素補完処理を行う画素補完手段と、
前記任意の映像における前記画素の濃度値及び前記画素間の濃度値に基づいて画素内挿処理を行い、前記任意の映像の解像度を増やした映像を作成処理する画素内挿手段と
を備え、前記各手段の処理により、少なくとも２つの映像について解像度を増やした映像を作成することを特徴とするステレオ映像処理装置。
【請求項２】
前記任意の映像に対して、各手段の処理をあらかじめ定めた回数行ったかどうかを判断する処理回数判断手段をさらに備えることを特徴とする請求項１記載のステレオ映像処理装置。
【請求項３】
前記画像補完手段による画像補完処理前後における各画素の濃度値の変化分の絶対値の１画面分の和を算出し、あらかじめ定めた閾値と比較して、前記画像補完処理を含めた各手段の処理を再度反復するかどうかを判断する解像度判定手段をさらに備えることを特徴とする請求項１又は２記載のステレオ映像処理装置。
【請求項４】
前記解像度判定手段は、前記反復不要と判断したときに、所定解像度以上の映像が作成されているかどうかをさらに判断し、作成されていないと判断すれば、所定解像度以上の映像が作成されるまで、前記画素内挿手段に画素内挿処理を行わせることを特徴とする請求項３記載のステレオ映像処理装置。
【請求項５】
前記画素補完手段は、ステレオ映像マッチング処理により探しだした対応点の信頼性を表すマッチング誤差値を算出し、あらかじめ定めた閾値と比較して前記画素補完処理を行うかどうかの判断に基づいて前記画素補完処理を行うことを特徴とする請求項１〜４のいずれかに記載のステレオ映像処理装置。
【請求項６】
被写体が共通する少なくとも２つの異なる複数の映像データに基づいて、解像度を増やしたステレオ映像のデータを生成処理するためのステレオ映像処理方法のプログラムにおいて、
前記複数の映像における、任意の映像上の任意の点について、他の映像から対応する対応点を探し出すステレオ映像マッチング処理を行う工程と、
前記対応点に基づいて、前記任意の映像を構成する画素間の濃度値を、前記他の映像を構成する画素の濃度値のデータで補完する画素補完処理を行う工程と、
前記任意の映像における前記画素の濃度値及び前記画素間の濃度値のデータに基づいて画素内挿処理を行い、前記任意の映像の解像度を増やした映像データを生成処理する工程と
をコンピュータに行わせ、少なくとも２つの映像データについて解像度を増やした映像データを生成させることを特徴とするステレオ映像処理方法のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ映像の解像度を高めて高精細化を図る処理を行うステレオ映像処理装置等に関するものである。特に画素の補完を行う際の処理に係るものである。
【背景技術】
【０００２】
２眼の撮像系を有するステレオカメラを用いて左右の異なる視点から撮像を行い、その撮像によって得られた左右の映像から立体映像（ステレオ映像）を作成する方法が従来から種々提案されている（例えば特許文献１参照）。
【特許文献１】特開２００５−２１０２１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このとき、撮像された左右の映像のデータを加工処理し、映像データを生成して新たな映像を作成する場合がある。例えば、ここで、解像度を増やす高精細処理を行って映像データを生成する場合について考える。上述の文献においては、左右の撮像手段による撮像倍率が異なる際に、一方の映像における解像度を増減させて他方の映像における解像度に合わせて２つの映像における撮像対象の大きさを調整する処理について記載されている。
【０００４】
ただ、上述の文献においては電子ズームを用いて解像度を増やす処理を行っている。電子ズームは、映像を構成する画素について、隣接する２つの画素の濃度値に基づいて画素間の濃度値を推定していって解像度を増やすを増やすものであるが、補完により得られた濃度値は推定されたものである。
【０００５】
そこで、上述の処理よりもさらに、現実に近い補完を行うことができるようなステレオ映像処理装置等の実現が望まれていた。
【課題を解決するための手段】
【０００６】
本発明に係るステレオ映像処理装置は、被写体が共通する少なくとも２つの異なる複数の映像に基づいて、解像度を増やしたステレオ映像を作成処理するステレオ映像処理装置において、複数の映像における、任意の映像上の任意の点について、他の映像から対応する対応点を探し出すステレオ映像マッチング処理を行う距離情報算出手段と、対応点に基づいて、任意の映像を構成する画素間の濃度値を、他の映像を構成する画素の濃度値で補完する画素補完処理を行う画素補完手段と、任意の映像における画素の濃度値及び画素間の濃度値に基づいて画素内挿処理を行い、任意の映像の解像度を増やした映像を作成処理する画素内挿手段とを備え、各手段の処理により、少なくとも２つの映像について解像度を増やした映像を作成するものである。
【０００７】
本発明に係るステレオ映像処理方法のプログラムは、被写体が共通する少なくとも２つの異なる映像データに基づいて、解像度を増やしたステレオ映像のデータを生成処理するためのステレオ映像処理方法のプログラムにおいて、複数の映像における、任意の映像上の任意の点について、他の映像から対応する対応点を探し出すステレオ映像マッチング処理を行う工程と、対応点に基づいて、任意の映像を構成する画素間の濃度値を、他の映像を構成する画素の濃度値のデータで補完する画素補完処理を行う工程と、任意の映像における画素の濃度値及び画素間の濃度値のデータに基づいて画素内挿処理を行い、任意の映像の解像度を増やした映像データを生成処理する工程とをコンピュータに行わせ、少なくとも２つの映像データについて解像度を増やした映像データを生成させる。
【発明の効果】
【０００８】
以上のように本発明によれば、画素補完手段が、ある映像の画素間の補完を行う際に、ステレオ画像マッチング処理において、対応点とされた他方の映像の画素に基づいて補完を行うようにしたので、ステレオカメラ等の撮像によって得られた実際の映像による画素で補完をおこなうことができ、推定算出ではない、現実に近い濃度値による処理を行うことができる装置を得ることができる。そのため、その補完による現実に近い濃度値により解像度を増やしたきれいな映像を作成できる装置を得ることができる。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
図１は本発明の実施の形態１に係るステレオ映像処理装置を中心とするシステム構成を表す図である。図１において、ステレオカメラ１００の２つの撮像手段は、それぞれＣＣＤ等の受光素子を１又は複数有し、各受光素子はそれぞれ受けた光の強さを、例えば電気信号に変換する（この受光素子の数が、基本的には処理前の映像の画素数となる）。カラーによる撮像の場合は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色をそれぞれ構成する波長領域の光に分け、それぞれの光の強さを変換する（受光素子がそれぞれ受光した最終的には、映像を構成する画素となる）。
【００１０】
そして、その電気信号に基づいて各画素における光の強さの値（以下、濃度値という。画面に映像を映し出した際には輝度の値となる。）を表すデジタルデータに変換する。以下、各デジタルデータを画素データとし、マトリクス（行列）状に並んだ１画面分の画素データを映像データということにする。ここでは２つの撮像手段により、同じ時間において同一対象を含めて撮像した２つの一対となる映像（ステレオ映像）の映像データが記憶手段２に記憶される（カラー映像の場合には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれについて一対の映像データがある。また、動画の場合には動画の１フレーム分が映像データとなる）。以下、記憶手段２に記憶される一対の映像データのうち、ステレオカメラ１００側から見て右側の撮像手段による映像データを右の映像データとし、左側の撮像手段による映像データを左の映像データとして説明する。
【００１１】
ステレオ映像処理装置１は、ステレオカメラ１００の撮像による左右の映像の映像データに基づいて、所定の解像度の左右の映像データを生成するための処理（高精細処理）を行う。ここで、本実施の形態においては、ステレオ映像処理装置１は、映像入力手段１１、距離算出手段１２、画素補完手段１３、画素内挿手段１４及び入換判断手段１５で構成されるものとする。
【００１２】
映像入力手段１１はステレオカメラ１００から送信された信号を処理し、映像データを記憶手段２に記憶させる。また、距離情報算出手段１２は、記憶手段２に記憶された左右の映像データに基づいて、左の映像データによって表される左映像（以下、単に左映像という）と右の映像データによって表される右映像（以下、単に右映像という）とのステレオ画像マッチング処理を行ってステレオカメラ１００の視差を算出する。そして、映像上のある位置について、３次元（実際の空間）において対応する位置とステレオカメラ１００との距離を演算する距離演算処理を行う。
【００１３】
画素補完手段１３は、右映像と左映像とについて、画素内挿手段１４が後に行う画素内挿処理の際に、より狭い画素間距離での参照を行えるように、画素間を補完する処理（以下、補完処理という）を行い、補完に係る画素データ（以下、補完画素、補完画素データという）を生成する。ここで、本実施の形態では、補完処理に際し、右映像であれば左映像、左映像であれば右映像の映像データにおける画素データを用いて処理を行う。また、画素内挿手段１４は、例えばハーフペル（Half-pel）による演算を行って、画素内挿処理を行い、解像度（ハーフペルであれば２倍）を増やした左右の映像データを生成し、新たな映像を作成する。入換判断手段１５は、カウンタ（図示せず）を有しており、距離演算処理及び補完処理を行う際に、映像の入れ換え回数を判断し、その判断に対応した映像データを記憶手段２から入力させる。
【００１４】
ここで、このステレオ映像処理装置１の各手段を、異なるハードウェアで構成することもできるが、ステレオ映像処理装置１を、例えば、ＣＰＵ（Central Prosessing Unit ）のような演算制御手段（コンピュータ）で構成する一方、その処理手順をあらかじめプログラム化し、ソフトウェア、ファームウェア等で構成することもできる。そして、演算制御手段がそのプログラムを実行し、そのプログラムに基づく処理を行い、上記の各手段が行う処理を実現する。これらのプログラムのデータは例えば記憶手段２に記憶される。また、記憶手段２には、ステレオカメラ１００の撮像による左右の映像データをはじめ、ステレオ映像処理装置１の処理により生成された各種データが記憶される。ステレオ映像処理装置１の各手段が処理を行う際には記憶手段２から必要なデータを入出力する。
【００１５】
図２は実施の形態１におけるステレオ映像処理装置の高精細処理に係るフローチャートを表す図である。図２に基づいてステレオ映像処理装置１の各手段が行う処理について説明する。ここで、左右の映像データのどちらから先に処理を行ってもよいが、本実施の形態のステレオ映像処理装置１は、左の映像データを先に入力して処理を行うものとする。
【００１６】
映像入力手段１１は、ステレオカメラ１００から信号に基づいて、左右の映像データを記憶手段２に記憶させる処理を行う（Ｓ１）。そして、記憶された映像データの高精細処理を行う際、入換判断手段１５が入れ換えを判断する（Ｓ２）。入れ換えが０回又は１回であれば左右のいずれも又はいずれかの映像に対する距離演算処理を行っていないことになるため、０回又は１回と判断すると、入力された映像データの距離演算処理を距離算出手段１２に行わせる。一方、入れ換えが２回行われていると判断すると、カウンタをリセットする（Ｓ６）。
【００１７】
図３はステレオ座標系を表す図である。図３では、Ｏl を中心とする平面を左映像の画面、Ｏr を中心とする平面を左映像の画面とし、両者の光軸ＯＯl とＯＯr は互いに平行である。本実施の形態では、図３に示すような座標系における現実の３次元上の位置と左右の映像との関係に基づいて距離情報算出手段１２が処理を行う。ここで、左の映像上のある位置（点）のＹl 軸方向の座標（例えばｙl とする）と対応する右の映像上の対応する位置のＹr 軸方向の座標（例えばｙr とする）との関係はｙl ＝ｙr である。そのため、左映像におけるある位置（Ｙ座標の値がｙl ）に対応する右映像の位置は、右映像上においてｙ＝ｙr の線（この線をエピ極線（エピポーラ（epipolar）線）という）上のどこかにあることになる（これをエピ極線拘束条件という）。
【００１８】
距離算出手段１２は、まず、ステレオ画像マッチング処理を行う（Ｓ３）。ステレオ画像マッチング処理とは、例えば一方の映像のある位置（点）が他方の映像のどの位置に対応するかを探索するためのものであり、ステレオ画像マッチング処理により得られる左右の映像における位置の差がステレオカメラ１００における視差となる。ここで、本実施の形態では、一方の映像から特徴のある点（以下、特徴点という）を抽出して決定しておき、その特徴点について、他方の映像から対応する点（以下、対応点という）を探索するものとする。
【００１９】
例えば一方（ここでは左）の映像におけるｘ行ｙ列目にある特徴点の画素データ（これをＬx,y とする）について、この画素データを中心とするＭ行Ｎ列のブロックを考える。そして、次式（１）に基づいて、他方（ここでは右）の映像におけるＭ行Ｎ列のブロックにおいて、それぞれ対応する濃度値の差の値ＭＡＥを演算する。そして、他方の映像におけるブロックをずらしていきながら、最小のＭＡＥが演算されるＲx+d+i,y;j を探索する（これが対応点となる）。ここで、前述したようにエピ極線拘束条件が働くため、ブロックの変位は、列（Ｘ軸）方向だけを対象とすればよい。この条件のため、演算量を減らすことができる。そして、演算したＭＡＥの値の中から最小のＭＡＥが算出されたときのｄ（の絶対値）の値が視差となる。
【００２０】
【数１】
2008078772.tif 000003
【００２１】
ここで、例えば映像の端部のＭＡＥを演算する際は、位置によっては画素データ（濃度値）が存在しない場合があるが、例えば濃度値を補って演算を行う。例えば、存在しない画素の濃度値を０として補う、最端の画素による濃度値を存在しない画素の濃度値として補う、最端部分をなす線により、線対称として折り返して存在しない画素の濃度値を補う等の方法がある。
【００２２】
図４は画素間の内挿処理のイメージを表す図である。ステレオ映像マッチング処理においては、通常、一方の画素と他方の画素の各濃度値の差を演算するため、画素の間隔を単位としてＭＡＥの演算が行われることになる。そのため、視差の値も画素の間隔を単位として、その整数倍の値となる。ここで、例えば内挿処理を行うことにより、対応点をより細かな範囲で対応点を探すことができる。本実施の形態では内挿処理を行った上で、１／４画素間隔でステレオ画像マッチング処理を行うものとする。したがって、最終的には視差ｄは１／４画素単位でその値を求めることができる。
【００２３】
ステレオ画像マッチング処理によって算出した視差ｄの値に基づいて、距離情報算出手段１２は、さらに距離演算処理を行う。図３において、３次元空間上のある点について、その位置を（Ｘ，Ｙ，Ｚ）とする。このとき、ある点の左映像上及び右映像上における位置（ｘl ，ｙl ）、（ｘr ，ｙr ）は、撮像手段のレンズの焦点距離をｆとし、撮像手段間の距離をＢとするとそれぞれ次式（２）、（３）で表される。さらに、（２）、（３）式及び視差ｄ＝ｘl −ｘr であることから、（Ｘ，Ｙ，Ｚ）は式（４）で表されることになる。
【００２４】
【数２】
2008078772.tif 000004
【００２５】
したがって、このとき、ステレオ座標系原点Ｏから（Ｘ，Ｙ，Ｚ）までの距離Ｄは、次式（５）で表される。
Ｄ＝（Ｘ2 ＋Ｙ2 ＋Ｚ2 ）1/2                                         …（５）
【００２６】
以上のような処理を行って、距離情報算出手段１２は、特徴点、対応点について３次元空間におけるステレオ座標系の原点からの距離を算出する。ここで、映像がカラーの場合には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの映像データに対して行う必要がなく、少なくとも１つの映像データにより、各画素の濃度値を代表させてステレオ映像マッチング処理及び距離演算処理を行うようにしてもよい。また、一般に輝度信号Ｙとして表される値を用いて、上記のＭＡＥを演算する際の濃度値としてもよい。ここで、例えば、Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ（Ｒ、Ｇ、Ｂはそれぞれの映像の画素の濃度値を表す）となる。
【００２７】
左映像データに基づく距離演算処理が終了したものと判断すると、入換判断手段１５は、右映像データを入力して処理を行う映像を交換する（Ｓ５）。そして、Ｓ２に戻って入れ換え判断をし、右映像データについて、前述した左映像データと同様にＳ３及びＳ４を実行する。以上のようにして、左右の映像データについてそれぞれ距離演算処理を行う。ここで、理論的には、２つの撮像手段の位置はＸ軸方向にＢ異なるだけであるため、どちらか一方の映像データに基づく演算だけでも距離が算出できる。ただ、実際には、それぞれの映像データにおけるステレオ画像マッチング処理において演算誤差が存在する。そのため、ここでは左右の映像データに対してそれぞれ距離情報を算出する。ここで、例えば同じ部分と判断できる箇所については、算出したそれぞれの距離情報を調整する等の処理を行うことができるが、本実施の形態では省略する。
【００２８】
左右の映像データに基づく距離演算処理の終了により、左右交換回数が２回になったと判断すると、入換判断手段１５は、前述したようにカウンタをリセットし（Ｓ６）し、再度入れ換えを判断する（Ｓ７）。入れ換えが０回又は１回であれば左右のいずれも又はいずれかの映像に対する補完処理、画素内挿処理を行っていないことになるため、０回又は１回と判断すると、入力された映像データについて、画素補完手段１３に補完処理を行わせる。ここで、Ｓ５において映像交換が行われているので、補完処理についても左映像データから行われることになる。に行わせる。一方、入れ換えが２回行われていると判断すると、左右の映像データについて、解像度を高めた映像データ（本実施の形態では２倍の解像度の映像データとなる）が生成できたものとして装置における高精細処理を終了する。
【００２９】
図５は画素補完手段１３が行う補完処理のイメージを表す図である。通常、補完を行う際は、前述した内挿処理を行って、画素間を補完する濃度値を算出する（以下、この濃度値を補完画素データとする）。ただ、このようにして得られる補完画素データは、隣接する２つの画素から推定されたものでしかない。
【００３０】
ここで、本実施の形態のようなステレオ映像の場合、前述したステレオマッチング処理により、例えば左映像と右映像との間で対応する（マッチングする）部分（対応点）が１又は複数探索され、検出されている。このとき、前述したように、距離情報算出手段１２によるステレオ画像マッチング処理において、１／４画素単位で対応する部分を探す処理を行っているので、例えば、一方の映像（例えば右映像）のある画素が他方の映像（例えば左映像）の画素間に対応している場合がある。
【００３１】
そこで、本実施の形態では、画素補完手段１３は、例えば左（右）映像に対する補完画素データ生成において、左（右）映像の補完しようとする部分（点）について、右（左）映像の映像中に、対応点となる画素（データ）が存在するものと判断すれば、その画素データを補完画素データとして用いるような補完処理を行うものとする（Ｓ８）。例えば、図５においては、左映像中の画素Ｌijと画素Ｌij+1との間の部分であるＬ’について、対応点である右画像のＲiqの濃度値を用いる。撮像された映像の画素データは、推定によって得られたものではなく、ステレオカメラ１００の撮像によって得られた実際のデータであるため、より現実に近い値のデータが得られることが期待できる。場合によっては対応点となる画素に隣接する画素も補完画素データとして用いるようにしてもよい。なお、この補完処理は、一方の画素間における補完しようとする部分を他方の映像の画素で補完するものであって、画素同士が対応する場合に他方の画素の濃度値を一方の画素に置き換えるものではない。
【００３２】
画素補完手段１３による画素補完処理が終了すると、画素内挿手段１４は、画素内挿処理を実行して解像度を増やした映像データを生成する（Ｓ９）。本実施の形態では、ハーフペルにより解像度を２倍に増やした映像データを生成する。
【００３３】
例えば、ハーフペルにおいては、通常、画素Ｌijと画素Ｌij+1との間において内挿する画素（以下、内挿画素という）Ｌ”の濃度値を、次式（６）に基づいて算出する。これが内挿画素のデータ（以下、内挿画素データという）となる。
Ｌ”＝（Ｌij＋Ｌij+1）／２                                          …（６）
【００３４】
図６は補完画素データを用いたハーフペルの演算方法例を表すための図である。本実施の形態では、画素補完手段１３の補完処理により、画素間に他方の映像に基づく画素を補完することで補完画素データを生成している。そのため、ステレオカメラ１００の撮像により得られた、通常の画素間距離よりも狭い距離にある２つの画素の画素データに基づいてハーフペルの演算を行うことができる。
【００３５】
図６の例では、例えば画素Ｌiqと画素Ｌij+1との間の距離を１画素分の距離としたときに、補完画素Ｌ’は、画素Ｌijから１／４画素（画素Ｌij+1から３／４画素）の位置において補完されている。ここで、ハーフペルにおいては、画素を内挿しようとしている箇所は、画素Ｌijと画素Ｌij+1との中間となる、画素Ｌij（画素Ｌij+1）から１／２画素の位置となる。そのため、画素Ｌiqと画素Ｌij+1との距離よりも補完画素Ｌ’と画素Ｌij+1との距離との方が狭く、より現実に近い濃度値を算出できることが期待できる。内挿画素Ｌ”は、補完画素Ｌ’から１／３画素、画素Ｌij+1から２／３画素の位置にあるため、内挿画素Ｌ”の内挿画素データは次式（７）に基づいて生成することができる。
Ｌ”＝（２Ｌ’＋Ｌij+1）／３                                        …（７）
【００３６】
ここで、本実施の形態のような内挿画素データを算出する際、画素Ｌij、画素Ｌij+1、及び補完画素Ｌ’の位置関係において、内挿画素Ｌ”が補完画素Ｌ’と画素Ｌijとの間に位置するか、補完画素Ｌ’とＬij+1との間に位置するかを判断してから、画素Ｌij又は画素Ｌij+1のいずれかの画素データを選択し、（７）式のように、位置関係に基づいて画素内挿処理を行い、内挿画素データを生成する。画素間に補完画素が存在しない場合には、（６）式に基づいて内挿画素データを生成する。以上のような演算を各画素間について行って内挿画素データを生成（画素間に新たに画素を内挿）して、２倍の解像度を有する映像データを作成し、新たな映像を作成する。
【００３７】
左映像データに基づく距離演算処理が終了したものと判断すると、入換判断手段１５は、例えば、左映像データ等を記憶手段２に記憶させ、右映像データを入力し、処理を行う映像を交換する（Ｓ１０）。映像データを生成すると、Ｓ７に戻って入れ換え判断をし、右映像データについて、前述した左映像データと同様にＳ８及びＳ９を実行する。以上のようにして、左右の映像データについてそれぞれ画素補完処理及び画素内挿処理を行って、２倍の解像度を有する左右の映像データを生成し、新たな映像を作成する。
【００３８】
カラー映像の場合には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）に係るそれぞれの映像データについて、少なくとも補完処理及び画素内挿処理を行う。また、動画の場合には他のフレームの映像データについて高精細処理を行う。また、ここでは横方向（Ｘ方向）について説明したが、縦方向については、線形内挿による補完処理及びハーフペルの計算により行えばよい。
【００３９】
以上のように実施の形態１のステレオ映像処理装置によれば、画素補完手段１３が、一方の映像の画素間の補完を行う際に、ステレオ画像マッチング処理において、マッチングした他方の映像の画素の画素データに基づいて補完画素データを生成するようにしたので、ステレオカメラ１００の撮像によって得られた実際のデータにより補完画素データを生成することができ、推定により得られたものではない、現実に近い濃度値によるデータを得る処理を行うことができる装置を得ることができる。また、画素内挿手段１４が行う画素内挿処理において、その補完画素を用いてハーフペルの演算を行うようにしたので、２倍の解像度を有し、きれいな映像の映像データを生成できる装置を得ることができる。
【００４０】
実施の形態２．
図７は本発明の実施の形態２に係るステレオ映像処理装置を中心とするシステム構成を表す図である。図７において、図１と同じ番号を付した手段については、実施の形態１の対応する番号を付した手段と同じような動作を行うので説明を省略する。実施の形態２のステレオ映像処理装置１Ａは、実施の形態１のステレオ映像処理装置１内に、処理の計算回数を判断する計算回数判断手段１６を付したものである。計算回数判断手段１６は、第１の実施の形態で説明したステレオ映像処理装置による高精細処理を、所定の回数（これをｎ回とする）だけ行わせるための判断を行う手段である。計算回数判断手段１６も計算回数をカウントするためのカウンタ（図示せず）を有しているものとする。
【００４１】
図８は実施の形態２におけるステレオ画像高精細処理装置１Ａの処理動作のフローチャートを表す図である。映像入力手段１１は、ステレオカメラ１００から信号に基づいて、左右の映像データを記憶手段２に記憶させる処理を行う（Ｓ１１）。そして、計算回数判断手段１６は、あらかじめ定めたｎ回の計算を行って装置が処理を行ったかどうかを判断する（Ｓ１２）。ｎ回以外の回数であればカウンタを１増やして、実施の形態１のＳ２〜Ｓ１０と同様の距離算出処理、補完処理及び高精細処理を行う（Ｓ１３〜Ｓ２１）。
【００４２】
また、入換判断手段１５は、２回の補完処理及び高精細処理を行ったと判断した場合には入れ換え回数をリセットして０に戻した後（Ｓ２２）、計算回数判断手段１６が処理回数の判断を行う。
【００４３】
以上のように、実施の形態２のステレオ映像処理装置１Ａによれば、計算回数判断手段１６を備え、ステレオ映像処理装置１Ａにより、左右の映像について、それぞれ実施の形態１と同様の高精細処理をｎ回行うようにしたので、左右それぞれ元の映像（データ）に対して、２n 倍の解像度を有する映像（データ）を得ることができる。そのため、解像度をさらに高めようとする際には都合がよい。
【００４４】
実施の形態３．
図９は本発明の実施の形態３に係るステレオ映像処理装置１Ｂを中心とするシステム構成を表す図である。図９において、図１と同じ番号を付した手段については、実施の形態１の対応する番号を付した手段と同じような動作を行うので説明を省略する。実施の形態３のステレオ映像処理装置１Ｂは、実施の形態１のステレオ映像処理装置１内に解像度判定手段１７をさらに備えたものである。解像度判定手段１７は、画素補完手段１３による他方の映像における画素データを用いた補完処理を行う必要があるかどうかを判定する反復判定処理を行う。また、補完を行う必要がないと判断したときに、さらに所定の解像度が得られているかどうかを判断し、所定の解像度が得られていないと判断すれば、画素内挿手段１４に、ハーフペルによる画素内挿処理を行わせるようにする。
【００４５】
上述の実施の形態で説明したように、画素補完手段１３が他方の映像を用いた補完処理を行うことにより、解像度を上げたときの映像の質を向上させるものである。しかし、例えば他方の映像を用いた補完処理を行っても濃度値に変化がなくなった場合等、左右の映像に対して、互いに画素の補完を行わなくなくてもよくなった場合、線形内挿による補完との差がなくなり、画素補完手段１３による補完処理での効果が少ない。そこで、本実施の形態では、解像度判定手段１７が画素補完手段１３による補完処理前後の各画素の濃度値の差の絶対値を１画面分足し合わせた値を算出し、あらかじめ設定した閾値と比較する。そして、閾値より小さいと判断した場合には、補完処理を行わないようにする。さらに、所定の解像度よりも低いと判断すると、画素内挿手段１４に所定の解像度以上になるまで画素内挿処理を行わせる。
【００４６】
図１０は実施の形態３におけるステレオ画像高精細処理装置１Ｂの処理動作のフローチャートを表す図である。映像入力手段１１は、ステレオカメラ１００から信号に基づいて、左右の映像データを記憶手段２に記憶させる処理を行う（Ｓ３１）。映像入力手段１から映像データが入力されると、解像度判定手段１７は、補完処理前後の各画素の濃度値の差の絶対値を対応する各画素について算出し、さらにそれらの和を算出する。ここで、最初の段階においては、画素補完手段１３が補完処理を行っていないため、例えば、反復が必要であるものとするか、また、補完処理前の画素データの値（濃度値）を全て０として差の絶対値を大きくする。そして、あらかじめ定めた閾値と比較し反復判定処理を行う（Ｓ３２）
【００４７】
算出した値が閾値以上であると判断すれば、実施の形態１及び２で説明したように、ステレオ映像マッチング処理、画素補完処理及び画素内挿処理を行う（Ｓ３３〜Ｓ４２）。
【００４８】
一方、算出した値が閾値より小さいと判断すれば、少なくとも画素補完処理を行う必要はないとする。そして、さらに所定の解像度が得られているかどうかを判断する（Ｓ４３）。所定の解像度が得られていれば、映像データが生成できたものとして装置における高精細処理を終了する。所定の解像度が得られていないと判断すれば、画素内挿手段１４によるハーフペルを用いた画素内挿処理を行い（Ｓ４４）、これを左右の映像データに対して行うようにする（Ｓ４５）。
【００４９】
以上のように、実施の形態３のステレオ映像処理装置１Ｂによれば、解像度判定手段１７が画素補完手段１３による補完処理を行うかどうかを判断し、補完処理による効果が見込めないと判断すれば、補完処理を行わないようにしたので、効率のよい処理を行うことができる。また、その際に、所定の解像度を有する左右の映像データが生成されたかどうかを判断し、生成されていないと判断したときは、所定の解像度を有する左右の映像データが得られるまで、画素内挿手段１４に画素内挿処理を行わせるようにしたので、途中で処理を終了することなく、所定の解像度を有する左右の映像データを生成することができる。
【００５０】
実施の形態４．
上述した実施の形態においては距離算出手段が行うステレオ画像マッチング処理について説明した。ステレオ画像マッチング処理では、（１）式に基づいて算出された値について、その最小値により視差ｄを導き出す。この最小値は、理想的には０であるが、通常、ステレオ画像マッチングの誤差（以下、マッチング誤差という）を含むため、０にならないことが多い。マッチング誤差の値が大きいと、左右の映像において対応している部分の信頼性が低くなる。また、実際に撮像された画素で補完して補完画素の信頼性を高めてよりきれいな映像データを生成しようとする目的にも沿わないことになる。
【００５１】
ここで、上述したように、画素補完手段１３における補完処理は、一方の映像における補完画素データの生成を、他方の映像における画素データに基づいて行うものである。マッチング誤差の値が大きいと、対応しているとされた他方の画素データが、補完に係る部分の濃度値を表しているとはいい難く、大きく異なっている可能性が高い。そこで、本実施の形態においては、実施の形態１、２及び３で説明した補完処理を行う前に画素補完手段１３がマッチング誤差に係る判断を行う。ここで、本実施の形態における画素補完手段１３の処理は、厳密には上述の実施の形態の処理とは異なるが、装置構成については、図１、図７、図９と同じであるため、これらの図を参照して説明する。
【００５２】
図１１は実施の形態４におけるステレオ映像処理装置の動作に係るフローチャートを表す図である。図１１では特に画素補完手段１３が行う処理について記載している。画素補完手段１３Ａは画素補完処理の前段階として、以下の処理を行う。
【００５３】
画素補完手段１３は、距離算出手段１２がステレオマッチング処理により、（１）式に基づいて演算したＭＡＥに基づいて、マッチング誤差の値（以下、マッチング誤差値という）を算出する（Ｓ５１）。（１）式に基づくマッチング誤差の算出方法については特に限定するものではなく、例えば各画素を中心として算出したＭＡＥの最小値の和をマッチング誤差の値としてもよいし、視差ｄx において、算出したＭＡＥの値をマッチング誤差の値とする等してもよい。
【００５４】
そして、マッチング誤差値があらかじめ定めた閾値以上であるか閾値より小さいか判断を行う（Ｓ５２）。マッチング誤差値が閾値より小さい場合には他方の映像の画素データを用いた画素補完処理を行う（Ｓ５３）。Ｓ５３における画素補完処理は、上述の実施の形態１、２及び３で説明したそれぞれの画素補完処理と同じである。一方、マッチング誤差の値が大きいと、他方の映像の対応部分に置き換えても現実の値と大きく異なる値になってしまう可能性が高いので、マッチング誤差値が閾値以上であると判断した場合には、画素補完手段１３による、他方の映像の画素データに基づく補完処理を行わない。ここでは画素補完手段１３は補完処理を行わなかったが、線形内挿による補完を行って補完画素データを生成するようにしてもよい。
【００５５】
以上のように、実施の形態４では、（１）式に基づいて演算したＭＡＥの値に基づいて、画素補完手段１３がマッチング誤差値を算出し、閾値と比較することにより、補完処理を行うかどうかを判断するようにしたので、補完画素の濃度値とは大きく異なっている可能性が高く、信頼性が低い他方の画素の濃度値を補完画素データとすることがない。そのため、解像度を増やした場合にもきれいな映像データを得ることができる。
【００５６】
実施の形態５．
上述の実施の形態では、左右の映像データに基づいて、画素補完手段１３が画素補完処理を行うようにしたが、例えば、これらの映像データ以外に、例えばステレオカメラ１００に画素補完用の撮像手段を設けて撮像し、その撮像による映像データを加えて画素補完処理を行うようにすると、補完画素データを増やすことができる。
【００５７】
実施の形態６．
上述の実施の形態では、左右の映像データについて常に左の映像データから先に処理を行うようにしたが、特に順序については限定するものではない。また、上述の実施の形態においては、入れ換え判断手段１Ｅによる映像データの交換回数、計算回数判断手段１６による計算回数及び解像度判定手段１７による補完処理等の必要判断の判断を、例えば、映像データに対する処理を行う前の時点で行ったが、特に限定するものではない。正しく判断が行える時点であれば、例えば処理を終えた時点等、どの時点においても判断処理を行うように手順を設定することができる。
【００５８】
また、上述の実施の形態では、入れ換え判断手段１Ｅによる判断に基づいて、左右の映像データを交互に処理したが、例えば距離算出手段１２、画素補完手段１３、画素内挿手段１４をそれぞれ２つずつ設け、並列処理を行わせるようにステレオ映像処理装置を構成するようにしてもよい。
【００５９】
実施の形態７．
上述の実施の形態では、画素内挿手段１４はハーフペルによる演算を行って画素内挿処理を行ったが、本発明はこれに限定するものではない。例えば、クォーターペル等による画素内挿処理を行ってもよい。また、内挿法も線形内挿に限定するものではなく、他の内挿法を利用した演算を行うことができる。
【図面の簡単な説明】
【００６０】
【図１】実施の形態１に係るステレオ映像処理装置１を中心とするシステムを表す図である。
【図２】実施の形態１における処理に係るフローチャートを表す図である。
【図３】ステレオ座標系を表す図である。
【図４】画素間の内挿処理のイメージを表す図である。
【図５】画素補完手段１３が行う補完処理のイメージを表す図である。
【図６】補完画素データを用いたハーフペルの演算方法例を表すための図である。
【図７】実施の形態２に係るステレオ映像処理装置を中心とするシステムを表す図である。
【図８】実施の形態２における処理に係るフローチャートを表す図である。
【図９】実施の形態３に係るステレオ映像処理装置を中心とするシステムを表す図である。
【図１０】実施の形態３における処理に係るフローチャートを表す図である。
【図１１】実施の形態４における処理に係るフローチャートを表す図である。
【符号の説明】
【００６１】
１  ステレオ映像処理装置
１１  映像入力手段
１２  距離算出手段
１３  画素補完手段
１４  画素内挿手段
１５  入換判断手段
１６  計算回数判断手段
１７  解像度判定手段
２  記憶手段
１００  ステレオカメラ
【図１】
2008078772.tif 000005
【図２】
2008078772.tif 000006
【図３】
2008078772.tif 000007
【図４】
2008078772.tif 000008
【図５】
2008078772.tif 000009
【図６】
2008078772.tif 000010
【図７】
2008078772.tif 000011
【図８】
2008078772.tif 000012
【図９】
2008078772.tif 000013
【図１０】
2008078772.tif 000014
【図１１】
2008078772.tif 000015