(57)【要約】【課題】より安定的に視差を推定する。【解決手段】一致度算出部は、現フレームの基準画像における注目画素と、現フレームの参照画像における対応画素の画素値の一致度を算出し、推定部は、一致度の算出結果に基づいて、基準画像と参照画像の視差を推定する。特に、一致度算出部は、過去フレームの基準画像と参照画像について推定された視差を用いて、一致度を算出する。本技術は、例えば、左画像と右画像とから視差を推定する情報処理装置に適用することができる。【選択図】図７
2015146526.tif 000002
【特許請求の範囲】
【請求項１】
現フレームの基準画像における注目画素と、現フレームの参照画像における対応画素の画素値の一致度を算出する一致度算出部と、
前記一致度の算出結果に基づいて、前記基準画像と前記参照画像の視差を推定する推定部と
を備え、
前記一致度算出部は、過去フレームの前記基準画像と前記参照画像について推定された視差を用いて、前記一致度を算出する
画像処理装置。
【請求項２】
前記過去フレームについての視差と、前記現フレームの前記基準画像と前記参照画像について推定される視差との差分に基づいて、視差の時間的変化を評価する時間評価値を算出する時間評価値算出部をさらに備え、
前記一致度算出部は、前記時間評価値を用いて、前記一致度を算出する
請求項１に記載の画像処理装置。
【請求項３】
前記時間評価値算出部は、前記基準画像または前記参照画像における動きに応じて、前記時間評価値を重み付けする
請求項２に記載の画像処理装置。
【請求項４】
前記時間評価値算出部は、前記基準画像または前記参照画像における動きが小さいほど、前記時間評価値にかける重みを大きくする
請求項３に記載の画像処理装置。
【請求項５】
前記一致度算出部は、前記現フレームの前記基準画像における前記注目画素を含む注目領域と、前記現フレームの前記参照画像における前記対応画素を含む対応領域の各画素の画素値を用いて、前記一致度を算出する
請求項４に記載の画像処理装置。
【請求項６】
前記注目画素近傍の近傍画素について推定された視差と、前記注目画素について推定される視差との差分に基づいて、視差の空間的変化を評価する空間評価値を算出する空間評価値算出部をさらに備え、
前記一致度算出部は、前記時間評価値と前記空間評価値とを用いて、前記一致度を算出する
請求項２に記載の画像処理装置。
【請求項７】
前記空間評価値算出部は、前記注目画素の画素値に応じて、前記空間評価値を重み付けする
請求項６に記載の画像処理装置。
【請求項８】
前記過去フレームについての輝度値および視差に基づいて、前記現フレームの前記基準画像におけるテクスチャレス領域の輝度値を視差に変換する輝度視差変換部と、
前記基準画像の輝度値が変換された視差と、前記現フレームの前記基準画像について推定される視差との差分に基づいて、前記輝度値が変換された視差を評価する輝度視差評価値を算出する輝度視差評価値算出部とをさらに備え、
前記一致度算出部は、前記時間評価値と前記輝度視差評価値とを用いて、前記一致度を算出する
請求項２に記載の画像処理装置。
【請求項９】
前記輝度視差評価値算出部は、前記輝度視差変換部による輝度視差変換の信頼性に応じて、前記輝度視差評価値を重み付けする
請求項８に記載の画像処理装置。
【請求項１０】
前記輝度視差評価値算出部は、前記輝度視差変換部による輝度視差変換の信頼性が高いほど、前記輝度視差評価値にかける重みを大きくする
請求項９に記載の画像処理装置。
【請求項１１】
現フレームの基準画像における注目画素と、現フレームの参照画像における対応画素の画素値の一致度を算出する一致度算出ステップと、
前記一致度の算出結果に基づいて、前記基準画像と前記参照画像の視差を推定する推定ステップと
を含み、
前記一致度算出ステップにおいては、過去フレームの前記基準画像と前記参照画像について推定された視差を用いて、前記一致度が算出される
画像処理方法。
【請求項１２】
コンピュータに、
現フレームの基準画像における注目画素と、現フレームの参照画像における対応画素の画素値の一致度を算出する一致度算出ステップと、
前記一致度の算出結果に基づいて、前記基準画像と前記参照画像の視差を推定する推定ステップと
を含む処理を実行させ、
前記一致度算出ステップにおいては、過去フレームの前記基準画像と前記参照画像について推定された視差を用いて、前記一致度が算出される
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法、並びにプログラムに関し、特に、より安定的に視差を推定することができるようにする画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、立体画像の表示等を行うために、視点の異なる複数の撮像画像を用いて、実空間の３次元情報を取得することが行われている。例えば、左視点の撮像画像と右視点の撮像画像とから、３次元情報としての視差を推定するようにしたものが知られている（例えば、特許文献１参照）。
【０００３】
一方、立体画像を表示する際に、例えば、時刻t-1における左眼用画像と右眼用画像との間の視差と、時刻ｔにおける左眼用画像と右眼用画像との間の視差とを比較し、視差が急激に変化する場合に、時刻ｔにおける視差を調整するようにしたものがある（例えば、特許文献２，３参照）。これにより、立体画像における物体の奥行き方向への急激な変化を抑えることができ、ユーザに与える不快感や疲労感を低減することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−６５８５１号公報
【特許文献２】特開２０１１−５５４２１号公報
【特許文献３】特開２０１２−１７８８６８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１においては、視差推定の結果について、空間方向での安定化は考慮されているものの、時間方向での安定化は考慮されていなかった。このため、撮像画像に様々なノイズが含まれている場合には、視差推定の結果が安定しないおそれがある。
【０００６】
これに対して、フレーム毎に視差推定された結果に対して、時系列にローパスフィルタ処理を施すことで、視差推定の結果の、時間方向での安定化を図ることが行われている。
【０００７】
しかしながら、あるフレームについて視差推定された結果が誤っていた場合、その誤った結果に対してローパスフィルタ処理が施されるため、誤った結果が伝搬してしまう。
【０００８】
本技術は、このような状況に鑑みてなされたものであり、より安定的に視差を推定することができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の一側面の画像処理装置は、現フレームの基準画像における注目画素と、現フレームの参照画像における対応画素の画素値の一致度を算出する一致度算出部と、前記一致度の算出結果に基づいて、前記基準画像と前記参照画像の視差を推定する推定部とを備え、前記一致度算出部は、過去フレームの前記基準画像と前記参照画像について推定された視差を用いて、前記一致度を算出する。
【００１０】
前記過去フレームについての視差と、前記現フレームの前記基準画像と前記参照画像について推定される視差との差分に基づいて、視差の時間的変化を評価する時間評価値を算出する時間評価値算出部をさらに設け、前記一致度算出部には、前記時間評価値を用いて、前記一致度を算出させることができる。
【００１１】
前記時間評価値算出部には、前記基準画像または前記参照画像における動きに応じて、前記時間評価値を重み付けさせることができる。
【００１２】
前記時間評価値算出部には、前記基準画像または前記参照画像における動きが小さいほど、前記時間評価値にかける重みを大きくさせることができる。
【００１３】
前記一致度算出部には、前記現フレームの前記基準画像における前記注目画素を含む注目領域と、前記現フレームの前記参照画像における前記対応画素を含む対応領域の各画素の画素値を用いて、前記一致度を算出させることができる。
【００１４】
前記注目画素近傍の近傍画素について推定された視差と、前記注目画素について推定される視差との差分に基づいて、視差の空間的変化を評価する空間評価値を算出する空間評価値算出部をさらに設け、前記一致度算出部には、前記時間評価値と前記空間評価値とを用いて、前記一致度を算出させることができる。
【００１５】
前記空間評価値算出部には、前記注目画素の画素値に応じて、前記空間評価値を重み付けさせることができる。
【００１６】
前記過去フレームについての輝度値および視差に基づいて、前記現フレームの前記基準画像におけるテクスチャレス領域の輝度値を視差に変換する輝度視差変換部と、前記基準画像の輝度値が変換された視差と、前記現フレームの前記基準画像について推定される視差との差分に基づいて、前記輝度値が変換された視差を評価する輝度視差評価値を算出する輝度視差評価値算出部とをさらに設け、前記一致度算出部には、前記時間評価値と前記輝度視差評価値とを用いて、前記一致度を算出させることができる。
【００１７】
前記輝度視差評価値算出部には、前記輝度視差変換部による輝度視差変換の信頼性に応じて、前記輝度視差評価値を重み付けさせることができる。
【００１８】
前記輝度視差評価値算出部には、前記輝度視差変換部による輝度視差変換の信頼性が高いほど、前記輝度視差評価値にかける重みを大きくさせることができる。
【００１９】
本技術の一側面の画像処理方法は、現フレームの基準画像における注目画素と、現フレームの参照画像における対応画素の画素値の一致度を算出する一致度算出ステップと、前記一致度の算出結果に基づいて、前記基準画像と前記参照画像の視差を推定する推定ステップとを含み、前記一致度算出ステップにおいては、過去フレームの前記基準画像と前記参照画像について推定された視差を用いて、前記一致度が算出される。
【００２０】
本技術の一側面のプログラムは、コンピュータに、現フレームの基準画像における注目画素と、現フレームの参照画像における対応画素の画素値の一致度を算出する一致度算出ステップと、前記一致度の算出結果に基づいて、前記基準画像と前記参照画像の視差を推定する推定ステップとを含む処理を実行させ、前記一致度算出ステップにおいては、過去フレームの前記基準画像と前記参照画像について推定された視差を用いて、前記一致度が算出される。
【００２１】
本技術の一側面においては、現フレームの基準画像における注目画素と、現フレームの参照画像における対応画素の画素値の一致度が算出され、一致度の算出結果に基づいて、基準画像と参照画像の視差が推定される。特に、過去フレームの基準画像と参照画像について推定された視差を用いて、一致度が算出される。
【発明の効果】
【００２２】
本技術の一側面によれば、より安定的に視差を推定することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本技術の画像処理装置を含むシステムの構成例を示すブロック図である。
【図２】本技術の画像処理装置を含むシステムの他の構成例を示すブロック図である。
【図３】視差推定の原理について説明する図である。
【図４】従来の画像処理装置の構成例を示すブロック図である。
【図５】従来の画像処理装置による視差推定について説明する図である。
【図６】本技術の画像処理装置の機能構成例を示すブロック図である。
【図７】視差推定部の機能構成例を示すブロック図である。
【図８】視差推定処理について説明するフローチャートである。
【図９】視差推定部の他の機能構成例を示すブロック図である。
【図１０】視差推定処理について説明するフローチャートである。
【図１１】画像処理装置の他の機能構成例を示すブロック図である。
【図１２】視差推定部のさらに他の機能構成例を示すブロック図である。
【図１３】視差推定処理について説明するフローチャートである。
【図１４】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．画像処理システムの構成
２．視差推定の原理
３．従来の画像処理装置の構成
４．本技術の画像処理装置の構成
５．画像処理装置の動作
６．画像処理装置の他の構成および動作
【００２５】
＜１．画像処理システムの構成＞
図１は、本技術の画像処理装置を含む画像処理システムの構成例を示している。
【００２６】
図１の画像処理システムは、撮像装置１１、画像処理装置１２、表示装置１３、および記憶装置１４から構成される。図１に示されるように、画像処理装置１２は、撮像装置１１や表示装置１３、記憶装置１４と接続されている。
【００２７】
撮像装置１１は、異なる視点位置である複数の撮像画像を生成して、画像処理装置１２や記憶装置１４に供給する。例えば、撮像装置１１は、左眼の視点位置の撮像画像（以下、左画像という）と、右眼の視点位置の撮像画像（以下、右画像という）とを生成して、画像処理装置１２や記憶装置１４に供給する。
【００２８】
画像処理装置１２は、撮像装置１１により生成された視点位置の異なる複数の撮像画像、または、記憶装置１４に記憶されている視点位置の異なる複数の撮像画像から視差を推定し、得られた視差推定の結果を表示装置１３または記憶装置１４に供給する。
【００２９】
例えば、画像処理装置１２は、撮像装置１１により生成されたか、または記憶装置１４に記憶されている左画像と右画像とを用いて視差推定を行う。なお、画像処理装置１２が、記憶装置１４に記憶されている画像を用いて視差推定を行った場合には、得られた視差推定の結果を記憶装置１４に供給して、記憶されている画像と対応付けて記憶させるようにしてもよい。
【００３０】
表示装置１３は、撮像装置１１により生成されたか、または、記憶装置１４に記憶されている画像と、画像処理装置１２により得られた視差推定の結果とに基づいて、立体画像の表示を行う。
【００３１】
記憶装置１４は、撮像装置１１により生成された視点位置の異なる複数の撮像画像や、画像処理装置１２により得られた視差推定の結果を記憶する。
【００３２】
なお、画像処理システムは、図２に示されるように、画像処理装置１２が、有線または無線のネットワーク２０を介して、撮像装置１１、表示装置１３、および記憶装置１４と接続される構成であってもよいし、画像処理装置１２が、撮像装置１１、表示装置１３、および記憶装置１４のいずれかに組み込まれている構成であってもよい。
【００３３】
＜２．視差推定の原理＞
ここで、図３を参照して、本技術の視差推定の原理について説明する。
【００３４】
本技術においては、図３に示されるような２台のカメラ（左カメラおよび右カメラ）により取得された左画像Ｌと右画像Ｒとの間の視差が推定される。
【００３５】
なお、図３においては、左カメラおよび右カメラそれぞれの光軸が平行であるものとする。また、３次元空間中の物体面上の点Ｐが左カメラおよび右カメラそれぞれの撮像素子上に投影されて画像が得られた場合、その点Ｐの左画像Ｌと右画像Ｒとの間の垂直方向（ｙ軸方向）のずれが０となるように、左カメラおよび右カメラの位置が物理的に補正されているか、または、左画像Ｌおよび右画像Ｒが電子的に補正されているものとする。
【００３６】
したがって、左画像および右画像それぞれにおいては、点Ｐは、同一ライン（同一のｙ座標）上にあり、水平方向（ｘ軸方向）にだけずれた位置にある。ここで、点Ｐに対応する左画像Ｌ上の対応点（画素）の座標を(xL,y)とし、点Ｐに対応する右画像Ｒ上の対応点の座標を(xR,y)とした場合、水平方向（ｘ軸方向）のずれ量|xL-xR|が視差Ｄとなる。
【００３７】
一般的に、視差を推定することは、左画像Ｌおよび右画像Ｒの画素値の差分の絶対値を算出し、対応点を求めることと等価とされ、この処理はステレオマッチングと呼ばれている。
【００３８】
具体的には、視差推定においては、左画像Ｌを基準画像、右画像Ｒを参照画像として、以下の式（１）に示される、左画像Ｌおよび右画像Ｒの画素値IL(xL,y)，IR(xR,y)の差分の絶対値を評価式Ｅとして、左画像Ｌおよび右画像Ｒの画素値の一致度を算出する。
【００３９】
【数１】
2015146526.tif 000003
・・・（１）
【００４０】
式（１）において、左画像Ｌ上の画素(xL,y)を基準として、候補となる視差ｄ（以下、候補視差ｄという）を一定の範囲で変化させ、評価式Ｅが最小となる右画像Ｒ上の画素(xL-d,y)を探索することで対応点を求める。すなわち、以下の式（２）に示されるように、評価式Ｅが最小となる候補視差ｄが、最終的に求められる視差Ｄとなる。
【００４１】
【数２】
2015146526.tif 000004
・・・（２）
【００４２】
次に、上述した手法を用いて視差推定を行う、従来の画像処理装置の構成について説明する。
【００４３】
＜３．従来の画像処理装置の構成＞
図４は、視差推定を行う従来の画像処理装置の構成例を示すブロック図である。
【００４４】
画像処理装置３１は、視差推定部４１、フレームバッファ４２、およびローパスフィルタ４３を備えている。
【００４５】
視差推定部４１は、画像処理装置３１に入力される現フレームの左画像および右画像を、それぞれ基準画像および参照画像として視差推定を行い、その結果として得られる視差画像を、フレームバッファ４２およびローパスフィルタ４３に供給する。
【００４６】
ここで、視差画像とは、その各画素の画素値として、左画像および右画像のそれぞれの対応点について求められた視差（以下、視差値ともいう）をもつ画像である。視差値は、被写体がカメラから遠い位置にあるほど小さい値となり、カメラに近い位置にあるほど大きい値となる。
【００４７】
フレームバッファ４２は、視差推定部４１から供給された視差画像を、１フレーム分記憶する。
【００４８】
ローパスフィルタ４３は、視差推定部４１から供給された現フレームの視差画像に対して、フレームバッファ４２に記憶されている１フレーム前の視差画像を用いてローパスフィルタ処理を施す。ローパスフィルタ処理が施された視差画像は、現フレームについての最終的な視差画像として出力される。
【００４９】
このような構成により、視差推定の結果の、時間方向での安定化を図ることができる。
【００５０】
図５は、図４の画像処理装置３１によって行われる視差推定について説明する図である。
【００５１】
図５の上段に示される２枚の画像Dt-1，Dtはそれぞれ、時刻t-1，ｔにおける視差推定部４１の出力である視差画像である。図５において、視差画像の色の濃淡は、視差値の大きさを表しており、色が濃いほど視差値が小さい（被写体がカメラから遠い位置にある）ことを示しており、色が淡いほど視差値が大きい（被写体がカメラに近い位置にある）ことを示している。
【００５２】
なお、図５の例では、被写体のうち、２つの立方体がカメラにより近い位置にあり、円柱がカメラからより遠い位置にあるものとし、時刻t-1から時刻ｔまでの間で、カメラと物体との位置関係は変わらないものとする。
【００５３】
ここで、視差画像Dtにおいて、右側の立方体はカメラにより近い位置にあるにもかかわらず濃い色で表されるように、時刻ｔにおいて、ノイズ等の影響により、視差推定部４１が、右側の立方体の視差値を正しく推定できなかったとする。ローパスフィルタ４３においては、視差画像Dt-1，Dtに対して重み付き加算が行われるため、図５の下段に示されるローパスフィルタ処理後の視差画像Dt'においても、右側の立方体はカメラに近い位置にあるにもかかわらず濃い色で表されるように、誤った視差推定の結果が得られてしまう。視差画像Dt'は、時刻t+1における視差推定に用いられるため、結果として、時刻ｔにおける誤った視差推定結果が伝搬してしまう。
【００５４】
そこで、以下においては、ノイズ等の影響に対してロバストな視差推定を行う画像処理装置の構成について説明する。
【００５５】
＜４．本技術の画像処理装置の構成＞
図６は、本技術の画像処理装置の構成例を示すブロック図である。
【００５６】
図６に示されるように、画像処理装置１２は、フレームバッファ５１、動き検出部５２、視差推定部５３、およびフレームバッファ５４から構成される。
【００５７】
なお、以下においては、画像処理装置１２に入力される画像のうち、左画像を基準画像とし、右画像を参照画像として説明するが、右画像を基準画像とし、左画像を参照画像とするようにしてももちろんよい。
【００５８】
フレームバッファ５１は、画像処理装置１２に入力される左画像（基準画像）を、１フレーム分記憶する。
【００５９】
動き検出部５２は、画像処理装置１２に入力される左画像（基準画像）および右画像（参照画像）における被写体の動きを検出し、検出した動きを表す動き情報を視差推定部５３に供給する。例えば、動き検出部５２は、現フレームの基準画像と、フレームバッファ５１に記憶されている１フレーム前の基準画像とを用いてフレーム間の差分を求めることで、被写体の動きを検出する。なお、現フレームの参照画像と、１フレーム前の参照画像とを用いてフレーム間の差分を求めることで、被写体の動きが検出されるようにしてもよい。
【００６０】
視差推定部５３は、画像処理装置１２に入力される基準画像および参照画像について、フレーム毎に視差推定を行い、その結果として得られる視差画像を、フレームバッファ５４に供給するとともに、画像処理装置１２に接続されている他の装置に出力する。具体的には、視差推定部５３は、動き検出部５２からの動き情報と、フレームバッファ５４に記憶されている１フレーム前の視差画像とを用いて視差推定を行うが、その詳細は図７を参照して後述する。
【００６１】
フレームバッファ５４は、視差推定部５３から供給される視差画像を、１フレーム分記憶する。
【００６２】
次に、図７を参照して、視差推定部５３の詳細な構成例について説明する。
【００６３】
図７に示されるように、視差推定部５３は、一致度算出部６１、時間評価値算出部６２、および推定部６３を備えている。
【００６４】
一致度算出部６１は、後述する時間評価値算出部６２からの時間評価値を用いて、現フレームの基準画像において注目する注目画素と、現フレームの参照画像において注目画素に対応する対応画素のそれぞれの画素値（具体的には、輝度値）の一致の度合いを示す一致度を算出し、その算出結果を推定部６３に供給する。
【００６５】
時間評価値算出部６２は、動き検出部５２からの動き情報と、フレームバッファ５４からの１フレーム前の視差画像において注目画素に対応する視差値とを用いて、視差の時間的変化を評価する時間評価値を算出し、一致度算出部６１に供給する。
【００６６】
推定部６３は、一致度算出部６１による一致度の算出結果に基づいて、基準画像と参照画像の視差を画素毎に推定し、画素毎に得られる視差値からなる視差画像を出力する。
【００６７】
次に、上述した構成をとる画像処理装置１２の、視差推定を行う際の動作について説明する。
【００６８】
＜５．画像処理装置の動作＞
図８は、上述した画像処理装置１２によって実行される視差推定処理について説明するフローチャートである。なお、図８の視差推定処理は、所定の１フレームについて行われる処理であり、撮像装置１１や記憶装置１４から、左画像および右画像がフレーム毎に供給される度に実行される。
【００６９】
まず、ステップＳ１１において、視差推定部５３は、画像処理装置１２に入力された左画像（基準画像）および右画像（参照画像）を取得する。
【００７０】
ステップＳ１２において、視差推定部５３は、動き検出部５２から供給される、基準画像および参照画像における被写体の動きを表す動き情報を取得する。
【００７１】
以降、現フレームの基準画像における所定ライン上の所定の画素を注目画素として、処理が実行される。
【００７２】
ステップＳ１３において、視差推定部５３は、基準画像における注目画素を基準として、参照画像における対応画素を探索するための候補視差ｄを設定する。候補視差ｄは、上述したように、一定の範囲で変化するようになされる。
【００７３】
ステップＳ１４において、時間評価値算出部６２は、動き検出部５２からの動き情報に応じて、１フレーム前の視差画像において注目画素に対応する視差値Dpreviousと、候補視差ｄとの差分の絶対値|Dprevious-d|を、重み係数λtemporalで重み付けすることで、時間評価値λtemporal|Dprevious-d|を算出する。
【００７４】
|Dprevious-d|は、時間方向での視差の連続性を表す値であり、被写体となる物体とカメラとの位置関係の変化が小さい場合、|Dprevious-d|は小さい値をとる。一方、被写体となる物体とカメラとの位置関係の変化が大きい場合、|Dprevious-d|は大きい値をとる。
【００７５】
そこで、時間評価値算出部６２は、動き検出部５２からの動き情報に基づいて、実際に被写体となる物体とカメラとの位置関係が変化しているか否かを解析することによって、重み係数λtemporalを動的に制御する。
【００７６】
すなわち、時間評価値算出部６２は、動き検出部５２からの動き情報により、１フレーム前と現フレームとの間で動きがなく、被写体となる物体とカメラとの位置関係がほとんど変化していないと判断される場合には、重み係数λtemporalを大きくし、時間評価値λtemporal|Dprevious-d|を大きくする。
【００７７】
一方、時間評価値算出部６２は、動き検出部５２からの動き情報により、１フレーム前と現フレームとの間で動きがあり、被写体となる物体とカメラとの位置関係が変化していると判断される場合には、重み係数λtemporalを小さくし、時間評価値λtemporal|Dprevious-d|を小さくする。
【００７８】
そして、ステップＳ１５において、一致度算出部６１は、時間評価値算出部６２によって算出された時間評価値を用いて、基準画像における注目画素と参照画像における対応画素の輝度値の一致度を算出する。
【００７９】
具体的には、一致度算出部６１は、以下の式（３）に示されるように、左画像Ｌ上の注目画素の画素値IL(xL,y)と右画像Ｒ上の対応画素の画素値IR(xL-d,y)との差分の絶対値（以下、ステレオマッチングの項ともいう）と、時間評価値λtemporal|Dprevious-d|との和を評価式Ｅとして、基準画像における注目画素と参照画像における対応画素の輝度値の一致度を算出する。
【００８０】
【数３】
2015146526.tif 000005
・・・（３）
【００８１】
上述したように、１フレーム前と現フレームとの間で動きがない場合には、式（３）において、時間評価値λtemporal|Dprevious-d|の項は大きくなるので、評価式Ｅに与える影響が大きくなり、結果として、時間方向での視差推定の結果の変動を抑えることができる。一方、１フレーム前と現フレームとの間で動きがある場合には、式（３）において、時間評価値λtemporal|Dprevious-d|の項は小さくなるので、評価式Ｅに与える影響が小さくなり、結果として、時間方向での視差推定の結果の変動を許すようになる。
【００８２】
ステップＳ１６において、一致度算出部６１は、一定の範囲で変化する候補視差ｄ全てについて、一致度を算出したか否かを判定する。
【００８３】
ステップＳ１６において、全ての候補視差ｄについて一致度が算出されていないと判定された場合、処理はステップＳ１３に戻り、これ以降の処理が繰り返される。
【００８４】
一方、ステップＳ１６において、全ての候補視差ｄについて一致度が算出されたと判定された場合、処理はステップＳ１７に進み、推定部６３は、一致度算出部６１によって、候補視差ｄ毎に算出された評価式Ｅについて、上述した式（２）を適用することで、候補視差ｄの中から視差Ｄを推定する。
【００８５】
このようにして、１つの注目画素についての視差値が求められる。
【００８６】
さて、ステップＳ１７の後、ステップＳ１８において、視差推定部５３は、ライン上の全ての画素について視差を推定したか否かを判定する。
【００８７】
ステップＳ１７において、ライン上の全ての画素について視差を推定していないと判定された場合、処理はステップＳ１３に戻り、これ以降の処理が、そのライン上の残りの画素について実行される。
【００８８】
一方、ステップＳ１７において、ライン上の全ての画素について視差を推定したと判定された場合、処理はステップＳ１９に進み、視差推定部５３は、全てのラインについて視差を推定したか否かを判定する。
【００８９】
ステップＳ１９において、全てのラインについて視差を推定していないと判定された場合、処理はステップＳ１３に戻り、これ以降の処理が、他のラインについて実行される。
【００９０】
一方、ステップＳ１９において、全てのラインについて視差を推定したと判定された場合、視差推定部５３は、１フレーム分の視差画像を出力し、１フレーム分についての視差推定処理は終了する。
【００９１】
以上の処理によれば、左画像および右画像の対応点の一致度の算出において、時間評価値により、時間方向での視差の連続性が考慮されるようになるので、あるフレームについて視差推定された結果が誤っていた場合に、誤った結果が伝搬してしまうようなことはなく、より安定的に視差を推定することが可能となる。
【００９２】
特に、時間評価値に対する重み係数が、動き情報に基づいて動的に制御されるので、静止している物体に対しても、動きのある物体に対しても、時間方向で安定した視差推定の結果を得ることが可能となる。
【００９３】
ところで、画像には様々なノイズが含まれるため、式（１）や式（３）のステレオマッチングの項で示されるような、基準画像と参照画像の画素同士の比較による一致度の算出は、ノイズの影響を受けやすい。そこで、基準画像と参照画像における、所定領域の画素同士の比較により一致度を算出するようにしてもよい。
【００９４】
具体的には、一致度算出部６１は、以下の式（４）に示されるように、左画像Ｌ上の注目画素を含む領域（注目領域）と右画像Ｒ上の対応画素を含む領域（対応領域）の各画素の画素値の差分の絶対値の総和と、時間評価値λtemporal|Dprevious-d|との和を評価式Ｅとして、基準画像における注目画素と参照画像における対応画素の輝度値の一致度を算出する。
【００９５】
【数４】
2015146526.tif 000006
・・・（４）
【００９６】
式（４）において、右辺第１項は、基準画像における注目画素を中心とした(2M-1)×(2N-1)（Ｍ，Ｎはそれぞれ正の値）の領域において、基準画像および参照画像それぞれの画素の輝度値を比較するステレオマッチングの項である。なお、ｍ，ｎはそれぞれ、−Ｍ＜ｍ＜Ｍ，−Ｎ＜ｎ＜Ｎを満たすものとする。
【００９７】
以上のように、基準画像と参照画像の領域の画素同士の比較により一致度を算出することで、単に、基準画像と参照画像の画素同士の比較により一致度を算出する場合と比べて、ノイズの影響を低減させることができる。
【００９８】
なお、以上においては、動き情報に基づいて、重み係数λtemporalを動的に制御するようにしたが、例えば、物体認識により、被写体が動体であるか否かを判別することで、重み係数λtemporalを動的に制御したり、色識別により、被写体が動体であるか否かを判別することで、重み係数λtemporalを動的に制御するようにしてもよい。
【００９９】
本技術の画像処理装置は、ノイズ等の影響に対してさらにロバストな視差推定を行う構成をとることができる。
【０１００】
＜６．画像処理装置の他の構成および動作＞
（空間方向での視差の安定化）
図９は、視差推定部５３の他の構成例を示すブロック図である。
【０１０１】
なお、図９の視差推定部５３において、図７の視差推定部５３に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１０２】
すなわち、図９の視差推定部５３において、図７の視差推定部５３と異なるのは、空間評価値算出部７１を新たに設けた点である。
【０１０３】
空間評価値算出部７１は、推定部６３によって、注目画素近傍の画素である近傍画素について既に推定された視差（視差値）を用いて、視差の空間的変化を評価する空間評価値を算出し、一致度算出部６１に供給する。
【０１０４】
図９の一致度算出部６１は、時間評価値算出部６２からの時間評価値と、空間評価値算出部７１からの空間評価値とを用いて、基準画像の注目画素と参照画像の対応画素の一致度を算出する。
【０１０５】
次に、図１０のフローチャートを参照して、上述した構成をとる視差推定部５３を備える画像処理装置１２によって実行される視差推定処理について説明する。
【０１０６】
なお、図１０のフローチャートにおけるステップＳ３１乃至Ｓ３４，Ｓ３７乃至Ｓ４０の処理は、図８のフローチャートにおけるステップＳ１１乃至Ｓ１４，Ｓ１６乃至Ｓ１９の処理と同様であるので、その説明は省略する。
【０１０７】
すなわち、ステップＳ３５において、空間評価値算出部７１は、注目画素の画素値に応じて、注目画素近傍の近傍画素についての視差値Dneighborと、候補視差ｄとの差分の絶対値|Dneighbor-d|を、重み係数λspatialで重み付けすることで、空間評価値λspatial|Dneighbor-d|を算出する。ここで、近傍画素は、例えば、基準画像における注目画素の画素位置を(xL,y)とすると、その左隣の(xL-1,y)に位置する画素や、上隣の(xL,y-1)に位置する画素とされる。
【０１０８】
|Dneighbor-d|は、空間方向での視差の連続性を表す値であり、同一物体上では視差値は緩やかに変化すると仮定すると、注目画素が同一物体上の平坦領域にある場合、|Dneighbor-d|は小さい値をとる。一方、注目画素が物体同士の境界領域にある場合、|Dneighbor-d|は大きい値をとる。
【０１０９】
そこで、空間評価値算出部７１は、基準画像に対応するエッジ画像における注目画素の画素値に基づいて、注目画素が平坦領域にあるか、または境界領域にあるかを解析することによって、重み係数λspatialを動的に制御する。
【０１１０】
すなわち、空間評価値算出部７１は、エッジ画像における注目画素の画素値が所定の閾値より小さく、注目画素が平坦領域にあると判断される場合には、重み係数λspatialを大きくし、空間評価値λspatial|Dneighbor-d|を大きくする。
【０１１１】
一方、空間評価値算出部７１は、エッジ画像における注目画素の画素値が所定の閾値より大きく、注目画素が境界領域にあると判断される場合には、重み係数λspatialを小さくし、空間評価値λspatial|Dneighbor-d|を小さくする。
【０１１２】
そして、ステップＳ３６において、一致度算出部６１は、時間評価値算出部６２によって算出された時間評価値、および、空間評価値算出部７１によって算出された空間評価値を用いて、基準画像における注目画素と参照画像における対応画素の輝度値の一致度を算出する。
【０１１３】
具体的には、一致度算出部６１は、以下の式（５）に示されるように、ステレオマッチングの項、時間評価値λtemporal|Dprevious-d|、および空間評価値λspatial|Dneighbor-d|の和を評価式Ｅとして、基準画像における注目画素と参照画像における対応画素の輝度値の一致度を算出する。
【０１１４】
【数５】
2015146526.tif 000007
・・・（５）
【０１１５】
上述したように、注目画素が平坦領域にある場合には、式（５）において、空間評価値λspatial|Dneighbor-d|の項は大きくなるので、評価式Ｅに与える影響が大きくなり、結果として、空間方向での視差推定の結果の変動を抑えることができる。一方、注目画素が境界領域にある場合には、式（５）において、空間評価値λspatial|Dneighbor-d|の項は小さくなるので、評価式Ｅに与える影響が小さくなり、結果として、空間方向での視差推定の結果の変動を許すことになる。
【０１１６】
以上の処理によれば、左画像および右画像の対応点の一致度の算出において、時間方向での視差の連続性に加え、空間評価値により、空間方向での連続性が考慮されるようになるので、より一層安定的に視差を推定することが可能となる。
【０１１７】
ところで、例えば、２眼カメラを備えた内視鏡システムにおいて得られる手術シーンの画像内で、手術器具等に光が反射しているような領域（以下、鏡面反射領域という）では、輝度値が大きくなり、基準画像と参照画像との間の相関が低下するため、ステレオマッチングが正しく行われず、結果として誤った視差推定が行われるおそれがある。
【０１１８】
そこで、注目画素が鏡面反射領域にあるか否かを解析することによって、重み係数λspatialを動的に制御するようにしてもよい。
【０１１９】
具体的には、注目画素の輝度値が所定の閾値より大きく、注目画素が鏡面反射領域にあると判断される場合には、重み係数λspatialを大きくし、注目画素の輝度値が所定の閾値より小さく、注目画素が鏡面反射領域にないと判断される場合には、重み係数λspatialを小さくする。
【０１２０】
これにより、鏡面反射領域においては、視差値が、その近傍の領域について推定された視差値から大きく変動しないようになり、安定的に視差を推定することが可能となる。
【０１２１】
また、画像内で奥行きのない領域、すなわちテクスチャのない領域でも、ステレオマッチングが正しく行われず、結果として誤った視差推定が行われるおそれがある。そこで、以下においては、奥行きのない領域においても、安定的に視差を推定する構成について説明する。
【０１２２】
（奥行きを考慮した視差の安定化）
図１１は、画像処理装置１２の他の構成例を示すブロック図である。
【０１２３】
なお、図１１の画像処理装置１２において、図６の画像処理装置１２に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１２４】
すなわち、図１１の画像処理装置１２において、図６の画像処理装置１２と異なるのは、テクスチャレス領域視差推定部８１およびテクスチャレス領域視差値取得部８２を新たに設けた点である。
【０１２５】
テクスチャレス領域視差推定部８１は、現フレームの基準画像に対してテクスチャ解析を行うことで、テクスチャのない領域（テクスチャレス領域）を検出し、テクスチャレス領域についての視差を推定して、その結果を視差推定部５３に供給する。
【０１２６】
具体的には、テクスチャレス領域視差推定部８１は、過去フレームのテクスチャレス領域における輝度値と視差値との関係から輝度視差特性を求め、現フレームの基準画像のテクスチャレス領域における輝度値を視差値に変換することで、テクスチャレス領域についての視差を推定する。このようにして、輝度値を視差値に変換することで視差推定を行う手法を、DfL（Disparity from Luminance）視差推定法といい、DfL視差推定法により得られた視差値を、以下、DfL視差（DfL視差値）という。
【０１２７】
テクスチャレス領域視差値取得部８２は、視差推定部５３により出力された視差画像から、テクスチャレス領域視差推定部８１により検出されたテクスチャレス領域についての視差値を取得し、テクスチャレス領域視差推定部８１に供給する。
【０１２８】
図１２は、図１１の画像処理装置１２における視差推定部５３の構成例を示すブロック図である。
【０１２９】
なお、図１２の視差推定部５３において、図９の視差推定部５３に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１３０】
すなわち、図１２の視差推定部５３において、図９の視差推定部５３と異なるのは、DfL視差評価値算出部９１を新たに設けた点である。
【０１３１】
DfL視差評価値算出部９１は、テクスチャレス領域視差推定部８１によって得られたDfL視差値を評価するDfL視差評価値を算出し、一致度算出部６１に供給する。
【０１３２】
次に、図１３のフローチャートを参照して、上述した構成をとる画像処理装置１２によって実行される視差推定処理について説明する。
【０１３３】
なお、図１３のフローチャートにおけるステップＳ５１乃至Ｓ５５，Ｓ５８乃至Ｓ６１の処理は、図１０のフローチャートにおけるステップＳ３１乃至Ｓ３５，Ｓ３７乃至Ｓ４０の処理と同様であるので、その説明は省略する。
【０１３４】
すなわち、ステップＳ５６において、DfL視差評価値算出部９１は、テクスチャレス領域視差推定部８１による輝度視差変換（DfL視差推定）の信頼性に応じて、注目画素について得られたDfL視差値DDfLと、候補視差ｄとの差分の絶対値|DDfL-d|を、重み係数λDfLで重み付けすることで、DfL視差評価値λDfL|DDfL-d|を算出する。
【０１３５】
|DDfL-d|は、DfL視差推定により得られたDfL視差値と、ステレオマッチングにより推定される視差値との一致の度合いを表す値であり、両者の値が近いほど、|DDfL-d|は小さい値をとる。
【０１３６】
そこで、DfL視差評価値算出部９１は、テクスチャレス領域視差推定部８１によるDfL視差推定の信頼性に基づいて、重み係数λDfLを動的に制御する。
【０１３７】
すなわち、DfL視差評価値算出部９１は、テクスチャレス領域視差推定部８１によるDfL視差推定の信頼性が高いと判断される場合には、重み係数λDfLを大きくし、DfL視差評価値λDfL|DDfL-d|を大きくする。
【０１３８】
一方、DfL視差評価値算出部９１は、テクスチャレス領域視差推定部８１によるDfL視差推定の信頼性が低いと判断される場合には、重み係数λDfLを小さくし、DfL視差評価値λDfL|DDfL-d|を小さくする。
【０１３９】
なお、注目画素がテクスチャレス領域内にない場合、重み係数λDfLは０とされる。
【０１４０】
そして、ステップＳ５７において、一致度算出部６１は、時間評価値算出部６２によって算出された時間評価値、空間評価値算出部７１によって算出された空間評価値、およびDfL視差評価値算出部９１によって算出されたDfL視差評価値を用いて、基準画像における注目画素と参照画像における対応画素の輝度値の一致度を算出する。
【０１４１】
具体的には、一致度算出部６１は、以下の式（６）に示されるように、ステレオマッチングの項、時間評価値λtemporal|Dprevious-d|、空間評価値λspatial|Dneighbor-d|、およびDfL視差評価値λDfL|DDfL-d|の和を評価式Ｅとして、基準画像における注目画素と参照画像における対応画素の輝度値の一致度を算出する。
【０１４２】
【数６】
2015146526.tif 000008
・・・（６）
【０１４３】
上述したように、DfL視差推定の信頼性が高い場合には、式（６）において、DfL視差評価値λDfL|DDfL-d|の項は大きくなるので、評価式Ｅに与える影響が大きくなり、結果として、テクスチャレス領域での視差推定の結果の変動を抑えることができる。一方、DfL視差推定の信頼性が低い場合には、式（６）において、DfL視差評価値λDfL|DDfL-d|の項は小さくなるので、評価式Ｅに与える影響が小さくなり、結果として、テクスチャレス領域での視差推定の結果の変動を許すようになる。
【０１４４】
以上の処理によれば、左画像および右画像の対応点の一致度の算出において、時間方向での視差の連続性、空間方向での連続性に加え、DfL視差評価値により、奥行きの有無が考慮されるようになるので、さらに安定的に視差を推定することが可能となる。
【０１４５】
なお、上述した本技術の視差推定の手法は、特許文献１等に開示されている、動的計画法を用いた視差推定方法や、他の最適化手法を用いた視差推定方法と組み合わせて用いるようにしてもよい。
【０１４６】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１４７】
図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１４８】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０１４９】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、およびドライブ９１０が接続されている。
【０１５０】
入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９１１を駆動する。
【０１５１】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０１５２】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１５３】
コンピュータでは、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０１５４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１５５】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５６】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１５７】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１５８】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１５９】
また、本技術は以下のような構成をとることができる。
（１）
現フレームの基準画像における注目画素と、現フレームの参照画像における対応画素の画素値の一致度を算出する一致度算出部と、
前記一致度の算出結果に基づいて、前記基準画像と前記参照画像の視差を推定する推定部と
を備え、
前記一致度算出部は、過去フレームの前記基準画像と前記参照画像について推定された視差を用いて、前記一致度を算出する
画像処理装置。
（２）
前記過去フレームについての視差と、前記現フレームの前記基準画像と前記参照画像について推定される視差との差分に基づいて、視差の時間的変化を評価する時間評価値を算出する時間評価値算出部をさらに備え、
前記一致度算出部は、前記時間評価値を用いて、前記一致度を算出する
（１）に記載の画像処理装置。
（３）
前記時間評価値算出部は、前記基準画像または前記参照画像における動きに応じて、前記時間評価値を重み付けする
（２）に記載の画像処理装置。
（４）
前記時間評価値算出部は、前記基準画像または前記参照画像における動きが小さいほど、前記時間評価値にかける重みを大きくする
（３）に記載の画像処理装置。
（５）
前記一致度算出部は、前記現フレームの前記基準画像における前記注目画素を含む注目領域と、前記現フレームの前記参照画像における前記対応画素を含む対応領域の各画素の画素値を用いて、前記一致度を算出する
（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記注目画素近傍の近傍画素について推定された視差と、前記注目画素について推定される視差との差分に基づいて、視差の空間的変化を評価する空間評価値を算出する空間評価値算出部をさらに備え、
前記一致度算出部は、前記時間評価値と前記空間評価値とを用いて、前記一致度を算出する
（２）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記空間評価値算出部は、前記注目画素の画素値に応じて、前記空間評価値を重み付けする
（６）に記載の画像処理装置。
（８）
前記過去フレームについての輝度値および視差に基づいて、前記現フレームの前記基準画像におけるテクスチャレス領域の輝度値を視差に変換する輝度視差変換部と、
前記基準画像の輝度値が変換された視差と、前記現フレームの前記基準画像について推定される視差との差分に基づいて、前記輝度値が変換された視差を評価する輝度視差評価値を算出する輝度視差評価値算出部とをさらに備え、
前記一致度算出部は、前記時間評価値と前記輝度視差評価値とを用いて、前記一致度を算出する
（２）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記輝度視差評価値算出部は、前記輝度視差変換部による輝度視差変換の信頼性に応じて、前記輝度視差評価値を重み付けする
（８）に記載の画像処理装置。
（１０）
前記輝度視差評価値算出部は、前記輝度視差変換部による輝度視差変換の信頼性が高いほど、前記輝度視差評価値にかける重みを大きくする
（９）に記載の画像処理装置。
（１１）
現フレームの基準画像における注目画素と、現フレームの参照画像における対応画素の画素値の一致度を算出する一致度算出ステップと、
前記一致度の算出結果に基づいて、前記基準画像と前記参照画像の視差を推定する推定ステップと
を含み、
前記一致度算出ステップにおいては、過去フレームの前記基準画像と前記参照画像について推定された視差を用いて、前記一致度が算出される
画像処理方法。
（１２）
コンピュータに、
現フレームの基準画像における注目画素と、現フレームの参照画像における対応画素の画素値の一致度を算出する一致度算出ステップと、
前記一致度の算出結果に基づいて、前記基準画像と前記参照画像の視差を推定する推定ステップと
を含む処理を実行させ、
前記一致度算出ステップにおいては、過去フレームの前記基準画像と前記参照画像について推定された視差を用いて、前記一致度が算出される
プログラム。
【符号の説明】
【０１６０】
１２  画像処理装置，  ５３  視差推定部，  ６１  一致度算出部，  ６２  時間評価値算出部，  ６３  推定部，  ７１  空間評価値算出部，  ８１  テクスチャレス領域視差推定部，  ８２  テクスチャレス領域視差値取得部，  ９１  DfL視差評価値算出部
【図１】
2015146526.tif 000009
【図２】
2015146526.tif 000010
【図３】
2015146526.tif 000011
【図４】
2015146526.tif 000012
【図５】
2015146526.tif 000013
【図６】
2015146526.tif 000014
【図７】
2015146526.tif 000015
【図８】
2015146526.tif 000016
【図９】
2015146526.tif 000017
【図１０】
2015146526.tif 000018
【図１１】
2015146526.tif 000019
【図１２】
2015146526.tif 000020
【図１３】
2015146526.tif 000021
【図１４】
2015146526.tif 000022