(57)【要約】【課題】異なる視点位置の複数の画像から精度よく視差を推定できるようにする。【解決手段】注目領域検出部３１１は、基準画像から注目領域を検出する。輝度視差変換部３１５は、輝度情報記憶部３１３に記憶されている過去フレームの注目領域の輝度情報と視差情報記憶部３１４に記憶されている過去フレームの注目領域の視差情報から輝度視差変換特性を推定して、推定結果に基づき注目領域検出部３１１で検出された注目領域に対して輝度視差変換を行う。ステレオマッチング視差推定部３２は、基準画像と視点位置が基準画像と異なる参照画像の画像間の類似性に基づいて視差推定を行い、注目領域検出部３１１で検出された注目領域では、輝度視差変換部３１５の輝度視差変換結果を用いて類似度を算出して視差推定を行う。【選択図】        図３
2014206893.tif 000002
【特許請求の範囲】
【請求項１】
基準画像から所望の被写体を含む注目領域を検出する注目領域検出部と、
過去フレームを用いて推定した輝度視差変換特性に基づいて、前記注目領域に対して輝度視差変換を行う輝度視差変換部と、
前記基準画像、および前記基準画像と視点位置が異なる参照画像に基づいて視差推定を行い、前記注目領域では、前記輝度視差変換部の輝度視差変換結果を用いて前記視差推定を行う視差推定部と
を備える画像処理装置。
【請求項２】
前記輝度視差変換部は、前記所望の被写体までの奥行距離に応じた輝度値に補正した前記注目領域の輝度値を用いて、前記輝度視差変換を行う請求項１記載の画像処理装置。
【請求項３】
前記輝度視差変換部は、輝度視差変換特性の推定において、前記奥行距離に応じた補正後の輝度値の平方根が視差値に比例するとして、比例係数と切片の推定を行う請求項２記載の画像処理装置。
【請求項４】
前記輝度視差変換部は、過去フレームの前記注目領域における最大輝度値と最小輝度値および最大視差値と最小輝度値に基づいて、前記輝度視差変換特性を推定する請求項３記載の画像処理装置。
【請求項５】
前記輝度視差変換部は、前記注目領域における輝度値の平均値と輝度値の分布に基づき前記最大輝度値と前記最小輝度値を算出して、前記注目領域における視差値の平均値と視差値の分布に基づき前記最大視差値と前記最小視差値を算出する請求項４記載の画像処理装置。
【請求項６】
前記視差推定部は、前記基準画像の視差推定対象位置毎に第１マッチング領域を設定して、当該第１マッチング領域と、予め指定された視差値毎に該視差値に対応した前記参照画像の第２マッチング領域との類似度を示すコスト値を算出して、ライン毎に、コスト値のライン総和が最小となる最も類似度の高い視差値を視差推定結果とする請求項１記載の画像処理装置。
【請求項７】
前記視差推定部は、前記注目領域検出部で検出された注目領域では、前記コスト値に対して、前記指定された視差値と前記輝度視差変換部の輝度視差変換により得られた視差値との差分に応じたコスト値を含める請求項６記載の画像処理装置。
【請求項８】
前記視差推定部は、前記注目領域検出部で検出された注目領域を除く領域では、前記差分がないとして前記コスト値を算出する請求項７記載の画像処理装置。
【請求項９】
前記視差推定部は、基準画像における前記視差推定対象位置の視差値と直前の視差推定対象位置の視差値との差に応じたコスト値を含める請求項６記載の画像処理装置。
【請求項１０】
前記視差推定部は、前記視差推定において動的計画法を用いる請求項１記載の画像処理装置。
【請求項１１】
前記注目領域検出部は、前記基準画像の輝度値と色差値を所定の閾値と比較して、前記注目領域を検出する
請求項１記載の画像処理装置。
【請求項１２】
前記注目領域検出部は、前記基準画像に対してテクスチャー解析を行い、前記注目領域を検出する
請求項１記載の画像処理装置。
【請求項１３】
基準画像から所望の被写体を含む注目領域を検出する工程と、
過去フレームを用いて推定した輝度視差変換特性に基づいて、前記注目領域に対して輝度視差変換を行う工程と、
前記基準画像、および前記基準画像と視点位置が異なる参照画像に基づいて視差推定を行い、前記注目領域では、前記輝度視差変換部の輝度視差変換結果を用いて前記視差推定を行う工程と
を含む画像処理方法。
【請求項１４】
基準画像から所望の被写体を含む注目領域を検出する手順と、
過去フレームを用いて推定した輝度視差変換特性に基づいて、前記注目領域に対して輝度視差変換を行う手順と、
前記基準画像、および前記基準画像と視点位置が異なる参照画像に基づいて視差推定を行い、前記注目領域では、前記輝度視差変換部の輝度視差変換結果を用いて前記視差推定を行う手順と
をコンピュータで実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法およびプログラムに関し、視点の異なる複数の画像から精度よく視差を推定できるようにする。
【背景技術】
【０００２】
従来、立体画像の表示等を行うために、実空間の３次元情報を取得することが行われている。例えば特許文献１の発明では、光源から出た光が距離の２乗に反比例して低下するという、照度に関する逆２乗の法則を利用して、所望の被写体までの距離を推定する方法が開示されている。例えば、特許文献１の発明では、例えば内臓を撮影している際、映像中にメチレンブルーがあった場合、その領域で光の吸収特性が変化するため、その領域を検出して映像の輝度成分値を補正することにより奥行き距離を推定することが行われている。
【０００３】
また、特許文献２の発明では、視点の異なる複数の撮像画像を用いて、実空間の３次元情報を取得することが行われている。例えば左視点の撮像画像と右視点の撮像画像から視差を取得する手法の１つに、動的計画法(Dynamic Programming)に基づくステレオマッチングを用いた視差推定（以下「ＤＰマッチング視差推定」と呼ぶ）がある。ＤＰマッチング視差推定では、一般的に、画素またはブロック単位で左視点の撮像画像と右視点の撮像画像間の対応点（または対応領域）の一致度を求め、その一致度が画素またはブロックライン全体で最適（最大）になるように、視差が推定される。このようなＤＰマッチング視差推定では、ライン全体が最適になるように、各画素またはブロックの視差が決定されるため、一般的に画像の局所的なノイズがあった場合でも、安定して視差を推定することができる。さらに、視線方向等のカメラパラメータと特許文献２の発明で推定した視差から被写体までの絶対距離を推定することも可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１０３５１３号公報
【特許文献２】特開２０１２−０６５８５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、引用文献１の発明は、撮像画像中に光の吸収特性が異なる被写体が混在している場合、被写体までの距離を正しく推定することが困難である。例えば、２眼カメラを備えた内視鏡システムで手術シーンの画像を立体画像として表示する場合、様々な器具（鉗子やガーゼなど）や血液、光の吸収特性が異なる臓器が映像中に混在することが一般的である。したがって、このような撮像画像に対して、照度に関する逆２乗の法則を適用して距離を推定することは困難である。また、光の吸収特性の異なる複数の被写体に対応するためには、予めすべての被写体について輝度成分の補正係数を調べておく必要がある。さらに、引用文献１の発明の発明で得られる推定値は、奥行きの程度を示す値であり絶対的な距離を示していない。
【０００６】
また、引用文献２の発明は、対応点（または対応領域）の一致度を求める場合に、一致度を示す評価値を用いている。例えば評価値は、所定領域のブロック内に含まれる画素の輝度値の差の絶対値の和（Sum of Absolute Differences、以下「ＳＡＤ」と呼ぶ）や、所定領域のブロック内に含まれる画素の輝度値の差の２乗の和（Sum of Squared Differences、以下「ＳＳＤ」と呼ぶ）が用いられる。そのため、画像内の輝度値の変動の少ない領域（模様がない領域）などでは、何れの位置でも評価値が同じような値となり、誤対応を引き起こす場合が多い。また、同じ模様が繰り返されるような領域においても、模様が似ている領域で評価値が同じような値となり、正しい対応点（あるいは領域）を求めることは困難である。
【０００７】
そこで、この技術では、異なる視点位置の複数の画像から精度よく視差を推定できる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
この技術の第１の側面は、
基準画像から所望の被写体を含む注目領域を検出する注目領域検出部と、
過去フレームを用いて推定した輝度視差変換特性に基づいて、前記注目領域に対して輝度視差変換を行う輝度視差変換部と、
前記基準画像、および前記基準画像と視点位置が異なる参照画像に基づいて視差推定を行い、前記注目領域では、前記輝度視差変換部の輝度視差変換結果を用いて前記視差推定を行う視差推定部と
を備える画像処理装置にある。
【０００９】
この技術においては、基準画像から所望の被写体の領域が注目領域として検出される。また、過去フレームの注目領域の輝度値と視差推定結果から輝度視差変換特性が推定されて、推定結果に基づき検出された注目領域に対して輝度視差変換が行われる。注目領域の輝度値は、所望の被写体までの奥行距離に応じて補正されて、補正後の輝度値を用いて輝度視差変換が行われる。また、輝度視差変換特性の推定では、奥行距離に応じた補正後の輝度値の平方根が視差値に比例するとして、比例係数と切片の推定が行われる。例えば、過去フレームの注目領域における最大輝度値と最小輝度値および最大視差値と最小輝度値に基づいて、輝度視差変換特性の推定が行われる。また、最大輝度値と最小輝度値や最大視差値と前記最小視差値は、注目領域における輝度値の平均値と輝度値の分布、視差値の平均値と視差値の分布に基づき算出してもよい。
【００１０】
また、視差推定は、基準画像と視点位置が前記基準画像と異なる参照画像の画像間の類似度を算出して、算出された類似度に基づいて行われて、検出された注目領域では輝度視差変換結果を用いて類似度の算出が行われる。例えば、基準画像の視差推定対象位置毎に第１マッチング領域を設定して、この第１マッチング領域と、予め指定された視差値毎に参照画像における視差値に対応した第２マッチング領域との類似度を示すコスト値が算出されて、検出された注目領域では、指定された視差値と輝度視差変換により得られた視差値との差分に応じたコスト値を含めてコスト値の算出が行われる。また、注目領域を除く領域では、差分がないとしてコスト値の算出が行われる。また、コスト値には、基準画像における視差推定対象位置の視差値と直前の視差推定対象位置の視差値との差に応じたコスト値が含められる。このようにして算出されるコスト値が最小となる最も類似度の高い視差値を動的計画法によって特定することで、視差推定結果が生成される。また、注目領域は、基準画像の輝度値と色差値を所定の閾値と比較して、または基準画像に対してテクスチャー解析を行うことによって検出される。
【００１１】
この技術の第２の側面は、
基準画像から所望の被写体を含む注目領域を検出する工程と、
過去フレームを用いて推定した輝度視差変換特性に基づいて、前記注目領域に対して輝度視差変換を行う工程と、
前記基準画像、および前記基準画像と視点位置が異なる参照画像に基づいて視差推定を行い、前記注目領域では、前記輝度視差変換部の輝度視差変換結果を用いて前記視差推定を行う工程と
を含む画像処理方法にある。
【００１２】
この技術の第３の側面は、
基準画像から所望の被写体を含む注目領域を検出する手順と、
過去フレームを用いて推定した輝度視差変換特性に基づいて、前記注目領域に対して輝度視差変換を行う手順と、
前記基準画像、および前記基準画像と視点位置が異なる参照画像に基づいて視差推定を行い、前記注目領域では、前記輝度視差変換部の輝度視差変換結果を用いて前記視差推定を行う手順と
をコンピュータで実行させるプログラムにある。
【００１３】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【発明の効果】
【００１４】
この技術によれば、基準画像から検出された注目領域に対しては、過去フレームの注目領域の輝度値と視差推定結果から輝度視差変換特性が判別されて、推定結果に基づき注目領域の輝度視差変換が行われる。また、基準画像と視点位置が基準画像と異なる参照画像との画像間の類似性に基づいた視差推定が行われて、注目領域に対しては輝度視差変換結果を用いて類似度の算出が行われる。すなわち、注目領域では、基準画像と参照画像の画像間の類似性だけでなく、輝度視差変換結果も取り入れて視差推定が行われる。したがって、注目領域が類似性に基づいて視差推定を行うことの困難な画像であっても、異なる視点位置の複数の画像から精度よく視差推定を行うことができるようになる。
【図面の簡単な説明】
【００１５】
【図１】画像処理装置を用いた画像処理システムの構成を例示した図である。
【図２】画像処理装置の構成を例示した図である。
【図３】注目領域変換処理部の構成を例示した図である。
【図４】ステレオカメラにおける視差値と奥行距離の関係を説明するための図である。
【図５】注目領域検出部と注目領域輝度補正部の動作を例示したフローチャートである。
【図６】視差情報取得部の動作を例示したフローチャートである。
【図７】左画像を基準画像とした場合における輝度値と視差値の関係を示す図である。
【図８】右画像を基準画像とした場合における輝度値と視差値の関係を示す図である。
【図９】輝度視差変換部の動作を例示したフローチャートである。
【図１０】左画像に対する視差値を求める場合の動作を説明するための図である。
【図１１】注目領域変換処理部の変換結果を用いて左画像に対する視差値を求める場合の動作を説明するための図である。
【図１２】ステレオマッチング視差推定部の動作を例示したフローチャートである。
【図１３】複数の注目領域を設けた場合を説明するための図である。
【発明を実施するための形態】
【００１６】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理システムの構成
２．画像処理装置の構成
３．画像処理装置の動作
４．画像処理装置の他の動作
【００１７】
＜１．画像処理システムの構成＞
図１は、本技術の画像処理装置を用いた画像処理システムの構成を例示している。画像処理システム１０は、撮像装置２０、画像処理装置３０、表示装置４０、記憶装置５０等を有している。画像処理装置３０は、図１の（Ａ）に示すように、撮像装置２０や表示装置４０、記憶装置５０と接続されている。また、画像処理装置３０は、図１の（Ｂ）に示すように、有線または無線のネットワーク等を介して他の装置と接続される構成であってもよい。さらに、画像処理装置３０は、撮像装置２０や表示装置４０または記憶装置５０の何れかに組み込まれている構成であってもよい。
【００１８】
撮像装置２０は、異なる視点位置である複数の撮像画像の画像信号を生成して、画像処理装置３０や記憶装置５０に供給する。例えば撮像装置２０は左眼の視点位置の撮像画像（以下「左画像」という）と、右眼の視点位置の撮像画像（以下「右画像」という）の画像信号を生成して画像処理装置３０や記憶装置５０に供給する。
【００１９】
画像処理装置３０は、撮像装置２０で生成された視点位置の異なる複数の撮像画像の画像信号、または記憶装置５０に記憶されている視点位置の異なる複数の撮像画像の画像信号から視差値を推定する。画像処理装置３０は、撮像装置２０で生成されたまたは記憶装置５０に記憶されている例えば左画像と右画像の画像信号を用いて視差推定を行う。画像処理装置３０は、視差推定結果を表示装置４０または記憶装置５０へ出力する。なお、画像処理装置３０は、記憶装置５０に記憶されている画像信号を用いて視差推定を行った場合、記憶装置５０に視差推定結果を出力して、記憶されている画像信号に関係付けて記憶させるようにしてもよい。
【００２０】
表示装置４０は、立体画像表示を行う。表示装置４０は、撮像装置２０で生成された画像信号または記憶装置５０から読み出された画像信号と、画像処理装置３０で推定された視差推定結果に基づいて立体画像表示を行う。
【００２１】
記憶装置５０は、撮像装置２０で生成された視点位置の異なる複数の撮像画像の画像信号や、画像処理装置３０の視差推定結果を記憶する。
【００２２】
＜２．画像処理装置の構成＞
図２は、本技術の画像処理装置の構成を例示している。画像処理装置３０は、注目領域変換処理部３１、ステレオマッチング視差推定部３２、注目領域視差情報取得部３３を有している。
【００２３】
撮像装置２０で生成された左画像と右画像の画像信号、または記憶装置５０から読み出された左画像と右画像の画像信号は、ステレオマッチング視差推定部３２に供給される。また、左画像と右画像の何れか基準とする画像の画像信号、例えば左画像を基準とする場合には、左画像の画像信号が基準画像の画像信号として注目領域変換処理部３１に供給される。
【００２４】
図３は、注目領域変換処理部の構成を例示している。注目領域変換処理部３１は、注目領域検出部３１１と注目領域輝度補正部３１２、輝度情報記憶部３１３、視差情報記憶部３１４、輝度視差変換部３１５を有している。
【００２５】
注目領域検出部３１１は、基準画像の画像信号に基づき、基準画像から所望の被写体（視差推定を行う被写体）の領域を注目領域として検出する。注目領域検出部３１１は、検出結果を注目領域輝度補正部３１２と図２に示すステレオマッチング視差推定部３２と注目領域視差情報取得部３３へ出力する。
【００２６】
注目領域輝度補正部３１２は、注目領域内の画素について、輝度値を所望の被写体までの奥行距離に応じた輝度値に補正する。なお、奥行距離については図４を用いて後述する。注目領域輝度補正部３１２は、注目領域内の画素の補正後の輝度値を用いて、輝度統計情報を生成する。例えば注目領域輝度補正部３１２は、注目領域内における補正後の輝度値の最大値と最小値、平均値や輝度値の分布を示す関数値等を算出する。注目領域輝度補正部３１２は、補正した輝度値を輝度視差変換部３１５へ出力する。また、注目領域輝度補正部３１２は、生成した輝度統計情報を、その後のフレームの視差推定で利用できるように輝度情報記憶部３１３に記憶させる。
【００２７】
輝度情報記憶部３１３は、注目領域輝度補正部３１２で生成された輝度統計情報を記憶する。また、輝度情報記憶部３１３に記憶した輝度統計情報は、その後のフレームにおける注目領域の視差推定で用いられる。
【００２８】
視差情報記憶部３１４は、図２に示す注目領域視差情報取得部３３で取得された注目領域の視差情報を記憶する。また、視差情報記憶部３１４に記憶した視差情報は、その後のフレームにおける注目領域の視差推定で用いられる。
【００２９】
輝度視差変換部３１５は、過去フレームの注目領域における輝度値と視差推定結果の関係から輝度視差変換特性を推定して、推定結果に基づき注目領域検出部で検出された注目領域に対して輝度視差変換を行う。具体的には、輝度視差変換部３１５は、奥行距離に応じた補正後の輝度値の平方根が視差値に比例するとして、輝度情報記憶部３１３に記憶されている輝度統計情報と、視差情報記憶部３１４に記憶されている視差情報に基づき比例係数と切片を推定する。輝度視差変換部３１５は、推定した比例係数と切片を用いて輝度視差変換を行い、注目領域内の補正後の輝度値を視差値に変換する。輝度視差変換部３１５は、輝度視差変換により得られた視差値をステレオマッチング視差推定部３２へ出力する。
【００３０】
図２に示すステレオマッチング視差推定部３２は、基準画像と視点位置が基準画像と異なる参照画像との画像間の類似度を算出して、算出された類似度に基づいて視差推定を行う。また、ステレオマッチング視差推定部３２は、注目領域検出部で検出された注目領域では、輝度視差変換部の輝度視差変換結果を用いて類似度を算出する。ステレオマッチング視差推定部３２は、例えば左画像（基準画像）の画像信号と右画像（参照画像）の画像信号を用いて、ステレオマッチング視差推定を行い、左画像に対する視差を算出する。また、ステレオマッチング視差推定部３２は、注目領域内の視差を推定する場合に、注目領域変換処理部３１で基準画像における注目領域の輝度値から得た視差値を用いて視差推定を行う。ステレオマッチング視差推定部３２は、視差推定結果を注目領域視差情報取得部３３と、表示装置４０や記憶装置５０へ出力する。
【００３１】
注目領域視差情報取得部３３は、注目領域変換処理部３１の注目領域検出部３１１における注目領域の検出結果に基づき、ステレオマッチング視差推定部３２での視差推定結果を示す視差情報から注目領域内の視差情報を取得する。注目領域視差情報取得部３３は、取得した視差情報を、注目領域変換処理部３１の視差情報記憶部３１４に記憶させる。
【００３２】
＜３．画像処理装置の動作＞
次に、画像処理装置の動作について説明する。注目領域変換処理部３１では、視差推定を行う所望の被写体を限定して、被写体の輝度から視差を推定する。具体的には、基準画像から視差推定を行う所望の被写体の領域（注目領域）を検出して、注目領域の輝度値から視差値を推定する。以下、輝度値と視差値の関係を求め、輝度値と視差値の関係に基づき輝度値を視差値に変換することで視差推定を行う方法をＤｆＬ(Disparity from Luminance)視差推定方法と呼ぶ。
【００３３】
ＤｆＬ視差推定では、被写体からの反射光の明るさが、距離の２乗に反比例して低下するという性質を用いる。ここで、撮像画像で得られる輝度値ＰＹと、撮像装置から被写体上の点（光源）までの距離ｒの関係は、式（１）に示す関係となる。
【００３４】
【数１】
2014206893.tif 000003
【００３５】
また、撮像装置２０が平行ステレオカメラであり、図４に示すように左右の光軸が平行である場合、視差値ｄと奥行距離Ｌｚの関係は、式（２）に示す関係となる。ここでいう視差値ｄとは、３次元空間中の１点（被写体の注目位置）を左右のカメラの撮像素子上に投影して撮像画像を得たとき、左右画像上での座標の差の値（ｄ＝ｘＬ−ｘＲ）をいう。座標ｘＬは、左画像において光軸の位置を基準としたときの注目位置のＸ方向の座標、座標ｘＲは、右画像において光軸の位置を基準としたときの注目位置のＸ方向の座標を示している。なお、図４に示すステレオカメラの場合、縦（ｙ軸）方向は視差値が「０」であり、横（ｘ軸）方向は視差値ｄとなる。
【００３６】
【数２】
2014206893.tif 000004
【００３７】
図４に示すように、距離ｒは撮像装置から被写体上の点（光源）までの光路距離であり、奥行距離Ｌｚは撮像装置の光軸に平行で撮像装置から被写体上の点（光源）までの距離である。距離（光路距離）ｒと奥行距離Ｌｚの関係は、式（３）に示す関係となる。なお、θｘは、Ｘ−Ｚ平面上において光軸と注目位置方向の成す角度である。
【００３８】
【数３】
2014206893.tif 000005
【００３９】
また、図４は、Ｘ−Ｚ平面を示した図（撮像装置と被写体との関係を上空から俯瞰した図）であるが、実際の３次元空間、すなわち撮像装置と被写体の垂直方向の位置関係を含めると、光路距離ｒと奥行距離Ｌｚの関係は、式（４）に示す関係となる。なお、θｙは、Ｙ−Ｚ平面上において光軸と注目位置方向の成す角度である。
【００４０】
【数４】
2014206893.tif 000006
【００４１】
よって、式（１）（２）（４）に基づき、視差値と輝度値の関係は、式（５）のようになり、視差値ｄは補正された輝度値ＰＹＣの平方根と比例関係になる。なお、式（５）において、補正された輝度値ＰＹＣは、式（６）に示す補正式によって算出される。
【００４２】
なお、式（３）（４）（６）において、撮像装置の光軸と注目位置方向の成す角度θｘの余弦値は、撮像装置の焦点距離と撮像画像における被写体上の点（光源）の座標から算出できる。例えば、図４に示すように、左画像における光軸の位置を基準として、被写体上の点（光源）のＸ軸方向の座標が「ｘＬ」であり、撮像装置の焦点距離を「ｆ」とすると、式（７）に基づいて角度θｘを算出できる。また、Ｙ−Ｚ平面についても同様に、左画像における光軸の位置を基準として、被写体上の点（光源）のＹ軸方向の座標を「ｙＬ」とすると、式（８）に基づいて角度θｙの余弦値を算出できる。なお、撮像装置の焦点距離が固定されている場合には、焦点距離ｆを注目領域変換処理部３１に予め記憶させておく。また、撮像装置の焦点が変更可能である場合、撮像画像の画像信号と撮像時の焦点距離の情報の関連付けを行い、撮像画像を用いて視差推定を行う場合に撮像画像生成時の焦点距離を得られるようにする。
【００４３】
【数５】
2014206893.tif 000007
【００４４】
式（５）に示すように、視差値ｄは補正された輝度値ＰＹＣの平方根と比例関係にある。したがって、比例係数と切片を求めることで、補正された輝度値ＰＹＣを視差値ｄに変換できる。
【００４５】
輝度値を視差値に変換する場合の輝度視差変換特性は、過去フレームの注目領域の輝度値と視差推定結果から推定する。このようにすれば、被写体の光の吸収特性や光源の情報を事前に調べておくことなく、輝度視差変換を行うことができるようになる。また、輝度視差変換特性は、注目領域毎に過去フレームの輝度値と視差推定結果を利用して推定することで、光の吸収特性が異なる被写体が複数混在しても各被写体について視差推定を行うことができる。
【００４６】
次に、注目領域変換処理部３１における動作について説明する。注目領域変換処理部３１では、上述のように輝度値を視差値に変換することから、基準画像の色空間フォーマットを「Ｙ（輝度），Ｃｒ（赤色差），Ｃｂ（青色差）」として、この色空間フォーマットの画像信号を用いて注目領域視差推定を行う。したがって、撮像装置２０等から供給される画像信号が他のフォーマットの画像信号、例えば三原色信号等である場合には、注目領域変換処理部３１はフォーマット変換を行ってから視差推定を行う。
【００４７】
また、撮像装置２０から出力された画像信号が輝度補正の行われた画像信号である場合、輝度値ＰＹと距離ｒの関係は、式（１）に示す関係が満たされない。したがって、注目領域変換処理部３１は、撮像装置２０で行われた輝度補正に対応する逆補正を行う。例えば、撮像装置２０でガンマ補正が行われる場合、撮像装置２０から出力された画像信号をガンマ補正前の画像信号に戻す逆ガンマ補正を行ってから視差推定を行う。なお、撮像装置２０から出力された画像信号を記憶装置５０に記憶して、記憶装置５０に記憶されている画像信号を用いて視差推定を行う場合、逆補正や上述のフォーマット変換は、記憶装置５０で行うようにしてもよい。
【００４８】
注目領域変換処理部３１の注目領域検出部３１１は、基準画像の画像信号に基づき注目領域を検出する。注目領域検出部３１１は、例えば所望の被写体の輝度や色に応じて予め設定された閾値を用いて注目領域のセグメンテーションを行う。具体的には、注目領域検出部３１１は、輝度値ＰＹに対する閾値ＴＨ_min_Y，ＴＨ_max_Y、赤色差値ＰＣｒに対する閾値ＴＨ_min_Cr，ＴＨ_max_Cr、青色差値ＰＣｂに対する閾値ＴＨ_min_Cb，ＴＨ_max_Cbを有している。注目領域検出部３１１は、輝度値ＰＹが閾値ＴＨ_min_Y〜ＴＨ_max_Y、赤色差値ＰＣｒが閾値ＴＨ_min_Cr〜ＴＨ_mac_Cr、青色差値ＰＣｂが閾値ＴＨ_min_Cb〜ＴＨ_max_Cbの範囲内である領域を注目領域として検出する。
【００４９】
閾値ＴＨ_min_Y，ＴＨ_max_Y，ＴＨ_min_Cr，ＴＨ_max_Cr，ＴＨ_min_Cb，ＴＨ_max_Cbは、所望の被写体を撮影した画像から所望の被写体の輝度と色差の成分を事前に調べておき設定する。例えば、内視鏡画像であれば特定の臓器や、体内の内壁表面の色差成分を事前に調べて、それらの領域だけを抽出できるように色差値に対する閾値を設定する。このように閾値を適切に設定することで、光の吸収特性が異なる他の被写体を除外することができる。また、輝度値についても閾値と比較して白つぶれが生じているような輝度の高い画素や黒つぶれを生じているような輝度の低い画素を除外することで、白潰れや黒潰れを生じて輝度値に基づいて正しく視差を推定できない被写体を視差推定の対象から除外する。
【００５０】
注目領域変換処理部３１の注目領域輝度補正部３１２は、注目領域検出部３１１で検出した注目領域内の画素に対して輝度値の補正を行う。注目領域輝度補正部３１２は、基準画像における注目領域内の各画素について、画素位置と焦点距離に基づき式（７）（８）の演算を行い、撮像装置２０の光軸と注目領域内の注目位置の方向の直線Ｌｒが成す角度の余弦値を算出する。さらに、注目領域輝度補正部３１２は、算出した余弦値を用いて式（６）の演算を行い、注目領域内の各画素の輝度値を補正する。
【００５１】
また、注目領域輝度補正部３１２は、注目領域内の画素の補正後の輝度値ＰＹＣを用いて、輝度統計情報を生成する。注目領域輝度補正部３１２は、注目領域内における補正後の輝度値の最大輝度値ＰＹＣｍａｘと最小輝度値ＰＹＣｍｉｎを算出する。また、注目領域輝度補正部３１２は、平均輝度値ＰＹＣａｖｇと注目領域内における補正後の輝度値の分布を示す関数値例えば標準偏差等を算出するようにしてもよい。
【００５２】
図５は、注目領域検出部と注目領域輝度補正部の動作を例示したフローチャートである。ステップＳＴ１で注目領域検出部３１１は、Ｙ方向の位置を示す座標値Ｎyの初期化を行い、座標値Ｎyを「０」としてステップＳＴ２に進む。
【００５３】
ステップＳＴ２で注目領域検出部３１１は、Ｘ方向の位置を示す座標値Ｎxの初期化を行い、座標値Ｎxを「０」としてステップＳＴ３に進む。
【００５４】
ステップＳＴ３で注目領域検出部３１１は、位置（Ｎx，Ｎy）の画素値を取得する。注目領域検出部３１１は、位置（Ｎx，Ｎy）の輝度値と色差値を取得してステップＳＴ４に進む。
【００５５】
ステップＳＴ４で注目領域検出部３１１は、画素値が所定範囲内であるか判別する。注目領域検出部３１１は、輝度値と色差値と予め設定されている閾値を比較して、色差値と輝度値が注目領域の色および所定範囲内の輝度である場合はステップＳＴ５に進み、注目領域の色でない場合や所定範囲の輝度でない場合はステップＳＴ１２に進む。
【００５６】
ステップＳＴ５で注目領域輝度補正部３１２は、輝度値の補正を行う。注目領域輝度補正部３１２は、上述の式（６）の演算を行い輝度値を補正して、補正後の輝度値ＰＹＣを輝度視差変換部３１５へ出力してステップＳＴ６に進む。
【００５７】
ステップＳＴ６で注目領域輝度補正部３１２は、補正後の輝度値ＰＹＣが最大輝度値ＰＹＣｍａｘより大きいか判別する。注目領域輝度補正部３１２は、補正後の輝度値ＰＹＣが最大輝度値ＰＹＣｍａｘより大きい場合にステップＳＴ７に進み、補正後の輝度値ＰＹＣが最大輝度値ＰＹＣｍａｘ以下である場合にステップＳＴ８に進む。なお、位置（Ｎx，Ｎy）の画素が注目領域と判別された最初の画素である場合には、位置（Ｎx，Ｎy）の画素の補正後の輝度値ＰＹＣを、最大輝度値ＰＹＣｍａｘおよび後述する最小輝度値ＰＹＣｍｉｎの初期値とする。
【００５８】
ステップＳＴ７で注目領域輝度補正部３１２は、補正後の輝度値ＰＹＣを最大輝度値ＰＹＣｍａｘに設定してステップＳＴ１０に進む。
【００５９】
ステップＳＴ８で注目領域輝度補正部３１２は、補正後の輝度値ＰＹＣが最小輝度値ＰＹＣｍｉｎより小さいか判別する。注目領域輝度補正部３１２は、補正後の輝度値ＰＹＣが最小輝度値ＰＹＣｍｉｎより小さい場合にステップＳＴ９に進み、補正後の輝度値ＰＹＣが最小輝度値ＰＹＣｍｉｎ以上である場合にステップＳＴ１０に進む。
【００６０】
ステップＳＴ９で注目領域輝度補正部３１２は、補正後の輝度値ＰＹＣを最小輝度値ＰＹＣｍｉｎに設定してステップＳＴ１０に進む。
【００６１】
ステップＳＴ１０で注目領域輝度補正部３１２は、輝度積算値と画素数積算値の更新を行う。注目領域輝度補正部３１２は、補正後の輝度値ＰＹＣを輝度積算値ＰＹＣｓｕｍに加算して、加算結果を新たな輝度積算値ＰＹＣｓｕｍとする。また、注目領域輝度補正部３１２は、画素数積算値ＰｉｘＣｎｔに「１」を加算して、加算結果を新たな画素数積算値ＰｉｘＣｎｔとしてステップＳＴ１１に進む。なお、輝度積算値ＰＹＣｓｕｍと画素数積算値ＰｉｘＣｎｔの初期値は「０」とする。
【００６２】
ステップＳＴ１１で注目領域検出部３１１は、Ｘ方向の座標位置を更新する。注目領域検出部３１１は、座標値Ｎxに「１」を加算して、加算結果を新たな座標値ＮxとしてステップＳＴ１２に進む。
【００６３】
ステップＳＴ１２で注目領域検出部３１１は、Ｘ方向の座標位置が基準画像の範囲を超えていないか判別する。基準画像のＸ方向を画素数ＳＺxとした場合、注目領域検出部３１１は、座標値Ｎxが画素数ＳＺxよりも小さいか判別する。ここで、座標値Ｎxが「０〜（ＳＺx−１）」の範囲内である場合、座標値Ｎxが示す位置は基準画像内の位置であり、座標値Ｎxの値が「ＳＺx」の場合、座標値Ｎxが示す位置は基準画像の範囲を超えた位置となる。したがって、注目領域検出部３１１は、座標値Ｎxが画素数ＳＺxよりも小さいと判別した場合、基準画像の範囲内と判別してステップＳＴ３に戻る。また注目領域検出部３１１は、座標値Ｎxが画素数ＳＺx以上となる場合、基準画像における１ライン分の処理の終了と判別してステップＳＴ１３に進む。
【００６４】
ステップＳＴ１３で注目領域検出部３１１は、Ｙ方向の座標位置を更新する。注目領域検出部３１１は、Ｙ方向の座標位置を指定する座標値Ｎyに「１」を加算して、加算結果を新たな座標値ＮyとしてステップＳＴ１４に進む。
【００６５】
ステップＳＴ１４で注目領域検出部３１１は、Ｙ方向の座標位置が基準画像の範囲を超えていないか判別する。基準画像のＹ方向を画素数ＳＺyとした場合、注目領域検出部３１１は、座標値Ｎyが画素数ＳＺyよりも小さいか判別する。ここで、座標値Ｎyが「０〜（ＳＺy−１）」の範囲内である場合、座標値Ｎyによって示される位置は基準画像内の位置となり、座標値Ｎyが「ＳＺy」の場合、座標値Ｎyによって示される位置は基準画像の範囲を超えた位置となる。したがって、注目領域検出部３１１は、座標値Ｎyが画素数ＳＺyよりも小さいと判別した場合、基準画像の範囲内と判別してステップＳＴ２に戻る。また、注目領域検出部３１１は、座標値Ｎyが画素数ＳＺy以上となる場合、基準画像の１フレーム分の処理の終了と判別してステップＳＴ１５に進む。
【００６６】
ステップＳＴ１５で注目領域輝度補正部３１２は、平均輝度値の算出を行う。注目領域輝度補正部３１２は、基準画像の１フレームに対して注目領域の検出処理が終了したことから、注目領域内の画素の輝度積算値ＰＹＣｓｕｍを注目領域内の画素数を示す画素数積算値ＰｉｘＣｎｔで除算して、平均輝度値ＰＹＣａｖｇを算出する。注目領域輝度補正部３１２は、平均輝度値を算出してステップＳＴ１６に進む。なお、注目領域輝度補正部３１２は、注目領域内の輝度値の分布を示す輝度統計量、例えば標準偏差や分散等の算出を行うようにしてもよい。
【００６７】
ステップＳＴ１６で注目領域検出部３１１と注目領域輝度補正部３１２は、処理結果の出力を行う。注目領域検出部３１１は、ステップＳＴ４の判別結果に基づき、基準画像における注目領域を示す注目領域情報をステレオマッチング視差推定部３２と注目領域視差情報取得部３３へ出力する。また、注目領域輝度補正部３１２は、最大輝度値ＰＹＣｍａｘと最小輝度値ＰＹＣｍｉｎ、平均輝度値ＰＹＣａｖｇ等を輝度統計情報として輝度情報記憶部３１３へ出力して基準画像の１フレームの処理を終了する。
【００６８】
輝度情報記憶部３１３には、注目領域輝度補正部３１２で生成された輝度統計情報が記憶されており、視差情報記憶部３１４には、図２に示す注目領域視差情報取得部３３で取得された注目領域の視差情報が記憶されている。輝度視差変換部３１５は、輝度情報記憶部３１３に記憶されている輝度統計情報と、視差情報記憶部３１４に記憶されている視差情報から、比例係数と切片を算出する。また、輝度視差変換部３１５は、算出した比例係数と切片を用いて輝度視差変換を行い、注目領域内の補正後の輝度値を視差値に変換する。
【００６９】
ここで、輝度視差変換部３１５の動作を説明する前に、注目領域視差情報取得部３３の動作について説明する。注目領域視差情報取得部３３には、ステレオマッチング視差推定部３２から視差情報が供給される。また、注目領域視差情報取得部３３には、注目領域検出部３１１から注目領域情報が供給される。注目領域視差情報取得部３３は、ステレオマッチング視差推定部３２から供給された視差情報に対して注目領域情報に基づき情報抽出処理を行い、注目領域の視差情報を抽出する。さらに、注目領域視差情報取得部３３は、抽出した注目領域の視差情報に基づき視差統計量、例えば最大視差値と最小視差値、平均視差値、視差値の分布を示す関数値等を算出して視差情報記憶部３１４へ出力する。
【００７０】
図６は、視差情報取得部の動作を例示したフローチャートである。ステップＳＴ２１で注目領域視差情報取得部３３は、Ｙ方向の座標位置を指定する座標値Ｎyの初期化を行い、座標値Ｎyを「０」としてステップＳＴ２２に進む。
【００７１】
ステップＳＴ２２で注目領域視差情報取得部３３は、Ｘ方向の位置を示す座標値Ｎxの初期化を行い、座標値Ｎxを「０」としてステップＳＴ２３に進む。
【００７２】
ステップＳＴ２３で注目領域視差情報取得部３３は、位置（Ｎx，Ｎy）が注目領域内であるか判別する。注目領域視差情報取得部３３は、注目領域検出部３１１から供給された注目領域情報に基づき、位置（Ｎx，Ｎy）が注目領域内の位置であると判別した場合はステップＳＴ２４へ進み、注目領域内の位置でないと判別した場合はステップＳＴ３０へ進む。
【００７３】
ステップＳＴ２４で注目領域視差情報取得部３３は、視差値を抽出する。注目領域視差情報取得部３３は位置（Ｎx，Ｎy）の視差値を抽出してステップＳＴ２５に進む。
【００７４】
ステップＳＴ２５で注目領域視差情報取得部３３は、位置（Ｎx，Ｎy）の視差値Ｄが最大視差値Ｄｍａｘより大きいか判別する。注目領域視差情報取得部３３は、視差値Ｄが最大視差値Ｄｍａｘより大きい場合にステップＳＴ２６に進み、視差値Ｄが最大視差値Ｄｍａｘ以下である場合にステップＳＴ２７に進む。なお、位置（Ｎx，Ｎy）の画素が注目領域と判別された最初の画素である場合には、位置（Ｎx，Ｎy）の視差値Ｄを、最大視差値Ｄｍａｘおよび後述する最小視差値Ｄｍｉｎの初期値とする。
【００７５】
ステップＳＴ２６で注目領域視差情報取得部３３は、位置（Ｎx，Ｎy）の視差値Ｄを最大視差値Ｄｍａｘに設定してステップＳＴ２９に進む。
【００７６】
ステップＳＴ２７で注目領域視差情報取得部３３は、位置（Ｎx，Ｎy）の視差値Ｄが最小視差値Ｄｍｉｎより小さいか判別する。注目領域視差情報取得部３３は、視差値Ｄが最小視差値Ｄｍｉｎより小さい場合にステップＳＴ２８に進み、視差値Ｄが最小視差値Ｄｍｉｎ以上である場合にステップＳＴ２９に進む。
【００７７】
ステップＳＴ２８で注目領域視差情報取得部３３は、位置（Ｎx，Ｎy）の視差値Ｄを最小視差値Ｄｍｉｎに設定してステップＳＴ２９に進む。
【００７８】
ステップＳＴ２９で注目領域視差情報取得部３３は、視差積算値と画素数積算値の更新を行う。注目領域視差情報取得部３３は、位置（Ｎx，Ｎy）の視差値Ｄを視差積算値Ｄｓｕｍに加算して、加算結果を新たな視差積算値Ｄｓｕｍとする。また、注目領域視差情報取得部３３は、画素数積算値ＰｉｘＣｎｔに「１」を加算して、加算結果を新たな画素数積算値ＰｉｘＣｎｔとしてステップＳＴ３０に進む。なお、視差積算値Ｄｓｕｍと画素数積算値ＰｉｘＣｎｔの初期値は「０」とする。
【００７９】
ステップＳＴ３０で注目領域視差情報取得部３３は、Ｘ方向の座標位置を更新する。注目領域検出部３１１は、座標値Ｎxに「１」を加算して、加算結果を新たな座標値Ｎxに設定してステップＳＴ３１に進む。
【００８０】
ステップＳＴ３１で注目領域視差情報取得部３３は、Ｘ方向の座標位置が基準画像の範囲を超えていないか判別する。基準画像のＸ方向を画素数ＳＺxとした場合、注目領域視差情報取得部３３は、座標値Ｎxが画素数ＳＺxよりも小さいか判別する。ここで、座標値Ｎxの値が「０〜（ＳＺx−１）」の範囲内である場合、座標値Ｎxが示す位置は基準画像内の位置となり、座標値Ｎxの値が「ＳＺx」の場合、座標値Ｎxが示す位置は基準画像の範囲を超えた位置となる。したがって、注目領域視差情報取得部３３は、座標値Ｎxが画素数ＳＺxよりも小さいと判別した場合、基準画像の範囲内と判別してステップＳＴ２３に戻る。また、注目領域視差情報取得部３３は、座標値Ｎxの値が画素数ＳＺx以上となる場合、基準画像における１ライン分の処理の終了と判別してステップＳＴ３２に進む。
【００８１】
ステップＳＴ３２で注目領域視差情報取得部３３は、Ｙ方向の座標位置を更新する。注目領域視差情報取得部３３は、Ｙ方向の座標位置を指定する座標値Ｎyに「１」を加算して、加算結果を座標値Ｎyの新たな値に設定してステップＳＴ３３に進む。
【００８２】
ステップＳＴ３３で注目領域視差情報取得部３３は、Ｙ方向の座標位置が基準画像の範囲を超えていないか判別する。基準画像のＹ方向を画素数ＳＺyとした場合、注目領域視差情報取得部３３は、座標値Ｎyが画素数ＳＺyよりも小さいか判別する。ここで、座標値Ｎyが「０〜（ＳＺy−１）」の範囲内である場合、座標値Ｎyによって指定されるＹ方向の座標位置は基準画像内の位置となる。また、座標値Ｎyが「ＳＺy」の場合、座標値Ｎyによって指定されるＹ方向の座標位置は基準画像の範囲を超えた位置となる。したがって、注目領域視差情報取得部３３は、座標値Ｎyが画素数ＳＺyよりも小さいと判別した場合、基準画像の範囲内と判別してステップＳＴ２２に戻る。また注目領域視差情報取得部３３は、座標値Ｎyが画素数ＳＺy以上となる場合、基準画像の１フレーム分の処理の終了と判別してステップＳＴ３４に進む。
【００８３】
ステップＳＴ３４で注目領域視差情報取得部３３は、平均視差値の算出を行う。注目領域視差情報取得部３３は、基準画像の１フレームに対して取得処理が終了したことから、注目領域内の画素の視差積算値Ｄｓｕｍを注目領域内の画素数を示す画素数積算値ＰｉｘＣｎｔで除算して、注目領域内の平均視差値Ｄａｖｇを算出する。注目領域視差情報取得部３３は、平均視差値を算出してステップＳＴ３５に進む。なお、注目領域視差情報取得部３３は、注目領域内の視差値の分布を示す視差統計量、例えば標準偏差や分散等の算出を行うようにしてもよい。
【００８４】
ステップＳＴ３５で注目領域視差情報取得部３３は、処理結果の出力を行う。注目領域視差情報取得部３３は、平均視差値Ｄａｖｇを最大視差値Ｄｍａｘと最小視差値Ｄｍｉｎとともに視差統計情報として視差情報記憶部３１４へ出力して基準画像の１フレームの処理を終了する。
【００８５】
輝度視差変換部３１５は、輝度情報記憶部３１３に記憶されている過去フレームの輝度情報と視差情報記憶部３１４に記憶されている過去フレームの視差情報から、輝度視差変換特性を推定する。具体的には、輝度視差変換部３１５は、上述の式（５）に示すように、奥行距離に応じた補正後の輝度値の平方根が視差値に比例するとして、式（９）における比例係数ＫＤｆＬと切片Ｃを算出する。なお、式（９）に基づいて算出される視差値をＤｆＬ視差値ｄＤｆＬとする。
【００８６】
【数６】
2014206893.tif 000008
【００８７】
所望の被写体を撮影した動画を用いて視差推定を行う場合、注目領域の視差値は直前のフレームにおける注目領域の視差値との差が少ない。また、注目領域において補正後である最大輝度値と最小輝度値および最大視差値と最小視差値を用いれば、注目領域における輝度値範囲と視差範囲が最大となり、注目領域内の各画素の輝度値と視差値の関係をより精度よく推定できる。したがって、輝度視差変換部３１５は、過去フレーム例えば１フレーム前の注目領域における補正後の最大輝度値ＰＹＣｍａｘと最小輝度値ＰＹＣｍｉｎ、および最大視差値Ｄｍａｘと最小視差値Ｄｍｉｎを用いて比例係数ＫＤｆＬと切片Ｃを算出する。
【００８８】
左画像を基準画像とした場合、注目領域の視差値は常に負の値となる。したがって、式（９）で示される関数の特性曲線は、図７に示すように、（ＰＹＣｍｉｎ，Ｄｍａｘ）（ＰＹＣｍａｘ，Ｄｍｉｎ）の２点を通過する曲線となる。したがって、比例係数ＫＤｆＬは式（１０）、切片Ｃは式（１１）に基づいて算出できる。
【００８９】
【数７】
2014206893.tif 000009
【００９０】
なお、左画像を基準画像とした場合、注目領域の視差値は常に負の値となることから、算出した比例係数ＫＤｆＬと切片Ｃを用いた式（９）の演算結果が正の値となる場合には、ＤｆＬ視差値ｄＤｆＬを「０」とする。
【００９１】
また、右画像を基準画像とした場合、注目領域の視差値は常に正の値となる。したがって、式（９）で示される関数の特性曲線は、図８に示すように、（ＰＹＣｍｉｎ，Ｄｍｉｎ）（ＰＹＣｍａｘ，Ｄｍａｘ）の２点を通過する曲線となる。したがって、比例係数ＫＤｆＬは式（１２）、切片Ｃは式（１３）に基づいて算出できる。
【００９２】
【数８】
2014206893.tif 000010
【００９３】
なお、右画像を基準画像とした場合、注目領域の視差値は常に正の値となることから、算出した比例係数ＫＤｆＬと切片Ｃを用いた式（９）の演算結果が負の値となる場合には、ＤｆＬ視差値ｄＤｆＬを「０」とする。
【００９４】
輝度視差変換部３１５は、以上のように輝度視差変換特性の推定を行い、推定した輝度視差変換特性で輝度視差変換を行う。
【００９５】
図９は、輝度視差変換部の動作を例示したフローチャートである。ステップＳＴ４１で輝度視差変換部３１５は、輝度統計情報を取得する。輝度視差変換部３１５は、輝度情報記憶部３１３に記憶されている輝度統計情報、例えば１フレーム前の基準画像における注目領域の補正後の輝度値における最大輝度値や最小輝値等を取得してステップＳＴ４２に進む。
【００９６】
ステップＳＴ４２で輝度視差変換部３１５は、視差統計情報を取得する。輝度視差変換部３１５は、視差情報記憶部３１４に記憶されている視差統計情報、例えば１フレーム前の基準画像における注目領域の視差推定結果における最大視差値や最小視差値等を取得してステップＳＴ４３に進む。
【００９７】
ステップＳＴ４３で輝度視差変換部３１５は、比例係数と切片を決定する。輝度視差変換部３１５は、左画像が基準画像とされている場合、輝度統計情報と視差統計情報を用いて式（１０）（１１）の演算を行い、比例係数ＫＤｆＬと切片Ｃを算出してステップＳＴ４４に進む。なお、輝度視差変換部３１５は、右画像が基準画像とされている場合、輝度統計情報と視差統計情報を用いて式（１２）（１３）の演算を行い、比例係数ＫＤｆＬと切片Ｃを算出する。
【００９８】
ステップＳＴ４４で輝度視差変換部３１５は、輝度値を取得する。輝度視差変換部３１５は、注目領域輝度補正部３１２から注目領域の補正後の輝度値ＰＹＣを取得してステップＳＴ４５に進む。
【００９９】
ステップＳＴ４５で輝度視差変換部３１５は、変換演算を行う。輝度視差変換部３１５は、ステップＳＴ４４で取得した輝度値ＰＹＣとステップＳＴ４３で算出した比例係数ＫＤｆＬと切片Ｃを用いて式（９）の演算を行い、輝度値ＰＹＣをＤｆＬ視差値ｄＤｆＬに変換する。輝度視差変換部３１５は、変換演算処理によって得られたＤｆＬ視差値ｄＤｆＬをステレオマッチング視差推定部３２に出力してステップＳＴ４６に進む。
【０１００】
ステップＳＴ４６で輝度視差変換部３１５は、基準画像における注目領域について輝度視差変換が完了したか判別する。輝度視差変換部３１５は、注目領域について輝度視差変換が完了していない場合はステップＳＴ４４に戻り、次の画素の処理を行う。また、注目領域について輝度視差変換が完了した場合は、当該フレームの基準画像における注目領域に対する輝度視差変換処理を終了する。
【０１０１】
ステレオマッチング視差推定部３２は、基準画像と参照画像を用いて動的計画法を用いてステレオマッチング視差推定を行う。具体的には、ステレオマッチング視差推定部３２は、基準画像の視差推定対象位置毎に第１マッチング領域を設定する。さらにステレオマッチング視差推定部３２は、この第１マッチング領域と、予め指定された視差値毎に、この視差値に対応した参照画像の第２マッチング領域との類似度を示すコスト値を算出する。ステレオマッチング視差推定部３２は、ライン全体のコスト値の総和が最小となる最も類似度の高い視差値を視差推定結果とする。
【０１０２】
図１０は、左画像を基準画像、右画像を参照画像として、左画像に対する視差値を求める場合の動作を説明するための図である。ＤＰマッチング視差推定では、基準画像の視差推定対象位置の画素または視差推定対象位置を基準とした所定サイズのブロックを第１マッチング領域として、参照画像上で対応する画素または所定サイズのブロックである第２マッチング領域を探索する。また、ＤＰマッチング視差推定では、第２マッチング領域の探索において、ライン全体のコスト値の総和が最小となる最も類似度の高い視差値を動的計画法を用いて判別して視差推定結果とする。なお、以下では、説明を容易にするため、第１マッチング領域と第２マッチング領域を１画素サイズとして、画素単位のＤＰマッチング視差推定を行う場合を例示している。
【０１０３】
図１０の（Ａ）に示すように、例えば画像のＸ方向（水平方向）である１ラインのサイズを６画素（０≦Ｎx＜６）、視差探索範囲ｄｓｒを４画素（−４＜ｄｓｒ≦０）とする。
【０１０４】
一般的なＤＰマッチング視差推定において、座標値Ｎxが示す基準画像上の位置における視差値ｄを指定したときのコスト値ＥＮｘ（ｄ）は、式（１４）のように定義される。
【０１０５】
【数９】
2014206893.tif 000011
【０１０６】
式（１４）において、差分絶対値和ＥＳＡＤＮｘ（ｄ）は、ステレオマッチング結果であり、第１マッチング領域と第２マッチング領域の類似度を示すコスト値である。具体的には、座標値Ｎxで示される基準画像の位置の画素と、座標値Ｎx+dで示される参照画像の位置の画素との類似度を表す。類似度とは、例えば両者の輝度値の差の絶対値和（ＳＡＤ：Sum of Absolute Differences）を指標としており、画素単位処理でＤＰマッチング視差推定を行う場合、具体的には式（１５）から算出される値である。なお、輝度値ＰＹＳＮｘは、座標値Ｎxで示される基準画像の位置の輝度値であり、輝度値ＰＹＲＮｘ＋ｄは座標値Ｎx+dで示される参照画像の位置の輝度値を示している。
【０１０７】
式（１４）において、ＥSpatial（ｄ）は、基準画像における視差推定対象位置の視差値と直前の視差推定対象位置の視差値との差に応じたコスト値を示している。式（１６）に示すように、基準画像における直前の視差推定対象位置である座標値Ｎｘ−１の視差値ｄ’（−４＜ｄ’≦０）と視差推定対象位置である座標値Ｎxにおける視差値ｄとの差の絶対値として定義される。なお、ＥSpatial（ｄ）を空間誤差コスト値とする。ＷSpatialは重み係数であり、図１０では、ＷSpatial＝１の場合を例示している。
【０１０８】
このようにして算出されるコスト値ＥＮｘ（ｄ）を１次元の画素ライン全体、すなわち式（１７）のように、位置が座標値Ｎx＝０からＳＺx−１（ＳＺx：画像のＸ方向のサイズであり図１０では６画素））まで計算して加算して、最小の総和をコスト総和Ｅｓｕｍとする。
【０１０９】
ＤＰマッチング視差推定では、画素ライン全体のコスト総和Ｅｓｕｍが最小となるとき、その途中（Ｎx＜５（＝ＳＺx−１））までにおいてもコストの総和が最小となっていなければいけないという最適性の原理を用いて、式（１７）を効率的に求める。
【０１１０】
【数１０】
2014206893.tif 000012
【０１１１】
例えば、座標値Ｎx、視差値ｄにおける最小コスト総和を式（１８）に示すＦＮｘ（ｄ）とする。この最小コスト総和ＦＮｘ（ｄ）は、座標値Ｎx-1までの最小コスト総和ＦＮｘ−１とその解を与える座標値Ｎx-1の位置における視差値ｄ’を用いて、式（１９）の漸化式で表される。このとき、最小コスト総和ＦＮｘ（ｄ）を与える視差値ｄ’を式（２０）に示す視差値ｄｐｒｅＮｘ（ｄ）として常に記憶しておく。また、画素ラインの最終列まで式（１９）の漸化式を解き終えたときに、この視差値ｄｐｒｅＮｘ（ｄ）をトレースバックすることで、ライン全体の視差値が求まる。なお、式（１８）〜（２０）において、「ＤＳ」は視差値の集合、「ｄ’」は集合ＤＳの要素を示しており、図１０の場合は「ＤＳ＝｛０，−１，−２，−３｝」である。また、式（１８）において、「ｑ」は、最小コスト総和を算出する座標値Ｎｘの値を示しており、例えば、座標値Ｎｘが「３」である場合の最小コスト総和の算出では、「ｑ＝３」となり、座標値Ｎｘが「０」から「３」までの視差値ｄ’のコスト総和における最小値が式（１８）によって得られることになる。また、式（１９）は、右辺括弧内が最小となるように「ｄ’」を選択して、このときの右辺括弧内の値が最小コスト総和ＦＮｘ（ｄ）であることを示している。さらに、式（２０）は、右辺括弧内が最小となるように「ｄ’」を選択して、選択した「ｄ’」の集合が視差値ｄｐｒｅＮｘ（ｄ）であることを示している。
【０１１２】
【数１１】
2014206893.tif 000013
【０１１３】
図１０の（Ｂ）において、丸の中の数値は、座標値Ｎx，視差値ｄにおける差分絶対値和ＥＳＡＤＮｘ（ｄ）、四角内の数値は座標値Ｎx，視差値ｄにおける最小コスト総和ＦＮｘ（ｄ）を表わしている。
【０１１４】
例えば、座標値Ｎx＝０，視差値ｄ＝０の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝３であり最小コスト総和ＦＮｘ（ｄ）＝３となる。座標値Ｎx＝０，視差値ｄ＝−１の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝１であり最小コスト総和ＦＮｘ（ｄ）＝１となる。座標値Ｎx＝０，視差値ｄ＝−２の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝１であり最小コスト総和ＦＮｘ（ｄ）＝１となる。座標値Ｎx＝０，視差値ｄ＝−３の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝１であり最小コスト総和ＦＮｘ（ｄ）＝１となる。
【０１１５】
次に、座標値Ｎx＝１，視差値ｄ＝０の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝０であり、座標値Ｎx＝０，視差値ｄ＝−１からの経路の場合の最小コスト総和ＦＮｘ（ｄ）が最小値「２」となり、この経路を最適経路とする。なお、最小値となる経路が複数存在する場合は、座標値Ｎx＝０における視差値と座標値Ｎx＝１における視差値との差が最も少ない経路を、最適経路とする。
【０１１６】
座標値Ｎx＝１，視差値ｄ＝−１の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝２であり、座標値Ｎx＝０，視差値ｄ＝−１からの経路の場合の最小コスト総和ＦＮｘ（ｄ）が最小値「３」となり、この経路を最適経路とする。座標値Ｎx＝１，視差値ｄ＝−２の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝５であり、座標値Ｎx＝０，視差値ｄ＝−２からの経路の場合の最小コスト総和ＦＮｘ（ｄ）が最小値「６」となり、この経路を最適経路とする。以下同様にして、各位置での視差毎に最小コスト総和ＦＮｘ（ｄ）と最適経路を求める。
【０１１７】
ここで、座標値Ｎx＝５，視差値ｄ＝０の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝４であり、座標値Ｎx＝４，視差値ｄ＝０からの経路の場合の最小コスト総和ＦＮｘ（ｄ）が最小値「１５」となり、この経路を最適経路とする。座標値Ｎx＝５，視差値ｄ＝−１の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝１であり、座標値Ｎx＝４，視差値ｄ＝−３からの経路の場合の最小コスト総和ＦＮｘ（ｄ）が最小値「１３」となり、この経路を最適経路とする。座標値Ｎx＝５，視差値ｄ＝−２の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝３であり、座標値Ｎx＝４，視差値ｄ＝−３からの経路の場合の最小コスト総和ＦＮｘ（ｄ）が最小値「１４」となり、この経路を最適経路とする。座標値Ｎx＝５，視差値ｄ＝−３の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝４であり、座標値Ｎx＝４，視差値ｄ＝−３からの経路の場合の最小コスト総和ＦＮｘ（ｄ）が最小値「１４」となり、この経路を最適経路とする。
【０１１８】
すなわち、図１０の（Ｂ）では、最終列（Ｎx＝５）の時点において、視差値ｄ＝−１のときにコスト総和（Ｆ５（−１）＝１３）が最小となり、Ｎx＝５，ｄ＝−１の位置から視差をトレースバックしていくことによって、最終的な視差値ｄの組み合わせが求まる。ここで、Ｎx＝５の場合、視差値ｄ＝−１における最適経路は、Ｎx＝４における視差値ｄ＝−３に続く経路である。また、Ｎx＝４の場合、視差値ｄ＝−３における最適経路は、Ｎx＝３における視差値ｄ＝−１に続く経路である。Ｎx＝３の場合、視差値ｄ＝−１における最適経路は、Ｎx＝２における視差値ｄ＝−１に続く経路である。Ｎx＝２の場合、視差値ｄ＝−１における最適経路は、Ｎx＝１における視差値ｄ＝−１に続く経路である。Ｎx＝１の場合、視差値ｄ＝−１における最適経路は、Ｎx＝０における視差値ｄ＝−１に続く経路である。したがって、最終的な視差値の組み合わせは、図１０の（Ｂ）の矢印で示すように視差値ｄｐｒｅＮｘ（ｄ）をトレースバックすることで「−１→−３→−１→−１→−１→−１」となる。
【０１１９】
以上のような従来のＤＰマッチング視差推定に対して、ステレオマッチング視差推定部３２は、注目領域変換処理部３１で得られた視差推定結果を含めてコスト値の算出を行う。具体的には、式（２１）に示すように、予め指定された視差値と注目領域変換処理部３１で得られたＤｆＬ視差値ｄＤｆＬＮｘとの差分に応じたコスト値（以下「方式誤差コスト値」という）ＥＤｆＬＮｘ（ｄ）を含めて、コスト値の算出を行う。方式誤差コスト値ＥＤｆＬＮｘは、例えば式（２２）に示すように、基準画像における座標値Ｎx，指定された視差値ｄと注目領域変換処理部３１で推定された座標値ＮxにおけるＤｆＬ視差値ｄＤｆＬ  Ｎｘとの差の絶対値として定義される。
【０１２０】
【数１２】
2014206893.tif 000014
【０１２１】
なお、基準画像上の座標値Ｎxの位置の画素が注目領域でない画素の場合、すべての視差値ｄにおいて方式誤差コスト値ＥＤｆＬＮｘ（ｄ）を「０」とする。すなわち、注目領域外では、式（１４）に示す従来のコスト値と同じになる。また、式（２１）においてＷＤｆＬは重み係数を表す。
【０１２２】
図１１は、注目領域変換処理部の推定結果を用いて左画像に対する視差値を求める場合の動作を説明するための図である。なお、図１１は図１０の条件と同じであり、ステレオマッチング結果である差分絶対値和ＥＳＡＤＮｘ（ｄ）は、変化しない。
【０１２３】
図１１の（Ａ）において、視差画像とは、基準画像から輝度視差変換によって得られた視差値を示す画像である。例えば、２つの立方体を注目領域として、輝度視差変換によって得られたＤｆＬ視差値ｄＤｆＬを視差画像の数値で例示している。なお、「×」は、注目領域外のためＤｆＬ視差値がない画素であることを示している。図１１では、座標値Ｎx＝１，２，４，５の位置の画素が注目画素であり、重み係数は、Ｗｓｐａｔｉａｌ＝ＷＤｆＬ＝１としている。
【０１２４】
輝度視差変換値との差分に応じた方式誤差コスト値ＥＤｆＬを追加したことによって、図１０と図１１の最小コスト総和ＦＮｘ（ｄ）および、最適経路の変化が生じる。
【０１２５】
図１１の（Ｂ）において、丸の中の数値は、座標値Ｎx，視差値ｄにおける差分絶対値和ＥＳＡＤＮｘ（ｄ）、四角枠内の数値は座標値Ｎx，視差値ｄにおける最小コスト総和ＦＮｘ（ｄ）を表わしている。
【０１２６】
例えば、座標値Ｎx＝０，視差値ｄ＝０の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝３であり最小コスト総和ＦＮｘ（ｄ）＝３となる。座標値Ｎx＝０，視差値ｄ＝−１の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝１であり最小コスト総和ＦＮｘ（ｄ）＝１となる。座標値Ｎx＝０，視差値ｄ＝−２の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝１であり最小コスト総和ＦＮｘ（ｄ）＝１となる。座標値Ｎx＝０，視差値ｄ＝−３の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝１であり最小コスト総和ＦＮｘ（ｄ）＝１となる。
【０１２７】
次に、座標値Ｎx＝１，視差値ｄ＝０の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝０であり、座標値Ｎx＝０，視差値ｄ＝−１からの経路の場合の最小コスト総和ＦＮｘ（ｄ）が最小値「３」となり、この経路を最適経路とする。座標値Ｎx＝１，視差値ｄ＝−１の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝２であり、座標値Ｎx＝０，視差値ｄ＝−１からの経路の場合の最小コスト総和ＦＮｘ（ｄ）が最小値「３」となり、この経路を最適経路とする。座標値Ｎx＝１，視差値ｄ＝−２の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝５であり、座標値Ｎx＝０，視差値ｄ＝−２からの経路の場合の最小コスト総和ＦＮｘ（ｄ）が最小値「７」となり、この経路を最適経路とする。以下同様にして、各位置の視差毎に最小コスト総和ＦＮｘ（ｄ）と最適経路を求める。
【０１２８】
ここで、座標値Ｎx＝５，視差値ｄ＝０の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝４であり、座標値Ｎx＝４，視差値ｄ＝０からの経路の場合の最小コスト総和ＦＮｘ（ｄ）が最小値「１８」となり、この経路を最適経路とする。座標値Ｎx＝５，視差値ｄ＝−１の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝１であり、座標値Ｎx＝４，視差値ｄ＝−１からの経路の場合の最小コスト総和ＦＮｘ（ｄ）が最小値「１４」となり、この経路を最適経路とする。座標値Ｎx＝５，視差値ｄ＝−２の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝３であり、座標値Ｎx＝４，視差値ｄ＝−３からの経路の場合の最小コスト総和ＦＮｘ（ｄ）が最小値「１７」となり、この経路を最適経路とする。座標値Ｎx＝５，視差値ｄ＝−３の場合、差分絶対値和ＥＳＡＤＮｘ（ｄ）＝４であり、座標値Ｎx＝４，視差値ｄ＝−３からの経路の場合の最小コスト総和ＦＮｘ（ｄ）が最小値「１８」となり、この経路を最適経路とする。
【０１２９】
すなわち、図１１の（Ｂ）では、最終列（Ｎx＝５）の時点において、ｄ＝−１のときにコスト総和（Ｆ５（−１）＝１４）が最小となり、Ｎx＝５，ｄ＝−１の位置から視差をトレースバックしていくことによって、最終的な視差値ｄの組み合わせが求まる。ここで、Ｎx＝５の場合、視差値ｄ＝−１における最適経路は、Ｎx＝４における視差値ｄ＝−１に続く経路である。また、Ｎx＝４の場合、視差値ｄ＝−１における最適経路は、Ｎx＝３における視差値ｄ＝−１に続く経路である。Ｎx＝３の場合、視差値ｄ＝−１における最適経路は、Ｎx＝２における視差値ｄ＝−１に続く経路である。Ｎx＝２の場合、視差値ｄ＝−１における最適経路は、Ｎx＝１における視差値ｄ＝−１に続く経路である。Ｎx＝１の場合、視差値ｄ＝−１における最適経路は、Ｎx＝０における視差値ｄ＝−１に続く経路である。したがって、最終的な視差値Ｄの組み合わせは、図１１の（Ｂ）の矢印で示すように視差値ｄｐｒｅＮｘ（ｄ）をトレースバックすることで「−１→−１→−１→−１→−１→−１」となる。すなわち、ステレオマッチング視差推定部３２から出力される視差情報で示された視差値Ｄは、図１１の（Ａ）の場合「−１，−１，−１，−１，−１，−１」となる。
【０１３０】
一般的なステレオマッチング手法は、模様の少ない領域や同じ模様が繰り返されるような領域において、対応点や対応する領域を精度よく求めることができないおそれがある。例えば、模様の少ない領域（輝度の変動が少ない領域）では、どの視差値ｄに対しても差分絶対値和ＥＳＡＤ（ｄ）がほぼ同じとなるため、画像信号にノイズ等が重畳されると、正しい結果を得ることができない。上述の図１０では、基準画像における座標値Ｎx＝４の位置の画素と、参照画像上における座標値Ｎx＝１の位置の画素は同じパターンであり、差分絶対値和ＥＳＡＤ４（−３）の値が小さくなってしまう。すなわち、ステレオマッチングの誤対応が生じて、誤った視差値となってしまう。
【０１３１】
ＤＰマッチング視差推定では、式（１４）において、右辺第二項が隣の画素の視差推定結果と近い視差値をとるように働く項であり、ステレオマッチングが誤った場合でも、それを補正するように働く。しかし、模様の少ない領域や同じ模様が繰り返される領域のようにステレオマッチング手法が苦手とする領域で、大きい誤りまたは連続した誤りを生じた場合、ＤＰマッチング視差推定でも補正しきれず、結果的に誤った視差値を算出するおそれがある。
【０１３２】
これに対して本技術は、注目領域においては方式誤差コスト値ＥＤｆＬを含めてコスト値の算出を行うことで、模様の少ない領域や同じ模様が繰り返される領域のようにステレオマッチングが苦手とする領域でも、画像の対応状況をより精度よく示すコスト値を算出できる。したがって、本技術によれば、従来のステレオマッチングでは補正しきれないステレオマッチングの御対応を防止することが可能となり、例えば精度よく視差を正しく推定できるようになる。
【０１３３】
なお、図１０および図１１では、画素単位のＤＰマッチング視差推定を例示したが、基準画像の視差推定対象位置を基準としたブロック単位でＤＰマッチング視差推定を行うようにしてもよい。ブロック単位でＤＰマッチング視差推定を行う場合、ノイズ等による影響は、画素単位でＤＰマッチング視差推定を行う場合に比べて受けにくくなる。したがって、ブロック単位でＤＰマッチング視差推定を行うようにすれば、画素単位でＤＰマッチング視差推定を行う場合に比べてよりロバストな視差推定を行うことができる。
【０１３４】
図１２は、ステレオマッチング視差推定部の動作を例示したフローチャートである。ステップＳＴ５１でステレオマッチング視差推定部３２は、基準画像と参照画像を取得する。例えば、ステレオマッチング視差推定部３２は、左画像を基準画像および右画像を参照画像として、左画像と右画像の画像信号の取得を行いステップＳＴ５２に進む。
【０１３５】
ステップＳＴ５２でステレオマッチング視差推定部３２は、ＤｆＬ視差値を取得する。ステレオマッチング視差推定部３２は、注目領域変換処理部３１で生成されたＤｆＬ視差値の取得を行いステップＳＴ５３に進む。
【０１３６】
ステップＳＴ５３でステレオマッチング視差推定部３２は、最小コスト総和の算出とその解を与える視差の判別を行う。ステレオマッチング視差推定部３２は、上述の式（１５）〜（２２）の演算を行い最小コスト総和とその解を与える１つ前の位置の視差を求めてステップＳＴ５４に進む。また、注目領域外の画素に対しては輝度視差変換によるＤｆＬ視差値ｄＤｆＬの取得が行われていない。したがって、ステレオマッチング視差推定部３２は、注目領域検出部３１１の検出結果に基づき、注目領域外の画素については方式誤差コスト値ＥＤｆＬを「０」に設定してコスト総和の算出を行う。
【０１３７】
ステップＳＴ５４でステレオマッチング視差推定部３２は、ライン全体の視差値を決定する。ステレオマッチング視差推定部３２は、最終列においてコスト総和が最小である視差からトレースバックを行い、ライン全体の視差値を決定してステップＳＴ５５に進む。
【０１３８】
ステップＳＴ５５でステレオマッチング視差推定部３２は、基準画像の各画素について、視差値の算出が完了したか判別する。ステレオマッチング視差推定部３２は、基準画像内に視差値の算出が行われていない画素ラインがある場合は、ステップＳＴ５３に戻る。また、ステレオマッチング視差推定部３２は、視差値の算出が行われていない画素ラインがない場合、基準画像に対する視差推定を終了して新たな基準画像の視差推定を行う。
【０１３９】
なお、上記においては、左画像を基準画像として右画像の対応を求めるステレオマッチング結果を求める例について説明してきたが、同様に右画像を基準画像として左画像の対応を求めるようにしてもよい。
【０１４０】
以上のように、本技術によれば、基準画像上の注目領域では輝度値を視差値に変換して、この視差値を含めてコスト値の算出および最適経路の探索が行われる。このため、模様のないような領域や、同じ模様が繰り返されるような領域においても、ステレオマッチング手法に比べてロバストに視差を推定することができる。
【０１４１】
また、注目領域の輝度視差変換では、１フレーム前のＤＰマッチング視差推定結果から、式（９）における輝度値の平方根と視差値の比例係数を求めている。したがって、先頭フレームでは、ステレオマッチング手法が苦手とする領域では視差推定結果に誤りを生じる可能性があり、そのため、第２フレームにおいて、輝度視差推定を行う際にＤＰマッチング視差推定精度の影響を受けることになる。しかし、式（１０）〜（１３）で定義したように、注目領域内の最大視差値、最小視差値を算出することによって、誤った視差推定結果の影響を受けにくくすることが可能となる。さらに、フレームが進むにつれて、ステレオマッチング視差推定で誤りを生じるような領域でも、輝度視差変換による視差推定との組み合わせにより、視差を正しく求めることができるようになる。その結果、式（９）における比例係数の導出精度の向上となり、注目領域内の視差推定を精度よく行うことができるようになる。
【０１４２】
＜４．画像処理装置の他の動作＞
上述の動作では、例えば輝度値と色差値を閾値と比較して、比較結果に基づき画像中で共通の所望の性質を有する領域を、注目領域として検出しているが、閾値は事前に決めた値ではなく、画像の色差成分の分布を解析して、動的に閾値を設定してもよい。例えば１フレーム前の画像から色差成分のヒストグラム等を作成して、所望の被写体の画像領域を抽出するための閾値をヒストグラム等に基づき調整してもよい。
【０１４３】
また、上述の動作では、例えば輝度値と色差値を閾値と比較して、比較結果に基づき画像中で所望の性質を有する領域を、注目領域として検出しているが、注目領域の検出は他の手法を用いてもよい。例えば、画像からエッジや線を抽出して、抽出したエッジや線を追跡して領域を分割するようにしてもよい。また、画像に対してテクスチャー解析を行い、所望の特徴を示すテクスチャーの領域を注目領域としてもよい。このようにテクスチャー解析を行えば、輝度や色の差が少ない場合で注目領域を検出できる。
【０１４４】
また、上述の動作では、注目領域内の補正後の最大輝度値と最小輝度値に基づいて輝度視差変換特性の推定を行っている。しかし、注目領域内の画像にノイズが重畳されると、最大輝度値や最小輝度値が所望の被写体の輝度と異なる値となって、輝度視差変換特性を精度よく推定できないおそれがある。このため、最大輝度値や最小輝度値は、輝度値の分布に基づいて決定してもよい。例えば式（２３）に示すように、平均輝度値ＰＹＣａｖｇと輝度値の分布を示す統計値σＰＹＣを用いて、最大輝度値や最小輝度値を決定してもよい。また、視差情報についても同様に、式（２４）に示すように、平均視差値Ｄａｖｇと分布を示す統計値σＤを用いて、最大視差値Ｄｍａｘや最小視差値Ｄｍｉｎを決定してもよい。このようにすれば、基準画像に含まれるノイズやステレオマッチング視差推定での誤りに対して、よりロバストな輝度視差変換を行うことができる。
【０１４５】
【数１３】
2014206893.tif 000015
【０１４６】
分布を示す統計値σＰＹＣとしては、注目領域内の例えば補正後の輝度値ＰＹＣの標準偏差を用いることができる。また、式（２４）中の分布を示す統計値σＤは、注目領域内の例えば視差値Ｄの標準偏差を用いることができる。
【０１４７】
比例係数ＫＤｆＬと切片Ｃの推定は、過去の複数フレームを用いて行うようにしてもよい。例えば、視差推定を行うフレームから過去方向に所定フレーム分の比例係数ＫＤｆＬと切片Ｃ記憶しておき、記憶されている比例係数ＫＤｆＬと切片Ｃの変化から視差推定を行うフレームに対応する比例係数ＫＤｆＬと切片Ｃを予測する。この予測結果を用いて輝度視差変換を行うようにしてもよい。
【０１４８】
注目領域は、画像中に１つだけでなく複数設けてもよい。例えば、図１３に示すように複数の注目領域Ｒn（ｎ＝１，２，３）を設けて、注目領域毎に、式（２５）における比例係数ＫＤｆＬ＿Ｒｎおよび切片ＣＲｎを求めて、各注目領域内の補正後の輝度値ＰＹＣＲｎをＤｆＬ視差値ｄＤｆＬ＿Ｒｎに変換してもよい。
【０１４９】
【数１４】
2014206893.tif 000016
【０１５０】
さらに、式（９）（２５）の比例係数ＫＤｆＬの値が、明らかに誤っている場合は輝度視差変換を行わないようにしてもよい。例えば、比例係数ＫＤｆＬで示された傾きが、予め設定した範囲よりも急峻過ぎる場合や緩やか過ぎる場合、比例係数ＫＤｆＬの値が誤りであると判別して輝度視差変換を行わないようにする。このようにすれば、誤った輝度視差変換が行われてしまうことをより確実に防止できる。
【０１５１】
また、輝度視差変換部３１５は、注目領域外において、ＤｆＬ視差値ｄＤｆＬを注目領域外であることを示す識別値に設定して、ステレオマッチング視差推定部３２は、ＤｆＬ視差値ｄＤｆＬが識別値である場合に方式誤差コスト値ＥＤｆＬＮｘ（ｄ）を「０」としてもよい。この場合、注目領域変換処理部３１からステレオマッチング視差推定部３２に注目領域の検出結果を供給することなく、本技術の視差推定を行うことができる。
【０１５２】
明細書中において説明した一連の処理は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１５３】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１５４】
以上のように、本技術によれば、ステレオマッチング視差推定では、推定困難だった模様の変化や輝度値の変動が少ない画像領域や、同じような模様が繰り返されるような画像領域に対して、ＤｆＬ視差値を用いてコスト値が算出される。したがって、算出されたコスト値に基づいて視差値を決定することにより、従来よりもロバストで精度の高い視差推定結果を得ることができるようになる。
【０１５５】
また、従来の光の照度が距離の２乗に反比例して減衰する特性を利用した奥行距離推定法では、推定した奥行距離からステレオ画像間の視差値を得るためには、事前に撮影対象物の光の反射特性や光源の測定結果に基づいたキャリブレーションが必要である。また、絶対的な距離が必要である。しかし、本技術によれば、過去フレームの輝度値と視差推定結果から、輝度値と視差値の関係を算出することができるので、事前にキャリブレーションを行う不要がない。また、絶対的な距離を必要とすることなく視差推定を行うことができる。
【０１５６】
さらに、ＤｆＬ視差推定を適用する領域を限定して、それ以外の領域では従来のステレオマッチング視差推定法を適用する。この場合、画像に複数の反射特性の異なる被写体が含まれても、被写体毎に設定した注目領域について上述のように視差推定を行えば、事前に各被写体の反射特性等を測定しなくとも、被写体毎に精度よく視差推定を行うことが可能となる。
【０１５７】
なお、本技術は、上述の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１５８】
また、本技術の画像処理装置は以下のような構成もとることができる。
（１）  基準画像から所望の被写体を含む注目領域を検出する注目領域検出部と、
過去フレームを用いて推定した輝度視差変換特性に基づいて、前記注目領域に対して輝度視差変換を行う輝度視差変換部と、
前記基準画像、および前記基準画像と視点位置が異なる参照画像に基づいて視差推定を行い、前記注目領域では、前記輝度視差変換部の輝度視差変換結果を用いて前記視差推定を行う視差推定部と
を備える画像処理装置。
（２）  前記輝度視差変換部は、前記注目領域の被写体までの奥行距離に応じた輝度値に補正した前記注目領域の輝度値を用いて、前記輝度視差変換を行う（１）に記載の画像処理装置。
（３）  前記輝度視差変換部は、輝度視差変換特性の推定において、前記奥行距離に応じた補正後の輝度値の平方根が視差値に比例するとして、比例係数と切片の推定を行う（２）に記載の画像処理装置。
（４）  前記輝度視差変換部は、過去フレームの前記注目領域における最大輝度値と最小輝度値および最大視差値と最小輝度値に基づいて、前記輝度視差変換特性を推定する（３）に記載の画像処理装置。
（５）  前記輝度視差変換部は、前記注目領域における輝度値の平均値と輝度値の分布に基づき前記最大輝度値と前記最小輝度値を算出して、前記注目領域における視差値の平均値と視差値の分布に基づき前記最大視差値と前記最小視差値を算出する（４）に記載の画像処理装置。
（６）  前記視差推定部は、前記基準画像の視差推定対象位置毎に第１マッチング領域を設定して、当該第１マッチング領域と、予め指定された視差値毎に該視差値に対応した前記参照画像の第２マッチング領域との類似度を示すコスト値を算出して、ライン毎に、コスト値のライン総和が最小となる最も類似度の高い視差値を視差推定結果とする（１）乃至（５）の何れかに記載の画像処理装置。
（７）  前記視差推定部は、前記注目領域検出部で検出された注目領域では、前記コスト値に対して、前記指定された視差値と前記輝度視差変換部の輝度視差変換により得られた視差値との差分に応じたコスト値を含める（６）に記載の画像処理装置。
（８）  前記視差推定部は、前記注目領域検出部で検出された注目領域を除く領域では、前記差分がないとして前記コスト値を算出する（７）に記載の画像処理装置。
（９）  前記視差推定部は、基準画像における前記視差推定対象位置の視差値と直前の視差推定対象位置の視差値との差に応じたコスト値を含める請求項（６）乃至（８）の何れかに記載の画像処理装置。
（１０）  前記視差推定部は、前記視差推定において動的計画法を用いる（１）乃至（９）の何れかに記載の画像処理装置。
（１１）  前記注目領域検出部は、前記基準画像の輝度値と色差値を所定の閾値と比較して、前記注目領域を検出する（１）乃至（１０）の何れかに記載の画像処理装置。
（１２）  前記注目領域検出部は、前記基準画像に対してテクスチャー解析を行い、前記注目領域を検出する（１）乃至（１１）の何れかに記載の画像処理装置。
【産業上の利用可能性】
【０１５９】
この技術の画像処理装置と画像処理方法およびプログラムによれば、基準画像から検出された注目領域に対しては、過去フレームの注目領域の輝度値と視差推定結果から輝度視差変換特性が推定されて、推定結果に基づき注目領域の輝度視差変換が行われる。また、基準画像と視点位置が基準画像と異なる参照画像の画像間の類似性に基づいた視差推定が行われて、注目領域に対しては輝度視差変換結果を用いて類似度の算出が行われる。すなわち、注目領域では、基準画像と参照画像の画像間の類似性だけでなく、輝度視差変換結果も取り入れて視差推定が行われることにより、注目領域が類似性に基づいて視差推定を行うことの困難な画像であっても、異なる視点位置の複数の画像から精度よく視差推定を行うことができるようになる。したがって、例えばステレオビデオカメラやステレオ内視鏡等によって得られたステレオ画像を用いるシステムに適している。
【符号の説明】
【０１６０】
１０・・・画像処理システム
２０・・・撮像装置
３０・・・画像処理装置
３１・・・注目領域変換処理部
３２・・・ステレオマッチング視差推定部
３３・・・注目領域視差情報取得部
４０・・・表示装置
５０・・・記憶装置
３１１・・・注目領域検出部
３１２・・・注目領域輝度補正部
３１３・・・輝度情報記憶部
３１４・・・視差情報記憶部
３１５・・・輝度視差変換部
【図１】
2014206893.tif 000017
【図２】
2014206893.tif 000018
【図３】
2014206893.tif 000019
【図４】
2014206893.tif 000020
【図５】
2014206893.tif 000021
【図６】
2014206893.tif 000022
【図７】
2014206893.tif 000023
【図８】
2014206893.tif 000024
【図９】
2014206893.tif 000025
【図１０】
2014206893.tif 000026
【図１１】
2014206893.tif 000027
【図１２】
2014206893.tif 000028
【図１３】
2014206893.tif 000029