(57)【要約】【課題】  ステレオ画像における視差演算の精度を向上させる。【解決手段】  ステレオカメラにより撮影されたステレオ画像に基づいて視差画像を生成する視差演算部７３０であって、前記ステレオカメラの撮影方向に向かって照射されたレーザの反射光から得られる前記レーザの照射位置までの距離情報を、前記ステレオ画像を構成する第１の画像内の前記レーザの照射位置の第１の画素と関連付ける関連付け手段（７３２）と、前記第１の画素に関連付けられた距離情報を前記ステレオ画像を構成する第２の画像内の画素の視差演算に用いることで、前記視差画像を生成する手段（７３２、７３３）とを有することを特徴とする。【選択図】図７
2015143679.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像部により撮影された撮影画像に基づいて視差画像を生成する情報処理装置であって、
前記複数の撮像部の撮影方向に向かって照射された電磁波の反射波から得られる前記電磁波の照射位置までの距離情報を、前記撮影画像を構成する第１の画像内の前記電磁波の照射位置の第１の画素と関連付ける関連付け手段と、
前記第１の画素に関連付けられた距離情報を前記撮影画像を構成する第２の画像内の画素の視差演算に用いることで、前記視差画像を生成する生成手段と
を有することを特徴とする情報処理装置。
【請求項２】
前記生成手段は、前記第１の画素に関連付けられた前記距離情報と前記複数の撮像部の配置に関する情報とに基づいて、前記第２の画像内の各画素のうち、前記第１の画素に対応する位置の第２の画素における視差を算出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記生成手段は、
前記第１の画像内の各画素と前記第２の画像内の各画素との類似度から、デンスアルゴリズムを用いて、前記第２の画像内の各画素の伝播パラメータを順次算出することで、前記第２の画像内の各画素について、前記第１の画像内の対応する画素に対するずれ量に応じたエネルギ値を算出し、
前記第２の画像内の各画素について算出したエネルギ値の、前記ずれ量の変化に対する変化に基づいて、前記第２の画像内の各画素の視差を算出することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記生成手段は、
前記第２の画素における視差を前記デンスアルゴリズムに組み込むことで、前記伝播パラメータを順次算出することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記生成手段は、
前記第２の画像内の各画素について算出したエネルギ値の、前記ずれ量の変化に対する変化に基づいて、視差を算出することができない画素があった場合、当該画素の視差を、前記第１の画素に関連付けられた前記距離情報と前記複数の撮像部の配置に関する情報とに基づいて算出した、前記第２の画素における視差を用いて補間することを特徴とする請求項３に記載の情報処理装置。
【請求項６】
前記生成手段は、
前記第１の画素の輝度値と、前記第２の画素の前記視差に応じた位置の画素の輝度値とを、所定の輝度値に変更することで、前記撮影画像を加工することを特徴とする請求項２に記載の情報処理装置。
【請求項７】
複数の撮像部と、電磁波測距部と、情報処理装置とを有する視差演算システムであって、
前記複数の撮像部により撮影された撮影画像を取得する取得手段と、
前記複数の撮像部の撮影方向に向かって照射した電磁波の反射波から得られる前記電磁波の照射位置までの距離情報を、前記撮影画像を構成する第１の画像内の前記電磁波の照射位置の第１の画素と関連付ける関連付け手段と、
前記第１の画素に関連付けられた距離情報を前記撮影画像を構成する第２の画像内の画素の視差演算に用いることで、視差画像を生成する生成手段と
を有することを特徴とする視差演算システム。
【請求項８】
前記電磁波測距部は、
前記複数の撮像部により撮影される撮影画像に含まれる路面部分が照射範囲となるように、前記電磁波を照射することを特徴とする請求項７に記載の視差演算システム。
【請求項９】
前記電磁波測距部は、
前記複数の撮像部が前記撮影画像を撮影する間に、前記電磁波の照射方向を変更することで、複数の距離情報を取得することを特徴とする請求項７または８に記載の視差演算システム。
【請求項１０】
複数の撮像部により撮影された撮影画像に基づいて視差画像を生成する情報処理装置のコンピュータに、
前記複数の撮像部の撮影方向に向かって照射された電磁波の反射波から得られる前記電磁波の照射位置までの距離情報を、前記撮影画像を構成する第１の画像内の前記電磁波の照射位置の第１の画素と関連付ける関連付け工程と、
前記第１の画素に関連付けられた距離情報を前記撮影画像を構成する第２の画像内の画素の視差演算に用いることで、前記視差画像を生成する生成工程と
を実行させるプログラム。
【請求項１１】
複数の撮像部と、電磁波測距部と、情報処理装置とを有する視差演算システムにおける情報処理方法であって、
前記複数の撮像部により撮影された撮影画像を取得する取得工程と、
前記複数の撮像部の撮影方向に向かって照射した電磁波の反射波から得られる前記電磁波の照射位置までの距離情報を、前記撮影画像を構成する第１の画像内の前記電磁波の照射位置の第１の画素と関連付ける関連付け工程と、
前記第１の画素に関連付けられた距離情報を前記撮影画像を構成する第２の画像内の画素の視差演算に用いることで、視差画像を生成する生成工程と
を有することを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は視差演算システム、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、ステレオカメラ等の複数の撮像部を用いて撮影された撮影画像（ステレオ画像）に含まれるオブジェクトについて、視差演算を行うことで該オブジェクトまでの距離を算出する測距技術が知られている。
【０００３】
当該測距技術により得られた視差画像を用いれば、例えば、走行する車両前方の障害物までの距離を検出することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、視差演算されるステレオ画像には、通常、テクスチャの少ない領域や飽和した領域、黒つぶれした領域等が含まれる。そして、このような領域の場合、ステレオ画像間のマッチング精度を確保することが困難となるため、視差演算の精度が著しく低下することとなる。このため、上記測距技術の分野においては、ステレオ画像内にテクスチャの少ない領域や飽和した領域、黒つぶれした領域等が含まれていた場合であっても、視差演算を精度よく行えるようにすることが望まれている。
【０００５】
本発明は上記課題に鑑みてなされたものであり、複数の撮像部を用いて撮影された撮影画像における視差演算の精度を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の実施形態に係る情報処理装置は、以下のような構成を有する。すなわち、
複数の撮像部により撮影された撮影画像に基づいて視差画像を生成する情報処理装置であって、
前記複数の撮像部の撮影方向に向かって照射された電磁波の反射波から得られる前記電磁波の照射位置までの距離情報を、前記撮影画像を構成する第１の画像内の前記電磁波の照射位置の第１の画素と関連付ける関連付け手段と、
前記第１の画素に関連付けられた距離情報に基づく値を、前記撮影画像を構成する第２の画像内の画素の視差演算に用いることで、前記視差画像を生成する生成手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明の各実施形態によれば、複数の撮像部を用いて撮影された撮影画像における視差演算の精度を向上させることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る視差演算システムの構成を示す図である。
【図２】実施形態に係る視差演算システムの適用例を示す図である。
【図３】視差演算システムを構成するレーザレーダ測距部によるレーザ光の照射範囲を示す図である。
【図４】視差演算システムを構成するステレオ画像演算部によるステレオ画像の撮影範囲を示す図である。
【図５】レーザレーダ測距部によるレーザ光の照射位置とステレオ画像の画素位置との関係を説明するための図である。
【図６】レーザレーダ測距部の機能構成を示す図である。
【図７】ステレオ画像演算部の機能構成を示す図である。
【図８】ステレオ画像演算部を構成するコスト計算部におけるコスト計算処理を説明するための図である。
【図９】ステレオ画像演算部を構成するコスト計算部におけるコスト計算処理を説明するための図である。
【図１０】ステレオ画像内の所定の画素の視差とＳＡＤとの関係を説明するための図である。
【図１１】デンスアルゴリズムを用いて伝播パラメータを算出する処理を模式的に示した図である。
【図１２】デンスアルゴリズムの具体例を示す図である。
【図１３】エネルギ計算部において計算されたエネルギ値と視差との関係について説明するための図である。
【図１４】エネルギ計算部におけるエネルギ計算処理の流れを示すフローチャートである。
【図１５】視差計算部における視差計算処理の流れを示すフローチャートである。
【図１６】ステレオ画像演算部の他の機能構成を示す図である。
【図１７】レーザ光の照射位置とステレオ画像の画素位置との関係を説明するための図である。
【図１８】ステレオ画像演算部を構成する視差計算部における視差計算処理の概要を説明するための図である。
【図１９】視差計算部における視差計算処理の流れを示すフローチャートである。
【図２０】ステレオ画像演算部の他の機能構成を示す図である。
【図２１】ステレオ画像演算部を構成する情報埋め込み部における情報埋め込み処理の概要を説明するための図である。
【図２２】情報埋め込み部における情報埋め込み処理の流れを示すフローチャートである。
【図２３】ステレオ画像演算部の他の機能構成を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１０】
［第１の実施形態］
＜１．視差演算システムの全体構成＞
はじめに、本実施形態に係る視差演算システムの全体構成について説明する。図１は、本実施形態に係る視差演算システム１００の構成を示す図である。図１に示すように、視差演算システム１００は、レーザレーダ測距部１１０と、ステレオ画像演算部１２０とを備える。
【００１１】
レーザレーダ測距部１１０は、ステレオ画像演算部１２０を構成するステレオカメラによりステレオ画像を撮影する場合の撮影方向に向かってレーザ光を照射し、その反射光を受光することで、レーザ光の反射位置までの距離データを測定する。レーザレーダ測距部１１０により測定された距離データは、受光タイミングに関する情報とともに、距離情報としてステレオ画像演算部１２０に入力される。
【００１２】
ステレオ画像演算部１２０は、ステレオカメラを備え、該ステレオカメラにより所定のフレーム周期で撮影されたステレオ画像に基づいて、視差画像を算出する。なお、視差画像の算出に際して、ステレオ画像演算部１２０では、距離情報に含まれる受光タイミングに関する情報に基づいて、フレームを特定する。更に、距離情報に含まれる距離データを、ステレオ画像の当該フレームにおけるレーザ光の照射位置に対応する画素に関連付ける。そして、当該画素に関連付けられた距離データ（距離データに基づいて算出された値）を視差画像の算出に利用する。
【００１３】
このように、視差画像の算出において、レーザレーダ測距部１１０において測定された距離データを利用することにより、視差演算の精度を向上させることができる。
【００１４】
なお、ステレオ画像演算部１２０において算出された視差画像は、例えば、自動車の前方の路面上における車両の有無や、人の有無等を検出するのに有効である。一方で、路面等のように、テクスチャの少ない領域の場合、視差演算の精度が低下する。このため、ステレオ画像演算部１２０では、レーザレーダ測距部１１０において測定された距離データを視差画像の算出に利用している。
【００１５】
＜視差演算システムの適用例＞
次に、視差演算システム１００の適用例について説明する。図２は、視差演算システム１００を自動車に適用した例を示す図である。図２の例では、自動車２００のフロントウィンドウの内側中央位置に、レーザレーダ測距部１１０とステレオ画像演算部１２０とが設置されている。なお、レーザレーダ測距部１１０とステレオ画像演算部１２０はいずれも前方方向に向かって設置されており、レーザレーダ測距部１１０は、ステレオ画像演算部１２０を構成するステレオカメラ（２台の撮像部）の間に配置されるものとする。
【００１６】
＜レーザレーダ測距部の照射範囲＞
次に、レーザレーダ測距部１１０によるレーザ光の照射範囲について説明する。図３は、レーザレーダ測距部１１０によるレーザ光の照射範囲を示す図である。図３（ａ）は、自動車２００を上方から見た様子を、図３（ｂ）は、自動車２００を側方から見た様子をそれぞれ示している。
【００１７】
図３（ａ）に示すように、レーザレーダ測距部１１０では、レーザ光を自動車２００の進行方向の前方に向かって直線的に照射する。なお、自動車２００を上方から見た場合のレーザ光の旋回方向の照射角度は、自動車２００の進行方向を０度と定義した場合、０度に固定されている。
【００１８】
また、図３（ｂ）に示すように、レーザレーダ測距部１１０では、レーザ光を自動車２００の前方の路面部分に向かって照射する。具体的には、レーザレーダ測距部１１０の設置位置を基準として、距離Ｄ１から距離Ｄ２までの範囲を照射する。
【００１９】
つまり、レーザレーダ測距部１１０は、レーザ光の照射方向を、仰角方向に回転させることができるよう構成されている。これにより、レーザレーダ測距部１１０の設置位置を基準として、距離Ｄ１から距離Ｄ２までの範囲の路面を照射範囲として照射することができる。
【００２０】
＜ステレオ画像演算部の撮影範囲＞
次に、ステレオ画像演算部１２０によるステレオ画像の撮影範囲について説明する。図４は、ステレオ画像演算部１２０によるステレオ画像の撮影範囲を説明するための図である。図４（ａ）は、自動車２００を上方から見た様子を示している。図４（ａ）に示すように、ステレオ画像演算部１２０では、ステレオカメラが自動車２００の進行方向の前方に向かって設置されており、進行方向の画像（路面から空までの画像）を撮影する。
【００２１】
図４（ｂ−１）と図４（ｂ−２）は、ステレオカメラにおいて撮影されたステレオ画像１フレーム分を示している。このうち、図４（ｂ−１）は、ステレオ画像演算部１２０のステレオカメラを構成する撮像部のうち、左側に設置された撮像部により撮影された撮影画像１フレーム分を示している。また、図４（ｂ−２）は、ステレオ画像演算部１２０のステレオカメラを構成する撮像部のうち、右側に設置された撮像部により撮影された撮影画像１フレーム分を示している。
【００２２】
左側に設置された撮像部と右側に設置された撮像部とは、互いに、所定の間隔を介して平行に設置されている。このため、図４（ｂ−１）に示す撮影画像４１０と図４（ｂ−２）に示す撮影画像４２０とでは、撮影画像内のオブジェクトの位置が、左右方向にずれることとなる。
【００２３】
ステレオ画像演算部１２０では、撮影画像４１０、４２０内の各オブジェクトを構成する各画素のずれ量（以下では視差と称す）を算出することで、視差画像を生成し出力する。
【００２４】
＜レーザ光の照射位置とステレオ画像の画素位置との関係＞
次に、レーザレーダ測距部１１０によるレーザ光の照射位置とステレオ画像演算部１２０により撮影されたステレオ画像（基準画像）の画素位置との関係について説明する。図５は、レーザ光の照射位置とステレオ画像（基準画像）の画素位置との関係を説明するための図である。
【００２５】
上述したように、レーザレーダ測距部１１０は、ステレオ画像演算部１２０のステレオカメラ（２台の撮像部）の間において旋回角度＝０°に固定して設置されており、かつ、仰角方向に回転可能に設置されている。
【００２６】
このため、撮影画像４２０上においてレーザ光の照射範囲は、照射範囲５２０に示す領域となる。つまり、撮影画像４２０の予め定められた位置の画素が、レーザ光の照射範囲に対応する位置の画素となる。
【００２７】
本実施形態では、このうち、（Ｐｘ１，Ｐｙ１）の画素、（Ｐｘ１，Ｐｙ２）の画素、（Ｐｘ１，Ｐｙ３）の画素、（Ｐｘ１，Ｐｙ４）の画素が、距離データが測定された位置に対応しているものとする。このため、これらの画素に対しては、レーザレーダ測距部１１０において測定された距離データを関連付けることができる。
【００２８】
撮影画像４２０の例では、（Ｐｘ１，Ｐｙ１）の画素に距離データＬＤ１を、（Ｐｘ１，Ｐｙ２）の画素に距離データＬＤ２を、（Ｐｘ１，Ｐｙ３）の画素に距離データＬＤ３を、（Ｐｘ１，Ｐｙ４）の画素に距離データＬＤ４を、それぞれ関連付けるものとする。
【００２９】
なお、撮影画像４２０の画素（Ｐｘ１，Ｐｙ１）、（Ｐｘ１，Ｐｙ２）、（Ｐｘ１，Ｐｙ３）、（Ｐｘ１，Ｐｙ４）について、距離データＬＤ１〜ＬＤ４が関連付けられることで、当該画素と当該画素に対応する撮影画像４１０上の画素との視差を算出することができる。具体的には、撮影画像４１０の画素（Ｐｘ１，Ｐｙ１）の視差は、距離データＬＤ１と、ステレオカメラ間の距離（既知）とに基づいて算出される。
【００３０】
同様に、撮影画像４１０の画素（Ｐｘ１，Ｐｙ２）の視差は、距離データＬＤ２と、ステレオカメラ間の距離（既知）とに基づいて算出される。また、撮影画像４１０の画素（Ｐｘ１，Ｐｙ３）の視差は、距離データＬＤ３と、ステレオカメラ間の距離（既知）とに基づいて算出される。更に、撮影画像４１０の画素（Ｐｘ１，Ｐｙ４）の視差は、距離データＬＤ４と、ステレオカメラ間の距離（既知）とに基づいて算出される。
【００３１】
＜レーザレーダ測距部の機能構成＞
次に、レーザレーダ測距部１１０の機能構成について説明する。図６は、レーザレーダ測距部１１０の機能構成を示す図である。
【００３２】
レーザレーダ測距部１１０では、信号処理部６０１からの指示に基づいて、仰角方向スキャンドライブユニット６０２が、仰角方向スキャンミラー６０４を仰角方向に回転させるためのモータ６０３を駆動する。これにより、仰角方向スキャンミラー６０４は、仰角方向に回転する。
【００３３】
また、レーザレーダ測距部１１０では、信号処理部６０１からの指示に基づいて、レーザドライバ６０９が駆動し、レーザ出力部６０８からレーザ光が出力される。このとき、レーザ光の出力タイミングは、時間間隔カウンタ６０７に一時的に保持される。レーザ出力部６０８から出力されたレーザ光は、仰角方向スキャンミラー６０４を介して、外部に出力されるため、所定の照射範囲を照射することとなる。
【００３４】
外部に出力されたレーザ光は、路面上の照射位置において反射し、その反射光が仰角方向スキャンミラー６０４を介して、レーザ受光部６０５において受光される。レーザ受光部６０５は、垂直方向に配列された複数のフォトディテクタ（ＰＤ：Photo Detector）を有しており、レーザ光はいずれかのフォトディテクタで受光され電気信号に変換される。
【００３５】
変換された電気信号は、信号増幅器６０６において増幅され、時間間隔カウンタ６０７に入力される。時間間隔カウンタ６０７では、レーザ出力部６０８より出力されたレーザ光の出力タイミングと、レーザ受光部６０５において受光された反射光の受光タイミングとに基づいて、時間間隔を算出する。
【００３６】
時間間隔カウンタ６０７において算出された時間間隔は、信号処理部６０１において距離データに変換され、受光タイミングを示す情報とともに、距離情報として、ステレオ画像演算部１２０に送信される。
【００３７】
＜ステレオ画像演算部の機能構成＞
次に、ステレオ画像演算部１２０の機能構成について説明する。図７は、ステレオ画像演算部１２０の機能構成を示す図である。
【００３８】
図７に示すように、ステレオ画像演算部１２０は、撮像部７１０と、撮像部７２０と、視差演算部（情報処理装置）７３０とを備える。撮像部７１０及び撮像部７２０はステレオカメラを構成する。なお、本実施形態において、撮像部７１０により撮影される撮影画像は比較画像として用い、撮像部７２０により撮影される撮影画像は基準画像として用いることとする。
【００３９】
視差演算部７３０は、更に、コスト計算部７３１と、エネルギ計算部７３２と、視差計算部７３３とを備える。以下、視差演算部７３０を構成する、コスト計算部７３１、エネルギ計算部７３２、視差計算部７３３についての詳細を説明する。なお、以下に説明するコスト計算部７３１、エネルギ計算部７３２、視差計算部７３３は、専用の電子回路を用いて実現してもよい。あるいは、各部を実現するためのプログラムがＣＰＵ（コンピュータ）によって実行されることで実現されてもよい。
【００４０】
＜コスト計算部の説明＞
コスト計算部７３１は、コスト計算処理を行う。具体的には、撮像部７１０により撮影された撮影画像（比較画像）と、撮像部７２０により撮影された撮影画像（基準画像）とを取得し、両者を比較することにより、撮影画像（比較画像）を構成する各画素のコストＣ（ｐ，ｄ）を算出する。
【００４１】
コストとは、ステレオ画像を構成する２つの撮影画像（比較画像、基準画像）のうち、一方の撮影画像（比較画像）を左右方向にシフトさせた際の他方の撮影画像（基準画像）との一致度を示す指標である。コストの一例としては、ＳＡＤ（Sum of Absolute Differences）が挙げられる。ただし、コストはＳＡＤに限られず、例えば、ＳＳＤ（Sum of Squared Differences）、ＮＣＣ（Normalized Cross-Correlation）等であってもよい。
【００４２】
図８及び図９を用いて具体的に説明する。図８は、撮像部７１０により撮影された撮影画像４１０と撮像部７２０により撮影された撮影画像４２０とからなるステレオ画像における、注目画素ｐ＝（Ｐｘ３，Ｐｙ５）のコストとして、ＳＡＤを算出する例を示した図である。
【００４３】
図８に示すように、撮影画像４１０と撮影画像４２０とでは、撮影位置が異なるため、撮影画像上の同じ位置の注目画素ｐ＝（Ｐｘ３，Ｐｙ５）であっても、同じオブジェクトを指し示すことはなく、左右方向にずれた位置を指し示すことになる。
【００４４】
このため、ブロックサイズを１×１画素とした場合のＳＡＤである、撮影画像４１０上の注目画素ｐ＝（Ｐｘ３，Ｐｙ５）の輝度値と、撮影画像４２０上の注目画素ｐ＝（Ｐｘ３，Ｐｙ５）の輝度値との差分値は、大きな値となる。
【００４５】
ここで、比較画像である撮影画像４１０上の注目画素ｐを１画素分、右方向にシフトさせる。つまり、視差ｄ＝１としたときのＳＡＤを算出する。具体的には、撮影画像４１０上の注目画素ｐ＝（Ｐｘ３＋１，Ｐｙ５）の輝度値と、撮影画像４２０上の注目画素ｐ＝（Ｐｘ３，Ｐｙ５）の輝度値との差分値（ＳＡＤ）を算出する。なお、図８の例では、ｄ＝１の場合も、ＳＡＤは大きな値となる。
【００４６】
以下、同様に、ｄ＝２、３、・・・と変化させていき、それぞれにおいてＳＡＤを算出する。図８の例では、ｄ＝３の場合に、撮影画像４２０の注目画素ｐ＝（Ｐｘ３，Ｐｙ５）が指し示すオブジェクトと撮影画像４１０の注目画素ｐ＝（Ｐｘ３＋３，Ｐｙ５）が指し示すオブジェクトとが同じとなる。このため、ｄ＝３とした場合のＳＡＤは、ｄ＝３とした場合以外のＳＡＤと比べて小さくなる。
【００４７】
図１０（ａ）は、注目画素ｐ＝（Ｐｘ３，Ｐｙ５）について、横軸に視差ｄをとり、縦軸にＳＡＤをとった場合の視差ｄに対するＳＡＤの変化を示したグラフ（視差−ＳＡＤグラフ）である。図１０（ａ）に示すように、注目画素ｐ＝（Ｐｘ３，Ｐｙ５）の場合、ｄ＝３において、ＳＡＤが小さくなるため、視差ｄ＝３であると認識することができる。
【００４８】
一方、図９は、撮像部７１０により撮影された撮影画像４１０と撮像部７２０により撮影された撮影画像４２０とからなるステレオ画像における、注目画素ｐ＝（Ｐｘ４，Ｐｙ６）のコストとして、ＳＡＤを算出する例を示した図である。
【００４９】
図８と同様に、撮影画像４１０と撮影画像４２０とでは、撮影位置が異なるため、撮影画像上の同じ位置の注目画素ｐ＝（Ｐｘ４，Ｐｙ６）であっても、同じオブジェクトを指し示すことはなく、左右方向にずれた位置を指し示すことになる。
【００５０】
このため、ブロックサイズを１×１画素とした場合のＳＡＤである、撮影画像４１０上の注目画素ｐ＝（Ｐｘ４，Ｐｙ６）の輝度値と、撮影画像４２０上の注目画素ｐ＝（Ｐｘ４，Ｐｙ６）の輝度値との差分値は、大きな値となる。
【００５１】
そして、図８と同様に、比較画像である撮影画像４１０上の注目画素ｐを１画素分、右方向にシフトさせる。つまり、視差ｄ＝１としたときのＳＡＤを算出する。具体的には、撮影画像４１０上の注目画素ｐ＝（Ｐｘ４＋１，Ｐｙ６）の輝度値と、撮影画像４２０上の注目画素ｐ＝（Ｐｘ４，Ｐｙ６）の輝度値との差分値（ＳＡＤ）を算出する。なお、図９の例では、ｄ＝１の場合も、ＳＡＤは大きな値となる。
【００５２】
以下、同様に、ｄ＝２、３、・・・と変化させていき、それぞれにおいてＳＡＤを算出する。図９の例では、ｄ＝３の場合に、撮影画像４２０の注目画素ｐ＝（Ｐｘ４，Ｐｙ６）が指し示すオブジェクトと撮影画像４１０の注目画素ｐ＝（Ｐｘ４＋３，Ｐｙ６）が指し示すオブジェクトとが同じとなる。しかしながら、図９の例では、当該オブジェクトが路面であり、もともと、テクスチャが少ない。このため、ＳＡＤの変化も小さい。
【００５３】
図１０（ｂ）は、注目画素ｐ＝（Ｐｘ４，Ｐｙ６）について、横軸に視差ｄをとり、縦軸にＳＡＤをとった場合の視差ｄに対するＳＡＤの変化を示したグラフ（視差−ＳＡＤグラフ）である。図１０（ｂ）に示すように、注目画素ｐ＝（Ｐｘ４，Ｐｙ６）の場合、視差ｄの変化に対するＳＡＤの変化が小さいため、視差を抽出することができない。
【００５４】
このように、コスト計算部７３１によるコスト計算処理だけでは、視差を特定することができない画素が生じえるため、視差演算部７３０のエネルギ計算部７３２では、視差を顕在化させるためにエネルギ計算処理を行う。
【００５５】
＜エネルギ計算部の説明＞
エネルギ計算部７３２では、デンスアルゴリズムと称されるアルゴリズムを用いて、伝播パラメータＬｒを算出し、当該伝播パラメータＬｒを用いて注目画素ｐのエネルギ値Ｓ（ｐ，ｄ）を算出するエネルギ計算処理を行う。
【００５６】
そこで、以下では、当該エネルギ計算処理のうち、まず、デンスアルゴリズムを用いて伝播パラメータＬｒを算出する処理について説明する。図１１は、デンスアルゴリズムを用いて伝播パラメータＬｒを算出する処理を模式的に示した図である。
【００５７】
図１１の例では、注目画素ｐである画素１１００に対して、４方向の伝播パラメータＬｒを求める場合を示している。具体的には、画素１１００に対して、矢印１１１１方向の伝播パラメータＬ１と、矢印１１１２方向の伝播パラメータＬ２と、矢印１１１３方向の伝播パラメータＬ３と、矢印１１１４方向の伝播パラメータＬ４とを求める場合を示している。なお、画素１１００に対して求める伝播パラメータの方向（ｒ）は、４方向に限定されるものではなく、例えば、８方向であっても、あるいは２方向であってもよい。
【００５８】
図１１に示すように、矢印１１１１方向の伝播パラメータＬ１は、下式により求めることができる。
【００５９】
【数１】
2015143679.tif 000003
ただし、ｐは画素１１００の座標を、ｄは視差を表している。このように、伝播パラメータＬ１（ｐ，ｄ）は、画素１１００のコストＣ（ｐ，ｄ）と、画素１１００の左側１画素に位置する画素の各視差（ｄ−１〜ｄ＋１）での伝播パラメータとによって算出することができる。つまり、矢印１１１１方向の伝播パラメータは、左方向から右方向へと順次伝播パラメータが算出されていくことになる。なお、左方向から右方向へと伝播パラメータを伝播させていく際の伝播間隔は、１画素に限定されるものではない。つまり、画素１１００の左側ａ画素に位置する画素の各視差での伝播パラメータを用いて、伝播パラメータＬ１（ｐ，ｄ）を算出するように構成してもよい。
【００６０】
同様に、矢印１１１２方向の伝播パラメータＬ２は、上方向から下方向へと順次算出されていくことになる。また、矢印１１１３方向の伝播パラメータＬ３は、右方向から左方向へと順次算出され、矢印１１１４方向の伝播パラメータＬ４は、下方向から上方向へと順次算出されていくことになる。
【００６１】
つづいて、エネルギ計算処理のうち、当該伝播パラメータＬｒを用いて注目画素ｐのエネルギ値Ｓ（ｐ，ｄ）を算出する処理について説明する。
【００６２】
上記のようにして、各画素について算出された各方向からの伝播パラメータに基づいて、エネルギ計算部７３２では、各画素のエネルギ値Ｓ（ｐ，ｄ）を下式により算出する。
【００６３】
【数２】
2015143679.tif 000004
図１１の例では、Ｓ（ｐ，ｄ）＝Ｌ１（ｐ，ｄ）＋Ｌ２（ｐ，ｄ）＋Ｌ３（ｐ，ｄ）＋Ｌ４（ｐ，ｄ）により算出することができる。
【００６４】
＜デンスアルゴリズムにおける距離データの利用＞
次に、上述したデンスアルゴリズムの具体例について説明し、レーザレーダ測距部１１０より送信された距離データのデンスアルゴリズムへの適用について説明する。
【００６５】
図１２は、伝播パラメータＬ１（ｐ，ｄ）から伝播パラメータＬ１（ｐ＋１，ｄ）を求めるデンスアルゴリズムの具体例を示す図である。図１２において、画素１２２０は、撮影画像４２０の注目画素ｐ＝（Ｐｘ４，Ｐｙ６）であるとする。
【００６６】
一方、画素１２１０は、撮影画像４１０の注目画素ｐ＝（Ｐｘ４，Ｐｙ６）であるとする。また、画素１２１１〜１２１４は、それぞれ画素１２１０の視差ｄ＝１〜４のときの画素であるとする。
【００６７】
ここで、撮影画像４２０の画素１２２０は、レーザレーダ測距部１１０により、当該画素が指し示すオブジェクトまでの距離データが測定されている画素であるとする（つまり、画素１２２０には、距離データが関連付けられているものとする）。画素１２２０が指し示すオブジェクトまでの距離データが測定されている場合、撮像部７１０と撮像部７２０との間の距離が既知であるとすると、画素１２２０に対応する撮影画像４１０上の画素の視差を算出することができる。
【００６８】
図１２の例では、距離データが関連付けられた画素１２２０に対応する撮影画像４１０の画素１２１０は、視差ｄ＝４であるとする。つまり、撮影画像４１０の画素１２１４が、距離データが関連付けられている撮影画像４２０上の画素と同じ位置を指し示す画素であるとする。
【００６９】
この場合、撮影画像４２０の画素１２２０の輝度値と撮影画像４１０の画素１２１４の輝度値とは同一であることから、画素１２１４の伝播パラメータＬ１（ｐ，４）＝０となる。
【００７０】
画素１２１４の伝播パラメータＬ１（ｐ，４）＝０の場合、画素１２１３の伝播パラメータＬ１（ｐ，３）は、Ｃ（ｐ，３）＋０となる。つまり、画素１２１３の伝播パラメータＬ１（ｐ，３）は、画素１２１３の輝度値と画素１２２０の輝度値との差分値に基づいて算出することができる。
【００７１】
同様に、画素１２１２の伝播パラメータＬ１（ｐ，２）は、Ｃ（ｐ，２）＋０となり、画素１２１２の伝播パラメータＬ１（ｐ，２）は、画素１２１２の輝度値と画素１２２０の輝度値との差分値に基づいて算出することができる。
【００７２】
同様に、画素１２１１の伝播パラメータＬ１（ｐ，１）、画素１２１０の伝播パラメータＬ１（ｐ，０）も、画素１２１１の輝度値と画素１２２０の輝度値との差分値、及び画素１２１０の輝度値と画素１２２０の輝度値との差分値に基づいて算出することができる。つまり、撮影画像４１０内の各画素と撮影画像４２０内の各画素との類似度に基づいて、撮影画像４１０の画素１２１０〜１２１４の伝播パラメータＬ１（ｐ，０）〜Ｌ１（ｐ，４）を算出することができる。
【００７３】
このようにして、撮影画像４１０の画素１２１０〜１２１４の伝播パラメータＬ１（ｐ，０）〜Ｌ１（ｐ，４）が算出されると、続いて、画素１２２３の伝播パラメータＬ１（ｐ＋１，ｄ）を算出することができる。
【００７４】
具体的には、伝播パラメータＬ１（ｐ＋１，３）＝Ｃ（ｐ＋１，３）＋ｍｉｎ｛Ｌ１（ｐ，３），Ｌ１（ｐ，２）＋Ｐ１，Ｌ１（ｐ，４）＋Ｐ１｝となる。ここで、Ｐ１は定数であり、Ｌ１（ｐ，４）＝０である。また、Ｌ１（ｐ，３）、Ｌ１（ｐ，２）は、上述したとおり、Ｃ（ｐ，３）、Ｃ（ｐ，２）に等しい。
【００７５】
以下、同様の処理を繰り返すことにより、画素１２２２、１２２１、・・・についての伝播パラメータを求めていくことができ、撮影画像４１０上のすべての画素について、伝播パラメータを算出することができる。
【００７６】
つまり、エネルギ計算部７３２では、レーザレーダ測距部１１０より送信された距離データに基づいて、当該距離データが関連付けられた、基準画像である撮影画像４２０上の画素に対応する、比較画像である撮影画像４１０上の画素の視差ｄを算出する。そして、当該距離データが関連付けられた画素に対応する画素の視差ｄにおける伝播パラメータＬ１（ｐ，ｄ）＝０とおいたうえで、当該伝播パラメータを起点として、順次、当該画素以外の他の画素の伝播パラメータを算出していく。
【００７７】
このように、エネルギ計算部７３２では、伝播パラメータを算出する際の起点となる画素として、レーザレーダ測距部１１０により測定された距離データが関連付けられている画素に対応する画素を用いる。そして、当該画素の視差ｄにおける伝播パラメータを０とおくことで、当該画素の視差ｄにおける伝播パラメータを起点として順次算出される他の画素の伝播パラメータの精度も向上し、視差演算の精度を向上させることが可能となる。
【００７８】
＜エネルギ値と視差との関係＞
次に、エネルギ計算部７３２において計算されたエネルギ値Ｓ（ｐ，ｄ）と視差との関係について説明する。図１３は、エネルギ計算部７３２において計算されたエネルギ値と視差との関係について説明するための図である。
【００７９】
図１３では、画素１３０１について、４方向の伝播パラメータＬ１〜Ｌ４を、視差＝０〜１０の範囲でそれぞれ算出した例を示している。４方向の伝播パラメータＬ１〜Ｌ４は、それぞれの視差ごとに足しあわされることで、それぞれの視差におけるエネルギ値Ｓ（ｐ，０）〜Ｓ（ｐ，１０）が算出される。
【００８０】
視差−エネルギグラフ１３１１に示すように、画素１３０１について算出したエネルギ値Ｓ（ｐ，０）〜Ｓ（ｐ，１０）を、横軸を視差としてグラフ化すると、エネルギ値Ｓ（ｐ）は、所定の視差において、急峻に低下することとなる。
【００８１】
以上の説明から明らかなように、路面などのテクスチャの小さい画像に対して、ＳＡＤを算出した場合には、視差ｄの変化に対してＳＡＤの変化が小さかったところ、エネルギ値Ｓ（ｐ）を算出した場合には、視差ｄの変化に対する変化が大きくなる。つまり、視差を精度よく算出することが可能となる。
【００８２】
なお、同様の処理を、他の画素１３０２、１３０３、・・・についても行い、エネルギ値Ｓ（ｐ）を算出することで、それぞれの画素において、視差を精度よく算出することができる。
【００８３】
＜エネルギ計算処理の流れ＞
次に、エネルギ計算部７３２におけるエネルギ計算処理の流れについて説明する。図１４は、エネルギ計算部７３２におけるエネルギ計算処理の流れを示すフローチャートである。コスト計算部７３１によるコスト計算処理が完了すると、エネルギ計算部７３２では、図１４に示すエネルギ計算処理を開始する。なお、図１４に示すエネルギ計算処理は、ステレオ画像１フレームごとに実行されるものとする（図１４の例では、１フレーム分のステレオ画像についてのエネルギ計算処理について記載している）。
【００８４】
ステップＳ１４０１では、複数フレームのステレオ画像のうち、処理対象のフレームに対応する距離データをレーザレーダ測距部１１０より取得する。
【００８５】
ステップＳ１４０２では、処理対象のフレーム内の基準画像の各画素のうち、当該距離データが関連付けられている画素を特定する。更に、特定した画素に対応する比較画像の画素について、距離データと、撮像部７１０と撮像部７２０との間の既知の距離とに基づいて、視差ｄを算出する。
【００８６】
ステップＳ１４０３では、当該距離データが関連付けられている画素に対応する比較画像上の画素の視差ｄにおける伝播パラメータを算出する。
【００８７】
ステップＳ１４０４では、カウンタｒに１を代入する（なお、カウンタｒ＝１は、４方向の伝播パラメータのうち、図１１の矢印１１１１に対応する方向の伝播パラメータであることを表す）。
【００８８】
ステップＳ１４０５では、ステップＳ１４０３において算出された伝播パラメータを起点として、デンスアルゴリズムを用いて、すべての画素の伝播パラメータＬ１（ｐ，ｄ）を算出する。
【００８９】
ステップＳ１４０６では、ｒ≧４であるか否かを判定し、ｒ≧４でなければ、ステップＳ１４０７に進み、カウンタｒをインクリメントしたのち、ステップＳ１４０５に戻る。ステップＳ１４０５では、ステップＳ１４０３において算出された伝播パラメータを起点として、デンスアルゴリズムを用いて他の画素の伝播パラメータＬ２（ｐ，ｄ）を算出する。
【００９０】
以下、同様に、伝播パラメータＬ３（ｐ，ｄ）、Ｌ４（ｐ，ｄ）を算出し、４方向の伝播パラメータについて算出が完了したと判断された場合には、ステップＳ１４０８に進む。ステップＳ１４０８では、各画素において４方向の伝播パラメータＬ１（ｐ，ｄ）〜Ｌ４（ｐ，ｄ）について、視差ごとに足し合わせることで、各視差におけるエネルギ値Ｓ（ｐ）を算出する（視差−エネルギグラフを生成する）。
【００９１】
＜視差計算部の説明＞
次に、視差計算部７３３について説明する。図１５は、視差計算部７３３における視差計算処理の流れを示すフローチャートである。エネルギ計算部７３２によるエネルギ計算処理が完了すると、視差計算部７３３では、図１５に示す視差計算処理を開始する。なお、図１５に示す視差計算処理は、ステレオ画像１フレームごとに実行されるものとする（図１５の例では、１フレーム分のステレオ画像に含まれる比較画像についての視差計算処理について記載している）。
【００９２】
ステップＳ１５０１では、画素カウンタｐに１を代入し、ステップＳ１５０２では、比較画像の画素ｐにおける視差−エネルギグラフを読み出す。上述したように、エネルギ計算部７３２では、比較画像の各画素について視差−エネルギグラフを算出しており、ステップＳ１５０２では、そのうちの注目画素ｐにおける視差―エネルギグラフを読み出す。
【００９３】
ステップＳ１５０３では、読み出した視差−エネルギグラフにおいて所定の閾値以下である最下点を算出し、視差Ｄ（ｐ）として抽出する。ステップＳ１５０４では、処理対象のフレーム内の画素すべてについて視差Ｄ（ｐ）を抽出したか否かを判定する。
【００９４】
ステップＳ１５０４において、視差Ｄ（ｐ）を抽出していない画素があると判定した場合には、ステップＳ１５０２に戻る。一方、すべての画素について、視差Ｄ（ｐ）を抽出したと判定した場合には、ステップＳ１５０５において、当該抽出した視差Ｄ（ｐ）に基づいて当該フレームの視差画像を生成し、出力する。
【００９５】
＜まとめ＞
以上の説明から明らかなように、本実施形態に係る視差演算システムでは、レーザ光により距離データを測定するレーザレーダ測距部１１０と、視差画像を算出するステレオ画像演算部１２０とを組み合わせるとともに、各部を以下のように構成した。
・ステレオカメラを構成する撮像部７１０、７２０により撮影されるステレオ画像と同期して、レーザレーダ測距部１１０では、所定の照射範囲について、距離データを測定するように構成した。
・ステレオ画像演算部１２０では、レーザレーダ測距部１１０より取得した距離データを、対応するステレオ画像（基準画像）のフレーム内の画素と関連付けるように構成した。
・ステレオ画像演算部１２０では、距離データが関連付けられた画素に対応する比較画像上の画素について、当該距離データと、ステレオカメラ間の既知の距離とに基づいて、視差を算出するように構成した。
・ステレオ画像演算部１２０では、距離データが関連付けられた画素に対応する比較画像上の画素の視差ｄにおける伝播パラメータを起点として、デンスアルゴリズムを用いてフレーム内の他の画素の伝播パラメータを順次算出するように構成した。
【００９６】
このように、伝播パラメータを算出する際の起点として、レーザレーダ測距部１１０により測定された距離データが関連付けられた画素に対応する画素の視差ｄにおける伝播パラメータを用いることで、他の画素について正確な伝播パラメータを求めることができる。つまり、当該伝播パラメータを起点として順次算出される他の画素の伝播パラメータの精度を向上させることが可能となる。この結果、視差演算の精度を向上させることが可能となる。
【００９７】
［第２の実施形態］
上記第１の実施形態では、レーザレーダ測距部１１０において測定された距離データを、エネルギ計算部７３２において利用する場合について説明したが、本発明はこれに限定されない。例えば、レーザレーダ測距部１１０において測定された距離データを、視差計算部７３３において視差計算処理を行う際に利用するように構成してもよい。以下、本実施形態の詳細について説明する。なお、以下では、上記第１の実施形態との相違点を中心に説明する。
【００９８】
＜ステレオ画像演算部の機能構成＞
はじめに、本実施形態に係る視差演算システム１００におけるステレオ画像演算部１２０の機能構成について説明する。図１６は、本実施形態に係る視差演算システム１００におけるステレオ画像演算部１２０の機能構成を示す図である。
【００９９】
図７に示すステレオ画像演算部１２０の機能構成との相違点は、レーザレーダ測距部１１０により送信された距離情報が、視差計算部７３３に取り込まれている点である。なお、本実施形態に係る視差演算システム１００では、レーザレーダ測距部１１０が旋回方向スキャンミラーを有しており、旋回方向における複数角度（例えば、３角度）に対して、レーザ光を照射できるように構成されているものとする。
【０１００】
このため、レーザレーダ測距部１１０により送信される距離情報には、３方向分の距離情報が含まれていることになる。
【０１０１】
＜レーザ光の照射位置とステレオ画像の画素位置との関係＞
次に、本実施形態に係る視差演算システム１００における、レーザ光の照射位置とステレオ画像の画素位置との関係について説明する。図１７は、本実施形態に係る視差演算システム１００における、レーザ光の照射位置とステレオ画像の画素位置との関係を説明するための図である。上述したように、本実施形態に係る視差演算システム１００では、レーザレーダ測距部１１０は、ステレオ画像演算部１２０のステレオカメラの間において旋回可能に配置されており、仰角方向において所定の照射範囲を動作する。
【０１０２】
このため、撮影画像４２０上の複数角度の所定の位置の画素が、レーザ光の照射位置に対応する。参照番号１７１１〜１７１３は、撮影画像４２０上のレーザ光の照射範囲を示している。
【０１０３】
このうち、（Ｐｘ１１，Ｐｙ１）の画素、（Ｐｘ１２，Ｐｙ２）の画素、（Ｐｘ１３，Ｐｙ３）の画素、（Ｐｘ１４，Ｐｙ４）の画素が、照射範囲１７１１において距離データが測定された位置に対応している。このため、これらの画素は、レーザレーダ測距部１１０において測定された距離データと関連付けられている。
【０１０４】
撮影画像４２０の例では、（Ｐｘ１１，Ｐｙ１）の画素に距離データＬＤ１１が、（Ｐｘ１２，Ｐｙ２）の画素に距離データＬＤ１２がそれぞれ関連付けられている。更に、（Ｐｘ１３、Ｐｙ３）の画素に距離データＬＤ１３が、（Ｐｘ１４，Ｐｙ４）の画素に距離データＬＤ１４が、それぞれ関連付けられている。
【０１０５】
同様に、（Ｐｘ２，Ｐｙ１）の画素、（Ｐｘ２，Ｐｙ２）の画素、（Ｐｘ２，Ｐｙ３）の画素、（Ｐｘ２，Ｐｙ４）の画素が、照射範囲１７１２において距離データが測定された位置に対応している。このため、（Ｐｘ２，Ｐｙ１）の画素に距離データＬＤ２１が、（Ｐｘ２，Ｐｙ２）の画素に距離データＬＤ２２が、（Ｐｘ２，Ｐｙ３）の画素に距離データＬＤ２３が、（Ｐｘ２，Ｐｙ４）の画素に距離データＬＤ２４が、それぞれ関連付けられている。
【０１０６】
同様に、（Ｐｘ３１，Ｐｙ１）の画素、（Ｐｘ３２，Ｐｙ２）の画素、（Ｐｘ３３，Ｐｙ３）の画素、（Ｐｘ３４，Ｐｙ４）の画素が、照射範囲１７１３において距離データが測定された位置に対応している。このため、（Ｐｘ３１，Ｐｙ１）の画素に距離データＬＤ３１が、（Ｐｘ３１，Ｐｙ２）の画素に距離データＬＤ３２が、（Ｐｘ３１，Ｐｙ３）の画素に距離データＬＤ３３が、（Ｐｘ３１，Ｐｙ４）の画素に距離データＬＤ３４が、それぞれ関連付けられている。
【０１０７】
なお、ステレオカメラを構成する撮像部７１０と撮像部７２０との間の距離は既知であることから、関連付けられた画素では、距離データＬＤ１１〜ＬＤ３４に基づいて、視差をそれぞれ正確に算出することができる。
【０１０８】
＜視差計算部の説明＞
次に、視差計算部７３３における視差計算処理の概要について説明する。図１８は、視差計算部７３３における視差計算処理の概要について説明するための図である。図１８は、撮影画像４１０の一部の領域であって、距離データが関連付けられた撮影画像４２０上の画素に対応する画素を含む領域を示している。図１８において、ハッチングされた画素は、距離データが関連付けられた撮影画像４２０上の画素に対応する撮影画像４１０上の画素であることを示している。つまり、ハッチングされた画素は、距離データに基づいて視差が算出された画素である。
【０１０９】
一方、画素１８０１及び画素１８０２は、それぞれ、エネルギ計算部７３２において視差が抽出できなかった画素であるとする。具体的には、エネルギ計算部７３２において算出されたそれぞれの画素におけるエネルギ値Ｓ（ｐ）が、視差の変化に対して、大きな変化を示さず、所定の閾値以下の最下点が存在しなかったとする。
【０１１０】
視差計算部７３３では、このような画素について、距離データに基づいて算出された視差を用いて補間する（つまり、距離データに基づいて視差が算出された画素が、当該画素以外の画素の視差を、当該画素の視差を用いて補間する）。例えば、画素１８０１は、視差が算出された画素（Ｐｘ２，Ｐｙ３）と画素（Ｐｘ２，Ｐｙ２）との間であって、画素（Ｐｘ２，Ｐｙ３）から１画素離れ、画素（Ｐｘ２，Ｐｙ２）から２画素離れた位置にある。
【０１１１】
ここで、画素（Ｐｘ２，Ｐｙ３）について、距離データＤ２３から算出された視差をｄ２３、画素（Ｐｘ２，Ｐｙ２）について、距離データＤ２２から算出された視差をｄ２２とする。この場合、視差計算部７３３では、画素１８０１の視差を下式に基づいて算出する。
【０１１２】
画素１８０１の視差＝ｄ２３×２／３＋ｄ２２×１／３
また、画素１８０２は、視差が算出された画素（Ｐｘ３２，Ｐｙ２）、画素（Ｐｘ３３，Ｐｙ３）に隣接している。
【０１１３】
ここで、画素（Ｐｘ３２，Ｐｙ３）について、距離データＤ３２から算出された視差をｄ３２、画素（Ｐｘ３３，Ｐｙ３）について、距離データＤ３３から算出された視差をｄ３３とする。この場合、視差計算部７３３では、画素１８０２の視差を下式に基づいて算出する。
【０１１４】
画素１８０２の視差＝ｄ３２×３／４＋ｄ３３×１／４
このように、視差計算部７３３では、エネルギ計算部７３２において視差が算出できなかった画素について、当該画素近傍の画素であって、距離データに基づいて視差が算出されている画素を用いて視差を算出する。また、距離データに基づいて視差が算出されている画素を用いるにあたっては、当該画素と、エネルギ計算部７３２において視差が算出できなかった画素との距離に応じた重み付けを行う。
【０１１５】
これにより、撮影画像４１０のフレーム内の画素すべてについて視差を算出することが可能となる。つまり、視差演算の精度を向上させることが可能となる。
【０１１６】
＜視差計算部における視差計算処理＞
次に、視差計算部７３３における視差計算処理の流れについて説明する。図１９は、視差計算部７３３における視差計算処理の流れを示すフローチャートである。上記第１の実施形態と同様、エネルギ計算部７３２によるエネルギ計算処理が完了すると、視差計算部７３３では、図１９に示す視差計算処理を開始する。なお、図１９に示す視差計算処理は、ステレオ画像１フレームごとに実行されるものとする（図１９の例では、１フレーム分のステレオ画像についての視差計算処理について記載している）。
【０１１７】
ステップＳ１９０１では、エネルギ計算部７３２において算出された比較画像の各画素の視差を読み込む。ステップＳ１９０２では、読み込まれた各画素のうち、視差が計算されていない画素があるか否かを判定する。ステップＳ１９０２において、視差が計算されていない画素がないと判定された場合には、ステップＳ１９０７に進む。
【０１１８】
一方、視差が計算されていない画素があると判定された場合には、ステップＳ１９０３に進む。ステップＳ１９０３では、視差が計算されていない画素近傍の画素であって、距離データに基づいて視差が算出されている画素を読み込む。
【０１１９】
更に、ステップＳ１９０４では、視差が算出されている画素と、視差が算出されていない画素との間の距離に応じて、重み付け係数を算出する。ステップＳ１９０５では、ステップＳ１９０３において読み込まれた画素の視差と、ステップＳ１９０４において算出された重み付け係数とを積和算することにより、エネルギ計算部７３２において視差が計算されていなかった画素の視差を算出する。
【０１２０】
ステップＳ１９０６では、処理対象のフレーム内のすべての画素について視差を算出したか否かを判定する。ステップＳ１９０６において、視差を算出していない画素があると判定した場合には、ステップＳ１９０３に戻る。
【０１２１】
一方、ステップＳ１９０６において、処理対象のフレーム内のすべての画素について視差を算出したと判定した場合には、ステップＳ１９０７に進む。ステップＳ１９０７では、算出した視差に基づいて、視差画像を生成し出力する。
【０１２２】
＜まとめ＞
以上の説明から明らかなように、本実施形態に係る視差演算システムでは、レーザ光により距離データを測定するレーザレーダ測距部１１０と、視差画像を算出するステレオ画像演算部１２０とを組み合わせるとともに、各部を以下のように構成した。
・ステレオカメラを構成する撮像部７１０、７２０により撮影されるステレオ画像と同期して、レーザレーダ測距部１１０では、旋回方向の複数角度で、所定の照射範囲について、距離データを測定するように構成した。
・ステレオ画像演算部１２０では、レーザレーダ測距部１１０より取得した距離データを、対応するステレオ画像（基準画像）のフレーム内の画素と関連付けるように構成した。
・ステレオ画像演算部１２０では、距離データが関連付けられた画素に対応する比較画像上の画素について、当該距離データと、ステレオカメラ間の既知の距離とに基づいて、視差を算出するように構成した。
・ステレオ画像演算部１２０では、ステレオ画像に基づいて視差を算出したフレーム内の各画素のうち、視差を算出できなかった画素がある場合に、距離データを用いて視差が算出されている画素を用いて、当該画素の視差を算出するように構成した。
【０１２３】
このように、レーザレーダ測距部１１０において測定された距離データに基づいて算出される視差を用いて、ステレオ画像に基づいて算出される視差を補間するため、視差演算の精度を向上させることが可能となる。
【０１２４】
［第３の実施形態］
上記第１の実施形態では、レーザレーダ測距部１１０において測定された距離データを、エネルギ計算部７３２において利用する場合について説明し、上記第２の実施形態では、視差計算部７３３において利用する場合について説明した。
【０１２５】
しかしながら、本発明はこれに限定されず、距離データが関連付けられた基準画像上の画素の輝度、及び当該画素に対応する比較画像上の画素から視差ｄの位置にある画素の輝度値を所定値に変更することで、ステレオ画像を加工するように構成してもよい。ステレオ画像のうち、テクスチャの少ない領域の画素を加工することで、視差を算出しやすくすることができるからである。以下、本実施形態の詳細について説明する。なお、以下では、上記第１及び第２の実施形態との相違点を中心に説明する。
【０１２６】
＜ステレオ画像演算部の機能構成＞
はじめに、本実施形態に係る視差演算システム１００におけるステレオ画像演算部１２０の機能構成について説明する。図２０は、本実施形態に係る視差演算システム１００におけるステレオ画像演算部１２０の機能構成を示す図である。
【０１２７】
図７に示すステレオ画像演算部１２０の機能構成との相違点は、レーザレーダ測距部１１０により送信された距離情報が、情報埋め込み部２００１に取り込まれている点である。
【０１２８】
ここで、情報埋め込み部２００１では、撮像部７２０において撮影された撮影画像４２０の各画素のうち、レーザレーダ測距部１１０より送信された距離データが関連付けられた画素を抽出する。更に、抽出した画素に対応する撮影画像４１０上の各画素から視差ｄの位置にある画素を抽出する。
【０１２９】
そして、撮影画像４１０及び４２０それぞれから抽出した画素であって、相互に対応する画素どうしの輝度値を、所定値に変更する。具体的には、エネルギ計算部においてエネルギ値Ｓ（ｐ）を算出した際に、視差の変化に対するエネルギ値Ｓ（ｐ）の変化が大きくなるように、輝度値を変更する。つまり、抽出した画素の周辺の平均輝度値と大きく異なる輝度値に変更する。
【０１３０】
これにより、テクスチャの小さい領域においても、抽出した画素について、視差を確実に算出することが可能となり、視差演算の精度を向上させることが可能となる。
【０１３１】
＜情報埋め込み部の説明＞
次に、情報埋め込み部２００１における情報埋め込み処理の概要について説明する。図２１は、情報埋め込み部２００１における情報埋め込み処理の概要を説明するための図である。
【０１３２】
図２１（ａ）の撮影画像４２０において、レーザ光の照射範囲５２０内の、（Ｐｘ１，Ｐｙ１）の画素、（Ｐｘ１，Ｐｙ２）の画素、（Ｐｘ１，Ｐｙ３）の画素、（Ｐｘ１，Ｐｙ４）の画素には、距離データが関連付けられているものとする。
【０１３３】
ここで、（Ｐｘ１，Ｐｙ１）の画素に関連付けられた距離データＬＤ１に基づいて算出される視差をｄ１、（Ｐｘ１，Ｐｙ２）の画素に関連付けられた距離データＬＤ２に基づいて算出される視差をｄ２とする。また、（Ｐｘ１，Ｐｙ３）の画素に関連付けられた距離データＬＤ３に基づいて算出される視差をｄ３、（Ｐｘ１，Ｐｙ４）の画素に関連付けられた距離データＬＤ４に基づいて算出される視差をｄ４とする。
【０１３４】
この場合、撮影画像４２０上の各画素（Ｐｘ１，Ｐｙ１）、（Ｐｘ１，Ｐｙ２）、（Ｐｘ１，Ｐｙ３）、（Ｐｘ１，Ｐｙ４）が指し示すオブジェクトと同じオブジェクトを指し示す撮影画像４１０上の画素は、以下のとおりとなる。
・（Ｐｘ１，Ｐｙ１）→（Ｐｘ１＋ｄ１，Ｐｙ１）
・（Ｐｘ１，Ｐｙ２）→（Ｐｘ１＋ｄ２，Ｐｙ２）
・（Ｐｘ１，Ｐｙ３）→（Ｐｘ１＋ｄ３，Ｐｙ３）
・（Ｐｘ１，Ｐｙ４）→（Ｐｘ１＋ｄ４，Ｐｙ４）
情報埋め込み部２００１では、撮影画像４１０と撮影画像４２０とで、互いに対応する画素（同じオブジェクトを指し示している画素）の輝度値を、周辺の画素の平均輝度値とは大きく異なる輝度値であって、互いに同じ輝度値に変更する。
【０１３５】
図２１（ｂ）は、情報埋め込み部２００１が、同じ位置を指し示している画素の輝度値を変更した様子を示している。具体的には、撮影画像４１０の画素（Ｐｘ１＋ｄ１，Ｐｙ１）と撮影画像４２０の画素（Ｐｘ２，Ｐｙ１）の輝度値をｇ１に変更し、撮影画像４１０の画素（Ｐｘ１＋ｄ２，Ｐｙ２）と撮影画像４２０の画素（Ｐｘ２，Ｐｙ２）の輝度値をｇ２に変更している。更に、撮影画像４１０の画素（Ｐｘ１＋ｄ３，Ｐｙ３）と撮影画像４２０の画素（Ｐｘ２，Ｐｙ３）の輝度値をｇ３に、撮影画像４１０の画素（Ｐｘ１＋ｄ４，Ｐｙ４）と撮影画像４２０の画素（Ｐｘ２，Ｐｙ４）の輝度値をｇ４にそれぞれ変更している。
【０１３６】
なお、輝度値ｇ１、ｇ２、ｇ３、ｇ４は、いずれも、周辺の画素の平均輝度値と大きく異なる値であるとする。このように、レーザレーダ測距部１１０より送信される距離情報に基づいて、ステレオ画像において同じオブジェクトを指し示している画素を特定し輝度値を変更することで、エネルギ計算部７３２において視差を確実に算出することが可能となる。つまり、視差演算の精度を向上させることが可能となる。
【０１３７】
＜情報埋め込み部における埋め込み処理の流れ＞
次に、情報埋め込み部２００１における情報埋め込み処理の流れについて説明する。図２２は、情報埋め込み部２００１における情報埋め込み処理の流れを示すフローチャートである。撮像部７１０及び撮像部７２０において撮影が開始されると、図２２に示す情報埋め込み処理を開始する。なお、図２２に示す情報埋め込み処理は、ステレオ画像１フレームごとに実行されるものとする（図２２の例では、１フレーム分のステレオ画像についての情報埋め込み処理について記載している）。
【０１３８】
ステップＳ２２０１では、撮像部７１０により撮影された撮影画像と、撮像部７２０により撮影された撮影画像を読み込む。ステップＳ２２０２では、ステップＳ２２０１において読み込まれた撮影画像と同期して測定された距離データを読み込む。
【０１３９】
ステップＳ２２０３では、ステップＳ２２０２において読み込まれた距離データに基づいて、ステップＳ２２０１において読み込まれたそれぞれの撮影画像において同じオブジェクトを指し示す画素を特定する。
【０１４０】
ステップＳ２２０４では、ステップＳ２２０３において特定した画素の輝度値をそれぞれ変更する。ステップＳ２２０５では、特定した画素の輝度値が変更された撮影画像をコスト計算部７３１に出力する。
【０１４１】
＜まとめ＞
以上の説明から明らかなように、本実施形態に係る視差演算システムでは、レーザ光により距離データを測定するレーザレーダ測距部１１０と、視差画像を算出するステレオ画像演算部１２０とを組み合わせるとともに、各部を以下のように構成した。
・ステレオ画像演算部１２０では、レーザレーダ測距部１１０より取得した距離情報に基づいて、対応するステレオ画像のフレームに含まれる各画素のうち、同じオブジェクトを指し示す画素を特定するように構成した。
・ステレオ画像演算部１２０では、距離情報に基づいて特定した画素の輝度値を、テクスチャが大きくなる方向に変更するように構成した。
【０１４２】
このように、レーザレーダ測距部１１０より取得した距離情報に基づいて、対応するステレオ画像のフレーム内の画素の輝度値を変更することで、エネルギ計算部において、視差を抽出しやすくすることが可能となる。この結果、視差演算の精度を向上させることが可能となる。
【０１４３】
［第４の実施形態］
上記第１乃至第３の実施形態では、撮像部７１０において撮影された撮影画像及び撮像部７２０において撮影された撮影画像を視差演算部７３０に直接入力する構成としたが、本発明はこれに限定されない。例えば、図２３に示すように、視差演算部７３０の前に、前処理部２３０１及び前処理部２３０２をそれぞれ配する構成としてもよい。つまり、撮像部７１０において撮影された撮影画像及び撮像部７２０において撮影された撮影画像に対して、前処理を行ったうえで、視差演算部７３０に入力する構成としてもよい。
【０１４４】
なお、前処理部２３０１及び前処理部２３０２において実行される前処理としては、例えば、ノイズ除去処理、歪み補正処理、ガンマ変換処理等が挙げられる。かかる前処理を実行することで、視差演算の精度を向上させることが可能となる。
【０１４５】
［第５の実施形態］
上記各実施形態では、レーザレーダ測距部１１０により距離データが測定される位置を、照射範囲内において４点としたが、本発明はこれに限定されず、少なくとも１点以上あれば、何点であってもよい。
【０１４６】
また、上記第１の実施形態では、エネルギ計算部７３２において、伝播パラメータの起点となる画素を１画素としたが、本発明はこれに限定されず、伝播パラメータの起点となる画素は、複数画素であってもよい。
【０１４７】
また、上記第１の実施形態では、エネルギ計算部７３２において、コストを計算するにあたり、１×１ブロックサイズにて実施する構成としたが、本発明はこれに限定されず、ブロックサイズは複数であってもよい。
【０１４８】
また、上記第１の実施形態では、視差−エネルギグラフから視差を抽出するにあたり、画素単位（整数値）で抽出する構成としたが、本発明はこれに限定されず、小数値で抽出する構成としてもよい。
【０１４９】
また、上記第１の実施形態では、視差−エネルギグラフを生成するにあたり、ｐ＝０〜１０の範囲で視差を変化させることとしたが、本発明はこれに限定されず、更に広い範囲または更に狭い範囲で視差を変化させるように構成してもよい。
【０１５０】
また、上記第１の実施形態では、レーザレーダ測距部１１０により測定された距離データが関連付けられた画素に対応する画素の視差ｄを、伝播パラメータを算出する際の起点となる伝播パラメータに用いることとしたが、本発明はこれに限定されない。視差ｄを他の方法により、デンスアルゴリズムに組み込むように構成してもよい。
【０１５１】
また、上記第２の実施形態では、レーザ光を旋回方向に３角度分旋回させる構成としたが、本発明はこれに限定されず、旋回方向の角度は、２角度であっても、４角度以上であってもよい。
【０１５２】
また、上記各実施形態では、レーザレーダ測距部１１０のレーザ光の照射方向を、仰角方向に旋回させることができるよう構成されていることとしたが、本発明はこれに限定されず、レーザ光は旋回せずに複数のレーザ光を用いる構成としてもよい。また、第５の実施形態においては、１つの固定のレーザ光としてもよい。
【０１５３】
また、上記各実施形態では、レーザレーダ測距部１１０により測定された距離データを、ステレオ画像演算部１２０における視差画像の生成に利用する効果の一例として、視差演算の精度向上を挙げたが、本発明の効果はこれに限定されない。例えば、視差演算の精度が向上することで、路面上の物体の認識率が向上する効果も、本発明の効果に含まれるものとする。
【０１５４】
更に、上記各実施形態では、レーザレーダ測距部１１０より照射されたレーザの反射光から、レーザの照射位置までの距離情報を取得する構成としたが本発明はこれに限定されない。レーザレーダ測距部以外の電磁波測距部より照射された電磁波の反射波から、電磁波の照射位置までの距離情報を祝とする構成としてもよい。
【０１５５】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１５６】
１００              ：視差演算システム
１１０              ：レーザレーダ測距部
１２０              ：ステレオ画像演算部
２００              ：自動車
４１０              ：撮影画像
４２０              ：撮影画像
５２０              ：照射範囲
６０１              ：信号処理部
６０２              ：仰角方向スキャンドライブユニット
６０３              ：モータ
６０４              ：仰角方向スキャンミラー
６０５              ：レーザ受光部
６０６              ：信号増幅器
６０７              ：時間間隔カウンタ
６０８              ：レーザ出力部
６０９              ：レーザドライバ
７１０              ：撮像部
７２０              ：撮像部
７３０              ：視差演算部
７３１              ：コスト計算部
７３２              ：エネルギ計算部
７３３              ：視差計算部
１２１０〜１２１４  ：画素
１２２０            ：画素
１７１１            ：照射範囲
１７１２            ：照射範囲
１７１３            ：照射範囲
１８０１            ：画素
１８０２            ：画素
２００１            ：情報埋め込み部
２３０１            ：前処理部
２３０２            ：前処理部
【先行技術文献】
【特許文献】
【０１５７】
【特許文献１】特許第３２１２２１８号公報
【特許文献２】特許第４２６５９３１号公報
【図１】
2015143679.tif 000005
【図２】
2015143679.tif 000006
【図３】
2015143679.tif 000007
【図４】
2015143679.tif 000008
【図５】
2015143679.tif 000009
【図６】
2015143679.tif 000010
【図７】
2015143679.tif 000011
【図８】
2015143679.tif 000012
【図９】
2015143679.tif 000013
【図１０】
2015143679.tif 000014
【図１１】
2015143679.tif 000015
【図１２】
2015143679.tif 000016
【図１３】
2015143679.tif 000017
【図１４】
2015143679.tif 000018
【図１５】
2015143679.tif 000019
【図１６】
2015143679.tif 000020
【図１７】
2015143679.tif 000021
【図１８】
2015143679.tif 000022
【図１９】
2015143679.tif 000023
【図２０】
2015143679.tif 000024
【図２１】
2015143679.tif 000025
【図２２】
2015143679.tif 000026
【図２３】
2015143679.tif 000027