(57)【要約】【課題】異なる空間分解能の画像を取得する複数のカメラを有し、被写体との距離を測定して距離画像を形成する撮像装置において、距離画像の空間分解能を向上させることを課題とする。【解決手段】開示の技術の一態様に係る撮像装置は、所定の視野で第１の空間分解能を有する第１の画像を取得するカメラと、前記第１の空間分解能より低い第２の空間分解能を有する第２の画像を取得するカメラと、が所定の配列方向に所定の間隔で配列され、前記第１の画像と、前記第２の画像と、に基づき測定された被写体との距離から、距離画像を形成する撮像装置であって、前記距離画像は、前記配列方向と交差する方向において、前記第１の空間分解能を有することを特徴とする。【選択図】図１
2019158776.tif 000002
【特許請求の範囲】
【請求項１】
所定の視野で第１の空間分解能を有する第１の画像を取得するカメラと、前記第１の空間分解能より低い第２の空間分解能を有する第２の画像を取得するカメラと、が所定の配列方向に所定の間隔で配列され、
前記第１の画像と、前記第２の画像と、に基づき測定された被写体との距離から、距離画像を形成する撮像装置であって、
前記距離画像は、前記配列方向と交差する方向において、前記第１の空間分解能を有する
ことを特徴とする撮像装置。
【請求項２】
前記第１の画像と、前記第２の画像と、に基づき、前記距離画像を形成する処理手段を有し、
前記処理手段は、
前記第２の画像において、前記第１の画像の前記視野に該当する画像領域を抽出する画像領域抽出手段と、
前記画像領域の画素数を前記第１の画像の前記画素数に合わせた、画素数合わせ画像を形成する画素数合わせ手段と、
前記画素数合わせ画像と、前記第１の画像との間で前記配列方向の視差を検出する視差検出手段と、
前記視差と、前記間隔とに基づいて算出された前記距離から前記距離画像を形成する距離画像形成手段と、を有する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の画像は、前記第１の空間分解能を表す第１の画素ピッチで構成され、
前記第２の画像は、前記第２の空間分解能を表す第２の画素ピッチで構成され、
前記視差検出手段は、前記画素数合わせ画像の一部、又は全部の画素群を、前記配列方向に前記第１の画素ピッチでシフトさせ、前記シフト毎で、前記画素数合わせ画像と前記第１の画像の類似性の評価値を算出する視差探索処理を実行し、
前記視差検出手段は、前記画素数合わせ画像の前記画素群を、前記配列方向と交差する方向に、前記第１の画素ピッチでずらしながら、前記視差探索処理を実行し、
前記評価値は、前記第２の画素ピッチで構成される画像に対して算出され、
前記配列方向と交差する方向において、前記第１の空間分解能を有する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第２の画像と、前記距離画像とを出力する
ことを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
【請求項５】
請求項１乃至４の何れか１項に記載の撮像装置を有する
ことを特徴とする車両。
【請求項６】
所定の視野で第１の空間分解能を有する第１の画像を取得するカメラと、前記第１の空間分解能より低い第２の空間分解能を有する第２の画像を取得するカメラと、が所定の配列方向に所定の間隔で配列され、
前記第１の画像と、前記第２の画像と、に基づき測定された被写体との距離から、距離画像を形成する撮像方法であって、
前記第２の画像において、前記第１の画像の前記視野に該当する画像領域を抽出する画像領域抽出工程と、
前記画像領域の画素数を前記第１の画像の前記画素数に合わせた、画素数合わせ画像を形成する画素数合わせ工程と、
前記画素数合わせ画像と、前記第１の画像との間で前記配列方向の視差を検出する視差検出工程と、
前記視差と、前記間隔とに基づいて算出された距離から距離画像を形成する距離画像形成工程と、を有する
ことを特徴とする撮像方法。
【請求項７】
前記第１の画像は、前記第１の空間分解能を表す第１の画素ピッチで構成され、
前記第２の画像は、前記第２の空間分解能を表す第２の画素ピッチで構成され、
前記視差検出手段は、前記画素数合わせ画像の一部、又は全部の画素群を、前記配列方向に前記第１の画素ピッチでシフトさせ、前記シフト毎で、前記画素数合わせ画像と前記第１の画像の類似性の評価値を算出する視差探索処理を実行し、
前記視差検出手段は、前記画素数合わせ画像の前記画素群を、前記配列方向と交差する方向に、前記第１の画素ピッチで上下にずらしながら、前記視差探索処理を実行し、
前記評価値は、前記第２の画素ピッチで構成される画像に対して複数個算出し、前記第１の画素に対して複数個算出し、算出された複数の評価値から該当位置の視差とする
ことを特徴とする請求項２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、車両、及び撮像方法に関する。
【背景技術】
【０００２】
車載や監視などの用途では、ステレオカメラ等を用いて得ることができる３次元情報を利用した空間認識や環境認識が盛んになっている。ステレオカメラ等では、基準とする一方の画像内の画素群と、他方の画像の画素群とから、画像間の相対的な画素群のずれ量である視差を算出する。算出した視差に基づく三角測量により、被写体までの距離を測定する。
【０００３】
ステレオカメラでは、視野の広さと距離の測定分解能はトレードオフの関係にあり、これらを両立させることは課題のひとつとなっている。視野が広く、高精度な距離測定を行うステレオカメラとして、例えば、空間分解能は低いが視野の広いカメラと、視野は狭いが空間分解能の高いカメラとを有するステレオカメラで距離を測定する技術が開示されている（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら特許文献１のステレオカメラ等の異なる空間分解能の画像を取得する複数のカメラを有し、被写体との距離を測定する撮像装置では、一方のカメラの空間分解能が低いために、撮像装置で取得される距離画像の空間分解能が低くなってしまうという問題があった。
【０００５】
本発明は、上記の点に鑑みてなされたものであって、異なる空間分解能の画像を取得する複数のカメラを有し、被写体との距離を測定して距離画像を形成する撮像装置において、距離画像の空間分解能を向上させることを課題とする。
【課題を解決するための手段】
【０００６】
開示の技術の一態様に係る撮像装置は、所定の視野で第１の空間分解能を有する第１の画像を取得するカメラと、前記第１の空間分解能より低い第２の空間分解能を有する第２の画像を取得するカメラと、が所定の配列方向に所定の間隔で配列され、前記第１の画像と、前記第２の画像と、に基づき測定された被写体との距離から、距離画像を形成する撮像装置であって、前記距離画像は、前記配列方向と交差する方向において、前記第１の空間分解能を有することを特徴とする。
【発明の効果】
【０００７】
本発明の実施形態によれば、異なる空間分解能の画像を取得する複数のカメラを有し、被写体との距離を測定して距離画像を形成する撮像装置において、距離画像の空間分解能を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態の撮像装置の構成の一例を示す図である。
【図２】第１の実施形態の撮像装置で取得される画像の一例を示す図である。
【図３】第１の実施形態の画像処理基板の構成要素を機能ブロックで示す図である。
【図４】第１の実施形態の画像領域抽出部による処理の一例を説明する図である。
【図５】第１の実施形態の画素数合わせ部による処理の一例を説明する図である。
【図６】視差の検出方法の概要を説明する図である。
【図７】コストカーブの一例を説明する図である。
【図８】第１の実施形態の視差検出部による処理の一例を説明する図である。
【図９】第１の実施形態の視差検出部による処理の一例を示すフローチャートである。
【図１０】第１の実施形態の距離画像の一例を説明する図である。
【図１１】第１の実施形態の画像処理基板による処理の一例を示すフローチャートである。
【図１２】第２の実施形態の、撮像装置を搭載した車両の構成の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。
【００１０】
［第１の実施形態］
図１は、本実施形態の撮像装置の構成の一例を示す図である。
【００１１】
撮像装置１００は、カメラ１と、カメラ２と、画像処理基板１０とを有している。
【００１２】
カメラ１は、レンズ３１１と、画像センサ３２１と、画像センサコントローラ３３１とを有している。カメラ２は、レンズ３１２と、画像センサ３２２と、画像センサコントローラ３３２とを有している。尚、以下では、レンズ３１１と３１２を単にレンズ３１と称し、画像センサ３２１と３２２を単に画像センサ３２と称し、画像センサコントローラ３３１〜３３Ｎを単に画像センサコントローラ３３と称する場合がある。
【００１３】
カメラ１は、レンズ３１１による被写体５０の像を、画像センサ３２１で撮像し、出力する。同様にカメラ２は、レンズ３１２による被写体５０の像を画像センサ３２２で撮像し、出力する。
【００１４】
カメラ１が備えるレンズ３１１の焦点距離ｆ１と、カメラ２が備えるレンズ３１２の焦点距離ｆ２は異なっており、焦点距離ｆ２は焦点距離ｆ１より短い。これによりカメラ２の光学倍率は、カメラ１に対して低い。光学倍率が低いことで、カメラ２では、カメラ１に対し、視野が広い画像が取得される。またその反面で、カメラ２による画像の空間分解能は、カメラ１に対して低くなる。このような画像の視野と空間分解能については、別途詳述する。
【００１５】
カメラ１とカメラ２が備える画像センサ３２１と画像センサ３２２は同仕様のものが用いられている。同様にカメラ１が備える画像センサコントローラ３３１と画像センサコントローラ３３２も同仕様のものが用いられている。
【００１６】
画像センサ３２は、例えば撮像素子であり、撮像素子としてＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal-Oxide-Semiconductor）を用いることができる。
【００１７】
カメラ１とカメラ２は、レンズ３１の光軸と交差する方向に配列され、ベース板上に固定されている。レンズ３１１の光軸と、レンズ３１２の光軸は略平行である。カメラ１とカメラ２が配列する方向において、カメラ１の備えるレンズ３１１の光軸と、カメラ２の備えるレンズ３１２の光軸との間隔を、基線長Ｂと称する。
【００１８】
尚、カメラ１とカメラ２が配列する方向は、「配列方向」の一例であり、基線長Ｂは「所定の間隔」の一例である。カメラ１とカメラ２が配列する方向と交差する方向は、「配列方向と交差する方向」の一例である。配列方向は、カメラ１とカメラ２により取得される画像の水平方向に該当し、配列方向と交差する方向は、カメラ１とカメラ２により取得される画像の垂直方向に該当する。
【００１９】
画像センサコントローラ３３は，画像センサ３２の露光制御、画像データの読み出し制御、外部回路との通信、及び画像データの送信等を行う。画像データは輝度画像データである。
【００２０】
カメラ１とカメラ２は、データバス２０及びシリアルバス２１を介して、それぞれ画像処理基板１０と接続している。
【００２１】
画像処理基板１０は、ＣＰＵ（Central  Processing  Unit）１１と、ＦＰＧＡ（Field-Programmable Gate Array）１２と、ＲＡＭ（Random  Access  Memory）１３と、ＲＯＭ（ReadｎOnly  Memory）１４と、シリアルＩＦ（Interface）１５と、データＩＦ１６とを有している。これらはデータバス２０と、シリアルバス２１を介して相互に接続されている。
【００２２】
ＣＰＵ１１は、画像処理基板１０の動作を統括的に制御する。またＣＰＵ１１は、カメラ１とカメラ２で撮像した画像の画像処理や画像認識処理等を実行する。ＣＰＵ１１は、ＲＡＭ１３をワークエリア（作業領域）としてＲＯＭ１４等に格納されたプログラムを実行することで、上記の制御及び処理を実行し、後述する各種機能を実現する。尚、ＣＰＵ１１の有する機能の一部、又は全部をワイヤードロジックによるハードウェアにより実現させてもよい。
【００２３】
カメラ１とカメラ２による画像データは、データバス２０を通じて画像センサ３２から画像処理基板１０のＲＡＭ１３に転送される。
【００２４】
ＦＰＧＡ１２は、ＲＡＭ１３に保存された画像データに対してリアルタイム性が要求される処理を実行する。リアルタイム性が要求される処理とは、例えばガンマ補正，ゆがみ補正（左右画像の平行化）等の画像処理である。またＦＰＧＡ１２は、カメラ１、カメラ２による画像データに対し、ブロックマッチングによる視差演算を行って視差画像を生成する。生成された視差画像は、ＲＡＭ１３に書き戻される。
【００２５】
ＣＰＵ１１、及びＦＰＧＡ１２は、シリアルバス２１を通じて画像センサコントローラ３３に対し、センサ露光制御値の変更、画像読み出しパラメータ変更、及び各種設定データの送受信を行う。
【００２６】
シリアルＩＦ１５は、デジタルデータを1ビットずつ順次伝送、または、そのような方式を用いる接続インターフェースである。データＩＦ１６は、画像処理基板１０とＰＣ（Personal Computer）等の外部機器を接続するためのインターフェースである。
【００２７】
図２は、カメラ１とカメラ２で取得される画像の一例を示す図である。（ａ）は実環境における被写体を示し、（ｂ）はカメラ１で取得された画像１Ｉｍを示し、（ｃ）はカメラ２で取得された画像２Ｉｍを示す。被写体５０の像は、カメラ１では被写体像５０Ｉｍ１でとして、またカメラ２では被写体像５０Ｉｍ２として示されている。
【００２８】
図２に示されているように、カメラ２で取得された画像２Ｉｍは、カメラ１で取得された画像１Ｉｍに対して視野が広く、画像２Ｉｍの視野の一部に画像１Ｉｍの視野が含まれている。画像１Ｉｍと画像２Ｉｍとの間には、被写体までの距離と基線長Ｂに応じた視差が含まれている。尚、以下では、被写体までの距離を被写体距離と称する場合がある。
【００２９】
一方、被写体像５０Ｉｍ２は被写体像５０Ｉｍ１より小さく撮像されている。これは、被写体像５０Ｉｍ２を構成する画素数が、同じ被写体５０の像である被写体像５０Ｉｍ１より少なく、空間分解能が低いことを意味している。つまり画像２Ｉｍは画像１Ｉｍに対して空間分解能が低い。
【００３０】
空間分解能は、画像センサ３２の画素サイズをレンズ３１の光学倍率で除した値である。光学倍率は、およそ、レンズ３１の焦点距離を被写体距離で除した値である。従って、本実施形態では、画像１Ｉｍと画像２Ｉｍとの間の空間分解能の差は、レンズ３１１とレンズ３１２の焦点距離の差により決定されている。但し、これに限定はされない。カメラ１の画像センサ３２１とカメラ２の画像センサ３２２との間で画素サイズ、又は画素数等の仕様を異ならせて両者の空間分解能を異ならせてもよい。また、レンズ３１の仕様と画像センサ３２の仕様を組み合わせて異ならせてカメラ１とカメラ２の空間分解能を異ならせてもよい。
【００３１】
尚、本実施形態では「画素ピッチ」という用語を用いる場合があるが、「画素ピッチ」は、「画素サイズ」を光学倍率で除した空間分解能を表す用語として用いている。一方、「画素サイズ」という用語を用いる場合は、光学倍率は考慮せず、画像センサ３２の単なる画素の大きさを表している。
【００３２】
カメラ１は、「第１の空間分解能を有する第１の画像を取得するカメラ」の一例であり、画像１Ｉｍは「第１の画像」の一例であり、画像１Ｉｍの空間分解能は「第１の空間分解能」の一例である。またカメラ２は、「第１の空間分解能より低い第２の空間分解能を有する第２の画像を取得するカメラ」の一例であり、画像２Ｉｍは「第２の画像」の一例であり、画像２Ｉｍの空間分解能は「第２の空間分解能」の一例である。
【００３３】
以下では、画像１Ｉｍの空間分解能は、画像２Ｉｍの空間分解能の２倍である場合を例に説明する。この２倍は、水平方向に２倍、また垂直方向に２倍という意味である。
【００３４】
本実施形態の撮像装置１００では、このような画像１Ｉｍと、画像２Ｉｍとを取得し、画像処理基板１０により所定の処理を実行して距離画像を形成する。距離画像とは、距離が測定された画素、又は画素群を、二次元に配列して形成した画像である。
【００３５】
図３は、本実施形態の撮像装置１００の有する画像処理基板１０の構成要素を機能ブロックで示す図である。尚、図３に図示される各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部又は一部を、任意の単位で機能的又は物理的に分散・結合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部又は任意の一部が、上述のＣＰＵ１１にて実行されるプログラムにて実現され、或いはワイヤードロジックによるハードウェアとして実現されうる。尚、画像処理基板１０は、「処理手段」の一例である。
【００３６】
画像処理基板１０は、画像領域抽出部２５と、画素数合わせ部２６と、視差検出部２７と、距離画像形成部２８とを有している。
【００３７】
画像領域抽出部２５は、カメラ２で取得された画像２Ｉｍから、カメラ１で取得された画像１Ｉｍの視野に該当する画像領域を抽出する。尚、画像領域抽出部２５は、「画像領域抽出手段」の一例である。
【００３８】
図４は、本実施形態の画像領域抽出部２５による上記のような画像領域の抽出の一例を説明する図である。（ａ）はカメラ１で取得された画像１Ｉｍを示し、（ｂ）はカメラ２で取得された画像２Ｉｍを示している。（ｂ）において破線で示されている画像領域２ａｒｅａは、画像１Ｉｍの視野に該当する画像領域である。（ｃ）は、このような画像領域２ａｒｅａを、画像２Ｉｍから抽出した結果である画像領域２２を示している。
【００３９】
撮像装置１００を組み付ける際に、カメラ１とカメラ２の相対位置関係は調整されており、画像１Ｉｍの視野に該当する画像領域は、画像２Ｉｍの所定の領域に決定されている。従って画像２Ｉｍの所定の領域を切り出すことで、画像領域２２を抽出することができる。
【００４０】
図３に戻り、画素数合わせ部２６は、画像領域２２の画素数を画像２Ｉｍの画素数に合わせる処理を実行する。尚、画素数合わせ部２６は、「画素数合わせ手段」の一例である。
【００４１】
図５は、本実施形態の画素数合わせ部２６による画素数を合わせる処理の一例を説明する図である。図５において、（ａ）は画像１Ｉｍを示し、（ｂ）は、画素数合わせ処理が実行された後の画素数合わせ画像２２ａを示している。（ｂ）における画素数合わせ画像２２ａは、画像領域２２が水平方向に２倍に拡大され、また垂直方向に２倍に拡大されたものである。拡大された結果、画像１Ｉｍを構成する画素数と画素数合わせ画像２２ａを構成する全体の画素数は一致している。
【００４２】
画素数合わせ画像２２ａを構成する画素に注目すると、画像領域２２を構成していた画素２２ｐの輝度は、水平、垂直、及び斜め方向の隣接画素にコピーされ、（ｂ）に破線で示し、灰色で塗り潰した画素２２ａｐは、４つの画素２２ｐで構成されている。画像領域２２を構成する全画素に対してこのような処理が実行されると、画素数合わせ画像２２ａは、画像領域２２を、水平に２倍に拡大し、また垂直方向に２倍に拡大した画像になる。尚、カメラ１とカメラ２では同仕様の画像センサ３２を用いているため、（ａ）に示される画像１Ｉｍの画素１ｐと、（ｂ）に示される画素数合わせ画像２２ａの画素２２ｐは同じ画素サイズである。
【００４３】
上述のように画素１ｐの画素サイズを光学倍率で除した画素ピッチは、「第１の空間分解能」を表し、「第１の空間分解能を表す第１の画素ピッチ」の一例である。一方、画素２２ａｐ（灰色で塗った領域を示す画素）の画素サイズを光学倍率で除した画素ピッチは、「第２の空間分解能」を表し、「第２の空間分解能を表す第２の画素ピッチ」の一例である。画素数合わせ画像２２ａは、「画素数合わせ画像」の一例である。
【００４４】
図３に戻り、視差検出部２７は、画像１Ｉｍと画素数合わせ画像２２ａとの間で、視差を検出する。尚、視差検出部２７は、「視差検出手段」の一例である。
【００４５】
ここで、視差の検出方法の概要を図６〜８を用いて説明する。図６は、視差を有する画像４１Ｉｍと画像４２Ｉｍを示す図である。画像４１Ｉｍと画像４２Ｉｍには、それぞれ被写体像５１Ｉｍが含まれている。画像４２Ｉｍの被写体像５１Ｉｍの位置は、視差により画像４１Ｉｍの被写体像５１Ｉｍの位置から視差ｄだけ画像の水平方向、すなわち配列方向にずれている。
【００４６】
例えば、図６において、画像４１Ｉｍにおける被写体像５１Ｉｍの周辺の画像領域を図中右方向、すなわち配列方向に１画素ずつシフトさせながら、シフト毎で画像４１Ｉｍと画像４２Ｉｍの被写体像５０Ｉｍの周辺の画像領域の差分を計算する。画像領域の差分とは、画像領域を構成する各画素で２つの画像の輝度差を求め、この画像領域の全画素の輝度差の総和、又は平均を算出する処理である。被写体像５１Ｉｍの視差ｄだけシフトさせた時に、このような画像領域の差分は最小になる。
【００４７】
図７は、被写体像５１Ｉｍのシフトに伴う画像領域の差分の変化を説明する図である。画像４１Ｉｍにおける被写体像５１Ｉｍの周辺の画像領域をシフトさせると、図７に示されるように、画像領域の差分が最小になる時がある。この時のシフト値が、視差ｄの検出値となる。
【００４８】
画像領域の差分の最小値を求めるためには、差分が最小値となるシフト値が含まれるように、一定の範囲内で被写体像５０Ｉｍの周辺の画像領域をシフトさせる必要があるが、この範囲を「視差探索範囲」と称する。図６、及び図７で「ＳＷ」で示されている範囲が「視差探索範囲」である。
【００４９】
画像領域の差分は、「類似性の評価値」の一例である。以下では、「類似性の評価値」を「コスト」と称する場合がある。またシフトに伴う画像領域の差分の変化を「コストカーブ」と称する場合がある。このようなコストカーブを取得する処理は、「視差探索処理」の一例である。
【００５０】
上記では簡単に説明するために、被写体像５１Ｉｍの周辺の画像領域をシフトさせる例を示したが、画像４１Ｉｍにおける７×７画素や１５×１５画素等の微小ブロックをシフトさせ、画像４２Ｉｍにおける同サイズの微小ブロックとの差分を求めてもよい。微小ブロックには１×１画素のブロックも含まれる。これによれば、微小ブロック毎で被写体距離を算出できる。被写体距離が算出された微小ブロックを二次元に配列して画像を形成することで、距離画像を形成することができる。尚、微小ブロックは、「画像の一部、又は全部の画素群」の一例である。微小ブロックを用いて類似性を評価する処理は、所謂ブロックマッチング処理である。
【００５１】
「類似性の評価値」として、画像領域の差分の例を示したが、ブロックマッチングの「類似性の評価値」としては、公知の何れの類似性の評価値を用いても構わない。
【００５２】
上記では、画像４１Ｉｍをシフトさせながら画像４２Ｉｍとの間で「類似性の評価値」、すなわちコストを算出する例を説明したが、このようなシフトさせる画像を基準画像と称し、基準画像との間でコストを算出するための画像を比較画像と称する。上記の例では、画像４１Ｉｍは基準画像であり、画像４２Ｉｍは比較画像である。
【００５３】
画像領域を１画素ずつシフトさせるため、視差の検出値は画素数の整数値で得られる。しかし、例えばシフトに伴うコストの変化を多項式に近似し、多項式を用いて最小値を算出したりすれば、小数単位で視差を算出することも可能である。このように、視差の検出値を小数単位、すなわちサブピクセルのオーダーで求めることにより、被写体距離の測定分解能を向上させることができる。
【００５４】
図８は、本実施形態の視差検出部２７による処理の一例を説明する図である。（ａ）は画像１Ｉｍを示し、（ｂ）は画素数合わせ画像２２ａを示している。図中矢印で示されているＸ方向は画像の水平方向であり、Ｙ方向は画像の垂直方向である。従って、Ｘ方向は配列方向に該当し、Ｙ方向は配列方向と交差する方向に該当する。
【００５５】
（ａ）における画素１ｐ（ｉ、ｊ）、１ｐ（ｉ＋３、ｊ）、及び１ｐ（ｉ、ｊ＋１）は画像１Ｉｍの画素を示し、括弧内の表示のうち、ｉはＸ座標、ｊはＹ座標を示している。画素１ｐ（ｉ＋３、ｊ）は、画素１ｐ（ｉ、ｊ）に対しＸ方向に３画素ずれていることを表し、画素１ｐ（ｉ、ｊ＋１）は、画素１ｐ（ｉ、ｊ）に対しＹ方向に１画素ずれていることを表している。
【００５６】
（ｂ）における画素２２ａｐ（ｍ、ｎ）、２２ａｐ（ｍ＋１、ｎ）も（ａ）と同様に、画素数合わせ画像２２ａの画素を示し、括弧内の表示のうち、ｍはＸ座標、ｎはＹ座標を示している。画素２２ａｐ（ｍ＋１、ｎ）は、画素２２ａｐ（ｍ、ｎ）に対しＸ方向に１画素ずれていることを表している。
【００５７】
本実施形態では、画素数合わせ画像２２ａを基準画像とし、画像１Ｉｍは比較画像とする。
【００５８】
（ｃ）は、比較画像である画像１Ｉｍとの間でコストを算出するために、基準画像である画素数合わせ画像２２ａの画素２２ａｐ（ｍ，ｎ）を、画像１Ｉｍの左上の画像領域に適用した例を示している。この場合の微小ブロックは１×１画素のブロックサイズである。微小ブロックは、「画素数合わせ画像の一部」の一例である。
【００５９】
（ｃ）において、画素１ｐ（ｉ、ｊ）、１ｐ（ｉ＋１、ｊ）、１ｐ（ｉ、ｊ＋１）、及び１ｐ（ｉ＋１、ｊ＋１）の輝度の平均値と、画素２２ａｐ（ｍ、ｎ）の輝度値との間でコストを算出する。
【００６０】
次に（ｄ）は、（ｃ）に対して画素２２ａｐ（ｍ，ｎ）をＸ方向にシフトさせた例を示している。この場合、コストは、画素１ｐ（ｉ＋１、ｊ）、１ｐ（ｉ＋２、ｊ）、１ｐ（ｉ＋１、ｊ＋１）、及び１ｐ（ｉ＋２、ｊ＋１）の輝度の平均値と、画素２２ａｐ（ｍ、ｎ）の輝度値との間で算出される。視差検出部２７はこのようにＸ方向にシフトさせながら、コストを算出してコストカーブを算出する。すなわち視差検出部２７は視差探索処理を実行する。
【００６１】
次に（ｅ）は、（ｃ）に対して画素２２ａｐ（ｍ，ｎ）をＹ方向に、画素１ｐ分ずらした例を示している。この場合、コストは、画素１ｐ（ｉ、ｊ＋１）、１ｐ（ｉ＋１、ｊ＋１）、１ｐ（ｉ、ｊ＋２）、及び１ｐ（ｉ＋１、ｊ＋２）の輝度の平均値と、画素２２ａｐ（ｍ、ｎ）の輝度値との間で算出される。
【００６２】
次に（ｆ）は、（ｅ）に対して画素２２ａｐ（ｍ，ｎ）をＸ方向にシフトさせた例を示している。この場合、コストは、画素１ｐ（ｉ＋１、ｊ＋１）、１ｐ（ｉ＋２、ｊ＋１）、１ｐ（ｉ＋１、ｊ＋２）、及び１ｐ（ｉ＋２、ｊ＋２）の輝度の平均値と、画素２２ａｐ（ｍ、ｎ）の輝度値との間で算出される。視差検出部２７はこのように、Ｙ方向に画素１ｐ分ずらした領域において、Ｘ方向にシフトさせながら、コストを算出してコストカーブを算出する。すなわち視差検出部２７は、Ｙ方向に画素１ｐ分ずらした領域において、視差探索処理を実行する。
【００６３】
以上のように、本実施形態の視差検出部２７は、基準画像である画素数合わせ画像２２ａの微小ブロックを、画素１ｐの画素ピッチでシフトさせ、シフト毎で、画素２２ａｐの画素ピッチで構成された画像に対してコストを算出する。すなわち視差探索処理を実行する。また視差検出部２７は、Ｙ方向に画素１ｐの画素ピッチずつずらして、視差探索処理を実行する。
【００６４】
上述のように画素１ｐは第１の空間分解能を表す第１の画素ピッチであり、画素２２ａｐは第２の空間分解能を表す第２の画素ピッチである。そのため、本実施形態の視差検出部２７は、画素数合わせ画像２２ａの一部、又は全部の画素群を、配列方向に第１の画素ピッチでシフトさせ、シフト毎で、コストを算出する視差探索処理を実行している。
【００６５】
また視差検出部２７は、画素数合わせ画像２２ａの一部、又は全部の画素群を、配列方向と交差する方向に、第１の画素ピッチでずらしながら、視差探索処理を実行している。
【００６６】
さらに視差検出部２７は、視差探索処理においては、第２の画素ピッチで構成される画像に対してコストを算出している。
【００６７】
基準画像の微小ブロックをシフトさせながらコストを算出することで、微小ブロック毎で、図７に示されるようなコストカーブが得られる。コストが最小となる時のシフト量から視差が算出される。
【００６８】
尚、視差探索処理では、コストの最小値が得られるシフトが視差探索範囲内に含まれるように、視差探索処理を実行する度に視差探索範囲（画素数）を適正化する処理を行う場合がある。本実施形態において、図８（ｃ）及び（ｄ）の視差探索処理と、図８（ｅ）及び（ｆ）の視差探索処理は、Ｙ方向に画素１ｐだけずれた画素に対する処理である。比較画像において、図８（ｃ）及び（ｄ）で対象とする画素と、図８（ｅ）及び（ｆ）で対象とする画素は、第２の画素ピッチで視差探索処理を行う場合には同一の画素であり、視差探索範囲はほぼ一致すると考えられる。そのため、図８で示した例のようなケースでは、図８（ｅ）及び（ｆ）のようなＹ方向のシフト量が奇数になる行の視差探索処理の探索範囲を図８（ｃ）及び図８（ｄ）で図示されているような偶数行(Ｙ方向±１行)で算出した視差から決定することで視差探索範囲を適正化し、処理を効率化する。
【００６９】
また上記では、画素１ｐ（ｉ、ｊ）、１ｐ（ｉ＋１、ｊ）、１ｐ（ｉ、ｊ＋１）、及び１ｐ（ｉ＋１、ｊ＋１）の４つの画素の輝度の平均値をコストの算出に用いる例を示したが、これに限定はされない。例えば４つの画素の輝度の総和を用いてもよいし、４つの画素のうちの１つの画素の輝度を、４つの画素の輝度の代表値として用いても構わない。
【００７０】
図９は、本実施形態の視差検出部２７による処理の一例を示すフローチャートである。
【００７１】
先ず、視差検出部２７は、基準画像である画素数合わせ画像２２ａの微小ブロックをシフトさせながら、比較画像である画像１Ｉｍとの間でコストを算出し、コストカーブを算出する（ステップＳ１００１）。
【００７２】
次に、視差検出部２７は、算出したコストカーブから、コストが最小となる時のシフトの整数値を求める（ステップＳ１００３）。本実施形態では、このシフトは、第１の画素ピッチで求めることができる。
【００７３】
次に、視差検出部２７は、コストカーブとシフトの整数値に基づき、サブピクセル推定を行う（ステップＳ１００５）。すなわち、コストが最小となる時、及びその前後のシフトの整数値及びコスト値から、等角直線法やパラボラフィッティング法等を用いてサブピクセル推定を行う。またＥＥＣ（サブピクセル推定誤差低減手法;Estimation Error Cancel method）法や、これに等角直線法、又はパラボラフィッティング法組み合わせた等角直線ＥＥＣ法やパラボラＥＥＣ法を用いてもよい。
【００７４】
所定の注目画素において、最小のコスト値をＣｏｓｔｍｉｎとし、その近傍のコスト値をＣｏｓｔｍｉｎ＋１、Ｃｏｓｔｍｉｎ―１とすると、パラボラフィッティングのサブピクセル推定により、視差dparaは以下の（１）式から算出することができる。
【００７５】
d_para＝（Ｃｏｓｔｍｉｎ−１-Ｃｏｓｔｍｉｎ＋１）/｛２×(Ｃｏｓｔｍｉｎ−１−２×Ｃｏｓｔｍｉｎ+Ｃｏｓｔｍｉｎ＋１)｝      （１）
尚、視差検出部２７は、画素数合わせ画像２２ａをシフトさせる際、画素数合わせ画像２２ａの微小ブロックをシフトさせる場合は、微小ブロックとなる領域をずらしながら、コストカーブを算出する。視差検出部２７は、画素数合わせ画像２２ａを構成する全ての微小ブロックに対してコストカーブを算出し、サブピクセル推定して視差を算出する。
【００７６】
第１の空間分解能を表す第１の画素ピッチで視差探索処理を実行するため、第１の画素ピッチで視差が検出され、またサブピクセル推定される。
【００７７】
図３に戻り、距離画像形成部２８は、このようにして検出された視差ｄと基線長Ｂに基づき、次の（２）式を用いて被写体距離Ｄを算出する。
【００７８】
Ｄ＝（Ｂ×ｆ２）／（ｄ×Δ）        （２）
但し、ｆ２はレンズ３１２の焦点距離、Δは、画像センサ３２の画素サイズである。尚、距離画像形成部２８は、「距離画像形成手段」の一例である。
【００７９】
本実施形態では、第１の画素ピッチで視差探索処理を行うため、距離分解能は、第１の空間分解能で測定した場合の距離の測定分解能が得られる。つまり、カメラ２で取得される画像は、焦点距離がｆ２のレンズを用いて取得される画像となる。しかし、上述の視差探索処理を実行することで、ｆ２の２倍である焦点距離ｆ１のレンズを用いて取得される画像により距離を測定した場合と同等の測定分解能が得られる。
【００８０】
距離画像形成部２８は、距離を例えば画素輝度に置き換え、微小ブロック毎の距離を表す画素輝度を、二次元に配列して距離画像を形成し、出力する。
【００８１】
図１０は、本実施形態の距離画像の一例を説明する図である。破線で示されている画素２２ａｐは、第２の空間分解能を表す第２の画素ピッチを示している。横線ハッチングで示されている画素２３と、斜線ハッチングで示されている画素２４は、視差が算出され、（２）式により距離が算出された画素を示している。
【００８２】
本実施形態では、Ｙ方向に画素１ｐ、すなわち第１の画素ピッチずつずらして、視差探索処理を実行する。そのため、図示されているように、画素２３と画素２４は、Ｙ方向において画素２２ａｐに対して半分の画素ピッチ、つまり第１の画素ピッチとなっている。従って距離画像は、Ｙ方向、すなわち配列方向と交差する方向において、第１の空間分解能を有しており、第２の空間分解能に対して空間分解能が向上している。
【００８３】
また算出した視差はそのまま用いるだけでなく多項式フィッティングなどを用いて算出してもよい。
【００８４】
上述では図８（ａ）のｊ＋１のラインは図８（ｂ）のｎ行のラインと視差探索しているが、それに加えてｎ＋１行のラインと視差探索し、ｊ＋１のラインの位置を重みとして加重平均などを用いて視差値を求めてもよい。このようにすることで、空間分解能差が２倍以上になったときにより精度のよい視差算出ができる。
【００８５】
図１１は、本実施形態の画像処理基板１０による処理の一例を示すフローチャートである。
【００８６】
先ず、カメラ１とカメラ２はそれぞれ被写体の画像を取得する（ステップＳ１２０１）。
【００８７】
次に、画像領域抽出部２５は、カメラ２で取得された画像２Ｉｍから、カメラ１で取得された画像１Ｉｍの視野に該当する画像領域２ａｒｅａを抽出し、画像領域２２を取得する。画像領域抽出部２５は、画像領域２２を画素数合わせ部２６に出力する（ステップＳ１２０３）。
【００８８】
次に、画素数合わせ部２６は、画像領域２２の画素数を画像２Ｉｍの画素数に合わせる処理を実行する。画素数合わせ部２６は、画像１Ｉｍと画素数合わせ画像２２ａを視差検出部２７に出力する（ステップＳ１２０５）。
【００８９】
次に、視差検出部２７は、画像１Ｉｍと画素数合わせ画像２２ａとの間で、視差を検出する。視差検出部２７は、検出した視差を距離画像形成部２８に出力する（ステップＳ１２０７）。
【００９０】
距離画像形成部２８は、検出された視差ｄと基線長Ｂに基づき、（２）式を用いて被写体距離Ｄを算出する。距離画像形成部２８は、距離を例えば画素輝度に置き換え、置き換えられた画素を二次元に配列して距離画像を形成し、出力する（ステップＳ１２０９）。
【００９１】
このように画像処理基板１０は、カメラ１とカメラ２により取得した画像に基づき、距離画像を出力することができる。
【００９２】
以上説明してきたように、本実施形態によれば、異なる空間分解能の画像を取得する複数のカメラを有し、被写体との距離を測定する撮像装置において、取得される距離画像の空間分解能を向上させることができる。
【００９３】
また本実施形態によれば、第１の画素ピッチで視差探索処理を行うため、第１の空間分解能で測定した場合と同等の距離測定分解能が得られる。つまり、カメラ２で取得される画像は、焦点距離がｆ２のレンズを用いて取得される画像となるが、視差探索処理を実行することで、ｆ２の２倍の焦点距離ｆ１を有するレンズを用いたステレオカメラ等で、距離測定した場合と同等の測定分解能が得られる。
【００９４】
本実施形態において、距離画像と併せて第２の画像、すなわち視野が広い画像を出力するようにしてもよい。これにより距離画像とともに視野の広い輝度画像を利用することができる。例えば図２（ａ）に示されている場面において、道路の前方の走行車両である被写体５０が含まれる距離画像を出力し、図２（ｃ）に示されている輝度画像を出力する。これにより前方の走行車両との距離とともに、道路脇の植栽等の障害物を認識することが可能となる。車両の安全性の確保等に利用できる。
【００９５】
［第２の実施形態］
次に、第２の実施形態における画像形成装置の一例を、図１２を用いて説明する。尚、第１の実施形態において、既に説明した実施形態と同一構成部分についての説明は省略する場合がある。
【００９６】
図１２は、本実施形態の撮像装置を搭載した車両の構成の一例を示す図である。
【００９７】
図１２は、車両４００のルームミラー４０１に、撮像装置１００が設置された例を示す概略図である。図１２に示されているように、撮像装置１００は、車両４００のルームミラー４０１の前側、すなわち図中黒矢印で示される車両４００の進行方向側に設置されている。車両４００は運転者４０２により運転されている。撮像装置１００は、車両４００の進行方向に向いて画像を取得する。尚、撮像装置１００を設置する位置は、上記に限定はされず、任意の位置で構わない。
【００９８】
撮像装置１００により取得された距離画像は、車両４００の有する車載コントローラに転送される。車載コントローラは、例えば距離画像から車両４００の前方の先行車両を認識し、先行車両との距離が規定値より短くなった場合に、車両４００にブレーキをかけるように制御する。これにより、例えば車両４００の運転の安全性を確保すること等が可能となる。
【００９９】
本実施形態の撮像装置１００を車両４００に設置する場合、画像処理基板１０の有する機能の一部、又は全部を車両４００の有する車載コントローラに実現させてもよい。また車両４００の有する車載コントローラの有する機能の一部を画像処理基板１０に実現させてもよい。
【０１００】
尚、これ以外の効果は、第１の実施形態で説明したものと同様である。
【０１０１】
以上、実施形態に係る画像形成装置、及び画像形成方法について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。
【符号の説明】
【０１０２】
１、２  カメラ
１０  画像処理基板（処理手段の一例）
１１  ＣＰＵ
１２  ＦＰＧＡ
１３  ＲＡＭ
１４  ＲＯＭ
１５  シリアルＩＦ
１６  データＩＦ
２０  データバス
２１  シリアルバス
２２ａ  画素数合わせ画像
２５  画像領域抽出部（画像領域抽出手段の一例）
２６  画素数合わせ部（画素数合わせ手段の一例）
２７  視差検出部（視差検出手段の一例）
２８  距離画像形成部（距離画像形成手段の一例）
３１  レンズ
３２  画像センサ
３３  画像センサコントローラ
５０  被写体
１００  撮像装置（撮像装置の一例）
４００  車両（車両の一例）
４０１  ルームミラー
４０２  運転者
Ｂ  基線長
Ｄ  被写体距離
ＳＷ  探索視差範囲
【先行技術文献】
【特許文献】
【０１０３】
【特許文献１】特許２９９８７９１号公報
【図１】
2019158776.tif 000003
【図２】
2019158776.tif 000004
【図３】
2019158776.tif 000005
【図４】
2019158776.tif 000006
【図５】
2019158776.tif 000007
【図６】
2019158776.tif 000008
【図７】
2019158776.tif 000009
【図８】
2019158776.tif 000010
【図９】
2019158776.tif 000011
【図１０】
2019158776.tif 000012
【図１１】
2019158776.tif 000013
【図１２】
2019158776.tif 000014