(57)【要約】      （修正有）【課題】距離画像生成処理速度を向上させる画像生成装置を提供する。【解決手段】視差を有する第１の画像４００と第２の画像４０１を比較することによって、被写体距離を示す距離画像４０７を生成する画像生成装置であって、第１の画像と第２の画像の夫々から比較の対象となる画素群の画素値を保持する保持部４０２と、保持部に保持された夫々の画素群の画素値を領域毎に順に読み出す読出部４０３と、読出部により読み出された画素値から評価値を算出する算出部４０４と、評価値から被写体距離を推定する推定部４０５と、推定部により推定された被写体距離を用いて距離画像を生成する生成部４０６とを備え、読出部は、画素値を読み出す方向を交互に異ならせることによって、画素値を読み出す方向が反転する直前の読み出し結果を再利用する。【選択図】図１
2015219186.tif 000002
【特許請求の範囲】
【請求項１】
視差を有する第１の画像と第２の画像を比較することによって、被写体距離を示す距離画像を生成する画像生成装置であって、
前記第１の画像と第２の画像の夫々から比較の対象となる画素群の画素値を保持する保持手段と、
前記保持手段に保持された夫々の前記画素群の画素値を領域毎に順に読み出す読出手段と、
前記読出手段により読み出された画素値から評価値を算出する算出手段と、
前記評価値から前記被写体距離を推定する推定手段と、
前記推定手段により推定された被写体距離を用いて前記距離画像を生成する生成手段と、を備え、
前記読出手段は、画素値を読み出す方向を交互に異ならせることによって、画素値を読み出す方向が反転する直前の読み出し結果を再利用することを特徴とする画像生成装置。
【請求項２】
前記読出手段は、視差の順方向と逆方向の両方向に対するシフトレジスタの集合として構成されていることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記読出手段は画素値を読み出す方向を交互に異ならせるとともに、前記算出手段は前記評価値の算出順序を反転させ、前記読み出し手段は、さらに前記距離画像の異なる座標の前記評価値を算出する際に、画素値を読み出す方向を反転させる直前に読み出した結果を再利用することを特徴とする請求項１に記載の画像生成装置。
【請求項４】
前記読出手段は、前記第１の画像を読み出す第１の読出手段と、前記第２の画像を読み出す第２の読出手段とを有し、前記第１の読出手段と前記第２の読出手段のそれぞれで、画素値を読み出す方向が反転する直前の読み出し結果を再利用して、前記評価値を算出することを特徴とする請求項１に記載の画像生成装置。
【請求項５】
視差を有する第１の画像と第２の画像を比較することによって、被写体距離を示す距離画像を生成する画像生成装置を制御する方法であって、
前記第１の画像と第２の画像の夫々から比較の対象となる画素群の画素値を保持する保持工程と、
前記保持工程において保持された夫々の前記画素群の画素値を領域毎に順に読み出す読出工程と、
前記読出工程により読み出された画素値から評価値を算出する算出工程と、
前記評価値から前記被写体距離を推定する推定工程と、
前記推定工程において推定された被写体距離を用いて前記距離画像を生成する生成工程と、を備え、
前記読出工程では、画素値を読み出す方向を交互に異ならせることによって、画素値を読み出す方向が反転する直前の読み出し結果を再利用することを特徴とする画像生成装置の制御方法。
【請求項６】
前記読出工程は、視差の順方向と逆方向の両方向に対するシフトレジスタにより行われることを特徴とする請求項５に記載の画像生成装置の制御方法。
【請求項７】
前記読出工程では画素値を読み出す方向を交互に異ならせるとともに、前記算出工程では前記評価値の算出順序を反転させ、前記読み出し工程では、さらに前記距離画像の異なる座標の前記評価値を算出する際に、画素値を読み出す方向を反転させる直前に読み出した結果を再利用することを特徴とする請求項５に記載の画像生成装置の制御方法。
【請求項８】
前記読出工程は、前記第１の画像を読み出す第１の読出工程と、前記第２の画像を読み出す第２の読出工程とを有し、前記第１の読出工程と前記第２の読出工程のそれぞれで、画素値を読み出す方向が反転する直前の読み出し結果を再利用して、前記評価値を算出することを特徴とする請求項１に記載の画像生成装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視差画像から距離画像を生成する装置において、距離画像生成処理の処理速度を向上させる技術に関する。
【背景技術】
【０００２】
視差のある２枚の視差画像から距離画像を生成する装置の実現方法として、様々な方法が提案されている。例えば、特許文献１や特許文献２には、テンプレートマッチングを用いた距離画像の生成方法が提案されている。テンプレートマッチングを行う一般的な回路の動作と構成について、図面を用いて説明する。また、説明の便宜上、視差を持った２枚の視差画像を、それぞれＡ像とＢ像と記載する。
【０００３】
図７は、視差画像である入力画像（Ａ像１００、Ｂ像１０１）と距離画像である出力画像１０２、並びに出力画像を構成する出力画素を算出するために参照する入力画像における参照範囲を示す図である。たとえば出力画素（ｘ，ｙ）１０９を出力するにあたり、Ａ像１００上の参照範囲１０４とＢ像１０１上の参照範囲１０６を参照する。
【０００４】
出力画素（ｘ，ｙ）１０９の出力をより具体的に説明する。まず、Ａ像１００の一部であるＡ像の遅延ラインメモリに格納される範囲１０７は、Ａ像用遅延ラインメモリ上に保持される。同様に、Ｂ像１０１の一部であるＢ像の遅延ラインメモリに格納される範囲１０８は、Ｂ像用遅延ラインメモリ上に保持される。
【０００５】
次にＡ像用遅延ラインメモリからＡ像上の参照範囲１０４に対応する領域を読み出してＡ像用記憶素子群に画素値を保持する。一方で、Ｂ像用遅延ラインメモリからＢ像上の参照範囲１０６に対応する領域を読み出してＢ像用記憶素子群に画素値を保持する。Ａ像用記憶素子群とＢ像用記憶素子群に保持されたそれぞれの画素値を比較することによって、出力画素（ｘ，ｙ）１０９に対応する距離値を算出する。
【０００６】
この比較は、図８のような手順で行われる。図８のＳｔｅｐ１では、Ａ像上の参照範囲１０４の中の左端の矩形領域であるＡ像上の比較範囲２０２をＡ像用記憶素子群に読み込み、Ｂ像上の参照範囲１０６の中の右端の矩形領域であるＢ像上の比較範囲２０３をＢ像用記憶素子群に読み込む。これらＡ像用記憶素子群とＢ像用記憶素子群に記憶されているそれぞれの画素値を比較することによって、第１の評価値を算出する。
【０００７】
Ｓｔｅｐ２では、Ａ像上の比較範囲２０２を参照範囲１０４の範囲内で１画素右にシフトしたＡ像上の比較範囲２０６をＡ像用記憶素子群に読み込み、Ｂ像上の比較範囲２０３を参照範囲１０６の範囲内で１画素左にシフトしたＢ像上の比較範囲２０７をＢ像用記憶素子群に読み込む。これらＡ像用記憶素子群とＢ像用記憶素子群に記憶されているそれぞれの画素値を比較することによって、第２の評価値を求める。
【０００８】
以降、Ａ像用記憶素子群は１画素ずつ右へシフト、さらにＢ像用記憶素子は１画素ずつ左へシフトさせながら、順次評価値を求めていく。この様にして、出力画素（ｘ，ｙ）ごとに対応する参照範囲を用いて求めた複数の評価値から、最も類似していると判定した評価値に対応する距離を推定し、距離画像の画素値を求める。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特許第４４２４２９９号公報
【特許文献２】特開２００９−２３９４８５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従って、従来の距離画像の生成方法では、Ａ像用遅延ラインメモリからＡ像用記憶素子群へ読み出す処理、ならびにＢ像用遅延ラインメモリからＢ像用記憶素子群へ読み出す処理が、出力する距離画像の全画素に対して必要となり、処理に長時間を要するという問題があった。
【００１１】
例えば、図９のような構成の場合、遅延ラインメモリから１ライン当たり１画素ずつ読み出すとすれば、Ｗ×Ｈ個ある画素保持用記憶素子３０１全てに読み出すためにＷサイクルの時間がかかる。この間、Ａ像とＢ像の比較が行えないため、そのまま処理の時間遅延となる。
【００１２】
本発明は上述した課題に鑑みてなされたものであり、その目的は、視差画像から距離画像を生成する装置において、距離画像の生成処理の処理速度を向上させることである。
【課題を解決するための手段】
【００１３】
本発明に係わる画像生成装置は、視差を有する第１の画像と第２の画像を比較することによって、被写体距離を示す距離画像を生成する画像生成装置であって、前記第１の画像と第２の画像の夫々から比較の対象となる画素群の画素値を保持する保持手段と、前記保持手段に保持された夫々の前記画素群の画素値を領域毎に順に読み出す読出手段と、前記読出手段により読み出された画素値から評価値を算出する算出手段と、前記評価値から前記被写体距離を推定する推定手段と、前記推定手段により推定された被写体距離を用いて前記距離画像を生成する生成手段と、を備え、前記読出手段は、画素値を読み出す方向を交互に異ならせることによって、画素値を読み出す方向が反転する直前の読み出し結果を再利用することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、視差画像から距離画像を生成する装置において、距離画像生成処理の処理速度を向上させることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係わる距離画像生成装置の構成を示す図。
【図２】読出部の内部構成図。
【図３】座標（ｘ，ｙ）における読出部へ読み込む第１の画像の範囲を示す図。
【図４】座標（ｘ＋１，ｙ）における読出部へ読み込む第１の画像の範囲を示す図。
【図５】座標（ｘ＋２，ｙ）における読出部へ読み込む第１の画像の範囲を示す図。
【図６】座標（ｘ，ｙ）における読出部へ読み込む第２の画像の範囲を示す図。
【図７】距離画像生成処理の入出力イメージを示す図。
【図８】距離画像生成処理の処理シーケンスを示す図。
【図９】距離画像生成回路の概略構成図。
【発明を実施するための形態】
【００１６】
以下に、本発明の一実施形態について、添付図面を参照して詳細に説明する。
【００１７】
図１は、本発明の一実施形態に係わる距離画像生成装置の構成を示す図である。図１に示される距離画像生成装置は、撮影画像について取得された視差を有する一対の視差画像である第１の画像４００と第２の画像４０１を比較することによって、撮影画像の被写体距離を示す距離画像を生成する画像生成装置である。
【００１８】
図１において、距離画像生成装置は、撮影画像の画素毎に、第１の画像４００と第２の画像４０１の夫々から比較の対象となる画素群の画素値を保持する保持部４０２と、夫々の画素群の画素値を領域毎に順に読み出す読出部４０３を備える。また、読出部４０３により読み出された画素値から評価値を算出する算出部４０４と、この評価値から被写体距離を推定する推定部４０５と、推定部４０５により推定された被写体距離を用いて距離画像を生成する生成部４０６とを有する。なお、距離画像生成装置を構成する各部は、不図示の制御部により制御される。
【００１９】
保持部４０２は、たとえば一般的に遅延ラインメモリと呼ばれる記憶手段を用いることができ、入力画像の一部または全部を保持する記憶手段である。遅延ラインとして保持するライン数は、読出部４０３で読み出すライン数と同じかそれよりも多いライン数である。
【００２０】
読出部４０３は、第１保持部４０２から順次画素値を読み出して、フリップフロップ（以下、ＦＦと呼ぶ）などの記憶素子に画素値を保持する手段である。水平Ｗ画素×垂直Ｈ画素の場合の読出部４０３の内部構造を図２に示す。この図２に示す読出部４０３は、１つの入力画像に対して１つ設けられるため、距離画像生成装置には、第１の画像４００用と第２の画像４０１用とで、２つの読出部４０３の回路が搭載される。
【００２１】
遅延ラインメモリ５００は、複数のラインメモリ（遅延ラインメモリ０から遅延ラインメモリ（Ｈ−１））から構成され、各ラインメモリは入力画像（第１の画像４００または第２の画像４０１）の１ライン分の画素値を保持する。したがって、遅延ラインメモリ５００は、入力画像のＨライン分の画素値を保持することができる。順逆シフト方向選択セレクタ５０１と、画素値保持用ＦＦ（フリップフロップ）５０２は、（Ｗ×Ｈ）組搭載される。
【００２２】
まず、第１の画像用の読出部の動作について説明する。図３に、入力画像である第１の画像と、その参照範囲の関係を示す。距離画像の座標（ｘ，ｙ）６０６に対する被写体距離を示す画素値（距離画素値）を求めるに当たり、その近傍のＮ×Ｈ画素を第１の画像上の参照範囲６０１とする。これを拡大したのが図３における第１の画像上の参照範囲６０３である。
【００２３】
保持部４０２（遅延ラインメモリ５００）から、座標（０，０）６０４を含む１列分の画素（Ｈ画素）を読み取り、画素値保持用ＦＦ５０２へ格納する。これを順方向へシフトする。すなわち、次に座標（１，０）を含む１列分の画素（Ｈ画素）を読み取り、画素値保持用ＦＦ５０２へ格納する。この処理をＷ回繰り返すことにより、画素値保持用ＦＦ５０２には、座標（０，０）から座標（Ｗ−１，Ｈ−１）までのＷ画素×Ｈ画素の画素値が保持され、それは図３における読出領域６０２と一致する。この比較可能な状態になるまでの待ち時間を、ここでは詰め込み時間と記載する。この状態になったら、後段の算出部４０４によって比較が行われ、１つ目の比較結果が求められる。なお、比較対象である第２の画像については後述する。
【００２４】
次に、保持部４０２（遅延ラインメモリ５００）から、座標（Ｗ，０）を含む１列分の画素（Ｈ画素）を読み取り、画素値保持用ＦＦ５０２へ格納しながら、順方向へシフトする。つまり、座標（Ｗ，０）を含む１列分の画素（Ｈ画素）を読み取ることにより、画素値保持用ＦＦ５０２には、座標（１，０）から座標（Ｗ，Ｈ−１）までのＷ画素×Ｈ画素の画素値が保持される。ここで後段の算出部４０４によって比較が行われ、２つ目の比較結果が求められる。これを（Ｎ−Ｗ）回繰り返すことによって、（Ｎ−Ｗ）個の比較結果が求められる。この時点で、座標（ｘ，ｙ）６０６の距離画素の算出に必要な情報が揃い、後段の算出部４０４、推定部４０５、並びに生成部４０６によって座標（ｘ，ｙ）６０６に対する距離画素値が求められる。さらに、次の準備のために保持部４０２（遅延ラインメモリ５００）から、座標（Ｎ，０）を含む１列分の画素（Ｈ画素）を読み取り、画素値保持用ＦＦ５０２へ格納しながら、順方向へシフトする。
【００２５】
図４に、次の距離画素の算出時の参照位置関係を示す。座標（ｘ＋１，ｙ）７０６ に対する距離画素値を求めるに当たり、その近傍のＮ×Ｈ画素を第１の画像上の参照範囲７０１とする。これを拡大したのが図４における第１の画像上の参照範囲７０３である。
【００２６】
上記の準備の結果、読出部４０３（画素値保持用ＦＦ５０２）には図４の読出領域７０２に対応した画素値が保持されている。これをそのまま利用（直前の結果を再利用）して、今度は順逆シフト方向選択セレクタ５０１によりシフト方向を逆方向に反転して、画素値保持用ＦＦ５０２へのＷ画素×Ｈ画素の画素値の保持のシフトを（Ｎ−Ｗ）回繰り返し、（Ｎ−Ｗ）個の比較結果を求める。すなわち、画素値を求めようとする距離画像の座標（ｘ，ｙ）が一画素ずれるごとに、シフト方向が交互に反転される。つまり、読出部４０３は、視差の順方向と逆方向の両方向に対するシフトレジスタの集合として構成されている。
【００２７】
さらに、次の準備のために保持部４０２（遅延ラインメモリ５００）から、座標（１，０）を含む１列分の画素（Ｈ画素）を読み取り、画素値保持用ＦＦ５０２へ格納しながら、順方向へシフトする。この準備により、図５の状態になる。
【００２８】
座標（ｘ＋２，ｙ）８０６に対する距離画素値の算出には、図５の状態から始まり、座標（ｘ，ｙ）６０６に対する距離画素値の算出と同じ処理を行えばよい。以後、ｘ座標が偶数・奇数で、シフト方向を両方向に反転し、算出順序を反転しながら反復して処理する。
【００２９】
次に、第２の画像用の読出部の動作について説明する。第２の画像は、基本的に第１の画像用の読出部と同じ処理を行うが、ｘ座標に対するシフト方向は、第１の画像に対する方向と逆方向である。第１の画像が図３の状態の時に、第２の画像は図６の状態になる。このように処理することにより、詰め込み期間は、距離画像の左端１列の生成の時にのみ発生するだけで済む。
【００３０】
算出部４０４は、読出部４０３に読み出された第１の画像の一部分と、第２の画像の一部分とを比較して類似度を求める。例えば、読出部４０３（画素値保持用ＦＦ５０２）がＷ画素×Ｈ画素の場合に、第１の画像の読出領域をＰ（ｘ，ｙ）、第２の画像の読出領域をＱ（ｘ，ｙ）とすれば、以下の式によって求めたＳＡＤ値（Sum of Absolute Difference）を類似度とする。該類似度を、評価値と定義する。
【００３１】
【数１】
2015219186.tif 000003
【００３２】
推定部４０５は、距離画素１つに対して、（Ｎ−Ｗ）個求められる評価値から、視差を推定する。例えば、もっとも類似すると判定されたシフト位置のシフト量に対して、所定の係数を掛けた値を視差推定値とする。
【００３３】
生成部４０６は、推定部４０５によって求められた視差推定値から、距離画像として必要なレンジの距離画素値へと変換する。例えば、視差推定値に所定の係数を掛けたものでも構わない。
【００３４】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００３５】
４００：第１の画像、４０１：第２の画像、４０２：保持部、４０３：読出部、４０４：算出部、４０５：推定部、４０６：生成部、４０７：距離画像、５００：遅延ラインメモリ
【図１】
2015219186.tif 000004
【図２】
2015219186.tif 000005
【図３】
2015219186.tif 000006
【図４】
2015219186.tif 000007
【図５】
2015219186.tif 000008
【図６】
2015219186.tif 000009
【図７】
2015219186.tif 000010
【図８】
2015219186.tif 000011
【図９】
2015219186.tif 000012