(57)【要約】      （修正有）【課題】処理速度が高速な情報処理装置を提供する。【解決手段】入力された画像に第一の画像処理を行う他の画像処理装置と、ネットワークを介して接続される画像処理装置であって、メモリ１１３と、他の画像処理装置から送信された、少なくとも第一の画像処理１０２により作成された情報を含むデータを制御し、メモリに出力する転送制御部１１１と、第一の画像処理により作成された情報に第二の画像処理を行う画像処理部１１２と、他の画像処理装置から送信されたデータのうち、要求したデータをメモリに出力するように、転送制御部を制御する制御部とを有する。【選択図】図１
2016019009.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像に第一の画像処理を行う他の画像処理装置とネットワークを介して接続され、
メモリと、
前記第一の画像処理により作成された情報に第二の画像処理を行う画像処理部と、
前記他の画像処理装置から送信された、少なくとも前記第一の画像処理により作成された情報を含む複数の種類の情報を受信し、前記メモリと、前記画像処理部と、に出力する転送制御部と、
前記転送制御部を制御する制御部と、を備え、
前記転送制御部は、前記複数の種類の情報のうち、少なくとも前記第一の画像処理により作成された情報を前記メモリを介さずに前記画像処理部に出力し、
前記画像処理部は前記第二の画像処理により作成された情報を前記メモリに出力することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記第一の画像処理により作成された情報は輝度画像と輝度画像に対応する距離情報とを含み、
前記転送制御部は、前記輝度画像と前記距離情報を前記メモリにも出力し、
前記画像処理部は、前記距離情報を基に路面推定処理を行い、当該路面推定処理の結果を前記メモリに出力することを特徴とする画像処理装置。
【請求項３】
請求項２記載の画像処理装置であって、
前記画像処理部は、前記路面推定処理の結果として水平方向画像座標毎に画素の距離の分布を示す情報を生成し、前記メモリに出力することを特徴とする画像処理装置。
【請求項４】
請求項３記載の画像処理装置であって、
前記画素の距離の分布を示す情報は、水平方向画像座標毎に近距離の画素に限定して生成した情報と、水平方向画像座標毎に遠距離の画素に限定して生成した情報と、があることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、特開２００７−２００２３２号公報（特許文献１）がある。該公報には、課題として、「汎用バスに接続された画像処理部を備えた装置において、高性能な汎用バスに交換することなく、画像処理速度を向上させる。」と記載され、解決手段として、「展開された画像データを生成する制御部１０１と、前記制御部が接続されるローカルバス１００Ａと、複数の独立した汎用バス１００Ｂ，１００Ｃと、前記複数の汎用バスのそれぞれに接続され前記展開された画像データに画像処理を施して処理済み画像データを生成する複数の画像処理部１２１，１２２と、前記ローカルバスと前記複数の汎用バスとを接続する複数のブリッジ１０７，１０８と、前記ローカルバスに接続され、前記展開された画像データもしくは前記処理済み画像データを記憶する記憶部１０３と、を備え、前記制御部で生成された前記画像データに対して、前記複数の画像処理部で分担して画像処理を実行して前記記憶部に処理済み画像データを記憶させる。」と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２００２３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
情報処理装置の主な用途として、例えば、２つのカメラから撮影された画像データから障害物を検知する装置がある。この装置を、自動車などの前方監視装置として使用すると、前方の障害物を検出して衝突を回避するといったアプリケーションを実現でき、交通事故の被害低減または回避することができる。ここで、確実に障害物を検出して、自動車を制御するためには情報処理装置の出力結果の応答性が速いことが好ましい。
【０００５】
前記特許文献１では、高性能なバスを用いずに画像処理速度を向上させることが記載されているが、出力結果の応答性を向上させる点について考慮されていない。
【０００６】
そこで、本発明は、高性能なバスを用いずに応答性を向上させた情報処理装置の提供を目的とする。例えば、第一の画像処理装置で３次元情報を生成し、第二の画像処理装置でより情報量多くの情報を必要とする空間認識を実行する。これにより、立体物を早期に検出でき、制御信号を生成できる。
【課題を解決するための手段】
【０００７】
上記目的を解決するために、特許請求の範囲に記載の構成を採用する。
【発明の効果】
【０００８】
本発明によれば、処理速度が高速で出力結果の応答性のよい画像処理装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】全体構成図
【図２】転送テーブルの一例
【図３】第二の画像処理装置の一例
【図４】メモリマップの一例
【図５】データ転送と画像認識の動作タイミングを表すタイミングチャート
【図６】転送する画像領域を制限する場合のイメージ図
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態を図面を用いて説明する。
【実施例１】
【００１１】
本実施形態では、情報処理装置の一例である車載用ステレオカメラを使用して車両を制御する例を説明する。本実施形態は、車載用ステレオカメラを機能の異なる複数の車種に展開する際に、特に有効である。
【００１２】
車載用ステレオカメラは２つのカメラを備え、２つのカメラで撮影された画像に対して、画像処理により画面に映っている物体までの距離を測定する。物体の距離がわかると、物体までの距離情報を元に、自動車のブレーキを制御して車を停車させることができる。これにより、運転手が万が一わき見などしてしまった場合など、事故を回避することができる。車載ステレオカメラは、人間の目と同じように、可視光の領域の見えの情報と、画像上の３次元位置がわかることから、前述した物体検知機能だけでなく、信号検知、標識検知など複数のアプリケーションをひとつのセンサで検出できる。しかしながら、認識対象物が増えると、計算量が増大するため、リアルタイム処理することが困難になる。増大する計算量をリアルタイム処理するためには、ＡＳＩＣなどのＬＳＩを開発して解決することができるが、機能が増えるごとにＡＳＩＣの開発をすることは、コスト面や開発期間の面で課題がある。また、認識する対象が増えることで、認識機能を開発する時間も必要となり、タイムリーにユーザに機能を提供することができない。
【００１３】
そこで、２つのカメラから得られる画像から３次元位置を求める処理のように、基本的な画像処理を実行する回路と、さまざまな認識機能をリアルタイムに処理するために実現する回路を別々に持ち、認識機能部分の拡張に合わせて、認識のリアルタイム処理に必要な回路のみ更新する構成とすることで、最小限のコストでタイムリーに製品をユーザの元に届けることができる。また、高級車には多くの認識機能を搭載した高級車用モデルと、障害物のみを検出するといった最低限の機能を搭載した低価格帯向けモデルのように、ユーザのニーズに合わせてカスタマイズする場合にも、認識部分にかかわる回路のみ変更することで対応することができるため、多くの部品を共用化でき、効率がよい。
【００１４】
図１に本実施形態の具体的な構成について説明する。本実施形態に示す情報処理装置は、車載ステレオカメラを自動車に取り付けて、障害物を回避する機能を実現するものである。
【００１５】
センサ１０１と画像処理部１０２とメモリ１０３からなる第一の画像処理装置はバス１３０を介して第２の画像処理部に接続されている。センサ１０１は、一例として、ＣＭＯＳセンサを２つ接続したステレオカメラがある。センサの種類は、カメラ１つで実現してもよく、ＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｒｉｇｈｔ）センサでもよく、被写体までの距離と画像が取得できるセンサあればよい。ステレオカメラは２つの画像データを取得でき、情報量が多いため、本発明が効果的である。
【００１６】
画像処理部１０２は、センサ１０１から出力されたデータから認識処理の前処理として必要な処理を行う。ここでは、センサ１０１がステレオカメラの場合について説明する。画像処理部１０２では画素毎に視差を算出する処理を行う。右画像と左画像の輝度のばらつきを補正する輝度補正を行い、左右の画像が平行になるように幾何補正を行う。
【００１７】
輝度補正および幾何補正は、あらかじめ校正された校正テーブルおよび座標変換テーブルを参照して実行される。輝度補正の校正テーブルは、画素毎にオフセット量と倍率が設定されており、幾何補正の座標変換テーブルは画素毎にどの座標にマッピングするかについての情報を持つ。
【００１８】
次に、画像処理部１０２は、平行化された左右の画像に対して、対応点検索を行い、画素毎に基準点からの距離を算出する。基準点は左右のカメラの中央や車両の中央先端部分など、任意に設定することができる。
【００１９】
対応点検索は、以下のように行われる。まず、左右どちらかの画像を基準画像、他方を参照画像として、例えば縦５画素、横５画素のブロックをウィンドウとして設定する。そして、基準画像の注目画素周辺の縦５画素、横５画素を基準として、参照画像を水平に探索する。このとき、相関値としてＳＡＤを用いる。ＳＡＤは縦５画素と横５画素のブロックにおいて、座標ごとに絶対値差分をとり、その差分値を足し合わせたものである。この相関値がもっとも小さいエリアを探索し、その点をマッチング位置と呼ぶ。マッチング位置は、左右の見え方の差である視差と呼ぶ。この計算を、基準画像の画素毎に計算し、基準画像の画素に対応した視差画像を生成する。この対応点探索によって生成される視差画像は画素毎に３次元位置に変換できるため、近い距離にある画素をグルーピングすることで立体物を検出することができる。
【００２０】
外部ＩＦ１１０は第一の画像処理装置から送られてくるデータを受信する。第一の画像処理装置から送信されるデータは、右カメラで撮影した右カメラ画像と、左カメラで撮影した左カメラ画像と、右カメラの画像からエッジの強度を計算したエッジ画像と、左右のカメラ算出した距離画像と、の４種類が含まれている。転送制御部１１１は外部ＩＦ１１０から送られてくるこれらのデータを画像処理部１１２とメモリ１１３に転送する。転送内容は図２に示すように、あらかじめ転送テーブルをＣＰＵ１１４が転送制御部１１１に設定しておく。外部ＩＦ１１０と画像処理部１０２でのデータの送受信の手続きの中に、画像の種別を示すＩＤと転送サイズ、画像サイズといった情報を送信する。転送制御部１１１はこのＩＤや転送サイズ、画像サイズの情報から、事前にＣＰＵから設定された転送テーブルを参照して、データ転送先とデータ転送先に送るデータを切り出して転送する。
【００２１】
メモリ１１３は、転送制御部１１１から転送されたデータの一時記憶領域として使用する。また、ＣＰＵ１１４のプログラムとプログラム作業用領域のメモリとしても利用する。メモリ１１３と転送制御部１１１はバス１３０に比べて十分高速なバスを使用する。バス１３０は、送信された距離画像とエッジ画像を転送できる帯域であり、メモリ１１３と転送制御部１１１の間のバスは、距離画像とエッジ画像を転送に加えて、ＣＰＵ１１４や誤述する画像処理１１２がバスを占有しても距離画像とエッジ画像を滞りなく転送できる帯域をもつ。
【００２２】
ＣＰＵ１１４はメモリ１１３に転送されたデータを使用して認識処理を行う。例えば、距離画像から距離の近い点をグルーピングして立体物を検出し、立体物の距離や相対速度を計算する。この計算結果は外部通信部１１５からバス１３２を経由して車両制御部１２０に送信される。
【００２３】
車両制御部１２０は立体物に対して衝突する可能性があるかどうかを判定し、ブレーキ制御部１２１、エンジンコントロール部１２２に指令値をだす。また、警報制御部１２３、表示部１２４を制御してユーザに対して注意喚起する。
【００２４】
ここで、認識処理において、より早く車両制御部１２０に指示を出すことが重要であるため、認識処理を高速に処理する必要がある。そこで、画像処理部１１２の処理について詳しく説明する。
【００２５】
画像処理部１１２は、メモリ１１３を介さずに転送制御部１１１から転送されたデータに画像処理を行い、画像処理の結果をメモリ１１３に格納する。したがって、第一の画像処理装置から第二の画像処理装置への画像転送中に認識処理の高速化に必要な画像を生成することができるため、認識処理すなわち立体物検出処理を早期に実行し結果を出力することができるようになる。認識処理の高速化に必要な画像の種類としては、例えば、エッジ強度を計算したエッジ強度画像やヒストグラム結果などがあり、認識処理の内容によって自由に選択してもよい。画像処理の効率を考慮すると、数ラインで処理できる計算を実行させると、画像転送速度と同等の速度でメモリ１１３に出力できるため、よりリアルタイム性が向上し、効果的である。
【００２６】
また画像処理部１１２は複数の画像処理を並列して行うと、ＣＰＵの計算負荷をさらに低減できるためより効率的である。図３を用いて転送制御部１１１から画像処理部１１２がデータを受信し、複数の画像を生成する例について説明する。Ｌｉｎｅ  ｂｕｆｆｅｒ３０１は輝度画像を一時保存する領域であり、Ｌｉｎｅ  ｂｕｆｆｅｒ３０２は距離画像を一時保存する領域である。本例では、輝度画像から画像縮小部３０３が縮小画像を、積分画像処理部３０４が積分画像を生成する。また、視差画像からヒストグラム処理部３０５がヒストグラムを生成する。したがってそれぞれの画像処理で必要なライン数分の画像を蓄えられればよい。転送制御部１１１は画像の種別が図２の転送テーブルによってあらかじめわかっているため、画像の種類毎にＬｉｎｅ  ｂｕｆｆｅｒ３０１，３０２にデータを転送する。画像縮小部３０３は輝度画像を縮小する処理を行い、元の画像の１／２倍、１／３倍、１／４倍といった複数の画像を同時に生成することができる。これにより、認識処理を行う際に縮小処理を省略できるため、認識処理が高速に処理できる。例えば、パターンマッチングする際に、１つのテンプレートで複数のスケールで探索する場合に有効である。積分画像処理部３０４は輝度画像の各画素に対して数式１の計算を行うことができる。
Ｓ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＋Ｉ（ｘ−１，ｙ）＋Ｉ（ｘ，ｙ−１）−Ｉ（ｘ−１，ｙ−１）    数式１
積分画像は、矩形領域内の輝度値の総和を求める際に、矩形内のすべての画素を読み出す必要がなく、積分画像の４点を読み出すことで計算できるため、輝度値の総和計算を高速に行うことができる。
【００２７】
ヒストグラム３０５は視差画像のヒストグラム計算をする。横軸は視差値、縦軸は視差画像のＹ軸で、１ラインごとの視差値の出現した回数を値として記録した画像である。１ラインの中でもっとも視差が多かった視差の位置と数がわかる。この画像を使用すると視差の数が多い点をつなぐと路面高さを推定することできるため、ステレオカメラで最初に計算しておくと、高速に立体物検出処理に進むことができる。  また、ヒストグラム処理を視差の小さい部分に制限し細かい分解能にした遠方用ヒストグラムと視差の小さいところから大きいところまで荒い分解能の近傍用ヒストグラムの２種類を作成すると、遠方と近傍の両方を精度よく路面推定することができ、すべてを細かい分解能で生成するより画像サイズを抑えることができる。Ｏｕｔ  ｂｕｆｆｅｒ３０６は各画像処理３０３，３０４，３０５のデータを一時出力する領域で出力制御部３０７はメモリ１１３にＯｕｔ  ｂｕｆｆｅｒ３０６に蓄積された画像を転送する。メモリ１１３の負荷状況によって転送が中断されても処理が継続できるようにＯｕｔ  ｂｕｆｆｅｒ３０６のサイズを調整するとよい。転送された画像は図４のようにメモリ１１３にＡ面、Ｂ面交互に出力される。交互に出力することで、画像の転送処理とＣＰＵ１１４での認識処理をパイプライン処理できる。
【００２８】
図４は、メモリ１１３に格納するデータのメモリマップ例を示し、メモリ１１３の物理アドレスとそれに対応する画像の種類が記載されている。ＩＤ１、ＩＤ３、ＩＤ４の画像は、転送制御部１１１から直接書き込まれるデータで、図２の転送ＯＮかつ転送先にメモリとなっているものがＡｒｅａに従って転送される。そのほかの積分画像、縮小画像、ヒストグラム結果は画像処理部１１２から転送されるデータの格納領域である。
【００２９】
次に転送画像と認識処理の動作タイミングについて図５を用いて説明する。図５では横軸が時間で縦軸に処理する内容が記載されている。画像の転送と並行して画像処理部１１２による画像処理が実行され、これらの処理と並行して認識処理がＣＰＵ１１４にて実行されている様子を表す。これにより、従来ＣＰＵで各種画像処理をして認識処理をする場合に比べて、短時間で認識処理することができる。また、ＣＰＵを介在せずに画像転送と画像処理が実行されるため、ＣＰＵの計算量を増加させずに画像処理が行えるため、立体物検知をより早く出力できる。さらに、余ったＣＰＵのリソースを使用して複数のアプリケーションを動作させるといった使い方もできる。複数のアプリケーションをステレオカメラ１台で済ますことができれば、車両に搭載するセンサの数を減らすことができるため、ユーザに対して低価格で安全機能を提供することができる。
【実施例２】
【００３０】
本実施例では実施例１の構成のバス１３０が低速な場合の例について説明する。
バス１３０が低速な場合でかつリアルタイム処理が必要な場合、転送量を小さくする必要がある。また、認識処理によって、必要な画像の種類や領域が異なるため、例えば、標識を検知する場合は道路よりも撮像された画像のうち上方の領域が必要となるが、車線を検知する場合は道路付近、つまり下側の領域が必要となる。
【００３１】
そこで図２の転送テーブルを参照してＣＰＵ１１４が画像処理部１０２に対して、必要なデータ転送を指示することができるようにする。画像処理部１０２は、外部ＩＦ１１０からの転送要求によって、転送するデータのサイズや種類を選択して転送する。これにより、バス１３０の転送速度や認識の処理周期、認識機能の数によって調整することができる。例えば、認識機能の少ないシステムを構築する場合、必要な画像の量も少ないので、バス１３０の負荷を減らした設定テーブルにする。例えば、図６のように画像の領域を中心部分に絞ると、面積比で転送負荷を削減することができ、バス１３０が低速であっても実現できる。また、突然画面内に飛び出してくる歩行者を検出したい場合、できるだけ応答性を上げるために処理周期を短くしたい。しかし、処理周期を短くすると、転送データ量が少なくなってしまうため、領域を制限することで対応できる。飛び出してくる歩行者の場合は、画面を縦方向を削り、できるだけ横方向に広くすると、早期に歩行者を検出できる利点がある。
【００３２】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００３３】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００３４】
１０１：センサ、１０２：画像処理部、１０３：メモリ、１１０：外部ＩＦ、１１１：転送制御部、１１２：画像処理部、１１３：メモリ、１１４：ＣＰＵ、１１５：外部通信部、１２０：車両制御部、１２１：ブレーキ制御部、１２２：エンジンコントロール部、１２３：警報制御部、１２４：表示部、１３０：バス、１３２：バス
【図１】
2016019009.tif 000003
【図２】
2016019009.tif 000004
【図３】
2016019009.tif 000005
【図４】
2016019009.tif 000006
【図５】
2016019009.tif 000007
【図６】
2016019009.tif 000008