(57)【要約】【課題】  ＣＰＵの負荷削減と画像データの効率的な転送方法を提供する。【解決手段】  複数の画像情報を処理する複数の処理部を有する画像生成部２０３を備え、画像生成部２０３は蓄積したデータを割込み要因ごとに転送する画像処理装置において、画像生成部２０３から割込み要因ごとに割込みを受付け割込み要因ごとにデータを転送し、割込み要因ごとに転送すべきデータの転送が完了したらＣＰＵ２０７に割込みを通知する要因毎データ転送部２０８〜２１２と、画像生成部２０３と要因毎データ転送部２０８〜２１２とが接続された通信線１とを有する。【選択図】  図２
2015033100.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像情報を処理する複数の処理部を有する画像生成部を備え、前記画像生成部は蓄積したデータを割込み要因ごとに転送する画像処理装置において、
前記画像生成部から割込み要因ごとに割込みを受付け割込み要因ごとにデータを転送し、前記割込み要因ごとに転送すべきデータの転送が完了したらＣＰＵに割込みを通知する要因毎データ転送部と、
前記画像生成部と前記要因毎データ転送部とが接続された通信線と、
を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記要因毎データ転送部は、前記画像生成部からのデータ転送の通知を受けて割込み信号を出力する第１の割込み制御部と、前記割込み信号を受けて割込み要因毎に転送先の転送アドレスを変更する要因制御部と、前記割込み要因ごとに転送すべきデータの転送が完了するとＣＰＵに割込み信号を送信する第２の割込み制御部とを有することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記要因毎データ転送部は、前記割込み要因毎に画像情報の加工を実施する画像加工部を有することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記画像生成部が接続された第１の通信線と、前記第１の割り込み制御部と前記要因制御部と前記画像加工部と前記第２の割り込み制御部とが接続された第２の通信線とを有し、第一の通信線と第二の通信線とがバスブリッジで接続されていることを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記第２の割込み制御部が、割込み要因ごとにデータ転送終了割り込みを通知するかを選択できることを特徴とする画像処理装置。
【請求項６】
請求項３に記載の画像処理装置において、
前記画像加工部に、割込み要因ごとの加工情報を保持し、事前に設定された前記加工情報にしたがってデータを転送することを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記加工情報として、少なくとも先頭読み飛ばしサイズと転送サイズとを保持し、先頭読み飛ばしサイズ分はデータ転送せず、転送サイズ分のデータを転送し、その後に続くデータは転送しないことを特徴とする画像処理装置。
【請求項８】
複数の画像情報を処理する複数の処理部を有する画像生成部と、前記画像生成部で処理したデータを転送する一時記憶装置と、前記一時記憶装置に転送されたデータを用いて各種処理を実行するＣＰＵとを備え、前記画像生成部は蓄積したデータを割込み要因ごとに前記一時記憶装置に転送する画像処理システムにおいて、
前記画像生成部から割込み要因ごとに割込みを受付け割込み要因ごとにデータを転送し、前記割込み要因ごとに転送すべきデータの転送が完了したらＣＰＵに割込みを通知する要因毎データ転送部と、
前記画像生成部と前記要因毎データ転送部とが接続された通信線と、
を有することを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを処理する装置に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、特開平１１−３１２１３８号公報（特許文献１）に記載された割込み制御システムがある。この公報には、課題として「ＣＰＵの負荷の減少、割込み検出時間の短縮、システムバスの無駄な使用の減少等を可能とした割込み制御方式を提供する。」と記載され、解決手段として、「複数のデバイス７〜９の各々は、割込みをあげるタイミングと同一のタイモングでＤＭＡを使用してＣＰＵ１が監視しているメインメモリ５に対して割込み要因レシスタの情報を転送することで、ＣＰＵ１が行っていた全てのデバイスに対する割込み要因レシスタのリード処理を１回のＤＭＡ転送により削減する。よって、ＣＰＵ１によるデバイスの割込み要因の迅速な認識が可能となると共に、処理時間の短縮及びシステムバスの無駄な使用をなくすことができ、更にはまたＣＰＵ及びシステムバスの負荷の軽減につながる。」と記載されている（要約参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−３１２１３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の割込み制御システムでは、ＣＰＵが割込みの監視のために、メインメモリを監視する必要があり、ＣＰＵの負荷が十分に軽減されないという課題がある。
【０００５】
本発明の目的は、ＣＰＵの負荷削減と画像データの効率的な転送方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の画像処理装置は、複数の画像情報を処理する複数の処理部を有する画像生成部を備え、前記画像生成部は蓄積したデータを割込み要因ごとに転送する画像処理装置において、前記画像生成部から割込み要因ごとに割込みを受付け割込み要因ごとにデータを転送し、前記割込み要因ごとに転送すべきデータの転送が完了したらＣＰＵに割込みを通知する要因毎データ転送部と、前記画像生成部と前記要因毎データ転送部とが接続された通信線と、を有する。前記要因毎データ転送部は、前記画像生成部からのデータ転送の通知を受けて割込み信号を出力する第１の割込み制御部と、前記割込み信号を受けて割込み要因毎に転送先の転送アドレスを変更する要因制御部と、前記割込み要因ごとに転送すべきデータの転送が完了するとＣＰＵに割込み信号を送信する第２の割込み制御部とを有するとよい。
【発明の効果】
【０００７】
データ転送中の割込み処理が不要になるためＣＰＵの処理負荷が低減できる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【０００８】
【図１】三角測量の原理を説明する図である。
【図２】実施例１における画像処理装置の全体構成を示す図である。
【図３】相関値算出の説明図である。
【図４】第１の割込み制御部、要因制御部、第２の割込み制御部の信号出力に関するタイミングチャート示す図である。
【図５】実施例２における画像処理装置の全体構成を示す図である。
【図６】実施例４における画像処理装置の全体構成を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明に係る実施例を、図面を用いて説明する。
【実施例１】
【００１０】
本実施例では、立体物を検知する画像処理装置について説明する。
【００１１】
近年、画像処理装置の一形態として、ステレオカメラなど複数の撮像部（カメラ）を用いて歩行者や車両などの移動体を検出する移動体検出装置が実用化されている。ステレオカメラとは、同時刻に撮像された複数の画像上における同一対象物（立体物）の位置ずれ（視差）を、テンプレートマッチングにより算出し、算出した視差をもとに対象物（立体物）の実空間上の位置を、周知の変換式により算出する装置である。
【００１２】
このステレオカメラは、２台の撮像部で撮像した一対の画像を用いて、歩行者などの対象物の距離を算出し、対象物の認識を行なうものであり、不審者の侵入や異常を検知する監視システムや車の安全走行を支援する車載システムなどに適用することができる。
【００１３】
上述の監視システムや車載システムで利用されるステレオカメラは、位置間隔をあけて撮像された一対の画像に対して三角測量技術を適用して距離を求めるというものであり、少なくとも２つの撮像部と、これらの撮像部で撮像された２つの撮像画像に対して三角測量処理を行う画像処理部であるステレオ画像処理ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）と、を備えているのが一般的である。この画像処理部であるステレオ画像処理ＬＳＩ は、一対の画像に含まれる画素情報を重ね合わせて２つの画像の一致した位置のずれ量（視差）を求めるという処理を行なうことによって、三角測量処理を実現する。そのため、一対の画像間には視差以外のずれが存在しないことが理想的であり、各々の撮像部ごとに、光学特性や信号特性のずれがないよう調整するか、カメラ間の位置関係などを求めておく必要がある。
【００１４】
図１は、ステレオカメラの原理を示す図である。ステレオカメラは２つのカメラ２０１，２０２を備えている。カメラ２０１は撮像部２０１ａとレンズ２０１ｂとで構成され、カメラ２０２は撮像部２０２ａとレンズ２０２ｂとで構成されている。撮像部２０１ａは撮像面（撮像素子）２０１ａａを有しており、撮像部２０２ａは撮像面（撮像素子）２０２ａａを有している。
【００１５】
図１において、δは視差、Ｚは計測距離（レンズから計測点までの距離）、ｆ は焦点距離（撮像面からレンズまでの距離）、ｂ は基線長（２つの撮像素子間の長さ）をそれぞれ表し、これらの間には次式１で示すような関係が成り立つ。
【００１６】
［数１］
Ｚ ＝ ｂ ｆ ／ δ         （１）
図２は、本発明の第１の実施例における画像処理装置の全体の構成を示す。
【００１７】
本実施例の画像処理装置は、ステレオカメラを対象としており、第１の撮像部であるカメラ２０１と第２の撮像部であるカメラ２０２を備え、ステレオでの距離計測が可能な構成である。さらに本実施例の画像処理装置は、カメラ２０１とカメラ２０２から出力された画像を処理する画像生成部（画像処理部）２０３、一時記憶領域であるＲＡＭ（一時記憶装置）２０４、プログラムや各種初期値を格納するＲＯＭ２０５、ブレーキなどの制御系やユーザにカメラの認識状態を通知するための通信手段である外部ＩＦ２０６、システム全体の制御を行うＣＰＵ２０７、画像生成部２０３の出力信号を受信する第１の割込み制御部２０８、第１の割込み制御部２０８の出力によって割込み要因を制御する要因制御部２１０、要因制御部２１０の出力に従ってデータ転送するデータ転送部２１１、データ転送部２１１から出力結果を加工する画像加工部２１２から構成され、互いが通信線であるバス１を介してデータの授受することができる。
【００１８】
カメラ２０１、カメラ２０２はＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子である。
【００１９】
画像生成部２０３は、カメラ２０１、カメラ２０２の制御を行うブロックで、２つのカメラの撮像タイミングが同じになるように制御する機能と、カメラの露光量が同一になるように制御する機能を有する。これは、カメラ２０１、カメラ２０２を用いて、両方のカメラの対応する点を探索する際に、輝度値が同じになるようにするためである。また、画像生成部２０３は幾何変換部２０３ａ、エッジ抽出部２０３ｂ、縮小部２０３ｃ、相関値演算部２０３ｄを備え、それぞれの計算結果を出力する。
【００２０】
幾何変換部２０３ａは、カメラ２０１、カメラ２０２の画像のレンズによる歪みやカメラ２０１、カメラ２０２が平行になるように画像処理する。計算方法として、画素毎の読出し位置テーブルをあらかじめ用意しておき、各画素毎の読出し位置テーブルにしたがって画像を再構成する方法や、水平移動、垂直移動、拡大縮小、回転、せん断計算を組み合わせて計算する方法などがある。
【００２１】
エッジ抽出部２０３ｂは、カメラ２０１、カメラ２０２の入力画像に対してエッジ検出処理を実施する。例えば画像の隣接する横方向の輝度値の差をエッジ強度として、横エッジ強度画像を生成する。また、同様に縦方向の輝度値の差をエッジ強度として、縦エッジ強度画像を生成する。また、隣接する横方向の輝度値の差をエッジ強度と縦方向の輝度値の差をエッジ強度からエッジの方向を算出でき、エッジ方向画像を出力してもよい。本発明はエッジの検出方法を限定するものではない。エッジ強度や方向の情報は、人や自動車などの認識処理に利用できる。
【００２２】
縮小部２０３ｃは、カメラ２０１、カメラ２０２の入力画像を任意に縮小できる。カメラ２０１，２０２に大きく映る物体の処理は、縮小した画像で処理をすると計算量が少なく有用である。
【００２３】
相関値演算部２０３ｄは、カメラ２０１とカメラ２０２から得られる画像から、相関が高い位置を水平方向に探索して、その位置を特定する演算であり、ステレオカメラのカメラ２０１の探索開始位置とカメラ２０２での相関が最も高い位置の差が視差δとなる。視差δが大きいと物体の距離は近く、視差δが小さいと遠方であることを表す。本実施例における相関値の算出方法は、差分絶対値和（Sum of Absolute Difference ）を用いるが、本発明はこれに限定するものではない。相関値の算出には数画素を１ブロックとしてブロックごとに比較を行う。
【００２４】
図３は、１ブロックが縦４画素、横４画素の時のイメージ図をあらわしている。点線で囲われた領域は、カメラ２０１の１ブロックをテンプレートとしてカメラ２０２の画像から探索する様子を表している。この探索処理をカメラ２０１のブロックサイズごとに行い、視差画像を生成する。視差画像は、縦４画素、横４画素毎に１つの視差を求めているため、解像度としては四分の一になる。視差画像は、画素毎に距離に変換できる為、立体物検知などに有益な情報である。
【００２５】
画像生成部２０３は、以上のようにカメラ２０１、２０２で撮像された画像から複数の画像データを生成する。画像データの生成はカメラ２０１、２０２から出力されるデータを数ライン毎に処理することで小規模で低コストなハードウェアで実現できる。しかしながら、カメラ２０１、２０２の画像データは連続的に出力されるため、長時間蓄えておくことができない。そこで画像生成部２０３は内部に数ライン分のデータを蓄え、一定量蓄積したら別の場所にデータを転送する。
【００２６】
図４を参照して、データの転送について説明する。図４は、第１の割込み制御部、要因制御部、第２の割込み制御部の信号出力に関するタイミングチャート示す図である。
【００２７】
画像生成部２０３はデータを一定量蓄積すると、第１の割込み制御部２０８に割込みを通知する。第１の割込み制御部２０８は、この通知を受けて信号Ｓ２０８−１（ＯＮ：１信号）を出力して、要因制御部２１０に対して要因制御開始を通知する。要因制御部２１０は画像生成部２０３にどの画像が蓄積されたかを判定し、あらかじめＣＰＵ２０７に指定された転送情報にしたがって、蓄積された画像に対してデータ転送部２１１を起動する（信号Ｓ２１０−１）。転送情報には、例えば、要因毎のＩＤと転送先アドレス、転送元アドレス、転送サイズ、現在の転送サイズを持つ。要因制御部２１０は繰り返し第１の割込み制御部２０８から要因制御開始を通知されるため（信号Ｓ２０８−２，Ｓ２０８−３）、転送情報を毎回更新しながら、各画像のデータを画像生成部２０３からＲＡＭ２０４に転送する（信号Ｓ２１０−２，Ｓ２１０−３）。要因制御部２１０は転送サイズと現在の転送サイズが一致したら第２の割込み制御２０９に転送終了通知を画像ＩＤとともに通知する（信号Ｓ２１０−３）。ここで、データ転送部２１１は、画像加工部２１２を経由してデータを転送することも出来る。画像加工部２１２は、例えば、要因毎のＩＤと、先頭スキップイサイズ（先頭読み飛ばしサイズ）と、転送サイズとを含む画像加工用テーブル（加工情報）を保持する。併せて末尾読み飛ばしサイズを保持するようにしてもよい。画像加工部２１２は画像加工用テーブルに従って、データをＲＡＭ２０４に転送すべきかどうか判断する。これにより、不要なデータあった場合、ＲＡＭ２０４に格納せずに済む。また、画像の転送量が減るためバス１の負荷も低減でき、ＣＰＵ２０７が高速に動作できる。なぜなら、ＣＰＵ２０７のプログラムはＲＡＭ２０４に格納されているため、命令を読み出すタイミングとデータ転送２１１のタイミングが重なると、バス１の調停が行われ、ＣＰＵ２０７に待ち状態が発生してしまうからである。
【００２８】
次にＲＡＭ２０４へのデータ格納方法について説明する。画像生成部２０３からデータ転送部２１１を経由してデータがＲＡＭ２０４に転送される。次にＲＡＭ２０４に転送されたデータを用いてＣＰＵ２０７が各種処理を実行する。ＣＰＵ２０７が各種処理を実行している間、画像生成部２０３は次の画像を処理しており、データ転送部２１１を経由してデータがＲＡＭ２０４に転送される。従って、ＲＡＭ２０４は領域を少なくとも２つに分割して、ＣＰＵ２０７が各種処理を実行しているときは、その領域の画像データを更新しないように１フレームごとに切り替える。
【００２９】
第２の割込み制御部２０９は、画像毎に転送が終了したら割込みを通知するかどうかを決める。そのために第２の割込み制御部２０９は画像毎の割込み許可テーブルを持つ。この割込み許可テーブルは事前にＣＰＵ２０７が設定する。第２の割込み制御部２０９は、要因制御部２１０から転送終了通知とその画像ＩＤを受け取り、前記画像毎の割込み許可テーブルに従って、ＣＰＵ２０７に割込みを通知する（信号Ｓ２０９）。
【００３０】
以上により、画像生成部２０３から出力されるデータがすべて蓄積されるまで、ＣＰＵ２０７はデータ転送処理を意識することなく、また、割り込まれることなく各種処理を実行することが出来る。
【００３１】
尚、バス１は内部バスでも外部バスでも良く本発明で限定するものではないが、外部バスは一般に内部バスよりも低速なため、本発明の効果が大きい。
【実施例２】
【００３２】
本実施例では、データ転送による割込みの影響をＣＰＵがさらに受けずに行える画像処理装置の例を説明する。本実施例は、バス分割に関する実施例である。
【００３３】
図５は、実施例２における画像処理装置４００を示す構成図である。
【００３４】
図２の画像処理装置２００のうち、既に説明した図２に示された同一の符号を付された構成と、同一の機能を有する部分については、説明を省略する。
【００３５】
カメラ２０１、カメラ２０２、画像生成部２０３、第１の割込み制御部２０８、第２の割込み制御部２０９、要因制御部２１０、データ転送部２１１、画像加工部２１２がそれぞれバス２に接続されている。また、ＣＰＵ２０７、ＲＡＭ２０４、ＲＯＭ２０５、外部ＩＦ２０６がバス１に互いに接続されている。バス１とバス２はバスブリッジ１０で接続されている。本構成では、バス２において、割り込みに関する処理を行い、バスブリッジ１０を介してＲＡＭ２０４にデータ転送する。このとき、バス１は実施例１の構成に比べ、ＣＰＵ２０７からの読み出しがいつでも実行できることから、さらにＣＰＵが効率的に動作可能である。尚、バス１、バス２は内部バスでも外部バスでもよく、本発明で限定するものではないが、外部バスは一般に内部バスよりも低速なため、本発明の効果が大きい。
【実施例３】
【００３６】
本実施例では、データ転送の割込み削減と柔軟な処理が両立した画像処理装置の例を説明する。本実施例は、割込み要因毎にＣＰＵへの通知の有無を設定する実施例である。画像処理装置の構成は、図２又は図５の構成と同様である。
【００３７】
複数の画像を処理するとき、優先的に処理したい画像がある場合がある。例えば、距離画像は立体物の位置特定に有用なため、まず最初に解析して、立体物がありそうな場所に限定して、カメラ画像を参照するといた場合がある。
【００３８】
この場合、実施例１、２記載の第２の割込み制御部２０９において、事前に距離画像の転送が終了したら割込みをＣＰＵに通知するように設定すれば、すべての画像がそろうことを待たずにＣＰＵで処理を開始でき、より効率的にＣＰＵを使用できる。これは、第２の割込み制御部２０９が、割込み要因ごとにデータ転送の終了割り込みを通知するかどうかを選択できるようにしたものである。また、割込み制御部２０９がすべての画像の転送が終了したときにＣＰＵ２０７に割込みを通知する回路を備えると、ＣＰＵ２０７は割込み処理を最小限化できるため、効率的にＣＰＵの処理が可能である。
【実施例４】
【００３９】
図６は、本発明の第４の実施の形態におけるステレオカメラである画像処理装置の全体の構成を示す。
【００４０】
第１の撮像部であるカメラ５０１と第２の撮像部であるカメラ５０２を備え、ステレオでの距離計測が可能な構成である。カメラ５０１とカメラ５０２から出力された画像を処理する画像生成部（画像処理部）５０３、一時記憶領域であるＲＡＭ（一時記憶装置）５０４、プログラムや各種初期値を格納するＲＯＭ５０５、ブレーキなどの制御系やユーザにカメラの認識状態を通知するための通信手段である外部ＩＦ５０６、システム全体の制御を行うＣＰＵ５０７、画像生成部５０３の割り込み信号出力によって割込み要因を制御する要因制御５０８、要因制御５０８の出力に従ってデータ転送するデータ転送５０９、から構成され、互いが通信線であるバス５を介してデータの授受することができる。
【００４１】
画像生成部５０３は、カメラ５０１とカメラ５０２から出力される画像データを受信し、各画素の距離を求めた結果である距離画像や、画像のエッジの強度をあらわすエッジ画像など複数の画像や計算結果を出力する。これらの出力データのデータ転送方法について説明する。画像生成部５０３は画像生成部５０３の内部に抱えるメモリを節約するために、カメラ５０１、５０２から入力された画像をラインごとに処理する。つまり、画像ごとに、ラインメモリが蓄積したら、データ読み出してＲＡＭ５０４に退避しなければならない。ここで、複数の画像を生成するが、処理ごとに出力タイミングが異なるため、各画像がラインごとにランダムに蓄積する。そこで、画像生成部５０３は、画像ごとに蓄積したことを要因制御部５０８に通知する。ＣＰＵ５０７ではＲＡＭ５０４に保存された各種画像データを用いて、様々な演算を行う。このとき、画像ごとにメモリに連続して配置されていると、計算や管理が容易になる。そこで、要因制御部５０８は画像ごとにきれいに整列するようにＲＡＭ５０４に転送するときのアドレスを管理し、データ転送部５０９に転送要求を行う。すべての画像の転送が終了したら、要因制御部５０８はＣＰＵ５０７にすべての画像が転送終了したことを示す割り込みを通知する。これにより、ＣＰＵ５０７は複数の画像が転送されてくるシステムにおいても、終了割り込みのみ受け付ければよく、処理が最小限に抑えられる。
【００４２】
本実施例では、実施例における第１の割込み制御部２０８および第２の割込み制御部２０９の機能が要因制御部５０８に集約されている。すなわち、要因制御部５０８が第１の割込み制御部２０８および第２の割込み制御部２０９を兼ねている。
【符号の説明】
【００４３】
２００  画像処理装置
２０３  画像生成部
２０８  第１の割込み制御部
２０９  第２の割込み制御部
２１０  要因制御部
２１１  データ転送部
２１２  画像加工部
５００  画像処理装置
５０３  画像生成部
５０８  要因制御部
５０９  データ転送部
【図１】
2015033100.tif 000003
【図２】
2015033100.tif 000004
【図３】
2015033100.tif 000005
【図４】
2015033100.tif 000006
【図５】
2015033100.tif 000007
【図６】
2015033100.tif 000008