(57)【要約】【課題】画像認識と前処理との間でアクセス制御を効率化し、認識速度と認識精度を向上させること。【解決手段】画像処理装置１０内の原画書込み部１３は、カメラ２１の撮影画像をＦＩＦＯメモリ３１に格納し、補間処理部１４は撮影画像から補間用データを作成してＦＩＦＯメモリ３２に格納し、エッジ処理部１５は撮影画像と補間用データからエッジ強調データ作成してＦＩＦＯメモリ３３に格納する。ＳＤＲＡＭコントローラ１７は、ＦＩＦＯメモリ３１〜３３に格納されたデータを順次読み出してＳＤＲＡＭ２２に格納する。これにより、ＳＤＲＡＭ２２へのアクセス制御と各画像処理とを独立に並行処理可能とする。【選択図】        図１
2008305324.tif 000002
【特許請求の範囲】
【請求項１】
撮影手段が撮影した撮影画像に対し、第一の画像処理を行なって第一処理画像を作成する演算処理を実行する第一演算手段と、
前記第一演算処理手段による演算処理結果を２回分以上保持可能な第一バッファメモリと、
前記第一処理画像に対して第二の画像処理を行なって第二処理画像を作成する演算処理を実行する第二演算処理手段と、
前記第二演算処理手段による演算処理結果を２回分以上保持可能な第二バッファメモリと、
前記第一バッファメモリおよび前記第二バッファメモリの保持内容を順次読み出して出力する出力制御手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記第一バッファメモリおよび前記第二バッファメモリはＦＩＦＯ制御されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第一演算手段は、前記撮影画像がインターレース画像である場合に当該インターレース画像の補間処理を行なって第一処理画像を作成し、前記撮影画像がノンインターレース画像である場合には撮影画像自体を前記第一処理画像とすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第二演算手段は、前記撮影画像もしくは前記第一処理画像に対してエッジ強調処理を行なうことを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
前記撮影手段は、車両に搭載された車載カメラであり、前記画像出力手段が出力した画像は前記車両周辺の物体認識に使用されることを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
【請求項６】
前記第一処理画像は、歩行者認識に使用されることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第二処理画像は、白線認識および／または周辺車両認識に使用されることを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記出力制御手段は、前記第一処理画像および前記第二処理画像をＳＤＲＡＭに書き込むことを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
【請求項９】
撮影手段が撮影した撮影画像に対し、第一演算手段によって第一の画像処理を行なって第一処理画像を作成する第一処理画像作成工程と、
前記第一演算処理工程による演算処理結果を２回分以上保持可能な第一バッファメモリに格納する第一格納工程と、
前記第一処理画像に対し、第二演算手段によって第二の画像処理を行なって第二処理画像を作成する第二処理画像作成工程と、
前記第二演算処理工程による演算処理結果を２回分以上保持可能な第二バッファメモリに格納する第二格納工程と、
前記第一処理画像のいずれかと、前記第二処理画像との二つの画像を出力する画像出力工程と、
前記第一バッファメモリおよび前記第二バッファメモリの保持内容を順次読み出して出力する出力制御工程と、
を含んだことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラが撮影した画像に対して画像処理を施して出力する画像処理装置および画像処理方法に関し、特に画像認識の前処理として好適な画像処理を施す画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、カメラが撮影した画像に対する画像認識によって、特定の物体を認識する技術が考案されている。例えば、このような画像認識を用いることで、車載カメラで撮影した画像から周辺の物体や白線、歩行者などを認識することができ、車両の挙動制御や運転操作の支援が実現可能となる。
【０００３】
ここで、車載カメラでの画像認識では、カメラは連続して車両周辺を撮影し、高速に画像認識処理を実行する必要がある。そこで、例えば特許文献１が開示するように、ＡＤ変換したカメラからの画像をＦＩＦＯメモリを介して認識処理部のメモリに格納することで、高速な認識処理を実現する技術が考案されている。
【０００４】
また、車両や白線など直線成分の多い対象物を画像認識で検知する場合には、カメラが撮影した画像に対してエッジ処理などの前処理を行なったうえで画像認識処理を施すことで認識精度を向上することが出来る（例えば特許文献２参照。）。
【０００５】
【特許文献１】特開平１１−３２８３６８号公報
【特許文献２】特開２００４−３５５１３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、画像認識によって検知する対象物が複数種類存在する場合、対象物の種類によって必要な前処理が異なる場合がある。たとえば、白線認識や車両認識など直線成分の多い対象物を認識する場合には、元の画像に対する前処理としてエッジ強調処理を行なった上で画像認識を行なうことで検知精度を向上することができるが、エッジ強調処理を施された画像を用いて歩行者認識を行なうと、原画像に対する歩行者認識に比して認識精度が低下する場合がある。
【０００７】
このような複数の前処理をハードウェアで予め実行した上でＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などのメモリに格納しておき、画像認識を行なう処理部がＳＤＲＡＭから読み出して使用するように構成すれば、画像認識での処理負荷を軽減することが可能となる。
【０００８】
しかし、ＳＤＲＡＭに対する読み書きの量が増大すると、アクセス制御に時間がかかるという問題が発生する。これに対し、特に車載カメラによる画像認識では対象物との危険回避を行なう関係から検知の高速化が強く求められている。
【０００９】
さらに、車載カメラは高速で連続して撮影を行なうため、画像処理の速度が遅いと次の撮影画像によって画像データが上書きされ、前処理や画像認識処理を正常に終了することが出来なくなるという問題がある。
【００１０】
また、カメラにはインターレース方式を採用し、画面の奇数段目（奇数ライン）と偶数段目（偶数ライン）をそれぞれ交互に撮影するものがある。このようなインターレース方式は、通常、奇数ラインを撮影したフレームと偶数ラインを撮影したフレームの２回分の撮影結果を組み合わせて一枚の画像とすることを想定されているのであるが、車載用途で高速な検知が求められている場合には２回目の撮影結果を待つことなく毎フレームで画像認識を行なうことが必要となる場合があり、また、認識精度の面からは奇数ラインと偶数ラインを共に有する画像を用いて画像認識を行うことが望まれる。
【００１１】
すなわち、従来の技術では、前処理と画像認識との間での画像データの受け渡しを行なう場合に、そのアクセス制御によって処理時間が長くなり、正常な処理完了を阻害する場合があるという問題点があった。
【００１２】
本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、画像認識と前処理との間でアクセス制御を効率化し、認識速度と認識精度を向上させる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上述した課題を解決し、目的を達成するため、本発明に係る画像処理装置および画像処理方法は、撮影画像に対する第一の画像処理をハードウェア上で実行する第一演算手段と、第一処理画像に対して第二の画像処理をハードウェア上で実行する第二演算処理手段とをそれぞれ設け、各処理結果を２回分以上保持可能な専用のバッファメモリに格納してバッファメモリの保持内容を順次読み出して出力する。
【００１４】
また、撮影画像がインターレース方式で撮影された画像である場合には、第一の画像処理によってライン間を補間し、補間した画像を出力すると共に、補間した画像を第二の画像処理に用いる。
【発明の効果】
【００１５】
本発明によれば画像処理装置および画像処理方法は、同一の画像に対して異なる画像処理を行なうハードウェアと処理結果を２回分以上格納可能なバッファメモリを個別に設け、バッファメモリから順次処理結果を読み出すことができるので、画像認識と前処理との間でアクセス制御を効率化し、認識速度と認識精度を向上させる画像処理装置および画像処理方法を得ることができるという効果を奏する。
【００１６】
また、本発明によれば画像処理装置および画像処理方法は、撮影画像がインターレース方式で撮影された画像である場合には、第一の画像処理によってライン間を補間し、補間した画像を出力すると共に、補間した画像を第二の画像処理に用いるので、画像認識における認識速度と認識精度を向上させる画像処理装置および画像処理方法を得ることができるという効果を奏する。
【発明を実施するための最良の形態】
【００１７】
以下に添付図面を参照して、この発明に係る画像処理装置および画像処理方法について詳細に説明する。
【実施例】
【００１８】
図１は、本発明の実施例である画像処理装置を用いた車載用の画像認識システムの概要構成を示す概要構成図である。同図に示した画像認識システムは、画像処理装置１０にカメラ２１とＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２２を接続して構成している。
【００１９】
カメラ２１は、自車両の周辺、特に車両前方を撮影する撮影装置であり、撮影結果を画像処理装置１０に出力する。このカメラ２１としては、ノンインターレース（プログレッシブ）方式で撮影を行なうＣＭＯＳセンサやインターレース方式で撮影を行なうＣＣＤセンサなど、任意の撮影装置を用いることが出来る。
【００２０】
画像処理装置１０は、カメラ２１が撮影した画像に対して画像処理を施してＳＤＲＡＭ２２に格納するとともに、ＳＤＲＡＭ２２の保持内容を読み出して画像認識処理を行なう処理装置であり、その内部にカメラＩＦ１１、メモリ１２、原画書込み部１３、補間処理部１４、エッジ処理部１５、メモリ１６、ＳＤＲＡＭコントローラ１７、認識処理部１８、ＦＩＦＯメモリ３１〜３３を有する。
【００２１】
カメラＩＦ１１は、カメラ２１が撮影した撮影画像をメモリ１２に格納する処理を行なう。カメラ２１は、連続して（例えば３３ｍｓ毎に）撮影を行なうので、カメラＩＦ１１は、撮影画像が入力される毎にメモリ１２の内容を書き換える。
【００２２】
原画書込み部１３は、メモリ１２の保持内容、すなわちカメラ２１が撮影した撮影画像をそのままＦＩＦＯメモリ３１に格納する処理を行なう。そして、補間処理部１４は、メモリ１２の保持内容を読み出して補間処理を行ない、作成した補間用データをＦＩＦＯメモリ３２に格納すると共に、メモリ１６に書き込む処理を行なう。
【００２３】
ここで、補間処理について図２を参照してさらに説明する。まず、インターレース方式では、１つのフレームで奇数ラインと偶数ラインのいずれかを撮影する。この方式では、奇数ラインを撮影したフレームと偶数ラインを撮影したフレームとを合成して一枚の画像とすることが想定されている。例えば図２に例示したフレームでは、奇数ライン（１行目、３行目、５行目・・・）の画像データのみが入力され、メモリ１２に格納される。
【００２４】
原画書込み部１３は、このフレームで撮影画像から出力された奇数ラインの画像データをＦＩＦＯメモリ３１に格納する。また、補間処理部１４は、このフレームで間引かれている偶数ライン（２行目、４行目、６行目・・・）の画像データを奇数ラインの画像データから生成し、補間用データとしてＦＩＦＯメモリ３２に格納すると共に、メモリ１６に書き込む処理を行なう。
【００２５】
したがって、ＦＩＦＯメモリ３１の保持内容とＦＩＦＯメモリ３２の保持内容とを順次読み出せば、奇数ラインと偶数ラインのデータを有する原画像データが得られる。同様に、メモリ１２の保持内容とメモリ１６の保持内容を組み合わせても奇数ラインと偶数ラインのデータを有する原画像データが得られる。
【００２６】
すなわち、原画書込み部１３と補間処理部１４とは協働して原画像データを作成する処理を行なうものであり、請求項に述べた第一演算手段として機能する。これにより、カメラ２１が撮影した１枚のフレームから２枚のフレームを合成した場合と同じデータ量を有する画像データを得ることが出来る。
【００２７】
エッジ処理部１５は、メモリ１２の保持内容（撮影画像）とメモリ１６の保持内容（補間用データ）とを組み合わせて得られた原画像データに対し、エッジ強調処理を行なってエッジ強調画像データを作成し、ＦＩＦＯメモリ３３に格納する処理を行なう。
【００２８】
ＦＩＦＯメモリ３１〜３３は、それぞれ原画書込み部１３、補間処理部１４、エッジ処理部１５の出力を２回分以上格納するバッファメモリであり、ＦＩＦＯ（First In, First Out）、すなわち先入れ先出しで読み書きを制御される。
【００２９】
ＳＤＲＡＭコントローラ１７は、ＳＤＲＡＭ２２に対する読み書きを制御する制御手段であり、ＦＩＦＯメモリ３１〜３３に格納されたデータを順次読み出してＳＤＲＡＭ２２に書き込む処理と、認識処理部１８からの読み出し要求を受けてＳＤＡＭ２２に格納されたデータを読み出す処理を行なう。
【００３０】
ここで、ＦＩＦＯメモリ３１から読み出された撮影画像とＦＩＦＯメモリ３２に格納された補間用データは、ＳＤＲＡＭ２２内で原画像データを形成する。また、ＦＩＦＯメモリ３３から読み出されたデータは、ＳＤＲＡＭ２２にエッジ強調画像データとして書き込まれる。
【００３１】
認識処理部１８は、ＳＤＲＡＭ２２から画像データを読み出して、画像認識処理を行なう処理部である。この認識処理部１８の処理は、任意の演算装置、例えばＣＰＵ（Central Processing Unit）が実行するソフトウェアとして実現される。
【００３２】
同図では、認識処理部２２は、白線認識と歩行者認識を行なっている。ここで、白線認識には、ＳＤＲＡＭ２２に格納されたエッジ強調データを読み出して使用する。また、歩行者認識には、ＳＤＲＡＭ２２に格納された原画像データを読み出して使用する。
【００３３】
すなわち、画像処理装置１０は、図３に示したように、カメラ２１が撮影した撮影画像から補間処理部１４が補間用データを作成し、原画書込み部１３が出力する撮影画像と補間処理部１４が出力する補間用データとを合わせて原画像データとしてＳＤＲＡＭ２２に保存する。
【００３４】
また、エッジ処理部は、原画像データに対してエッジ強調処理を施してエッジ強調画像データを作成し、このエッジ強調画像データをＳＤＲＡＭ２２に保存する。
【００３５】
そしてエッジ強調画像データに対するソフトウェア処理によって白線認識を行ない、原画像データに対するソフトウェア処理によって歩行者認識を行なう。なお、歩行者認識では白線認識の結果を利用して歩行者認識の対象とする領域を原画像データ内で絞込み、対象の領域に対して選択的に、もしくは重点的に歩行者認識を実行することもできる。
【００３６】
この場合、エッジ強調画像データに対する白線認識の認識結果として出力された白線の画像内の位置を利用し、白線と白線の間、すなわち画像内において道路上に対応する領域と、その近傍領域に対して選択的に（もしくは重点的に）歩行者認識を実行する。このように、歩行者認識の対象領域を絞り込むことで、歩行者認識にかかる処理負荷を減らしつつ、効率的に歩行者を検知することが可能となる。
【００３７】
また、歩行者認識は原画像データに対して、白線認識はエッジ強調画像データに対して行なうので、それぞれの認識精度を向上することが出来る。この時、原画像データとエッジ強調画像データとは同一の撮影画像から作成されているので、画像内での位置がずれることもない。
【００３８】
この画像処理装置１０の動作について図４を参照してさらに説明する。同図ではカメラ２１のSYNC（Synchronizing signal）すなわち水平同期信号を用いて画像認識のタイミング制御を行なっている。
【００３９】
同図にしめすように、画像処理装置１０は、カメラ２１から所定の画面の撮影画像が出力されると、まず撮影画像に対する補間処理を実行する。この補間処理は、その開始時点で撮影画像がＦＩＦＯメモリ３１に書き込まれ、補間処理の終了時に補間用データがＦＩＦＯメモリ３２とメモリ１６に書き込まれる。
【００４０】
そして、補間処理の終了後、補間された原画像データ（メモリ１２とメモリ１６合成データ）に対するエッジ処理と、原画像データ（ＦＩＦＯメモリ３１およびＦＩＦＯメモリ３２が保持するデータ）のＳＤＲＡＭ２２への書込みを並行して実行する。また、エッジ処理の終了時にはエッジ強調画像データがＦＩＦＯメモリ３３に書き込まれる。
【００４１】
エッジ処理が終了したならば、次の補間処理を実行すると共に、エッジ強調画像データ（ＦＩＦＯメモリ３３が保持するデータ）のＳＤＲＡＭ２２への書込みを並行して実行する。
【００４２】
すなわち、画像処理部１０は、撮影画像のＦＩＦＯメモリ３１への書込み、補間用データの作成とＦＩＦＯメモリ３２への書き込み、エッジ強調画像データの作成とＦＩＦＯメモリ３３への書込みを順次実行し、これと並行してＳＤＲＡＭコントローラ１７がＦＩＦＯメモリ３１〜３３の保持内容を順次読み出してＳＤＲＡＭ２２に書き込む。
【００４３】
このように、ＳＤＲＡＭ２２に書き込むデータをＦＩＦＯメモリ３１〜３３にバッファしておくことで、ＳＤＲＡＭのアクセス制御と画像処理とを並行して行なうことができる。そのため、ＳＤＲＡＭアクセス制御によって処理遅延や異常終了が発生することを防ぎ、高速で高精度な処理を実現可能となる。
【００４４】
さて、本願発明と比較するため、従来の画像処理の動作と発生する問題の具体例について説明する。図５に示す様に、補間処理、原画像データのＳＤＲＡＭ書込み、エッジ処理、エッジ強調画像データのＳＤＲＡＭ書込みをシリアルに実行すると、ＳＤＲＡＭ書込み完了待ちで処理遅延が発生し、各行の最後の方で補間処理やエッジ処理が正常に終了しないまま次の行の処理が開始される場合がある。この場合、例えば図６に示す様に、画像Ｇ１の右端の領域Ａ１、すなわち各行の最後段部分の処理が正常に行なわれず、該当する領域に対する画像認識が出来なくなる。
【００４５】
また、図７に示すように、ＳＤＲＡＭに対する書込み処理を補間処理やエッジ処理に対して独立して並行処理した場合であっても、処理結果のバッファリングを行なっていないと、一方の処理結果のＳＤＲＡＭへの書込み処理中に他方の処理が終了してＳＤＲＡＭへの書込み要求が発生し、書込み動作が衝突し、正常な書込み処理が行なわれない場合がある。この場合、例えば図８に示す様に、画像Ｇ２内に周期的に書込みが正常に終了しなかった領域Ａ２が出現し、該当する領域に対する画像認識が出来なくなる。
【００４６】
上述してきたように、本実施例にかかる画像処理装置１０は、カメラ２１が撮影した撮影画像に対して補間処理を行う補間処理部１４と、補間処理によって得られた原画像データに対してエッジ強調処理を行なうエッジ処理部１２とをそれぞれ専用のハードウェアとして有することで、後段の各認識処理に対応した後段の複数種類の画像認識処理に対応し、前処理の異なる複数の画像を出力することが出来る。
【００４７】
そして、撮影画像、補間用データ、エッジ強調データをそれぞれＦＩＦＯメモリ３１〜３３にバッファリングし、ＳＤＲＡＭコントローラ１７がＦＩＦＯメモリ３１〜３３に格納されたデータを順次読み出してＳＤＲＡＭ２２に格納することで、ＳＤＲＡＭ２２へのアクセス制御と各画像処理とを独立に並行処理可能とし、アクセス制御による処理時間の遅延や異常終了の発生を防止するので、画像認識における認識速度と認識精度を向上させることができる。
【００４８】
また、インターレース画像に対して補間処理を行なうことで、１フレームの画像から偶数ラインと奇数ラインの双方についてデータを有する原画像データを作成するので、毎フレームで高精度かつ高速な画像認識を行なうことが可能となる。
【００４９】
なお、本実施例はあくまで一例であり、本発明は適宜構成を変更して実施することができることは言うまでも無い。例えば、本実施例では車載カメラが撮影した画像から歩行者を認識する場合を例に説明を行なったが、車載用途以外であっても本発明は適用可能である。
【００５０】
また、本実施例では、インターレース画像に対する補間処理とエッジ強調処理をそれぞれ施した画像をハードウェアにて作成し、各々を歩行者認識処理と白線認識処理に使用する場合を例に説明を行なったが、本発明は、これに限定されること無く任意の画像認識を対象とし、任意の画像処理を施すことができる。
【産業上の利用可能性】
【００５１】
以上のように、本発明にかかる画像処理装置および画像処理方法は、画像処理における出力制御に有用であり、特に画像認識の前処理に適している。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施例にかかる画像処理装置の概要構成を示す概要構成図である。
【図２】インターレース画像の補間処理について説明する説明図である。
【図３】図１に示した画像処理装置の動作概要について説明する説明図である。
【図４】図１に示した画像処理装置の処理動作を説明する説明図である。
【図５】画像処理とＳＤＲＡＭ書込みをシリアルで実行する場合の処理動作について説明する説明図である。
【図６】図５に示した処理動作において発生する画像認識の問題点について説明する説明図である。
【図７】処理結果のバッファリングを行なわない並行処理について説明する説明図である。
【図８】図７に示した処理動作において発生する画像認識の問題点について説明する説明図である。
【符号の説明】
【００５３】
１０    画像処理装置
１１    カメラＩＦ
１２    メモリ
１３    原画書込み部
１４    補間処理部
１５    エッジ処理部
１６    メモリ
１７    ＳＤＲＡＭコントローラ
１８    認識処理部
２１    カメラ
２２    ＳＤＲＡＭ
【図１】
2008305324.tif 000003
【図２】
2008305324.tif 000004
【図３】
2008305324.tif 000005
【図４】
2008305324.tif 000006
【図５】
2008305324.tif 000007
【図６】
2008305324.tif 000008
【図７】
2008305324.tif 000009
【図８】
2008305324.tif 000010