(57)【要約】 【課題】  動き補償によるフレーム間予測を利用して画像を符号化する際に要する演算量を低減しつつ、自車両の外界に存在する所望の物体に対する動きベクトルの検出処理を迅速かつ精度良く行う。【解決手段】  現画像取得部３２から出力される現画像の画像データを所定領域の複数のブロックに分割し、これらの複数のブロックのうち検索対象ブロック設定部３３にて設定した検索対象ブロックと最も良く類似するブロックを検索する際の検索開始位置を、車両状態量センサ１３から出力される自車両の車両状態量（例えば、車速）の検出結果に基づき設定する。検索領域・検索順序設定部３５は、検索開始位置設定部３４にて設定した検索開始位置を中心とする複数のブロックからなる検索領域を設定すると共に、この検索領域内の各ブロックに対して検索処理を実行する順序を設定する。【選択図】      図１
2005301356.tif 000002
【特許請求の範囲】
【請求項１】
自車両の外部を撮影する撮影手段と、
前記撮影手段の撮影により得られる撮影画像内で所定パターンを検索する検索手段と、
自車両の走行状態に係る走行状態量を検出する走行状態量検出手段と、
前記検索手段により所定パターンを検索する際の前記撮影画像内での検索領域を、前記走行状態量検出手段により検出される走行状態量に基づき設定する検索領域設定手段と
を備えることを特徴とする車載画像処理装置。
【請求項２】
前記検索手段は、前記検索領域設定手段により設定された検索領域内において検索を開始する開始位置を、前記走行状態量検出手段により検出される走行状態量に基づき設定し、前記開始位置を中心とした螺旋状に前記検索領域の外部に向かう検索経路に沿って検索を行い、検索したパターンと前記所定パターンとの差異が所定差未満の場合に検索の実行を停止することを特徴とする請求項１に記載の車載画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載画像処理装置に関する。
【背景技術】
【０００２】
従来、空間領域と時間領域における冗長性を除去することによって動画像の圧縮を行う際に、時間領域における冗長性の除去として、動き補償によるフレーム間予測を利用して画像を符号化する方法が知られている。この方法では、画像内の移動体の動き（動きベクトル）を予測し、予測した動きと直前のフレーム（画像）とに基づき現在のフレーム（現フレーム）を予測して予測フレームを生成し、予測フレームと実際の現フレームとの差分データを抽出して符号化することで、符号化効率を向上させるようになっている。
この動き補償において、画像内の移動体の動きベクトルを予測する際には、現フレームと、この現フレームと時間的に連続する参照フレームとを所定領域の複数のブロックに分割し、例えば現フレーム（または参照フレーム）の所定ブロックと最も良く類似するブロックを、参照フレーム（または現フレーム）内に設定した所定の探索領域内において探索し、現フレームの所定ブロックと参照フレームにて探索したブロックとの位置の差を検出するようになっている。
そして、参照フレームの探索領域内において、現フレームの所定ブロックと最も良く類似するブロックを探索する方法として、例えば前回の処理において予測した動きベクトルを、今回の処理における予測ベクトルとして設定し、この予測ベクトルの終点位置を走査開始位置として、順次外側に向かうようにして渦巻状に走査を行う方法が知られている（例えば、特許文献１参照）。
【特許文献１】特開２０００−２３６５５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記従来技術に係る動画圧縮符号化装置を車両に搭載し、車両外部の外界に存在する他の車両や歩行者等の移動体や障害物や標識等の物体を撮影する撮影装置に適用する際には、単に、動きベクトルを予測する際の探索に要する演算量を低減するだけではなく、自車両の走行の支障となる可能性が高い物体に対して動きベクトルの検出を迅速に行うと共に検出精度を向上させることが望まれる。
本発明は上記事情に鑑みてなされたもので、動き補償によるフレーム間予測を利用して画像を符号化する際に要する演算量を低減しつつ、自車両の外界に存在する所望の物体に対する動きベクトルの検出処理を迅速かつ精度良く行うことが可能な車載画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の車載画像処理装置は、自車両の外部を撮影する撮影手段（例えば、実施の形態でのカメラ２１）と、前記撮影手段の撮影により得られる撮影画像内で所定パターンを検索する検索手段（例えば、実施の形態での画素差分累積算出部３６）と、自車両の走行状態に係る走行状態量を検出する走行状態量検出手段（例えば、実施の形態での車両状態量センサ１３）と、前記検索手段により所定パターンを検索する際の前記撮影画像内での検索領域を、前記走行状態量検出手段により検出される走行状態量に基づき設定する検索領域設定手段（例えば、実施の形態での検索開始位置設定部３４および検索領域・検索順序設定部３５）とを備えることを特徴としている。
【０００５】
上記構成の車載画像処理装置によれば、検索領域設定手段は、走行状態量検出手段にて検出される自車両の走行状態量（例えば、速度や加速度、旋回状態等）に基づき、例えば歩行者や他の車両のように自車両に対して相対的に危険度が高い物体等に対する所定パターンを撮影画像内で検索する際の検索領域を設定する。
これにより、例えば自車両の走行状態が変化した場合であっても、例えば歩行者や他の車両や障害物のように自車両に対して相対的に危険度が高い物体等を対象とした所定パターンの検索を、検索に要する演算量を低減しつつ迅速に行うことができる。これにより、画像処理に要する時間を短縮し、自車両の走行安全性を向上させることができる。
【０００６】
さらに、請求項２に記載の本発明の車載画像処理装置では、前記検索手段は、前記検索領域設定手段により設定された検索領域内において検索を開始する開始位置を、前記走行状態量検出手段により検出される走行状態量に基づき設定し、前記開始位置を中心とした螺旋状に前記検索領域の外部に向かう検索経路に沿って検索を行い、検索したパターンと前記所定パターンとの差異が所定差未満の場合に検索の実行を停止することを特徴としている。
【０００７】
上記構成の車載画像処理装置によれば、例えば自車両の走行状態が変化した場合でっても、歩行者や他の車両や障害物のように自車両に対して相対的に危険度が高い物体等を対象とした所定パターンの検索を、検索に要する演算量を低減しつつ迅速に行うことができ、自車両の走行安全性を向上させることができる。しかも、検索したパターンと所定パターンとの差異が所定差未満の場合に検索の実行を停止することにより、過剰な検索の実行を防止し、検索に要する演算量および演算時間を低減することができる。
【発明の効果】
【０００８】
本発明の車載画像処理装置によれば、例えば自車両の走行状態が変化した場合でっても、歩行者や他の車両や障害物のように自車両に対して相対的に危険度が高い物体等を対象とした所定パターンの検索を、検索に要する演算量を低減しつつ迅速に行うことができ、自車両の走行安全性を向上させることができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の一実施形態に係る車載画像処理装置について添付図面を参照しながら説明する。
本実施の形態による車載画像処理装置１０は、例えば図１に示すように、自車両の外界を検出するためにＣＰＵ等を含む電子回路により構成された画像処理装置１１と、外界センサ１２と、車両状態量センサ１３とを備えて構成されている。
【００１０】
外界センサ１２は、例えば可視光領域にて撮影可能なＣＣＤカメラやＣ−ＭＯＳカメラ等からなるカメラ２１および画像処理部２２とを備えて構成されている。
カメラ２１は、例えば図２に示すようにフロントウィンドウの車室内側でルームミラー近傍の位置に配置され、フロントウィンドウ越しに自車両の進行方向前方の所定検知範囲の外界を撮影する。
画像処理部２２は、カメラ２１により撮影して得た画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して画像処理装置１１へ出力する。
【００１１】
車両状態量センサ１３は、自車両の走行状態に係る車両状態量を検出するセンサ、例えば車速センサ、舵角センサ等を備えて構成され、各センサから出力される検出信号は画像処理装置１１へ出力されている。
なお、車速センサは、例えば車輪の回転速度等に基づいて所定の単位処理時間毎における車両移動距離つまり自車両の速度（車速）を検出し、舵角センサは、例えばステアリングシャフト（図示略）に設けられたロータリエンコーダ等からなり、運転者が入力した操舵角度の方向と大きさを検出する。
【００１２】
画像処理装置１１は、視線センサ１２から画像データが入力される参照画像取得部３１および現画像取得部３２と、検索対象ブロック設定部３３と、検索開始位置設定部３４と、検索領域・検索順序設定部３５と、画素差分累積算出部３６と、ブロック判定部右３７と、移動ベクトル算出部３８と、動き補償部３９と、符号化対象生成部４０と、符号化処理部４１とを備えて構成されている。
検索対象ブロック設定部３３は、参照画像取得部３１から出力される参照画像の画像データを所定領域の複数のブロックに分割し、これら複数のブロックのうち適宜のブロックを検索対象ブロックとして設定し、検索開始位置設定部３４および画素差分累積算出部３６へ出力する。
検索開始位置設定部３４は、現画像取得部３２から出力される現画像の画像データを所定領域の複数のブロックに分割し、これらの複数のブロックのうち検索対象ブロック設定部３３にて設定した検索対象ブロックと最も良く類似するブロックを検索する際の検索開始位置を、車両状態量センサ１３から出力される自車両の車両状態量（例えば、車速）の検出結果に基づき設定し、検索領域・検索順序設定部３５へ出力する。
【００１３】
検索領域・検索順序設定部３５は、検索開始位置設定部３４にて設定した検索開始位置を中心とする複数のブロックからなる検索領域を設定すると共に、この検索領域内の各ブロックに対して検索処理を実行する順序を設定し、画素差分累積算出部３６へ出力する。
なお、検索開始位置のブロックから検索順序を設定する際には、例えば自車両が走行中の道路の情報（例えば、走行車線や車線数等）や交通法規（右側通行や左側通行等）等に応じて設定する。
【００１４】
画素差分累積算出部３６は、検索領域・検索順序設定部３５にて設定した検索順序に応じて検索領域内から順次選択される各ブロック（検索ブロック）と、参照画像の検索対象ブロックとに対して、検索ブロックおよび検索対象ブロックを構成する各複数の画素毎に情報の差分を算出し、さらに、各画素毎の差分を各ブロックを構成する複数の画素に亘って累積し、各検索ブロック毎の累積値を算出する。
ブロック判定部３７は、画素差分累積算出部３６にて算出した各検索ブロック毎の累積値が所定の判定閾値未満であるか否かを判定することによって、検索領域内の複数の検索ブロックのうち、検索対象ブロックに最も良く類似する検索ブロックを選択し、移動ベクトル算出部３８へ出力する。
【００１５】
移動ベクトル算出部３８は、検索対象ブロックの参照画像内での位置情報と、ブロック判定部３７にて選択した検索ブロックの現画像内での位置情報とに基づき、例えば各位置座標の差により移動ベクトルを算出し、動き補償部３９へ出力する。
動き補償部３９は、移動ベクトル算出部３８にて算出した移動ベクトルに応じて参照画像の画像データに動き補償の処理を行い、現画像に対する予測画像の画像データを生成し、符号化対象生成部４０へ出力する。
符号化対象生成部４０は、現画像と予測画像との各画像データ間の差分データを符号化対象として生成し、符号化処理部４１へ出力する。
符号化処理部４１は、符号化対象生成部４０にて生成された符号化対象に対して符号化処理を行う。
【００１６】
本実施の形態による車載画像処理装置１０は上記構成を備えており、次に、この車載画像処理装置１０の動作について説明する。
【００１７】
先ず、例えば図３に示すステップＳ０１においては、適宜の時刻Ｔの画像（例えば、前回の処理における画像等）として参照画像を取得する。
次に、ステップＳ０２においては、時刻Ｔの画像に連続する時刻Ｔから所定時間だけ経過した時刻Ｔ＋１の画像（例えば、今回の処理における画像等）として現画像を取得する。
次に、ステップＳ０３においては、参照画像の画像データを所定領域の複数のブロックに分割し、これら複数のブロックのうち適宜のブロックを検索対象ブロックとして設定する。
次に、ステップＳ０４においては、後述する移動ベクトル予測処理を実行する。
次に、ステップＳ０５においては、検索対象ブロックと最も良く類似するブロックを現画像の画像データ内で検索する際における検索領域および検索領域内の各ブロックに対して検索処理を実行する順序を設定する。例えば図４に示すように、参照画像の検索対象ブロックＡ２５から、上述したステップＳ０４での移動ベクトル予測処理にて予測した移動ベクトル予測値ＶＡに応じたブロックＡ３１を、検索開始位置のブロックとして設定し、さらに、この検索開始位置のブロックＡ３１を中心とする複数のブロックからなる検索領域ＳＡを設定する。そして、この検索領域ＳＡ内において検索開始位置のブロックＡ３１から、例えば自車両の走行路への左側からの歩行者の飛び出し等に対応して、反時計回りの渦巻状の検索順序（Ａ３１→Ａ３２→Ａ２５→Ａ２４→Ａ２３→Ａ３０→…）を設定する。
【００１８】
次に、ステップＳ０６においては、設定した検索順序に応じて各ブロック（Ａ３１，Ａ３２，Ａ２５，Ａ２４，Ａ２３，Ａ３０，…等）を検索ブロックとして順次選択する。
そして、ステップＳ０７においては、検索順序に応じて検索領域内から順次選択した各ブロック（検索ブロック）と、参照画像の検索対象ブロックとに対して、検索ブロックおよび検索対象ブロックを構成する各複数の画素毎に情報の差分を算出し、さらに、各画素毎の差分を各ブロックを構成する複数の画素に亘って累積して累積値（差分累積）を算出する。
【００１９】
そして、ステップＳ０８においては、差分累積が所定の判定閾値未満であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、この時点での検索ブロックが検索対象ブロックに類似すると判断して検索処理の実行を終了し、ステップＳ１０に進み、ステップＳ１０においては、検索対象ブロックの参照画像内での位置情報と、ブロック判定部３７にて選択した検索ブロックの現画像内での位置情報とに基づき、例えば各位置座標の差により移動ベクトルを算出し、ステップＳ１１に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０９に進む。
ステップＳ０９においては、検索領域内の全ブロックに対して検索処理の実行が終了したか否かを判定する。
ステップＳ０９の判定結果が「ＹＥＳ」の場合には、後述するステップＳ１１に進む。
一方、ステップＳ０９の判定結果が「ＮＯ」の場合には、上述したステップＳ０６に進む。
【００２０】
ステップＳ１１においては、参照画像の他のブロックを検索対象ブロックとして設定するか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、上述したステップＳ０３に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１２に進む。
ステップＳ１２においては、算出した移動ベクトルに応じて参照画像の画像データに動き補償の処理を行い、現画像に対する予測画像の画像データを生成する。
そして、ステップＳ１３においては、現画像と予測画像との各画像データ間の差分データを符号化対象として生成する。
そして、ステップＳ１４においては、生成された符号化対象に対して符号化処理を行い、一連の処理を終了する。
【００２１】
以下、ステップＳ０４における移動ベクトル予測処理について説明する。
例えば図５に示すステップＳ２１においては、参照画像の画像データにおける検索対象ブロックと自車両との相対距離を検出する。
次に、ステップＳ２２においては、参照画像の画像データ内において、検索対象ブロックと、この検索対象ブロックの消失点との間の画素距離を検出する。
そして、ステップＳ２３においては、車両状態量センサから速度検出値を取得する。
そして、ステップＳ２４においては、検索対象ブロックと自車両との相対距離、および、検索対象ブロックと検索対象ブロックの消失点との間の画素距離、および、自車両の速度検出値に基づき、検索対象ブロックの移動ベクトルを予測し、一連の処理を終了する。
【００２２】
上述したように、本実施の形態による車載画像処理装置１０によれば、例えば自車両の走行状態が変化した場合であっても、例えば歩行者や他の車両や障害物のように自車両に対して相対的に危険度が高い物体等を対象とした所定パターンの検索を、検索に要する演算量を低減しつつ迅速に行うことができる。これにより動き補償によるフレーム間予測を利用して外界センサ１２のカメラ２１により撮影して得た画像を処理する際に要する時間を短縮し、自車両の走行安全性を向上させることができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態に係る車載画像処理装置の構成図である。
【図２】図１に示す外界センサを搭載した車両を示す斜視図である。
【図３】図１に示す車載画像処理装置の動作を示すフローチャートである。
【図４】現画像の画像データ内における検索開始位置および検索領域および検索順序の一例を示すフローチャートである。
【図５】図３に示す移動ベクトル予測処理の動作を示すフローチャートである。
【符号の説明】
【００２４】
１１  車載画像処理装置
１３  車両状態量センサ（走行状態量検出手段）
２１  カメラ（撮影手段）
３６  画素差分累積算出部（検索手段）
３４  検索開始位置設定部（検索領域設定手段）
３５  検索領域・検索順序設定部（検索領域設定手段）
【図１】
2005301356.tif 000003
【図２】
2005301356.tif 000004
【図３】
2005301356.tif 000005
【図４】
2005301356.tif 000006
【図５】
2005301356.tif 000007