(57)【要約】【課題】車載カメラの映像を処理して移動体等を検知する場合に、自車両の前進、停車、後退等の複数の状態のいずれにおいても重要な領域の認識を可能にすると共に、画像処理の負荷の低減を可能にする。【解決手段】検知枠Ｆ１１〜Ｆ１７、Ｆ２１〜Ｆ２５、Ｆ３１、Ｆ３２により画像フレーム１００Ａ、１００Ｂ、１００Ｃ内の処理対象データの範囲を限定し、処理の負荷を低減する。自車両の前進、停車、後退等の状態の違いに応じて、検知枠の数、検知枠の大きさ、検知枠の位置等を自動的に切り替える。前進走行時には、後方映像の処理に割り当てる検知枠の数等を削減して負荷を減らし、その分の処理能力を前方の映像の処理に振り分け可能にする。前方の映像に基づいて複数種類の運転支援機能を同時に実現する場合でも、高価なＣＰＵを用いることなく、リアルタイムで処理可能になる。【選択図】図３
2019028481.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された１つ以上の車載カメラが出力する映像信号を入力して処理する画像処理部と、
前記車両における走行の有無および進行方向の少なくとも一方の状態を検知する車両状態検知部と、
前記画像処理部が処理する前記映像信号内の領域を動的に決定する画像領域決定部と、
を有し、
前記画像領域決定部は、前記車両状態検知部の検知状態を反映して、前記領域を自動的に変更する、
ことを特徴とする車載器。
【請求項２】
前記画像領域決定部は、
前記映像信号内に事前に割り当てた複数の二次元領域の各々の位置および大きさを表す定数データを保持する定数保持部を有し、
前記複数の二次元領域の中から、前記車両状態検知部の検知状態に応じて選択した１つ以上の二次元領域を、前記画像処理部が処理する前記映像信号内の領域として割り当てる、
ことを特徴とする請求項１に記載の車載器。
【請求項３】
前記画像領域決定部は、前記車両状態検知部の検知状態に応じて、前記複数の二次元領域の中から選択する二次元領域の数およびその組み合わせを自動的に決定する、
ことを特徴とする請求項２に記載の車載器。
【請求項４】
前記画像領域決定部は、前記車両状態検知部の検知状態に基づいて、前記車両の前進、後退、および停止のいずれかの状態を認識し、認識した前記車両の状態に応じて前記領域を自動的に変更する、
ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の車載器。
【請求項５】
請求項１乃至請求項４のいずれか１項に記載の車載器と、
前記画像処理部が前記映像信号の中から認識した結果と、事前に定めた判定基準とに基づいて、前記車両の安全運転を支援する警報を生成する警報生成部と、
を備えたことを特徴とする運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラが出力する映像信号を入力して処理する画像処理部を有する車載器および運転支援装置に関する。
【背景技術】
【０００２】
近年の車両においては、車載カメラの撮影により得られる映像信号を入力して処理する画像処理部を有する車載器が搭載される傾向にある。例えば、ドライブレコーダの機能を有する一般的な車載器は、車載カメラの映像信号を入力し、自車両に交通事故などの異常が発生した時に、トリガ信号に従いその前後一定時間内の画像データを自動的に記録することができる。また、運行記録計であるデジタルタコグラフの機能を有する車載器にも、車載カメラの映像信号を入力して処理するものが存在する。
【０００３】
また、例えば特許文献１に示された車両用のナビゲーション装置においては、自位置周辺の画像情報を対象とする画像認識を行うに際して、画像認識処理の認識条件を可変設定することにより、演算処理負荷を軽減しつつ、誤認識を抑制して認識率を高めるための技術を示している。具体的には、自信度に応じて、画像情報に対する各対象地物についての画像認識処理を行う範囲を設定する。
【０００４】
また、特許文献２においては、車両周辺の情景が撮影された画像を、広域表示と拡大表示との間で切り替えて表示する車両用周辺監視装置を示している。また、撮影された広域撮影データが、表示装置に同じ視野で表示させるための広域表示データと、広域撮影データの中の一部を拡大して表示させるための拡大表示データとに変換可能に構成されることを示している。また、広域表示データが表示されている状態で「前方」のボタンを操作すると、広域撮影データの中の「前方」に相当する領域が拡大表示されることを示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２９８６９７号公報
【特許文献２】特開２００８−３０１０９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、例えばデジタルタコグラフ等の車載器においては、例えば以下に示す（１）〜（３）のような様々な運転支援機能を搭載することが望まれている。
（１）自車両と先行車両との間の車間距離の接近しすぎに対して警報を出力する機能。
（２）自車両が所定の走行レーンの範囲を逸脱する場合に警報を出力する機能。
（３）路面の標示に基づき認識した制限速度に対する自車両の速度超過について警報を出力する機能。
【０００７】
上記の（１）〜（３）のような機能を実現する際には、例えば自車両の車載カメラで撮影した自車両前方の情景を表す映像信号を処理して様々なパターン認識を行うことが必要になる。すなわち、映像信号から得られる画像データに基づき、先行車両のパターン、走行レーンの左右境界を表す白線等のパターン、路面に標示されている制限速度の標示パターンなどをそれぞれ認識する必要がある。
【０００８】
また、車両に搭載される車載カメラについては、自車両前方を撮影する車載カメラの他に、自車両後方の情景を撮影する車載カメラや、車室内の乗員等を撮影する車載カメラが含まれる場合もある。したがって、車載器においては、複数台の車載カメラがそれぞれ出力する複数の映像信号を同時に処理することが必要になる場合もある。
【０００９】
しかしながら、自車両の走行等に伴って逐次変化する映像の中から複数のパターンを同時にリアルタイムで認識するためには、高性能の画像処理専用プロセッサや、高性能のマイクロコンピュータのように高価なハードウェアを車載器に搭載しなければならず、装置コストの増大が懸念される。しかし、比較的低コストのハードウェアで上記の機能を実現しようとすると、各パターンの認識処理に遅延が生じるため、安全運転を支援するための各種警報をリアルタイムで出力することが困難になる。
【００１０】
そこで、例えば特許文献１および特許文献２に示されているように、画像の中で画像処理の対象とする範囲を予め限定することが想定される。範囲を限定することにより、画像処理の負荷が軽減されるので、比較的低コストのハードウェアを利用する場合であっても、認識処理の遅延をある程度抑制できる。
【００１１】
しかし、上記の（１）〜（３）のような複数の機能を同時に実現しようとすると、同じ映像フレーム中の互いに異なる領域に映る複数の認識対象を同時に認識しなければならず、認識対象の範囲を狭くすることができない。その結果、認識対象の範囲のデータ量が増え、認識処理の遅延が増大する。また、複数の車載カメラの映像をそれぞれ処理する場合にも、認識対象物が映像フレーム中の様々な箇所に存在する可能性を考慮すると、対象の範囲を広げる必要がある。
【００１２】
また、自車両が前進、停車、後退のいずれの状態であるかに応じて、映像フレーム中の注目すべき重要な領域が互いに異なるので、どの状態でも重要な領域を認識可能にするためには、認識対象の範囲の制限を緩和しなければならない。したがって、認識対象の範囲のデータ量が増え、認識処理の遅延が増大する。
【００１３】
本発明は、上述した事情に鑑みてなされたものであり、その目的は、自車両の前進、停車、後退等の複数の状態のいずれにおいても重要な領域の認識を可能にすると共に、画像処理の負荷の低減が可能な車載器および運転支援装置を提供することにある。
【課題を解決するための手段】
【００１４】
前述した目的を達成するために、本発明に係る車載器および運転支援装置は、下記（１）〜（５）を特徴としている。
（１）  車両に搭載された１つ以上の車載カメラが出力する映像信号を入力して処理する画像処理部と、
前記車両における走行の有無および進行方向の少なくとも一方の状態を検知する車両状態検知部と、
前記画像処理部が処理する前記映像信号内の領域を動的に決定する画像領域決定部と、
を有し、
前記画像領域決定部は、前記車両状態検知部の検知状態を反映して、前記領域を自動的に変更する、
ことを特徴とする車載器。
【００１５】
上記（１）の構成の車載器によれば、車両状態検知部の検知状態に応じて、画像処理部が処理する映像信号内の領域を動的に決定することができる。したがって、例えば、自車両の前進、停車、後退等の複数の状態のいずれにおいても重要な領域の認識を可能とし、且つ処理対象のデータ量が削減されるように領域を最適化して、処理の負荷を低減できる。
【００１６】
（２）  前記画像領域決定部は、
前記映像信号内に事前に割り当てた複数の二次元領域の各々の位置および大きさを表す定数データを保持する定数保持部を有し、
前記複数の二次元領域の中から、前記車両状態検知部の検知状態に応じて選択した１つ以上の二次元領域を、前記画像処理部が処理する前記映像信号内の領域として割り当てる、
ことを特徴とする上記（１）に記載の車載器。
【００１７】
上記（２）の構成の車載器によれば、画像領域決定部は、定数保持部が保持している定数データに基づいて、画像処理部が処理する領域の適切な位置および大きさを容易に決定できる。
【００１８】
（３）  前記画像領域決定部は、前記車両状態検知部の検知状態に応じて、前記複数の二次元領域の中から選択する二次元領域の数およびその組み合わせを自動的に決定する、
ことを特徴とする上記（２）に記載の車載器。
【００１９】
上記（３）の構成の車載器によれば、例えば、自車両の前進、停車、後退等の複数の状態のそれぞれについて、同時に複数の二次元領域を割り当てることができ、二次元領域の数およびその組み合わせを最適化することもできる。また、映像フレーム中で注目すべき複数の重要な箇所が互いに離れた位置に分散している場合であっても、同時に複数の二次元領域を割り当てることにより、各々の二次元領域のサイズを削減し、画像処理部が処理するデータ量を大幅に削減できる。
【００２０】
（４）  前記画像領域決定部は、前記車両状態検知部の検知状態に基づいて、前記車両の前進、後退、および停止のいずれかの状態を認識し、認識した前記車両の状態に応じて前記領域を自動的に変更する、
ことを特徴とする上記（１）乃至（３）のいずれかに記載の車載器。
【００２１】
上記（４）の構成の車載器によれば、車両の前進、後退、および停止のいずれかの状態を認識できるので、状態に応じた適切な領域を画像処理部の処理対象として割り当てることができる。すなわち、車両の前進、後退、および停止のいずれの状態においても、映像フレーム中の注目すべき重要な領域のみを処理対象にし、データ量が削減されるように領域を最適化することができる。
【００２２】
（５）  上記（１）乃至（４）のいずれかに記載の車載器と、
前記画像処理部が前記映像信号の中から認識した結果と、事前に定めた判定基準とに基づいて、前記車両の安全運転を支援する警報を生成する警報生成部と、
を備えたことを特徴とする運転支援装置。
【００２３】
上記（５）の構成の運転支援装置によれば、車両状態検知部の検知状態に応じて、画像処理部が処理する映像信号内の領域を動的に決定できる。したがって、入力された映像フレームから同時に複数の移動物体を認識し、複数種類の警報を出力する機能を実現する場合であっても、処理対象のデータ量を削減し、警報の遅延を抑制できる。
【発明の効果】
【００２４】
本発明の車載器および運転支援装置によれば、自車両の前進、停車、後退等の複数の状態のいずれにおいても重要な領域の認識を可能にすると共に、画像処理の負荷の低減が可能になる。
【００２５】
以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。
【図面の簡単な説明】
【００２６】
【図１】図１は、本発明の実施の形態における運行管理システムの構成例を示すブロック図である。
【図２】図２は、運転支援機能を実現するためのデジタルタコグラフの動作例を示すフローチャートである。
【図３】図３（ａ）、図３（ｂ）、および図３（ｃ）は、互いに異なる車両の状態で得られる各画像フレームとその中に割り当てられる各検知枠との関係の具体例を示す正面図である。
【図４】図４は、車両の状態に応じて使用する検知枠を自動的に決定するためのデジタルタコグラフの動作例を示すフローチャートである。
【図５】図５は、デジタルタコグラフが参照する車両状態テーブルＴ１の構成例を示す模式図である。
【図６】図６は、デジタルタコグラフが参照する検知枠テーブルＴ２の構成例を示す模式図である。
【発明を実施するための形態】
【００２７】
本発明に関する具体的な実施形態について、各図を参照しながら以下に説明する。
【００２８】
＜システムの構成および動作の概要＞
本発明の実施の形態における運行管理システム５の構成例を図１に示す。
図１に示した運行管理システム５は、トラック運送会社やバス会社等の事業者の設備として導入される。この運行管理システム５は、トラックやバス等の各車両の運行状況を管理するものであり、各車両に車載器として搭載された運行記録装置（以下、デジタルタコグラフという）１０と、各事業者の事務所等に設置される事務所ＰＣ３０とで構成されている。デジタルタコグラフ１０と、事務所ＰＣ３０との間は、ネットワーク７０を介して通信できるように接続される。
【００２９】
事務所ＰＣ３０は、事務所に設置された汎用のコンピュータ装置で構成され、車両の運行状況を管理する。ネットワーク７０は、デジタルタコグラフ１０と広域通信を行う無線基地局８や事務所ＰＣ３０が接続されるインターネット等のパケット通信網であり、デジタルタコグラフ１０と事務所ＰＣ３０と間で行われるデータ通信を中継する。デジタルタコグラフ１０と無線基地局８との間の通信は、ＬＴＥ（Long Term Evolution）／４Ｇ（4th Generation）等のモバイル通信網（携帯回線網）で行われてもよいし、無線ＬＡＮ（Local Area Network）で行われてもよい。
【００３０】
デジタルタコグラフ１０は、車両に搭載され、出入庫時刻、走行距離、走行時間、走行速度、速度オーバー、エンジン回転数オーバー、急発進、急加速、急減速等の運行データを記録する。また、本実施形態のデジタルタコグラフ１０は、それ以外に後述する運転支援機能を搭載している。
【００３１】
図１に示したデジタルタコグラフ１０は、ハードウェアとして、ＣＰＵ（マイクロコンピュータ）１１、速度Ｉ／Ｆ（インタフェース）１２Ａ、エンジン回転Ｉ／Ｆ１２Ｂ、外部入力Ｉ／Ｆ１３、センサ入力Ｉ／Ｆ１４、ＧＰＳ受信部１５、カメラＩ／Ｆ１６、不揮発メモリ２６Ａ、揮発メモリ２６Ｂ、記録部１７、カードＩ／Ｆ１８、音声Ｉ／Ｆ１９、ＲＴＣ（時計ＩＣ）２１、ＳＷ入力部２２、通信部２４、表示部２７、およびアナログ入力Ｉ／Ｆ２９を内蔵している。
【００３２】
ＣＰＵ１１は、予め組み込まれたプログラムに従い、デジタルタコグラフ１０の各部を統括的に制御する。不揮発メモリ２６Ａは、ＣＰＵ１１によって実行される動作プログラムや、ＣＰＵ１１が参照する定数データやテーブルなどを予め保持している。不揮発メモリ２６Ａは、データの書き換えが可能なメモリであり、保持しているデータは必要に応じて更新できる。
【００３３】
記録部１７は、運行データや映像等のデータを記録する。カードＩ／Ｆ１８には、乗務員が所持するメモリカード６５が挿抜自在に接続される。ＣＰＵ１１は、カードＩ／Ｆ１８に接続されたメモリカード６５に対し運行データ、映像等のデータを書き込む。音声Ｉ／Ｆ１９には、内蔵のスピーカ２０が接続される。スピーカ２０は、警報等の音声を発する。
【００３４】
ＲＴＣ２１（計時部）は、現在時刻を計時する。ＳＷ入力部２２には、出庫ボタン、入庫ボタン等の各種ボタンのＯＮ／ＯＦＦ信号が入力される。表示部２７は、ＬＣＤ（liquid crystal display）で構成され、通信や動作の状態の他、警報等を表示する。
【００３５】
速度Ｉ／Ｆ１２Ａには、車両の速度を検出する車速センサ５１が接続され、車速センサ５１からの速度パルスが入力される。車速センサ５１は、デジタルタコグラフ１０にオプションとして設けられてもよいし、デジタルタコグラフ１０とは別の装置として設けられてもよい。エンジン回転Ｉ／Ｆ１２Ｂには、エンジン回転数センサ（図示せず）からの回転パルスが入力される。
【００３６】
外部入力Ｉ／Ｆ１３の入力には、車両のブレーキのオンオフを表すブレーキ信号や、自動変速機の変速状態（前進／後退の区別を含む）を表す変速信号が、外部機器（図示せず）から印加される。
【００３７】
センサ入力Ｉ／Ｆ１４には、加速度（Ｇ値）を検知する（衝撃を感知する）加速度センサ（Ｇセンサ）２８が接続され、Ｇセンサ２８からの信号が入力される。Ｇセンサとしては、加速度による機械的な変位を、振動として読み取る方式や光学的に読み取る方式を有するものが挙げられるが、特に限定されない。また、Ｇセンサは、車両前方からの衝撃を感知する（減速Ｇを検知する）他、左右方向からの衝撃を感知しても（横Ｇを検知しても）よいし、車両後方からの衝撃を感知しても（加速Ｇを検知しても）よい。Ｇセンサは、これらの加速度を検知可能なように、１つもしくは複数のセンサで構成される。
【００３８】
アナログ入力Ｉ／Ｆ２９には、エンジン温度（冷却水温）を検知する温度センサ（図示せず）、燃料量を検知する燃料量センサ（図示せず）等の信号が入力される。ＣＰＵ１１は、これらのＩ／Ｆを介して入力される情報を基に、各種の運転状態を検出する。
【００３９】
ＧＰＳ受信部１５は、ＧＰＳアンテナ１５ａに接続され、ＧＰＳ（Global Positioning System）衛星から送信される信号の電波を受信し、現在位置（ＧＰＳ位置情報）の情報を計算して取得する。
【００４０】
カメラＩ／Ｆ１６の入力には、複数の車載カメラ２３、２３Ｂが接続されている。本実施形態では、一方の車載カメラ２３は自車両の進行方向前方の道路等の情景を撮影できる向きで固定した状態で車室内に設置されている。したがって、車載カメラ２３が撮影する映像の中には、自車両の前方に存在する先行車両、走行中の走行レーン境界を表す白線、路面上の交通規制の標示（制限速度など）が現れる。また、他方の車載カメラ２３は、自車両の後方の道路等の情景を撮影できる向きで固定した状態で車室内に設置されている。
【００４１】
車載カメラ２３、２３Ｂは、例えば魚眼レンズを通して撮像される撮像面に例えば３０万画素、１００万画素、２００万画素が配置されたイメージセンサを有する。イメージセンサは、ＣＭＯＳ（相補性金属酸化膜半導体）センサやＣＣＤ（電荷結合素子）センサなど公知のセンサで構成されている。
【００４２】
車載カメラ２３、２３Ｂがそれぞれ出力する映像の信号は、カメラＩ／Ｆ１６の内部回路によって画素毎の階調や色を表すデジタル信号に変換され、フレーム毎の画像データとしてカメラＩ／Ｆ１６から出力される。
【００４３】
各車載カメラ２３、２３Ｂで撮影された映像（画像データ）は、記録部１７の動作により時系列データとして記録されるが、所定時間分だけ記録されるように繰り返し上書きされる。この所定時間は、例えば事故発生時、事故の状況が分かるように、事故発生前後の数秒間（例えば、２秒、４秒、１０秒等）に相当する時間である。カメラ２３で撮像される画像は、静止画でもよいし動画であってもよい。事故発生前後の映像は、事務所ＰＣ３０の表示部３３に表示される。
【００４４】
また、本実施形態のデジタルタコグラフ１０は、例えば以下に示す（１）〜（４）のような運転支援機能を搭載している。
（１）自車両と先行車両との車間距離が近すぎる場合に警報を出力する機能。
（２）自車両が走行中の走行レーンの範囲を逸脱した場合に警報を出力する機能。
（３）自車両の走行速度が路面標示の制限速度を超えた場合に速度超過の警報を出力する機能。
（４）自車両の後退時などの状況において周囲の障害物等の存在を運転者に知らせる機能。
【００４５】
上記（１）〜（４）の各機能を実現するためには、各車載カメラ２３、２３Ｂで撮影された映像の画像データを処理して、所定の画像認識を行う必要がある。すなわち、画像認識により先行車両の位置及び距離を特定したり、走行レーン境界の白線と自車両との相対位置を検出したり、路面標示の制限速度を検出したり、様々な障害物を検出することが必要になる。
【００４６】
上記のような画像認識は、ＣＰＵ１１が組み込まれたプログラムに従って所定の認識アルゴリズムを実行することにより実現できる。しかし、処理対象の画像のデータ量が多い場合には、画像認識に要するＣＰＵ１１の負荷が非常に大きくなるので、リアルタイムでの処理が困難になり、検出の遅延が発生する可能性がある。特に、複数の車載カメラ２３、２３Ｂの映像を同時に処理したり、複数の認識対象を同時に検出するような場合には、遅延の発生が懸念される。そこで、本実施形態においては、画像認識を実行する際に、後述するように検知枠を設けて処理対象のデータ範囲を限定すると共に、車両の状態に応じて特別な処理を実施する。
【００４７】
通信部２４は、広域通信を行い、携帯回線網（モバイル通信網）を介して無線基地局８に接続されると、無線基地局８と繋がるインターネット等のネットワーク７０を介して、事務所ＰＣ３０と通信を行う。電源部２５は、イグニッションスイッチのオン等によりデジタルタコグラフ１０の各部に電力を供給する。
【００４８】
一方、事務所ＰＣ３０は、汎用のオペレーティングシステムで動作するＰＣ（パーソナルコンピュータ）により構成されている。事務所ＰＣ３０は、運行管理装置として機能し、ＣＰＵ３１、通信部３２、表示部３３、記憶部３４、カードＩ／Ｆ３５、操作部３６、出力部３７、音声Ｉ／Ｆ３８及び外部Ｉ／Ｆ４８を有する。
【００４９】
ＣＰＵ３１は、事務所ＰＣ３０の各部を統括的に制御する。通信部３２は、ネットワーク７０を介してデジタルタコグラフ１０と通信可能である。また、通信部３２は、ネットワーク７０に接続された各種のデータベース（図示せず）とも接続可能であり、必要なデータを取得可能である。
【００５０】
表示部３３は、運行管理画面の他、事故映像やハザードマップ等を表示する。記憶部３４は、デジタルタコグラフ１０から受信した映像を表示したり車両の位置情報を地図上に表示するためのシステム解析ソフトウェア等、各種プログラムを保持している。
【００５１】
カードＩ／Ｆ３５には、メモリカード６５が挿抜自在に装着される。カードＩ／Ｆ３５は、デジタルタコグラフ１０によって計測され、メモリカード６５に記憶された運行データを入力する。操作部３６は、キーボードやマウス等を有し、事務所の管理者の操作を受け付ける。出力部３７は、各種データを出力する。音声Ｉ／Ｆ３８には、マイク４１及びスピーカ４２が接続される。事務所の管理者は、マイク４１及びスピーカ４２を用いて音声通話を行うことも可能であり、車両の事故が発生した場合、救急や警察等への連絡を行う。
【００５２】
外部Ｉ／Ｆ４８には、外部記憶装置（ストレージメモリ）５４が接続される。外部記憶装置５４は、事故地点データベース（ＤＢ）５５、運行データＤＢ５６、ハザードマップＤＢ５７を保持する。事故地点データベース（ＤＢ）５５には、デジタルタコグラフ１０から送信される、事故発生時の車両のＧＰＳ位置情報（緯度，経度）が登録される。運行データＤＢ５６には、運行データとして、出入庫時刻、速度、走行距離等の他、急加減速、急ハンドル、速度オーバー、エンジン回転数オーバー等が記録される。ハザードマップＤＢ５７には、過去に事故が発生した地点（事故地点）を表すマークが地図に重畳して記述された地図データが登録される。なお、このハザードマップには、天災等の災害が想定される地域や避難場所等が記述されてもよい。
【００５３】
ＣＰＵ３１は、ハザードマップＤＢ５７から指定された地域（例えば、事故地点を含む地域）のハザードマップを読み出して表示部３３に表示する際、事故地点ＤＢ５５に登録された事故地点のデータを取得し、ハザードマップ上にこれらの事故地点を表すマークを重畳し、新たなハザードマップを生成する。事務所の管理者は、最新の事故地点を地図（ハザードマップ）上で即座に視認できる。
【００５４】
＜運転支援機能の詳細＞
運転支援機能を実現するためのデジタルタコグラフ１０の動作例を図２に示す。図２に示した動作は、デジタルタコグラフ１０内のＣＰＵ１１により短い時間周期で繰り返し実行される。
【００５５】
ステップＳ２１では、各車載カメラ２３、２３Ｂの撮影した映像に相当する各フレームの画像データに対して所定の画像認識処理をＣＰＵ１１が実行する。但し、処理対象のデータは、各画像フレームの中で事前に定めた各検知枠の範囲内のみに限定する。各検知枠の範囲は、例えば検知枠テーブルＴ２Ａを参照することにより特定できる。検知枠テーブルＴ２Ａについては後で説明する。
【００５６】
ステップＳ２２では、ＣＰＵ１１がＳ２１の認識結果を利用して、車間距離検出処理を実行する。すなわち、画像フレーム内で検出した先行車両の位置と、自車両との位置関係を把握し、画像上の距離と各カメラの撮影条件とに基づいて車間距離を算出する。更に、算出した車間距離を事前に定めた閾値と比較し、車間距離が近すぎる場合に車間距離の警報を出力する。
【００５７】
ステップＳ２３では、ＣＰＵ１１がＳ２１の認識結果を利用して、レーン逸脱検出処理を実行する。すなわち、画像フレーム内で検出した走行レーン境界の白線の位置と、自車両の位置との左右方向の位置関係や距離を算出し、その結果を事前に定めた判定条件と比較することにより、車線逸脱の有無を識別する。そして、車線逸脱ありの場合は車線逸脱の警報を出力する。
【００５８】
ステップＳ２４では、ＣＰＵ１１がＳ２１の認識結果を利用して、速度超過検出処理を実行する。すなわち、路面上の制限速度標示に基づき認識した制限速度と、自車両の現在の走行速度とを比較して速度超過の有無を識別する。そして、速度超過ありの場合は速度超過の警報を出力する。
【００５９】
ステップＳ２５では、ＣＰＵ１１がＳ２１の認識結果を利用して、上記以外の検出処理を実行する。例えば、様々な障害物の有無、移動する物体の有無、道路上の各種境界位置などを検出する。そして、障害物や移動する物体への接近を検知した場合や、境界位置に自車両が接近したような場合に警報を出力する。
【００６０】
＜画像フレームと検知枠との関係＞
互いに異なる車両の状態で得られる各画像フレーム１００Ａ、１００Ｂ、１００Ｃとその中に割り当てられる各検知枠との関係の具体例を図３（ａ）、図３（ｂ）、および図３（ｃ）にそれぞれ示す。
【００６１】
車載カメラ２３、２３Ｂの撮影により得られる画像データをＣＰＵ１１が画像認識する際に、画像のデータ量が多いとＣＰＵ１１の処理の負荷が大きくなり、リアルタイムでの処理が困難になり、遅延が発生する。そこで、ＣＰＵ１１の処理の負荷を減らすために、処理対象のデータ量を削減する。具体的には、処理対象のデータの範囲を定める検知枠を設ける。
【００６２】
また、特に後方を撮影する車載カメラ２３Ｂの画像を処理する場合には、車両の状態が「後退」、「停車」、「前進」のいずれであるかに応じて、最適化するように検知枠の総数、各検知枠の位置、各検知枠の大きさなどを変更する。すなわち、車両の状態が「後退」、「停車」、「前進」のいずれであるかに応じて、画像フレーム中で注目すべき重要な箇所がそれぞれ異なるので、車両の状態に合わせて変更することにより各検知枠を最小化することが可能であり、処理対象のデータ量を効果的に削減できる。
【００６３】
図３（ａ）、図３（ｂ）、および図３（ｃ）は、それぞれ「後退」、「停車」、および「前進」の状態における各画像フレーム１００Ａ、１００Ｂ、１００Ｃとその中に割り当てられる各検知枠との関係との具体例を示している。
【００６４】
図３（ａ）に示した画像フレーム１００Ａにおいては、このフレーム内の互いに異なる位置に、７つの互いに独立した矩形の検知枠Ｆ１１、Ｆ１２、Ｆ１３、Ｆ１４、Ｆ１５、Ｆ１６、Ｆ１７が割り当ててある。また、図３（ｂ）に示した画像フレーム１００Ｂにおいては、このフレーム内の互いに異なる位置に、５つの互いに独立した矩形の検知枠Ｆ２１、Ｆ２２、Ｆ２３、Ｆ２４、Ｆ２５が割り当ててある。また、図３（ｃ）に示した画像フレーム１００Ｃにおいては、このフレーム内の互いに異なる位置に、２つの互いに独立した矩形の検知枠Ｆ３１、Ｆ３２が割り当ててある。
【００６５】
すなわち、自車両が後退する場合には、図３（ａ）に示した各検知枠Ｆ１１〜Ｆ１７のように、後方の映像における様々な箇所、つまり自車両後方周辺と進行方向先にそれぞれ注目することにより、後退時における安全を十分に確保できる。また、自車両が停車している時には、図３（ｂ）に示した各検知枠Ｆ２１〜Ｆ２５のように、後方の映像における近距離の自車両周辺にそれぞれ注目することにより、自車両が停車状態から動き始める際の安全を十分に確保できる。また、自車両が前進している時には、図３（ｃ）に示した検知枠Ｆ３１、Ｆ３２のように、後方の映像における近距離の左右脇のみに注目するだけで、後方側の安全を十分に確保できる。
【００６６】
一方、自車両が前進している時には、車載カメラ２３Ｂが撮影した後方の映像と同時に、車載カメラ２３が撮影した前方の映像を認識することが不可欠であり、ＣＰＵ１１の処理の負荷が大きくなる。ここで、前方の映像と後方の映像を同時に処理すると、更にＣＰＵ１１の負荷が増大する。しかし、後方の映像の中で画像処理の対象範囲を図３（ｃ）に示した検知枠Ｆ３１、Ｆ３２のみに限定することにより、処理対象のデータ量が減り、負荷の増大を抑制できる。
【００６７】
＜車両の状態に応じた検知枠の自動切替＞
車両の状態に応じて使用する検知枠を自動的に決定するためのデジタルタコグラフ１０の動作例を図４に示す。すなわち、デジタルタコグラフ１０のＣＰＵ１１が図４に示した動作を実行することにより、例えば図３（ａ）、図３（ｂ）、および図３（ｃ）に示したような検知枠の自動切替が実現する。図４の動作について以下に説明する。
【００６８】
ステップＳ１１では、ＣＰＵ１１は、自車両の前進／後退を識別する。例えば、自車両の自動変速機から得られる変速信号の状態を参照することにより、自車両が前進、後退のいずれの状態であるのかを区別できる。
【００６９】
ステップＳ１２では、ＣＰＵ１１は、自車両が停車しているか否かを識別する。例えば、自車両の現在の走行速度の情報と、ブレーキ信号の状態とに基づいて停車の有無を区別できる。
【００７０】
ステップＳ１３では、ＣＰＵ１１は、Ｓ１１、Ｓ１２の結果に基づき、自車両が「後退」、「停車」、「前進」のいずれの状態であるのかを区別する。そして、「後退」の場合はＳ１３からＳ１４に進み、「停車」の場合はＳ１３からＳ１５に進み、「前進」の場合はＳ１３からＳ１６に進む。
【００７１】
ステップＳ１４では、ＣＰＵ１１は、後退時の検知枠組合せを表す定数データを車両状態テーブルＴ１、および検知枠テーブルＴ２から取得する。車両状態テーブルＴ１、および検知枠テーブルＴ２については後で説明する。
【００７２】
ステップＳ１５では、ＣＰＵ１１は、停車時の検知枠組合せを表す定数データを車両状態テーブルＴ１、および検知枠テーブルＴ２から取得する。また、ステップＳ１６では、ＣＰＵ１１は、前進時の検知枠組合せを表す定数データを車両状態テーブルＴ１、および検知枠テーブルＴ２から取得する。
【００７３】
ステップＳ１７では、ＣＰＵ１１は、Ｓ１４、Ｓ１５、Ｓ１６のいずれかで取得した検知枠組合せの定数データを、検知枠テーブルＴ２Ａに書き込む。この検知枠テーブルＴ２Ａの内容が、図２に示したステップＳ２１の処理で使用する検知枠に反映される。なお、検知枠テーブルＴ２Ａを省略し、検知枠テーブルＴ２の中の一部分をＳ２１の処理で選択的に使用するように変更してもよい。
【００７４】
＜テーブルＴ１、Ｔ２の構成例＞
デジタルタコグラフが参照する車両状態テーブルＴ１の構成例を図５に示す。また、デジタルタコグラフが参照する検知枠テーブルＴ２の構成例を図６に示す。
【００７５】
図５に示した車両状態テーブルＴ１は、「後退」、「停車」、「前進」のそれぞれの状態と、検知枠数Ｎ１と、検知枠先頭の番号Ｎ２との関係を表す定数データを保持している。図５の車両状態テーブルＴ１においては、図３（ａ）に示した例と同じように後退時の検知枠数Ｎ１が「７」になっている。また、図３（ｂ）に示した例と同じように、停車時の検知枠数Ｎ１が「５」になっている。また、図３（ｃ）に示した例と同じように、前進時の検知枠数Ｎ１が「２」になっている。
【００７６】
図６に示した検知枠テーブルＴ２は、多数の検知枠のそれぞれについて、番号Ｎ３、基準位置Ｐ、検知枠サイズＳの関係を表す定数データを保持している。この検知枠テーブルＴ２においては、例えば、番号Ｎ３が「１」の検知枠は、基準位置ＰがＰ１であり、Ｘ軸方向のサイズがＳｘ１、Ｙ軸方向のサイズがＳｙ１であることを表す定数データが割り当ててある。
【００７７】
例えば、図５に示した車両状態テーブルＴ１における検知枠先頭の番号Ｎ２１が「１」の場合には、検知枠テーブルＴ２における番号Ｎ３が「１」〜「７」の範囲内の定数データが、後退時の検知枠の組合せとして図４のＳ１４で選択される。したがって、図３（ａ）に示した７つの検知枠Ｆ１１〜Ｆ１７の各々のフレーム内の位置および縦／横の各サイズをそれぞれ特定できる。
【００７８】
また、図５に示した車両状態テーブルＴ１における検知枠先頭の番号Ｎ２２が「８」の場合には、検知枠テーブルＴ２における番号Ｎ３が「８」〜「１２」の範囲内の定数データが、停車時の検知枠の組合せとして図４のＳ１５で選択される。したがって、図３（ｂ）に示した５つの検知枠Ｆ２１〜Ｆ２５の各々のフレーム内の位置および縦／横の各サイズをそれぞれ特定できる。
【００７９】
また、図５に示した車両状態テーブルＴ１における検知枠先頭の番号Ｎ２３が「１３」の場合には、検知枠テーブルＴ２における番号Ｎ３が「１３」〜「１４」の範囲内の定数データが、前進時の検知枠の組合せとして図４のＳ１６で選択される。したがって、図３（ｃ）に示した２つの検知枠Ｆ３１〜Ｆ３２の各々のフレーム内の位置および縦／横の各サイズをそれぞれ特定できる。
【００８０】
検知枠テーブルＴ２の中からＳ１４、Ｓ１５、Ｓ１６のいずれかで抽出した一部のデータが検知枠テーブルＴ２Ａに書き込まれ、この検知枠テーブルＴ２Ａの内容が図２のステップＳ２１の処理に反映される。したがって、自車両の状態が「後退」、「停車」、「前進」のいずれであるかに応じて、図３（ａ）、図３（ｂ）、図３（ｃ）に示したように実際に使用する検知枠の数、位置、大きさなどを自動的に切り替えることができる。
【００８１】
車両状態テーブルＴ１および検知枠テーブルＴ２は、不揮発メモリ２６Ａ上の記憶領域に配置され、これらが保持する各定数データは必要に応じて変更される。例えば、車載カメラ２３Ｂを自車両に新たに設置したり位置などを変更する際に、デジタルタコグラフ１０の各パラメータを調整するための特別なソフトウェアをＣＰＵ１１で実行することにより、管理者が車両状態テーブルＴ１および検知枠テーブルＴ２を更新できる。
【００８２】
＜変形の可能性＞
図３（ａ）、図３（ｂ）、図３（ｃ）に示した例では、後方を撮影する車載カメラ２３Ｂの映像を処理する場合の検知枠だけを想定しているが、前方を撮影する車載カメラ２３や、車両側方、あるいは車室内を撮影する他の車載カメラの映像を処理する場合にも、同じような検知枠を適用して処理対象のデータ量を減らすことが想定される。そして、例えば自車両が後退する場合には、前方の映像を認識する処理が使用する検知枠の数やサイズを削減することにより、ＣＰＵ１１の負荷を低減し、後方の映像を認識する処理における遅延の発生を抑制できる。
【００８３】
＜デジタルタコグラフ１０の利点＞
図１に示したデジタルタコグラフ１０においては、運転支援機能を実現するために、図２に示した動作を実行する際に、例えば自車両が前進している時には、ステップＳ２１で検知枠を用いることにより、後方の映像の処理にかかるＣＰＵ１１の負荷を大幅に低減できる。その結果、前方を撮影した映像に基づいて複数種類の運転支援機能（車間距離の警報、車線逸脱の警報、速度超過の警報など）を同時に実現しようとする場合であっても、高性能のＣＰＵを用いることなく、遅延のないリアルタイムの処理が可能になる。また、例えば自車両が後退するときには、後方の映像を処理する際に使用する検知枠の数を図３（ａ）のようにＳ１４で増やすことができるので、後方の安全性を十分に確保できる。
【００８４】
ここで、上述した本発明の実施形態に係る車載器および運転支援装置の特徴をそれぞれ以下［１］〜［５］に簡潔に纏めて列記する。
［１］  車両に搭載された１つ以上の車載カメラ（２３，２３Ｂ）が出力する映像信号を入力して処理する画像処理部（ＣＰＵ１１，Ｓ２１）と、
前記車両における走行の有無および進行方向の少なくとも一方の状態を検知する車両状態検知部（ＣＰＵ１１，Ｓ１１，Ｓ１２）と、
前記画像処理部が処理する前記映像信号内の領域を動的に決定する画像領域決定部（ＣＰＵ１１，Ｓ１３〜Ｓ１６）と、
を有し、
前記画像領域決定部は、前記車両状態検知部の検知状態を反映して、前記領域を自動的に変更する（Ｓ１７，Ｓ２１）、
ことを特徴とする車載器。
【００８５】
［２］  前記画像領域決定部は、
前記映像信号内に事前に割り当てた複数の二次元領域（検知枠Ｆ１１〜Ｆ１７，Ｆ２１〜Ｆ２５，Ｆ３１，Ｆ３２）の各々の位置および大きさを表す定数データを保持する定数保持部（検知枠テーブルＴ２）を有し、
前記複数の二次元領域の中から、前記車両状態検知部の検知状態に応じて選択した１つ以上の二次元領域を、前記画像処理部が処理する前記映像信号内の領域として割り当てる（Ｓ１７）、
ことを特徴とする上記［１］に記載の車載器。
【００８６】
［３］  前記画像領域決定部は、前記車両状態検知部の検知状態に応じて、前記複数の二次元領域の中から選択する二次元領域の数およびその組み合わせを自動的に決定する（Ｓ１３〜Ｓ１６）、
ことを特徴とする上記［２］に記載の車載器。
【００８７】
［４］  前記画像領域決定部は、前記車両状態検知部の検知状態に基づいて、前記車両の前進、後退、および停止のいずれかの状態を認識し、認識した前記車両の状態に応じて前記領域を自動的に変更する（Ｓ１３〜Ｓ１６）、
ことを特徴とする上記［１］乃至［３］のいずれかに記載の車載器。
【００８８】
［５］  上記［１］乃至［４］のいずれかに記載の車載器と、
前記画像処理部が前記映像信号の中から認識した結果と、事前に定めた判定基準とに基づいて、前記車両の安全運転を支援する警報を生成する警報生成部（Ｓ２２〜Ｓ２５）と、
を備えたことを特徴とする運転支援装置。
【符号の説明】
【００８９】
５  運行管理システム
８  無線基地局
１０  デジタルタコグラフ
１１、３１  ＣＰＵ
１２Ａ  速度Ｉ／Ｆ
１２Ｂ  エンジン回転Ｉ／Ｆ
１３  外部入力Ｉ／Ｆ
１４  センサ入力Ｉ／Ｆ
１５  ＧＰＳ受信部
１５ａ  ＧＰＳアンテナ
１６  カメラＩ／Ｆ
１７  記録部
１８  カードＩ／Ｆ
１９  音声Ｉ／Ｆ
２０、４２  スピーカ
２１  ＲＴＣ
２２  ＳＷ入力部
２３  車載カメラ
２４、３２  通信部
２５  電源部
２６Ａ  不揮発メモリ
２６Ｂ  揮発メモリ
２７  表示部
２８  Ｇセンサ
２９  アナログ入力Ｉ／Ｆ
３０  事務所ＰＣ
３３  表示部
３４  記憶部
３５  カードＩ／Ｆ
３６  操作部
３７  出力部
３８  音声Ｉ／Ｆ
４１  マイク
４８  外部Ｉ／Ｆ
５１  車速センサ
５４  外部記憶装置
５５  事故地点ＤＢ
５６  運行データＤＢ
５７  ハザードマップＤＢ
６５  メモリカード
７０  ネットワーク
１００Ａ，１００Ｂ，１００Ｃ  画像フレーム
Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６，Ｆ１７  検知枠
Ｆ２１，Ｆ２２，Ｆ２３，Ｆ２４，Ｆ２５，Ｆ３１，Ｆ３２  検知枠
Ｔ１  車両状態テーブル
Ｔ２，Ｔ２Ａ  検知枠テーブル
【図１】
2019028481.tif 000003
【図２】
2019028481.tif 000004
【図３】
2019028481.tif 000005
【図４】
2019028481.tif 000006
【図５】
2019028481.tif 000007
【図６】
2019028481.tif 000008