(57)【要約】【課題】  簡単な構造で立体的な目標体の強調表示を行うことを可能とする。【解決手段】  左右両側の異方向からタイミングをずらして赤外線ランプ２ａ，２ｂが光を照射し、ＣＣＤカメラ３が、赤外線ランプ２ａ点灯時に撮像された映像データと赤外線ランプ２ｂ点灯時に撮像された映像データとを合成して合成映像データを生成し、生成された合成映像データを表示出力する。これにより、合成映像データ内の目標体の両側に影が表示されるようになるので、特別な画像処理やハードウェア構成を必要とすることなく、車両周辺の目標体を境界表示により強調表示することを特徴とする。【選択図】  図１
2006109171.tif 000002
【特許請求の範囲】
【請求項１】
車外方向を撮像する撮像装置と、
前記車外の目標体に異方向から光を照射する複数の照明装置と、
前記各照明装置をタイミングをずらして点灯させる切替装置と、
前記撮像装置により撮像された映像を表示出力する表示装置とを備え、
前記撮像装置は、前記各照明装置点灯時に撮像された各映像の合成映像を前記表示装置に表示出力させる
ことを特徴とする車両用表示装置。
【請求項２】
請求項１記載の車両用表示装置であって、
前記撮像装置は、前記各映像に基づく差分映像に基づき前記合成映像の目標体に境界表示を付加する
ことを特徴とする車両用表示装置。
【請求項３】
請求項２記載の車両用表示装置であって、
前記撮像装置は、前記境界表示を強調する
ことを特徴とする車両用表示装置。
【請求項４】
請求項２記載の車両用表示装置であって、
前記撮像装置は、前記差分映像を第１の閾値により第１の２値化処理を行って前記合成映像に乗算した乗算映像を第２の閾値により第２の２値化処理を行い、第２の２値化処理後の反転映像と前記合成映像との選択処理に基づき前記合成映像の目標体に境界表示を付加する
ことを特徴とする車両用表示装置。
【請求項５】
請求項１〜４の何れかに記載の車両用表示装置であって、
前記照明装置は、車両の左右両側に取り付けられ、
前記切替装置は、前記撮像装置から入力されるフィールドパルスに対する同期により前記タイミングをずらす
ことを特徴とする車両用表示装置。
【請求項６】
請求項１〜５の何れかに記載の車両用表示装置であって、
前記照明装置は、近赤外光を照射する
ことを特徴とする車両用表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、夜間等に歩行者や障害物等の車両周辺の目標体を撮像，表示する車両用表示装置に関する。
【背景技術】
【０００２】
従来より、２灯のヘッドランプを同時に点灯した状態で車両前方を撮像して表示する車両用表示装置が知られている。
【０００３】
この従来の車両用表示装置では、撮像された映像に対して画像処理を施すことにより、車両前方に存在する歩行者や障害物等の立体的な目標体の輪郭を抽出し、歩行者等を強調表示するようにしている。
【０００４】
しかし、画像処理が単純な映像に基づいているため、処理が膨大になると共に、処理精度も良くないという問題があった。
【０００５】
また、照明装置として赤外線ランプを用いる場合、図１６（ａ）のように背景の黒い状態に対し、例えば歩行者を白く浮かび上がらせて認識しているが、同図（ｂ）のように背景に明るいものが入ると、背景の明るい部分と歩行者とが同化してしまい、歩行者を認識することが困難になる恐れがある。
【０００６】
これらに対し、複数台の撮像装置を用いて車両前方を撮像することにより、目標体を立体表示するものもある。
【０００７】
しかしながら、複数台の撮像装置が必要になるために、車両用表示装置のコストが増加すると共に、車両への設置場所に問題を招く。
【０００８】
【特許文献１】特開２００４−９４８２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
解決しようとする問題点は、立体的な目標体の強調表示を、簡単な構造ではできない点である。
【課題を解決するための手段】
【００１０】
本発明は、簡単な構造で立体的な目標体の強調表示を行うため、車外の目標体に異方向から光を照射する複数の照明装置をタイミングをずらして点灯させ、撮像された各映像の合成映像を表示装置に表示出力させることを最も主要な特徴とする。
【発明の効果】
【００１１】
本発明の車両用表示装置は、車外の目標体に異方向から光を照射する複数の照明装置をタイミングをずらして点灯させ、撮像された各映像の合成映像を表示装置に表示出力させるため、各照明装置点灯時に立体的な目標体の側縁に形成される影によって合成映像内の目標体に境界表示を行うことができ、特別な画像処理やハードウェア構成を必要とすることなく、車両周辺の立体的な目標体を強調表示することができる。
【００１２】
前記撮像装置が、前記各映像に基づく差分映像に基づき前記合成映像の目標体に境界表示を付加する場合は、目標体の側縁に形成される影を確実に捕らえ、目標体に境界表示を確実に行うことができる。
【００１３】
前記撮像装置が、前記境界表示を強調する場合は、目標体を確実に強調表示することができる。
【００１４】
前記撮像装置が、前記差分映像を第１の閾値により第１の２値化処理を行って前記合成映像に乗算した乗算映像を第２の閾値により第２の２値化処理を行い、第２の２値化処理後の反転映像と前記合成映像との選択処理に基づき前記合成映像の目標体に境界表示を付加する場合は、前記影の部分のデータを確実に抽出し、目標体に境界表示をより確実に行うことができる。
【００１５】
前記照明装置が、車両の左右両側に取り付けられ、前記切替装置が、前記撮像装置から入力されるフィールドパルスに対する同期により前記タイミングをずらす場合は、撮像装置の各フィールド毎に左右の照明装置を点灯させることで、目標体の境界表示を簡単に行うことができる。
【００１６】
前記照明装置が、近赤外光を照射する場合は、夜間等における目標体の境界表示を確実に行うことができる。
【発明を実施するための最良の形態】
【００１７】
簡単な構造で立体的な目標体の強調表示を行うという目的を、異方向から光を照射する複数の照明装置をタイミングをずらして点灯させることで実現した。
【実施例１】
【００１８】
［車両用表示装置］
図１〜図６は、実施例１の車両用表示装置に係り、図１は、車両用表示装置の構成を示すブロック図、図２は、図１に示す赤外線ランプ及びＣＣＤカメラの配設位置を説明するための自動車の正面図、図３は、図１に示すＣＣＤカメラの内部構成を示すブロック図、図４は、図１に示す切替回路の内部構成を示す回路図、図５は、図１に示す切替回路の動作を説明するためのフローチャート図、図６は、図１に示す切替回路の動作を説明するためのタイミングチャート図である。
【００１９】
図１の車両用表示装置１は、車両に搭載され、赤外線ランプ２ａ，２ｂ，ＣＣＤ（Charge Coupled Device）カメラ３，切替回路４，及び表示装置５を主な構成要素として備えている。
【００２０】
前記赤外線ランプ２ａ，２ｂは、それぞれ、図２に示すように、車両前部左右両側に配設されている。赤外線ランプ２ａ，２ｂは、照明スイッチＳＷ（図４参照）がオン状態になるのに応じて、切替回路４の制御に従って車両前方に近赤外光を照射する。赤外線ランプ２ａ，２ｂの光軸は、車両の前方で交わるように設定され、目標体である例えば歩行者に、異方向である左右両側から光を照射する。
【００２１】
従って、車外の目標体に異方向から光を照射する複数の照明装置（赤外線ランプ２ａ，２ｂ）を備えた構成となっている。
【００２２】
なお、赤外線ランプの代わりに赤外線ＬＥＤ（Light Emission Diode）を用いてもよい。また、赤外線ランプ２ａ，２ｂはＣＣＤカメラ３の撮像方向に対して左右対称に配設することが望ましい。
【００２３】
前記ＣＣＤカメラ３は、車内のバックミラー背面に配設され（図２参照）、車外方向である車両前方を撮像する。従って、車外方向の映像を撮像する撮像装置（ＣＣＤカメラ３）を備えた構成となっている。
【００２４】
図３に示すように、前記ＣＣＤカメラ３は、ＣＣＤ１１，ＤＳＰ（Digital Signal Processor）１２，入力画像メモリ１３，演算用メモリ１４，スーパーインポーズメモリ１５，映像切替部１６，及びＣＰＵ（Central Processing Unit）１７を備えている。ＣＣＤカメラ３は、切替回路４にフィールドパルスを出力することにより、赤外線ランプ２ａ，２ｂを交互にパルス発光させる。また、ＣＣＤカメラ３は、赤外線ランプ２ａ，２ｂが交互にパルス発光している状態で車両前方を撮像し、撮像された映像に対して後述する境界表示処理を実行することにより、表示装置５上に車両周辺の目標体を立体的に強調表示する。なお、ＣＣＤカメラ３の各構成要素の機能については後述する。
【００２５】
前記切替回路４は、切替装置を構成し、図４に示すように、ＣＣＤカメラ３からのフィールドパルスが入力される入力端子ＩＮと、車両前方左側の赤外線ランプ２ａに接続されたトランジスタＴ１と、車両前方右側の赤外線ランプ２ｂに接続されたトランジスタＴ２とを有する。
【００２６】
前記切替回路４は、図５，図６に示すように、入力端子ＩＮ（図４）から入力されたフィールパルスがハイ（High）状態（EVENフィールド）である場合（図５ステップＳ１がＹＥＳ）、トランジスタＴ１及びトランジスタＴ２（図４）をオフ状態及びオン状態に切り替える。この切り替えにより、赤外線ランプ２ａ（左側照明）を消灯状態、赤外線ランプ２ｂ（右側照明）を点灯状態に切り替える（図５ステップＳ２）。
【００２７】
前記入力端子ＩＮから入力されたフィールパルスがロー（Low）状態（ODDフィールド）である場合（図５ステップＳ１がＮＯ）、トランジスタＴ１及びトランジスタＴ２をオン状態及びオフ状態に切り替える。この切り替えにより、赤外線ランプ２ａを点灯状態、赤外線ランプ２ｂを消灯状態に切り替える（図５ステップＳ３）。
【００２８】
従って、各照明装置（赤外線ランプ２ａ，２ｂ）をタイミングをずらして点灯させる切替装置（切替回路４）を備え、切替装置（切替回路４）は、撮像装置（ＣＣＤカメラ３）から入力されるフィールドパルスに対する同期により前記タイミングをずらす構成となっている。
【００２９】
前記表示装置５は、車両のヘッドアップディスプレイ等で構成され、フロントウインドウガラスに映像表示が行われる。表示装置５は、ＣＣＤカメラ３から入力されたＮＴＳＣ（National Television Standards Committee）信号に従ってＣＣＤカメラ３により画像処理された車両周辺である、例えば車両前方の映像を表示出力する。なお、表示装置５は、液晶表示装置など他の表示構成を用いることもできる。
【００３０】
このような構成を有する車両用表示装置１は、以下に示す境界表示処理を実行することにより、特別な画像処理やハードウェア構成を必要とすることなく、車両周辺の目標体に境界表示を行う。
【００３１】
以下、図７に示すフローチャートを参照して、境界表示処理を実行する際の車両用表示装置１の動作について説明する。
【００３２】
なお、必要に応じて図８〜図１５を参照する。図８は、車両前方左側及び車両前方右側の赤外線ランプ点灯時に撮像された映像データの一例を示す図、図９は、車両前方左側及び車両前方右側の赤外線ランプ点灯時に撮像された映像データを差分処理することにより得られる映像データの一例を示す図、図１０は、差分処理することにより得られた映像データに対し、２値化処理を施すことにより得られる映像データの一例を示す図、図１１は、図９に示す映像データに対して膨張処理を施すことにより得られる映像データの一例を示す図、図１２は、車両前方左側及び車両前方右側の赤外線ランプ点灯時に撮像された映像データを合成することにより得られる映像データの一例を示す図、図１３は、図１０に示す映像データと図１１に示す映像データを乗算することにより得られる映像データの一例を示す図、図１４は、スーパーインポーズデータの一例を示す図、図１５は、図１２の映像データとスーパーインポーズデータとの選択処理により得られた映像データの一例を示す図である。
[境界表示処理]
図７に示すフローチャートは、車両用表示装置の電源がオン状態になり、ＣＣＤカメラ３が赤外線ランプ２ａ，２ｂを交互にパルス発光させるのに応じて開始となり、境界表示処理はステップＳ１１の処理に進む。
【００３３】
ステップＳ１１の処理では、ＣＣＤ１１が、車両前方の映像を撮像し、撮像された映像のデータをＤＳＰ１２に出力する。これにより、このステップＳ１１の処理は完了し、このステップＳ１１の処理は完了し、境界表示処理はステップＳ１１の処理からステップＳ１２の処理に進む。
【００３４】
ステップＳ１２の処理では、ＤＳＰ１２が、ＣＣＤ１１から入力された映像データに対してアナログ／デジタル変換処理等の信号処理を施す。なお、この実施例では、映像データの各画素は２５６（０〜２５５）階調の濃度値を有し、濃度値が０の画素は黒色に表示され、濃度値が２５５の画素は白色に表される。これにより、このステップＳ１２の処理は完了し、境界表示処理はステップＳ１２の処理からステップＳ１３の処理に進む。
【００３５】
ステップＳ１３の処理では、ＤＳＰ１２が、信号処理が施された映像データを入力画像メモリ１３に記録する。これにより、このステップＳ１３の処理は完了し、境界表示処理はステップＳ１３の処理からステップＳ１４の処理に進む。
【００３６】
ステップＳ１４の処理では、ＣＰＵ１７が、入力画像メモリ１３に１フレーム分の映像データが記録されたか否かを判別する。そして、判別の結果、１フレーム分の映像データが記録されていない場合、ＣＰＵ１７は境界表示処理をステップＳ１１の処理に戻す。一方、１フレーム分の映像データが記録されている場合には、ＣＰＵ１７は境界表示処理をステップＳ１５の処理に進める。
【００３７】
ステップＳ１５の処理では、ＣＰＵ１７が、赤外線ランプ２ａ点灯時に撮像された映像データの各画素の濃度値と赤外線ランプ２ｂ点灯時に撮像された映像データの各画素の濃度値との差分値を算出し、算出された差分値の絶対値を計算する。そして、ＣＰＵ１７は、計算された絶対値を表す映像データを差分映像として演算用メモリ１４に記録する。
【００３８】
具体的には、赤外線ランプ２ａ点灯時及び赤外線ランプ２ｂ点灯時に撮像された映像データが図８（ａ），（ｂ）に示すものである場合、ＣＰＵ１７はこれら映像データを構成する各画素の濃度値の差分値を算出し、算出された差分値の絶対値を計算することにより、図９に示すような映像データを差分映像として得る。これにより、このステップＳ１５の処理は完了し、境界表示処理はステップＳ１５の処理からステップＳ１６の処理に進む。
【００３９】
ステップＳ１６の処理では、ＣＰＵ１７が、演算用メモリ１４に記録された映像データを、例えば濃度値１を第１の閾値として第１の２値化処理を行う。濃度値が１未満の画素は、濃度値０（黒），濃度値が１以上のものは濃度値２５５（白）に変換し、２値化された映像データを演算用メモリ１４に記録する。
【００４０】
具体的には、図９に示す映像データが演算用メモリ１４に記録されていた場合、ＣＰＵ１７は、前記第１の２値化処理により図１０に示すような映像データを得る。
【００４１】
なお、この実施例において、ＣＰＵ１７は、濃度値１を閾値として第１の２値化処理を行ったが、その他の濃度値を閾値として用いてもよい。これにより、このステップＳ１６の処理は完了し、境界表示処理はステップＳ１６の処理からステップＳ１７の処理に進む。
【００４２】
ステップＳ１７の処理では、ＣＰＵ１７が、濃度値２５５（白）の画素に隣接する黒画素を白画素に置き換えることにより２値化された映像データに対して膨張処理を施し、膨張処理が施された映像データを演算用メモリ１４に記録する。このような処理によれば、図１０に示す映像データは、図１１に示すようなノイズ除去された映像データに変換される。図１１の映像データの黒部分は、図１０のそれより一回り小さくなる。これにより、このステップＳ１７の処理は完了し、境界表示処理はステップＳ１７の処理からステップＳ１８の処理に進む。
【００４３】
ステップＳ１８の処理では、ＣＰＵ１７が、赤外線ランプ２ａ点灯時に撮像された映像データと赤外線ランプ２ｂ点灯時に撮像された映像データを合成して合成映像を生成し、合成映像データと膨張処理を施された映像データとが乗算された映像データを乗算映像として生成する。
【００４４】
具体的には、赤外線ランプ２ａ点灯時及び赤外線ランプ２ｂ点灯時に撮像された映像データが図８（ａ），（ｂ）に示すものである場合、ＣＰＵ１７は、図８（ａ），（ｂ）に示す映像データを合成して図１２に示すような合成映像データを生成し、この合成映像データに図１１に示す映像データを乗算することにより、図１３に示すような映像データを生成する。
【００４５】
このような処理によれば、合成映像データ中又は膨張処理後の映像データ中の一方において白色の画素は黒画素に変換され、映像データ中に含まれる目標体である歩行者の輪郭線Ｌが白色に表示されるようになる。そして、ＣＰＵ１７は、乗算することにより得られた映像データを演算用メモリ１４に記録する。これにより、このステップＳ１８の処理は完了し、境界表示処理はステップＳ１８の処理からステップＳ１９の処理に進む。
【００４６】
ステップＳ１９の処理では、ＣＰＵ１７が、ステップＳ１８の処理により生成された映像データを濃度値２３０を第２の閾値として第２の２値化処理を行う。濃度値が２３０未満の画素は黒，濃度値が２３０以上のものは白色に変換することにより、映像データ中に含まれる目標体の輪郭線Ｌを抽出し、抽出された輪郭線Ｌの映像データをスーパーインポーズデータとしてスーパーインポーズメモリ１５に記録する。
【００４７】
具体的には、ステップＳ１８の処理により図１３に示すような映像データが生成された場合、ＣＰＵ１７は、この映像データに対して第２の２値化処理を施すことにより図１４に示すような輪郭線Ｌの映像データをスーパーインポーズデータとして生成する。
【００４８】
なお、この実施例では、ＣＰＵ１７は、濃度値２３０を第２の閾値として第２の２値化処理を行ったが、その他の濃度値を閾値として用いてもよい。これにより、このステップＳ１９の処理は完了し、境界表示処理はステップＳ１９の処理からステップＳ２０の処理に進む。
【００４９】
ステップＳ２０の処理では、ＣＰＵ１７が、スーパーインポーズメモリ１５にスーパーインポーズデータが記録されているか否かを判別する。そして、判別の結果、スーパーインポーズデータが記録されていない場合、映像切替部１６は、ステップＳ２１の処理として合成映像データをＤＳＰ１２に出力した後、境界表示処理をステップＳ２３の処理に進める。一方、スーパーインポーズデータが記録されている場合、映像切替部１６は、ステップＳ２２の処理として合成映像データとスーパーインポーズデータとをＤＳＰ１２に出力した後、境界表示処理をステップＳ２３の処理に進める。
【００５０】
ステップＳ２３の処理では、ＤＳＰ１２が、映像切替部１６から入力された映像データをデジタル／アナログ変換した後、表示装置５にＮＴＳＣ信号を出力することにより映像データを表示装置５上に表示させる。
【００５１】
具体的には、合成映像データが入力された場合、ＤＳＰ１２は、図１２に示すような合成映像データを表示装置５に表示出力させる。一方、合成映像データとスーパーインポーズデータが入力された場合には、ＤＳＰ１２は、スーパーインポーズデータを反転した映像データを生成し、反転映像データ及び合成映像データを構成する画素のうち濃度値が低い画素を抽出する選択処理を行う。この選択処理により、図１５に示すような黒色の輪郭線Ｌが目標体である歩行者に境界表示され、この境界表示により強調表示された映像データを表示装置５上に表示する。
【００５２】
なお、この時、ＤＳＰ１３は、輪郭線Ｌに色を付与して輪郭線を強調表示してもよい。色の種類としては、赤等目立つ色を選択するのがよい。これにより、ステップＳ２３の処理は完了し、境界表示処理はステップＳ２３の処理からステップＳ２４の処理に進む。
【００５３】
ステップＳ２４の処理では、ＤＳＰ１２が、１フレーム分の映像データに対する処理が終了したか否かを判別する。そして、判別の結果、１フレーム分の映像データに対する処理が終了していない場合、ＤＳＰ１２は、境界表示処理をステップＳ１５の処理に戻す。一方、１フレーム分の映像データに対する処理が終了した場合には、ＤＳＰ１２は、境界表示処理をステップＳ１１の処理に戻す。
【００５４】
以上のように、実施例１の車両用表示装置１によれば、ＣＣＤカメラ３が、赤外線ランプ２ａ点灯時に撮像された映像データと赤外線ランプ２ｂ点灯時に撮像された映像データとを合成して合成映像データを生成し、生成された合成映像データを表示出力する。そして、このような構成によれば、図１２に示すように、合成映像データ内の歩行者の両側縁に影が表示されるようになるので、特別な画像処理やハードウェア構成を必要とすることなく、車両前方の歩行者を境界表示により強調表示することができる。また、歩行者に影が表示されることによって、背景と歩行者との間に境界線が生じ、映像データの中から歩行者を精度よく認識することができる。
【００５５】
前記撮像装置は、前記影による境界表示を強調して表示することができ、目標体を確実に強調表示することができる。すなわち、ＣＣＤカメラ３は、目標体の輪郭線Ｌを表すスーパーインポーズデータと合成映像データとを選択処理するので、図１５に示すように、映像データの中から立体物を判別することが容易となる。
【００５６】
前記赤外線ランプ２ａ，２ｂは、近赤外光を照射するので、夜間等においても車両前方にいる歩行者の境界表示を確実に行うことができる。
【００５７】
なお、照明装置は、異方向から光を照射するものであれば、３台以上設けることも可能である。点灯のタイミングは、フィールドパルス以外の信号によっても行うことができる。
【図面の簡単な説明】
【００５８】
【図１】本発明の一実施形態となる車両用表示装置の構成を示すブロック図である（実施例１）。
【図２】図１に示す赤外線ランプ及びＣＣＤカメラの配設位置を説明するための自動車の正面図である（実施例１）。
【図３】図１に示すＣＣＤカメラの内部構成を示すブロック図である（実施例１）。
【図４】図１に示す切替回路の内部構成を示す回路図である（実施例１）。
【図５】図１に示す切替回路の動作を説明するためのフローチャート図である（実施例１）。
【図６】図１に示す切替回路の動作を説明するためのタイミングチャート図である（実施例１）。
【図７】本発明の一実施形態となる境界表示処理の流れを示すフローチャート図である（実施例１）。
【図８】車両前方左側及び車両前方右側の赤外線ランプ点灯時に撮像された映像データの一例を示す図である（実施例１）。
【図９】車両前方左側及び車両前方右側の赤外線ランプ点灯時に撮像された映像データを差分処理することにより得られる映像データの一例を示す図である（実施例１）。
【図１０】差分処理することにより得られた映像データに対し、２値化処理を施すことにより得られる映像データの一例を示す図である（実施例１）。
【図１１】図９に示す映像データに対して膨張処理を施すことにより得られる映像データの一例を示す図である（実施例１）。
【図１２】車両前方左側及び車両前方右側の赤外線ランプ点灯時に撮像された映像データを合成することにより得られる映像データの一例を示す図である（実施例１）。
【図１３】図１０に示す映像データと図１１に示す映像データを乗算することにより得られる映像データの一例を示す図である（実施例１）。
【図１４】スーパーインポーズデータの一例を示す図である（実施例１）。
【図１５】図１２の映像データとスーパーインポーズデータとの選択処理により得られた映像データの一例を示す図である（実施例１）。
【図１６】（ａ）は、歩行者認識の映像データを示す図、（ｂ）は、（ａ）を２値化処理した映像データの図である（従来例）。
【符号の説明】
【００５９】
１：車両用表示装置
２ａ，２ｂ：赤外線ランプ（照明装置）
３：ＣＣＤ（Charge Coupled Device）カメラ（撮像装置）
４：切替回路
５：表示装置
【図１】
2006109171.tif 000003
【図２】
2006109171.tif 000004
【図３】
2006109171.tif 000005
【図４】
2006109171.tif 000006
【図５】
2006109171.tif 000007
【図６】
2006109171.tif 000008
【図７】
2006109171.tif 000009
【図８】
2006109171.tif 000010
【図９】
2006109171.tif 000011
【図１０】
2006109171.tif 000012
【図１１】
2006109171.tif 000013
【図１２】
2006109171.tif 000014
【図１３】
2006109171.tif 000015
【図１４】
2006109171.tif 000016
【図１５】
2006109171.tif 000017
【図１６】
2006109171.tif 000018