(57)【要約】  【課題】  車両の走行状態に応じて撮像装置の視野範囲を変更することができる画像表示システム及び該画像表示システムを構成する撮像装置を提供する。  【解決手段】  駆動部１１７は、画像処理装置（２）から出力された車両の走行状態に関連する信号（例えば、操舵輪の操舵角α）を取得する。駆動部１１７は、取得した操舵角αの大小に応じて、後述するステッピングモータ１１６に備えられた複数のコイル夫々に電流を駆動するための駆動パルスを生成し、ステッピングモータ１１６へ出力する。ステッピングモータ１１６の回転軸は、入力された駆動パルスの組み合わせに応じて、時計回り又は反時計回りに所定の角度で回転し、ステッピングモータ１１６は、前記回転軸に取り付けられたギア部１１５を回動する。ギア部１１５は、ステッピングモータ１１６の回転軸の回動に応じて、ミラー１１１を駆動してミラー１１１の傾斜角度θを制御する。【選択図】      図２
2006160040.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、赤外光を透過するレンズを有する撮像装置と、該撮像装置で赤外光を撮像して得られた撮像画像を処理する画像処理装置とを備え、該画像処理装置で処理した撮像画像を表示する画像表示システムにおいて、
前記撮像装置は、
前記レンズの光軸方向を可変とする光学素子と、
該光学素子を駆動する駆動手段と、
車両の走行状態に関連する信号を取得する取得手段と
を備え、
前記取得手段が取得した信号に基づいて、前記光学素子を駆動して前記光軸方向を変更するようにしてあることを特徴とする画像表示システム。
【請求項２】
前記信号は、操舵角であることを特徴とする請求項１に記載の画像表示システム。
【請求項３】
前記信号は、ヨー角又はヨーレイトであることを特徴とする請求項１に記載の画像表示システム。
【請求項４】
赤外光を透過するレンズを有する撮像装置において、
前記レンズの光軸方向を可変とする光学素子と、
該光学素子を駆動する駆動手段と、
車両の走行状態に関連する信号を取得する取得手段と
を備え、
前記取得手段が取得した信号に基づいて、前記光学素子を駆動して前記光軸方向を変更するようにしてあることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の走行状態に応じて撮像装置が有するレンズの光軸方向を変更し、赤外光を撮像して得られた撮像画像を画像処理装置で処理して表示する画像表示システム及び該画像表示システムを構成する撮像装置に関する。
【背景技術】
【０００２】
車両（例えば、自動車）の前部に赤外光用のビデオカメラを搭載し、夜間における車両前方の歩行者などを撮像し、撮像した映像をヘッドアップディスプレイなどの表示装置で表示して、運転者に注意を促す前方監視システムが提案されている。
【０００３】
このようなシステムで使用されるビデオカメラは、車両前方の遠方（例えば、３０〜１５０ｍ）の歩行者を認識するために、視野角が１０〜１５°程度の狭角レンズ（望遠レンズ）を備えている。しかし、狭角レンズを用いたビデオカメラでは、車両がカーブなどを曲がる場合に、車両の曲がる方向に存在する歩行者を十分に認識できないときがあるため、車両の操舵角に応じて、ビデオカメラを左右に駆動している。（特許文献１参照）。
【特許文献１】特開２００２−３１２８９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のシステムにあっては、狭角レンズは大口径となるため、ビデオカメラの形状は大きくならざるを得ない。このため、ビデオカメラを操舵角に応じて左右に駆動するための駆動装置は大型化し、フロントグリルなどの車両前部の限られた収納箇所にビデオカメラと駆動装置とを取り付けることが困難な場合があり、また、車両のデザインにも悪影響を及ぼす場合があった。
【０００５】
本発明は、斯かる事情に鑑みてなされたものであり、赤外光を撮像する撮像装置が有するレンズの光軸方向を可変とする光学素子を撮像装置内部に設け、車両の走行状態に関連する信号を取得する取得手段と、取得した信号に基づいて前記光学素子を駆動する駆動手段とを備えることにより、撮像装置全体を駆動する必要がなく、従来に比較して小型な機構で、車両の走行状態に応じて撮像装置の視野範囲を左右に変更することができる画像表示システム及び該画像表示システムを構成する像撮像装置を提供することを目的とする。
【０００６】
また、本発明の他の目的は、操舵角を取得することにより、車両前方の道路の曲がり具合に応じて撮像装置の視野範囲を変更することができる画像表示システムを提供することにある。
【０００７】
また、本発明の他の目的は、ヨー角又はヨーレイトを取得することにより、車両の旋回角速度に応じて撮像装置の視野範囲を変更することができる画像表示システムを提供することにある。
【課題を解決するための手段】
【０００８】
第１発明に係る画像表示システムは、車両に搭載され、赤外光を透過するレンズを有する撮像装置と、該撮像装置で赤外光を撮像して得られた撮像画像を処理する画像処理装置とを備え、該画像処理装置で処理した撮像画像を表示する画像表示システムにおいて、前記撮像装置は、前記レンズの光軸方向を可変とする光学素子と、該光学素子を駆動する駆動手段と、車両の走行状態に関連する信号を取得する取得手段とを備え、前記取得手段が取得した信号に基づいて、前記光学素子を駆動して前記光軸方向を変更するようにしてあることを特徴とする。
【０００９】
第２発明に係る画像表示システムは、第１発明において、前記信号は、操舵角であることを特徴とする。
【００１０】
第３発明に係る画像表示システムは、第１発明において、前記信号は、ヨー角又はヨーレイトであることを特徴とする。
【００１１】
第４発明に係る撮像装置は、赤外光を透過するレンズを有する撮像装置において、前記レンズの光軸方向を可変とする光学素子と、該光学素子を駆動する駆動手段と、車両の走行状態に関連する信号を取得する取得手段とを備え、前記取得手段が取得した信号に基づいて、前記光学素子を駆動して前記光軸方向を変更するようにしてあることを特徴とする。
【００１２】
第１発明及び第４発明にあっては、撮像装置は、該撮像装置が有するレンズの光軸方向を可変とする光学素子と、該光学素子を駆動する駆動手段を備える。取得手段が車両の走行状態（例えば、車両が右カーブを曲がる場合、又は左カーブを曲がる場合）に関連する信号を取得する。前記駆動手段は、前記取得手段が取得した信号に基づいて、前記光学素子を駆動して前記光軸方向を変更する。例えば、車両が右カーブを曲がる場合には、前記光学素子を駆動して、レンズの光軸方向を車両の前方方向から右方向へ変える。また、車両が左カーブを曲がる場合には、前記光学素子を駆動して、レンズの光軸方向を車両の前方方向から左方向へ変える。
【００１３】
第２発明にあっては、前記信号は操舵角である。前記駆動手段は、前記取得手段が取得した操舵角に基づいて、前記光学素子を駆動して前記光軸方向を変更する。例えば、操舵角が大きくなるに応じて、光学素子の駆動を大きくし、前記光軸方向を車両の前方方向から大きく変化させる。また、操舵角が小さくなるに応じて、光学素子の駆動を小さくし、前記光軸方向を車両の前方方向から小さく変化させる。
【００１４】
第３発明にあっては、前記信号はヨー角又はヨーレイトである。前記駆動手段は、前記取得手段が取得したヨー角又はヨーレイトに基づいて、前記光学素子を駆動して前記光軸方向を変更する。例えば、ヨー角又はヨーレイトが大きくなるに応じて、光学素子の駆動を大きくし、前記光軸方向を車両の前方方向から大きく変化させる。また、ヨー角又はヨーレイトが小さくなるに応じて、光学素子の駆動を小さくし、前記光軸方向を車両の前方方向から小さく変化させる。
【発明の効果】
【００１５】
第１発明及び第４発明にあっては、車両の走行状態に応じて、撮像装置が有する光学素子を駆動してレンズの光軸方向を変更することにより、撮像装置全体を左右に駆動させる必要がなく、従来に比較して、小型化することができ、車両の前部への取り付けが容易であり、車両の外観に悪影響を及ぼすことを防止できる。
【００１６】
第２発明にあっては、操舵角を取得することにより、操舵角に応じて撮像装置の視野範囲を変更することができる。
【００１７】
第３発明にあっては、ヨー角又はヨーレイトを取得することにより、ヨー角又はヨーレイトに応じて撮像装置の視野範囲を変更することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明に係る画像表示システムの概要を示す模式図である。図において、１は車両に搭載され、歩行者などを撮像する遠赤外光用のビデオカメラである。ビデオカメラ１は、フロントグリルに設置されてあり、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ用の通信線７を介して画像処理装置２に接続されている。
【００１９】
画像処理装置２には、通信線７を介して操作部を有する表示装置３、操舵輪の操舵角を検出する操舵角センサ４、車両のヨーレイトを検出するヨーレイトセンサ５、車両の速度を検出する速度センサ６を接続してある。
【００２０】
図２は、ビデオカメラ１の構成を示すブロック図である。１１は画像撮像部である。画像撮像部１１は、外界からの遠赤外光を透過するゲルマニウム製の透過窓１１０を有する。透過窓１１０の透過面は、車両の前方方向に対して垂直方向に配置してある。ミラー１１１は、透過窓１１０を透過した遠赤外光を後述するレンズ１１２に導くために、遠赤外光の光路を略９０度屈折させる。
【００２１】
ミラー１１１は、屈折した遠赤外光を受光するゲルマニウム製のレンズ１１２の光軸と透過窓１１０の中心とが交わる点が中心に位置するように、レンズ１１２の光軸に対して略４５度の傾斜角度を有して配置してある。ミラー１１１には、後述するギア部１１５が取り付けてあり、ギア部１１５の回動により、前記傾斜角度θを可変してミラー１１１を介してレンズ１１２の光軸方向を変更することができる。
【００２２】
例えば、ミラー１１１の傾斜角度θが４５度より大きくなった場合は、ミラー１１１で屈折されるレンズ１１２の光軸方向は、透過窓１１０を透過して車両の前方方向から右方向に変化し、ミラー１１１の傾斜角度θが４５度より小さくなった場合は、ミラー１１１で屈折されるレンズ１１２の光軸方向は、透過窓１１０を透過して車両の前方方向から左方向に変化する。
【００２３】
レンズ１１２と対向して、ゲルマニウム製のレンズ１１３が光軸を一致して適長の離隔寸法を有して配置してある。レンズ１１３を透過した遠赤外光が結像する位置であって、前記光軸が撮像面の中心に位置するように遠赤外線撮像素子１１４が配置されている。
【００２４】
レンズ１１２、１１３は、例えば、視野角１０〜１５度、Ｆ値が０．８〜１．０程度のものを使用することができる。遠赤外線撮像素子１１４は、例えば、１６０ｘ１２０の画素数を有し、画素ピッチが狭い（例えば、２５μｍ）ものを使用することで、レンズ１１２、１１３の最大径を２０〜２５ｍｍ程度に小さくすることができ、ビデオカメラ１を小型化することができる。
【００２５】
レンズ１１２、１１３を透過した遠赤外光は、遠赤外線撮像素子１１４に入力される。遠赤外線撮像素子１１４は、入力された遠赤外光を、遠赤外光の強度に応じた輝度信号に変換し、信号処理部１２へ出力する。
【００２６】
駆動部１１７は、画像処理装置２から出力された車両の走行状態に関連する信号（例えば、操舵輪の操舵角α、ヨーレイトβ、車両の速度Ｖなど）を取得する。駆動部１１７は、取得した操舵角α又はヨーレイトβの大小に応じて、後述するステッピングモータ１１６に備えられた複数のコイル夫々に電流を駆動するための駆動パルスを生成し、ステッピングモータ１１６へ出力する。
【００２７】
ステッピングモータ１１６の回転軸は、入力された駆動パルスの組み合わせに応じて、時計回り又は反統計回りに所定の角度で回転し、ステッピングモータ１１６は、前記回転軸に取り付けられたギア部１１５を回動する。ギア部１１５は、ステッピングモータ１１６の回転軸の回動に応じて、ミラー１１１を駆動してミラー１１１の傾斜角度θを制御する。
【００２８】
例えば、操舵角αが「０」の場合は、駆動部１１７は、ステッピングモータ１１６のコイルに印加する駆動パルスを発生せず、ミラー１１１の傾斜角度θは４５度である。操舵角αが正の場合（車両を右方向に操舵した場合）は、操舵角αが大きくなるに応じて、駆動部１１７は、ステッピングモータ１１６の回転軸が時計方向に回転するように、コイルに印加する駆動パルスを生成し、ミラー１１１の傾斜角度θは、４５度より大きくなり、車両に設置したビデオカメラ１の視野範囲を車両前方から右方向に変更する。
【００２９】
操舵角αが負の場合（車両を左方向に操舵した場合）は、操舵角αの絶対値が大きくなるに応じて、駆動部１１７は、ステッピングモータ１１６の回転軸が反時計方向に回転するように、コイルに印加する駆動パルスを生成し、ミラー１１１の傾斜角度θは、４５度より小さくなり、車両に設置したビデオカメラ１の視野範囲を車両前方から左方向に変更する。
【００３０】
信号処理部１２は、画像撮像部１１から入力された輝度信号に対して、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理などを行い、処理後の輝度信号を画像データとして一旦画像メモリ１３へ記憶する。
【００３１】
インタフェース部１４は、画像処理装置２から送信される指令に従って、画像メモリ１３に記憶された画像データを画像処理装置２へ出力するための制御、ビデオカメラ１で撮像した画像の解像度による転送レートの変換、画像データからパケットデータの作成などを行う。また、インタフェース部１４は、制御部１５の制御に従って、画像メモリ１３に記憶された画像データを画像処理装置２へ出力する。また、インタフェース部１４は、画像処理装置２が出力した操舵角α、ヨーレイトβ、車両の速度Ｖを取得し、駆動部１１７へ出力する。
【００３２】
制御部１５は、バス１６を介して、画像撮像部１１、信号処理部１２、インタフェース部１４の処理を制御する。例えば、画像処理装置２からの指令を解釈して、画像撮像部１１が撮像した画像データを画像メモリ１３に記憶する。また、記憶された画像データを読み出し、インタフェース部１４を介して画像処理装置２へ出力する。
【００３３】
図３は、画像処理装置２の構成を示すブロック図である。図において、２１はインタフェース部であり、ビデオカメラ１に対する指令の転送、ビデオカメラ１からの画像データの転送、後述する入力部２２に入力された操舵角α、ヨーレイトβ、車両の速度Ｖをビデオカメラ１へ出力する。
【００３４】
制御部２７は、インタフェース部２１を介してビデオカメラ１から入力された画像データ夫々を１フレーム単位毎の画像データを画像メモリ２３に記憶する。また、制御部２７は、画像メモリ２３に記憶された画像データをフレーム単位で画像処理部２６へ出力する。
【００３５】
入力部２２は、操舵角センサ４で検出された操舵角α、ヨーレイトセンサ５で検出されたヨーレイトβ、速度センサ６で検出された車両の速度Ｖなどのデータを受信し、受信したデータを、インタフェース部２１を介してビデオカメラ１へ出力する。
【００３６】
記憶部２４は、ビデオカメラ１で撮像した画像データから歩行者を認識するための標準パターンＨ１、Ｈ２、…を記憶している。標準パターンＨ１、Ｈ２、…は人間の輝度分布に対応した輝度分布を有し、人間の体形、子供と大人の区別、服装などに応じて複数のパターンを有する。
【００３７】
画像処理部２６は、画像メモリ２３から１フレーム単位の画像データを読み出し、読み出した画像データが有する輝度分布と、記憶部２４から読み出した標準パターンＨ１、Ｈ２、…との類似度を判断し、歩行者認識を行う。
【００３８】
画像処理部２６は、上述の処理を１フレーム単位で行い、１フレーム分の画像データに対して処理が終了すると、次のフレームに対して同様の処理を続け、処理後の画像データを出力部２５へ出力する。
【００３９】
出力部２６は、入力された画像データを表示装置３へ出力する。制御部２７は、インタフェース部２１、画像処理部２６などの動作を制御する。
【００４０】
表示装置３は、画像処理装置２から出力された画像データに基づき、外界の状況とともに、認識した歩行者の存在をディスプレイに表示する。
【００４１】
次に本発明に係る画像表示システムの動作について説明する。運転者が、表示装置３に備えられた操作部を操作してビデオカメラ１の動作スイッチをオンにすると、動作信号を前記操作部から受信した画像処理装置２は、インタフェース部２１を介して、初期コマンドをビデオカメラ１へ送出する。
【００４２】
初期コマンドを受信したビデオカメラ１は、画像撮像部１１から車両の外界の撮像を開始する。信号処理部１２は、撮像した画像データを一旦画像メモリ１３に記録された後に、１フレーム分の画像データごとに同期させて、インタフェース部１４を介して、画像処理装置２へ送出される。
【００４３】
画像処理装置２は、１フレーム分の画像データを一旦画像メモリ２３に記憶する。画像処理部２６は、画像メモリ２３に記憶された画像データを読み出し、歩行者を認識するための画像処理を行った後、処理後の画像データを表示装置３へ出力する。
【００４４】
画像処理装置２は、操舵角センサ４で検出された操舵角α、ヨーレイトセンサ５で検出されたヨーレイトβ、速度センサ６で検出された速度Ｖなどのデータを、入力部２２を介して受付けると、受付けたデータを、インタフェース部２１を介してビデオカメラ１へ出力する。
【００４５】
インタフェース部１４は、画像処理装置２から取得した操舵角α、ヨーレイトβ、速度Ｖなどのデータを駆動部１１７へ出力する。
【００４６】
車両が直進道路を走行している場合は、駆動部１１７が取得した操舵角αは「０」である。この場合は、駆動部１１７は、ステッピングモータ１１６のコイルに印加する駆動パルスを発生せず、ミラー１１１の傾斜角度θは４５度である。これにより、ビデオカメラ１の視野範囲は、車両の前方方向（進行方向）となる。
【００４７】
車両が右カーブを曲がる場合は、運転者は操舵輪を時計方向に回転するため、駆動部１１７が取得した操舵角αは正の値となる。この場合は、駆動部１１７は、ステッピングモータ１１６の回転軸が、例えば、時計方向に回転するように、ステッピングモータ１１６のコイルに印加する駆動パルスの組み合わせを生成し、ミラー１１１の傾斜角度θは、４５度より大きくなり、ビデオカメラ１の視野範囲は車両前方から右方向に変化し、車両がカーブを曲がるに応じて、運転者の視線の先を撮像する。
【００４８】
車両が左カーブを曲がる場合は、運転者は操舵輪を反時計方向に回転するため、駆動部１１７が取得した操舵角αは負の値となる。この場合は、駆動部１１７は、ステッピングモータ１１６の回転軸が、例えば、反時計方向に回転するように、ステッピングモータ１１６のコイルに印加する駆動パルスの組み合わせを生成し、ミラー１１１の傾斜角度θは、４５度より小さくなり、ビデオカメラ１の視野範囲は車両前方から左方向に変化し、車両がカーブを曲がるに応じて、運転者の視線の先を撮像する。
【００４９】
図４はビデオカメラ１の視野範囲の変化を示す説明図である。図に示すように、車両が右カーブを曲がる場合は、操舵角αに応じて、ビデオカメラ１の視野範囲を車両の前方方向から右方向に変更することにより、車両の進行方向に存在する歩行者の認識を容易にすることができる。また、車両が左カーブを曲がる場合は、操舵角αに応じて、ビデオカメラ１の視野範囲を車両の前方方向から左方向に変更することにより、車両の進行方向に存在する歩行者の認識を容易にすることができる。
【００５０】
以上説明したように、本発明にあっては、ビデオカメラ１に内蔵されたミラー１１１の傾斜角度θを可変とし、ミラー１１１の傾斜角度θを操舵輪の操舵角αに応じて制御することにより、ビデオカメラ１の視野範囲を車両の前方方向から左右方向に変更し、運転者の視点の先を撮像することができる。ビデオカメラ１全体を左右方向に駆動させる必要が無く、従来に比較して小型な機構でビデオカメラ１の視野範囲を左右に変更することができる。
【００５１】
上述の実施の形態においては、操舵角αに応じてミラー１１１の傾斜角度θを変化させる例を示しているが、これに限定されるものではなく、駆動部１１７で取得したヨーレイトβに応じてミラー１１１の傾斜角度θを変化させる構成であってもよい。この場合は、操舵角αの場合と同様に、例えば、ヨーレイトβの正負、大小に応じて傾斜角度θの大小をステッピングモータ１１６の回動を制御することができる。また、駆動部１１７で取得した速度Ｖに基づいて、車両の旋回半径Ｒを、Ｒ＝Ｖ／βより算出して、算出した旋回半径Ｒの大小に基づいて、傾斜角度θの大小を制御することもできる。
【００５２】
上述の実施の形態においては、ミラー１１１を使用する構成であったが、これに限定されるものではなく、遠赤外光の光路を屈折させることができればよく、ミラー１１１に代えて遠赤外光を透過することができるプリズムを使用する構成であってもよい。また、ミラー１１１に代えて、ＤＭＤ（Digital Micro Mirror Device）を用いる構成であってもよい。この場合は、ＣＭＯＳ半導体上に敷き詰められ、静電力により独立可動なミラーを、遠赤外線撮像素子１１４の画素数に等しい数備えたＤＭＤを用いることにより、前記ミラーの傾斜角度を変更して、ビデオカメラ１の視野範囲を変更することができるとともに、ビデオカメラ１を更に小型化することができる。
【００５３】
上述の実施の形態においては、レンズ１１２、１１３の材料としてゲルマニウムを使用するものであったが、これに限定されるものではなく、カルコゲンガラス、硫化亜鉛（ＺｎＳ）などを用いる構成であってもよい。また、レンズ１１２、１１３はモールド成形により製造することができ、コストを低減することができる。また、透過窓１１０の材料は、レンズと同様に、硫化亜鉛を用いるものでもよく、また、ＤＬＣ（Diamond Like Carbon）を用いることにより、強度を向上させることもできる。
【００５４】
上述の実施の形態において、遠赤外線撮像素子１１４としては、ボロメータ型、サーモパイル型、焦電型、ＳＯＩダイオードなどの撮像素子を用いることができる。
【００５５】
上述の実施の形態においては、遠赤外光用のビデオカメラ１は、中赤外光用のビデオカメラ又は近赤外光用のビデオカメラを用いる構成であってもよい。
【００５６】
上述の実施の形態においては、ステッピングモータ１１６を用いる構成であったが、これに限定されるものではなく、他のＤＣモータを用いる構成であってもよい。
【００５７】
上述の実施の形態においては、ヨーレイトを取得する構成であったが、これに限定されるものではなく、ヨー角を取得するものであってもよい。
【図面の簡単な説明】
【００５８】
【図１】本発明に係る画像表示システムの概要を示す模式図である。
【図２】ビデオカメラの構成を示すブロック図である。
【図３】画像処理装置の構成を示すブロック図である。
【図４】ビデオカメラの視野範囲の変化を示す説明図である。
【符号の説明】
【００５９】
１  ビデオカメラ
２  画像処理装置
３  表示装置
４  操舵角センサ
５  ヨーレイトセンサ
６  速度センサ
１１  画像撮像部
１１０  透過窓
１１１  ミラー
１１２、１１３  レンズ
１１４  遠赤外線撮像素子
１１５  ギア部
１１６  ステッピングモータ
１１７  駆動部
【図１】
2006160040.tif 000003
【図２】
2006160040.tif 000004
【図３】
2006160040.tif 000005
【図４】
2006160040.tif 000006