(57)【要約】【課題】エンジン始動時や運転者が見たい時にバックミラー、サイドミラーの視覚を補い、画像をリアルタイムに生成し、略全周囲表示または一部を適時スクロール表示する視覚情報提供システムを提供する。【解決手段】一以上の動画カメラ１１〜１４が車両外の略全周囲の情報を常時獲得している。一以上の車内ディスプレイ３１〜３３が設けられており、前記車内ディスプレイに表示を指示するための表示指示スイッチ２２が設けられている。制御手段２４は常時取得されている車外の略全周囲の情報を前記表示指示スイッチの操作に応じて加工して、前記車内ディスプレイに接続して、車両外の略全周囲または一部をスクロール表示させる。一以上の通常の動画カメラの全部または一部に代えて広ダイナミックレンジカメラを使用することができる。【選択図】図２
2006273308.tif 000002
【特許請求の範囲】
【請求項１】
車両外の略全周囲の情報を常時獲得している一以上の動画カメラと、
車両内に配置された一以上の車内ディスプレイと、
前記車内ディスプレイに表示を指示するための表示指示操作子と、
常時取得されている車外の略全周囲の情報を前記表示指示操作子の操作に応じて加工して、前記車内ディスプレイに接続して、車両外の略全周囲または一部をスクロール表示させる制御手段と、
から構成した視覚情報提供システム。
【請求項２】
車両外の略全周囲の情報を常時獲得している一以上の動画カメラと、
車両内に配置された一以上の車内ディスプレイと、
前記車内ディスプレイに表示を指示するための表示指示操作子と、
常時取得されている車外の略全周囲の情報を前記表示指示操作子の操作に応じて加工して、前記車内ディスプレイに接続して、車両外の略全周囲または一部をスクロール表示させる制御手段と、から構成した視覚情報提供システムであって、
前記動画カメラの一部または全てを広ダイナミックレンジカメラに置き換えて、その出力を加工して使用し、通常のカメラのダイナミックレンジ外の領域の再生を可能にする制御に切り換えて運転者に見えるようにカメラの画像を表示するように構成された視覚情報提供システム。
【請求項３】
前記通常のカメラのダイナミックレンジ外の領域は、白とびで消えるか、または黒く消えてしまうような画像領域である請求項２記載の視覚情報提供システム。
【請求項４】
前記広ダイナミックレンジカメラの画像データを加工使用して表示装置に表示する場合、
広ダイナミックレンジカメラ用に予め決められた変換表または関数あるいは変換表と関数との組合せから選択できるかまたは／かつユーザが設定できるように構成された請求項２記載の視覚情報提供システム。
【請求項５】
前記制御手段は、車両外の略全周囲または一部をディスプレイに一画面表示する請求項１から４記載の視覚情報提供システム。
【請求項６】
前記制御手段は、自動車の電源オン時または車両発進時に、車両外の略全周囲または一部をディスプレイにスクロ−ル表示する請求項１から４記載の視覚情報提供システム。
【請求項７】
前記制御手段は、自動車の電源オン時または車両発進時に、車両外の略全周囲または一部をディスプレイに一画面表示するようにした請求項５記載の視覚情報提供システム。
【請求項８】
前記制御手段は、車両外の略全周囲または一部をスクロール表示している時に、表示を一時停止、再開表示するようにした請求項１から４記載の視覚情報提供システム。
【請求項９】
前記制御手段は、車両外の略全周囲または一部をスクロール表示している時に、前記表示指示操作子中の予め定められている操作子を操作するとスクロール表示する方向を表示していた方向と逆方向にスクロールするようにした請求項１から４記載の視覚情報提供システム。
【請求項１０】
前記制御手段は、車両外の略全周囲または一部をスクロール表示している時に、前記表示指示操作子中の予め定められている操作子を操作するとスクロール表示のスピードを予め決められた値から選択できるようにしたまたは／かつユーザが設定できるようにした請求項１から４記載の視覚情報提供システム。
【請求項１１】
前記制御手段はスクロール表示している時に、危険物や障害物等を認識したらスクロール表示を一時停止するようにした請求項１から４記載の視覚情報提供システム。
【請求項１２】
前記制御手段は、スクロール表示する方向、スクロール表示を開始する位置を前記表示指示操作子中の予め定められている操作子を操作するとスクロール表示する方向、スクロール表示を開始する位置を予め決められた値から選択できるようにしたまたは／かつユーザが設定できるようにした請求項１から４記載の視覚情報提供システム。
【請求項１３】
前記制御手段は、運転者が一回転した時のように車両周囲の画像をスクロール表示するかあるいは車両後方の表示は車両後方を鏡で見た時のように左右反転された画像（鏡像）でスクロール表示するか選択できるようにした請求項１から４記載の視覚情報提供システム。
【請求項１４】
前記制御手段は、前記鏡像表示する時に、鏡像表示を開始する位置（方向）を予め決められた値から選択できるかまたは／かつユーザが設定できるようにした請求項１３記載の視覚情報提供システム。
【請求項１５】
前記制御手段は、請求項１から１４のスクロール表示または一画面表示する時に、どのカメラでどの方向を表示しているかを模式図で重ね表示できるようにした請求項１から１４記載の視覚情報提供システム。
【請求項１６】
請求項１から４，６及び８から１５の視覚情報提供システムにおいて、
２以上の複数の動画カメラを使用し、同じ領域を複数のカメラで撮像するカメラ配置で、撮像した画像の重なり領域に対し前記車内ディスプレイに表示する画像をどのカメラで撮像した画像を加工使用するかを予め決めておくか、
または表示方向に近いカメラの画像を加工し、使用するように構成された視覚情報提供システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周囲を撮像するカメラ動画像に基づき、車内に配置したディスプレイに運転者が必要とする車外の情報を表示することにより、運転者を補助する視覚情報提供システムに関する。
【背景技術】
【０００２】
運転者が必要とする車両周囲の情報を通常運転者が認識できる情報を含めて車内のディスプレイに表示することができると、運転者は特に姿勢をかえることなく必要な情報が得られて便利である。運転者に必要な情報を提供することにより、運転を支援しようとする提案が数多くなされている。
【０００３】
特許文献１記載の発明（自動車の小型後方安全確認装置）は、エンジン始動時、車両後方画像をモニタに表示し、後方の安全を確認する自動車の後方安全確認装置を開示している。
特許文献２記載の発明（前方障害物確認システム）は、エンジン始動時、運転席から死角となる車両前方を撮像し、撮像された画像情報を表示画面に表示する前方障害物確認システムを開示している。
特許文献３記載の発明（運転支援装置）は、イグニッションオン時に全周囲死角のない合成画像を表示する運転支援装置である。
特許文献４記載の発明（車両用周辺監視装置）は、発進準備完了時、進行方向撮像画像及び側方撮像画像を所定順序で切り換えて表示する車両用周辺監視装置である。
【特許文献１】特開平１１−２５５０２０
【特許文献２】特開２００２−１０４１１４
【特許文献３】特開２００２−１０９６９７
【特許文献４】特開２００３−１４６１３３
【発明の開示】
【発明が解決しようとする課題】
【０００４】
自動車を発進する場合、自動車の周囲を見回し安全を確認する必要がある。通常車体の一部に視界を遮られて見えない死角が存在し、特に大型トラックなどの大型車両では運転者から見えない死角が多く存在し、充分に安全確認をできる状況にあるとは言えない。
多岐に渡る視覚情報を提供するにあたり、対象ごとの輝度の範囲に高低広狭があるから、それぞれについて利用可能な映像を提供するためには情報を取得するための動画カメラの選択および選択情報の処理が必要となる。
本発明の目的は、エンジン始動時や運転者が見たい時にバックミラー、サイドミラーの視覚を補い、画像をリアルタイムに生成し、略全周囲表示または一部を適時スクロール表示する視覚情報提供システムを提供することにある。
本発明のさらに他の目的は、前記主たる目的を達成するために使用される通常の動画カメラの全部または一部をさらにダイナミックレンジの広いカメラ（広ＤＲカメラ）に変えた場合における露出制御の問題等を解決することができる視覚情報提供システムを提供することにある。
【課題を解決するための手段】
【０００５】
前記目的を達成するために、本発明による請求項１記載の視覚情報提供システムは、
車両外の略全周囲の情報を常時獲得している一以上の動画カメラと、
車両内に配置された一以上の車内ディスプレイと、
前記車内ディスプレイに表示を指示するための表示指示操作子と、
常時取得されている車外の略全周囲の情報を前記表示指示操作子の操作に応じて加工して、前記車内ディスプレイに接続して、車両外の略全周囲または一部をスクロール表示させる制御手段と、から構成されている。
本発明による請求項２記載の視覚情報提供システムは、
車両外の略全周囲の情報を常時獲得している一以上の動画カメラと、
車両内に配置された一以上の車内ディスプレイと、
前記車内ディスプレイに表示を指示するための表示指示操作子と、
常時取得されている車外の略全周囲の情報を前記表示指示操作子の操作に応じて加工して、前記車内ディスプレイに接続して、車両外の略全周囲または一部をスクロール表示させる制御手段と、から構成した視覚情報提供システムであって、
前記動画カメラの一部または全てを広ダイナミックレンジカメラに置き換えて、その出力を加工して使用し、通常のカメラのダイナミックレンジ外の領域の再生を可能にする制御に切り換えて運転者に見えるようにカメラの画像を表示するように構成されている。
【０００６】
本発明による請求項３記載の視覚情報提供システムは、請求項２記載の視覚情報提供システムにおいて、
前記通常のカメラのダイナミックレンジ外の領域は、白とびで消えるか、または黒く消えてしまうような画像領域とするものである。
本発明による請求項４記載の視覚情報提供システムは、請求項２記載の視覚情報提供システムにおいて、
前記広ダイナミックレンジカメラの画像データを加工使用して表示装置に表示する場合、
広ダイナミックレンジカメラ用に予め決められた変換表または関数あるいは変換表と関数との組合せから選択できるかまたは／かつユーザが設定できるように構成されている。
【０００７】
本発明による請求項５記載の視覚情報提供システムは、請求項１から４記載の視覚情報提供システムにおいて、
前記制御手段は、車両外の略全周囲または一部をディスプレイに一画面表示するように構成されている。
本発明による請求項６記載の視覚情報提供システムは、請求項１から４記載の視覚情報提供システムにおいて、
前記制御手段は、自動車の電源オン時または車両発進時に、車両外の略全周囲または一部をディスプレイにスクロ−ル表示するように構成されている。
本発明による請求項７記載の視覚情報提供システムは、請求項５記載の視覚情報提供システムにおいて、
前記制御手段は、自動車の電源オン時または車両発進時に、車両外の略全周囲または一部をディスプレイに一画面表示するように構成されている。
本発明による請求項８記載の視覚情報提供システムは、請求項１から４記載の視覚情報提供システムにおいて、
前記制御手段は、車両外の略全周囲または一部をスクロール表示している時に、表示を一時停止、再開表示するように構成されている。
【０００８】
本発明による請求項９記載の視覚情報提供システムは、請求項１から４記載の視覚情報提供システムにおいて、
前記制御手段は、車両外の略全周囲または一部をスクロール表示している時に、前記表示指示操作子中の予め定められている操作子を操作するとスクロール表示する方向を表示していた方向と逆方向にスクロールするように構成されている。
本発明による請求項１０記載の視覚情報提供システムは、請求項１から４記載の視覚情報提供システムにおいて、
前記制御手段は、車両外の略全周囲または一部をスクロール表示している時に、前記表示指示操作子中の予め定められている操作子を操作するとスクロール表示のスピードを予め決められた値から選択できるようにしたまたは／かつユーザが設定できるように構成されている。
本発明による請求項１１記載の視覚情報提供システムは、請求項１から４記載の視覚情報提供システムにおいて、
前記制御手段はスクロール表示している時に、危険物や障害物等を認識したらスクロール表示を一時停止するように構成されている。
本発明による請求項１２記載の視覚情報提供システムは、請求項１から４記載の視覚情報提供システムにおいて、
前記制御手段は、スクロール表示する方向、スクロール表示を開始する位置を前記表示指示操作子中の予め定められている操作子を操作するとスクロール表示する方向、スクロール表示を開始する位置を予め決められた値から選択できるようにしたまたは／かつユーザが設定できるように構成されている。
本発明による請求項１３記載の視覚情報提供システムは、請求項１から４記載の視覚情報提供システムにおいて、
前記制御手段は、運転者が一回転した時のように車両周囲の画像をスクロール表示するかあるいは車両後方の表示は車両後方を鏡で見た時のように左右反転された画像（鏡像）でスクロール表示するか選択できるように構成されている。
本発明による請求項１４記載の視覚情報提供システムは、請求項１３記載の視覚情報提供システムにおいて、
前記制御手段は、前記鏡像表示する時に、鏡像表示を開始する位置（方向）を予め決められた値から選択できるかまたは／かつユーザが設定できるように構成されている。
本発明による請求項１５記載の視覚情報提供システムは、請求項１から１４記載の視覚情報提供システムにおいて、
前記制御手段は、請求項１から１４のスクロール表示または一画面表示する時に、どのカメラでどの方向を表示しているかを模式図で重ね表示できるように構成されている。
本発明による請求項１６記載の視覚情報提供システムは、請求項１から４，６及び８から１５の視覚情報提供システムにおいて、
２以上の複数の動画カメラを使用し、同じ領域を複数のカメラで撮像するカメラ配置で、撮像した画像の重なり領域に対し前記車内ディスプレイに表示する画像をどのカメラで撮像した画像を加工使用するかを予め決めておくか、
または表示方向に近いカメラの画像を加工し、使用するように構成されている。
【発明の効果】
【０００９】
前記構成によれば、死角を含めた車両周囲を運転者のわかり易い画像で表示することにより、運転者の姿勢をかえることなく、注視したいところで一時停止／再開表示でき、何回でもスクロール表示でき、発進時の車両周囲の安全確認を充分に行うことができる。
【発明を実施するための最良の形態】
【００１０】
以下図面等を参照して本発明によるシステムの実施の形態を説明する。
図１は、本発明の視覚情報提供システムにおける動画センサ（カメラ）の配置を示す略図、図２は、本発明の視覚情報提供システムの回路の実施例を示すブロック図、図３は、本発明の視覚情報提供システムを搭載した車両の斜視図である。
【００１１】
本発明によるシステムでは、１つまたは図１（Ａ）〜（Ｄ）に示されているように、複数のカメラで車両周囲の全方位画像を撮影する。
車両の電源オン信号またはハンドルその他に関連して設けられている特定の操作子の操作（例えば特定のスイッチの押圧）にて、車両内のディスプレイ（図２）への表示開始を決定する。
処理部において、開始表示方角、予め決められた仰角と視野角、使用カメラ画像から透視投影画像を生成し、それぞれのディスプレイに表示する。
予め決められた表示方向に予め決められた表示速度（スクロール速度）にて透視投影画像をディスプレイにスクロール表示する。
特定の操作子の操作（例えば特定のスイッチの押圧）にて、スクロール表示を一時停止し、特定の操作子の操作（例えば特定のスイッチの押圧）にてスクロール表示を再開する。
特定の操作子の操作（例えば特定のスイッチの押圧）にて、スクロール表示をやり直すことができる。
必要に応じて、危険物や障害物などを認識し、スクロール表示を一時停止する。特定の操作子の操作（例えば特定のスイッチの押圧）にてスクロール表示を再開する。
【００１２】
図１（Ａ）は、カメラ１１flと１１brを車両の前左、および後右に配置した例を示している。同図（Ｂ），（Ｃ），（Ｄ）もそれぞれ２以上のカメラを使用して周辺視覚情報を常時獲得できるようにしたものである。
【００１３】
図２において、表示制御のための入力は、表示指示スイッチ２２，電源オンセンサ２３の出力である。
表示指示スイッチ２２は操舵ホイール等に関連して設けられた多数のスイッチ群からなる多機能スイッチであり、運転者等により操作される。電源オンセンサ２３は、キースタートにより起動されるスイッチである。
これらのスイッチやセンサから情報がスキャンされ、コントロールユニット２４に入力される。複数のカメラで撮影された画像は、コントロールユニット２４内の画像データスイッチ２８に送られる。
演算処理部２５において、それぞれのディスプレイ３１〜３３への表示位置を決定する。表示位置情報は車両周囲のどの方向か表し、方向，仰角，視野角で表現する。
また、表示指示スイッチ２２のスイッチ情報を判断し、表示ディスプレイ３１〜３３や表示位置を決定する。
【００１４】
演算処理部２５で決定された表示位置情報（方向，仰角，視野角等）を、画像データスイッチ２８と画像処理・表示制御部２６〜２７に送られる。
画像データスイッチ２８は、得られた表示位置情報に従い、撮影された画像から表示に必要なカメラの画像情報を適切な画像処理・表示制御部２６〜２７に転送する。画像データスイッチ２８はアナログスイッチを用いて構成してある。なお画像スイッチャで構成することもできる。
【００１５】
画像処理・表示制御部２６〜２７では、画像データスイッチ２８から得られた画像に対し、方向，仰角，視野角を元に表示するディスプレイ３１〜３３に合わせて、透視投影変換などの画像処理を行ない、それぞれのディスプレイに画像を出力する。
予め決められた方向に予め決められた表示速度となるよう表示位置を決め前記画像処理を行い、ディスプレイに表示することでスクロール表示を行う。
画像処理・表示制御部２６〜２７では、近接物体を認識する。認識物体があると判断されるときに、認識物体が表示画面内の（左右方向で）予め決められた範囲内に表示されるようになると、スクロール表示を一時停止し、運転者に対し、音または光・映像で警告を発する。表示再開の操作子の操作（例えば特定のスイッチの押圧）がなされると、一時停止をやめスクロール表示を再開・継続する。一方、表示開始の操作子の操作（例えば特定のスイッチの押圧）がなされると、表示開始位置からスクロール表示を開始する。
【００１６】
（ディスプレイへの表示例１）図１（Ａ）に示すようなカメラ配置の場合の表示例について説明する。
左前部のカメラ１１flにより撮像され透視投影変換などの画像処理を行なった画像は、図３に示すように左ディスプレイ３１に表示する。
図１（Ａ）の右後部のカメラ１２brにより撮像され透視投影変換などの画像処理を行なった画像は、図３に示す右ディスプレイ３３に表示される。
図３に示す中央ディスプレイ３２には、左前部と右後部のカメラにより撮像され透視投影変換などの画像処理を行なった画像を予め決められたスクロール表示方向に表示する。
例えば、スクロール表示方向が車両上部から見て右回転方向の場合、図１の左前部カメラ１１fl画像の透視投影変換などの画像処理を行なった画像を車両上部から見て左後方から右回りに前部右方向までスクロール表示する。
次に、図１（Ａ）の右後部カメラ１２brの画像の透視投影変換などの画像処理を行なった画像を車両上部から見て右前方から右回りに後部左方向までスクロール表示する。
予め決められた表示開始の方角と表示方向及びスクロール表示速度に従ってスクロール表示を行う。
予め決められた画像の表示速度にあわせて描画され、画像の表示速度が１／３０秒であるならば、１／３０秒の頻度で図５の処理手順を実行し，ディスプレイの表示を行う。
【００１７】
図５は、本発明の視覚情報提供システムの透視投影情報の決定の基本的な動作を説明するための流れ図である。
前記処理手順は次のとおりである。
（ステップ５０）処理手続開始する。
（ステップ５１）ディスプレイｄを表示方向αから決定する。
例えば図１（Ａ）のようなカメラ配置の場合、図４の右フロントコーナーから右回りに左リアコーナーまでの表示方向αに対しては図３の右ディスプレイ３３に表示し、左リアコーナーから右回りに右フロントコーナーまでの表示方向αに対しては図３の左ディスプレイ３１に表示し、表示方向αに対応したカメラの透視投影変換画像を図３の中央ディスプレイ３２に表示するように、表示方向αで表示するディスプレイを予め決めておくことができる。
（ステップ５２）方向αに該当する全周囲カメラ画像を選択する
（ステップ５３）選択したカメラ画像に対して表示位置（方向α，仰角β，視野角γ）の透視投影画像を求める。
（ステップ５４）透視投影画像をディスプレイに表示する
ディスプレイへの表示は、予め決められた表示開始方向、スクロール表示方向とスクロール表示速度とから算出された方向を含む表示位置（方向αd ，仰角βd ，視野角γd ）（仰角βd ，視野角γd は、予め設定しておく）で全周囲カメラ画像を透視投影変換した画像をそれぞれのディスプレイ３１〜３３（図３参照）に表示する。
図４は、本発明の視覚情報提供システムの表示の方角（α）仰角（β）視野角（γ）を示す説明図である。この図は前述の図３の車両１０内の任意のディスプレイ３１，３２および３３に表示される映像を定義している。αは表示の方向、βはカメラの仰角（俯角は負の仰角と考える）、γは視野角である。
仰角β，視野角γは、予め設定しておくが、予め決められた値から選択できるようになっているかまたは／かつユーザが設定できるようになっている。
【００１８】
図６は、本発明の視覚情報提供システムの動作のシーケンスの決定の基本的な動作を説明するための流れ図である。
（ステップ６１）処理手続開始する。
（ステップ６２）電源オン時であるかまたは車両発進時であるかを判定する。
（ステップ６３）表示開始の操作指示があるかを判定する。
（ステップ６４）スクロール表示、反転表示のための初期値を設定する。
（ステップ６５）方向αの透視投影画像をディスプレイｄに表示する。（この部分は、図５の流れ図を実行する。）
（ステップ６６）スクロール表示の終了点か判定する。終了点なら表示シーケンスを終了する。
（ステップ６７）一時停止の指示があるかを判定する。
（ステップ６８）一時停止後の再開表示指示があるかを判定する。
（ステップ６９）スクロール表示方向の反転指示があるかを判定する。
（ステップ７０）スクロール表示方向に対して反転とするフラグをオンに設定する。
（ステップ７１）スクロール表示途中でも最初から表示する指示があるか判定する。
（ステップ７２）次にスクロール表示するための表示方向を算出決定する。
【００１９】
次に前述の図６で示した流れ図と本発明による視覚情報提供システムの請求項との関係を簡単に説明しておく。
請求項１〜４記載の視覚情報提供システムは、前述の図６の流れ図からステップ６２，６７，６８，６９，７０を削除した状態で実現できる。
請求項５の記載の視覚情報提供システムは、前述の図６の流れ図からステップ６２，６７，６８，６９，７０，７２を削除し、一般的な表示ではなく、特定の表示位置設定（真下向きとズーム度合い）で透視投影表示することにより実現できる。
請求項６記載の視覚情報提供システムは、前述の図６の流れ図からステップ６７，６８，６９，７０を省略した流れで実現できる。
請求項７記載の視覚情報提供システムは、前述の図６の流れ図からステップ６７，６８，６９，７０，７２を省略した流れで特定の表示位置設定（真下向きとズーム度合い）で透視投影表示することにより実現できる。
請求項８記載の視覚情報提供システムは、前述の図６の流れ図からステップ６２，６７，７０を省略した流れで実現できる。
請求項９記載の視覚情報提供システムは、前述の図６の流れ図からステップ６２，６７，６８を省略した流れで実現できる。表示指示操作子の中の予め定められている操作子の操作（例えば特定のスイッチの押圧）でステップ６９のスクロール表示方向の反転をするか否かの判定を行うことで可能になる。
請求項１０記載の視覚情報提供システムは、前述の図６の流れ図からステップ６２，６７，６８，６９，７０を省略した流れで実現できる。表示指示操作子の中の予め定められている操作子の操作（例えば特定のスイッチの押圧）にてステップ７２のスクロール表示速度を変更することで可能である。スクロール表示速度は、予め決められた値から選択できるようになっているかまたは／かつユーザが設定できるようになっている。
請求項１１記載の視覚情報提供システムは、前述の図６の流れ図からステップ６２，６７，６９，７０を省略し、ステップ６７の代わりに危険物や障害物の認識判定で一時停止するステップを挿入することで実現できる。危険物や障害物は、〔００１５〕で説明した図２の画像処理・表示制御部で認識させることができる。この実施例の応用例としてステップ６７を挿入することで運転者の操作（意思）で一時停止することが可能となる。
請求項１２記載の視覚情報提供システムは、前述の図６の流れ図からステップ６２，６７，６８，６９，７０を省略し、表示指示操作子の中の予め定められている操作子の操作（例えば特定のスイッチの押圧）でステップ６４において表示開始方向にスクロール表示を開始する位置を設定し、更に反転表示フラグをスクロール表示する方向にあわせて設定することで実現できる。スクロール表示する方向、スクロール表示を開始する位置は、表示指示操作子の中の予め定められている操作子の操作（例えば特定のスイッチの押圧）で予め決められた値から選択できるようになっているかまたは／かつユーザが設定できるようになっている。
請求項１３記載の視覚情報提供システムは、前述の図６の流れ図からステップ６２，６７，６８，６９，７０を省略し、前述の図５の流れ図でステップ５３と５４の間に方向αが鏡像表示する範囲であるなら鏡像変換を実施するステップを挿入することで実現できる。請求項１４記載の視覚情報提供システムは、前述の請求項１３の実施例において方向αが鏡像表示する範囲であるかを判定するための基準としての鏡像表示を開始する位置の値を、予め決められた値から選択できるようになっているかまたは／かつユーザが設定できるようになっているように構成したものである。
請求項１５記載の視覚情報提供システムは、請求項１から１４のスクロール表示または一画面表示に関連するものであり、どのカメラでどの方向を表示しているかを模式図で重ね表示できるようにしたものである。
請求項１６記載の視覚情報提供システムは、請求項１から４，６及び８から１５のスクロール画面表示に関連するものであり、２以上の複数カメラで撮像された画像に重なりがある時、この重なり領域のカメラ画像を加工し車内ディスプレイに表示する場合、どのカメラの画像を加工使用するかを予め決めておくかまたは表示方向に近いカメラ画像を加工使用するように構成したものである。
【００２０】
（ディスプレイへの表示例２）図１（Ｂ）にさらに他のカメラの配置を示す。
前方中央と後方中央にカメラ１１fc，１２bcが配置されている。
ディスプレイへの表示は、予め決められた表示開始方向、スクロール表示方向とスクロール速度とから算出された方向を含む表示位置（方向αd ，仰角βd ，視野角γd ）（仰角βd ，視野角γd は、予め設定しておく）で全周囲カメラを選択し、該当する部分の画像を透視投影変換し図２のそれぞれのディスプレイ３１〜３３に表示する。例えば表示方向に応じて、フロント側やリア側の画像は図３の中央ディスプレイ３２に表示し、右側の画像は図３の右ディスプレイ３３に表示し、左側の画像は図３の左ディスプレイ３１に表示する。
【００２１】
（ディスプレイへの表示例３）図１（Ｃ）はカメラの配置の他の例を示す図である。
カメラは、左前方の角１１fl右前方の角１２fr左後方の角１２bl右後方の角１２brに全周囲をカバーするように配置されている。
ディスプレイへの表示は、予め決められた表示開始方向、スクロール表示方向とスクロール速度とから算出された方向を含む表示位置（方向αd ，仰角βd ，視野角γd ）（仰角βd ，視野角γd は、予め設定しておく）で全周囲カメラを選択し，該当する部分の画像を透視投影変換し図２のそれぞれのディスプレイ３１〜３３に表示する。例えば表示方向に応じて、フロント側やリア側の画像は図３の中央ディスプレイ３２に表示し、右側の画像は図３の右ディスプレイ３３に表示し、左側の画像は図３の左ディスプレイ３１に表示する。
請求項１６の実施例として、例えばフロント側の表示の場合、カメラ１１flから透視投影変換した画像とカメラ１２frから透視投影変換した画像とでは見た目の画像が異なるのでどちらの画像を使用するかを予め決めておくかまたは、表示方向に近いカメラから透視投影変換した画像を使用するように設定しておく。リア側、右側、左側もフロント側と同様の手法で設定しておく。
【００２２】
（ディスプレイへの表示例４）図１（Ｄ）にさらに他のカメラの配置例を示す。
前方中央にカメラ１１fc，右側面中央にカメラ１２sr、後方中央にカメラ１３bc左側面中央にカメラ１４slが配置されている。
ディスプレイへの表示は、予め決められた表示開始方向、スクロール表示方向とスクロール速度とから算出された方向を含む表示位置（方向αd ，仰角βd ，視野角γd ）（仰角βd ，視野角γd は、予め設定しておく）で全周囲カメラを選択し、該当する部分の画像を透視投影変換し図２のそれぞれのディスプレイ３１〜３３に表示する。例えば表示方向に応じて、フロント側やリア側の画像は図３の中央ディスプレイ３２に表示し、右側の画像は図３の右ディスプレイ３３に表示し、左側の画像は図３の左ディスプレイ３１に表示する。
請求項１６の実施例として、例えば右フロントコーナー方向の表示の場合、カメラ１１fcから透視投影変換した画像とカメラ１２srから透視投影変換した画像とでは見た目の画像が異なるのでどちらの画像を使用するかを予め決めておくかまたは、表示方向に近いカメラから透視投影変換した画像を使用するように設定しておく。左フロントコーナー方向、右リアコーナー方向、左リアコーナー方向のそれぞれの表示の場合も右フロントコーナー方向の表示の場合と同様の手法で設定しておく。
【００２３】
（ディスプレイへの表示例５）請求項５の実施例として、カメラは図１（Ａ）に示すように全周囲の情報を取得可能に配置されている。
それぞれのカメラの真下向きの透視投影変換した画像をカメラ１１flのものは、図７に示すように、左ディスプレイに、カメラ１２brのものは右ディスプレイにそれぞれ表示する。
図７に示すように車両に取付けられたカメラ付近の状況が一画面表示で確認できる。
【００２４】
（ディスプレイへの表示例６）カメラは図１（Ａ）に示すように全周囲の情報を取得可能に配置されている。請求項１５の実施例として、車両、カメラ、視野角及び表示方向をそれぞれ区別できる模式図で（例えば図８（ａ）に示すように車両を長方形で、カメラを黒丸で、視野角を三角形で、表示方向中央を三角形底辺の中央で）それぞれ表示し、透視投影変換している画像に模式図で重ね表示することでどのカメラでどの方向を見ているかがわかる。
図７に示すように真下向きの場合、前記模式図と区別できる模式図（例えば図８（ｂ）に示すように三角形表示はせずカメラを丸印の中にバツ印）で表示する。
【００２５】
（ディスプレイへの表示例７）図９に透視投影変換画像と模式図との合成画像の表示例を示す。同図（ａ）では、左前のカメラから左斜め後ろ方向を透視投影変換表示していることが模式図よりわかる。同図（ｂ）では、左前のカメラからほぼ前方方向を透視投影変換表示していることが模式図よりわかる。同図（ｃ）では、左前のカメラの下向きの透視投影変換画像で一画面表示していることがわかる。同図の三角形の点線表示とその向きは、画像の上側が車両前方であることがわかるように表示している。
また、仰角βd の大きさの違いにより模式図の三角形の中の色の透明度割合を変化させることで、仰角βd の大きさの違いを模式図により表示できる。仰角βd がほぼ水平方向で模式図の三角形の中を不透明（真っ白）で表示し、仰角βd が下向きに大きくなるにしたがい模式図の三角形の中の透明度割合を上げることで透視投影変換された画像の透けて見える割合が上がる（三角形の中の白の抜け落ち具合が上がる）ようになるため、仰角βd の大きさの違いを模式図表示にて認識できる。この例を図９の（ａ）と（ｂ）に示す。同図（ａ）では、仰角βd がほぼ水平方向の場合の合成画像表示例であり、同図（ｂ）では、仰角βd が水平からある程度下向きになっている場合の合成画像表示例である。
【００２６】
（広ダイナミックレンジカメラの使用例）通常のカメラのダイナミックレンジは６０〜８０ｄＢ程度であり、シャッタ速度や絞りで入射光量を調節し、撮影可能な入射光量領域を相対的に広く取れるようになっている。しかし、一旦あるレンジに設定するとそのレンジで扱えるより明るい部分（入射光量の大きい領域）は白くつぶれ（白に飽和し）、暗い部分（入射光量の低い領域）は黒くつぶれ（黒に飽和し）てしまう。
一方、広ダイナミックレンジカメラ（広ＤＲカメラ）のダイナミックレンジは、１００〜１７０ｄＢと広く、通常のカメラのダイナミックレンジを含むように設定すると、通常のカメラの白飽和を上回った入射光量領域や黒飽和を下回った入射光量領域に対して撮影物の区別が可能な有効な画像出力データを持っている。
【００２７】
図１０に通常のカメラと広ＤＲカメラのダイナミックレンジの比較を示す。同図の（ａ）と（ｂ）の矢印範囲の記載位置の違いは、シャッタ速度や絞りにて入射光量が調節され撮影する入射光量の違いを示している。同図（ａ）で通常のカメラと広ＤＲカメラとの撮影可能入射光量の差異を左右の差分で示している。右側の差分ΔＷは、通常のカメラでは白とびを起こしてしまう入射光量でも広ＤＲカメラでは有効な撮影データが得られることを示しており、左側の差分ΔＢは、通常のカメラでは黒つぶれを起こしてしまう入射光量でも広ＤＲカメラでは有効な撮影データが得られることを示している。勿論、広ＤＲカメラにおいても広ＤＲカメラの入射光量範囲を越えれば白とびを起こし、下回れば黒つぶれを起こす。
【００２８】
図１１に通常カメラと広ＤＲカメラの画像例を示す。同図（ａ）は、通常のカメラの画像例を示し、同図（ｂ）は、ほぼ同位置で撮影した広ＤＲカメラの画像データをデータ変換して表示した画像例を示す。図１１（ｂ）の画像例は、同図（ａ）に対して画素値の最大最小値は同じとなるようにし画像全体の見え方がほぼ同じように見えるよう画素値データを変換している。この例では、通常のカメラ画像は、広ＤＲカメラ画像の黒い方にシフトしていて、図１０（ａ）のΔＢの差異がほとんど無い状態の画像例となっている。したがって、図１１（ａ）の通常のカメラ画像では白とびを起こしている部分に対して、同図（ｂ）の広ＤＲカメラ画像では、白い車の後部、日向の路面、物置、背景が空となっている電線や木の葉等がはっきりと撮影されている。同様に、黒い方のΔＢに差異があるような場合には、通常のカメラで黒つぶれを起こす入射光量領域部分でも、広ＤＲカメラでは黒つぶれを起こさずに有効なデータを得ることができ、黒部分の画像領域においても見た目で区別のできる表示とすることができる。
【００２９】
ところで、通常の表示装置のほとんどが２５６階調程度とダイナミックレンジが狭いが、通常のカメラで撮影された画像は適度に表示されるように作られている。
しかし、広ＤＲカメラの画像データをそのまま通常の表示装置で表示しようとしても、カメラが撮影できているデータ領域のほんの一部しか表示できない。
【００３０】
そこで本発明の請求項２，３では、カメラに広ＤＲカメラを使用し、通常のカメラでは白飽和や黒飽和してしまうデータ領域に対しても、広ＤＲカメラの画像データに対して、撮影された物が通常の表示装置上で区別できるような表示にするように図２の画像処理・表示制御部２６，２７が構成されている。
本発明の請求項４では、カメラに広ＤＲカメラを使用し、通常のカメラでは白飽和や黒飽和してしまうデータ領域に対しても、広ＤＲカメラの画像データに対して変換表または関数あるいは変換表と関数との組合せによるデータ変換を行い、撮影された物が通常の表示装置上で区別できるような表示にするように図２の画像処理・表示制御部２６，２７が構成されている。
【００３１】
請求項４の本発明において、撮影した画像に応じてデータ変換を行う例を図１２に示す。図５の流れ図の５３の代わりに図１２の流れ図を使用して、図２の画像処理・表示制御部２６，２７が構成されている。この実施例では、まず、選択したカメラ画像の表示位置（方角α，仰角β，視野角γ）からこれに対応した入力画像の局所領域を求める。次に、求めた局所領域内の画素値のヒストグラム（画素値の分布具合）を求め、上下の飽和点を決める。次に、上下の飽和点の間の入力画素値が表示装置で表示可能な上下飽和となる画素値の間に入るように比例配分、変換関数、予め決められた変換表の選択等により変換表を作成する。次に、作成した変換表を用いて画素値の変換を行う。最後に、変換後の画素値を用いて表示位置（方角α，仰角β，視野角γ）の透視投影画像を求める。
前記実施例においては、使用するカメラが広ＤＲカメラだけの場合の他に広ＤＲカメラと通常のカメラとの混在の場合にも適用が可能である。広ＤＲカメラと通常のカメラとの混在の場合、広ＤＲカメラによる画像処理は前記のとおりであるが、通常カメラの画像処理についても選択したカメラが何であるのかわかるので広ＤＲカメラと同じ処理手順で（処理結果としての効果は期待できないが）実施が可能である。あるいは、図１２の流れ図でヒストグラムの作成部分、変換表作成部分及び画素値変換部分をスキップするようにしてもよいし、変換前後の画素値を同じとする処理にしてもよい。全体で一つの変換表を共有するのではなく、使用するカメラ毎に変換表を持つように構成すれば特性の違うカメラへの対応が可能であり、カメラ毎の個別特性に合わせた対応が可能である。変換表の代わりに関数または変換表と関数との組合せを用いても画素値の変換が可能である。関数を使用する場合、関数を予め複数種類用意し、画素値のヒストグラム具合や、上下飽和値や平均値等に応じて関数を選択したり変換係数やオフセット等を選択／決定することもできる。また、どのような変換方法を使用するかを予めユーザが設定できるようにすることができる。更に、変換表や変換関数の作成、変換表と関数との組合せ方法等も予めユーザが設定できるようにすることができる。図２のコントロールユニット内に記憶メモリを用意し、専用または兼用の指示スイッチにより操作情報をコントロールユニットに伝達し、記憶メモリにユーザの指示した変換表、変換関数、変換表と関数との組合せ方法、変換方法、選択情報等を記憶させ、データ変換時に記憶メモリ情報にしたがってデータ変換を行わせることができる。
【産業上の利用可能性】
【００３２】
以上詳しく説明したように、本発明による視覚情報提供システムによれば、運転支援のために必要な方向の映像を車内のディスプレイに表示することができる。
自動車関連産業や、交通運輸の産業に広く利用できる。
【図面の簡単な説明】
【００３３】
【図１】本発明の視覚情報提供システムにおける動画センサ（カメラ）の配置を示す略図である。
【図２】本発明の視覚情報提供システムの回路の実施例を示すブロック図である。
【図３】本発明の視覚情報提供システムを搭載した車両の斜視図である。
【図４】本発明の視覚情報提供システムの表示の方角（α）仰角（β）視野角（γ）を示す説明図である。
【図５】本発明の視覚情報提供システムの透視投影情報の決定の基本的な動作を説明するためのフローチャートである。
【図６】本発明の視覚情報提供システムの動作のシーケンスの決定の基本的な動作を説明するためのフローチャートである。
【図７】本発明の視覚情報提供システムの表示状態の例を示す説明図である。
【図８】本発明の視覚情報提供システムのさらに他の表示状態の例を示す説明図である。
【図９】本発明の視覚情報提供システムのさらに他の表示状態の例を示す図である。
【図１０】通常のカメラと広ＤＲカメラのダイナミックレンジの比較を示す説明図である。
【図１１】通常カメラと広ＤＲカメラの画像表示の例を示す図である。
【図１２】本発明の視覚情報提供システムのカメラ画像データのデータ変換の例を説明するためのフローチャートである。
【符号の説明】
【００３４】
１１〜１４  動画センサ（カメラ）
２２  表示指示スイッチ
２３  電源オンセンサ
２４  制御手段（コントロールユニット）
２５  演算処理部
２６，２７  画像処理・表示制御部
３１〜３３  ディスプレイ
【図１】
2006273308.tif 000003
【図２】
2006273308.tif 000004
【図３】
2006273308.tif 000005
【図４】
2006273308.tif 000006
【図５】
2006273308.tif 000007
【図６】
2006273308.tif 000008
【図７】
2006273308.tif 000009
【図８】
2006273308.tif 000010
【図９】
2006273308.tif 000011
【図１０】
2006273308.tif 000012
【図１１】
2006273308.tif 000013
【図１２】
2006273308.tif 000014