(57)【要約】【課題】運転者及び同乗者が、共に違和感を感じない画像をフロントピラーに設けられた表示装置に表示することが可能となる運転支援装置、運転支援方法及びプログラムを提供する。【解決手段】運転者５１の頭部位置５１Ｄが、第１領域にある場合には（Ｓ１１〜Ｓ２１：ＹＥＳ）、運転者５１及び助手席Ｇの乗員５２のピラーＰによって生じる各死角領域Ａ１、Ａ２の画像をピラーＰの内側に取り付けられたマルチビューディスプレイ４に、それぞれの方向から見た映像として表示する（Ｓ２２）。また、運転者５１の頭部位置５１Ｄが、第２領域にある場合には（Ｓ２１：ＮＯ）、運転者５１の死角領域Ａ１によって区画される投影部分ＣＰ１の画像データをマルチビューディスプレイ４の運転席Ｆ側用の映像データ及び助手席Ｇ側用の映像データとして表示する（Ｓ２３）。【選択図】図５
2009005054.tif 000002
【特許請求の範囲】
【請求項１】
車両外部を撮影する撮影手段から前記車両のフロントピラーによって生じる運転者の死角領域を含む画像データを取得する画像データ取得手段と、
前記画像データから前記運転者の死角領域によって区画される部分の画像データを抽出する運転者側抽出手段と、
前記画像データから同乗者の死角領域によって区画される部分の画像データを抽出する同乗者側抽出手段と、
前記フロントピラーの内側に設けられて少なくとも運転者と同乗者の各方向から見たときにそれぞれ個別の映像の表示が可能なマルチビュー表示手段に、前記運転者側抽出手段によって抽出された画像データを前記運転者から見た方向の映像として表示すると共に、前記同乗者側抽出手段によって抽出された画像データを前記同乗者から見た方向の映像として表示するように制御するマルチビュー表示制御手段と、
を備えたことを特徴とする運転支援装置。
【請求項２】
前記マルチビュー表示制御手段は、前記運転者の頭部位置が前記マルチビュー表示手段の前記同乗者の方向から見た映像が見える位置にあるか否かを判定する頭部位置判定手段を有し、
該マルチビュー表示制御手段は、前記運転者の頭部位置が前記マルチビュー表示手段の前記同乗者の方向から見た映像が見える位置にあると判定した場合には、前記運転者側抽出手段によって抽出された画像データを前記運転者と同乗者とから見た各方向の映像として表示するように制御することを特徴とする請求項１に記載の運転支援装置。
【請求項３】
前記画像データ取得手段によって取得された画像データを順次記憶する画像データ記憶手段と、
前記画像データ取得手段によって取得された画像データから前記同乗者の死角領域によって区画される部分の画像データを抽出できるか否かを判定する抽出判定手段と、
を備え、
前記同乗者側抽出手段は、前記画像データ取得手段によって取得された画像データから前記同乗者の死角領域によって区画される部分の画像データを抽出できないと判定された場合には、自車位置から所定距離手前の位置で記憶した画像データから前記同乗者の死角領域によって区画される部分の画像データを抽出することを特徴とする請求項１又は請求項２に記載の運転支援装置。
【請求項４】
前記画像データ取得手段によって取得された画像データのうちの前記運転者の死角領域の画像データを投影する運転者側仮想平面を設定する運転者側仮想平面設定手段と、
前記撮影手段の撮影面を、前記運転者の死角領域によって区画された前記運転者側仮想平面の端点を通る位置に設定する撮影面設定手段と、
前記画像データ取得手段によって取得された画像データのうちの同乗者の死角領域の画像データを投影する同乗者側仮想平面を設定する同乗者側仮想平面設定手段と、
前記撮影面設定手段によって設定された撮影面に前記撮影手段の焦点を合わせて前記画像データを取得するように制御する焦点制御手段と、
前記運転者側抽出手段によって抽出された画像データを前記運転者側仮想平面に座標変換する運転者側画像処理手段と、
前記同乗者側抽出手段によって抽出された画像データを前記同乗者側仮想平面に座標変換する同乗者側画像処理手段と、
を備え、
前記マルチビュー表示制御手段は、前記運転者側画像処理手段によって前記運転者側仮想平面に座標変換された画像データを前記運転席から見た方向の映像として表示すると共に、前記同乗者側画像処理手段によって前記同乗者側仮想平面に座標変換された画像データを前記同乗者から見た方向の映像として表示することを特徴とする請求項１乃至請求項３のいずれかに記載の運転支援装置。
【請求項５】
前記撮影面設定手段は、前記撮影手段の撮影面を前記運転者側仮想平面よりも前記車両に近い位置に設定することを特徴とする請求項４に記載の運転支援装置。
【請求項６】
前記同乗者側仮想平面設定手段は、前記同乗者側仮想平面を前記撮影手段の撮影面よりも前記車両から遠い位置に設定することを特徴とする請求項５に記載の運転支援装置。
【請求項７】
前記運転者側仮想平面設定手段は、前記運転者の頭部位置と前記フロントピラーとのそれぞれの路面上への投影位置とに基づいて該運転者の前記死角領域における路面上の運転者側基準位置を設定後、前記運転者側基準位置を通る位置に前記運転者側仮想平面を設定し、
前記撮影面設定手段は、前記撮影手段の光軸の方位と、前記運転者の頭部位置の路面上への投影位置及び前記運転者側基準位置を結ぶ直線の方位とに基づいて、前記撮影面が交差する前記運転者側仮想平面の端点を選択することを特徴とする請求項４乃至請求項６のいずれかに記載の運転支援装置。
【請求項８】
前記同乗者側仮想平面設定手段は、前記同乗者の頭部位置と前記フロントピラーとのそれぞれの路面上への投影位置とに基づいて該同乗者の前記死角領域における路面上の同乗者側基準位置を設定後、前記同乗者の頭部位置及び前記同乗者側基準位置を結ぶ直線に直交し、且つ、前記撮影面が該同乗者の前記死角領域と交差する両端点のうち前記車両から遠い位置の端点を通る位置に前記同乗者側仮想平面を設定することを特徴とする請求項７に記載の運転支援装置。
【請求項９】
前記画像データ記憶手段は、前記撮影面の画像データを順次記憶し、
前記抽出判定手段は、前記撮影面設定手段によって設定された前記撮影面の画像データから前記同乗者の死角領域によって区画される部分の撮影面の画像データを抽出できるか否かを判定し、
前記同乗者側抽出手段は、前記撮影面設定手段によって設定された前記撮影面の画像データから前記同乗者の死角領域によって区画される部分の撮影面の画像データを抽出できないと判定された場合には、自車位置から所定距離手前の位置で記憶した撮影面の画像データから前記同乗者の死角領域によって区画される部分の撮影面の画像データを抽出し、
前記同乗者側画像処理手段は、該同乗者側抽出手段によって抽出された画像データを前記同乗者側仮想平面に座標変換することを特徴とする請求項４乃至請求項８のいずれかに記載の運転支援装置。
【請求項１０】
車両外部を撮影する撮影手段から前記車両のフロントピラーによって生じる運転者の死角領域を含む画像データを取得する画像データ取得工程と、
前記画像データから前記運転者の死角領域によって区画される部分の画像データを抽出する運転者側抽出工程と、
前記画像データから同乗者の死角領域によって区画される部分の画像データを抽出する同乗者側抽出工程と、
前記フロントピラーの内側に設けられて少なくとも運転者と同乗者の各方向から見たときにそれぞれ個別の映像の表示が可能なマルチビュー表示手段に、前記運転者側抽出工程で抽出された画像データを前記運転者から見た方向の映像として表示すると共に、前記同乗者側抽出工程で抽出された画像データを前記同乗者から見た方向の映像として表示するように制御するマルチビュー表示制御工程と、
を備えたことを特徴とする運転支援方法。
【請求項１１】
コンピュータに、
車両外部を撮影する撮影手段から前記車両のフロントピラーによって生じる運転者
の死角領域を含む画像データを取得する画像データ取得工程と、
前記画像データから前記運転者の死角領域によって区画される部分の画像データを
抽出する運転者側抽出工程と、
前記画像データから同乗者の死角領域によって区画される部分の画像データを抽出
する同乗者側抽出工程と、
前記フロントピラーの内側に設けられて少なくとも運転者と同乗者の各方向から見
たときにそれぞれ個別の映像の表示が可能なマルチビュー表示手段に、前記運転者側抽出工程で抽出された画像データを前記運転者から見た方向の映像として表示すると共に、前記同乗者側抽出工程で抽出された画像データを前記同乗者から見た方向の映像として表示するように制御するマルチビュー表示制御工程と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両のフロントピラーによって遮られた死角を視認可能にする運転支援装置、運転支援方法及びプログラムに関するものである。
【背景技術】
【０００２】
従来より、車両のフロントピラーによって遮られた死角を視認可能にする運転支援装置が種々提案されている。
例えば、車両のフロントピラーによって生じる死角領域を車両外部を撮影する撮影装置で撮影し、この撮影画像をフロントピラーの内側に設けられた表示装置に表示する運転支援装置がある（例えば、特許文献１参照。）。
【特許文献１】特開２００５−２０４１３２号公報（段落（００１３）〜（００３２）、図１〜図１３）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、前記した特許文献１に記載された運転支援装置では、運転者の視点に合わせて運転者側フロントピラーによって生じる死角領域の画像データを表示装置に表示するものであるため、運転者以外の同乗者（例えば、助手席の乗員である。）にとっては風景が連続的に表示されないため、実際に見える風景と表示装置に表示されている風景とがずれて違和感を感じるという問題がある。
【０００４】
そこで、本発明は、上述した問題点を解決するためになされたものであり、運転者及び同乗者（例えば、助手席の乗員である。）が、共に違和感を感じない画像をフロントピラーに設けられた表示装置に表示することが可能となる運転支援装置、運転支援方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記目的を達成するため請求項１に係る運転支援装置は、車両外部を撮影する撮影手段（６）から前記車両のフロントピラー（Ｐ）によって生じる運転者の死角領域を含む画像データを取得する画像データ取得手段（２２）と、前記画像データから前記運転者の死角領域によって区画される部分の画像データを抽出する運転者側抽出手段（２０）と、前記画像データから同乗者の死角領域によって区画される部分の画像データを抽出する同乗者側抽出手段（２０）と、前記フロントピラーの内側に設けられて少なくとも運転者と同乗者の各方向から見たときにそれぞれ個別の映像の表示が可能なマルチビュー表示手段（４）に、前記運転者側抽出手段によって抽出された画像データを前記運転者から見た方向の映像として表示すると共に、前記同乗者側抽出手段によって抽出された画像データを前記同乗者から見た方向の映像として表示するように制御するマルチビュー表示制御手段（２０）と、を備えたことを特徴とする。
【０００６】
また、請求項２に係る運転支援装置は、請求項１に記載の運転支援装置（１）において、前記マルチビュー表示制御手段（２０）は、前記運転者の頭部位置が前記マルチビュー表示手段の前記同乗者の方向から見た映像が見える位置にあるか否かを判定する頭部位置判定手段（２０）を有し、該マルチビュー表示制御手段（２０）は、前記運転者の頭部位置が前記マルチビュー表示手段の前記同乗者の方向から見た映像が見える位置にあると判定した場合には、前記運転者側抽出手段（２０）によって抽出された画像データを前記運転者と同乗者とから見た各方向の映像として表示するように制御することを特徴とする。
【０００７】
また、請求項３に係る運転支援装置は、請求項１又は請求項２に記載の運転支援装置（１）において、前記画像データ取得手段（２２）によって取得された画像データを順次記憶する画像データ記憶手段（１１）と、前記画像データ取得手段（２２）によって取得された画像データから前記同乗者の死角領域によって区画される部分の画像データを抽出できるか否かを判定する抽出判定手段（２０）と、を備え、前記同乗者側抽出手段（２０）は、前記画像データ取得手段（２２）によって取得された画像データから前記同乗者の死角領域によって区画される部分の画像データを抽出できないと判定された場合には、自車位置から所定距離手前の位置で記憶した画像データから前記同乗者の死角領域によって区画される部分の画像データを抽出することを特徴とする。
【０００８】
また、請求項４に係る運転支援装置は、請求項１乃至請求項３のいずれかに記載の運転支援装置（１）において、前記画像データ取得手段（２２）によって取得された画像データのうちの前記運転者の死角領域の画像データを投影する運転者側仮想平面を設定する運転者側仮想平面設定手段（２０）と、前記撮影手段（６）の撮影面を、前記運転者の死角領域によって区画された前記運転者側仮想平面の端点を通る位置に設定する撮影面設定手段（２０）と、前記画像データ取得手段（２２）によって取得された画像データのうちの同乗者の死角領域の画像データを投影する同乗者側仮想平面を設定する同乗者側仮想平面設定手段（２０）と、前記撮影面設定手段によって設定された撮影面に前記撮影手段の焦点を合わせて前記画像データを取得するように制御する焦点制御手段（２０、２２）と、前記運転者側抽出手段によって抽出された画像データを前記運転者側仮想平面に座標変換する運転者側画像処理手段（２０）と、前記同乗者側抽出手段によって抽出された画像データを前記同乗者側仮想平面に座標変換する同乗者側画像処理手段（２０）と、を備え、前記マルチビュー表示制御手段（２０）は、前記運転者側画像処理手段によって前記運転者側仮想平面に座標変換された画像データを前記運転席から見た方向の映像として表示すると共に、前記同乗者側画像処理手段によって前記同乗者側仮想平面に座標変換された画像データを前記同乗者から見た方向の映像として表示することを特徴とする。
【０００９】
また、請求項５に係る運転支援装置は、請求項４に記載の運転支援装置（１）において、前記撮影面設定手段（２０）は、前記撮影手段の撮影面を前記運転者側仮想平面よりも前記車両に近い位置に設定することを特徴とする。
【００１０】
また、請求項６に係る運転支援装置は、請求項５に記載の運転支援装置（１）において、前記同乗者側仮想平面設定手段（２０）は、前記同乗者側仮想平面を前記撮影手段の撮影面よりも前記車両から遠い位置に設定することを特徴とする。
【００１１】
また、請求項７に係る運転支援装置は、請求項４乃至請求項６のいずれかに記載の運転支援装置（１）において、前記運転者側仮想平面設定手段（２０）は、前記運転者の頭部位置と前記フロントピラーとのそれぞれの路面上への投影位置とに基づいて該運転者の前記死角領域における路面上の運転者側基準位置を設定後、前記運転者側基準位置を通る位置に前記運転者側仮想平面を設定し、前記撮影面設定手段（２０）は、前記撮影手段の光軸の方位と、前記運転者の頭部位置の路面上への投影位置及び前記運転者側基準位置を結ぶ直線の方位とに基づいて、前記撮影面が交差する前記運転者側仮想平面の端点を選択することを特徴とする。
【００１２】
また、請求項８に係る運転支援装置は、請求項７に記載の運転支援装置（１）において、前記同乗者側仮想平面設定手段（２０）は、前記同乗者の頭部位置と前記フロントピラーとのそれぞれの路面上への投影位置とに基づいて該同乗者の前記死角領域における路面上の同乗者側基準位置を設定後、前記同乗者の頭部位置及び前記同乗者側基準位置を結ぶ直線に直交し、且つ、前記撮影面が該同乗者の前記死角領域と交差する両端点のうち前記車両から遠い位置の端点を通る位置に前記同乗者側仮想平面を設定することを特徴とする。
【００１３】
更に、請求項９に係る運転支援装置は、請求項４乃至請求項６のいずれかに記載の運転支援装置（１）において、前記画像データ記憶手段（１１）は、前記撮影面の画像データを順次記憶し、前記抽出判定手段（２０）は、前記撮影面設定手段によって設定された前記撮影面の画像データから前記同乗者の死角領域によって区画される部分の撮影面の画像データを抽出できるか否かを判定し、前記同乗者側抽出手段（２０）は、前記撮影面設定手段によって設定された前記撮影面の画像データから前記同乗者の死角領域によって区画される部分の撮影面の画像データを抽出できないと判定された場合には、自車位置から所定距離手前の位置で記憶した撮影面の画像データから前記同乗者の死角領域によって区画される部分の撮影面の画像データを抽出し、前記同乗者側画像処理手段（２０）は、該同乗者側抽出手段によって抽出された画像データを前記同乗者側仮想平面に座標変換することを特徴とする。
【００１４】
また、請求項１０に係る運転支援方法は、車両外部を撮影する撮影手段から前記車両のフロントピラーによって生じる運転者の死角領域を含む画像データを取得する画像データ取得工程（Ｓ１１〜Ｓ１７）と、前記画像データから前記運転者の死角領域によって区画される部分の画像データを抽出する運転者側抽出工程（Ｓ１８）と、前記画像データから同乗者の死角領域によって区画される部分の画像データを抽出する同乗者側抽出工程（Ｓ１９）と、前記フロントピラーの内側に設けられて少なくとも運転者と同乗者の各方向から見たときにそれぞれ個別の映像の表示が可能なマルチビュー表示手段に、前記運転者側抽出工程で抽出された画像データを前記運転者から見た方向の映像として表示すると共に、前記同乗者側抽出工程で抽出された画像データを前記同乗者から見た方向の映像として表示するように制御するマルチビュー表示制御工程（Ｓ２０〜Ｓ２３）と、を備えたことを特徴とする。
【００１５】
更に、請求項１１に係るプログラムは、コンピュータに、車両外部を撮影する撮影手段から前記車両のフロントピラーによって生じる運転者の死角領域を含む画像データを取得する画像データ取得工程（Ｓ１１〜Ｓ１７）と、前記画像データから前記運転者の死角領域によって区画される部分の画像データを抽出する運転者側抽出工程（Ｓ１８）と、前記画像データから同乗者の死角領域によって区画される部分の画像データを抽出する同乗者側抽出工程（Ｓ１９）と、前記フロントピラーの内側に設けられて少なくとも運転者と同乗者の各方向から見たときにそれぞれ個別の映像の表示が可能なマルチビュー表示手段に、前記運転者側抽出工程で抽出された画像データを前記運転者から見た方向の映像として表示すると共に、前記同乗者側抽出工程で抽出された画像データを前記同乗者から見た方向の映像として表示するように制御するマルチビュー表示制御工程（Ｓ２０〜Ｓ２３）と、を実行させるためのプログラムである。
【発明の効果】
【００１６】
前記構成を有する請求項１に係る運転支援装置では、運転者及び同乗者の各死角領域の画像をフロントピラーの内側に設けられたマルチビュー表示手段に、それぞれの方向から見た映像として表示することが可能となる。このため、運転者及び同乗者が、共に違和感を感じない死角領域の画像をフロントピラーに設けられたマルチビュー表示手段に表示することが可能となる。
【００１７】
また、請求項２に係る運転支援装置では、運転者の頭部位置がマルチビュー表示手段の同乗者の方向から見た映像が見える位置にある場合には、運転者の死角領域によって区画される部分の画像データをマルチビュー表示手段の運転者と同乗者とから見た各方向の映像として表示する。このため、運転者の頭部位置がマルチビュー表示手段の同乗者の方向から見た映像が見える位置にある場合でも、運転者及び同乗者が、共に違和感を感じない死角領域の画像をフロントピラーに設けられたマルチビュー表示手段に表示することが可能となる。
【００１８】
また、請求項３に係る運転支援装置では、画像データ取得手段によって取得された画像データから同乗者の死角領域によって区画される部分の画像データを抽出できない場合には、自車位置から所定距離手前の位置で記憶した画像データから同乗者の死角領域によって区画される部分の画像データが抽出される。このため、撮影手段の画角が小さい場合にも、同乗者の死角領域によって区画される部分の画像データを抽出して、マルチビュー表示手段の同乗者から見た方向の映像として表示することが可能となる。従って、撮影手段の画角が小さい場合にも、運転者及び同乗者が、共に違和感を感じない画像をフロントピラーに設けられたマルチビュー表示手段に表示することが可能となる。
【００１９】
また、請求項４に係る運転支援装置では、撮影手段の撮影面を、運転者の死角領域によって区画された運転者側仮想平面の端点を通る位置に設定するため、マルチビュー表示手段の運転者から見た方向の映像は、連続性が高く、明瞭で自然な画像を表示することが可能となる。また、この撮影面の画像データから同乗者の死角領域によって区画される部分の撮影面の画像データを抽出して、マルチビュー表示手段の同乗者から見た方向の映像として表示するため、当該マルチビュー表示手段の同乗者から見た方向の映像も、連続性が高く、明瞭で自然な画像を表示することが可能となる。従って、運転者及び同乗者が、共に違和感を感じない画像をフロントピラーに設けられたマルチビュー表示手段に表示することが可能となる。
【００２０】
また、請求項５に係る運転支援装置では、撮影装置の撮影面を運転者側仮想平面よりも車両に近い位置に設定するため、撮影手段によって撮影された撮影面上の画像の余剰領域にピントが合わず、マルチビュー表示手段の運転者から見た方向の映像は、更に連続性が高く、明瞭で自然な画像を表示することが可能となる。
【００２１】
また、請求項６に係る運転支援装置では、同乗者側仮想平面を撮影装置の撮影面よりも車両から遠い位置に設定するため、撮影手段によって撮影された撮影面上の画像の余剰領域にピントが合わず、マルチビュー表示手段の同乗者から見た方向の映像は、更に連続性が高く、明瞭で自然な画像を表示することが可能となる。
【００２２】
また、請求項７に係る運転支援装置では、撮影手段の光軸の方位と、運転者の頭部位置の路面上への投影位置及び運転者側基準位置を結ぶ直線の方位とに応じて、撮影面の通る端点が変更される。このため、撮影面を運転者側仮想平面の手前に常に設定することが可能となる。
【００２３】
また、請求項８に係る運転支援装置では、同乗者の頭部位置及び同乗者側基準位置を結ぶ直線に直交し、且つ、撮影面が該同乗者の死角領域と交差する両端点のうち車両から遠い位置の端点を通る位置に同乗者側仮想平面が設定される。このため、撮影面を同乗者側仮想平面の手前に常に設定することが可能となる。
【００２４】
更に、請求項９に係る運転支援装置では、撮影面の画像データから同乗者の死角領域によって区画される部分の撮影面の画像データを抽出できない場合には、自車位置から所定距離手前の位置で記憶した撮影面の画像データから同乗者の死角領域によって区画される部分の撮影面の画像データが抽出される。このため、撮影手段の画角が小さい場合にも、同乗者の死角領域によって区画される部分の撮影面の画像データを抽出して、マルチビュー表示手段の同乗者から見た方向の映像として表示することが可能となり、当該マルチビュー表示手段の同乗者から見た方向の映像も、連続性が高く、明瞭で自然な画像を表示することが可能となる。従って、撮影手段の画角が小さい場合にも、運転者及び同乗者が、共に違和感を感じない画像をフロントピラーに設けられたマルチビュー表示手段に表示することが可能となる。
【００２５】
また、請求項１０に係る運転支援方法では、運転者及び同乗者の各死角領域の画像をフロントピラーの内側に設けられたマルチビュー表示手段に、それぞれの方向から見た映像として表示することが可能となる。このため、運転者及び同乗者が、共に違和感を感じない死角領域の画像をフロントピラーに設けられたマルチビュー表示手段に表示することが可能となる。
【００２６】
更に、請求項１１に係るプログラムでは、コンピュータは当該プログラムを読み込むことによって、該コンピュータは、運転者及び同乗者の各死角領域の画像をフロントピラーの内側に設けられたマルチビュー表示手段に、それぞれの方向から見た映像として表示することが可能となる。このため、運転者及び同乗者が、共に違和感を感じない死角領域の画像をフロントピラーに設けられたマルチビュー表示手段に表示することが可能となる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明に係る運転支援装置、運転支援方法及びプログラムを運転支援システムについて具体化した実施例１及び実施例２に基づき図面を参照しつつ詳細に説明する。
【実施例１】
【００２８】
先ず、実施例１に係る運転支援システムの概略構成について図１乃至図４に基づいて説明する。
図１は実施例１に係る運転支援システム１の構成を説明するブロック図である。図２は運転者の頭部と助手席の乗員の頭部を検出する位置検出センサの説明図である。図３はカメラの取付位置の説明図である。図４はカメラ及びマルチビューディスプレイの取付位置の説明図である。
【００２９】
運転支援システム１は車両Ｃ（図３参照）に搭載され、図１に示すように、運転支援装置としての運転支援ユニット２、ディスプレイ３、マルチビューディスプレイ４、スピーカ５、撮像装置としてのカメラ６、２組の第１〜第３位置検出センサ８Ａ〜８Ｃ（図２参照）を備えている。
【００３０】
この運転支援ユニット２は、制御部１０、不揮発性のメインメモリ１１、ＲＯＭ１２、ＧＰＳ受信部１３を備えている。制御部１０は、ＣＰＵ、ＭＰＵ又はＡＳＩＣ等であって、ＲＯＭ１２に格納された運転支援プログラムに従って、各処理の主制御を行う。また、メインメモリ１１は、制御部１０の演算結果を一時記憶する。
【００３１】
また、制御部１０は、ＧＰＳ衛星からＧＰＳ受信部１３が受信した、衛星軌道情報及び時刻情報を取得して、電波航法により自車両の絶対位置を算出する。また、制御部１０は、運転支援ユニット２の車両側Ｉ／Ｆ部１４を介して、車両Ｃに設けられた車速センサ３０及びジャイロ３１から車速パルス、角速度がそれぞれ入力される。そして、制御部１０は、車速パルス及び角速度を用いる自律航法により、基準位置からの相対位置を算出し、電波航法で算出した絶対位置と組み合わせて自車位置を特定する。
【００３２】
また、運転支援ユニット２は、地理データ記憶部１５を備えている。地理データ記憶部１５は、内蔵ハードディスク、又は光ディスク等の外部記憶媒体である。この地理データ記憶部１５には、目的地までの経路を探索するための地図データとしての各経路ネットワークデータ（以下、経路データ１６という）と、ディスプレイ３に地図画面３Ａを出力するための地図データとしての各地図描画データ１７とが記憶されている。
【００３３】
経路データ１６は、全国を区画したメッシュ内の道路に関するデータである。経路データ１６は、各メッシュの識別子、交差点及び道路の端点を示すノードに関するノードデータ、各ノードを接続する各リンクの識別子、リンクコスト等のデータを有している。制御部１０は、この経路データ１６を用いて、目的地までの推奨経路を探索したり、車両Ｃが交差点等の案内地点に接近しているか否かを判断する。
【００３４】
また、地図描画データ１７は、道路形状、背景等を描画するためのデータであって、全国の地図を分割したメッシュ毎に格納されている。この地図描画データ１７には、中央線、路側帯を区画する白線、ゼブラゾーン、横断歩道等の道路標示と、信号機等の路面設置物とに関するデータが格納されている。具体的には道路標示の種類、道路標示の位置座標、路面設置物の種類、路面設置物の位置座標等が、各地点の交差点やカーブと関連付けられて記憶されている。
【００３５】
図１に示すように、運転支援ユニット２は、地図描画プロセッサ１８を備えている。地図描画プロセッサ１８は、自車位置周辺の地図を描画するための地図描画データ１７を地理データ記憶部１５から読出して、地図出力用のデータを生成し、地図出力用データに基づく地図画面３Ａをディスプレイ３に表示する。また、地図描画プロセッサ１８は、この地図画面３Ａに、自車位置を示す車両位置マーク３Ｂを重畳する。
【００３６】
また、運転支援ユニット２は、音声プロセッサ２４を備えている。音声プロセッサ２４は、図示しない音声ファイルを有し、例えば目的地までの経路を案内する音声をスピーカ５から出力する。さらに、運転支援ユニット２は、外部入力Ｉ／Ｆ部２５を備えている。外部入力Ｉ／Ｆ部２５は、ディスプレイ３に隣接された操作スイッチ２６、タッチパネル式のディスプレイ３から、ユーザの入力操作に基づいた入力信号が入力され、制御部１０に出力する。
【００３７】
また、運転支援ユニット２は、検出手段を構成するセンサＩ／Ｆ部２３を備えている。センサＩ／Ｆ部２３は、２組の各第１〜第３位置検出センサ８Ａ〜８Ｃ（図２参照）から、検出信号が入力される。２組の第１〜第３位置検出センサ８Ａ〜８Ｃは、超音波センサから構成され、図２に示すように、車室内であって、運転席Ｆに着座した運転者５１の周囲と、助手席Ｇに着座した乗員５２（同乗者）の周囲とに取り付けられている。
【００３８】
また、運転席Ｆの周囲に取り付けられた各第１〜第３位置検出センサ８Ａ〜８Ｃは、運転者５１の頭部位置５１Ｄを検出するために運転席Ｆの前側左右のルーフＲ（図３参照）の内側の天井部と運転席Ｆの左上側のルーフＲの内側の天井部に配置されている。また、助手席Ｇの周囲に取り付けられた各第１〜第３位置検出センサ８Ａ〜８Ｃは、助手席Ｇの乗員５２の頭部位置５２Ｄを検出するために助手席Ｇの前側左右のルーフＲの内側の天井部と助手席Ｇの左上側のルーフＲの内側の天井部に配置されている。
【００３９】
そして、運転者５１の周囲に配置された各位置検出センサ８Ａ〜８Ｃの図示しないセンサヘッドから発信された超音波は、運転者５１の頭部５１Ｄで反射する。また、助手席Ｇの乗員５２の周囲に配置された各位置検出センサ８Ａ〜８Ｃの図示しないセンサヘッドから発信された超音波は、乗員５２の頭部５２Ｄで反射する。そして、各位置検出センサ８Ａ〜８Ｃは、超音波を発信してから反射波を受信するまでの時間を計測し、その計測時間に基づいて、各頭部５１Ｄ、５２Ｄまでの各相対距離をそれぞれ算出する。そして、この算出された各相対距離は、センサＩ／Ｆ部２３を介して制御部１０に出力される。
尚、各位置検出センサ８Ａ〜８Ｃからの信号に基づいて、センサＩ／Ｆ部２３が各頭部５１Ｄ、５２Ｄまでの各相対距離を算出するようにしてもよい。
【００４０】
また、制御部１０は、運転席Ｆに着座した状態で、標準的な体型の運転者５１の頭部５１Ｄが移動し得る頭部移動範囲と、運転者５１の周囲に配置された各第１〜第３位置検出センサ８Ａ〜８Ｃが検出した各相対距離とに基づき、頭部位置としての頭部中心位置５１ＤＣを三角測量等を用いて、公知の方法で取得する。また、制御部１０は、助手席Ｇに着座した状態で、標準的な体型の乗員５２（同乗者）の頭部５２Ｄが移動し得る頭部移動範囲と、助手席Ｇの乗員５２の周囲に配置された各位置検出センサ８Ａ〜８Ｃが検出した各相対距離とに基づき、頭部位置としての頭部中心位置５２ＤＣを三角測量等を用いて、公知の方法で取得する。
【００４１】
また、図１に示すように、運転支援ユニット２は、映像データ入力部２２と、画像プロセッサ２０とを備えている。映像データ入力部２２は、制御部１０の制御に基づいて、車両Ｃに設けられたカメラ６を駆動して、カメラ６によって撮影された画像データＩＭを取り込み、画像プロセッサ２０に出力する。
【００４２】
このカメラ６は、カラー画像を撮像するカメラであって、レンズ、ミラー等から構成される光学機構と、ＣＣＤ撮像素子（いずれも図示せず）、自動焦点機構等を備えている。図３及び図４に示すように、このカメラ６は、実施例１では、車両右側に配置された運転席Ｆに合わせ、車両ＣのフロントウィンドウＷ１の車室内から見て右上隅部に、光軸を車両Ｃの前方に向けて取り付けられている。また、このカメラ６は、車両Ｃの前方右側と、車両Ｃの右側の一部を含む撮影領域Ｚ１の背景を撮像する。
【００４３】
また、運転支援ユニット２の画像プロセッサ２０は、映像データ入力部２２を介して、カメラ６から画像データＩＭを取得する。また、画像プロセッサ２０は、取得した画像データＩＭのうち、ピラーＰによって遮られた領域をトリミングするとともに、画像の歪みを解消するための画像処理を行う。また、画像プロセッサ２０は、後述のように運転者５１と助手席Ｇの乗員５２との各死角領域の映像をマルチビューディスプレイ４に表示する（図５参照）。
【００４４】
このマルチビューディスプレイ４は、図４に示すように、フロントピラーＰ（以下、単に「ピラーＰ」という。）の内側面ＰＡに取り付けられ、異なった方向から見たときにそれぞれ個別の映像を表示することができる公知の表示装置である（例えば、特開２００７−８２３５号公報参照。）。従って、図２に示すように、マルチビューディスプレイ４の中心を原点とした座標系において、運転席Ｆ側（第１領域）用の映像と助手席Ｇ側（第２領域）用の映像とをそれぞれ個別に表示できるものである。
【００４５】
これにより、後述のように、運転者５１のピラーＰによって死角領域になる部分の映像がマルチビューディスプレイ４の運転席Ｆ側用の映像として表示され、運転者５１は、フロントウィンドウＷ１とドアウィンドウＷ２とが連続する映像を見ることが可能となる。また、助手席Ｇの乗員５２のピラーＰによって死角領域になる部分の映像がマルチディスプレイ４の助手席Ｇ側用の映像として表示され、乗員５２はフロントウィンドウＷ１とドアウィンドウＷ２とが連続する映像を見ることが可能となる。
【００４６】
次に、上記のように構成された運転支援ユニット２によってマルチビューディスプレイ４に運転者５１及び助手席Ｇの乗員５２のピラーＰによる各死角領域の映像を表示する表示処理について図５乃至図１０に基づいて説明する。
【００４７】
図５は運転支援ユニット２によってマルチビューディスプレイ４に運転者５１及び助手席Ｇの乗員５２のピラーＰによる各死角領域の映像を表示する表示処理を示すフローチャートである。図６は運転者側基準点ＰＣと助手席の同乗者側基準点ＰＳとの説明図である。図７は運転席Ｆ側の運転者側仮想平面と撮影面との説明図である。図８は助手席Ｇ側の同乗者側仮想平面と撮影面との説明図である。図９は運転席Ｆ側の運転者側仮想平面と撮影面との説明図である。図１０は助手席Ｇ側の同乗者側仮想平面と撮影面との説明図である。
【００４８】
図５に示すように、先ず、ステップ（以下、Ｓと略記する）１１において、制御部１０は、映像データ入力部２２を介してカメラ６による撮影を開始する。これにより、カメラ６によって撮影された画像データＩＭが画像プロセッサ２０に順次出力される。
そして、Ｓ１２において、制御部１０は、運転者５１の周囲に配置された各位置検出センサ８Ａ〜８Ｃから入力された運転者５１の頭部５１Ｄまでの各相対距離から運転者５１の頭部中心位置５１ＤＣを算出してメインメモリ１１に記憶する。
【００４９】
続いて、Ｓ１３において、画像プロセッサ２０は、メインメモリ１１から運転者５１の頭部中心位置５１ＤＣを読み出す。そして、画像プロセッサ２０は、図６に示すように、運転者５１の頭部中心位置５１ＤＣの路面Ｊ上への投影位置６１と、ピラーＰの下端部の路面Ｊ上への投影の中心位置６２とを結ぶ直線上で、該投影位置６１からピラーＰ側方向へ所定距離（実施例１では、約４ｍである。）の位置座標を地図描画データ１７に基づいて取得し、運転者側基準位置ＰＣとしてメインメモリ１１に記憶する。
【００５０】
そして、画像プロセッサ２０は、運転者側基準点ＰＣの座標と、運転者５１の頭部中心位置５１ＤＣとに基づいて、運転者側仮想平面ＶＰの位置を決定する。運転者側仮想平面ＶＰは、カメラ６によって撮影された画像を投影する平面である。また、この運転者側仮想平面ＶＰ上にある物体は、カメラ６によって撮影された画像データＩＭを運転者側仮想平面ＶＰ上に座標変換した際に、ずれたり傾いたりすることなく表示される性質がある。
【００５１】
そして、図７に示すように、画像プロセッサ２０は、この運転者側仮想平面ＶＰを、運転者側基準点ＰＣを含み、投影位置６１と運転者側基準点ＰＣとを結んだ中心線ＬＡに対して垂直になる位置に設定する。また、画像プロセッサ２０は、運転者側仮想平面ＶＰを、運転者５１の頭部中心位置５１ＤＣとピラーＰの各端点Ｐ１、Ｐ２を通る各接線Ｌ１、Ｌ２で区画された運転者５１の死角領域Ａ１の内側に設定する。
【００５２】
続いて、Ｓ１４において、画像プロセッサ２０は、運転者側仮想平面ＶＰの位置に応じて撮影面ＣＰを決定する。撮影面ＣＰは、カメラ６の焦点位置を示し、カメラ６の光軸ＡＸに対して垂直な平面で表される。図７に示すように、画像プロセッサ２０は、この撮影面ＣＰを、運転者側仮想平面ＶＰよりも、車両Ｃに近い位置であって、且つ、運転者５１の死角領域Ａ１によって区画された運転者側仮想平面ＶＰの左端点ＶＰ１又は右端点ＶＰ２において交差する位置（所定位置）に設定する。ここでは、運転者５１の頭部中心位置５１ＤＣを基準とし、撮影面ＣＰを頭部中心位置５１ＤＣに近い位置に設定する。尚、各端点ＶＰｌ、ＶＰ２は、頭部中心位置５１ＤＣとピラーＰの端点Ｐ１、Ｐ２とをそれぞれ結ぶ各接線Ｌ１、Ｌ２と、運転者側仮想平面ＶＰとの交点である。
【００５３】
撮影面ＣＰの設定方法について詳述すると、まず、画像プロセッサ２０は、カメラ６の光軸ＡＸの方位と、運転者５１の頭部中心位置５１ＤＣと運転者側基準点ＰＣとを結んだ中心線ＬＡの方位とを比較する。即ち、光軸ＡＸと水平方向（Ｙ矢印方向）とがなす角度θ１と、中心線ＬＡと水平方向（Ｙ矢印方向）とがなす角度θ２とを算出する。そして、光軸ＡＸの角度θ１の大きさと中心線ＬＡの角度θ２の大きさとを比較する。尚、Ｘ矢印方向は、車両Ｃの長手方向と平行な方向、Ｙ矢印方向は、Ｘ矢印方向に対して直交する方向であって、車幅方向である。
【００５４】
そして、図７に示すように、光軸ＡＸの角度θ１が、中心線ＬＡの角度θ２よりも小さい場合（θ１＜θ２）、画像プロセッサ２０は、撮影面ＣＰを、運転者側仮想平面ＶＰの左端点ＶＰ１を通る位置に設定する。
【００５５】
また、図９に示すように、運転者５１の頭部中心位置５１ＤＣが第２領域（図２参照）に位置する場合、即ち、運転者５１がマルチビューディスプレイ４の助手席Ｇ側から見える映像を見る場合には、光軸ＡＸの角度θ１が、中心線ＬＡの角度θ２よりも大きくなる。この場合（θ１＞θ２）には、撮影面ＣＰは右端点ＶＰ２を通る位置に設定しなければならない。即ち、左端点ＶＰ１を通る位置に撮影面ＣＰを設定すると、運転者側仮想平面ＶＰよりも、車両Ｃから遠い位置に該撮影面ＣＰが設定されてしまう。このため、画像プロセッサ２０は、撮影面ＣＰを、運転者側仮想平面ＶＰの右端点ＶＰ２を通る位置に設定する。
【００５６】
このとき、図９に示すように、左端点ＶＰ１と撮影面ＣＰとが離間していることにより、ピラーＰによって遮られている死角額域Ａ１においてマルチビューディスプレイ４に映像を表示することができない非表示領域Ｂ１が生じる。この非表示領域Ｂ１は、実際には僅かな領域であるが、マルチビューディスプレイ４に映像を表示した際に、マルチビューディスプレイ４に表示された映像と、各ウィンドウＷ１、Ｗ２を介して見える実際の背景との連続性が若干損なわれる。一方、右端点ＶＰ２は、撮影面ＣＰと接しているので、非表示領域Ｂ１が生じず、両端に非表示領域Ｂ１が存在する場合に比べ、マルチビューディスプレイ４に表示される映像の連続性が良好となる。
【００５７】
また、カメラ６の光軸ＡＸの角度θ１と中心線ＬＡの角度θ２とが等しい場合、即ち光軸ＡＸと中心線ＬＡとが重なる場合には、撮影面ＣＰと運転者側仮想平面ＶＰとを重ねることができるので、撮影面ＣＰは運転者側仮想平面ＶＰの位置に設定する。
【００５８】
続いて、Ｓ１５において、制御部１０は、助手席Ｇの乗員５２の周囲に配置された各位置検出センサ８Ａ〜８Ｃから入力された助手席Ｇの乗員５２の頭部５２Ｄまでの各相対距離から助手席Ｇの乗員５２の頭部中心位置５２ＤＣを算出してメインメモリ１１に記憶する。
【００５９】
そして、Ｓ１６において、画像プロセッサ２０は、メインメモリ１１から助手席Ｇの乗員５２（同乗者）の頭部中心位置５２ＤＣを読み出す。そして、画像プロセッサ２０は、図６に示すように、助手席Ｇの乗員５２（同乗者）の頭部中心位置５２ＤＣの路面Ｊ上への投影位置６４と、ピラーＰの下端部の路面Ｊ上への投影の中心位置６２とを結ぶ直線上で、該投影位置６４からピラーＰ側方向へ所定距離（実施例１では、約８ｍである。）の位置座標を地図描画データ１７に基づいて取得し、同乗者側基準位置ＱＣとしてメインメモリ１１に記憶する。
【００６０】
そして、画像プロセッサ２０は、同乗者側基準点ＱＣの座標と、助手席Ｇの乗員５２の頭部中心位置５２ＤＣとに基づいて、同乗者側仮想平面ＷＰの位置を決定する。この同乗者側仮想平面ＷＰは、カメラ６によって撮影された画像を投影する平面である。また、この同乗者側仮想平面ＷＰ上にある物体は、カメラ６によって撮影された画像データＩＭを同乗者側仮想平面ＷＰ上に座標変換した際に、ずれたり傾いたりすることなく表示される性質がある。
【００６１】
そして、図８に示すように、画像プロセッサ２０は、この同乗者側仮想平面ＷＰを、頭部中心位置５２ＤＣの投影位置６４と同乗者側基準位置ＱＣとを結ぶ中心線ＬＢに直交し、且つ、上記Ｓ１４で設定された撮影面ＣＰが、助手席Ｇの乗員５２（同乗者）の頭部中心位置５２ＤＣとピラーＰの各端点Ｐ１、Ｐ２を通る各接線Ｌ１１、Ｌ１２で区画された助手席Ｇの乗員５２の死角領域Ａ２と交差する左端点ＮＰ１と右端点ＮＰ２のうちの車両Ｃから遠い位置の右端点ＮＰ２を通る位置に設定する。これにより、画像プロセッサ２０は、同乗者側仮想平面ＷＰを撮影面ＣＰよりも車両Ｃから遠い位置に設定する。また、同乗者側仮想平面ＷＰの右端点ＷＰ２は、撮影面ＣＰの接線Ｌ１２と交差する右端点ＮＰ２と一致する。また、同乗者側仮想平面ＷＰの左端点ＷＰ１は、この同乗者側仮想平面ＷＰと接線Ｌ１１との交差する点となる。
【００６２】
続いて、Ｓ１７において、画像プロセッサ２０は、映像データ入力部２２を介して、撮影面ＣＰ上にカメラ６の焦点を合わせて撮影し、画像データＩＭを取得する。
【００６３】
そして、Ｓ１８において、画像プロセッサ２０は、図７及び図９に示すように、この取得した画像データＩＭのうち、運転者側仮想平面ＶＰに投影する投影部分ＣＰ１をトリミングして、ピラー死角データＢＤ１を生成する。即ち、図７及び図９に示すように、画像プロセッサ２０は、画像データＩＭのうち、カメラ位置６Ａと各端点ＶＰ１、ＶＰ２とを結んだ各直線Ｌ３、Ｌ４の間の投影部分ＣＰ１をトリミングする。投影部分ＣＰ１をトリミングしたデータは、ピラー死角データＢＤ１となる。
【００６４】
ピラー死角データＢＤ１を取得すると、画像プロセッサ２０は、ピラー死角データＢＤ１を、運転者側仮想平面ＶＰに投影変換する。この投影変換は、運転者５１の頭部中心位置５１ＤＣを中心として投射することにより、投影部分ＣＰ１の各画素を、運転者側仮想平面ＶＰ上の各画素に座標変換する処理であり、この座標変換により運転者５１の視点から見た画像である運転者側画像データＰＤ１を生成する。
【００６５】
続いて、Ｓ１９において、画像プロセッサ２０は、図８及び図１０に示すように、この取得した画像データＩＭのうち、同乗者側仮想平面ＷＰに投影する投影部分ＣＰ２をトリミングして、ピラー死角データＢＤ２を生成する。即ち、図８及び図１０に示すように、画像プロセッサ２０は、画像データＩＭのうち、カメラ位置６Ａと各端点ＷＰ１、ＷＰ２とを結んだ各直線Ｌ１３、Ｌ１４の間の投影部分ＣＰ２をトリミングする。投影部分ＣＰ２をトリミングしたデータは、ピラー死角データＢＤ２となる。
【００６６】
ピラー死角データＢＤ２を取得すると、画像プロセッサ２０は、ピラー死角データＢＤ２を、同乗者側仮想平面ＷＰに投影変換する。この投影変換は、助手席Ｇの乗員５２の頭部中心位置５２ＤＣを中心として投射することにより、投影部分ＣＰ２の各画素を、同乗者側仮想平面ＷＰ上の各画素に座標変換する処理であり、この座標変換により助手席Ｇの乗員５２の視点から見た画像である同乗者側画像データＰＤ２を生成する。
【００６７】
そして、Ｓ２０において、画像プロセッサ２０は、運転者側画像データＰＤ１を、マルチビューディスプレイ４の画面上に投影変換する。この投影変換は、運転者５１の頭部中心位置５１ＤＣを中心として投射することにより、運転者側画像データＰＤ１の各画素をマルチビューディスプレイ４の画素に座標変換して、マルチビューディスプレイ４の運転席Ｆ側用の映像となる運転者側表示用データＯＤ１を生成する処理を行う。これは、中心線ＬＡ、即ち、運転者５１の視線方向に対して垂直である運転者側画像データＰＤ１を、運転者５１の視線方向に対して垂直に設置されていないマルチビューディスプレイ４にそのまま表示すると、運転者５１の視点からは画像が歪んで見えてしまうため、これを防止するための処理である。
【００６８】
また、同様に、画像プロセッサ２０は、同乗者側画像データＰＤ２を、マルチビューディスプレイ４の画面上に投影変換する。この投影変換は、助手席Ｇの乗員５２の頭部中心位置５２ＤＣを中心として投射することにより、同乗者側画像データＰＤ２の各画素をマルチビューディスプレイ４の画素に座標変換して、マルチビューディスプレイ４の助手席Ｇ側用の映像となる同乗者側表示用データＯＤ２を生成する処理を行う。
【００６９】
続いて、Ｓ２１において、画像プロセッサ２０は、メインメモリ１１から運転者５１の頭部中心位置５１ＤＣを読み出す。そして、画像プロセッサ２０は、図２に示すように、マルチビューディスプレイ４の中心を原点とした座標系において、この運転者５１の頭部中心位置５１ＤＣが、運転席Ｆ側の第１領域に位置しているか否か、即ち、運転者５１の姿勢が、マルチビューディスプレイ４の運転席Ｆ側用の映像を見る姿勢か否かを判定する判定処理を実行する。
【００７０】
そして、運転者５１の頭部中心位置５１ＤＣが、運転席Ｆ側の第１領域に位置している場合、即ち、運転者５１の姿勢が、マルチビューディスプレイ４の運転席Ｆ側用の映像を見る姿勢の場合には（Ｓ２１：ＹＥＳ）、画像プロセッサ２０は、Ｓ２２の処理に移行する。Ｓ２２において、画像プロセッサ２０は、上記Ｓ２０で生成した運転者側表示用データＯＤ１を運転席Ｆ側用の映像データとしてマルチビューディスプレイ４に出力すると共に、上記Ｓ２０で生成した同乗者側表示用データＯＤ２を助手席Ｇ側用の映像データとしてマルチビューディスプレイ４に出力して、当該処理を終了する。これにより、運転者５１と助手席Ｇの乗員５２は、それぞれの方向から見たときのピラーＰによって遮られる死角領域の異なった映像を見ることができる。
【００７１】
一方、運転者５１の頭部中心位置５１ＤＣが、助手席Ｇ側の第２領域に位置している場合、即ち、運転者５１の姿勢が、前のめりになって、マルチビューディスプレイ４の助手席Ｇ側用の映像を見る姿勢の場合には（Ｓ２１：ＮＯ）、画像プロセッサ２０は、Ｓ２３の処理に移行する。Ｓ２３において、画像プロセッサ２０は、上記Ｓ２０で生成した運転者側表示用データＯＤ１を運転席Ｆ側用の映像データ及び助手席Ｇ側用の映像データとしてマルチビューディスプレイ４に出力して、当該処理を終了する。これにより、運転者５１と助手席Ｇの乗員５２は、運転者５１の方向から見たときのピラーＰによって遮られる死角領域の同じ映像を見ることができる。
【００７２】
以上詳細に説明した通り、実施例１に係る運転支援システム１では、運転者５１の頭部位置５１Ｄが、図２に示す第１領域にある場合には（Ｓ２１：ＹＥＳ）、運転者５１及び助手席Ｇの乗員５２（同乗者）のピラーＰによって生じる各死角領域Ａ１、Ａ２の画像をピラーＰの内側に取り付けられたマルチビューディスプレイ４に、それぞれの方向から見た映像として表示することが可能となる。このため、運転者５１及び助手席Ｇの乗員５２が、共に違和感を感じない各死角領域Ａ１、Ａ２の画像をピラーＰに取り付けられたマルチビューディスプレイ４に表示することが可能となる。
【００７３】
また、運転者５１の頭部位置５１Ｄが、マルチビューディスプレイ４の助手席Ｇの乗員５２の方向から見た映像が見える位置にある場合、即ち、図２に示す第２領域にある場合には（Ｓ２１：ＮＯ）、運転者５１のピラーＰによって生じる死角領域Ａ１によって区画される投影部分ＣＰ１の画像データをマルチビューディスプレイ４の運転席Ｆ側用の映像データ及び助手席Ｇ側用の映像データとして表示する。このため、運転者５１及び助手席Ｇの乗員５２が、共に違和感を感じない死角領域Ａ１の画像をピラーＰに取り付けられたマルチビューディスプレイ４に表示することが可能となる。
【００７４】
また、カメラ６の撮影面ＣＰを、運転者５１の死角領域Ａ１によって区画された運転者側仮想平面ＶＰの左端点ＶＰ１又は右端点ＶＰ２を通る位置に設定するため、マルチビューディスプレイ４の運転者５１から見た方向の映像は、連続性が高く、明瞭で自然な画像を表示することが可能となる。また、この撮影面ＣＰの画像データから助手席Ｇの乗員５２（同乗者）の死角領域Ａ２によって区画される部分の撮影面ＣＰの画像データを抽出して、マルチビューディスプレイ４の助手席Ｇの乗員５２から見た方向の映像として表示するため、当該マルチビューディスプレイ４の助手席Ｇの乗員５２から見た方向の映像も、連続性が高く、明瞭で自然な画像を表示することが可能となる。従って、運転者５１及び助手席Ｇの乗員５２が、共に違和感を感じない画像をピラーＰに取り付けられたマルチビューディスプレイ４に表示することが可能となる。
【００７５】
また、カメラ６の撮影面ＣＰを運転者側仮想平面ＶＰよりも車両Ｃに近い位置に設定するため、カメラ６によって撮影された撮影面ＣＰ上の画像の余剰領域にピントが合わず、マルチビューディスプレイ４の運転者から見た方向の映像は、更に連続性が高く、明瞭で自然な画像を表示することが可能となる。
また、同乗者側仮想平面ＷＰをカメラ６の撮影面ＣＰよりも車両Ｃから遠い位置に設定するため、カメラ６によって撮影された撮影面ＣＰ上の画像の余剰領域にピントが合わず、マルチビューディスプレイ４の助手席Ｇの乗員５２から見た方向の映像は、更に連続性が高く、明瞭で自然な画像を表示することが可能となる。
【００７６】
また、カメラ６の光軸ＡＸの方位と、運転者５１の頭部位置５１Ｄの路面Ｊ上への投影位置６１及び運転者側基準位置ＰＣを結ぶ中心線ＬＡの方位とに応じて、撮影面ＣＰの通る各端点ＶＰ１、ＶＰ２が変更される。このため、撮影面ＣＰを運転者側仮想平面ＶＰの手前に常に設定することが可能となる。
更に、助手席Ｇの乗員５２の頭部位置５２Ｄ及び同乗者側基準位置ＱＣを結ぶ中心線ＬＢに直交し、且つ、撮影面ＣＰが該助手席Ｇの乗員５２の死角領域Ａ２と交差する両端ＷＰ１、ＷＰ２のうち車両Ｃから遠い位置の右端点ＷＰ２を通る位置に同乗者側仮想平面ＷＰが設定される。このため、撮影面ＣＰを同乗者側仮想平面ＷＰの手前に常に設定することが可能となる。
【実施例２】
【００７７】
次に、実施例２に係る運転支援システム１１１について図１１乃至図１３に基づいて説明する。
尚、以下の説明において上記図１乃至図１０の実施例１に係る運転支援システム１の構成等と同一符号は、該実施例１に運転支援システム１の構成等と同一あるいは相当部分を示すものである。
【００７８】
この実施例２に係る運転支援システム１１１の概略構成及び制御構成は、実施例１に係る運転支援システム１とほぼ同じ構成である。
但し、図１１に示すように、運転支援ユニット２は、上記Ｓ１１の処理に替えて、Ｓ１１１の処理を実行し、また、運転支援ユニット２は、上記Ｓ１９の処理に続いて、Ｓ１２０乃至Ｓ１２２の処理を実行する点で、実施例１に係る運転支援システム１と異なっている。
【００７９】
以下、実施例２に係る運転支援システム１１１の運転支援ユニット２によってマルチビューディスプレイ４に運転者５１及び助手席Ｇの乗員５２のピラーＰによる各死角領域の映像を表示する表示処理について図１１乃至図１３に基づいて説明する。
【００８０】
図１１及び図１２は、実施例２に係る運転支援システム１１１の運転支援ユニット２によってマルチビューディスプレイ４に運転者５１及び助手席Ｇの乗員５２のピラーＰによる各死角領域Ａ１、Ａ２の映像を表示する表示処理を示すフローチャートである。図１３は運転席Ｆ側の運転者側仮想平面ＶＰと撮影面ＣＰ、及び助手席Ｇ側の同乗者側仮想平面ＷＰと所定距離手前の撮影面ＣＰとの説明図である。尚、図１３は、カメラ６の光軸ＡＸの角度θ１と中心線ＬＡの角度θ２とが等しい場合、即ち光軸ＡＸと中心線ＬＡとが重なる場合を示す図である。この場合には、撮影面ＣＰと運転者側仮想平面ＶＰとを重ねることができるので、撮影面ＣＰは運転者側仮想平面ＶＰの位置に設定される。
【００８１】
図１１及び図１２に示すように、先ず、Ｓ１１１において、制御部１０は、映像データ入力部２２を介してカメラ６による撮影を開始する。また、カメラ６によって撮影された画像データＩＭが画像プロセッサ２０に順次出力される。また、画像プロセッサ２０は、カメラ６によって撮影された画像データＩＭを所定距離（例えば、約１ｍ〜３ｍである。）走行する毎にメインメモリ１１に格納する。
【００８２】
そして、Ｓ１１２において、制御部１０は、上記Ｓ１２の処理を実行する。
続いて、Ｓ１１３乃至Ｓ１１９において、画像プロセッサ２０は、上記Ｓ１３乃至Ｓ１９の処理を実行する。尚、Ｓ１１４において、画像プロセッサ２０は、所定距離毎に設定した撮影面ＣＰをメインメモリ１１に記憶している。
【００８３】
その後、Ｓ１２０において、画像プロセッサ２０は、上記Ｓ１１９で取得した画像データＩＭのうち、同乗者側仮想平面ＷＰに投影する投影部分ＣＰ２をトリミングして、ピラー死角データＢＤ２を生成できたか否か、即ち、カメラ６の撮影面ＣＰが、助手席Ｇの乗員５２（同乗者）の頭部中心位置５２ＤＣとピラーＰの端点Ｐ２を通る接線Ｌ１２と交差する範囲まで広いか否かを判定する判定処理を実行する。
【００８４】
そして、上記Ｓ１１９で取得した画像データＩＭのうち、同乗者側仮想平面ＷＰに投影する投影部分ＣＰ２をトリミングして、ピラー死角データＢＤ２を生成できた場合、即ち、カメラ６の撮影面ＣＰが、助手席Ｇの乗員５２（同乗者）の頭部中心位置５２ＤＣとピラーＰの端点Ｐ２を通る接線Ｌ１２と交差する範囲まで広い場合には（Ｓ１２０：ＹＥＳ）、画像プロセッサ２０は、Ｓ１２３の処理に移行する。そして、画像プロセッサ２０は、Ｓ１２３乃至Ｓ１２６において、上記Ｓ２０乃至Ｓ２３の処理を実行後、当該処理を終了する。
【００８５】
一方、上記Ｓ１１９で取得した画像データＩＭのうち、同乗者側仮想平面ＷＰに投影する投影部分ＣＰ２をトリミングして、ピラー死角データＢＤ２を生成できなかった場合、即ち、カメラ６の撮影面ＣＰが、助手席Ｇの乗員５２（同乗者）の頭部中心位置５２ＤＣとピラーＰの端点Ｐ２を通る接線Ｌ１２と交差していない場合には（Ｓ１２０：ＮＯ）、画像プロセッサ２０は、カメラ６の画角が小さくて撮影範囲が狭いと判定してＳ１２１の処理に移行する。Ｓ１２１において、画像プロセッサ２０は、車両Ｃの現在位置から所定距離（例えば、約１ｍ〜３ｍである。）手前で設定された撮影面ＣＰと、この撮影面ＣＰに対応するカメラ６によって撮影された画像データＩＭとをメインメモリ１１から取得する。
【００８６】
そして、Ｓ１２２において、画像プロセッサ２０は、図１３に示すように、同乗者側仮想平面ＷＰに替えて、車両Ｃの現在位置から所定距離（例えば、約１ｍ〜３ｍである。）手前で設定された撮影面ＣＰに基づいて同乗者側仮想平面ＸＰを設定する。この同乗者側仮想平面ＸＰは、車両Ｃの現在位置から所定距離（例えば、約１ｍ〜３ｍである。）手前でカメラ６によって撮影された画像を投影する平面である。また、この同乗者側仮想平面ＸＰ上にある物体は、カメラ６によって撮影された画像データＩＭを同乗者側仮想平面ＸＰ上に座標変換した際に、ずれたり傾いたりすることなく表示される性質がある。
【００８７】
具体的には、図１３に示すように、画像プロセッサ２０は、この同乗者側仮想平面ＸＰを、頭部中心位置５２ＤＣの投影位置６４と同乗者側基準位置ＱＣとを結ぶ中心線ＬＢに直交し、且つ、車両Ｃの現在位置から所定距離（例えば、約１ｍ〜３ｍである。）手前で設定された撮影面ＣＰが、助手席Ｇの乗員５２（同乗者）の頭部中心位置５２ＤＣとピラーＰの各端点Ｐ１、Ｐ２を通る各接線Ｌ１１、Ｌ１２で区画された助手席Ｇの乗員５２の死角領域Ａ２と交差する左端点ＮＰ１と右端点ＮＰ２のうちの車両Ｃから遠い位置の右端点ＮＰ２を通る位置に設定する。また、同乗者側仮想平面ＸＰの右端点ＸＰ２は、撮影面ＣＰの接線Ｌ１２と交差する右端点ＮＰ２と一致する。また、同乗者側仮想平面ＸＰの左端点ＸＰ１は、この同乗者側仮想平面ＸＰと接線Ｌ１１との交差する点となる。
【００８８】
続いて、画像プロセッサ２０は、図１３に示すように、車両Ｃの現在位置から所定距離（例えば、約１ｍ〜３ｍである。）手前でカメラ６によって撮影された画像データＩＭのうち、同乗者側仮想平面ＸＰに投影する投影部分ＣＰ２をトリミングして、ピラー死角データＢＤ２を生成する。即ち、図１３に示すように、画像プロセッサ２０は、所定距離手前の画像データＩＭのうち、各接線Ｌ１１、Ｌ１２の間の投影部分ＣＰ２をトリミングする。投影部分ＣＰ２をトリミングしたデータは、ピラー死角データＢＤ２となる。
【００８９】
ピラー死角データＢＤ２を取得すると、画像プロセッサ２０は、ピラー死角データＢＤ２を、同乗者側仮想平面ＸＰに投影変換する。この投影変換は、助手席Ｇの乗員５２の頭部中心位置５２ＤＣを中心として投射することにより、投影部分ＣＰ２の各画素を、同乗者側仮想平面ＸＰ上の各画素に座標変換する処理であり、この座標変換により助手席Ｇの乗員５２の視点から見た画像である同乗者側画像データＰＤ２を生成後、Ｓ１２３の処理に移行する。そして、画像プロセッサ２０は、Ｓ１２３乃至Ｓ１２６において、上記Ｓ２０乃至Ｓ２３の処理を実行後、当該処理を終了する。
【００９０】
以上詳細に説明した通り、実施例２に係る運転支援システム１１１では、上記実施例１に係る運転支援システム１の効果に加えて、以下の効果を奏する。
画像プロセッサ２０は、取得した画像データＩＭのうち、同乗者側仮想平面ＷＰに投影する投影部分ＣＰ２をトリミングして、ピラー死角データＢＤ２を生成できなかった場合、即ち、カメラ６の撮影面ＣＰが、助手席Ｇの乗員５２（同乗者）の頭部中心位置５２ＤＣとピラーＰの端点Ｐ２を通る接線Ｌ１２と交差していない場合には（Ｓ１２０：ＮＯ）、車両Ｃの現在位置から所定距離（例えば、約１ｍ〜３ｍである。）手前で設定された撮影面ＣＰと、この撮影面ＣＰに対応するカメラ６によって撮影された画像データＩＭとから、同乗者側仮想平面ＸＰを設定して、同乗者側画像データＰＤ２を作成することが可能となる（Ｓ１２１〜Ｓ１２２）。
【００９１】
このため、カメラ６の画角が小さくて撮影範囲が狭い場合にも、助手席Ｇの乗員５２のピラーＰによる死角領域Ａ２によって区画される部分の撮影面ＣＰの画像データＩＭを抽出して、マルチビューディスプレイ４の助手席Ｇの乗員５２側から見た方向の映像として表示することが可能となり、当該マルチビューディスプレイ４の助手席Ｇの乗員５２側から見た方向の映像も、連続性が高く、明瞭で自然な画像を表示することが可能となる。従って、カメラ６の画角が小さい場合にも、運転者５１及び助手席Ｇの乗員５２（同乗者）が、共に違和感を感じない画像をピラーＰに設けられたマルチビューディスプレイ４に表示することが可能となる。
【００９２】
尚、本発明は上記実施例１及び実施例２に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。例えば、以下のようにしてもよい。
【００９３】
（Ａ）上記マルチビューディスプレイ４をＬＣＤ（LiquidCrystal Display）、つまり液晶ディスプレーだけに限らず、可撓性の高い例えば低温ポリシリコンＴＦＴ（ThinFilm Transistor）液晶ディスプレーを使用すれば、図４に示したフラットな形状に限られず、ピラーＰの内側面ＰＡの曲面に沿って貼り付けて用いることができ、その分だけ車室内側への突出量を抑えることで、車室内スペースを拡大できるメリットがある。
【００９４】
（Ｂ）また、カメラ６は車両ＣのフロントウィンドウＷ１の車室内から見て右上隅部にに取り付けられているが、運転席Ｆ側のバックミラーの外側、サンバイザー、ピラーＰの外側面等、運転者５１及び助手席Ｇの乗員５２（同乗者）のピラーＰによって生じる各死角領域Ａ１、Ａ２を撮影できれば何処に設けられていてもよい。
【００９５】
（Ｃ）また、上記実施例２において、上記ステップ１１９の処理を実行後、ステップ１２０の処理を実行することなく、ステップ１２１の処理に移行するようにしてもよい。これにより、実施例２に係る運転支援システム１１１の効果に加えて、画像プロセッサ２０による処理速度の高速化を図ることができる。
【図面の簡単な説明】
【００９６】
【図１】実施例１に係る運転支援システムの構成を説明するブロック図である。
【図２】運転者の頭部と助手席の乗員の頭部を検出する位置検出センサの説明図である。
【図３】カメラの取付位置の説明図である。
【図４】カメラ及びマルチビューディスプレイの取付位置の説明図である。
【図５】運転支援ユニットによってマルチビューディスプレイに運転者及び助手席の乗員のピラーによる各死角領域の映像を表示する表示処理を示すフローチャートである。
【図６】運転者側基準点と同乗者側基準点との説明図である。
【図７】運転席側の運転者側仮想平面と撮影面との説明図である。
【図８】助手席側の同乗者側仮想平面と撮影面との説明図である。
【図９】運転席側の運転者側仮想平面と撮影面との説明図である。
【図１０】助手席側の同乗者側仮想平面と撮影面との説明図である。
【図１１】実施例２に係る運転支援システムの運転支援ユニットによってマルチビューディスプレイに運転者及び助手席の乗員のピラーによる各死角領域の映像を表示する表示処理を示すフローチャートである。
【図１２】運転支援ユニットによってマルチビューディスプレイに運転者及び助手席の乗員のピラーによる死角領域の映像を表示する表示処理を示すフローチャートである。
【図１３】運転席側の運転者側仮想平面と撮影面、及び助手席側の同乗者側仮想平面と所定距離手前の撮影面との説明図である。
【符号の説明】
【００９７】
１            運転支援システム
２            運転支援ユニット
４            マルチビューディスプレイ
６            カメラ
１０          制御部
１１          メインメモリ
１２          ＲＯＭ
２０          画像プロセッサ
２２          映像データ入力部
５１          運転者
５２          乗員（同乗者）
６１、６４    投影位置
Ａ１、Ａ２    死角領域
ＡＸ          光軸
ＣＰ          撮影面
Ｆ            運転席
Ｇ            助手席
Ｌ１、Ｌ２、Ｌ１１、Ｌ１２      接線
ＬＡ、ＬＢ    中心線
ＮＰ１        左端点
ＮＰ２        右端点
Ｐ            フロントピラー（ピラー）
ＰＣ          運転者側基準位置
ＱＣ          同乗者側基準位置
ＶＰ          運転者側仮想平面
ＶＰ１        左端点
ＶＰ２        右端点
ＷＰ、ＸＰ    同乗者側仮想平面
ＷＰ１、ＸＰ１        左端点
ＷＰ２、ＸＰ２        右端点
【図１】
2009005054.tif 000003
【図２】
2009005054.tif 000004
【図３】
2009005054.tif 000005
【図４】
2009005054.tif 000006
【図５】
2009005054.tif 000007
【図６】
2009005054.tif 000008
【図７】
2009005054.tif 000009
【図８】
2009005054.tif 000010
【図９】
2009005054.tif 000011
【図１０】
2009005054.tif 000012
【図１１】
2009005054.tif 000013
【図１２】
2009005054.tif 000014
【図１３】
2009005054.tif 000015