(57)【要約】【課題】運転者の死角の画像を違和感の無い態様で表示すること。【解決手段】本発明による車両用周辺監視装置は、車両の外部を撮像する周辺環境監視カメラ１０と、周辺環境監視カメラ１０の撮像方向を変化させるカメラ向き制御部３４と、車両の運転者の死角を形成する車両部材に設けられ、周辺環境監視カメラ１０により撮像される画像を表示するディスプレイ４４乃至４９と、運転者を撮像する運転者監視カメラ２０と、運転者監視カメラ２０の撮像結果に基づいて、運転者の視線方向を検出する視線方向検出部３２を備え、カメラ向き制御部３４は、視線方向検出部３２により検出された運転者の視線方向がディスプレイ４４乃至４９の方向に変化した場合に、該変化に追従して、前記死角の画像が捕捉されるように周辺環境監視カメラ１０の撮像方向を変化させる。【選択図】図１
2008213649.tif 000002
【特許請求の範囲】
【請求項１】
車両の外部を撮像する第１撮像手段と、
前記撮像手段の撮像方向を変化させる撮像方向制御手段と、
車両の運転者の死角を形成する車両部材に設けられ、前記第１撮像手段により撮像される画像を表示する表示手段と、
運転者を撮像する第２撮像手段と、
前記第２撮像手段の撮像結果に基づいて、運転者の視線方向を検出する視線方向検出手段を備え、
前記撮像方向制御手段は、前記視線方向検出手段により検出された運転者の視線方向が前記表示手段の方向に変化した場合に、該変化に追従して、前記死角の画像が捕捉されるように前記第１撮像手段の撮像方向を変化させることを特徴とする、車両用周辺監視装置。
【請求項２】
前記第１撮像手段は、前記車両部材付近に取り付けられる、請求項１に記載の車両用周辺監視装置。
【請求項３】
前記表示手段は、前記視線方向検出手段により検出された運転者の視線方向が前記表示手段の方向に変化した際に起動される、請求項１に記載の車両用周辺監視装置。
【請求項４】
前記第１撮像手段により撮像された画像の一部を、前記表示手段の画面のサイズに応じたサイズで切り抜いて、前記表示手段で表示される表示画像を生成する表示画像生成手段を更に備える、請求項１に記載の車両用周辺監視装置。
【請求項５】
前記表示画像生成手段は、前記第１撮像手段により撮像された画像のうちの、前記死角の画像部分を切り抜いて、前記表示画像を生成する、請求項１に記載の車両用周辺監視装置。
【請求項６】
前記車両部材は、ピラー、ドア、ダッシュボード及びルーフのうちの少なくともいずれか１つである、請求項１に記載の車両用周辺監視装置。
【請求項７】
前記車両部材はルーフであり、
前記表示手段は、前記視線方向検出手段により検出された運転者の視線方向が前記表示手段の方向に変化した際に起動される、請求項１に記載の車両用周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者の死角をカバーする画像を表示する車両用周辺監視装置に関する。
【背景技術】
【０００２】
従来から、車両の周囲状況を撮像する撮像手段と、当該撮像手段により撮像された周囲状況を外部の画像領域情報として取得する外部画像領域取得手段とを有する車両周囲視認装置を備えた車両周囲視認システムであって、前記車両周囲視認装置は、前記車両のピラー部に嵌め込まれた画像表示モニタと、前記車両の運転者による視線の位置を検出する視線位置検出手段と、前記視線位置検出手段により検出された視線位置に基づいて、前記撮像手段により取得された画像領域情報のうち、前記運転者の死角視野となる死角画像領域を抽出する死角画像領域抽出手段と、前記画像表示モニタに、前記死角画像領域を表示する制御をおこなう画像表示制御手段と、を備えた車両周囲視認システムが知られている（例えば、特許文献１参照）。
【特許文献１】特開２００５−１２５８２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載の発明では、車外に設けた広角固定カメラを使用して、運転者の視線方向に相当する車外風景画像を切り抜き表示するため、モニタに表示される画像が、実際に運転者が目視した場合の窓外の風景と整合せず、運転者に違和感を与える虞がある。
【０００４】
そこで、本発明は、運転者の死角の画像を違和感の無い態様で表示することができる車両用周辺監視装置の提供を目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、第１の発明に係る車両用周辺監視装置は、車両の外部を撮像する第１撮像手段と、
前記撮像手段の撮像方向を変化させる撮像方向制御手段と、
車両の運転者の死角を形成する車両部材に設けられ、前記第１撮像手段により撮像される画像を表示する表示手段と、
運転者を撮像する第２撮像手段と、
前記第２撮像手段の撮像結果に基づいて、運転者の視線方向を検出する視線方向検出手段を備え、
前記撮像方向制御手段は、前記視線方向検出手段により検出された運転者の視線方向が前記表示手段の方向に変化した場合に、該変化に追従して、前記死角の画像が捕捉されるように前記第１撮像手段の撮像方向を変化させることを特徴とする。
【０００６】
第２の発明は、第１の発明に係る車両用周辺監視装置において、
前記第１撮像手段は、前記車両部材付近に取り付けられることを特徴とする。
【０００７】
第３の発明は、第１の発明に係る車両用周辺監視装置において、
前記表示手段は、前記視線方向検出手段により検出された運転者の視線方向が前記表示手段の方向に変化した際に起動される、請求項１に記載の車両用周辺監視装置。
【０００８】
第４の発明は、第１の発明に係る車両用周辺監視装置において、
前記第１撮像手段により撮像された画像の一部を、前記表示手段の画面のサイズに応じたサイズで切り抜いて、前記表示手段で表示される表示画像を生成する表示画像生成手段を更に備えることを特徴とする。
【０００９】
第５の発明は、第１の発明に係る車両用周辺監視装置において、
前記表示画像生成手段は、前記第１撮像手段により撮像された画像のうちの、前記死角の画像部分を切り抜いて、前記表示画像を生成することを特徴とする。
【００１０】
第６の発明は、第１の発明に係る車両用周辺監視装置において、
前記車両部材は、ピラー、ドア、ダッシュボード及びルーフのうちの少なくともいずれか１つであることを特徴とする。
【００１１】
第７の発明は、第１の発明に係る車両用周辺監視装置において、
前記車両部材はルーフであり、
前記表示手段は、前記視線方向検出手段により検出された運転者の視線方向が前記表示手段の方向に変化した際に起動されることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、運転者の死角の画像を違和感の無い態様で表示することができる車両用周辺監視装置が得られる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【００１４】
図１は、本発明による車両用周辺監視装置１の一実施例を示す構成図である。本実施例の車両用周辺監視装置１は、周辺監視ＥＣＵ３０を中心として構成されている。周辺監視ＥＣＵ３０は、図示しないバスを介して互いに接続されたＣＰＵ、ＲＯＭ、及びＲＡＭ等からなるマイクロコンピュータとして構成されている。
【００１５】
周辺監視ＥＣＵ３０には、CAN（controller  area  network）などの適切な通信ラインを介して、周辺環境監視カメラ１０と、モータ１２及び１４と、運転者監視カメラ２０と、表示装置４０とが接続されている。
【００１６】
周辺環境監視カメラ１０は、レンズとＣＣＤ（charge-coupled  device）やＣＭＯＳ（complementary  metal  oxide  semiconductor）等の撮像素子により、車両の外部環境を撮像する。周辺環境監視カメラ１０は、動作時、リアルタイムに車両の外部環境の画像（以下、「外部環境画像」という。）を取得し、所定のフレーム周期（例えば３０fps)のストリーム形式で周辺監視ＥＣＵ３０に供給するものであってよい。周辺環境監視カメラ１０は、車両の前部に、車体に対して回転可能（向き調整可能）に搭載される。本例では、周辺環境監視カメラ１０は、後述の如く複数のディスプレイ４４乃至４９に対して共用される関係上、車両の中央部（例えばルームミラー付近のフロントウインドシールド上縁部等）に設けられる。周辺環境監視カメラ１０の回転は、モータ１２及び１４のようなアクチュエータにより実現される。
【００１７】
周辺環境監視カメラ１０の回転自由度は、車両の前方の左右方向で向き調整が可能となるように、略鉛直方向の１軸まわりの回転のみであってもよいし、高さ方向でも向き調整が可能となるように、横方向と略鉛直方向の２軸まわりの回転であってもよく、更に３軸まわりの回転であってもよい。ここでは、周辺環境監視カメラ１０の回転自由度は、横方向と略鉛直方向の２軸まわりの回転であり、それぞれモータ１２及び１４により実現されるものとする。即ち、周辺環境監視カメラ１０の左右方向の向きがモータ１２の駆動により調整可能であり、周辺環境監視カメラ１０の上下方向の向きがモータ１４の駆動により調整可能である。
【００１８】
モータ１２及び１４は、例えばＤＣモータやブラシレスモータのようなサーボモータであってよい。モータ１２及び１４は、周辺監視ＥＣＵ３０による制御下で駆動される。制御は、セミクローズドループであってもフルセミクローズドループであってもよい。
【００１９】
運転者監視カメラ２０は、例えばカラー又は赤外線感応ＣＣＤ（charge-coupled  device）センサアレイを備えるカメラである。運転者監視カメラ２０は、例えば運転者の前面（例えば顔部を前方から）を捕捉可能なように、車両の適切な箇所に設けられる。例えば、運転者監視カメラ２０は、車両のバックミラーや、インストルメントパネルのダッシュボードやステアリングコラム等の適切な箇所に設置される。運転者監視カメラ２０は、動作時、リアルタイムに運転者の顔部の画像（以下、「顔画像」という。）を取得し、所定のフレーム周期（例えば３０fps)のストリーム形式で周辺監視ＥＣＵ３０に供給するものであってよい。
【００２０】
表示装置４０は、車両の運転者の死角を形成する車両部材に設けられる。表示装置４０は、一例として、６つのディスプレイ４４乃至４９を含む。ここでは、死角を形成する車両部材は、一例として、車両の左のＡピラー、右のＡピラー、ルーフ、ダッシュボード、左ドア及び右ドアであるとする。
【００２１】
ディスプレイ４４及び４５は、車両の左右のＡピラーにそれぞれ取り付けられる。ディスプレイ４４及び４５は、好ましくは、自身が新たな死角を形成しないような形態で搭載される。この観点から、ディスプレイ４４及び４５は、好ましくは、それぞれ、対応するピラーの形状に沿ったサイズと形状を有する。ディスプレイ４４及び４５は、好ましくは、電子ペーパーや電子スクリーンなどのようなシート形態のディスプレイである。以下、ディスプレイ４４及び４５を、それぞれ、左ピラーディスプレイ４４及び右ピラーディスプレイ４５とも称する。
【００２２】
ディスプレイ４６は、車両のルーフに取り付けられ、例えばサンルーフに代わる大型のディスプレイであってもよい。ディスプレイ４６は、同様に、スペース上の観点から、好ましくは、電子ペーパーや電子スクリーンなどのようなシート形態のディスプレイである。以下、ディスプレイ４６をルーフディスプレイ４６とも称する。
【００２３】
ディスプレイ４７は、車両のダッシュボードに取り付けられる。ディスプレイ４７は、同様に、スペース上の観点から、好ましくは、電子ペーパーや電子スクリーンなどのようなシート形態のディスプレイである。以下、ディスプレイ４７をダッシュボードディスプレイ４６とも称する。
【００２４】
ディスプレイ４８及び４９は、車両の左右のドアにそれぞれ取り付けられる。ディスプレイ４８及び４９は、同様に、スペース上の観点から、好ましくは、電子ペーパーや電子スクリーンなどのようなシート形態のディスプレイである。以下、ディスプレイ４８及び４９を、それぞれ、左ドアディスプレイ４４及び右ドアディスプレイ４５とも称する。
【００２５】
これらのディスプレイ４４乃至４９は、周辺監視ＥＣＵ３０の制御下で動作する。ディスプレイ４４乃至４９は、常態ではオフ状態であってよく、周辺監視ＥＣＵ３０からのオン指令があったときに起動され、オン状態となる。
【００２６】
周辺監視ＥＣＵ３０は、主要な機能部として、視線方向検出部３２と、カメラ向き制御部３４と、表示制御部３６とを備える。
【００２７】
視線方向検出部３２は、運転者監視カメラ２０により取得された顔画像に対する画像処理により、運転者の顔の向きを認識し、当該認識した顔の向きに基づいて運転者の視線の向き（視線方向）に関する情報（以下、「視線情報」ともいう。）を生成する。
【００２８】
例えば、視線方向検出部３２は、先ず、運転者監視カメラ２０により取得された顔画像から、顔の代表的なポイント（特徴点）を抽出する。この特徴抽出方法は、適切な任意の方法であってよく、例えばActive  Appearance  Model（AAM）をベースにした技術が用いられてよい。次いで、適切なエッジ検出アルゴリズム（例えばSobelのエッジ検出アルゴリズム）を適用して、顔と顔の特徴の境界を抽出する。次いで、上述の如く抽出されるエッジ及び特徴点を用いて、図２に示すように、顔のパーツが分離され、顔のパーツの形状を抽出する。尚、図２は、顔の一部のみを代表して示しており、顔の眉と目の部分がパーツとして抽出された画像を示している。視線方向検出部３２は、抽出した顔のパーツの位置又は向きと、予め記憶しておいた各姿勢（例えばディスプレイ４４乃至４９のそれぞれを目視しているときの姿勢や、正面を見ている姿勢等）における同パーツの位置又は向きとのマッチング度合いを比較することにより、現在の姿勢（顔の向き）を検出する。顔の向きは、例えば正規の姿勢であるときの顔の正面方向を１軸とする３軸まわりの回転角度で表されてよい。視線方向検出部３２は、運転者の顔の向きが運転者の視線の向き（視線方向）に対応しているとの仮定の下で、運転者の視線方向を決定して視線情報を生成する。尚、視線方向検出部３２における画像認識処理による視線方法検出方法は、多種多様であり、本発明は、上述したものに限定されることは無い。例えば、視線方向検出部３２は、顔のパーツとして眼球の輪郭線を抽出し、目の輪郭内における眼球の位置と、上述の如く認識した運転者の顔向きとに基づいて、運転者の視線の向きを検出してもよい。このようにして生成された視線情報は、表示制御部３６及びカメラ向き制御部３４に供給される。
【００２９】
カメラ向き制御部３４は、視線方向検出部３２からの視線情報に基づいて、運転者の視線方向に対応する方向に周辺環境監視カメラ１０が向くように、モータ１２及び１４を介して周辺環境監視カメラ１０の向き（撮像方向）を制御する。例えば、図３に示すように、運転者の視線方向が左ピラーディスプレイ４４を視ている方向Ａ１である場合には、カメラ向き制御部３４は、周辺環境監視カメラ１０の向きを、方向Ａ１に平行な方向Ｂ１に変化させる。また、図３に示すように、運転者の視線方向が右ピラーディスプレイ４５を視ている方向Ａ２である場合には、カメラ向き制御部３４は、周辺環境監視カメラ１０の向きを、方向Ａ２に平行な方向Ｂ２に変化させる。
【００３０】
尚、図３に示す例では、平面内の２次元での周辺環境監視カメラ１０の向きの調整例を示しているが、周辺環境監視カメラ１０の向きは３次元で調整されるのが望ましい。即ち、カメラ向き制御部３４は、３次元空間内で周辺環境監視カメラ１０の向きが運転者の視線方向と平行になるように、モータ１２の回転角度を制御して周辺環境監視カメラ１０の左右方向の向き（図中のＸ１軸まわりの回転角度）を調整すると共に、モータ１４の回転角度を制御して周辺環境監視カメラ１０の上下方向の向き（図中のＸ２軸まわりの回転角度）を調整するのが望ましい。
【００３１】
表示制御部３６は、周辺環境監視カメラ１０から供給される外部環境画像に基づいて、ディスプレイ４４乃至４９で表示すべき表示画像（映像）を生成する。表示制御部３６は、視線方向検出部３２からの視線情報に基づいて、ディスプレイ４４乃至４９のうちの、後述する視線方向検出部３２により検出される運転者の視線方向の先にあるディスプレイに、生成した表示画像を供給して、表示画像を表示させる。
【００３２】
図４は、一例として、左ピラーディスプレイ４４に表示すべき表示画像の生成方法を示す図であり、図４（Ａ）は、周辺環境監視カメラ１０から外部環境画像（元画像）を示し、図４（Ｂ）は、周辺環境監視カメラ１０から外部環境画像に対する切り抜き領域８０を示す図であり、図４（Ｃ）は、図４（Ａ）の外部環境画像に基づいて生成された表示画像を示す図である。
【００３３】
表示制御部３６は、先ず、視線方向検出部３２からの視線情報に基づいて、図４（Ｂ）に示すように、周辺環境監視カメラ１０から外部環境画像に対する切り抜き領域８０の位置を決定する。切り抜き領域８０の形状は、好ましくは、左ピラーディスプレイ４４の形状と相似に設定される。切り抜き領域８０のサイズ（スケーリングファクター）は、固定であってもよいが、視線方向検出部３２にて検出可能な運転者の視点（目）の位置と、左Ａピラーとの距離に応じて可変されてもよい。外部環境画像（元画像）における切り抜き領域８０は、運転者の視線方向で左ピラーにより運転者が見えなくなっている部分（即ち死角部分）に対応するように、視線方向検出部３２にて検出可能な運転者の視点の位置と、周辺環境監視カメラ１０の視点（撮像素子）の位置との相対関係に基づいて、位置決めされる。このようにして切り抜き領域８０の位置を決定すると、表示制御部３６は、切り抜き領域８０内の画像部分を、切り抜く（抽出する）ことで、図４（Ｃ）に示すように、表示画像を生成する。表示画像は、更に、出力対象のディスプレイの解像度等に応じてスケーリングや輝度等が調整されてもよい。
【００３４】
図５（Ａ）は、図４（Ｃ）で生成された表示画像が左ピラーディスプレイ４４に表示される前の状態を示し、図５（Ｂ）は、図４（Ｃ）で生成された表示画像が左ピラーディスプレイ４４に表示された状態を示す図である。
【００３５】
運転者は、図５（Ｂ）に示す表示画像を見ることで、左ピラーがあたかも存在しないような感覚（左ピラーを透視している感覚）で、左ピラーで死角なった領域の外部環境を把握することができる。これにより、運転者の死角をカバーした有用な外部環境を運転者に視認してもらうことができ、車両の運転の安全性が向上する。例えば、図示の例では、運転者は、図５（Ｂ）に示す表示画像を見ることで、左ピラーで見えなかった歩行者の存在に気が付き、当該歩行者に注意を払いながら運転を行うことができる。
【００３６】
このように、本実施例によれば、上述の如く、視線方向検出部３２により検出される運転者の視線方向の変化に追従して、周辺環境監視カメラ１０の向きを変化させると共に、運転者の視線方向の先のディスプレイに、周辺環境監視カメラ１０からの外部環境画像を表示するので、運転者に視線方向に適合した撮像方向で撮像した違和感の無い表示画像を、運転者の視線方向に対応したディスプレイに、表示させることができる。これにより、運転者は、違和感無く死角の状況を把握することができる。
【００３７】
次に、周辺監視ＥＣＵ３０により実行される主要処理の具体例について、図６を参照して説明する。尚、ここでは、説明の都合上、表示装置４０は、左ピラーディスプレイ４４、右ピラーディスプレイ４５及びルーフディスプレイ４６の３つのディスプレイである場合について説明する。図６に示す処理ルーチンは、車両のイグニッションスイッチがオンにされてオフにされるまでの間、所定周期毎に繰り返し実行される。
【００３８】
ステップ１００では、視線方向検出部３２において、今回周期で運転者監視カメラ２０から得られる顔画像に基づいて、運転者の視線方向が検出される。
【００３９】
ステップ１０２では、視線方向検出部３２において、今回周期で検出された運転者の視線方向が、前回周期で検出された運転者の視線方向から所定角度以上変化したか否かが判定される。所定角度は、例えば右ピラーディスプレイ４５方向から左ピラーディスプレイ４４方向への視線方向の変化を検出できるような大きな値であってもよいが、ここでは、例えば同じ右ピラーディスプレイ４５方向内における視線方向のわずかな変化を検出できるような比較的小さい値とする。運転者の視線方向が所定量以上変化した場合には、ステップ１０８に進む。運転者の視線方向が所定量以上変化していない場合には、ステップ１０４に進む。
【００４０】
ステップ１０４では、表示制御部３６において、現在、ディスプレイ４５、４６及び４７のいずれか１つがオン状態であるか否かが判定される。ディスプレイ４５、４６及び４７のいずれか１つがオン状態である場合には、ステップ１０６に進み、ディスプレイ４５、４６及び４７のいずれもオフ状態である場合には、今回周期の処理ルーチンをそのまま終了する。
【００４１】
ステップ１０６では、表示制御部３６において、今回周期で得られる周辺環境監視カメラ１０からの外部環境画像に基づいて表示画像が生成され、生成された表示画像が、現在オン状態にあるディスプレイ（４５、４６、又は４７）に供給される。この結果、表示画像が、現在オン状態にあるディスプレイ（４５、４６、又は４７）上に表示される。尚、この場合、表示制御部３６において、表示画像の生成に用いられる外部環境画像は、前回周期と同じ向きの周辺環境監視カメラ１０により撮像された外部環境画像となる。
【００４２】
ステップ１０８では、視線方向検出部３２において、今回周期で検出された運転者の視線方向が左ピラー方向（左ピラーディスプレイ４４方向）であるか否かが判定される。今回周期で検出された運転者の視線方向が左ピラー方向である場合には、ステップ１１０に進み、それ以外の場合には、ステップ１２０に進む。
【００４３】
ステップ１１０では、カメラ向き制御部３４において、周辺環境監視カメラ１０の撮像方向が、今回周期で検出された運転者の視線方向に平行となるように、モータ１２及び／又は１４の制御目標値が決定される。そして、決定された制御目標値に応じたモータ１２及び／又は１４の回転角制御が実行される。この結果、周辺環境監視カメラ１０の撮像方向が、今回周期で検出された運転者の視線方向に平行に調整される。
【００４４】
ステップ１１２では、表示制御部３６において、現在、左ピラーディスプレイ４４がオン状態にあるか否かが判定される。左ピラーディスプレイ４４がオン状態にある場合には、即ち前回周期も運転者の視線方向が左ピラー方向であった場合には、ステップ１１６に進み、それ以外の場合には、ステップ１１４に進む。
【００４５】
ステップ１１４では、表示制御部３６において、左ピラーディスプレイ４４に対するオン指令が生成・出力される。この結果、左ピラーディスプレイ４４が起動される。
【００４６】
ステップ１１６では、表示制御部３６において、上記ステップ１１０にて向きが調整された周辺環境監視カメラ１０により撮像された外部環境画像に基づいて、表示画像が生成される。
【００４７】
ステップ１１８では、表示制御部３６において、上記ステップ１１６にて生成した表示画像が左ピラーディスプレイ４４に対して供給される。この結果、左ピラーディスプレイ４４には、上記ステップ１１６にて生成された表示画像が表示される。尚、上記ステップ１１４を経由する場合には、左ピラーディスプレイ４４の起動完了と同時に表示画像が出力されるように左ピラーディスプレイ４４の起動タイミングが調整されてもよい。
【００４８】
ステップ１２０では、視線方向検出部３２において、今回周期で検出された運転者の視線方向が右ピラー方向（右ピラーディスプレイ４５方向）であるか否かが判定される。今回周期で検出された運転者の視線方向が右ピラー方向である場合には、ステップ１２２に進み、それ以外の場合には、ステップ１３２に進む。
【００４９】
ステップ１２２では、カメラ向き制御部３４において、周辺環境監視カメラ１０の撮像方向が、今回周期で検出された運転者の視線方向に平行となるように、モータ１２及び／又は１４の制御目標値が決定される。そして、決定された制御目標値に応じたモータ１２及び／又は１４の回転角制御が実行される。この結果、周辺環境監視カメラ１０の撮像方向が、今回周期で検出された運転者の視線方向に平行に調整される。
【００５０】
ステップ１２４では、現在、右ピラーディスプレイ４５がオン状態にあるか否かが判定される。右ピラーディスプレイ４５がオン状態にある場合には、即ち前回周期も運転者の視線方向が右ピラー方向であった場合には、ステップ１２８に進み、それ以外の場合には、ステップ１２６に進む。
【００５１】
ステップ１２６では、表示制御部３６において、右ピラーディスプレイ４５に対するオン指令が生成・出力される。この結果、右ピラーディスプレイ４５が起動される。
【００５２】
ステップ１２８では、表示制御部３６において、上記ステップ１２２にて向きが調整された周辺環境監視カメラ１０により撮像された外部環境画像に基づいて、表示画像が生成される。
【００５３】
ステップ１３０では、表示制御部３６において、上記ステップ１２８にて生成した表示画像が右ピラーディスプレイ４５に対して供給される。この結果、右ピラーディスプレイ４５には、上記ステップ１２８にて生成された表示画像が表示される。
【００５４】
ステップ１３２では、視線方向検出部３２において、今回周期で検出された運転者の視線方向がルーフ方向（ルーフディスプレイ４６方向）であるか否かが判定される。今回周期で検出された運転者の視線方向がルーフ方向である場合には、ステップ１３８に進み、それ以外の場合には、ステップ１３４に進む。
【００５５】
ステップ１３４では、表示制御部３６において、現在、ディスプレイ４５、４６及び４７のいずれか１つがオン状態であるか否かが判定される。ディスプレイ４５、４６及び４７のいずれか１つがオン状態である場合には、ステップ１３６に進み、ディスプレイ４５、４６及び４７のいずれもオフ状態である場合には、今回周期の処理ルーチンをそのまま終了する。
【００５６】
ステップ１３６では、表示制御部３６において、現在オン状態であるディスプレイ（４５、４６、又は４７）に対してオフ指令が生成・出力される。この結果、現在オン状態であるディスプレイ（４５、４６、又は４７）がオフとなり、すべてのディスプレイ４５乃至４７がオフ状態となる。
【００５７】
ステップ１３８では、カメラ向き制御部３４において、周辺環境監視カメラ１０の撮像方向が、今回周期で検出された運転者の視線方向に平行となるように、モータ１２及び／又は１４の制御目標値が決定される。そして、決定された制御目標値に応じたモータ１２及び／又は１４の回転角制御が実行される。この結果、周辺環境監視カメラ１０の撮像方向が、今回周期で検出された運転者の視線方向に平行に調整される。
【００５８】
ステップ１４０では、現在、ルーフディスプレイ４６がオン状態にあるか否かが判定される。ルーフディスプレイ４６がオン状態にある場合には、即ち前回周期も運転者の視線方向がルーフ方向であった場合には、ステップ１４４に進み、それ以外の場合には、ステップ１４２に進む。
【００５９】
ステップ１４２では、表示制御部３６において、ルーフディスプレイ４６に対するオン指令が生成・出力される。この結果、ルーフディスプレイ４６が起動される。
【００６０】
ステップ１４４では、表示制御部３６において、上記ステップ１３８にて向きが調整された周辺環境監視カメラ１０により撮像された外部環境画像に基づいて、表示画像が生成される。
【００６１】
ステップ１４６では、表示制御部３６において、上記ステップ１４４にて生成した表示画像がルーフディスプレイ４６に対して供給される。この結果、ルーフディスプレイ４６には、上記ステップ１４４にて生成された表示画像が表示される。
【００６２】
以上説明した本実施例によれば、とりわけ、以下のような優れた効果が奏される。
【００６３】
先ず、上述の如く、運転者の視線方向の変化に追従して、周辺環境監視カメラ１０の向きを変化させるので、例えば広角レンズ（魚眼レンズ）を用いた構成に比べて、運転者に視線方向に適合した撮像方向で撮像した違和感の無い表示画像を表示させることができる。これにより、運転者は、違和感無く死角の状況を把握することができる。
【００６４】
また、運転者の視線方向が左ピラーディスプレイ４４等のディスプレイ方向にある場合に限り、周辺環境監視カメラ１０の向きを変化させるので、運転者の視線移動に対する周辺環境監視カメラ１０の視線の追従性を確保することができる。また、運転者の視線方向がディスプレイ方向に無い場合には、周辺環境監視カメラ１０を他の用途に利用すること（例えば白線認識用カメラとして利用すること）も可能である。
【００６５】
また、サンルーフの代わりにルーフディスプレイ４６を設ける場合には、運転者が天井方向を見上げたときに、ルーフディスプレイ４６に外の天空の画像が表示されるので、運転者に対して、サンルーフをオープンしたときの視覚的爽快感を与えることができる。尚、この観点から、ルーフディスプレイ４６は、運転者以外の乗員（例えば助手席乗員）の視線方向が天井方向となった場合に、起動及び表示画像出力されてもよいし、また、シートがリクライニング位置まで倒された場合に、起動及び表示画像出力されてもよい。
【００６６】
以上説明した本実施例に対しては、以下のような変形例が考えられる。
【００６７】
例えば、上述した実施例では、周辺環境監視カメラ１０が２軸まわりに回転可能に構成されているので、当該周辺環境監視カメラ１０を共用することで、各種ディスプレイ４４乃至４９で表示すべき表示画像の元画像が取得されている。しかしながら、あるディスプレイに対して専用の周辺環境監視カメラを設定してもよい。例えば、左ピラーディスプレイ４４、ダッシュボードディスプレイ４７及び左ドアディスプレイ４８に対しては、車両の左側前部（例えば左ドアミラーなどの車両外部や、左ピラー内）に設けた第１の周辺環境監視カメラを用い、右ピラーディスプレイ４５及び右ドアディスプレイ４９に対しては、車両の右側前部（例えば右ドアミラーなどの車両外部や、右ピラー内）に設けた第２の周辺環境監視カメラを用い、ルーフディスプレイ４６に対しては、車両の上部に設けた第３の周辺環境監視カメラを用いることとしてもよい。
【００６８】
また、周辺環境監視カメラ１０を倍率変更可能なズーム機能を有するカメラで構成し、視線方向検出部３２にて検出可能な運転者の視点（目）の位置と、表示装置４０の位置との距離の変化に追従させて、周辺環境監視カメラ１０の倍率を微調整し、当該倍率調整された周辺環境監視カメラ１０から得られる画像を、表示装置４０に表示させることとしてもよい。例えば、運転者の視線方向が左Ａピラー方向（左ピラーディスプレイ４４方向）である場合、周辺環境監視カメラ１０の倍率は、運転者の視点（目）の位置と、左Ａピラー（左ピラーディスプレイ４４）との距離に応じて可変されてもよい。
【００６９】
尚、以上説明した実施例においては、添付の特許請求の範囲の「第１撮像手段」は、周辺環境監視カメラ１０により実現され、同特許請求の範囲の「第２撮像手段」は、運転者監視カメラ２０により実現され、同特許請求の範囲の「撮像方向制御手段」は、周辺監視ＥＣＵ３０のカメラ向き制御部３４により実現され、同特許請求の範囲の「表示手段」は、表示装置４０のディスプレイ４４乃至４９により実現され、同特許請求の範囲の「視線方向検出手段」は、周辺監視ＥＣＵ３０の視線方向検出部３２により実現されている。
【００７０】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【図面の簡単な説明】
【００７１】
【図１】本発明による車両用周辺監視装置１の一実施例を示す構成図である。
【図２】顔の眉と目の部分がパーツとして抽出された画像を示す図である。
【図３】カメラ向き制御部３４による環境監視カメラ１０の向きの制御例を示す図であり、運転者の視線方向とカメラ向き制御部３４の向きとの関係を、上面視で概略的に示す図である。
【図４】左ピラーディスプレイ４４に表示すべき表示画像の生成方法を示す図である。
【図５】図４（Ｃ）で生成された表示画像が左ピラーディスプレイ４４に表示された状態を示す図である。
【図６】周辺監視ＥＣＵ３０により実行される主要処理の流れを示すフローチャートである。
【符号の説明】
【００７２】
１    車両用周辺監視装置
１０    周辺環境監視カメラ
１４    モータ１２及び
２０    運転者監視カメラ
３０    周辺監視ＥＣＵ
３２    視線方向検出部
３４    カメラ向き制御部
３６    表示制御部
４０    表示装置
４４    左ピラーディスプレイ
４５    右ピラーディスプレイ
４６    ルーフディスプレイ
４７    ダッシュボードディスプレイ
４８    左ドアディスプレイ
４９    右ドアディスプレイ
８０    切り抜き領域
【図１】
2008213649.tif 000003
【図２】
2008213649.tif 000004
【図３】
2008213649.tif 000005
【図４】
2008213649.tif 000006
【図５】
2008213649.tif 000007
【図６】
2008213649.tif 000008