(57)【要約】【課題】使用者がより自然な動作で画像の切り替え意図を伝えることが可能な車両周辺表示装置を提供する。【解決手段】表示器４０と、車両周辺の風景を撮像する車両周辺撮像部１０と、使用者の頭部の向きを検出する頭部検出部２０と、車両周辺撮像部１０によって撮像した車両周辺画像から所定の領域を切り出して、表示器４０に前記領域を示す切り出し画像を表示させる制御部３０と、を備える車両周辺表示装置１００である。制御部３０は、頭部検出部２０からの頭部検出情報に基づいて前記使用者の頭部オイラー角を算出し、この頭部オイラー角に基づいて前記領域を選択する。【選択図】図２
2016178454.tif 000002
【特許請求の範囲】
【請求項１】
表示器と、
車両周辺の風景を撮像する車両周辺撮像部と、
使用者の頭部の向きを検出する頭部検出部と、
前記車両周辺撮像部によって撮像した車両周辺画像から所定の領域を切り出して、前記表示器に前記領域を示す切り出し画像を表示させる制御部と、を備える車両周辺表示装置であって、
前記制御部は、前記頭部検出部からの頭部検出情報に基づいて前記使用者の頭部オイラー角を算出し、この頭部オイラー角に基づいて前記領域を選択する、ことを特徴とする車両周辺表示装置。
【請求項２】
前記制御部は、前記頭部オイラー角に連続的に依存するように前記領域を選択する、ことを特徴とする請求項１に記載の車両周辺表示装置。
【請求項３】
前記制御部は、前記表示器に、前記切り出し画像に重ねて車両情報を示す車両情報画像を表示させる、ことを特徴とする請求項１に記載の車両周辺表示装置。
【請求項４】
前記制御部は、前記表示器に、前記切り出し画像に重ねて前記車両と前記領域との相対位置関係を示す位置関係画像を表示させる、ことを特徴とする請求項１に記載の車両周辺表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺の画像を表示する車両周辺表示装置に関する。
【背景技術】
【０００２】
従来、バックミラー代わりに画像を見て車両周辺を確認できる車両周辺表示装置が知られている（例えば特許文献１参照）。
【０００３】
また、車両周辺表示装置において、車両周辺の画像を切り替えて表示する場合、専用のスイッチや方向指示器を使用者（主に運転者）の切り替え操作に用いると、操作が煩雑であったり、使用者の意図に対応しない画像が表示されたりするという問題がある。そのため、使用者の意図に応じた自動的な画像切り替えを行う方法が種々検討されており、例えば特許文献２〜４に開示されている。特許文献２は、使用者の意図の推定に運転者の頭部の動き（頭部のＸＹＺ位置の変化）を用いている。特許文献３は、使用者の意図の推定に使用者の注視方向を用いている。特許文献４は、使用者の意図の推定に使用者の注視方向の履歴を用いている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１８２２５４号公報
【特許文献２】特開２００５−５１４０３号公報
【特許文献３】特開２００７−１４２７２４号公報
【特許文献４】特開２０１１−１９４９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２〜４に開示されるいずれの方法による場合も、使用者が自然に見るのは車両周辺の画像が表示される表示器であり、使用者が画像切り替えの意図を伝えるために頭部位置や注視方向を変える動作を行おうとするとあえて不自然な動作を行うこととなり、車両周辺の画像を自動的に切り替える方法としてはなお改善の余地があった。
【０００６】
本発明は、上記の問題点に鑑みてなされたものであり、使用者がより自然な動作で画像の切り替えの意図を伝えることが可能な車両周辺表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前述の課題を解決するために、本発明の車両周辺表示装置は、表示器と、
車両周辺の風景を撮像する車両周辺撮像部と、
使用者の頭部の向きを検出する頭部検出部と、
前記車両周辺撮像部によって撮像した車両周辺画像から所定の領域を切り出して、前記表示器に前記領域を示す切り出し画像を表示させる制御部と、を備える車両周辺表示装置であって、
前記制御部は、前記頭部検出部からの頭部検出情報に基づいて前記使用者の頭部オイラー角を算出し、この頭部オイラー角に基づいて前記領域を選択する、ことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、使用者がより自然な動作で画像の切り替えの意図を伝えることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態である車両周辺表示装置の概観を示す図である。
【図２】同上車両周辺表示装置の電気的構成を示すブロック図である。
【図３】同上車両周辺表示装置の表示処理を示すフローチャート図である。
【図４】同上車両周辺表示装置における画像の一例を示す図である。
【図５】同上車両周辺表示装置における使用者の前庭動眼反射を説明する図である。
【図６】同上車両周辺表示装置における表示例を示す図である。
【図７】同上車両周辺表示装置における車両の座標系と仮想カメラの座標系を示す図である。
【図８】同上車両周辺表示装置における切り出し領域画像の形状を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明に係る実施形態について図面を参照して説明する。なお、本発明は下記の実施形態（図面の内容も含む。）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。
【００１１】
図１は、本発明の一実施形態に係る車両周辺表示装置１００の概観を示す図であり、図２は車両周辺表示装置１００の電気的構成を示す図である。
車両周辺表示装置１００は、車両Ｃに搭載されるものであり、車両Ｃ周辺を撮像する車両周辺撮像部１０と、使用者（主に運転者）Ｕを撮像する使用者撮像部２０と、ＥＣＵ（Electronic  Control  Unit）３０と、表示器４０と、を備える。
【００１２】
車両周辺撮像部１０は、車両Ｃの車体に取り付けられて車両Ｃの周辺を撮像する複数のカメラ１１、１２、１３を備える。複数のカメラ１１、１２、１３は例えばＣＣＤやＣＭＯＳなどの撮像素子からなる。本実施形態では、車両周辺撮像部１０はカメラ１１、１２、１３により車両Ｃの左右側方及び後方を撮像し、車両周辺画像として左側方画像、後方画像、右側方画像をそれぞれＥＣＵ３０に出力する。
【００１３】
使用者撮像部２０は、使用者Ｕの頭部の向きを検出する頭部検出部の一例であり、車両Ｃの車室内であって使用者Ｕの前方に配置され、使用者Ｕの頭部を撮像して使用者Ｕの頭部の向きを示す頭部検出情報として使用者頭部画像をＥＣＵ３０に出力するものである。使用者頭部撮像部２０は、例えば赤外線カメラからなり、図示しない赤外線照射部から使用者Ｕの頭部に向けられ使用者Ｕを反射した赤外光を感受して使用者Ｕの頭部を撮像する。
【００１４】
ＥＣＵ３０は、本発明の制御部の一例であり、例えばマイクロコンピュータからなり、車両周辺撮像部１０や使用者撮像部２０から画像を取り込む画像キャプチャ部３１と、取り込んだ画像を保存する画像メモリ３２と、ＥＣＵ３０が実行する処理（車両Ｃ全体の制御や車両周辺表示装置１００の制御など）を実際に行うＣＰＵ（Central  Processing  Unit）３３と、ＣＰＵ３３のメインメモリとして機能するＲＡＭ（Random  Access  Memory）３４と、ＥＣＵ３０に後述の処理などを実行させる各種プログラムを記憶するＲＯＭ（Read  Only  Memory）３５と、を備え、さらに、ＥＣＵ３０に入出力される情報（信号）をＣＰＵ用にデジタル変換したり出力用にアナログ変換したりする各種変換器（図示しない）を備える。ＥＣＵ３０は、ＣＰＵ３３に加えて、ＥＣＵ３０が行う処理の一部をＣＰＵに代わって実行するための各種専用回路（例えば、画像処理回路など）を備えても良い。
【００１５】
また、ＥＣＵ３０には、ナビゲーション装置２００からのナビゲーション情報（経路誘導や交通情報など）や各種センサ群３００からの車両情報（走行速度、エンジン回転数、残燃料、走行距離など）が入力されてもよい。
【００１６】
表示器４０は、車両用計器内あるいは専用に設けられて車両Ｃのインパネ、すなわち使用者Ｕの前方に配置されるものであり、例えばＴＦＴ型の液晶表示器や有機ＥＬ表示器からなる。表示器４０は、ＥＣＵ３０の制御の元で所定の表示画像を表示する。
【００１７】
次に、図３を用いて車両周辺表示装置１００の使用者Ｕの頭部オイラー角に基づく表示処理について説明する。
【００１８】
まず、ステップＳ１０１において、ＥＣＵ３０の画像キャプチャ部３１は、使用者撮像部２０から使用者Ｕの頭部を撮像した使用者頭部画像をキャプチャし（取り込み）、画像メモリ３２に保存する。
【００１９】
次に、ステップＳ１０２において、ＥＣＵ３０のＣＰＵ３３は、ステップＳ１０１で入力した使用者頭部画像に基づいて、使用者Ｕの頭部オイラー角を算出する。頭部オイラー角は、例えば、パン角（水平方向の角度）、チルト角（垂直方向の角度）、ロール角（前後方向を軸とした回転角）の組からなる。
【００２０】
また、ステップＳ１０３において、ＥＣＵ３０の画像キャプチャ部３１は、車両周辺撮像部１０の複数のカメラ１１、１２、１３から車両Ｃ周辺の風景を撮像した車両周辺画像をキャプチャし、画像メモリ３２に保存する。図４（ａ）は、複数のカメラ１１、１２、１３で撮像した車両周辺画像である左側方画像Ｆ１、後方画像Ｆ２、右側方画像Ｆ３の一例を示すものである。
【００２１】
また、ステップＳ１０４において、ＥＣＵ３０のＣＰＵ３３は、ステップＳ１０３で入力した左側方画像Ｆ１、後方画像Ｆ２、右側方画像Ｆ３をパノラマ合成処理して車両周辺画像として広角のパノラマ画像Ｆ４を生成し、画像メモリ３２に保存する。このように、本発明の車両周辺画像には車両周辺撮像部１０で撮像された画像及びこれらの画像を合成した画像を含む。車両周辺画像は広角の１つのカメラで撮像した画像であってもよい。図４（ｂ）は、パノラマ画像Ｆ４の一例を示すものである。なお、車両Ｃの前方を向いた使用者Ｕの左右感覚と一致させるために、図４（ｂ）に示す例では、パノラマ画像Ｆ４を左右反転したミラー画像として生成している。ＣＰＵ３３は、ステップＳ１０４において、パノラマ画像Ｆ４の歪み補正処理を実行してもよい。また、本実施形態ではＥＣＵ３０のＣＰＵ３３でパノラマ合成処理を行っているが、車両周辺撮像部１０側でパノラマ合成処理を行い、パノラマ画像Ｆ４をＥＣＵ３０に出力してもよい。
【００２２】
また、ステップＳ１０５において、ＥＣＵ３０のＣＰＵ３３は、ステップＳ１０２で算出した使用者Ｕの頭部オイラー角情報に基づいて、ステップＳ１０４で生成したパノラマ画像Ｆ４から所定の切り出し領域Ｅを選択して切り出し、切り出し画像Ｆ５を生成し、画像メモリ３２に保存する。切り出し領域Ｅの選択方法の一例としては、頭部オイラー角情報のうち、パン角に基づいてパノラマ画像Ｆ４上の切り出し領域Ｅを左右方向に移動させ、チルト角に基づいて切り出し領域Ｅを上下方向に移動させて切り出し領域Ｅの位置を決定し、画像の切り出しを行う。具体的には、頭部が右方向に回転し顔部が右側を向く場合は切り出し領域Ｅをパノラマ画像Ｆ４上で右方向に移動させてより右側の車両周辺領域が切り出されるようにし、頭部が左方向に回転し顔部が左側を向く場合は切り出し領域Ｅをパノラマ画像Ｆ４上で左方向に移動させてより左側の車両周辺領域が切り出されるようにする。また、頭部が上方向に回転し顔部が上側を向く場合は切り出し領域Ｅを上方向に移動させてより上側の車両周辺領域が切り出されるようにし、頭部が下方向に回転し顔部が下側を向く場合は切り出し領域Ｅを下方向に移動させてより下側の車両周辺領域が切り出されるようにする。すなわち、使用者Ｕの顔部の向きを表示させたい方向に向けることで、切り出し領域Ｅが選択される格好となる。また、切り出し領域Ｅは、頭部オイラー角情報に連続的に依存するように選択されることが望ましい。ここで「連続的に依存する」とは、頭部オイラー角ｘに切り出し領域Ｅを対応付ける写像Ｅ：ｘ→Ｅ（ｘ）が連続（連続写像）であること、すなわち、Ｅ（ｘ）の任意の近傍Ｖに対してｘの近傍Ｕｘが存在し、Ｅ（Ｕｘ）⊂Ｖが成り立つことをいう。具体的な一例としては、パノラマ画像Ｆ４を撮像可能な仮想カメラを設定し、頭部オイラー角情報のパン角及びチルト角を定数倍させた角度をそれぞれ仮想カメラのパン角及びチルト角として、仮想カメラのパン角及びチルト角に応じてパノラマ画像Ｆ４上の切り出し領域Ｅの移動量を決定する。
【００２３】
次に、ステップＳ１０６において、ＥＣＵ３０のＣＰＵ３３は、ステップＳ１０５で生成した切り出し画像Ｆ５を表示器４０に表示させる。図４（ｃ）は、切り出し画像Ｆ５の一例を示すものである。
【００２４】
以上の処理を繰り返し実行することによって、使用者Ｕは表示器４０の画面を見ながら頭部の向き（本実施形態では顔部の向き）を見たい方向に向けることで、使用者Ｕが意図する車両Ｃ周辺の風景を表示器４０に自動的に切り替えて表示させることができる。ここで、図５（ａ）に示すように使用者Ｕが表示器４０の画面上の点Ｐを注視している状態から、頭部を水平方向に回転させたとする。このとき、図５（ｂ）に示すように使用者Ｕには頭部の向きの変化を打ち消す方向に眼球が移動する前庭動眼反射（Vestibulo-Ocular  Reflex；ＶＯＲ）が発生し、使用者Ｕの注視点は無意識に点Ｐに維持される。なお、使用者Ｕが頭部を垂直方向に回転させた場合も同様にＶＯＲが発生する。したがって、車両周辺表示装置１００は、使用者Ｕのより自然な動作に基づいて切り出し画像Ｆ５を自動的に切り替えて表示することができる。
【００２５】
図６は、車両周辺表示装置１００の表示例を示すものである。図６（ａ）に示す第１の例では、切り出し画像Ｆ５のみが表示されている。
【００２６】
また、図６（ｂ）に示す第２の例のように、画像合成処理により、切り出し画像Ｆ５に車両情報を示す車両情報画像Ｆ６を重ねた合成画像を表示してもよい。これによれば、使用者Ｕは、車両Ｃ周辺の状況と車両Ｃの状況とを同時に認識することができる。
【００２７】
また、図６（ｃ）に示す第３の例のように、画像合成処理により、切り出し画像Ｆ５に車両Ｃに対する切り出し領域Ｅの相対位置関係を示す位置関係画像Ｆ７を重ねた合成画像を表示してもよい。図６（ｃ）に示す位置関係画像Ｆ７は、上方から見た車両Ｃを示す車両画像Ｆ７１と切り出し領域Ｅを示す切り出し領域画像Ｆ７２を含む俯瞰図からなる。これによれば、使用者Ｕは車両Ｃ周辺のどの領域が表示されているか一見して把握することができる。
【００２８】
なお、図６（ｃ）に示す位置関係画像Ｆ７における切り出し領域画像Ｆ７２の形状は、例えば以下のようにして求められる。
【００２９】
まず、図７に示すように、車両Ｃの中心を原点（０，０，０）とし、車両Ｃの水平方向の右方向をｘ軸の正方向とし、車両Ｃの水平方向の前方向をｙ軸の正方向とし、車両Ｃの垂直方向の上方向をｚ軸の正方向とする右手座標系を車両Ｃの座標系とし、ｚ軸上の所定の点（０，０，Ｈ）にパノラマ画像Ｆ４を撮像可能な１つの仮想カメラを置き、動径ｒ、パン角φ、チルト角θからなる極座標を仮想カメラの座標系とする。図７に示す例では、パン角φはｘ軸の正方向を０°とし、０°から時計回りの角度をプラスとし、反時計回りの角度をマイナスとする。チルト角θはｙ軸に平行な方向を０°とし、０°から上向きの角度をプラスとし、下向きの角度をマイナスとする。また、仮想カメラのパン角φ、チルト角θは頭部オイラー角情報のパン角、チルト角を定数倍するものとする。このとき、車両Ｃの座標系（ｘ，ｙ，ｚ）と仮想カメラの座標系（ｒ，φ，θ）とは、下記数式１の関係が成り立つ。
【数１】
2016178454.tif 000003
ｘｙ平面ではｚ＝０であるから数式１をｒについて解き、ｒを消去すると下記数式２が得られる。
【数２】
2016178454.tif 000004
そして、ｘｙ平面上の点（φ，θ）の方向を中心として、仮想カメラの画角から任意に抽出する複数の点を数式２で変換すると、車両Ｃの座標系のｘｙ平面における切り出し領域Ｅの形状を示す領域が得られる。
例えば、撮像面が１／２インチ、焦点距離ｆ＝６ｍｍである仮想カメラをＨ＝１．４５ｍに設置したとする。この場合、仮想カメラの画角はおよそ横５６°、縦４４°となる。そして、仮想カメラがｘｙ平面上の点（φ，θ）＝（−７０°，−３０°）の方向を向いたときの切り出し領域Ｅは、仮想カメラの画角内の４つの点Ｐ１（−７０°−２８°，−３０°−２２°）、Ｐ２（−７０°−２８°，−３０°＋２２°）、Ｐ３（−７０°＋２８°，−３０°＋２２°）、Ｐ４（−７０°＋２８°，−３０°−２２°）を含む複数の点を変換して得られる、図８に示す扇形の一部（仮想カメラの死角領域を除去した部分）となる（図８参照）。このようにして得られた形状を位置関係画像Ｆ７における切り出し領域画像Ｆ７２として表示する。
【００３０】
本実施形態における車両周辺表示装置１００は、表示器４０と、車両Ｃ周辺の風景を撮像する車両周辺撮像部１０と、使用者Ｕの頭部の向きを検出する使用者撮像部２０と、車両周辺撮像部１０によって撮像した車両周辺画像（パノラマ画像Ｆ４）から所定の領域（切り出し領域Ｅ）を切り出して、表示器４０に前記領域を示す切り出し画像Ｆ５を表示させるＥＣＵ３０と、を備え、
ＥＣＵ３０は、使用者撮像部２０からの頭部検出情報（使用者頭部画像）に基づいて使用者Ｕの頭部オイラー角を算出し、この頭部オイラー角に基づいて前記領域を選択する。
【００３１】
これによれば、使用者Ｕが、表示器４０に表示される画像を見ながら見たい方向に頭を向けるといったより自然な動作で切り出し画像Ｆ５の切り替えの意図を伝えることが可能となる。
【００３２】
また、車両周辺表示装置１００において、ＥＣＵ３０は、前記頭部オイラー角に連続的に依存するように前記領域を選択する。
これによれば、頭部の動きに連動して表示器４０に切り出し画像Ｆ５を表示することができ、実際に周辺を見ているような感覚で車両Ｃ周辺の風景を表示することができる。
【００３３】
また、車両周辺表示装置１００において、ＥＣＵ３０は、表示器４０に、切り出し画像Ｆ５に重ねて車両情報を示す車両情報画像Ｆ６を表示させる。
これによれば、使用者Ｕは、車両Ｃ周辺の風景と車両Ｃの状況とを同時に認識することができ、利便性が向上する。また、車室内の表示器の数を低減して製造コストを削減することができる。
【００３４】
また、車両周辺表示装置１００において、ＥＣＵ３０は、表示器４０に、切り出し画像Ｆ５に重ねて車両Ｃと前記領域との相対位置関係を示す位置関係画像Ｆ７を表示させる。
これによれば、使用者Ｕは車両Ｃ周辺のどの領域が表示されているか一見して把握することができ、表示器４０に表示される画像のみから車両感覚を容易に得ることができる。
【００３５】
なお、前述の実施形態では、制御部としてＥＣＵ３０を例に挙げて説明したが、本発明の制御部はＥＣＵ３０に限定されるものではない。制御部の他の例として、車両用計器やナビゲーション装置の制御部を兼用する、あるいは、車両周辺表示装置１００の専用の制御部を設けるものであってもよい。また、前述の実施形態では頭部検出部として使用者撮像部２０を例に挙げて説明したが、本発明の頭部検出部は使用者撮像部２０に限定されるものではない。頭部検出部の他の例として、使用者Ｕの頭部に装着される加速度センサやジャイロセンサなどを用いてもよい。この場合、加速度センサからは頭部検出情報としてｘｙｚ方向の加速度情報が制御部に出力され、ジャイロセンサからは頭部検出情報として角速度情報が制御部に出力される。
【産業上の利用可能性】
【００３６】
本発明は、車両周辺の画像を表示する車両周辺表示装置に好適である。
【符号の説明】
【００３７】
１００  車両周辺表示装置
１０    車両周辺撮像部
２０    使用者撮像部（頭部検出部）
３０    ＥＣＵ（制御部）
４０    表示器
Ｃ      車両
Ｆ１    左側方画像（車両周辺画像）
Ｆ２    後方画像（車両周辺画像）
Ｆ３    右側方画像（車両周辺画像）
Ｆ４    パノラマ画像（車両周辺画像）
Ｆ５    切り出し画像
Ｆ６    車両情報画像
Ｆ７    位置関係画像
Ｕ      使用者
【図１】
2016178454.tif 000005
【図２】
2016178454.tif 000006
【図３】
2016178454.tif 000007
【図４】
2016178454.tif 000008
【図５】
2016178454.tif 000009
【図６】
2016178454.tif 000010
【図７】
2016178454.tif 000011
【図８】
2016178454.tif 000012