(57)【要約】【課題】校正の手間をかけずに、拡張現実感のある画像表示を行うこと。【解決手段】開示の技術の一態様に係る画像表示システムは、撮像装置と、画像表示装置と、を有し、移動体に設けられる画像表示システムであって、前記撮像装置は、前記移動体の乗員の頭部と、前記移動体の外部と、が同一画像内に含まれている画像を撮像する撮像部を有し、前記画像表示装置は、表示画像を生成する画像生成部と、生成された前記表示画像を、前記乗員による視認の際に前記移動体の外部と重なる位置に表示する画像表示部と、前記画像に応じて、前記表示画像を表示する位置及び傾きの少なくとも１つを変更する変更部と、を有する。【選択図】図１０
2020083280.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置と、画像表示装置と、を有し、移動体に設けられる画像表示システムであって、
前記撮像装置は、
前記移動体の乗員の頭部と、前記移動体の外部と、が同一画像内に含まれている画像を撮像する撮像部を有し、
前記画像表示装置は、
表示画像を生成する画像生成部と、
生成された前記表示画像を、前記乗員による視認の際に前記移動体の外部と重なる位置に表示する画像表示部と、
前記画像に応じて、前記表示画像を表示する位置及び傾きの少なくとも１つを変更する変更部と、を有する
画像表示システム。
【請求項２】
前記画像に基づき、前記乗員の頭部の位置、前記乗員の頭部の姿勢、前記移動体の傾きの少なくとも１つを検出する検出部を有する、
請求項１に記載の画像表示システム。
【請求項３】
前記画像には、前記移動体の乗員の頭部と、前記移動体の外部と、に加え、前記移動体の内部構造が同一画像内にさらに含まれ、
前記検出部は、前記内部構造の前記外部に対する位置及び傾きの少なくとも１つに基づき、前記移動体の前記外部に対する傾きを検出する
請求項１、又は２に記載の画像表示システム。
【請求項４】
前記撮像装置は、広角レンズを有する
請求項１乃至３の何れか１項に記載の画像表示システム。
【請求項５】
前記撮像装置は、ステレオカメラを有する
請求項１乃至４の何れか１項に記載の画像表示システム。
【請求項６】
前記表示画像には、前記移動体の進路を示す情報が含まれている
請求項１乃至５の何れか１項に記載の画像表示システム。
【請求項７】
前記表示画像には、
前記表示画像を表示する位置及び傾きの少なくとも１つが前記変更部により変更される受動的表示画像と、
前記表示画像を表示する位置及び傾きが何れも前記変更部により変更されない能動的表示画像と、が含まれている
請求項１乃至６の何れか１項に記載の画像表示システム。
【請求項８】
請求項１乃至７の何れか１項に記載の画像表示システムを有する移動体。
【請求項９】
撮像装置と、画像表示装置と、を有し、移動体に設けられる画像表示システムによる画像表示方法であって、
前記撮像装置が、
前記移動体の乗員の頭部と、前記移動体の外部と、が同一画像内に含まれている画像を撮像する撮像工程と、
前記画像を前記画像表示装置に出力する出力工程と、を含み、
前記画像表示装置が、
表示画像を生成する画像生成工程と、
生成された前記表示画像を、前記乗員による視認の際に前記移動体の外部と重なる位置に表示する画像表示工程と、
前記画像に応じて、前記表示画像を表示する位置及び傾きの少なくとも１つを変更する変更工程と、を含む
画像表示方法。
【請求項１０】
移動体に設けられる画像表示装置であって、
表示画像を生成する画像生成部と、
生成された前記表示画像を、乗員による視認の際に前記移動体の外部と重なる位置に表示する画像表示部と、
前記移動体の前記乗員の頭部と、前記移動体の外部と、が同一画像内に含まれている入力画像に基づき、前記表示画像を表示する位置及び傾きの少なくとも１つを変更する変更部と、を有する
画像表示装置。
【請求項１１】
移動体に設けられる画像表示装置のコンピュータに、
表示画像を生成する画像生成ステップと、
生成された前記表示画像を、乗員による視認の際に前記移動体の外部と重なる位置に表示する画像表示ステップと、
前記移動体の前記乗員の頭部と、前記移動体の外部と、が同一画像内に含まれている入力画像に基づき、前記表示画像を表示する位置及び傾きの少なくとも１つを変更する変更ステップと、を実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示システム、移動体、画像表示方法、及び画像表示装置に関する。
【背景技術】
【０００２】
従来から、車両等の移動体に設けられ、運転者等の乗員の視界に直接画像を投射するヘッドアップディスプレイ（以降、ＨＵＤという）が知られている。
【０００３】
またＨＵＤでは、加速度センサにより検出された車両の振動情報と、撮像部により取得された乗員の姿勢情報とに応じてＨＵＤの画像の投射位置を補正して、拡張現実（ＡＲ：Augmented Reality）感のある画像を表示する技術が開示されている（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術では、加速度センサと撮像部という異なる構成要素がそれぞれ出力した情報に基づき、ＨＵＤの画像の投射位置を補正しているため、加速度センサと撮像部の出力の相互関係を校正する必要があり、手間がかかる場合があった。
【０００５】
本発明は、上記に鑑みてなされたものであり、校正の手間をかけずに、拡張現実感のある画像表示を行うことを課題とする。
【課題を解決するための手段】
【０００６】
開示の技術の一態様に係る画像表示システムは、撮像装置と、画像表示装置と、を有し、移動体に設けられる画像表示システムであって、前記撮像装置は、前記移動体の乗員の頭部と、前記移動体の外部と、が同一画像内に含まれている画像を撮像する撮像部を有し、前記画像表示装置は、表示画像を生成する画像生成部と、生成された前記表示画像を、前記乗員による視認の際に前記移動体の外部と重なる位置に表示する画像表示部と、前記画像に応じて、前記表示画像を表示する位置及び傾きの少なくとも１つを変更する変更部と、を有する。
【発明の効果】
【０００７】
開示の技術によれば、校正の手間をかけずに、拡張現実感のある画像表示を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係るＨＵＤの構成の一例を説明する図であり、（ａ）はＨＵＤの車両への配置の一例を説明する図であり、（ｂ）は車両のピッチング角、ヨー角、及びロール角を説明する図である。
【図２】実施形態に係る画像表示部の構成の一例を説明する図である。
【図３Ａ】ＨＵＤが搭載された車両の画像表示システムの構成の一例を説明するブロック図である。
【図３Ｂ】実施形態に係る処理部のハードウェア構成の一例を説明するブロック図である。
【図４】実施形態に係る表示画像の一例を説明する図であり、（ａ）はマークの表示画像の一例を説明する図であり、（ｂ）は進路情報の表示画像の一例を説明する図である。
【図５】車両のピッチングによる表示画像の位置ずれの一例を説明する図であり、（ａ）は車両のピッチングを説明する図であり、（ｂ）は正常な表示画像を説明する図であり、（ｃ）はピッチングによる表示画像の位置ずれを説明する図である。
【図６】車両のローリングによる表示画像の傾きずれの一例を説明する図であり、（ａ）は車両のローリングを説明する図であり、（ｂ）はローリングによる表示画像の傾きずれを説明する図である。
【図７】運転者の頭部の移動による表示画像の位置ずれの一例を説明する図であり、（ａ）は運転者の頭部が含まれる画像を説明する図であり、（ｂ）は頭部の移動を説明する図であり、（ｃ）は頭部の移動による表示画像の位置ずれを説明する図である。
【図８】第１の実施形態に係る広角カメラの車両への配置の一例を説明する図であり、（ａ）は車両の側面図であり、（ｂ）は車両の上面図である。
【図９】第１の実施形態に係る検出画像の一例を説明する図であり、（ａ）は同一画像内に車両の外部と運転者の頭部が含まれる検出画像を説明する図であり、（ｂ）は車両の外部の詳細を説明する拡大図である。
【図１０】第１の実施形態に係る画像表示システムの機能構成の一例を説明するブロック図である。
【図１１】第１の実施形態に係る画像表示システムの動作の一例を説明するシーケンス図である。
【図１２】位置ずれ補正後の表示画像の一例を説明する図であり、（ａ）は車両のピッチングによる位置ずれ補正後の表示画像を説明する図であり、（ｂ）は車両のローリングによる傾きずれ補正後の表示画像を説明する図であり、（ｃ）は乗員の頭部の移動による位置ずれ補正後の表示画像を説明する図である。
【図１３】坂道による表示画像の位置ずれ補正効果の第１例を説明する図であり、（ａ）は上り坂の場合を説明する図であり、（ｂ）は下り坂の場合を説明する図である。
【図１４】坂道による表示画像の位置ずれ補正効果の第２例を説明する図である。
【図１５】進路情報の表示画像の位置ずれ補正効果の第１例を説明する図であり、（ａ）は補正前の進路情報の表示画像を説明する図であり、（ｂ）は補正後の進路情報の表示画像を説明する図である。
【図１６】進路情報の表示画像の位置ずれ補正効果の第２例を説明する図であり、（ａ）は坂道を説明する図であり、（ｂ）は坂道による位置ずれ補正後の進路情報の表示画像を説明する図である。
【図１７】第１の実施形態の変形例に係る画像表示システムによる検出方法の一例を説明する図であり、（ａ）は正常な表示画像を説明する図であり、（ｂ）は検出された表示画像の位置・傾きのずれを説明する図である。
【図１８Ａ】第２の実施形態に係る画像表示システムの構成の一例を説明する図である。
【図１８Ｂ】第２の実施形態に係る画像表示システムの機能構成の一例を説明するブロック図である。
【図１９】第２の実施形態に係るステレオカメラによる検出画像の一例を説明する図であり、（ａ）は第１撮像部による検出画像を説明する図であり、（ｂ）は第２撮像部による検出画像を説明する図である。
【図２０】第２の実施形態に係る画像表示システムの動作の一例を説明するシーケンス図である。
【図２１】第３の実施形態に係る表示画像の一例を説明する図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一の構成部分には同一符号を付し、重複した説明を省略する場合がある。
【００１０】
実施形態に係る画像表示システムは、撮像装置と、画像表示装置とを有し、車両等の移動体に設けられるシステムである。実施形態では、移動体の一例である車両に、撮像装置の一例である広角カメラと、画像表示装置の一例であるヘッドアップディスプレイ（以降、ＨＵＤという）とが搭載される例を説明する。
【００１１】
＜ＨＵＤの構成＞
先ず、実施形態に係るＨＵＤの構成について説明する。
【００１２】
ＨＵＤは、搭載された車両のフロントガラスを介して、車両の操縦に必要なナビゲーション情報を、車両の運転者（乗員の一例）に視認可能に表示する画像表示装置である。ここで、ナビゲーション情報とは、車両の速度、進路情報、目的地までの距離、現在地名称、車両前方における物体の有無や位置、制限速度等の標識、渋滞情報等の情報である。ＨＵＤにより表示されるナビゲーション情報を含む画像は、「表示画像」の一例であり、以降では単に表示画像という。
【００１３】
図１は、実施形態に係るＨＵＤの構成の一例を説明する図であり、（ａ）はＨＵＤの車両への配置の一例を説明する図であり、（ｂ）は車両のピッチング角、ヨー角、及びロール角を説明する図である。
【００１４】
図１（ａ）に示すように、ＨＵＤ１００は、車両１２０に搭載されており、処理部１０１と、画像表示部１０２とを有している。
【００１５】
処理部１０１は、上述のナビゲーション情報を含む表示画像を生成し、画像表示部１０２に出力する機能を有する。なお、処理部１０１は、車両１２０内の任意の位置に配置することができる。
【００１６】
画像表示部１０２は、車両１２０内で処理部１０１が生成した表示画像を、運転者１３０の視界に虚像として重畳して表示する機能を有する。換言すると、画像表示部１０２は入力した表示画像を運転者１３０による視認の際に車両１２０の外部と重なる位置に表示することができる。
【００１７】
画像表示部１０２は、車両１２０のインテリアデザインに準拠して任意の位置に配置してよく、車両１２０内のダッシュボード上に配置することができる。画像表示部１０２を車両１２０内の天井部等に配置してもよい。或いは、画像表示部１０２をダッシュボード内に埋め込んでもよい。
【００１８】
より詳しくは、画像表示部１０２は、内部で生成した中間像をミラーやレンズ等で拡大虚像表示し、運転者１３０の視点から所定の距離感を持って画像を表示することができる。
【００１９】
画像表示部１０２の実現形態としては、液晶パネル、ＤＭＤ（Digital Micro-mirror Device）パネル、蛍光表示管（ＶＦＤ；Vacuum Fluorescent Display）のようなイメージングデバイスで中間像を形成する「パネル方式」と、レーザ光源から射出されたレーザビームを２次元走査デバイスで走査し、中間像を形成する「レーザ走査方式」等があるが、実施形態では何れの形態を用いてもよい。
【００２０】
但し、レーザ走査方式は、虚像の広角化が可能であること、外光に対してロバストな高輝度画像を表示できることから、実施形態において用いると好適である。実施形態では、レーザ走査方式の画像表示部１０２を例にして説明する。
【００２１】
図１（ｂ）は車両９のピッチング角、ヨー角、及びロール角を示している。移動体など前後・左右・上下が決まった物体が、前後の軸（図のＺ軸）に対して回転（又は傾斜）することをローリング、左右の軸（図のＸ軸）に対して回転（又は傾斜）することをピッチング、上下軸（図のＹ軸）に対して回転（又は傾斜）することをヨーイングという。また、それぞれの回転量又は傾斜量をロール角、ピッチング角、ヨー角という。
【００２２】
次に、図２は、実施形態に係る画像表示部の構成の一例を説明する図である。図２に示すように、画像表示部１０２は、光源部５１と、光偏向器５２と、第１ミラー５３と、被走査面５４と、第２ミラー５５とを有する。なお、図２において、１３５は運転者１３０の眼球（以降、眼球１３５とする）を示し、１６０は虚像（以降、虚像１６０とする）を示している。
【００２３】
光源部５１は、ＲＧＢに対応した３つのレーザ光源、カップリングレンズ、アパーチャ、合成素子、レンズ等を備えており、３つのレーザ光源から出射されたレーザ光を合成して光偏向器５２の反射面に向かって導く。光偏向器５２の反射面に導かれたレーザ光は、光偏向器５２により２次元的に偏向される。光源部５１は、ＲＧＢに対応した３つのＬＤ（Laser Diode）等で構成されている。
【００２４】
光偏向器５２としては、直交する２軸に対して揺動する１つの微小なミラーや、１軸に揺動又は回動する２つの微小なミラー等を用いることができる。光偏向器５２は、半導体プロセス等で作製されたＭＥＭＳ（Micro Electro Mechanical Systems）とすることができる。光偏向器５２は、圧電素子の変形力を駆動力とするアクチュエータにより駆動することができる。
【００２５】
光偏向器５２により２次元的に偏向された光束は、第１ミラー５３に入射し、第１ミラー５３により折り返されて被走査面５４に２次元像を描画する。第１ミラー５３としては、凹面ミラー等を用いることができる。また第１ミラー５３の反射面をアナモフィックな形状にしてもよい。つまり、第１ミラー５３の反射面は、所定方向の曲率と、それに直交する方向の曲率とが異なる形状の反射面とすることができる。第１ミラー５３の反射面をアナモフィックな形状にすることにより、収差補正性能を向上させることができる。
【００２６】
被走査面５４は、第１ミラー５３で反射された光束が入射して２次元像が形成される透過性を有する面である。被走査面５４は、合成されたレーザ光を所望の発散角で発散させる機能を有しており、マイクロレンズアレイ構造等にすると好適である。被走査面５４から射出された光束は、第２ミラー５５及び透過反射部材５９により拡大表示される。第２ミラー５５としては、凹面ミラー等を用いることができる。画像表示部１０２は、レンズやプリズム等の透過型光学素子を具備してもよい。
【００２７】
透過反射部材５９は、可視域の透過率が１０〜７０％程度である鏡であり、第２ミラー５５により折り返された光束が入射する側に、例えば、誘電体多層膜或いはワイヤーグリッド等が形成された反射面を有する。透過反射部材５９の反射面は、レーザが出射する光束の波長帯を選択的に反射するものとすることができる。すなわち、ＲＧＢに対応した３つのレーザからの出射光を包含する反射ピークや反射バンドを有するものや、特定の偏向方向に対して反射率を強めるように形成されたものとすることができる。
【００２８】
透過反射部材５９は、車両１２０のフロントガラス１２５（図１参照）であっても良い。また、フロントガラス１２５とは異なる部材であってもよい。画像表示部１０２を車両１２０において運転者１３０の前方に配置することにより、透過反射部材５９の反射面で反射された光束は、運転席にいる運転者１３０の眼球１３５へ入射する。そして、被走査面５４の２次元像が、透過反射部材５９の反射面よりも前方の所定の位置に拡大された虚像１６０として運転者１３０に視認される。
【００２９】
次に、ＨＵＤ１００が搭載される車両の画像表示システムの構成について説明する。図３Ａは、ＨＵＤが搭載された車両の画像表示システムの構成の一例を説明するブロック図である。
【００３０】
画像表示システム１はＣＡＮ（Controller Area Network）バスなどの車載ネットワークＮＷを介して通信する舵角センサ６１と、着座センサ６２と、車速センサ６３と、ＨＵＤ１００と、広角カメラ２００とを有する。
【００３１】
舵角センサ６１は、運転者によるステアリングホイールの操舵角を検出するセンサである。主に操舵の方向と操舵量を検出する。どのような原理で検出してもよいが例えば、ステアリングホイールと連動して回転するスリット円盤を通過する光のＯＮ／ＯＦＦをカウントするものがある。
【００３２】
着座センサ６２は車両の座席ごとに乗員が着座しているか否かを検出するセンサである。例えば、シート内に設置された圧力検知センサ、又は赤外線センサなどにより着座の有無を検出する。車室内を撮像するカメラにより検出してもよい。
【００３３】
車速センサ６３は、例えば車輪の回転をホール素子などで検出し、回転速度に応じたパルス波を出力する。単位時間の回転量（パルス数）とタイヤの外径とから車速を検出する。
【００３４】
ＨＵＤ１００は車載された各センサからの情報を取得できる。また、ＨＵＤ１００は車載ネットワークからではなく外部のネットワークからの情報を取得してもよい。例えば、ＧＰＳ情報、操舵角、又は車速などを取得できる。操舵角、車速については、今後自動運転が実用化された場合、ＩＴＳ（Intelligent Transport Systems）によって走行車両の位置姿勢や車速を観測して車載デバイスをコントロール可能であると考えられる。
【００３５】
広角カメラ２００は、広角レンズを備えるカメラであり、車両１２０内の運転者１３０の頭部１３１と、運転者１３０の視界等の車両１２０の外部が同一画像内に含まれる検出画像を撮像することができる。この詳細については第１の実施形態において説明する。また、広角カメラ２００に代えて、第２の実施形態で説明するステレオカメラ３００がネットワークＮＷに接続されてもよい。
【００３６】
次に、ＨＵＤの備える処理部のハードウェア構成について説明する。図３は、実施形態に係る処理部のハードウェア構成の一例を示すブロック図である。
【００３７】
処理部１０１は、ＣＰＵ（Central Processing Unit）１０３と、ＲＯＭ（Read Only Memory）１０４と、ＲＡＭ（Random Access Memory）１０５と、入出力Ｉ／Ｆ（Inter／face）１０６と、ＳＳＤ（Solid State Drive）１０７と、ＧＰＳ（Global Positioning System）受信機１０８と、ＦＰＧＡ（Field-Programmable Gate Array）と、ＬＤドライバ９２と、ＭＥＭＳコントローラ９３とを有し、それぞれはバスＢで相互に接続されている。
【００３８】
ＣＰＵ１０３は、ＲＯＭ１０４やＳＳＤ１０７等の記憶装置からプログラムやデータをＲＡＭ１０５上に読み出し、処理を実行することで、処理部１０１全体の制御や、別途図１０等用いて説明する各種機能を実現する演算装置である。なお、ＣＰＵ１０３の有する機能の一部、又は全部を、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ等のハードウェアにより実現させてもよい。
【００３９】
ＲＯＭ１０４は、電源を切ってもプログラムやデータを保持することが可能な不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ１０４には、プログラムやデータが格納されている。
【００４０】
ＲＡＭ１０５は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。ＲＡＭ１０５には、ＣＰＵ１０３が画像処理等の処理を実行するために画像データを一時保存する画像メモリが含まれている。
【００４１】
ＳＳＤ１０７は、プログラムやデータを格納している不揮発性の記憶装置である。ＳＳＤ１０７の代わりにＨＤＤ（Hard Disk Drive）等が設けられてもよい。
【００４２】
入出力Ｉ／Ｆ１０６は、後述する広角カメラ２００等の外部機器と接続するためのインターフェースである。また、入出力Ｉ／Ｆ１０６を介して、処理部１０１はＣＡＮバス等の車載ネットワークに接続することができる。さらに、処理部１０１は入出力Ｉ／Ｆ１０６を介してＰＣ（Personal Computer）や映像機器等の外部機器と接続してもよい。
【００４３】
ＧＰＳ受信機１０８は、ＧＰＳ情報を受信する電気回路である。なお、ＣＡＮバスを介してカーナビゲーションシステムが接続され、カーナビゲーションシステムからルートや方向等の情報が受信されるようにしても良い。また、カーナビゲーションシステムが、後述する地図情報記憶部１１０と、現在位置情報取得部１１１の機能を実現してもよい。
【００４４】
ＦＰＧＡ９１は、ＣＰＵ１０３が作成した画像に基づいてＬＤドライバ９２を制御する。ＬＤドライバ９２は光源部５１に電気的に接続され、光源部５１のＬＤを駆動することで、画像に応じたＬＤの発光を制御する。
【００４５】
ＦＰＧＡ９１は、画像の画素位置に応じた方向にレーザビームが偏向されるように、光偏向器５２に電気的に接続されたＭＥＭＳコントローラ９３により、光偏向器５２を動作させる。
【００４６】
＜ＨＵＤによる表示画像とその位置・傾きのずれ＞
ここで、ＨＵＤ１００による表示画像について説明する。図４は実施形態に係る表示画像の一例を説明する図である。（ａ）はマークの表示画像の一例を説明する図であり、（ｂ）は進路情報の表示画像の一例を説明する図である。
【００４７】
図４では、フロントガラス１２５を通した運転者１３０の視界（車両１２０の前方の風景であり、以降では、単に運転者１３０の視界という）と、視界に重畳して表示された表示画像とが示されている。
【００４８】
図４（ａ）では、道路１５０上に歩行者１５１が視認され、歩行者１５１の周囲に一点鎖線で示すマーク１４１が重畳して表示されている。このようにマーク１４１を運転者１３０の視界に重畳して表示することで、運転者１３０に歩行者１５１の存在を知らしめ、注意を喚起することができる。
【００４９】
運転者１３０の視界でマーク１４１を表示させる位置は、車両１２０に搭載されたステレオカメラ等の前方認識手段の出力に基づき決定することができる。また、本実施形態では、後述するように、マーク１４１の位置及び傾きの少なくとも１つ（以降では、位置・傾きという）を広角カメラ２００による画像に応じて変更することができる。
【００５０】
一方、図４（ｂ）では、十字路１５２が視認され、進路を矢印で示す進路情報１４２が十字路１５２に重畳して表示されている。このように、進路情報１４２を運転者１３０の視界に重畳して表示することで、運転者１３０に、十字路１５２で車両１２０を右折させるためのハンドル操作を促すことができる。
【００５１】
右折や左折等の進路情報１４２の種類は、ＧＰＳ等から提供される情報に基づき決定することができる。また、本実施形態では、後述するように、進路情報１４２の位置・傾きを広角カメラ２００による画像に応じて変更することができる。
【００５２】
ここで、車両１２０は、路面の凹凸やプレーキ操作、ハンドル操作等により、走行中にピッチングやローリング等の傾きの変化を起こす場合がある。そして車両１２０の傾きの変化により、運転者１３０の視界が変動し、運転者１３０の視界に対してＨＵＤ１００による表示画像の位置・傾きがずれる場合がある。
【００５３】
図５は、車両のピッチングによる表示画像の位置ずれの一例を説明する図である。図５（ａ）は車両のピッチングを説明する図であり、（ｂ）は正常な表示画像を説明する図であり、（ｃ）はピッチングによる表示画像の位置ずれを説明する図である。
【００５４】
図５（ａ）に示すように、車両１２０の傾きがピッチングによって太矢印１２１ａの方向に変化すると、運転者１３０の視界は相対的に太矢印１２１ａの反対の方向に移動する。そのため、本来、図５（ｂ）に示すように、車両１２０の前方の歩行者１５１の周囲にマーク１４１が表示されるところ、図５（ｃ）に示すように、運転者１３０の視界が太矢印１２１ｂの方向に移動する。その結果、マーク１４１が歩行者１５１に対して相対的に位置ずれし、正しく表示されなくなる。なお、図５において、１２６はルームミラーを示し、１５０ａは運転者１３０の視界に含まれる地平線を表している。
【００５５】
一方、図６は、車両のローリングによる表示画像の傾きずれの一例を説明する図である。図６（ａ）は車両のローリングを説明する図であり、（ｂ）はローリングによる表示画像の傾きずれを説明する図である。
【００５６】
図６（ａ）に示すように、車両１２０の傾きがローリングによって太矢印１２２ａの方向に変化すると、運転者１３０の視界は相対的に太矢印１２２ａの反対の方向に傾く。そして、図６（ｂ）に示すように、運転者１３０の視界が太矢印１２２ｂの方向に傾く結果、マーク１４１が歩行者１５１に対して相対的な傾きずれをおこし、正しく表示されなくなる。
【００５７】
さらに、運転者１３０の頭部の位置や姿勢が変化した場合にも、運転者１３０の視界の位置や傾きは変化するため、上述のような表示画像の位置・傾きのずれが生じ得る。
【００５８】
図７は、運転者の頭部の移動による表示画像の位置ずれの一例を説明する図である。図７（ａ）は、運転者の頭部が含まれる画像を説明する図であり、（ｂ）は頭部の移動を説明する図であり、（ｃ）は頭部の移動による表示画像の位置ずれを説明する図である。
【００５９】
図７（ａ）において、運転者１３０は車両１２０の運転席に着座し、フロントガラス１２５を通して車両１２０の前方の風景を視認しながら車両１２０を運転している。ここで、車両１２０の前方の風景は、「移動体の外部」の一例である。但し、「移動体の外部」は前方の風景に限定されるものではなく、車両１２０の傾きが検出出来れば、車両１２０の後方や側方であってもよい。
【００６０】
図７（ａ）の状態の場合に、図７（ｂ）に示すように、運転者１３０の頭部１３１が太矢印１２３ａの方向に移動すると、運転者１３０の視界は相対的に太矢印１２３ｂの反対の方向に移動する。そして、図７（ｃ）に示すように、運転者１３０の視界が太矢印１２３ｂの方向に移動する結果、マーク１４１が歩行者１５１に対して相対的に位置ずれし、正しく表示されなくなる。
【００６１】
以上のことから、本実施形態に係る画像表示システム１は、運転者１３０の頭部１３１と、車両１２０の外部とが同一画像内（同一フレーム内。同一視野内）に含まれる画像を撮像する広角カメラ２００を有する。広角カメラ２００による画像は、「移動体の乗員の頭部と、移動体の外部と、が同一画像内に含まれている画像」の一例であり、また「入力画像」の一例である。以下では、広角カメラ２００による画像を検出画像という。
【００６２】
広角カメラ２００による検出画像に基づき、マーク１４１や進路情報１４２等の表示画像の位置・傾きを変更し、位置・傾きずれを補正する。以下に、その詳細を説明する。
【００６３】
［第１の実施形態］
＜広角カメラの構成＞
図８は、本実施形態に係る広角カメラの車両への配置の一例を説明する図である。図８（ａ）は車両の側面図であり、（ｂ）は車両の上面図である。図８に示すように、広角カメラ２００は、車両１２０内の天井の中央部分に固定されている。
【００６４】
この部分にはルームライトが配置される場合があるが、広角カメラ２００はその近傍に配置されてもよいし、ルームライトに代えて配置されてもよい。或いはルームライトと広角カメラ２００とを一体にした構成としてもよい。
【００６５】
但し、広角カメラ２００の固定位置は、上記の部分に限定されるものではなく、ルームミラー１２６の近傍等でもよい。またルームミラー１２６と広角カメラ２００とを一体にした構成としてもよい。
【００６６】
広角カメラ２００は、広角レンズを備えるカメラであり、上述のように、車両１２０内の運転者１３０の頭部１３１と、運転者１３０の視界等の車両１２０の外部が同一画像内に含まれる検出画像を撮像することができる。
【００６７】
但し、これに限定されるものではなく、運転者１３０の頭部１３１と車両１２０の外部が同一画像内に含まれる検出画像を撮像できるものであれば、撮像装置に必ずしも広角カメラを用いなくてもよい。
【００６８】
一方で、撮像装置が１８０度以上の視野角のレンズを備えるカメラであれば、ルームミラー１２６の近傍に撮像装置を配置した場合にも、車両１２０内の運転者１３０の頭部１３１と運転者１３０の視界とを同一画像内に収めることができる。なお、この場合、運転者１３０はルームミラー１２６に対して右斜め後方、又は左斜め後方に位置することになるため、両方を視野に含めるために、撮像装置を運転者１３０に向けて配置する必要がある。
【００６９】
また、撮像装置が３６０度の視野角のレンズを備えるカメラであれば、ルームミラー１２６の近傍に撮像装置を配置した場合にも、撮像装置を運転者１３０に向けて配置することなく、運転者１３０の頭部１３１と前方の風景とを同一画像内に収めることができる。
【００７０】
他に、撮像装置に広角、或いは超広角レンズを備えるカメラを用いることで、フロントガラス１２５だけでなく、サイドウィンドウやリヤウィンドウを通した車両１２０の外部の風景も運転者１３０の頭部１３１と同一画像内に収めることができる。そして、これらの情報を、表示画像の位置・傾きのずれの補正のさらなる高精度化等に利用することができる。
【００７１】
次に、本実施形態に係る検出画像について説明する。
【００７２】
図９は、本実施形態に係る検出画像の一例を説明する図である。（ａ）は同一画像内に車両の外部と運転者の頭部が含まれる検出画像を説明する図であり、（ｂ）は車両の外部の詳細を説明する拡大図である。
【００７３】
図９（ａ）に示すように、検出画像には運転者１３０の頭部１３１と、フロントガラス１２５が含まれている。また図９（ｂ）に示すように、検出画像には、運転者１３０の視界であるフロントガラス１２５を通した前方の風景が含まれている。
【００７４】
本実施形態では、このような検出画像に基づき、以下に説明する機能構成により、運転者１３０の視界に対する表示画像のずれを補正することができる。
【００７５】
＜第１の実施形態に係る画像表示システムの機能構成＞
図１０は、本実施形態に係る画像表示システムの機能構成の一例を説明するブロック図である。なお、図１０の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部又は一部を、任意の単位で機能的又は物理的に分散・結合して構成してもよい。
【００７６】
図１０に示すように、画像表示システム１はＨＵＤ１００と、広角カメラ２００とを有している。また広角カメラ２００は、撮像部２１０と、画像出力部２１１とを有している。広角カメラ２００は、撮像部２１０により撮像された検出画像を、画像出力部２１１を介してＨＵＤ１００に出力する機能を有する。
【００７７】
撮像部２１０は、被写体像を結像させる広角レンズと、結像された被写体像を撮像する撮像素子と、撮像素子を制御する撮像制御部とを有している。広角レンズは、レンズ等の複数の光学素子を用いて構成することができる。
【００７８】
撮像素子には、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor Device）等を用いることができる。撮像制御部は、撮像素子の露光制御、画像読み出し制御、外部回路との通信、及び画像データの送信制御等を行う電気回路により実現できる。なお、撮像制御部は、ＣＰＵやＲＯＭ等を含んで構成されてもよい。
【００７９】
画像出力部２１１は、ＨＵＤ１００等の外部機器に向けてデータや信号を送信する機能を有し、インターフェースを行う電気回路等により実現できる。尚、画像出力部２１１は「出力部」の一例である。
【００８０】
一方で、ＨＵＤ１００は、処理部１０１と、画像表示部１０２とを有し、また処理部１０１は、検出部１０９と、地図情報記憶部１１０と、現在位置情報取得部１１１と、画像生成部１１２と、変更部１１３とを有している。
【００８１】
検出部１０９は、検出画像入力部１１４と、車両傾き検出部１１５と、頭部位置・姿勢検出部１１６と、物体検出部１１７とを有している。検出画像入力部１１４は広角カメラ２００から入力した検出画像を、車両傾き検出部１１５、及び頭部位置・姿勢検出部１１６に出力することができる。検出画像入力部１１４は入出力Ｉ／Ｆ１０６により実現できる。
【００８２】
車両傾き検出部１１５は、入力した検出画像に対して画像処理を実行し、車両１２０の傾きを検出する機能を有する。
【００８３】
一例として、車両傾き検出部１１５は、検出画像に含まれている地平線１５０ａ（図５（ｂ）等参照）の検出画像内での位置（座標）と傾きを検出する。検出画像内での地平線１５０ａの位置と傾きは、相対的には地平線１５０ａに対する広角カメラ２００の傾きを意味し、また広角カメラ２００は車両１２０に固定されているため、広角カメラ２００の傾きは車両１２０の傾き、すなわちピッチング及びローリングを意味する。図５及び図６で説明したように、車両１２０のピッチングにより地平線１５０ａの位置が変化し、車両１２０のローリングにより地平線１５０ａの傾きが変化する。
【００８４】
従って、車両傾き検出部１１５は、検出画像内での地平線１５０ａの位置を検出することで、車両１２０のピッチングを検出し、地平線１５０ａの傾きを検出することで車両１２０のローリングを検出することができる。
【００８５】
一例として、走行中にほとんど変化しない地平線１５０ａの位置が車両１２０のピッチングがない状態を示し、これに対する地平線１５０ａの位置の変化が、車両１２０のピッチングとして検出される。
【００８６】
同様に、走行中にほとんど変化しない地平線１５０ａの傾きが車両１２０のローリングがない状態を示し、これに対する地平線１５０ａの傾きの変化が車両１２０のローリングとして検出される。
【００８７】
また検出画像は広角カメラ２００の撮像周期（フレームレート）により時系列で撮像されるため、車両傾き検出部１１５は、地平線１５０ａに対する車両１２０のピッチング及びローリング（以降では、両者を区別しない場合は併せて傾きという）の時間変化を撮像周期に合わせて検出することができる。
【００８８】
検出画像に地平線が含まれない場合は、車両傾き検出部１１５は、遠方のビルや家屋、或いは前方車両等の走行中に変化の少ない風景を利用して、車両１２０の傾きを検出してもよい。
【００８９】
また検出画像に含まれる前方車両や歩行者、建造物等の被写体のオプティカルフローや、隣接フレーム間での画像差分に基づき、走行中の車両１２０の傾きを検出してもよい。この場合、オプティカルフローや画像差分値の定常状態からの変化が、車両１２０の傾きとして検出される。
【００９０】
なお、上述したように、車両１２０のピッチングにより車両１２０の外部の風景の位置が変化し、車両１２０のローリングにより車両１２０の外部の風景の傾きが変化する。このように車両の傾きと外部の風景の位置・傾きは相対的なものであるため、車両傾き検出部１１５は、車両１２０の外部の風景の位置・傾きを検出すると換言してもよい。
【００９１】
位置・傾き検出の画像処理アルゴリズムには従来の方法を適用できるため、ここでは説明を省略する。車両傾き検出部１１５は、検出した車両１２０の傾きを変更部１１３に出力する。
【００９２】
一方、頭部位置・姿勢検出部１１６は、入力した検出画像に対して画像処理を実行し、運転者１３０の頭部１３１の位置及び姿勢の少なくとも１つ（以降では、位置・姿勢という）を検出する機能を有する。
【００９３】
一例として、地平線１５０ａに対する頭部１３１の位置が検出され、地平線１５０ａに対する頭部１３１の姿勢が検出される。
【００９４】
上述と同様に、位置・傾き検出のための画像処理アルゴリズムには従来の方法を適用できるため、ここでは説明を省略する。頭部位置・姿勢検出部１１６は、検出した頭部１３１の位置・姿勢を変更部１１３に出力する。
【００９５】
物体検出部１１７は、図示を省略するステレオカメラから車両１２０の前方の情報を入力し、前方画像に含まれる歩行者の位置情報を画像生成部１１２に出力する。ここで、車両１２０の前方の情報は、車両１２０の前方の物体の距離情報であってもよいし、車両１２０の前方の画像情報であってもよい。また、車両１２０の前方の物体の距離情報は、ステレオカメラだけでなく、レーザーレーダー等の装置から入力してもよい。一方で、物体検出部１１７は、ステレオカメラから入力した視差画像に対して視差演算処理を実行し、車両１２０の前方の距離情報を検出してもよい。
【００９６】
地図情報記憶部１１０は道路情報を含む地図情報を記憶している。現在位置情報取得部１１１は、入力したＧＰＳ情報に基づき、地図情報記憶部１１０を参照して車両１２０の現在位置、及びその周辺状況の情報を取得し、画像生成部１１２に出力する。
【００９７】
画像生成部１１２は、物体検出部１１７から入力した歩行者の位置情報に基づき、運転者１３０の視界に含まれる歩行者と重なる位置に、マーク１４１を表示する表示画像を生成する。
【００９８】
また、画像生成部１１２は、現在位置情報取得部１１１から入力した車両１２０の現在位置、及びその周辺状況の情報に基づき、運転者１３０の視界に含まれる道路と重なる位置に、進路情報１４２を表示する表示画像を生成してもよい。画像生成部１１２は、生成した表示画像を変更部１１３に出力する。
【００９９】
変更部１１３は、車両傾き検出部１１５から入力した車両１２０の傾きと、頭部位置・姿勢検出部１１６から入力した頭部１３１の位置・姿勢とに基づき、表示画像の位置・傾を変更する。これにより運転者１３０の視界に対する表示画像の位置・傾きのずれを補正することができる。
【０１００】
具体的には、変更部１１３は、検出された車両１２０のピッチングによる傾き、及び／又は頭部１３１の位置に応じて表示画像をシフトさせる幾何変換画像処理を実行する。これにより運転者１３０の視界に対する表示画像の位置ずれを補正することができる。
【０１０１】
また変更部１１３は、検出された車両１２０のローリングによる傾き、及び／又は頭部１３１の姿勢に応じて表示画像を回転させる幾何変換画像処理を実行する。この場合の回転中心は、マーク１４１や進路情報１４２の重心位置とすることができる。これにより運転者１３０の視界に対する表示画像の傾きずれを補正することができる。
【０１０２】
但し、変更部１１３による補正処理は、表示画像の幾何変換画像処理に限定されるものではなく、画像表示部１０２に含まれる第１ミラーや第２ミラーをシフト、及び／又は回転させる処理であっても良い。
【０１０３】
なお、本実施形態では、ＨＵＤ１００が処理部１０１の機能を有する例を説明したが、処理部１０１の一部又は全部の機能を広角カメラ２００が備えてもよい。また処理部１０１を、ＨＵＤ１００及び広角カメラ２００とは別に設けてもよい。
【０１０４】
＜第１の実施形態に係る画像表示システムの動作＞
次に、画像表示システム１の動作について説明する。
【０１０５】
図１１は、本実施形態に係る画像表示システムの動作の一例を説明するシーケンス図である。なお、図１１では、運転者１３０の視界に含まれる歩行者と重なる位置に、表示画像としてマーク１４１を表示する場合を一例として説明する。
【０１０６】
先ず、ステップＳ１１１において、ＨＵＤ１００の備える物体検出部１１７は、ステレオカメラ等から入力された車両１２０の前方画像に含まれる歩行者を検出し、歩行者の位置情報を画像生成部１１２に出力する。
【０１０７】
続いて、ステップＳ１１２において、画像生成部１１２は、入力した歩行者の位置情報に基づき、運転者１３０の視界に含まれる歩行者と重なる位置にマーク１４１を表示する表示画像を生成し、変更部１１３に出力する。
【０１０８】
続いて、ステップＳ１１３において、広角カメラ２００の備える撮像部２１０は、同一画像内に車両の外部と運転者の頭部が含まれる検出画像を撮像し、画像出力部２１１に出力する。
【０１０９】
続いて、ステップＳ１１４において、画像出力部２１１は、入力した検出画像をＨＵＤ１００の備える検出画像入力部１１４に出力する。検出画像入力部１１４は、入力した検出画像を車両傾き検出部１１５及び頭部位置・姿勢検出部１１６に出力する。
【０１１０】
なお、ステップＳ１１１〜Ｓ１１２の表示画像の生成処理と、ステップＳ１１３〜Ｓ１１４の検出画像の撮像及び出力処理の順番は適宜変更可能であり、また表示画像の生成処理と検出画像の撮像及び出力処理が並行して実行されてもよい。
【０１１１】
続いて、ステップＳ１１５において、車両傾き検出部１１５は、入力した検出画像に基づき、車両１２０の傾きを検出し、検出結果を変更部１１３に出力する。
【０１１２】
続いて、ステップＳ１１６において、頭部位置・姿勢検出部１１６は、入力した検出画像に基づき、頭部１３１の位置・姿勢を検出し、検出結果を変更部１１３に出力する。
【０１１３】
なお、ステップＳ１１５〜Ｓ１１６の処理の順番は適宜変更可能であり、またＳ１１５〜Ｓ１１６の処理が並行して実行されてもよい。
【０１１４】
続いて、ステップＳ１１７において、変更部１１３は入力した車両１２０の傾き、及び／又は、頭部１３１の位置・姿勢に応じて、マーク１４１の位置・傾きを変更する。そして変更部１１３は、マーク１４１の位置・傾きが変更された表示画像を画像表示部１０２に出力する。
【０１１５】
続いて、ステップＳ１１８において、画像表示部１０２は、入力した表示画像を表示する。
【０１１６】
このようにして、画像表示システム１は、位置・傾きのずれが補正された表示画像を、フロントガラス１２５を介して運転者１３０に視認可能に表示することができる。
【０１１７】
なお、上述の説明では、ＨＵＤ１００が物体検出部１１７を備える例を説明したが、ＣＡＮバスに接続された外部の装置が物体検出部１１７の機能を備えてもよい。この場合は、ステップＳ１１１の処理は外部の装置で実行され、歩行者の位置情報が画像生成部１１２に入力される。ステップＳ１１１以降の処理は、上述したものと同様である。
【０１１８】
また、上述の説明では、表示画像としてマーク１４１を表示する場合を一例に説明したが、進路情報１４２の位置・傾きのずれを補正して表示してもよい。この場合は、ステップＳ１１１において、ＨＵＤ１００の備える現在位置情報取得部１１１は、入力したＧＰＳ情報に基づき、地図情報記憶部１１０を参照して車両１２０の現在位置、及びその周辺状況の情報を取得し、画像生成部１１２に出力する。ステップＳ１１２以降の処理は、表示画像が進路情報１４２となる点を除き、上述したものと同様である。
【０１１９】
＜作用効果＞
次に、本実施形態に係る画像表示システム１の作用効果について説明する。
【０１２０】
図１２は、位置及び傾きずれを補正後の表示画像の一例を説明する図である。（ａ）は車両のピッチングによる位置ずれ補正後の表示画像を説明する図であり、（ｂ）は車両のローリングによる傾きずれ補正後の表示画像を説明する図であり、（ｃ）は乗員の頭部の移動による位置ずれ補正後の表示画像を説明する図である。
【０１２１】
図１２に示すように、本実施形態により、運転者１３０の視界の変化に応じてマーク１４１の位置及び傾きを変更し、歩行者１５１の周囲に適切にマーク１４１を表示することができる。
【０１２２】
一方、上述の説明ではピッチングに起因する表示画像の鉛直方向の位置ずれの例を述べたが、本実施形態は、車両１２０が坂道の斜面に差し掛かる前の状態で、歩行者が坂道の斜面に存在する場合における表示画像の鉛直方向の位置ずれの補正にも効果を発揮する。
【０１２３】
図１３は、このような坂道に起因する表示画像の位置ずれ補正効果の第１例について説明する図である。図１３（ａ）は上り坂の場合を説明する図であり、（ｂ）は下り坂の場合を説明する図である。
【０１２４】
図１３（ａ）において、車両１２０は傾斜のない道路１５０を走行中であり、前方の上り坂１５３に差し掛かる手前の状態である。そして上り坂１５３の斜面に歩行者１５１が存在している。
【０１２５】
この場合、車両１２０は傾いていないため、車両１２０の備えるステレオカメラ等の前方認識手段は、傾斜のない道路１５０の延長線上に歩行者１５１が存在すると認識する。そのため、傾斜のない道路１５０を想定して表示した表示画像と、斜面上に実在する歩行者１５１との間で、鉛直方向の位置ずれが生じる場合がある。
【０１２６】
ピッチングによる鉛直方向の位置ずれであれば、例えば、車両に備えられたジャイロセンサ等の姿勢センサの出力を用い、表示画像の位置を補正することができる。しかし図１３に示す場合は、車両１２０自体は傾いていないため、姿勢センサの出力では表示画像の位置ずれを適切に補正することはできない。図１３（ｂ）に示す下り坂の場合も同様である。
【０１２７】
これに対し、本実施形態では、車両１２０の外部が含まれている検出画像に応じて表示画像の位置ずれを補正するため、運転者１３０の視界に含まれる歩行者１５１の周囲に適切にマーク１４１を表示することができる。
【０１２８】
次に、図１４は、坂道に起因する表示画像の位置ずれ補正効果の第２例を説明する図である。図１４において、車両１２０は傾斜θの上り坂１５３を走行中であり、坂道の道路に対してピッチング角度θａで傾いている。
【０１２９】
この場合、比較例として、車両に備えられたジャイロセンサ等の姿勢センサの出力に応じて表示画像の表示位置を補正すると、姿勢センサの出力は鉛直方向を基準とするため、角度θ―θａが出力され、坂道の道路に対するピッチング角度θａに起因する表示画像の位置ずれを適切に補正することはできない。
【０１３０】
これに対し、本実施形態では、車両１２０の外部が含まれている検出画像に応じて表示画像の位置ずれを補正するため、ピッチング角度θａに起因する表示画像の位置ずれを検出して補正することができ、運転者１３０の視界に含まれる歩行者１５１の周囲に適切にマーク１４１を表示することができる。
【０１３１】
次に、図１５は、進路情報の表示画像の位置ずれ補正効果の第１例を説明する図であり、（ａ）は補正前の進路情報の表示画像を説明する図であり、（ｂ）は補正後の進路情報の表示画像を説明する図である。
【０１３２】
図１５は、走行中の車両１２０の前方に十字路があり、十字路の右折を促す進路情報を表示する例を示している。
【０１３３】
車両１２０の傾き、及び／又は頭部１３１の位置・姿勢に応じて、上述したように運転者１３０の視界が変化する。一方、進路情報を提供するＧＰＳ情報には、車両１２０の傾き及び頭部１３１の位置・姿勢の情報は含まれない。従って、両者でずれが生じ、図１５（ａ）の進路情報１４３のように、交差道路１５５に対して手前の位置に進路情報を表示したり、進路情報１４４のように交差道路１５５に対して傾いた進路情報を表示したりする場合がある。
【０１３４】
これに対し、本実施形態では、頭部１３１と車両１２０の外部が同一画像内に含まれている検出画像に基づき、表示画像の位置ずれを補正するため、図１５（ｂ）に示すように進路情報１４２を適切に表示することができる。
【０１３５】
次に、図１６は、進路情報の表示画像の位置ずれ補正効果の第２例を説明する図である。（ａ）は坂道を説明する図、（ｂ）は坂道による位置ずれ補正後の進路情報の表示画像を説明する図である。
【０１３６】
図１６（ａ）において、車両１２０は傾斜のない道路１５０を走行中であり、下り坂１５４に差し掛かろうとしている。そして下り坂１５４の途中に、交差道路１５５が存在している。
【０１３７】
この場合、車両１２０自体は傾いていないため、車両１２０の備える前方認識手段は、傾斜のない道路１５０の延長線上に交差道路１５５があると認識する。そして傾斜のない道路１５０を想定して表示した進路情報と、斜面上に実在する交差道路１５５との間で、鉛直方向の位置ずれが生じる場合がある。
【０１３８】
本実施形態では、車両１２０の外部が含まれている検出画像に基づき、表示画像の位置ずれを補正するため、このような場合にも、図１５（ｂ）に示すように、交差道路１５５の位置に進路情報を適切に表示することができる。
【０１３９】
以上説明してきたように、本実施形態では、運転者１３０の頭部１３１と、車両１２０の外部とが同一画像内に含まれている検出画像に応じて表示画像の位置・傾きを変更する。これにより、ピッチング、ローリング等による車両１２０の傾き、或いは運転者１３０の頭部１３１の位置・姿勢に起因する表示画像の位置・傾きのずれを適切に補正することができる。
【０１４０】
また、同一画像内に含まれている情報に基づき、車両１２０の傾きと、頭部１３１の位置・姿勢を検出する。これにより車両１２０の傾きと、頭部１３１の位置・姿勢とを、別々の構成要素で検出する場合に必要となる出力の相互関係の校正を不要にでき、校正の手間をかけずに、拡張現実感のある画像表示を行うことができる。
【０１４１】
＜変形例＞
ここで、第１の実施形態の変形例に係る画像表示システムについて説明する。
【０１４２】
第１の実施形態では、広角カメラ２００の位置・傾きは車両１２０の位置・傾きを意味するとみなして、運転者１３０の視界に対する車両１２０の位置・傾きを検出する例を示した。この場合、車両１２０に固定された広角カメラ２００の位置・傾きが経時変化すると検出誤差が生じる場合がある。このような検出誤差を防ぐためには、広角カメラ２００と車両１２０との位置・傾きの関係を校正する必要があり、手間がかかる場合がある。
【０１４３】
そこで、変形例では、広角カメラ２００による検出画像の同一画像内に車両１２０の内部構造が含まれるようにし、外部に対する車両１２０の内部構造の位置・傾きを検出することで、校正の手間をかけることなく、外部に対する車両１２０の位置・傾きを検出可能としている。
【０１４４】
図１７は、変形例に係る画像表示システムによる検出方法の一例を説明する図である。（ａ）は正常な表示画像を説明する図であり、（ｂ）は検出された表示画像の位置・傾きのずれを説明する図である。
【０１４５】
図１７では、車両１２０の内部構造の一例として、フロントガラス１２５の枠の上辺１２７を利用し、上辺１２７を基準に車両１２０の外部の位置・傾きを検出している。図１７（ａ）において、上辺１２７に対して地平線１５０ａはＰだけ下方に離れた位置にあり、また傾きはゼロである。
【０１４６】
一方、図１７（ｂ）では、上辺１２７に対して地平線１５０ａはＰ＋ｓだけ下方に離れた位置にあり、図１７（ａ）に対して鉛直方向にシフトｓが生じている。また上辺１２７に対して地平線１５０ａは角度Ａだけ傾いている。
【０１４７】
このように車両１２０の内部構造を基準に、車両１２０の外部の位置・傾きを検出することができる。
【０１４８】
車両１２０の内部構造を基準とするため、広角カメラ２００の車両１２０に対する位置・傾きが経時変化しても、検出誤差は生じない。そのため校正の手間をかけることなく、外部に対する車両１２０の位置・傾きを検出することができる。
【０１４９】
なお、内部構造としてフロントガラス１２５の枠の上辺１２７を一例として説明したが、これに限定されるものでなく、ルームミラー１２６等を利用してもよい。
【０１５０】
［第２の実施形態］
次に、第２の実施形態に係る画像表示システムを説明する。なお、既に説明した実施形態と同一の構成部分についての説明は省略する。
【０１５１】
＜第２の実施形態に係る画像表示システムの構成＞
図１８Ａは、本実施形態に係る画像表示システムの構成の一例を説明する図である。画像表示システム１ａは、ＨＵＤ１００ａと、撮像装置の一例としてステレオカメラ３００とを有する。図１８Ａに示すように、ステレオカメラ３００は、車両１２０内の天井の中央部分に固定されている。
【０１５２】
ステレオカメラ３００は、車両１２０の運転者１３０の頭部１３１と、車両１２０の外部が同一画像内に含まれている検出画像を撮像することができる。画像表示システム１ａは、ステレオカメラ３００による検出画像に基づき、運転者１３０の頭部１３１の３次元位置情報を取得して、表示画像の位置・傾きのずれを補正することができる。
【０１５３】
＜第２の実施形態に係る画像表示システムの機能構成＞
図１８Ｂは、本実施形態に係る画像表示システムの機能構成の一例を説明するブロック図である。図１８Ｂに示すように、画像表示システム１ａは、ＨＵＤ１００ａと、ステレオカメラ３００とを有している。また、ステレオカメラ３００は、第１撮像部３０１と、第２撮像部３０２と、検出画像出力部３０３と、視差画像取得部３０４と、距離画像取得部３０５と、距離画像出力部３０６とを有し、ＨＵＤ１００は、距離画像入力部１１８と、頭部位置・姿勢検出部１１６ａと、物体検出部１１７ａと、変更部１１３ａとを有している。
【０１５４】
第１撮像部３０１は、被写体像を結像させるレンズと、結像された被写体像を撮像する撮像素子と、撮像素子を制御する撮像制御部とを有し、車両１２０の運転者１３０の頭部１３１と、車両１２０の外部とが同一画像内に含まれている検出画像を撮像する。第２撮像部３０２の構成も第１撮像部３０１と同様である。
【０１５５】
第１撮像部３０１は、第２撮像部３０２に対して基線長だけ離れた位置に設けられ、それぞれが撮像する検出画像間には基線長に対応する視差が含まれる。ここで、図１９は、本実施形態に係るステレオカメラによる検出画像の一例を説明する図である。（ａ）は第１撮像部による検出画像を説明する図であり、（ｂ）は第２撮像部による検出画像を説明する図である。
【０１５６】
図１９に示すように、第１撮像部３０１による検出画像と第２撮像部３０２による検出画像の間には左右方向の視差が生じている。この視差に基づき、ステレオカメラ３００は、運転者１３０の頭部１３１までの距離を検出することができる。尚、説明の便宜のため、以降では、第１撮像部３０１による検出画像を第１検出画像と称し、第２撮像部３０２による検出画像を第２検出画像と称する。
【０１５７】
図１８Ｂに戻り、説明を続ける。第１撮像部３０１は、第１検出画像を検出画像出力部３０３及び視差画像取得部３０４に出力し、第２撮像部３０２は、第２検出画像を視差画像取得部３０４に出力する。
【０１５８】
検出画像出力部３０３は、入力した第１検出画像をＨＵＤ１００ａの検出画像入力部１１４に出力する。なお、検出画像出力部３０３は、第２検出画像を入力して検出画像入力部１１４に出力してもよい。
【０１５９】
視差画像取得部３０４は、入力した第１検出画像と第２検出画像に基づき、両者の視差を演算して視差画像を取得する。視差演算処理ではブロックマッチング画像処理等が実行され、検出画像の微小ブロック毎の視差が含まれる視差画像等が取得される。視差演算処理には公知の技術を適用できるため、ここでは説明を省略する。視差画像取得部３０４は、取得した視差画像を距離画像取得部３０５に出力する。
【０１６０】
距離画像取得部３０５は、視差画像の視差を距離に換算して距離画像を取得し、距離画像出力部３０６に出力する。距離画像出力部３０６は入力した距離画像をＨＵＤ１００ａの距離画像入力部１１８に出力する。
【０１６１】
頭部位置・姿勢検出部１１６ａは、距離画像入力部１１８を介して入力した距離画像から運転者１３０の頭部１３１を抽出し、頭部１３１の３次元な位置・姿勢を検出して、検出結果を変更部１１３ａに出力する。
【０１６２】
物体検出部１１７ａは、ステレオカメラ３００から入力された車両１２０の前方の距離情報に含まれる歩行者を検出し、歩行者の位置情報を画像生成部１１２に出力することができる。但し、物体検出部１１７ａは、ステレオカメラ３００から画像情報を入力し、画像情報に含まれる歩行者を検出して、歩行者の位置情報を画像生成部１１２に出力してもよい。
【０１６３】
また、上記の車両１２０の前方の距離情報、又は画像情報は、ＣＡＮバスに接続された外部の装置から物体検出部１１７ａに入力されてもよい。
【０１６４】
変更部１１３ａは、入力した頭部１３１の３次元な位置・姿勢に基づき、表示画像の位置・傾きを変更する。これにより運転者１３０の視界に対する表示画像の位置・傾きの位置ずれを補正する。
【０１６５】
なお、本実施形態では、ＨＵＤ１００ａが処理部１０１ａを有する例を説明したが、処理部１０１ａの一部又は全部の機能をステレオカメラ３００が備えてもよい。また処理部１０１ａをＨＵＤ１００ａ及びステレオカメラ３００とは別に設けてもよい。
【０１６６】
＜第２の実施形態に係る画像表示システムの動作＞
次に、画像表示システム１ａの動作について説明する。
【０１６７】
図２０は、本実施形態に係る画像表示システムの動作の一例を説明するシーケンス図である。なお、図２０では、運転者１３０の視界に含まれる歩行者と重なる位置に、表示画像としてマーク１４１を表示する場合を一例として説明する。
【０１６８】
先ず、ステップＳ２０１において、ステレオカメラ３００の備える第１撮像部３０１は、第１検出画像を撮像し、検出画像出力部３０３及び視差画像取得部３０４に出力する。
【０１６９】
続いて、ステップＳ２０２において、第２撮像部３０２は、第２検出画像を撮像し、視差画像取得部３０４に出力する。
【０１７０】
続いて、ステップＳ２０３において、視差画像取得部３０４は、入力した第１検出画像と第２検出画像に基づき、両者の視差を演算して視差画像を取得する。視差画像取得部３０４は、取得した視差画像を距離画像取得部３０５に出力する。
【０１７１】
続いて、ステップＳ２０４において、距離画像取得部３０５は、視差画像の視差を距離に換算して距離画像を取得し、距離画像出力部３０６に出力する。
【０１７２】
続いて、ステップＳ２０５において、検出画像出力部３０３は、入力した検出画像をＨＵＤ１００の備える検出画像入力部１１４に出力し、検出画像入力部１１４は、入力した検出画像を車両傾き検出部１１５に出力する。
【０１７３】
続いて、ステップＳ２０６において、距離画像出力部３０６は、入力した距離画像を距離画像入力部１１８に出力し、距離画像入力部１１８は、入力した距離画像を頭部位置・姿勢検出部１１６ａに出力する。
【０１７４】
続いて、ステップＳ２０７において、ＨＵＤ１００ａの備える物体検出部１１７ａは、ステレオカメラ３００から入力された距離画像に含まれる歩行者を検出し、歩行者の位置情報を画像生成部１１２に出力する。
【０１７５】
続いて、ステップＳ２０８において、画像生成部１１２は、入力した歩行者の位置情報に基づき、運転者１３０の視界に含まれる歩行者と重なる位置にマーク１４１を表示する表示画像を生成し、変更部１１３ａに出力する。
【０１７６】
なお、ステップＳ２０１〜Ｓ２０４の距離画像取得処理と、ステップＳ２０７〜Ｓ２０８の表示画像生成処理の順番は適宜変更可能であり、また距離画像取得処理と表示画像生成処理が並行して実行されてもよい。同様に、ステップＳ２０５〜Ｓ２０６の処理の順番も適宜変更可能であり、またＳ２０５〜Ｓ２０６の処理が並行して実行されてもよい。
【０１７７】
続いて、ステップＳ２０９において、車両傾き検出部１１５は、入力した第１検出画像に基づき、車両１２０の傾きを検出し、検出結果を変更部１１３ａに出力する。
【０１７８】
続いて、ステップＳ２１０において、頭部位置・姿勢検出部１１６は、入力した距離画像に基づき、頭部１３１の３次元的な位置・姿勢を検出し、検出結果を変更部１１３ａに出力する。
【０１７９】
なお、距離画像取得処理後にＳ２０７〜Ｓ２０８の処理を行う場合、ステップＳ２０７〜Ｓ２１０の処理の順番は適宜変更可能であり、またＳ２０７〜Ｓ２１０の処理が並行して実行されてもよい。
【０１８０】
続いて、ステップＳ２１１において、変更部１１３ａは入力した車両１２０の傾き、並びに頭部１３１の位置・姿勢に応じて、マーク１４１の位置・傾きを変更する。そして変更部１１３ａは、マーク１４１の位置・傾きが変更された表示画像を画像表示部１０２に出力する。
【０１８１】
続いて、ステップＳ２１２において、画像表示部１０２は、入力した表示画像を表示する。
【０１８２】
このようにして、画像表示システム１ａは、位置・傾きのずれが補正された表示画像を、フロントガラス１２５を介して運転者１３０に視認可能に表示することができる。
【０１８３】
なお、上述では、表示画像としてマーク１４１を表示する場合を一例に説明したが、進路情報１４２の位置・傾きのずれを補正して表示してもよい。この場合は、ステップＳ２０１において、ＨＵＤ１００ａの備える現在位置情報取得部１１１は、入力したＧＰＳ情報に基づき、地図情報記憶部１１０を参照して車両１２０の現在位置、及びその周辺状況の情報を取得し、画像生成部１１２に出力する。ステップＳ２０２以降の処理は、表示画像が進路情報１４２となる点を除き、上述したものと同様である。
【０１８４】
以上説明してきたように、本実施形態では、ステレオカメラ３００を撮像装置とし、運転者１３０の頭部１３１の３次元位置情報を利用する。これにより、高精度に頭部１３１の位置・姿勢を検出することができ、頭部１３１の位置・姿勢の変化による表示画像の位置・傾きのずれを、より適切に補正することができる。
【０１８５】
なお、これ以外の効果は上述の実施形態で説明したものと同様である。
【０１８６】
［第３の実施形態］
次に、第３の実施形態に係る画像表示システムを説明する。
【０１８７】
本実施形態に係る画像表示システムは、受動的表示画像と能動的表示画像とが含まれる表示画像を表示するものである。ここで、受動的表示画像とは、表示の位置・傾きが変更部１１３により変更される画像であり、また能動的表示画像とは、表示の位置・傾きが何れも変更部１１３により変更されない画像である。
【０１８８】
図２１は、本実施形態に係る表示画像の一例を説明する図である。図２１に示すように、フロントガラスを通した運転者の視界２２１には、前方車両２２２が含まれている。また運転者の視界２２１に重畳して、受動的表示画像２２３と、能動的表示画像２２４が表示されている。
【０１８９】
受動的表示画像２２３は、自車両である車両１２０の進路を示す矢印を表示する画像であり、車両１２０の傾きや運転者１３０の頭部１３１の位置・姿勢に応じて位置・傾きが変更される画像である。
【０１９０】
一方、能動的表示画像２２４は、図２１に示すように、走行速度「３０ｋｍ」と右折地点までの距離「１００ｍ」とを表示する画像である。これらは運転者１３０の視界とは無関係の情報を提示するものであるため、運転者１３０の視界の変化に応じて、位置・傾きを変更する必要がなく、逆に静止させた状態で表示したほうが好適な情報である。従って、本実施形態では、能動的表示画像２２４を、表示の位置・傾きが何れも変更部１１３により変更されない画像としている。
【０１９１】
このように、本実施形態によれば、必要な情報の位置・傾きのみを運転者１３０の視界の変化に応じて変更することで、拡張現実感のある画像表示を適切に行うことができる。
【０１９２】
以上、好ましい実施の形態について詳説したが、上述した実施の形態に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態に種々の変形及び置換を加えることができる。
【０１９３】
具体的には、移動体としては２輪車、一般車などの４輪車、建設・農業・産業車両、鉄道車両、特殊車両であってもよく、また、ドローンなどの飛行体であってもよい。これらまとめて移動体と称する。
【０１９４】
また実施形態は、画像表示方法も含む。例えば、画像表示方法は、撮像装置と、画像表示装置と、を有し、移動体に設けられる画像表示システムによる画像表示方法であって、前記撮像装置が、前記移動体の乗員の頭部と、前記移動体の外部と、が同一画像内に含まれている画像を撮像する撮像工程と、前記画像を前記画像表示装置に出力する出力工程と、を含み、前記画像表示装置が、表示画像を生成する画像生成工程と、生成された前記表示画像を、前記乗員による視認の際に前記移動体の外部と重なる位置に表示する画像表示工程と、前記画像に応じて、前記表示画像を表示する位置及び傾きの少なくとも１つを変更する変更工程と、を含む。
【０１９５】
このような画像表示方法により、上述の画像表示システムと同様の効果を得ることができる。またこのような画像表示方法は、ＣＰＵ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。
【符号の説明】
【０１９６】
１、１ａ  画像表示システム
５１  光源部
５２  光偏向器
５３  第１ミラー
５４  被走査面
５５  第２ミラー
５９  透過反射部材
６１  舵角センサ
６２  着座センサ
６３  車速センサ
９１  ＦＰＧＡ
９２  ＬＤドライバ
９３  ＭＥＭＳコントローラ
１００、１００ａ  ＨＵＤ（画像表示装置の一例）
１０１、１０１ａ  処理部
１０２  画像表示部
１０３  ＣＰＵ
１０４  ＲＯＭ
１０５  ＲＡＭ
１０６  入出力Ｉ／Ｆ
１０７  ＳＳＤ
１０８  ＧＰＳ受信機
１０９、１０９ａ  検出部
１１０  地図情報記憶部
１１１  現在位置情報取得部
１１２  画像生成部
１１３、１１３ａ  変更部
１１４  検出画像入力部
１１５  車両傾き検出部
１１６、１１６ａ  頭部位置・姿勢検出部
１１７、１１７ａ  物体検出部
１１８  距離画像入力部
１２０  車両（移動体の一例）
１２５  フロントガラス
１２６  ルームミラー
１２７  上辺（内部構造の一例）
１３０  運転者（乗員の一例）
１３１  頭部
１３５  眼球
１４１  マーク
１４２〜１４４  進路情報
１５０  道路
１５０ａ  地平線
１５１  歩行者
１５２  十字路
１５３  上り坂
１５４  下り坂
１５５  交差道路
１６０  虚像
２００  広角カメラ
２１０  撮像部
２１１  画像出力部（出力部の一例）
２２１  視界
２２２  前方車両
２２３  受動的表示画像
２２４  能動的表示画像
３００  ステレオカメラ
３０１  第１撮像部
３０２  第２撮像部
３０３  検出画像出力部
３０４  視差画像取得部
３０５  距離画像取得部
３０６  距離画像出力部
【先行技術文献】
【特許文献】
【０１９７】
【特許文献１】特開２０１７−０８７８２６号公報
【図１】
2020083280.tif 000003
【図２】
2020083280.tif 000004
【図３Ａ】
2020083280.tif 000005
【図３Ｂ】
2020083280.tif 000006
【図４】
2020083280.tif 000007
【図５】
2020083280.tif 000008
【図６】
2020083280.tif 000009
【図７】
2020083280.tif 000010
【図８】
2020083280.tif 000011
【図９】
2020083280.tif 000012
【図１０】
2020083280.tif 000013
【図１１】
2020083280.tif 000014
【図１２】
2020083280.tif 000015
【図１３】
2020083280.tif 000016
【図１４】
2020083280.tif 000017
【図１５】
2020083280.tif 000018
【図１６】
2020083280.tif 000019
【図１７】
2020083280.tif 000020
【図１８Ａ】
2020083280.tif 000021
【図１８Ｂ】
2020083280.tif 000022
【図１９】
2020083280.tif 000023
【図２０】
2020083280.tif 000024
【図２１】
2020083280.tif 000025