(57)【要約】【課題】安全性の低下を抑制しつつ運転者が同乗者の情報を知ることが可能な表示装置等を提供すること。【解決手段】本表示装置は、運転者が運転する移動体に同乗する同乗者を撮像する同乗者撮像部と、前記同乗者撮像部が撮像した情報に基づいて、前記同乗者の状態を示す画像を生成する画像生成部と、前記画像を前記運転者の視界に重畳して表示する画像表示部と、を有する。【選択図】図１
2015231828.tif 000002
【特許請求の範囲】
【請求項１】
運転者が運転する移動体に同乗する同乗者を撮像する同乗者撮像部と、
前記同乗者撮像部が撮像した情報に基づいて、前記同乗者の状態を示す画像を生成する画像生成部と、
前記画像を前記運転者の視界に重畳して表示する画像表示部と、を有する表示装置。
【請求項２】
前記同乗者の状態を検出する同乗者状態検出部を有し、
前記画像生成部は、前記同乗者撮像部が撮像した情報、及び前記同乗者状態検出部から入手した情報に基づいて前記画像を生成する請求項１記載の表示装置。
【請求項３】
前記同乗者状態検出部は、前記同乗者撮像部が撮像した情報に基づいて、前記同乗者の状態を検出する請求項２記載の表示装置。
【請求項４】
前記画像は、前記同乗者状態検出部から入手した情報に基づいて生成された文字を含む請求項２又は３記載の表示装置。
【請求項５】
前記運転者を撮像する運転者撮像部と、
前記運転者撮像部が撮像した情報に基づいて、前記運転者の視線方向を検出する運転者視線検出部と、を有し、
前記運転者の視線方向の変化に基づいて、前記画像を表示するか否かが決定される請求項１乃至４の何れか一項記載の表示装置。
【請求項６】
前記運転者の視線方向を考慮した位置に前記画像が表示される請求項５記載の表示装置。
【請求項７】
前記同乗者撮像部は、前記運転者撮像部よりも広い画角を有している請求項５又は６記載の表示装置。
【請求項８】
前記同乗者は後部座席に同乗しており、
前記同乗者撮像部は、前記同乗者を含めて前記後部座席全体を撮像する請求項７記載の表示装置。
【請求項９】
前記同乗者用のディスプレイを有し、
前記運転者撮像部が撮像した画像を前記ディスプレイに表示する請求項５乃至８の何れか一項記載の表示装置。
【請求項１０】
前記画像表示部は、所定の条件においては、前記運転者の視界に重畳させた画像の表示をしない請求項１乃至９の何れか一項記載の表示装置。
【請求項１１】
前記画像表示部は、前記運転者の視線方向が複雑に動いているか、又は、前記運転者の視線方向の移動範囲が広範に動いている場合には、前記運転者の視界に重畳させた画像の表示をしない請求項１０記載の表示装置。
【請求項１２】
前記画像表示部は、レーザ光源と、前記レーザ光源から出射されたレーザ光を偏向する光偏向器と、を備えている請求項１乃至１１の何れか一項記載の表示装置。
【請求項１３】
請求項１乃至１２の何れか一項記載の表示装置を搭載した移動体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、及び前記表示装置を搭載した移動体に関する。
【背景技術】
【０００２】
新たな車両安全技術として、ステレオカメラやヘッドアップディスプレイ（以降、ＨｕＤと称する場合がある）を用いた表示装置の技術開発が進んでいる。この技術は、測距が可能なステレオカメラと、運転者の視界に直接画像を投影するＨｕＤとを組み合わせたもので、拡張現実（ＡＲ：Augmented Reality）感のある運転中の映像体験が市場から期待されている。一方、市場において、自律運転に向けた技術開発が進められており、２０２０年には部分的な自律運転車両が市場に現れると言われている。
【０００３】
現在のＨｕＤの価値は、手動運転における視線移動の低減により安全運転を提供することにあるが、上記のような自律運転が普及する社会において、人の車両内での行為がどう変化するか、車両のインテリアはどう変わるか、に関して様々な場所で議論されている。そのような議論の中で、「自車両が今どのような状態にあるか」を乗員に通知する機能は少なくとも必要になると予測されている。
【０００４】
ところで、従来、例えば、チャイルドシートに幼児を、といったように助手席若しくは後部座席に子供等を同乗させて運転している場合、運転者は、同乗者である子供等の様子が気になると瞬間的に同乗者の子供等に顔を向けて確認することがある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、運転者が同乗者に顔を向ける場合には、視野が大きく移動して車両の進行方向から外れることもあり、交通安全上好ましくないという問題がある。又、運転者が同乗者に顔を向けるまでしなくとも、例えば、従来技術のようにナビゲーション装置を利用する構成においては、運転者が前方から視線をはずすことによっての安全性の低下は避けられない。
【０００６】
本発明は、上記に鑑みてなされたものであり、安全性の低下を抑制しつつ運転者が同乗者の情報を知ることが可能な表示装置等を提供することを課題とする。
【課題を解決するための手段】
【０００７】
本表示装置は、運転者が運転する移動体に同乗する同乗者を撮像する同乗者撮像部と、前記同乗者撮像部が撮像した情報に基づいて、前記同乗者の状態を示す画像を生成する画像生成部と、前記画像を前記運転者の視界に重畳して表示する画像表示部と、を有することを要件とする。
【発明の効果】
【０００８】
開示の技術によれば、安全性の低下を抑制しつつ運転者が同乗者の情報を知ることが可能な表示装置等を提供できる。
【図面の簡単な説明】
【０００９】
【図１】本実施の形態に係る表示装置を例示する図である。
【図２】本実施の形態に係る画像表示部を例示する図である。
【図３】本実施の形態に係る表示装置の動作を説明するための図である。
【図４】運転者撮像部がステレオカメラである場合のハードウェア構成を例示する図である。
【図５】画像表示をするか否かの判断に関するフローチャートの一例である。
【図６】本実施の形態に係る表示装置による画像表示例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。
【００１１】
図１は、本実施の形態に係る表示装置を例示する図である。図１を参照するに、表示装置１は、自車両１２０に搭載されており、大略すると、運転者撮像部１０と、前方用撮像部１５と、同乗者撮像部２０と、画像処理部４０と、画像表示部５０と、同乗者用ディスプレイ６０とを有する。但し、運転者撮像部１０、前方用撮像部１５、及び同乗者用ディスプレイ６０は付加的な構成要素であり、必須の構成要素ではない。又、本実施の形態では車両を例にとって説明するが、本実施の形態に係る表示装置は航空機や船舶、ロボット等にも搭載可能である。なお、車両、航空機、船舶、ロボット等を含めて移動体と称する場合がある。
【００１２】
運転者撮像部１０は、自車両１２０の運転者１３０の状態を判断するために、運転者１３０を撮像する機能を有する。運転者撮像部１０としては、例えば、単眼カメラや複眼カメラ（ステレオカメラ）等を用いることができる。運転者撮像部１０は、運転者１３０の両眼近傍を画角に捉える形態で配置されている。運転者撮像部１０は、自車両１２０のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両１２０内の天井部に配置することができる。運転者撮像部１０を自車両１２０内のダッシュボード上等に配置してもよい。
【００１３】
前方用撮像部１５は、例えば、自車両１２０の前方における注意対象物（前方車両や歩行者等）の有無、自車両１２０と前方車両との車間距離等を判断するために、自車両１２０の前方を撮像する機能を有する。前方用撮像部１５としては、例えば、単眼カメラや複眼カメラ（ステレオカメラ）等を用いることができる。前方用撮像部１５は、自車両１２０のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両１２０内の天井部に配置することができる。前方用撮像部１５を自車両１２０内のダッシュボード上等に配置してもよい。
【００１４】
同乗者撮像部２０は、自車両１２０に同乗する同乗者１４０の状態を判断するために、同乗者１４０を撮像する機能を有する。同乗者撮像部２０としては、例えば、単眼カメラや複眼カメラ（ステレオカメラ）等を用いることができる。同乗者撮像部２０は、自車両１２０のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両１２０内の前部座席のシートの後ろ側上部に配置することができる。同乗者撮像部２０を自車両１２０内の天井部等に配置してもよい。
【００１５】
同乗者撮像部２０は、運転者撮像部１０よりも広い画角を有していることが好ましい。すなわち、同乗者撮像部２０は、同乗者１４０の様々な状態を判断する必要があるため、同乗者１４０の体全体を画角に捉える形態で配置することが好ましい。又、例えば、後部座席に３人の乗車が可能であれば、３人全員の状態を捉えられる程度の広い画角を有していることが好ましい。
【００１６】
又、同乗者撮像部２０として、複数の撮像部を配置してもよい。例えば、後部座席全体を確実に撮像するために、複数の撮像部を配置してもよい。又、助手席の同乗者の状態を判断するために、後部座席の撮像部とは別の撮像部を配置してもよい。助手席の同乗者の状態を判断する場合の撮像部の位置の一例は、助手席側のダッシュボード上である。
【００１７】
なお、同乗者１４０は、例えば、チャイルドシートに座っている子供であるが、これには限定されず、後部座席に座っている大人であってもよい。又、同乗者１４０は、後部座席ではなく、助手席に座っていてもよい。
【００１８】
画像処理部４０は、運転者撮像部１０及び同乗者撮像部２０より入手した情報に基づいて重畳画像を生成し、画像表示部５０に出力する機能を有する。画像処理部４０は、自車両１２０内の任意の位置に配置することができる。画像処理部４０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、メインメモリ等を含む構成とすることができる。
【００１９】
この場合、画像処理部４０の各種機能は、ＲＯＭ等に記録されたプログラムがメインメモリに読み出されてＣＰＵにより実行されることによって実現できる。但し、画像処理部４０の一部又は全部は、ハードウェアのみにより実現されてもよい。又、画像処理部４０は、物理的に複数の装置等により構成されてもよい。
【００２０】
画像表示部５０は、自車両１２０内で画像処理部４０が生成した画像を、運転者１３０の視界に虚像として重畳して表示する機能を有する、所謂ヘッドアップディスプレイである。画像表示部５０は、自車両１２０のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両１２０内のダッシュボード上に配置することができる。画像表示部５０を自車両１２０内の天井部等に配置してもよい。或いは、画像表示部５０をダッシュボード内に埋め込んでもよい。
【００２１】
より詳しくは、画像表示部５０は、内部で生成した中間像をミラーやレンズ等で拡大虚像表示し、運転者１３０の視点から所定の距離感を持って画像を表示することができるモジュールである。画像表示部５０の実現形態としてはパネル投射型やレーザ走査型等があるが、本実施の形態では何れの形態を用いてもよい。但し、レーザ走査型は、虚像の広角化が可能であること、外光に対してロバストな高輝度画像を表示できることから、本実施の形態において用いると好適である。以下、レーザ走査型の画像表示部５０を例にして説明する。
【００２２】
図２は、本実施の形態に係る画像表示部を例示する図である。図２を参照するに、画像表示部５０は、大略すると、光源部５１と、光偏向器５２と、第１ミラー５３と、被走査面５４と、第２ミラー５５とを有する。なお、図２において、１３５は運転者の眼球（以降、眼球１３５とする）を、１１０は虚像（以降、虚像１１０とする）を示している。
【００２３】
光源部５１は、例えば、ＲＧＢに対応した３つのレーザ光源、カップリングレンズ、アパーチャ、合成素子、レンズ等を備えており、３つのレーザ光源から出射されたレーザ光を合成して光偏向器５２の反射面に向かって導く。光偏向器５２の反射面に導かれたレーザ光は、光偏向器５２により２次元的に偏向される。
【００２４】
光偏向器５２としては、例えば、直交する２軸に対して揺動する１つの微小なミラーや、１軸に揺動又は回動する２つの微小なミラー等を用いることができる。光偏向器５２は、例えば、半導体プロセス等で作製されたＭＥＭＳ（Micro Electro Mechanical Systems）とすることができる。光偏向器５２は、例えば、圧電素子の変形力を駆動力とするアクチュエータにより駆動することができる。
【００２５】
光偏向器５２により２次元的に偏向された光束は、第１ミラー５３に入射し、第１ミラー５３により折り返されて被走査面５４に２次元像を描画する。第１ミラー５３としては、例えば、凹面ミラーを用いることができる。第１ミラー５３の反射面は、例えば、アナモフィックとすることができる。つまり、第１ミラー５３の反射面は、所定方向の曲率と、それに直交する方向の曲率とが異なる反射面とすることができる。第１ミラー５３の反射面をアナモフィックとすることにより、反射面の曲面形状を調整可能となり、収差補正性能を向上できる。
【００２６】
被走査面５４は、第１ミラー５３で反射された光束が入射して２次元像が形成される透過性を有する面である。被走査面５４は、合成されたレーザ光を所望の発散角で発散させる機能を有しており、例えば、マイクロレンズアレイ構造とすると好適である。被走査面５４から射出された光束は、第２ミラー５５及び半透過鏡５９により拡大表示される。第２ミラー５５としては、例えば、凹面ミラーを用いることができる。画像表示部５０は、レンズやプリズム等の透過型光学素子を具備してもよい。
【００２７】
半透過鏡５９は、可視域の透過率が１０〜７０％程度である鏡であり、第２ミラー５５により折り返された光束が入射する側に、例えば、誘電体多層膜或いはワイヤーグリッド等が形成された反射面を有する。半透過鏡５９の反射面は、レーザが出射する光束の波長帯を選択的に反射するものとすることができる。すなわち、ＲＧＢに対応した３つのレーザからの出射光を包含する反射ピークや反射バンドを有するものや、特定の偏向方向に対して反射率を強めるように形成されたものとすることができる。
【００２８】
半透過鏡５９は、例えば、自車両１２０のフロントガラス１２５（図１参照）と一体化することができる。画像表示部５０を自車両１２０において運転者１３０の前方に配置することにより、半透過鏡５９の反射面で反射された光束は、運転席にいる運転者１３０の眼球１３５へ入射する。そして、被走査面５４の２次元像が、半透過鏡５９の反射面よりも前方の所定の位置に拡大された虚像１１０として運転者１３０に視認される。つまり、画像表示部５０により、所謂ヘッドアップディスプレイを実現できる。
【００２９】
図１に戻り、同乗者用ディスプレイ６０は、運転者撮像部１０が撮像した画像を表示する機能を有する。同乗者用ディスプレイ６０は、同乗者１４０が視認可能な位置であれば自車両１２０のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両１２０内の前部座席のシートの後ろ側上部に配置することができる。
【００３０】
次に、図３を参照しながら、画像処理部４０が運転者撮像部１０及び同乗者撮像部２０より入手した情報を処理するアルゴリズムの例について説明する。
【００３１】
運転者撮像部１０から得た光学情報は、画像処理部４０の運転者視線検出部４２に送られる。運転者視線検出部４２は、運転者撮像部１０が撮像した光学情報に基づいて、運転者１３０の視線方向を検出することができる。具体的には、例えば、目の画像情報を利用する場合には、瞳孔の動きを追跡して視線方向を検出する方法等を用いることができる。又、顔の画像情報を利用する場合には、顔の特徴的な画像領域部（目、口、鼻等）を認識してその位置の変化により視線方向を検出する方法や、顔の輪郭情報から視線方向を検出する方法等を用いることができる。運転者視線検出部４２が検出した運転者１３０の視線方向は、画像処理部４０の画像生成部４３に送られる。
【００３２】
同乗者撮像部２０が得た光学情報は、画像処理部４０の同乗者状態検出部４１に送られる。又、同乗者撮像部２０が得た光学情報は、画像処理部４０の同乗者状態検出部４１を経由して、画像処理部４０の画像生成部４３にも送られる。同乗者状態検出部４１は、同乗者撮像部２０が撮像した光学情報に基づいて、画像認識等により、同乗者１４０の状態（疲労度や興奮度等）を検出することができる。
【００３３】
具体的には、例えば、同乗者１４０の顔を認識して目の領域の部分の画像を抽出し、抽出した画像の経時的変化から瞼の開閉を検出することで、同乗者１４０の瞬目時間（例えば、瞬き１回当たりの目を閉じていると認識される時間）を算出する。そして、現在の瞬目時間を平常時の瞬目時間と比較することで、同乗者１４０の疲労度（例えば、眠気が大きい等）を検出することができる。又、例えば、同乗者１４０の手や足の動きを認識し、平常時の手や足の動きと比較することで、同乗者１４０の興奮度（例えば、いらいらしている等）を検出してもよい。同乗者状態検出部４１が検出した同乗者１４０の状態は、画像処理部４０の画像生成部４３に送られる。
【００３４】
なお、運転開始時の同乗者１４０の状態を平常時の状態としてもよいし、過去の履歴等から推測した値を平常時の状態としてもよい。又、平常時の状態を、データとしてＲＯＭ等に予め記憶しておいてもよい。
【００３５】
図４は、運転者撮像部１０がステレオカメラである場合のハードウェア構成を例示する図である。運転者撮像部１０がステレオカメラである場合、運転者撮像部１０は、第１カメラ部１２と第２カメラ部１３とを有する。第１カメラ部１２と第２カメラ部１３の一方が左目用、他方が右目用である。第１カメラ部１２と第２カメラ部１３とを並置することで、両者の視差情報を利用して、撮像された対象物の奥行き情報を得ることができる。すなわち、撮像された対象物の３次元情報を得ることができる。
【００３６】
第１カメラ部１２と第２カメラ部１３は、例えば、互いに略平行に配置されている。第１カメラ部１２は、レンズ１２ａ、画像センサ１２ｂ、及びセンサコントローラ１２ｃを備えている。同様に、第２カメラ部１３は、レンズ１３ａ、画像センサ１３ｂ、及びセンサコントローラ１３ｃを備えている。
【００３７】
画像センサ１２ｂ及び１３ｂとしては、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor Device）等のイメージセンサを用いることができる。センサコントローラ１２ｃ及び１３ｃは、画像センサ１２ｂ及び１３ｂの露光制御、画像読み出し制御、外部回路との通信、及び画像データの送信制御等を行う機能を有する。センサコントローラ１２ｃ及び１３ｃは、ＣＰＵやＲＯＭ等を含んで構成されてもよい。
【００３８】
運転者撮像部１０は、例えば、データバスライン及びシリアルバスラインを介して画像処理部４０と接続されている。画像処理部４０は、運転者撮像部１０から得られた光学情報に基づいて輝度画像及び視差画像を生成することができる。又、画像処理部４０は、状況認識等の各種処理を実行制御することで、対象物の認識を行うことができる。
【００３９】
画像処理部４０の機能の一部又は全部は、運転者撮像部１０に内蔵されてもよい。すなわち、運転者撮像部１０と同一筐体内にＣＰＵ等を設けて画像処理を行う構成にしてもよい。なお、前方用撮像部１５や同乗者撮像部２０がステレオカメラである場合も、図４と同様のハードウェア構成とすることができる。
【００４０】
図３の説明に戻り、画像処理部４０の画像生成部４３は、同乗者１４０の状態を示す画像を生成し、画像表示部５０に送信する。画像表示部５０は、画像生成部４３が生成した画像を運転者１３０の視界に重畳して表示する。
【００４１】
画像生成部４３は、例えば、同乗者状態検出部４１からの情報により、同乗者１４０が眠い状態であると認識できる場合、同乗者撮像部２０で撮像した同乗者１４０の画像に、『眠い』という文字を追加した画像を生成し、画像表示部５０に送信する。なお、画像表示部５０は、同乗者１４０の画像のみでなく、同乗者１４０を含めた後部座席全体の画像を表示してもよい。
【００４２】
画像生成部４３は、運転者視線検出部４２が検出した運転者１３０の視線方向の変化に基づいて、生成した画像を画像表示部５０によって割り込みで表示するか否かを決定してもよい。例えば、慣れない土地での運転、車間距離が詰まっているシーン、注意対象物が多いシーン等においては、運転者１３０の注意力が散漫となり視線の軌道が複雑化、移動範囲が広範化する。
【００４３】
そこで、画像生成部４３は、運転者視線検出部４２が検出した運転者１３０の視線方向が複雑に動いていたり、移動範囲が広範化したりしていることを認識した場合には、運転者１３０を運転に集中させるため、生成した画像を画像表示部５０に送信しなくてもよい。画像生成部４３は、生成した画像を画像表示部５０に送信するか否かを、前方用撮像部１５から入手した情報に基づいて決定することができる。
【００４４】
一方、画像生成部４３は、運転者視線検出部４２が検出した運転者１３０の視線方向が安定していることを認識した場合には、生成した画像を画像表示部５０に送信することができる。このように、画像表示部５０は運転者１３０の視界に重畳させた画像の表示を行うことができるが、上記のような所定の条件においては、運転者１３０の視界に重畳させた画像の表示をしない。
【００４５】
画像を表示するか否かの判断のための視線方向の検出方法としては、例えば、瞳孔を検出し、瞳孔の位置と眼球の位置から視線方向をリアルタイムで検出する方法を用いることができる（例えば、特開２００３−１５８１６号公報参照）。
【００４６】
又、目の輪郭の３次元座標から黒目輪郭上の点が存在する平面の法線方向を求めると共に、黒目の中心を求め、黒目輪郭上の点が存在する平面の法線のうち、黒目の中心が通る線の方向を視線方向として検出する方法を用いてもよい（例えば、特開２００４−２５５０７４号公報参照）。
【００４７】
又、顔の中心の３次元位置を基準位置として算出すると共に、左右の瞳中心の左右方向における中心の３次元位置を特徴位置として算出し、基準位置に対する特徴位置のずれ量に基づいて視線方向を検出する方法を用いてもよい（例えば、国際公開第２００８／００７７８１号参照）。或いは、ここで例示した以外の視線方向の検出方法を用いてもよい。
【００４８】
なお、慣れない土地での運転、車間距離が詰まっているシーン、注意対象物が多いシーンは、他の方法でも判断され得る。
【００４９】
画像生成部４３は、慣れない土地での運転である場合には、生成した画像を画像表示部５０に送信しない（画像表示部５０は画像を表示しない）。慣れない土地であるか否かは、ＧＰＳ等で取得した過去の地点情報を記憶しておき一度も訪れていない土地であることから判断しても良いし、運転者がスイッチで切り替えられるようにしても良い。
【００５０】
又、画像生成部４３は、車間距離が詰まっているシーンでは、生成した画像を画像表示部５０に送信しない（画像表示部５０は画像を表示しない）。車間距離が詰まっているか否かは、図１の前方用撮像部１５で前方車両を認識・測距した結果、前方車両までの距離が閾値を上回るか否かで判断できる。なお、前方用撮像部１５での測距に代えて、従来から知られているミリ波レーダやレーザレーダによる測距も用いることができる。
【００５１】
又、画像生成部４３は、注意対象物が多いシーンでは、生成した画像を画像表示部５０に送信しない（画像表示部５０は画像を表示しない）。注意対象物が多いか否かは、前方用撮像部１５で前方車両や歩行者等の車両の運転において注意すべき対象物を認識した結果、それらの数が閾値を上回るか否かで判断できる。
【００５２】
これらを組み合わせ、例えば、図５に示すようなフローを利用することができる。すなわち、ステップＳ５０１で画像生成部４３が画像生成後、ステップＳ５０２で画像生成部４３は、『慣れない土地での運転か否か』を判断する。そして、画像生成部４３は、ステップＳ５０２で『慣れない土地での運転である』と判断した場合には、ステップＳ５０７に移行し、生成した画像を画像表示部５０に送信しない。その結果、画像表示部５０は画像を表示しない。
【００５３】
一方、画像生成部４３は、ステップＳ５０２で『慣れない土地での運転でない』と判断した場合には、ステップＳ５０３に移行し、『車間距離が詰まっているか否か』を判断する。そして、画像生成部４３は、ステップＳ５０３で『車間距離が詰まっている』と判断した場合には、ステップＳ５０７に移行し、生成した画像を画像表示部５０に送信しない。その結果、画像表示部５０は画像を表示しない。
【００５４】
一方、画像生成部４３は、ステップＳ５０３で『車間距離が詰まっていない』と判断した場合には、ステップＳ５０４に移行し、『注意対象物が多いか否か』を判断する。そして、画像生成部４３は、ステップＳ５０４で『注意対象物が多い』と判断した場合には、ステップＳ５０７に移行し、生成した画像を画像表示部５０に送信しない。その結果、画像表示部５０は画像を表示しない。
【００５５】
一方、画像生成部４３は、ステップＳ５０４で『注意対象物が少ない』と判断した場合には、ステップＳ５０５に移行し、『運転者の視線方向が複雑に動いているか否か、運転者の視線方向の移動範囲が広範に動いているか否か』を判断する。そして、画像生成部４３は、ステップＳ５０５で『運転者の視線方向が複雑に動いている、又は、運転者の視線方向の移動範囲が広範に動いている』と判断した場合には、ステップＳ５０７に移行し、生成した画像を画像表示部５０に送信しない。その結果、画像表示部５０は画像を表示しない。
【００５６】
一方、画像生成部４３は、ステップＳ５０５で『運転者の視線方向が複雑に動いていなく、かつ、運転者の視線方向の移動範囲が広範に動いていない』と判断した場合には、ステップＳ５０６に移行し、生成した画像を画像表示部５０に送信する。その結果、画像表示部５０は画像を表示する。
【００５７】
又、画像生成部４３は、同乗者状態検出部４１からの情報に基づいて同乗者１４０の状態に異常がない（例えば、疲労状態や興奮状態ではない）と認識した場合は、生成した画像を画像表示部５０に送信しなくてもよい。この場合には、画像表示部５０は、同乗者１４０の状態を表示せず、車速や案内等の運転に必要な情報を優先して表示することができる。これらの機能により、画像表示部５０による同乗者１４０の状態の表示が安全運転の阻害となることを防ぐことができる。
【００５８】
画像生成部４３が生成した画像は、運転者視線検出部４２が検出した運転者１３０の視線方向を考慮した位置に表示してもよい。すなわち、画像生成部４３が生成した画像を運転者１３０の視線方向の中心に表示すると、運転者１３０の安全運転を妨げるおそれがある。そこで、運転者１３０の視界内であって、かつ、運転者１３０の視線方向の中心から外れた位置に、画像生成部４３が生成した画像を表示することが好ましい。これにより、運転者１３０の安全運転を確保することができる。
【００５９】
なお、画像生成部４３は、同乗者撮像部２０が撮像したままの画像を生成し、画像表示部５０に送信してもよい。この場合には、文字等は表示されず、同乗者１４０の画像のみが画像表示部５０により運転者１３０の視界に表示される。又、画像生成部４３は、文字等のみの画像を生成し、画像表示部５０に送信してもよい。この場合には、同乗者１４０の画像は表示されず、文字等のみの画像が画像表示部５０により運転者１３０の視界に表示される。
【００６０】
すなわち、画像生成部４３が生成する同乗者１４０の状態を示す画像は、同乗者１４０の画像のみでもよいし、同乗者１４０の状態を示す文字等のみでもよいし、同乗者１４０の画像に同乗者１４０の状態を示す文字等を加えたものでもよい。
【００６１】
運転者撮像部１０が撮像した運転者の画像を同乗者用ディスプレイ６０に表示してもよい。同乗者１４０は、同乗者用ディスプレイ６０に表示された画像を介して、運転者１３０の顔や身体を視認できるため、同乗者１４０の「撮影されている緊張感」を取り除き、かつ、運転者１３０の存在感による安心感を得ることができる。又、運転者１３０は画像表示部５０が視界に重畳して表示する同乗者１４０を視認でき、同乗者１４０は同乗者用ディスプレイ６０に表示された運転者１３０を視認できるため、互いに顔を視ながら快適なコミュニケーションをとることができる。
【００６２】
図６は、本実施の形態に係る表示装置による画像表示例を示す図である。図６の例では、運転者１３０の視界に、車速の表示２０１に加えて、同乗者１４０の画像２０２を表示している。前述のように、画像２０２に加えて、或いは、画像２０２に代えて、同乗者１４０の状態を表す文字等を表示してもよい。なお、画像を表示する領域は、運転者１３０の運転の妨げにならないフロントガラス下方とするのが通常であるが、前述のように、運転者１３０の視線に基づいて、画像を表示する領域を適宜変更することができる。
【００６３】
このように、本実施の形態に係る表示装置１では、助手席や後部座席等の同乗者１４０の情報（同乗者１４０の実際の顔や身体の画像、同乗者１４０の状態を表す文字等）を、運転者１３０の視界に重畳させて表示させる。これにより、運転者１３０の視野の移動をほとんど生じさせることなく、すなわち安全性をほとんど低下させることなく、運転者１３０は同乗者１４０の情報を知ることができる。すなわち、運転者１３０の安全運転と、同乗者１４０へのコミュニケーションの円滑さとを両立することができる。
【００６４】
以上、好ましい実施の形態について詳説したが、上述した実施の形態に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態に種々の変形及び置換を加えることができる。
【００６５】
例えば、画像生成部４３が生成する画像は、以下のようなものであってもよい。例えば、画像生成部４３が同乗者状態検出部４１からの情報に基づいて、同乗者１４０である子供がドアロックをいじっていることや、シート上に立っていることを認識した場合、同乗者１４０の画像に『危険』という文字を追加した画像を生成することができる。又、同乗者１４０である子供の体調が悪そうなときに、同乗者１４０の画像に『体調不良』という文字を追加した画像を生成することができる。もちろん、これらの場合に、文字情報のみの画像を生成してもよい。
【００６６】
なお、上述の同乗者の状態検出は、同乗者撮像部２０のような、カメラを用いた画像認識によることもできるが、発汗センサにより助手席に着座した人物の発汗量を検出する方法や、脈拍センサにより助手席に着座した人物の脈拍を検出する方法等（例えば、特開２０１４−９２９６５号公報参照）、種々の方法によって実現できる。
【００６７】
又、自車両１２０は自家用車には限定されず、例えば、タクシー等であってもよい。例えば、自車両１２０がタクシーである場合には、乗客である同乗者１４０の様子を画像表示部５０で表示することで、運転者１３０であるタクシードライバーに乗客の様子を伝えることができる。
【００６８】
又、運転者１３０が指示を出したときのみに、表示装置１が動作するようにしてもよい。例えば、運転者１３０がハンドル近傍に設けられたスイッチを押すと表示装置１が起動し、同乗者１４０を撮像して所定の画像を生成し、運転者１３０の視界に重畳して表示するようにしてもよい。つまり、運転者１３０が同乗者１４０の状態を知りたいときのみに、表示装置１が動作するようにしてもよい。
【００６９】
又、画像表示部５０において、３つのレーザを用いる例を示したが、単一のレーザを用いて単色の画像を形成する構成としてもよい。この場合には、合成素子等は不要である。
【符号の説明】
【００７０】
１  表示装置
１０  運転者撮像部
１２  第１カメラ部
１２ａ、１３ａ  レンズ
１２ｂ、１３ｂ  画像センサ
１２ｃ、１３ｃ  センサコントローラ
１３  第２カメラ部
１５  前方用撮像部
２０  同乗者撮像部
４０  画像処理部
４１  同乗者状態検出部
４２  運転者視線検出部
４３  画像生成部
５０  画像表示部
５１  光源部
５２  光偏向器
５３  第１ミラー
５４  被走査面
５５  第２ミラー
５９  半透過鏡
６０  同乗者用ディスプレイ
１１０  虚像
１２０  自車両
１２５  フロントガラス
１３０  運転者
１３５  眼球
１４０  同乗者
２０１  車速の表示
２０２  同乗者の画像
【先行技術文献】
【特許文献】
【００７１】
【特許文献１】特開２００３−１０４１３２
【特許文献２】特開２００３−２３７４６６
【図１】
2015231828.tif 000003
【図２】
2015231828.tif 000004
【図３】
2015231828.tif 000005
【図４】
2015231828.tif 000006
【図５】
2015231828.tif 000007
【図６】
2015231828.tif 000008