(57)【要約】      （修正有）【課題】明るさをなるべく落とさずに奥行きを感じられる映像を提供する。【解決手段】表示システムＳ１は、二つの映像を取得する複眼カメラと、第１の液晶パネルと、第１の液晶パネルよりバックライトに近い第２の液晶パネルとが積層された表示装置と、二つの映像中の立体物の奥行き情報を抽出し、立体物の奥行き情報に基づいて、二つの映像から得られる３次元画像データから第１の液晶パネル用の映像及び第２の液晶パネル用の映像を抜き出し、第２の液晶パネル用の映像から、第１の液晶パネル用の映像に表示される領域の映像を削除した映像を生成し、生成した映像を第２の液晶パネルに表示するよう制御するとともに第１の液晶パネル用の映像を第１の液晶パネルに表示するよう制御するコントローラと、を有する。【選択図】図２
2018170540.tif 000002
【特許請求の範囲】
【請求項１】
二つの映像を取得する複眼カメラと、
第１の液晶パネルと、当該第１の液晶パネルよりバックライトに近い第２の液晶パネルとが少なくとも積層された表示装置と、
前記二つの映像の中の立体物の奥行き情報を抽出し、前記立体物の奥行き情報に基づいて、前記二つの映像から得られる３次元画像データから第１の液晶パネル用の映像及び第２の液晶パネル用の映像を抜き出し、前記第２の液晶パネル用の映像から、前記第１の液晶パネル用の映像に表示される領域の映像を削除した映像を生成し、生成した映像を前記第２の液晶パネルに表示するよう制御するとともに前記第１の液晶パネル用の映像を前記第１の液晶パネルに表示するよう制御するコントローラと、
を備える表示システム。
【請求項２】
前記表示装置は、前記第２の液晶パネルよりバックライトに近い第３の液晶パネルが積層されており、
前記コントローラは更に、前記立体物の奥行き情報に基づいて、前記３次元画像データから更に第３の液晶パネル用の映像を抜き出し、前記第３の液晶パネル用の映像から、前記第１の液晶パネル用の映像及び／または前記第２の液晶パネル用の映像に表示される領域の映像を削除した映像を生成し、生成した映像を前記第３の液晶パネルに表示するよう制御する
請求項１に記載の表示システム。
【請求項３】
前記表示装置は、前記第２の液晶パネルよりバックライトに近い第３の液晶パネルが積層されており、
前記コントローラは更に、前記立体物の奥行き情報に基づいて、前記３次元画像データから更に第３の液晶パネル用の映像を抜き出し、抜き出した前記第３の液晶パネル用の映像をそのまま前記第３の液晶パネルに表示するよう制御する
請求項１に記載の表示システム。
【請求項４】
前記表示装置は、前記第１の液晶パネルと前記第２の液晶パネルの間に位置する第３の液晶パネルが積層されており、
前記コントローラは更に、前記立体物の奥行き情報に基づいて、前記３次元画像データから更に第３の液晶パネル用の映像を抜き出し、抜き出した前記第３の液晶パネル用の映像をそのまま前記第３の液晶パネルに表示するよう制御する
請求項１に記載の表示システム。
【請求項５】
前記表示装置は、液晶パネルが４層以上積層されている
請求項１から４のいずれか一項に記載の表示システム。
【請求項６】
第１の液晶パネルと、当該第１の液晶パネルよりバックライトに近い第２の液晶パネルとが少なくとも積層された表示装置と、
複眼カメラで取得された二つの映像の中の立体物の奥行き情報を抽出し、前記立体物の奥行き情報に基づいて、前記二つの映像から得られる３次元画像データから第１の液晶パネル用の映像及び第２の液晶パネル用の映像を抜き出し、前記第２の液晶パネル用の映像から、前記第１の液晶パネル用の映像に表示される領域の映像を削除した映像を生成し、生成した映像を前記第２の液晶パネルに表示するよう制御するとともに前記第１の液晶パネル用の映像を前記第１の液晶パネルに表示するよう制御するコントローラと、
を備えるヘッドユニット。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、表示システム及びヘッドユニットに関する。
【背景技術】
【０００２】
特許文献１には、被写体を撮像して得られる１枚の画像を、該被写体の奥行きに関する情報により近景部分、遠景部分という具合にその奥行き距離に応じて分解し、そのそれぞれを、互いに或る距離を隔てて重ねられた複数の表示面のうち、前記奥行き距離と対応する表示面に各々表示し、それら表示面を重なりのまま見ることにより前記画像の立体画像を得るようにした立体テレビジョン装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開昭６３−１００８９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、明るさをなるべく落とさずに奥行きを感じられる映像を提供することを可能とする表示システム及びヘッドユニットを提供する。
【課題を解決するための手段】
【０００５】
本開示における表示システムは、二つの映像を取得する複眼カメラと、第１の液晶パネルと、当該第１の液晶パネルよりバックライトに近い第２の液晶パネルとが少なくとも積層された表示装置と、前記二つの映像中の立体物の奥行き情報を抽出し、前記立体物の奥行き情報に基づいて、前記二つの映像から得られる３次元画像データから第１の液晶パネル用の映像及び第２の液晶パネル用の映像を抜き出し、第２の液晶パネル用の映像から、前記第１の液晶パネル用の映像に表示される領域の映像を削除した映像を生成し、生成した映像を前記第２の液晶パネルに表示するよう制御するとともに前記第１の液晶パネル用の映像を前記第１の液晶パネルに表示するよう制御するコントローラと、を備える。
【発明の効果】
【０００６】
本開示における表示システムは、第１の液晶パネル及び第２の液晶パネルを重ねて表示することにより、奥行きを感じられる映像を提供することができる。また、第２の液晶パネルについて、第１の液晶パネルに表示する画像と重なった部分の映像を抜くことにより、明るさをなるべく落とさないようにすることができる。よって、明るさをなるべく落とさずに奥行きを感じられる映像を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態に係る表示システムが搭載された車両の概略構成を示す平面図である。
【図２】第１の実施形態に係る表示システムの概略構成を示すブロック図である。
【図３】複眼カメラで撮影された二つの映像の模式図である。
【図４】３次元空間に立体物に相当するポリゴンを生成した３次元モデルの模式図である。
【図５】各立体物の配置を示す模式図である。
【図６】各液晶パネルに表示される映像の一例である。
【図７】各液晶パネルを重ねて表示した際の模式図である。
【図８】第１の実施形態に係る表示処理の流れの一例を示すフローチャートである。
【図９】第２の実施形態に係る表示システムの概略構成を示すブロック図である。
【発明を実施するための形態】
【０００８】
以下、実施の形態について、図面を参照しながら説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１０】
［実施の形態］
［課題］
以下、本実施の形態の課題について説明する。通常の液晶パネルを複数枚重ねると、バックライトから遠い液晶パネルの明るさが暗くなってしまうという問題がある。また、特許文献１では液晶パネルを複数枚重ねて立体を表示するが、液晶パネルの画素は各層を透過するように互い違いに配置しているため、解像度が落ちてしまうという問題がある。
【００１１】
本実施の形態は、係る事情に鑑みてなされたものであり、明るさをなるべく落とさず且つ解像度をなるべく落とさずに奥行きを感じられる映像を提供する。
【００１２】
［第１の実施形態］
以下、図１〜８を用いて、第１の実施形態の形態を説明する。
【００１３】
［１−１．構成］
［１−１−１．車両の構成］
図１は、第１の実施形態に係る表示システムが搭載された車両の概略構成を示す平面図である。車両１００は、タイヤ１０１〜１０４を備える。車両１００は、表示システムＳ１を備える。表示システムＳ１は、車内に配置され電子ミラーとして機能する表示装置１０と、カメラユニット３０とを備える。カメラユニット３０は、複眼カメラ２０を備える。複眼カメラは、互いに視差があるカメラを複数有し、車両１００の後方を撮影する。本実施形態では一例として複眼カメラ２０は、第１のカメラ２１と、第１のカメラ２１に対して車両１００の進行方向とは略垂直な方向に所定の距離が離れた第２のカメラ２２とを有する。
【００１４】
［１−１−２．表示システムの構成］
続いて、図２を用いて表示システムＳの構成を説明する。図２は、第１の実施形態に係る表示システムの概略構成を示すブロック図である。上述したように、表示システムＳ１は、表示装置１０と、カメラユニット３０とを備える。表示装置１０は、液晶パネル１、２、３と、バックライト４とを備える。液晶パネル１、２、３、バックライト４の順に積層されている。すなわち、液晶パネル３が最もバックライト４に近く、液晶パネル１が最もバックライト４から遠い。各液晶パネル１〜３は例えば、偏光フィルタ（水平、垂直）、ガラス基板、液晶を有する。
【００１５】
カメラユニット３０は、複眼カメラ２０と、複眼カメラ２０に接続されたコントローラ３１と、コントローラ３１に接続されたメモリ３２とを備える。上述したように、複眼カメラ２０は一例として、第１のカメラ２１と、第２のカメラ２２を有する。第１のカメラ２１と第２のカメラ２は、例えば定期的に、車両１００の後方を同時に撮影しており、撮影により得られたそれぞれの映像をコントローラ３１に出力する。このように、複眼カメラ視差を有し且つ二つの映像を取得する。ここで、映像には、静止画と動画の両方が含まれるものとする。
【００１６】
コントローラ３１は、複眼カメラ２０から二つの映像を受信する。コントローラ３１は、表示装置１０の液晶パネル１〜３に映像を表示するよう制御する。メモリ３２は、一時的に映像データなどを保存する。
【００１７】
［１−２．動作］
以上のように構成された表示システムＳ１についてその動作について、図３〜７を参照しつつ図８を用いて以下説明する。図３は、複眼カメラで撮影された二つの映像の模式図である。図４は、３次元空間に立体物に相当するポリゴンを生成した３次元モデルの模式図である。図５は、各立体物の配置を示す模式図である。図６は、各液晶パネルに表示される映像の一例である。図７は、各液晶パネルを重ねて表示した際の模式図である。図８は、第１の実施形態に係る表示処理の流れの一例を示すフローチャートである。
【００１８】
以下、図８のフローチャートに沿って処理を説明する。
【００１９】
（ステップＳ１０１）まず、複眼カメラ２０で車両１００後方の二つの映像を一定時間毎に取得する。これにより、図３に示すように、第１のカメラ２１で第１の映像Ｐ１が取得され、第２のカメラ２２で第２の映像Ｐ２が取得される。
【００２０】
（ステップＳ１０２）次にコントローラ３１は、二つの映像を比較し、各画素の奥行き情報を抽出する。コントローラ３１は、この奥行き情報から、映像内の立体物の奥行き情報を抽出する。
【００２１】
（ステップＳ１０３）次にコントローラ３１は、ステップＳ１０２で抽出された奥行き情報を用いて３次元空間に立体物に相当するポリゴンを生成する。
【００２２】
（ステップＳ１０４）更にコントローラ３１は、テクスチャマッピングにより、ポリゴンの表面に、対応する映像データを張り付けることにより、３次元画像データを生成する。これにより、図４に示すような３次元画像データが得られる。図４では、人を表す第１立体物のポリゴンＰＧ１、後続車両を表す第２立体物のポリゴンＰＧ２が表示されている。図５において、縦軸が車両後方の距離、横軸が水平方向を表している。領域Ｒ１１は、第１立体物の占有領域を示し、領域Ｒ１２は、第２立体物の占有領域を示し、領域Ｒ１３は、背景の占有領域を示している。
【００２３】
（ステップＳ１０５）次にコントローラ３１は、車両後方の距離（すなわち複眼カメラ２０からの距離）を用いて、３次元空間のうちから、各液晶パネル１〜３に表示する範囲を決定する。例えば、図５の場合、液晶パネル１に表示する範囲は、後方０〜１０ｍの範囲であり、液晶パネル２に表示する範囲は、後方１０〜２０ｍの範囲であり、液晶パネル３に表示する範囲は、後方２０ｍ以上の範囲である。
【００２４】
（ステップＳ１０６）次にコントローラ３１は、３次元画像データから各液晶パネル用の映像を抜き出す。
【００２５】
（ステップＳ１０７）次にコントローラ３１は、液晶パネル２用の映像から、液晶パネル１用の映像と重なる領域の映像を削除した映像を新たに液晶パネル２用の映像として生成する。これにより、例えば、図６の映像Ｄ２が新たに液晶パネル２用の映像として生成される。ここで図６の映像Ｄ１は、液晶パネル１用の映像の一例である。映像Ｄ１は領域Ｒ１に第１立体物、領域Ｒ２に第２立体物を表示する画像である。映像Ｄ２は、後方１０ｍで３次元モデルを輪切りにした画像であり、第２立体物に相当する領域Ｒ３の中は透明であり、第２立体物の輪郭を領域Ｒ３の輪郭として表示する。すなわち、領域Ｒ３の中は映像が抜かれており、第２立体物の映像が表示されない。これにより、液晶パネルを重ねても、第２立体物の映像の輝度が落ちないようにすることができる。
【００２６】
（ステップＳ１０８）ステップＳ１０７に並行してコントローラ３１は、液晶パネル３用の映像から、液晶パネル１用の映像及び／または液晶パネル２用の映像と重なる領域の映像を削除した映像を新たに液晶パネル３用の映像として生成する。これにより、例えば、図６の映像Ｄ３が新たに液晶パネル３用の映像として生成される。映像Ｄ３は、第１立体物に相当する領域Ｒ４の中は透明であり、第２立体物に相当する領域Ｒ５の中は透明である。すなわち、背景領域Ｒ６及び空白の背景から領域Ｒ４、Ｒ５の中は映像が抜かれており、第１立体物及び第２の立体物の映像が表示されない。これにより、液晶パネルを重ねても、第１立体物及び第２立体物の映像の輝度が落ちないようにすることができる。なお背景領域Ｒ６は、領域Ｒ４、Ｒ５の部分が透明であるが、背景領域Ｒ７はそのまま表示される。
【００２７】
（ステップＳ１０９）次にコントローラ３１は、各液晶パネルに、対応する液晶パネル用の映像を表示するよう制御する。これにより、例えば図７に示すように、液晶パネル１に図６の映像Ｄ１が表示され、液晶パネル２に図６の映像Ｄ２が表示され、液晶パネル３に図６の映像Ｄ３が表示される。
【００２８】
図７に示すように、液晶パネル１では第２立体物の輪郭及び中身が表示され、液晶パネル２では第２立体物の輪郭のみ表示されて中身が透明であり、液晶パネル３では第２立体物が表示されずに輪郭及び中身が透明である。これにより、液晶パネルを重ねても、第２立体物の映像の輝度が落ちないようにすることができる。
【００２９】
［１−３．効果等］
以上のように、本実施の形態において、表示システムＳ１は、視差を有し且つ二つの映像を取得する複眼カメラ２０と、表示装置１０と、コントローラ３１とを備える。
表示装置１０は、液晶パネル１と、液晶パネル１よりバックライトに近い液晶パネル２と、液晶パネル２よりバックライトに近い液晶パネル３が積層されている。
【００３０】
コントローラ３１は、複眼カメラ２０で取得された二つの映像中の立体物の奥行き情報を抽出し、立体物の奥行き情報に基づいて、二つの映像から得られる３次元画像データから液晶パネル１用の映像及び液晶パネル２用の映像を抜き出す。そしてコントローラ３１は、液晶パネル２用の映像から、液晶パネル１用の映像に表示される領域の映像を削除した映像を生成し、生成した映像を液晶パネル２に表示するよう制御するとともに液晶パネル１用の映像を液晶パネル１に表示するよう制御する。
【００３１】
またコントローラ３１は、立体物の奥行き情報に基づいて、３次元画像データから更に液晶パネル３用の映像を抜き出し、液晶パネル３用の映像から、液晶パネル１用の映像及び／または液晶パネル２用の映像に表示される領域の映像を削除した映像を生成し、生成した映像を液晶パネル３に表示するよう制御する。
【００３２】
この構成により、液晶パネル１〜３を重ねて表示することにより、奥行きを感じられる映像を提供することができる。また、液晶パネル２及び３について、それよりも上に積層された液晶パネルに表示する画像と重なった部分の映像を抜くことにより、明るさをなるべく落とさないようにすることができる。よって、明るさをなるべく落とさずに奥行きを感じられる映像を提供することができる。
【００３３】
これにより、電子ミラーとして機能する表示装置１０を見た車両１００の運転者は、奥行き感を感じることができる。運転者が運転中に車外を見て、電子ミラーとして機能する表示装置１０の映像を確認する際に感じる３次元と２次元の違いに基づく違和感を軽減することができる。なお表示装置１０は電子ミラーだけではなく、カーナビ、ディスプレイオーディオ、車載ディスプレイ、デジタルメータ、画面付きドライブレコーダーなどの表示画面のある車載器の表示装置であってもよい。
【００３４】
また、液晶パネル１〜３は画素を互い違いにせずに、液晶パネル１〜３それぞれについて画素が略同じ水平位置に配置されている。これにより、通常の１層の液晶パネルのみの表示装置と比べても解像度が落ちない。よって、解像度を落とさずに奥行きを感じられる映像を提供することができる。
【００３５】
［他の実施の形態］
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。
【００３６】
そこで、以下、他の実施の形態を例示する。本実施形態では、コントローラ３１は、３次元画像データから抜き出した液晶パネル３用の映像から、液晶パネル１用の映像及び／または液晶パネル２用の映像に表示される領域の映像を削除した映像を生成し、生成した映像を液晶パネル３に表示するよう制御したが、これに限ったものではない。コントローラ３１は、抜き出した液晶パネル３用の映像をそのまま液晶パネル３に表示するよう制御してもよい。
【００３７】
すなわち、液晶パネル３が第２の液晶パネルとしての液晶パネル２よりバックライトに近い第３の液晶パネルであるとすると、コントローラ３１は、立体物の奥行き情報に基づいて、３次元画像データから更に第３の液晶パネル用の映像（すなわち液晶パネル３用の映像）を抜き出し、抜き出した第３の液晶パネル用の映像（すなわち液晶パネル３用の映像）をそのまま第３の液晶パネル（すなわち液晶パネル３）に表示するよう制御してもよい。
【００３８】
この構成により、第３の液晶パネル用の映像（すなわち液晶パネル３用の映像）をそのまま第３の液晶パネル（すなわち液晶パネル３）に表示するようにするので本実施形態よりも処理速度を向上させつつ、明るさをなるべく落とさないようにしながら、奥行きを感じられる映像を提供することができる。
【００３９】
また、本実施形態では、コントローラ３１は、３次元画像データから抜き出した液晶パネル２用の映像から、液晶パネル１用の映像の映像に表示される領域の映像を削除した映像を生成し、生成した映像を液晶パネル２に表示するよう制御したが、これに限ったものではない。コントローラ３１は、抜き出した液晶パネル２用の映像をそのまま液晶パネル２に表示するよう制御してもよい。
【００４０】
すなわち、液晶パネル２が、第１の液晶パネルとしての液晶パネル１と第２の液晶パネルとしての液晶パネル３の間に位置する第３の液晶パネルであるとすると、コントローラ３１は、立体物の奥行き情報に基づいて、３次元画像データから第３の液晶パネル用の映像（すなわち液晶パネル２用の映像）を抜き出し、抜き出した第３の液晶パネル用の映像（すなわち液晶パネル２用の映像）をそのまま第３の液晶パネル（すなわち液晶パネル２）に表示するよう制御してもよい。
【００４１】
この構成により、抜き出した第３の液晶パネル用の映像（すなわち液晶パネル２用の映像）をそのまま第３の液晶パネル（すなわち液晶パネル２）に表示するようにするので本実施形態よりも処理速度を向上させつつ、明るさをなるべく落とさないようにしながら、奥行きを感じられる映像を提供することができる。
【００４２】
なお、表示装置１０は、液晶パネルが４層以上積層されていてもよい。
【００４３】
また、表示装置１０は、液晶パネルが２層積層されていてもよい。その場合、表示装置１０には、第１の液晶パネルと、第１の液晶パネルよりバックライトに近い第２の液晶パネルとが積層されていてもよい。そして、コントローラ３１は、二つの映像中の立体物の奥行き情報を抽出し、立体物の奥行き情報に基づいて、複眼カメラ２０で取得された二つの映像から得られる３次元画像データから第１の液晶パネル用の映像及び第２の液晶パネル用の映像を抜き出し、第２の液晶パネル用の映像から、第１の液晶パネル用の映像に表示される領域の映像を削除した映像を生成し、生成した映像を第２の液晶パネルに表示するよう制御するとともに第１の液晶パネル用の映像を第１の液晶パネルに表示するよう制御してもよい。
【００４４】
この構成により、第１の液晶パネル及び第２の液晶パネルを重ねて表示することにより、奥行きを感じられる映像を提供することができる。また、第２の液晶パネルについて、第１の液晶パネルに表示する画像と重なった部分の映像を抜くことにより、明るさをなるべく落とさないようにすることができる。よって、明るさをなるべく落とさずに奥行きを感じられる映像を提供することができる。
【００４５】
また、第１の液晶パネル及び第２の液晶パネルは画素を互い違いにせずに、第１の液晶パネル及び第２の液晶パネルそれぞれについて画素が略同じ水平位置に配置されている。これにより、通常の１層の液晶パネルのみの表示装置と比べても解像度が落ちない。よって、解像度を落とさずに奥行きを感じられる映像を提供することができる。
【００４６】
［第２の実施形態］
続いて第２の実施形態について説明する。図９は、第２の実施形態に係る表示システムの概略構成を示すブロック図である。第１の実施形態では、表示システムＳ２は、カメラユニット３０と表示装置１０とに分かれていた。それに対し、第２の実施形態に係る表示システムＳ２は、複眼カメラ２０と、ヘッドユニット４０に分かれている点が異なっている。すなわち、第１の実施形態では、コントローラ３１が複眼カメラ２０を含むカメラユニット３０に収められていたが、第２の実施形態では、コントローラ３１が表示装置１０を含むヘッドユニット４０に収められている。
【００４７】
ヘッドユニット４０は、表示装置１０と、コントローラ３１と、メモリ３２とを備える。これらの各部については第１の実施形態と同じ構成であるので、その説明を省略する。
【符号の説明】
【００４８】
１〜３  液晶パネル
１００  車両
１０１〜１０４  タイヤ
２０  複眼カメラ
２１  第１のカメラ
２２  第２のカメラ
３０  カメラユニット
３１  コントローラ
３２  メモリ
４  バックライト
４０  ヘッドユニット
【図１】
2018170540.tif 000003
【図２】
2018170540.tif 000004
【図３】
2018170540.tif 000005
【図４】
2018170540.tif 000006
【図５】
2018170540.tif 000007
【図６】
2018170540.tif 000008
【図７】
2018170540.tif 000009
【図８】
2018170540.tif 000010
【図９】
2018170540.tif 000011