(57)【要約】【課題】  ヘッドアップディスプレイなどの投影型の映像表示装置では、投影先の物体に凹凸があると映像が歪んでしまう。映像表示装置で複数のパターンを投影し、これを撮影することで投影先の物体の形状を推定し、推定結果に基づき、あらかじめ映像の幾何補正を行うことで、映像の歪みを軽減することが可能であるが、パターンの一部がなんらかの遮蔽物によって遮られる場合には、正しく映像の幾何補正を行うことができない。【解決手段】  遮蔽物の形状に応じて、投影するパターンに対してマスク処理を行っておき、撮影映像から物体の形状推定の際もマスクを考慮した処理を行うことで、正しい幾何補正を実現する。【選択図】図６
2019080145.tif 000002
【特許請求の範囲】
【請求項１】
投影面に対して映像を投影した際に発生する幾何歪みを補正するための幾何補正手段を備えた映像表示装置の調整装置であって、
前記映像表示装置で投影するためのパターンを生成するパターン生成手段と、
前記映像表示装置によって投影されたパターンを撮影して撮影映像を得る撮影手段と、
前記パターンと前記撮影映像から前記幾何補正手段における補正特性を指定するためのパラメータを生成するパラメータ算出手段を備え、
前記映像表示装置の内部または、前記映像表示装置と前記撮影手段の間に存在する遮蔽物によって、前記パターンの一部が撮影映像に含まれない場合に対応するために、前記遮蔽物の形状に基づいて作成したマスクデータを用いて前記パターンに対して演算処理を行うパターンマスク処理部を備えたことを特徴とする映像表示装置の調整装置。
【請求項２】
請求項１に記載の映像表示装置の調整装置であって、
前記幾何歪みが、前記映像表示装置の光学系の光学特性に起因する場合においても前記幾何歪みを補正できることを特徴とする映像表示装置の調整装置。
【請求項３】
請求項１または２に記載の映像表示装置の調整装置であって、
前記マスクデータは、前記遮蔽物によって映像が遮られる領域を全てマスクするように生成されたデータであることを特徴とする映像表示装置の調整装置。
【請求項４】
請求項１から３の何れか1項に記載の映像表示装置の調整装置であって、
前記パラメータ算出手段は、前記パターン中に含まれる第一の点の座標と、第一の点の前記撮影映像における座標である第二の点の座標の対応関係を用いてパラメータを算出する処理であり、
前記マスクデータを用いて前記パターンに対してマスク処理を実施した際には、前記第一の点の座標に対してマスク処理に伴う座標の補正を行う座標補正手段を備えたことを特徴とする映像表示装置の調整装置。
【請求項５】
請求項１から４の何れか1項に記載の映像表示装置の調整装置であって、
該調整装置は、前記撮影手段及び無線による通信手段を内蔵したスマートフォンまたはスマートグラスであることを特徴とする映像表示装置の調整装置。
【請求項６】
投影する映像信号を生成する表示映像生成回路と、該映像信号を表示する表示デバイスと、該表示デバイスで表示された映像を投影する光学系とを有する映像表示装置であって、
映像を投影した際に発生する幾何歪みを補正するための幾何補正回路と、
前記幾何補正回路で幾何補正を行うためのパラメータを受信するパラメータ設定回路と、
幾何歪みを補正するための前記映像表示装置で投影するパターン映像を入力する外部映像入力回路と、
前記表示映像生成回路と前記外部映像入力回路を選択するセレクタと、
制御回路を有し、
前記光学系は、前記表示デバイスの表示領域のうち実際に使用しない部分を遮蔽するシェードが挿入されており、
前記制御回路は、前記パラメータを生成するために、前記外部映像入力回路からのパターン映像を前記セレクタで選択し、前記幾何補正回路と前記表示デバイスと前記光学系を介して、該パターン映像を投影することを特徴とする映像表示装置。
【請求項７】
請求項６に記載の映像表示装置であって、
投影した映像を見る人間の視点位置を検出する視点位置検出手段を備え、
前記幾何補正回路は、複数の異なる視点位置で算出した複数のパラメータの組に対して、前記視点位置検出手段にて取得した視点位置情報を利用して補間処理を行ない、あらかじめ指定した範囲内の任意の視点位置に対応した幾何補正を行うことを特徴とする映像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示面の形状等に起因する幾何歪みを補正可能な映像表示装置及び歪み補正のためのパラメータを導出する調整装置に関する。
【背景技術】
【０００２】
プロジェクタやヘッドアップディスプレイなどの投影型の映像表示装置では、スクリーンや自動車のフロントガラスなどの映像の投影面に凹凸形状が存在すると、視聴者が見ることの出来る映像に幾何的な歪みが発生するという課題がある。
【０００３】
この歪みは、投影面の三次元データを取得できれば、これに基づいて表示対象の映像にあらかじめ幾何補正を施しておくことによって低減させることが可能である。三次元データを取得する方法としては、奥行き情報を取得可能なTOF(Time of flight)方式のカメラなどを使用する方法が用いられることがあるが、TOFカメラは比較的高価であるため、より安価に三次元データを取得する方法が求められている。
【０００４】
本技術分野の背景技術として特許文献１がある。特許文献１には、プロジェクタなどの映像投影装置から複数枚のパターン画像を投影し、これをカメラで撮影することでプロジェクタ映像中の点の座標とカメラ映像中の点の座標の対応関係を求める手段について記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３０９６６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の方法では、プロジェクタで投影したパターン映像が欠けることなくカメラで撮影できることが必要であり、投影パターンの一部が何かで遮蔽物によって遮られることによりカメラに写らない場合には、撮影映像中のパターン欠けが、立体物の形状に起因するものなのか、遮蔽物によるものなのかを識別できないために誤動作が発生する。
【課題を解決するための手段】
【０００７】
本発明は、上記背景技術及び課題に鑑み、その一例を挙げるならば、投影面に対して映像を投影した際に発生する幾何歪みを補正するための幾何補正手段を備えた映像表示装置の調整装置であって、映像表示装置で投影するためのパターンを生成するパターン生成手段と、映像表示装置によって投影されたパターンを撮影して撮影映像を得る撮影手段と、パターンと撮影映像から幾何補正手段における補正特性を指定するためのパラメータを生成するパラメータ算出手段を備え、映像表示装置の内部または、映像表示装置と撮影手段の間に存在する遮蔽物によって、パターンの一部が撮影映像に含まれない場合に対応するために、遮蔽物の形状に基づいて作成したマスクデータを用いてパターンに対して演算処理を行うパターンマスク処理部を備えた。
【発明の効果】
【０００８】
本発明によれば、遮蔽物に起因する誤動作を発生させることなく投影対象物の形状を取得でき、これを用いた映像表示装置の幾何歪みの補正が可能となる。
【図面の簡単な説明】
【０００９】
【図１】実施例１におけるヘッドアップディスプレイの内部構造および利用形態の説明図である。
【図２】実施例１における表示映像生成回路で生成した映像の例である。
【図３】実施例１における虚像として運転者に見える映像の例である。
【図４】実施例１における表示映像生成回路で生成した映像を領域分割した図である。
【図５】実施例１における虚像として運転者に見える映像を領域分割した図である。
【図６】実施例１におけるヘッドアップディスプレイ及びヘッドアップディスプレイ調整装置の構成図である。
【図７】実施例１における幾何補正パラメータ算出のフロー図である。
【図８】実施例１における幾何補正パラメータ算出における各映像の関係を示した図である。
【図９】実施例１におけるグレイコードパターンの例である。
【図１０】実施例１におけるグレイコードパターン投影時に虚像を撮影したカメラ画像の例である。
【図１１】実施例１におけるコンテンツ表示エリアを説明するための図である。
【図１２】実施例１におけるシェードの形状を説明するための図である。
【図１３】実施例１におけるシェードを介してグレイコードパターン投影時に虚像を撮影したカメラ画像の例である。
【図１４】実施例１におけるマスクデータの例である。
【図１５】実施例１におけるマスク処理後のグレイコードパターンの例である。
【図１６】実施例１におけるマスク後のグレイコードパターン投影時に虚像を撮影したカメラ画像の例である。
【図１７】実施例１における表示映像の格子点座標の座標補正処理の説明図である。
【図１８】実施例１における表示映像の格子点座標の座標補正処理の他の説明図である。
【図１９】実施例１におけるヘッドアップディスプレイ調整装置にスマートフォンを利用した構成図である。
【図２０】実施例２におけるヘッドアップディスプレイの構成図である。
【図２１】実施例２における視点位置の説明図である。
【発明を実施するための形態】
【００１０】
以下、図面を用いて、実施例を説明する。
【実施例１】
【００１１】
図１は本実施例におけるヘッドアップディスプレイの内部構成および利用形態を説明するための図である。
【００１２】
図１は、自動車のフロントガラス３１、ダッシュボード３４、ハンドル３６等の断面図を示しており、ダッシュボード３４の内部に搭載したヘッドアップディスプレイ１０を模式的に示した図である。図１において、ヘッドアップディスプレイ１０では、表示映像生成回路１０５で生成した映像もしくは外部映像入力回路１０６経由で外部から入力された映像を表示デバイス１１０へ表示し、これをレンズ１１１、ミラー１１２，可動ミラー１１３を通して、フロントガラス３１に投影する。投影された映像は、運転者５０の視点位置５１からはあたかも虚像３２の位置に存在するように見え、運転者５０がフロントガラス３１越しに見る風景に重畳して見えるように構成している。
【００１３】
セレクタ１０３は表示する映像を選択するためのセレクタであり、幾何補正回路１０２は、フロントガラス３１や、レンズ１１１、ミラー１１２、１１３によって虚像３２に発生する幾何歪みを軽減するための幾何補正を行う回路である。幾何補正を行うためのパラメータは可変であり、パラメータ設定回路１０４によって設定することが可能である。この幾何補正回路１０２により、補正前映像１０７は補正後映像１０８に変換される。制御部１０１はヘッドアップディスプレイ１０の各回路や光学系などを制御するためのものである。
【００１４】
可動ミラー１１３は、運転者が見やすいように虚像３２の位置を調整するためのものであり、制御部１０１からの指示により向きを変えられるようになっている。シェード３３は、表示デバイス１１０の表示領域のうち、実際に使用しない部分を遮蔽することで表示映像周囲の黒浮きを抑え、コントラストを改善するために挿入されている。
【００１５】
上記で説明したレンズ１１１、ミラー１１２、１１３、シェード３３などの光学系の構成はあくまでも一例であり、本実施例では必ずしもこの図の構成に限定されるものではない。例えばミラー１１３を固定式にしたり、シェード３３を表示デバイス１１０とレンズ１１１の間では無く、ヘッドアップディスプレイ１０外部のダッシュボード３４の開口部３５に配置したりするといったバリエーションも可能である。
【００１６】
自動車のフロントガラス３１は曲面であり、その曲率が場所によって異なることが一般的である。このため、表示映像生成回路１０５にて、図２のような正方形と正三角形を描画して、表示デバイス１１０に表示させた場合でも、ヘッドアップディスプレイ１０の光学系によって生成される虚像３２としては、図３のように幾何的な歪みが生じてしまうことがある。このような場合、幾何補正回路１０２によってこの幾何歪みをあらかじめ逆補正しておき、逆補正した映像を表示デバイス１１０で表示すれば幾何歪みの無い虚像３２を得ることが可能である。
【００１７】
すなわち、図２に示す、表示デバイス１１０に表示されている映像中の点の座標P0=(x0，y0)が、図３に示す虚像中の座標P1=(x1，y1)に対応する場合、下記式（１）を満たす射影変換f()が存在する。
【００１８】
【数１】
2019080145.tif 000003
【００１９】
従って、幾何補正回路１０２において射影変換f()の逆変換を用いて、虚像３２に発生する幾何歪みを打ち消すような変換を補正前映像１０７へ適用し、補正後映像１０８を表示デバイス１１０で表示することで、虚像３２における幾何歪みの発生を抑えることが可能である。
【００２０】
ここで、フロントガラスの曲率が一定で無い場合には、この幾何歪みの特性も映像の座標によって変化することになるため、射影変換f()の特性は、着目する点の座標によって変化することになる。射影変換f()の精度を高めるには、補正前映像１０７の全ての座標に対して補正後映像１０８を求めてテーブル化するのが簡単である。しかし、この方法ではメモリ等の必要なリソースが多くなるため、本実施例では、補正前映像１０７を小さな領域に分割し、領域単位で領域固有の射影変換f()を適用することとする。領域分割が十分に細かければ、その領域内の各座標に対応した射影変換f()は十分に似た変換となるため、同一領域内では射影変換が同一と見なすことでリソースの節約を図るものである。
【００２１】
本実施例では、図４のように補正前映像１０７を８×４の矩形領域に分割して処理する場合を想定している。フロントガラスの曲率が複雑に変化している場合には、領域をより細分化したほうが補正精度を上げることができるが、ここでは説明用の図面の見やすさ等を考慮して、領域分割数を８×４と少なめにしている。
【００２２】
一般に、ある二次元空間上の点(xi，yi)から別の二次元空間上の点(xo，yo)へ幾何補正する際の射影変換は、同次座標系を用いて下記式（２）で表すことができる。これを展開すると式（３）、式（４）のように補正後の座標を求めることができる。
【００２３】
【数２】
2019080145.tif 000004
【００２４】
【数３】
2019080145.tif 000005
【００２５】
【数４】
2019080145.tif 000006
【００２６】
ここで式２の中央にある3x3の行列が射影変換行列である。a00〜a21の8個の定数を求めることで、射影変換行列は一意に定めることができる。a00〜a21を8個の変数と見なしてこれらを決定するためには8変数の連立方程式を解くことになるため、(xi，yi)と(xo，yo)の組が４組あれば良い。
【００２７】
このことから、幾何変換前の図４の領域Ｉから幾何変換後の図５の領域Ｉへの幾何変換行列を求める場合、図４の領域Ｉの４頂点であるＡ、Ｂ、Ｃ、Ｄの座標と、図５のＡ、Ｂ、Ｃ、Ｄの座標が判れば、補正前後の４点の座標組が既知となるので、領域Ｉの射影変換行列を一意に求めることが可能となる。
【００２８】
これを映像全体に拡張して考えると、補正前の映像を格子状に分割し、その全格子点の座標と、補正後の映像の全格子点の座標組が求めることができれば、映像全体について、射影変換を行うことが可能となる。
【００２９】
以上のことを利用して、虚像３２の幾何歪みを軽減するために、幾何補正回路１０２に与えるパラメータを算出する方法について、図６〜８を用いて説明する。
【００３０】
図６は、本実施例におけるヘッドアップディスプレイ及びヘッドアップディスプレイ調整装置の構成図である。図６において、図１と同じ機能は同じ符号を付しており、その説明は省略する。図６においては、図１の運転者５０の視点位置５１に合わせてカメラ３０を設置している。カメラ３０は、三脚やクリップ等により固定する。カメラ３０はヘッドアップディスプレイ調整装置２０と接続されている。
【００３１】
ヘッドアップディスプレイ調整装置２０には、ヘッドアップディスプレイ１０で表示するためのパターンの生成処理を行う２０１、生成したパターンに対してマスクデータ２０３によるマスク処理を施すパターンマスク処理２０２があり、これらによって生成された表示画像は、ヘッドアップディスプレイ１０の外部映像入力回路１０６へ送られ、ヘッドアップディスプレイ１０で表示することが可能である。
【００３２】
一方、カメラ３０は、カメラ制御回路２０７からの指示により、視点位置５１から虚像３２を撮影しカメラ撮影画像３０１を得る。
【００３３】
格子点座標算出処理２０６は撮影した映像から格子点座標を算出する処理であり、ここで算出された格子点座標とパターン生成処理２０１で生成するパターンに基づく格子点座標を、格子点座標補正処理２０４で補正して得られる格子点座標を用いてパラメータ算出処理２０５によって幾何補正回路１０２用のパラメータを求め、これをパラメータ設定回路１０４経由で設定する。ヘッドアップディスプレイ調整装置２０の全体制御は制御部２０８が行う。なお、ヘッドアップディスプレイ１０やヘッドアップディスプレイ調整装置２０の内部にある各処理は専用回路で行っても良いし、ＣＰＵ上で動作するソフトウェア処理で行っても良い。
【００３４】
次に幾何補正回路１０２に与えるパラメータを算出する処理について説明する。図７は、本実施例における幾何補正パラメータ算出のフロー図である。また、図８は、本実施例における幾何補正パラメータ算出における各映像の関係を示した図である。以下、図７の処理ステップに従い、図８を参照しながら説明する。
【００３５】
（１）処理ステップＳ５００
まず、補正前映像１０７における格子点座標を算出する。ひとまず、以下の説明ではシェード３３は存在しないものとして扱う。補正前映像１０７における格子点座標は図４の様に、補正前映像１０７を水平、垂直の両方向について均一に領域分割することで得られる。本実施例では、水平方向を８分割、垂直方向を４分割としているため、補正前映像１０７中の９×５個の格子点について、格子点座標が算出されることになる（以下この格子点をｐ０グリッドと呼ぶ）。
【００３６】
（２）処理ステップＳ５１０
幾何補正回路１０２において幾何補正を行わない状態（補正ＯＦＦ）に設定すると、補正前映像１０７と補正後映像１０８は等しくなる。この状態で、虚像３２をカメラ３０で撮影して得られるカメラ撮影画像３０１は図８の３０１の様に歪んだ映像となる。ここで、カメラ３０は、虚像３２全体が撮影範囲に入るように調整されており、補正前映像１０７の表示範囲は、カメラ撮影画像３０１の映像表示可能エリア３１０に対応する。ここで、映像表示可能エリア３１０には、補正前映像１０７の画素に対応する点が全て含まれており、ｐ０グリッドに一対一に対応する格子点が存在することになる。これをｃ０グリッドと呼ぶこととする。ｃ０グリッドの求め方については後述する。
【００３７】
（３）処理ステップＳ５２０
ここで、補正前映像１０７の各領域について、その４隅の座標はｐ０グリッドから求めることができ、カメラ撮影画像３０１の対応する領域について、その４隅の座標はｃ０グリッドから求めることができるので、この領域について、補正前映像１０７からカメラ撮影画像３０１への射影変換行列Ｔｐｃおよびカメラ撮影画像３０１から補正前映像１０７への射影変換行列Ｔｃｐを求めることができる。
【００３８】
（４）処理ステップＳ５３０
ここでカメラ撮影画像３０１には幾何歪みが発生しており、運転者が見るには適していないため、幾何補正によって歪みを軽減するように補正したカメラ撮影映像３０２を考える。補正前映像１０７のコンテンツ全体の形状は矩形であるため、これを歪み無く表示するには、補正前映像１０７はカメラ撮影映像３０２の矩形領域に表示される必要がある。これをコンテンツ表示エリア３１１と呼ぶこととする。補正前のカメラ撮影画像３０１において、映像を表示可能な最大領域は映像表示可能エリア３１０なので、これに内包され、各辺がカメラ撮影映像３０２の外枠に平行な矩形をコンテンツ表示エリア３１１として算出することとする。このようにして求めたコンテンツ表示エリアを、本実施例の領域分割数である８×４の領域に均等分割することで、映像補正後の格子点であるｃ１グリッドが求められることになる。
【００３９】
（５）処理ステップＳ５４０
（４）によって求めたｃ１グリッドの各格子点に対して、（３）で求めたカメラ撮影画像３０１から補正前映像１０７への射影変換行列Ｔｃｐを適用することで、幾何補正回路１０２によって虚像３２の歪みを軽減するような補正処理を行った際の、補正後映像１０８における格子点座標であるｐ１グリッドが求まる。
【００４０】
（６）処理ステップＳ５５０
このようにして求めたｐ０グリッドとｐ１グリッドより、補正前映像１０７と補正後映像１０８の各領域における射影変換行列Ｔ０１を求めることができる。パラメータ算出回路２０５によって、補正前映像１０７の各領域に対する射影変換行列Ｔ０１を求め、これをパラメータ設定回路１０４によって幾何補正回路１０２に与える。幾何補正回路１０２は補正前映像１０７を領域に分割し、各領域について与えられた射影変換行列Ｔ０１を用いて射影変換を行うことで、補正後映像１０８を生成することが可能となる。
【００４１】
次に、処理ステップＳ５１０においてカメラ映像中の格子点座標を求める処理について説明する。本実施例では、補正前映像１０７を８×４の領域に分割して、領域毎に異なる幾何変換行列を用いて補正を行う場合を想定しているが、分割数はこれに限定されるものではない。
【００４２】
本実施例においてカメラ映像中の格子点座標（ｃ０グリッド）を算出するためにパターン生成処理２０１によって生成するパターン画像の例を図９に示す。図９において、破線は領域の境界線に相当するもので、図を見やすくするために記載してあり、実際のパターン画像には存在しない。各パターンは、全黒（１）、全白（２）、水平方向のグレイコード（３）〜（５）、垂直方向のグレイコード（６）（７）となっている。ある画素に着目する場合、その画素位置が各グレイコードパターンで白か黒かが判れば、グレイコードの性質を利用して、その画素がどの領域に含まれるかを一意に求めることが可能である。
【００４３】
例えば、ある画素位置において、パターン（１）〜（７）のそれぞれにおける白黒の状態が、黒、白、黒、黒、白、黒、黒である場合、その画素は最も左上の領域の右隣の領域である領域Ａに属することになる。このように、どの画素に対しても、パターン（１）〜（７）のそれぞれにおける白黒の状態が判れば、その画素が属する領域を一意に知ることが可能となる。
【００４４】
これらのパターンを順次ヘッドアップディスプレイ１０に表示し、虚像３２をカメラ３０で撮影して白黒の分布を取得することで、カメラ撮影画像３０１中の各画素がどの領域に属するかを知ることが可能となる。
【００４５】
図１０にパターン（５）を投影したときに、カメラ３０で取得した画像の例を示す。点線は見やすくするための補助線であり実際のカメラ画像には存在しないものである。この例では二個の白色の領域が歪んだ状態でカメラ画像３０に投影されている。各パターンを投影して、それを撮影することで、他のパターンについても同様のカメラ画像を得ることが可能となる。この様にして得られた７枚の画像（パターン（１）〜（７）に対応）の白黒の状態を解析することで、カメラ画像の各画素がどの領域に属するかを一意に求めることが可能となる。このようにして求められた各領域の境界線同士の交点の座標を求めることで、カメラ画像中の格子点座標（ｃ０グリッド）を求めることが可能となる。
【００４６】
表示映像生成回路１０５にて、表示デバイス１１０全体を使用するように表示コンテンツを作成して、幾何補正回路１０２において幾何補正を行わない状態で投影すると、虚像３２を見た際には図１０の点線の最外周である映像表示可能エリア３１０に示されるような歪んだ形状に見えることになる。
【００４７】
虚像３２を見た際に表示コンテンツが矩形に見えるように補正するには、補正後の表示コンテンツを映像表示可能エリア３１０に内包される矩形領域として定義されるコンテンツ表示エリア３１１に収まるように幾何変換する必要がある。
【００４８】
図１１に、図１０の映像表示可能エリアに対応したコンテンツ表示エリアの例を示す。コンテンツ表示エリアの算出方法はいろいろ考えられるが、本実施例では単純に、映像表示可能エリアに内包される範囲で矩形の各頂点座標を走査し、各辺がカメラ画像の外枠に平行であり、かつ面積が最大となるものをコンテンツ表示エリア３１１として定義するものとするが、面積よりもアスペクト比の維持を優先する等、この他の方法で定義することも可能である。
【００４９】
このようにコンテンツ表示エリア３１１を定義した場合、コンテンツ表示エリア３１１外の領域については有効なコンテンツは表示されないことになる。ここで、表示デバイス１１０として液晶パネルのように黒輝度が０でなく黒浮きが発生するデバイスが使用されている場合、コンテンツ表示エリア３１１外の映像の画素値を０にしても、映像表示可能エリア３１０に相当する部分は黒浮きにより僅かに明るくなる。この結果、運転者にはコンテンツ表示エリア３１１に表示された映像コンテンツの外部に、映像表示可能エリア３１０の形状の明るい領域が見えてしまい、映像表示品質が低下することになる。
【００５０】
これを防ぐために、本実施例では光の一部を遮蔽するシェード３３と呼ぶ部材を利用する。シェード３３は、表示デバイス１１０とレンズ１１１の間やダッシュボードの開口部などに配置し、中央の開口部では光を透過させ、外周部では光を遮蔽するように作られている部材であり、例えば、図１２に示すような形状を有する。シェード３３の開口部の形状は、虚像３２において、コンテンツ表示エリア３１１内の光のみを通過させ、コンテンツ表示エリア３１１外の光を遮断するように決定するため、虚像３２においてコンテンツ表示エリア３１１外に発生する黒浮きを抑えることが可能となる。
【００５１】
しかし、シェード３３を使用すると、表示デバイス１１０に表示されている映像の一部はシェード３３で遮られ、虚像３２には現れないことになる。このため、前述したグレイコードパターンを用いた対応する格子点座標の算出が誤動作することがある。例として、図１３にパターン（５）を投影したときに、カメラ３０で取得した画像の例を示す。図１３に示すように、投影したグレイコードパターンのうち、コンテンツ表示エリア外の部分はシェード３３により遮蔽されるため、カメラ３０の撮影画像においては、あたかもこの部分にはパターンが投影されていないかのように見えることになる。この結果、本来は○印の位置として検出されるべきカメラ映像中の格子点が、△印の位置に検出されてしまうことになる。
【００５２】
本実施例では、シェード開口部の形状に基づいてマスクデータ２０３を作成して利用することでこれを解決する。マスクデータ２０３の例を図１４に示す。理論的には、表示デバイス１１０と同一の解像度を持ち、シェード３３の設計データより得られるシェード開口部３１２の形状をそのまま使用して、開口部を１、それ以外を０としたデータを作成し、これをマスクデータ２０３とする。しかし、実際には、各部材の製造バラツキや、取り付け誤差があることを考慮し、マージンとしてシェード開口部３１２の１〜５％程度内側の形状であるマスク領域の外周線３１３を作成し、これを用いてマスクデータを作成する。すなわち、マスクデータは、シェードによって映像が遮られる領域を全てマスクするように生成されたデータとする。
【００５３】
パターンマスク処理２０２では、パターン生成処理２０１で生成した図９の各パターンに対して、マスクデータ２０３を用いたマスク処理を行う。すなわち、図９のパターンの各画素に対して、マスクデータ２０３の対応する位置の値を参照し、１の場合は、図９のパターンデータの画素値をそのまま使用し、０の場合は画素値を強制的に０にする処理を行う。このように、図９の各パターンに対して、パターンマスク処理２０２を行った後のパターンデータを図１５に示す。図１５において格子線やマスクデータの外周線は図を見やすくするためのものであり、実際のデータ中には存在しない。
【００５４】
このようにして生成されたマスク後のパターンをヘッドアップディスプレイ１０で投影した結果である虚像３２をカメラ３０で撮影して得られるカメラ画像の例を図１６に示す。この図において矩形で表現されているコンテンツ表示エリアの枠は、シェード３３による遮蔽範囲に相当する物であり、その枠内に遮られること無くマスク後のグレイコードパターンが投影されている。マスクデータ２０３を作成するときのマージンを設けたことにより、各部材の製造バラツキや取り付け誤差が存在する場合でも、投影したパターンを欠けること無くカメラ３０で撮影することが可能である。
【００５５】
図１６は、パターンマスク処理２０２後のパターン（５）を投影した際のカメラ３０の撮影画像であるが、投影されたパターンの白色の部分が欠けること無くシェード３３の開口部すなわちコンテンツ表示エリア内に収まっているため、△印の格子点位置も正しく検出することが可能となっている。
【００５６】
上記で説明したように、パターンマスク処理２０２により、マスクデータ２０３を用いてグレイコードパターンにマスク処理を行うことで、シェード３３に悪影響を受けることなく、図７のカメラ映像の格子点座標算出処理Ｓ５１０を行うことが可能となる。ただし、ここで得られる格子点座標は図１６の△印に相当するものであり、マスクを行わない場合の本来の格子点である図１３の○印の格子点とは異なるものである。このため、ここで得られたカメラ映像の格子点座標を使って射影変換行列算出Ｓ５２０を行っても正しい射影変換行列を得ることができない。正しい射影変換行列を得るには、表示映像の格子点座標についても座標補正処理を行う必要がある。
【００５７】
以上を図１７を用いて説明する。図１７は表示映像及び格子点座標（幾何補正ＯＦＦ時）を図示した図である。この図において○印は本来の格子点座標であり、３１３はマスクデータ２０３におけるマスク領域の外周線である。格子点座標の座標補正処理は次のように行う。
【００５８】
（１）マスク領域の内側（非マスク領域）にある格子点
格子点４００が一例である。この格子点については座標補正処理を行わず、元の格子点座標をそのまま使用する。
（２）四隅の格子点
格子点４１０が一例である。この格子点についてはマスク領域の外周線３１３の角の点である４１１を座標補正後の格子点座標として使用する。
（３）左右端の格子点
格子点４２０が一例である。この格子点についてはマスク領域の外周線３１３と格子点４２０を含む水平格子線との交点４２１を座標補正後の格子点座標として使用する。
（４）上下端の格子点
格子点４３０が一例である。この格子点についてはマスク領域の外周線３１３と格子点４３０を含む垂直格子線との交点４３１を座標補正後の格子点座標として使用する。
【００５９】
これらの補正処理は格子点座標補正処理２０４にて行う。また、ここでは、マスク領域の外周線３１３が表示映像の最外周のエリアを通過する場合を想定して説明を行ったが、図１８のように、マスク領域の外周線３１３がさらに内側にあり、領域４５０や４５１のように、マスク領域に完全に含まれてしまう領域がある場合には、その領域は無効な領域として除外して格子点補正処理を行う。例えば、図１８において格子点４１０や４３０は座標補正後は無効な格子点として扱われることになる。格子点４１２は座標補正後は格子点４１３の座標が使用され、格子点４３２は格子点４３３の座標が使用されるといった具合である。
【００６０】
このように本実施例で説明した方法によってグレイコードパターンと表示映像の格子点の座標補正処理を行うことで、シェード３３によって映像の一部が遮蔽される場合でも図７の処理を用いて、幾何補正前後の射影変換行列を算出することが可能となる。
【００６１】
また、図６の構成は、ヘッドアップディスプレイ調整装置２０はパソコン等、カメラ３０はデジタルカメラ等を利用することを想定していたが、本実施例は必ずしもこの構成に限定されるものではない。例えば、図１９のようにカメラを内蔵したスマートフォンなどのスマートデバイス２１を用いてこれらを一体化した構成も可能である。
【００６２】
この構成ではカメラ３０はスマートデバイスに内蔵されており、スマートデバイス２１で生成したパターン映像や射影変換行列は、無線通信回路１２０、２１０を使って無線で伝達される。スマートデバイス２１をバッテリーで駆動すれば、完全ワイヤレスでヘッドアップディスプレイ調整装置を実現することが可能となり使い勝手の良い調整装置を実現することが可能となる。スマートデバイス２１はさらに小型化してスマートグラスのようなデバイスを用いることも可能である。
【００６３】
なお、上記の説明ではマスクデータ２０３はシェード３３の設計値を元に作成する場合を想定して説明したが、本発明はこれに限定されるものではない。例えば、パターン生成処理２０１において表示デバイス１１０の座標（ｘ、ｙ）の画素のみ点灯させ、残りの画素は全て消灯させるような画像を生成する。これを幾何補正回路１０２の幾何補正をＯＦＦした状態で表示デバイス１１０に表示させ、カメラ３０で撮影する。このときにカメラ撮影画像３０１に点灯させた画素が写っていれば、座標（ｘ、ｙ）はシェード３３によって遮蔽されていない画素であり、写っていなければ遮蔽されている画素であるということが出来る。座標（ｘ、ｙ）を順次変化させ、表示デバイス１１０の全画素を走査すれば、表示デバイス１１０のどの部分がシェード３３によって遮蔽されるかがわかるので、これを元にシェード３３の設計値がない場合でもマスクデータ２０３を生成することが可能となる。
【００６４】
また、ここまでの説明ではシェード３３の開口部の形状は一定であるとしたが、電子ペーパーなどを用いれば、開口部の形状を可変とすることも可能である。このような場合は、開口部を制御する際に使用した形状データを利用してマスクデータ２０３を利用することで本実施例のフローを利用することも可能であるし、調整フローを実施するときには、シェード３３を全通過状態にしてシェード３３に起因する誤動作を排除する方法もある。
【００６５】
また、本実施例では、投影面の形状により発生する幾何歪みを補正できるとして説明したが、幾何歪みが投影面の形状ではなく映像表示装置の光学系の光学特性に起因する場合においても、本実施例によれば幾何歪みを補正できる点は言うまでもない。
【００６６】
以上のように、本実施例は、設計値または実測値から得られた遮蔽物の形状を利用して、投影するパターン画像に対してあらかじめマスク処理を行う。さらに、投影パターンにおける格子点座標についても座標の補正を行うことで、マスク処理に伴うデータの不整合を防止する。
【００６７】
これにより、遮蔽物がある場合でも投影したパターンが遮られること無くカメラで撮影出来ることが保証されるため、遮蔽物に起因する誤動作を発生させることなく投影対象物の形状を取得でき、これを用いた映像表示装置の幾何歪みの補正が可能となる。
【実施例２】
【００６８】
実施例１の方法で幾何歪みを補正した場合でも、運転者５０の頭の位置と調整時のカメラ３０の位置に差異が生じた場合には、幾何歪みを補正しきれない場合が発生する。これは、実施例１の方式がカメラ３０の位置から見たときの幾何歪みを最小化するように補正するようになっているためである。本実施例は、以上の課題を解決するための構成について説明する。
【００６９】
図２０は、本実施例におけるヘッドアップディスプレイの構成図である。図２０において、図６と同じ機能は同じ符号を付しており、その説明は省略する。図２０において、４０は頭部検出装置であり、運転者５０の頭がどこにあるかを検出する装置である。頭部検出装置４０は頭の位置だけでなく、運転者の目の位置についても検出することが可能である。検出された目の位置は視点位置検出結果４１としてパラメータ設定回路１４０へ送られる。
【００７０】
図２１は運転者５０の顔およびその周囲の空間を正面から見た図である。運転者５０の標準的な視点位置は、標準的な頭の位置における両方の目の中央に相当する５１であると定義すると、視点位置は三次元座標（ｘ、ｙ、ｚ）で表すことができるが、奥行き方向の位置は虚像の幾何歪みにあまり影響を与えないため、今回は奥行きを表すｚの値については無視して考える。
【００７１】
ここで、標準の視点位置５１を中心とした視点位置６０から６３を定義する。視点位置６０と６１は同一のＹ座標を持ち、視点位置６２と６３も同一のＹ座標を持ち、標準の視点位置５１のＹ座標は視点位置６０と視点位置６２の中央となっている。同様に、視点位置６０と６２は同一のＸ座標を持ち、視点位置６１と６３も同一のＸ座標を持ち、標準の視点位置５１のＸ座標は視点位置６０と視点位置６１の中央となっている。すなわち、標準の視点位置５１を対角線の交点とした長方形の４隅に視点位置６０から６３が存在することになり、これらのｚ座標は標準の視点位置５１と同一の値である。
【００７２】
ここで、図６のシステムを用いて、カメラ３０を視点位置６０から６３の４カ所に順次設置し、それぞれの位置で幾何補正回路１０２用の射影変換行列を算出する。これらの射影変換行列を用いると、それぞれのカメラ位置において、補正前映像１０７の各画素（ｘ，ｙ）を、補正後映像１０８のどの座標に変換すべきかが求まる。すなわち、
視点位置６０：補正後映像１０８の（ｘ６０、ｙ６０）に変換
視点位置６１：補正後映像１０８の（ｘ６１、ｙ６１）に変換
視点位置６２：補正後映像１０８の（ｘ６２、ｙ６２）に変換
視点位置６３：補正後映像１０８の（ｘ６３、ｙ６３）に変換
となったとする。ここで運転者５０の頭が動いたことにより、視点位置が６５になったとすると、その時に補正前映像１０７の各画素（ｘ，ｙ）の変換先の座標は、視点位置６０、６１に対する視点位置６５のｘ座標の内分比ｘ０：ｘ１と視点位置６０、６２に対する視点位置６５のｙ座標の内分比ｙ０：ｙ１を用いて、座標（ｘ６０、ｙ６０）、（ｘ６１、ｙ６１）、（ｘ６２、ｙ６２）、（ｘ６３、ｙ６３）を線形補間することで近似的に求めることができる。この処理を、視点位置検出結果４１を用いて、図２０の幾何補正回路１４１にて行うことで、運転者５０の頭の位置が動いた場合にも歪みを軽減可能な構成とすることができる。
【００７３】
なお、上記運転者５０の頭の位置が動いた場合における歪み軽減は、実施例１におけるヘッドアップディスプレイ調整装置２０の処理が前提である。すなわち、図６や図１９におけるパラメータ算出処理２０５によって幾何補正回路１４１用のパラメータを求め、これをパラメータ設定回路１４０経由で設定する。また、図６や図１９におけるパターンマスク処理２０２によって生成された表示画像が外部映像入力回路１０６へ送られ、ヘッドアップディスプレイ１０で表示する。
【符号の説明】
【００７４】
１０：ヘッドアップディスプレイ、２０：ヘッドアップディスプレイ調整装置、２１：スマートデバイス、３０：カメラ、３１：フロントガラス、３２：虚像、３３：シェード、３４：ダッシュボード、４０：頭部検出装置、４１：視点位置検出結果、５０：運転者、５１：視点位置、１０１：制御部、１０２：幾何補正回路、１０４：パラメータ設定回路、１０５：表示映像生成回路、１０６：外部映像入力回路、１０７：補正前映像、１０８：補正後映像、１１０：表示デバイス、１１１：レンズ、１１２：ミラー、１１３：可動ミラー、１２０：無線通信回路、２０１：パターン生成処理、２０２：パターンマスク処理、２０３：マスクデータ、２０４：格子点座標補正処理、２０５：パラメータ算出処理、２０６：格子点座標算出処理、２０７：カメラ制御回路、２０８：制御部、２１０：無線通信回路、３０１：カメラ撮影画像（歪み補正前）、３０２：カメラ撮影映像（歪み補正後）、３１０：映像表示可能エリア、３１１：コンテンツ表示エリア、３１２：シェード開口部、３１３：マスク領域の外周線
【図１】
2019080145.tif 000007
【図２】
2019080145.tif 000008
【図３】
2019080145.tif 000009
【図４】
2019080145.tif 000010
【図５】
2019080145.tif 000011
【図６】
2019080145.tif 000012
【図７】
2019080145.tif 000013
【図８】
2019080145.tif 000014
【図９】
2019080145.tif 000015
【図１０】
2019080145.tif 000016
【図１１】
2019080145.tif 000017
【図１２】
2019080145.tif 000018
【図１３】
2019080145.tif 000019
【図１４】
2019080145.tif 000020
【図１５】
2019080145.tif 000021
【図１６】
2019080145.tif 000022
【図１７】
2019080145.tif 000023
【図１８】
2019080145.tif 000024
【図１９】
2019080145.tif 000025
【図２０】
2019080145.tif 000026
【図２１】
2019080145.tif 000027