(57)【要約】  運転者の前方視野上に虚像を表示するＨＵＤ（１１０）と、運転者を撮影する視点検知カメラ（１２０）とを備えた車両用表示装置（１００）において、虚像を撮影可能な位置に測定用カメラ（２１０）を設置する。加えて、虚像の視野角、視点検知カメラ（１２０）の画角、および測定用カメラ（２１０）の画角に対して所定の位置に較正用パターン（３００）を配置する。また、視点検知カメラ（１２０）および測定用カメラ（２１０）で較正用パターン（３００）を撮影し、測定用カメラ（２１０）で虚像を撮影する。視点検知カメラ（１２０）によって撮影された映像と測定用カメラ（２１０）によって撮影された映像とを用いて、視点検知カメラ（１２０）とＨＵＤ（１１０）の相対位置と姿勢を姿勢情報として算出する。そして、算出した姿勢情報を用いてＨＵＤ（１１０）が表示する虚像の位置を調整する。
2016157799.tif 000002
【特許請求の範囲】
【請求項１】
運転者の前方視野上に虚像を表示する表示装置と、
前記運転者を撮影する視点検知カメラと、
を備えた車両表示装置の位置調整方法であって、
前記虚像および位置調整のための情報を取得するための較正用パターンを撮影可能な位置に測定用カメラを設置すると共に、
前記虚像の視野角、前記視点検知カメラの画角、および前記測定用カメラの画角に対して所定の位置に前記較正用パターンを配置するステップと、
前記視点検知カメラおよび前記測定用カメラで前記較正用パターンを撮影するステップと、
前記測定用カメラで前記虚像を撮影するステップと、
前記視点検知カメラによって撮影された映像と前記測定用カメラによって撮影された映像とを用いて、前記測定用カメラと前記視点検知カメラの相対位置と姿勢を算出するとともに、前記測定用カメラと前記表示装置の相対位置と姿勢を算出し、２つの前記相対位置と姿勢から前記視点検知カメラと前記表示装置の相対位置と姿勢を姿勢情報として算出するステップと、
前記姿勢情報を用いて前記表示装置が表示する前記虚像の位置を調整するステップとからなる車両用表示装置の位置調整方法。
【請求項２】
前記虚像の視野角と、前記視点検知カメラの画角と、前記測定用カメラの画角が重なる範囲内に前記較正用パターンを設置する請求項１に記載の車両用表示装置の位置調整方法。
【請求項３】
前記虚像の視野角と前記測定用カメラの画角が重なる範囲であり、かつ前記視点検知カメラの画角外である領域と、前記視点検知カメラの画角と前記測定用カメラの画角が重なる範囲であり、かつ前記虚像の視野角の範囲外である領域に跨って、前記較正用パターンを設置する請求項１に記載の車両用表示装置の位置調整方法。
【請求項４】
前記較正用パターンは半透明である請求項２または３のいずれか一項に記載の車両用表示装置の位置調整方法。
【請求項５】
前記表示装置と前記視点検知カメラの位置関係を判定するステップにおいて、前記表示装置によって表示される虚像が、前記測定用カメラで撮影された画像のどの画素に前記虚像のどの画素が写っているかを特定するための特徴的なパターンを備えていることを特徴とする、請求項１から４のいずれか一項に記載の車両用表示装置の位置調整方法。
【請求項６】
前記画素を特定するための特徴的なパターンが、時間的に色や輝度が変化するパターンであることを特徴とする、請求項５に記載の車両用表示装置の位置調整方法。
【請求項７】
運転者の前方視野上に虚像を表示する表示装置と、
前記運転者を撮影する視点検知カメラと、
を備えた車両表示装置の位置調整方法であって、
前記虚像を撮影する測定用カメラを設置すると共に、
前記測定用カメラに対して所定の位置に取り付けられた位置調整のための情報を取得するための較正用パターンを前記視点検知カメラで撮影するステップと、
前記測定用カメラで前記虚像を撮影するステップと、
前記視点検知カメラによって撮影された映像と前記測定用カメラによって撮影された映像とを用いて、前記測定用カメラと前記視点検知カメラの相対位置と姿勢の算出、および前記測定用カメラと前記表示装置の相対位置と姿勢の算出を行い、２つの前記相対位置と姿勢から前記視点検知カメラと前記表示装置の相対位置と姿勢を姿勢情報として算出するステップと、
前記姿勢情報を用いて前記表示装置が表示する前記虚像の位置を調整するステップとからなる車両用表示装置の位置調整方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は運転者の視野上に虚像を表示する車両用表示装置に係り、特に虚像の観察者の視点を検知するための視点検知カメラと表示装置の相対的な位置および姿勢を算出する技術に関する。
【背景技術】
【０００２】
ヘッドアップディスプレイ（Ｈｅａｄ  Ｕｐ  Ｄｉｓｐｌａｙ、ＨＵＤ）を自動車に搭載することで、運転者の視野上に虚像を表示することができ、視線移動が少なくなることで運転者が情報を読み取る際の負担を低減することができる。また、前方障害物をマーキングして強調するなどの拡張現実（Ａｕｇｕｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、ＡＲ）表示によって、運転者に対してより多くの情報を提供することが可能である。【０００３】
このようなＡＲ表示を行う際には、運転者から見て描画対象物と描画内容が所定の位置関係にないと煩わしさや誤認識の原因となるため、運転者の視点位置を検出してそれに応じて描画位置を変更することが望ましい。一般的には車室内に視点検知用のカメラを設置し、それによって運転者の視点位置を検出する。【０００４】
しかし、視点検知用のカメラ、ＨＵＤの双方に組み立て時のバラ付きや車体取り付け時のずれなどの誤差要因があり、両者の位置関係が設計時の想定と異なる可能性が高い。従って、取り付け後に何らかの手段で両者の相対姿勢を計測し、描画の際には計測された相対姿勢に基づいて描画を行うことが望ましい。【０００５】
これに対して特許文献１では運転者の目の位置に鏡を設置し、視点検知用のカメラで撮影された鏡の像を見ながら視点検知用のカメラとＨＵＤの位置関係を調整する手法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２６２６６６号公報
【発明の概要】
【０００７】
特許文献１に記載の手法は視点検知用のカメラとＨＵＤの相対姿勢に媒介者である鏡の姿勢が加わるため、正しい相対姿勢を得るためには何らかの手段で正確な鏡の姿勢を知る必要がある。正確な鏡の姿勢を知る手順を踏むのは煩雑であるため、より簡便に相対姿勢を計測することができる手法が求められる。
【０００８】
本開示は、視点検知カメラとＨＵＤの相対姿勢を容易に計測し、ＨＵＤの表示位置を調整することが可能な車両用表示装置の表示位置調整方法を提供する。
【０００９】
本開示における表示位置調整方法は、運転者の前方視野上に虚像を表示する表示装置と、運転者を撮影する視点検知カメラと、を備えた車両表示装置の位置調整方法である。そして、虚像および位置調整のための情報を取得するための較正用パターンを撮影可能な位置に測定用カメラを設置すると共に、虚像の視野角、視点検知カメラの画角、および測定用カメラの画角に対して所定の位置に較正用パターンを配置するステップを有する。また、視点検知カメラおよび測定用カメラで較正用パターンを撮影するステップと、測定用カメラで虚像を撮影するステップとを有する。また、視点検知カメラによって撮影された映像と測定用カメラによって撮影された映像とを用いて、測定用カメラと視点検知カメラの相対位置と姿勢の算出、および測定用カメラと表示装置の相対位置と姿勢の算出を行った後、視点検知カメラと表示装置の相対位置と姿勢を姿勢情報として算出するステップを有する。さらに、姿勢情報を用いて表示装置が表示する虚像の位置を調整するステップを有する。
【００１０】
本開示における車両用表示装置の位置調整方法は、視点検知カメラとＨＵＤの相対姿勢を容易に計測し、ＨＵＤの表示位置を調整することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】図１は、第１の実施の形態における表示位置調整方法の一構成例を示すブロック図である。
【図２】図２は、第１の実施の形態における表示位置調整方法の一構成例を示す機能ブロック図である。
【図３】図３は、第１の実施の形態における位置調整方法の処理の流れを示すフローチャートである。
【図４】図４は、第１の実施の形態における較正用パターンの設置例を示す図である。
【図５】図５は、第１の実施の形態における較正用パターンの他の設置例を示す図である。
【図６Ａ】図６Ａは、測定用カメラとＨＵＤの相対姿勢を説明する図である。
【図６Ｂ】図６Ｂは、測定用カメラとＨＵＤの相対姿勢を説明する図である。
【図７Ａ】図７Ａは、表示位置の調整例を示す図である。
【図７Ｂ】図７Ｂは、表示位置の調整例を示す図である。
【図８】図８は、第２の実施の形態における位置調整方法の処理の流れを示すフローチャートである。
【図９】図９は、第２の実施の形態における較正用パターンの設置位置の例を示す図である。
【図１０Ａ】図１０Ａは、第２の実施の形態における較正用パターンの形状の例を示す図である。
【図１０Ｂ】図１０Ｂは、第２の実施の形態における較正用パターンの形状の例を示す図である。
【発明を実施するための形態】
【００１２】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１３】
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【００１４】
（第１の実施の形態）
以下、図１〜図７Ａ、図７Ｂを用いて、第１の実施の形態を説明する。
【００１５】
［１−１．構成］
［１−１−１．装置構成］
図１は、第１の実施の形態における車両用表示装置１００の位置調整方法を説明するための模式図である。
【００１６】
図１に示すように、車両用表示装置１００の位置調整には、姿勢判定装置２００、較正用パターン３００を用いる。
【００１７】
車両用表示装置１００は、ＨＵＤ１１０、視点検知カメラ１２０、表示制御ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）１３０を備える。
【００１８】
ＨＵＤ１１０は運転者の前方視野上に虚像を表示するもので、ヘッドアップディスプレイによって構成される。ＨＵＤ１１０はいわゆるウインドシールド型、コンバイナ型のいずれであっても本方法は適用可能である。
【００１９】
視点検知カメラ１２０は、運転者の顔を撮影する。撮影した映像は、運転者の視点位置測定に用いられる。視点検知カメラ１２０は、単眼カメラやステレオカメラなどによって構成される。本実施の形態では、ステレオカメラを用いるものとして説明を進める。視点検知カメラ１２０は、ダッシュボードやメーター内など、運転者の顔ができるだけ正面に近い方向から撮影出来る場所であれば、どこに設置してもよい。
【００２０】
表示制御ＥＣＵ１３０は、視点検知カメラ１２０の撮影や、ＨＵＤ１１０の表示位置など、車両用表示装置１００を構成する各構成要素を制御する。
【００２１】
姿勢判定装置２００は、測定用カメラ２１０とＰＣ２２０とを備える。
【００２２】
測定用カメラ２１０は、ＨＵＤ１１０が表示する虚像の表示位置を調整する時にのみ、車両内に設置されるカメラである。測定用カメラ２１０は、較正用パターン３００およびＨＵＤ１１０が表示した虚像を撮影する。測定用カメラは、例えば、ステレオカメラや距離センサーなどの組み合わせによって構成される。
【００２３】
ＰＣ２２０は、測定用カメラ２１０が撮影した映像と視点検知カメラ１２０が撮影した映像より、ＨＵＤ１１０の姿勢を判定する。較正用パターン３００は、位置調整時にのみ車両内に設置される。
【００２４】
［１−１−２．機能構成］
図２は、車両用表示装置１００および姿勢判定装置２００の機能ブロック図である。
【００２５】
車両用表示装置１００は、図１のＨＵＤ１１０に相当する表示部１１１、図１の視点検知カメラ１２０に相当する撮像部１２１、および図１の表示制御ＥＣＵ１３０に相当する視点検出部１３１、表示制御部１３２、ＣＰＵ１３３、メモリ１３４、出力Ｉ／Ｆ１３５を備える。姿勢判定装置２００は、図１の測定用カメラ２１０に相当する撮像部２１１、および図１のＰＣ２２０を構成するＣＰＵ２２１、出力Ｉ／Ｆ２２２を備える。また、車両用表示装置１００と姿勢判定装置２００のデータのやり取りに、本実施の形態では、メモリカード４００を用いる。
【００２６】
表示部１１１は運転者の視野上に虚像を表示する。撮像部１２１は、運転者の顔を所定の期間、例えば、毎秒３０枚撮影する。なお、撮像部１２１は、距離センサーなどと組み合わせて構成される。
【００２７】
視点検出部１３１は、撮像部１２１が所定の期間撮影した映像より、運転者の視点位置を検出する。視点位置の検出は、例えば、撮像部１２１が撮影した２枚の画像から、視点の視差を求めることで、視点の３次元位置を求めることができる。
【００２８】
表示制御部１３２は表示部１１１が表示する虚像の表示位置および表示内容を制御する。また、表示制御部１３２は姿勢判定装置２００が算出した姿勢情報に従って、表示部１１１の表示位置を制御する。
【００２９】
ＣＰＵ１３３は車両用表示装置１００全体の動作を制御するためのコントローラである。なお、視点位置の検出には、別途ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）やＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）などのハードウェアを用いてもよい。
【００３０】
メモリ１３４はＣＰＵ１３３のワークメモリや、撮像部１２１で撮影した映像や、視点検出部１３１の検出結果などを記憶しておくために用いる。メモリ１３４は、ＤＲＡＭなどの揮発性メモリやフラッシュメモリなどの不揮発性メモリからなる。
【００３１】
出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１３５は、撮像部１２１が撮影した映像を姿勢判定装置２００へ出力したり、姿勢判定装置２００からの姿勢情報を入力したりするために用いられる。具体的には、出力Ｉ／Ｆ１３５は、撮像部１２１が撮影した映像を可搬可能なメモリカード４００に記録したり、メモリカード４００から姿勢情報を読み出したりする場合のメモリカードインタフェース等である。
【００３２】
撮像部２１１は、較正用パターン３００や、ＨＵＤ１１０が表示した虚像を撮影するのに用いられる。
【００３３】
ＣＰＵ２２１は、ＰＣ２２０を構成する各構成要素を制御するためのコントローラであり、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である不揮発性メモリ、入出力ポート、プログラムを実行するプロセッサを有する。ＰＣ２２０は、撮像部２１１が撮影した映像と車両用表示装置１００の撮像部１２１が撮影した映像より、図１のＨＵＤ１１０と視点検知カメラ１２０の相対位置と姿勢（相対姿勢）を判定し、ＨＵＤ１１０の表示位置を調整するための姿勢情報を算出する。
【００３４】
出力Ｉ／Ｆ２２２は、車両用表示装置１００の撮像部１２１が撮影した映像を入力したり、ＣＰＵ２２１が算出した姿勢情報を出力したりするために用いられる。具体的には、メモリカード４００より、撮像部１２１が撮影した映像を読み出したり、ＣＰＵ２２１が算出した姿勢情報をメモリカード４００に記録したりする場合のメモリカードインタフェース等である。
【００３５】
メモリカード４００は、可搬可能な記録媒体であり、撮像部１２１で撮影した映像や姿勢判定装置２００で算出した姿勢情報の入出力に使用される。
【００３６】
［１−２．動作］
図３は本実施の形態における位置調整方法の処理の流れを示すフローチャートである。図４は、本実施の形態における較正用パターンの設置例を示す図である。図５は、本実施の形態における較正用パターンの他の設置例を示す図である。
【００３７】
［１−２−１．処理の流れ］
まず、測定用カメラ２１０と較正用パターン３００を車両内の所定の位置に設置する（ステップＳ３０１）。測定用カメラ２１０はＨＵＤ１１０が表示する虚像を撮影可能な位置に設置する。較正用パターンは、虚像の視野角と視点検知カメラ１２０の画角に対して、所定の位置に配置する。
【００３８】
具体的には、較正用パターン３００は、図４に示すようにＨＵＤ１１０が表示する虚像Ａの視野角θ１、視点検知カメラの画角θ２、測定用カメラの画角θ３の３つの角が重なる範囲Ｂ（塗りつぶし領域）内に設置することが望ましい。
【００３９】
ここで、ＨＵＤ１１０および視点検知カメラ１２０の仕様によっては、図４のような位置に較正用パターン３００を配置することが困難である可能性も考えられる。そのような場合には図５に示すように、ＨＵＤ１１０が表示する虚像Ａの視野角θ１と測定用カメラ２１０の画角θ２の共通範囲α１と、視点検知カメラ１２０の画角θ３と測定用カメラ２１０の画角θ２の共通範囲α２に跨るように、較正用パターン３００を配置してもよい。ここで、共通範囲α１は、視点検知カメラ１２０の画角θ２の外に位置し、共通範囲α２は、虚像Ａの視野角θ１の外に位置する。
【００４０】
なお、図４、図５において、較正用パターン３００は、板状の形をしているが、これに限定されない。較正用パターン３００は、共通範囲α１、α２に跨る既知の形状であれば、どのような形状でも構わない。例えば、測定用カメラ２１０から見て、α１の領域に位置する部分と、α２の領域に位置する部分の奥行きが異なっている形状でも構わない。
【００４１】
次に、測定用カメラ２１０と視点検知カメラ１２０のそれぞれで較正用パターン３００を撮影する（ステップＳ３０２）。車両用表示装置１００のＣＰＵ１３３は、視点検知カメラ１２０に較正用パターン３００を撮影させ、撮影した映像をメモリ１３４に記録させる。同様に、姿勢判定装置の２００のＣＰＵ２２１は、測定用カメラ２１０に較正用パターン３００を撮影させる。
【００４２】
視点検知カメラ１２０と測定用カメラ２１０による撮影が終了すると、較正用パターン３００を虚像Ａの視野角θ１の外に移動させる。その後、姿勢判定装置２００のＣＰＵ２２１は、測定用カメラ２１０に虚像Ａを撮影させる（ステップＳ３０３）。この際、虚像Ａとしては、虚像Ａの各画素が測定用カメラ２１０のどの位置に写っているかを特定できる特徴的なパターンを備えたものを表示する。ここで、特徴的なパターンの例としては画素ごとに色が異なるパターン、画素ごとに異なるタイミングで輝度や色が変化するパターン、などが考えられる。
【００４３】
次に、姿勢判定装置２００のＣＰＵ２２１は、測定用カメラ２１０と視点検知カメラ１２０で各々撮影した画像から、測定用カメラ２１０と視点検知カメラ１２０の相対姿勢の算出、および測定用カメラ２１０とＨＵＤ１１０の相対姿勢の算出を行う（ステップＳ３０４）。
【００４４】
この時、車両用表示装置１００の出力Ｉ／Ｆ１３５にメモリカード４００を接続し、メモリ１３４に記録されている視点検知カメラ１２０が撮影した映像をメモリカード４００に記録する。その後、メモリカード４００を姿勢判定装置２００の出力Ｉ／Ｆに接続させる。姿勢判定装置２００のＣＰＵ２２１は、メモリカード４００より視点検知カメラ１２０が撮影した映像を読み出す。ＣＰＵ２２１は、視点検知カメラ１２０が撮影した映像と、測定用カメラ２１０が撮影を用いて、測定用カメラ２１０に対する視点検知カメラ１２０の相対姿勢を算出するとともに、測定用カメラ２１０に対するＨＵＤ１１０の相対姿勢を算出する。
【００４５】
姿勢判定装置２００のＣＰＵ２２１は、測定用カメラ２１０に対する視点検知カメラ１２０およびＨＵＤ１１０の相対姿勢から、視点検知カメラ１２０に対するＨＵＤ１１０の相対姿勢を算出する（ステップＳ３０５）。ＣＰＵ２２１は、算出結果を姿勢情報として、姿勢判定装置２００の出力Ｉ／Ｆ２２２を介してメモリカード４００に記録する。
【００４６】
車両用表示装置１００のＣＰＵ１３３は、車両用表示装置１００の出力Ｉ／Ｆ１３５を介して、メモリカード４００より、姿勢判定装置２００で算出された姿勢情報を読み出し、メモリ１３４に記録させる。ＣＰＵ１３３は、記録した姿勢情報に従って、表示制御部１３２にＨＵＤ１１０が表示する虚像の表示位置を調整させる（ステップＳ３０６）。
【００４７】
［１−２−２．測定用カメラと視点検知カメラの間の相対姿勢の測定］
ここでは、姿勢判定装置２００が算出する姿勢情報の算出方法について詳細に説明する。
【００４８】
まず、「視点検知カメラ１２０によって構成される３次元座標系」を「測定用カメラ２１０によって構成される３次元座標系」に変換する。この変換は（数１）で表される。
【００４９】
【数１】
2016157799.tif 000003
【００５０】
（数１）において、（ｘｗ，ｙｗ，ｚｗ）は測定用カメラ２１０によって構成される３次元座標系上のある点Ｐの座標を表し、（ｘｃ，ｙｃ，ｚｃ）は視点検知カメラ１２０によって構成される３次元座標系で点Ｐを見たときの座標を表す。また、Ｒｃ１１からＲｃ３３は座標系の回転に相当し、（ｔｃｘ，ｔｃｙ，ｔｃｚ）は座標系の原点の平行移動量に相当する。ここで、座標系の回転Ｒｃの９個の変数、および座標系原点の平行移動量ｔｃの３つの変数、合計１２個の変数の値を求めることが、測定用カメラ２１０と視点検知カメラ１２０の間の相対姿勢を求めることに相当する。
【００５１】
以下、上記回転Ｒｃおよび平行移動量ｔｃを求める方法について説明する。
【００５２】
較正用パターン３００上のｎ個の点の座標を測定用カメラ２１０で測定した結果を（ｘｗ１，ｙｗ１，ｚｗ１）、（ｘｗ２，ｙｗ２，ｚｗ２）、…、（ｘｗｎ，ｙｗｎ，ｚｗｎ）とする。また、較正用パターン３００上のｎ個の点の座標を視点検知カメラ１２０で測定した結果を（ｘｃ１，ｙｃ１，ｚｃ１）、（ｘｃ２，ｙｃ２，ｚｃ２）、…、（ｘｃｎ，ｙｃｎ，ｚｃｎ）とする。これらを（数１）に代入した結果のうち、行列の１行目部分に着目すると、（数２）のようになる。
【００５３】
【数２】
2016157799.tif 000004
【００５４】
（数２）において、未知数はＲｃ１１、Ｒｃ１２、Ｒｃ１３、ｔｃｘの４つであるため、最低４点の座標の組が得られればこの方程式を解くことができる。実際にはカメラでの測定誤差の影響を考慮して４点より多くの点について測定を行い、最小自乗法などの手法で全体の誤差が最小となるように各未知数の値を定める。行列の２行目、３行目部分についても同様にして未知数の値を定めることができるので、説明を省略する。
【００５５】
［１−２−３．測定用カメラとＨＵＤの間の相対姿勢の測定］
まず、較正用パターン３００のｎ個の点について、測定用カメラ２１０の座標系における３次元位置（ｘｗ１，ｙｗ１，ｚｗ１）、（ｘｗ２，ｙｗ２，ｚｗ２）、…、（ｘｗｎ，ｙｗｎ，ｚｗｎ）と、画像上の座標（ｕｗ１，ｖｗ１）、（ｕｗ２，ｖｗ２）、…、（ｕｗｎ，ｖｗｎ）を求める。次いでＨＵＤ１１０が表示した虚像を撮影した画像から、（ｕｗ１，ｖｗ１）、（ｕｗ２，ｖｗ２）、…、（ｕｗｎ，ｖｗｎ）の位置にＨＵＤ１１０の虚像のどの画素が写っているかを判定する。以下、判定されたＨＵＤ１１０の画素の座標を（ｕｈ１，ｖｈ１）、（ｕｈ２，ｖｈ２）、…、（ｕｈｎ，ｖｈｎ）とする。
【００５６】
ここでＨＵＤ１１０の画素の３次元位置が分かれば視点検知カメラ１２０と同様に扱うことができるのだが、ＨＵＤ１１０の虚像は視点位置が変化するとウインドシールドやコンバイナ形状の影響で形状に歪みが発生し、ステレオマッチングでは正しい３次元位置を測定できない可能性がある。また、虚像を観測可能な範囲が狭いとステレオカメラの両眼で虚像を観測できない可能性がある。従って以下の方法で虚像の３次元位置を定める。
【００５７】
具体的にはＨＵＤ１１０の光学中心位置および光軸の向き、即ち測定用カメラ２１０に対する相対姿勢を仮定すると、測定用カメラ２１０から見てどこに虚像が投影されるかはＨＵＤ１１０の設計スペックから一意に定まる。よって仮定した姿勢が正しいかどうかが判断できれば良いことが分かる。以下では仮定した姿勢が正しいかの判断方法について説明する。
【００５８】
ＨＵＤ１１０の画素（ｕｈ１，ｖｈ１）、（ｕｈ２，ｖｈ２）、…、（ｕｈｎ，ｖｈｎ）を、ある姿勢で空間中に投影した時の、測定用カメラ２１０の座標系における３次元座標をそれぞれ（ｘｈ１，ｙｈ１，ｚｈ１）、（ｘｈ２，ｙｈ２，ｚｈ２）、…、（ｘｈｎ，ｙｈｎ，ｚｈｎ）とする。姿勢が正しい場合には図６Ａのように（ｘｗ１，ｙｗ１，ｚｗ１）と（ｘｈ１，ｙｈ１，ｚｈ１）を結ぶ直線Ｌ１、（ｘｗ２，ｙｗ２，ｚｗ２）と（ｘｈ２，ｙｈ２，ｚｈ２）を結ぶ直線Ｌ２、…、（ｘｗｎ，ｙｗｎ，ｚｗｎ）と（ｘｈｎ，ｙｈｎ，ｚｈｎ）を結ぶ直線Ｌ３がある一点Ｐで交わる。これは各点が測定用カメラ２１０の画像上で同じ画素に写っている点同士であることから自明である。
【００５９】
一方で、姿勢が正しくない場合には図６Ｂのように各直線Ｒ１、Ｒ２、Ｒ３が一点で交わらない。各直線からの距離が最小となる点の座標（Ｘ，Ｙ，Ｚ）は以下の（数３）のＤを最小化するパラメータｔｉ（ｉ＝１…ｎ）を求めることで得ることができる。
【００６０】
【数３】
2016157799.tif 000005
【００６１】
ｔｉは最小自乗法などの手法で求めることができるので、ｔｉを求めた後に（数３）のＤの値自体を最小化するような（ｘｈ１，ｙｈ１，ｚｈ１）、（ｘｈ２，ｙｈ２，ｚｈ２）、…、（ｘｈｎ，ｙｈｎ，ｚｈｎ）が得られる姿勢を同じく最小自乗法などの手法で求めることで、正しい姿勢が得られる。最終的に、ＨＵＤ１１０の座標系における３次元位置（ｘｈ，ｙｈ，ｚｈ）を測定用カメラの座標系における３次元位置（ｘｗ，ｙｗ，ｚｗ）に変換するための（数４）が得られる。
【００６２】
【数４】
2016157799.tif 000006
【００６３】
最後に、図３のステップＳ３０４で得られた測定用カメラ２１０に対する視点検知カメラ１２０、およびＨＵＤ１１０の相対姿勢から、視点検知カメラ１２０に対するＨＵＤ１１０の相対姿勢を算出する（ステップＳ３０５）。具体的には（数１）、（数４）から（ｘｗ，ｙｗ，ｚｗ）を消去して、以下の（数５）を得る。
【００６４】
【数５】
2016157799.tif 000007
【００６５】
（数５）における行列部分が、視点検知カメラに対するＨＵＤの相対姿勢を表す。すなわち、（数５）の行列部分が姿勢情報に相当する。車両用表示装置１００のＣＰＵ１３３は、視点検知カメラ１２０で得られた運転者の視点の３次元位置をＨＵＤ１１０の座標系における３次元位置に変換するための演算を行う。表示制御部１３２は、ＣＰＵ１３３の演算結果に従って、ＨＵＤ１１０の表示位置を調整する。
【００６６】
［１−３．まとめ］
本実施の形態の表示位置調整方法は、運転者の前方視野上に虚像を表示するＨＵＤ１１０と、運転者を撮影する視点検知カメラ１２０とを備えた車両用表示装置１００において、虚像および位置調整のための情報を取得するための較正用パターン３００を撮影可能な位置に測定用カメラ２１０を設置すると共に、虚像の視野角θ１、視点検知カメラの画角θ２、および測定用カメラθ３の画角に対して所定の位置に較正用パターン３００を配置する。次に、視点検知カメラ１２０および測定用カメラ２１０で較正用パターン３００を撮影し、測定用カメラ２１０で虚像を撮影する。次に視点検知カメラ１２０によって撮影された映像と測定用カメラ２１０によって撮影された映像とを用いて、測定用カメラ２１０と視点検知カメラ１２０の相対位置と姿勢の算出、および測定用カメラ２１０とＨＵＤ１１０の相対位置と姿勢の算出を行った後、視点検知カメラ１２０とＨＵＤ１１０の相対位置と姿勢を姿勢情報として算出する。算出した姿勢情報を用いてＨＵＤ１１０が表示する虚像の位置を調整する。
【００６７】
これにより、ＨＵＤ１１０と視点検知カメラ１２０の相対姿勢を容易に計測することができる。
【００６８】
従って、ＨＵＤ１１０の表示位置調整を簡便に行うことができる。
【００６９】
例えば、特許文献１では、視点検知カメラ、ＨＵＤの双方に組み立て時のバラ付きや車体取り付け時のずれなどの誤差要因があり、両者の位置関係が設計時の想定と異なる可能性が高い。従って、図７Ａに示すように、測定された視点位置Ｑ１と設計時の視点位置Ｑ２にずれが生じる。この場合、視点位置Ｑ１から見て物体Ｃに重なるように虚像Ｉを表示しても、真の視点位置Ｑ２からは、虚像Ｉが物体Ｃに重なって見えない。これに対して、本開示における技術を適用すると、測定された視点位置Ｑ１から真の視点位置Ｑ２を算出できるので、図７Ｂに示すように、視点位置Ｑ２から見て物体Ｃに重なる位置に虚像Ｄ２を表示することができる。
【００７０】
（第２の実施の形態）
第１の実施の形態において、較正用パターンは視点検知カメラ、測定用カメラのいずれとも別体であったが、較正用パターンが測定用カメラに取り付けられている場合でも、以下に示す手順で較正を行うことができる。なお、第２の実施の形態における装置の構成は第１の実施の形態と重複するため記載を省略するものとする。その他第１の実施の形態と同様の箇所についても記載を省略する。
【００７１】
［２−１．動作］
図８は本実施の形態における位置調整方法の処理の流れを示すフローチャートである。図９は本実施の形態における較正用パターンの設置例を示す図である。
【００７２】
［２−１−１．処理の流れ］
処理の流れは図３で示した第１の実施の形態における処理の流れとほぼ同一である。大きく異なるのはステップＳ８０２で、較正用パターンが測定用カメラに取り付けられているため、視点検知カメラ１２０のみで較正用パターンを撮影する。較正用パターンは図９に示すように視点検知カメラ１２０の画角に収まるような形状である必要がある。なお、図９において較正用パターンは測定用カメラ２１０の下部に取り付けられているが、具体的な位置は必ずしもこの図の通りでなくてもよく、例えば測定用カメラ２１０の上部や、複数の箇所に取り付けられていてもよい。
【００７３】
［２−１−２．測定用カメラと視点検知カメラの間の相対姿勢の測定］
第１の実施の形態と同様に、まずは「視点検知カメラ１２０によって構成される３次元座標系」を「測定用カメラ２１０によって構成される３次元座標系」に変換する。一般に座標系間の変換を行うには、変換したい座標系の原点の位置および座標系の向きを定める必要がある。具体的には変換前の座標系での位置（ｘ，ｙ，ｚ）と変換後の座標系での位置（ｘ１，ｙ１，ｚ１）との間には以下の（数６）が成り立つ。
【００７４】
【数６】
2016157799.tif 000008
【００７５】
Ｒ１１からＲ３３は座標系の回転を表す行列で、変換後の座標系の向きが分かれば容易に求めることができる。（ｔｘ，ｔｙ，ｔｚ）は座標系の原点の平行移動量に相当する。
【００７６】
測定用カメラ２１０によって構成される３次元座標系の原点位置と向きを得るための方法として、例えば図１０Ａ、図１０Ｂで示すように較正用パターン３００として３つの点を正三角形状に、測定用カメラ２１０の光学中心（測定用カメラ２１０によって構成される３次元座標系の原点）がその正三角形の重心に位置するように較正用パターン３００を配置し、視点検知カメラ１２０で較正用パターン３００の３つの点の３次元座標を計測する。これによって計測された３次元座標の重心が測定用カメラ２１０の光学中心の位置を表し、３つの点の３次元座標から決まる面の法線方向が測定用カメラ２１０の向きを表す。
【００７７】
なお、較正用パターンの例は図１０Ａ、図１０Ｂで示したものに限らず、測定用カメラ２１０の光学中心に対して位置が既知であり、かつ測定用カメラ２１０の向きを定義可能、即ち同一直線上にない３点以上の座標を定義可能である任意のパターンを用いることができる。
【００７８】
［２−１−３．測定用カメラとＨＵＤの間の相対姿勢の測定］
較正用パターン３００が測定用カメラ２１０の画角内かつＨＵＤ１１０の虚像の視野角内に存在する場合は実施の形態１で用いた方法をそのまま用いることが出来る。この条件を満たさない場合は以下のようにして測定用カメラとＨＵＤの間の相対姿勢を測定する。
【００７９】
第１の実施の形態についての説明でも述べた通り、ＨＵＤ１１０の光学中心位置および光軸の向き、即ち測定用カメラ２１０に対する相対姿勢を仮定すると、測定用カメラ２１０から見てどこに虚像が投影されるかはＨＵＤ１１０の設計スペックから一意に定まる。虚像のｎ個（ただしｎ≧３で、かつ少なくとも１つは同一直線上にない）の画素について、ＨＵＤ１１０がある姿勢を取った場合の、測定用カメラ２１０の画像上での位置（ｕ１，ｖ１）、（ｕ２，ｖ２）、…、（ｕｎ，ｖｎ）を算出する。これと測定用カメラ２１０で実際に撮影された画像上での各画素の画像上での位置（ｕ１１，ｖ１１）、（ｕ１２，ｖ１２）、…、（ｕ１ｎ，ｖ１ｎ）から、以下の（数７）で示す値Ｄ１が最小となるＨＵＤの姿勢を算出する。
【００８０】
【数７】
2016157799.tif 000009
【００８１】
Ｄ１の最小化はニュートン法などの数値計算アルゴリズムや、あるいは焼きなまし法（Ｓｉｌｕｍａｔｅｄ  Ａｎｎｅａｌｉｎｇ）のような確率的アルゴリズムを用いて行うことができる。
【００８２】
［２−２．まとめ］
以上のようにして測定用カメラと視点検知カメラの間の相対姿勢、および測定用カメラとＨＵＤの間の相対姿勢を定めることができれば、実施の形態１と同様の考え方で両者を結びつけ、視点検知カメラとＨＵＤの間の相対姿勢を計測することが出来る。
【００８３】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００８４】
そこで、以下、他の実施の形態を例示する。
【００８５】
例えば、較正用パターンとして、半透明の物体を用いてもよい。これによって、ＨＵＤの虚像を撮影する際に較正用パターンの設置や移動をする必要がなくなり、作業時間を短縮することができる。
【００８６】
また、上記実施の形態で説明した位置調整方法において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
【００８７】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００８８】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【００８９】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【００９０】
また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施の形態に係るデジタルカメラをハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施の形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【００９１】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００９２】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００９３】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００９４】
本開示は、に適用可能である。
【符号の説明】
【００９５】
１００  車両用表示装置
１１０  ＨＵＤ
１１１  表示部
１２０  視点検知カメラ
１２１，２１１  撮像部
１３０  表示制御ＥＣＵ
１３１  視点検出部
１３２  表示制御部
１３３，２２１  ＣＰＵ
１３４  メモリ
１３５，２２２  出力Ｉ／Ｆ
２００  姿勢判定装置
２１０  測定用カメラ
２２０  ＰＣ
３００  較正用パターン
４００  メモリカード
【図１】
2016157799.tif 000010
【図２】
2016157799.tif 000011
【図３】
2016157799.tif 000012
【図４】
2016157799.tif 000013
【図５】
2016157799.tif 000014
【図６Ａ】
2016157799.tif 000015
【図６Ｂ】
2016157799.tif 000016
【図７Ａ】
2016157799.tif 000017
【図７Ｂ】
2016157799.tif 000018
【図８】
2016157799.tif 000019
【図９】
2016157799.tif 000020
【図１０Ａ】
2016157799.tif 000021
【図１０Ｂ】
2016157799.tif 000022
【国際調査報告】
2016157799.tif 000023
2016157799.tif 000024