(57)【要約】【課題】１つのカメラを用いて実空間における被写体までの距離を算出することができる。【解決手段】コントローラは、撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定する。【選択図】図１
2020077055.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定する、コントローラ。
【請求項２】
前記第１眼の角膜の像に基づいて、実空間における前記第１眼の角膜および強膜の境界の中心である第１角膜中心位置を判定し、前記第２眼の角膜の像に基づいて、実空間における前記第２眼の角膜および強膜の境界の中心である第２角膜中心位置を判定し、
前記第１角膜中心位置および前記第２角膜中心位置に基づいて前記物点の位置を判定する、請求項１に記載のコントローラ。
【請求項３】
前記第１眼の角膜の中心における接平面の法線方向である第１角膜方向を判定し、前記第２眼の角膜の中心における接平面の法線方向である第２角膜方向を判定し、
前記第１角膜中心位置から前記第１角膜方向に向かう第１直線と、前記第２角膜中心位置から前記第２角膜方向に向かう第２直線との交点を、前記物点の位置と判定する、請求項２に記載のコントローラ。
【請求項４】
前記実空間における前記撮像装置の撮像面の位置、前記撮像画像における前記第１眼および前記第２眼それぞれの角膜の像内の物点の像の位置、および前記撮像装置の焦点距離に基づいて、前記物点の位置を判定する、請求項２に記載のコントローラ。
【請求項５】
前記第１眼および前記第２眼それぞれの角膜の像内の前記物点の像の位置に基づいて、前記第１眼および前記第２眼の角膜内に投影された前記物点の投影位置を判定し、
前記撮像面の位置、前記焦点距離、前記投影位置に基づいて、前記物点の位置を判定する、請求項４に記載のコントローラ。
【請求項６】
前記撮像画像における前記第１眼の角膜の像内の前記物点の像の位置に基づいて、前記第１眼に投影された前記物点の前記投影位置を判定し、
前記第１角膜中心位置、前記第２角膜中心位置、および前記第１眼の前記投影位置を含むエピポーラ平面と右眼の角膜の交差線に基づいて、前記撮像画像における前記第２眼の角膜の像内から前記物点の像を抽出する、請求項５に記載のコントローラ。
【請求項７】
前記第１眼の角膜の像の一部が形成する楕円形の長径および短径に基づいて、第１角膜中心位置を判定する、請求項２から６のいずれか一項に記載のコントローラ。
【請求項８】
撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像を受信する通信モジュールと、
前記撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定するコントローラと、
を備える位置判定装置。
【請求項９】
撮像装置と、
前記撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像を受信する通信モジュールと、前記撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定するコントローラと、を含む位置判定装置と、
を備える位置判定システム。
【請求項１０】
撮像装置と、
前記撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像を受信する通信モジュールと、前記撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定するコントローラと、を有する位置判定装置と、
前記コントローラによって判定された前記物点の位置に基づいて、利用者の眼が前記物点の位置に関連する位置で視認する虚像を表示するヘッドアップディスプレイと、
を備える表示システム。
【請求項１１】
コントローラが、撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定するためのプログラム。
【請求項１２】
コントローラが、撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体に関する。
【背景技術】
【０００２】
従来、ステレオカメラが有する２つのカメラがそれぞれ撮像した撮像画像に基づいて、物体、人物等の被写体までの距離を算出することが知られている。例えば、特許文献１には、このようなステレオカメラにおいて正確に距離を算出するために、２つのカメラの位置および姿勢の相対的なずれを較正することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開２０１６／２０８２００号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
距離を測定するために２つの撮像装置が用いられる場合、１つのみの撮像装置を用いる場合に比べて、高額な費用が発生する。これを解消するために、１つの撮像装置を用いて実空間における被写体までの距離を算出することが望まれていた。
【０００５】
本開示は、１つの撮像装置を用いて実空間における被写体の位置を正確に判定することができるコントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体を提供する。
【課題を解決するための手段】
【０００６】
本開示のコントローラは、撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定する。
【０００７】
本開示の位置判定装置は、通信モジュールと、コントローラと、を備える。前記通信モジュールは、撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像を受信する。前記コントローラは、前記撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定する。
【０００８】
本開示の、位置判定システムは、撮像装置と、位置判定装置と、を備える。前記位置判定装置は、通信モジュールと、コントローラと、を含む。前記通信モジュールは、撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像を受信する。前記コントローラは、前記撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定する。
【０００９】
本開示の表示システムは、撮像装置と、位置判定装置と、ヘッドアップディスプレイとを備える。前記位置判定装置は、通信モジュールと、コントローラと、を備える。前記通信モジュールは、撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像を受信する。前記コントローラは、前記撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定する。前記ヘッドアップディスプレイは、前記コントローラによって判定された前記物点の位置に基づいて、利用者の眼が前記物点の位置に関連する位置で視認する虚像を表示する。
【００１０】
本開示のプログラムは、コントローラが、撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定するためのプログラムである。
【００１１】
本開示の記録媒体は、プログラムを記録したコンピュータ読み取り可能な記録媒体である。前記プログラムは、コントローラが、撮像装置が、物点を視認している利用者の第１眼および第２眼を撮像することによって生成した撮像画像における前記第１眼の角膜の像、および前記第２眼の角膜の像に基づいて、実空間における前記物点の位置を判定するためのプログラムである。
【発明の効果】
【００１２】
本開示の一実施形態によれば、１つの撮像装置を用いて実空間における被写体の位置を正確に判定することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態の位置判定システムの概略構成を示す図である。
【図２】図１に示す撮像装置によって生成された撮像画像の例を示す図である。
【図３】図３は、図１に示す撮像画像から抽出した眼の像の例を示す図であり、図３（ａ）は、右眼の像の例を示す図であり、図３（ｂ）は、左眼の像の例を示す図である。
【図４】図３（ｂ）に示す左眼の角膜の像が一部を構成する楕円が傾いている例を模式的に示す図である。
【図５】眼が基準状態にある場合の角膜と像面との関係を示す模式図である。
【図６】眼が基準状態にない場合の角膜と像面との関係を示す模式図である。
【図７】左中心位置、左法線方向、右中心位置、および右法線方向と物点の位置との関係を示す図である。
【図８】エピポーラ平面を用いて算出される右眼の角膜内の物点の像を説明するための図である。
【図９】左眼および右眼それぞれの位置と、撮像面の位置と、物点の位置との関係を示す図である。
【図１０】第２例を用いて物点の位置を判定する処理を示すフローチャートである。
【図１１】第２例を用いて物点の位置を判定する処理を示すフローチャートである。
【図１２】第２の実施形態の表示システムの概略構成を示す図である。
【発明を実施するための形態】
【００１４】
以下、本開示の実施形態について、図面を参照して説明する。なお、以下の説明で用いられる図は模式的なものであり、図面上の寸法比率等は現実のものとは必ずしも一致していない。
【００１５】
本開示の第１の実施形態にかかる位置判定システム１００は、図１に示すように、撮像装置１と、位置判定装置２とを備える。
【００１６】
撮像装置１は、撮像範囲に利用者の両眼が含まれるように配置される。以降の説明では、撮像装置１の光軸方向をｚ軸方向として表す。利用者が撮像装置１の方向を向いているときに左眼（第１眼）と右眼（第２眼）を結ぶ方向に沿う眼間方向をｘ軸方向として表す。光軸方向および眼間方向に直交する方向をｙ軸方向として表す。
【００１７】
撮像装置１は、撮像光学系１１と、撮像素子１２と、第１通信モジュール１３とを含む。
【００１８】
撮像光学系１１は、１つ以上のレンズを含んで構成される。撮像光学系１１は、撮像光学系１１の光軸が撮像素子１２の撮像面１２１に垂直となるように配置されている。撮像光学系１１は、被写体から入射した光を撮像素子１２の撮像面１２１において被写体像として結像させる。
【００１９】
撮像素子１２は、例えばＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。撮像素子１２は、撮像光学系１１によって撮像面１２１に結像された像を変換することによって撮像画像を生成する。
【００２０】
第１通信モジュール１３は、位置判定装置２と通信可能である。具体的には、第１通信モジュール１３は、撮像素子１２によって生成された撮像画像を位置判定装置２に送信する。第１通信モジュール１３と位置判定装置２との通信において用いられる通信方式は、近距離または長距離の無線通信規格であってよいし、有線通信規格であってよい。近距離の無線通信規格は、例えば、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線、ＮＦＣ（Near Field Communication）、等を含んでよい。長距離の無線通信規格は、例えば、ＬＴＥ（Long Term Evolution）、第４世代移動通信システムまたは第５世代移動通信システム等を含んでよい。
【００２１】
位置判定装置２は、第２通信モジュール（通信モジュール）２１と、コントローラ２２と含む。
【００２２】
第２通信モジュール２１は、撮像装置１の第１通信モジュール１３と通信可能である。第２通信モジュール２１による第１通信モジュール１３との通信において用いられる通信方式は、第１通信モジュール１３で用いられる通信方式と同じであってよい。第２通信モジュール２１は、第１通信モジュール１３から撮像画像を受信する。
【００２３】
コントローラ２２は、位置判定装置２の各構成要素に接続され、各構成要素を制御しうる。コントローラ２２によって制御される構成要素は、第２通信モジュール２１を含む。コントローラ２２は、例えばプロセッサとして構成される。コントローラ２２は、１以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。コントローラ２２は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。
【００２４】
コントローラ２２は、撮像装置１を制御して、図２に示すような、利用者の両眼を撮像した撮像画像を生成させる。コントローラ２２は、撮像装置１によって生成され、第２通信モジュール２１によって受信された撮像画像を取得する。コントローラ２２は、撮像画像に基づいて、各種の処理を行う。
【００２５】
図１に示したように、利用者の眼が物点ＯＰを視認している場合、物点ＯＰは、左眼の角膜に投影され、さらに、左眼の角膜に投影された物点の像ＯＰELの像ＯＰILが撮像装置１の撮像面１２１に形成される。
【００２６】
利用者の眼が撮像装置１の方向を見ている基準状態にある場合、撮像画像上の角膜の像ＣＩは略円形である。一方、利用者の眼が撮像装置１とは異なる方向を向いている場合、図３に示すように、撮像画像上の角膜の像ＣＩは楕円形の一部を形成する。図３（ａ）に示す右眼の角膜の像ＣＩR内にある物点の像ＯＰIRの位置、図３（ｂ）に示す左眼の角膜の像ＣＩL内にある物点の像ＯＰILの位置とは異なる。すなわち、物点の像ＯＰIRと物点の像ＯＰILとは互いに視差を有する。
【００２７】
図３に示す左眼の角膜が一部を形成する楕円形を概略的に表した図４に示すように、楕円形の長径ｒLmaxは、画像眼間方向に対して傾いた方向に延在することがある。画像眼間方向は、撮像画像において、眼が基準状態にあるときの左眼の像の中心と右眼の像の中心とを結ぶ方向に沿う方向である。
【００２８】
コントローラ２２は、撮像画像において、左眼の角膜の像ＣＩLの特徴量を判定する。特徴量は、左眼の角膜の像ＣＩLが一部を形成する楕円形の長径ｒLmaxおよび短径ｒLminそれぞれの長さ、ならびに長径ｒLmaxが延在する方向である。コントローラ２２は、特徴量に基づいて、実空間における左角膜中心位置（第１角膜中心位置）ＣLおよび左眼の角膜の方向（第１角膜方向）を算出する。左角膜中心位置ＣLは、図５に示すような左眼の角膜と強膜との境界の中心である。左眼の角膜の方向は、左眼の角膜の中心における接平面の法線方向である。眼が基準状態にある場合の角膜の方向を左眼基準方向ａ0という。
【００２９】
コントローラ２２は、同じく、撮像画像において、右眼の角膜の像ＣＩRの特徴量を判定する。特徴量は、右眼の角膜の像ＣＩRが一部を形成する楕円形の長径ｒRmaxおよび短径ｒRminそれぞれの長さ、ならびに長径ｒRmaxが延在する方向である。コントローラ２２は、特徴量に基づいて、実空間における右角膜中心位置（第２角膜中心位置）ＣLおよび右眼の角膜の方向（第２角膜方向）を算出する。右角膜中心位置ＣRは、右眼の角膜と強膜との境界の中心である。右眼の角膜の方向は、右眼の角膜の中心における接平面の法線方向である。
【００３０】
以降において、コントローラ２２が、左眼および右眼の角膜の像ＣＩLおよびＣＩRの特徴量を判定する処理について詳細に説明する。コントローラ２２が、実空間における左角膜中心位置ＣLおよび右角膜中心位置ＣR、ならびに左眼および右眼それぞれの角膜の方向を算出する処理について詳細に説明する。
【００３１】
＜角膜の像の特徴量の判定＞
コントローラ２２は、撮像画像における左眼の角膜の像ＣＩLを抽出する。例えば、コントローラ２２は、パターンマッチング等を用いることによって、撮像画像における眼の像全体を抽出する。コントローラ２２は、眼の像における、所定値以下の輝度値を有する楕円形の一部を形成する領域を左眼の角膜の像ＣＩLとして抽出してよい。所定値は、人間の眼の像が取り得る輝度値の上限値に関する値である。所定値は、人間の眼の輝度値の上限値と周囲環境の明るさ等によって設定されうる。輝度値の最高値から最低値までを２５６階調で表した場合、所定値は、例えば、１０であってよい。コントローラ２２は、撮像画像における左眼の角膜の像ＣＩLをハフ変換によって抽出してよい。ハフ変換は、直角座標上の点を楕円のパラメータに変換するものである。コントローラ２２は、撮像画像における左眼の角膜の像ＣＩLを、楕円を複数のクラスタに分けて当該クラスタ毎の抽出をしてよい。例えば、楕円を４つのクラスタに分けてよい。複数のクラスタが異なる楕円となる場合は、マージ処理によって１つの楕円とする。
【００３２】
コントローラ２２は、図４に示すような、左眼の角膜の像ＣＩLが一部を形成する楕円形の長径ｒLmaxおよび短径ｒLminを判定する。コントローラ２２は、長径ｒLmaxの方向および眼間方向とのなす角度φLを判定する。
【００３３】
コントローラ２２は、同じく、右眼の角膜の像ＣＩLが一部を形成する楕円形の長径ｒRmaxおよび短径ｒRminを判定する。コントローラ２２は、長径ｒRmaxの方向および眼間方向とのなす角度φRを判定する。
【００３４】
＜角膜の中心位置の算出＞
図５に示すように、コントローラ２２は、撮像装置１の焦点距離ｆ、左眼の角膜の像ＣＩLが一部を形成する楕円形の長径ｒLmax、および左眼の角膜の半径ｒLに基づいて、撮像装置１の瞳から左角膜中心位置ＣLまでの距離ｄLを算出する。焦点距離ｆは、撮像装置１の仕様により規定された既知の値である。角膜の半径ｒLは、人間の一般的な角膜の半径に基づく値であり、約５．６ｍｍである。具体的には、コントローラ２２は、式（１）を用いて距離ｄLを算出する。
【００３５】
【数１】
2020077055.tif 000003
【００３６】
距離ｄLが算出されると、コントローラ２２は、算出された距離ｄLと、既知である、撮像装置１の撮像面１２１の位置、焦点距離ｆに基づいて、実空間における左角膜中心位置ＣLを算出する。
【００３７】
コントローラ２２は、同じく右角膜中心位置ＣRを算出する。
【００３８】
＜角膜の方向の算出＞
コントローラ２２は、左眼の像の長径ｒLmaxにおよび短径ｒLminに基づいて、図６に示すような角膜の方向ａ1を算出する。角膜の方向ａ1は、角膜の中心における接平面の法線方向である。
【００３９】
まず、コントローラ２２は、左眼の角膜の方向ａ1の左眼基準方向ａ0からの眼間方向（ｘ軸方向）の軸の周りでの回転角度である角度τLを、式（２）を用いて算出する。既に説明したように、左眼基準方向ａ0は、左眼が撮像装置１の方を向いている状態での左眼の角膜の方向である。
【００４０】
【数２】
2020077055.tif 000004
【００４１】
コントローラ２２は、角度τLおよび角度φLをパラメータとする（τL，φL）で示される方向を左眼の角膜の方向ａ1と決定する。
【００４２】
コントローラ２２は、同じく、右眼の像の長径ｒRmaxにおよび短径ｒRminに基づいて、右眼の角膜の方向（τR，φR）を決定する。
【００４３】
＜物点の位置の算出＞
コントローラ２２は、左角膜中心位置ＣLおよび右角膜中心位置ＣRに基づいて、実空間における物点ＯＰの位置を算出する。
【００４４】
（第１例）
コントローラ２２は、図７に示すように、実空間において、左角膜中心位置ＣLから左眼の角膜の角度（τL，φL）に向かう第１直線ｌｉｎｅ１を示す式を算出する。コントローラ２２は、同じく、右角膜中心位置ＣRから右眼の角膜の角度（τR，φR）に向かう第２直線ｌｉｎｅ２を算出する。コントローラ２２は、第１直線ｌｉｎｅ１および第２直線ｌｉｎｅ２の交点を物点ＯＰの位置として算出する。コントローラ２２は、物点ＯＰの位置を算出すると、左眼および右眼の中点から物点ＯＰまでの距離を算出してよい。
【００４５】
（第２例）
コントローラ２２は、図３に示すような、撮像画像における、左眼の角膜の像ＣＩL内に含まれる物点の像ＯＰILの位置と、右眼の角膜の像ＣＩR内に含まれる物点の像ＯＰIRの位置に基づいて、実空間における物点ＯＰの位置を算出する。
【００４６】
具体的には、コントローラ２２は、撮像画像における左眼の角膜の像ＣＩL内の物点の像ＯＰILを抽出する。図３に示す例では、左眼の角膜の像ＣＩL内の物点の像ＯＰILは、図１に示す直方体の物体の１つの角を構成する物点ＯＰからの光が投影された左眼の角膜内の物点の像ＯＰELを撮像装置１が撮像して生成した撮像画像内の物点の像である。コントローラ２２は、パターンマッチング、エッジ検出による特徴点の抽出等、任意の方法により、左眼の角膜の像ＣＩL全体から、物点の像ＯＰILを抽出する。コントローラ２２は、同じく、右眼の角膜の像ＣＩR全体から、物点の像ＯＰIRを抽出する。
【００４７】
コントローラ２２は、撮像画像に基づいて、実空間における撮像面１２１上の左眼の角膜の像ＣＩL内の物点の像ＯＰILの位置（左結像位置）Ｐ1と、右眼の角膜の像ＣＩR内の物点の像ＯＰIRの位置（右結像位置）Ｐ2とを算出する。Ｐ1およびＰ2それぞれは、上述した実空間における原点からの距離および方向を表すベクトルである。
【００４８】
コントローラ２２は、左結像位置Ｐ1を算出すると、実空間における左眼の角膜内に投影されている物点の像ＯＰELの投影位置（左投影位置）ＳPLを算出する。具体的には、撮像画像における中心位置の座標を（Ｏｘ，Ｏｙ）とし、左結像位置Ｐ1の座標を（ｕ，ｖ）とし、左投影位置ＳPLの実空間における撮像装置の瞳を原点とする座標（ｘ、ｙ、ｚ）とする。コントローラ２２は、上述のように算出した、撮像装置の瞳から左角膜中心位置ＣLまでの距離ｄLをｚとする。撮像面１２１と左角膜中心位置ＣＬまでの距離に対して、左投影位置ＳPLから左角膜中心位置ＣLまでの距離は非常に小さいため、距離ｚは、撮像面１２１から左角膜中心位置ＣLまでの距離と近似されうる。
【００４９】
コントローラ２２は、ｘおよびｙをそれぞれ式（３）および式（４）により算出する。
ｘ＝（ｚ／ｆ）×（ｕ−Ｏｘ）                                          式（３）
ｙ＝（ｚ／ｆ）×（ｖ−Ｏｙ）                                          式（４）
【００５０】
コントローラ２２は、実空間における、右眼の角膜内に投影されている物点の像ＯＰERの投影位置（右投影位置）ＳPRを算出する。具体的には、図８に示すように、コントローラ２２は、左眼の角膜内における左投影位置ＳPLと、左角膜中心位置ＣLおよび右角膜中心位置ＣRとを通る平面であるエピポーラ平面を算出する。コントローラ２２は、エピポーラ平面に基づいて、実空間における、右投影位置ＳPRを算出する。さらに具体的には、コントローラ２２は、右眼の角膜と、エピポーラ平面との交差線ＣＬｉｎｅを算出する。コントローラ２２は、撮像画像の右眼の角膜の像ＣＩR内における、交差線ＣＬｉｎｅに対応する線ＣＬｉｎｅ’上を探索することにより、物点の像ＯＰIRを抽出する。コントローラ２２は、撮像画像内の物点の像ＯＰIRの位置に基づいて右投影位置ＳPRを算出する。
【００５１】
コントローラ２２は、左投影位置ＳPLと、右投影位置ＳPRと、左結像位置Ｐ1と、右結像位置Ｐ2とに基づいて、物点の位置を算出する。この方法について、図９を参照して説明する。
【００５２】
コントローラ２２は、左投影位置ＳPLにおける法線方向を示す単位ベクトルである法線ベクトルｎ1を算出する。具体的には、コントローラ２２は、左眼中心位置ＥLから左投影位置ＳPLに向かう方向の単位ベクトルを法線ベクトルｎ1として算出する。左眼中心位置ＥLは、既に算出された左角膜中心位置ＣLおよび左眼の角膜の方向ａ1に基づいて算出されうる。コントローラ２２は、左投影位置ＳPLから左結像位置Ｐ1に向かうベクトルｒ1を算出する。
【００５３】
上述したように、物点ＯＰは、左眼の角膜に投影され、さらに、左眼の角膜に投影された物点の像ＯＰELの像ＯＰILが撮像装置１の撮像面１２１に形成する。そのため、物点ＯＰから左投影位置ＳPLに向かう単位ベクトルｖｓ1と、左投影位置ＳPLにおける法線ベクトルｎ1とのなす角は、左投影位置ＳPLから撮像面１２１上の物点の像ＯＰILに向かう方向と、法線ベクトルｎ1とのなす角と同じである。したがって、コントローラ２２は、法線ベクトルｎ1と、左投影位置ＳPLから左結像位置Ｐ1に向かうベクトルｒ1とに基づいて、物点ＯＰから左投影位置ＳPLまでの方向に向かう単位ベクトルｖｓ1を算出しうる。
【００５４】
コントローラ２２は、同じく、右投影位置ＳPRと、右結像位置Ｐ2と、右角膜中心位置ＣRとに基づいて、物点ＯＰから右投影位置ＳPRに向かう単位ベクトルｖｓ2を算出する。
【００５５】
左結像位置Ｐ1は、式（５）で表される。式（５）において、ｓ1は、物点ＯＰから左投影位置ＳPLまでの距離を示すスカラー量である。Ｐ1、ｖｓ1、およびｒ1はそれぞれベクトルであるため、式（５）に示される演算はベクトル演算である。
Ｐ1＝ｓ1×ｖｓ1＋ｒ1                                                 式（５）
【００５６】
右結像位置Ｐ2は、式（６）で表される。Ｐ2は、所定の原点からの距離および方向を表すベクトルである。式（６）において、ｓ2は、物点ＯＰから左投影位置ＳPLまでの距離を示すスカラー量である。Ｐ2、ｖｓ2、およびｒ2はそれぞれベクトルであるため、式（６）に示される演算はベクトル演算である。
Ｐ2＝ｓ2×ｖｓ2＋ｒ2                                                 式（６）
【００５７】
左眼の角膜内に投影された物点ＯＰの像ＯＰELは直交射影によりに撮像面１２１に像を形成する。そのため、Ｐ1、Ｐ2、ｒ1、およびｒ2の間には式（７）および（８）で表される関係が成立する。
（Ｐ1−Ｐ2）・ｒ1＝０                                                式（７）
（Ｐ1−Ｐ2）・ｒ2＝０                                                式（８）
【００５８】
コントローラ２２は、上述したように算出したｖｓ1、ｖｓ2、ｒ1、およびｒ2を式（５）から式（８）に代入することによって、距離ｓ1および距離ｓ2を算出しうる。
【００５９】
距離ｓ1および距離ｓ2が算出されると、コントローラ２２は、左投影位置ＳPLから単位ベクトルｖｓ1の逆方向に距離ｓ1であり、右投影位置ＳPRから単位ベクトルｖｓ2の逆方向に距離ｓ2である位置を物点ＯＰの位置として算出する。コントローラ２２は、物点ＯＰの位置を算出すると、左眼および右眼の中点から物点ＯＰまでの距離を算出してよい。
【００６０】
次に、コントローラ２２が第１例を用いて実行する処理について、図１０を参照して詳細に説明する。
【００６１】
＜第１例を利用した処理＞
まず、コントローラ２２は、撮像装置１に撮像画像を生成させる（ステップＳ１１）。
【００６２】
コントローラ２２は、撮像装置１によって生成され、第２通信モジュール２１によって受信された撮像画像を取得する（ステップＳ１２）。
【００６３】
コントローラ２２は、撮像画像から、左眼の角膜の像ＣＩLが一部を形成する楕円形を抽出する（ステップＳ１３）。
【００６４】
コントローラ２２は、ステップＳ１３で抽出された楕円形の長径ｒLmax、短径ｒLmin、および長径ｒLmaxの方向と画像眼間方向とのなす角度である角度φLを判定する（ステップＳ１４）。
【００６５】
コントローラ２２は、撮像装置１の焦点距離ｆ、左眼の角膜の像ＣＩLが一部を形成する楕円形の長径ｒLmax、および左眼の角膜の半径ｒLに基づいて、撮像装置１の瞳から左角膜中心位置ＣLまでの距離ｄLを算出する（ステップＳ１５）。
【００６６】
コントローラ２２は、実空間における撮像装置１の位置、焦点距離ｆ、および距離ｄLに基づいて、実空間における左角膜中心位置ＣLを算出する（ステップＳ１６）。
【００６７】
コントローラ２２は、楕円形の長径ｒLmaxおよび短径ｒLminに基づいて、左眼の角膜の方向ａ1の左眼基準方向ａ0に対する角度τLを算出し、角度φLおよび角度τLによって定まる方向を左眼の角膜の方向と決定する（ステップＳ１７）。
【００６８】
コントローラ２２は、撮像画像から、右眼の角膜の像ＣＩRが一部を形成する楕円形を抽出する（ステップＳ１８）。
【００６９】
コントローラ２２は、ステップＳ１７で抽出された楕円形の長径ｒRmax、短径ｒRmin、および長径ｒRmaxの方向と画像眼間方向とのなす角度である角度φRを判定する（ステップＳ１９）。
【００７０】
コントローラ２２は、焦点距離ｆ、左眼の角膜の像ＣＩLが一部を形成する楕円形の長径ｒRmax、および左眼の角膜の半径ｒRに基づいて、撮像装置１の瞳から右角膜中心位置ＣRまでの距離ｄRを算出する（ステップＳ２０）。
【００７１】
コントローラ２２は、実空間における撮像装置１の位置、焦点距離ｆ、および距離ｄRに基づいて、右角膜中心位置ＣRを算出する（ステップＳ２１）。
【００７２】
コントローラ２２は、楕円形の長径ｒRmaxおよび短径ｒRminに基づいて、右眼の角膜の方向ｂ1の右基準方向ｂ0に対する角度τRを算出し、角度φRおよび角度τRによって定まる方向を右眼の角膜の方向と決定する（ステップＳ２２）。
【００７３】
コントローラ２２は、左角膜中心位置ＣLから左眼の角膜の角度（τL，φL）に向かう第１直線ｌｉｎｅ１を示す式を算出する（ステップＳ２３）。
【００７４】
コントローラ２２は、右角膜中心位置ＣRから右眼の角膜の角度（τR，φR）に向かう第２直線ｌｉｎｅ２を算出する（ステップＳ２４）。
【００７５】
コントローラ２２は、第１直線ｌｉｎｅ１および第２直線ｌｉｎｅ２の交点を物点ＯＰの位置として算出する（ステップＳ２５）。
【００７６】
＜第２例を利用した処理＞
次に、コントローラ２２が第２例を用いて実行する処理について、図１１を参照して詳細に説明する。
【００７７】
コントローラ２２が実行するステップＳ３１からステップＳ３６は、第１例を利用した処理におけるステップＳ１１からステップＳ１６までと同じである。コントローラ２２が実行するステップＳ３７からステップＳ４０は、第１例を利用した処理におけるステップＳ１８からステップＳ２１までと同じである。
【００７８】
コントローラ２２は、撮像画像における左眼の角膜の像ＣＩL内の物点の像ＯＰILを抽出し、物点の像ＯＰILに対応する撮像面１２１上の左結像位置Ｐ1を算出する（ステップＳ４１）。
【００７９】
コントローラ２２は、左結像位置Ｐ1、焦点距離ｆ、および左角膜中心位置ＣLに基づいて左投影位置ＳPLを算出する（ステップＳ４２）。
【００８０】
コントローラ２２は、右眼の角膜の像ＣＩR内の物点の像ＯＰIRを抽出し、物点の像ＯＰILに対応する撮像面１２１上の右結像位置Ｐ2を算出する（ステップＳ４３）。ここで、コントローラ２２は、左眼の角膜内における左投影位置ＳPLと、左角膜中心位置ＣLおよび右角膜中心位置ＣRを通る平面であるエピポーラ平面を算出してもよい。このような構成において、コントローラ２２は、エピポーラ平面と右眼の角膜の交差線ＣＬｉｎｅに対応する、右眼の角膜の像ＣＩR内の線ＣＬｉｎｅ’上から物点の像ＯＰIRを抽出しうる。
【００８１】
コントローラ２２は、右結像位置Ｐ2に基づいて、撮像装置１の撮像面１２１および焦点距離ｆ、ならびに右角膜中心位置ＣRを用いて右投影位置ＳPRを算出する（ステップＳ４４）。
【００８２】
コントローラ２２は、左投影位置ＳPL、左投影位置ＳPLにおける左眼の角膜の接平面の法線ベクトルｎ1、左結像位置Ｐ1に基づいて、左投影位置ＳPLから物点ＯＰまでの距離ｓ1を算出する（ステップＳ４５）。
【００８３】
コントローラ２２は、右投影位置ＳPR、右投影位置ＳPRにおける右眼の角膜の接平面の法線ベクトルｎ2、右結像位置Ｐ2に基づいて、右投影位置ＳPRから物点ＯＰまでの距離ｓ2を算出する（ステップＳ４６）。
【００８４】
コントローラ２２は、左投影位置ＳPLから法線ベクトルｎ1と反対方向に距離ｓ1であり、右投影位置ＳPRから法線ベクトルｎ2と反対方向に距離ｓ2である位置を物点ＯＰの位置として算出する（ステップＳ４７）。
【００８５】
第１の実施形態に係るコントローラ２２として、コンピュータ等の情報処理装置が採用可能である。このような情報処理装置は、第１の実施形態に係るコントローラ２２の各機能を実現する処理内容を記述したプログラムを、コンピュータ読み取り可能な記録媒体に記録し、プロセッサによって当該プログラムを読み出して実行させることで実現可能である。
【００８６】
以上説明したように、第１の実施形態では、コントローラ２２は、撮像画像における左眼の角膜の像ＣＩL、および右眼の角膜の像ＣＩRに基づいて、実空間における物点の位置を判定する。このため、コントローラ２２は、複数の撮像装置によってそれぞれ生成された撮像画像を用いずに、物点の位置を判定することができる。したがって、複数の撮像装置を設けることに要する費用が低減されうる。複数の撮像装置の設置位置の関係を正確に保つために較正する手間が低減されうる。
【００８７】
第１の実施形態では、コントローラ２２は、左眼の角膜の像ＣＩL内の物点の像の位置に基づいて、左眼に投影された物点の左投影位置ＳPLを判定する。コントローラ２２は、左角膜中心位置ＣL、右角膜中心位置ＣR、左投影位置ＳPLを含むエピポーラ平面と右眼の角膜の交差線ＣＬｉｎｅに基づいて、右眼の角膜の像ＣＩR内から物点の像を検出する。したがって、コントローラ２２は、撮像画像の右眼の角膜の像ＣＩR全体からではなく、交差線ＣＬｉｎｅに基づく線ＣＬｉｎｅ’上から物点を検出することができる。したがって、コントローラ２２が右眼の角膜の像ＣＩR内から物点の像を検出するための負荷が低減されうる。
【００８８】
本開示の第２の実施形態にかかる表示システム２００は、図１２に示すように、移動体２０に搭載されうる。
【００８９】
本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両には、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。本開示における船舶には、マリンジェット、ボート、タンカーを含む。本開示における航空機には、固定翼機、回転翼機を含む。
【００９０】
表示システム２００は、撮像装置１と、位置判定装置２と、ＨＵＤ３と、を備える。撮像装置１は、第１の実施形態の撮像装置１と同じである。位置判定装置２は、ＨＵＤ３と通信する点で、第１の実施形態の位置判定装置２とは異なるが、その他の点では同じである。位置判定装置２は、実空間における物点ＯＰの位置をＨＵＤ３に送信する。物点ＯＰの位置とは、利用者が各時点で目視しているもの、例えば、道路標識、前方車両、歩行者、道路上の障害物等に含まれる特徴点の位置である。物点ＯＰは、左眼および右眼の角膜方向付近に位置する。
【００９１】
ＨＵＤ３は、利用者の眼に画像を虚像として投影する。ＨＵＤ３は、利用者が視認する虚像までの見かけ上の距離を調整できるものとする。ＨＵＤ３は、利用者の眼が位置判定装置２によって判定された物点ＯＰの位置に関連する位置に虚像を視認するように虚像を表示しうる。物点ＯＰの位置に関連する位置とは、利用者から見て物点ＯＰまでの距離と近い距離の位置を含む。ＨＵＤ３は、１つ以上の反射器３１と、光学部材３２と、表示装置３３とを含みうる。
【００９２】
反射器３１は、表示装置３３から射出された画像光を、光学部材３２の所定領域に向けて反射させる。所定領域は、該所定領域で反射した画像光が利用者の眼の方に向かう領域である。所定領域は、光学部材３２に対する利用者の眼の方向、および光学部材３２への画像光の入射方向によって定まりうる。
【００９３】
反射器３１は、１つ以上のミラーであってよい。反射器３１がミラーである場合、例えば、ミラーは凹面鏡としてよい。図１において、反射器３１は、１つのミラーとして表示している。しかし、反射器３１は、これに限られず、２つ以上のミラーを組み合わせて構成してよい。
【００９４】
光学部材３２は、表示装置３３から射出され、１つ以上の反射器３１によって反射された画像光を、利用者の左眼（第１眼）および右眼（第２眼）に向けて反射させる。例えば、移動体２０のウインドシールドは、光学部材３２として兼用されてよい。したがって、ＨＵＤ３は、光路Ｌに沿って、表示装置３３から射出された画像光を、利用者の左眼および右眼まで進行させる。利用者は、光路Ｌに沿って到達した画像光によって表示装置３３に表示された画像を虚像として視認しうる。
【００９５】
表示装置３３は、液晶パネル等の表示素子を含んで構成される。表示装置３３は、左右の眼に視差を与えるように構成された表示装置を用いることができる。
表示装置３３は、利用者の眼が位置判定装置２によって判定された前記物点ＯＰの位置に関連する位置に、表示装置３３により表示される画像の虚像を視認するように画像を表示する。物点ＯＰに関連する位置は、利用者が物点ＯＰを視認している状態から、虚像を視認するために、眼の焦点距離を変更する負荷を感じにくい程度に、物点ＯＰから近い位置である。物点ＯＰに関連する位置は、例えば、利用者の視野内で物点ＯＰに重なる位置であってよい。物点ＯＰに関連する位置は、物点ＯＰから所定範囲内の位置であってよい。
【００９６】
ＨＵＤ３は、虚像までの距離を含む虚像の表示位置を調整するために、位置判定装置２により判定される物点ＯＰの位置に従って、反射器３１および表示装置３３の表示素子の相対位置が調整可能に構成されてよい。また、表示装置３３が左右の眼に視差を与えるように構成された表示装置の場合、表示装置３３は、位置判定装置２により判定される物点ＯＰの位置に従って、視差量を調整するように構成されてよい。
【００９７】
表示装置３３が表示する画像は、物点ＯＰに関連する情報または関連しない情報を表示しうる。表示装置３３が表示する画像が、物点ＯＰに関する情報を示す画像の場合、例えば、画像は、物点ＯＰが存在することを利用者に警告するための画像であってよい。例えば、画像は、移動体２０から物点ＯＰまでの距離を示すための画像であってよい。画像が移動体２０から物点ＯＰまでの距離を示すための画像である構成において、例えば、位置判定装置２が、利用者の眼の位置と、移動体２０の前端部の位置との関係に基づいて移動体２０から物点ＯＰまでの距離を算出しうる。そして、表示装置３３は、位置判定装置２によって算出された移動体２０から物点ＯＰまでの距離を受信して、該距離を示す画像を表示してよい。
【００９８】
第２の実施形態に係るコントローラ２２として、コンピュータ等の情報処理装置が採用可能である。このような情報処理装置は、第２の実施形態に係るコントローラ２２の各機能を実現する処理内容を記述したプログラムを、コンピュータ読み取り可能な記録媒体に記録し、プロセッサによって当該プログラムを読み出して実行させることで実現可能である。
【００９９】
第２の実施形態によれば、第１の実施形態と同様に、複数の撮像装置を設けることに要する費用が低減されうる。複数の撮像装置の設置位置の関係を正確に保つために較正する手間が低減されうる。
【０１００】
第２の実施形態によれば、表示システム２００は、利用者が物点ＯＰに関連する位置に虚像を視認するように虚像を表示する。したがって、表示システム２００は、利用者が物点ＯＰを視認している状態から虚像を視認している状態となるために、眼の焦点距離を変更する負荷を該利用者に感じにくくさせうる。したがって、利用者の眼の疲れが軽減されうる。
【０１０１】
上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態および実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【０１０２】
上述の実施形態の第２例において、コントローラ２２は、左眼の角膜の像ＣＩL内の物点の位置を抽出してから、左眼の角膜内における物点の像ＯＰELの位置と、左角膜中心位置ＣLと、右角膜中心位置ＣRとの３点を含む平面をエピポーラ平面として算出した。しかし、エピポーラ平面の算出方法は、この限りではない。例えば、コントローラ２２は、右眼の角膜の像ＣＩR内の物点の像ＯＰILの位置を抽出してから、右眼の角膜内における物点の像ＯＰERの位置と、左角膜中心位置ＣLと、右角膜中心位置ＣRとの３点を含む平面をエピポーラ平面として算出してもよい。
【０１０３】
上述の実施形態の第２例において、コントローラ２２は、エピポーラ平面を算出しなくてもよい。このような構成において、コントローラ２２は、左眼および右眼それぞれの角膜の像全体から、それぞれ物点の像ＯＰILおよびＯＰIRを抽出してよい。
【０１０４】
上述の実施形態において、コントローラ２２は、ステップＳ１３からＳ１７を行った後にステップＳ１８からＳ２２を行うとしたが、コントローラ２２が実行する手順は、これに限られない。例えば、コントローラ２２は、ステップＳ１８からステップＳ２２を行った後に、ステップＳ１３からＳ１７を行ってよい。コントローラ２２は、ステップＳ１３からＳ１７とステップＳ１８からＳ２２とを並列に行ってもよい。
【０１０５】
上述の実施形態において、コントローラ２２は、ステップＳ２３を行った後にステップＳ２４を行うとしたが、コントローラ２２が実行する手順は、これに限られない。例えば、コントローラ２２は、ステップＳ２４を行った後にステップＳ２３を行ってもよい。コントローラ２２は、ステップＳ２３とステップＳ２４とを並列に行ってもよい。
【０１０６】
上述の実施形態において、コントローラ２２は、ステップＳ３３からＳ３６を行った後にステップＳ３７からＳ４０を行うとしたが、コントローラ２２が実行する手順は、これに限られない。例えば、コントローラ２２は、ステップＳ３７からＳ４０を行った後に、ステップＳ３３からＳ３６を行ってよい。コントローラ２２は、ステップステップＳ３３からＳ３６とステップＳＳ３７からＳ４０とを並列に行ってもよい。
【０１０７】
上述の実施形態において、コントローラ２２は、ステップＳ４１およびＳ４２を行った後にステップＳ４３およびＳ４４を行うとしたが、コントローラ２２が実行する手順は、これに限られない。例えば、コントローラ２２は、ステップＳ４３およびＳ４４を行った後に、ステップＳ４１およびＳ４２を行ってよい。コントローラ２２は、ステップＳ４１およびＳ４２とステップＳ４３およびＳ４４とを並列に行ってもよい。
【０１０８】
上述の実施形態において、コントローラ２２は、ステップＳ４５を行った後にステップＳ４６を行うとしたが、コントローラ２２が実行する手順は、これに限られない。例えば、コントローラ２２は、ステップＳ４６を行った後にステップＳ４５を行ってもよい。コントローラ２２は、ステップＳ４５とステップＳ４６とを並列に行ってもよい。
【符号の説明】
【０１０９】
１      撮像装置
２      位置判定装置
３      ＨＵＤ
１１    撮像光学系
１２    撮像素子
１３    第１通信モジュール
２０    移動体
２１    第２通信モジュール
２２    コントローラ
３１    反射器
３２    光学部材
３３    表示装置
１００  位置判定システム
１２１  撮像面
２００  表示システム
ｄ      視差
ＯＰ    物点
ＯＰIL  左眼の角膜の像内の物点の像
ＯＰIR  右眼の角膜の像内の物点の像
ＯＰEL  左眼の角膜内の物点の像
ＯＰER  右眼の角膜内の物点の像
Ｐ1      左眼の角膜の像内の物点の像の位置
Ｐ2      右眼の角膜の像内の物点の像の位置
ｓ1      物点ＯＰから投影位置ＳPLまでの長さ
ｓ2      物点ＯＰから投影位置ＳPRまでの長さ
ＳPL    左投影位置
ＳPR    右投影位置
ｖｓ1    物点ＯＰから投影位置ＳPLに向かう方向の単位ベクトル
ｖｓ2    物点ＯＰから投影位置ＳPRに向かう方向の単位ベクトル
【図１】
2020077055.tif 000005
【図２】
2020077055.tif 000006
【図３】
2020077055.tif 000007
【図４】
2020077055.tif 000008
【図５】
2020077055.tif 000009
【図６】
2020077055.tif 000010
【図７】
2020077055.tif 000011
【図８】
2020077055.tif 000012
【図９】
2020077055.tif 000013
【図１０】
2020077055.tif 000014
【図１１】
2020077055.tif 000015
【図１２】
2020077055.tif 000016