(57)【要約】  瞳孔距離測定方法（１００）、装着型眼用機器（６００）及びコンピュータ可読記憶媒体を提供する。前記方法（１００）は、少なくとも１つの眼部画像を撮影するステップと、前記少なくとも１つの眼部画像から、前記少なくとも１つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する１つ又は２つの瞳孔画像位置を抽出するステップと、前記１つ又は２つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定するステップと、を含む。
2020526735.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの眼部画像を撮影するステップと、
前記少なくとも１つの眼部画像から、単眼瞳孔に対応する１つの瞳孔画像位置を抽出し、又は両眼瞳孔に対応する２つの瞳孔画像位置を抽出するステップと、
前記１つ又は２つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定するステップと、を含む
瞳孔距離測定方法。
【請求項２】
前記した少なくとも１つの眼部画像を撮影するステップは、前記両眼瞳孔を同時に含む眼部画像を撮影するステップを含み、
前記した前記少なくとも１つの眼部画像における両眼瞳孔に対応する２つの瞳孔画像位置を抽出するステップは、前記眼部画像における前記両眼瞳孔の瞳孔画像位置を決定するステップを含み、
前記した前記１つ又は２つの瞳孔画像位置に基づき、瞳孔間の実際距離を決定するステップは、
前記両眼瞳孔の瞳孔画像位置に基づき、前記眼部画像における前記両眼瞳孔の画像距離を決定するステップと、
前記両眼瞳孔の画像距離に基づき、前記両眼瞳孔の実際距離を決定するステップと、を含む
請求項１に記載の瞳孔距離測定方法。
【請求項３】
前記した前記両眼瞳孔の画像距離に基づき、前記両眼瞳孔の前記実際距離を決定するステップは、
両眼とカメラとの間の実際垂直距離を測定するステップと、
前記カメラの画角を決定するステップと、
前記両眼瞳孔の画像距離を読み取るステップと、
前記眼部画像の高さを読み取るステップと、
前記両眼瞳孔の画像距離、前記画角、前記両眼とカメラとの間の実際垂直距離、及び前記眼部画像の高さに基づき、前記両眼瞳孔間の前記実際距離を決定するステップと、を含む
請求項２に記載の瞳孔距離測定方法。
【請求項４】
前記した少なくとも１つの眼部画像を撮影するステップは、第１カメラと第２カメラを用いて、左眼を含む左眼画像と右眼を含む右眼画像をそれぞれ撮影するステップを含み、
前記した前記少なくとも１つの眼部画像から、前記少なくとも１つの眼部画像における単眼瞳孔に対応する１つの瞳孔画像位置を抽出するステップは、前記左眼画像における左眼瞳孔の瞳孔画像位置と、前記右眼画像における右眼瞳孔の瞳孔画像位置と、を決定するステップを含み、
前記した前記１つ又は２つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定するステップは、
前記左眼画像における前記第１カメラの画像位置と、前記右眼画像における前記第２カメラの画像位置と、を決定するステップと、
前記左眼画像において、前記左眼瞳孔の瞳孔画像位置と前記第１カメラの画像位置との間の第１水平画像距離を決定するステップと、
前記第１水平画像距離に基づき、前記左眼瞳孔と前記第１カメラとの間の第１実際水平距離を決定するステップと、
前記右眼画像において、前記右眼瞳孔の瞳孔画像位置と前記第２カメラの画像位置との間の第２水平画像距離を決定するステップと、
前記第２水平画像距離に基づき、前記右眼瞳孔と前記第２カメラとの間の第２実際水平距離を決定するステップと、
前記第１実際水平距離と前記第２実際水平距離に基づき、前記両眼瞳孔の実際距離を決定するステップと、を含む
請求項１に記載の瞳孔距離測定方法。
【請求項５】
前記した前記第１水平画像距離に基づき、前記左眼瞳孔と前記第１カメラとの間の第１実際水平距離を決定するステップは、
前記第１カメラ及び第２カメラと両眼との間の実際垂直距離を測定するステップと、
前記第１カメラの第１画角を決定するステップと、
前記左眼画像の高さを読み取るステップと、
前記実際垂直距離、前記第１画角、前記第１水平画像距離及び前記左眼画像の高さに基づき、前記左眼瞳孔と前記第１カメラとの間の第１実際水平距離を決定するステップと、を含み、
前記した前記第２水平画像距離に基づき、前記右眼瞳孔と前記第２カメラとの間の第２実際水平距離を決定するステップは、
前記第２カメラの第２画角を決定するステップと、
前記右眼画像の高さを読み取るステップと、
前記実際垂直距離、前記第２画角、前記第２水平画像距離及び前記右眼画像の高さに基づき、前記右眼瞳孔と前記第２カメラとの間の第２実際水平距離を決定するステップと、を含む
請求項４に記載の瞳孔距離測定方法。
【請求項６】
前記した前記両眼瞳孔間の実際距離を決定するステップは、
前記第１カメラと第２カメラとの間の実際距離を取得するステップと、
前記第１実際水平距離と前記第２実際水平距離との距離の和を計算するステップと、
前記第１と第２カメラの間の実際距離から前記距離の和を減算したものを前記両眼瞳孔間の実際距離として決定するステップと、をさらに含む
請求項４に記載の瞳孔距離測定方法。
【請求項７】
前記した少なくとも１つの眼部画像を撮影するステップは、前記単眼瞳孔及び設定されたマークポイントを含む眼部画像を撮影するステップを含み、
前記した前記少なくとも１つの眼部画像から、前記少なくとも１つの眼部画像における単眼瞳孔に対応する１つの瞳孔画像位置を抽出するステップは、
前記眼部画像における前記単眼瞳孔の瞳孔画像位置を抽出するステップと、
前記眼部画像から前記マークポイントのマーク位置を抽出するステップと、を含み、
前記した前記１つ又は２つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定するステップは、
前記単眼瞳孔の瞳孔画像位置と前記マーク位置に基づき、前記単眼瞳孔と前記マークポイントの水平画像距離を決定するステップと、
前記単眼瞳孔と前記マークポイントの水平画像距離に基づき、前記両眼瞳孔間の実際距離を決定するステップと、を含む
請求項１に記載の瞳孔距離測定方法。
【請求項８】
前記した前記単眼瞳孔と前記マークポイントの水平画像距離に基づき、前記両眼瞳孔間の実際距離を決定するステップは、
両眼とカメラとの間の実際垂直距離を測定するステップと、
前記カメラの画角を決定するステップと、
前記単眼瞳孔と前記マークポイントの水平画像距離を読み取るステップと、
前記眼部画像の高さを読み取るステップと、
前記両眼とカメラとの間の実際垂直距離、画角、前記単眼瞳孔と前記マークポイントの水平画像距離及び前記眼部画像の高さに基づき、前記両眼瞳孔間の実際距離を決定するステップと、を含む
請求項７に記載の瞳孔距離測定方法。
【請求項９】
前記した前記少なくとも１つの眼部画像から、前記少なくとも１つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する１つ又は２つの瞳孔画像位置を抽出するステップは、
前記少なくとも１つの眼部画像から単眼又は両眼の所在する画像領域を抽出するステップと、
前記画像領域をフィルタリングし且つ階調化して、グレースケール画像を取得するステップと、
前記グレースケール画像を二値画像に変換するステップと、
二値画像中の単眼瞳孔領域の境界又は両眼瞳孔領域の境界を検索するステップと、
前記単眼瞳孔領域の境界又は両眼瞳孔領域の境界を楕円フィッティングして１つ又は２つの楕円図形を取得するステップと、
各楕円図形の中心を対応する瞳孔の画像位置とするステップと、を含む
請求項１〜８のいずれか一項に記載の瞳孔距離測定方法。
【請求項１０】
前記高さは、カメラにより収集される画像の縦方向の画素サイズである
請求項３、５又は８に記載の瞳孔距離測定方法。
【請求項１１】
コンピュータ命令が記憶されているコンピュータ可読記憶媒体であって、前記命令がプロセッサにより実行されると、
少なくとも１つの眼部画像から、前記少なくとも１つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する１つ又は２つの瞳孔画像位置を抽出する操作と、
前記１つ又は２つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定する操作と、を実行する
コンピュータ可読記憶媒体。
【請求項１２】
プロセッサ及びメモリを含む装着型眼用機器であって、
前記メモリには命令が記憶されており、前記命令が前記プロセッサにより実行されると、
少なくとも１つの眼部画像から、前記少なくとも１つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する１つ又は２つの瞳孔画像位置を抽出する操作と、
前記１つ又は２つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定する操作と、を実行する
装着型眼用機器。
【請求項１３】
前記両眼瞳孔を含む眼部画像を撮影するように配置される第１カメラをさらに含み、
前記メモリに記憶されている命令が前記プロセッサにより実行されると、
前記眼部画像における前記両眼瞳孔の瞳孔画像位置を決定する操作と、
前記両眼瞳孔の瞳孔画像位置に基づき、前記眼部画像における前記両眼瞳孔の画像距離を決定する操作と、
前記両眼瞳孔の画像距離に基づき、前記両眼瞳孔の前記実際距離を決定する操作と、を実行する
請求項１２に記載の装着型眼用機器。
【請求項１４】
左眼を含む左眼画像と右眼を含む右眼画像をそれぞれ撮影するように配置される第１カメラ及び第２カメラをさらに含み、
前記メモリに記憶されている命令が前記プロセッサにより実行されると、
前記左眼画像における左眼瞳孔の瞳孔画像位置と、前記右眼画像における右眼瞳孔の瞳孔画像位置と、を決定する操作と、
前記左眼画像における前記第１カメラの画像位置と、前記右眼画像における前記第２カメラの画像位置と、を決定する操作と、
前記左眼画像において、前記左眼瞳孔の瞳孔画像位置と前記第１カメラの画像位置との間の第１水平画像距離を決定する操作と、
前記第１水平画像距離に基づき、前記左眼瞳孔と前記第１カメラとの間の第１実際水平距離を決定する操作と、
前記右眼画像において、前記右眼瞳孔の瞳孔画像位置と前記第２カメラの画像位置との間の第２水平画像距離を決定する操作と、
前記第２水平画像距離に基づき、前記右眼瞳孔と前記第２カメラとの間の第２実際水平距離を決定する操作と、
前記第１実際水平距離と前記第２実際水平距離に基づき、前記両眼瞳孔の実際距離を決定する操作と、を実行する
請求項１２に記載の装着型眼用機器。
【請求項１５】
前記単眼瞳孔及び設定されたマークポイントを含む眼部画像を撮影する第１カメラをさらに含み、
前記メモリに記憶されている命令が前記プロセッサにより実行されると、
前記眼部画像中の前記単眼瞳孔の瞳孔画像位置を抽出する操作と、
前記眼部画像から前記マークポイントのマーク位置を抽出する操作と、
前記単眼瞳孔の瞳孔画像位置と前記マーク位置に基づき、前記単眼瞳孔と前記マークポイントの水平画像距離を決定する操作と、
前記単眼瞳孔と前記マークポイントの水平画像距離に基づき、前記両眼瞳孔間の実際距離を決定する操作と、を実行する
請求項１２に記載の装着型眼用機器。
【請求項１６】
前記マークポイントは、装着型眼用機器のハウジングに設置される
請求項１５に記載の装着型眼用機器。
【請求項１７】
前記装着型眼用機器が眼部画像を撮影するために光源を提供する赤外光源をさらに含む
請求項１２〜１６のいずれか一項に記載の装着型眼用機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の実施例は、瞳孔距離測定方法、装着型眼用機器及び記憶媒体に関する。
【背景技術】
【０００２】
バーチャルリアリティー（ＶＲ）技術の発展に伴って、ＶＲ装置への要求が高まっている。たとえば、ＶＲ装置は、ゴースティングを軽減させるように、より高いリフレッシュ率が求められたり、視覚的粒状性を軽減させるように、より高い分解能のスクリーンが求められたりする。また、ＶＲ装置の歪み分散補正要件も高まっており、歪み分散補正演算が人間の眼の瞳孔の差異を考慮しないと、同一ＶＲ装置は異なる瞳孔距離の人に使用される時、視聴効果が異なる。
【発明の概要】
【課題を解決するための手段】
【０００３】
本開示の少なくとも一実施例は、少なくとも１つの眼部画像を撮影するステップと、前記少なくとも１つの眼部画像から、単眼瞳孔に対応する１つの瞳孔画像位置を抽出し、又は両眼瞳孔に対応する２つの瞳孔画像位置を抽出するステップと、
前記１つ又は２つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定するステップと、を含む瞳孔距離測定方法を提供する。
【０００４】
たとえば、前記した少なくとも１つの眼部画像を撮影するステップは、前記両眼瞳孔を同時に含む眼部画像を撮影するステップを含み、前記した前記少なくとも１つの眼部画像における両眼瞳孔又は両眼瞳孔に対応する１つまたは２つの瞳孔画像位置を抽出するステップは、前記眼部画像における前記両眼瞳孔の瞳孔画像位置を決定するステップを含み、前記した前記１つ又は２つの瞳孔画像位置に基づき、瞳孔間の実際距離を決定するステップは、前記両眼瞳孔の瞳孔画像位置に基づき、前記眼部画像における前記両眼瞳孔の画像距離を決定するステップと、前記両眼瞳孔の画像距離に基づき、前記両眼瞳孔の実際距離を決定するステップと、を含む。
【０００５】
たとえば、前記した前記両眼瞳孔の画像距離に基づき、前記両眼瞳孔の前記実際距離を決定するステップは、両眼とカメラとの間の実際垂直距離を測定するステップと、前記カメラの画角を決定するステップと、前記両眼瞳孔の画像距離を読み取るステップと、前記眼部画像の高さを読み取るステップと、前記両眼瞳孔の画像距離、前記画角、前記両眼とカメラとの間の実際垂直距離、及び前記眼部画像の高さに基づき、前記両眼瞳孔間の前記実際距離を決定するステップと、を含む。
【０００６】
たとえば、前記した少なくとも１つの眼部画像を撮影するステップは、第１カメラと第２カメラを用いて、左眼を含む左眼画像と右眼を含む右眼画像をそれぞれ撮影するステップを含む。前記した前記少なくとも１つの眼部画像から、前記少なくとも１つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する１つ又は２つの瞳孔画像位置を抽出するステップは、前記左眼画像における左眼瞳孔の瞳孔画像位置と、前記右眼画像における右眼瞳孔の瞳孔画像位置と、を決定するステップを含む。前記した前記１つ又は２つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定するステップは、前記左眼画像における前記第１カメラの画像位置と、前記右眼画像における前記第２カメラの画像位置と、を決定するステップと、前記左眼画像において、前記左眼瞳孔の瞳孔画像位置と前記第１カメラの画像位置との間の第１水平画像距離を決定するステップと、前記第１水平画像距離に基づき、前記左眼瞳孔と前記第１カメラとの間の第１実際水平距離を決定するステップと、前記右眼画像において、前記右眼瞳孔の瞳孔画像位置と前記第２カメラの画像位置との間の第２水平画像距離を決定するステップと、前記第２水平画像距離に基づき、前記右眼瞳孔と前記第２カメラとの間の第２実際水平距離を決定するステップと、前記第１実際水平距離と前記第２実際水平距離に基づき、前記両眼瞳孔の実際距離を決定するステップと、を含む。
【０００７】
たとえば、前記第１水平画像距離に基づき、前記左眼瞳孔と前記第１カメラとの間の第１実際水平距離を決定するステップは、前記第１カメラ及び第２カメラと両眼との間の実際垂直距離を測定するステップと、前記第１カメラの第１画角を決定するステップと、前記左眼画像の高さを読み取るステップと、前記実際垂直距離、前記第１画角、前記第１水平画像距離及び前記左眼画像の高さに基づき、前記左眼瞳孔と前記第１カメラとの間の第１実際水平距離を決定するステップと、を含む。前記第２水平画像距離に基づき、前記右眼瞳孔と前記第２カメラとの間の第２実際水平距離を決定するステップは、前記第２カメラの第２画角を決定するステップと、前記右眼画像の高さを読み取るステップと、前記実際垂直距離、前記第２画角、前記第２水平画像距離及び前記右眼画像の高さに基づき、前記右眼瞳孔と前記第２カメラとの間の第２実際水平距離を決定するステップと、を含む。
【０００８】
たとえば、前記した前記両眼瞳孔間の実際距離を決定するステップは、前記第１、第２カメラとの間の実際距離を取得するステップと、前記第１実際水平距離と前記第２実際水平距離との距離の和を計算するステップと、前記第１と第２カメラの間の実際距離から前記距離の和を減算したものを前記両眼瞳孔間の実際距離として決定するステップと、をさらに含む。
【０００９】
たとえば、前記した少なくとも１つの眼部画像を撮影するステップは、前記単眼瞳孔及び設定されたマークポイントを含む眼部画像を撮影するステップを含む。前記した前記少なくとも１つの眼部画像から、前記少なくとも１つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する１つ又は２つの瞳孔画像位置を抽出するステップは、前記眼部画像における前記単眼瞳孔の瞳孔画像位置を抽出するステップと、前記眼部画像から前記マークポイントのマーク位置を抽出するステップと、を含む。前記した前記１つ又は２つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定するステップは、前記単眼瞳孔の瞳孔画像位置と前記マーク位置に基づき、前記単眼瞳孔と前記マークポイントの水平画像距離を決定するステップと、前記単眼瞳孔と前記マークポイントの水平画像距離に基づき、前記両眼瞳孔間の実際距離を決定するステップと、を含む。
【００１０】
たとえば、前記した前記単眼瞳孔と前記マークポイントの水平画像距離に基づき、前記両眼瞳孔間の実際距離を決定するステップは、両眼とカメラとの間の実際垂直距離を測定するステップと、前記カメラの画角を決定するステップと、前記単眼瞳孔と前記マークポイントの水平画像距離を読み取るステップと、前記眼部画像の高さを読み取るステップと、前記両眼とカメラとの間の実際垂直距離、画角、前記単眼瞳孔と前記マークポイントの水平画像距離及び前記眼部画像の高さに基づき、前記両眼瞳孔間の実際距離を決定するステップと、を含む。
【００１１】
たとえば、前記した前記少なくとも１つの眼部画像から、前記少なくとも１つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する１つ又は２つの瞳孔画像位置を抽出するステップは、前記少なくとも１つの眼部画像から単眼又は両眼の所在する画像領域を抽出するステップと、前記画像領域をフィルタリングし且つ階調化して、グレースケール画像を取得するステップと、前記グレースケール画像を二値画像に変換するステップと、二値画像中の単眼瞳孔領域の境界又は両眼瞳孔領域の境界を検索するステップと、前記単眼瞳孔領域の境界又は両眼瞳孔領域の境界を楕円フィッティングして１つ又は２つの楕円図形を取得するステップと、各楕円図形の中心を対応する瞳孔の画像位置とするステップと、を含む。
【００１２】
たとえば、前記眼部画像の高さは、カメラにより収集される画像の縦方向の画素サイズである。
【００１３】
本開示の少なくとも一実施例は、コンピュータ命令が記憶されているコンピュータ可読記憶媒体であって、前記命令がプロセッサにより実行されると、少なくとも１つの眼部画像から、前記少なくとも１つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する１つ又は２つの瞳孔画像位置を抽出する操作と、前記１つ又は２つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定する操作と、を実行するコンピュータ可読記憶媒体を提供する。
【００１４】
本開示の少なくとも一実施例は、プロセッサ及びメモリを含む装着型眼用機器であって、前記メモリには命令が記憶されており、前記命令が前記プロセッサにより実行されると、少なくとも１つの眼部画像から、前記少なくとも１つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する１つ又は２つの瞳孔画像位置を抽出する操作と、前記１つ又は２つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定する操作と、を実行する装着型眼用機器を提供する。
【００１５】
たとえば、前記両眼瞳孔を含む眼部画像を撮影するように配置される第１カメラをさらに含む。前記メモリに記憶されている命令が前記プロセッサにより実行されると、前記眼部画像における前記両眼瞳孔の瞳孔画像位置を決定する操作と、前記両眼瞳孔の瞳孔画像位置に基づき、前記眼部画像における前記両眼瞳孔の画像距離を決定する操作と、前記両眼瞳孔の画像距離に基づき、前記両眼瞳孔の前記実際距離を決定する操作と、を実行する。
【００１６】
たとえば、左眼を含む左眼画像と右眼を含む右眼画像をそれぞれ撮影するように配置される第１カメラ及び第２カメラをさらに含む。前記メモリに記憶されている命令が前記プロセッサにより実行されると、前記左眼画像における左眼瞳孔の瞳孔画像位置と、前記右眼画像における右眼瞳孔の瞳孔画像位置と、を決定する操作と、前記左眼画像における前記第１カメラの画像位置と、前記右眼画像における前記第２カメラの画像位置と、を決定する操作と、前記左眼画像において、前記左眼瞳孔の瞳孔画像位置と前記第１カメラの画像位置との間の第１水平画像距離を決定する操作と、前記第１水平画像距離に基づき、前記左眼瞳孔と前記第１カメラとの間の第１実際水平距離を決定する操作と、前記右眼画像において、前記右眼瞳孔の瞳孔画像位置と前記第２カメラの画像位置との間の第２水平画像距離を決定する操作と、前記第２水平画像距離に基づき、前記右眼瞳孔と前記第２カメラとの間の第２実際水平距離を決定する操作と、前記第１実際水平距離と前記第２実際水平距離に基づき、前記両眼瞳孔の実際距離を決定する操作と、を実行する。
【００１７】
たとえば、前記単眼瞳孔及び設定されたマークポイントを含む眼部画像を撮影する第１カメラをさらに含む。前記メモリに記憶されている命令が前記プロセッサにより実行されると、前記眼部画像中の前記単眼瞳孔の瞳孔画像位置を抽出する操作と、前記眼部画像から前記マークポイントのマーク位置を抽出する操作と、前記単眼瞳孔の瞳孔画像位置と前記マーク位置に基づき、前記単眼瞳孔と前記マークポイントの水平画像距離を決定する操作と、前記単眼瞳孔と前記マークポイントの水平画像距離に基づき、前記両眼瞳孔間の実際距離を決定する操作と、を実行する。
【００１８】
たとえば、前記マークポイントは、装着型眼用機器のハウジングに設置される。
【００１９】
たとえば、前記装着型眼用機器は、前記装着型眼用機器が眼部画像を撮影するために光源を提供する赤外光源をさらに含む。
【００２０】
本開示の実施例は、画像処理によって両眼瞳孔の実際距離を測定し、ひいては取得した両眼瞳孔の実際距離に基づき、眼球追跡や視線計算など、視覚に関連するほかの分野に適用でき、さらに装着型眼用機器（たとえばＶＲ装置）の着用者のエクスペリエンス効果を更に向上できる。
【００２１】
以下、本開示の実施例の技術案をより明瞭に説明するために、実施例の図面を簡単に説明する。下記図面は本開示のいくつかの実施例のみに関し、本開示を制限するものではないことは明白であろう。
【図面の簡単な説明】
【００２２】
【図１】本開示の実施例に係る瞳孔距離測定方法のフローチャートである。
【図２Ａ】本開示の実施例に係る他の瞳孔距離測定方法のフローチャートである。
【図２Ｂ】本開示の実施例に係る瞳孔距離測定装置の模式図である。
【図２Ｃ】本開示の実施例に係るカメラが撮影した両眼画像の模式図である。
【図２Ｄ】本開示の実施例に係る類似図形の模式図である。
【図３Ａ】本開示の実施例に係るさらに他の瞳孔距離測定方法のフローチャートである。
【図３Ｂ】本開示の実施例に係る瞳孔距離測定装置の別の模式図である。
【図３Ｃ−１】本開示の実施例に係る撮影した左眼画像の模式図である。
【図３Ｃ−２】本開示の実施例に係る撮影した右眼画像の模式図である。
【図３Ｄ】本開示の実施例に係る類似図形の模式図である。
【図３Ｅ】本開示の実施例に係る両眼の所在する平面における両眼とカメラとの位置の模式図である。
【図４Ａ】本開示の実施例に係るさらに他の瞳孔距離測定方法のフローチャートである。
【図４Ｂ】本開示の実施例に係る瞳孔距離測定装置の別の模式図である。
【図４Ｃ】本開示の実施例に係るマークポイントの位置の模式図である。
【図４Ｄ】本開示の実施例に係る両眼とマークポイントとの相対位置関係図である。
【図４Ｅ】本開示の実施例に係るカメラが撮影した単眼瞳孔とマークポイントの画像である。
【図４Ｆ】本開示の実施例に係る類似図形の模式図である。
【図５】本開示の実施例に係る瞳孔位置を抽出するフローチャートである。
【図６】本開示の実施例に係る装着型眼用機器の構成ブロック図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して本開示の実施例の技術案を明確かつ完全に説明し、図面に示され以下に詳細に説明される非限定的な例示的実施例を参照して、本開示の例示的な実施例とそれらの多種の特徴及び有利な詳細を説明する。なお、図示される特徴は必ずしも比例に応じて作成されるものではない。示される例は本開示の実施例の実施を理解し、更に当業者が例示的な実施例を実施できるようにするためのものである。したがって、これらの例は本開示の実施例の範囲を制限するものではないと理解すべきである。
【００２４】
特に断らない限り、本開示に使用される技術用語又は科学用語は当業者に理解される意味を表す。本開示に使用される「第１」、「第２」及び類似する用語は、順序、数量又は重要性を示すのではなく、異なる構成部分を区別するためのものである。また、本開示の各実施例では、同一又は類似の符号は同一又は類似の部材を示す。
【００２５】
以下、図面を参照して本開示の瞳孔距離測定方法、コンピュータ可読記憶媒体及び装着型眼用機器を説明する。本開示の実施例では、曖昧さを生じない場合、瞳孔で眼球を表すことができる。たとえば、瞳孔の位置で眼球の位置、両眼瞳孔の距離で両眼の距離を表したりする。
【００２６】
図１に示すように、本開示の少なくとも一実施例は瞳孔距離測定方法１００を提供する。該瞳孔距離測定方法１００は、少なくとも１つの眼部画像を撮影するステップ１０１と、前記少なくとも１つの眼部画像から、前記少なくとも１つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する１つ又は２つの瞳孔画像位置を抽出する（すなわち、単眼瞳孔に対応する１つの瞳孔画像位置を抽出し、又は両眼瞳孔に対応する２つの瞳孔画像位置を抽出する）ステップ１１１と、前記１つ又は２つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定するステップ１２１と、を含む。
【００２７】
いくつかの実施例では、ステップ１０１は、１つの眼球を含む画像を撮影するステップを含んでおり、また、別のいくつかの実施例では、ステップ１０１は、２つの眼球を同時に含む１つの画像を撮影し又はそれぞれ１つの眼球を含む２つの画像を撮影するステップを含む。
【００２８】
いくつかの実施例では、ステップ１１１では画像から両眼瞳孔の画像距離を抽出可能であり、別のいくつかの実施例では、ステップ１１１では画像から１つの眼球の瞳孔と設定されたマークポイントとの間の距離を抽出、又は画像から１つの眼球の瞳孔と撮影装置の画像での位置点との間の距離を抽出可能である。
【００２９】
いくつかの実施例では、ステップ１２１では、ステップ１１１で取得した両眼瞳孔の画像距離に基づき、図形間の比例関係を合わせて両眼瞳孔間の実際距離を導出する。別のいくつかの実施例では、ステップ１２１では、ステップ１１１で取得した単眼瞳孔とマークポイントとの間の画像距離に基づき、図形間の比例関係を合わせて両眼瞳孔間の実際距離を導出する。別のいくつかの実施例では、ステップ１２１ではさらにステップ１１１の画像距離及び図形間の比例関係に基づき、眼球と対応する撮影装置との間の実際距離を導出し、さらに左眼と撮影装置との間の実際距離及び右眼と別の撮影装置との間の実際距離を合わせて、両眼瞳孔の実際距離を取得する。
【００３０】
いくつかの実施例では、瞳孔に関連する画像距離に基づき瞳孔間の実際距離を取得するために、本開示の実施例はさらに撮影装置の焦平面に位置する仮想結像平面を構築し、いくつかの実施例では、該仮想結像平面は実際結像平面と重なる場合がある。仮想結像平面が実際結像平面と重ならない場合でも、仮想結像平面に形成される画像と実際結像平面に撮影された画像とは所定の比例関係を満たし、たとえば、等比例で拡大又は縮小する。仮想結像平面と両眼の所在する平面での類似図形との比例関係に基づき、撮影された画像での瞳孔に関連する画像距離と瞳孔の実際距離との間の計算関係式を導出することができる。以下の実施例では、画像距離、すなわち実際結像平面で撮影された画像での関連距離を例として説明する。
【００３１】
いくつかの実施例では、ステップ１２１では、図５に示される方法を用いて、撮影した眼部画像（すなわち実際結像平面に位置する画像）から瞳孔の画像での位置を抽出する。瞳孔の撮影した画像での位置に基づき、撮影した画像での瞳孔に関連する距離を更に取得できる。たとえば、撮影した画像から抽出した瞳孔位置に基づき、両眼瞳孔の撮影した画像での距離を決定する。たとえば、撮影した画像から抽出した瞳孔位置及びカメラの対応する位置に基づき、第１水平画像距離又は第２水平画像距離を決定するする。たとえば、撮影した画像から抽出した瞳孔位置とマークポイントの位置に基づき、水平画像距離を決定する。
【００３２】
いくつかの実施例では、ユーザーがＶＲ装置等の装着型装置を使用し始める時、ユーザーがスタートインタフェースにおいていくつかの操作をしてメインインタフェースに入る。たとえば、特定のメニュー等をクリックし、又は特定のスタート段階に入らないと、メインインタフェースに入らない。この時、本開示の瞳孔距離測定方法を起動させて瞳孔間の実際距離の測定を行う。
【００３３】
図２Ａに示すように、他の瞳孔距離測定方法２００を提供する。該瞳孔測定方法２００は、１つのカメラにより収集された両眼画像に基づいて行われる。たとえば、瞳孔測定方法２００は、前記両眼瞳孔を同時に含む眼部画像を撮影するステップ２０１と、前記眼部画像における前記両眼瞳孔の瞳孔画像位置を決定するステップ２１１と、前記両眼瞳孔の瞳孔画像位置に基づき、前記眼部画像における前記両眼瞳孔の画像距離を決定するステップ２２１と、前記両眼瞳孔の画像距離に基づき、前記両眼瞳孔の前記実際距離を決定するステップ２３１と、を含む。
【００３４】
いくつかの実施例では、ステップ２０１では１つの赤外カメラを用いてユーザーの両眼を撮影すると同時に、複数の赤外ＬＥＤランプを用いて赤外カメラに光源を提供する。カメラが画像を収集する時、ユーザーの２つの眼球を収集することを確保し、すなわち、カメラが通常動作して、ＬＥＤランプが正常にオンすることを確保する必要がある。勿論、本開示の実施例では、それ以外のタイプのカメラとそれ以外のタイプの光源を用いて撮影してもよく、本開示では制限しない。
【００３５】
図２Ｂに示すように、いくつかの実施例では、瞳孔距離測定方法はＶＲ装置に適用でき、それに応じて、赤外ＬＥＤランプ４は赤外光でＶＲ装置の内部を照明し、ＬＥＤランプ４はＶＲ装置用のレンズ３の周囲に設置されてもよく、ＶＲ装置の内側ケーシング５に分布されてもよい。ＬＥＤランプ４の数は、ＶＲ装置の内部を照明し、鮮明な眼部画像の写真を撮影できることを基準に決められる。カメラ２は、ＶＲ装置の上部中間位置に設置される。ＶＲ装置は、赤外カメラ２とデータ処理装置とを接続可能なインタフェース１をさらに含める。たとえば、インタフェース１は、ＵＳＢインタフェース（外部コンピュータに接続される）、ＭＩＰＩインタフェース（モバイル端末に接続される）、ＷＩＦＩインタフェース又はブルートゥース(登録商標)インタフェース等である。
【００３６】
仮に、カメラが実際撮影した画像の画素サイズを「Ｉｍａｇｅ＿Ｗ＊Ｉｍａｇｅ＿Ｈ」とされる。図２Ｃに示すように、撮影した画像（すなわち図２Ｃの画像）を分析したところ、左眼瞳孔の画像での位置がＩｍａｇｅ＿ｅｌ、右眼瞳孔の画像での位置がＩｍａｇｅ＿ｅｒ、撮影した画像での左眼瞳孔と右眼瞳孔との間隔（すなわち両眼瞳孔距離の画像での距離）がＩｍａｇｅ＿ｅｄである。
【００３７】
撮影した画像での両眼瞳孔の画像距離Ｉｍａｇｅ＿ｅｄに基づき、両眼瞳孔の実際距離を取得するには、図２Ｄに示される関連位置点及び構造の関連平面をさらに参照する必要がある。図２Ｄは２つの平面を示し、それぞれ仮想結像平面Ｏ’（すなわち焦平面）及び両眼の所在する平面Ｏである。仮に、カメラ２０の焦点距離をｆ、カメラ２０の画角（ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ、ＦＯＶ）の角度を２＊θとされる。仮想結像平面Ｏ’に両眼瞳孔の位置ｅｌ０とｅｒ０が示される。両眼瞳孔の所在する実際平面Ｏに左右眼の実際位置ｅｌとｅｒが示され、図２Ｄでは眼球の位置で眼球瞳孔の位置を表す。Ｈは両眼の所在する平面の高さを示し、たとえば、パラメータＨはカメラの画角に基づき算出でき、ｈは焦平面の高さを示し、たとえば、パラメータｈもカメラの画角に基づき算出できる。ｐｄ（すなわち両眼瞳孔の実際距離）は図２Ｄの左眼瞳孔ｅｌと右眼瞳孔ｅｒの平面Ｏでの瞳孔間の実際距離を示し、ｐｄ’（すなわち両眼瞳孔の焦平面Ｏ’での距離）は結像面Ｏ’での両眼瞳孔ｅｒ０（Ｏ平面のｅｒ点に対応する）とｅｌ０（Ｏ平面のｅｌ点に対応する）との間の距離を示す。
【００３８】
図２Ｄの遠近関係から、
ｔａｎ（θ）＝（ｈ／２）／ｆ
ｔａｎ（θ）＝（Ｈ／２）／ｄ
Ｉｍａｇｅ＿ｅｄ／ｐｄ’＝Ｉｍａｇｅ＿Ｈ／ｈ
ｐｄ／ｐｄ’＝Ｈ／ｈ
が得られる。
【００３９】
以上の関係式から、ユーザーの両眼瞳孔の実際距離ｐｄ＝２＊ｄ＊ｔａｎ（θ）＊Ｉｍａｇｅ＿ｅｄ／Ｉｍａｇｅ＿Ｈが得られる。
【００４０】
いくつかの実施例では、図２Ａのステップ２２１では前記両眼瞳孔の画像距離Ｉｍａｇｅ＿ｅｄに基づき、前記両眼瞳孔の実際距離ｐｄを決定することは、両眼とカメラとの間の実際垂直距離ｄ（たとえば、図２Ｄに示される両眼の所在する平面Ｏとカメラ２０との間の垂直距離）を測定するステップと、前記カメラの画角θ（たとえば、図２Ｄに示されるカメラ２０の画角）を決定するステップと、前記両眼瞳孔の画像距離Ｉｍａｇｅ＿ｅｄ（たとえば、図２Ｃに示される撮影した画像での左眼瞳孔と右眼瞳孔との間の画像距離）を読み取るステップと、前記眼部画像の高さＩｍａｇｅ＿Ｈ（たとえば、図２Ｃにおける撮影した画像の縦方向画素）を読み取るステップと、前記両眼瞳孔の画像距離Ｉｍａｇｅ＿ｅｄ、画角θ、両眼とカメラとの間の実際垂直距離ｄ及び前記眼部画像の高さＩｍａｇｅ＿Ｈに基づき、前記両眼瞳孔間の実際距離ｐｄ（すなわち図２Ｄにおけるｅｒとｅｌの間の距離）を決定するステップと、を含む。
【００４１】
本開示の実施例は、１つの赤外カメラを用いてユーザーの両眼を撮影するとともに、画像処理によって、両眼瞳孔の画像での距離を測定し、ひいては瞳孔の実際距離を算出する。本開示の実施例によって瞳孔距離を検出した後、眼球追跡や視線計算など、眼球に関連する他の分野にも適用できる。
【００４２】
図３Ａに示すように、瞳孔距離測定方法３００を提供する。瞳孔距離測定方法３００は、第１カメラと第２カメラを用いて、左眼を含む左眼画像と右眼を含む右眼画像をそれぞれ撮影するステップ３０１と、前記左眼画像における左眼瞳孔の瞳孔画像位置と前記右眼画像における右眼瞳孔の瞳孔画像位置を決定するステップ３１１と、前記左眼画像における前記第１カメラの画像位置と前記右眼画像における前記第２カメラの画像位置を決定するステップ３２１と、前記左眼画像において、前記左眼瞳孔の瞳孔画像位置と前記第１カメラの画像位置との間の第１水平画像距離を決定するステップ３３１と、前記第１水平画像距離に基づき、前記左眼瞳孔と前記第１カメラとの間の第１実際水平距離Ｓｅｐ＿ｌを決定するステップ３４１と、前記右眼画像において、前記右眼瞳孔の瞳孔画像位置と前記第２カメラの画像位置との間の第２水平画像距離を決定するステップ３５１と、前記第２水平画像距離に基づき、前記右眼瞳孔と前記第２カメラとの間の第２実際水平距離を決定するステップ３６１と、前記第１実際水平距離と前記第２実際水平距離に基づき、前記両眼瞳孔の実際距離を決定するステップ３７１と、を含む。
【００４３】
いくつかの実施例では、ステップ３０１は図３Ｂに示される装置を用いて画像を撮影する。たとえば、２つの赤外カメラ１１（すなわち、それぞれ左眼の上方と右眼の上方に位置する第１カメラと第２カメラ）を用いて瞳孔間の距離を検出し、ここで、２つの赤外カメラ１１間の位置が既知であり、且つ各赤外カメラ１１がそれぞれユーザーの１つの眼球を撮影できる。また、２つの赤外カメラに光源を提供する複数の赤外ＬＥＤランプ１４をさらに含む。図３Ｂに示すように、２つのカメラ１１はそれぞれレンズ１３の上方に位置し、且つ同一水平線上にある。勿論、本開示の実施例では、それ以外のタイプのカメラとそれ以外のタイプの光源を用いて撮影してもよく、本開示では制限しない。
【００４４】
たとえば、図３Ｂのレンズ１３はＶＲ装置用のレンズであり、赤外ＬＥＤランプ１４は赤外光によってＶＲ装置の内部を照明する。ＬＥＤランプ１４は通常、ＶＲのレンズ１３の周囲に位置するが、ＶＲ装置の内側ケーシング１５に分布されてもよい。ＬＥＤランプ１４の数は、ＶＲ装置の内部を照明し、眼部画像の写真を撮影できることを基準に決められる。
【００４５】
図３Ｂにおける一方のカメラ１２が撮影した画像は図３Ｃ−１と図３Ｃ−２に示される。
【００４６】
図３Ｃ−１と図３Ｃ−２に示される左眼と右眼の撮影画像の画素サイズがＩｍａｇｅ＿Ｗ＊Ｉｍａｇｅ＿Ｈ、画像中心がＰ＿ＩｍａｇｅＣ（すなわちカメラ１２が実際結像平面で撮影した画像における対応する位置）である。撮影した画像における単眼瞳孔中心の該撮影した画像での位置が点Ｐｅｙｅであり、点Ｐｅｙｅの横方向延長線と点Ｐ＿ＩｍａｇｅＣの縦方向延長線とが点Ｐ＿ｃで交わる。点Ｐｅｙｅと点Ｐ＿ｃの間の距離は第１水平画像距離Ｉｍａｇｅ＿ｅｄ＿ｌ又は第２水平画像距離Ｉｍａｇｅ＿ｅｄ＿ｒとなる。
【００４７】
第１水平画像距離と第２水平画像距離に基づき両眼瞳孔の実際距離を計算するために、さらに図３Ｄに示される関連位置点及び構造の関連平面を参照する必要がある。
【００４８】
図３Ｄは２つの平面を示し、それぞれ仮想結像平面Ｏ’（すなわち焦平面）及び両眼の所在する平面Ｏである。図３Ｄにおいて、点Ｐ＿ｅｙｅ＿ｏと点Ｐ＿ｃ＿ｏはそれぞれ撮影した画像での点Ｐｅｙｅ及び点Ｐ＿ｃの両眼の所在する平面Ｏでの対応する位置点である。図３Ｄにおける点Ｐ＿ｅｙｅ＿ｏとＰ＿ｃ＿ｏは仮想結像平面Ｏ’でそれぞれ点Ｐｅｙｅ’と点Ｐ＿ｃ’に対応する。焦平面を実際の結像平面とすると、撮影した画像における第１水平画像距離又は第２水平画像距離はＩｍａｇｅ＿ｅｄ．ｘ’＝Ｐ＿ｃ’．ｘ−Ｐｅｙｅ’．ｘで示されており、ただし、パラメータｘはｌ（ｌｅｆｔ）又はｒ（ｒｉｇｈｔ）であり、それぞれ左眼に対応する第１水平画像距離（たとえば、Ｉｍａｇｅ＿ｅｄ．ｌ’＝Ｐ＿ｃ’．ｌ−Ｐｅｙｅ’．ｌ）と右眼に対応する第２水平画像距離（たとえば、Ｉｍａｇｅ＿ｅｄ．ｒ’＝Ｐ＿ｃ’．ｒ−Ｐｅｙｅ’．ｒ）を示す。実際に、点Ｐｅｙｅ’が点Ｐ＿ｃ’の左側又は点Ｐ＿ｃ’の右側にある可能性があり、従って第１水平画像距離Ｉｍａｇｅ＿ｅｄ．ｌ’又は第２水平画像距離Ｉｍａｇｅ＿ｅｄ．ｒ’は正又は負である可能性がある。
【００４９】
仮に、図３Ｄにおける第１カメラと第２カメラ３０の焦点距離をｆ、画角ＦＯＶを２＊θとされる。仮想結像面Ｏ’の高さがｈ、目からカメラまでの実際垂直距離がｄであり、Ｐ＿ｅｙｅ＿ｏが目の面Ｏでの位置、Ｐ＿ｃ＿ｏが点Ｐ＿ｃ’の面Ｏへの投影である。点Ｐ＿ｅｙｅ＿ｏと点Ｐ＿ｃ＿ｏとの間の距離は第１実際水平距離又は第２実際水平距離Ｓｅｐ＿ｘ（ただし、パラメータｘはｌ又はｒであり、それぞれ左眼に対応する第１実際水平距離Ｓｅｐ＿ｌと右眼に対応する第２実際水平距離Ｓｅｐ＿ｒを示す）である。
【００５０】
図３Ｄに示される遠近関係から、
ｔａｎ（θ）＝（ｈ／２）／ｆ
ｔａｎ（θ）＝（Ｈ／２）／ｄ
Ｉｍａｇｅ＿ｅｄ／Ｉｍａｇｅ＿ｅｄ’＝Ｉｍａｇｅ＿Ｈ／ｈ；
Ｓｅｐ＿Ｘ／Ｉｍａｇｅ＿ｅｄ’＝Ｈ／ｈが得られる。
【００５１】
以上の関係から、ユーザーの第１又は第２実際水平距離の計算式Ｓｅｐ＿ｘ＝２＊ｄ＊ｔａｎ（θ）＊Ｉｍａｇｅ＿ｅｄ／Ｉｍａｇｅ＿Ｈが得られる。
【００５２】
第１カメラにより撮影された左眼画像に基づき、瞳孔からカメラの前記画像での画像中心までの横方向距離Ｉｍａｇｅ＿ｅｄ＿ｌが得られ、上式に代入して第１実際水平距離Ｓｅｐ＿ｌ＝２＊ｄ＊ｔａｎ（θ）＊Ｉｍａｇｅ＿ｅｄ＿ｌ／Ｉｍａｇｅ＿Ｈが得られる。
【００５３】
同様のようにして、第２カメラについて、第２実際水平距離Ｓｅｐ＿ｒ＝２＊ｄ＊ｔａｎ（θ）＊Ｉｍａｇｅ＿ｅｄ＿ｒ／Ｉｍａｇｅ＿Ｈが得られる。
【００５４】
上記方法によって第１実際水平距離と第２実際水平距離を得た後、図３Ｅを更に参照して両眼瞳孔の実際距離を算出する。図３Ｅに示すように、２つのカメラ１２（第１カメラと第２カメラ）のＶＲ装置での距離Ｓｅｐが既知であり、画像処理（たとえば、図５参照）によって、第１カメラ１２によりユーザーの左眼画像を撮影し、撮影画像における左眼瞳孔から第１カメラに対応する点までの水平距離Ｓｅｐ＿ｌを算出しており、同様のようにして、撮影画像における第２カメラ１２に対応する点から右眼瞳孔中心までの距離Ｓｅｐ＿ｒを算出する。この場合、ユーザーの両眼瞳孔の実際距離がｐｄ＝Ｓｅｐ−Ｓｅｐ＿ｌ−Ｓｅｐ＿ｒである。
【００５５】
いくつかの実施例では、ステップ３４１で第１実際水平距離を決定することは、前記第１カメラ及び第２カメラと両眼との間の実際垂直距離ｄ（たとえば、図３Ｄに示される両眼の所在する平面Ｏとカメラ３０の間の垂直距離）を測定するステップと、前記第１カメラの第１画角θ（たとえば、図３Ｄに示されるカメラ３０の画角）を決定するステップと、前記左眼画像の高さ（たとえば、図３Ｃ−１中の画像の縦方向撮影画素）を読み取るステップと、前記実際垂直距離ｄ、前記第１画角θ、前記第１水平画像距離Ｉｍａｇｅ＿ｅｄ＿ｌ（たとえば、図３Ｃ−１に示される左眼瞳孔と第１カメラ１２の画像での投影点Ｐ＿ＩｍａｇｅＣとの間の距離）及び前記左眼画像の高さに基づき、前記左眼瞳孔と前記第１カメラとの間の第１実際水平距離Ｓｅｐ＿ｌを決定する（図３Ｅ参照）ステップと、を含める。ステップ３６１では、第２実際水平距離を決定するステップは、前記第２カメラの第２画角θを決定するステップと、前記右眼画像の高さ（たとえば、図３Ｃ−２中の画像の縦方向撮影画素）を読み取るステップと、前記実際垂直距離ｄ、前記第２画角θ、前記第２水平画像距離Ｉｍａｇｅ＿ｅｄ＿ｒ（たとえば、図３Ｃ−２に示される右眼瞳孔と第２カメラ１２の画像での投影点Ｐ＿ＩｍａｇｅＣとの間の距離）及び前記右眼画像の高さに基づき、前記右眼瞳孔と前記第２カメラとの間の第２実際水平距離Ｓｅｐ＿ｒを決定する（図３Ｅ参照）ステップと、を含める。
【００５６】
図３Ｅに示すように、いくつかの実施例では、ステップ３７１では、前記両眼瞳孔間の実際距離を決定することは、前記第１と第２カメラの間の実際距離Ｓｅｐを取得するステップと、前記第１実際水平距離Ｓｅｐ＿ｌと前記第２実際水平距離Ｓｅｐ＿ｒの距離の和を計算するステップと、前記第１と第２カメラの間の実際距離から前記距離の和を減算したものを前記両眼瞳孔間の実際距離として決定するステップと、をさらに含める。ＶＲ装置において、第１カメラと第２カメラとの両カメラ間の距離Ｓｅｐが既知であるため、ユーザーの瞳孔距離がｐｄ＝Ｓｅｐ−（Ｓｅｐ＿ｌ＋Ｓｅｐ＿ｒ）である。
【００５７】
以上のように、２つのカメラのＶＲ装置での距離Ｓｅｐが既知であり、画像処理によって、第１カメラｃａｍｅｒａ＿ｌによりユーザーの左眼画像を撮影するとともに、左眼瞳孔から左カメラまでの水平距離Ｓｅｐ＿ｌを算出しており、同様のようにして、第２カメラｃａｍｅｒａ＿ｒから右眼瞳孔中心までの距離Ｓｅｐ＿ｒを算出する。この場合、図３Ｅに示されるように、ユーザーの最終瞳孔距離がｐｄ＝Ｓｅｐ−Ｓｅｐ＿ｌ−Ｓｅｐ＿ｒとなる。
【００５８】
ユーザーの１つの眼球を撮影できる位置が既知である２つの赤外カメラを用いてそれぞれ単眼画像を撮影し、同時に、複数の赤外ＬＥＤランプが赤外カメラに光源を提供し、各カメラは。たとえば、ＶＲ装置内の２つの赤外カメラを用いてそれぞれユーザーの１つの眼球を撮影し、画像処理によって、撮影した画像における単一瞳孔からそれに対応するカメラの光心の画像での対応点までの距離を測定し、さらに瞳孔の実際距離を算出する。本開示の実施例に使用されるカメラは、瞳孔距離を検出した後、眼球追跡や視線計算など、眼球に関連する他の分野にも適用できる。
【００５９】
図４Ａに示すように、瞳孔距離測定方法４００を提供する。瞳孔距離測定方法４００は、前記単眼瞳孔及び予め設定したマークポイントを含む眼部画像を撮影するステップ４０１と、前記眼部画像における前記単眼瞳孔の瞳孔画像位置を抽出し、前記眼部画像から前記マークポイントのマーク位置を抽出するステップ４１１と、前記単眼瞳孔の瞳孔画像位置と前記マーク位置に基づき、前記単眼瞳孔と前記マークポイントの水平画像距離を決定するステップ４２１と、前記単眼瞳孔と前記マークポイントの水平画像距離に基づき、前記両眼瞳孔間の実際距離を決定するステップ４３１と、を含む。
【００６０】
図４Ｂに示すように、いくつかの実施例では、瞳孔測距方法４００はＶＲ装置に適用できる。ＶＲ装置には、１つの赤外カメラ２２及び赤外ＬＥＤランプ２４が配置される。ＶＲ装置の使用時、ＬＥＤランプ２４の赤外光源が目を照明し、赤外カメラ２２がユーザーの単眼とＶＲハウジング２５上のマークポイント２６を撮影し、画像処理によってユーザーの瞳孔とマークポイント２６を取得しており、画像における瞳孔とマークポイントとの横方向距離に基づき、両眼瞳孔の実際距離を算出する。たとえば、マークポイント２６はＶＲ装置のハウジング２５に設置されてもよい。勿論、本開示の実施例は、それ以外のタイプのカメラとそれ以外のタイプの光源を用いて撮影してもよく、本開示では制限しない。
【００６１】
たとえば、ＶＲ装置はレンズ２３が用いられ、赤外ＬＥＤランプ２４は赤外光によってＶＲ装置の内部を照明する。ＬＥＤランプ２４は通常、レンズ２３の周囲に位置するが、ＶＲ装置の内側ケーシング２５に分布されてもよい。ＬＥＤランプ２４の数は、ＶＲ装置の内部を照明し、眼部画像の写真を撮影できることを基準に決められ、一般に、８個のＬＥＤランプ等が用いられる。
【００６２】
図４Ｃ及び図４Ｄに示すように、マークポイント２６はＶＲ装置ののぞきウィンドウ２７の上方に位置し、たとえば、マークポイント２６はＶＲハウジング２５の左右方向の真中に位置する。ユーザーがＶＲ装置を正常に使用する時、マークポイント２６はユーザーの両眼間隔の中心位置に設定される。たとえば、マークポイント２６は赤外ＬＥＤランプ２４などの赤外カメラに認識可能な物点である。ＶＲ装置ののぞきウィンドウ２７によっては、ユーザーは透過レンズ２３を透過してＶＲ装置に表示されるコンテンツを視聴できる。
【００６３】
カメラにより撮影された画像は図４Ｅに示され、該撮影した画像は１つの眼球位置点Ｐｅｙｅ及びマークポイントＰｍａｒｋを含む。
【００６４】
仮に、カメラにより撮影された画像（図４Ｅに示される）の画素サイズをＩｍａｇｅ＿Ｗ＊Ｉｍａｇｅ＿Ｈ、単眼瞳孔中心の画像での位置をＰｅｙｅ、マークポイントの画像での点をＰｍａｒｋとされる。画像における点Ｐｅｙｅの横方向延長線と点Ｐｍａｒｋの縦方向延長線は点Ｐｃｒｏｓｓで交わる。点Ｐｅｙｅと点Ｐｃｒｏｓｓの間の距離が水平画像距離Ｉｍａｇｅ＿ｅｄである。
【００６５】
点Ｐｅｙｅと点Ｐｃｒｏｓｓの間の水平画像距離と、瞳孔間の実際距離との計算関係式を導出するために、さらに図４Ｆに示される関連位置点と構造の関連平面を参照する必要がある。
【００６６】
図４Ｆは２つの平面を示し、それぞれ焦平面に位置する仮想結像平面Ｏ’及び両眼瞳孔の所在する平面Ｏである。撮影した画像における点Ｐｅｙｅ、点Ｐｍａｒｋ及び点Ｐｃｒｏｓｓは仮想結像平面Ｏ’においてそれぞれ点Ｐｅｙｅ’、点Ｐｍａｒｋ’及び点Ｐｃｒｏｓｓ’に対応する。仮想結像平面Ｏ’に単眼瞳孔の位置Ｐｅｙｅ’とマークポイントの位置Ｐｍａｒｋ’が示される。目からカメラまでの距離はｄである。Ｐｅｙｅ＿ｏは目の面Ｏでの位置、Ｐｃｒｏｓｓ＿ｏはＰｃｒｏｓｓ’の面Ｏへの投影である。対応するＰｅｙｅ＿ｏ、Ｐｃｒｏｓｓ＿ｏ間の距離は両眼瞳孔の実際距離の半分である。カメラ４０の焦点距離はｆ、画角はθである。Ｈは両眼の所在する平面の高さを示し、たとえば、Ｈはカメラの画角に基づき算出でき、ｈは焦平面の高さを示し、たとえば、ｈはカメラの画角に基づき算出できる。
【００６７】
図４Ｅの遠近関係から、
ｔａｎ（θ）＝（ｈ／２）／ｆ
ｔａｎ（θ）＝（Ｈ／２）／ｄ
Ｉｍａｇｅ＿ｅｄ／ｐｄ’＝Ｉｍａｇｅ＿Ｈ／ｈ；
ｐｄ／ｐｄ’＝Ｈ／ｈが得られる。
【００６８】
以上の関係からｐｄ’＝２＊ｄ＊ｔａｎ（θ）＊Ｉｍａｇｅ＿ｅｄ／Ｉｍａｇｅ＿Ｈが得られる。ユーザーの両眼瞳孔の距離ｐｄ＝２＊ｐｄ’となる。
【００６９】
いくつかの実施例では、ステップ４２１は、両眼とカメラとの間の実際垂直距離ｄ（たとえば、図４Ｆに示される両眼の所在する平面Ｏとカメラ４０の間の垂直距離）を測定するステップと、前記カメラの画角θ（たとえば、図４Ｆに示されるカメラ４０の画角）を決定するステップと、撮影した画像における前記単眼瞳孔と前記マークポイントの水平画像距離Ｉｍａｇｅ＿ｅｄ（たとえば、図４Ｅに示される画像上の単眼瞳孔からマークポイントまでの距離）を読み取るステップと、前記撮影した画像の眼部画像の高さ（たとえば、図４Ｅに示される画像の縦方向画素数）を読み取るステップと、前記両眼とカメラの間の実際垂直距離ｄ、画角θ、前記単眼瞳孔と前記マークポイントの水平画像距離Ｉｍａｇｅ＿ｅｄ及び前記眼部画像の高さＩｍａｇｅ＿Ｈに基づき、前記両眼瞳孔間の実際距離（すなわちｐｄ）を決定するステップと、を含める。
【００７０】
図５に示すように、上記３つの実施例における、前記少なくとも１つの眼部画像から、前記少なくとも１つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する１つ又は２つの瞳孔画像位置を抽出するステップは、たとえば、各眼部画像から単眼又は両眼の所在する画像領域を抽出するステップ５０１と、前記画像領域をフィルタリングし階調化してグレースケール画像を取得し、前記グレースケール画像を二値画像に変換するステップ５１１と、二値画像中の単眼瞳孔領域の境界又は両眼瞳孔領域の境界を検索するステップ５２１と、前記単眼瞳孔領域の境界又は両眼瞳孔領域の境界を楕円フィッティングして１つ又は２つの楕円図形を取得するステップ５３１と、各楕円図形の中心を対応する瞳孔の画像位置とするステップ５４１と、を含める。勿論、それ以外の方法により瞳孔の画像位置を取得してもよく、本開示では限定しない。
【００７１】
上記実施例では、前記眼部画像の高さは、カメラが撮影した画像の縦方向の画素サイズである。
【００７２】
いくつかの実施例では、上記マークポイントを含む画像を抽出することは、カメラにより収集された画像を取得した後、マークポイントを抽出するステップを含める。マークポイントの抽出は以下のステップを含む。（１）マークポイント領域の抽出（たとえば、全画像からマークポイントの所在する概略領域を抽出する）：ユーザーがＶＲ装置を着用すると、マークポイントの画像での位置が略確定するため、大きな画像領域をマークポイントの所在する領域の候補領域として選択することができる。（２）画像フィルタリング：抽出した画像に対しフィルタリング、例えばガウスフィルタリング等を行う。（３）階調化：フィルタリング後の画像を階調化して、ＲＧＢ画像をグレースケール画像に変換する。（４）閾値処理：グレースケール画像を二値画像に変換する。マークポイント自体が赤外ＬＥＤランプであるため、赤外カメラにより撮影される画像において、マークポイントが１つの白色のスポットであり、大きな閾値を設定し、例えば、閾値＝２４０を設定して、画像の二値化を行うことができる。（５）マークポイント領域の検出：形態学の方法を利用して、マークポイント領域の境界を見つける。（６）マークポイントの楕円フィッティング：マークポイント領域の境界を利用して楕円フィッティングを行い、楕円を得る。（７）マークポイント中心の出力：マークポイントの位置が楕円の中心である。
【００７３】
本開示の実施例は１つの赤外カメラを用いて瞳孔距離を推算する方法を提供しており、たとえば、１つの赤外カメラと複数のＬＥＤランプを採用できる。１つのカメラによってユーザーの単眼とＶＲハウジングにおけるマークポイントを撮影可能であり、複数の赤外ＬＥＤランプによって赤外カメラに光源を提供する。ＶＲ装置内の赤外カメラを用いてユーザーの単眼とＶＲハウジングにおけるマークポイントを撮影するとともに、画像処理によって、単眼瞳孔とマークポイントとの横方向距離を測定し、さらに、両眼瞳孔間の実際距離を算出する。本開示に係るカメラは、瞳孔距離を検出した後、眼球追跡や視線計算など、眼球に関連する他の作業にも適用できる。
【００７４】
本開示の少なくとも一実施例は、コンピュータ命令が記憶されているコンピュータ可読記憶媒体を提供しており、該コンピュータ可読記憶媒体は、前記命令がプロセッサにより実行されると、前記少なくとも１つの眼部画像から、前記少なくとも１つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する１つ又は２つの瞳孔画像位置を抽出する操作と、前記１つ又は２つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定する操作と、を実行する。
【００７５】
図６には、本開示に係る装着型眼用機器６００の構成ブロック図が示される。装着型眼用機器６００は、プロセッサ６０２及びメモリ６０３を含める。前記メモリ６０３には、命令が記憶されており、前記命令が前記プロセッサ６０２により実行されると、少なくとも１つの眼部画像から、前記少なくとも１つの眼部画像における単眼瞳孔又は両眼瞳孔に対応する１つ又は２つの瞳孔画像位置を抽出する操作と、前記１つ又は２つの瞳孔画像位置に基づき、前記両眼瞳孔間の実際距離を決定する操作と、を実行する。
【００７６】
いくつかの実施例では、装着型眼用機器６００は、少なくとも１つのカメラ６０１をさらに含める。たとえば、少なくとも１つのカメラ６０１は、前記少なくとも１つの眼部画像を撮影するように配置される。
【００７７】
いくつかの実施例では、装着型眼用機器６００は、前記少なくとも１つのカメラ６０１に撮影光源を提供するように配置される少なくとも１つの赤外光源６０４をさらに含める。
【００７８】
いくつかの実施例では、装着型眼用機器６００は、ＶＲ眼鏡の基本部材を備えてもよい。たとえば、ＶＲ眼鏡の基本部材は、レンズ、ハウジング等を含める。
【００７９】
いくつかの実施例では、少なくとも１つのカメラ６０１は、前記両眼瞳孔を含む眼部画像を撮影するように配置される第１カメラを含んでもよい。前記メモリに記憶されている命令が前記プロセッサにより実行されると、前記眼部画像における前記両眼瞳孔の瞳孔画像位置を決定する操作と、前記両眼瞳孔の瞳孔画像位置に基づき、前記眼部画像での前記両眼瞳孔の画像距離を決定する操作と、前記両眼瞳孔の画像距離に基づき、前記両眼瞳孔の前記実際距離を決定する操作と、を実行する。
【００８０】
いくつかの実施例では、少なくとも１つのカメラ６０１は、左眼を含む左眼画像と、右眼を含む右眼画像と、をそれぞれ撮影するように配置される第１カメラおよび第２カメラを含んでもよい。前記メモリ６０３に記憶されている命令が前記プロセッサ６０２により実行されると、前記左眼画像における左眼瞳孔の瞳孔画像位置と前記右眼画像における右眼瞳孔の瞳孔画像位置を決定する操作と、前記第１カメラの前記左眼画像での画像位置と前記第２カメラの前記右眼画像での画像位置を決定する操作と、前記左眼画像において、前記左眼瞳孔の瞳孔画像位置と前記第１カメラの画像位置との間の第１水平画像距離を決定する操作と、前記第１水平画像距離に基づき、前記左眼瞳孔と前記第１カメラとの間の第１実際水平距離を決定する操作と、前記右眼画像において、前記右眼瞳孔の瞳孔画像位置と前記第２カメラの画像位置との間の第２水平画像距離を決定する操作と、前記第２水平画像距離に基づき、前記右眼瞳孔と前記第２カメラとの間の第２実際水平距離を決定する操作と、前記第１実際水平距離と前記第２実際水平距離に基づき、前記両眼瞳孔の実際距離を決定する操作と、を実行する。
【００８１】
いくつかの実施例では、カメラ６０１は、前記単眼瞳孔及び設定されたマークポイントを含む眼部画像を撮影するように配置される第１カメラを含んでもよい。前記メモリ６０３に記憶されている命令が前記プロセッサ６０２により実行されると、前記眼部画像における前記単眼瞳孔の瞳孔画像位置を抽出する操作と、前記眼部画像から前記マークポイントのマーク位置を抽出する操作と、前記単眼瞳孔の瞳孔画像位置と前記マーク位置に基づき、前記単眼瞳孔と前記マークポイントの水平画像距離を決定する操作と、前記単眼瞳孔と前記マークポイントの水平画像距離に基づき、前記両眼瞳孔間の実際距離を決定する操作と、を実行する。たとえば、前記マークポイントは、装着型眼用機器のハウジングに設置される。
【００８２】
いくつかの実施例では、前記メモリ６０３及びプロセッサ６０２は、同一のＰＣ等の処理装置に位置してもよい。
【００８３】
装着型眼用機器６００の類似説明については、図１−５を参照すればよいため、ここで説明をしない。
【００８４】
以上、本開示の具体的な実施形態を説明したが、本開示の保護範囲はそれに限定されず、当業者にとって本開示の技術的範囲を逸脱せずに容易に想到し得る変化や置換はすべて本開示の保護範囲に属する。従って、本開示の保護範囲は特許請求の範囲の保護範囲に準じるべきである。
【００８５】
本開示は、２０１７年７月７日に提出した中国特許出願第２０１７１０５５１４８９．５号の優先権を主張し、ここで上記中国特許出願の全開示内容が引用により本願の一部として組み込まれる。
【符号の説明】
【００８６】
１  インタフェース
２  赤外カメラ
３  レンズ
４  赤外ＬＥＤランプ
５  内側ケーシング
１１  赤外カメラ
１２  カメラ
１３  レンズ
１４  赤外ＬＥＤランプ
１５  内側ケーシング
２０，３０，４０  カメラ
２２  赤外カメラ
２３  レンズ
２４  赤外ＬＥＤランプ
２５  ＶＲハウジング、内側ケーシング
２６  マークポイント
２７  のぞきウィンドウ
６００  装着型眼用機器
６０１  カメラ
６０２  プロセッサ
６０３  メモリ
６０４  赤外光源
【図１】
2020526735.tif 000003
【図２Ａ】
2020526735.tif 000004
【図２Ｂ】
2020526735.tif 000005
【図２Ｃ】
2020526735.tif 000006
【図２Ｄ】
2020526735.tif 000007
【図３Ａ】
2020526735.tif 000008
【図３Ｂ】
2020526735.tif 000009
【図３Ｃ−１】
2020526735.tif 000010
【図３Ｃ−２】
2020526735.tif 000011
【図３Ｄ】
2020526735.tif 000012
【図３Ｅ】
2020526735.tif 000013
【図４Ａ】
2020526735.tif 000014
【図４Ｂ】
2020526735.tif 000015
【図４Ｃ】
2020526735.tif 000016
【図４Ｄ】
2020526735.tif 000017
【図４Ｅ】
2020526735.tif 000018
【図４Ｆ】
2020526735.tif 000019
【図５】
2020526735.tif 000020
【図６】
2020526735.tif 000021
【国際調査報告】
2020526735.tif 000022
2020526735.tif 000023
2020526735.tif 000024
2020526735.tif 000025