【手続補正書】
【提出日】令和2年5月29日(2020.5.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ＡＲ環境内のリンケージを検出するための拡張現実（ＡＲ）システムであって、前記拡張現実システムは、
前記ＡＲシステムの環境をイメージングするように構成される外向きに面したイメージングシステムと、
３次元（３Ｄ）ビュー内の仮想コンテンツを前記ＡＲシステムのユーザに提示するように構成されるＡＲディスプレイと、
ハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記外向きに面したイメージングシステムを用いて、前記環境の画像を取得することと、
前記画像内の第１の顔および第２の顔を検出することと、
前記画像内の前記第１の顔を、前記環境内の人物の顔を表すものと識別し、前記画像内の前記第２の顔を、前記環境内の識別ドキュメント上の顔の写真を表すものと識別することと、
前記第１の顔と関連付けられた第１の顔特徴に基づいて、前記第１の顔を認識することと、
前記第２の顔と関連付けられた第２の顔特徴に基づいて、前記第２の顔を認識することと、
前記第１の顔特徴および前記第２の顔特徴を分析し、前記人物と前記識別ドキュメントとの間のリンケージを検出することと、
前記ＡＲディスプレイに、前記第１の顔特徴および前記第２の顔特徴の分析の結果を示す仮想注釈を提示するように命令することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、拡張現実システム。
【請求項２】
前記第１の顔および前記第２の顔を検出するために、前記ハードウェアプロセッサは、ウェーブレットベースのブーストカスケードアルゴリズムまたは深層ニューラルネットワークアルゴリズムのうちの少なくとも１つを前記画像に適用するようにプログラムされる、請求項１に記載のＡＲシステム。
【請求項３】
前記ハードウェアプロセッサは、
前記第２の顔の動きを分析することによって、前記第２の顔が前記識別ドキュメント上の顔であることを検出することと、
前記動きが単一平面ホモグラフィによって記述されるかどうかを決定することと
を行うようにさらにプログラムされる、請求項１に記載のＡＲシステム。
【請求項４】
前記第１の顔または前記第２の顔を認識するために、前記ハードウェアプロセッサは、
それぞれ、顔目印検出アルゴリズム、深層ニューラルネットワークアルゴリズム、またはテンプレート整合アルゴリズムのうちの少なくとも１つを適用することによって、前記第１の顔特徴に少なくとも部分的に基づいて、前記第１の顔と関連付けられた第１の特徴ベクトルを計算すること、または、前記第２の顔特徴に少なくとも部分的に基づいて、前記第２の顔と関連付けられた第２の特徴ベクトルを計算すること
を行うようにプログラムされる、請求項１に記載のＡＲシステム。
【請求項５】
前記人物と前記識別ドキュメントとの間のリンケージを検出するために、前記ハードウェアプロセッサは、
前記第１の特徴ベクトルと前記第２の特徴ベクトルとの間の距離を計算することと、
前記距離を閾値と比較することと、
前記距離が前記閾値に合格することの決定に応答して、前記リンケージを検出することと
を行うようにプログラムされる、請求項４に記載のＡＲシステム。
【請求項６】
前記距離は、ユークリッド距離である、請求項５に記載のＡＲシステム。
【請求項７】
前記識別ドキュメントは、クイックレスポンスコード、バーコード、または虹彩コードのうちの１つ以上を備えるラベルを有する、請求項１に記載のＡＲシステム。
【請求項８】
前記ハードウェアプロセッサは、
前記ラベルを前記環境の画像から識別することと、
前記ラベルを使用して、外部データソースにアクセスし、前記人物のバイオメトリック情報を読み出すことと
を行うようにさらにプログラムされる、請求項７に記載のＡＲシステム。
【請求項９】
ＡＲシステムは、ヒト可視スペクトル（ＨＶＳ）外の光を照明するように構成される光学センサをさらに備え、前記ハードウェアプロセッサは、
前記光学センサに、前記光を前記識別ドキュメントに向かって照明し、前記識別ドキュメント内の隠蔽された情報を露見させるように命令することと、
前記識別ドキュメントの画像を分析することであって、前記画像は、前記識別ドキュメントが前記光で照明されたときに入手される、ことと、
バイオメトリック情報を前記画像から抽出することであって、前記抽出されたバイオメトリック情報は、前記人物と前記識別ドキュメントとの間のリンケージを検出するために使用される、ことと
を行うようにさらにプログラムされる、請求項１に記載のＡＲシステム。
【請求項１０】
前記ハードウェアプロセッサは、前記第１の顔特徴と前記第２の顔特徴との間の整合の可能性を計算するようにプログラムされる、請求項１に記載のＡＲシステム。
【請求項１１】
前記注釈は、前記人物および前記識別ドキュメントをリンクさせる視覚的焦点インジケータを備える、請求項１に記載のＡＲシステム。
【請求項１２】
前記注釈は、前記第１の顔周りのボックスと、前記第２の顔周りのボックスとを備える、請求項１１に記載のＡＲシステム。
【請求項１３】
前記第１の顔周りのボックスおよび前記第２の顔周りのボックスは、同一の色を有する、請求項１２に記載のＡＲシステム。
【請求項１４】
前記注釈は、前記第１の顔と前記第２の顔とを接続する線を備える、請求項１１に記載のＡＲシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを意図するものではない。
本発明は、例えば、以下を提供する。
（項目１）
ＡＲ環境内のリンケージを検出するための拡張現実（ＡＲ）システムであって、前記拡張現実は、
前記ＡＲシステムの環境をイメージングするように構成される外向きに面したイメージングシステムと、
３次元（３Ｄ）ビュー内の仮想コンテンツを前記ＡＲシステムのユーザに提示するように構成されるＡＲディスプレイと、
ハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記外向きに面したイメージングシステムを用いて、前記環境の画像を取得することと、
前記画像内の第１の顔および第２の顔を検出することであって、前記第１の顔は、前記環境内の人物の顔であり、前記第２の顔は、識別ドキュメント上の顔である、ことと、
前記第１の顔と関連付けられた第１の顔特徴に基づいて、前記第１の顔を認識することと、
前記第２の顔特徴に基づいて、前記第２の顔を認識することと、
前記第１の顔特徴および前記第２の顔特徴を分析し、前記人物と前記識別ドキュメントとの間のリンケージを検出することと、
前記ＡＲディスプレイに、前記第１の顔特徴および前記第２の顔特徴の分析の結果を示す仮想注釈を提示するように命令することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、拡張現実システム。
（項目２）
前記第１の顔および前記第２の顔を検出するために、前記ハードウェアプロセッサは、ウェーブレットベースのブーストカスケードアルゴリズムまたは深層ニューラルネットワークアルゴリズムのうちの少なくとも１つを前記画像に適用するようにプログラムされる、項目１に記載のＡＲシステム。
（項目３）
前記ハードウェアプロセッサはさらに、
前記第２の顔の動きを分析することによって、前記第２の顔が前記識別ドキュメント上の顔であることを検出することと、
前記動きが単一平面ホモグラフィによって記述されるかどうかを決定することと
を行うようにプログラムされる、項目１に記載のＡＲシステム。
（項目４）
前記第１の顔または前記第２の顔を認識するために、前記ハードウェアプロセッサは、
それぞれ、顔目印検出アルゴリズム、深層ニューラルネットワークアルゴリズム、またはテンプレート整合アルゴリズムのうちの少なくとも１つを適用することによって、少なくとも部分的に、前記第１の顔特徴に基づいて、前記第１の顔と関連付けられた第１の特徴ベクトルを計算すること、または、少なくとも部分的に、前記第２の顔特徴に基づいて、前記第２の顔と関連付けられた第２の特徴ベクトルを計算すること
を行うようにプログラムされる、項目１に記載のＡＲシステム。
（項目５）
前記人物と前記識別ドキュメントとの間のリンケージを検出するために、前記ハードウェアプロセッサは、
前記第１の特徴ベクトルと前記第２の特徴ベクトルとの間の距離を計算することと、
前記距離を閾値と比較することと、
前記距離が前記閾値に合格することの決定に応答して、前記リンケージを検出することと
を行うようにプログラムされる、項目４に記載のＡＲシステム。
（項目６）
前記距離は、ユークリッド距離である、項目５に記載のＡＲシステム。
（項目７）
前記識別ドキュメントは、クイックレスポンスコード、バーコード、または虹彩コードのうちの１つ以上を備えるラベルを有する、項目１に記載のＡＲシステム。
（項目８）
前記ハードウェアプロセッサはさらに、
前記ラベルを前記環境の画像から識別することと、
前記ラベルを使用して、外部データソースにアクセスし、前記人物のバイオメトリック情報を読み出すことと
を行うようにプログラムされる、項目７に記載のＡＲシステム。
（項目９）
ＡＲシステムはさらに、ヒト可視スペクトル（ＨＶＳ）外の光を照明するように構成される光学センサを備え、前記ハードウェアプロセッサはさらに、
前記光学センサに、前記光を前記識別ドキュメントに向かって照明し、前記識別ドキュメント内の隠蔽された情報を露見させるように命令することと、
前記識別ドキュメントの画像を分析することであって、前記画像は、前記識別ドキュメントが前記光で照明されたときに入手される、ことと、
バイオメトリック情報を前記画像から抽出することであって、前記抽出されたバイオメトリック情報は、前記人物と前記識別ドキュメントとの間のリンケージを検出するために使用される、ことと
を行うようにプログラムされる、項目１に記載のＡＲシステム。
（項目１０）
前記ハードウェアプロセッサは、前記第１の顔特徴と前記第２の顔特徴との間の整合の可能性を計算するようにプログラムされる、項目１に記載のＡＲシステム。
（項目１１）
前記注釈は、前記人物および前記識別ドキュメントをリンクさせる視覚的焦点インジケータを備える、項目１に記載のＡＲシステム。
（項目１２）
拡張現実環境内のリンケージを検出するための方法であって、
外向き撮像イメージングシステムおよびハードウェアプロセッサを備える拡張現実デバイスの制御下で、前記拡張現実デバイスは、仮想コンテンツを前記拡張現実デバイスの装着者に表示するように構成され、
前記環境の画像を取得することと、
前記画像内の人物、第１のドキュメント、および第２のドキュメントを検出することと、
少なくとも部分的に、前記第１のドキュメントの画像の分析に基づいて、第１の個人情報を抽出することと、
第２のドキュメントと関連付けられた第２の個人情報にアクセスすることと、
少なくとも部分的に、前記人物の画像の分析に基づいて、前記人物の第３の個人情報を抽出することであって、前記第１の個人情報、前記第２の個人情報、および前記第３の個人情報は、同一カテゴリ内にある、ことと、
前記第１の個人情報、前記第２の個人情報、および前記第３の個人情報の間の整合の可能性を決定することと、
前記整合の可能性が閾値条件を超えることの決定に応答して、前記第１のドキュメント、前記第２のドキュメント、および前記人物の間のリンケージを表示することと
を含む、方法。
（項目１３）
前記環境の画像を取得することは、前記拡張現実デバイスの外向きに面したイメージングシステムによって入手された前記画像にアクセスすることを含む、項目１２に記載の方法。
（項目１４）
前記第１の個人情報および前記第３の個人情報を抽出することは、
前記画像内の第１の顔を検出することであって、前記第１の顔は、前記第１のドキュメント内に含まれる、ことと、
前記画像内の第２の顔を検出することであって、前記第２の顔は、前記環境内の人物と関連付けられる、ことと、
前記第１の顔と関連付けられた第１の顔特徴および前記第２の顔と関連付けられた第２の顔特徴を識別することと、
それぞれ、前記第１の顔特徴および前記第２の顔特徴に基づいて、前記第１の顔および前記第２の顔を認識することと
を含む、項目１２に記載の方法。
（項目１５）
前記第１の顔を検出することまたは前記第２の顔を検出することは、ウェーブレットベースのブーストカスケードアルゴリズムまたは深層ニューラルネットワークアルゴリズムを適用することを含む、項目１４に記載の方法。
（項目１６）
前記第１の顔を認識することおよび前記第２の顔を認識することは、それぞれ、顔目印検出アルゴリズム、深層ニューラルネットワークアルゴリズム、またはテンプレート整合アルゴリズムのうちの少なくとも１つを適用することによって、
少なくとも部分的に、前記第１の顔特徴に基づいて、前記第１の顔と関連付けられた第１の特徴ベクトルを計算することと、
少なくとも部分的に、前記第２の顔特徴に基づいて、前記第２の顔と関連付けられた第２の特徴ベクトルを計算することと
を含む、項目１４に記載の方法。
（項目１７）
前記第２の個人情報にアクセスすることは、
光が前記第２のドキュメント上に当てられたとき、前記第２のドキュメントの画像を入手することであって、前記光の少なくとも一部は、ヒト可視スペクトル外にある、ことと、
前記第２のドキュメントの前記入手された画像に基づいて、前記第２の個人情報を識別することであって、前記第２の個人情報は、通常光学条件下、ヒトに直接可視ではない、ことと
を含む、項目１２に記載の方法。
（項目１８）
前記第２の個人情報にアクセスすることは、
前記ラベルを前記環境の画像から識別することと、
前記ラベルを使用して、複数の人物の個人情報を記憶するデータソースにアクセスし、前記人物のバイオメトリック情報を読み出すことと
を含む、項目１２に記載の方法。
（項目１９）
整合の可能性を決定することは、
前記第１の個人情報および前記第２の個人情報を比較することと、
少なくとも部分的に、前記第１の個人情報と前記第２の個人情報との間の類似性または非類似性に基づいて、信頼度スコアを計算することと
を含む、項目１２に記載の方法。
（項目２０）
前記信頼度スコアが閾値を超えることの決定に応答して、前記第１のドキュメントまたは前記第２のドキュメントのうちの少なくとも１つを有効として示す仮想注釈を表示することをさらに含む、項目１９に記載の方法。