(57)【特許請求の範囲】
【請求項１】
シーンカメラ、表示デバイス、及び注視追跡デバイスに接続されている第１コンピューティングデバイスが、
前記シーンカメラから画像を取得して表示する第１ユーザコマンドを受信し、
表示された前記画像の注釈を生成する第２ユーザコマンドを受信し、
前記第２ユーザコマンドに応答して、表示された前記画像のユーザの注視を推定する第１注視点を前記注視追跡デバイスから受信し、
前記表示デバイスで前記画像の前記第１注視点の近くに注釈アンカーを表示する、
画像の注視注釈方法であって、
ユーザから音声注釈を受け取り、前記音声注釈と前記注釈アンカーとを関連付け、
前記画像、前記音声注釈、前記注釈アンカーとしての前記第１注視点及び一もしくは複数のユーザによる以降のアクセスのために構成されているオブジェクトとしての直示的注視マーカを保存し、
一もしくは複数の第２ユーザと前記オブジェクトを共有する、
ことをさらに含み、
前記第２ユーザの１人の第２コンピューティングデバイスが第２表示デバイス及び第２注視追跡デバイスを含み、
前記第２コンピューティングデバイスが、
前記オブジェクトにアクセスし、前記画像及び前記注釈アンカーを表示し、
表示されている前記注釈アンカーの近くで前記第２ユーザの第２注視点を検出し、
前記音声注釈及び前記直示的注視マーカを取り出し、
前記音声注釈を再生している間、前記画像のコンテキストの前記直示的注視マーカを表示されている前記画像に表示する、
ことをさらに含む、注視注釈方法。
【請求項２】
シーンカメラ、表示デバイス、及び注視追跡デバイスに接続されている第１コンピューティングデバイスが、
前記シーンカメラから画像を取得して表示する第１ユーザコマンドを受信し、
表示された前記画像の注釈を生成する第２ユーザコマンドを受信し、
前記第２ユーザコマンドに応答して、表示された前記画像のユーザの注視を推定する第１注視点を前記注視追跡デバイスから受信し、
前記表示デバイスで前記画像の前記第１注視点の近くに注釈アンカーを表示する、
画像の注視注釈方法であって、
ユーザから音声注釈を受け取り、前記音声注釈と前記注釈アンカーとを関連付け、
前記ユーザから音声注釈を受け取ることは、
自動音声認識を用いて前記音声注釈を解釈し、
ユーザが前記音声注釈を声に出す間、収集された注視点セットを受信し、
注視点の直示的参照を示すキーワードを、解釈された前記音声注釈から、識別し、
注視点セットの内最もよく適合する注視点と前記キーワードとを並べ、
前記直示的参照の可視情報として直示的注視マーカを表示する、
注視注釈方法。
【請求項３】
前記シーンカメラは頭部に装着され、前記シーンカメラの位置及び向きを含む画像情報を収集するための加速度計、ジャイロスコープ、ＧＰＳの少なくとも１つを含む、
請求項１又は請求項２に記載の注視注釈方法。
【請求項４】
前記注視追跡デバイスは、アイカメラ及び前記アイカメラに接続されている注視コンピューティングデバイスを含み、
前記アイカメラはユーザの目の目画像のストリームを取得し、
前記注視コンピューティングデバイスは、前記アイカメラによって取得された目画像のストリームを受信し、対応する注視点を計算するために注視推定を実行する、
請求項１〜３の何れか１項に記載の注視注釈方法。
【請求項５】
前記第２ユーザは第１ユーザとは異なり、前記第２コンピューティングデバイスは前記第１コンピューティングデバイスと区別される、
請求項１に記載の注視注釈方法。
【請求項６】
前記オブジェクトを一もしくは複数の第２ユーザと共有することは、
ウェブサイトに前記オブジェクトを投稿する、及び
電子メッセージを介して一もしくは複数の前記ユーザに前記オブジェクトを送信する、
の一つもしくは複数を含む、
請求項１に記載の注視注釈方法。
【請求項７】
シーンカメラ、表示デバイス、注視追跡デバイス及び位置検出デバイスに接続されているコンピューティングデバイスが、
前記シーンカメラから第１視界の情報を受信し、前記位置検出デバイスから第１位置情報を受信し、
前記注視追跡デバイスから、前記第１視界に位置するユーザの第１注視点を受信し、
前記シーンカメラから前記第１視界の第１画像を取得して表示し、
前記表示デバイスで前記第１画像に注釈アンカーを表示し、
第１注釈アンカーの位置は前記第１注視点、前記第１視界及び第１位置情報から計算される、
現実シーンの注視注釈方法であって、
前記第１画像を取得する間、前記ユーザから音声注釈を受け取ることをさらに含み、
ユーザから音声注釈を受け取ることは、
前記シーンカメラから第１視界セットを受信し、前記位置検出デバイスから位置情報セットを受信し、
前記第１視界、前記第１位置情報、前記第１視界セット及び位置情報セットに基づいて前記ユーザの位置が変化したことを検出することによって、第２視界の第２画像を記録し、
画像縫い合わせを用いて、前記第１画像及び前記第２画像を接合する、
注視注釈方法。
【請求項８】
自動音声認識を用いて、前記音声注釈を解釈し、
ユーザが前記音声注釈を声に出している間に収集された注視点セットを受信し、
解釈された前記音声注釈から、注視点の直示的参照を示すキーワードを識別し、
前記注視点セットの内最もよく適合する注視点と前記キーワードとを並べ、
前記直示的参照の可視情報として直示的注視マーカを表示する、
ことをさらに含む、
請求項７に記載の注視注釈方法。
【請求項９】
画像、前記音声注釈、注釈アンカーとしての前記第１注視点、一もしくは複数のユーザによる以降のアクセスのために構成されているオブジェクトとしての直示的注視マーカと最もよく適合する注視点を保存し、
一もしくは複数の第２ユーザと前記オブジェクトを共有する、
ことをさらに含む、
請求項７又は請求項８に記載の注視注釈方法。
【請求項１０】
第２表示デバイス及び第２注視追跡デバイスを含む前記第２ユーザの１人の第２コンピューティングデバイスが、
前記オブジェクトにアクセスし、前記画像及び前記注釈アンカーを表示し、
表示された前記画像で前記注釈アンカーの近くの前記第２ユーザの第２注視点を検出し、
前記音声注釈及び前記直示的注視マーカを取り出し、前記音声注釈を再生している間、前記画像のコンテキストの前記直示的注視マーカを表示されている前記画像に表示する、
請求項９に記載の注視注釈方法。
【請求項１１】
表示デバイスと、
シーンカメラと、
注視追跡デバイスと、
メモリと、
一つもしくは複数のプロセッサと、
前記メモリに保存され、一つもしくは複数の前記プロセッサによって実行されるように構成されている一つもしくは複数のプログラムと、
を含み、
前記一つもしくは複数のプログラムは、
前記シーンカメラから画像を取得し表示する第１ユーザコマンドを受信し、
表示された前記画像の注釈を生成する第２ユーザコマンドを受信し、
前記第２ユーザコマンドに応答して、表示された前記画像のユーザの注視を推定する第１注視点を前記注視追跡デバイスから受信し、
前記表示デバイスで、前記第１注視点の近くの画像に注釈アンカーを表示する、
命令を含む、
第１コンピューティングデバイスであって、
前記ユーザから音声注釈を受け取り、前記注釈アンカーと前記音声注釈とを関連付ける、命令をさらに含み、
一つもしくは複数の前記プログラムは、
前記画像、前記音声注釈、前記注釈アンカーとしての前記第１注視点、及び、一もしくは複数のユーザによる以降のアクセスのために構成されているオブジェクトとしての直示的注視マーカを保存し、
一もしくは複数の第２ユーザと前記オブジェクトを共有する、
命令をさらに含み、
一つもしくは複数の前記プログラムは、
第２コンピューティングデバイスは第２表示デバイス及び第２注視追跡デバイスを含み、
前記第２ユーザの１人の第２コンピューティングデバイスが、
前記オブジェクトにアクセスし、前記画像及び前記注釈アンカーを表示し、
前記注釈アンカーの近くに表示されている前記画像に前記第２ユーザの第２注視点を検出し、
前記音声注釈及び直示的注視マーカを取り出し、
表示されている前記画像に、前記音声注釈を再生している間、前記画像のコンテキストの前記直示的注視マーカを表示する、
命令をさらに含む、
第１コンピューティングデバイス。
【請求項１２】
表示デバイスと、
シーンカメラと、
注視追跡デバイスと、
メモリと、
一つもしくは複数のプロセッサと、
前記メモリに保存され、一つもしくは複数の前記プロセッサによって実行されるように構成されている一つもしくは複数のプログラムと、
を含み、
前記一つもしくは複数のプログラムは、
前記シーンカメラから画像を取得し表示する第１ユーザコマンドを受信し、
表示された前記画像の注釈を生成する第２ユーザコマンドを受信し、
前記第２ユーザコマンドに応答して、表示された前記画像のユーザの注視を推定する第１注視点を前記注視追跡デバイスから受信し、
前記表示デバイスで、前記第１注視点の近くの画像に注釈アンカーを表示する、
命令を含む、
第１コンピューティングデバイスであって、
前記ユーザから音声注釈を受け取り、前記注釈アンカーと前記音声注釈とを関連付ける、命令をさらに含み、
前記ユーザから音声注釈を受け取ることは、
自動音声認識を用いて前記音声注釈を解釈し、
前記音声注釈をユーザが声に出している間、収集された注視点セットを受信し、
解釈された前記音声注釈から、注視点の直示的参照を示すキーワードを識別し、
注視点セットの最もよく適合する注視点と前記キーワードとを並べ、
前記直示的参照の可視情報として直示的注視マーカを表示する、ことを含む、
第１コンピューティングデバイス。
【請求項１３】
前記シーンカメラは頭部に装着され、前記シーンカメラの位置及び向きを含む画像情報を収集するための加速度計、ジャイロスコープ、もしくはＧＰＳの少なくとも１つを含む、
請求項１１又は請求項１２に記載の第１コンピューティングデバイス。
【請求項１４】
前記注視追跡デバイスはアイカメラ及び前記アイカメラに接続されている注視コンピューティングデバイスを含み、
前記アイカメラは前記ユーザの目の目画像ストリームを取得し、
前記注視コンピューティングデバイスは、前記アイカメラによって取得された前記目画像ストリームを受信し、対応する注視点を計算するために注視推定を行う、
請求項１１〜請求項１３の何れか１項に記載の第１コンピューティングデバイス。
【請求項１５】
前記第２ユーザは第１ユーザとは異なるユーザであり、前記第２コンピューティングデバイスは前記第１コンピューティングデバイスと区別可能である、
請求項１１に記載の第１コンピューティングデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、注視注釈方法及びコンピューティングデバイスに関する。
【背景技術】
【０００２】
離れた場所で共同作業を行う場合、特に、共同作業者がオフィス以外の場所に存在し、通信のためにハンズフリーシステムが必要な場合には、可視情報を共有することは困難であるかもしれない。これらの作業環境において、従来のシステムは前面カメラ及びウェアラブルコンピュータを有するＨＭＤ（head mounted device）を使用する。これにより、ユーザは、互いに視界を共有することができる。（予め記録したもしくはライブの）前方視界ビデオもしくは単一のスナップショットは可視情報を伝達することができる。
【０００３】
また、グーグルグラスもしくはビュージックススマートグラスなどの新しいウェアラブルコンピューティングデバイスは、個人の視界を容易に取得し共有することにより、共同作業者と通信する新しい方法を提供する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第７，３９６，１２９号明細書
【非特許文献】
【０００５】
【非特許文献１】ブッシャー（Buscher）ら、「サブドキュメントレベルの注視ベースフィードバックを用いたクエリー拡張（”Query expansion using gaze-based feedback on the subdocument level”）」、情報検索の研究開発に関する第３１回国際ＡＣＭ  ＳＩＧＩＲ会議抄録（Proceedings of the 31st annual international ACM SIGIR conference on Research and development in Information retrieval）、２００８年、pp.387〜394
【発明の概要】
【発明が解決しようとする課題】
【０００６】
画像を伝達することは広く受け入れられてきているが、画像は、必要に応じて、完全なメッセージを伝達するために文字、注釈、及びタグを伴う。既存のシステムのいくつかは、グーグルグラスを用いて、サイン及びポスターの注釈を生成し、取り出すために使用され得る。しかしながら、そのようなシステムにおいて、グラスのカメラによって取得された写真はユーザの視界に適合するように広角ビューを有することが多い。従って、そのような写真は、ユーザが伝達することを所望するメッセージから注意を逸らし得る周辺のオブジェクトを含んでいることが多い。以前の研究は、参考情報を視覚的に伝達する注釈は通信を単純化し、かつ、明瞭化することを示している。しかしながら、ウェアラブルコンピューティングデバイスでは、入力方法、詳細には、画像に詳細なマーカを追加する方法が限定されている。
【０００７】
したがって、注釈を生成するためにウェアラブルコンピューティングデバイスを使用する自然な指示機構が必要とされている。
【課題を解決するための手段】
【０００８】
第１の態様は画像の注視注釈方法であって、シーンカメラ、表示デバイス、及び注視追跡デバイスに接続されている第１のコンピューティングデバイスが、前記シーンカメラから画像を取得して表示する第１ユーザコマンドを受信し、表示された前記画像の注釈を生成する第２ユーザコマンドを受信し、前記第２のユーザコマンドに応答して、表示された前記画像のユーザの注視を推定する第１注視点を前記注視追跡デバイスから受信し、前記表示デバイスで前記画像の前記第１注視点の近くに注釈アンカーを表示する。
【０００９】
第２の態様は、第１の態様の注視注釈方法であって、ユーザから音声注釈を受け取り、前記音声注釈と前記注釈アンカーとを関連付ける。
【００１０】
第３の態様は、第２の態様の注視注釈方法であって、前記画像、前記音声注釈、前記注釈アンカーとしての前記第１注視点及び一もしくは複数のユーザによる以降のアクセスのために構成されているオブジェクトとしての直示的注視マーカを保存し、一もしくは複数の第２ユーザと前記オブジェクトを共有する、ことをさらに含む。
【００１１】
第４の態様は、第３の態様の注視注釈方法であって、前記第２ユーザの１人の第２コンピューティングデバイスが第２表示デバイス及び第２注視追跡デバイスを含み、前記第２コンピューティングデバイスが、前記オブジェクトにアクセスし、前記画像及び前記注釈アンカーを表示し、表示されている前記画像の前記注釈マーカの近くで前記第２ユーザの第２注視点を検出し、前記音声注釈及び前記直示的注視マーカを取り出し、前記音声注釈を再生している間、前記画像のコンテキストの前記直示的注視マーカを表示されている前記画像に表示する、ことをさらに含む。
【００１２】
第５の態様は、第２〜第４の何れかの態様の注視注釈方法であって、前記ユーザから音声注釈を受け取ることは、自動音声認識を用いて前記音声注釈を解釈し、ユーザが前記音声注釈を声に出す間、収集された注視点セットを受信し、注視点の直示的参照を示すキーワードを、解釈された前記音声注釈から、識別し、注視点セットの内最もよく適合する注視点と前記キーワードとを並べ、前記直示的参照の可視情報として直示的注視マーカを表示する。
【００１３】
第６の態様は、第１〜第５の何れかの態様の注視注釈方法であって、前記シーンカメラは頭部に装着され、前記シーンカメラの位置及び向きを含む画像情報を収集するための加速度計、ジャイロスコープ、ＧＰＳの少なくとも１つを含む。
【００１４】
第７の態様は、第１〜第６の何れかの態様の注視注釈方法であって、前記注視追跡デバイスは、アイカメラ及び前記アイカメラに接続されている注視コンピューティングデバイスを含み、前記アイカメラはユーザの目の目画像のストリームを取得し、前記注視コンピューティングデバイスは、前記アイカメラによって取得された目画像のストリームを受信し、対応する注視点を計算するために注視推定を実行する。
【００１５】
第８の態様は、第４の態様の注視注釈方法であって、前記第２ユーザは前記第１ユーザとは異なり、前記第２コンピューティングデバイスは前記第１コンピューティングデバイスと区別される。
【００１６】
第９の態様は、第３又は第４の態様の注視注釈方法であって、前記オブジェクトを一もしくは複数の第２ユーザと共有することは、ウェブサイトに前記オブジェクトを投稿する、及び電子メッセージを介して一もしくは複数の前記ユーザに前記オブジェクトを送信する、の一つもしくは複数を含む。
【００１７】
第１０の態様は、現実シーンの注視注釈方法であって、シーンカメラ、表示デバイス、注視追跡デバイス及び位置検出デバイスに接続されているコンピューティングデバイスが、前記シーンカメラから第１視界情報を受信し、前記位置検出デバイスから第１位置情報を受信し、前記注視追跡デバイスから、前記第１視界に位置するユーザの第１注視点を受信し、前記シーンカメラから前記第１視界の第１画像を取得して表示し、前記表示デバイスで前記第１画像に注釈アンカーを表示し、前記第１注釈アンカーの位置は前記第１注視点、前記第１視界及び第１位置情報から計算される。
【００１８】
第１１の態様は、第１０の態様の注視注釈方法であって、前記第１画像を取得する間、前記ユーザから音声注釈を受け取ることをさらに含み、ユーザから音声注釈を受け取ることは、前記シーンカメラから第１視界セットを受信し、前記位置検出デバイスから位置情報セットを受信し、前記第１視界、前記第１位置情報、前記視界セット及び位置情報セットに基づいて前記ユーザの位置が変化したことを検出することによって、第２視界の第２画像を記録し、画像縫い合わせを用いて、前記第１画像及び前記第２画像を接合する。
【００１９】
第１２の態様は、第１１の態様の注視注釈方法であって、自動音声認識を用いて、前記音声注釈を解釈し、ユーザが前記音声注釈を声に出している間に収集された注視点セットを受信し、解釈された前記音声注釈から、注視点の直示的参照を示すキーワードを識別し、前記注視点セットの内最もよく適合する注視点と前記キーワードとを並べ、前記直示的参照の可視情報として直示的注視マーカを表示する、ことをさらに含む。
【００２０】
第１３の態様は、第１１又は第１２の態様の注視注釈方法であって、前記画像、前記音声注釈、注視アンカーとしての前記第１注視点、一もしくは複数のユーザによる以降のアクセスのために構成されているオブジェクトとしての直示的注視マーカと最もよく適合する注視点を保存し、一もしくは複数の第２ユーザと前記オブジェクトを共有する、ことをさらに含む。
【００２１】
第１４の態様は、第１３の態様の注視注釈方法であって、第２表示デバイス及び第２注視追跡デバイスを含む前記第２のユーザの１人の第２コンピューティングデバイスが、前記オブジェクトにアクセスし、前記画像及び前記注釈アンカーを表示し、表示された前記画像で前記注釈アンカーの近くの前記第２ユーザの第２注視点を検出し、前記音声注釈及び前記直示的注視マーカを取り出し、前記音声注釈を再生している間、前記画像のコンテキストの前記直示的注視マーカを表示されている前記画像に表示する。
【００２２】
第１５の態様は第１コンピューティングデバイスであって、表示デバイスと、シーンカメラと、注視追跡デバイスと、メモリと、一つもしくは複数のプロセッサと、前記メモリに保存され、一つもしくは複数の前記プロセッサによって実行されるように構成されている一つもしくは複数のプログラムと、を含み、前記一つもしくは複数のプログラムは、前記シーンカメラから画像を取得し表示する第１ユーザコマンドを受信し、表示された前記画像の注釈を生成する第２ユーザコマンドを受信し、前記第２ユーザコマンドに応答して、表示された前記画像のユーザの注視を推定する第１注視点を前記注視追跡デバイスから受信し、前記表示デバイスで、前記第１注視点の近くの画像に注釈アンカーを表示する、命令を含む。
【００２３】
第１６の態様は、第１５の態様の第１コンピューティングデバイスであって、前記ユーザから音声注釈を受け取り、前記注釈アンカーと前記音声注釈とを関連付ける、命令をさらに含む。
【００２４】
第１７の態様は、第１６の態様の第１コンピューティングデバイスであって、一つもしくは複数の前記プログラムは、前記画像、前記音声注釈、前記注釈アンカーとしての前記第１注視点、及び、一もしくは複数のユーザによる以降のアクセスのために構成されているオブジェクトとしての直示的注視マーカを保存し、一もしくは複数の第２ユーザと前記オブジェクトを共有する、命令をさらに含む。
【００２５】
第１８の態様は、第１６の態様の第１コンピューティングデバイスであって、一つもしくは複数の前記プログラムは、第２コンピューティングデバイスは第２表示デバイス及び第２注視追跡デバイスを含み、前記第２ユーザの１人の第２コンピューティングデバイスが、前記オブジェクトにアクセスし、前記画像及び前記注釈アンカーを表示し、前記注釈マーカの近くに表示されている前記画像に前記第２ユーザの第２注視点を検出し、前記音声注釈及び直示的注視マーカを取り出し、表示されている前記画像に、前記音声注釈を再生している間、前記画像の前記コンテキストの前記直示的注視マーカを表示する、命令をさらに含む。
【００２６】
第１９の態様は、第１６〜第１８の何れかの態様の第１コンピューティングデバイスであって、前記ユーザから音声注釈を受け取ることは、自動音声認識を用いて前記音声注釈を解釈し、前記音声注釈をユーザが声に出している間、収集された注視点セットを受信し、解釈された前記音声注釈から、注視点の直示的参照を示すキーワードを識別し、注視点セットの最もよく適合する注視点と前記キーワードとを並べ、前記直示的参照の可視情報として直示的注視マーカを表示する、ことを含む。
【００２７】
第２０の態様は、第１５〜第１９の何れかの態様の第１コンピューティングデバイスであって、前記シーンカメラデバイスは頭部に装着され、前記シーンカメラデバイスの位置及び向きを含む画像情報を収集するための加速度計、ジャイロスコープ、もしくはＧＰＳの少なくとも１つを含む。
【００２８】
第２１の態様は、第１５〜第２０の何れかの態様の第１コンピューティングデバイスであって、前記注視追跡デバイスはアイカメラ及び前記アイカメラに接続されている注視コンピューティングデバイスを含み、前記アイカメラは前記ユーザの目の目画像ストリームを取得し、前記注視コンピューティングデバイスは、前記アイカメラによって取得された前記目画像ストリームを受信し、対応する注視点を計算するために注視推定を行う。
【００２９】
第２２の態様は、第１８の態様の第１コンピューティングデバイスであって、前記第２ユーザは第１ユーザとは異なるユーザであり、前記第２コンピューティングデバイスは前記第１コンピューティングデバイスと区別可能である。
【発明の効果】
【００３０】
本発明は、注釈を生成するためにウェアラブルコンピューティングデバイスを使用する自然な指示機構を提供する。
【図面の簡単な説明】
【００３１】
【図１】実装のいくつかによる注視注釈システムを例示するブロック図である。
【図２】実装のいくつかによる注視注釈システムの様々な構成要素及び構成要素間の通信を例示するブロック図である。
【図３】実装のいくつかによる注視注釈のクライアントデバイスを例示するブロック図である。
【図４】実装のいくつかによる注視追跡デバイスを例示する。
【図５】実装のいくつかによるサーバシステムを例示する。
【図６】実装のいくつかによる注視注釈を生成するインタラクションのフローチャートを例示する。
【図７】実装のいくつかによる注視注釈を生成するインタラクションのフローチャートを例示する。
【図８】実装のいくつかによる直示的注視ジェスチャの可視情報による注視注釈の生成を例示する。
【図９】実装のいくつかによる取得した写真の直示的注視ジェスチャを検出することによって注視注釈を生成するフローチャートを例示する。
【図１０】実装のいくつかによる直示的注視ジェスチャを検出することによって現実シーンの注視注釈を生成するフローチャートを例示する。
【図１１】実装のいくつかによる注視注釈を付した視界の共有を例示する。
【図１２Ａ】実装のいくつかによる画像のための注視注釈方法のフローチャートを例示する。
【図１２Ｂ】実装のいくつかによる画像のための注視注釈方法のフローチャートを例示する。
【図１２Ｃ】実装のいくつかによる画像のための注視注釈方法のフローチャートを例示する。
【図１３Ａ】実装のいくつかによる現実シーンのための注視注釈方法のフローチャートを例示する。
【図１３Ｂ】実装のいくつかによる現実シーンのための注視注釈方法のフローチャートを例示する。
【図１３Ｃ】実装のいくつかによる現実シーンのための注視注釈方法のフローチャートを例示する。
【発明を実施するための形態】
【００３２】
通信の間、画像を使用する情報通信は重要であり得る。これらのシチュエーションで、通信において、他の参加者に画像の中のものを示すことが可能であれば、通信は容易になり得る。本開示は、直示的な注視ジェスチャを用いて、画像化された視界の異なる領域に注釈を付加する被侵入型で容易な方法を提供することを目的とする。実装のいくつかにおいて、視界は、写真もしくはビデオ、もしくは位置検出センサを用いた位置として取得される。注釈を生成する場合、現実でも取得した画像でも、ユーザは視界の異なる点を見て、注釈を声に出す。（取得した、もしくは現実の）シーンを見て声を出している間、実装のいくつかによれば、注視注釈システムは、注視位置を記録し、「ここ」、「そこ」、「これ」などの直示的キーワードの音声を分析する。ここで使用される直示的キーワードは、「これ」、「あれ」、「ここ」、「そこ」などの直示的ワードを含む表現として定義され、ユーザが声を出すときにユーザが位置する環境のオブジェクトを参照する。直示的キーワードが音声で検出された場合、関連する注視は現実の位置参照としてもしくは写真の位置として使用される。注釈が付加されると、可視注釈アンカーが取得されたシーンに挿入され、リモートユーザはアンカーを見ることにより注釈にアクセスすることができる。
【００３３】
本開示は、シーンへの注釈を生成し、シーンへの注釈を強化する注視を共有するシステムについて説明する。ユーザは、自然に動作することにより注視注釈を生成する。シーンは、現実であってもよいし、取得されたビデオであってもよいし、写真であってもよい。実装のいくつかにおいて、頭部装着システムはシーンを取得し、及び／もしくは注釈を付加するために使用される。実装のいくつかにおいて、頭部装着システムは、１）ビデオ及び写真を記録する前面シーンカメラ、２）取得した写真もしくは記録したビデオを表示する表示デバイス、３）ユーザの注視を追跡するための視線追跡カメラ、及び、４）コンピュータ処理及び通信機能、を含む。視線追跡カメラから受信した注視データから、注視点を計算する。実装のいくつかにおいて、注視点は、特定の時点での単一注視データ点から推定される。他の実装において、注視点は、検出された凝視の注視点ストリームから推定される。実装のいくつかにおいて、システムは、音声を構成ワードに変換するために自動音声認識（ＡＳＲ）を利用する。システムは、シーンの位置を判定する加速度計及び様々な位置検出デバイスを含んでいてもよい。実装のいくつかにおいて、注釈を付加された画像は同様の頭部装着システムの他のユーザと共有され得る。実装のいくつかにおいて、注釈を付加された画像は他のユーザと共有され得る。
【００３４】
注釈を生成する従来の技術は、頭部装着表示デバイスの注視追跡を用いて注釈を生成し、共有するために注視を用いることに着目していない。
【００３５】
様々な実装を詳細に参照する。実装の例は図を伴って例示される。また、同様の構成要素は同様の参照符号で参照される。以下の詳細な説明において、本発明及び実装を理解できるように、特定の詳細を多く記載する。しかしながら、本発明は、これらの特定の詳細がなくても実施可能である。また、よく知られた方法、プロシージャ、構成要素及び回路は、実装の態様を不必要に曖昧にしないように、詳細には記載しない。
【００３６】
図１は、いくつかの実装による注視注釈システム１００を例示する。注視注釈システム１００は、複数のコンピューティングデバイス１０６を含む。コンピューティングデバイス１０６の各々は、注視追跡デバイス１０８及びシーンカメラ、サーバまたはサーバシステム１２０及び一つもしくは複数の通信ネットワーク１２８と接続されている。図１は、破線によって分離されている２つの異なる領域を示す。破線の上の領域は、「ローカル」と呼ばれ、リモートユーザによって閲覧及び消費され、リモートユーザとインタラクションする画像及び情報を提供するために一人もしくは複数のローカルユーザ１０２によって使用され、及び／もしくは制御されるデバイスを含む。実装のいくつかにおいて、破線の下の領域は、「リモート」と呼ばれ、ローカルユーザ１０２及び／もしくはデバイスによって提供される画像及び他の情報を閲覧、消費するために、または、それらの画像及び他の情報とインタラクションするために、一人もしくは複数のリモートユーザ１１２によって使用され及び／もしくは制御されるデバイスを含む。
【００３７】
通信ネットワーク１２８は、イントラネット、エクストラネットもしくはインターネットなどの有線または無線のＬＡＮ（local area network）及び／もしくはＷＡＮ（wide area network）であってよい。通信ネットワーク１２８は、サーバシステム１２０、注視追跡デバイス１０８、及びコンピューティングデバイス１０６の間の十分な通信機能を提供する。
【００３８】
注視注釈システム１００において、環境１０１のユーザ１０２（ローカルユーザ）はローカル環境１０１を閲覧することができる（例えば、図示しないローカル環境１０１のオブジェクトを閲覧する）。ローカル環境１０１から離れた位置に存在するユーザ１１２（リモートユーザ）は、ローカルユーザ１０２及びローカル環境１０１に近い位置に存在するコンピューティングデバイス１０６−１を介して、ローカル環境１０１を閲覧することができる。ローカルコンピューティングデバイス１０６−１は、リモートコンピューティングデバイス１０６−２に対して、ローカル環境１０１の視界に対応する画像データを出力する。リモートコンピューティングデバイス１０６−２（リモートデバイス）はリモートユーザ１１２（及びローカル環境１０１、ローカルユーザ１０２及びコンピューティングデバイス１０６−１から離れて存在する）の近くに存在する。
【００３９】
ローカルユーザ１０２は視界１０４（例えば、ローカルユーザの目）をもち、コンピューティングデバイス１０６−１は視界をもつ。実装のいくつかにおいて、コンピューティングデバイス１０６−１はローカルユーザによって装着され、または保持される。これにより、ローカルユーザ１０２及びコンピューティングデバイス１０６−１のシーンカメラの視界は重なり、同一の方向に向く。例えば、コンピューティングデバイス１０６−１はローカルユーザ１０２の頭部に装着される。これらの実装において、コンピューティングデバイス１０６の絶対的な位置はローカルユーザ１０２の移動に従って移動するが、コンピューティングデバイス１０６とシーンカメラのローカルユーザ１０２に対する距離は変化しない。ローカルユーザ１０２に対する距離を同一に維持する他の方法も存在する（例えば、カートもしくは他のローカルユーザ１０２によって推進される車輪付きプラットフォーム）。
【００４０】
実装のいくつかにおいて、コンピューティングデバイス１０６は表示デバイス及び一つもしくは複数の入力デバイスを含む（例えば、表示デバイス及び一つもしくは複数の入力デバイスに接続されている）。コンピューティングデバイス１０６は、ユーザに対して表示するために表示デバイスに、画像データに対応するシーンカメラで撮影された画像（ビデオを含む）を、コンピューティングデバイス１０６から出力する。ユーザは、コンピューティングデバイス１０６を操作するコマンドを入力するために入力デバイスを使用する。コンピューティングデバイス１０６は、サーバ１２０及びネットワーク１２８を介して他のコンピューティングデバイス１０６と通信する。
【００４１】
実装のいくつかにおいて、コンピューティングデバイス１０６−１はシーンを記録するための前面カメラを含む。シーンは現実のシーンであってもよいし、取得された画像（ビデオもしくは写真を含む）であってもよい。コンピューティングデバイス１０６−１の表示デバイスは取得した画像を表示することができる。注視追跡デバイス１０８は、現実のシーンもしくは取得した画像へのユーザの注視を追跡し、注視情報を（例えば、画像ストリームとして）記録する。注視情報は、注視追跡デバイス１０８、コンピューティングデバイス１０６−１、及び／もしくはサーバ１２０によって処理される。注視情報に加えて、音声入力がコンピューティングデバイス１０６によって受信されてもよい。実装のいくつかにおいて、音声入力はＡＳＲを用いて解釈されてもよいし、シーンを表す画像データと共に注釈の部分として記憶されてもよい。画像データ及び注釈データは、サーバ１２０及びネットワーク１２８を介してリモートデバイス１０６−２と共有される。
【００４２】
画像及び注釈情報がリモートコンピューティングデバイス１０６−２によって受信されると、取得された画像及び注釈はリモートデバイス１０６−２に表示される。リモートコンピューティングデバイス１０６−２を用いて、リモートユーザ１１２は、注釈アンカーを凝視することにより注釈にアクセスする。注視追跡デバイス１０８−２はリモートユーザ１１２による注視点を検出し、コンピューティングデバイス１０６−２に注視位置を伝送する。コンピューティングデバイス１０６−２は、注視点に最も近い注釈アンカーを検出する。注釈はコンピューティングデバイス１０６−２で再生される。
【００４３】
図１は、１つのコンピューティングデバイスとしてサーバ１２０を例示するが、サーバ１２０は、注釈を注視するための一つもしくは複数のコンピューティングデバイスを含んでいてもよい。例えば、図２に示されるように、実装のいくつかにおいて、サーバ１２０は一つもしくは複数のメッセージングサーバ及び一つもしくは複数の注視追跡サーバを含む。メッセージングサーバはローカルコンピューティングデバイス及びリモートコンピューティングデバイス１０６の間の通信を容易にする。実装のいくつかにおいて、注視追跡サーバは、広範囲にわたるリソースを必要とする注視追跡タスクを実行することができる。その結果、コンピューティングデバイス１０６及び／もしくは注視追跡デバイス１０８によって実行する場合、コンピューティングデバイス１０６及び／もしくは注視追跡デバイス１０８の負担が増大する。
【００４４】
図２は実装のいくつかによる注視注釈システム２００を例示する。例示的な注視注釈システム２００は、ローカルユーザ１０２によって装着されるローカルコンピューティングデバイス１０６−１（例えば、グーグルグラスもしくは他の頭部装着表示デバイスを有する電子デバイス）及び複数のリモートユーザによって装着される複数のリモートコンピューティングデバイス１０６−２（例えば、複数のグーグルグラス）を含む。ローカルコンピューティングデバイス１０６−１及びリモートコンピューティングデバイス１０６−２はネットワーク１２８を介してメッセージングサーバ２０５に接続される。実装のいくつかにおいて、注視追跡デバイス１０８はアイカメラ２１０、及びアイカメラ２１０とは別個のコンピューティングデバイス２２０を含む。実装のいくつかにおいて、別個のコンピューティングデバイス２２０は注視に注釈を付与する間注視推定タスクを実行することができる。注視推定を実行するために別個のコンピューティングデバイス２２０を用いることは、コンピューティングデバイス１０６のいくつかのインスタンスの制限された処理能力及び電池寿命を調節する（例えば、現行の装着可能なデバイスは、比較的制限された電池容量を有する）。実装のいくつかにおいて、メッセージングサーバ２０５及び注視追跡サーバ２２０はサーバ１２０の部分である。
【００４５】
注視に注釈を付与する間、実装のいくつかにおいて、アイカメラ２１０及び（図示されない）光源がコンピューティングデバイス１０６（例えば、グーグルグラスもしくは他の装着可能なデバイス）に付着されていてもよい。赤外光源は視線追跡によい状態を生成するために目に照射され得る。アイカメラ２１０によって取得された画像は注視追跡アプリケーション（例えば、Ｈａｙｔｈａｍ注視追跡オープンソース）を稼働するコンピューティングデバイス２２０（例えば、サーバ１２０の部分）にストリーミングされる。ネットワーク１２８を介したアイカメラ２１０及びコンピューティングデバイス２２０の間の通信は有線であってもよいし、無線であってもよい（例えば、図２に示されるように、ＷｉＦｉを介して、または、図２には示されないが、ＵＳＢ有線接続を介して、注視データ較正イベントを送信する。）。
【００４６】
実装のいくつかにおいて、注視追跡は瞳孔及び角膜の反射を用いて行われ、事前に４点較正を行うことを必要とする。実装のいくつかにおいて、校正には任意の数の点を用いることができる。較正の間、ユーザは一度に一点を見ることを求められる。実装のいくつかにおいて、アイカメラ２１０は較正の間データを収集し、実際の較正点にユーザの推定注視点をマッピングするためにホモグラフィーを用いる。注視マッピング機能は、ホモグラフィーを用いて推定される。コンピューティングデバイス２２０で注視が推定されると、注視データはコンピューティングデバイス１０６（例えば、グーグルグラス）に送信される。実装のいくつかにおいて、コンピューティングデバイス２２０はストリーミングされた画像上で注視推定を実行し、コンピューティングデバイス１０６で稼働するバックグラウンドアプリケーションに推定注視位置を伝送する。コンピューティングデバイス１０６（例えば、グーグルグラス）で稼働するバックグラウンドアプリケーションは、注視データを受信し、コンピューティングデバイス１０６で稼働する異なるアプリケーションと注視追跡デバイス１０８とを通信させる。
【００４７】
ローカルコンピューティングデバイス１０６−１で注視注釈が生成されると、メッセージングサーバ２０５は、リモートユーザによって装着されたリモートコンピューティングデバイス１０６−２（例えば、他のグーグルグラス）との注視注釈の共有を調整することができる。例えば、実装のいくつかにおいて、注視注釈の共有は、クラウドノードで稼動するシンプルなマルチメディアメッセージングサービスを用いて実装される。マルチメディアメッセージングサービスはメディア及び関連付けられているメタデータをデバイスに投稿させ、または検索させる。メッセージはバイナリコンポーネントまたは任意の長さの文字列を含むことができる。メッセージは任意のメディアタイプであってよい。ユーザは実装のいくつかによるユーザ定義プロトコルでメタデータを送信するためにメッセージを用いることができる。
【００４８】
図３は、実装のいくつかによるコンピューティングデバイス１０６を例示するブロック図である。コンピューティングデバイス１０６は一つもしくは複数の処理ユニット（ＣＰＵ）３０２、一つもしくは複数のネットワークもしくは他の通信インターフェイス３１０、メモリ３０６、画像取得デバイス３０８、一つもしくは複数のセンサ３１２、及び、実装のいくつかによるこれらの構成要素を相互に接続する一つもしくは複数の通信バス３０４を含む。通信バス３０４はシステム構成要素間を相互に接続し、システム構成要素間の通信を制御する回路（チップセットとも呼ぶ）を含んでいてもよい。実装のいくつかにおいて、センサ３１２は加速度計、ジャイロスコープ及び磁力計の一つもしくは複数を含む。実装のいくつかにおいて、画像取得デバイス３０８は、画像取得デバイス３０８の地理的位置を判定する位置検出デバイス（例えば、ＧＰＳレシーバ）を含む。実装のいくつかにおいて、コンピューティングデバイス１０６は音声出力デバイス（例えば、図示しないスピーカ、ヘッドフォン）及び／もしくは音声入力デバイス３２４（例えば、マイクロフォン）を含んでいてもよい。実装のいくつかにおいて、コンピューティングデバイス１０６は表示デバイス３４６及び一つもしくは複数の入力デバイス３４４を含むユーザインターフェイス３４２を含む。実装のいくつかにおいて、入力デバイス３４４は、キーボード、マウス、タッチセンシティブ面（例えば、トラックパッド、タッチセンシティブディスプレイ）、ジョイスティック、及びトラックボール）の一つもしくは複数を含む。
【００４９】
メモリ３０６は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ  ＲＡＭもしくは他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。また、メモリ３０６は、一つもしくは複数の磁気ディスクストレージデバイス、光ディスクストレージデバイス、フラッシュメモリデバイス、もしくは他の不揮発性ソリッドステートストレージデバイスなどの不揮発性メモリを含んでもよい。メモリ３０６は、ＣＰＵ３０２から離して配置されている一つもしくは複数のストレージデバイスを含んでいてもよい。メモリ３０６、もしくは、代替的に、メモリ３０６内の不揮発性メモリデバイス、は、非一時的コンピュータ可読ストレージ媒体を含む。実装のいくつかにおいて、メモリ３０６もしくはメモリ３０６のコンピュータ可読ストレージ媒体は以下のプログラム、モジュール及びデータ構造もしくは、プログラム、モジュール及びデータ構造のサブセットを記憶する。プログラム、モジュール及びデータ構造は、オペレーティングシステム３１４、ネットワーク通信モジュール３１６、カメラモジュール３１８、センサモジュール３２０、ユーザインターフェイスモジュール３２２、視界表示モジュール３２４、注釈モジュール３２６、及びＡＳＲモジュール３２８などを含む。
【００５０】
オペレーティングシステム３１４は様々な基本システムサービスを扱うための、また、ハードウェア依存タスクを実行するためのプロシージャを含む。
【００５１】
通信モジュール３１６は他のデバイス（例えば、注視追跡デバイス１０８）、コンピュータ（例えば、サーバ１２０）及びシステムとの一つもしくは複数の通信ネットワークインターネット３１０を介した通信（有線もしくは無線）を容易にする。通信モジュール３１６は、ＷｉＦｉモジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール及び／もしくは光ファイバ通信などの任意の可能な方法を用いて実装することができる。
【００５２】
カメラモジュール３１８は画像取得デバイス３０８を用いて画像（例えば、写真及び／もしくはビデオ）を取得し、取得した画像を画像データに符号化し、表示デバイス３４６に画像データを表示し、リモートコンピューティングデバイスに表示するために、ネットワーク通信モジュール３１６を介して、サーバシステム１２０に画像データを送信する。
【００５３】
センサモジュール３２０はセンサ３１２の読み取りを取得し、読み取りをセンサデータに処理し、センサデータをサーバシステム１２０に送信する。
【００５４】
ユーザインターフェイスモジュール３２２は入力デバイス３４４及び／もしくは音声入力デバイス３２４で受信したユーザ入力を処理し、オペレーション（注視注釈の記録、再生、編集など）を実行するようコンピューティングデバイス１０６に指示する。ユーザインターフェイスモジュール３２２は、リモートコンピューティングデバイスから（サーバシステム１２０を介して）制御信号を受信し、制御信号によるオペレーションを実行するようにコンピューティングデバイス１０６に指示する。
【００５５】
視界表示モジュール３２４はデータ（例えば、画像取得デバイス３０８及びセンサデバイス３１２から出力されるセンサデータ、注釈モジュール３２６から受信される注釈データ、もしくは、コンピューティングデバイス１０６から出力されるデータによって生成されるサーバ１２０から出力される可視データ）を受信し、データを処理し、表示デバイス３４６に視界及び注釈の可視情報としてデータを表示する。視界表示モジュール３２４はコンピューティングデバイス１０６への命令を発行するユーザインターフェイスを表示する。また、視界表示モジュール３２４は表示された可視情報とインタラクションしてもよい。
【００５６】
注釈モジュール３２６は注視注釈を取得し、注釈アンカーを生成し、直示的注視マーカと注釈とを関連付け、視界表示モジュール３２４を介して表示デバイス３４６に注釈情報を送信する。
【００５７】
自動音声認識（ＡＳＲ）モジュール３２８は、音声入力デバイス３２４から音声入力を受信し、音声入力を取得し、直示的注視ジェスチャが認識されるように、音声入力を分析し、注釈として抽出し、画像取得デバイス３０８によって取得された画像と並べる。
【００５８】
モジュールに加えて、メモリ３０６はクライアント側データ３３０も記憶する。実装のいくつかにおいて、クライアント側データ３３０は注視注釈データ３３２を含む。注視注釈データ３３２はオブジェクト（例えば、Ｊｓｏｎ（JavaScript（登録商標） Object Notation）オブジェクト）であってよく、実装のいくつかによる注釈のために取得された画像、注視点、注釈アンカー、直示的注視マーカ及び音声注釈を含む。
【００５９】
上記識別された要素は上記メモリデバイスの一つもしくは複数に記憶されてもよい。また、モジュールもしくはプログラムの各々は上記機能を実行するための命令セットに対応する。命令セットは一つもしくは複数のプロセッサ（例えば、ＣＰＵ３０２）によって実行され得る。上記識別されたモジュールもしくはプログラム（即ち、命令セット）は別個のソフトウェアプログラム、プロシージャ、もしくはモジュールとして実装される必要はない。これらのモジュールの様々なサブセットは様々な実装において組み合わされ、再配置され得る。実装のいくつかにおいて、メモリ３０６は上記モジュール及びデータ構造のサブセットを記憶してもよい。さらに、メモリ３０６は上記されていない追加的なモジュール及びデータ構造を記憶してもよい。
【００６０】
図３は注視注釈を生成し、及び／もしくは共有するコンピューティングデバイス１０６を例示する。図３は、ここで説明する実装の構造的な概要ではなく、コンピューティングデバイスに存在する様々な特徴の機能を説明することを意図している。実用的には、別個に示されたアイテムは結合されてもよいし、アイテムのいくつかは分割してもよい。
【００６１】
図４は、実装のいくつかによる注視追跡デバイス１０８を例示するブロック図である。注視追跡デバイス１０８は一つもしくは複数の処理ユニット（ＣＰＵ）４０２、一つもしくは複数のネットワークもしくは他の通信インターフェイス４１０、メモリ４０６、画像取得デバイス４０８、及び、実装のいくつかによるこれらの構成要素を相互に接続する一つもしくは複数の通信バス４０４を含む。通信バス４０４は、システム構成要素間を相互に接続する、または、システム構成要素間の通信を制御する回路（チップセットとも呼ぶ）を含んでいてもよい。注視追跡デバイス１０８はユーザインターフェイス４４２を含んでいてもよい。ユーザインターフェイス４４２は表示デバイス及び一つもしくは複数の入力デバイスを含むことができる。実装のいくつかにおいて、入力デバイスは、キーボード、マウス、タッチセンシティブ面（例えば、トラックパッド、タッチセンシティブディスプレイ）ジョイスティック、トラックボール及び／もしくは一つもしくは複数のボタンの一つもしくは複数を含む。  
【００６２】
メモリ４０６は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ  ＲＡＭもしくは他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。メモリ４０６は、一つもしくは複数の磁気ディスクストレージデバイス、光ディスクストレージデバイス、フラッシュメモリデバイス、もしくは他の不揮発性ソリッドステートストレージデバイスなどの不揮発性メモリを含んでいてもよい。メモリ４０６は、ＣＰＵ４０２と離して配置される一つもしくは複数のストレージデバイスを含んでいてもよい。メモリ４０６、もしくは代替的にメモリ４０６に含まれる不揮発性メモリデバイスは、非一時的コンピュータ可読ストレージ媒体を含む。実装のいくつかにおいて、メモリ４０６もしくはメモリ４０６のコンピュータ可読ストレージ媒体は、以下のプログラム、モジュール及びデータ構造もしくはプログラム、モジュール及びデータ構造のサブセットを記憶する。プログラム、モジュール及びデータ構造は、オペレーティングシステム４１２、通信モジュール４１４、アイカメラモジュール４１６、注視推定モジュール４１８、ユーザインターフェイスモジュール４２０、及び、注視追跡データ４２２などを含む。
【００６３】
オペレーティングシステム４１２は様々な基本システムサービスを取り扱うための、または、ハードウェア依存タスクを実行するためのプロシージャを含む。
【００６４】
通信モジュール４１４は他のデバイス（例えば、コンピューティングデバイス１０６）、コンピュータ（例えば、サーバ１２０）、及びシステムとの、一つもしくは複数の通信ネットワークインターフェイス４１０、及び、インターネット、他のＷＡＮ（wide area network）、ＬＡＮ（local area network）、メトロポリタンエリアネットワークなどの一つもしくは複数の通信ネットワークを介した通信（有線もしくは無線）を容易にする。通信モジュール４１４はＷｉＦｉモジュール、Ｂｌｕｅｔｏｏｔｈ通信、及び／もしくは光ファイバ通信などの任意の可能な方法を用いて実装されてもよい。
【００６５】
アイカメラモジュール４１６は、画像取得デバイス４０８を用いて、ユーザの目の画像を取得し、取得した画像を目画像データに符号化し、通信モジュール４１４を介して、注視に注釈を付するためにコンピューティングデバイス１０６に目画像データをストリーミング送信する。
【００６６】
注視推定モジュール４１８は、画像取得デバイス４０８からストリーミング送信された目画像データに注視推定を実行し、通信モジュール４１４を介して、コンピューティングデバイス１０６に推定注視位置を伝送する。
【００６７】
ユーザインターフェイスモジュール４２０は、ユーザインターフェイス４４２を介して受信したユーザ入力を処理し、オペレーションを実行するよう注視追跡デバイス１０８に指示する。ユーザインターフェイスモジュール４２０は他のコンピューティングデバイス（例えば、コンピューティングデバイス１０６）から制御信号を受信し、制御信号にしたがってオペレーションを実行するように注視追跡デバイス１０８に指示する。
【００６８】
実装のいくつかにおいて、注視追跡データ４２２は画像取得デバイス４０８及び／もしくは推定注視位置から受信した目画像を記憶する。
【００６９】
上記識別された構成要素の各々は上記メモリデバイスの一つもしくは複数に記憶されてもよい。また、モジュールもしくはプログラムの各々は上記機能を実行する命令セットに対応する。命令セットは一つもしくは複数のプロセッサ（例えば、ＣＰＵ４０２）によって実行されてもよい。上記モジュールもしくはプログラム（即ち、命令セット）は別個のソフトウェアプログラム、プロシージャ、もしくはモジュールとして実装される必要はない。これらのモジュールの様々なサブセットは、様々な実装において結合されてもよいし、再配置されてもよい。実装のいくつかにおいて、メモリ４０６は上記モジュール及びデータ構造のサブセットを記憶してもよい。また、メモリ４０６は上記されていない追加的なモジュール及びデータ構造を記憶してもよい。
【００７０】
図４は、注視点を推定する注視追跡デバイス１０８を例示する。図４は、ここで説明する実装の構造的な概要ではなく、コンピューティングデバイスに存在し得る様々な特徴の機能を説明することを意図している。実用的には、別個に示されているアイテムは結合されてもよいし、アイテムのいくつかは分割されてもよい。
【００７１】
図５は、実装のいくつかによるサーバシステム１２０を例示するブロック図である。サーバシステム１２０は、一つもしくは複数の処理ユニット（ＣＰＵ）５１２、一つもしくは複数のネットワークインターフェイス５０４（例えば、一つもしくは複数のコンピューティングデバイス１０６へのＩ／Ｏインターフェイス及び一つもしくは複数の注視追跡デバイス１０８へのＩ／Ｏインターフェイス）、一つもしくは複数のメモリユニット５０６、及びこれらの構成要素を相互に接続するための一つもしくは複数の通信バス５０８（例えば、チップセット）を含んでいてもよい。
【００７２】
メモリ５０６は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ  ＲＡＭもしくは他のランダムアクセスソリッドメモリデバイスなどの高速ランダムアクセスメモリを含む。メモリ５０６は、また、一つもしくは複数の磁気ディスクストレージデバイス、一つもしくは複数の光ディスクストレージデバイス、一つもしくは複数のフラッシュメモリデバイス、一つもしくは複数の他の不揮発性ソリッドステートストレージデバイスなどの不揮発性メモリを含んでもよい。メモリ５０６は、一つもしくは複数の処理ユニット５１２から離して配置された一つもしくは複数のストレージデバイスを含んでいてもよい。メモリ５０６、もしくは代替的にメモリ５０６に含まれる不揮発性メモリは、非一時的コンピュータ可読ストレージ媒体を含む。実装のいくつかにおいて、メモリ５０６もしくはメモリ５０６の非一時的コンピュータ可読ストレージ媒体は、以下のプログラム、モジュール、データ構造もしくは、プログラム、モジュール、データ構造のサブセットもしくはスーパーセットを記憶する。
●オペレーティングシステム５１６。オペレーティングシステム５１６は様々な基本システムサービスを取り扱うための、また、ハードウェア依存タスクを実行するためのプロシージャを含む。
●ネットワーク通信モジュール５１８。ネットワーク通信モジュール５１８は、一つもしくは複数のネットワークインターフェイス５０４を介して、一つもしくは複数のネットワーク１２８に接続されている他のコンピューティングデバイス（例えば、コンピューティングデバイス１０６及び／もしくは注視追跡デバイス１０８）にサーバシステム１２０を（有線もしくは無線で）接続する。
●制御モジュール５２０。制御モジュール５２０は、サーバ側データ処理（例えば、ユーザアカウント検証、データ送受信、インスタントメッセージング、及び、ソーシャルネットワークサービスなど）を提供する。
●視界データモジュール５２２。視界データモジュール５２２は可視データを生成するためにコンピューティングデバイス１０６から受信したデータを処理し、表示するために、可視データをコンピューティングデバイス１０６に送信する。
○注視推定モジュール５２４。注視推定モジュール５２４は注視追跡デバイス１０８からストリーミングで受信した目画像データに注視推定を実行し、ネットワーク通信モジュール５１８を介して、コンピューティングデバイス１０６に推定した注視点を伝送する。
●サーバ側データ５２６。サーバ側データ５２６は、処理のために、制御モジュール５２０によって使用されるデータを記憶する。
○注視追跡データ５２８。注視追跡データ５２８は画像取得デバイス４０８から受信される目画像及び／もしくは推定された注視位置を記憶する。
○注視注釈データ５３０。注視注釈データ５３０は注釈のために取得された画像、注視点、注釈アンカー及び直示的注視マーカ及び音声注釈を含むオブジェクト（例えば、Ｊｓｏｎオブジェクト）として注視注釈データを記憶する。
【００７３】
上記構成要素の各々は上記メモリデバイスの一つもしくは複数に記憶されてもよい。モジュールもしくはプログラムの各々は上記機能を実行するための命令セットに対応する。命令セットは一つもしくは複数のプロセッサ（例えば、ＣＰＵ５１２）によって実行されてもよい。上記モジュールもしくはプログラム（即ち、命令セット）は別個のソフトウェアプログラム、プロシージャ、もしくはモジュールとして実装される必要はない。これらのモジュールの様々なサブセットは様々な実装において結合され、再配置されてもよい。実装のいくつかにおいて、メモリ５０６は上記モジュール及びデータ構造のサブセットを記憶してもよい。また、メモリ５０６は上記されていない追加的なモジュール及びデータ構造を記憶してもよい。
【００７４】
図５はサーバ１２０を例示するが、図５は、ここで説明する実装の構造的な概要ではなくコンピューティングデバイスに存在し得る様々な特徴の機能を説明することを意図している。実用的には、別個に示されているアイテムは結合されてもよいし、アイテムのいくつかは分割されてもよい。
【００７５】
実装のいくつかにおいて、図１〜図５に例示される注視注釈システムは画像及び現実のシーンの双方に注釈を付与するために使用可能である。上記したように、注釈を生成する場合、現実のシーンもしくは画像において、ユーザは自身の視界の異なる点を見て、注釈を声に出す。図６及び図７は実装のいくつかによる取得画像内の注視注釈の生成を例示する。図８は、注視追跡デバイス１０８によって取得される直示的注視ジェスチャの可視情報及び注視注釈の間に行われる音声認識を例示する。図９及び図１０は、直示的注視ジェスチャを用いることによる、取得された画像及び現実のシーンの各々での直示的注視注釈の生成を例示する。図１１は、注視注釈を生成した後、注視注釈が付された視界の共有を例示する。
【００７６】
図６で、実装のいくつかにおいて、注釈が付与された単一の画像を生成する場合、図１に例示されるローカルデバイス１０６−１に含まれるシーンカメラを用いて、ユーザは、ユーザの視界１０４の写真を、まず、撮影する（６０２）。ローカルコンピューティングデバイス１０６−１によって取得された視界は、ローカルコンピューティングデバイス１０６−１の表示デバイスに表示されてもよい。ユーザは、表示された画像の関心点を見ることにより、注釈を付与する場所を決定し、注釈を声に出す（６０４）。注視位置及び発話内容の双方が取得され、注釈に使用される。注釈画像は共有される（６０６）。
【００７７】
図７にさらに示すように、注視注釈を生成する間、ローカルコンピューティングデバイス１０６−１の表示デバイスに取得した視界を表示することにより、注視注釈システム１００が取得した画像にユーザの注視を重畳することが可能となる。これにより、ユーザは、注視アンカーが配置される場所を、注視注釈が生成される前に見ることができる。例えば、シーンに注釈を付与するために、ユーザは、新しい注釈の付与を開始するようにローカルデバイス１０６−１に指示する。指示（例えば、グーグルグラスへの音声コマンド）がローカルデバイス１０６−１によって受信される場合、ローカルデバイス１０６−１はシーンを取得し（７１０）、ユーザにシーンを表示する。ユーザは、画像の点を凝視することにより注釈を付加する場所を決定する。注視追跡デバイス１０８−１は注視点を検出し、コンピューティングデバイス１０６−１に注視点を伝送する。コンピューティングデバイス１０６−１は推定注視点を受信した場合、その位置を注釈のホットスポットとして使用する。ホットスポットは画像に挿入される注釈アンカーとして可視化される。アンカーは、注釈の存在及び位置をユーザに報知する。アンカーによってマークされる注視位置は表示された視界に重畳される。
【００７８】
表示において注視点を見ることによって、ユーザは、実装のいくつかによる注釈を付与することをローカルデバイス１０６−１に指示することができる（７１２）（例えば、グーグルグラスをタップする）。例えば、デバイス１０６−１が音声入力を待っていることを示すために、マイクロフォンスピーカを表示する新しい画面がユーザに表示され得る。例えば、注釈位置を示す丸付き数字１などの注釈アンカーは、指示を与える際に、ユーザが凝視した点に挿入される。実装のいくつかにおいて、ユーザの発話は取得されるか、もしくは記録され、メタデータとして取得された写真に添付される。取得された画像、注釈アンカー及び取得された音声入力は、共有のために、オブジェクト（例えば、Ｊｓｏｎオブジェクト）として記録されてもよい。
【００７９】
注視注釈を１つ生成した後、ユーザが他の点を見て、取得された同一の画像の他の注釈アンカーを示す他の注釈アンカー（例えば、丸付き数字２）によって表される他の注釈を追加するように、デバイス１０６−１に（例えば、グーグルグラスをタップすることにより）指示すると、上記と同様の処理が繰り返される。実装のいくつかにおいて、複数の注視注釈が近い位置に追加された場合、注釈アンカーは重複しないか、もしくは表示の視認が容易になるように調整されてもよい。
【００８０】
実装のいくつかにおいて、コンピューティングデバイス１０６の間で共有される注視注釈に直示的ジェスチャ分析が実行される。可視シーンを見て説明する場合、人々は声に出すものを見る傾向を有することを研究は示している。この自然な注視の振る舞いを直示的注視ジェスチャと呼ぶ。直示的注視ジェスチャは、「これ」、「ここ」、「そこ」などの直示的参照を声に出す間アイテムを見るのと同じくらいシンプルであり得る。この場合、直示的注視ジェスチャは指示ジェスチャである。しかしながら、直示的注視ジェスチャは関係などのより複雑な情報を搬送することができる。「木から家までのラインに沿って移動すれば」とのフレーズによれば、直示的注視ジェスチャは木及び家の間の暗示的基準線となる。直示的注視ジェスチャは注釈が付された画像に重畳される直示的注視マーカとして可視化される。
【００８１】
実装のいくつかにおいて、直示的注視ジェスチャは記録された発話及び目の動きから分析される。目の動きはアイカメラ（例えば、図２のアイカメラ２１０）によって記録され、発話は音声入力デバイス（例えば、音声入力デバイス３２４）によって記録される。音声はＡＳＲを用いて解釈される。直示的参照を示すキーワードが検出される場合、注視データは、時間によって、シンプルな場合、識別された直示的参照の順番によって、並べられ得る注視点について分析される。識別された直示的参照の各々は直示的注視マーカを用いて可視化される。次に、取得されたテキストもしくは音声信号は、２つの参照点の間の関係を示すキーワードを検出するために分析される。関係が存在するようであれば、関係を表わす可視情報が直示的注視マーカに付加される。可視注視マーカを含む注視注釈が再生される場合、全てのマーカは可視化され、もしくは、対応するキーワードが再生される場合、全てのマーカが示され得る。
【００８２】
図８は、取得された画像の直示的注視マーカの例を示す。図８（ａ）において、直示的注視ジェスチャは、シンプルな場合、指示ジェスチャであってよい。図８（ａ）に示されるシーンを説明する場合、ワード「この」は、発話「この曲線を見て、どのように繰り返されるか注意しなさい（“Notice this curve and see how it is repeated.”）」を分析する場合に検出される。直示的注視マーカ８０２は、シーンにおいて曲線を有する建物を検出するために時間及び／もしくは「この」の直示的参照の順番を用いて並べられ得る。実装のいくつかにおいて、取得されたテキストは可視情報の部分として表示され得る。例えば、図８（ａ）において、テキスト「この曲線を見て、どのように繰り返されるか参照しなさい」は、注釈が再生される場合、画像の注釈アンカー８０２に加えて、可視化され得る。
【００８３】
図８（ｂ）は、実装のいくつかによる、より複雑な直示的注視ジェスチャ可視情報を例示する。発話「こちらと比較してこの建物がどれくらい低いか見なさい（“See how much shorter this building is compared to this one”）」を分析する場合、複数のキーワード「この建物」及び「こちら」が検出され得る。注視点を並べた後、複数の直示的注視マーカ８０４及び８０６及び８０４と８０６との間にひかれた線は、直示的ジェスチャ及び２つの位置の間の関係を示すために表示される。実装のいくつかにおいて、可視情報の部分として、「こちらと比較してこの建物がどれくらい低いか参照しなさい」などの取得されたテキストは、注釈が再生された場合、画像の直示的注視マーカ８０４及び８０６に加えて、可視化され得る。
【００８４】
図８に示される直示的注視マーカは図７に示される注釈アンカーと同一ではない。図７に示されるように、注釈アンカーが表示される。これにより、ユーザは、取得されたシーンに注視注釈が存在することを知る。図８に示される直示的注視マーカは、より高い精度で伝えるために、注視情報で発話を強調することを狙っている。実装のいくつかにおいて、直示的注視マーカの可視外観は注釈マーカの外観と同一であるか、もしくは類似している。
【００８５】
図９及び図１０は、画像及び現実のシーンの各々に注釈を付する場合、直示的注視ジェスチャを含む注視注釈を生成する方法を例示する。図９は、実装のいくつかによる取得した画像の直示的注視ジェスチャを検出することにより注視注釈を生成する例示的なフロー９００を示す。実装のいくつかにおいて、シーンカメラ（例えば、画像取得デバイス３０８）、表示デバイス（例えば、表示デバイス３４６）及び注視追跡デバイス（例えば、注視追跡デバイス１０８）に接続されているコンピューティングデバイス（例えば、ローカルコンピューティングデバイス１０６−１）で、コンピューティングデバイスは、まず、シーンカメラから画像を受信し表示する。これにより、コンピューティングデバイスのユーザは画像を見ることができる。実装のいくつかにおいて、図７に示されるように、画像はビューファインダーでユーザに対して表示される。実装のいくつかにおいて、図２に示されるように、画像は表示デバイス３４６（例えば、グーグルグラス）に表示される。
【００８６】
ユーザに対して表示デバイスに画像を表示する場合、注視注釈デバイスはユーザの注視点を推定し（９０２）、音声入力デバイス（例えば、コンピューティングデバイス１０６の部分である音声入力デバイス）は音声入力を受信し、コンピューティングデバイスはＡＳＲ（９０６）及び直示的参照のためのキーワード検出（９０８）を実行する。発話検出（９０４）に応答して、注視追跡手段は継続する発話のために注視点のセットを記録する。実装のいくつかにおいて、コンピューティングデバイスはシーンカメラによって画像を取得し、取得した画像を表示する。識別したキーワード及び注視点は並べられ（９１０）、実装のいくつかにおいて、キーワードと注視点とを適合させるように、発話及び注視点の時間情報を用いて並べられ得る。識別された直示的注視ジェスチャは、図７及び図８に示されるように、直示的注視マーカとして可視化され得る（９１２）。実装のいくつかにおいて、図１１に例示されるように、生成された注視注釈A1, A2, …, Anはオブジェクト（例えば、Ｊｓｏｎオブジェクト）として記憶されてもよいし、サーバ１２０及びネットワーク１２８を介して他のユーザと共有されてもよい。
【００８７】
図１０は、実装のいくつかによる現実のシーンの直示的注視ジェスチャを含む注視注釈を生成する例示的フロー１０００を示す。実装のいくつかによる取得した画像の注視注釈の生成と同様に、カメラ（例えば、画像取得デバイス３０８）、表示デバイス（例えば、表示デバイス３４６）、注視追跡デバイス（例えば、注視追跡デバイス１０８）、及び位置検出デバイス（例えば、センサ３１２）に接続されているコンピューティングデバイス（例えば、ローカルコンピューティングデバイス１０６−１）で、コンピューティングデバイスは、まず、カメラから出力される画像を受信し表示する。これにより、ユーザは画像を見ることができる。実装のいくつかにおいて、図７に示されるように、画像はユーザに対してビューファインダーで表示される。実装のいくつかにおいて、図２に示されるように、画像は表示デバイス３４６（例えば、グーグルグラスのディスプレイ）に表示される。
【００８８】
しかしながら、図９のフローと異なり、注釈に使用されるシーンをまず取得し、コンピューティングデバイスの表示デバイスに表示する必要がない。広角カメラでさえ移動可能な人間の視界全体を取得できないため、現実の注視注釈のシナリオにおいて、注釈を生成するプロセスは異なる。新しいオブジェクトを参照する場合、人は頭部及び目をオブジェクトに向ける。現実のシーンの注視注釈を生成するために、ユーザは、取得した画像で注釈を生成する場合と同様の方法で振る舞う。即ち、関心を有するオブジェクトを見ながら注釈を声に出す。差異は、取得したシーンではなく現実のシーンをユーザが見ることである。注視追跡デバイスは現実のユーザの視界の注視点を推定し、現実のシーンのコンピューティングデバイスによって取得された画像の座標に注視点の座標を変換する。
【００８９】
現実のシーンのシナリオでのデータ取得段階において、アイカメラ（例えば、アイカメラ２１０）は目画像のストリームを記録する。注視追跡手段１００４（例えば、注視追跡手段２２０）は、検出し（１００９）、注視点が検出されたことを判定する（１００８）ために、目画像のストリームとして記録された（１０１２）目の動きから注視推定を実行する。目画像を取得することに加えて、コンピューティングデバイス１０６はビデオクリップもしくは一連の写真を取得し（１０１０）、発話された音声を記録する（１００５）。コンピューティングデバイス１０６はＡＳＲ（１００６）及びキーワード検出（１０１４）を直示的参照のために実行する。実装のいくつかにおいて、データは注視点及び直示的参照の相対的な共起を探すために、リアルタイムで分析され得る。注視点及び直示的参照の共起の存在に基づいて、コンピューティングデバイス１０６は注視点が検出されたか否か判定する（１０１５）。コンピューティングデバイス１０６は共起の不在によって注視点を検出しない場合、記録された発話は注釈を生成する（１０２０）ために使用され得る。一方、コンピューティングデバイスが注視点を検出した場合、注視点は、図９に関連して上記した通り、直示的参照に対応するキーワードによって並べられ（１０１６）、直示的マーカが生成される（１０１８）。生成された直示的注視マーカは図７及び図８に示されるように可視化され得る。
【００９０】
ここで使用されるように、「注視点」はユーザが所定の時間に見る場所の知識を含む。注視点は様々な方法を用いて計算され得る。凝視検出は様々な方法の１つであり得る。また、凝視検出は、注視追跡手段２２０からの単一の注視推定であってもよい。実装のいくつかにおいて、注視点は特定の時点で、単一の注視データ点から推定される。他の実装のいくつかにおいて、注視点は凝視が検出される注視データ点のストリームから推定される。
【００９１】
実装のいくつかにおいて、システムは加速度計及びジャイロスコープ（例えば、センサ３１２）からセンサデータを取得する。センサデータを取得した後、システムはユーザの向きが変化したか否か判定する（１００７）。ユーザの向きが変化し、及び／もしくは注視点が検出される度に、システムは画像を取得する（１０１０）。一方、向きを含むユーザの位置が変化しない場合、システムは既存の画像を使用する（１００３）。注釈を付す間に複数の画像が取得される場合、これらの画像は位置情報を用いて１つに纏められる（１０２２）。
【００９２】
センサ情報、取得した画像、識別したオブジェクト情報及び発話を結合することにより、注釈は生成され、画像は纏められる。注釈は、図７及び図８に示されるように、纏められた画像に配置される（１０２３）。注釈が付された画像が生成されると、図１１に示すように、他のユーザによって記憶され、アクセスされることが可能となる。
【００９３】
図１１は、実装のいくつかによる注視注釈を付した画像の共有を例示する。図１１に示されるように、ユーザＡはシーンを見て、そのシーンについて話す。注視注釈システムは、図６〜図１０に関連して上記したように、ユーザＡの発話と凝視点とを関連付ける。注視注釈画像及び／もしくはビデオをユーザＢと共有することが可能であり、ユーザＢは、リモートコンピューティングデバイスの表示デバイスを介して、ユーザＡの注釈表示を見ることができる。
【００９４】
図２に関連して説明したように、注視注釈を表すオブジェクトは生成の後記憶され得る。他のユーザはサーバ１２０を介してオブジェクトにアクセスすることができ、注釈アンカーを見ることによりリモートコンピューティングデバイス１０６−２で画像が見られる場合、注視注釈にアクセスすることができる。このアクションは、ＴＴＳ（text-to-speech）もしくはオリジナルの音声記録を用いて記録された注釈を再生する。注視注釈は、ユーザの各々がユニークなＩＤを有する場合、個人間で共有されてもよいし、ビデオ会議の間グループ間でリアルタイムに共有されてもよいし、注釈が取得されるときに同一の物理的空間内で共有されてもよい。この目的のために、図１１のユーザＡの位置及び向きなどの注釈を生成する人の位置及び方向は他のメタデータと共に記憶される。
【００９５】
図１２Ａ〜図１２Ｃは実施例のいくつかによる表示された画像のための注視注釈方法１２００のフロー図を例示する。実装のいくつかにおいて、方法１２００は注視注釈システム１００のコンピューティングデバイス１０６で実行される（１２０２）。コンピューティングデバイス１０６は、シーンカメラ（例えば、画像取得デバイス３０８）、表示デバイス（例えば、表示デバイス３４６）及び注視追跡デバイス（例えば、注視追跡デバイス１０８）に接続されている。実装のいくつかにおいて、コンピューティングデバイスはユーザの頭部に装着され（１２０４）、注釈生成の間位置及び向き情報を収集するために加速度計、ジャイロスコープ、ＧＰＳ（global positioning system）の少なくとも１つを含む。実装のいくつかにおいて、注視追跡デバイスはアイカメラ及びアイカメラに接続されている第２のコンピューティングデバイスを含む（１２０６）。これにより、アイカメラはユーザの目の目画像のストリームを取得し、第２のコンピューティングデバイスは目画像のストリームを受信し、注視点を計算するために注視を実行する。
【００９６】
実装のいくつかにおいて、注視追跡デバイス１０８のアイカメラモジュール４１６は画像取得デバイス４０８を用いて目画像を取得し、取得した画像を目画像データに符号化し、注視注釈のために注視追跡デバイス１０８上の通信モジュール４１４を介してコンピューティングデバイス１０６に目画像データのストリームを送信する。注視追跡デバイス１０８の注視推定モジュール４１８は、画像取得デバイス４０８から受信した目画像データのストリーミングに注視推定を実行し、通信モジュール４１４を介してコンピューティングデバイス１０６に推定された注視位置を伝送する。
【００９７】
デバイス１０６は、第１のユーザコマンド（例えば、グーグルグラスへの音声コマンド）を受信し（１２０８）、シーンカメラ３０８から提供される画像を保存し、表示デバイス３４６に表示する。デバイス１０６は、さらに、表示された画像のために注釈を生成するための第２のユーザコマンド（例えば、グーグルグラスをタッピングする）を受信する（１２１０）。第２のユーザコマンドに応じて、デバイス１０６は表示された画像の第１の注視点を注視追跡デバイス１０８から受信する（１２１２）。デバイス１０６は第１の注視点の近くで画像に重畳された注釈アンカーを表示する。例えば、図７に示されるように、２つの注視注釈が生成された後、丸付き数字１及び２がウィンドサーファーの近くで注釈アンカーとして表示され、注視追跡デバイス１０８によって検出された注視点を示す。他の例において、図１１に示すように、魚の尾の先、鹿の脚、及び首の近傍で注釈アンカーが表示され、注視追跡デバイス１０８によって検出されている注視点を示す。
【００９８】
実装のいくつかにおいて、デバイス１０６のシーンカメラモジュール３１８は画像取得デバイス３０８を用いて画像（例えば、写真及び／もしくはビデオ）を取得し、画像データに取得した画像を符号化し、表示デバイス３４６に画像データを表示し、リモートコンピューティングデバイスでの表示のために、ネットワーク通信モジュール３１６を介して、サーバシステム１２０に画像データを送信する。実装のいくつかにおいて、通信モジュール３１６は他のデバイス（例えば、注視追跡デバイス１０８）との通信を容易にする。実装のいくつかにおいて、通信モジュール３１６は、ユーザコマンド（例えば、音声コマンド及び／もしくはタッピング）の受信に応答して、注視追跡デバイス１０８に制御信号を伝送する。実装のいくつかにおいて、注視点データを受信した後、注釈モジュール３２６は注視注釈を取得し、注釈マーカを生成し、注視領域に注釈を関連付け、視界表示モジュール３２４を介して、表示デバイス３４６に注釈情報を送信する。視界表示モジュール３２４はデータを受信し、データを処理し、マーカとしてデータ及び／もしくは視界の可視情報及び／もしくは注釈を表示デバイス３４６に表示する。
【００９９】
注釈アンカーの表示に加えて、デバイス１０６の注釈モジュール３２６は、さらに、音声入力デバイス３２４を介して、ユーザから音声注釈を受け取る（１２１６）ことにより、直示的ジェスチャのための発話及び注視データを分析する。実装のいくつかにおいて、デバイス１０６のＡＳＲモジュール３２８は自動音声認識を用いて音声注釈を解釈する（１２１８）。注視データから、ユーザが音声注釈を発話する間の注視点のセットが識別されデバイス１０６によって受信される（１２１９）。取得された音声注釈から、デバイス１０６は直示的参照を示すキーワードを識別する（１２２０）。次に、キーワードはセット内の最も適合する注視点と並べられる（１２２２）。図８に例示するように、並べた後、デバイス１０６は直示的注視マーカを表示デバイス３４６に表示する（１２２４）。
【０１００】
実装のいくつかによれば、デバイス１０６は、さらに画像、音声注釈及び注釈アンカーとしての最初の注視点、一もしくは複数のユーザによる次のアクセスのために構成されているオブジェクト（例えば、Ｊｓｏｎオブジェクト）としての直示的注視マーカと並べられた注視点を記憶する（１２２６）。実装のいくつかにおいて、オブジェクトは注視注釈データ３３２としてデバイス１０６に記憶され、及び／もしくは注視注釈データ５３０としてサーバ１２０に記憶される。デバイス１０６は、一もしくは複数のユーザとオブジェクトを共有することができる（１２２８）。実装のいくつかによれば、第２のユーザは第１のユーザとは異なり（１２３０）、図２及び図１１に例示されるシステムのように、第２のコンピューティングデバイスは第１のコンピューティングデバイスとは区別される。
【０１０１】
実装のいくつかによれば、デバイス１０６はウェブサイト（例えば、バックエンドシステムとしてのサーバ１２０によるウェブサイト）にオブジェクトを投稿（１２３２）し、電子メッセージを介して一もしくは複数のユーザにオブジェクトを送信する（１２３４）ことにより、オブジェクト（例えば、Ｊｓｏｎオブジェクト）を共有する。実装のいくつかによれば、ウェブサイトは、掲示板、写真サービス及び／もしくはソーシャルメディアプラットフォームを含むがこれらに限定されない。これにより、ユーザは、ブラウザ機能、ポインティングデバイス、スピーカ、及び／もしくは注視追跡デバイスを用いて、オブジェクト及びその注視注釈とインタラクションすることができる。
【０１０２】
上記ステップは注視注釈を生成することに関して説明した。実装のいくつかによれば、注視注釈が生成されると、受信側で、リモートユーザ（例えば、ユーザ１１２）は注視注釈を第２ユーザの１人の第２のコンピューティングデバイス（例えば、図１のコンピューティングデバイス１０６−２）を用いて見ることができる（１２３６）。実装のいくつかによれば、第２のコンピューティングデバイス１０６−２は第２の表示デバイス及び第２の注視追跡デバイスを有することができる。第２のコンピューティングデバイス１０６−２は、まず、オブジェクトにアクセスし（１２３８）、画像及び注釈アンカーを表示する。第２のコンピューティングデバイス１０６−２は、次に、注釈アンカーの近傍に表示されている画像で第２のユーザの第２の注視点を検出し（１２４０）、直示的注視マーカ及び音声注釈を取り出し（１２４２）、音声注釈を再生する間、表示された画像に、画像のコンテキストの直示的注視マーカを表示することができる。例えば、図１１に示されるように、魚の尾の先、鹿の脚及び鹿の首の近くに存在する注釈マーカは、シーンのコンテキストに、可能であれば、シーンの音声注釈の再生中に、表示される。
【０１０３】
図１３Ａ〜図１３Ｃは実装のいくつかによる現実のシーンのための注視注釈方法１３００のフローチャートを例示する。実装のいくつかにおいて、方法１３００は注視注釈システム１００のコンピューティングデバイス１０６で実行される（１３０２）。コンピューティングデバイスは、シーンカメラ（例えば、画像取得デバイス３０８）、表示デバイス（例えば、表示デバイス３４６）、注視追跡デバイス（例えば、注視追跡デバイス１０８）、及び、位置検出デバイス（例えば、センサ３１２）に接続されている。デバイス１０６は、シーンカメラ(例えば、画像取得デバイス３０８）から第１視界情報を受信し、位置検出デバイスから第１位置情報を受信する。デバイス１０６は、さらに、第１視界内に配置されているユーザからの第１注視点を注視追跡デバイス１０８から受信する（１３０４）。第１視界は画像として取得され（１３０６）、表示デバイス（例えば、表示デバイス３４６）に表示される。第１画像を取得する間、デバイス１０６はユーザから音声注釈を受け取る（１３０８）。デバイス１０６は注視点の位置を示すために第１画像に注釈アンカーを表示する（１３１０）。実装のいくつかにおいて、第１注釈アンカーの位置は第１注視点、第１視界、及び第１画像の第１位置情報から計算される。
【０１０４】
図１０に関連して上記したように、画像の注視注釈方法とは異なり、現実シーンの注視注釈方法は、取得されたシーン内の第１注釈アンカーの位置が第１注視点だけでなく、デバイス１０６のセンサ３１２からセンサモジュール３２０によって収集された第１位置情報に基づいて計算される。さらに、コンピューティングデバイス１０６は、ユーザが周囲を見ている間、ビデオクリップもしくは一連の写真を取得するため、注釈アンカーは結合された画像のコンテキストに配置される。注釈の間、実装のいくつかによれば、デバイス１０６は、さらに、シーンカメラ（例えば、画像取得デバイス３０８）から視界のセットを受信し、位置検出デバイス（例えば、センサ３１２）から位置情報のセットを受信する。デバイス１０６は、次に、ユーザが移動したか否か判定する。ユーザが最後に記録された位置から移動し、新しい位置が元の位置から大きく異なる場合、新しい視界及び位置検出情報がセットに追加される。実装のいくつかにおいて、ユーザの位置が第１視界、第１位置情報、視界のセット、及び位置情報のセットに基づいて変更されたことを検出すると、シーンカメラ（例えば、画像取得デバイス３０８）は第２視界の第２画像を記録し（１３１４）、デバイス１０６に画像データを送信する。実装のいくつかにおいて、デバイス１０６の注釈モジュール３２６は、次に、継ぎ目なく、第１の画像と第２の画像とを画像の縫い合わせ手段を用いて接合する（１３１６）。
【０１０５】
実装のいくつかにおいて、デバイス１０６の注釈モジュール３２６は、さらに、音声入力デバイス３２４を介して、ユーザから音声注釈をまず受け取ることにより、音声及び直示的注視ジェスチャのための注視データを分析する。実装のいくつかにおいて、デバイス１０６のＡＳＲモジュール３２８は自動音声認識を用いて音声注釈を解釈する（１３２６）。注視データから、ユーザが音声注釈を声に出す間の注視点のセットが識別されデバイス１０６によって受信される（１３２７）。取得した音声注釈から、デバイス１０６は、注視点の直示的参照を示すキーワードを識別する（１３２８）。キーワードは、次に、注視点のセット内の最もよく適合する注視点と並べられる（１３３０）。並べた後、デバイス１０６は表示デバイス３４６の直示的注視マーカを直示的参照の可視情報として表示する（１３３２）。
【０１０６】
実装のいくつかによれば、デバイス１０６はさらに画像、音声注釈、注釈アンカーとしての第１注視点、一もしくは複数のユーザによって以降のアクセスが可能なように構成されたオブジェクト（例えば、Ｊｓｏｎオブジェクト）としての直示的注視マーカと適合する注視点を記憶する（１３３４）。実装のいくつかにおいて、オブジェクトはデバイス１０６に注視注釈データ３３２として保存される。デバイス１０６は、次に、一もしくは複数の第２ユーザとオブジェクトを共有する（１３３６）。
【０１０７】
受信側で、実装のいくつかにおいて、リモートユーザ（例えば、ユーザ１１２）は第２ユーザの１人の第２コンピューティングデバイス（例えば、図１のコンピューティングデバイス１０６−２）で注視注釈を見ることができる（１３３８）。実装のいくつかによれば、第２のコンピューティングデバイス１０６−２は第２の表示装置及び第２の注視追跡デバイスを有することができる。第２のコンピューティングデバイス１０６−２は、まず、オブジェクトにアクセスし（１３４０）、画像及び注釈アンカーを表示する。第２のコンピューティングデバイス１０６−２は、次に、注釈アンカーの近くに表示されている画像の第２ユーザの第２注視点を検出し（１３４２）、存在する場合、直示的注視マーカを受信し（１３４４）、音声注釈が再生されている間、表示されている画像に画像のコンテキストの直示的注視マーカを表示する。例えば、図１１に示されるように、魚の尾の先、鹿の脚及び鹿の首の近くの注視マーカがシーンのコンテキストに表示される。可能であれば、注視マーカは、シーンの音声注釈が再生されている間、表示される。
【０１０８】
「第１」、「第２」などの用語が様々な構成要素を説明するために使用されているが、これらの構成要素はこれらの用語によって限定されるものではない。これらの用語は１つの構成要素を他の構成要素から区別するためにのみ使用されている。例えば、第１のコンタクトは第２のコンタクトであってもよいし、同様に、第２のコンタクトは第１のコンタクトであってもよい。全ての「第１のコンタクト」が「第２のコンタクト」に変更され、全ての「第２のコンタクト」が「第１のコンタクト」に変更されるのであれば、説明の意味は変更される。第１のコンタクト及び第２のコンタクトは双方ともコンタクトであるが、同一のコンタクトではない。
【０１０９】
ここで使用される用語は、特定の実装についてのみ記述することを意図しており、請求の範囲を限定することを意図していない。実装及び添付の請求項の記載で使用されている単数形の名詞は、コンテキストが明示的に単数形であることを示している場合を除いて、複数形の形態を含むことを意図している。ここで使用されている用語「及び／もしくは」は、関連する記載されたアイテムの一つもしくは複数の任意かつ全ての組み合わせを参照し、包含する。「含む」との記載は、記載された機能、完全体、ステップ、動作、要素及び／もしくは構成要素の存在を特定するが、他の機能、完全体、ステップ、動作、要素、構成要素及び／もしくはこれらのグループの存在もしくは追加を排除しない。
【０１１０】
様々な実装が詳細に参照され、実装の例は図を伴って例示される。上記詳細な説明において、発明及び記載した実装の全体的な理解を容易にするために多くの特定の詳細が記載されている。しかしながら、本発明はこれらの詳細なしに実行可能である。他の例において、実装の態様を不必要に不明瞭にしないよう、よく知られた方法、プロシージャ、構成要素及び回路は詳細に記載していない。
【０１１１】
説明のための上記記載は特定の実装を参照して行われた。しかしながら、上記例示的な記載は本発明を網羅すること、もしくは開示された詳細な形態に本発明を限定することも意図していない。多くの変更が上記教示の観点で可能である。本発明の原理及びその実用的な応用を最もよく説明するために実装は選択され説明された。これにより、特定の使用に適合するように、本発明及び様々な変更を伴う様々な実装を利用可能である。
【符号の説明】
【０１１２】
１０６  コンピューティングデバイス
１０８  注視追跡デバイス
３０２  ＣＰＵ
３０６  メモリ
３０８  画像取得デバイス
３１２  センサ
３２４  音声入力デバイス
【図１】
0006601053.tif 000002
【図２】
0006601053.tif 000003
【図３】
0006601053.tif 000004
【図４】
0006601053.tif 000005
【図５】
0006601053.tif 000006
【図６】
0006601053.tif 000007
【図７】
0006601053.tif 000008
【図８】
0006601053.tif 000009
【図９】
0006601053.tif 000010
【図１０】
0006601053.tif 000011
【図１１】
0006601053.tif 000012
【図１２Ａ】
0006601053.tif 000013
【図１２Ｂ】
0006601053.tif 000014
【図１２Ｃ】
0006601053.tif 000015
【図１３Ａ】
0006601053.tif 000016
【図１３Ｂ】
0006601053.tif 000017
【図１３Ｃ】
0006601053.tif 000018