(57)【要約】  ヘッドマウントディスプレイ（HMD）、およびＨＭＤを制御する方法を開示する。この方法は、ＨＭＤによって取り込まれた画像中で外部デバイスを検出すること、外部デバイスの第１のユーザインタフェース（UI）から少なくとも１つのコンポーネントを認識することであって、少なくとも１つのコンポーネントが、キーパッド、または、キーパッドへの入力信号に対応するデータを出力するためのウィンドウを含むこと、認識された少なくとも１つのコンポーネントを含む第２のＵＩを生成すること、第２のＵＩをＨＭＤ中で表示することであって、外部デバイスの検出元である画像を使用して、外部デバイス上に表示されている第１のＵＩの少なくとも１つのコンポーネントの上に、表示された第２のＵＩが重ねられること、および、外部デバイスにおいて現在受け取られている入力信号に対応するデータをＨＭＤ中の第２のＵＩ上に表示することを含む。
2016506530.tif 000002
【特許請求の範囲】
【請求項１】
ヘッドマウントディスプレイ（HMD）を制御する方法であって、
前記ＨＭＤによって取り込まれた画像中で外部デバイスを検出すること、
前記外部デバイスの第１のユーザインタフェース（UI）から少なくとも１つのコンポーネントを認識することであって、前記少なくとも１つのコンポーネントが、キーパッド、または、前記キーパッドへの入力信号に対応するデータを出力するためのウィンドウを含むこと、
前記認識された少なくとも１つのコンポーネントを含む第２のＵＩを生成すること、
前記第２のＵＩを前記ＨＭＤ中で表示することであって、前記外部デバイスの検出元である前記画像を使用して、前記外部デバイス上に表示されている前記第１のＵＩの前記少なくとも１つのコンポーネントの上に、前記表示された第２のＵＩが重ねられること、および、
前記外部デバイスにおいて現在受け取られている入力信号に対応するデータを前記ＨＭＤ中の前記第２のＵＩ上に表示することを含む方法。
【請求項２】
前記外部デバイスが、前記第２のＵＩが上に重ねられた前記第１のＵＩのコンポーネントの上に、保護レイヤを表示する、請求項１に記載の方法。
【請求項３】
前記第２のＵＩ中のコンポーネントとしてキーパッドが含まれる場合に、前記保護レイヤが前記第１のＵＩの前記コンポーネントの輪郭を含む、請求項２に記載の方法。
【請求項４】
前記第２のＵＩ中のコンポーネントとしてキーパッドが含まれる場合に、前記第１のＵＩが、前記第１のＵＩ中で表示された前記保護レイヤの下にある前記コンポーネントへのユーザのタッチ入力に対応する触覚フィードバックを提供する、請求項２に記載の方法。
【請求項５】
前記第１のＵＩ中のコンポーネントとしてキーパッドが含まれる場合に、前記ＨＭＤによって取り込まれた前記画像を使用して、前記外部デバイス上におけるユーザの把持の形状を検出すること、および、
前記検出された把持形状に従って、事前設定済みコンポーネントを前記第２のＵＩに提供することをさらに含み、
前記事前設定済みコンポーネントが、前記検出された把持形状に従って調整されたレイアウトを有するキーパッドを含む、請求項２に記載の方法。
【請求項６】
前記保護レイヤが、前記検出された把持形状に従った前記事前設定済みコンポーネントの輪郭を含み、前記保護レイヤ中に含まれる前記輪郭の上に、前記第２のＵＩによって提供される前記事前設定済みコンポーネントが重ねられる、請求項５に記載の方法。
【請求項７】
前記第１のＵＩが、前記保護レイヤへのユーザのタッチ入力に対応する触覚フィードバックを提供し、前記触覚フィードバックが、前記保護レイヤに含まれる前記輪郭に従って調整される、請求項６に記載の方法。
【請求項８】
前記第１のＵＩが、前記保護レイヤの表示プロパティをユーザ入力に従って調整するためのインタフェースを含む、請求項２に記載の方法。
【請求項９】
前記表示プロパティが、輝度、彩度、透明度のうちの少なくとも１つを含む、請求項８に記載の方法。
【請求項１０】
少なくとも１つのコンポーネントを認識する前記工程が、前記外部デバイスが保護モードにあるときに実施され、前記外部デバイスのモードが前記保護モードおよび通常モードを含む、請求項１に記載の方法。
【請求項１１】
前記外部デバイス上に現在表示されているコンテンツに関する属性情報を抽出すること、および、
前記抽出された属性情報に従って前記外部デバイスのモード間で切り替えることをさらに含む、請求項１０に記載の方法。
【請求項１２】
前記外部デバイスが前記第１のＵＩを表示した場合に、前記外部デバイスの前記モードを前記通常モードから前記保護モードに切り替えることをさらに含む、請求項１０に記載の方法。
【請求項１３】
前記ユーザが前記ＨＭＤを装着していることを検出すること、および、
前記ユーザがＨＭＤを装着していることが検出された場合に、前記外部デバイスの前記モードを前記通常モードから前記保護モードに切り替えることをさらに含む、請求項１０に記載の方法。
【請求項１４】
データ保護を要求するためのユーザ入力を前記外部デバイスが受け取った場合に、前記外部デバイスの前記モードを前記通常モードから前記保護モードに切り替えることをさらに含む、請求項１０に記載の方法。
【請求項１５】
ヘッドマウントディスプレイ（HMD）であって、
前記ＨＭＤの動作を制御するように構成されたプロセッサと、
画像を出力するように構成された表示ユニットと、
外部デバイスとの間でデータを送受信するように構成された通信ユニットと、
画像を検出し、前記取り込んだ画像を前記プロセッサに提供するように構成されたセンサユニットとを備え、
前記プロセッサが、
前記ＨＭＤによって取り込まれた画像中で外部デバイスを検出すること、
前記外部デバイスの第１のユーザ・インタフェース（UI）から少なくとも１つのコンポーネントを認識することであって、前記少なくとも１つのコンポーネントが、キーパッド、または、前記キーパッドへの入力信号に対応するデータを出力するためのウィンドウを含むこと、
前記認識された少なくとも１つのコンポーネントを含む第２のＵＩを生成すること、
前記外部デバイス上に表示されている前記第１のＵＩの前記少なくとも１つのコンポーネントの上に、前記表示された第２のＵＩが重ねられるように、前記第２のＵＩを表示すること、および、前記外部デバイスにおいて現在受け取られている入力信号に対応するデータを前記第２のＵＩ上に表示すること、を行うように構成された、ＨＭＤ。
【請求項１６】
前記外部デバイスが、前記第２のＵＩが上に重ねられた前記第１のＵＩのコンポーネントの上に、保護レイヤを表示する、請求項１５に記載のＨＭＤ。
【請求項１７】
前記第２のＵＩ中のコンポーネントとしてキーパッドが含まれる場合に、前記保護レイヤが、前記第２のＵＩが上に重ねられた前記第１のＵＩの前記コンポーネントの輪郭を含む、請求項１６に記載のＨＭＤ。
【請求項１８】
前記第２のＵＩ中のコンポーネントとしてキーパッドが含まれる場合に、前記第１のＵＩが、前記第１のＵＩ中で表示された前記保護レイヤの下にある前記コンポーネントへのユーザのタッチ入力に対応する触覚フィードバックを提供する、請求項１６に記載のＨＭＤ。
【請求項１９】
前記第１のＵＩが、前記保護レイヤの表示プロパティをユーザ入力に従って調整するためのインタフェースを含む、請求項１６に記載のＨＭＤ。
【請求項２０】
前記外部デバイスが保護モードにあるときに、前記プロセッサが前記第１のＵＩの少なくとも１つのコンポーネントを認識し、前記外部デバイスのモードが前記保護モードおよび通常モードを含む、請求項１５に記載のＨＭＤ。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]  本発明は、ヘッドマウントディスプレイおよびこれを制御する方法に関し、より詳細には、プライバシ保護を必要とする情報をユーザが外部デバイス上に表示するときに、この情報をユーザが見ることができるようにするためのヘッドマウントディスプレイ、およびこれを制御する方法に関する。
【背景技術】
【０００２】
[0002]  ディジタルデバイスの軽量化および小型化の傾向に伴い、ますます多くのポータブルデバイスが使用されてきた。したがって、ユーザは、ポータブルデバイスを使用して、いつでもどこでも、意図したタスクをすぐに実行することができる。例えば、ポータブルデバイスを介して、バンキングサービスが時と場所にかかわらず利用可能であり、また、ユーザ間での連絡が容易にとられる。
【０００３】
[0003]  図１に、従来のポータブルデバイスにおけるバンキングサービスの例を示す。
【０００４】
[0004]  図１を参照すると、ユーザがポータブルデバイス１０を介してバンキングサービスを使用するつもりであるとき、ユーザは、証明パスワードを入力すべきである。証明パスワードはセキュリティを必要とするので、その内容は表示されず、他の人々が証明パスワードを見られないようにするためのセキュリティ指示１１が表示される。したがって、ポータブルデバイス１０上でのバンキングの間、一定レベルのセキュリティが保証される。
【０００５】
[0005]  しかし、ユーザが証明パスワードを入力するとき、図１に示すように、ユーザが現在入力している特定のキーがキーパッド１２上で拡大される。ユーザの付近の誰かがパスワードを見破ろうとすれば、ユーザのパスワードは容易に知られてしまう。
【０００６】
[0006]  ヘッドマウントディスプレイ（HMD）は、画像を表示するための、眼鏡のように頭部に装着可能な任意の画像表示装置を指す。ＨＭＤは、表示された情報をユーザのみが見ることができるようにする、一種のウェアラブルコンピュータである。したがって、情報がユーザの周囲の人々に晒されることはないので、ユーザのプライバシは容易に保護される。
【０００７】
[0007]  ＨＭＤは、様々な外部デバイスと共に使用することができる。ＨＭＤは、ネットワークを介して外部デバイスに接続され、よって、外部から受信したコンテンツを出力することができる。さらに、ＨＭＤは、外部デバイスへのユーザ入力を受け取ること、または外部デバイスとの対話における動作を実施することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
[0008]  課題を解決するために考案された本発明の目的は、個人データが外部デバイス上に表示されることになるときに、個人データをヘッドマウントディスプレイ（HMD）上に表示して、個人データがユーザの周囲の人々に晒されないようにする方法にある。
【０００９】
[0009]  課題を解決するために考案された本発明の別の目的は、外部デバイス上に表示されたコンテンツのうちで保護を必要とするコンポーネントのみをＨＭＤ上に表示する方法にある。
【００１０】
[0010]  課題を解決するために考案された本発明の別の目的は、外部デバイスからの、保護を必要とするデータをＨＭＤ上に表示し、外部デバイス上のデータに、データを見ることができないように保護レイヤを適用する方法にある。
【００１１】
[0011]  課題を解決するために考案された本発明のさらに他の目的は、外部デバイス中の、データ保護のために保護レイヤが適用されるコンポーネントに関する、触覚フィードバックにある。
【課題を解決するための手段】
【００１２】
[0012]  本発明の目的は、ＨＭＤを制御する方法を提供することによって達成することができ、この方法は、ＨＭＤによって取り込まれた画像中で外部デバイスを検出すること、外部デバイスの第１のユーザインタフェース（UI）から少なくとも１つのコンポーネントを認識することであって、少なくとも１つのコンポーネントが、キーパッド、または、キーパッドへの入力信号に対応するデータを出力するためのウィンドウを含むこと、認識された少なくとも１つのコンポーネントを含む第２のＵＩを生成すること、第２のＵＩをＨＭＤ中で表示することであって、外部デバイスの検出元である画像を使用して、外部デバイス上に表示されている第１のＵＩの少なくとも１つのコンポーネントの上に、表示された第２のＵＩが重ねられること、および、外部デバイスにおいて現在受け取られている入力信号に対応するデータをＨＭＤ中の第２のＵＩ上に表示することを含む。
【００１３】
[0013]  本発明の別の態様では、本明細書においてＨＭＤが提供され、このＨＭＤは、ＨＭＤの動作を制御するように構成されたプロセッサと、画像を出力するように構成された表示ユニットと、外部デバイスとの間でデータを送受信するように構成された通信ユニットと、画像を取り込み、取り込んだ画像をプロセッサに提供するように構成されたセンサユニットとを備える。プロセッサは、ＨＭＤによって取り込まれた画像中で外部デバイスを検出すること、外部デバイスの第１のＵＩから少なくとも１つのコンポーネントを認識することであって、少なくとも１つのコンポーネントが、キーパッド、または、キーパッドへの入力信号に対応するデータを出力するためのウィンドウを含むこと、認識された少なくとも１つのコンポーネントを含む第２のＵＩを生成すること、外部デバイス上に表示されている第１のＵＩの少なくとも１つのコンポーネントの上に、表示された第２のＵＩが重ねられるように、第２のＵＩを表示すること、および、外部デバイスにおいて現在受け取られている入力信号に対応するデータを第２のＵＩ上に表示すること、を行うように構成される。
【発明の効果】
【００１４】
[0014]  外部デバイスが個人情報を表示することになっている場合に、本発明の一実施形態によれば、個人情報はＨＭＤを介して表示され、それにより、データ漏洩が防止されセキュリティが強化される。
【００１５】
[0015]  本発明の別の実施形態によれば、外部デバイス上に表示されているコンポーネントのうち、プライバシ保護を必要とするコンポーネントのみがＨＭＤ上に表示される。したがって、ユーザ利便性を高めることができる。
【００１６】
[0016]  本発明の別の実施形態によれば、データ保護のために、ＨＭＤ上に表示されるデータに保護レイヤが提供され、同じデータが外部デバイス上には表示されないようにされる。したがって、ユーザは中断なしにデータを見ることが可能にされ、外部デバイスを介したデータ漏洩は効率的に防止される。
【００１７】
[0017]  本発明のさらに他の実施形態によれば、外部デバイス上でデータ保護のために保護レイヤが提供されるコンポーネントに関してユーザのタッチ入力が受け取られると、外部デバイスは触覚フィードバックを提供し、それによりユーザ利便性が高まる。
【００１８】
[0018]  本発明の一層の理解を提供するために含められる添付の図面は、本発明の実施形態を例示し、記述と共に、本発明の原理を説明する助けとなる。
【図面の簡単な説明】
【００１９】
【図１】[0020]従来のポータブルデバイスにおけるバンキングサービスの例を示す図である。
【図２】[0021]本発明の一実施形態による、ヘッドマウントディスプレイ（HMD）と、ＨＭＤを装着したユーザと、ＨＭＤと対話する外部デバイスとを示す図である。
【図３】[0022]本発明の一実施形態による、ＨＭＤの機能ブロック図である。
【図４】[0023]本発明による、ユーザインタフェース（UI）を外部デバイス上に表示する一実施形態を示す図である。
【図５】[0024]本発明による、ＵＩをＨＭＤおよび外部デバイス上に表示する一実施形態を示す図である。
【図６】[0025]本発明による、ＵＩをＨＭＤおよび外部デバイス上に表示する別の実施形態を示す図である。
【図７】[0026]本発明による、ＵＩをＨＭＤおよび外部デバイス上に表示するさらに他の実施形態を示す図である。
【図８】[0027]本発明による、外部デバイス中のＵＩのコンポーネントの上に保護レイヤを表示する一実施形態を示す図である。
【図９】[0028]本発明による、ユーザの把持に従ってレイアウトが調整されたコンポーネントをＨＭＤ上に表示する一実施形態を示す図である。
【図１０】[0029]本発明による、外部デバイス中の保護レイヤの表示プロパティを制御する一実施形態を示す図である。
【図１１】[0030]本発明による、スマートＴＶである外部デバイスの一実施形態を示す図である。
【図１２】[0031]本発明による、ディジタルドアロックである外部デバイスの別の実施形態を示す図である。
【図１３】[0032]本発明による、スマートフォンである外部デバイスの別の実施形態を示す図である。
【図１４】[0033]本発明による、現金自動預け払い機（ATM）である外部デバイスのさらに他の実施形態を示す図である。
【図１５】[0034]本発明の一実施形態による、ＨＭＤを制御する方法を示すフローチャートである。
【発明を実施するための形態】
【００２０】
[0035]  本発明において使用される用語は、一般に知られ使用される用語から選択されているが、これらの用語は、オペレータの意図、習慣、または新技術の出現に従って、変更されることもある。本発明の記述において言及される用語のいくつかは、出願人によってその自由裁量で選択されたものであり、それらの詳細な意味は、本明細書における記述の当該部分において述べられる。したがって、本発明は、使用される実際の用語によって単に理解されるのではなく、各用語の内にあるその意味によって理解されなければならない。
【００２１】
[0036]  本発明の実施形態を、添付の図面と、添付の図面における記述とに関して詳細に述べるが、これらの図面および記述は、本発明を限定するものと解釈すべきではない。
【００２２】
[0037]  図２に、本発明の一実施形態による、ヘッドマウントディスプレイ（HMD）と、ＨＭＤを装着したユーザと、ＨＭＤと対話する外部デバイスとを示す。
【００２３】
[0038]  本発明による外部デバイス１００は、様々なタイプのコンテンツ１１１を出力することができる。例えば、外部デバイス１００は、生放送、映画、音楽、連続ドラマ、ウェブページ、ゲーム、アプリケーションなどを含めた、多様なマルチメディアコンテンツを出力することができる。
【００２４】
[0039]  外部デバイス１００は、外部デバイス１００から出力されるコンテンツ１１１を表示するための、少なくとも１つの表示ユニット１１０を備える。
【００２５】
[0040]  外部デバイス１００はさらに、ＨＭＤ２００および他のデバイスとの間でデータを送信または受信するための通信ユニット（図示せず）を備えてよい。
【００２６】
[0041]  外部デバイス１００上に表示されたコンテンツが保護を必要とするとき、本発明によれば、その表示されたコンテンツは、全体的にまたは部分的に、ＨＭＤ２００に送信されるものとすることができる。すなわち、外部デバイス１００上に表示されたＵＩが所定のコンポーネントを含む場合、外部デバイス１００は、ＵＩ全体をまたはＵＩに含まれるコンポーネントをＨＭＤ２００上に表示できるように、必要なデータをＨＭＤ２００に送信することができる。これについては、図４〜７を参照して後述する。
【００２７】
[0042]  したがって、本発明では、外部デバイス１００は、表示ユニットおよび通信ユニットをそれぞれが含む様々なデバイスのうちのいずれかとすることができる。例えば、外部デバイス１００は、それがパーソナルディジタルアシスタント（PDA）、ラップトップコンピュータ、タブレットＰＣなど、データを表示することができ他のデバイスと通信することができるポータブルデバイスであるときには特に、有用である。というのは、ポータブルデバイスが屋外で使用されるときは、例えば個人情報に対して、プライバシ保護がしばしば必要とされるからである。これについては、図４に関してより詳細に述べる。
【００２８】
[0043]  図２に示すＨＭＤ２００は、外部デバイス１００とインタラクト（対話）可能に動作する。対話のために、ＨＭＤ２００は、外部デバイス１００と対合（ペアリング）されるか、または外部デバイス１００との通信接続を確立する。対合または通信接続確立は、ＨＭＤ２００または外部デバイス１００を介したユーザ入力に応答して、実施されてよい。
【００２９】
[0044]  例えば、ＨＭＤ２００は、外部デバイス１００との対合のための、または外部デバイス１００との通信接続を確立するための、ボタンまたはＵＩを提供することができる。加えて、ユーザは、このボタンまたはＵＩを使用して、ＨＭＤ２００を外部デバイス１００と対合するか、またはＨＭＤ２００と外部デバイス１００との間の通信接続を確立することができる。
【００３０】
[0045]  ＨＭＤ２００が外部デバイス１００と対合されたかまたは外部デバイス１００との通信接続を確立した後は、外部デバイス１００からの保護されるべきデータをＨＭＤ２００上に表示することができる。
【００３１】
[0046]  ネットワーク２０は、本発明では、ＨＭＤ２００と外部デバイス１００との間の通信を可能にする様々な有線またはワイヤレスネットワークのうちのいずれかとすることができる。利用可能なネットワークは、近接場通信（NFC）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ、ワイヤレスフィデリティ（WiFi）などに準拠して動作することができる。しかし、本発明は、特定のネットワークに限定されない。
【００３２】
[0047]  本発明では、ＨＭＤ２００は、前述のネットワークのうちの１つまたは組合せを介して、外部デバイス１００と通信することができる。
【００３３】
[0048]  図３は、本発明の一実施形態による、ＨＭＤの機能ブロック図である。図３に示すＨＭＤの構成は、本発明の一実施形態に過ぎず、したがって、本発明の範囲内でＨＭＤに対してコンポーネントを除去または追加することもできる。
【００３４】
[0049]  図３を参照すると、本発明の一実施形態によるＨＭＤ３００は、表示ユニット３１０、通信ユニット３２０、センサユニット３３０、およびプロセッサ３４０を備えてよい。
【００３５】
[0050]  表示ユニット３１０は、画像を画面上に表示する。表示ユニット３１０は、プロセッサ３４０中で実行されるコンテンツに基づいて、またはプロセッサ３４０から受け取られた制御コマンドに従って、画像を出力することができる。
【００３６】
[0051]  本発明の一実施形態によれば、表示ユニット３１０はまた、ＨＭＤ３００と対話する外部デバイス（例えばポータブルデバイス）から受け取られた制御コマンドに従って、画像を表示することもできる。
【００３７】
[0052]  例えば、表示ユニット３１０は、ＨＭＤ３００と対話する外部デバイス中で実行されているコンテンツを表示することができる。コンテンツは、ウェブページまたはアプリケーションを実行することによって表示されるＵＩ、ならびにピクチャまたはビデオを含む。コンテンツは、本発明では、特定の機能を実行するために表示される任意のデータを含み得る。ＨＭＤ３００は、通信ユニット３２０を介して外部デバイスからデータを受信し、受信したデータに基づいて画像を出力することができる。
【００３８】
[0053]  通信ユニット３２０は、様々なプロトコルに基づいて外部デバイスと通信することによって、データを送信または受信することができる。加えて、通信ユニット３２０は、有線またはワイヤレスネットワークにアクセスして、ネットワークを介してコンテンツなどのデータを送信または受信することもできる。
【００３９】
[0054]  ＨＭＤ３００は、本発明では、通信ユニット３２０を介して外部デバイスと対合されるかまたは外部デバイスとの通信接続を確立することができ、よって、接続された外部デバイスとの間でデータを送信または受信することができる。通信ユニット３２０は、有線またはワイヤレスネットワークにアクセスすることができ、よって、コンテンツなどのディジタルデータ、ＵＩのグラフィックデータ、および制御コマンドを送受信することができる。
【００４０】
[0055]  したがって、本発明のＨＭＤ３００は、プライバシ保護を必要とするデータを、通信ユニット３２０を介して外部デバイスから受信し、受信したデータを、ユーザのみがデータを見ることができる方式で表示ユニット３１０上に表示することができる。
【００４１】
[0056]  センサユニット３３０は、ＨＭＤ３００に搭載された複数のセンサを使用して、ユーザ入力を、またはＨＭＤによって知覚される環境に関する情報を、プロセッサ３４０に送信することができる。センサユニット３３０は、複数のセンサを備えてよい。
【００４２】
[0057]  複数のセンサは、重力センサ、地磁気センサ、動きセンサ、ジャイロセンサ、加速度センサ、赤外線センサ、傾斜センサ、周辺光センサ、高度センサ、臭気センサ、温度センサ、深度センサ、圧力センサ、曲げセンサ、オーディオセンサ、ビデオセンサ、全地球測位システム（GPS）センサ、タッチセンサなどを含み得る。これらのセンサは、別個の要素としてＨＭＤ３００に備わってもよく、または、ＨＭＤ３００中の少なくとも１つの要素に組み込まれてもよい。
【００４３】
[0058]  前述のように、センサユニット３３０は、様々なセンサのセットを指す。センサユニット３３０は、ユーザの様々な環境を感知し、感知結果に対応する動作をプロセッサ３４０が実施できるように、感知結果をプロセッサ３４０に提供することができる。
【００４４】
[0059]  本発明は、プライバシ保護を必要とするデータが外部デバイス上に表示されるときに、このデータをユーザがＨＭＤ上で見ることができる環境を提供するものとする。特に、本発明の一実施形態では、外部デバイス上に表示されるデータと、ＨＭＤ上に表示されるデータとを結合して、ユーザの目から見て完全なデータにすることができる。よって、ユーザは、完全な情報を得る。
【００４５】
[0060]  したがって、センサユニット３３０は、取込みセンサ（図示せず）を備えてよい。取込みセンサは、画像を取り込むことができる。言い換えれば、取込みセンサは、ＨＭＤ３００を装着したユーザの視界に対応する所定エリア中の画像を検出し、検出した画像をプロセッサ３４０に提供することができる。
【００４６】
[0061]  プロセッサ３４０は、取込みセンサによって検出された画像に基づいて、ＨＭＤ３００を装着したユーザの視界に対応する所定エリア中に外部デバイスが存在するかどうか判定することができる。外部デバイスの存在を検出すると、プロセッサ３４０は、プライバシ保護を必要とするデータを外部デバイスから受信し、このデータを表示することができる。
【００４７】
[0062]  加えて、プロセッサ３４０は、取込みセンサによって検出された画像中の外部デバイス上に表示されたＵＩのコンポーネントを認識することができる。すなわち、プロセッサ３４０は、画像処理などによって、検出された画像に含まれるＵＩのコンポーネントを認識することができる。これについては、図６および７に関して後述する。
【００４８】
[0063]  データがプライバシ保護を必要とするかどうか、または外部デバイスがＨＭＤにデータを送信することになるかどうかは、所定の条件に従って異なる方式で決定することができる。これについては、図４に関して述べる。
【００４９】
[0064]  プロセッサ３４０は、ＨＭＤ３００内のデータを処理し、ＨＭＤ３００の各ユニットを制御し、ＨＭＤ３００のユニット間におけるデータの送受信を制御することができる。
【００５０】
[0065]  図３には示されていないが、ＨＭＤ３００は、記憶ユニット、オーディオ入出力（I/O）ユニット、または電力ユニットを備えてよい。
【００５１】
[0066]  記憶ユニット（図示せず）は、オーディオ、写真、ビデオ、およびアプリケーションのような、様々なディジタルデータを記憶することができる。記憶ユニットは、フラッシュメモリ、ランダムアクセスメモリ（RAM）、ソリッドステートドライブ（SSD）など、多様なディジタルデータ記憶空間を指す。
【００５２】
[0067]  記憶ユニットは、通信ユニット３２０を介して外部デバイスから受信されたデータを、一時的に記憶することができる。記憶ユニットを使用して、外部デバイスから受信されたデータまたはコンテンツをバッファリングし、バッファリングしたデータまたはコンテンツを、ＨＭＤ３００を介して出力することができる。本発明では、ＨＭＤ３００に記憶ユニットを設けることは任意選択である。
【００５３】
[0068]  オーディオ出力ユニット（図示せず）は、スピーカやイヤフォンなどのオーディオ出力手段を含む。加えて、オーディオ出力ユニットは、プロセッサ３４０中で実行されるコンテンツに基づいて、またはプロセッサ３４０から受け取られた制御コマンドに応答して、音声を出力することもできる。本発明では、ＨＭＤ３００にオーディオ出力ユニットを設けることは任意選択である。
【００５４】
[0069]  電力ユニットは、ＨＭＤ３００に電力を供給するために、内部電池または外部電源に接続された電源である。
【００５５】
[0070]  図３に示すＨＭＤ３００のブロック図は、単に例示的なものである。別々に構成されたものとして図３に示すブロックは、論理的に分離された要素である。したがって、前述の要素は、デバイス設計に応じて、１つまたは複数のチップ上に取り付けられる場合がある。
【００５６】
[0071]  本発明は、プライバシ保護を必要とする情報をユーザが外部デバイス上に表示するときに、情報が外部に晒されないような方式で情報をＨＭＤ上に表示する方法を提供する。この方法について、図４〜７に関して以下に述べる。
【００５７】
[0072]  図４に、本発明による、ＵＩを外部デバイス上に表示する一実施形態を示す。
【００５８】
[0073]  ＨＭＤは、ＨＭＤを装着したユーザの視界に対応する所定エリア中に、ＨＭＤと対話する外部デバイスがあるかないかを、センサユニットによって取り込まれた画像を使用して検出することができる。すなわち、ＨＭＤは、画像処理などによって、取り込まれた画像中で所定の外部デバイスの画像を検出することができる。
【００５９】
[0074]  そのうえ、ＨＭＤは、ＨＭＤに関する位置情報および外部デバイスに関する位置情報を使用して、またはＨＭＤの赤外線センサによって、ＨＭＤと対話する外部デバイスを検出することもできる。
【００６０】
[0075]  検出された外部デバイス４００は、ＵＩ４１０を表示することができる。ＵＩ４１０は、外部デバイス４００中で実行されているアプリケーションやウェブページなどとの関係でユーザに提供されるインタフェースである。
【００６１】
[0076]  ＵＩ４１０は、少なくとも１つのコンポーネントを含んでよい。図４に示すように、少なくとも１つのコンポーネントは、キーパッド４１１と、キーパッド４１１への入力信号に対応するデータを出力するためのウィンドウ４１３とを含み得る。
【００６２】
[0077]  ユーザ識別子（ID）やパスワードなど、セキュリティを必要とするデータが外部デバイス４００中のＵＩ４１０上に表示されるとき、データ入力中にデータを外部に晒す危険がある。言い換えれば、ウィンドウ４１３に対するセキュリティ処理にもかかわらず、ユーザがデータをキーパッド４１１に入力している間に入力データがユーザの周囲の人々に晒されるおそれがあり、よってユーザはデータ露出の危険を冒す。
【００６３】
[0078]  このコンテキストで、外部デバイスに対して通常モードと保護モードが定義され、本発明では、外部デバイスが保護モードに置かれた場合、セキュリティを必要とするデータはＨＭＤ上のみに表示される。モード切替えは、様々な方式で外部デバイスに対して実施することができる。最初に、外部デバイスのモードを切り替える一実施形態について以下に述べる。
【００６４】
[0079]  本発明の一実施形態によれば、外部デバイスのモードをユーザ入力に従って切り替えることができるように、外部デバイスはモード切替えアイコン４２０を表示する。すなわち、データ保護を要求するユーザ入力がユーザから受け取られると、例えばアイコン４２０が触れられると、外部デバイスは保護モードに切り替わることができる。
【００６５】
[0080]  本発明の別の実施形態では、外部デバイスは、外部デバイス上に表示されているコンテンツに関する属性情報を抽出することができ、抽出した属性情報に従って別のモードに切り替わることができる。コンテンツは、外部デバイス上に表示可能な任意のデータ、ならびに写真およびビデオを含み得る。コンテンツに関する属性情報は、外部デバイスの記憶ユニットに事前に記憶されているものとすることができる。さらに、コンテンツに関する属性情報は、データ保護が必要かどうかを示す情報を含んでよい。この属性情報は、ユーザが設定することができる。
【００６６】
[0081]  例えば、メンバシップもしくはログインを必要とするウェブページ、ユーザ確認を必要とするアプリケーション、またはロックされた状態の画像データ、などのコンテンツに対して、ユーザ確認またはユーザ認証が必要とされる場合、データ保護を属性情報中であらかじめ設定し、コンテンツのタイプと共に記憶することができる。よって、外部デバイスは、コンテンツを実行する間に、記憶ユニットを参照して、コンテンツに関する属性情報に基づいてそのモードを切り替えることができる。
【００６７】
[0082]  本発明の別の実施形態では、外部デバイスが事前設定済みＵＩを表示するとき、外部デバイスは通常モードから保護モードに切り替わることができる。事前設定済みＵＩは、キーパッドと、キーパッドへの入力信号に対応するデータを出力するウィンドウと、ユーザの個人情報を出力するウィンドウと、のうちの少なくとも１つのコンポーネントを含む。
【００６８】
[0083]  このようにして、外部デバイスは、事前設定済みＵＩを表示すると同時に、通常モードから保護モードに切り替わることができる。加えて、外部デバイスは、それが保護モードで動作中であることを、図４に示す保護モードアイコン４２０を用いて示すことができる。
【００６９】
[0084]  前述のように、外部デバイスは、所定の条件に従って、あるモードから別のモードに切り替わることができる。しかし、外部デバイスがＨＭＤと対合されている場合、ＨＭＤが、所定の条件に従って外部デバイスのモード切替えを制御することができる。したがって、本発明の上記の実施形態では、外部デバイスとＨＭＤのいずれかが、外部デバイスのモードの切替えを担うことができる。
【００７０】
[0085]  本発明のさらに他の実施形態では、ＨＭＤは、ユーザがＨＭＤを装着しているかどうか判定することができる。ユーザがＨＭＤを装着していると判定すると、ＨＭＤは、外部デバイスを通常モードから保護モードに切り替えることができる。ＨＭＤは、タッチセンサや取込みセンサなどを含むセンサユニットを介して、ユーザがＨＭＤを装着しているかどうか判定することができる。ユーザがＨＭＤを装着していることは、ユーザがＨＭＤを介して個人情報を見ようと思っていることを含意する可能性があり、よって、ＨＭＤは外部デバイスを保護モードに切り替えることができる。
【００７１】
[0086]  ＨＭＤは、外部デバイスのモード切替えを制御する代わりに、保護モードへの切替えを要求する信号を外部デバイスに送信することもでき、それにより、外部デバイスは保護モードに切り替わることができる。
【００７２】
[0087]  外部デバイスは、前述の実施形態に限定されず、様々な方式でそのモードを切り替えることができる。前述のように、外部デバイスのモードの切替えを担うエンティティは、外部デバイスまたはＨＭＤとすることができる。
【００７３】
[0088]  外部デバイスが通常モードから保護モードに切り替わったとき、ＨＭＤは、外部デバイス上に表示されたＵＩ中の少なくとも１つのコンポーネントを認識することができる。ＨＭＤはまた、認識した少なくとも１つのコンポーネントを含むＵＩを生成して、このＵＩを表示することができる。記述の便宜上、外部デバイスによって提供されるＵＩおよびＨＭＤによって提供されるＵＩを、それぞれ第１および第２のＵＩと呼ぶことにする。
【００７４】
[0089]  図５に、本発明による、ＵＩをＨＭＤおよび外部デバイス上に表示する一実施形態を示す。本発明の実施形態では、外部デバイス上に表示された第１のＵＩの全体が、第２のＵＩとしてＨＭＤ上に表示される。
【００７５】
[0090]  図５（ａ）を参照すると、事前設定済みアイコン５１１へのユーザ入力が受け取られると、外部デバイス５１０は保護モードに切り替わることができる。外部デバイス５１０が通常モードから保護モードに切り替わったとき、ＨＭＤ５２０は、第１のＵＩ５１３に関係するデータを外部デバイス５１０から受信し、第１のＵＩ５１３と同一の第２のＵＩ５２３を生成し、第２のＵＩ５２３を表示することができる。
【００７６】
[0091]  ＨＭＤ５２０は、第２のＵＩ５２３を生成するのに必要なデータを外部デバイス５１０から受信し、受信したデータに基づいて第２のＵＩ５２３を生成することができる。別法としてまたは追加で、ＨＭＤ５２０は、センサユニットによって取り込まれた外部デバイス５１０の画像から外部デバイス５１０の表示ユニットまたは画面を認識し、表示ユニット上もしくは画面上に表示された画像を使用するかまたはこの画像を編集することによって、第２のＵＩ５２３を生成することもできる。
【００７７】
[0092]  したがって、ユーザは、外部デバイス５１０によって提供されるＵＩ５１３と同一のＵＩ５２３を、ＨＭＤ５２０上で見ることができる。
【００７８】
[0093]  特に、キーパッドへの入力信号が受け取られると、第１のＵＩ５１３に含まれるコンポーネントのうちの１つであるウィンドウ５１５が、入力の状態を表すことができる。外部デバイス５１０が、入力信号に対応するデータをウィンドウ５１５上に表示したとき、このデータは、外部デバイス５１０の周囲の他の人々に晒されるおそれがある。したがって、外部デバイス５１０は、ウィンドウ５１５上に表示されるデータにセキュリティ処理を施し、それにより、ウィンドウ５１５上には入力状態のみが表示され、よって外部デバイス５１０の周囲の他の人々はデータの内容を見ることができない。
【００７９】
[0094]  他方、第２のＵＩ５２３に含まれるコンポーネント５２５、すなわち、キーパッドへの入力に対応するデータが出力されるウィンドウ５２５は、ＨＭＤ５２０を装着したユーザのみが見ることができるので、このデータにはセキュリティ処理が施されず、よって、入力状態および入力データを表示することができる。
【００８０】
[0095]  ユーザは、全ての必要なデータを第２のＵＩ５２３上で見ることができる。したがって、外部デバイス５１０は、第１のＵＩ５１３の表示エリアの上に保護レイヤを表示して、外部デバイス５１０の周囲の人々に情報が晒されないようにすることができる。保護レイヤは、第１のＵＩ５１３の上に表示されるレイヤであり、このレイヤは、第１のＵＩ５１３上に表示されるデータを見えなくするかまたは識別不可能にする。これについては、図８、９、および１０に関して述べる。
【００８１】
[0096]  図６に、本発明による、ＵＩをＨＭＤおよび外部デバイス上に表示する別の実施形態を示す。本発明の前述の実施形態では、ＨＭＤの第２のＵＩは、外部デバイスの第１のＵＩと同じである。この実施形態では、ＨＭＤの第２のＵＩは、外部デバイスの第１のＵＩのコンポーネントの一部のみを含む。
【００８２】
[0097]  図６を参照すると、外部デバイス６１０によって提供される第１のＵＩ６１１は、少なくとも１つのコンポーネントを含んでよい。ＨＭＤ６２０は、第１のＵＩ６１１中の、あるコンポーネントのみを認識することができる。認識されるコンポーネントは、キーパッド６１３、または、キーパッド６１３への入力信号に対応するデータを出力するウィンドウを含み得る。図６に示すように、ＨＭＤ６２０は、第１のＵＩ中のキーパッド６１３を認識し、認識したキーパッド６１３を含む第２のＵＩを生成する。
【００８３】
[0098]  次に、ＨＭＤ６２０中の第１のＵＩ６１１のコンポーネントを認識する一実施形態について述べる。外部デバイス６１０は、第１のＵＩ６１１に含まれる少なくとも１つのコンポーネントに関係するデータを記憶ユニットに記憶するか、またはこのデータを外部サーバから受信することができる。外部デバイス６１０は、少なくとも１つのコンポーネントに関係する、記憶または受信されたデータを、ＨＭＤ６２０に送信することができる。次いで、ＨＭＤ６２０は、受信したデータからコンポーネントを認識することができる。
【００８４】
[0099]  ＨＭＤ６２０中の第１のＵＩ６１１中のコンポーネントを認識する別の実施形態について以下に述べる。ＨＭＤ６２０は、外部デバイス６１０を検出するために取り込まれた画像中で、コンポーネントを認識することができる。言い換えれば、ＨＭＤ６２０は、取り込まれた外部デバイス６１０の画像から、外部デバイス６１０の表示ユニット上に表示された画像を、例えばシザリングによって切り離すことができ、切り離された画像中で第１のＵＩ中のコンポーネントのタイプを認識することができる。
【００８５】
[0100]  ＨＭＤ６２０は、認識したコンポーネントに対応する事前記憶済みコンポーネントを含む、第２のＵＩ６２１を生成することができる。または、ＨＭＤ６２０は、認識したコンポーネントの画像を使用または編集することによって、第２のＵＩ６２１を生成することができる。
【００８６】
[0101]  ＨＭＤ６２０は、外部デバイス６１０上に表示されている第１のＵＩ６１１の上に第２のＵＩ６２１が重ねられるように、第２のＵＩ６２１を表示することができる。
【００８７】
[0102]  すなわち、ＨＭＤ６２０は、外部デバイス６１０を検出するために取り込まれた画像を使用して、外部デバイス６１０の表示ユニット（または画面）を認識することができる。したがって、ＨＭＤ６２０は、第２のＵＩ６２１に含まれるコンポーネントが第１のＵＩ６１１のコンポーネント６１３の上に重ねられるように、第２のＵＩ６２１を表示することができる。
【００８８】
[0103]  ＨＭＤ６２０は、第２のＵＩ６２１を第１のＵＩ６１１の上に重ねる際に、ユーザの瞳孔のサイズ、第２のＵＩ６２１を見るのに用いられる光学システムのアイレリーフ、倍率、および視野（FOV）を考慮することができる。
【００８９】
[0104]  したがって、ユーザは、第２のＵＩ６２１が第１のＵＩ６１１と結合された画像全体を、１つのインタフェースとして知覚することができる。
【００９０】
[0105]  加えて、外部デバイス６１０は、第２のＵＩ６２１が上に重ねられた第１のＵＩ６１１のコンポーネント６１３上に、保護レイヤを表示することができる。保護レイヤの使用により、有利なことに、外部デバイス６１０上で出力されたデータがユーザの周囲の人々に晒される危険が低減する。これについては、図８、９、および１０に関してより詳細に後述する。
【００９１】
[0106]  図７に、本発明による、ＵＩをＨＭＤおよび外部デバイス上に表示する第３の実施形態を示す。本発明の第２の実施形態では、１つのコンポーネントのみが第１のＵＩ中で認識され、認識されたコンポーネントを用いて第２のＵＩが生成されるが、本発明の第３の実施形態では、第２のＵＩは、第１のＵＩに含まれる複数のコンポーネントを用いて生成される。
【００９２】
[0107]  図７（ａ）を参照すると、事前設定済みアイコン７１１へのユーザ入力信号が受け取られると、外部デバイス７１０は、通常モードから保護モードに切り替わることができる。前述のように、外部デバイスは、ユーザ入力以外のトリガによって通常モードから保護モードに切り替えられてもよい。
【００９３】
[0108]  外部デバイス７１０が保護モードに切り替わったとき、ＨＭＤ７２０は、少なくとも１つのコンポーネントを認識することができる。ＨＭＤ７２０は、少なくとも１つのコンポーネントを、様々な方式で、例えば、コンポーネントに関係するデータを外部デバイスから受信すること、または取り込まれた画像を処理することによって、認識することができる。認識されるコンポーネントの数は限定されない。図７（ｂ）に示すように、ＨＭＤ７２０は、複数のコンポーネントを認識することができる。
【００９４】
[0109]  図７（ｂ）では、第１のＵＩは、キーパッド７１５と、キーパッド７１５への入力信号に対応するデータを出力するためのウィンドウ７１３とを、コンポーネントとして含む。よって、第２のＵＩは、キーパッド７２３と、キーパッド７２３への入力信号に対応するデータを出力するためのウィンドウ７２１とを含むことができる。
【００９５】
[0110]  ここで留意すべきことの１つは、外部デバイス７１０が、第２のＵＩが上に重ねられた第１のＵＩのコンポーネント７１３および７１５の上に、保護レイヤを表示できることである。したがって、ユーザは、これら保護レイヤの表示エリア中のデータを見ることはできない。よって、ユーザは、ＨＭＤ７２０を装着して第１と第２のＵＩを同時に見るときにのみ、完全なＵＩを見ることができる。
【００９６】
[0111]  ユーザの周囲に他の人々がいたとしても、外部デバイスからはどんなデータも漏洩しない。さらに、第２のＵＩは第１のＵＩのコンポーネントの上に重なるので、ユーザは、単に第１と第２のＵＩを同時に見るだけで、どんな特別な手間もなしに１つの完全なＵＩをすぐに見ることができる。
【００９７】
[0112]  一方、ＨＭＤ７２０は、外部デバイスにおいて現在受け取られている入力信号に対応するデータを、第２のユーザ認証インタフェース上に表示することができる。
【００９８】
[0113]  ユーザのタッチ入力は、外部デバイスの第１のＵＩを介して受け取ることができる。対照的に、第２のＵＩは、ＨＭＤ７２０を介して表示された仮想インタフェースなので、ユーザのタッチ入力を受け取ることができない。
【００９９】
[0114]  このコンテキストで、本発明によれば、外部デバイス７１０は、ユーザのタッチ入力を第１のＵＩ上で受け取り、ＨＭＤ７２０は、ユーザのタッチ入力に対するフィードバックを第２のＵＩ上で提供する。
【０１００】
[0115]  図７（ｂ）では、ユーザが外部デバイス７１０のキーパッド７１５上の特定のキーに触れたとき、ＨＭＤ７２０は、触れられたキーを示すフィードバックとして、触れられたキー７２５を第２のＵＩ上に表示することができる。
【０１０１】
[0116]  ここで、ＨＭＤ７２０は、ユーザのタッチ入力に対応するデータを外部デバイス７１０から受信し、受信したデータに対応する特定のキーとして、触れられたキー７２５を表示することができる。または、ＨＭＤ７２０は、センサユニットを介してユーザのタッチ入力の位置を決定し、決定した位置に対応するキーを第２のＵＩ中で認識することによって、触れられたキー７２５を表示することもできる。ＨＭＤ７２０は、外部デバイス７１０から受信された画像から、または外部デバイス７１０を検出するために取り込まれた画像から、ユーザのタッチ入力によって選択されたキーを認識することができる。本発明は特定の方法に限定されない。そうではなく、選択されたキーは、他の様々な方式で認識されてもよい。
【０１０２】
[0117]  一方、外部デバイス７１０は、第２のＵＩが上に重ねられた第１のＵＩのコンポーネントの上に、保護レイヤを表示することができる。保護レイヤは、外部デバイスの周囲の人々が第１のＵＩ上に表示されたデータを見るのを困難にするために、第１のＵＩの上に表示されるレイヤである。よって、保護レイヤの表示エリアは、ユーザおよび他の人々には、暗い画面として知覚されるものとすることができる。
【０１０３】
[0118]  第１のＵＩ上に保護レイヤが表示された場合、ユーザのタッチ入力が第１のＵＩ上で受け取られるときに問題が生じることがある。
【０１０４】
[0119]  例えば、表示された保護レイヤの下にあるコンポーネントがキーパッドである場合、ユーザは、意図したキーを正しく入力するために、触れたキーを確認できるべきである。しかし、ユーザが第１のＵＩに触れるとき、ユーザは、第２のＵＩを見ながら意図したキーを見つけるのが困難な場合がある。
【０１０５】
[0120]  すなわち、ユーザのタッチ入力が第１のＵＩ上で受け取られる間、ユーザは、入力キーを第２のＵＩ７２３上で確認するであろう。入力インタフェース（第１のＵＩ）と、入力のために表示されたインタフェース（第２のＵＩ）との違いのせいで、ユーザは、タッチ入力を適用するのが困難に感じる場合がある。
【０１０６】
[0121]  したがって、本発明では、外部デバイスが保護レイヤを表示するとき、保護レイヤは、ユーザのタッチ入力を容易にするために様々な方式で表示されるものとすることができる。これについて、図８に関して詳細に述べる。
【０１０７】
[0122]  図８に、本発明による、外部デバイス中のＵＩのコンポーネントの上に保護レイヤを表示する一実施形態を示す。外部デバイス８００中の第１のＵＩのコンポーネントとしてキーパッドが認識され、認識されたキーパッドを用いて第２のＵＩが生成されると仮定する。
【０１０８】
[0123]  前述のように、外部デバイス８００は、第２のＵＩが上に重ねられた第１のＵＩのコンポーネントの上に、保護レイヤ８１０を表示することができる。第２のＵＩのコンポーネントがキーパッドを含む場合、保護レイヤ８１０は、第１のＵＩの輪郭を含むことができる。
【０１０９】
[0124]  したがって、ユーザが第１のＵＩのキーパッド上の特定のキーを識別することができなくても、ユーザは、輪郭に基づいて、第２のＵＩが上に重ねられた特定のキーを容易に見つけることができる。第１のＵＩの保護レイヤが輪郭を含むとき、ＨＭＤは、第２のＵＩをより透明にレンダリングすることによって、利用度の高いものとなる。すなわち、第２のＵＩがより透明になれば、ユーザは、合致する輪郭と、特定のキーを入力する自分の手とを見ることができ、よって、特定のキーを容易に入力することができる。
【０１１０】
[0125]  保護レイヤ８１０がキーパッドの輪郭を提供するので、ユーザは、第２のＵＩを見ながら第１のＵＩ上の特定のキーに触れるとき、特定のキーを他のキーから容易に識別することができる。
【０１１１】
[0126]  第２のＵＩがキーパッドをコンポーネントとして含むとき、第１のＵＩは、表示された保護レイヤ８１０の下にあるコンポーネントへのユーザのタッチ入力に対応する触覚フィードバックを提供することができる。したがって、外部デバイスは、タッチ入力を検出するためのセンサユニットと、タッチ入力に対応する触覚フィードバックを提供するための触覚フィードバックユニットとを備えてよい。
【０１１２】
[0127]  外部デバイスがユーザのタッチ入力を受け取って、タッチ入力に対応する触覚フィードバックを提供する場合、ユーザの把持（grip）の形状が重要である。外部デバイスがスマートフォンなどのポータブルデバイスである場合は特に、表示装置サイズの増大のせいで、ポータブルデバイスを片手で制御することは難しい。したがって、ユーザは、外部デバイス上におけるユーザの把持の形状に応じて、外部デバイスを便利に使用する場合または不便に使用する場合がある。
【０１１３】
[0128]  したがって、外部デバイス中の第１のＵＩのコンポーネントがキーパッドを含むとき、ＨＭＤは、取り込まれた画像から、外部デバイス上におけるユーザの把持の形状を検出することができる。加えて、ＨＭＤは、検出した把持形状に従って、事前設定済みコンポーネントを第２のＵＩ上で提供することができる。事前設定済みコンポーネントは、検出された把持形状に従ってユーザのタッチを容易にするようにそのレイアウトが調整されたキーパッドとすることができる。これについて、図９に関して詳細に述べる。
【０１１４】
[0129]  図９に、本発明による、ユーザの把持に従ってレイアウトが調整されたコンポーネントをＨＭＤ上に表示する一実施形態を示す。
【０１１５】
[0130]  第２のＵＩを生成するために認識された第１のＵＩのコンポーネントがキーパッドを含む場合、前述のように、ＨＭＤ９２０は、ＨＭＤ９２０によって取り込まれた画像から、外部デバイス９１０上におけるユーザの把持の形状を検出することができる。
【０１１６】
[0131]  ＨＭＤ９２０は、ユーザの把持の形状に従ってユーザの利便性を高めるように調整されたレイアウトを有するキーパッドを、記憶ユニットに記憶することができる。よって、検出された把持形状に従った事前設定済みレイアウトを有するキーパッドが、第２のＵＩ９２１のコンポーネントとして生成される。したがって、第２のＵＩ９２１に含まれるキーパッドのレイアウトは、第１のＵＩに含まれるキーパッドのレイアウトとは異なる場合がある。
【０１１７】
[0132]  ＨＭＤ９２０が第２のＵＩ９２１を表示するとき、外部デバイス９１０は、第２のＵＩ９２１が上に重ねられた第１のＵＩのコンポーネントの上に、保護レイヤ９１１を表示することができる。
【０１１８】
[0133]  図９（ａ）に示すように、保護レイヤ９１１は、第２のＵＩ９２１に含まれるキーパッドの輪郭を含むことができる。すなわち、第１と第２のＵＩに含まれるキーバッドのレイアウトが異なっていても、ユーザは第２のＵＩを見る。よって、保護レイヤ９１１は、第２のＵＩ９２１に含まれるキーパッドのレイアウトに対応する輪郭を含むことができる。
【０１１９】
[0134]  したがって、保護レイヤ９１１に含まれるキーパッドの輪郭は、第２のＵＩ９２１上に表示されるキーパッドの輪郭と合致する。加えて、キーパッドを含む第２のＵＩ９２１のコンポーネントは、保護レイヤ９１１の輪郭の上に重なることができる。
【０１２０】
[0135]  外部デバイス９１０は、第１のＵＩ上の保護レイヤ９１１へのユーザのタッチ入力に対応する触覚フィードバックを提供することができる。保護レイヤ９１１は、ユーザの把持の形状に従って調整された第２のＵＩのキーパッド輪郭を含むので、外部デバイス９１０は、保護レイヤ９１１に含まれる輪郭に従って調整された触覚フィードバックを提供することができる。
【０１２１】
[0136]  したがって、ユーザは、触覚フィードバックからキーパッドの輪郭を感じることができ、よって容易にキーに触れることができる。
【０１２２】
[0137]  ユーザは、異なるレイアウトを有するキーパッドを見ながら、第１のＵＩのキーパッドに触れる。したがって、ユーザのタッチ入力に対応するキー入力は、ＨＭＤによって取り込まれた画像から識別することができ、または、タッチ入力の位置に関する情報を外部デバイスから受信してこの位置情報をキーパッドと照合することによって識別することができる。
【０１２３】
[0138]  図９（ａ）には、本発明の一実施形態によるコンポーネントとして、ユーザの把持の形状に従って調整されたレイアウトを有するキーパッドを示す。図９（ｂ）には、本発明の一実施形態によるコンポーネントとして、ユーザの把持の形状に従って調整されたレイアウトを有する電話関連メニューを示す。ＨＭＤ９２０が、ユーザ入力についての少なくとも１つの選択オプションを有するメニューをコンポーネントとして表示する場合、ＨＭＤ９２０は、ユーザの把持の形状に従ってメニューのレイアウトを変更することができる。
【０１２４】
[0139]  したがって、第２のＵＩを生成するために認識された第１のＵＩのコンポーネントが、少なくとも１つの選択オプションを有するメニューを含むとき、ＨＭＤ９２０は、取り込まれた画像を使用して、外部デバイス９１０上におけるユーザの把持の形状を検出することができる。
【０１２５】
[0140]  ＨＭＤ９２０は、ユーザの把持の形状に従ってユーザが使いやすいように調整されたレイアウトを有するメニューを、記憶ユニットに記憶することができ、または、検出時にメニューのレイアウトを調整し、レイアウト調整されたメニューを第２のＵＩ９２３のコンポーネントとして生成することができる。
【０１２６】
[0141]  ＨＭＤ９２０が第２のＵＩ９２３を表示するとき、外部デバイス９１０は、第２のＵＩ９２３が上に重ねられた第１のＵＩのコンポーネントの上に、保護レイヤ９１３を表示することができる。図９（ｂ）に示すように、保護レイヤ９１３は、検出された把持形状に従って調整されたメニューの輪郭を含むことができる。
【０１２７】
[0142]  したがって、保護レイヤ９１３に含まれるメニューの輪郭は、第２のＵＩ９２３上に表示されたメニューの輪郭に合致する。すなわち、第２のＵＩ９２３のメニューを含むコンポーネントを、保護レイヤ９１３に含まれる輪郭の上に重ねることができる。
【０１２８】
[0143]  加えて、外部デバイス９１０は、第１のＵＩを介した保護レイヤ９１３へのユーザのタッチ入力に対応する触覚フィードバックを提供することができる。保護レイヤ９１３は、第２のＵＩ９２３中の、ユーザの把持の形状に従って調整されたメニューの輪郭を含むので、外部デバイス９１０は、保護レイヤ９１３に含まれる輪郭に従って調整された触覚フィードバックを提供することができる。
【０１２９】
[0144]  外部デバイス上に表示される保護レイヤは暗い画面であり、それによりユーザは保護レイヤの表示エリア中のデータを見ないであろうことを、本発明の一実施形態により上述した。一方、外部デバイス上のデータにプライバシ保護が必要とされるにもかかわらず、ユーザがこのデータを見たい場合もある。したがって、本発明は、保護レイヤの表示プロパティをユーザが制御できるようにする外部デバイスを提供する。
【０１３０】
[0145]  図１０に、本発明による、外部デバイス上の保護レイヤの表示プロパティを制御する一実施形態を示す。
【０１３１】
[0146]  本発明によれば、外部デバイスは、表示された保護レイヤの下にあるコンポーネントに関するユーザの入力に従って保護レイヤの表示プロパティを調整するためのインタフェースを、第１のＵＩに設けることができる。
【０１３２】
[0147]  図１０（ａ）を参照すると、暗い画面の形をとる保護レイヤ１０１３を表示している間、第１のＵＩは、保護レイヤ１０１３の透明度をユーザが調整できるようにするためのインタフェース１０１１を提供することができる。ユーザがインタフェース１０１１を操作して保護レイヤ１０１３の透明度を調整すると、外部デバイスは、図１０（ｂ）に示すように、透明な保護レイヤ１０２３を表示することができる。
【０１３３】
[0148]  図１０では、本発明の実施形態により保護レイヤの表示プロパティは透明度として示されているが、表示プロパティは、透明度に限定されず、彩度と透明度のうちの少なくとも一方を含み得る。
【０１３４】
[0149]  一方、本発明では、外部デバイスは特定のデバイスに限定されない。よって、外部デバイスは、表示ユニットが設けられネットワークを介してＨＭＤに接続可能である限り、任意のデバイスとすることができる。しかし、外部デバイスが特定のデバイスである場合は、その利用度が高まる。これについて、図１１〜１４に関して述べる。
【０１３５】
[0150]  図１１に、本発明による、スマートＴＶである外部デバイスの一実施形態を示す。
【０１３６】
[0151]  スマートＴＶの急速な増加に伴い、ますます多くのユーザがスマートＴＶを使用している。スマートＴＶは、ビデオオンデマンド（VOD）ならびに地上放送において多様なタイプのコンテンツを提供するので、ユーザはますます多くの有料コンテンツを享受する。結果的に、図１１（ａ）に示すように、ユーザがスマートＴＶ１１１０を見ることになるとき、ユーザは多くの場合、ユーザＩＤおよびパスワードを入力すべきである。ユーザＩＤおよびパスワードを受け取るための第１のＵＩ１１１１をスマートＴＶ１１１０が提供すると、ユーザは、リモートコントローラ１１２０を使用してユーザＩＤおよびパスワードを入力することができる。
【０１３７】
[0152]  限られた空間内で所定数のユーザのみがスマートＴＶ１１１０を使用する環境にもかかわらず、コンテンツは、コンテンツのタイプに従って特定のユーザのみに制限されることがある。必要時には、ユーザＩＤおよびパスワードは、付近の人々に晒されることから保護されるべきである。しかし、ユーザがリモートコントローラ１１２０を使用してユーザＩＤおよびパスワードを入力するとき、図１１（ａ）に示すように、特定の入力キーが拡大されて表示され、よってユーザＩＤおよびパスワードが開示される。
【０１３８】
[0153]  したがって、図１１（ｂ）に示すように、本発明のＨＭＤ１１３０は、スマートＴＶ１１１０のコンポーネントを認識して、認識したコンポーネントを第２のＵＩ１１３１上で提供することができる。第２のＵＩ１１３１は、スマートＴＶ１１１０上に表示されている第１のＵＩのコンポーネントの上に重ねられるものとすることができる。スマートＴＶ１１１０は、第２のＵＩ１１３１が上に重ねられた第１のＵＩのコンポーネントの上に、保護レイヤを表示することができる。
【０１３９】
[0154]  スマートＴＶ１１１０は、リモートコントローラ１１２０を介してユーザ入力を受け取ることができ、ＨＭＤ１１３０は追加的に、現在受け取られている入力信号に対応するデータを第２のＵＩ１１３１上で提供することができる。
【０１４０】
[0155]  図１２に、本発明による、ディジタルドアロックである外部デバイスの別の実施形態を示す。
【０１４１】
[0156]  図１２（ａ）に示すディジタルドアロック１２１０は、最近、オフィスやアパートメントで一般的になってきた。事前設定済みのパスワードがディジタルドアロック１２１０の第１のＵＩ１２１１に入力されると、ディジタルドアロック１２１０は解除される。しかし、ディジタルドアロック１２１０は外部に露出しているので、ユーザがパスワードを入力している間にパスワードが部外者に晒される可能性が高い。
【０１４２】
[0157]  したがって、本発明では、ＨＭＤ１２２０が、パスワードを入力するためのコンポーネントを第１のＵＩ１２１１上で認識し、認識したコンポーネントを含む第２のＵＩ１２２１を提供する。ディジタルドアロック１２１０は、第１のＵＩ１２１１上に保護レイヤ１２１３を表示することができる。
【０１４３】
[0158]  図１２（ｂ）に示すように、第２のＵＩ１２２１に含まれるキーパッドは、第１のＵＩに含まれるキーパッドのレイアウトとは異なるレイアウトを有するように構成されてよい。よって、ユーザがパスワードを入力するのを部外者が見たとしても、部外者は、入力されたキーを識別することができない。したがって、パスワードが晒されることはない。
【０１４４】
[0159]  加えて、第１のＵＩ１２１１上に表示された保護レイヤ１２１３は、コンポーネントの輪郭を含むことができる。第１のＵＩ１２１１はさらに、ユーザのタッチ入力に対応する触覚フィードバックを提供することもできる。
【０１４５】
[0160]  図１３に、本発明による、スマートフォンである外部デバイスの別の実施形態を示す。
【０１４６】
[0161]  外部デバイスがポータルデバイスであり、ＨＭＤによる第２のＵＩの生成のために認識されるコンポーネントが、キーパッドと、キーパッドへの入力に対応するデータを出力するためのウィンドウとであると述べた。
【０１４７】
[0162]  しかし、キーパッドおよびウィンドウ以外の多くのコンポーネントがデータ保護を必要とすることもある。図１３（ａ）を参照すると、ポータブルデバイスがスマートフォン１３１０である場合、メッセージがソーシャルネットワーキングサービス（SNS）によってユーザ間で送受信されるときに、スマートフォン１３１０は、メッセージ送受信履歴を表示するコンポーネント１３１１を提供することがある。多くの場合にメッセージは個人データを搬送するので、これらはプライバシ保護をしばしば必要とする。
【０１４８】
[0163]  したがって、ＨＭＤ１３２０が、メッセージ送受信履歴を表示するためのコンポーネント１３１１を認識し、コンポーネント１３１１を第２のＵＩ１３２１上で提供することができる。スマートフォン１３１０は、コンポーネント１３１１の上に保護レイヤ１３１３を表示することができる。
【０１４９】
[0164]  したがって、ユーザは、公共の場所でも、メッセージ漏洩を心配することなく、別のユーザとの間でメッセージをより便利に送信または受信することができる。さらに、本発明によれば、ＨＭＤおよび外部デバイスは、外部へのデータ露出を防止することができ、それによりセキュリティを強化することができる。
【０１５０】
[0165]  図１４に、本発明による、現金自動預け払い機（ATM）である外部デバイスのさらに他の実施形態を示す。
【０１５１】
[0166]  ＡＴＭは、公共の場所に設置されている。したがって、ユーザがＡＴＭ１４１０の第１のＵＩ１４１１上で口座のパスワードを入力するとき、ユーザは常に、パスワードが付近の人に晒されないように気を付けるべきである。
【０１５２】
[0167]  したがって、ＨＭＤ１４２０が、パスワードを入力するのに必要とされるコンポーネントを第１のＵＩ１４１１中で認識し、認識したコンポーネントを第２のＵＩ１４２１中で提供することができる。第２のＵＩ１４２１は、第１のＵＩ１４１１の上に重ねられるものとすることができる。したがって、ユーザは、第１および第２のＵＩ１４１１および１４２１を見ながら、ＡＴＭを扱うことができる。したがって、ユーザ利便性を高めることができる。
【０１５３】
[0168]  ＡＴＭ１４１０はユーザ入力を受け取るので、第１のＵＩ１４１１は、付近の人が入力データを識別できないように、保護レイヤ１４１３を表示することができる。
【０１５４】
[0169]  図１５は、本発明の一実施形態による、ＨＭＤを制御する方法を示すフローチャートである。図１５を参照しながら、個人情報を保護するためにネットワークを介して外部デバイスに接続されたＨＭＤを制御する方法の一実施形態について以下に述べる。
【０１５５】
[0170]  図１５を参照すると、ＨＭＤは、センサユニットによって取り込まれた画像中で外部デバイスを検出することができる（Ｓ１５００）。ＨＭＤは、取り込まれた画像を処理することによって、または、ＨＭＤの位置および方向ならびに外部デバイスの位置を使用して、外部デバイスを検出することができる。外部デバイスは、ネットワークを介してＨＭＤに接続されている。外部デバイスは、第１のＵＩを表示できる全ての可能なデバイスをカバーする。
【０１５６】
[0171]  ＨＭＤは、外部デバイスの第１のＵＩの少なくとも１つのコンポーネントを認識することができる（Ｓ１５１０）。図４に関して上述したように、少なくとも１つのコンポーネントは、キーパッドと、キーパッドへの入力信号に対応するデータを出力するためのウィンドウと、少なくとも１つの選択オプションを含むユーザメニューと、事前設定済みデータを表示するためのウィンドウと、のうちの少なくとも１つを含み得る。
【０１５７】
[0172]  加えて、ＨＭＤは、図６に関して上述したようにＨＭＤによって取り込まれた画像を使用して、または外部デバイスから受信されたコンポーネント情報を使用して、画像処理および認識方法によって第１のＵＩの少なくとも１つのコンポーネントを認識することもできる。
【０１５８】
[0173]  図５、６、および７に関して上述したように、ＨＭＤは、認識された少なくとも１つのコンポーネントを含む第２のＵＩを生成して表示することができる（Ｓ１５２０）。表示された第２のＵＩは、外部デバイスの検出元である画像を使用して、外部デバイスの上に表示されている第１のＵＩの上に重ねられてよい。
【０１５９】
[0174]  図８に関して上述したように、外部デバイスは、第２のＵＩが上に重ねられた第１のＵＩのコンポーネントの上に、保護レイヤを表示することができる。第１のＵＩは、図１０に関して上述したように、ユーザ入力に従って保護レイヤの表示プロパティを調整するためのインタフェースを含んでよい。
【０１６０】
[0175]  ＨＭＤは、図５に関して上述したように、外部デバイスにおいて現在受け取られている入力信号に対応するデータを、第２のＵＩ上に表示することができる（Ｓ１５３０）。したがって、ＨＭＤと、ネットワークを介してＨＭＤと対話する外部デバイスとは、外部デバイスに入力されたデータが付近の人に晒される危険を低減することができる。
【０１６１】
[0176]  発明の形態
発明を実施するための形態において、様々な実施形態について述べた。
【産業上の利用可能性】
【０１６２】
[0177]  本発明は、ＨＭＤ、およびこれを制御する方法を提供する。
【０１６３】
[0179]  便宜上、本発明を別個の図面に関して述べたが、図面において述べた実施形態によって新しい実施形態を実現することもできる。必要時には、本発明の前述の実施形態を実現するためのプログラムが書き込まれた、コンピュータによって読取り可能な記録媒体を設計することも、本発明の範囲内に入るであろう。
【０１６４】
[0180]  前述の例示的な実施形態による、ＨＭＤおよびこれを制御する方法は、本明細書に示す例示的な実施形態に制限されない。したがって、本明細書に示す例示的な実施形態の変形および組合せも、本発明の範囲内に入るであろう。
【０１６５】
[0181]  前述の例示的な実施形態による、ＨＭＤを制御する方法は、コンピュータ可読記録媒体に書き込むことができしたがってプロセッサによって読み取ることができるコードとして、実現することができる。コンピュータ可読記録媒体は、コンピュータによって読取り可能な方式でデータが記憶される任意のタイプの記録デバイスとすることができる。コンピュータ可読記録媒体の例は、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光学データ記憶装置、および搬送波（例えば、インターネットを介した伝送）を含む。コンピュータ可読コードが非集中方式でコンピュータ可読記録媒体に書き込まれコンピュータ可読記録媒体から実行されるように、コンピュータ可読記録媒体は、ネットワークに接続された複数のコンピュータシステムに分散させることができる。本明細書における実施形態を実現するためのプログラム、コード、およびコードセグメントは、当業者によって解釈することができる。
【０１６６】
[0182]  本発明をその例示的な実施形態に関して特に図示および記述したが、後続の特許請求の範囲によって定義される本発明の主旨および範囲を逸脱することなく、形および詳細における様々な変更を本発明に加えることもできることは、当業者には理解されるであろう。
【図１】
2016506530.tif 000003
【図２】
2016506530.tif 000004
【図３】
2016506530.tif 000005
【図４】
2016506530.tif 000006
【図５】
2016506530.tif 000007
【図６】
2016506530.tif 000008
【図７】
2016506530.tif 000009
【図８】
2016506530.tif 000010
【図９】
2016506530.tif 000011
【図１０】
2016506530.tif 000012
【図１１】
2016506530.tif 000013
【図１２】
2016506530.tif 000014
【図１３】
2016506530.tif 000015
【図１４】
2016506530.tif 000016
【図１５】
2016506530.tif 000017
【国際調査報告】
2016506530.tif 000018
2016506530.tif 000019
2016506530.tif 000020
2016506530.tif 000021
2016506530.tif 000022
2016506530.tif 000023