(57)【要約】【課題】使い勝手のよい電子機器を提供する。【解決手段】本発明の電子機器は、撮像部（１０１）が撮像した画像に基づいて、ユーザのタスク実行を補助する情報を取得する取得部（１１１）と、前記取得部が取得した前記補助する情報を表示部（１０２）に表示させる表示制御部（１１１）と、を備えている。【選択図】図１
2016045724.tif 000002
【特許請求の範囲】
【請求項１】
撮像部が撮像した画像に基づいて、ユーザのタスク実行を補助する情報を取得する取得部と、
前記取得部が取得した前記補助する情報を表示部に表示させる表示制御部と、を備える電子機器。
【請求項２】
前記表示制御部は、前記表示部に前記撮像部が撮像する画像と、前記補助する情報とを同時に表示することを特徴とする請求項１に記載の電子機器。
【請求項３】
前記表示部は、前記ユーザの目の前に位置するように装着可能であり、
前記表示制御部は、前記補助する情報を前記ユーザの実視界に重畳させて表示することを特徴とする請求項１に記載の電子機器。
【請求項４】
前記取得部は、前記撮像部が撮像した画像から輪郭情報及び色情報の少なくとも一方を、前記補助する情報として取得することを特徴とする請求項１〜３のいずれか一項に記載の電子機器。
【請求項５】
前記撮像部が図形を撮像した場合に、
前記取得部は、前記図形に付加する情報を記憶部から取得することを特徴とする請求項１〜３のいずれか一項に記載の電子機器。
【請求項６】
前記撮像部が文字または表示された画像を撮像した場合に、
前記取得部は、前記文字又は前記表示された画像に関連する情報を記憶部から取得することを特徴とする請求項１〜３のいずれか一項に記載の電子機器。
【請求項７】
前記撮像部が器具を撮像した場合に、
前記取得部は、前記器具を操作する情報を記憶部から取得することを特徴とする請求項１〜３のいずれか一項に記載の電子機器。
【請求項８】
前記取得部は、ユーザの属性に応じて、取得する情報を異ならせることを特徴とする請求項１〜７のいずれか一項に記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器に関する。
【背景技術】
【０００２】
従来より、各種携帯端末が提案されており、最近では顔の近傍に装着する携帯端末も提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２０１３／００４４０４２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記各種携帯端末においては、利便性向上のための技術に関し、種々検討の余地がある。
【０００５】
本発明は上記の課題に鑑みてなされたものであり、使い勝手のよい電子機器を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の電子機器は、撮像部（１０１）が撮像した画像に基づいて、ユーザのタスク実行を補助する情報を取得する取得部（１１１）と、前記取得部が取得した前記補助する情報を表示部（１０２）に表示させる表示制御部（１１１）と、を備えている。
【０００７】
この場合において、前記表示制御部は、前記表示部に前記撮像部が撮像する画像と、前記補助する情報とを同時に表示することとしてもよい。また、前記表示部は、前記ユーザの目の前に位置するように装着可能であり、前記表示制御部は、前記補助する情報を前記ユーザの実視界に重畳させて表示することとしてもよい。
【０００８】
本発明の電子機器において、前記取得部は、前記撮像部が撮像した画像から輪郭情報及び色情報の少なくとも一方を、前記補助する情報として取得することとしてもよい。また、前記撮像部が図形を撮像した場合に、前記取得部は、前記図形に付加する情報を記憶部（１１２）から取得することとしてもよい。また、前記撮像部が文字または表示された画像を撮像した場合に、前記取得部は、前記文字又は前記表示された画像に関連する情報を記憶部（１１２）から取得することとしてもよい。また、前記撮像部が器具を撮像した場合に、前記取得部は、前記器具を操作する情報を記憶部（１１２）から取得することとしてもよい。
【０００９】
本発明の電子機器において、前記取得部は、ユーザの属性に応じて、取得する情報を異ならせることとしてもよい。
【００１０】
なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。
【発明の効果】
【００１１】
本発明は、使い勝手のよい電子機器を提供することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係る装着装置の構成を示すブロック図である。
【図２】装着装置の斜視図である。
【図３】教科書の一例を示す図である。
【図４】第１の実施形態に係る制御部の処理を示すフローチャート（その１）である。
【図５】黒塗り表示した場合のユーザの実視界の一例を示す図である。
【図６】黒塗り表示をなぞった場合の表示例を示す図である。
【図７】第１の実施形態に係る制御部の処理を示すフローチャート（その２）である。
【図８】手書き入力が可能な入力インタフェースの例を示す図である。
【図９】手書き入力について説明するための図である。
【図１０】成績ＤＢの一例を示す図である。
【図１１】入力インタフェースの別例を示す図である。
【図１２】図１２（ａ）は、第１の実施形態の変形例１において用いる重要部分ＤＢの一例を示す図であり、図１２（ｂ）は、第１の実施形態の変形例１の表示例を示す図である。
【図１３】第１の実施形態の変形例１の別例を示す図である。
【図１４】第１の実施形態の変形例２において用いる重要部分ＤＢの一例を示す図である。
【図１５】図１５（ａ）、図１５（ｂ）は、第１の実施形態の変形例２の表示例を示す図である。
【図１６】図１６（ａ）は、第１の実施形態の変形例３において用いるリンクＤＢの一例を示す図であり、図１６（ｂ）は、第１の実施形態の変形例３の表示例を示す図である。
【図１７】図１７（ａ）は、第１の実施形態の変形例４において用いる単語帳の一例を示す図であり、図１７（ｂ）は、第１の実施形態の変形例４の表示例を示す図（その１）である。
【図１８】図１８（ａ）は、第１の実施形態の変形例４の表示例を示す図（その２）である。図１８（ｂ）は、第１の実施形態の変形例４の表示例を示す図（その３）である。
【図１９】図１９（ａ）、図１９（ｂ）は、”listening”ボタン、“pronunciation”ボタンが押された場合を説明するための図である。
【図２０】第２の実施形態に係る制御部の処理を示すフローチャートである。
【図２１】図２１（ａ）は、第２の実施形態で用いる書き取りノートの一例を示す図であり、図２１（ｂ）は、第２の実施形態の表示例を示す図（その１）である。
【図２２】図２２（ａ）は、第２の実施形態の表示例を示す図（その２）である。図２２（ｂ）は、第２の実施形態の表示例を示す図（その３）である。
【図２３】図２３（ａ）、図２３（ｂ）は、第２の実施形態の変形例（ユーザのタスクが数学の問題に対する解答作成の場合）を説明するための図（その１）である。
【図２４】図２４（ａ）、図２４（ｂ）は、第２の実施形態の変形例（ユーザのタスクが数学の問題に対する解答作成の場合）を説明するための図（その２）である。
【図２５】図２５（ａ）、図２５（ｂ）は、第２の実施形態の変形例（ユーザのタスクが絵画を描くことである場合）を説明するための図（その１）である。
【図２６】第２の実施形態の変形例（ユーザのタスクが絵画を描くことである場合）を説明するための図（その２）である。
【図２７】図２７（ａ）、図２７（ｂ）は、第２の実施形態の変形例（ユーザのタスクが絵画を描くことである場合）を説明するための図（その３）である。
【図２８】図２８（ａ）、図２８（ｂ）は、第２の実施形態の変形例（ユーザのタスクがピアノを弾くことである場合）を説明するための図である。
【図２９】図２９（ａ）は、第３の実施形態に係る電子機器の平面図であり、図２９（ｂ）は、第３の実施形態に係る電子機器のブロック図である。
【図３０】図３０（ａ）は、第３の実施形態で用いるリンクＤＢの一例を示す図であり、図３０（ｂ）は、第３の実施形態の制御部が実行する処理を示すフローチャートである。
【図３１】第３の実施形態において、ユーザの視線とリンク元の単語とが一致した場合を示す図である。
【図３２】第３の実施形態において、表示部にリンク情報を表示した場合を示す図である。
【発明を実施するための形態】
【００１３】
《第１の実施形態》
以下、第１の実施形態に係る装着装置について、図１〜図１１に基づいて、詳細に説明する。図１には、第１の実施形態に係る装着装置１０の構成がブロック図にて示されている。また、図２には、装着装置１０が斜視図にて示されている。
【００１４】
装着装置１０は、ユーザが身体（顔）に装着する端末であり、図２に示すように、眼鏡型のフレーム１２０を備えている。装着装置１０は、図１に示すように、撮像部１０１と、表示部１０２と、操作部１０３と、マイク１０４と、スピーカ１０５と、網膜検出部１０７と、視線検出部１０８と、記憶部１１２と、通信部１１０と、制御部１１１と、を備える。なお、図１において図示され、図２において図示されていない装着装置１０の構成は、フレーム１２０の内部や、フレーム１２０の一部に設けられているものとする。
【００１５】
撮像部１０１は、レンズ、撮像素子、画像処理部などを備え、静止画や動画を撮像するものである。撮像部１０１は、図２に示すようにフレーム１２０の端部近傍（ユーザの右目近傍）に設けられている。このため、ユーザが装着装置１０を装着した状態では、ユーザが向いている（見ている）方向の画像を撮像することができる。
【００１６】
表示部１０２は、フレーム１２０内部又はフレーム１２０近傍に設けられたプロジェクタと、プロジェクタからの投影像をユーザの目に導くためのプリズムとを有している。表示部１０２は、ユーザが装着装置１０を装着した状態において、ユーザの目の前（ユーザの目に対向する位置）に位置するようになっており、制御部１１１の制御の下、各種情報をユーザが視認できるように表示（提示）する。なお、表示部１０２の表示範囲は、ユーザの実視界とほぼ同一の範囲となっている。なお、図２に示す表示部１０２は一例であって、大きさやデザインは適宜変更することができる。
【００１７】
操作部１０３は、フレーム１２０に設けられたタッチパッドであり、ユーザの指の動きを検知して、ユーザからの操作を受け付け、受け付けた操作情報を制御部１１１に送信する。なお、撮像部１０１、表示部１０２、操作部１０３などについては、例えば米国特許出願公開第２０１３／００４４０４２号明細書にもその詳細が開示されている。すなわち、本実施の形態において、操作部１０３は接触式の操作部である。
【００１８】
マイク１０４は、フレーム１２０に設けられ、ユーザが発した音声を収集する。マイク１０４が収集した音声は、制御部１１１に入力される。制御部１１１は、マイク１０４が収集した音声を音声認識し、音声認識結果に基づく処理（例えば、コマンドの実行処理など）を実行する。なお、装着装置１０は、マイク１０４が収集した音声を音声認識する音声認識部を備えていてもよい。
【００１９】
スピーカ１０５は、例えば、フレーム１２０に設けられ、制御部１１１の制御の下、音声を出力する音声出力装置である。なお、スピーカ１０５としては、イヤホンやヘッドホンのほか、指向性があり、主に装着装置１０を装着するユーザの耳に向けて音声情報を提供することが可能なスピーカなどを採用することができる。
【００２０】
網膜検出部１０７は、赤外線照射部と、赤外線受光部と、を有する。網膜検出部１０７は、赤外線照射部から眼球に対して赤外線を照射し、眼球にて反射した赤外線を赤外線受光部において受光することで、網膜上の血管の経路を検出（スキャン）する。網膜検出部１０７は、検出結果を制御部１１１に出力する。なお、図２では、一例として、ユーザが装着装置１０を装着した状態で、網膜検出部１０７がユーザの右目近傍に位置するように設定されている。制御部１１１では、網膜検出部１０７の検出結果を利用して、装着装置１０を使用しているユーザを特定する。なお、各ユーザの網膜情報は、記憶部１１２に記憶されているものとする。
【００２１】
視線検出部１０８は、上述の赤外線照射部からの光を角膜で反射させてユーザの視線方向を検出する。視線検出には、この角膜反射法に加え、角膜と強膜との光に対する反射率の差を利用するリンバストラッキング法、眼球の映像をカメラで撮像して画像処理により視線を検出する画像解析法などがあり、本実施形態ではいずれの視線検出方法を用いることとしてもよい。視線検出部１０８は、ユーザの視線を検出し、ユーザの視線をユーザからの操作として受け付け、受け付けた操作情報を制御部１１１に送信する。
【００２２】
記憶部１１２は、例えば、フラッシュメモリ等の不揮発性の半導体メモリであり、撮像部１０１が撮像した画像データや、表示部１０２に表示する表示データなどを記憶する。また、記憶部１１２は、制御部１１１が装着装置１０を使用しているユーザを特定する際に利用する、各ユーザの網膜情報を記憶する。更に、記憶部１１２は、図１０に示すような成績ＤＢを記憶する。
【００２３】
成績ＤＢは、ユーザが装着装置１０の後述する“テストモード”を利用して教科書の学習を行った場合の成績を管理するデータベースであり、図１０に示すように、ユーザ名、科目名、書籍名、ページ、解答数、正答数、正答率、ランクの各フィールドを有する。ユーザ名のフィールドには、装着装置１０を利用するユーザの氏名等が格納される。科目名のフィールドには、教科書の科目名が格納される。また、書籍名のフィールドには、ユーザが学習を行った教科書の名称が格納され、ページのフィールドには、ユーザが学習を行ったページの番号が格納される。また、解答数及び正答数のフィールドには、ユーザが回答した数と、正答した数が格納され、正答率のフィールドには、教科書ごとの正答率（＝正答数／解答数）が格納される。また、ランクのフィールドには、正答数から導き出される各科目のランク（得意、不得意の度合い）が格納される。
【００２４】
図１に戻り、通信部１１０は、他の機器と無線通信（携帯電話回線や無線ＬＡＮ（Local Area Network）等を用いた通信）、近接通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ(Radio Frequency Identification)、ＴｒａｎｓｆｅｒＪｅｔ（登録商標））、または、ユーザ（人体）を介して通信する人体通信を行う。なお、人体通信には、人体に微弱な電流を流して、その電流を変調して情報を伝達する電流方式や、人体の表面に誘起する電界を変調して情報を伝達する電界方式などがあり、いずれの方式を用いることも可能である。
【００２５】
制御部１１１は、装着装置１０全体を統括的に制御する。制御部１１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備える。なお、制御部１１１の制御の一部を外部のサーバを用いて処理するようにしてもよい。この場合、制御部１１１は、通信部１１０を用いて各種データを外部のサーバに送信し、外部サーバによる処理結果を受信するようにすればよい。また、装着装置１０に位置データを取得する位置検出部（例えばＧＰＳモジュール）や、方位を検出する方位検出部のようなセンサを設け、ユーザの位置やユーザが向いている方位を検出するようにしてもよい。
【００２６】
次に、本第１の実施形態の装着装置１０による処理について、図３〜図１０に基づいて詳細に説明する。なお、本第１の実施形態では、装着装置１０を装着したユーザが図３に示すような日本史の教科書を閲覧した状態で、制御部１１１が実行する処理について説明する。図３に示す教科書においては、各ページの左上と右下に所定のマーク（図３では●）が付されている。このマークは、各ページの範囲を特定するためのマークである。また、図３の教科書の各ページの左下には、２次元コード（ＱＲコード（登録商標））が付されている。この２次元コードには、教科書の属性（科目、教科書名、出版社など）の情報が含まれている。また、教科書の各ページにおいては、重要部分の前後に所定のマーク（図３では▼）が付されている。なお、重要部分の前後のマークを異なるマーク（例えば、▲と▼など）としてもよい。更に、教科書の各ページにはページ番号が付されている。
【００２７】
図４、図７には、本第１の実施形態における制御部１１１の処理がフローチャートにて示されている。図４は“学習モード”に関する処理であり、図７は、“テストモード”に関する処理である。なお、図４と図７の処理は同時並行的に実行される処理である。なお、図４、図７の処理の前提として、制御部１１１は、装着装置１０を利用するユーザの認証処理を、網膜検出部１０７の検出結果に基づいて、既に行っているものとする。
【００２８】
（図４の処理について）
図４の処理では、まず、ステップＳ１０において、制御部１１１は、“学習モード”に設定されるまで待機する。この場合、ユーザが操作部１０３等を介して、“学習モード”の設定を行うと、制御部１１１は、ステップＳ１２に移行する。なお、“学習モード”は、教科書を用いた学習を行うモードであり、当該モードでは、撮像部１０１は、常時、ユーザが見ている方向の画像を撮像するものとする。
【００２９】
ステップＳ１２に移行すると、制御部１１１は、教科書名、ページ番号等を認識するまで待機する。この場合、ユーザが教科書のあるページを見ることで、撮像部１０１が当該ページを撮影すると、制御部１１１は、撮影された画像に含まれる２次元コードから教科書名等を取得するとともに、ページ番号の情報を取得し、ステップＳ１４に移行する。
【００３０】
ステップＳ１４に移行すると、制御部１１１は、ユーザが見ている（撮像部１０１が撮像している）ページ内において、重要部分を認識したか否かを判断する。図３のように、撮像部１０１が撮像しているページ内（マーク（●）により規定される範囲内）において、所定のマーク（▼）を取得できる場合には、ステップＳ１４の判断が肯定され、ステップＳ１６に移行する。なお、ページ内に所定のマーク（▼）が存在しない場合には、ステップＳ１４の判断が否定され、ステップＳ２２に移行する。
【００３１】
ステップＳ１６に移行した場合、制御部１１１は、重要部分を黒塗り表示する。具体的には、制御部１１１は、２つの隣接するマーク（▼）の間を重要部分とみなして、当該重要部分が隠れるように（重要部分に重畳するように）、表示部１０２に黒塗り表示（マスク表示）させる。図５には、表示部１０２において黒塗り表示がされた場合の、ユーザの実視界範囲（見える範囲）を示している。図５に示すように、ユーザにとっては、各ページの重要部分が黒塗りされた状態で見えるようになっている。なお、制御部１１１は、撮像部１０１が撮影した画像に合わせて黒塗り部分を表示するので、黒塗り部分は、ユーザが顔を動かした場合でもマーク（重要部分）に追従するようになっている。
【００３２】
次いで、ステップＳ１８では、制御部１１１は、重要部分がなぞられたか否かを判断する。すなわち、制御部１１１は、撮像部１０１により撮像された画像を解析することにより、ユーザの指が重要部分（２つの隣接するマーク（▼）の間の部分）をなぞる動作を行ったか否かを判断する。このステップＳ１８の判断が否定された場合には、ステップＳ２２に移行するが、肯定された場合には、ステップＳ２０に移行する。
【００３３】
ステップＳ２０に移行すると、制御部１１１は、ユーザによってなぞられた部分の黒塗り表示を解除する。例えば、図５の上から３つ目の黒塗り部分をユーザがなぞったとする。この場合、制御部１１１は、図６において破線枠にて示すように、“冠位十二階”の部分の黒塗り表示を解除する。その後は、ステップＳ２２に移行する。
【００３４】
ステップＳ１４又はＳ１８の判断が否定された後、あるいはステップＳ２０の処理が実行された後、ステップＳ２２に移行すると、制御部１１１は、“学習モード”が終了であるか否かを判断する。すなわち、ユーザが操作部１０３等を介して“学習モード”の終了指示を入力すると、ステップＳ２２の判断は肯定され、制御部１１１は、図４の全処理を終了する。一方、ステップＳ２２の判断が否定された場合には、ステップＳ２４に移行し、制御部１１１は、ユーザが別ページを見たか否かを判断する。この場合、制御部１１１は、撮像部１０１により撮像されている画像内のページ番号が変更された場合に、ユーザが別ページを見たと判断する。このステップＳ２４の判断が否定された場合、ステップＳ１８に戻る。一方、ステップＳ２４の判断が肯定された場合、ステップＳ１４に戻る。ステップＳ１４に戻った場合には、制御部１１１は、新たに開かれたページの重要部分に対応する黒塗り表示を表示部１０２に表示させるなどの処理を実行する。
【００３５】
以上のように、“学習モード”において重要部分を黒塗り表示したり、ユーザの動作（なぞる動作）により黒塗り表示を解除したりすることで、ユーザは、教科書を用いた学習を効率的に行うことができる。この場合、暗記用のペンなどで重要部分を塗ったり、暗記用のシートを用いたりしなくても暗記用のペン、シートを用いた学習と同様の学習を行うことができる。
【００３６】
（図７の処理）
次に、図７の処理について説明する。図７の処理は、図４の処理において“学習モード”に設定されている間（ステップＳ１０の判断が肯定された後、ステップＳ２２の判断が肯定されるまでの間）に、図４の処理と並行して実行される処理である。
【００３７】
図７の処理では、まず、ステップＳ３０において、制御部１１１は、“テストモード”に設定されるまで待機し、ユーザからの入力により“テストモード”に設定された段階で、ステップＳ３２に移行する。なお、“テストモード”とは、ユーザの理解度を確かめるため、ユーザに黒塗り部分を解答させ、正解か否かを判定するモードである。
【００３８】
ステップＳ３２に移行すると、制御部１１１は、ユーザが重要部分に触れたか否かを判断する。この場合、制御部１１１は、撮像部１０１により撮像された画像を解析し、ユーザの指が重要部分をタッチしたと判断した場合に、ステップＳ３２の判断が肯定される。制御部１１１は、ステップＳ３２の判断が肯定された場合には、ステップＳ３４に移行するが、否定された場合には、ステップＳ４８に移行する。
【００３９】
ステップＳ３２の判断が肯定されてステップＳ３４に移行すると、制御部１１１は、入力インタフェースを表示部１０２に表示させる。具体的には、制御部１１１は、一例として、図８に示すような手書き入力が可能な入力インタフェース４２を表示部１０２に表示させる。ここで、図８の入力インタフェース４２には、入力文字表示欄４２ａ、削除ボタン４２ｂ、ＯＫボタン４２ｃ、手書き入力欄４２ｄが設けられている。なお、入力インタフェース４２は、枠や文字以外は透明表示となっているため、ユーザは、手書き入力欄４２ｄ内で指を動かすことで、タッチパネルと同様、手書き入力を行うことができる。制御部１１１は、撮像部１０１により撮像されるユーザの指の動きからユーザが手書きした文字を推定して入力文字表示欄４２ａにテキストを表示する（図９参照）。また、制御部１１１は、ユーザによって削除ボタンが押された場合には、入力文字表示欄４２ａ内のテキストを１文字削除し、ユーザによってＯＫボタンが押された場合には、入力文字表示欄４２ａ内のテキストをユーザの解答として扱うものとする。すなわち、制御部１１１は、ユーザがＯＫボタンを押すまでの間（ステップＳ３８が肯定されるまでの間）、ユーザからの入力受付を行う（Ｓ３６）。そして、ステップＳ３８の判断が肯定された場合には、ステップＳ４０に移行する。
【００４０】
ステップＳ４０に移行すると、制御部１１１は、入力された文字列と重要部分のテキストとが一致するか否かを判断する。この場合、制御部１１１は、入力文字表示欄４２ａに表示されているテキスト（例えば“推古天皇”）と、撮像部１０１により撮像された画像のうちユーザがタッチした重要部分を文字認識処理して得たテキスト（例えば“推古天皇”）とを比較する。このステップＳ４０の判断が肯定された場合には、ステップＳ４２に移行し、制御部１１１は、正解と判定し、その旨を表示部１０２に表示させる。一方、ステップＳ４０の判断が否定された場合には、ステップＳ４４に移行し、制御部１１１は、不正解と判定し、その旨を表示部１０２に表示させる。ステップＳ４２，Ｓ４４の後は、制御部１１１は、ステップＳ４６に移行する。
【００４１】
ステップＳ４６に移行すると、制御部１１１は、判定結果を成績ＤＢに格納する。例えば、ステップＳ４２を経た場合には、制御部１１１は、図１０の成績ＤＢのうち、該当する書籍名及びページに対応する解答数を＋１し、正答数を＋１する。一方、ステップＳ４４を経た場合には、制御部１１１は、図１０の成績ＤＢのうち、該当する書籍名及びページに対応する解答数を＋１する。また、制御部１１１は、更新後の解答数及び正答数を用いて、正答率を再計算し、ランクを再設定する。その後は、ステップＳ４８に移行する。
【００４２】
ステップＳ４６を経た後、又はステップＳ３２の判断が否定された後、ステップＳ４８に移行すると、制御部１１１は、“テストモード”が終了であるか否かを判断する。すなわち、ユーザが操作部１０３等を介して、“テストモード”の終了指示を入力すると、ステップＳ４８の判断は肯定され、制御部１１１は、図７の全処理を終了する。一方、ステップＳ４８の判断が否定された場合には、ステップＳ３２に戻り、ステップＳ３２以降の処理を繰り返す。
【００４３】
以上のように、“テストモード”では、制御部１１１は、ユーザが入力インタフェース４２上で入力した内容が、黒塗り表示した部分（重要部分）と一致するか否かを判断し、正解か否かを判断するので、教科書ごとのソフトウェアやデータベースを用意しなくても、既存の教科書（紙媒体）を用いてユーザの理解度の確認等（テスト）を行うことができる。
【００４４】
ここで、成績ＤＢでは、科目ごとのユーザのランクを管理しているので、当該ランクに基づいて、表示部１０２における表示方法を異ならせることもできる。例えば、ランクが高い（成績がよい）場合には、解答の制限時間を短く設定してもよい。また、ランクが低い（成績が悪い）場合には、時間の経過とともに黒塗り部分の面積を小さくしたり、黒塗り表示を虫食い状態にすることで、ユーザに解答させやすくしてもよい。
【００４５】
なお、図８、図９においては、入力インタフェース４２として、手書き入力可能な入力インタフェースを表示部１０２に表示させる場合について説明したが、これに限られるものではない。例えば、図１１に示すような、キーボード入力が可能な入力インタフェース４２’を表示部１０２に表示させることとしてもよい。制御部１１１は、図１１の入力インタフェース４２’に対する、ユーザの指の動きに応じてローマ字入力を検出し、ユーザの指による漢字変換ボタンを押す動作を検出した場合に、漢字変換を行うものとする。
【００４６】
以上、詳細に説明したように、本第１の実施形態によると、制御部１１１は、ユーザが閲覧する文書（例えば、教科書）の情報を撮像部１０１が撮影した画像から取得するとともに、文書の情報に基づいて、ユーザの目に対向する表示部１０２に文書の一部（例えば、重要部分）の見え方を異ならせる表示（例えば、黒塗り表示）を行わせる。これにより、ユーザが装着装置１０を装着することで、文書の一部が異なる見え方（重要部分がマスクされた状態）となるので、暗記ペンや暗記シートを用いる場合と同様の学習を行うことができ、ユーザの利便性が向上する。なお、本第１の実施形態では、制御部１１１は、重要部分を学習（暗記等）するというタスクを実行するため、当該学習を補助する情報（黒塗り表示）を表示部１０２に表示させているとも言える。
【００４７】
また、本第１の実施形態では、制御部１１１は、ユーザの属性（例えば成績ＤＢに格納されているユーザのランク）を取得し、該ユーザの属性に応じて、見え方を異ならせる部分（黒塗り部分）の範囲（虫食いにするか否か）や表示時間（制限時間）を異ならせる。このように、ユーザの属性（レベル等）に合わせた黒塗り部分の表示を行うことで、ユーザは、自己のレベルに合った学習を行うことが可能となる。
【００４８】
また、本第１の実施形態では、制御部１１１は、見え方を異ならせる表示（黒塗り表示）に対する入力インタフェース（図８、図９、図１１等参照）を表示部１０２上に表示する。これにより、ユーザは、黒塗り表示により隠れている教科書の重要部分の情報（解答）を入力することができる。
【００４９】
また、本第１の実施形態では、制御部１１１は、教科書を撮影する撮像部１０１の撮影結果（画像）に基づき教科書の情報を取得するので、ユーザが教科書の情報を手入力等しなくてもよいため、利便性が向上する。
【００５０】
なお、上記第１の実施形態では、制御部１１１は、ユーザの属性として成績ＤＢに格納されているユーザのランクを取得し、黒塗り部分の表示をランクに応じて異ならせる場合について説明したが、これに限られるものではない。例えば、制御部１１１は、ユーザの属性として、ユーザの年齢や学年、性別、志望校等の情報を取得し、該情報に基づいて黒塗り部分の表示を異ならせることとしてもよい。また、上記第１の実施形態では、制御部１１１が、ユーザのランクを成績ＤＢから取得する場合について説明したが、これに限らず、ユーザが手入力したランク（自己申告のランク）を取得してもよい。
【００５１】
なお、上記第１の実施形態では、制御部１１１は、所定のマーク（▼）が付された部分を黒塗り表示する場合について説明したが、これに限らず、例えば、教科書のうち、所定の色でマーキングされた部分を黒塗り表示することとしてもよい。これにより、ユーザが所定の色のペンでマーキングした部分を黒塗り表示させることができるので、ユーザが隠したい部分のみを黒塗り表示させることが可能となる。
【００５２】
なお、上記第１の実施形態では、制御部１１１は、ユーザの指の動きに基づいてユーザの解答を認識する場合について説明したが、これに限られるものではない。例えば、制御部１１１は、ユーザが発した音声をマイク１０４で取得し、音声認識することで、ユーザの解答を認識することとしてもよい。また、制御部１１１は、視線検出部１０８が検出したユーザの視線の動きに基づいて、ユーザの解答を認識することとしてもよい。
【００５３】
なお、上記第１の実施形態では、２次元コードにページ番号の情報が含まれていてもよい。この場合、同一書籍内でもページごとに２次元コードを異ならせる必要がある。
【００５４】
なお、上記第１の実施形態では、日本史の教科書において重要部分を黒塗り表示等する場合について説明したが、これに限らず、その他の社会科（世界史、地理、公民など）や、その他の科目（国語（現代文、古文、漢文等）、英語、理科（物理、化学、生物、地学等）、数学等）の書籍においても同様の処理を行うことが可能である。
【００５５】
なお、装着装置に代えて、スマートフォンなどの電子機器を用いる場合、スマートフォンの制御部は、撮像部によって教科書を撮影し、その撮影画像（ライブビュー画像）を表示部に表示するとともに、当該撮影画像に黒塗り表示を重畳させるようにしてもよい。すなわち、電子機器の制御部は、表示部に撮像部が撮像する画像と、黒塗り表示とを同時に表示することとしてもよい。このようにしても、上記第１の実施形態と同様の効果を得ることができる。
【００５６】
なお、上記第１の実施形態では、文書の一部の見え方を異ならせる表示として、黒塗り表示を例示したがこれに限られるものではない。例えば、黒塗り表示に代えて別の色のマスク表示を行ったり、モザイク表示を行うこととしてもよい。また、マスク表示に代えて、重要部分をハイライト表示することとしてもよい。
【００５７】
なお、上記第１の実施形態では、制御部１１１は、２次元コードから教科書の情報を取得する場合について説明したが、これに限られるものではない。例えば、教科書に埋め込まれた近接通信可能な通信部との間で、通信部１１０が近接通信を行うことで、制御部１１１が教科書の情報を取得することとしてもよい。また、教科書に埋め込まれた人体通信可能な通信部との間で、通信部１１０がユーザの人体を介して人体通信を行うことで、制御部１１１が教科書の情報を取得することとしてもよい。
【００５８】
（変形例１）
以下、変形例１について説明する。なお、上記第１の実施形態では、制御部１１１は、教科書に付されたマークに基づいて重要部分を認識する場合について説明したが、本変形例１では、記憶部１１２に格納された重要部分ＤＢ（図１２（ａ）参照）において重要部分の情報を保持するものとし、制御部１１１は、該重要部分ＤＢに基づいて、教科書の重要部分を認識するものとする。
【００５９】
重要部分ＤＢは、図１２（ａ）に示すように、書籍名、ページ、重要部分、選択肢の各フィールドを有する。重要部分ＤＢでは、各教科書の各ページにおける重要部分（重要単語）を定義している。また、各重要部分に関連して、“テストモード”において表示する選択肢を格納している。なお、重要部分ＤＢに格納されるデータは、例えば出版社等が設定し、ユーザが利用する装着装置１０に対して提供されるものとする。ただし、これに限らず、ユーザ自身が、重要部分ＤＢにデータを格納（入力）したり、重要部分ＤＢから不要なデータを削除するなど、重要部分ＤＢをカスタマイズしてもよい。
【００６０】
本変形例１では、基本的には、図４、図７と同様の処理を実行するが、重要部分ＤＢを用いる点において一部処理の内容が異なる。例えば、図４のステップＳ１４において重要部分を認識する場合、制御部１１１は、ユーザが閲覧している教科書のページ全体を文字認識し、重要部分ＤＢに格納されている重要部分（重要単語）と一致する箇所を重要部分として認識する。このようにしても、ステップＳ１６においては、図５と同様の黒塗り表示を行うことができる。
【００６１】
また、例えば、図７のステップＳ３４では、制御部１１１は、図８、図９、図１１と同様の入力インタフェースを表示部１０２に表示させる以外に、図１２（ｂ）に示すような択一式の問題に解答するためのインタフェース４２”を表示部１０２に表示させることができる。この場合、制御部１１１は、図１２（ａ）の重要部分ＤＢを参照して、重要部分に対応する選択肢を抽出して図１２（ｂ）のインタフェース４２”を作成する。
【００６２】
なお、ユーザは、上記第１の実施形態と同様、制御部１１１は、ユーザの指が選択肢の１つを指し示したことを検出することで、ユーザの解答を受け付けることができる。ただし、これに限らず、制御部１１１は、ユーザが発した音声をマイク１０４で取得し、音声認識することで、ユーザの解答入力を受け付けることとしてもよい。あるいは、制御部１１１は、ユーザの視線の動きを視線検出部１０８で取得することで、ユーザの解答入力を受け付けることとしてもよい。あるいは、ユーザの指の本数を検出することで、ユーザの解答を受け付けることとしてもよい。
【００６３】
以上のように、本変形例１を採用しても、上記第１の実施形態と同様の効果を得ることができる。また、本変形例１によれば、教科書にマークを付す必要がない。また、ユーザ自身が重要部分ＤＢをカスタマイズすることで、個々のレベルや好みに合わせた学習が可能となる。
【００６４】
また、本第１の実施形態では、制御部１１１は、表示部１０２に文書の一部の見え方を異ならせる表示を行うとともに、見え方を異ならせる部分に関連する情報を表示させる。例えば、制御部１１１は、黒塗り部分に関連する情報として、図１２（ｂ）等に示すような問題（選択肢）を表示する。これにより、ユーザは、見え方を異ならせ部分（黒塗り部分）に関連する情報を用いた学習を行うことが可能となる。
【００６５】
なお、本変形例１においても、上記第１の実施形態と同様、成績ＤＢ（図１０）に格納されているユーザのランクに応じて、表示部１０２の表示を異ならせてもよい。例えば、重要部分ＤＢにおいて、各重要部分のカテゴリ（人名、年号、制度）などを管理している場合には、図１３に示すように、黒塗り表示上又は近傍にカテゴリを表示してもよい。また、重要部分ＤＢにおいて、各重要部分に対応するヒントを管理している場合には、制御部１１１は、時間の経過に応じて、黒塗り表示上又は近傍にヒントを表示してもよい。なお、重要部分のカテゴリごと、あるいは重要度ごとに黒塗り表示の表示色を異ならせてもよい。なお、上記第１の実施形態と変形例１とを、ユーザの属性（例えば成績ＤＢのランク）に応じて、使い分けてもよい。例えば、ユーザのランクが高い場合には、第１の実施形態のように手書き（図８、図９）又はキーボード入力（図１１）とし、ユーザのランクが低い場合には、変形例１のように選択解答方式（図１２（ｂ））としてもよい。
【００６６】
なお、上記変形例１では、図１２（ａ）の重要部分ＤＢが記憶部１１２に予め記憶されている場合について説明したが、これに限られるものではない。例えば、２次元コードから書籍の情報を取得した後に、取得した書籍の情報に対応する重要部分ＤＢを外部のサーバからダウンロードするようにしてもよい。この場合、ユーザが閲覧する書籍が変更された場合には、変更前の書籍に対応する重要部分ＤＢを破棄するようにしてもよいし、所定期間の間は装着装置１０内で保持するようにしてもよい。
【００６７】
（変形例２）
以下、変形例２について説明する。なお、上記変形例１では、重要部分がテキストである場合を例に説明したが、本変形例２では、重要部分が画像である場合について説明する。
【００６８】
図１４には、変形例２にかかる重要部分ＤＢの一例が示されている。図１４の重要部分ＤＢでは、重要部分として教科書に載っている画像が格納され、選択肢として重要部分の画像を含む３つの画像が格納されている。
【００６９】
本変形例２では、図１５（ａ）に示すように、制御部１１１は、重要部分として画像を特定し、表示部１０２において該画像に対応する部分を黒塗り表示する（Ｓ１６）。そして、制御部１１１は、該画像にユーザが触れた場合（Ｓ３２：肯定）に、図１５（ｂ）に示すように、図１４の重要部分ＤＢに基づいて問題（選択肢）を表示する（Ｓ３４）。
【００７０】
本変形例２においても、ユーザは指の動きや、音声、視線の動き等により解答を行えばよい。
【００７１】
（変形例３）
次に、変形例３について説明する。本変形例３では、教科書内の所定の単語に対して、付加情報（リンク情報）を表示する場合について説明する。
【００７２】
本変形例３では、図１６（ａ）に示すように、記憶部１１２にリンクＤＢが格納されているものとする。リンクＤＢは、図１６（ａ）に示すように、書籍名とページに対応して、リンク元とリンク情報を格納している。リンク元のフィールドには、教科書内の単語が格納され、リンク情報のフィールドには、教科書内の単語に関連する情報が格納される。例えば、図１６（ａ）では、リンク元の単語“６０３年”に対し、リンク情報として“中国：隋、朝鮮：新羅”が格納されている。
【００７３】
本変形例３では、図４や図７の処理を行うとともに、例えば、ユーザの指が単語（リンク元）“６０３年”（例えば、ハイライト表示されているものとする）に触れた場合に、表示部１０２の単語“６０３年”の近傍に、リンク情報“中国：隋、朝鮮：新羅”を表示する。これにより、ユーザは、指で触れたリンク元の単語に関連する情報（リンク情報）を併せて学習することができる。
【００７４】
なお、リンク元やリンク情報は、画像データを含んでいてもよい。また、リンク情報としては、関連するページの情報（ページ番号等）を含んでいてもよい。また、リンクＤＢのデータは、ユーザが種々カスタマイズしてもよい。
【００７５】
（変形例４）
以下、変形例４について説明する。本変形例４では、英語の単語帳をユーザが閲覧している場合における制御部１１１の処理について説明する。
【００７６】
ユーザは、一例として、図１７（ａ）に示すような英語の単語帳を閲覧したものとする。なお、図１７（ａ）に示すように、単語帳には、図３の歴史の教科書と同様、マーク（●、▼）や、２次元コード、ページ数が記載されているものとする。
【００７７】
制御部１１１は、ユーザが図１７（ａ）の単語帳を閲覧していることを、２次元コードやマーク、ページ数から検出すると、図１７（ｂ）に示すように、表示部１０２上（ユーザの実視界（図１７（ｂ）において二点鎖線で示す範囲）内）に、“writing”ボタン４４ａ、“listening”ボタン４４ｂ、“pronunciation”ボタン４４ｃを表示する。そして、ユーザによって、例えば“writing”ボタン４４ａが選択された場合には、制御部１１１は、単語帳内の重要部分（２つのマーク▼で挟まれた部分）を黒塗り表示する。そして、ユーザが重要部分に触れた場合には、制御部１１１は、図１８（ａ）に示すように、表示部１０２上に入力インタフェース（キーボード入力）４６を表示する。
【００７８】
この場合、ユーザが入力インタフェース４６を介してスペルを入力すると、制御部１１１は、当該スペルと、黒塗りした重要部分を文字認識処理して得たテキストと、を比較することで、正解か否かを判断する。なお、入力インタフェースとしては、図１８（ｂ）に示すような手書き入力用の入力インタフェース４６’を表示部１０２上に表示してもよい。なお、制御部１１１は、解答に制限時間を設け、時間の経過とともに黒塗り表示を少しずつ減らし、ユーザに対してヒントを提供するようにしてもよい。
【００７９】
なお、ユーザが、図１９（ａ）に示すように“listening”ボタン４４ｂを選択した場合には、ユーザが触れた単語を文字認識し、文字認識結果に対応する音声データを、記憶部１１２から取得し、スピーカ１０５から出力すればよい。なお、制御部１１１は、ユーザが見ているページ内に存在する単語のいずれかをランダムに選択し、当該単語の音声データをスピーカ１０５から出力してもよい。この場合、ユーザは、音声データに対応する単語を指差すようにし、制御部１１１は、ユーザが指差した単語が正しいか否かを判断し、判断結果（正解か否か）を表示部１０２等に出力してもよい。また、ユーザが、図１９（ｂ）に示すように“pronunciation”ボタン４４ｃを押した場合には、制御部１１１は、ユーザが触れた単語を検出し、その後にユーザが発した音声を検出し、当該音声（発音）と、記憶部１１２に記憶されている音声データとが合致するか否かを分析し、分析結果を出力してもよい。
【００８０】
このように、装着装置１０は、英語学習においても利用することができる。なお、本変形例４においても、上記変形例１〜３と同様の処理（重要部分ＤＢやリンクＤＢを用いた処理）を採用することが可能である。例えば、記憶部１１２に英和辞典のデータが格納されている場合には、制御部１１１は、ユーザが英語の文章の中から所定の英単語をなぞった場合に、当該単語の意味等を表示部１０２上に表示するようにしてもよい。
【００８１】
《第２の実施形態》
次に、第２の実施形態に係る装着装置１０について、図２０〜図２２に基づいて説明する。なお、第２の実施形態に係る装着装置１０の構成は、第１の実施形態に係る装着装置１０の構成と同様であるので、説明は省略するものとする。
【００８２】
本第２の実施形態の装着装置１０は、例えば、ユーザのタスクとして、平仮名の書き取りに関する処理を実行するものとし、記憶部１１２には、平仮名の書き順に関するデータ、書き順のアニメーションデータが格納されているものとする。
【００８３】
以下、本第２の実施形態に係る装着装置１０の制御部１１１による処理について、図２０のフローチャートに沿って、その他図面を適宜参照しつつ説明する。
【００８４】
図２０の処理では、まず、ステップＳ１０２において、制御部１１１が、“書き取りモード”に設定されるまで待機する。ユーザが操作部１０３等を介して“書き取りモード”に設定すると、ステップＳ１０４に移行する。
【００８５】
ステップＳ１０４に移行すると、制御部１１１は、書き取りノートを認識するまで待機する。ここで、書き取りノートとは、図２１（ａ）に示すような、見本の文字（あ、い、う等）を表示する欄４８と、ユーザが文字を手書きする書き取り欄４９と、２次元コードと、が印刷されたノートであるものとする。２次元コードは、書き取りノートの情報を含んでいるものとする。ユーザが書き取りノートを見ている状態では、撮像部１０１により書き取りノート（２次元コードを含む）が撮像されるため、制御部１１１は、書き取りノートを認識し、ステップＳ１０６に移行する。
【００８６】
ステップＳ１０６に移行すると、制御部１１１は、図２１（ｂ）に示すように、“かきじゅんのかくにん”（書き順の確認）ボタンを表示部１０２上（ユーザの実視野内）に表示する。次いで、ステップＳ１０８では、制御部１１１は、ユーザが見本の文字の１つに触れた後に“かきじゅんのかくにん”ボタンに触れたか否かを判断する。このステップＳ１０８の判断が肯定された場合には、ステップＳ１１０に移行し、制御部１１１は、書き順を表示する。例えば、図２１（ｂ）において、ユーザが平仮名“あ”に触れた後、“かきじゅんのかくにん”ボタンに触れる動作を行った場合には、図２２（ａ）に示すように、表示部１０２の中央部近傍に平仮名“あ”の書き順を示すアニメーションを表示する。なお、書き順のアニメーションデータは、前述のように、記憶部１１２に記憶されているものとする。上記のようにステップＳ１１０の処理が行われた後は、ステップＳ１１２に移行する。
【００８７】
なお、ステップＳ１０８の判断が否定された場合、制御部１１１は、ステップＳ１１０を経ずに、ステップＳ１１２に移行する。
【００８８】
ステップＳ１１２に移行すると、制御部１１１は、ユーザの書き順を認識したか否かを判断する。具体的には、ユーザが書き順ノートの書き取り欄４９に鉛筆やペンで平仮名を書いた場合に、当該書き順を撮像部１０１が撮像した画像から認識する。ステップＳ１１２の判断が否定された場合には、ステップＳ１０８に戻るが、肯定された場合には、ステップＳ１１４に移行する。
【００８９】
ステップＳ１１４に移行すると、制御部１１１は、正しい書き順であったか否かを判断する。この場合、制御部１１１は、ステップＳ１１２で認識した書き順と、記憶部１１２に記憶されている書き順のデータとが一致するか否かを判断する。このステップＳ１１４の判断が肯定された場合には、ステップＳ１１６に移行し、否定された場合には、ステップＳ１１８に移行する。
【００９０】
ステップＳ１１６に移行した場合、制御部１１１は、図２２（ｂ）に示すように、表示部１０２上に正解表示（“せいかい”の表示）を行う。一方、ステップＳ１１８に移行した場合には、制御部１１１は、表示部１０２上に不正解表示を行う。なお、正解や不正解の情報は、表示部１０２以外、例えばスピーカ１０５から出力してもよい。
【００９１】
以上のように、本第２の実施形態によると、制御部１１１は、撮像部１０１が撮像した画像に基づいて、ユーザのタスク実行（書き取り）を補助する情報（書き順のアニメーションデータ）を記憶部１１２から取得し、取得した補助する情報（書き順のアニメーションデータ）を表示部１０２に表示させる。これにより、ユーザは、書き取りを行う際に書き順のアニメーションを確認することで、適切な書き順で書き取りを行うことが可能となる。
【００９２】
また、ユーザによる書き取りにおける書き順が正しいか否かを制御部１１１が判断して、判断結果を表示部１０２に表示するので、ユーザは、都度、書き順が正しいかどうかをチェックしながら、書き取りを行うことができる。
【００９３】
なお、上記第２の実施形態は、書き取りに限らず、書道においても利用することが可能である。例えば、書道の手本を表示部１０２に表示する。これにより、ユーザは、手本をなぞるように筆を動かすことで、手本と同様の文字を書く練習をすることができる。
【００９４】
なお、上記実施形態では、平仮名の書き取りについて説明したが、これに限らず、その他の文字（例えば、片仮名、漢字、アルファベットなど）の書き取りにおいても適用することができる。
【００９５】
なお、上記第２の実施形態では、ユーザのタスクが文字の書き取りである場合について説明したが、これに限らず、その他のタスクをユーザが行う場合にも、装着装置１０を用いることができる。以下、他のタスクをユーザが行う場合について説明する。
【００９６】
（ユーザのタスクが数学の問題に対する解答作成の場合）
ユーザのタスクは、例えば、数学の問題に対する解答作成であってもよい。例えば、図２３（ａ）に示すようにユーザが紙に印刷された数学の問題を見ている場合（撮像部１０１が数学の問題を撮影している場合）に、ユーザが式（ｙ＝ｘ2）を指でなぞったとする。この場合、制御部１１１は、なぞられた式（ｙ＝ｘ2）の情報（例えば、図２３（ｂ）に示すようなグラフ）を、ユーザの解答作成を補助する情報として表示部１０２に表示させる。このようにすることで、ユーザは、式の内容をイメージしやすくなる。なお、式とグラフを対応付けたデータは、記憶部１１２から取得してもよいし、外部のサーバから取得してもよい。
【００９７】
また、ユーザが図２４（ａ）に示すような紙に印刷された数学の問題を見ている（撮像部１０１が撮影している）とする。制御部１１１は、２次元コードから問題を認識するが、ここでは、認識した問題が、補助線をひく必要のある問題であったものとする。この場合、制御部１１１は、図の範囲をマーク（■）で特定し、“補助線をひく”ボタンを表示部１０２に表示させる。そして、制御部１１１は、ユーザがボタンに触れる動作を行ったことを検出すると、図２４（ａ）の問題（図）に対して予め用意されている情報を表示部１０２に表示させる。例えば、制御部１１１は、予め用意されている、問題の解答作成を補助する情報（図２４（ｂ）に示すような補助線の情報）を表示部１０２に表示させる。この場合、制御部１１１は、図の範囲をマーク(■)で特定しているので、当該範囲の所定位置に補助線を表示することが可能となる。これにより、ユーザは、補助線を用いて問題の解答を考えることが可能になる。
【００９８】
なお、数学に限らず、物理や化学の問題の場合でも、問題を解くことを補助する情報を表示部１０２に表示してもよい。例えば、問題に関連して、物理現象や化学変化の動画やアニメーションを記憶部１１２で保持している場合には、問題を解くタイミングで当該動画やアニメーションを表示部１０２に表示することとしてもよい。
【００９９】
（ユーザのタスクが絵画を描くことである場合）
また、ユーザのタスクは、絵画を描くことであってもよい。例えば、装着装置１０が“輪郭抽出モード”に設定されている場合において、図２５（ａ）に示すように、ユーザが絵を描く対象として犬を見て、犬を指差したとする。この場合、制御部１１１は、撮像部１０１が撮影した画像から、ユーザが指差した先に存在する物体（犬）を認識し、図２５（ｂ）に示すように物体（犬）の大まかな輪郭を抽出する。その後、ユーザが画用紙やキャンバスを見た場合、制御部１１１は、犬の絵を描くというタスクを補助する情報として、図２６に示すように、犬の輪郭を表示部１０２に表示させる。
【０１００】
このように、制御部１１１は、物体（犬）の輪郭情報をユーザのタスクを補助する情報として表示するので、ユーザは、犬の輪郭を鉛筆やペンなどでなぞることで、画用紙やキャンバス上で犬の輪郭をとる練習（物体の形を把握する練習）をすることができる。
【０１０１】
なお、犬の背景に位置する物体等の関係から、制御部１１１が犬の輪郭を抽出できない可能性もある。このような場合には、ユーザが、犬の大まかな範囲を指で指し示し、制御部１１１に当該範囲を認識させればよい。制御部１１１は、当該範囲において隣接する画素間の色の差が閾値よりも大きくなる部分を特定するなどすることで、犬の輪郭を抽出することが可能となる。
【０１０２】
なお、図２６においては、画用紙やキャンバスに重畳するように、画用紙やキャンバスを縦方向及び横方向に均等に分割する線や、水平を示す線などの補助線を表示部１０２上に表示するようにしてもよい。
【０１０３】
また、ユーザのタスクが絵画を描くことである場合、書きたい物体の一部分をユーザが指差すことで、制御部１１１は、その部分の色の情報を表示部１０２上に表示するようにしてもよい。例えば、装着装置１０が“色確認モード”に設定されている場合において、図２７（ａ）に示すようにユーザが犬を見て、犬の足部分を指差したとする。この場合、図２７（ｂ）に示すように、制御部１１１は、ユーザが指差した部分の色を解析し、色の成分（ユーザが持っている絵の具の色の配合比率）を特定し、表示部１０２に表示させる。このように表示部１０２に配合比率を表示することで、ユーザは、色の配合を適切かつ容易に行うことができる。
【０１０４】
なお、ユーザが保有している絵の具の色については、ユーザが事前に装着装置１０に登録（手入力）してもよいし、撮像部１０１を用いて絵の具を撮影し、撮影された画像内の文字認識等を行うことで、絵の具の色の情報を取得し、登録してもよい。また、装着装置１０や装着装置１０と通信可能な端末を用いて、ユーザが絵の具を購入した場合には、当該購入履歴からユーザが保有する絵の具の色を特定し、登録してもよい。なお、色の情報を表示する場合、単にＲＧＢ表示することとしてもよい。
【０１０５】
（ユーザのタスクがピアノを弾くことである場合）
ユーザのタスクがピアノを弾くことである場合には、制御部１１１は、ユーザの指の動かし方やペダルの踏み方を表示部１０２に表示させることとしてもよい。例えば、装着装置１０が“ピアノ演奏モード”に設定され、図２８（ａ）に示すようにユーザの実視界の範囲にピアノが入った場合（撮像部１０１によりピアノが撮影された場合）には、制御部１１１は、選択された曲目に合わせて、図２８（ｂ）に示すように、指の動かし方（運指番号）や、ペダルの踏み方を表示部１０２に表示させる。このように、ユーザの実視界（ピアノの鍵盤）に重畳するように情報を表示することで、ユーザは、楽譜が読めなくても、指の動かし方やペダルの踏み方を学ぶことができる。
【０１０６】
なお、図２８（ｂ）では、運指番号に代えて、プロやピアノの先生がピアノを弾いているときの手の映像をピアノの鍵盤に重畳して表示するようにしてもよい。また、運指番号の表示速度や手の映像の表示速度は、ユーザが適宜変更できるようにすればよい。
【０１０７】
なお、ピアノに限らず、縦笛やトランペットなどの管楽器、ギターやバイオリンなどの弦楽器、木琴やドラムなどの打楽器などにおいても上記のような処理を行うことができる。また、楽器に限らず、所定の器具（車や工作機械など）を使う場合に、制御部１１１は、当該器具の使い方に関する情報を表示部１０２に表示させてもよい。
【０１０８】
なお、上記第２の実施形態において、ユーザのタスク実行を補助する情報が複数存在する場合には、ユーザの属性（レベル等）に応じて、表示する情報を異ならせてもよい。これにより、ユーザのレベル等に合った情報をユーザに提供することができる。
【０１０９】
なお、上記第１、第２の実施形態及び変形例では、装着装置１０の制御部１１１が全ての処理を実行する場合について説明したが、これに限らず、一部の処理を外部のサーバがやってもよい。
【０１１０】
《第３の実施形態》
以下、第３の実施形態に係る電子機器２０について、図２９〜図３２に基づいて説明する。
【０１１１】
図２９（ａ）には、第３の実施形態に係る電子機器２０の平面図が示され、図２９（ｂ）には、電子機器２０のブロック図が示されている。図２９（ａ）に示すように、本実施形態に電子機器２０は、スマートフォン、タブレット型端末などの機器であり、教科書のなどの書籍（電子書籍）を表示する。
【０１１２】
図２９（ｂ）に示すように、電子機器２０は、撮像部２０１、表示部２０２、操作部２０３、マイク２０４、スピーカ２０５、視線検出部２０８、通信部２１０、記憶部２１２、及び制御部２１１を備える。
【０１１３】
撮像部２０１は、図２９（ａ）に示すように表示部２０２の近傍に設けられ、表示部２０２を見ているユーザの顔を撮影し、撮影した画像を制御部２１１に入力する。
【０１１４】
表示部２０２は、液晶ディスプレイ等を含み、電子書籍の画面を表示する。操作部２０３は、タッチパネル等であり、表示部２０２の表面に設けられている。マイク２０４は、ユーザ等が発した音声を収音し、制御部２１１に入力する。スピーカ２０５は、制御部２１１の指示の下、所定の音声を出力する。視線検出部２０８は、前述した画像解析法などにより、ユーザの視線の動きを検出する。
【０１１５】
通信部２１０は、外部の装置（例えば、サーバ等）と通信する。記憶部２１２は、制御部２１１の処理に用いられる各種データを記憶する。例えば、記憶部２１２は、電子書籍のデータの他、図３０（ａ）に示すようなリンクＤＢを記憶する。なお、図３０（ａ）のリンクＤＢのデータ構造は、図１６（ａ）のリンクＤＢと同様となっている。制御部２１１は、ＣＰＵ等を備え、電子機器２０全体を統括制御する。
【０１１６】
次に、本第３の実施形態に係る電子機器２０（主に制御部２１１）の処理について、図３０（ｂ）のフローチャートに沿って説明する。なお、図３０（ｂ）の処理の前提として、表示部２０２上には、図３１に示すように、ユーザの操作により所定の教科書（電子書籍）が表示されており、図３０（ａ）のリンクＤＢにおいてリンク元として登録されている単語が、ハイライト表示（マーカー表示）されているものとする。
【０１１７】
図３０（ｂ）の処理においては、まず、ステップＳ３０２において、制御部２１１は、ユーザの視線の中心が図３１に示すようにリンク元と一致するまで待機する。この場合、制御部２１１は、撮像部２０１が撮影した画像を解析して、ユーザの視線の中心が表示部２０２内のどこに位置するかを検出するとともに、当該位置に表示されている単語を抽出する。そして、制御部２１１は、抽出された単語がリンクＤＢに登録されているリンク元と一致した場合に、ステップＳ３０４に移行する。
【０１１８】
ステップＳ３０４に移行すると、制御部２１１は、ユーザの視線の中心に位置する単語（リンク元）に対応するリンク情報をリンクＤＢから取得し、表示部２０２に表示する。この場合、制御部２１１は、表示部２０２に対し、ユーザの視線の近傍（ユーザが見ているリンク元の近傍）にリンク情報を表示させる（図３２参照）。これにより、ユーザは、視線の先にあるリンク元の単語に関連する情報（リンク情報）を併せて学習することができる。その後は、ステップＳ３０２に戻り、上記処理・判断を繰り返す。
【０１１９】
以上、説明したように、本第３の実施形態によると、制御部２１１は、撮像部２０１が撮像したユーザの画像に基づいて、電子書籍のうち、ユーザが見ている部分を特定し、当該部分の学習（暗記等）を補助する情報（リンク情報）をリンクＤＢ（図３０（ａ））から取得し、取得した情報を表示部２０２に表示させる。これにより、ユーザは、ユーザが見ている部分に関連する（付随する）情報も同時に学習することができるため、教科書の学習を効率的に行うことができる。
【０１２０】
なお、上記第３の実施形態では、電子書籍が日本史の教科書である場合を例にとり説明したが、これに限らず、電子書籍は、図１７のような英語、図２１のような国語、図２３のような数学などの書籍であってもよい。これらの書籍の場合にも、上記と同様、ユーザの視線に応じて、学習を補助する情報を表示するなどすればよい。また、図１２（ｂ）と同様、電子書籍の重要部分を黒塗り表示し、ユーザが黒塗り部分を所定時間以上注視した場合に、問題（選択肢）を表示することとしてもよい。
【０１２１】
なお、上記第３の実施形態では、ユーザの視線に応じて情報等を表示する場合について説明したが、これに限らず、ユーザが所定の単語をタッチした場合にリンク情報等を表示することとしてもよい。
【０１２２】
なお、リンク情報としては、他の関連ページにジャンプするためのＵＲＬ等の情報を表示してもよい。
【０１２３】
なお、上記各実施形態や変形例において、記憶部１１２、２１２に記憶されていた情報（ＤＢ等）は、外部のサーバが保持していてもよい。この場合、装着装置や電子機器の制御部は、必要に応じてサーバから情報を取得するようにすればよい。
【０１２４】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。
【０１２５】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【０１２６】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【０１２７】
上述した各実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
【符号の説明】
【０１２８】
１０  装着装置
２０  電子機器
４２  入力インタフェース
１０１  撮像部
１０２  表示部
１１１  制御部
１１２  記憶部
【図１】
2016045724.tif 000003
【図２】
2016045724.tif 000004
【図３】
2016045724.tif 000005
【図４】
2016045724.tif 000006
【図５】
2016045724.tif 000007
【図６】
2016045724.tif 000008
【図７】
2016045724.tif 000009
【図８】
2016045724.tif 000010
【図９】
2016045724.tif 000011
【図１０】
2016045724.tif 000012
【図１１】
2016045724.tif 000013
【図１２】
2016045724.tif 000014
【図１３】
2016045724.tif 000015
【図１４】
2016045724.tif 000016
【図１５】
2016045724.tif 000017
【図１６】
2016045724.tif 000018
【図１７】
2016045724.tif 000019
【図１８】
2016045724.tif 000020
【図１９】
2016045724.tif 000021
【図２０】
2016045724.tif 000022
【図２１】
2016045724.tif 000023
【図２２】
2016045724.tif 000024
【図２３】
2016045724.tif 000025
【図２４】
2016045724.tif 000026
【図２５】
2016045724.tif 000027
【図２６】
2016045724.tif 000028
【図２７】
2016045724.tif 000029
【図２８】
2016045724.tif 000030
【図２９】
2016045724.tif 000031
【図３０】
2016045724.tif 000032
【図３１】
2016045724.tif 000033
【図３２】
2016045724.tif 000034