(57)【要約】【課題】透過型ウェアラブル端末を使用して印刷物に対してユーザーが知りたい情報を印刷物及びその印刷データに付加する。【解決手段】透過型ウェアラブル端末１は、撮像部１０３の撮像映像に写った印刷物５中の文字を認識する文字認識部１０８と、印刷物５に対するユーザーのアクションに応じて表示部１０１による表示を制御する表示制御部１１０と、印刷データを加工する印刷データ加工部１１１とを備える。表示制御部１１０は、ユーザーが印刷物５中の任意の文字を選択したと判断したとき、文字認識部１０８が認識する当該選択文字の位置にマーキングを表示させるとともに、付加情報として当該選択文字の読み、意味及び訳語の少なくとも一つを取得して当該選択文字の近傍に当該付加情報を表示させる。印刷データ加工部１１１は、印刷データにおける選択文字に相当する文字データに所定の加工を施す。【選択図】図２
2017194860.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーの視界に映像を重ねて表示する透過型ウェアラブル端末であって、
ユーザーによる視認が可能に映像を表示する表示部と、
ユーザーの視界映像を撮像する撮像部と、
前記撮像部の撮像映像に写った印刷物中の文字を認識する文字認識部と、
前記印刷物に対するユーザーのアクションに応じて前記表示部の投影映像の表示を制御する表示制御部と、
前記表示制御部は、ユーザーにより前記印刷物中の任意の文字が選択されたと判断したとき、前記文字認識部による文字認識結果に基づいて、当該選択された選択文字を特定し、当該選択文字について予め定められた付加情報を表示させる透過型ウェアラブル端末。
【請求項２】
前記撮像部の撮像映像に写ったユーザーの手の動きを前記アクションとして検出する動き検出部を更に備え、
前記表示制御部は、前記動き検出部の検出結果に基づいて、前記アクションが予め定められた動作を示したと判断したときは、当該予め定められた動作がされたユーザーの手に近接する位置にある文字が選択されたと判断して、前記選択文字について前記付加情報を表示させる請求項１に記載の透過型ウェアラブル端末。
【請求項３】
前記表示制御部は、前記アクションが、前記予め定められた動作と同様の動作であって、当該予め定められた動作とは反対方向に向けて行わる予め定められた第２の動作を示したと判断したときは、前記選択文字に対する選択が解除されたと判断する請求項１又は請求項２に記載の透過型ウェアラブル端末。
【請求項４】
ユーザーの視線及び焦点距離を前記アクションとして検出する視線検出部を更に備え、
前記表示制御部は、前記視線検出部の検出結果に基づいて、ユーザーが注視した文字をユーザーにより選択された選択文字と判断する請求項１に記載の透過型ウェアラブル端末。
【請求項５】
前記表示制御部は、前記付加情報として、前記選択文字の読み、意味又は訳語の少なくとも一つを、当該選択文字に近接する位置に表示させる請求項１乃至請求項４のいずれかに記載の透過型ウェアラブル端末。
【請求項６】
前記表示制御部は、前記選択文字に重なる位置に、マーキングを表示させる請求項１乃至請求項５のいずれかに記載の透過型ウェアラブル端末。
【請求項７】
画像形成装置から無線通信により前記印刷物を示す印刷データを受信する通信部と、
前記表示制御部による制御に連動して前記印刷データを加工する印刷データ加工部とを備え、
前記印刷データ加工部は、前記印刷データにおける前記選択文字に相当する文字データに対して、前記表示された付加情報を付加する加工を施す請求項１乃至請求項６のいずれかに記載の透過型ウェアラブル端末。
【請求項８】
マイクロフォンと、
前記マイクロフォンで集音されたユーザーの音声を認識する音声認識部とを備え、
前記表示制御部は、前記音声認識部により認識された音声による指示に従って前記付加情報を表示させる請求項１乃至請求項７のいずれかに記載の透過型ウェアラブル端末。
【請求項９】
前記表示制御部は、ユーザーの視界内の前記印刷物の前記選択文字及びそれと同じ文字のすべてにマーキングを重ねて表示させる請求項１乃至請求項８のいずれかに記載の透過型ウェアラブル端末。
【請求項１０】
前記表示制御部は、前記選択文字の選択が解除されたと判断したとき、ユーザーの視界内の前記印刷物中の当該選択文字のマーキング表示又は前記付加情報の表示を解除する請求項２乃至請求項５のいずれかに記載の透過型ウェアラブル端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、透過型ウェアラブル端末に関し、特に、透過型ウェアラブル端末を使用して印刷物に対してユーザーが知りたい情報を印刷物及びその印刷データに付加する技術に関する。
【背景技術】
【０００２】
現在、ヘッドマウントディスプレイやメガネ型のウェアラブル機器を用いて、ユーザーの視界に仮想的な映像を重ねて表示することが可能となっている。これにより、ユーザーはあたかも目の前に仮想映像が存在しているかのように視認することができる。
【０００３】
例えば、下記特許文献１には、ユーザーが映像表示装置（ウェアラブルグラス）越しに英語のメニューを見てその視線の先にある英単語や英文に注視すると、その日本語訳が表示される技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−９３０５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１では、ユーザーの視線の先にある対象物（例えば、英語のメニュー）についてその都度翻訳されて翻訳内容が表示されるため、ユーザーが特に注視していなくても、当該対象物の翻訳が表示されてしまう。そのため、ユーザーが希望していない文字等についても翻訳等が表示されてしまい利便性に欠ける。
【０００６】
本発明は、上記の問題を解決するためになされたものであり、透過型ウェアラブル端末を使用してユーザーが印刷物を視認しているときに、ユーザーが真に知りたい情報のみを、ユーザーの視認範囲に付加して表示可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一局面に係る透過型ウェアラブル端末は、ユーザーの視界に映像を重ねて表示する透過型ウェアラブル端末であって、
ユーザーによる視認が可能に映像を表示する表示部と、
ユーザーの視界映像を撮像する撮像部と、
前記撮像部の撮像映像に写った印刷物中の文字を認識する文字認識部と、
前記印刷物に対するユーザーのアクションに応じて前記表示部の投影映像の表示を制御する表示制御部と、
前記表示制御部は、ユーザーにより前記印刷物中の任意の文字が選択されたと判断したとき、前記文字認識部による文字認識結果に基づいて、当該選択された選択文字を特定し、当該選択文字について予め定められた付加情報を表示させるものである。
【発明の効果】
【０００８】
本発明によれば、透過型ウェアラブル端末を使用してユーザーが印刷物を視認しているときに、ユーザーが真に知りたい情報のみを、ユーザーの視認範囲に付加して表示することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る透過型ウェアラブル端末を含むシステムの概要図である。
【図２】透過型ウェアラブル端末の主要内部構成を示す機能ブロック図である。
【図３】透過型ウェアラブル端末の動作を示すフローチャートである。
【図４】印刷物５中の文字を選択するときに透過型ウェアラブル端末を通して視認されるユーザーの視界を示す図である。
【図５】付加情報メニューが現れたときに透過型ウェアラブル端末を通して視認されるユーザーの視界を示す図である。
【図６】選択文字にマーキング及び付加情報が表示されたときに透過型ウェアラブル端末を通して視認されるユーザーの視界を示す図である。
【図７】文字の選択を解除するときに透過型ウェアラブル端末を通して視認されるユーザーの視界を示す図である。
【図８】複数のページにマーキング及び付加情報が表示されたときに透過型ウェアラブル端末を通して視認されるユーザーの視界を示す図である。
【図９】印刷データの加工例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態に係る透過型ウェアラブル端末について図面を参照して説明する。図１は、本発明の一実施形態に係る透過型ウェアラブル端末を含むシステムの概要図である。
【００１１】
本システムは、透過型ウェアラブル端末１と、画像形成装置２と、ユーザー端末３とを備える。
【００１２】
透過型ウェアラブル端末１は、ユーザーの視界に映像を重ねて表示することができる端末であり、例えば、ヘッドマウントディスプレイやメガネ型ウェアラブル端末などである。ユーザーは、透過型ウェアラブル端末１を頭部に装着して画像形成装置２から出力された印刷物５を見ることで、視界内にある印刷物５に、透過型ウェアラブル端末１が生成した映像を重ねて見ることができる。
【００１３】
画像形成装置２は、文書データや画像データを用紙に印字する装置であり、具体的には、プリンター、ＦＡＸ装置、複合機等である。
【００１４】
ユーザー端末３は、画像形成装置２に文書データや画像データの印刷を指示する装置であり、具体的には、ＰＣ、スマートホン、タブレット端末、サーバー装置等である。
【００１５】
透過型ウェアラブル端末１と、画像形成装置２と、ユーザー端末３とは、ＬＡＮ又はインターネットなどのネットワーク４に接続されて互いに通信できるようになっている。
【００１６】
なお、透過型ウェアラブル端末１と画像形成装置２とは、ネットワーク４を介さずに近距離無線通信により直接通信することができる。従って、画像形成装置２は、印刷物５の印刷データを透過型ウェアラブル端末１に直接送信することができる。
【００１７】
図２は、透過型ウェアラブル端末１の主要内部構成を示す機能ブロック図である。透過型ウェアラブル端末１は、制御部１００、表示部１０１、視線検出部１０２、撮像部１０３、通信部１０４、メモリー１０５、マイクロフォン１０６、動き検出部１０７、文字認識部１０８、音声認識部１０９、表示制御部１１０、及び印刷データ加工部１１１を備える。これら構成要素は、内部バス１１３で互いに接続されている。
【００１８】
制御部１００は、透過型ウェアラブル端末１の全体的な動作制御を司る。
【００１９】
表示部１０１は、ユーザーによる視認が可能に映像を表示する。本実施形態では、表示部１０１を、ユーザーの網膜に映像を投影するデバイス（投影装置）からなるものとする。表示部１０１が、ユーザーの網膜に映像を投影することにより、透過型ウェアラブル端末１で生成された映像を仮想現実としてユーザーの目の前に表示する。
【００２０】
視線検出部１０２は、ユーザーの視線及び焦点距離を検出するデバイスである。具体的には、視線検出部１０２は、ユーザーの瞳孔の向きを検出することで、人が顔を向けている方向の視野においてその人が注視している位置（視線位置）及び焦点距離を検出する。人間の視野は、瞳孔が真正面を向いた状態で、片眼の水平方向で、耳側に約９０〜１００度、鼻側に約６０度、上側に約６０度、下側に約７０度と言われており、目だけを動かして当該視野内のものを注視することができる。
【００２１】
視線位置の検出には公知の技術を利用することができる。例えば、透過型ウェアラブル端末１が備える図略の可視光カメラで人の片眼を撮影し、目頭を基準点として瞳孔の動きを検出することで視線位置を検出することができる。あるいは、透過型ウェアラブル端末１が備える図略の近赤外線ＬＥＤ光源から片眼の表面に近赤外光を照射し、透過型ウェアラブル端末１が備える図略の近赤外線カメラで当該近赤外光の反射光（プルキニエ像）と瞳孔を撮影し、プルキニエ像と瞳孔中心との相対位置関係から視線位置を検出する。あるいは、片眼の眼電位を測定することで視線位置を検出することができる。
【００２２】
撮像部１０３は、ユーザーの視界映像を撮像するデバイスであり、例えば、小型ＣＣＤカメラである。
【００２３】
通信部１０４は、画像形成装置２やユーザー端末３などの他の機器と無線通信するデバイスである。無線通信方式として、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）等が利用可能である。
【００２４】
メモリー１０５は、ＲＯＭやフラッシュメモリーなどの不揮発性メモリーと、ＲＡＭなどの揮発性メモリーとを含むデバイスである。メモリー１０５は、透過型ウェアラブル端末１の動作プログラムを保持し、また、画像形成装置２から受信した印刷データや撮像部１０３の撮像映像等を一時的に記憶する。
【００２５】
マイクロフォン１０６は、ユーザーの音声を集音するデバイスである。
【００２６】
動き検出部１０７は、撮像部１０３の撮像映像を例えばパターンマッチング等により解析して、当該映像に写ったユーザーの手の動きを識別するデバイス（映像解析装置）であり、例えば、ＤＳＰ（Digital Signal Processor）である。
【００２７】
文字認識部１０８は、例えばＯＣＲ処理を行って、撮像部１０３の撮像映像に写った印刷物５中の文字を認識するモジュールである。
【００２８】
音声認識部１０９は、マイクロフォン１０６で集音されたユーザーの音声を既知の技術により認識するモジュールである。
【００２９】
表示制御部１１０は、表示部１０１に映像を表示させて、ユーザーの視界内に仮想現実を表示させるモジュールである。具体的には、表示制御部１１０は、ユーザーにより印刷物５中の任意の文字が選択されたと判断したとき、文字認識部１０８による文字認識結果に基づいて、当該選択された選択文字を特定し、当該選択文字に重なる位置にマーキングを表示させる。このとき、表示制御部１１０は、予め定められた付加情報として、例えば、選択文字の読み、意味及び翻訳の少なくとも一つを取得して選択文字の近傍に付加情報を表示させる。逆に、表示制御部１１０は、ユーザーが選択文字の選択を解除したと判断したとき、ユーザーの視界内の印刷物５中の選択文字のマーキング表示を解除する。
【００３０】
なお、メモリー１０５には、例えば、国語辞典、外国語辞典、技術語辞典等の辞書が記憶されている。表示制御部１１０はメモリー１０５に記憶された辞書を参照して、ユーザーにより選択された文字の読み、意味及び翻訳等を取得する。あるいは、表示制御部１１０は、通信部１０４を通じて外部のサーバー装置等に記憶された上記辞書を参照して各文字の読み、意味及び翻訳等を取得する。
【００３１】
印刷データ加工部１１１は、表示制御部１１０による制御に連動して印刷物５の印刷データを加工する。印刷データは、画像形成装置２が印刷物５を出力するときに画像形成装置２から送信されてきて、通信部１０４により受信される。具体的に、印刷データ加工部１１１は、メモリー１０５から印刷データを読み出して、当該印刷データにおける選択文字に相当する文字データにマーキング等の予め定められた加工を施す。加工された印刷データはメモリー１０５に記憶され、必要に応じて通信部１０４からユーザー端末３に送信される。
【００３２】
なお、動き検出部１０７、文字認識部１０８、音声認識部１０９、表示制御部１１０、及び印刷データ加工部１１１は、専用のハードウェア回路で実現できる他、コンピュータープログラムとしてメモリー１０５に記憶しておき、図略のＣＰＵによってメモリー１０５から読み出されて実行されるように実現することもできる。
【００３３】
次に、透過型ウェアラブル端末１の動作について説明する。図３は、透過型ウェアラブル端末１の動作を示すフローチャートである。
【００３４】
まず、画像形成装置２は、ユーザー端末３から印刷指示を受けると、当該指示に従って印刷物５を出力するとともにその印刷データを透過型ウェアラブル端末１に送信する。透過型ウェアラブル端末１は、画像形成装置２から送信される当該印刷データを受信する（Ｓ１）。なお、当該印刷データの受信は、後述するＳ９の印刷データの加工を行わない場合は、必須の処理ではない。
【００３５】
透過型ウェアラブル端末１の撮像部１０３は、ユーザーが透過型ウェアラブル端末１を通して見ている視界とほぼ同じ映像を撮像する。従って、ユーザーが印刷物５自体を見るとき、撮像部１０３は当該印刷物５を撮像して、撮像映像に印刷物５が写ることとなる。文字認識部１０８は、そのような撮像映像に映った印刷物５中の文字を例えばＯＣＲ処理により認識する（Ｓ２）。
【００３６】
ユーザーが、現在見ている印刷物５中の任意の文字に対して何らかのアクションを行った場合、表示制御部１１０は、動き検出部１０７による検出結果に基づいて、当該アクションが予め定められた動作を示しているか否かを判断し、当該アクションが当該予め定められた動作を示すと判断したときは、当該アクションを行ったユーザーの手に近接する位置にある文字が選択されたと判断する（Ｓ３でＹＥＳ）。
【００３７】
例えば、ユーザーが、現在見ている印刷物５中の任意の文字を指でなぞるというアクションを取り、表示制御部１１０が上記予め定められた動作の内容が「文字を指でなぞる」である場合、表示制御部１１０は、アクションを行ったユーザーの手に近接する位置にある文字（以下、選択文字という）をユーザーが選択したと判断する（Ｓ３でＹＥＳ）。このように判断したとき、表示制御部１１０は、当該選択文字の位置に重なる位置にマーキングを表示させる（Ｓ４）。
【００３８】
なお、Ｓ３では、表示制御部１１０は、視線検出部１０２による検出結果に基づいて、ユーザーが注視した文字を、ユーザーにより選択された上記選択文字と判断するものとしてもよい。
【００３９】
図４は、印刷物５中の文字を選択するときに透過型ウェアラブル端末１を通して視認されるユーザーの視界を示す図である。例えば、ユーザーが指先１０で印刷物５中の文字「躊躇」をＡ方向（図４）になぞると、動き検出部１０７により当該文字「躊躇」を指でなぞるアクションが検出される。表示制御部１１０は、動き検出部１０７による検出結果に基づいて、当該文字「躊躇」を指でなぞるアクションが、記憶している予め定められた動作に一致していると判断したときは、当該アクションを行った指に近接する位置にある文字「躊躇」が選択されたと判断して、文字「躊躇」にマーキング６を重ねて表示させる。
【００４０】
なお、ユーザーの視界内で印刷物５が傾いたり、移動したりすると、文字「躊躇」の位置が変化するが、文字認識部１０８が撮像映像に写った印刷物５中の文字を認識して当該傾きや移動も検出するため、表示制御部１１０は、文字「躊躇」の傾きや移動に追従してマーキング６も傾いてあるいは移動して表示させる。従って、ユーザーには、あたかも印刷物５において選択した文字の上にマーキング６が付けられているように視認される。
【００４１】
図３に戻り、ユーザーが選択した文字にマーキング６を重ねて表示させると、表示制御部１１０は、当該選択文字の近傍に付加情報メニューを表示させる（Ｓ５）。すなわち、表示制御部１１０は、動き検出部１０７の検出結果に基づいて、上記文字「躊躇」を指でなぞるアクションが予め定められた動作を示したと判断したときは、上記アクションがされたユーザーの指（手）に近接する位置にある文字「躊躇」が選択されたと判断して、文字「躊躇」について付加情報メニューを表示させる。
【００４２】
なお、付加情報とは、選択文字についての読み、意味、訳語等の情報である。付加情報メニューとは、付加情報を選択するための選択メニューである。図５に、付加情報メニューが現れたときに透過型ウェアラブル端末１を通して視認されるユーザーの視界を示す。このように、表示制御部１１０は、選択文字の近傍に付加情報メニュー７を表示させる。付加情報メニュー７としては、例えば、読み、意味、及び英訳の３つの項目が表示される。
【００４３】
図３に戻り、表示制御部１１０は、付加情報メニュー７を表示させると、ユーザーにより当該メニュー中の項目が選択されるのを待機する。例えば、表示制御部１１０は、動き検出部１０７の検出結果に基づいて、上記付加情報メニュー７のいずれかの項目の表示位置にユーザーの指を移動させる動作を示したと判断したときに、当該指に重なる位置に表示させている項目が選択されたと判断する。これにより、ユーザーは、指先１０で項目を選択することができる。また、表示制御部１１０は、視線検出部１０２による検出結果に基づいて、上記付加情報メニュー７の項目のうち、ユーザーが注視した項目を、ユーザーにより選択された項目と判断するようにしてもよい。
【００４４】
また、ユーザーは音声により項目を選択することもできる。その場合、音声認識部１０９がユーザーの音声による指示を認識し、表示制御部１１０は、音声認識部１０９の認識結果に基づいて、いずれの項目が選択されたかを判断する。例えば、ユーザーが「よみ」と発音すると項目として読みが選択され、「いみ」と発音すると意味が選択され、「えいご」と発音すると英訳が選択される。
【００４５】
付加情報メニュー７からユーザー所望の項目が上記のようにして選択されると（Ｓ６でＹＥＳ）、表示制御部１１０は、メモリー１０５に格納されている辞書を参照して、選択文字の付加情報を取得する（Ｓ７）。例えば、選択文字が「躊躇」の場合、表示制御部１１０は、選択された項目が「読み」の場合は読みとして「ちゅうちょ」、選択された項目が「意味」の場合は意味として「ためらうこと」、選択された項目が「英訳」の場合は英訳として「hesitation」といった辞書的な情報が取得される。
【００４６】
選択文字の付加情報を取得すると、表示制御部１１０は、上記選択文字としての文字「躊躇」に近接する位置に、当該取得した付加情報を表示させる（Ｓ８）。図６は、選択文字にマーキング及び付加情報が表示されたときに透過型ウェアラブル端末１を通して視認されるユーザーの視界を示す図である。例えば、選択文字「躊躇」にマーキング６が重ねて表示され、その上部に付加情報８として「躊躇」の読みである「ちゅうちょ」が表示される。また、付加情報８は、このように付加情報８を振り仮名のように表示するのではなく、図６に破線で示すように他の表示態様により表示してもよい。なお、付加情報としては、このように、上記項目のうち１つのみに対応する選択文字の読みが表示されてもよいし、他の項目に対応する意味及び訳語も合わせて表示されてもよい。すなわち、付加情報としては、上記項目に対応する少なくとも一つが表示されればよい。
【００４７】
また、ユーザーは、一旦選択された文字の選択解除をすることもできる。図７は、文字の選択を解除するときに透過型ウェアラブル端末１を通して視認されるユーザーの視界を示す図である。例えば、ユーザーは、選択されている文字を、当該文字を選択したときと逆向きに指先１０でなぞることで、文字の選択を解除することができる。
【００４８】
例えば、ユーザーが指先１０で印刷物５中の文字「躊躇」を、図４で示したＡ方向とは反対方向となるＢ方向（図７）になぞると、動き検出部１０７により当該文字「躊躇」を指でＢ方向になぞるアクションが検出される。表示制御部１１０は、動き検出部１０７による検出結果に基づいて、当該文字「躊躇」を指でＢ方向になぞるアクションが、選択文字の選択を解除する動作として記憶している予め定められた第２の動作に一致していると判断したときは、当該選択文字としての文字「躊躇」に対する選択を解除する指示を受け付け、当該選択を解除する。
【００４９】
ところで、印刷物５が複数である場合は、ユーザーが選択した選択文字と同じ文字が、同じページの別の箇所や、別のページに記載されていることがある。そこで、表示制御部１１０は、印刷物５においてユーザーが任意の文字を選択すると、その選択文字及びそれと同じ文字のすべてにマーキング６を重ねて表示し、当該各文字に近接する位置に付加情報メニュー７を表示させるようにしてもよい。図８は、複数のページにマーキング及び付加情報が表示されたときに透過型ウェアラブル端末１を通して視認されるユーザーの視界を示す図である。例えば、ユーザーが文字「躊躇」を選択した場合、表示制御部１１０は、印刷物５中のすべてのページにおいて「躊躇」という文字にマーキング６及び付加情報８（例えば、読みである「ちゅうちょ」）を表示させる。
【００５０】
また、表示制御部１１０によるマーキング６及び付加情報８の表示制御に連動して、印刷データ加工部１１１は、画像形成装置２から受信している印刷物５の印刷データにおける選択文字に相当する文字データに、表示制御部１１０による表示制御と同様のデータ加工を施してもよい（Ｓ９）。例えば、図６に示したように、表示制御部１１０が選択された文字「躊躇」に対してマーキング６及び付加情報８を表示させる場合、印刷データ加工部１１１は、印刷データにおいて当該選択文字に相当する文字データにマーキング及び付加情報を付す加工を施すことができる。例えば、印刷データ加工部１１１は、当該加工を、テキスト等のキャラクターデータや画像データの追加により行う。印刷データ加工部１１１は、加工された印刷データをメモリー１０５に記憶させておく。当該加工データは、制御部１００による制御の下、必要に応じて、通信部１０４によりユーザー端末３等に送信される。
【００５１】
また、印刷データ加工部１１１は、印刷データにおける選択文字に、透過型ウェアラブル端末１を通じてユーザーに視認されるマーキング６とは異なる加工を施してもよい。図９は、印刷データの加工例を示す図である。図９に示すように、印刷データ加工部１１１は、例えば、印刷データ５０における選択文字としての文字「躊躇」を白抜き枠９に置換し、更に白抜き枠９に近接する位置に文字「躊躇」の読みを配置してもよい。このとき、印刷データ加工部１１１は、上述と同様に、印刷物５においてユーザーが任意の文字を選択すると、他のページの印刷データ５０におけるその選択文字及びそれに相当する文字のすべての文字データにマーキング６や白抜き枠９、読みを示す文字等を付す加工を施してもよい。印刷データ加工部１１１により加工された印刷データ５０は、例えば、漢字学習用の問題として使用することができる。
【００５２】
以上のように本実施形態によれば、透過型ウェアラブル端末１を使用してユーザーが印刷物５を視認しているときに、ユーザーが上記予め定められた動作としてのアクションを行った文字に対してのみ付加情報が表示されるため、透過型ウェアラブル端末１を使用してユーザーが印刷物５を視認しているときに、ユーザーが真に知りたい情報のみを、ユーザーの視認範囲に付加して表示可能にすることができる。
【００５３】
なお、本発明は上記実施の形態の構成に限られず種々の変形が可能である。例えば、図６に示したように付加情報８をマーキング６の上部に表示しているが、マーキング６の下部や側方に表示するようにしてもよい。また、表示制御部１１０は、動き検出部１０７による検出結果に基づいて、ユーザーが同じ語句を何度も指先でなぞったと判断したときには、マーキング６の表示色を変えたり、マーキング６の濃度を徐々に変化させたりするようにしてもよい。
【００５４】
なお、図１乃至図９を用いて上記実施形態により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。
【符号の説明】
【００５５】
１        透過型ウェアラブル端末
５        印刷物
６        マーキング
８        付加情報
５０      印刷データ
１０１    表示部
１０２    視線検出部
１０３    撮像部
１０４    通信部
１０６    マイクロフォン
１０７    動き検出部
１０８    文字認識部
１０９    音声認識部
１１０    表示制御部
１１１    印刷データ加工部
【図１】
2017194860.tif 000003
【図２】
2017194860.tif 000004
【図３】
2017194860.tif 000005
【図４】
2017194860.tif 000006
【図５】
2017194860.tif 000007
【図６】
2017194860.tif 000008
【図７】
2017194860.tif 000009
【図８】
2017194860.tif 000010
【図９】
2017194860.tif 000011