(57)【要約】【課題】頭部装着型の画像表示装置において、電子データの任意の部分に手書き情報を付加できるようにする。【解決手段】情報処理システムは、電子機器１と端末装置２ａが近距離無線通信およびネットワーク３経由で接続される構成を有する。端末装置２ａは、ＡＲ（拡張現実）表示機能とカメラを有するメガネ型ウェアラブルデバイスである。端末装置２ａは、電子機器１と接続し、電子データを取得する。端末装置２ａは、取得した電子データと、撮像装置で撮像したノートや紙などの画像を表示装置にＡＲ表示する。ＡＲ表示をしているノートや紙などに対して、ユーザが手書きで追記する。端末装置２ａの撮像装置で手書き後のノートや紙などを撮像し、写真をとる。追記した内容の画像を取り込み、電子データに対して重ね合わせた電子データを作成することで追記結果を得る。【選択図】図８
2016158108.tif 000002
【特許請求の範囲】
【請求項１】
透過型の頭部装着型表示装置であって、
現実空間の画像を取得する撮像部と、
電子データが前記現実空間に存在する手書き可能な媒体に重なって視認されるように表示する表示部と、
前記媒体の画像から手書き情報を抽出する手書き情報抽出部と、
前記抽出された手書き情報を前記電子データに重畳する合成部と、
を有する頭部装着型表示装置。
【請求項２】
請求項１に記載された頭部装着型表示装置において、
前記手書き情報抽出部は、手書き前後の前記媒体の画像を比較することで、前記手書き情報を抽出する頭部装着型表示装置。
【請求項３】
請求項１または２に記載された頭部装着型表示装置において、
ユーザに前記媒体の用意を含む所定の動作を促すメッセージを出力する手段を有する頭部装着型表示装置。
【請求項４】
請求項１乃至３のいずれかに記載された頭部装着型表示装置において、
手書き後の前記媒体を所定の位置へ移動させるための誘導表示を行う手段を有する頭部装着型表示装置。
【請求項５】
請求項１乃至４のいずれかに記載された頭部装着型表示装置において、
前記手書き情報が重畳された電子データを元の電子データの送信元の機器へ送信する手段を有する頭部装着型表示装置。
【請求項６】
請求項１乃至５のいずれかに記載された頭部装着型表示装置において、
外部の電子機器から、前記電子機器を識別可能な機器識別画像、および前記電子機器への接続情報を取得する手段と、前記撮像部で取得した画像に前記機器識別画像が含まれているとき、前記接続情報を用いて前記電子機器と接続する手段と、を有する頭部装着型表示装置。
【請求項７】
透過型の頭部装着型表示装置を有する情報処理システムであって、
現実空間の画像を取得する撮像部と、
電子データが前記現実空間に存在する手書き可能な媒体に重なって視認されるように表示する表示部と、
前記媒体の画像から手書き情報を抽出する手書き情報抽出部と、
前記抽出された手書き情報を前記電子データに重畳する合成部と、
を有する情報処理システム。
【請求項８】
透過型の頭部装着型表示装置により実行される情報処理方法であって、
撮像部が、現実空間の画像を取得するステップと、
表示部が、電子データが前記現実空間に存在する手書き可能な媒体に重なって視認されるように表示するステップと、
手書き情報抽出部が、前記媒体の画像から手書き情報を抽出するステップと、
合成部が、前記抽出された手書き情報を前記電子データに重畳するステップと、
を有する情報処理方法。
【請求項９】
透過型の頭部装着型表示装置を有する情報処理システムにより実行される情報処理方法であって、
撮像部が、現実空間の画像を取得するステップと、
表示部が、電子データが前記現実空間に存在する手書き可能な媒体に重なって視認されるように表示するステップと、
手書き情報抽出部が、前記媒体の画像から手書き情報を抽出するステップと、
合成部が、前記抽出された手書き情報を前記電子データに重畳するステップと、
を有する情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部装着型表示装置、情報処理システム、および情報処理方法に関する。
【背景技術】
【０００２】
ユーザの頭部に装着されて使用され、ユーザの視野領域に電子データによる虚像を形成する頭部装着型表示装置が知られている。この頭部装着型表示装置は、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）、メガネ型ウェアラブルデバイスなどとも呼ばれている。頭部装着型表示装置には、装着した状態でユーザの視界が遮断される非透過型の頭部装着型表示装置と、装着した状態でユーザの視界が遮断されない透過型（シースルー型）の頭部装着型表示装置とがある。透過型の頭部装着型表示装置では、ユーザは電子データによる虚像と現実空間とを同時に視認することができる。
【０００３】
また、透過型の頭部装着型表示装置において、カメラを備え、カメラで撮影した画像を編集する機能、具体的にはユーザの視界方向の画像を撮影し、撮影した画像を解析して所定の領域（看板、空など）を検出し、看板の文字を広告や翻訳文に書き換えたり、空に広告文字を含む飛行船を追加したりする機能を備えることで、撮影画像の付加価値を高めるものもある（特許文献１）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された頭部装着型表示装置では、撮影画像中の文字などを予め登録されている文字などに置き換えるという単純な編集ができるだけであり、例えばドキュメントなどの電子データに手書き文字を付加するような、電子データの任意の部分に手書き情報を付加するような詳細な編集ができないという問題がある。
【０００５】
本発明は、このような問題を解決するためになされたものであり、その目的は、透過型の頭部装着型表示装置において、電子データの任意の部分に対する手書き情報の付加を可能にすることである。
【課題を解決するための手段】
【０００６】
本発明は、透過型の頭部装着型表示装置であって、現実空間の画像を取得する撮像部と、電子データが前記現実空間に存在する手書き可能な媒体に重なって視認されるように表示する表示部と、前記媒体の画像から手書き情報を抽出する手書き情報抽出部と、前記抽出された手書き情報を前記電子データに重畳する合成部と、を有する頭部装着型表示装置である。
【発明の効果】
【０００７】
本発明によれば、透過型の頭部装着型表示装置において、電子データの任意の部分に対して手書き情報を付加することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態に係る情報処理システムの概略構成を示す図である。
【図２】本発明の第１の実施形態に係る情報処理システムにおける電子機器の例である画像形成装置のハードウェア構成を示すブロック図である。
【図３】図２に示す電子機器のソフトウェアの階層構造を示す模式図である。
【図４】本発明の第１の実施形態に係る情報処理システムにおける端末装置のハードウェア構成を示す図である。
【図５】本発明の第１の実施形態に係る情報処理システムにおける電子機器および端末装置のソフトウェア構成を示す図である。
【図６】本発明の第１の実施形態に係る情報処理システムにおける電子機器の機器識別画像を示す図である。
【図７】本発明の第１の実施形態に係る情報処理システムにおいて、端末装置が電子機器から機器識別画像および接続情報を取得し、機能実行要求を行うまでの手順を示すシーケンス図である。
【図８】本発明の第２の実施形態に係る情報処理システムの概略構成を示す図である。
【図９】本発明の第２の実施形態に係る情報処理システムにおける電子データの編集方法の概要について説明するための図である。
【図１０】本発明の第２の実施形態に係る情報処理システムにおける端末装置のソフトウェア構成を示す図である。
【図１１】本発明の第２の実施形態に係る情報処理システムにおけるＡＲ表示および手書き追記の手順を示すフローチャートである。
【図１２】図１１に示す手順について説明するための図である。
【発明を実施するための形態】
【０００９】
〈第１の実施形態に係る情報処理システム〉
図１は、本発明の第１の実施形態に係る情報処理システムの概略構成を示す図である。この情報処理システムは、電子機器１と端末装置２が近距離無線通信およびネットワーク３経由で接続される構成を有する。
【００１０】
電子機器１は例えば画像形成装置であり、端末装置２からの要求に応じて印刷ジョブを受け取り、印刷対象データの印刷を行うプリンタなどである。なお、画像形成装置は、プリント機能の他、コピー機能、スキャナ機能、ファクス機能など複数の機能を有するＭＦＰ(Multi Function Peripheral)などの複合機でもよい。
【００１１】
また、電子機器１は、画像形成装置のほか、電子黒板・プロジェクタ等のオフィス機器、テレビジョン受像機・ディスプレイ・オーディオ機器等のオーディオビジュアル機器、洗濯機・乾燥機・冷蔵庫等の家電製品などでもよい。
【００１２】
端末装置２は、電子機器１と接続し、電子機器１に機能の実行を指示するリモコン機能を有する。電子機器１が画像形成装置の場合、端末装置２には印刷対象データの印刷指示を行うことができるアプリケーションソフトウェアがインストールされている。端末装置２は印刷対象データを含む印刷ジョブを生成し、画像形成装置や印刷サーバに送信する。また、端末装置２はＮＦＣ（Near Field Communication）チップなどの近距離無線通信装置を備えている。
【００１３】
また、端末装置２は撮像装置を搭載している。メガネ型ウェアラブルデバイス（頭部装着型表示装置）の場合は、ＡＲ（Augmented Reality：拡張現実）表示機能と、撮像機能とを有する透過型のデバイスである。このデバイスを装着しているユーザは、電子機器１などの外部装置から受信している電子データや予め取得して内部の記憶装置に保持している電子データの虚像を前方の視界内の現実空間に重ねて同時に視認することができ、かつ少なくとも前方を撮影することができる。また、端末装置２はメガネ型ウェアラブルデバイスの他、カメラ付きのスマートフォンやタブレット等のスマートデバイス、携帯電話端末、ノート型のＰＣ（パーソナルコンピュータ）等でもよい。
【００１４】
本実施形態では、情報処理システムの例として印刷システムについて説明するが、これに限られず、出力・表示システムなど、端末装置２からの要求に応じて、電子機器１の所定の機能を実行する装置を用いた各種システムに適用できる。
【００１５】
〈画像形成装置のハードウェア構成〉
図２は、図１における電子機器１の例である画像形成装置のハードウェア構成を示すブロック図である。
【００１６】
図示のように、電子機器（画像形成装置）１は、コピー機能、スキャナ機能、ファクス機能、プリンタ機能などの各種の機能を実現可能な本体１０と、ユーザの操作を受け付ける操作部２０とを備える。なお、ユーザの操作を受け付けるとは、ユーザの操作に応じて入力される情報（画面の座標値を示す信号等を含む）を受け付けることを含む概念である。
【００１７】
本体１０と操作部２０は、専用の通信路３０を介して相互に通信可能に接続されている。通信路３０は、例えばＵＳＢ（Universal Serial Bus）規格のものを用いることもできるが、有線か無線かを問わず任意の規格のものでよい。
【００１８】
本体１０は、操作部２０で受け付けた操作に応じた動作を行うことができる。また、本体１０は、クライアントＰＣ（パーソナルコンピュータ）等の外部装置とも通信可能であり、外部装置から受信した指示に応じた動作を行うこともできる。
【００１９】
まず、本体１０のハードウェア構成について説明する。本体１０は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、ＨＤＤ（ハードディスクドライブ）１４と、通信Ｉ／Ｆ（インタフェース）１５と、接続Ｉ／Ｆ１６と、エンジン部１７とを備え、これらがシステムバス１８を介して相互に接続されている。
【００２０】
ＣＰＵ１１は、本体１０の動作を統括的に制御する。ＣＰＵ１１は、ＲＡＭ１３をワークエリア（作業領域）としてＲＯＭ１２またはＨＤＤ１４等に格納されたプログラムを実行することで、本体１０全体の動作を制御し、上述したコピー機能、スキャナ機能、ファクス機能、プリンタ機能などの各種機能を実現する。通信Ｉ／Ｆ１５は、ネットワーク３と接続するためのインタフェースである。接続Ｉ／Ｆ１６は、通信路３０を介して操作部２０と通信するためのインタフェースである。
【００２１】
エンジン部１７は、コピー機能、スキャナ機能、ファクス機能、およびプリンタ機能を実現させるための、汎用的な情報処理および通信以外の処理を行うハードウェアである。例えば、原稿の画像をスキャンして読み取るスキャナ（画像読取部）、用紙等のシート材への印刷を行うプロッタ（画像形成部）、ファクス通信を行うファクス部などを備えている。さらに、印刷済みシート材を仕分けるフィニッシャや、原稿を自動給送するＡＤＦ（自動原稿給送装置）のような特定のオプションを備えることもできる。 
【００２２】
次に、操作部２０のハードウェア構成について説明する。操作部２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、フラッシュメモリ２４と、通信Ｉ／Ｆ２５と、接続Ｉ／Ｆ２６と、操作パネル２７と、外部接続Ｉ／Ｆ２８とを備え、これらがシステムバス２９を介して相互に接続されている。
【００２３】
ＣＰＵ２１は、操作部２０の動作を統括的に制御する。ＣＰＵ２１は、ＲＡＭ２３をワークエリア（作業領域）としてＲＯＭ２２またはフラッシュメモリ２４等に格納されたプログラムを実行することで、操作部２０全体の動作を制御し、ユーザから受け付けた入力に応じた情報（画像）の表示などの後述する各種機能を実現する。通信Ｉ／Ｆ２５は、ネットワーク３と接続するためのインタフェースである。接続Ｉ／Ｆ２６は、通信路３０を介して本体１０と通信するためのインタフェースである。
【００２４】
操作パネル２７は、ユーザの操作に応じた各種の入力を受け付けるとともに、各種の情報（例えば受け付けた操作に応じた情報、画像形成装置の動作状況を示す情報、設定状態などを示す情報など）を表示する。この例では、操作パネル２７は、タッチパネル機能を搭載した液晶表示装置（ＬＣＤ）で構成されるが、これに限られるものではない。例えばタッチパネル機能が搭載された有機ＥＬ表示装置で構成してもよい。さらに、これに加えてまたはこれに代えて、ハードウェアキー等の操作部やランプ等の表示部を設けることもできる。 
【００２５】
〈画像形成装置のソフトウェアの階層構造〉
次に、電子機器１の例である画像形成装置のソフトウェア構成について説明する。図３は、図２における電子機器１（画像形成装置）のソフトウェアの階層構造を示す模式図である。
【００２６】
図示のように、本体１０は、アプリ層１０１と、サービス層１０２と、ＯＳ(Operating System)層１０３とを有する。アプリ層１０１、サービス層１０２、およびＯＳ層１０３の実体は、ＲＯＭ１２やＨＤＤ１４等に格納されている各種ソフトウェアである。ＣＰＵ１１が、これらのソフトウェアを実行することにより、各種の機能が提供される。
【００２７】
アプリ層１０１のソフトウェアは、ハードウェア資源を動作させて所定の機能を提供するためのアプリケーションソフトウェア（以下の説明では、単に「アプリ」と称する場合がある）である。例えばアプリとしては、コピー機能を提供するためのコピーアプリ、スキャナ機能を提供するためのスキャナアプリ、ファクス機能を提供するためのファクスアプリ、プリンタ機能を提供するためのプリンタアプリなどが挙げられる。
【００２８】
サービス層１０２のソフトウェアは、アプリ層１０１とＯＳ層１０３との間に介在し、アプリに対し、本体１０が備えるハードウェア資源を利用するためのインタフェースを提供するためのソフトウェアである。より具体的には、ハードウェア資源に対する動作要求の受付、動作要求の調停を行う機能を提供するためのソフトウェアである。サービス層１０２が受け付ける動作要求としては、スキャナによる読み取りやプロッタによる印刷等の要求が考えられる。
【００２９】
なお、サービス層１０２によるインタフェースの機能は、本体１０のアプリ層１０１だけではなく、操作部２０のアプリ層２０１に対しても提供される。すなわち、操作部２０のアプリ層２０１（アプリ）も、サービス層１０２のインタフェース機能を介して、本体１０のハードウェア資源（例えばエンジン部１７）を利用した機能を実現することができる。
【００３０】
ＯＳ層１０３のソフトウェアは、本体１０が備えるハードウェアを制御する基本機能を提供するための基本ソフトウェア（オペレーティングシステム）である。サービス層１０２のソフトウェアは、各種アプリからのハードウェア資源の利用要求を、ＯＳ層１０３が解釈可能なコマンドに変換してＯＳ層１０３に渡す。そして、ＯＳ層１０３のソフトウェアによりコマンドが実行されることで、ハードウェア資源は、アプリの要求に従った動作を行う。
【００３１】
同様に、操作部２０は、アプリ層２０１と、サービス層２０２と、ＯＳ層２０３とを有する。操作部２０が備えるアプリ層２０１、サービス層２０２およびＯＳ層２０３も、階層構造については本体１０側と同様である。
【００３２】
ただし、アプリ層２０１のアプリにより提供される機能や、サービス層２０２が受け付け可能な動作要求の種類は、本体１０側とは異なる。アプリ層２０１のアプリは、操作部２０が備えるハードウェア資源を動作させて所定の機能を提供するためのソフトウェアであってもよいが、主として本体１０が備える機能 （コピー機能、スキャナ機能、ファクス機能、プリンタ機能）に関する操作や表示を行うためのＵＩ（ユーザインタフェース）の機能を提供するためのソフトウェアである。通信Ｉ／Ｆ２５は、無線ＬＡＮ ＡＰ（アクセスポイント）４を介してネットワーク３と接続するためのソフトウェアである。
【００３３】
なお、本実施形態では、機能の独立性を保つために、本体１０側のＯＳ層１０３のソフトウェアと操作部２０側のＯＳ層２０３のソフトウェアが互いに異なる。つまり、本体１０と操作部２０は、別々のオペレーティングシステムで互いに独立して動作する。例えば、本体１０側のＯＳ層１０３のソフトウェアとしてＬｉｎｕｘ（登録商標）を用い、操作部２０側のＯＳ層２０３のソフトウェアとしてＡｎｄｒｏｉｄ（登録商標）を用いることも可能である。
【００３４】
以上のように、本実施形態の電子機器１において、本体１０と操作部２０は別々のオペレーティングシステムで動作するため、本体１０と操作部２０との間の通信は、共通の装置内のプロセス間通信ではなく、異なる装置間の通信として行われる。操作部２０が受け付けた情報（ユーザからの指示内容）を本体１０へ伝達する動作（コマンド通信）や、本体１０が操作部２０へイベントを通知する動作などがこれに該当する。ここでは、操作部２０が本体１０へコマンド通信を行うことにより、本体１０の機能を使用することができる。また、本体１０から操作部２０に通知するイベントには、本体１０における動作の実行状況、本体１０側で設定された内容などが挙げられる。
【００３５】
また、本実施形態では、操作部２０に対する電力供給は、本体１０から通信路３０を経由して行われているので、操作部２０の電源制御を、本体１０の電源制御とは別に（独立して）行うことができる。 
【００３６】
〈端末装置のハードウェア構成〉
図４は、図１における端末装置２のハードウェア構成を示す図である。
図示のように、端末装置２は、入力装置４１、撮像装置４２、表示装置４３、外部Ｉ／Ｆ４４、近距離無線通信装置４５、通信Ｉ／Ｆ４６、ＣＰＵ４７、ＲＯＭ４８、ＲＡＭ４９、ＳＳＤ（Solid State Drive）５０を備え、それぞれがバス５１で相互接続されている。
【００３７】
入力装置４１は、ユーザが操作を入力するもので、タッチ入力装置、ボタン入力装置、音声入力装置、視線入力装置の何れか、または複数を端末装置２が有している。
タッチ入力装置は端末装置２の一部をユーザが触ったことを検知し、入力信号に変換する。ボタン入力装置は端末装置２に設けられたボタンを押下することを検知し入力信号に変換する。
【００３８】
音声入力装置は端末装置２に設けられたマイクでユーザの音声入力を検知し、入力内容を認識する。例えばユーザが「写真を撮影」とマイクに話すと、写真撮影機能を実行することを認識し、撮像装置４２を起動し、撮影を実行する。入力する音声と実行する機能とは例えばテーブルで記憶部（ＲＯＭ４８やＳＳＤ５０）に記憶されている。
【００３９】
視線入力装置は端末装置２（メガネ型ウェアラブルデバイス）にユーザの目の動きを検知するカメラ等の検知手段を有している。カメラはユーザの視線方向・動きを検知し、例えば所定時間、一定の箇所を見ていることを検知すると、その方向に表示装置４３に表示されているユーザインタフェース選択することができる。その他、キーボードやマウスがあってもよい。
【００４０】
撮像装置４２は端末装置２に設けられたカメラである。メガネ型ウェアラブルデバイスの場合、例えばメガネのフレーム部分にユーザの前方を撮影できるように搭載されている。
【００４１】
表示装置４３は、例えば表示ディスプレイとしてのメガネ型ウェアラブルデバイスのグラス部、ＬＣＤなどであり、電子データ（電子文書・画像・ユーザへのメッセージなど）をユーザに見えるように表示する。また、ＬＣＤの透明度を制御することで、視界内の現実空間内の物体が電子データと同時に見えるようにすることもできる。
【００４２】
外部Ｉ／Ｆ４４は、記録媒体５２とのインタフェースである。端末装置２は外部Ｉ／Ｆ４４を介して、記録媒体５２に対する読み取りや書き込みを行うことができる。記録媒体５２は、例えばＳＤカード、ＵＳＢメモリ、フレキシブルディスクなどである。
【００４３】
近距離無線通信装置４５は、例えばＮＦＣチップである。これにより、端末装置２は近距離無線通信装置４５を介して、電子機器１との間でデータ通信を行うことができる。
【００４４】
通信Ｉ／Ｆ４６は、端末装置２を携帯電話網やインターネット等に接続するためのインタフェースである。これにより、端末装置２は通信Ｉ／Ｆ４６を介してデータ通信を行うことができる。
【００４５】
ＣＰＵ４７は、ＲＯＭ４８やＳＳＤ５０などの記憶装置からプログラムやデータをＲＡＭ４９上に読み出して処理を実行し、端末装置２の全体制御や機能を実現する。ＲＯＭ４８は電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ＲＯＭ４８には、端末装置の起動時に実行されるＢＩＯＳ、ＯＳ設定、およびネットワーク設定などが格納されている。ＲＡＭ４９はプログラムやデータを一時保持する揮発性の半導体メモリである。
【００４６】
ＳＳＤ５０はプログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、例えば端末装置２の全体を制御するＯＳや、ＯＳ上において各種機能を提供するアプリケーションソフトウェアなどがある。ＳＳＤ５０は格納しているプログラムやデータを所定のファイルシステムやデータベースで管理している。ＳＳＤ５０の代わりにＨＤＤを設けてもよい。
【００４７】
〈電子機器および端末装置のソフトウェア構成〉
図５は、図１における電子機器１および端末装置２のソフトウェア構成を示す図である。
【００４８】
図示のように、電子機器１は、記憶部１１１、送信データ生成部１１２、近距離無線通信部１１３、ネットワーク通信部１１４、およびジョブ実行部１１５を備えている。
【００４９】
記憶部１１１は、機器識別画像と接続情報などを保有する。機器識別画像と接続情報については後述する。送信データ生成部１１２は、端末装置２からの機器識別画像と接続情報の送信要求指示を受け、記憶部１１１からデータを取り出して送信用データを生成する。
【００５０】
近距離無線通信部１１３は、近距離無線通信装置により端末装置２と近距離無線通信を行う。ネットワーク通信部１１４は、通信Ｉ／Ｆ１５，２５により端末装置２や印刷サーバなどと各種データの送受信を行う。
【００５１】
送信用データ（機器識別画像と接続情報）は、近距離無線通信部１１３からデータ要求指示を受けた後、ネットワーク通信部１１４から、端末装置２のネットワーク通信部３０３へ送信する。近距離無線通信部１１３へ送信してもよい。
【００５２】
ジョブ実行部１１５は、受け取った印刷ジョブをＣＰＵ１１により実行する。ジョブ実行部１１５は、プリント機能部（プリンタなど画像形成エンジンによりジョブ実行部により実行された印刷ジョブに含まれる印刷対象データを印刷）、スキャン機能部（読み取った原稿から画像データ（電子データ）を生成）、コピー機能部（読み取った原稿を複製）、ＦＡＸ機能部（読み取った原稿または電子データを、電話回線などを介してＦＡＸ送信）などを有する。
【００５３】
端末装置２は、データ要求指示生成部３０１、近距離無線通信部３０２、ネットワーク通信部３０３、データ取得部３０４、データ記憶部３０５、撮像部３０６、データ比較部３０７、ジョブ生成部３０８、および表示部３０９を備えている。
【００５４】
データ要求指示生成部３０１は、電子機器（画像形成装置など）１の記憶部１１１が保有する機器識別画像と接続情報などのデータの送信要求を生成する。近距離無線通信部３０２は、近距離無線通信装置４５により実現され、電子機器１と近距離無線通信を行う。ネットワーク通信部３０３は、通信Ｉ／Ｆ４６により実現され、ネットワーク３を介して印刷ジョブなどのデータの送受信を行う。
【００５５】
データ取得部３０４は、電子機器１から送信される機器識別画像と接続情報などのデータを受け取る。データ記憶部３０５は、機器識別画像と接続情報などのデータを記憶する。
【００５６】
撮像部３０６はカメラ（撮像装置４２）で画像を取り込み、データ比較部３０７に送る。データ比較部３０７は、カメラから取り込まれた画像と、機器識別画像とを比較し、特徴が一致すると接続先に接続指示をする。
【００５７】
ジョブ生成部３０８は、ユーザによりアプリ（ブラウザアプリ・ドキュメントビューワアプリ・印刷アプリ）などから印刷対象データが選択されると、この選択された印刷対象データを印刷するための印刷ジョブを生成する（ＣＰＵ４７が実行）。表示部３０９は、端末装置２が例えばアプリで表示している電子データを、ユーザが視認できる画像で表示装置４３に表示する。
【００５８】
なお、端末装置２またはデータ比較部３０７は時間（または枚数）を計測する計測手段を有し、カメラで取り込んだ画像が一定時間（所定枚数）にわたって合致したことをトリガーに、接続指示をしてもよい。また、端末装置２は複数の電子機器（複数台の画像形成装置）の機器識別画像と接続情報を対応付けて記憶することもできる。
【００５９】
〈電子機器の機器識別画像〉
図６は、電子機器１の機器識別画像を示す図である。
機器識別画像は電子機器１内の記憶装置内の記憶部による保有されている。装置本体・操作部のどちらの記憶部に保有させてもよいが、操作部２０の記憶部に保有させ、操作部２０の通信Ｉ/Ｆ２５（図２）から送信すると、本体１０の他の画像形成動作を妨げずに、端末装置２と電子機器１の設定作業を行うことができる。
【００６０】
機器識別画像には以下の２つの例がある。第１の例は電子機器１の本体１０の外観の画像、例えば電子機器１を複数方向から撮影した写真画像である。写真画像は電子機器１の製造時にデータを記憶部に格納する。またはユーザが端末装置２で撮影して電子機器１へ転送してもよい。
【００６１】
図６Ａ〜Ｅは、電子機器１の本体１０の前面、背面、右側面、左側面、上面の画像を表している。このように、電子機器１に本体の前面・背面・側面・上面の写真画像を持たせることで、端末装置２で電子機器１をどの方向から撮像しても認識することができる。
【００６２】
機器識別画像の第２の例は、電子機器１の名称や型番などの情報を埋め込んだＱＲコード（登録商標）やカラーコードのなど画像である。これらのコードは端末装置２のカメラで撮影できるよう、電子機器１の筐体に紙やシールで貼り付ける。図５ＦはＱＲコード（登録商標）の画像を示している。
【００６３】
接続情報とは、電子機器１のＩＰアドレス、ＳＳＩＤ、パスワードなど、電子機器１をネットワーク接続するための情報である。機器識別画像が第２の例の場合、コードの中に接続情報を埋め込んでもよい。接続情報は、本体１０と操作部２０のどちらの通信Ｉ／Ｆのものでもよい。
【００６４】
機器識別画像が第１の例の場合、記憶部１１１において、機器識別画像と接続情報とが紐付けられて格納される。ＩＰアドレスやＳＳＩＤが変更された場合は、自動的に変更後の情報に置き換わり、新しい接続情報と紐付けられる。ＩＰアドレスやＳＳＩＤが変更された場合は、新しいＩＰアドレスやＳＳＩＤを電子機器１（または電子機器１とネットワーク３経由で接続した機器管理サーバ等）から端末装置２へ送信する。電子機器１が機器識別画像を送信したときの端末装置２の送信先情報（アドレス）を電子機器１や機器管理サーバなどが保持しておく。
【００６５】
機器識別画像が第２の例の場合、電子機器１自身が、機器の名称・型番・接続情報（最新のもの）から、コードを生成してもよい。端末装置２から電子機器１に対して、電子機器１の機器識別画像と接続情報の要求指示があった場合、電子機器１は端末装置２に対して機器識別画像と接続情報を送信する。
【００６６】
〈端末装置と電子機器との接続手順〉
図７は、端末装置２が電子機器１から機器識別画像および接続情報を取得し、機能実行要求を行うまでの手順を示すシーケンス図である。
【００６７】
まず端末装置２のデータ要求指示生成部３０１が、電子機器１対して機器識別画像と接続情報の要求指示を生成する（手順Ｓ１０１）。具体的には、端末装置２の入力装置４１からタッチ操作他、音声・視線検知などにより、リモコンアプリ（印刷アプリ）のデータ要求モードを起動させる。データ要求モードが起動すると、データ要求指示生成部３０１が指示を作成する。
【００６８】
次に端末装置２でデータ要求モードを起動したまま、電子機器１と接続すると、近距離無線通信部３０２経由でデータ要求指示が送信される（手順Ｓ１０２）。具体的には、端末装置２を、電子機器１の近距離無線通信部１１３にタッチさせると、データ要求指示が送られる。
【００６９】
次に電子機器１が、電子機器１の記憶部１１１に保有する機器識別画像・接続情報を、ネットワーク通信部１１４から、端末装置２のネットワーク通信部３０３へ送信する（手順Ｓ１０３）。次いで端末装置２は、機器識別画像・接続情報を内部のデータ記憶部３０５に記憶する（手順Ｓ１０４）。
【００７０】
ここまでの手順により、端末装置２による電子機器１の機器識別画像と接続情報の獲得、および端末装置２が電子機器１を識別可能にするためのペアリング作業が実行される。
【００７１】
次に端末装置２は、撮像装置４２で電子機器１を撮像する（手順Ｓ１０５）。例えば入力装置４１からリモコン指示（印刷ジョブ指示など）があった場合に撮像装置４２を起動する。または撮像装置４２は常にＯＮして撮像し続けてもよい。
【００７２】
次いで端末装置２は撮像した画像と記憶した機器識別画像とを比較する（手順Ｓ１０６）。そして、比較の結果一致しなかったら（Ｓ１０６−２）、手順Ｓ１０５およびＳ１０６を繰り返す。また、一致したら、接続情報をネットワーク通信部３０３の接続先に設定し、接続要求を実行する（手順Ｓ１０７）。次に電子機器１が端末装置２に接続許可を送信したら（手順Ｓ１０８）、端末装置２は電子機器１に対して、機能実行要求を送信する（手順Ｓ１０９）。
【００７３】
このように、端末装置２のユーザはカメラに写し込む（ユーザがその方向を見る）だけで、手順Ｓ１０５〜Ｓ１０７が実行され、機能実行をさせることができる。
【００７４】
以上詳細に説明したように、本発明の第１の実施形態に係る情報処理システムには下記（１）、（２）の特徴がある。
（１）端末装置２は、入力装置４１に対する所定の操作に応じて、電子機器１の機器識別画像および接続情報（ＩＰアドレス・ＳＳＩＤなど）を電子機器１から送信させて取得するので、入力装置４１に対する操作を行うという簡単な操作で、端末装置２が電子機器１を識別可能にするためのペアリングが可能となる。
（２）端末装置２の撮像装置４２で撮影したユーザ前方の被写体（≒ユーザに見えている被写体）の画像と、端末装置２が予め取得した機器識別画像とを比較し、合致した場合に、ペアリングで取得した機器識別画像に紐付いた接続情報を用いて接続するので、端末装置２で電子機器１を撮影するという簡単な操作で、端末装置２と電子機器１との間を近距離無線通信で接続することができる。
【００７５】
したがって、本発明の第１の実施形態に係る情報処理システムによれば、例えば特許文献２に記載された携帯端末装置の問題点である「画像形成装置などの情報処理装置と近距離無線通信で接続するときに、携帯端末装置を情報処理装置に接近させるために持ち歩く必要があること」を解決することができる。
【００７６】
〈第２の実施形態に係る情報処理システム〉
図８は、本発明の第２の実施形態に係る情報処理システムの概略構成を示す図である。この図において、図１（第１の実施形態に係る情報処理システム）と同一または対応の部分には図１と同じ参照符号が付されている。これらの部分の構成および機能については、必要な場合以外はその説明を省略する。
【００７７】
この情報処理システムは、電子機器１と端末装置２ａとが近距離無線通信およびネットワーク３経由で接続される構成を有する。
【００７８】
端末装置２ａは、第１の実施形態における端末装置２としてメガネ型ウェアラブルデバイスを用いた場合の構成と同じであり、撮像装置とＡＲ表示機能とを備えた透過型のメガネ型ウェアラブルデバイスである。つまり、このデバイスを装着したユーザの少なくとも前方の現実空間を撮像する機能、およびユーザの視界に電子データによる虚像を重ねて表示することで、現実空間と電子データを同時に見られるようにする機能を備えている。スマートフォン・タブレット等のスマートデバイス、透明ディスプレイ装置、その他の機器がこの機能を有していてもよい。
【００７９】
電子機器１の例としては、ネットワーク３と無線・有線で接続可能な画像形成装置、スマートデバイス、サーバ等がある。また、電子機器１は、電子データを端末装置２ａに送信できるものであれば、電子黒板・プロジェクタ等のオフィス機器、テレビジョン受像機・ディスプレイ・オーディオ等のオーディオビジュアル機器や家電製品などその他の機器でもよい。
【００８０】
〈電子データの編集方法の概要〉
図９は、本発明の第２の実施形態に係る情報処理システムにおける電子データの編集方法の概要について説明するための図である。以下、図８および図９を参照して、電子データの編集方法について説明する。
【００８１】
まず端末装置２ａは、ネットワーク３経由もしくは近距離無線通信で電子機器１と接続し、電子データを取得する。図９Ａに電子データの一例を示す。ここでは、電子データは、電子機器１が受信したファクスの受信文書のデータである。
【００８２】
次に、端末装置２ａは、取得した電子データを現実空間の紙やノートなどの手書き可能な媒体に対してＡＲ表示する。図９Ｂはノートの一例を示す図であり、図９Ｃは、端末装置２ａを装着しているユーザが見ているノートの左側のページに電子データをＡＲ表示した状態を示す図である。なお、図９Ｂにおける一点鎖線の枠線はノートの画像から検出されるノートの縁などに対応する矩形（後述する手書き用領域）であり、図９Ｃに示すＡＲ表示における電子データの画像の位置合わせに用いられる。
【００８３】
次に、ＡＲ表示をしているノートや紙などに対して、ユーザが手書きで追記内容を書き込む。図９Ｄに「受領済」を手書きした直後のＡＲ表示を示す。その後、端末装置２ａの撮像装置で手書き後のノートや紙などを撮像し、写真をとる。これにより、追記した内容の枠線内の画像を取り込み、電子データに対して重ね合わせた画像を作成することで、追記結果を得ることができる。
【００８４】
図９Ｅは手書き後のノートであり、枠線内の画像が撮像されて取り込まれる。そして、図９Ｂに示す手書き前の枠線内の画像と図９Ｅに示す手書き後の枠線内の画像との差分を抽出して手書き文字「受領済」を取得し、電子データに位置を合わせて重畳することで、図９Ｆに示す手書き文字が追記された電子データを得ることができる。この電子データを元の電子データの送信元へ送信することにより、送信元では電子データに係るファクスが正常に受信されたことを確認できる。
【００８５】
〈端末装置のソフトウェア構成〉
図１０は、図８における端末装置２ａのソフトウェア構成を示す図である。なお、図８における端末装置２ａのハードウェア構成は図４（第１の実施形態）と同じであるから、説明を省略する。また、図８の端末装置２ａの動作説明のうち、ハードウェアの構成に関係のある部分では図４を引用する。
【００８６】
図１０に示すように、端末装置２ａは、記憶部４０１、アプリ実行部４０２、表示部４０３、入力部４０４、メッセージ生成部４０５、撮像部４０６、画像認識部４０７、ＡＲ生成部４０８、画像処理部４０９、および通信部４１０を備えている。
【００８７】
記憶部４０１は、ＲＯＭ４８、ＳＳＤ５０、および記録媒体５２により構成されるものであり、電子データ、アプリケーション、その他の各種データを保有している。また、記憶部４０１は、第１〜第３の画像格納部４０１ａ〜ｃを有する。
【００８８】
アプリ実行部４０２は、電子データの閲覧・編集・保存を行うためのアプリケーションを起動し、実行する。アプリケーションは、例えばドキュメントビューワー、メール閲覧アプリ、ファックス送受信アプリ、画像編集アプリ、ブラウザアプリなどを含む。
【００８９】
表示部４０３は、アプリ実行部４０２が開いている（閲覧・編集可能にしている）ファイルなどの電子データや、メッセージを、表示装置４３に表示する。入力部４０４は、入力装置４１から入力された信号を検知し、内容認識、機能実行指示をする。例えば、アプリの機能メニューを立ち上げ、機能メニューの中からの手書き追記機能の選択、写真撮影機能の選択実行、などの入力を入力装置４１から行う。機能メニューには編集・保存・印刷・送信・手書き追記・写真撮影などがある。
【００９０】
メッセージ生成部４０５は表示部４０３にユーザに対するメッセージを表示する。アプリ実行部４０２からのメッセージ作成要求に応じて生成するメッセージには、例えば、「紙・ノートを広げてください」、「保存しています」、「中断します」、「紙・ノートを枠線内に移動させてください」などがある。
【００９１】
撮像部４０６は、撮像装置４２によって画像を取り込み、画像格納部（４０１ａ〜ｃ）に画像を送る。画像認識部４０７は、画像格納部に随時取り込む画像（後述する第２格納画像）から手書き用領域を検出する。手書き用領域は、例えば紙の白紙や単色領域、または罫線の入ったノートから検出する。領域検出は、画像認識ソフトにより単色の面積の割合が一定以上あるか検出するなどの手段で実行する。
【００９２】
画像格納部は、記憶部４０１の一部に設けられ、第１〜第３の画像格納部４０１ａ〜ｃを有する。撮像装置４２を起動している間、撮像部４０６が所定間隔（毎秒５回など）で取り込んでいる画像（第１格納画像）を１枚ずつもしくは一定時間（枚数・容量）分、第１画像格納部４０１ａに格納し、消去している。また、撮像部４０６によって撮影され、画像認識部４０７によって手書き用領域があると認識された場合、その写真（第２格納画像）を第２画像格納部４０１ｂに格納する。さらに、ユーザが手書き追記した後の結果の画像（第３格納画像）を、第３画像格納部４０１ｃに格納する。
【００９３】
ＡＲ生成部４０８は、画像比較部４０８ａ、追従表示部４０８ｂ、誘導表示部４０８ｃ、誘導検出部４０８ｄを有する。
画像比較部４０８ａは、第１格納画像（撮像装置４２の起動時に常時取り込んでいる画像）と、第２格納画像（手書き用領域を含んだ画像）とを比較して一致する箇所を検出し、その位置情報を抽出する。すなわち、画像比較部４０８ａは本発明に係る手書き用領域検出部として機能する。位置情報は例えば、第１格納画像（＝視界範囲）の中で、一致する領域がどこに現れているかを座標で抽出する。座標は例えば第１格納画像（＝視界範囲）左下の端を（Ｘ，Ｙ）＝（０，０）として、一致領域の端部位置（Ｘ，Ｙ）＝（Ａ１，Ａ１），（Ａ２，Ａ２）（Ａ３，Ａ３），（Ａ４，Ａ４）を抽出する。なお、第１格納画像はユーザ前方の視界全体をカバーするか、それと近い範囲を、撮影した画像である。
【００９４】
追従表示部４０８ｂは、第１格納画像中に、第２格納画像を検出した場合、視界範囲における一致領域の座標位置に表示するよう表示部４０３に指示する。また、ＡＲ表示時は、電子データの縦横比と同じ比で、手書き用領域を検出し、電子データの表示サイズを手書き用領域に対して等しくなるように変更して表示する。
【００９５】
また、追従表示部４０８ｂは、第２画像格納部４０１ｂに格納した画像の、第１画像格納部４０１ａに格納した画像に対する傾き・大きさを検出し、検出結果に合わせて、電子データの画像の形を変形させて表示する。
【００９６】
これによって、電子データが、用意した紙やノートの手書き用領域に対して追従して表示されるため、ユーザは紙やノートに電子データが印刷されているように見え、その上から追記したい内容を手書きすることができる上、印刷出力をしなくても紙やノートの上の追記したい場所に手書きで書き込むことができる。
【００９７】
このとき、実際にはＡＲ表示の後ろ（紙やノートと電子データとの間）で書く作業をするので、手元が電子データに隠れて見にくい。そこで、ＡＲ表示した電子データのうち、白いところは透明に変換して表示することで、書くスペースを見やすくすることが好適である。
【００９８】
なお、ＡＲ表示を現実空間の物に対して、追従して表示する技術は非特許文献１〜３などにより、２０１１年頃から公知である。本実施形態は、これを利用して、手書き情報を抽出し、電子データに対してズレを防止しながら重ねる、というところが特徴である。
【００９９】
誘導表示部４０８ｃは、紙やノートの手書き用領域を、所定の位置（検出・撮影位置）へ持っていくようユーザを誘導するＡＲ表示をする。所定位置は、手書き用領域を撮影したとき位置・形状を記憶しておき、ここで呼び出して形状に合わせて点線表示する。同時に、「枠内に画像（表示された電子データ）が収まるように合わせてください」などのメッセージを表示する。
【０１００】
誘導検出部４０８ｄは、誘導表示（表示された枠線）と、電子データの縁の一致を検出し、検出できたら撮像部４０６に手書き用領域の撮影を指示する。これによって、手書きした内容が、元の電子データの画像の位置に対して、ずれてしまうことを防止できる。すなわち、元の撮影位置と同じところで撮影させることでズレを解消する。
【０１０１】
画像処理部４０９は、第２格納画像と第３格納画像とを比較し、差分画像を抽出することによって追記画像を獲得する。また第２格納画像として撮影したノートや紙が完全な白紙でなかった場合（罫線等がある場合）でも、手書きした画像だけを抽出できる。手書きした紙が白紙だった場合は、白い色の領域を取り除く処理をすることで、手書き分を抽出してもよい。なお、撮影時に角度がずれた場合は、追記結果の画像を補正してもよい。この補正はメガネと紙の角度差を元に行うことができる。さらに画像処理部４０９は、差分画像を電子データに重畳した画像を生成し、記憶部４０１に記憶する。このように、画像処理部４０９は、本発明に係る手書き情報抽出部および合成部として機能する。
【０１０２】
通信部４１０は、通信Ｉ／Ｆ４６および近距離無線通信装置４５により構成され、電子機器１やサーバ装置などとの間で、電子データをネットワーク３経由または直接、送受信する。電子データは、ドキュメントファイル、画像、テキストデータ、ブラウザで閲覧するWebサーバのデータなどを含む。
【０１０３】
〈ＡＲ表示および手書き追記〉
図１１は、端末装置２ａによるＡＲ表示および手書き追記の手順を示すフローチャートであり、図１２は、図１１に示す手順について説明するための図である。
【０１０４】
図１１に示すフローは、端末装置２ａが事前に取得し、その記憶部４０１で保持している電子データを表示部４０３に表示している状態からスタートする。
【０１０５】
端末装置２ａの表示部４０３が、電子データを表示しているとき、ユーザがその電子データに対して、手書きで追記を開始するための入力（音声・タッチ・視線など）を行い、端末装置２ａの入力部４０４が入力を検知する（ステップＳ２０１、図１２Ａの「機能メニュー」の「手書き」）。端末装置２ａでは入力検知後に、表示部４０３が「紙・ノートを用意してください」などを表示する。ユーザは紙やノート（図ではノート）を例えば机の上などの位置を固定可能な場所で広げる。
【０１０６】
端末装置２ａの撮像部（カメラ）４０６はカメラ起動時に画像（第１格納画像）を常時取り込んでおり、その画像の中から、画像認識部４０７が手書き用領域を検出する（ステップＳ２０２：有）。前述したように、手書き用領域は、例えば紙の白紙や単色領域、または罫線の入ったノート等から検出する。
【０１０７】
手書き用領域を所定時間検出できなかった場合は（ステップＳ２０２：無）、ステップＳ２１１に進み、所定時間検出できなかった場合や中断入力があった場合は、終了メッセージを表示してフローを終了する。または検出を継続するかどうかユーザに聞く表示をしてもよい。また、壁や机の白い箇所などを誤検出した場合、その後に紙をかざす等の動きがあると、自動的に検出を再開してもよい。
【０１０８】
手書き用領域を検出でき、第２格納画像を得た場合は（ステップＳ２０２：有、図１２Ｂ）、ステップＳ２０３に進み、手書き用領域の検出が成功した画像を第２格納画像として、第２画像格納部４０１ｂに格納する。図１２Ｂでは、ノートの右側のページから手書き用領域（一点鎖線の枠線）が検出されている。
【０１０９】
次に画像比較部４０８ａは、第１画像格納部４０１ａにカメラ起動時に取り込んでいる第１格納画像と、手書き用領域を撮影した第２格納画像とを比較して一致する箇所を検出し、その位置情報を抽出する。さらに、追従表示部４０８ｂは、視界範囲において、一致領域の位置に電子データを表示させるように、表示部４０３に指示する（ステップＳ２０４、図１２Ｃ）。
【０１１０】
この追従表示時には、電子データを一致領域と同じ形状・サイズに合わせるように変形し表示する。これによって現実の紙やノートに追従表示させることで、ユーザは紙やノートに電子データが書いてあるように見えるので、印刷出力をしなくても紙上の追記したい場所に、手書きで書き込むことができる。なお、図１２Ｃでは、ノートの右側のページが視界のほぼ中央部に位置するようにユーザが移動するか、またはノートを移動させ、移動後のノートに電子データを追従させている。また、図１２Ｃでは、「手書き可能です」とのメッセージが表示されている。
【０１１１】
なお、実際には電子データのＡＲ追従表示の向こう側（実際の紙やノートと表示された電子データとの間）で手書き作業をするので、手元が電子データの追従表示に隠れて見にくい。そこでＡＲ追従表示した電子データのうち、白いところは透明に変換して表示する（図１２Ｃの場合、この透明表示により、ノートの右側のページのうち、右上の縁の付近の部分が見えるようになる）ことで、書くスペースが見やすくなる。
【０１１２】
ユーザは手書き追記をし、作業を終えたら、終了する入力を入力部４０４に対して行う（ステップＳ２０５）。入力があった場合は（ステップＳ２０５：有）、ステップＳ２０６へ進む。所定時間入力がなかった場合や、手書きを中断する入力があった場合は、終了する表示または終了するかユーザに確認する表示をしてもよい（ステップＳ２０５：無、Ｓ２１２）。
【０１１３】
ステップＳ２０６では、誘導表示部４０８ｃは、紙やノートの手書き用領域を所定の位置（検出・撮影位置）へ持っていくようユーザを誘導するＡＲ表示（枠線の表示）を行う（図１２Ｄ）。所定位置は、ステップＳ２０３で手書き用領域を検出したときに位置座標・形状を記憶しておき、ここで呼び出して形状に合わせて点線などの枠線を表示する。同時に、「画像を枠線に合わせて下さい」などのメッセージを表示する。ユーザが手書き済みのノートを点線の枠線内に移動させる動作を行うと、電子データが手書き用領域に追従して移動するので、ユーザは電子データの画像を枠線に合わせることができる。そのため、手書き追記した内容を、意図した内容・位置と異なることなく、電子データに対して追加することができる。
【０１１４】
次に誘導検出部４０８ｄは、誘導表示（点線の枠線）と、電子データの縁の一致を検知し（ステップＳ２０７：有）、撮像部４０６に手書き用領域撮影を指示し、第３格納画像として第３画像格納部４０１ｃに格納する（ステップＳ２０７：有、Ｓ２０８、図１２Ｅ、Ｆ）。
【０１１５】
この誘導表示・検出によって、手書きした内容が、元の電子データの画像の位置に対して、ずれてしまうことを防止できる。すなわち、元の撮影位置と同じところで撮影させることでズレを解消する。なお所定時間検出できなかった場合や、撮影中断する入力があった場合は、終了する表示または、終了するかユーザに確認する表示を実行する（ステップＳ２０７：無、Ｓ２１３）。
【０１１６】
次に画像処理部４０９は、ステップＳ２０３で検出した第２格納画像（手書き用領域を検出した画像：図１２Ｂの枠線内の画像）と、ステップＳ２０８で格納した第３格納画像（手書き結果の画像：図１２Ｆの枠線内の画像）、すなわち手書きの前後の手書き量領域内の画像を比較し差分を抽出する（ステップＳ２０９：有）。差分が抽出できなかったときは（ステップＳ２０９：無）、手書きの記入がないため、終了するメッセージを表示する（ステップＳ２１４）。
【０１１７】
これによって、手書き結果の画像のみを得ることができる。例えばステップＳ２０３で検出した第２格納画像の手書き用領域が完全な白紙でなかった場合（ノートの罫線等がある場合など）でも、手書きした画像だけを抽出できる。
【０１１８】
なお手書きした紙が完全な白紙だった場合は、白い色の領域を取り除く処理をすることで、手書き分を抽出してもよい。また、撮影時に角度がずれた場合は、メガネと紙の角度差を元に追記結果の画像を補正してもよい。
【０１１９】
次に画像処理部４０９は、差分画像を電子データに重畳し、記憶部４０１に格納する（ステップＳ２１０）。さらに、差分画像を重畳した電子データの送信・印刷等を電子データ取得時の取得方法に従って、自動で行ってもよい。例えば、ファクス受信により電子データを取得した場合は、手書き画像を重畳した電子データを返信内容として、ファクス送信元に返信する。また、ペーパーレス会議資料として他デバイスから取得した場合は、手書き画像を重畳した電子データを自分のメモとして、ＰＣやスマートフォンに転送などを自動で行うことで、ユーザの送信動作などの手間を減らすことができる。
【０１２０】
以上詳細に説明したように、本発明の第２の実施形態に係る情報処理システムには下記（１）〜（６）の特徴がある。
（１）ＡＲ表示を利用して電子データへの手書き追記を実現する。具体的には、端末装置で手書き用領域を生成（紙などに対してＡＲ表示）し、手書き用領域内に手書きした情報を抽出して電子データに重畳するので、電子データを印刷して手書き後にスキャンすることなく、簡単にドキュメントデータ等の電子データに手書き情報を付加することができる。
（２）端末装置は、手書き前の画像（第２格納画像）と手書き後の画像（第３格納画像）とを比較し、手書き情報を抽出するので、手書き用領域が白紙でなくても手書き情報を取得することができる。
（３）端末装置は、電子データを手書き用領域に追従させて表示するので、端末装置のユーザは、自分のノート等に電子データが印刷されているのに近い状態で、仮想的に電子データの上から手書きをすることができる。
（４）端末装置は、所定のメッセージを生成して表示するので、ノートを広げる、手書きをする等の動作を端末装置のユーザに指示することができる。
（５）端末装置は、ユーザに手書き後の画像（第３格納画像）を所定位置で撮影させるための誘導表示をすることで、ユーザに手書き用領域を所定箇所で撮影させることができるので、手書き情報の電子データに対する位置ズレを防止できる。
（６）手書き情報を重畳した電子データを、元の電子データの送信元の機器へ送信することにより、受信した電子データ（例．ファクス画像）に手書きして返信したいような場合、一連の作業が簡単に実施できる。
【０１２１】
なお、本発明は以上説明した各実施形態に限定されるものではなく、例えば下記（１）、（２）のような様々な変形が可能である。
（１）第１の実施形態に係る端末装置２と、第２の実施形態に係る端末装置２ａの機能（ソフトウェア構成）とを兼備した端末装置を備えた情報処理システム。
（２）端末装置２ａの機能の一部、例えば画像認識部４０７、ＡＲ生成部４０８、画像処理部４０９を外部のサーバに持たせる。
【符号の説明】
【０１２２】
１…電子機器、２，２ａ…端末装置、１１３，３０２…近距離無線通信部、１１４，３０３…ネットワーク通信部、３０６，４０６…撮像部、３０９，４０３…表示部、４０８…ＡＲ生成部、４０８ａ…画像比較部、４０８ｂ…追従表示部、４０８ｃ…誘導表示部、４０８ｄ…誘導検出部、４０９…画像処理部、４１０…通信部。
【先行技術文献】
【特許文献】
【０１２３】
【特許文献１】特開２０１３−３４２３７号公報
【特許文献２】特開２０１０−９８７１７号公報
【非特許文献】
【０１２４】
【非特許文献１】http://www.sony.co.jp/SonyInfo/News/Press/201105/11-058/（平成２７年２月９日検索）
【非特許文献２】http://ascii.jp/elem/000/000/607/607168/（平成２７年２月９日検索）
【非特許文献３】http://www.atmarkit.co.jp/ait/articles/1109/26/news136.html（平成２７年２月９日検索）
【図１】
2016158108.tif 000003
【図２】
2016158108.tif 000004
【図３】
2016158108.tif 000005
【図４】
2016158108.tif 000006
【図５】
2016158108.tif 000007
【図６】
2016158108.tif 000008
【図７】
2016158108.tif 000009
【図８】
2016158108.tif 000010
【図９】
2016158108.tif 000011
【図１０】
2016158108.tif 000012
【図１１】
2016158108.tif 000013
【図１２】
2016158108.tif 000014