(57)【要約】【課題】紙面記入の作業支援を行う情報処理装置に関し、紙面の種類・位置をリアルタイムに認識し、その認識結果に基づいて適切な紙面の位置に直接紙面記入の作業支援表示を可能とする。【解決手段】認識部５０１は、撮影部１０２により紙面を撮影して得られるカメラ画像に対して、紙面上のマーカを用いることにより、紙面の種別の判断を行う。また、認識部５０１は、上記マーカに基づいて、各記入領域の判断を行う。算出部５０２は、ペン認識部１０３によって、手書き入力がされている位置であるペン入力位置を取得する。算出部５０２は、ペン入力位置を、認識部５０１が判断した記入領域の何れかと対応づける。決定部５０３は、算出部５０２がペン入力位置に対応づけた記入領域に対応するガイダンスの表示内容と投影位置とを決定し、決定した表示内容を、決定した投影位置に、ガイダンス表示部を用いて投影表示する。【選択図】図５
2018200527.tif 000002
【特許請求の範囲】
【請求項１】
紙面を撮影して得たマーカを用いた前記紙面の種別の判断と、前記マーカに基づいた前記紙面上の記入領域の判断とを行う認識部と、
センサに基づいて取得した手書き入力がされている位置を、前記認識部が判断した前記記入領域と対応づける算出部と、
前記算出部が対応づけた前記記入領域に対応するガイダンスの表示内容と投影位置とを決定し、前記決定した表示内容を前記決定した投影位置に投影装置に投影表示させる決定部と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記マーカに対応付けられる前記紙面の種別毎に、前記紙面内の各記入領域について、前記紙面に記載される前記マーカに対する相対的な配置位置と、前記記入領域に対応するガイダンスの表示内容及び前記紙面に記載される前記マーカに対する相対的な表示位置とを記憶するマーカ・紙面データベース部を更に備え、
前記認識部は、前記紙面を撮影して得たマーカをキーとして前記マーカ・紙面データベース部を参照することにより、前記記入領域毎の前記配置位置を取得する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記算出部は、前記マーカの座標値を前記紙面を撮影したときの座標系上の座標値から前記センサに対応する座標系上の座標値に変換し、前記変換後の前記マーカの座標値に対する前記手書き入力がされている位置の座標値の相対位置を算出し、前記手書き入力がされている位置の座標値の相対位置が前記認識部が取得した前記配置位置のうち最も近いものに対応する記入領域を前記記入領域として対応付ける、ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記投影装置に所定のパターン画像を投影し、前記パターン画像上の４点以上の基準点に関して、前記撮影を行って認識したときの座標系上の各座標値と前記投影装置の座標系上での各座標値とに基づいて、前記撮影時の座標系から前記投影装置の座標系への変換を行う第１の変換行列を算出し、前記パターン画像上の４点以上の基準点について、手書きでタッチ指示を行って前記センサで検出させたときの前記センサに対応する座標系上の各座標値と前記投影装置の座標系上の各座標値とに基づいて、前記投影装置の座標系から前記センサに対応する座標系への変換を行う第２の変換行列を算出し、前記第１の変換行列及び前記第２の変換行列を乗算することにより、前記撮影時の座標系から前記センサに対応する座標系への変換を行う第３の変換行列を算出するキャリブレーション処理を実行する第１のキャリブレーション部を更に備え、
前記算出部は、前記第１のキャリブレーション部が予め算出した前記第３の変換行列を用いて、前記マーカの座標値を前記紙面を撮影したときの座標系上の座標値から前記センサに対応する座標系上の座標値に変換する、
ことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記決定部は、前記算出部が対応づけた前記記入領域に対応する前記ガイダンスの表示内容及び表示位置を前記マーカ・紙面データベース部から取得し、前記取得した表示内容を前記投影表示する表示内容として決定すると共に、前記マーカの座標値を前記紙面を撮影したときの座標系上の座標値から前記投影装置の座標系上の座標値へ変換し、前記変換したマーカの座標値に対する前記取得した表示位置の相対位置を前記投影位置として決定する、ことを特徴とする請求項３に記載の情報処理装置。
【請求項６】
前記投影装置に所定のパターン画像を投影し、前記パターン画像上の４点以上の基準点に関して、前記撮影を行ったときの座標系上の各座標値と前記投影装置の座標系上での各座標値とに基づいて、前記撮影時の座標系から前記投影装置の座標系への変換を行う第１の変換行列を算出するキャリブレーション処理を実行する第２のキャリブレーション部を更に備え、
前記決定部は、前記第２のキャリブレーション部が予め算出した前記第１の変換行列を用いて、前記マーカの座標値を前記紙面を撮影したときの座標系上の座標値から前記投影装置の座標系上の座標値に変換する、
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記算出部は、前記紙面の画像データを表示部に表示すると共に、前記センサに基づいて取得される前記手書き入力がされている位置の手書き記入内容に対応する画像データを、前記紙面の画像データ上の前記算出部が対応づけた前記記入領域に対応する位置に重ねて前記表示部に表示する、ことを特徴とする請求項１乃至５の何れかに記載の情報処理装置。
【請求項８】
前記算出部は、
前記マーカの座標値を前記紙面を撮影したときの座標系上の座標値から前記センサに対応する座標系上の座標値に変換し、前記変換後の前記マーカと前記表示部に表示される前記紙面の画像データ上の前記マーカとを比較することにより、前記マーカの拡大縮小率及び回転角を算出し、
前記変換後の前記マーカの座標値に対する前記手書き入力がされている位置の座標値の相対位置を算出し、前記手書き入力がされている位置の座標値の相対位置を前記マーカの拡大縮小率及び回転角に相当する分だけ拡大縮小及び回転させて得た相対位置を前記紙面の画像データ上のマーカの座標値に加算して得た座標値を、前記紙面の画像データ上の前記算出部が対応づけた前記記入領域に対応する位置として決定し、
前記センサに基づいて取得される前記手書き入力がされている位置の手書き記入内容に対応する画像データを前記マーカの拡大縮小率及び回転角に相当する分だけ拡大縮小及び回転させて得た画像データを、前記紙面の画像データ上の前記決定した位置に重ねて前記表示部に表示する、
ことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記算出部が前記センサに基づく手書き入力を検出している間は、前記認識部における前記マーカを用いた前記紙面の種別の判断と、前記マーカに基づいて前記紙面上の記入領域の判断とを停止する、ことを特徴とする請求項１乃至８の何れかに記載の情報処理装置。
【請求項１０】
紙面を撮影して得たマーカを用いた前記紙面の種別の判断と、前記マーカに基づいた紙面上の記入領域の判断とを行い、
センサに基づいて取得した手書き入力がされている位置を、前記判断した記入領域と対応づけ、
前記対応づけた前記記入領域に対応するガイダンスの表示内容と投影位置とを決定し、前記決定した表示内容を前記決定した投影位置に投影装置に投影表示する、
ことを特徴とする情報処理方法。
【請求項１１】
紙面を撮影して得たマーカを用いた前記紙面の種別の判断と、前記マーカに基づいた紙面上の記入領域の判断とを行うステップと、
センサに基づいて取得した手書き入力がされている位置を、前記判断した記入領域と対応づけるステップと、
前記対応づけた前記記入領域に対応するガイダンスの表示内容と投影位置とを決定し、前記決定した表示内容を前記決定した投影位置に投影装置に投影表示するステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
紙面記入の作業支援を行う情報処理装置に関する。
【背景技術】
【０００２】
役所、銀行等では、高齢者等のユーザビリティも鑑み、従来から紙の申請書が使用されている。一方、申請書の記入は難解なものも多く、例えば申請台の前に記入例を表示したり、サポート人員を配置するなど、対応工数の増大が課題である。
【０００３】
記入すべき記入項目を、ユーザに容易に把握させることが可能な記入支援システムの従来技術として、次のようなものが知られている（例えば特許文献１）。記入支援システムは、記入項目のうち、必須記入項目、及び又は、選択必須記入項目の一覧を表示手段に表示させると共に、必須記入項目及び又は選択必須記入項目に対する記入がなされたか否かを判定し、記入がなされたと判定された必須記入項目又は選択必須記入項目の組を、一覧から削除する。
【０００４】
また、効率的な作業を可能にする画像処理装置の従来技術として、次のようなものが知られている（例えば特許文献２）。スキャナ装置は、載置された読み取り対象の媒体に対して撮像領域内で撮像するカメラと、撮像領域に向けて情報を重畳して表示するプロジェクタと、を備え、自機の状態に関する情報またはカメラにより取得された情報に基づいて、媒体を利用した作業を支援する作業支援情報を選択し、プロジェクタにより、この選択した作業支援情報を撮像領域に向けて表示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−２０３５７０号公報
【特許文献２】特開２０１３−２５０８７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記記入支援システムの従来技術では、ユーザが申請書とは別に表示手段の画面を見る必要があり、ユーザに負担をかけてしまうという課題があった。
【０００７】
また、上記効率的な作業を可能にする画像処理装置の従来技術では、紙面の種別（新聞又は雑誌等）を認識し、それに応じたスキャン操作を表示する。ここで例えば、申請書の記入の場合、ユーザは自分の書きやすい位置に紙面を置いたり動かしたりするため、紙面に追従した表示が必要となるが、この従来技術では、紙面の位置の動きに合わせた追従表示ができないという課題があった。
【０００８】
そこで、本発明の１つの側面では、紙面の種類、位置を認識し、その認識結果に基づいて適切な紙面の位置に紙面記入の作業支援表示を可能とすることを目的とする。
【課題を解決するための手段】
【０００９】
態様の一例では、紙面を撮影して得たマーカを用いた紙面の種別の判断と、マーカに基づいた紙面上の記入領域の判断とを行う認識部と、センサに基づいて取得した手書き入力がされている位置を、認識部が判断した記入領域と対応づける算出部と、算出部が対応づけた記入領域に対応するガイダンスの表示内容と投影位置とを決定し、決定した表示内容を決定した投影位置に投影装置に投影表示する決定部と、を備える。
【発明の効果】
【００１０】
紙面の種類、位置を認識し、その認識結果に基づいて適切な紙面の位置に紙面記入の作業支援表示が可能となる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係る情報処理システムの利用環境例及び装置構成例を示す外観図である。
【図２】紙面の例を示す図である。
【図３】プロジェクタによるガイダンス表示の説明図である。
【図４】制御用ＰＣ端末の表示部による紙面への手書き重ね表示の説明図である。
【図５】実施形態に係る情報処理装置の構成例を示す図である。
【図６】マーカ・紙面データベース部に記憶されるマーカ・紙面データベースのデータ構成例を示す図である。
【図７】算出部の動作説明図（その１）である。
【図８】算出部の動作説明図（その２）である。
【図９】算出部の動作説明図（その３）である。
【図１０】算出部の動作説明図（その４）である。
【図１１】キャリブレーション部の動作に利用するチェッカーパターンの例を示す図である。
【図１２】キャリブレーション処理（カメラ−プロジェクタ間）の例を示すフローチャートである。
【図１３】キャリブレーション処理（プロジェクタ−ペン間）の例を示すフローチャートである。
【図１４】キャリブレーション処理（カメラ−ペン間）の例を示すフローチャートである。
【図１５】ガイダンス表示処理の例を示すフローチャートである。
【図１６】実施形態に係る情報処理装置を実現可能なコンピュータのハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。
図１は、実施形態に係る情報処理システムの利用環境例及び装置構成例を示す外観図である。本実施形態に係る情報処理システムは、例えば役所、銀行等のカウンタのように、利用者１０６が、申請書記入台のテーブル１０５に申請用紙の紙面を置いてその申請用紙の紙面に記入を行う利用環境に適用することができる。
【００１３】
このような利用環境において、テーブル１０５の紙面が置かれる台の部分に、利用者１０６によるペンを用いた紙面上での筆記操作を検知するセンサであるペンセンサ（ペン認識部）１０３が設置される。
【００１４】
紙面の状態は、カメラ（撮影部）１０２によって撮影されて、有線又は無線で接続される制御用ＰＣ（パーソナルコンピュータ）端末１００に送られる。
【００１５】
また、ペンセンサ１０３が検知した筆記状態も、有線又は無線で接続される制御用ＰＣ端末１００に送られる。
【００１６】
制御用ＰＣ端末１００は、情報処理装置として動作し、有線又は無線で接続されるプロジェクタ１０４を制御して、図１のＡとして示される投影形態で、テーブル１０５上に置かれた紙面にガイダンスを投影表示させる。
【００１７】
図２は、図１のテーブル１０５上に置かれ利用者１０６がペンを用いて記入を行う紙面２０１の例を示す図である。紙面２０１は例えば、役所や銀行でよく利用される申請書である。本実施形態において、紙面２０１には、その紙面の種別に一意に対応した模様を有するマーカ２０２が印刷されている。
【００１８】
図３は、図１のプロジェクタ１０４によるガイダンス表示の説明図である。まず、図３（ａ）は、図１に示される利用環境で、利用者１０６がペンを用いて紙面２０１への記入を行うときに、カメラ１０２によって撮影される画像（カメラ画像）３０１の例を示す図である。
【００１９】
利用者１０６はテーブル１０５上で紙面２０１を必ずしもまっすぐには置かない。このため、例えば図３（ａ）に示されるように、カメラ画像３０１上では、紙面２０１は、撮影座標系に対して傾いて表示され得る。
【００２０】
図１の制御用ＰＣ端末１００は、このようにテーブル１０５上で様々な状態で置かれる紙面２０１に対して、利用者１０６が現在、ペンを用いて記入しているペン入力位置３０２を図１のペンセンサ１０３を介して検出する。
【００２１】
これと並行して、制御用ＰＣ端末１００は、カメラ画像３０１から紙面２０１のマーカ２０２を検出することにより、紙面が置かれている状態と、紙面の種別及び現在のペン入力位置３０２に対応する記入領域を検出する。
【００２２】
制御用ＰＣ端末１００は、それらの検出結果に基づき、ペン入力位置３０２で筆記が行われている現在の記入領域を判定し、その記入領域に対応するガイダンス３０３を、その記入領域の近傍に、図１のプロジェクタ１０４からテーブル１０５上に投影表示する。
【００２３】
図３（ｂ）は、紙面２０１の記入領域毎のガイダンス表示の例を示す図である。紙面２０１において、ペン入力位置が３０２（＃１）、３０２（＃２）、３０２（＃３）などのうちのどの位置にあるかにより、それぞれのペン入力位置に対応する記入領域３０４（＃１）、３０４（＃２）、３０４（＃３）が適切に判定される。そして、それぞれの記入領域に適切に対応するガイダンス３０３（＃１）、３０３（＃２）、３０３（＃３）が、それぞれの記入領域の近傍に表示される。
【００２４】
例えば、ペン入力位置３０２（＃１）に対しては、例えば日付の記入領域３０４（＃１）が判定される結果、例えば「日付を記載してください。２０１７年１月１日」という内容のガイダンス３０３（＃１）が、記入領域３０４（＃１）の近傍に表示される。
【００２５】
また例えば、ペン入力位置３０２（＃２）に対しては、例えば氏名の記入領域３０４（＃２）が判定される結果、例えば「名前を記載してください。」という内容のガイダンス３０３（＃２）が、記入領域３０４（＃２）の近傍に表示される。
【００２６】
更に例えば、ペン入力位置３０２（＃３）に対しては、例えば変更事項の記入領域３０４（＃３）が判定される結果、例えば「変更事項を選択してください。」という内容のガイダンス３０３（＃３）が、記入領域３０４（＃３）の近傍に表示される。
【００２７】
次に、図４は、図１の制御用ＰＣ端末１００のディスプレイである表示部１０１による紙面２０１への手書き重ね表示の説明図である。本実施形態では、制御用ＰＣ端末１００は、紙面の画像データ４０２を、制御用ＰＣ端末１００の表示部１０１上の画面４０１（以下「ＰＣ画面４０１」と記載する）に表示することができる。これと共に、制御用ＰＣ端末１００は、例えば、図１のペンセンサ１０３から取得されるペン入力位置３０２（＃１）の手書き記入内容に対応する例えば手書き画像データ４０３（＃１）を、紙面の画像データ４０２上の適切な位置に重ねてＰＣ画面４０１に表示することができる。このとき、制御用ＰＣ端末１００は、図４（ａ）のカメラ画像３０１から得られるマーカ２０２の、ＰＣ画面４０１に表示される紙面の画像データ４０２上のマーカ４０４に対する拡大縮小率及び回転角を算出する。制御用ＰＣ端末１００は、この算出結果に基づき、ペンセンサ１０３から得られるペン入力位置３０２（＃１）に対応するＰＣ画面４０１上の紙面の画像データ４０２上のペン入力位置４０５（＃１）を算出し、手書き画像データ４０３（＃１）の入力位置とする。更に、制御用ＰＣ端末１００は、手書き画像データ４０３（＃１）についても、上記マーカの拡大縮小率及び回転角に相当する分だけ拡大縮小及び回転させて重ね表示させる。これにより、図１のテーブル１０５上で紙面２０１がまっすぐに置かれていない状態でペン入力がされた場合でも、ＰＣ画面４０１に表示される紙面の画像データ４０２上の正しい位置に、手画像データ４０３（＃１）を重ね表示させることができる。
【００２８】
図５は、図３で説明したガイダンス表示、及び図４で説明した手書き重ね表示を実現することのできる実施形態に係る情報処理装置１００の構成例を示す図である。この情報処理装置１００は、図１の制御用ＰＣ端末１００に対応する。情報処理装置１００１は、図１の制御用ＰＣ端末１００のディスプレイである表示部１０１のほか、認識部５０１、算出部５０２、決定部５０３、キャリブレーション部５０４、及びマーカ・紙面データベース部５０５を備える。
【００２９】
認識部５０１は、図１のカメラ１０２である撮影部１０２により紙面２０１（図２参照）を撮影して得られるカメラ画像３０１（図３（ａ）参照）に対して、次の処理を実行する。認識部５０１は、紙面２０１上のマーカ２０２（図２参照）を用いることにより、紙面２０１の種別の判断を行う。また、認識部５０１は、上記マーカ２０２に基づいて、各記入領域３０４（図３（ｂ）の＃１〜＃３等を参照）の判断を行う。上記処理において、認識部５０１は、マーカ・紙面データベース部５０５を参照する。
【００３０】
算出部５０２は、図１のペンセンサ１０３であるペン認識部１０３によって、手書き入力がされている位置であるペン入力位置３０２（図３（ｂ）の＃１〜＃３等の何れか）を取得する。算出部５０２は、ペン入力位置３０２（図３（ｂ）の＃１〜＃３等の何れか）を、認識部５０１が判断した記入領域３０４（図３（ｂ）の＃１〜＃３等）の何れかと対応づける。
【００３１】
決定部５０３は、算出部５０２がペン入力位置３０２（図３（ｂ）の＃１〜＃３等の何れか）に対応づけた記入領域３０４（図３（ｂ）の＃１〜＃３等をの何れか）に対応するガイダンス３０３（図３（ｂ）の＃１〜＃３等の何れか）の表示内容と投影位置とを決定する。このとき、決定部５０３は、マーカ・紙面データベース部５０５を参照する。そして、決定部５０３は、決定した表示内容を、決定した投影位置に、図１のプロジェクタ１０４に対応するガイダンス表示部１０４を用いて投影表示する（図３（ａ）参照）。
【００３２】
また、算出部５０２は、紙面２０１の画像データを図１の制御用ＰＣ端末（情報処理装置）１００の表示部１０１に表示する。これと共に、算出部５０２は、ペン認識部１０３から取得されるペン入力位置（手書き入力がされている位置）３０２の手書き記入内容に対応する画像データを、紙面２０１の画像データ上の適切な位置に重ねて表示部１０１に表示する。
【００３３】
キャリブレーション部５０４は、算出部５０２及び決定部５０３のための予備的な調整処理を実行する。
【００３４】
図６は、マーカ・紙面データベース部５０５に記憶されるマーカ・紙面データベース６０１のデータ構成例を示す図である。マーカ・紙面データベース部５０５は、マーカ２０２に対応付けられる紙面２０１の種別毎に（図２参照）、マーカ・紙面データベース６０１を記憶する。このマーカ・紙面データベース６０１は、紙面２０１内の記入領域３０４（図３（ｂ）の＃１〜＃３等を参照）毎に、紙面２０１に記載されるマーカ２０２に対する相対的な配置位置を記憶する。配置位置としては、マーカ２０２を基準とする記入領域３０４の四隅の相対座標値が記憶される。また、マーカ・紙面データベース６０１は、記入領域３０４毎に、ガイダンスの表示内容と、ガイダンスの表示位置を記憶する。ガイダンスの表示位置としては、マーカ２０２を基準とするガイダンスの矩形領域の四隅の相対座標値が記憶される。
【００３５】
以上の構成を有する情報処理装置１００の動作について、図７から図１１の動作説明図を用いながら、以下に詳細に説明する。
【００３６】
まず図５の認識部５０１は、撮影部１０２（図１のカメラ１０２に対応）により紙面２０１を撮影して得たマーカ２０２をキーとしてマーカ・紙面データベース部５０５内のマーカ・紙面データベース６０１を参照する。この結果、認識部５０１は、記入領域３０４（図３（ｂ）の＃１〜＃３等を参照）毎の配置位置を取得する。
【００３７】
次に、算出部５０２は、カメラ画像３０１上のマーカ２０２の座標値を、カメラ画像３０１の座標系上の座標値ＭＣａ（ｘ，ｙ，ｔ）から、ペン認識部１０３（図１のペンセンサ１０３に対応）の座標系上の座標値ＭＰｎ（ｘ，ｙ，ｔ）に変換する。図７では、カメラ画像３０１の座標系は、原点Ｏｃａ（０，０）から伸びるＸＹ座標軸で定義される。また、ペン認識部１０３の座標系は、図７の原点Ｏｐｎ（０，０）から伸びるＸＹ座標軸で定義される。
【００３８】
この変換は、後述するキャリブレーション部５０４で予め算出されている、カメラ画像３０１の座標系からペン認識部１０３の座標系への変換を行うホモグラフィ行列Ｈ＿ｃａ＿ｐｎ（第３の変換行列）により、下記（１）式の演算処理で実行できる。
【００３９】
ＭＰｎ（ｘ，ｙ，ｔ）＝Ｈ＿ｃａ＿ｐｎ×ＭＣａ（ｘ，ｙ，ｔ）  ・・・（１）
【００４０】
ここで、ホモグラフィ行列とは、３次元空間上のある平面から別の平面への射影変換を表す行列である。
【００４１】
次に、算出部５０２は、ペン認識部１０３の座標系上で、下記の演算処理を実行する。算出部５０２は、上記変換後のマーカ２０２の座標値Ｍｐｎ（ｘ，ｙ，ｔ）に対するペン入力位置３０２（＃１）の座標値Ｐｎ（ｘ，ｙ，ｔ）の相対位置を示す差分座標値ＤＰｎ（ｘ，ｙ，ｔ）を、下記（２）式の演算処理で算出する。
【００４２】
ＤＰｎ（ｘ，ｙ，ｔ）＝Ｐｎ（ｘ，ｙ，ｔ）−Ｍｐｎ（ｘ，ｙ，ｔ）  ・・（２）
【００４３】
算出部５０２は、差分座標値ＤＰｎ（ｘ，ｙ，ｔ）が、認識部５０１が取得した配置位置のうち最も近いものに対応する記入領域、例えば図３の記入領域３０４（＃１）を、ペン入力位置３０２（＃１）に対する記入領域３０４とする。ここで、配置位置としては図６に例示されるように四隅の各点があるため、例えば差分座標値ＤＰｎ（ｘ，ｙ，ｔ）とその４点のそれぞれとのユークリッド距離を算出しその４つのユークリッド距離の平均値を上記差分座標値ＤＰｎ（ｘ，ｙ，ｔ）との距離としてよい。そして、このようにして計算される距離が最も小さくなる配置位置を、上記最も近い配置位置として決定してよい。或いは、差分座標値ＤＰｎ（ｘ，ｙ，ｔ）が上記４点の配置位置座標で定まる領域内に含まれる配置位置を、上記最も近い配置位置として決定してもよい。その他、差分座標値ＤＰｎ（ｘ，ｙ，ｔ）に対応する配置位置の決定方法としては、様々な方式が採用されてよい。
【００４４】
次に決定部５０３は、算出部５０２が対応づけた記入領域３０４（＃１）に対応するガイダンス３０３（＃１）（図３（ｂ）参照）の表示内容と表示位置を、図６に例示されるマーカ・紙面データベース６０１から取得する。決定部５０３は、取得した表示内容を投影表示する表示内容として決定する。
【００４５】
また、決定部５０３は、カメラ画像３０１上のマーカ２０２の座標値を、カメラ画像３０１の座標系上の座標値ＭＣａ（ｘ，ｙ，ｔ）から、ガイダンス表示部１０４（図５）の座標系上の座標値ＭＰｒ（ｘ，ｙ，ｔ）（特には図示せず）に変換する。ガイダンス表示部１０４は、図１のプロジェクタ１０４に対応する。
【００４６】
この変換は、後述するキャリブレーション部５０４で予め算出されている、カメラ画像３０１の座標系からガイダンス表示部１０４の座標系への変換を行うホモグラフィ行列Ｈ＿ｃａ＿ｐｒ（第１の変換行列）を用いて、下記（３）式の演算処理で実行できる。
【００４７】
ＭＰｒ（ｘ，ｙ，ｔ）＝Ｈ＿ｃａ＿ｐｒ×ＭＣａ（ｘ，ｙ，ｔ）  ・・・（３）
【００４８】
次に、決定部５０３は、上記変換後のマーカ２０２の座標値ＭＰｒ（ｘ，ｙ，ｔ）に、図６に例示されるマーカ・紙面データベース６０１から取得しているガイダンス３０３（＃１）の表示位置の座標値を加算する。決定部５０３は、この加算処理で得られる、ガイダンス表示部１０４上の座標系におけるマーカ２０２の座標値に対するガイダンス３０３（＃１）の表示位置の相対位置を、ガイダンス３０３（＃１）の投影位置として決定する。
【００４９】
決定部５０３は、上述のようにして決定した表示内容を、決定した投影位置に、ガイダンス表示部１０４（図１のプロジェクタ１０４）を用いて投影表示する（図３（ａ）参照）。
【００５０】
上記ガイダンス表示の制御処理と並行して、算出部５０２は、以下のようにして、図４で説明した手書き重ね表示の制御処理を実行する。まず、算出部５０２は、前述した（１）式の演算処理で算出したペン認識部１０３の座標系上のマーカ２０２の座標値ＭＰｎ（ｘ，ｙ，ｔ）を、図４のＰＣ画面４０１用の紙面の画像データ４０２上に記載されているマーカ４０４の座標値とを比較する。これにより、算出部５０２は、マーカ４０４に対するマーカ２０２の拡大縮小率及び回転角を、以下のようにして算出する。なお、ＰＣ画面４０１用の紙面の画像データ４０２は例えば、図６に例示されるマーカ・紙面データベース６０１に関連させて記憶させてよい。
【００５１】
図８（ｂ）のように、ペン認識部１０３の座標系上のマーカ２０２の四隅の座標値をＴ４Ｐｎ（ｎ，ｘ，ｙ，ｔ）＝｛Ｔ４Ｐｎ（０，ｘ，ｙ，ｔ）、Ｔ４Ｐｎ（１，ｘ，ｙ，ｔ）、Ｔ４Ｐｎ（２，ｘ，ｙ，ｔ）、Ｔ４Ｐｎ（３，ｘ，ｙ，ｔ）｝（ｎ：４点）とする。図８（ａ）のように、図４のＰＣ画面４０１の座標系上のマーカ４０４の四隅の座標値をＴ４Ｐｃ（ｎ，ｘ，ｙ，ｔ）＝｛Ｔ４Ｐｃ（０，ｘ，ｙ，ｔ）、Ｔ４Ｐｃ（１，ｘ，ｙ，ｔ）、Ｔ４Ｐｃ（２，ｘ，ｙ，ｔ）、Ｔ４Ｐｃ（３，ｘ，ｙ，ｔ）｝とする。
【００５２】
算出部５０２は、下記（４）式の演算処理により、Ｔ４Ｐｎ（ｎ，ｘ，ｙ，ｔ）とＴ４Ｐｃ（ｎ，ｘ，ｙ，ｔ）の大きさの比を拡大縮小率：Ｓｃａｌｅとして算出する。
【００５３】
Ｓｃａｌｅ＝｛Ｔ４Ｐｎ（０，ｘ，ｙ，ｔ）−Ｔ４Ｐｎ（１，ｘ，ｙ，ｔ）｝／
｛Ｔ４Ｐｃ（０，ｘ，ｙ，ｔ）−Ｔ４Ｐｃ（１，ｘ，ｙ，ｔ）｝  ・・（４）
【００５４】
次に、算出部５０２は、Ｔ４Ｐｎ（ｎ，ｘ，ｙ，ｔ）がＴ４Ｐｃ（ｎ，ｘ，ｙ，ｔ）に合うように回転させる２行２列の回転行列Ａを、次のようにして算出する。まず、図９に示される角度θをＴ４Ｐｃ（ｎ，ｘ，ｙ，ｔ）とＴ４Ｐｎ（ｎ，ｘ，ｙ，ｔ）が成す角度をθと定義し、下記（５）式の演算処理により算出する。
【００５５】
θ＝ａｔａｎ（Ｔ４Ｐｃ（１，ｘ，ｙ，ｔ））
−ａｔａｎ（Ｔ４Ｐｎ（１，ｘ，ｙ，ｔ））  ・・・（５）
【００５６】
上記θを使って、回転行列Ａを、下記（６）式の演算処理により算出する。
【００５７】
【数１】
2018200527.tif 000003
【００５８】
算出部５０２は、（２）式の演算処理で算出したペン認識部１０３の座標系上の差分座標値ＤＰｎ（ｘ，ｙ，ｔ）に対し、（５）式及び（６）式の各演算処理で算出したＳｃａｌｅ及び回転行列Ａを用いて、下記（７）式の演算処理を実行する。
【００５９】
ＰＤ（ｘ，ｙ，ｔ）＝ｓｃａｌｅ×ＤＰｎ（ｘ，ｙ，ｔ）×Ａ  ・・・（７）
【００６０】
即ち、算出部５０２は、前述した図７と同様の図１０（ａ）に示されるペン認識部１０３の座標系上の差分座標値ＤＰｎ（ｘ，ｙ，ｔ）を、図１０（ｂ）に示されるＰＣ画面４０１（図４）の座標系上の差分座標値ＰＤ（ｘ，ｙ，ｔ）に変換する。図１０（ａ）から図１０（ｂ）に伸びる破線Ａが、上記（７）式による変換演算処理に相当する。
【００６１】
次に、算出部５０２は、下記（８）式の演算処理を実行する。算出部５０２は、図１０（ｂ）のＰＣ画面４０１の座標系において、ＰＣ画面４０１用の紙面の画像データ４０２上に記載されているマーカ４０４の座標値ＰＭ（ｘ，ｙ）に、（７）式の演算処理で算出した差分座標値ＰＤ（ｘ，ｙ，ｔ）を加算する。
【００６２】
ＰＰ（ｘ，ｙ，ｔ）＝ＰＭ（ｘ，ｙ）＋ＰＤ（ｘ，ｙ，ｔ）  ・・・（８）
【００６３】
このようにして、算出部５０２は、ペンセンサ１０３から得られるペン入力位置３０２（＃１）に対応するＰＣ画面４０１の紙面の画像データ４０２上でのペン入力位置４０５（＃１）を決定することができる。
【００６４】
算出部５０２は、ペンセンサ１０３から取得されるペン入力位置３０２（＃１）の手書き記入内容に対応する手書き画像データ４０３（＃１）の各座標値についても、前述の（７）式の演算処理と同様の拡大縮小及び回転の変換演算処理を実行する。
算出部５０２は、上記変換演算処理後の手書き画像データ４０３（＃１）を、図１０（ｂ）のように、紙面の画像データ４０２の（８）式の演算処理で算出したペン入力位置４０５（＃１）に重ねて、表示部１０１のＰＣ画面４０１に表示する。
【００６５】
次に、図５のキャリブレーション部５０４の動作について説明する。第１のキャリブレーション部として動作するキャリブレーション部５０４は、前述したホモグラフィ行列Ｈ＿ｃａ＿ｐｎ（第３の変換行列）を予め算出するキャリブレーション処理を実行する。このホモグラフィ行列は、算出部５０２が使用するカメラ画像３０１の座標系からペン認識部１０３の座標系への変換を行うために使用される。第２のキャリブレーション部として動作するキャリブレーション部５０４は、前述したホモグラフィ行列Ｈ＿ｃａ＿ｐｒ（第１の変換行列）を予め算出するキャリブレーション処理を実行する。このホモグラフィ行列は、決定部５０３が使用するカメラ画像３０１の座標系からガイダンス表示部１０４の座標系への変換を行うために使用される。
【００６６】
キャリブレーション部５０４は、まず図１のプロジェクタ１０４を制御して、図１１に例示されるチェッカーパターン画像１１０１を図１のテーブル１０５上の例えば白紙上に投影する。
【００６７】
その後まず、キャリブレーション部５０４は、プロジェクタ−カメラ座標変換処理を実行する。キャリブレーション部５０４は、図１のプロジェクタ１０４から投影されたチェッカーパターン画像１１０１上の４点以上の基準点１１０２の各座標ＣＰｒ（ｘ，ｙ）と、図１のカメラ１０２で認識した基準点１１０２の各座標ＣＣａ（ｘ，ｙ）とから、次の処理を実行する。キャリブレーション部５０４は、基準点１１０２の各座標ＣＰｒ（ｘ，ｙ）と各座標ＣＣａ（ｘ，ｙ）とから、カメラ１０２の座標系からプロジェクタ１０４の座標系への変換を行うホモグラフィ行例Ｈ＿ｃａ＿ｐｒ（第１の変換行列）を算出する。
【００６８】
次に、キャリブレーション部５０４は、プロジェクタ−ペン座標変換処理を実行する。キャリブレーション部５０４は、図１のプロジェクタ１０４から投影されたチェッカーパターン画像１１０１上の４点以上の基準点１１０２の各座標ＣＰｒ（ｘ，ｙ）を、管理者等にペン１１０３（図１１参照）で順次タッチさせる。この結果、キャリブレーション部５０４は、図５のペン認識部１０３（図１のペンセンサ１０３）から、ペン認識部１０３の座標系の基準点１１０２の各座標ＣＰｎ（ｘ，ｙ）を取得する。キャリブレーション部５０４は、基準点１１０２の各座標ＣＰｒ（ｘ，ｙ）と各座標ＣＰｎ（ｘ，ｙ）とから、プロジェクタ１０４の座標系からペン認識部１０３の座標系への変換を行うホモグラフィ行例Ｈ＿ｐｒ＿ｐｎ（第２の変換行列）を算出する。
【００６９】
上述の各ホモグラフィ行列の推定方法としては公知の手法を使用することができる。ホモグラフィ行列の推定演算処理においては、８次元連立一次方程式の演算処理を実行するために、対応付けされた基準点が最低４点必要である。図１１に例示されるように基準点１１０２が４点以上与えられる場合には、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ  ＳＡｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）やＬＭｅｄＳ（Ｌｅａｓｔ  Ｍｅｄｉａｎ  ｏｆ  Ｓｑｕａｒｅｓ）と呼ばれる外れ値除去アルゴリズムを用いることができる。これにより、ノイズが除去された最適なホモグラフィ行列を推定することができる。
【００７０】
最後に、キャリブレーション部５０４は、カメラ−ペン座標変換処理を実行する。キャリブレーション部５０４は、ホモグラフィ行例Ｈ＿ｃａ＿ｐｒ（第１の変換行列）と、ホモグラフィ行例Ｈ＿ｐｒ＿ｐｎ（第２の変換行列）とを乗算する下記（９）式の演算処理を実行する。これにより、カメラ１０２の座標系からペン認識部１０３の座標系への変換を行うホモグラフィ行列Ｈ＿ｃａ＿ｐｎが算出される。
【００７１】
Ｈ＿ｃａ＿ｐｎ＝Ｈ＿ｃａ＿ｐｒ×Ｈ＿ｐｒ＿ｐｎ  ・・・（９）
【００７２】
このホモグラフィ行列Ｈ＿ｃａ＿ｐｎは、前述しように、算出部５０２での前述した（１）式の演算処理に使用される。
【００７３】
更に、ホモグラフィ行列Ｈ＿ｃａ＿ｐｒは、前述したように、決定部５０３での前述した（３）式の演算処理に使用される。
【００７４】
図１２は、図５のキャリブレーション部５０４が実行する前述したプロジェクタ−カメラ座標変換処理のキャリブレーション処理の例を示すフローチャートである。
【００７５】
キャリブレーション部５０４はまず、図１のプロジェクタ１０４から、図１１に例示されるチェッカーパターン画像１１０１を、図１のテーブル１０５上に置かれた例えば白紙上に投影する（ステップＳ１２０１）。
【００７６】
次に、キャリブレーション部５０４は、図１のカメラ１０２により、ステップＳ１２０１で投影されたチェッカーパターン画像１１０１を撮影し、チェッカーパターン画像１１０１上の各基準点１１０２を認識する（ステップＳ１２０２）。
【００７７】
そして、キャリブレーション部５０４は、基準点１１０２の投影側の各座標ＣＰｒ（ｘ，ｙ）と撮影側の各座標ＣＣａ（ｘ，ｙ）とから、第１のホモグラフィ行例Ｈ＿ｃａ＿ｐｒを算出する（ステップＳ１２０３）。その後、キャリブレーション部５０４は、図１２のフローチャートの処理を終了する。
【００７８】
図１３は、図５のキャリブレーション部５０４が実行する前述したプロジェクタ−ペン座標変換処理のキャリブレーション処理の例を示すフローチャートである。
【００７９】
キャリブレーション部５０４はまず、図１のプロジェクタ１０４から、図１１に例示されるチェッカーパターン画像１１０１を、図１のテーブル１０５上に置かれた例えば白紙上に投影する（ステップＳ１３０１）。
【００８０】
次に、キャリブレーション部５０４は、例えば管理者ユーザに、ペン１１０３で図１のテーブル１０５のチェッカーパターン画像１１０１上の各基準点１１０２を順次タッチさせる（ステップＳ１３０２）。
【００８１】
そして、キャリブレーション部５０４は、基準点１１０２の投影側の各座標ＣＰｒ（ｘ，ｙ）とペン認識部１０３側の各座標ＣＰｎ（ｘ，ｙ）とから、第２のホモグラフィ行例Ｈ＿ｐｒ＿ｐｎを算出する（ステップＳ１３０３）。その後、キャリブレーション部５０４は、図１３のフローチャートの処理を終了する。
【００８２】
図１４は、図５のキャリブレーション部５０４が実行する前述したカメラ−ペン座標変換処理のキャリブレーション処理の例を示すフローチャートである。キャリブレーション部５０４は、図１２のフローチャートの処理で算出した第１のホモグラフィ行例Ｈ＿ｃａ＿ｐｒに、図１３のフローチャートの処理で算出した第２のホモグラフィ行例Ｈ＿ｐｒ＿ｐｎを乗算することにより、第３のホモグラフィ行例Ｈ＿ｃａ＿ｐｎを算出する（ステップＳ１４０１）。その後、キャリブレーション部５０４は、図１４のフローチャートの処理を終了する。
【００８３】
図１５は、上述のキャリブレーション部５０４による各キャリブレーション処理の後に、実際に図１の利用者１０６が利用を行う場合のガイダンス表示処理の例を示すフローチャートである。以下、図５の構成を随時参照する。
【００８４】
まず、認識部５０１が、撮影部１０２（図１のカメラ１０２）により、図１のテーブル１０５上の紙面２０１を撮影する（ステップＳ１５０１）。
【００８５】
次に、認識部５０１は、撮影したカメラ画像３０１（図３参照）上で、マーカ２０２を認識し、認識に成功したか否かを判定する（ステップＳ１５０２）。
【００８６】
ステップＳ１５０２の判定がＮＯならば、認識部５０１は、ステップＳ１５０１の処理に戻り、マーカ２０２の認識に成功するまで、ステップＳ１５０１とＳ１５０２の処理を繰り返し実行する。
【００８７】
ステップＳ１５０２の判定がＹＥＳになると、以下のステップＳ１５０３及びＳ１５０４でセンサデータに基づき手書き入力中と認識されている間は、認識部５０１は、ステップＳ１５０２の実行は行わずにマーカ２０２の認識処理を停止する。これは、カメラ１０２で撮影したマーカ２０２に基づいた位置判断において、撮影条件、環境変化等の要因で、マーカ２０２の検出結果（位置や大きさ）が揺らぐ事がある。これによって、マーカ２０２の認識結果に基づいて算出される前述した拡大縮小率及び回転角が変化することで、マーカ２０２に基づいて決定される記入領域３０４の検出位置が揺らぐ（バタつく）。そこで、図１５のフローチャートでは、マーカ２０２に基づく記入領域３０４の判定について、ステップＳ１５０３とＳ１５０４でセンサデータに基づいて手書き入力中と認識されている間は、マーカ２０２に基づく記入領域３０４の判定処理を停止する(更新しない)。これにより、後述するステップＳ１５０７でのガイダンス表示における投影内容の投影位置と、後述するステップＳ１５０８でのＰＣ表示における手書き記入内容の重ね表示の揺らぎ（バタつき）を防止することが可能となる。
【００８８】
ステップＳ１５０２の判定がＹＥＳになると、認識部５０１がまず、認識したマーカ２０２に基づいてマーカ・紙面データベース部５０５にアクセスすることにより、紙面２０１の種別の判断と、各記入領域３０４の判断を行う。続いて、算出部５０２が、ペン認識部１０３（図１のペンセンサ１０３）からのペン入力の認識処理を実行する。更に、算出部５０２が、認識したマーカ２０２に基づく前述した拡大縮小率及び回転角の算出を実行する（以上、ステップＳ１５０３）。
【００８９】
次に、算出部５０２が、記入状態の算出処理を実行する（ステップＳ１５０４）。ここでは、前述したように、ペン入力位置３０２（図３（ｂ）の＃１〜＃３等の何れか）の取得と、ペン入力位置３０２を、認識部５０１が判断した記入領域３０４の何れかと対応づける処理が実行される。
【００９０】
次に、決定部５０３が、図１の利用者１０６が紙面の全項目に対する入力を完了したか否かを判定する（ステップＳ１５０５）。
【００９１】
ステップＳ１５０５の判定がＮＯならば、決定部５０３が、ステップＳ１５０４でペン入力位置３０２に対応づけられた記入領域３０４に対応するガイダンス３０３の表示内容と投影位置とを決定する（ステップＳ１５０６）。
【００９２】
ステップＳ１５０６の処理の後、決定部５０３が、ステップＳ１５０６で決定された表示内容を、ステップＳ１５０６で決定された投影位置に、図１のプロジェクタ１０４に対応するガイダンス表示部１０４を用いて投影表示する（ステップＳ１５０７）。
【００９３】
上記ステップＳ１５０６の処理の後、決定部５０３によるステップＳ１５０７の処理と並行して、算出部５０２が、紙面２０１の画像データを図１の制御用ＰＣ端末１００の表示部１０１に表示する。これと共に、算出部５０２は、ペン認識部１０３から取得されるペン入力位置３０２の手書き記入内容に対応する画像データを、紙面２０１の画像データ上の適切な位置に重ねて表示部１０１に表示する。このとき、前述したように、算出部５０２は、ステップＳ１５０３で算出した拡大縮小率及び回転角の情報に基づいて、変換処理を実行する（以上、ステップＳ１５０８）。
【００９４】
上記ステップＳ１５０７及びＳ１５０８の処理により、或る記入領域３０４に対する利用者１０６による一連の手書き入力が終了すると、認識部５０１によるステップＳ１５０１の処理に制御が戻って、マーカ２０２の認識処理が再開される。このようにして、或る記入領域３０４に対する利用者１０６による手書き入力が完了した後に新たにマーカ２０２の認識処理が実行される。これにより、ステップＳ１５０７でのガイダンス表示における投影内容の投影位置と、ステップＳ１５０８でのＰＣ表示における手書き記入内容の重ね表示の揺らぎ（バタつき）が抑制されながら、申請用紙の正しい位置が再度取得されるようになる。
【００９５】
図１６は、実施形態に係る図５の構成の情報処理装置１００（図１の制御用ＰＣ端末１００）を実現可能なコンピュータのハードウェア構成例を示す図である。
【００９６】
図１６に示されるコンピュータは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ）１６０１、メモリ１６０２、入力装置１６０３、出力装置１６０４、補助情報記憶装置１６０５、可搬型記録媒体１６０９が挿入される媒体駆動装置１６０６、及びネットワーク接続装置１６０７を有する。これらの構成要素は、バス１６０８により相互に接続されている。同図に示される構成は上記情報処理装置を実現できるコンピュータの一例であり、そのようなコンピュータはこの構成に限定されるものではない。
【００９７】
メモリ１６０２は、例えば、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。
【００９８】
ＣＰＵ（プロセッサ）１６０１は、例えば、メモリ１６０２を利用してプログラムを実行する。これにより、ＣＰＵ１６０１はメモリ１６０２と共に、例えば図５の認識部５０１、算出部５０２、決定部５０３、又はキャリブレーション部５０４などの各処理部として動作する。
【００９９】
入力装置１６０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。入力装置１６０３は、図５の撮影部１０２（図１のカメラ１０２）と、図５のペン認識部１０３（図１のペンセンサ１０３）を含む。
【０１００】
出力装置１６０４は、例えば、ディスプレイ表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問合せ又は処理結果の出力に用いられる。出力装置１６０４は、図５のガイダンス表示部１０４（図１のプロジェクタ１０４）と、表示部１０１（ディスプレイ）を含む。
【０１０１】
補助情報記憶装置１６０５は、例えば、ハードディスク記憶装置、磁気ディスク記憶装置、光ディスク装置、光磁気ディスク装置、テープ装置、又は半導体記憶装置である。図１又は図１７の情報処理装置は、補助情報記憶装置１６０５にプログラム及びデータを格納しておき、それらをメモリ１６０２にロードして使用することができる。補助情報記憶装置１６０５は、図６に例示されるマーカ・紙面データベース６０１を記憶する図５のマーカ・紙面データベース部５０５として動作する。
【０１０２】
媒体駆動装置１６０６は、可搬型記録媒体１６０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１６０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１６０９は、Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＣＤ−ＲＯＭ）、Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１６０９にプログラム及びデータを格納しておき、メモリ１６０２にロードして使用することができる。
【０１０３】
このように、図１の制御用ＰＣ端末１００（＝図５の情報処理装置１００）の処理に用いられるプログラム及びデータを格納するコンピュータ読取り可能な記録媒体は、メモリ１６０２、補助情報記憶装置１６０５、又は可搬型記録媒体１６０９のような、物理的な（非一時的な）記録媒体である。
【０１０４】
ネットワーク接続装置１６０７は、例えばＬｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ（ＬＡＮ）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。図１の制御用ＰＣ端末１００（＝図５の情報処理装置１００）は、プログラム又はデータを外部の装置からネットワーク接続装置１６０７を介して受信し、それらをメモリ１６０２にロードして使用することができる。
【０１０５】
なお、図１の制御用ＰＣ端末１００（＝図５の情報処理装置１００）が図１６の全ての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。可搬型記録媒体１６０９又は通信ネットワークを利用しない場合は、媒体駆動装置１６０６又はネットワーク接続装置１６０７が省略されてもよい。
【０１０６】
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができる。
【０１０７】
以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
紙面を撮影して得たマーカを用いた前記紙面の種別の判断と、前記マーカに基づいた紙面上の記入領域の判断とを行う認識部と、
センサに基づいて取得した手書き入力がされている位置を、前記認識部が判断した前記記入領域と対応づける算出部と、
前記算出部が対応づけた前記記入領域に対応するガイダンスの表示内容と投影位置とを決定し、前記決定した表示内容を前記決定した投影位置に投影装置に投影表示する決定部と、
を備えることを特徴とする情報処理装置。
（付記２）
前記マーカに対応付けられる前記紙面の種別毎に、前記紙面内の各記入領域について、前記紙面に記載される前記マーカに対する相対的な配置位置と、前記記入領域に対応するガイダンスの表示内容及び前記紙面に記載される前記マーカに対する相対的な表示位置とを記憶するマーカ・紙面データベース部を更に備え、
前記認識部は、前記紙面を撮影して得たマーカをキーとして前記マーカ・紙面データベース部を参照することにより、前記記入領域毎の前記配置位置を取得する、
ことを特徴とする付記１に記載の情報処理装置。
（付記３）
前記算出部は、前記マーカの座標値を前記紙面を撮影したときの座標系上の座標値から前記センサに対応する座標系上の座標値に変換し、前記変換後の前記マーカの座標値に対する前記手書き入力がされている位置の座標値の相対位置を算出し、前記手書き入力がされている位置の座標値の相対位置が前記認識部が取得した前記配置位置のうち最も近いものに対応する記入領域を前記記入領域として対応付ける、ことを特徴とする付記２に記載の情報処理装置。
（付記４）
前記投影装置に所定のパターン画像を投影し、前記パターン画像上の４点以上の基準点に関して、前記撮影を行って認識したときの座標系上の各座標値と前記投影装置の座標系上での各座標値とに基づいて、前記撮影時の座標系から前記投影装置の座標系への変換を行う第１の変換行列を算出し、前記パターン画像上の４点以上の基準点について、手書きでタッチ指示を行って前記センサで検出させたときの前記センサに対応する座標系上の各座標値と前記投影装置の座標系上の各座標値とに基づいて、前記投影装置の座標系から前記センサに対応する座標系への変換を行う第２の変換行列を算出し、前記第１の変換行列及び前記第２の変換行列を乗算することにより、前記撮影時の座標系から前記センサに対応する座標系への変換を行う第３の変換行列を算出するキャリブレーション処理を実行する第１のキャリブレーション部を更に備え、
前記算出部は、前記第１のキャリブレーション部が予め算出した前記第３の変換行列を用いて、前記マーカの座標値を前記紙面を撮影したときの座標系上の座標値から前記センサに対応する座標系上の座標値に変換する、
ことを特徴とする付記３に記載の情報処理装置。
（付記５）
前記決定部は、前記算出部が対応づけた前記記入領域に対応する前記ガイダンスの表示内容及び表示位置を前記マーカ・紙面データベース部から取得し、前記取得した表示内容を前記投影表示する表示内容として決定すると共に、前記マーカの座標値を前記紙面を撮影したときの座標系上の座標値から前記投影装置の座標系上の座標値へ変換し、前記変換したマーカの座標値に対する前記取得した表示位置の相対位置を前記投影位置として決定する、ことを特徴とする付記３に記載の情報処理装置。
（付記６）
前記投影装置に所定のパターン画像を投影し、前記パターン画像上の４点以上の基準点に関して、前記撮影を行ったときの座標系上の各座標値と前記投影装置の座標系上での各座標値とに基づいて、前記撮影時の座標系から前記投影装置の座標系への変換を行う第１の変換行列を算出するキャリブレーション処理を実行する第２のキャリブレーション部を更に備え、
前記決定部は、前記第２のキャリブレーション部が予め算出した前記第１の変換行列を用いて、前記マーカの座標値を前記紙面を撮影したときの座標系上の座標値から前記投影装置の座標系上の座標値に変換する、
ことを特徴とする付記５に記載の情報処理装置。
（付記７）
前記算出部は、前記紙面の画像データを表示部に表示すると共に、前記センサに基づいて取得される前記手書き入力がされている位置の手書き記入内容に対応する画像データを、前記紙面の画像データ上の前記算出部が対応づけた前記記入領域に対応する位置に重ねて前記表示部に表示する、ことを特徴とする付記１乃至５の何れかに記載の情報処理装置。
（付記８）
前記算出部は、
前記マーカの座標値を前記紙面を撮影したときの座標系上の座標値から前記センサに対応する座標系上の座標値に変換し、前記変換後の前記マーカと前記表示部に表示される前記紙面の画像データ上の前記マーカとを比較することにより、前記マーカの拡大縮小率及び回転角を算出し、
前記変換後の前記マーカの座標値に対する前記手書き入力がされている位置の座標値の相対位置を算出し、前記手書き入力がされている位置の座標値の相対位置を前記マーカの拡大縮小率及び回転角に相当する分だけ拡大縮小及び回転させて得た相対位置を前記紙面の画像データ上のマーカの座標値に加算して得た座標値を、前記紙面の画像データ上の前記算出部が対応づけた前記記入領域に対応する位置として決定し、
前記センサに基づいて取得される前記手書き入力がされている位置の手書き記入内容に対応する画像データを前記マーカの拡大縮小率及び回転角に相当する分だけ拡大縮小及び回転させて得た画像データを、前記紙面の画像データ上の前記決定した位置に重ねて前記表示部に表示する、
ことを特徴とする付記７に記載の情報処理装置。
（付記９）
前記算出部が前記センサに基づく手書き入力を検出している間は、前記認識部における前記マーカを用いた前記紙面の種別の判断と、前記マーカに基づいて前記紙面上の記入領域の判断とを停止する、ことを特徴とする付記１乃至８の何れかに記載の情報処理装置。
（付記１０）
紙面を撮影して得たマーカを用いた前記紙面の種別の判断と、前記マーカに基づいた紙面上の記入領域の判断とを行い、
センサに基づいて取得した手書き入力がされている位置を、前記判断した記入領域と対応づけ、
前記対応づけた前記記入領域に対応するガイダンスの表示内容と投影位置とを決定し、前記決定した表示内容を前記決定した投影位置に投影装置に投影表示する、
ことを特徴とする情報処理方法。
（付記１１）
紙面を撮影して得たマーカを用いた前記紙面の種別の判断と、前記マーカに基づいた紙面上の記入領域の判断とを行うステップと、
センサに基づいて取得した手書き入力がされている位置を、前記判断した記入領域と対応づけるステップと、
前記対応づけた前記記入領域に対応するガイダンスの表示内容と投影位置とを決定し、前記決定した表示内容を前記決定した投影位置に投影装置に投影表示するステップと、
をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１０８】
１００  制御用ＰＣ端末（情報処理装置）
１０１  表示部
１０２  カメラ
１０３  ペン認識部（ペンセンサ）
１０４  プロジェクタ
１０５  テーブル
１０６  利用者
２０１  紙面
２０２、４０４  マーカ
３０１  カメラ画像
３０２、４０５  ペン入力位置
３０３  ガイダンス
３０４  記入領域
４０１  ＰＣ画面
４０２  紙面の画像データ
４０３  手書き画像データ
５０１  認識部
５０２  算出部
５０３  決定部
５０４  キャリブレーション部
５０５  マーカ・紙面データベース部
６０１  マーカ・紙面データベース
１１０１  チェッカーパターン画像
１１０２  基準点
１１０３  ペン
【図１】
2018200527.tif 000004
【図２】
2018200527.tif 000005
【図３】
2018200527.tif 000006
【図４】
2018200527.tif 000007
【図５】
2018200527.tif 000008
【図６】
2018200527.tif 000009
【図７】
2018200527.tif 000010
【図８】
2018200527.tif 000011
【図９】
2018200527.tif 000012
【図１０】
2018200527.tif 000013
【図１１】
2018200527.tif 000014
【図１２】
2018200527.tif 000015
【図１３】
2018200527.tif 000016
【図１４】
2018200527.tif 000017
【図１５】
2018200527.tif 000018
【図１６】
2018200527.tif 000019