(57)【要約】【課題】必要のないときの情報の投影を回避することができる情報投影方法を提供する。【解決手段】撮像装置により撮像された対象物の画像情報に含まれる少なくとも一部の情報を投影する情報投影方法において、対象物に対する指示体の離間度に基づき、情報を投影するか否かを決定する処理Ｓ１１２−４を含む。撮像装置は、第１の撮像装置と第２の撮像装置を備え、第１の撮像装置及び第２の撮像装置によって其々取得された第１の撮像画像及び第２の撮像画像に基づき、第１の撮像画像及び第２の撮像画像の双方に映り込んだ指示体の、対象物に対する離間度を算出する、処理Ｓ１１２−３をさらに含む。投影する情報は、画像情報に含まれる情報のうち、対象物に対する指示体の位置に応じた情報であり、離間度は対象物から指示体までの距離である。【選択図】図１０
2016071746.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮像された対象物の画像情報に含まれる少なくとも一部の情報を投影する情報投影方法において、
前記対象物に対する指示体の離間度に基づき、前記情報を投影するか否かを決定する、
処理を含むことを特徴とする情報投影方法。
【請求項２】
前記撮像装置は、第１の撮像装置と第２の撮像装置を備え、
前記第１の撮像装置及び前記第２の撮像装置によって其々取得された第１の撮像画像及び第２の撮像画像に基づき、前記第１の撮像画像及び前記第２の撮像画像の双方に映り込んだ前記指示体の、前記対象物に対する離間度を算出する、
処理をさらに含むことを特徴とする請求項１に記載の情報投影方法。
【請求項３】
前記情報は、前記画像情報に含まれる情報のうち、前記対象物に対する前記指示体の位置に応じた情報である、
ことを特徴とする請求項１又は２に記載の情報投影方法。
【請求項４】
前記離間度は、前記対象物から前記指示体までの距離である、
ことを特徴とする請求項１から３のいずれか１項に記載の情報投影方法。
【請求項５】
前記情報を投影する場合、前記情報を、前記対象物上又は前記対象物を載置する載置台上に投影する、
ことを特徴とする請求項１から４のいずれか１項に記載の情報投影方法。
【請求項６】
前記対象物が記入可能な物であるときに前記情報を投影する場合に、前記記入可能な物の記入例を前記情報として、前記対象物上又は前記対象物を載置する載置台上に投影する、
ことを特徴とする請求項１から５のいずれか１項に記載の情報投影方法。
【請求項７】
前記情報を投影する場合、前記情報を、該情報の向きを変えて前記対象物上又は前記対象物を載置する載置台上に投影する、
ことを特徴とする請求項１から５のいずれか１項に記載の情報投影方法。
【請求項８】
前記対象物が添削された答案用紙であるときに前記情報を投影する場合、前記答案用紙に記載された内容の一部を前記情報として、前記対象物上又は前記対象物を載置する載置台上に投影する、
ことを特徴とする請求項１から５のいずれか１項に記載の情報投影方法。
【請求項９】
撮像装置により撮像された対象物の画像情報に含まれる少なくとも一部の情報を投影する情報投影方法において、
前記対象物に対する指示体の離間度に基づき、前記情報を投影するか否かを決定する、
処理をコンピュータに実行させることを特徴とする情報投影プログラム。
【請求項１０】
撮像装置により撮像された対象物の画像情報に含まれる少なくとも一部の情報を投影させる情報処理装置において、
前記対象物に対する指示体の離間度に基づき、前記情報を投影するか否かを決定する決定手段、
を備えることを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本件は、情報投影方法、情報投影プログラム、及び情報処理装置に関する。
【背景技術】
【０００２】
例えば公的機関（例えば省庁や市区町村の役所など）や金融機関（例えば銀行や保険会社など）において、申請書や伝票といった書類に来訪者が所定の事項を記入することは広く行われている。来訪者が書類の記入に慣れていない場合、誤った記入をしてしまうこともある。このような書類が提出された場合、公的機関や金融機関の職員は記入不備を指摘し、来訪者に再び書類の書き直しを求める場合がある。したがって、来訪者にも職員にも書類の提出を巡って煩わしさを感じる場合もある。
【０００３】
このような事態を回避するため、例えば公的機関や金融機関では書類の記入例が事前に備え付けられている。来訪者は記入例を参考に書類に所定の事項を記入することで、記入不備のない書類を提出することができる。また、最近では、記入例が備え付けられたカウンターにタブレット端末が設置され、タブレット端末に所定の事項を記入することで申請できる電子申請も知られている。電子申請の場合では、記入の必要な事項に記入がなされていなければ記入を求めるメッセージが表示される。また、記入の不要な事項には記入ができないように制御がなされている。電子申請の場合には書類のやりとりが発生しないため、書類提出を巡る煩わしさも低減される。
【０００４】
しかしながら、来訪者によっては電子申請に慣れていない人（例えば高齢者など）もいる。また、書類によっては法的に紙により保存が義務付けられているものもある。このため、紙製の書類は今後も継続して残存すると考えられる。したがって、電子申請以外の手法で書類提出を巡る煩わしさを低減する仕組みが求められる。例えば、記入が求められる書類をカメラで撮像し、その書類の付近に記入済みのサンプルや見本の情報をプロジェクタから投影する技術が知られている（例えば特許文献１及び２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１８６９９３号公報
【特許文献２】特開２０１２−２２３７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、上述した特許文献１及び２は、来訪者が書類を記入し始めるタイミングで情報を投影することを開示していない。例えば、書類を記入し始めるタイミング以外で過度に情報が投影されることに煩わしさを感じる来訪者も少なからず存在する。
【０００７】
そこで、１つの側面では、必要のないときの情報の投影を回避することができる情報投影方法、情報投影プログラム及び情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本明細書に開示の情報投影方法は、撮像装置により撮像された対象物の画像情報に含まれる少なくとも一部の情報を投影する情報投影方法において、前記対象物に対する指示体の離間度に基づき、前記情報を投影するか否かを決定する、処理を含むことを特徴とする情報投影方法である。
【０００９】
本明細書に開示の情報投影プログラムは、撮像装置により撮像された対象物の画像情報に含まれる少なくとも一部の情報を投影する情報投影方法において、前記対象物に対する指示体の離間度に基づき、前記情報を投影するか否かを決定する、処理をコンピュータに実行させることを特徴とする情報投影プログラムである。
【００１０】
本明細書に開示の情報処理装置は、撮像装置により撮像された対象物の画像情報に含まれる少なくとも一部の情報を投影させる情報処理装置において、前記対象物に対する指示体の離間度に基づき、前記情報を投影するか否かを決定する決定手段、を備えることを特徴とする情報処理装置である。
【発明の効果】
【００１１】
本明細書に開示の情報投影方法、情報投影プログラム及び情報処理装置によれば、必要のないときの情報の投影を回避することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、情報投影システムの一例を説明するための図である。
【図２】図２は、情報処理装置のハードウェア構成の一例である。
【図３】図３は、第１実施形態における情報処理装置のブロック図の一例である。
【図４】図４（ａ）は、申請書テーブルの一例である。図４（ｂ）は、座標位置テーブルの一例である。
【図５】図５は、サンプル画像テーブルの一例である。
【図６】図６は、第１実施形態における情報処理装置の動作の一例を示すフローチャートである。
【図７】図７は、画像投影前の申請書の一例である。
【図８】図８は、メッセージ投影処理の一例を示すフローチャートである。
【図９】図９は、第１実施形態における情報処理装置の動作の他の一例を示すフローチャートである。
【図１０】図１０は、サンプル投影処理の一例を示すフローチャートである。
【図１１】図１１は、色画像とサンプル画像の投影について説明するための図である。
【図１２】図１２は、切り出し画像の投影について説明するための図である。
【図１３】図１３は、記入漏れ判定処理の詳細を説明するためのフローチャートである。
【図１４】図１４は、記入漏れメッセージの投影について説明するための図である。
【図１５】図１５は、ステップＳ１０６からＳ１１０までの詳細な処理の一例を示すフローチャートである。
【図１６】図１６は、申請書の右側にスペースがあるか否かについて説明するための図である。
【図１７】図１７は、申請書の上側にスペースがあるか否かについて説明するための図である。
【図１８】図１８は、利き手が右手である場合の切り出し画像について説明するための図である。
【図１９】図１９は、第２実施形態における情報処理装置のブロック図の一例である。
【図２０】図２０は、第２実施形態における情報処理装置の動作の一例を示すフローチャートである。
【図２１】図２１は、画像投影処理の一例を示すフローチャートである。
【図２２】図２２は、１８０度回転して投影した切り出し画像を説明するための図である。
【図２３】図２３は、９０度回転して投影した切り出し画像を説明するための図である。
【図２４】図２４は、第３実施形態における情報処理装置のブロック図の一例である。
【図２５】図２５は、テスト管理記憶部の一例である。
【図２６】図２６は、第３実施形態における情報処理装置の動作の一例を示すフローチャートである。
【図２７】図２７は、添削された答案用紙に対する手指による操作の一例を説明するための図である。
【図２８】図２８は、紙に対する手指による操作の一例を説明するための図である。
【図２９】図２９は、第３実施形態における情報処理装置の動作の他の一例を示すフローチャートである。
【図３０】図３０は、添削されていない答案用紙に問題文及び注意コメントが投影される様子を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、本件を実施するための形態について図面を参照して説明する。
【００１４】
（第１実施形態）
図１は、情報投影システムＳの一例を説明するための図である。情報投影システムＳは、第１実施形態乃至第３実施形態のいずれの場合においても利用される。
情報投影システムＳは、投影部１００、第１撮像部２００、第２撮像部３００及び情報処理装置４００を含んでいる。情報処理装置４００に代えて、情報処理装置５００，６００が利用されてもよい。情報処理装置４００は、投影部１００、第１撮像部２００、第２撮像部３００と有線または無線を介して通信可能に接続される。なお、情報処理装置４００は、図示しない通信部を有しており、通信回線を介して様々な外部装置と双方向にデータの送受信を行うことによりネットワークリソースを用いることが可能である。更に、投影部１００は、必要に応じて情報投影システムＳに含まれれば良く、必ずしも必要な構成要素ではない。図１に示すように、投影部１００、第１撮像部２００及び第２撮像部３００は、例えば投影面１０の上方に、鉛直下向きの方向で設置される。投影面１０としては、例えば、カウンター、台、机といった各種作業を行うための作業台がある。
【００１５】
投影部１００は、撮像対象としての対象物ＯＢ上又はその傍に画像を投影する。例えば、投影面１０に対象物ＯＢが置かれて、その対象物ＯＢの一部を手指や筆記具といった指示体により指示すると、第１撮像部２００及び第２撮像部３００は対象物ＯＢを指示体とともに撮像し、投影部１００は撮像された撮像画像に基づいて対象物ＯＢ上又はその傍の所定の位置に画像を投影する。このような投影手法は、例えばAugmented Reality（ＡＲ：拡張現実）と呼ばれる。さらに、投影された画像に対して指示体が提示されると、情報処理装置４００に対しインタラクション操作が行われる。尚、投影部１００としては、例えばプロジェクタといった画像を表示するデバイスがある。対象物ＯＢとしては、例えば上述した申請書や伝票だけでなく旅行代理店で利用される申込書といった書類もある。
【００１６】
第１撮像部２００及び第２撮像部３００は、内部パラメータが等しく既知であり、互いの光軸が平行で、かつ、第１撮像部２００及び第２撮像部３００が撮像する複数の画像中の任意の横軸が同一直線状上になる様に配置される、いわゆる平行ステレオの配置となる。第１撮像部２００は、第１の視野Ｖ１の範囲内に含まれる領域を撮像する。第２撮像部３００は、第２の視野Ｖ２の範囲内に含まれる領域を撮像する。したがって、第１撮像部２００による第１撮像画像及び第２撮像部３００による第２撮像画像にはそれぞれ、対象物ＯＢを含む投影面１０が含まれる。特に、対象物ＯＢ上に指示体が含まれている場合には、第１撮像画像及び第２撮像画像にはそれぞれ指示体の画像が含まれる。第１撮像部２００及び第２撮像部３００により、第１撮像画像と第２撮像画像の色情報、ならびに対象物ＯＢの深度、指示体の深度などの情報を含む画像が撮像される。尚、第１撮像部２００及び第２撮像部３００としては、例えば、Charge Coupled Device（ＣＣＤ）カメラやComplementary Metal Oxide Semiconductor（ＣＭＯＳ）カメラといった撮像デバイスがある。また、平行ステレオは、位置関係が既知かつ平行な２台のカメラによる撮像画像から同一の対象物ＯＢが撮影された画素の位置ずれ（視差）を利用して、三角測量の原理により任意の基準点から対象物ＯＢまでの距離を算出する手法である。
【００１７】
情報処理装置４００は、第１撮像部２００及び第２撮像部３００により異なる光軸で撮像された第１撮像画像及び第２撮像画像を取得し、後述する各種の処理を行って投影部１００の動作を制御する。これにより、投影部１００は各種の画像を投影する。例えば、取得した第１撮像画像及び第２撮像画像に基づいて、世界座標系（３次元上）における対象物ＯＢ及び指示体の座標位置（例えば指先や筆記具の先端部の座標位置）を算出する。座標位置は、投影面をｘｙ座標面とし、鉛直方向をｚ軸としている。その後、算出した座標位置における深度（ｚ軸の座標位置）と対象物ＯＢの座標位置における深度（ｚ軸の座標位置）とに基づいて、指示体から対象物ＯＢまでの距離である離間度を算出する。算出した離間度が所定の距離（例えば０〜１０ｍｍ）の範囲内に含まれていた場合、対象物ＯＢの傍に画像が投影される。ここで、情報投影システムＳにおける情報処理装置４００の配置位置は自由に設定することが可能である。例えば、情報処理装置４００は投影部１００と同じ位置に配置されていてもよい。尚、情報処理装置４００の機能の詳細については後述する。
【００１８】
ところで、図１に示す情報投影システムＳの構成時点で、第１撮像部２００と第２撮像部３００の座標系と投影部１００の世界座標系における位置合わせ（キャリブレーション）は、予め実施されているものとする。また、情報処理装置４００に使用開始後に、第１撮像部２００と第２撮像部３００と投影部１００の位置関係を変化させる場合は、キャリブレーションを、少なくとも一回実行すれば良い。ここで、具体的なキャリブレーションの方法の一例として、投影部１００が投影する任意の投影画像を、第１撮像部２００と第２撮像部３００で撮像することで、情報処理装置４００内部でキャリブレーションを実行する方法を説明する。なお、当該方法においては、第１撮像部２００と第２撮像部３００のそれぞれについて、予めキャリブレーションが実行されているものとする。
【００１９】
先ず、投影部１００は、世界座標系において、ある任意の座標値（ｘｐ、ｙｐ）に対して任意のマーカを投影する。当該マーカは、周囲の背景と区別しやすいような任意の色や形状を用いることが可能である。そして、第１撮像部２００と第２撮像部３００は、所定の投影面１０に投影されたマーカを撮像する。続いて、情報処理装置４００は、マーカを公知の任意の載置支援によって認識する。例えば、情報処理装置４００は、投影部１００がマーカとして円形の模様を投影した場合、例えば、「Kimmeら、“Finding circles by an array of accumulators”, Communications of the Association for Computing Machinery, #18, pp.120-122, 1975.」に開示される、ハフ円変換により円形状を認識することが出来る。ここで、情報処理装置４００がマーカを認識した際の座標値を（ｘｉ、ｙｉ）とする。情報処理装置４００は、上述の処理を、任意の場所で４点分繰り返す。情報処理装置４００は、当該処理で得られた（ｘｐ、ｙｐ）に対応する（ｘｉ、ｙｉ）の組の４組から、３行３列のホモグラフィ行列Ｈの各成分を、８次元連立一次方程式を用いて算出する。なお、ホモグラフィとは、三次元空間上のある平面から別の平面への射影変換を表す行列である。本実施形態においては、情報処理装置４００は、第１撮像部２００と第２撮像部３００の座標平面と投影部１００の投影部座標平面との対応付けを求める。情報処理装置４００は、算出したホモグラフィ行列を、例えば、図示しないキャッシュまたはメモリに保存しておくことで、画像の投影時においてホモグラフィ行列を利用することが出来る。
【００２０】
続いて、図２を参照して、情報処理装置４００のハードウェア構成について説明する。
【００２１】
図２は、情報処理装置４００のハードウェア構成の一例である。後述する情報処理装置５００，６００についても基本的に同様の構成を有する。
図２に示すように、情報処理装置４００は、少なくともCentral Processing Unit（ＣＰＵ）４００Ａ、Random Access Memory（ＲＡＭ）４００Ｂ、Read Only Memory（ＲＯＭ）４００Ｃ及びネットワークＩ／Ｆ（インタフェース）４００Ｄを含んでいる。情報処理装置４００は、必要に応じて、Hard Disk Drive（ＨＤＤ）４００Ｅ、入力Ｉ／Ｆ４００Ｆ、出力Ｉ／Ｆ４００Ｇ、入出力Ｉ／Ｆ４００Ｈ、ドライブ装置４００Ｉの少なくとも１つを含んでいてもよい。ＣＰＵ４００Ａ・・・ドライブ装置４００Ｉは、内部バス４００Ｊによって互いに接続されている。少なくともＣＰＵ４００ＡとＲＡＭ４００Ｂとが協働することによってコンピュータが実現される。
【００２２】
入力Ｉ／Ｆ４００Ｆには、入力装置７１０が接続される。入力装置７１０としては、例えばキーボードやマウスなどがある。
出力Ｉ／Ｆ４００Ｇには、表示装置７２０が接続される。表示装置７２０としては、例えば液晶ディスプレイがある。
入出力Ｉ／Ｆ４００Ｈには、半導体メモリ７３０が接続される。半導体メモリ７３０としては、例えばUniversal Serial Bus（ＵＳＢ）メモリやフラッシュメモリなどがある。入出力Ｉ／Ｆ４００Ｈは、半導体メモリ７３０に記憶されたプログラムやデータを読み取る。
入力Ｉ／Ｆ４００Ｆ及び入出力Ｉ／Ｆ４００Ｈは、例えばＵＳＢポートを備えている。出力Ｉ／Ｆ４００Ｇは、例えばディスプレイポートを備えている。
【００２３】
ドライブ装置４００Ｉには、可搬型記録媒体７４０が挿入される。可搬型記録媒体７４０としては、例えばCompact Disc（ＣＤ）−ＲＯＭ、Digital Versatile Disc（ＤＶＤ）といったリムーバブルディスクがある。ドライブ装置４００Ｉは、可搬型記録媒体７４０に記録されたプログラムやデータを読み込む。
ネットワークＩ／Ｆ４００Ｄは、例えばポートとPhysical Layer Chip（ＰＨＹチップ）とを備えている。情報処理装置４００は、ネットワークＩ／Ｆ４００Ｄを介してネットワークと接続される。
【００２４】
上述したＲＡＭ４００Ｂには、ＲＯＭ４００ＣやＨＤＤ４００Ｅに記憶されたプログラムがＣＰＵ４００Ａによって格納される。ＲＡＭ４００Ｂには、可搬型記録媒体７４０に記録されたプログラムがＣＰＵ４００Ａによって格納される。格納されたプログラムをＣＰＵ４００Ａが実行することにより、後述する各種の機能が実現され、また、各種の動作が実行される。尚、プログラムは後述するフローチャートに応じたものとすればよい。
【００２５】
続いて、図３乃至図５を参照して、第１実施形態における情報処理装置４００の詳細について説明する。
【００２６】
図３は、情報処理装置４００のブロック図の一例である。図４（ａ）は、申請書テーブル２０の一例である。図４（ｂ）は、座標位置テーブル３０の一例である。図５は、サンプル画像テーブル４０の一例である。
情報処理装置４００は、図３に示すように、申請書記憶部４１０、座標位置記憶部４２０、サンプル記憶部４３０、画像解析部４４０、項目読取部４５０、算出手段の一例である離間度算出部４６０及び決定手段の一例である投影要否決定部４７０を含んでいる。
【００２７】
申請書記憶部４１０は、申請書、伝票、申込書といった各種書類に関する情報を予め記憶する。具体的には、図４（ａ）に示すように、申請書記憶部４１０は、申請書テーブル２０を記憶している。申請書テーブル２０は、申請書ＩＤ、申請書名、複数の必須項目、複数の任意項目及び複数の記入不可項目を構成要素としている。尚、必須項目、任意項目及び記入不可項目はそれぞれ１つであってもよい。申請書ＩＤは、申請書毎に割り当てられた識別情報である。必須項目は、申請書の記入項目の中で記入が必須の項目である。任意項目は、申請書の記入項目の中で記入が任意の項目である。記入不可項目は、申請書の記入項目の中で記入が不要の項目である。したがって、申請書ＩＤ「０００２」の「○○○交付申請書」は、登録番号と氏名と住所が必須項目であり、代理人氏名が任意項目であり、役所確認欄が記入不可項目である。
【００２８】
座標位置記憶部４２０は、申請書、伝票、申込書といった各種書類における記入項目の座標位置に関する情報を予め記憶する。具体的には、図４（ｂ）に示すように、座標位置記憶部４２０は、申請書ＩＤ毎に複数の座標位置テーブル３０を記憶している。各座標位置テーブル３０は、書類に含まれる各記入項目の座標位置とその記入項目が必須項目であるか、任意項目であるか、記入不可項目であるかを識別する表示フラグを構成要素としている。座標位置は書類の左上隅を原点とする座標位置である。表示フラグ「１」は必須項目を表し、表示フラグ「２」は任意項目を表し、表示フラグ「３」は記入不可項目を表している。したがって、申請書ＩＤ「２」の「○○○交付申請書」の記入項目の１つである「登録番号」の記入欄は、座標位置（Ｘ１１，Ｙ１１）と座標位置（Ｘ１２，Ｙ１２）とにより形成される矩形領域に設けられており、必須項目であると特定される。残りの記入項目についても同様に特定される。
【００２９】
サンプル記憶部４３０は、申請書、伝票、申込書といった各種書類の記入例を表すサンプル画像を予め記憶する。具体的には、図５に示すように、サンプル記憶部４３０は、サンプル画像テーブル４０を記憶している。サンプル画像テーブル４０は、申請書ＩＤ、申請書名、基本横幅、基本長さ、記入欄最小横幅、記入欄最小長さ及びサンプル画像を構成要素としている。したがって、申請書ＩＤ「０００２」の「○○○交付申請書」は、横幅２１０ｍｍ、長さ２７９ｍｍであり、各記入欄の最小横幅１９５ｍｍ、各記入欄最小長さ１１０ｍｍであることが特定される。尚、最小横幅及び最小長さは記入欄の大きさにより異なる場合がある。
【００３０】
画像解析部４４０は、第１撮像部２００による第１撮像画像と第２撮像部３００による第２撮像画像を解析して、第１撮像画像及び第２撮像画像のそれぞれに含まれる情報を読み取る。例えば、第１撮像画像と第２撮像画像に申請書が含まれている場合、第１撮像画像と第２撮像画像を解析して、その申請書に示された申請書ＩＤを情報として読み取る。例えば、第１撮像画像と第２撮像画像に指示体が含まれている場合、第１撮像画像と第２撮像画像を解析して、その指示体が申請書の左右のどちらに位置しているかを情報として読み取る。画像解析部４４０は、読み取った情報を項目読取部４５０に送信する。
【００３１】
項目読取部４５０は、画像解析部４４０から送信された情報に基づいて、申請書記憶部４１０からその情報に対応する各種の項目を読み取る。具体的には、画像解析部４４０から申請書ＩＤが送信された場合、申請書ＩＤに対応する必須項目、任意項目及び記入不可項目を読み取る。項目読取部４５０は、必須項目、任意項目及び記入不可項目を読み取ると、読み取った必須項目、任意項目及び記入不可項目を申請書ＩＤとともに投影要否決定部４７０に送信する。
【００３２】
離間度算出部４６０は、第１撮像部２００による第１撮像画像と第２撮像部３００による第２撮像画像に基づいて、指示体の申請書に対する離間度を算出する。上述したように、離間度算出部４６０は、指示体の座標位置における深度と申請書の座標位置における深度とに基づいて、指示体から対象物ＯＢまでの距離を離間度として算出する。離間度算出部４６０は、算出した離間度を投影要否決定部４７０に送信する。
【００３３】
投影要否決定部４７０は、項目読取部４５０から送信された申請書ＩＤ，必須項目、任意項目及び記入不可項目に基づいて、座標位置記憶部４２０から必須項目、任意項目及び記入不可項目に対応する座標位置及び表示フラグを読み取る。投影要否決定部４７０は、座標位置及び表示フラグを読み取った場合、座標位置により特定される領域に表示フラグに応じた色画像を投影部１００に投影させる。例えば、表示フラグ「２」を読み取った場合、座標位置により特定される記入欄が任意項目であることを示す明るい色画像（例えば黄色など）を投影させる。例えば、表示フラグ「３」を読み取った場合、座標位置により特定される記入欄が記入不可項目であることを示す暗い色画像（例えば黒色など）を投影させる。この結果、記入欄に対する色画像の有無や色画像の色により、申請書の記入者はどの記入欄に所定の事項を記入すればよいか判断し易くなる。
【００３４】
また、投影要否決定部４７０は、離間度算出部４６０から送信された離間度に基づいて、サンプル画像の一部の投影要否を決定する。例えば、離間度が所定値以下であれば、投影要否決定部４７０はサンプル画像の一部を投影部１００に投影させると決定し、離間度が所定値を超えていれば投影要否決定部４７０はサンプル画像の一部を投影部１００に投影させないと決定する。投影要否決定部４７０は、決定した内容を投影部１００に指示する。これにより、投影部１００は指示体の申請書に対する離間度に応じてサンプル画像の一部を投影したりしなかったりするため、不必要なときの情報の投影が回避される。
【００３５】
続いて、図６乃至図１４を参照して、情報処理装置４００の動作について説明する。
【００３６】
まず、情報投影システムＳに電源が投入されると、第１撮像部２００は第１の視野Ｖ１内を撮像し、第２撮像部３００は第２の視野Ｖ２内を撮像する。したがって、第１の視野Ｖ１内及び第２の視野Ｖ２内に対象物ＯＢが含まれていれば、第１撮像部２００及び第２撮像部３００は、対象物ＯＢをそれぞれ撮像する。これにより、画像解析部４４０には、第１撮像部２００による第１撮像画像と第２撮像部３００による第２撮像画像が入力される。
【００３７】
ここで、画像解析部４４０は、指示体と申請書を撮像したか否かを判断する（ステップＳ１０１）。図７に示すように、書類の一例である申請書ＡＦには、申請書ＩＤが予め印刷されている。来訪者である申請書ＡＦの記入者は投影面１０に対象物ＯＢとして申請書ＡＦを置くと、第１撮像部２００及び第２撮像部３００が指示体としての記入者の手指ＦＧ及び筆記具Ｐと申請書ＡＦをそれぞれ撮像するため、手指ＦＧ及び筆記具Ｐと申請書ＡＦをそれぞれ含む第１撮像画像及び第２撮像画像が画像解析部４４０に入力される。画像解析部４４０は、第１撮像画像及び第２撮像画像を解析して、ＯＣＲ処理といった文字認識処理により文字「申請書ＩＤ」が第１撮像画像及び第２撮像画像に含まれており、かつ、エッジ検出処理を利用して検出される手指ＦＧ又は筆記具Ｐに動きがあれば、指示体と申請書を撮像したと判断する（ステップＳ１０１：ＹＥＳ）。逆に、文字「申請書ＩＤ」が第１撮像画像及び第２撮像画像に含まれていなければ、申請書以外の対象物ＯＢを撮像したと判断する（ステップＳ１０１：ＮＯ）。尚、エッジ検出処理は、画像の明るさが鋭敏に又は不連続に変化している箇所を特定する処理である。例えば、投影面１０に申請書ＡＦが置かれた場合、申請書ＡＦと記入者の手指ＦＧ又は筆記具Ｐとの境は鋭敏に変化する。エッジ検出処理は、鋭敏に変化している箇所を特定することで、手指ＦＧ又は筆記具Ｐの輪郭を検出する。画像解析部４４０は、申請書を撮像したと判断した場合、申請書を解析して、申請書の申請書ＩＤを読み取る（ステップＳ１０２）。具体的には、文字「申請書ＩＤ」の右隣りに４桁の数値で表された申請書ＩＤ「０００２」を読み取る。
【００３８】
画像解析部４４０が申請書ＩＤを読み取ると、次いで、項目読取部４５０は、申請書記憶部４１０から申請書ＩＤに応じた各種項目を読み取る（ステップＳ１０３）。これにより、必須項目、任意項目及び記入不可項目が読み取られる。ステップＳ１０３の処理が完了すると、次いで、投影要否決定部４７０は、座標位置記憶部４２０から各種項目に応じた座標位置と表示フラグを読み取り（ステップＳ１０４）、申請書の左右どちら側に指示体があるか確認する（ステップＳ１０５）。投影要否決定部４７０は、申請書の左側にあると判断した場合（ステップＳ１０６；ＹＥＳ）、申請書の右側にサンプル画像を投影可能なスペースがあるかないかを確認する（ステップＳ１０７）。すなわち、指示体が申請書の左側にあることにより、申請書の記入者は左利きであると判断され、サンプル画像の投影先として申請書の右側が特定される。
【００３９】
一方、投影要否決定部４７０は、申請書の左側にないと判断した場合（ステップＳ１０６；ＮＯ）、申請書の左側にサンプル画像を投影可能なスペースの有無を確認する。すなわち、指示体が申請書の右側にあることにより、申請書の記入者は右利きであると判断され、サンプル画像の投影先として申請書の左側が特定される。ここで、投影要否決定部４７０は、申請書の右側にも左側にスペースがないと判断した場合（ステップＳ１０８：ＮＯ）、申請書の上側にサンプル画像を投影可能なスペースがあるかないかを確認する（ステップＳ１０９）。そして、投影要否決定部４７０は、申請書の上側にもスペースがないと判断した場合（ステップＳ１１０：ＮＯ）、申請書の載置位置の移動を促すメッセージ投影処理を実行する（ステップＳ１１１）。
【００４０】
具体的には、図８に示すように、投影要否決定部４７０は、例えば「サンプル画像を投影するスペースがありません。申請書を左右どちらかにずらすか、または、下の方へずらしてください」といった所定のメッセージを投影部１００に投影させる（ステップＳ１１１−１）。投影要否決定部４７０は、ステップＳ１１１の処理が完了すると、ステップＳ１０５の処理に戻る。
【００４１】
一方、投影要否決定部４７０は、申請書の右側又は左側にスペースがあると判断した場合（ステップＳ１０８：ＹＥＳ）、又は、申請書の上側にスペースがあると判断した場合（ステップＳ１１０：ＹＥＳ）、図９に示すように、サンプル画像の投影を投影部１００に実行させるサンプル投影処理を実行する（ステップＳ１１２）。
【００４２】
具体的には、図１０に示すように、投影要否決定部４７０は、サンプル記憶部４３０から申請書ＩＤに応じたサンプル画像を読み取り（ステップＳ１１２−１）、対応する記入欄に色画像を投影させ、スペースにサンプル画像を投影させる（ステップＳ１１２−２）。この結果、図１１に示すように、申請書ＡＦの代理人氏名の記入欄に任意項目であることを示す明るい色画像ＩＭ１が投影され、役所確認欄の記入欄に記入不可項目であることを示す暗い色画像ＩＭ２が投影される。そして、例えば申請書ＡＦの記入者が左利きである場合に申請書ＡＦの右側にスペースがあれば、当該スペースに申請書ＡＦのサンプル画像ＩＭ３が投影される。この際、サンプル画像ＩＭ３における代理人氏名の記入欄に「記入任意」である旨が表示され、役所確認欄の記入欄に「記入不可」である旨が併せて表示される。
【００４３】
図１０に戻り、次いで、離間度算出部４６０は、指示体の申請書に対する離間度を算出し（ステップ１１２−３）、投影要否決定部４７０は、離間度が所定値以下であるか否かを判断する（ステップＳ１１２−４）。投影要否決定部４７０は、離間度が所定値以下であると判断した場合（ステップＳ１１２−４：ＹＥＳ）、指示体としての筆記具の位置（より詳しくは筆記具の先端にある筆記部の位置）から該当項目を特定し、サンプル画像から該当項目部分を含む画像を切り取る（ステップＳ１１２−５）。そして、投影要否決定部４７０は、切り取った画像を投影部１００に投影させる（ステップＳ１１２−６）。尚、投影要否決定部４７０は、離間度が所定値以下でないと判断した場合（ステップＳ１１２−４：ＮＯ）、ステップＳ１１２−５及びＳ１１２−６の処理をスキップする。
【００４４】
この結果、図１２に示すように、指示体としての手指ＦＧ又は筆記具Ｐの申請書ＡＦに対する離間度が所定値以下であれば、サンプル画像ＩＭ３から筆記具Ｐの位置から特定される記入欄の部分を含む画像が切り出され、切り出し画像ＩＭ４として申請書ＡＦの右側に記入欄に対応させて投影される。尚、図１２では、筆記具Ｐに位置から特定される記入欄とその次の記入欄の部分を含む画像が切り出されているが、筆記具Ｐに位置から特定される記入欄の部分だけを含む画像が切り出されるようにしてもよい。
【００４５】
図９に戻り、ステップＳ１１２の処理が完了すると、次いで、画像解析部４４０と項目読取部４５０は、申請書に対する記入漏れを判定するための記入漏れ判定処理を実行し（ステップＳ１１３）、項目読取部４５０は記入漏れがあるか否かを判断する（ステップＳ１１４）。
【００４６】
具体的には、図１３に示すように、画像解析部４４０は、第１撮像画像及び第２撮像画像に基づいて離間度が所定値を超えたことにより指示体が申請書から離れたと判断した場合に、第１撮像画像及び第２撮像画像から記入済みの申請書を読み取り（ステップＳ１１３−１）、項目読取部４５０は申請書記憶部４１０から申請書の必須項目を読み取る（ステップＳ１１３−２）。項目読取部４５０は、その後、記入済みの申請書と必須項目を対比して、必須項目の空白を確認する（ステップＳ１１３−３）。項目読取部４５０は、空白があると判断した場合（ステップＳ１１４−１：ＹＥＳ）、投影要否決定部４７０は、後述するステップＳ１１５の処理を実行する。一方、項目読取部４５０は、空白がないと判断した場合（ステップＳ１１４−１：ＮＯ）、処理を終了する。
【００４７】
したがって、図９に示すように、項目読取部４５０は、記入漏れがあると判断した場合（ステップＳ１１４：ＹＥＳ）、投影要否決定部４７０は、記入漏れメッセージを投影部１００に投影させる（ステップＳ１１５）。この結果、図１４に示すように、例えば必須項目である登録番号に記入漏れがある場合、例えば「登録番号が記載されていません」といった記入漏れを表すメッセージの画像ＩＭ５が申請書ＡＦ上に投影される。尚、当該メッセージの投影先は、投影面１０上であれば申請書ＡＦ上に限られない。
【００４８】
ここで、図１５乃至図１７を参照して、上述した図６におけるステップＳ１０６からＳ１１０までの処理をさらに詳しく説明する。
【００４９】
図１５は、ステップＳ１０６からＳ１１０までの詳細な処理の一例を示すフローチャートである。図１６は、申請書の右側にスペースがあるか否かについて説明するための図である。図１７は、申請書の上側にスペースがあるか否かについて説明するための図である。
【００５０】
まず、投影要否決定部４７０が、ステップＳ１０６の処理において、申請書の左側に指示体があると判断した場合、投影要否決定部４７０はサンプル記憶部４３０から申請書ＩＤに応じた申請書の基本横幅と基本長さを読み取る（ステップＳ１０７−１）。次いで、投影要否決定部４７０は、投影領域横幅と基本横幅から右スペースの横幅を算出する（ステップＳ１０７−２）。具体的には、図１６に示すように、予め決められた投影領域横幅Ａ１と基本横幅Ｘから右スペースの横幅Ｃ１を算出する。横幅Ｃ１がサンプル画像ＩＭ３又は切り出し画像ＩＭ４の投影可能な幅になる。
【００５１】
投影要否決定部４７０は、ステップＳ１０７−２の処理が完了すると、横幅がサンプル画像の幅より大きいか否かを判断する（ステップＳ１０８−１）。具体的には、右スペースの横幅Ｃ１が予め決められたサンプル画像の幅Ｂ´１より大きいか否かを判断する。投影要否決定部４７０は、右スペースの横幅Ｃ１がサンプル画像の幅Ｂ´１より大きいと判断した場合（ステップＳ１０８−１：ＹＥＳ）、上述したステップＳ１１２の処理を実行する。したがって、離間度が所定値以下である場合には、図１６に示すように、申請書ＡＦに右側に存在するスペースに切り出し画像ＩＭ４が投影される。
【００５２】
一方、投影要否決定部４７０は、右スペースの横幅Ｃ１がサンプル画像の幅Ｂ´１以下であると判断した場合（ステップＳ１０８−１：ＮＯ）、投影領域長さと基本長さから上スペースの長さを算出する（ステップＳ１０９−１）。具体的には、図１７に示すように、予め決められた投影領域長さＡ２と基本長さＹから上スペースの長さＣ２を算出する。長さＣ２がサンプル画像ＩＭ３又は切り出し画像ＩＭ４の投影可能な長さになる。
【００５３】
投影要否決定部４７０は、ステップＳ１０９−１の処理が完了すると、長さがサンプル画像の長さより大きいか否かを判断する（ステップＳ１１０−１）。具体的には、上スペースの長さＣ２が予め決められたサンプル画像の長さＢ´２より大きいか否かを判断する。投影要否決定部４７０は、上スペースの長さＣ２がサンプル画像の長さＢ´２より大きいと判断した場合（ステップＳ１１０−１：ＹＥＳ）、上述したステップＳ１１２の処理を実行する。したがって、離間度が所定値以下である場合には、図１７に示すように、申請書ＡＦに上側に存在するスペースに切り出し画像ＩＭ４が投影される。一方、投影要否決定部４７０は、上スペースの長さＣ２がサンプル画像の長さＢ´２以下であると判断した場合（ステップＳ１１０−１：ＮＯ）、上述したステップＳ１１１の処理を実行する。したがって、申請書の位置の移動を促すメッセージが投影される。
【００５４】
尚、以上の説明では、申請書ＡＦの左側に指示体があることにより、申請書ＡＦに右スペースの有無を確認したが、申請書ＡＦの右側に指示体がある場合には、図１６を参照して説明した内容を逆にして利用すればよい。これにより、申請書ＡＦの右側に指示体があり、申請書ＡＦの左側にスペースが存在する場合には、図１８に示すように、申請書ＡＦに左側に切り出し画像ＩＭ４が投影される。
【００５５】
このように、第１実施形態によれば、記入者が申請書ＡＦに所定事項を記入すべく、指示体としての手指ＦＧや筆記具Ｐを申請書ＡＦ上の記入欄に近づければ、その記入欄に対応する記入例が申請書ＡＦ付近の空いたスペースに切り出し画像ＩＭ４として投影される。そして、手指ＦＧや筆記具Ｐを申請書ＡＦ上の記入欄から遠ざければ、当該切り出し画像ＩＭ４の投影は停止される。したがって、必要のないときの情報の投影を回避することができ、過度な情報投影により記入者が煩わしさを感じることが解消される。
【００５６】
（第２実施形態）
続いて、図１９乃至図２３を参照して、本件の第２実施形態について説明する。
図１９は、情報処理装置５００のブロック図の一例である。
情報処理装置５００は、図１９に示すように、画像解析部５１０、画像処理部５２０、算出手段の一例である離間度算出部５３０、決定手段の一例である投影要否決定部５４０及び上述したサンプル記憶部４３０を含んでいる。
【００５７】
画像解析部５１０は、第１撮像部２００による第１撮像画像と第２撮像部３００による第２撮像画像を解析して、第１撮像画像及び第２撮像画像のそれぞれに含まれる情報を読み取る。例えば、第１撮像画像と第２撮像画像に指示体と申請書が含まれている場合、第１撮像画像と第２撮像画像を解析して、その申請書に示された申請書ＩＤを情報として読み取る。第１撮像画像と第２撮像画像に申請書と筆記具を把持した指示体としての手指が含まれている場合、第１撮像画像と第２撮像画像を解析して、その申請書のどちら側の方向からその手指が出てきた特定する。第１撮像画像と第２撮像画像に申請書と筆記具を把持していない指示体としての手指が含まれている場合、第１撮像画像と第２撮像画像を解析して、その申請書のどちら側の方向からその手指が出てきた特定する。画像解析部５１０は、申請書ＩＤ及び特定した方向を情報として画像処理部５２０に送信する。
【００５８】
画像処理部５２０は、画像解析部５１０から送信された情報に基づいて、筆記具を把持した手指が出てきた方向と、筆記具を把持していない手指が出てきた方向とが同一方向か、対向方向かを判断する。画像処理部５２０は、同一方向でなく対向方向であると判断した場合、サンプル記憶部４３０から申請書ＩＤに基づいてサンプル画像を抽出し、抽出したサンプル画像を１８０度回転する。画像処理部５２０は、同一方向でなく対向方向でもないと判断した場合、サンプル記憶部４３０から申請書ＩＤに基づいてサンプル画像を抽出し、抽出したサンプル画像を９０度回転する。画像処理部５２０は、回転したサンプル画像を投影要否決定部５４０に送信する。
【００５９】
離間度算出部５３０は、第１撮像部２００による第１撮像画像と第２撮像部３００による第２撮像画像に基づいて、指示体の申請書に対する離間度を算出する。具体的には、上述したように、離間度算出部５３０は、指示体の座標位置における深度と申請書の座標位置における深度とに基づいて、指示体から申請書までの距離を離間度として算出する。離間度算出部５３０は、算出した離間度を投影要否決定部５４０に送信する。
【００６０】
投影要否決定部５４０は、画像処理部５２０から送信された回転後のサンプル画像の投影スペースが申請書ＡＦの付近にあるか否かを判断する。当該判断は、第１実施形態で説明したように、投影領域横幅、申請書ＡＦの基本横幅及びサンプル画像の幅との関係や、投影領域長さ、申請書ＡＦの基本長さ及びサンプル画像の長さとの関係に基づいて判断される。投影要否決定部５４０は、サンプル画像の投影スペースが申請書ＡＦの付近にあって、離間度算出部５３０から送信された離間度が所定値以下であれば、サンプル画像全体の画像を当該投影スペースに投影部１００に投影させる。投影要否決定部５４０は、サンプル画像の投影スペースが申請書ＡＦの付近にない場合、筆記具を把持していない手指により指示した部分をサンプル画像から切り出し、離間度算出部５３０から送信された離間度が所定値以下であれば、サンプル画像を切り出した切り出し画像を当該投影スペースに投影部１００に投影させる。
【００６１】
次に、図２０乃至図２３を参照して、情報処理装置５００の動作について説明する。
【００６２】
図２０は、情報処理装置５００の動作の一例を示すフローチャートである。図２１は、画像投影処理の一例を示すフローチャートである。図２２は、１８０度回転して投影した切り出し画像ＩＭ４を説明するための図である。図２３は、９０度回転して投影した切り出し画像ＩＭ４を説明するための図である。
【００６３】
まず、第１撮像部２００が第１の視野Ｖ１内を撮像し、第２撮像部３００は第２の視野Ｖ２内を撮像すると、画像解析部５１０及び離間度算出部５３０には、第１撮像部２００による第１撮像画像と第２撮像部３００による第２撮像画像が入力される。
【００６４】
ここで、画像解析部５１０は、指示体と申請書を撮像したか否かを判断する（ステップＳ２０１）。当該判断は、第１実施形態におけるステップＳ１０１と同様である。次いで、画像解析部５１０は、申請書を解析して、申請書の申請書ＩＤを読み取る（ステップＳ２０２）。具体的には、文字「申請書ＩＤ」の右隣りに４桁の数値で表された申請書ＩＤ「０００２」を読み取る。次いで、画像解析部５１０は、筆記具を把持した手指が出てきた方向、及び、筆記具を把持していない手指が出てきた方向をそれぞれ特定する（ステップＳ２０３）。
【００６５】
例えば図２２（ａ）に示すように、投影面１０（例えば対向のカウンター）に申請書ＡＦが記入者である申請人側に向けて置かれ、筆記具Ｐを把持した右利きの申請人の手指ＦＧ１が申請書ＡＦの右側から出てきた場合、画像解析部５１０は、申請書ＡＦと筆記具Ｐを把持した手指ＦＧ１との位置関係から、当該手指ＦＧ１は右側から出てきたと特定する。一方、筆記具Ｐを把持しせずに、申請人に記入方法について説明する職員の手指ＦＧ２が申請書ＡＦの上側から出てきた場合、画像解析部５１０は、申請書ＡＦと筆記具Ｐを把持していない手指ＦＧ２との位置関係から、当該手指ＦＧ２は上側から出てきたと特定する。
【００６６】
また、例えば図２３（ａ）に示すように、投影面１０（例えば円形のカウンター）に申請書ＡＦが記入者である申請人側に向けて置かれ、筆記具Ｐを把持した申請人の手指ＦＧ１が申請書ＡＦの右側から出てきた場合、上記同様に、画像解析部５１０は、申請書ＡＦと筆記具Ｐを把持した手指ＦＧ１との位置関係から、当該手指ＦＧ１は右側から出てきたと特定する。一方、筆記具Ｐを把持しせずに、申請人に記入方法について説明する職員の手指ＦＧ２が申請書ＡＦの左側から出てきた場合、画像解析部５１０は、申請書ＡＦと筆記具Ｐを把持していない手指ＦＧ２との位置関係から、当該手指ＦＧ２は左側から出てきたと特定する。
【００６７】
ステップＳ２０３の処理が完了すると、次いで、画像処理部５２０は、筆記具を把持した手指が出てきた方向と、筆記具を把持していない手指が出てきた方向とが同一方向か否か判断し（ステップＳ２０４）、同一方向でないと判断した場合（ステップＳ２０４：ＮＯ）、対向方向か否かを判断する（ステップＳ２０５）。上述したように、申請人の手指ＦＧ１が右側から出てきていると特定され、職員の手指ＦＧ２が上側から出てきていると特定された場合、対向のカウンターにおいて申請人の真向かいに職員がいると推定できるため、画像処理部５２０は申請人と職員は同一方向でなく対向していると判断する（ステップＳ２０４：ＮＯ、ステップＳ２０５：ＹＥＳ）。また、申請人の手指ＦＧ１が右側から出てきていると特定され、職員の手指ＦＧ２が左側から出てきていると特定された場合、円形のカウンターにおいて申請人の左隣りに職員がいると推定できるため、画像処理部５２０は申請人と職員は同一方向でなくかつ対向していないと判断する（ステップＳ２０４：ＮＯ、ステップＳ２０５：ＮＯ）。尚、画像処理部５２０は、筆記具を把持した手指が出てきた方向と、筆記具を把持していない手指が出てきた方向とが同一方向であると判断した場合（ステップＳ２０４：ＹＥＳ）、処理を終了する。
【００６８】
画像処理部５２０は、ステップＳ２０５の処理において、対向方向であると判断した場合、サンプル記憶部４３０から抽出した申請書のサンプル画像を１８０度回転する（ステップＳ２０６）。一方、ステップＳ２０５の処理において、対向方向でないと判断した場合、サンプル記憶部４３０から抽出した申請書のサンプル画像を９０度回転する（ステップＳ２０７）。画像処理部５２０がステップＳ２０６又はステップＳ２０７の処理が完了すると、投影要否決定部５４０は、回転後のサンプル画像の投影スペースがあるか否かを判断する（ステップＳ２０８）。投影要否決定部５４０は、投影スペースがあると判断した場合（ステップＳ２０８：ＹＥＳ）、サンプル画像全体又は一部を投影する画像投影処理を実行する（ステップＳ２０９）。投影要否決定部５４０は、投影スペースがないと判断した場合（ステップＳ２０８：ＮＯ）、指示した部分の画像を切り出して（ステップＳ２１０）、ステップＳ２０９の処理を実行する。尚、投影スペース有無の確認は上述した第１実施形態と同様である。
【００６９】
ここで、ステップＳ２０９の画像投影処理について詳しく説明すると、図２１に示すように、投影要否決定部５４０は、指示体の申請書に対する離間度を算出し（ステップＳ２０９−１）、算出した離間度が所定値以下であるか否かを判断する（ステップＳ２０９−２）。投影要否決定部５４０は、離間度が所定値以下であると判断した場合（ステップＳ２０９−２：ＹＥＳ）、申請書のサンプル画像、又は、サンプル画像から切り取った部分の画像である切り出し画像を投影部１００に投影させる（ステップＳ２０９−３）。一方、投影要否決定部５４０は、離間度が所定値以下でないと判断した場合（ステップＳ２０９−２：ＮＯ）、処理を終了する。
【００７０】
この結果、図２２（ｂ）に示すように、申請人と職員が対向している場合に申請書ＡＦに筆記具Ｐを把持した手指ＦＧ１が近づくと、ステップＳ２０８の処理によって回転後のサンプル画像の投影スペースがないと判断されれば、サンプル画像の一部を切り出した切り出し画像ＩＭ４が１８０度回転して職員側に向けて投影される。また、図２３（ｂ）に示すように、申請人と職員が対向していない場合に申請書ＡＦに筆記具Ｐを把持した手指ＦＧ１が近づくと、ステップＳ２０８の処理によって回転後のサンプル画像の投影スペースがないと判断されれば、サンプル画像の一部を切り出した切り出し画像ＩＭ４が９０度回転して職員側に向けて投影される。
【００７１】
このように、申請人が職員に対し記入例を尋ねる度に申請書ＡＦを職員側に向きを直して示す必要がなく、職員側には申請人が尋ねる記入欄の画像が投影される。例えば、登録番号を右寄せで記入しなければならない場合や、左寄せで記入しなければならない場合、申請人と職員のそれぞれの視界に映る登録番号の記入欄は異なるため、職員からの指示によっては誤記入が発生する場合がある。しかしながら、第２実施形態によれば、申請人と職員のそれぞれの視界に映る記入欄は同じ向きになるため、申請人は職員に申請書ＡＦの向きを直して示す必要もなく、職員から適切な指示を受けることができる。
【００７２】
さらに、申請人が申請書ＡＦに所定事項を記入すべく、筆記具Ｐを把持した手指ＦＧを申請書ＡＦ上の記入欄に近づければ、その記入欄に対応する記入例が申請書ＡＦ付近の空いたスペースに職員側に向けられて投影される。そして、筆記具Ｐを把持した手指ＦＧを申請書ＡＦ上の記入欄から遠ざければ、当該記入例の画像の投影は停止される。したがって、必要のないときの情報の投影を回避することができ、過度な情報投影により記入者が煩わしさを感じることが解消される。
【００７３】
（第３実施形態）
続いて、図２４乃至図３０を参照して、本件の第３実施形態について説明する。
【００７４】
図２４は、情報処理装置６００のブロック図の一例である。図２５は、テスト管理記憶部６３０の一例である。
情報処理装置６００は、図２４に示すように、画像解析部６１０、情報格納部６２０、テスト管理記憶部６３０、情報抽出部６４０、算出手段の一例である離間度算出部６５０及び決定手段の一例である投影要否決定部６６０を含んでいる。
【００７５】
画像解析部６１０は、第１撮像部２００による第１撮像画像と第２撮像部３００による第２撮像画像を解析して、第１撮像画像及び第２撮像画像のそれぞれに含まれる情報を読み取る。例えば、第１撮像画像と第２撮像画像に添削された答案用紙（図２７参照）が含まれている場合、第１撮像画像と第２撮像画像を解析して、その答案用紙に示されたテスト種別を情報として読み取る。第１撮像画像と第２撮像画像に手指による矩形動作が含まれている場合、第１撮像画像と第２撮像画像を解析して、その矩形動作で特定される部分の画像又は文字を情報として読み取る。画像解析部６１０は、読み取った情報を情報格納部６２０に送信する。また、例えば、第１撮像画像と第２撮像画像に添削されていない答案用紙（図３０ａ参照）が含まれている場合、第１撮像画像と第２撮像画像を解析して、その答案用紙に示された問題コードを情報として読み取る。この場合、画像解析部６１０は、読み取った情報を情報抽出部６４０に送信する。
【００７６】
情報格納部６２０は、画像解析部６１０から送信された情報をテスト管理記憶部６３０に格納する。例えば、画像解析部６１０から送信された情報が手書きの文字である場合には、情報格納部６２０は当該文字を添削された答案用紙に付された注意コメントとしてテスト管理記憶部６３０に格納する。画像解析部６１０から送信された情報が手書き以外の文字である場合には、情報格納部６２０は当該文字を添削された答案用紙に記載された問題文としてテスト管理記憶部６３０に格納する。情報格納部６２０は情報を格納する際に併せてテスト種別も格納する。
【００７７】
テスト管理記憶部６３０は、情報の格納形式が予め決められたテスト管理テーブル４１を記憶する。テスト管理テーブル４１は、図２５に示すように、問題コード、問題科目、問題文及び複数の注意コメントを構成要素としている。問題コードは問題文を識別する識別情報であって、問題文が格納される際に問題文毎に情報格納部６２０から付与される。このように、テスト管理テーブル４１により、問題コード、問題科目、問題文及び複数の注意コメントが関連付けられて格納される。
【００７８】
情報抽出部６４０は、画像解析部６１０から送信された情報に基づいて、テスト管理記憶部６３０から当該情報に応じた問題文と注意コメントを抽出する。具体的には、情報抽出部６４０は問題コードに基づいて、問題文と注意コメントを抽出する。情報抽出部６４０は、抽出した問題文と注意コメントを投影要否決定部６６０に送信する。
【００７９】
離間度算出部６５０は、第１撮像部２００による第１撮像画像と第２撮像部３００による第２撮像画像に基づいて、添削されていない答案用紙に対する指示体の離間度を算出する。具体的には、上述したように、離間度算出部６５０は、指示体の座標位置における深度と申請書の座標位置における深度とに基づいて、指示体から答案用紙までの距離を離間度として算出する。離間度算出部６５０は、算出した離間度を投影要否決定部６６０に送信する。
【００８０】
投影要否決定部６６０は、情報抽出部６４０から送信された問題文を投影部１００に投影させる。また、投影要否決定部６６０は、離間度算出部６５０から送信された離間度が所定値以下である場合に、情報抽出部６４０から送信された注意コメントを投影部１００に投影させる。
【００８１】
次に、図２６乃至図２８を参照して、情報処理装置６００による情報格納動作について説明する。
【００８２】
図２６は、情報処理装置６００の動作の一例を示すフローチャートである。図２７は、添削された答案用紙Ｄ１に対する手指ＦＧによる操作の一例を説明するための図である。図２８は、紙Ｄ２に対する手指ＦＧによる操作の一例を説明するための図である。
【００８３】
第１撮像部２００が第１の視野Ｖ１内を撮像し、第２撮像部３００は第２の視野Ｖ２内を撮像すると、画像解析部６１０には、第１撮像部２００による第１撮像画像と第２撮像部３００による第２撮像画像が入力される。
【００８４】
ここで、画像解析部６１０は、添削された答案用紙を撮像したか否かを判断する（ステップＳ３０１）。当該判断は、例えば答案用紙に対する文字密度に基づいて行われる。また、当該判断が、例えば赤色や青色といった黒色以外の色が答案用紙から検出されたか否かによって行われてもよい。答案用紙に対する文字密度が所定値以上であることにより、答案用紙に多くの文字が記載されていると判断できる場合、又は、赤色や青色など黒色以外の色が答案用紙から検出された場合には、画像解析部６１０は、添削された答案用紙を撮像したと判断する（ステップＳ３０１：ＹＥＳ）。一方、答案用紙に対する文字密度が所定値未満であることにより、答案用紙に多くの文字が記載されていないと判断できる場合、黒色だけが答案用紙から検出された場合には、画像解析部６１０は、添削された答案用紙を撮像していないと判断する（ステップＳ３０１：ＮＯ）。
【００８５】
画像解析部６１０は、添削された答案用紙を撮像したと判断した場合、次いで、テストの種別を読み取る（ステップＳ３０２）。図２７に示すように、添削された答案用紙Ｄ１に文字「テスト種別」が含まれている場合、画像解析部６１０は、文字「テスト種別」の右側に記載された画像又は文字「数学」を読み取る。
【００８６】
画像解析部６１０は、次いで、手指による矩形動作を検出したか否かを判断する（ステップＳ３０３）。一例を挙げると、図２８（ａ）に示す通り、ユーザは紙Ｄ２を手指ＦＧで触れ（触れた時刻を時刻ｔ１とする）、手指ＦＧを時刻ｔ２の位置まで手指ＦＧをスライドさせ、又は手指ＦＧを時刻ｔ２の位置までなぞり、その後手指ＦＧを紙Ｄ２から離脱させる。紙Ｄ２に対する手指ＦＧの接触と離脱は、例えば、算出される手指ＦＧの深度に基づいて判定することが出来る。例えば、第１撮像部２００及び第２撮像部３００の座標系における手指ＦＧの位置は、第１撮像画像と第２撮像画像で、紙Ｄ２上の異なる位置に写っており、当該位置より規定される視差に基づいて二眼ステレオ法で指先の深度が算出される。このように算出された手指ＦＧの深度に基づいて、手指ＦＧの接触と離脱を判定することが出来る。したがって、画像解析部６１０は、図２７に示すように、答案用紙Ｄ１に記載された問題文に対応する文字部分６０，７０や注意コメントに対応する文字部分８０，９０に対する手指ＦＧによる矩形動作を検出したか否かを判断する。
【００８７】
画像解析部６１０が手指による矩形動作を検出したと判断した場合（ステップＳ３０３：ＹＥＳ）、矩形動作で特定される部分の文字を読み取る（ステップＳ３０４）。上述した図２８（ａ）では、時刻ｔ１における手指ＦＧの位置から時刻ｔ２における手指ＦＧの位置に基づいた線分を対角線とする矩形領域５０が指定箇所として特定され、図２８（ｂ）に示される様な矩形領域５０の画像が画像解析部６１０に保持される。したがって、図２７に示すように、手指ＦＧにより問題文に対応する文字部分６０，７０や注意コメントに対応する文字部分８０，９０が指定箇所として特定されると、特定された文字部分６０，・・・，９０が画像解析部６１０により保持される。尚、画像解析部６１０が手指による矩形動作を検出しなかったと判断した場合（ステップＳ３０３：ＮＯ）、処理を終了する。
【００８８】
画像解析部６１０は、ステップＳ３０４の処理が完了すると、文字部分が手書きであるか否かを判断する（ステップＳ３０５）。例えば、画像解析部６１０は、文字が手書きか否かを判断可能なパターンマッチング技術を利用して、文字部分の文字が手書きの文字か否かを判断する。画像解析部６１０は文字部分の文字が手書きでない文字（例えば印刷された文字）と判断した場合（ステップＳ３０５：ＮＯ）、情報格納部６２０は読み取った文字をテスト管理記憶部６３０に問題文として格納する（ステップＳ３０６）。一方、画像解析部６１０は文字部分の文字が手書きの文字と判断した場合（ステップＳ３０５：ＹＥＳ）、情報格納部６２０は最後に格納した問題文を特定し（ステップＳ３０７）、読み取った文字を、特定した問題文に対応する注意コメントとしてテスト管理記憶部６３０に格納する（ステップＳ３０８）。
【００８９】
すなわち、図２７に示すように、ユーザは、問題文に対応する文字部分６０に対し手指ＦＧにより矩形動作を行うと、文字部分６０の文字がテスト管理記憶部６３０に問題コードが付与されて格納される。次に、注意コメントに対応する文字部分８０に対し手指ＦＧにより矩形動作を行うと、最後に格納した問題文に対応する文字部分６０が特定され、特定された文字部分６０と文字部分８０と関連付けられてテスト管理記憶部６３０に格納される。順に、問題文に対応する文字部分７０に対し手指ＦＧにより矩形動作を行うと、文字部分７０の文字がテスト管理記憶部６３０に別の問題コードが付与されて格納される。次に、注意コメントに対応する文字部分９０に対し手指ＦＧにより矩形動作を行うと、最後に格納した問題文に対応する文字部分７０が特定され、特定された文字部分７０と文字部分９０と関連付けられてテスト管理記憶部６３０に格納される。尚、情報格納部６２０が読み取った文字をテスト管理記憶部６３０に格納する際、当該文字に対してOptical Character Recognition（ＯＣＲ：光学文字認識）を実行し文字情報として格納させてもよい。
【００９０】
ステップＳ３０６及びステップＳ３０８の処理が完了すると、ステップＳ３０３の処理に戻る。これにより、ユーザが問題文に対応する文字部分６０，７０及び注意コメントに対応する文字部分８０，９０を指定する度に、問題文と注意コメントが関連付けられて、図２５に示すように、テスト管理記憶部６３０に格納される。
【００９１】
次に、図２９及び図３０を参照して、情報処理装置６００による情報投影動作について説明する。
【００９２】
図２９は、情報処理装置６００の動作の他の一例を示すフローチャートである。図３０は、添削されていない答案用紙Ｄ３に問題文及び注意コメントが投影される様子を説明するための図である。
【００９３】
まず、画像解析部６１０は、問題コード記載の答案用紙を撮像したか否かを判断する（ステップＳ４０１）。例えば、不得意問題集と記載された答案用紙Ｄ３に、ユーザが、図３０（ａ）に示すように、解き直したい問題コード（「０００１」や「０００２」）を記載して又は予め印刷して当該用紙を投影面１０の置いた場合、画像解析部６１０は第１撮像画像及び第２撮像画像に文字「問題コード」が含まれているか否か判断する。そして、画像解析部６１０は、文字「問題コード」が含まれていると判断した場合、問題コード記載の答案用紙を撮像したと判断する（ステップＳ４０１：ＹＥＳ）。逆に、画像解析部６１０は、文字「問題コード」が含まれていないと判断した場合、問題コード記載の答案用紙を撮像しなかったと判断する（ステップＳ４０１：ＮＯ）。
【００９４】
画像解析部６１０が問題コード記載の答案用紙を撮像したと判断した場合、次いで、情報抽出部６４０は、テスト管理記憶部６３０から問題コードに応じた問題文と注意コメントを抽出する（ステップＳ４０２）。複数の問題コードがある場合には、数値が最も小さい問題コードに応じた問題文と注意コメントが抽出される。情報抽出部６４０が問題文と注意コメントを抽出すると、次いで、投影要否決定部６６０は、抽出した問題文の画像を投影部１００に投影させる（ステップＳ４０３）。これにより、図３０（ｂ）に示すように、問題コード「０００１」の上側に当該問題コードに応じた問題文の画像ＩＭ７が投影される。
【００９５】
ここで、投影要否決定部６６０は、注意コメントがあるか否かを判断する（ステップＳ４０４）。より詳しくは、投影要否決定部６６０は、投影された問題文に関連付けられた注意コメントがあるか否かを判断する。投影要否決定部６６０は注意コメントがあると判断した場合（ステップＳ４０４：ＹＥＳ）、離間度算出部６５０は、指示体の答案用紙に対する離間度を算出し（ステップＳ４０５）、投影要否決定部６６０は離間度が所定値以下であるか否かを判断する（ステップＳ４０６）。すなわち、図３０（ｃ）に示すように、指示体としての手指ＦＧや筆記具Ｐの答案用紙Ｄ３に対する離間度が所定値以下であるか否かが判断される。
【００９６】
投影要否決定部６６０は、離間度が所定値以下であるか否かを判断した場合（ステップＳ４０６：ＹＥＳ）、注意コメントの画像を投影部１００に投影させる（ステップＳ４０７）。したがって、図３０（ｃ）に示すように、画像として投影された問題文をユーザが読んで当該問題を解こうと答案用紙Ｄ３に手指ＦＧや筆記具Ｐが近づくと、注意コメントの画像ＩＭ８が投影面１０上に投影される。これにより、注意コメントの内容がユーザの視界に入り、ユーザは問題を解く際に注意するようになる。
【００９７】
投影要否決定部６６０は、ステップＳ４０７の処理が完了すると、次の問題部分との空白部分を生成し（ステップＳ４０８）、次の問題があるか否かを判断する（ステップＳ４０９）。投影要否決定部６６０は、次の問題文があると判断した場合（ステップＳ４０９：ＹＥＳ）、ステップＳ４０３の処理に戻り、次の問題文がないと判断した場合（ステップＳ４０９：ＮＯ）、処理を終了する。
【００９８】
このように、第３実施形態によれば、不得意問題を解き直す場合に、間違い易いポイントが注意コメントとして答案用紙Ｄ３付近に投影されるため、同じ間違いを犯さないように注意しながら解答を作成することができる。これにより、高い学習効果が得られる。また、ユーザが答案用紙Ｄ３に解答を記載すべく、手指ＦＧや筆記具Ｐを答案用紙Ｄ３に近づければ、注意コメントの画像ＩＭ８が答案用紙Ｄ３付近に投影される。そして、手指ＦＧや筆記具Ｐを答案用紙Ｄ３から遠ざければ、注意コメントの画像ＩＭ８の投影は停止される。したがって、必要のないときの情報の投影を回避することができ、過度な情報投影によりユーザが煩わしさを感じることが解消される。
【００９９】
以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【０１００】
なお、以上の説明に関して更に以下の付記を開示する。
（付記１）撮像装置により撮像された対象物の画像情報に含まれる少なくとも一部の情報を投影する情報投影方法において、前記対象物に対する指示体の離間度に基づき、前記情報を投影するか否かを決定する、処理を含むことを特徴とする情報投影方法。
（付記２）前記撮像装置は、第１の撮像装置と第２の撮像装置を備え、前記第１の撮像装置及び前記第２の撮像装置によって其々取得された第１の撮像画像及び第２の撮像画像に基づき、前記第１の撮像画像及び前記第２の撮像画像の双方に映り込んだ前記指示体の、前記対象物に対する離間度を算出する、処理をさらに含むことを特徴とする付記１に記載の情報投影方法。
（付記３）前記情報は、前記画像情報に含まれる情報のうち、前記対象物に対する前記指示体の位置に応じた情報である、ことを特徴とする付記１又は２に記載の情報投影方法。
（付記４）前記離間度は、前記対象物から前記指示体までの距離である、ことを特徴とする付記１から３のいずれか１項に記載の情報投影方法。
（付記５）前記情報を投影する場合、前記情報を、前記対象物上又は前記対象物を載置する載置台上に投影する、ことを特徴とする付記１から４のいずれか１項に記載の情報投影方法。
（付記６）前記対象物が記入可能な物であるときに前記情報を投影する場合に、前記記入可能な物の記入例を前記情報として、前記対象物上又は前記対象物を載置する載置台上に投影する、ことを特徴とする付記１から５のいずれか１項に記載の情報投影方法。
（付記７）前記情報を投影する場合、前記情報を、該情報の向きを変えて前記対象物上又は前記対象物を載置する載置台上に投影する、ことを特徴とする付記１から５のいずれか１項に記載の情報投影方法。
（付記８）前記対象物が添削された答案用紙であるときに前記情報を投影する場合、前記答案用紙に記載された内容の一部を前記情報として、前記対象物上又は前記対象物を載置する載置台上に投影する、ことを特徴とする付記１から５のいずれか１項に記載の情報投影方法。
（付記９）撮像装置により撮像された対象物の画像情報に含まれる少なくとも一部の情報を投影する情報投影方法において、前記対象物に対する指示体の離間度に基づき、前記情報を投影するか否かを決定する、処理をコンピュータに実行させることを特徴とする情報投影プログラム。
（付記１０）撮像装置により撮像された対象物の画像情報に含まれる少なくとも一部の情報を投影させる情報処理装置において、前記対象物に対する指示体の離間度に基づき、前記情報を投影するか否かを決定する決定手段、を備えることを特徴とする情報処理装置。
（付記１１）前記撮像装置は、第１の撮像装置と第２の撮像装置を備え、前記第１の撮像装置及び前記第２の撮像装置によって其々取得された第１の撮像画像及び第２の撮像画像に基づき、前記第１の撮像画像及び前記第２の撮像画像の双方に映り込んだ前記指示体の、前記対象物に対する離間度を算出する算出手段をさらに備えることを特徴とする付記１０に記載の情報処理装置。
（付記１２）前記情報は、前記画像情報に含まれる情報のうち、前記対象物に対する前記指示体の位置に応じた情報である、ことを特徴とする付記１０又は１１に記載の情報処理装置。
（付記１３）前記離間度は、前記対象物から前記指示体までの距離である、ことを特徴とする付記１０から１２のいずれか１項に記載の情報処理装置。
（付記１４）前記情報を投影する場合、前記情報を、前記対象物上又は前記対象物を載置する載置台上に投影する、ことを特徴とする付記１０から１３のいずれか１項に記載の情報処理装置。
（付記１５）前記対象物が記入可能な物であるときに前記情報を投影する場合に、前記記入可能な物の記入例を前記情報として、前記対象物上又は前記対象物を載置する載置台上に投影する、ことを特徴とする付記１０から１４のいずれか１項に記載の情報処理装置。
（付記１６）前記情報を投影する場合、前記情報を、該情報の向きを変えて前記対象物上又は前記対象物を載置する載置台上に投影する、ことを特徴とする付記１０から１４のいずれか１項に記載の情報処理装置。
（付記１７）前記対象物が添削された答案用紙であるときに前記情報を投影する場合、前記答案用紙に記載された内容の一部を前記情報として、前記対象物上又は前記対象物を載置する載置台上に投影する、ことを特徴とする付記１０から１４のいずれか１項に記載の情報処理装置。
【符号の説明】
【０１０１】
Ｓ  情報投影システム
１００  投影部
２００  第１撮像部
３００  第２撮像部
４００，５００，６００  情報処理装置
４６０，５３０，６５０  離間度算出部
４７０，５４０，６６０  投影要否決定部
【図１】
2016071746.tif 000003
【図２】
2016071746.tif 000004
【図３】
2016071746.tif 000005
【図４】
2016071746.tif 000006
【図５】
2016071746.tif 000007
【図６】
2016071746.tif 000008
【図７】
2016071746.tif 000009
【図８】
2016071746.tif 000010
【図９】
2016071746.tif 000011
【図１０】
2016071746.tif 000012
【図１１】
2016071746.tif 000013
【図１２】
2016071746.tif 000014
【図１３】
2016071746.tif 000015
【図１４】
2016071746.tif 000016
【図１５】
2016071746.tif 000017
【図１６】
2016071746.tif 000018
【図１７】
2016071746.tif 000019
【図１８】
2016071746.tif 000020
【図１９】
2016071746.tif 000021
【図２０】
2016071746.tif 000022
【図２１】
2016071746.tif 000023
【図２２】
2016071746.tif 000024
【図２３】
2016071746.tif 000025
【図２４】
2016071746.tif 000026
【図２５】
2016071746.tif 000027
【図２６】
2016071746.tif 000028
【図２７】
2016071746.tif 000029
【図２８】
2016071746.tif 000030
【図２９】
2016071746.tif 000031
【図３０】
2016071746.tif 000032