(57)【要約】      （修正有）【課題】投影された画像データに対する操作を行ったユーザを特定可能な証跡を残す。【解決手段】カメラと赤外線センサとプロジェクタと通信可能に接続される投影システムにおいて、情報処理装置１０１は投影面に入ってくる指示物体がどのユーザの物であるのかを特定する。そして特定された指示物体と投影画像とを含めて撮像する。得られる画像データにより、投影画像に対する操作を行ったユーザを特定可能な証跡を残す。【選択図】図５
2015097073.tif 000002
【特許請求の範囲】
【請求項１】
投影面に投影画像を投影する投影装置と、
前記投影面を撮像する撮像装置と、
前記投影面上のオブジェクトの位置を検出する位置検出装置と、
通信可能に接続される情報処理装置であって、
前記投影面上の投影画像の所定領域を記憶する記憶手段と、
前記位置検出装置によって検出されたオブジェクトの位置が前記記憶手段で記憶する前記所定領域内か否かを判定する判定手段と、
前記判定手段で、前記オブジェクトが前記記憶手段で記憶された前記所定領域内であると判定された場合に、前記撮像装置に撮像を指示する撮像制御手段と、
前記撮像装置から取得した画像データであって、少なくとも前記オブジェクトを含む画像データを保存する画像データ保存手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記画像データ保存手段は、前記画像データと前記投影装置によって投影面に投影された投影画像とを対応付けて保存することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記判定手段は、前記投影装置で投影している投影画像の向きが、所定の向きであるか否かを更に判定し、
前記撮像制御手段は、前記判定手段で前記投影画像の向きが所定の向きであると判定された場合に、前記撮像装置に撮像を指示することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記所定の向きは、前記投影装置で投影している投影画像を用いて説明を受けるユーザに相対する向きであることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記判定手段は、更に前記オブジェクトが所定のユーザのオブジェクトであるか否かを判定し、
前記撮像制御手段は、更に前記判定手段で前記オブジェクトが所定のユーザのオブジェクトであると判定された場合に、前記撮像装置に撮像を指示することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
前記判定手段は、前記オブジェクトの投影面への進入方向により、所定のユーザのオブジェクトであるか否かを判定することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記判定手段は、前記位置検出装置によって検出されたオブジェクトの位置が、説明属性を持つ所定領域内であって、かつ当該オブジェクトが当該投影画像を用いて説明を行うユーザのオブジェクトであるか否かを更に判定し、
前記撮像制御手段は、前記判定手段で前記位置検出装置によって検出されたオブジェクトの位置が、説明属性を持つ所定領域内であって、かつ当該オブジェクトが当該投影画像を用いて説明を行うユーザのオブジェクトであると判定された場合に、前記撮像装置に撮像を指示することを特徴とする請求項５または６に記載の情報処理装置。
【請求項８】
前記判定手段は、前記位置検出装置によって検出されたオブジェクトの位置が、同意属性を持つ所定領域内であって、かつ当該オブジェクトが当該投影画像の内容に対して同意を行うユーザのオブジェクトであるか否かを更に判定し、
前記撮像制御手段は、前記判定手段で前記位置検出装置によって検出されたオブジェクトの位置が、同意属性を持つ所定領域内であって、かつ当該オブジェクトが当該投影画像の内容に対して同意を行うユーザのオブジェクトであると判定された場合に、前記撮像装置に撮像を指示することを特徴とする請求項５乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
前記情報処理装置は、
前記オブジェクトに対応するユーザを特定するユーザ特定手段を更に備え、
前記画像データ保存手段は、前記ユーザ特定手段で特定されたユーザと、前記画像データとを保存することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記画像データ保存手段は、前記画像データが前記撮像装置で撮像された日時と、前記画像データとを保存することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
【請求項１１】
投影面に投影画像を投影する投影装置と、
前記投影面を撮像する撮像装置と、
前記投影面上のオブジェクトの位置を検出する位置検出装置と通信可能に接続され、
前記投影面上の投影画像の所定領域を記憶する記憶手段を備える情報処理装置の制御方法であって、
前記情報処理装置の判定手段が、前記位置検出装置によって検出されたオブジェクトの位置が前記記憶手段で記憶する前記所定領域にあるか否かを判定する判定ステップと、
前記情報処理装置の撮像制御手段が、前記判定手段で、前記オブジェクトが前記記憶手段で記憶された前記所定領域内であると判定された場合に、前記撮像装置に撮像をさせる撮像指示ステップと、
前記情報処理装置の画像データ保存手段が、前記撮像装置から送信された画像データであって、少なくともオブジェクトを含む画像データを保存する画像データ保存ステップと
を備えることを特徴とする情報処理装置の制御方法。
【請求項１２】
投影面に投影画像を投影する投影装置と、
前記投影面を撮像する撮像装置と、
前記投影面上のオブジェクトの位置を検出する位置検出装置と通信可能に接続され、
前記投影面上の投影画像の所定領域を記憶する記憶手段を備える情報処理装置の制御方法を実行可能なプログラムであって、
前記情報処理装置を、
前記位置検出装置によって検出されたオブジェクトの位置が前記記憶手段で記憶する前記所定領域にあるか否かを判定する判定手段と、
前記判定手段で、前記オブジェクトが前記記憶手段で記憶された前記所定領域内であると判定された場合に、前記撮像装置に撮像をさせる撮像制御手段と、
前記撮像装置から送信された画像データであって、少なくともオブジェクトを含む画像データを保存する画像データ保存手段
として機能させることを特徴とするプログラム。
【請求項１３】
投影面に投影画像を投影する投影装置と、
前記投影面を撮像する撮像装置と、
前記投影面上のオブジェクトの位置を検出する位置検出装置と、
情報処理装置とを含む投影システムであって、
前記情報処理装置は、
前記投影面上の投影画像の所定領域を記憶する記憶手段と、
前記位置検出装置によって検出されたオブジェクトの位置が前記記憶手段で記憶する前記所定領域にあるか否かを判定する判定手段と、
前記判定手段で、前記オブジェクトが前記記憶手段で記憶された前記所定領域内であると判定された場合に、前記撮像装置に撮像をさせる撮像制御手段と、
前記撮像装置から送信された画像データであって、少なくともオブジェクトを含む画像データを保存する画像データ保存手段と
を備えることを特徴とする投影システム。
【請求項１４】
投影面に投影画像を投影する投影装置と、
前記投影面を撮像する撮像装置と、
前記投影面上のオブジェクトの位置を検出する位置検出装置と、
前記投影面上の投影画像の所定領域を記憶する記憶手段を備える情報処理装置とを含む投影システムの制御方法であって、
前記情報処理装置の判定手段が、前記位置検出装置によって検出されたオブジェクトの位置が前記記憶手段で記憶する前記所定領域にあるか否かを判定する判定ステップと、
前記情報処理装置の撮像制御手段が、前記判定手段で、前記オブジェクトが前記記憶手段で記憶された前記所定領域内であると判定された場合に、前記撮像装置に撮像をさせる撮像制御ステップと、
前記情報処理装置の画像データ保存手段が、前記撮像装置から送信された画像データであって、少なくともオブジェクトを含む画像データを保存する画像データ保存ステップと
を備えることを特徴とする投影システムの制御方法。
【請求項１５】
投影面に投影画像を投影する投影装置と、
前記投影面を撮像する撮像装置と、
前記投影面上のオブジェクトの位置を検出する位置検出装置と、
前記投影面上の投影画像の所定領域を記憶する記憶手段を備える情報処理装置とを含む投影システムの制御方法を実行可能なプログラムであって、
前記情報処理装置を、
前記位置検出装置によって検出されたオブジェクトの位置が前記記憶手段で記憶する前記所定領域にあるか否かを判定する判定手段と、
前記判定手段で、前記オブジェクトが前記記憶手段で記憶された前記所定領域内であると判定された場合に、前記撮像装置に撮像をさせる撮像制御手段と、
前記撮像装置から送信された画像データであって、少なくともオブジェクトを含む画像データを保存する画像データ保存手段
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影された画像データに対する操作を行ったユーザを特定可能な証跡を残すことの可能な情報処理装置、その制御方法、及びプログラム、並びに、投影システム、その制御方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、金融商品などの販売や説明を行うとき、金融商品の説明を行う者（以後、テラー）は顧客に対し金融商品のカタログなどの紙媒体で説明を行っていた。紙媒体のカタログでは、テラーが顧客ごとの説明記録を残すことはあっても、いつ、どの部分を説明したという客観的な証跡記録を残すことはできなかった。
【０００３】
そのため、紙媒体で、仮にテラーが説明すべきところを説明し忘れてしまった部分があった場合、その部分について顧客は認識することができない。たとえ、顧客が署名捺印をしたとしても、説明義務のある場所すべての説明を受けたということではなく、テラーから一通りの説明を受けたということを担保することしかできず、実質形骸化していた。
【０００４】
このような状況の中、紙媒体では客観的な履歴を残すことができないため、顧客が金融商品の説明をされていないと主張した場合に「説明した、説明していない」といった水掛け論に陥ってしまう。これを避けるため、法律に定められる説明責任を金融機関側が担保できる方法が求められていた。
【０００５】
そこで、テラーが説明を行ったことを証明する方法として、下記の特許文献１で、テラーが説明をする際に使う窓口端末装置でのログを記録することで顧客に対し説明を行った証跡とする仕組みが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１２２７９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１の仕組みを用いることによって、テラーが説明したか否かを証跡として記録することができる。しかしながら、証跡として残すべきものは、これだけではない。説明義務のある箇所をすべて説明したか否かに加えて、署名や捺印を顧客が行ったのか否かも証跡として残す必要がある。
【０００８】
一般的に契約においては、当事者の同意が必要である。そのため、同意の意思を示す署名や捺印は、当事者である顧客自身が行わなければならないが、テラーが顧客に代わって、勝手に署名や捺印をしてしまう問題がある。
【０００９】
特に、図４に示すような投影システム１００は、投影面１０６に対して、説明資料や契約書といったデータをプロジェクタから投影し、投影された投影画像に対するタッチ操作を赤外線センサで検知することが可能な仕組みである。つまり、テラーと顧客とが投影画像に対して直接操作を行うことができるため、前述したように、テラーが顧客に代わって容易に操作できてしまう問題がある。すなわち、誰が操作をしたのかも証跡として残しておく必要がある。
【００１０】
しかしながら、前述した特許文献１では、ＰＣで金融商品の説明資料を表示し、これらの画面の遷移を記録することで、テラーが説明義務を果たしたか否かを記録しているだけである。つまり、誰が操作を行ったのかまでは記録していない。
【００１１】
そこで、本発明は、投影された画像データに対する操作を行ったユーザを特定可能な証跡を残すことを目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために、本発明の情報処理装置は、画像を投影する投影装置と、前記投影装置により投影される投影画像を撮像する撮像装置と、ユーザを特定可能なオブジェクトであって、前記投影画像上にあるオブジェクトの位置を検出する位置検出装置と、通信可能に接続される情報処理装置であって、撮像指示を行う位置を記憶しておく記憶手段と、前記位置検出装置によって検出されたオブジェクトの位置が前記記憶手段で記憶された位置にあるか否かを判定する第１の判定手段と、前記第１の判定手段で、前記オブジェクトの位置が前記記憶手段で記憶された位置にあると判定された場合に、前記撮像装置に撮像を指示する撮像指示手段と、前記撮像装置から送信された画像データであって、少なくともオブジェクトを含む画像データを保存する画像データ保存手段と、を備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、投影された画像データに対する操作を行ったユーザを特定可能な証跡を残すことのできる効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】投影システム１００の一例を示す構成図である。
【図２】投影システム１００のハードウェア構成の一例を示す構成図である。
【図３】情報処理装置１０１のモジュール構成の一例を示す構成図である。
【図４】投影システム１００の一例を示す構成図である。
【図５】本発明の実施形態における一連の処理の流れの一例を示す構成図である。
【図６】証跡記録アプリケーションを起動した後に表示されるＩＤ入力を受け付ける画面の一例を示す画面例である。
【図７】情報処理装置１０１に記憶されたテラーＩＤテーブル７００の構成の一例を示す構成図である。
【図８】情報処理装置１０１に記憶された顧客ＩＤテーブル８００の構成の一例を示す構成図である。
【図９】図５に示す投影処理の詳細を示すフローチャートである。
【図１０】図９で投影処理を行った場合の一例を示す模式図である。
【図１１】図５に示すタッチ判定処理の詳細を示すフローチャートである。
【図１２】情報処理装置１０１に記憶された撮像領域情報テーブル１２００の構成の一例を示す構成図である。
【図１３】テラー１００１が投影画像を顧客１００２向きで概要説明部分１００４をタッチしている場合の一例を示す模式図である。
【図１４】顧客１００２が投影画像を顧客１００２向きで概要説明部分１００４をタッチしている場合の一例を示す模式図である。
【図１５】テラー１００１が投影画像をテラー１００１向きで概要説明部分１００４をタッチしている場合の一例を示す模式図である。
【図１６】顧客１００２が投影画像を顧客１００２向きで署名欄１００７に署名を行っている場合の一例を示す模式図である。
【図１７】テラー１００１が投影画像をテラー１００１向きで署名欄１００７に署名を行っている場合の一例を示す模式図である。
【図１８】テラー１００１が投影画像を顧客１００２向きで署名欄１００７に署名を行っている場合の一例を示す模式図である。
【図１９】情報処理装置１０１に記憶された証跡保存テーブル１９００の構成の一例を示す構成図である。
【図２０】図５に示す紙文書取り込み処理の詳細を示すフローチャートである。
【図２１】顧客の住民票２１０２を撮像し画像データとして取り込む場合の一例を示す模式図である。
【図２２】カメラ１０２に対して撮像指示を行う条件を示す条件テーブル２２００の構成の一例を示す構成図である。
【図２３】投影中の投影文書と当該投影文書の回転フラグを格納する投影テーブル２３００の構成の一例を示す構成図である。
【図２４】第２の実施例における投影処理の一連の処理の流れの一例を示す構成図である。
【図２５】第２の実施例におけるタッチ判定処理の一連の流れの一例を示す構成図である。
【図２６】第３の実施例における投影システム１００のハードウェア構成の一例を示す構成図である。
【図２７】第３の実施例におけるタッチ判定処理の一連の流れの一例を示す構成図である。
【図２８】第３の実施例における紙文書取り込み処理の一連の流れの一例を示す構成図である。
【図２９】第３の実施例における撮像のシーンによって撮像音を切り替えるためのシーンごとに撮像音を格納している撮像音データテーブル２９００である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【００１６】
図１は、本発明の投影システム１００のシステム構成の一例を示す図である。本発明の投影システム１００は、情報処理装置１０１、カメラ１０２、赤外線センサ１０３、プロジェクタ１０４、プリンタ１０７が設置されており、情報処理装置１０１、カメラ１０２、赤外線センサ１０３、プロジェクタ１０４、プリンタ１０７はＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）やＶＧＡ端子等を介して相互にデータ通信可能に接続されている。図１に示す投影システム１００を立体的に示したものが、図４である。このように、カメラ１０２、赤外線センサ１０３、プロジェクタ１０４を含むものを机上に設置する。なお、本実施形態では有線接続を前提として説明を行うが、無線接続でもよい。図１の各種端末の構成は一例であり、用途や目的に応じて様々な構成例がある。
【００１７】
投影システム１００は、投影面１０６に投影された映像に対してユーザが所定の指示を行うことの可能なシステムである。例えば、投影面１０６に投影されたボタンをユーザがタッチすることで、所定の処理を実行したり、紙文書を投影面１０６に置くことで当該紙文書の画像データを生成し、生成した画像データを投影面１０６に投影したりできる。このようなシステムを用いることで、複数のユーザが投影面１０６に投影された１つの映像を見ることになるので、スムーズな情報共有を行うことができ、かつ当該投影された映像に対して複数のユーザが直接操作を行うことができる。タッチパネルを備えるタブレット端末でも同様の効果を得ることができるが、ディスプレイが小さいため複数のユーザで同時に閲覧しにくい問題がある。そこで、机のような投影面１０６に対して映像を投影し、この投影した映像を直接操作できるようにすることで、この問題点を解決している。以下、このシステムを構成する機器の説明を行う。
【００１８】
情報処理装置１０１は、パーソナルコンピュータやサーバのような装置である。情報処理装置１０１は、前述した通り、カメラ１０２、赤外線センサ１０３、プロジェクタ１０４と接続されており、これらの機器と情報のやり取りを行うことができる。情報処理装置１０１は、投影システム１００を制御する装置であるので、情報処理装置１０１に記憶されている各種データの投影をプロジェクタ１０４に対して指示したり、カメラ１０２に対して撮影を指示することで画像データを得たり、赤外線センサ１０３から得た情報を解析したりすることができる。例えば、情報処理装置１０１は、赤外線センサ１０３から得た情報を基にカメラ１０２へ撮像指示を出し、カメラ１０２から得た画像データを情報処理装置１０１のＲＡＭ２０３に保存し、ＲＡＭ２０３に保存された画像データをプロジェクタ１０４へ送信する。また、情報処理装置１０１は、赤外線センサ１０３から得たユーザの手や紙文書等といった現実の物体（以下、オブジェクト）の情報やオブジェクトの動作の情報などを基に、情報処理装置１０１は、プロジェクタ１０４から投影面１０６に投影する画像を拡大、縮小したり非表示にしたりなどの処理を行う。これらの処理を、情報処理装置１０１にインストールされた証跡記録アプリケーションによって動作させる。証跡記録アプリケーションは、前述した各種装置との情報の送受信や、ユーザからの指示受付等を行うためのアプリケーションである。この証跡記録アプリケーションを動作させることにより、本実施形態の一連の処理を実現する。
【００１９】
カメラ１０２（撮像装置）は、動画像や静止画像を撮像可能なデジタルカメラであり、情報処理装置１０１から撮像指示を受け、カメラ１０２の撮像範囲を撮像する。撮像で得られた画像データは、情報処理装置１０１へ送信される。
【００２０】
赤外線センサ１０３（位置検出装置）は、たとえば赤外光領域を撮影可能な赤外線センサであり、投影面１０６から赤外線が反射される情報を取得し、赤外線の電気信号（以下、赤外線情報）を情報処理装置１０１に送信する。情報処理装置１０１では、受信した情報に基づいて、オブジェクトの形や動き、位置などを特定する。本実施形態においては、赤外線センサを用いるものとするが、オブジェクトの形や動き、位置などを特定できるのであれば、センサの種類は特に問わない。
【００２１】
プロジェクタ１０４（投影装置）は、情報処理装置１０１から送られる各種データを投影する装置である。プロジェクタ１０４は、反射鏡１０５に向けて設置されており、情報処理装置１０１から投影の指示を受け付けると、反射鏡１０５に向けて投影し、反射鏡１０５の反射を経て、投影面１０６へ投影する。
【００２２】
プリンタ１０７は、情報処理装置１０１から送られる印刷ジョブに基づいて、印刷をする装置である。
【００２３】
図２は、本発明の実施形態における各種端末のハードウェア構成を示す図である。
【００２４】
ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。
【００２５】
また、ＲＯＭ２０２あるいは外部メモリ２１１（記憶手段）には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。
【００２６】
ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。
【００２７】
また、入力コントローラ（入力Ｃ）２０５は、キーボードや不図示のマウス等のポインティングデバイス等の入力デバイス２０９からの入力を制御する。また、カメラ１０２や赤外線センサ１０３とも接続されており、これらの装置から送信される画像データや赤外線情報の入力も制御する。
【００２８】
ビデオコントローラ（ＶＣ）２０６は、ディスプレイ２１０等の表示器への表示を制御する。表示器の種類はＣＲＴや、液晶ディスプレイを想定するが、これに限らない。また、プロジェクタ１０４とも接続されており、プロジェクタ１０４に対する投影も制御する。
【００２９】
メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。
【００３０】
通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。通信Ｉ／ＦＣ２０８は、インターネット通信等により、プリンタ１０７とも接続されている。通信Ｉ／ＦＣ２０８を経由して、ＣＰＵ２０１からプリンタ１０７に対して印刷指示がなされる。
【００３１】
尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００３２】
本発明の情報処理装置１０１が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２１１に格納されている。
【００３３】
次に、情報処理装置１０１のモジュール構成を示す機能構成図について、図３を用いて説明する。なお、図３の装置のモジュール構成は一例であり、用途や目的に応じて様々な構成例がある。
【００３４】
情報処理装置１０１は、前述した通り、証跡記録アプリケーションを備える。証跡記録アプリケーションは、入力受付部３０１、表示指示部３０２、画像保存部３０３、オブジェクト検知部３０４、撮影指示部３０５、ＯＣＲ処理部３０６、操作判定部３０７、表示制御部３０８を備える。
【００３５】
入力受付部３０１は、赤外線センサ１０３から送信される赤外線情報を受け付ける。受け付けた赤外線情報はオブジェクト検知部３０４に送られる。また、カメラ１０２から送信される動画像や静止画像を画像データとして受け付ける。受け付けた画像データは画像保存部３０３に送られる。
【００３６】
表示指示部３０２は、情報処理装置１０１のＲＡＭ２０３や外部メモリ２１１に保存されたＰＤＦデータや画像データなどを表示制御部３０８が制御した結果を、プロジェクタ１０４へ送信する。
【００３７】
画像保存部３０３は、入力受付部３０１から送られた画像データを、オブジェクト検知部３０４で検知された情報に基づいて、紙文書等のオブジェクトに相当する領域を切り取り、切り取った画像データをＲＡＭ２０３や外部メモリ２１１に保存する。また、画像保存部３０３は、保存した画像データを表示指示部３０２へ送信する。
【００３８】
オブジェクト検知部３０４は、入力受付部３０１で受け付けた赤外線情報などを基に投影面１０６の上にあるオブジェクトの種類を検知する。たとえば、投影面１０６の上にあるオブジェクトがユーザの指なのか、紙文書なのかを検知する。また、オブジェクトの進入方向も検知できる。
【００３９】
撮影指示部３０５は、操作判定部３０７でユーザの撮影指示がなされたと判定された場合に、カメラ１０２に対して撮影指示を行う。また、ユーザの証跡を残す操作がなされたと操作判定部３０７で判定された場合にもカメラ１０２に対して撮影指示を行う。
【００４０】
ＯＣＲ処理部３０６は、ＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）などの技術を用いて、情報処理装置１０１のＲＡＭ２０３や外部メモリ２１１に保存された画像データの文字領域を検出し、画像データの中のそれぞれの文字が何の文字なのかを特定する。
【００４１】
操作判定部３０７は、オブジェクト検知部３０４で検知されたオブジェクトの現実空間上の位置やジェスチャを判定する。また、現実空間上の位置やジェスチャに対応づけられた処理を判定する。たとえば、投影されている画像データに対する制御内容の判定や、投影面１０６に置かれたオブジェクトの撮影指示の判定等を行う。
【００４２】
表示制御部３０８は、操作判定部で判定された結果に応じて、投影面１０６に投影されている画像データの拡大／縮小、表示／非表示、移動などを実行する。たとえば、拡大／縮小したい画像データの上でのピンチイン／ピンチアウトのジェスチャを操作判定部３０７が判定した場合に、表示制御部３０８は画像データの拡大／縮小処理を行う。
【００４３】
画像変換部３０９は、撮影指示部３０５で撮影指示をし取得した画像データをＴＩＦＦ形式に変換することができる。画像の変換形式はＴＩＦＦ形式だけではなく、さまざまな形式に変換することができる。
【００４４】
次に、本発明の実施形態における情報処理装置１０１によって行われる一連の処理について、図５に示すフローチャートを用いて説明する。
【００４５】
ステップＳ５０１では、情報処理装置１０１のＣＰＵ２０１は、顧客（説明を受けるユーザ・同意を行うユーザ）に対して金融商品などの説明を行うユーザ（以後、テラーと呼ぶ）からの指示に応じて、外部メモリ２１１に記憶された証跡記録アプリケーションを起動する。なお、証跡記録アプリケーションは、銀行の窓口などで行われる金融商品などの説明を想定し、それら一連の流れの証跡を記録するアプリケーションである。
【００４６】
ステップＳ５０２では、情報処理装置１０１のＣＰＵ２０１は、ディスプレイ２１０の画面上にテラーＩＤと顧客ＩＤを入力させるＩＤ入力受付画面を表示させる。たとえば図６に示すＩＤ入力受付画面６０１のような画面である。ＩＤ入力受付画面６０１のテラーＩＤ入力欄６０２はテラーのＩＤが入力される欄である。顧客ＩＤ入力欄６０３は顧客のＩＤが入力される欄である。テラーＩＤは図７のテラーＩＤ管理テーブル７００で管理しており、テラーＩＤとテラーの氏名などの情報が紐づけられている。テラーＩＤ管理テーブル７００にはテラーＩＤ７０１とテラー氏名７０２があり、テラーＩＤ７０１はテラーを一意的に決めるためのＩＤであり、テラー氏名７０２は、テラーの氏名を表すものである。顧客ＩＤは図８の顧客ＩＤテーブル８００で管理しており、顧客ＩＤと顧客の氏名などの情報が紐づけられている。顧客ＩＤテーブル８００には顧客ＩＤ８０１と顧客氏名８０２があり、顧客ＩＤ８０１は顧客を一意的に決めるためのＩＤであり、顧客氏名８０２は顧客の氏名を表すものである。
ステップＳ５０３では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０２において表示されたＩＤ入力受付画面６０１において、テラーと顧客のＩＤの入力を受け付ける。ＯＫボタン６０４が押下されると次のステップＳ５０４へ移行する。キャンセルボタン６０５が押下されると証跡記録アプリケーションの起動を終了し、本一連の処理を終了する
【００４７】
ステップＳ５０４では、情報処理装置１０１のＣＰＵ２０１は、文書データや画像データをプロジェクタ１０４から投影面１０６に投影するために、テラーからの投影指示を受け付ける。具体的には、テラーから、投影する文書データや画像データの選択を受け付ける。たとえば金融商品を説明するためのＰＤＦデータである。文書のファイル形式はＰＤＦ形式以外でも構わない。
【００４８】
ステップＳ５０５では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０４で受け付けたテラーからの投影指示に応じて、プロジェクタ１０４に対してテラーから選択されたＰＤＦデータを投影させる投影指示を行う。投影指示処理の詳細は、図９で後述する。
【００４９】
ステップＳ５０６では、情報処理装置１０１のＣＰＵ２０１は、赤外線センサ１０３から投影面１０６に対して照射され跳ね返ってくる赤外線の情報（以降、赤外線情報とする）を赤外線センサ１０３から受信する。投影面１０６から赤外線のはね返りがない部分を物体があると認識する。
【００５０】
ステップＳ５０７では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０６で受信した赤外線情報を基にオブジェクトを検知したか否かを判定する。ここでいうオブジェクトは例えばユーザの指や紙文書などを指す。オブジェクトを検知した場合にはステップＳ５０８に処理を進める。オブジェクトを検知しなかった場合にはステップＳ５１２へ処理を進める。
【００５１】
ステップＳ５０８では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０７で検知したオブジェクトが指なのか、紙文書なのかを特定する。より具体的には赤外線センサ１０３で受信した赤外線情報からオブジェクトの種類を特定する。たとえば、オブジェクトの形が球状のものから棒状のものが突き出ている形であることを認識した場合に突き出た部分を指であると特定する。また赤外線センサ１０３で受信した赤外線情報で判定したオブジェクトの形が、矩形であると認識した場合にはオブジェクトは紙文書であると特定する。
【００５２】
ステップＳ５０９では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０８で判定したオブジェクトの種類によって、検知したオブジェクトが証跡を残すものであるかを判定する。たとえば、オブジェクトが指であると判定した場合は、証跡を残すものであると判定し、ステップＳ５１０のタッチ判定処理へ移行する。オブジェクトが紙文書であると判定した場合は、証跡を残さないものであると判定しステップＳ５１１の紙文書取り込み処理へ移行する。投影システム１００を利用するユーザ（テラーまたは顧客）が投影面１０６に対してどのような操作を行ったのかを証跡として記録したいので、このような判定を行っている。
【００５３】
ステップＳ５１０では、情報処理装置１０１のＣＰＵ２０１は、投影された文書データまたは画像データ（以下、投影画像）に指がタッチしているかを判定し、タッチされていると判定された場合には、投影画像の上で指をタッチしている画像データを撮像することで証跡を残す。タッチ判定処理の詳細は後の図１９で詳しく説明する。
【００５４】
ステップＳ５１１では、情報処理装置１０１のＣＰＵ２０１は、投影面１０６上に置かれた紙文書を撮像し、画像データとして取り込みを行う。より具体的には、顧客が持ってきた住民票や戸籍謄本など、金融商品の契約などで必要となる書類を撮像する。紙文書取り込み処理の詳細は後の図２０で詳しく説明する。
【００５５】
ステップＳ５１２では、情報処理装置１０１のＣＰＵ２０１は、ユーザから投影の終了指示があったか否かを判定する。投影の終了指示をユーザから受け付けた場合には、投影を終了させる。投影の終了を受け付けたと判定されなかった場合には、ステップＳ５０６へ処理を戻す。
【００５６】
ステップＳ５１３では、情報処理装置１０１のＣＰＵ２０１は、ユーザからの指示に応じてアプリケーションの終了処理を行う。
【００５７】
次に、前述したステップＳ５０５における投影処理について、図９を用いて説明する。
【００５８】
ステップＳ９０１では、情報処理装置１０１のＣＰＵ２０１は、前述したステップＳ５０４においてテラーから投影の指示があったかどうかを判定し、指示がなければ投影処理を終了する。投影の指示を受け付けた場合は、ステップＳ９０２へ処理を進める。
【００５９】
ステップＳ９０２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０４でテラーから投影の指示のあった文書データまたは画像データ（ここでは、例えばＰＤＦデータ）を取得し、ＲＡＭ２０３に記憶する。ＰＤＦデータを取得したあと、ステップＳ９０３へと処理を進める。
【００６０】
ステップＳ９０３では、情報処理装置１０１のＣＰＵ２０１は、ＲＡＭ２０３に取得したＰＤＦデータの投影指示をプロジェクタ１０４に対して行う。
【００６１】
ステップＳ９０４では、プロジェクタ１０４は、情報処理装置１０１から投影指示を受け取る。
【００６２】
ステップＳ９０５では、プロジェクタ１０４は、ステップＳ９０４で受け取った指示により、投影を指示された文書データまたは画像データを投影面１０６に投影する。ステップＳ９０５で投影された結果の投影面１０６の例が、図１０である。テラー１００１は、たとえば顧客に対して金融商品などの説明をする人物であり、証跡記録アプリケーションの起動や、顧客１００２に対する商品説明などを行う。投影面１０６上の申込書１００３には、概要説明部分１００４と詳細説明部分１００５と個人情報説明部分１００６と署名欄１００７がある。テラー１００１は、顧客１００２に対して申込書１００３に関する商品説明を行う際に、概要説明部分１００４と詳細説明部分１００５と個人情報説明部分１００６に対する説明を、指などを用いて行っていく。顧客１００２は、テラー１００１からの説明を受けたのち、署名欄１００７に署名を記入する。回転ボタン１００８は、テラーの指などが回転ボタン１００８にタッチされた場合に投影されている文書データや画像データを１８０度回転させるときに使うものである。図１０において回転ボタン１００８が押下されると、投影面１０６上の申込書１００３が１８０度回転することになる。つまり、顧客１００２の方を向いている申込書１００３が、テラー１００１の方を向くことになる。回転ボタン１００８は、物理的なボタンであっても、投影されたボタン画像であってもよい。以上で投影処理の説明を終わる。
【００６３】
次に、ステップＳ５１０におけるタッチ判定処理について、図１１を用いて説明する。
【００６４】
ステップＳ１１０１では、情報処理装置１０１のＣＰＵ２０１は、投影面１０６に投影されている投影画像の基となる投影元文書の特定を行う。投影元文書は、前述したステップＳ５０４で選択された文書データまたは画像データであるので、これに基づいて特定する。ここでは、投影画像のファイル名や保存場所、更には投影している投影元文書のページ番号を特定する。特定を行ったら、ステップＳ１１０２へと処理を移行する。
【００６５】
ステップＳ１１０２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ１１０１で特定された投影画像に対応する撮像領域情報を取得する。撮像領域情報とは、投影画像に含まれる所定の領域ごとに存在する情報であり、図１２に示す撮像領域情報テーブル１２００に記憶された各レコードを指す。より具体的には、領域ＩＤ１２０１、名称１２０２、保存場所１２０３、ｐａｇｅ１２０４、撮像位置領域１２０５（所定領域）、属性１２０６のことを指す。
【００６６】
撮像領域情報テーブル１２００は、情報処理装置１０１の外部メモリ２１１に記憶されたテーブルである。撮像領域情報テーブル１２００は、領域ＩＤ１２０１、名称１２０２、保存場所１２０３、ｐａｇｅ１２０４、撮像位置領域１２０５、属性１２０６から構成される。領域ＩＤ１２０１ではそれぞれ証跡を保存する領域に番号などの領域ＩＤ番号を記載している。名称１２０２では、証跡を保存する領域の具体的な名称を記載している。保存場所１２０３は、投影するＰＤＦデータを保存している場所を記載してある。ｐａｇｅ１２０４では、投影する書類のページ数を記載してある。撮像位置領域１２０５では、投影するＰＤＦデータ上の証跡を保存する位置情報を記載してある。カンマで区切られた左側のＸＹ座標は矩形の左上を示している。カンマで区切られた右側のＸＹ座標は矩形の右下を示している。この２点からなる矩形を撮像する領域としている。なお、撮像する領域は本実施例では矩形としているが、円状であっても帯状であっても構わない。属性１２０６では、証跡を保存する領域の属性（説明属性、同意属性）を記載してある。本実施例では説明、同意という属性があるが、それ以外であってもよい。
【００６７】
たとえば、図１０の申込書１００３の撮像領域情報を取得する場合には、ステップＳ１１０１で申込書１００３のファイル名や保存場所や投影しているページ番号が特定される。特定されたこれらの情報と、保存場所１２０３とに基づいて、必要なレコードを特定し、これを取得する。申込書１００３のファイル名が「Ａ．ｐｄｆ」、保存場所が「Ｄ：￥ｄｏｃｕｍｅｎｔ￥ｄａｔａ￥」、投影しているページ番号が「２」である場合には、図１２に示す領域ＩＤ１２０１が「１」〜「４」に該当する。よって、この４つのレコードを撮像領域情報として取得する。
【００６８】
ステップＳ１１０３では、情報処理装置１０１のＣＰＵ２０１は、赤外線センサ１０３から送られてくる赤外線情報を受信する。
【００６９】
ステップＳ１１０４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ１１０３で受信した赤外線情報に基づいて、投影面１０６上におけるユーザの手の位置を解析する。ユーザの手の位置の解析の方法は従来の技術を用いるものとし、赤外線センサ１０３が赤外線のはね返りを検知することができなかった形状を解析する。形状の解析により、ユーザの指がどの部分を指しているかを特定することが可能になる。
【００７０】
ステップＳ１１０５では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ１１０４で解析したユーザの手の位置などを基に、解析した手が誰の手なのかを特定する（ユーザ特定手段）。より具体的には、手の進入方向や手の向きなどから特定する。たとえば図１０では、回転ボタン１００８がある方向から手が入ってきた場合はテラーの手であると特定し、そうでない場合は顧客の手であると特定する。誰の手なのかを特定する方法はこれに限らない。ユーザの手にユーザを識別できる情報を付与しておき、これをカメラ１０２で撮像し、撮像された画像データを解析して特定してもよい。
【００７１】
ステップＳ１１０６では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ１１０２で取得した撮像領域情報に含まれる撮像位置領域１２０５を示す領域にユーザの手がタッチされたかどうかを判定する（判定手段）。ユーザの手が撮像位置領域１２０５にタッチされたと判定されれば、ステップＳ１１０７へ処理を移行する。ユーザの手が撮像位置領域１２０５にタッチされたと判定されなければ、タッチ判定処理を終了する。図１３は、テラーが撮像位置領域１２０５である概要説明部分１００４にタッチしている例の図である。テラーの手１３０１が概要説明部分１００４の上をタッチしていれば、テラーが概要説明部分１００４の説明を行っているということである。つまり、顧客に対して概要説明部分１００４の説明を行ったということの証明のために、証跡を取る必要がある。そのため、ステップＳ１１０６では、このように撮像位置領域１２０５を示す領域がタッチされていれば、ステップＳ１１０７に処理を進める。
【００７２】
ステップＳ１１０７では、情報処理装置１０１のＣＰＵ２０１は、タッチされた撮像位置領域１２０５を示す領域の属性が、テラーから顧客に対する説明義務のある領域（説明属性を持つ領域。以下、説明証跡領域）であるのか、顧客が契約等に同意の意思を示すための領域（同意属性を持つ領域。以下、同意証跡領域）であるのかを判定する。タッチされた撮像位置領域１２０５に対応する、ステップＳ１１０２で取得した撮像領域情報の中の属性１２０６によって、タッチされた撮像位置領域１２０５の証跡の属性を特定し、特定した属性に応じて判定すればよい。撮像位置領域１２０５を示す領域が説明証跡領域であると判定した場合には、ステップＳ１１０８に処理を進める。撮像位置領域１２０５を示す領域が同意証跡領域であると判定した場合には、ステップＳ１１１０に処理を進める。このようにタッチされた部分の領域の属性を判定することにより、タッチされた領域が示す属性に応じて撮像の条件を変更することが可能となる。
【００７３】
たとえば図１３の概要説明部分１００４の領域ＩＤ１２０１「１」に対応する属性１２０６は「説明」となっているので、概要説明部分１００４が説明証跡領域であると特定する。よって、ステップＳ１１０８へ処理を進める。
【００７４】
一方、たとえば図１６は、顧客１００２が署名欄１００７に顧客の手１６０２でサインを行っている図である。投影システム１００では、署名欄１００７のような所定の領域を指でタッチしたまま移動させると、その軌跡を描画することができるようになっている。赤外線センサ１０３から送信された赤外線情報に基づいて、情報処理装置１０１のＣＰＵ２０１が、ユーザの指が署名欄１００７のような所定の領域をタッチしていると判定すると、当該タッチが継続されている間、そのタッチの軌跡を線要素で表現する。このような仕組みを用いることで、投影面１０６に対してタッチすることにより、サインを行うことができるようになる。
【００７５】
このように、サインを行うべく、署名欄１００７にタッチがなされると、顧客の手であるか、テラーの手であるかを判定するステップＳ１１０８と、投影画像の向きを判定するステップＳ１１０９は行わずに、即時、ステップＳ１１１０へ移行する。同意証跡領域の場合、テラーが顧客の代わりに同意のサインを行ってしまう場合がある。すなわち、顧客は同意の意思を示していないにも関わらず、テラーが代わりにサインしてしまう場合である。このような場合も証跡を保存するようにしておけば、テラーの不正な行為を抑止することができると共に、たとえ争いになったとしても、顧客を守ることができる。たとえば図１７ではテラーが同意証跡領域である署名欄１００７にサインをしていて、投影画像の向きはテラー向きである。また、図１８の場合、同じくテラーがサインをしており、投影画像の向きは顧客向きである。このような場合であっても署名欄１００７に手がタッチされているのであれば、署名欄１００７は同意証跡領域であるので、ステップＳ１１１０へ移行する。
【００７６】
ステップＳ１１０８では、情報処理装置１０１のＣＰＵ２０１は、タッチされた手がテラーの手であるかどうかを判定する。ステップＳ１１０５で特定された手の人物がテラーであればステップＳ１１０９へ処理を進める。ステップＳ１１０５で特定された手の人物がテラーでなければタッチ判定処理を終了させる。たとえば、図１４は、テラー１００１が説明する説明証跡領域である概要説明部分１００４を顧客１００２がタッチしている図である。この場合には、テラー１００１によるタッチではないので証跡の保存は行わずにタッチ判定処理を終了させる。説明証跡領域は、テラーが顧客に説明したということが担保できればよい。顧客が説明証跡領域をタッチした場合も証跡を保存するようにしてしまうと、外部メモリ２１１などの容量を圧迫してしまう。そのため、テラーからタッチされた場合のみ、証跡を取るようにしている。
【００７７】
ステップＳ１１０９では、情報処理装置１０１のＣＰＵ２０１は、投影画像が顧客の方を向いている（説明を受けるユーザに相対する向き）のか、テラーの方を向いているのかを判定する。たとえば、テラーから選択された文書データまたは画像データが、顧客の方を向いて投影される場合、回転ボタン１００８が押下されていれば、投影画像がテラーの方を向いていることがわかる。一方、回転ボタン１００８が押下されていなければ、投影画像が顧客の方を向いていることがわかる。投影画像が顧客の方を向いていると判定された場合、ステップＳ１１１０へ処理を進める。投影画像が顧客の方を向いていると判定されなかった場合は、タッチ判定処理を終了させる。たとえば図１５は、投影画像が顧客ではなく、テラーの方を向いている。この状態でテラーが説明を行ったとしても、顧客は投影画像を読むことができないため、正常に説明したとは言えない。そのため、この場合は証跡の保存は行わずに、タッチ判定処理を終了させる。このように、説明証跡領域の場合には、テラーが説明証跡領域をタッチしており、かつ投影画像が顧客の方に向いている場合に、証跡が保存される。テラーが正しい方法で説明していないと、証跡が残らないので、説明したか否かを示す証拠となりうる。
【００７８】
ステップＳ１１１０では、情報処理装置１０１のＣＰＵ２０１は、カメラ１０２にデジタルな撮像音の無い撮像指示を行う（撮像制御手段）。本実施例では撮像音を無くすとしているが、聞こえないような音量の撮像音であっても構わない。また、カメラに対して撮像音のない撮像を指示しているが、カメラが撮像音を出す必要はなく情報処理装置１０１につながるスピーカのようなものが撮像音を出していてもよい。
【００７９】
ステップＳ１１１１では、カメラ１０２は、情報処理装置１０１から送信された撮像音の無い撮像指示を受信する。
【００８０】
ステップＳ１１１２では、カメラ１０２は、受信した撮像指示に従って、撮像音を出さない撮像を行う。ここでいう撮像音はデジタルな撮像音である。撮像音を出さないというのは、撮像音を出す撮像と撮像音を出さない撮像を切り替える場合や、撮像音自体の音量を少なくする場合がある。撮像音を出さない方法は上記に限定されない。デジタルな撮像音を出さないことで、顧客がいかにも証跡を取られているということを認識することを避けることができる。
【００８１】
ステップＳ１１１３では、カメラ１０２は、情報処理装置に対し、撮像した画像データを送信する。
【００８２】
ステップＳ１１１４では、情報処理装置１０１のＣＰＵ２０１は、カメラから送信された画像データを受信する。
【００８３】
ステップＳ１１１５では、情報処理装置１０１のＣＰＵ２０１は、受信した画像データを、証跡ＩＤ、撮像された年月日（日時）、顧客ＩＤやテラーＩＤ、領域ＩＤ、画像データをひとまとめにして証跡として顧客ごとに保存する（画像データ保存手段）。証跡として保存する例として図１９の証跡保存テーブル１９００がある。証跡ＩＤ欄１９０１では、証跡を一意に決めるためのＩＤ番号を格納する。年月日欄１９０２では、証跡を保存するために撮像がなされた年月日と時間を格納する。撮像されたユーザ欄１９０３では、ステップＳ１１０５で特定された、撮像されたユーザがテラーなのか顧客なのかという情報を格納する。撮像された顧客／テラーＩＤ欄１９０４では、ステップＳ５０３で入力されたテラーや顧客のＩＤを格納する。画像データ欄１９０５では、撮像した画像データを保存したフォルダの場所を示す情報を格納する。また、画像の保存形式については本実施例ではＴＩＦＦ形式を採っているが、ほかの形式でも構わない。このようにテーブル形式で顧客ごとに管理することで証跡の検索もしやすく、顧客と紛争になった際の有用なリソースとなりうるものとなる。投影文書に指を指している画像データが残るため、証跡として担保することが可能なデータを蓄積することが可能になる。
【００８４】
次に、紙文書取り込み処理について図２０を用いて説明を行う。
【００８５】
ステップＳ２００１では、情報処理装置１０１のＣＰＵ２０１は、赤外線センサ１０３から送られる赤外線情報を受信する。
【００８６】
ステップＳ２００２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２００１で受信した赤外線情報を解析し、紙文書の動きを解析する。
【００８７】
ステップＳ２００３では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２００２で解析した紙文書が撮像可能になったかを判定する。たとえばある一定の時間紙文書が動いていないと判定されたときに、撮像可能と判定する。撮像可能と判定された場合、ステップＳ２００４の処理へと移行する。なお、撮像可能の判定は、ユーザからの撮像の指示を受け付けてもよい。
【００８８】
ステップＳ２００４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２００３で紙文書が置かれて動きがある一定の時間なくなったと判定された時の、投影面１０６上に投影されている投影画像の位置や、状態を保存しておく処理を行う。たとえば図２１で表示されている表示メニュー２００３などがあり、これらの状態を保存しておく。保存処理が終わったらステップＳ２００５へと処理を移す。
【００８９】
ステップＳ２００５では、情報処理装置１０１のＣＰＵ２０１は、プロジェクタ１０４に対して投影しているものを消すよう、指示を行う。現在、投影面１０６上に投影しているものを投影しないように制御できればよい。これは、後述する処理で紙文書を取り込む際に、投影したものが写り込まないようにするためである。よって、置かれた紙文書の上に投影がされなければよく、それ以外の領域は何かしらの情報が投影されていてもよい。たとえば図２１の表示メニュー２００３の上に紙文書が置かれた場合、すべての投影を消してもよいし、紙文書と表示メニュー２００３が重なる部分の投影だけ消してもよい。
【００９０】
ステップＳ２００６では、プロジェクタ１０４は、情報処理装置１０１から指示された投影非表示指示を受信する。
【００９１】
ステップＳ２００７では、プロジェクタ１０４は、受信した投影非表示指示に従って、現在投影されているものを消す。
【００９２】
ステップＳ２００８では、情報処理装置１０１のＣＰＵ２０１は、デジタルな撮像音を伴う撮像の指示をカメラ１０２に対して行う。
【００９３】
ステップＳ２００９ではカメラ１０２は、情報処理装置１０１から送信された撮像音を伴う撮像の指示を受信する。
【００９４】
ステップＳ２０１０では、カメラ１０２は、受信した指示によりデジタルな撮像音を伴う撮像を行う。撮像音を伴う撮像を行うことで、顧客の住民票や戸籍謄本などの書類を画像データとして取り込んでいることを明確に認識させることができる。
【００９５】
ステップＳ２０１１では、カメラ１０２は、撮像によって得られた画像データを情報処理装置１０１へ送信する。
【００９６】
ステップＳ２０１２では、情報処理装置１０１のＣＰＵ２０１は、カメラ１０２から送信された画像データを受信する。
【００９７】
ステップＳ２０１３では、情報処理装置１０１のＣＰＵ２０１は、受信した画像データを、紙文書の取り込みデータとして保存する。
【００９８】
ステップＳ２０１４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２００４で保存した状態を読み出し、投影を終了する前の状態に戻すため、読み出した投影状態をプロジェクタ１０４に投影させ、投影を再開させる。
【００９９】
ステップＳ２０１５では、プロジェクタ１０４は、情報処理装置１０１からの投影表示指示を受信する。
【０１００】
ステップＳ２０１６では、プロジェクタ１０４に、受信した投影表示指示に基づいて、ステップＳ２００４で保存した状態を投影する。
【０１０１】
以上説明したように、本実施形態によれば、投影された画像データに対する操作を行ったユーザを特定可能な証跡を残すことのできる効果を奏する。
【０１０２】
次に本願発明の第２の実施例を説明する。第１の実施例では、タッチされた領域の属性が同意証跡であった場合には、タッチされた手が顧客かテラーかの判定と、投影文書の向きの判定をせずに撮像指示を行っていた。第２の実施例では、同意証跡の場合でも上記の判定をすることにより、顧客が同意証跡の領域に確かにサインをしたという証跡を残すことを可能にする。これにより、例えばテラーが顧客に対してサインの説明を行う際などの無駄な証跡を残さずに適切な証跡のみを残すことを可能にする。
【０１０３】
第２の実施例では、システム構成、ハードウェア構成、機能構成、画面例、テーブルは第１の実施例と同じであり、図９が図２４、図１１が図２５にそれぞれ変形したものである。
【０１０４】
第２の実施例の投影処理を図２４のフローチャートで説明する。
【０１０５】
ステップＳ２４０１では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０４でテラーから投影の指示のあった文書データまたは画像データ（投影文書）（ここでは、例えばＰＤＦデータ）を取得し、ＲＡＭ２０３に記憶する。投影テーブル２３００の投影文書２３０１にステップＳ５０４で選択を受け付けた投影文書の文書のファイル名を格納する。図２３に示す投影テーブル２３００には投影文書２３０１と回転フラグ２３０２とが格納されている。投影文書２３０１はステップＳ５０４で選択を受け付けた投影文書の文書のファイル名を格納する。回転フラグ２３０２は、投影文書の向きを示すフラグであり、回転フラグ２３０２が「０」の時は投影文書は顧客向きとし、「１」の時（フラグが立っている時）はテラー向きとして投影文書を投影するという指示を示している。ステップＳ２４０１でＰＤＦデータを取得したあと、ステップＳ２４０２へと処理を進める。
【０１０６】
ステップＳ２４０２では、情報処理装置１０１のＣＰＵ２０１は、投影テーブル２３００の回転フラグ２３０２が「１」か否か（立っているか否か）を判定する。回転フラグ２３０２が「１」と判定された場合は投影文書を回転させるべく処理をステップＳ２３０３に進める。回転フラグ２３０２が「１」でないと判定された場合は処理をステップＳ２３０４に進める。
【０１０７】
ステップＳ２４０３では、情報処理装置１０１のＣＰＵ２０１は、ＲＡＭ２０３に記憶した投影文書２３０１の向きを１８０度回転させる処理を行う。これにより、テラーの向きだった投影文書が顧客の向きになり、顧客の向きだった投影文書がテラーの向きになる。
【０１０８】
ステップＳ２４０４では、情報処理装置１０１のＣＰＵ２０１は、ＲＡＭ２０３に記憶したＰＤＦデータの投影指示をプロジェクタ１０４に対して行う。
【０１０９】
ステップＳ２４０５では、プロジェクタ１０４は、情報処理装置１０１から投影指示を受け取る。
【０１１０】
ステップＳ２４０６では、プロジェクタ１０４は、ステップＳ２４０３で受け取った指示により、投影を指示されたＰＤＦデータを投影面１０６に投影する。本処理の一連の流れにより投影された結果の投影面１０６の例が、図１０である。図１０の詳細な説明については、前述した通りである。以上で投影処理の説明を終わる。
【０１１１】
次に、ステップＳ５１０におけるタッチ判定処理について、本願発明の第２の実施例を図２６により説明する。
【０１１２】
ステップＳ２５０１では、情報処理装置１０１のＣＰＵ２０１は、投影面１０６に投影されている投影画像の基となる投影文書の特定を行う。投影文書は、前述したステップＳ５０４で選択された文書データまたは画像データであるので、これに基づいて特定する。ここでは、投影画像のファイル名や保存場所、更には投影している投影元文書のページ番号を特定する。特定を行ったら、ステップＳ２５０２へと処理を移行する。
【０１１３】
ステップＳ２５０２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２５０１で特定された投影画像に対応する撮像領域情報を取得する。撮像領域情報とは、投影画像に含まれる所定の領域ごとに存在する情報であり、図１２に示す撮像領域情報テーブル１２００に記憶された各レコードを指す。より具体的には、領域ＩＤ１２０１、名称１２０２、保存場所１２０３、ｐａｇｅ１２０４、撮像位置領域１２０５、属性１２０６のことを指す。
【０１１４】
撮像領域情報テーブル１２００の詳細な説明については、前述した通りである。
【０１１５】
たとえば、図１０の申込書１００３の撮像領域情報を取得する場合には、ステップＳ２５０１で申込書１００３のファイル名や保存場所や投影しているページ番号を特定する。特定されたこれらの情報と、保存場所１２０３とに基づいて、必要なレコードを特定し、これを取得する。申込書１００３のファイル名が「Ａ．ｐｄｆ」、保存場所が「Ｄ：￥ｄｏｃｕｍｅｎｔ￥ｄａｔａ￥」、投影しているページ番号が「２」である場合には、図１２に示す領域ＩＤ１２０１が「１」〜「４」に該当する。よって、この４つのレコードを撮像領域情報として取得する。
【０１１６】
ステップＳ２５０３では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０６で受信した赤外線情報に基づいて、投影面１０６上におけるユーザの手の位置を解析する。ユーザの手の位置の解析の方法は従来の技術を用いるものとし、赤外線センサ１０３が赤外線のはね返りを検知することができなかった形状を解析する。形状の解析により、ユーザの指がどの部分を指しているかを特定することが可能になる。
【０１１７】
ステップＳ２５０４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２５０３で解析したユーザの手の位置などを基に、解析した手が誰の手なのかを特定する（ユーザ特定手段）。より具体的には、手の進入方向や手の向きなどから特定する。たとえば図１０では、回転ボタン１００８がある方向から手が入ってきた場合はテラーの手であると特定し、そうでない場合は顧客の手であると特定する。誰の手なのかを特定する方法はこれに限らない。ユーザの手にユーザを識別できる情報を付与しておき、これをカメラ１０２で撮像し、撮像された画像データを解析して特定してもよい。
【０１１８】
ステップＳ２５０５では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２５０２で取得した撮像領域情報に含まれる撮像位置領域１２０５が示す領域にユーザの手がタッチされたかどうかを判定する（判定手段）。ユーザの手が撮像位置領域１２０５にタッチされたと判定されれば、ステップＳ２５０６へ処理を移行する。ユーザの手が撮像位置領域１２０５にタッチされたと判定されなければ、ステップＳ２５１５に処理を進める。図１３は、テラーが撮像位置領域１２０５である概要説明部分１００４にタッチしている例の図である。テラーの手１３０１が概要説明部分１００４の上をタッチしていれば、テラーが概要説明部分１００４の説明を行っているということである。つまり、顧客に対して概要説明部分１００４の説明を行ったということの証明のために、証跡を取る必要がある。そのため、ステップＳ２５０５では、このように撮像位置領域１２０５を示す領域がタッチされていれば、ステップＳ２５０６に処理を進める。撮像位置領域１２０５を示す領域がタッチされていないと判定されれば、回転ボタンの押下を判定すべくステップＳ２５１５に処理を進める。
【０１１９】
ステップＳ２５０６では、情報処理装置１０１のＣＰＵ２０１は、タッチされた撮像位置領域１２０５を示す領域の属性が、テラーから顧客に対する説明義務のある領域（以下、説明証跡領域）であるのか、顧客が契約等に同意の意思を示すための領域（以下、同意証跡領域）であるのかを判定する。タッチされた撮像位置領域１２０５に対応する、ステップＳ２５０２で取得した撮像領域情報の中の属性１２０６によって、タッチされた撮像位置領域１２０５の証跡の属性を特定し、特定した属性に応じて判定すればよい。撮像位置領域１２０５を示す領域が説明証跡領域であると判定した場合には、ステップＳ２５０７に処理を進める。撮像位置領域１２０５を示す領域が同意証跡領域であると判定した場合には、ステップＳ２５１７に処理を進める。このようにタッチされた部分の領域の属性を判定することにより、タッチされた領域が示す属性に応じて撮像の条件を変更することが可能となる。
【０１２０】
たとえば図１３の概要説明部分１００４の領域ＩＤ１２０１「１」に対応する属性１２０６は「説明」となっているので、概要説明部分１００４が説明証跡領域であると特定する。よって、ステップＳ２５０７へ処理を進める。
【０１２１】
一方、たとえば図１６は、顧客１００２が署名欄１００７に顧客の手１６０２でサインを行っている図である。投影システム１００では、署名欄１００７のような所定の領域を指でタッチしたまま移動させると、その軌跡を描画することができるようになっている。赤外線センサ１０３から送信された赤外線情報に基づいて、情報処理装置１０１のＣＰＵ２０１が、ユーザの指が署名欄１００７のような所定の領域をタッチしていると判定すると、当該タッチが継続されている間、そのタッチの軌跡を線要素で表現する。このような仕組みを用いることで、投影面１０６に対してタッチすることにより、サインを行うことができるようになる。
【０１２２】
第１の実施例では、署名欄１００７にタッチがなされると、顧客の手であるか、テラーの手であるかを判定するステップと、投影画像の向きを判定するステップは行わずに、即時、ステップＳ１１０９へ移行する。図２６に示す第２の実施例では、即時ステップＳ２５０９に移行せず、投影文書の向きと顧客の手であるか否かを判定する。これにより、顧客だけの証跡を残すことが可能になるので外部メモリ２１１などの記憶容量の節約になる。また、テラーが顧客に対してサインの方法を説明する際などに無駄な証跡を残すことがなくなるという効果もある。
【０１２３】
ステップＳ２５０７〜２６０８、ステップＳ２５１７〜２６１８の判定は、図２２に示す条件テーブル２２００に基づいて判定を行う。条件テーブル２２００には領域の属性２２０１、回転フラグ２２０２、特定した手２２０３、処理内容２２０４が格納されている。領域の属性２２０１はステップＳ２５０６で判定された領域の属性を示している。回転フラグ２２０２は、投影テーブル２３００の回転フラグ２３０２のフラグを示している。特定した手２２０３はステップＳ２５０４で特定したテラーの手か顧客の手かを模式的に示している。処理内容２２０４は撮像をするか否かの処理の内容が記載されている。例えば、領域の属性２２０１が説明証跡領域であって、回転フラグ２２０２が０であって、特定した手２２０３がテラーであれば、処理内容２２０４は撮像する。
【０１２４】
ステップＳ２５０７では、情報処理装置１０１のＣＰＵ２０１は、投影画像が顧客の方を向いているのか、テラーの方を向いているのかを判定する。たとえば、回転ボタン１００８が押下され、ステップＳ２５１６で投影テーブル２３００の回転フラグ２３０２にフラグが立っていれば、投影画像がテラーの方を向いていることがわかる。一方、回転フラグ２２０２にフラグが立っていなければ、投影画像が顧客の方を向いていることがわかる。回転フラグ２２０２にフラグが立っていると判定された場合、ステップＳ２５０８へ処理を進める。回転フラグ２２０２にフラグが立っていないと判定された場合は、投影文書はテラー向きであるのでタッチ判定処理を終了させる。たとえば図１５は、投影画像が顧客ではなく、テラーの方を向いている。この状態でテラーが説明を行ったとしても、顧客は投影画像を読むことができないため、正常に説明したとは言えない。そのため、この場合は証跡の保存は行わずに、タッチ判定処理を終了させる。
【０１２５】
ステップＳ２５０８では、情報処理装置１０１のＣＰＵ２０１は、タッチされた手がテラーの手であるかどうかを判定する。ステップＳ２５０４で特定された手の人物がテラーであればステップＳ２５０９へ処理を進める。ステップＳ２５０４で特定された手の人物がテラーでなければタッチ判定処理を終了させる。たとえば、図１４は、テラー１００１が説明する説明証跡領域である概要説明部分１００４を顧客１００２がタッチしている図である。この場合には、テラー１００１によるタッチではないので証跡の保存は行わずにタッチ判定処理を終了させる。説明証跡領域は、テラーが顧客に説明したということが担保できればよい。顧客が説明証跡領域をタッチした場合も証跡を保存するようにしてしまうと、外部メモリ２１１などの容量を圧迫してしまう。そのため、テラーからタッチされた場合のみ、証跡を取るようにしている。このように、説明証跡領域の場合には、テラーが説明証跡領域をタッチしており、かつ投影画像が顧客の方に向いている場合に、証跡が保存される。テラーが正しい方法で説明していないと、証跡が残らないので、説明したか否かを示す証拠となる。
【０１２６】
ステップＳ２５０９では、情報処理装置１０１のＣＰＵ２０１は、カメラ１０２にデジタルな撮像音の無い撮像指示を行う（撮像制御手段）。本実施例では撮像音を無くすとしているが、聞こえないような音量の撮像音であっても構わない。また、カメラに対して撮像音のない撮像を指示しているが、カメラが撮像音を出す必要はなく情報処理装置１０１につながるスピーカのようなものが撮像音を出してもよい。
【０１２７】
ステップＳ２５１０では、カメラ１０２は、情報処理装置１０１から送信された撮像音の無い撮像指示を受信する。
【０１２８】
ステップＳ２５１１では、カメラ１０２は、受信した撮像指示に従って、撮像音を出さない撮像を行う。ここでいう撮像音はデジタルな撮像音である。撮像音を出さないというのは、撮像音を出す撮像と撮像音を出さない撮像を切り替える場合や、撮像音自体の音量を少なくする場合がある。撮像音を出さない方法は上記に限定されない。デジタルな撮像音を出さないことで、顧客がいかにも証跡を取られているということを認識することを避けることができる。
【０１２９】
ステップＳ２５１２では、カメラ１０２は、情報処理装置に対し、撮像した画像データを送信する。
【０１３０】
ステップＳ２５１３では、情報処理装置１０１のＣＰＵ２０１は、カメラから送信された画像データを受信する。
【０１３１】
ステップＳ２５１４では、情報処理装置１０１のＣＰＵ２０１は、受信した画像データを、証跡ＩＤ、撮像された年月日、顧客ＩＤやテラーＩＤ、領域ＩＤ、画像データをひとまとめにして証跡として顧客ごとに保存する（画像データ保存手段）。証跡として保存する例として図１９の証跡保存テーブル１９００がある。証跡保存テーブル１９００の詳細な説明については、前述した通りである。このようにテーブル形式で顧客ごとに管理することで証跡の検索もしやすく、顧客と紛争になった際の有用なリソースとなりうるものとなる。実際に投影文書に指を指している画像データが残るため、証跡として担保することが可能なデータを蓄積することが可能になる。
【０１３２】
ステップＳ２５１５では、情報処理装置１０１のＣＰＵ２０１は、投影面１０６上に配置された回転ボタン１００８がタッチされたか否かを判定する。回転ボタン１００８のタッチを受け付けることにより、ユーザからの投影文書の回転指示があったことと判断することができる。回転ボタン１００８がタッチされたと判定した場合処理をステップＳ２５１６に進め、回転ボタン１００８がタッチされないと判定した場合、処理を終了させる。
【０１３３】
ステップＳ２５１６では、情報処理装置１０１のＣＰＵ２０１は、投影テーブル２３００の回転フラグ２３０２を反転させる。例えば「０」から「１」、「１」から「０」という具合である。フラグを反転させたのち、処理をステップＳ２４０２に進める。
【０１３４】
ステップＳ２５１７では、情報処理装置１０１のＣＰＵ２０１は、投影画像が顧客の方を向いているのか、テラーの方を向いているのかを判定する。たとえば、回転ボタン１００８が押下され、ステップＳ２５１６で投影テーブル２３００の回転フラグ２３０２にフラグが立っていれば、投影画像がテラーの方を向いていることがわかる。一方、回転フラグ２２０２にフラグが立っていなければ、投影画像が顧客の方を向いていることがわかる。回転フラグ２２０２にフラグが立っていると判定された場合、ステップＳ２５０９へ処理を進める。回転フラグ２２０２にフラグが立っていないと判定された場合は、投影文書はテラー向きであるのでタッチ判定処理を終了させる。
【０１３５】
ステップＳ２５１８では、情報処理装置１０１のＣＰＵ２０１は、タッチされた手が顧客の手であるかどうかを判定する。ステップＳ２５０４で特定された手の人物が顧客であればステップＳ２５０９へ処理を進める。ステップＳ２５０４で特定された手の人物が顧客でなければタッチ判定処理を終了させる。ステップＳ２５１７、２５１８の判定を行うことによって、テラーが顧客に対してサインの説明を行う際などの無駄な証跡を残さずに適切な証跡のみを残すことを可能にする。
【０１３６】
これにより同意証跡の場合でも上記の判定をすることにより、顧客が同意証跡の領域に確かにサインをしたという証跡を残すことを可能にする。例えばテラーが顧客に対してサインの説明を行う際などの無駄な証跡を残さずに適切な証跡のみを残すことを可能にする。
【０１３７】
次に本願発明の第３の実施例を説明する。第１の実施例では、証跡を保存する際の撮像指示と紙文書の取り込みの際の撮像指示とで、撮像音の出力を制御する仕組みを説明した。第３の実施例では、証跡を保存する際の撮像指示と紙文書の取り込みの際の撮像指示とでそれぞれ撮像音の種類を切り替える。これにより、ユーザに対して撮像の意図を通知することが可能になるという効果がある。
【０１３８】
第３の実施例では、システム構成、機能構成、画面例、テーブルは第１の実施例と同じであり、図９が図２４、図１１が図２７、図２０が図２８にそれぞれ変形したものである。
【０１３９】
第３の実施例のハードウェア構成について図２６を用いて説明する。
【０１４０】
図２６は図２の構成に新たにサウンドコントローラ２１２とスピーカ２１３とが追加されたものであり、共通する項目の説明は省略する。
【０１４１】
サウンドコントローラ２１２は、音声信号を処理するコントローラであり、スピーカ２１３による音声出力を制御する。
【０１４２】
スピーカ２１３は、情報処理装置１０１とスピーカケーブルで接続され、サウンドコントローラ２１２から出力される信号を音声として出力する。
【０１４３】
次に図２７を用いて第３の実施例のタッチ判定処理を説明する。
【０１４４】
ステップＳ２７０１では、情報処理装置１０１のＣＰＵ２０１は、投影面１０６に投影されている投影画像の基となる投影文書の特定を行う。投影文書は、前述したステップＳ５０４で選択された文書データまたは画像データであるので、これに基づいて特定する。ここでは、投影画像のファイル名や保存場所、更には投影している投影元文書のページ番号を特定する。特定を行ったら、ステップＳ２７０２へと処理を移行する。
【０１４５】
ステップＳ２７０２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２７０１で特定された投影画像に対応する撮像領域情報を取得する。撮像領域情報とは、投影画像に含まれる所定の領域ごとに存在する情報であり、図１２に示す撮像領域情報テーブル１２００に記憶された各レコードを指す。より具体的には、領域ＩＤ１２０１、名称１２０２、保存場所１２０３、ｐａｇｅ１２０４、撮像位置領域１２０５、属性１２０６のことを指す。
【０１４６】
撮像領域情報テーブル１２００は、情報処理装置１０１の外部メモリ２１１に記憶されたテーブルである。撮像領域情報テーブル１２００の詳細な説明については、前述した通りである。
【０１４７】
たとえば、図１０の申込書１００３の撮像領域情報を取得する場合には、ステップＳ２７０１で申込書１００３のファイル名や保存場所や投影しているページ番号を特定する。特定されたこれらの情報と、保存場所１２０３とに基づいて、必要なレコードを特定し、これを取得する。申込書１００３のファイル名が「Ａ．ｐｄｆ」、保存場所が「Ｄ：￥ｄｏｃｕｍｅｎｔ￥ｄａｔａ￥」、投影しているページ番号が「２」である場合には、図１２に示す領域ＩＤ１２０１が「１」〜「４」に該当する。よって、この４つのレコードを撮像領域情報として取得する。
【０１４８】
ステップＳ２７０３では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０６で受信した赤外線情報に基づいて、投影面１０６上におけるユーザの手の位置を解析する。ユーザの手の位置の解析の方法は従来の技術を用いるものとし、赤外線センサ１０３が赤外線のはね返りを検知することができなかった形状を解析する。形状の解析により、ユーザの指がどの部分を指しているかを特定することが可能になる。
【０１４９】
ステップＳ２７０４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２７０３で解析したユーザの手の位置などを基に、解析した手が誰の手なのかを特定する（ユーザ特定手段）。より具体的には、手の進入方向や手の向きなどから特定する。たとえば図１０では、回転ボタン１００８がある方向から手が入ってきた場合はテラーの手であると特定し、そうでない場合は顧客の手であると特定する。誰の手なのかを特定する方法はこれに限らない。ユーザの手にユーザを識別できる情報を付与しておき、これをカメラ１０２で撮像し、撮像された画像データを解析して特定してもよい。
【０１５０】
ステップＳ２７０５では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２７０２で取得した撮像領域情報に含まれる撮像位置領域１２０５が示す領域にユーザの手がタッチされたかどうかを判定する（判定手段）。ユーザの手が撮像位置領域１２０５にタッチされたと判定されれば、ステップＳ２７０６へ処理を移行する。ユーザの手が撮像位置領域１２０５にタッチされたと判定されなければ、ステップＳ２７２０に処理を進める。図１３は、テラーが撮像位置領域１２０５である概要説明部分１００４にタッチしている例の図である。テラーの手１３０１が概要説明部分１００４の上をタッチしていれば、テラーが概要説明部分１００４の説明を行っているということである。つまり、顧客に対して概要説明部分１００４の説明を行ったということの証明のために、証跡を取る必要がある。そのため、ステップＳ２７０５では、このように撮像位置領域１２０５を示す領域がタッチされていれば、ステップＳ２７０６に処理を進める。撮像位置領域１２０５を示す領域がタッチされていないと判定されれば、回転ボタンの押下を判定すべくステップＳ２７２０に処理を進める。
【０１５１】
ステップＳ２７０６では、情報処理装置１０１のＣＰＵ２０１は、タッチされた撮像位置領域１２０５を示す領域の属性が、テラーから顧客に対する説明義務のある領域（以下、説明証跡領域）であるのか、顧客が契約等に同意の意思を示すための領域（以下、同意証跡領域）であるのかを判定する。タッチされた撮像位置領域１２０５に対応する、ステップＳ２７０２で取得した撮像領域情報の中の属性１２０６によって、タッチされた撮像位置領域１２０５の証跡の属性を特定し、特定した属性に応じて判定すればよい。撮像位置領域１２０５を示す領域が説明証跡領域であると判定した場合には、ステップＳ２７０７に処理を進める。撮像位置領域１２０５を示す領域が同意証跡領域であると判定した場合には、ステップＳ２７１１に処理を進める。このようにタッチされた部分の領域の属性を判定することにより、タッチされた領域が示す属性に応じて撮像の条件を変更することが可能となる。
【０１５２】
たとえば図１３の概要説明部分１００４の領域ＩＤ１２０１「１」に対応する属性１２０６は「説明」となっているので、概要説明部分１００４が説明証跡領域であると特定する。よって、ステップＳ２７０７へ処理を進める。
【０１５３】
一方、たとえば図１６は、顧客１００２が署名欄１００７に顧客の手１６０２でサインを行っている図である。投影システム１００では、署名欄１００７のような所定の領域を指でタッチしたまま移動させると、その軌跡を描画することができるようになっている。赤外線センサ１０３から送信された赤外線情報に基づいて、情報処理装置１０１のＣＰＵ２０１が、ユーザの指が署名欄１００７のような所定の領域をタッチしていると判定すると、当該タッチが継続されている間、そのタッチの軌跡を線要素で表現する。このような仕組みを用いることで、投影面１０６に対してタッチすることにより、サインを行うことができるようになる。
【０１５４】
ステップＳ２７０７〜２６０８、ステップＳ２７１１〜２６１２の判定は、図２２に示す条件テーブル２２００に基づいて判定を行う。条件テーブル２２００には領域の属性２２０１、回転フラグ２２０２、特定した手２２０３、処理内容２２０４が格納されている。領域の属性２２０１はステップＳ２７０６で判定された領域の属性を示している。回転フラグ２２０２は、投影テーブル２３００の回転フラグ２３０２のフラグを示している。特定した手２２０３はステップＳ２７０４で特定したテラーの手か顧客の手かを模式的に示している。処理内容２２０４は撮像をするか否かの処理の内容が記載されている。例えば、領域の属性２２０１が説明証跡領域であって、回転フラグ２２０２が０であって、特定した手２２０３がテラーであれば、処理内容２２０４は撮像する。
【０１５５】
ステップＳ２７０７では、情報処理装置１０１のＣＰＵ２０１は、投影画像が顧客の方を向いているのか、テラーの方を向いているのかを判定する。たとえば、回転ボタン１００８が押下され、ステップＳ２７１６で投影テーブル２３００の回転フラグ２３０２にフラグが立っていれば、投影画像がテラーの方を向いていることがわかる。一方、回転フラグ２２０２にフラグが立っていなければ、投影画像が顧客の方を向いていることがわかる。回転フラグ２２０２にフラグが立っていると判定された場合、ステップＳ２７０８へ処理を進める。回転フラグ２２０２にフラグが立っていないと判定された場合は、投影文書はテラー向きであるのでタッチ判定処理を終了させる。たとえば図１５は、投影画像が顧客ではなく、テラーの方を向いている。この状態でテラーが説明を行ったとしても、顧客は投影画像を読むことができないため、正常に説明したとは言えない。そのため、この場合は証跡の保存は行わずに、タッチ判定処理を終了させる。
【０１５６】
ステップＳ２７０８では、情報処理装置１０１のＣＰＵ２０１は、タッチされた手がテラーの手であるかどうかを判定する。ステップＳ２７０４で特定された手の人物がテラーであればステップＳ２７０９へ処理を進める。ステップＳ２７０４で特定された手の人物がテラーでなければタッチ判定処理を終了させる。たとえば、図１４は、テラー１００１が説明する説明証跡領域である概要説明部分１００４を顧客１００２がタッチしている図である。この場合には、テラー１００１によるタッチではないので証跡の保存は行わずにタッチ判定処理を終了させる。説明証跡領域は、テラーが顧客に説明したということが担保できればよい。顧客が説明証跡領域をタッチした場合も証跡を保存するようにしてしまうと、外部メモリ２１１などの容量を圧迫してしまう。そのため、テラーからタッチされた場合のみ、証跡を取るようにしている。このように、説明証跡領域の場合には、テラーが説明証跡領域をタッチしており、かつ投影画像が顧客の方に向いている場合に、証跡が保存される。テラーが正しい方法で説明していないと、証跡が残らないので、説明したか否かを示す証拠となる。
【０１５７】
ステップＳ２７０９では、情報処理装置１０１のＣＰＵ２０１は、カメラ１０２に撮像指示を行う（撮像制御手段）。
【０１５８】
ステップＳ２７１０では、情報処理装置１０１のＣＰＵ２０１は、説明領域の証跡を保存することを通知すべく説明領域の撮像音をスピーカ２１３から出力する。撮像音は図２９にしめす撮像音データテーブル２９００から判断する。撮像音データテーブル２９００には撮像シーン２９０１、撮像音２９０２とが格納されており、撮像シーン２９０１は本実施例で撮像するシーンである、「紙文書取り込み」「説明証跡領域」「同意証跡領域」とがある。それぞれに対して撮像音２９０２が割り当てられており、シーンに応じて撮像音２９０２に保存されている音声データを出力する。
【０１５９】
ステップＳ２７１１では、情報処理装置１０１のＣＰＵ２０１は、投影画像が顧客の方を向いているのか、テラーの方を向いているのかを判定する。たとえば、回転ボタン１００８が押下され、ステップＳ２７１６で投影テーブル２３００の回転フラグ２３０２にフラグが立っていれば、投影画像がテラーの方を向いていることがわかる。一方、回転フラグ２２０２にフラグが立っていなければ、投影画像が顧客の方を向いていることがわかる。回転フラグ２２０２にフラグが立っていないと判定された場合、ステップＳ２７１２へ処理を進める。回転フラグ２２０２にフラグが立っていると判定された場合は、投影文書はテラー向きであるのでタッチ判定処理を終了させる。
【０１６０】
ステップＳ２７１２では、情報処理装置１０１のＣＰＵ２０１は、タッチされた手が顧客の手であるかどうかを判定する。ステップＳ２７０４で特定された手の人物が顧客であればステップＳ２７１３へ処理を進める。ステップＳ２７０４で特定された手の人物が顧客でなければタッチ判定処理を終了させる。
【０１６１】
ステップＳ２７１３では、情報処理装置１０１のＣＰＵ２０１は、カメラ１０２に撮像指示を行う（撮像制御手段）。
【０１６２】
ステップＳ２７１４では、情報処理装置１０１のＣＰＵ２０１は、同意領域の証跡を保存することを通知すべく説明領域の撮像音をスピーカ２１３から出力する。ステップＳ２７１０と同様に撮像音は図２９にしめす撮像音データテーブル２９００から判断する。撮像音をスピーカ２１３から出力する際には、後述するステップＳ２７１６における撮像とタイミングが合うように出力されることが望ましい。そのため、ステップＳ２７１３で撮像指示をしてから後述するステップＳ２７１６で撮像がなされるまでの遅延時間をあらかじめ記憶、または従来技術で算出し、当該遅延時間の間、待機してから撮像音を出力するようにすればよい。
【０１６３】
ステップＳ２７１５では、カメラ１０２は、情報処理装置１０１から送信された撮像指示を受信する。
【０１６４】
ステップＳ２７１６では、カメラ１０２は、受信した撮像指示に従って、撮像を行う。第３の実施例ではカメラ１０２は撮像音を出力しない。
【０１６５】
ステップＳ２７１７では、カメラ１０２は、情報処理装置に対し、撮像した画像データを送信する。
【０１６６】
ステップＳ２７１８では、情報処理装置１０１のＣＰＵ２０１は、カメラから送信された画像データを受信する。
【０１６７】
ステップＳ２７１９では、情報処理装置１０１のＣＰＵ２０１は、受信した画像データを、証跡ＩＤ、撮像された年月日、顧客ＩＤやテラーＩＤ、領域ＩＤ、画像データをひとまとめにして証跡として顧客ごとに保存する（画像データ保存手段）。証跡として保存する例として図１９の証跡保存テーブル１９００がある。証跡保存テーブル１９００の詳細な説明については前述したとおりである。このようにテーブル形式で顧客ごとに管理することで証跡の検索もしやすく、顧客と紛争になった際の有用なリソースとなるものとなる。実際に投影文書に指を指している画像データが残るため、証跡として担保することが可能なデータを蓄積することが可能になる。
【０１６８】
ステップＳ２７２０では、情報処理装置１０１のＣＰＵ２０１は、投影面１０６上に配置された回転ボタン１００８がタッチされたか否かを判定する。回転ボタン１００８のタッチを受け付けることにより、ユーザからの投影文書の回転指示があったことと判断することができる。回転ボタン１００８がタッチされたと判定した場合処理をステップＳ２７２１に進め、回転ボタン１００８がタッチされないと判定した場合、処理を終了させる。
【０１６９】
ステップＳ２７１６では、情報処理装置１０１のＣＰＵ２０１は、投影テーブル２３００の回転フラグ２３０２を反転させる。例えば「０」から「１」、「１」から「０」という具合である。フラグを反転させたのち、処理をステップＳ２４０２に進める。
【０１７０】
次に、第３の実施例における紙文書取り込み処理について図２８を用いて説明を行う。
【０１７１】
ステップＳ２８０１では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０６で受信した赤外線情報を解析し、紙文書の動きを解析する。
【０１７２】
ステップＳ２８０２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２８０１で解析した紙文書が撮像可能になったかを判定する。たとえばある一定の時間紙文書が動いていないと判定されたときに、撮像可能と判定する。撮像可能と判定された場合、ステップＳ２８０３の処理へと移行する。なお、撮像可能の判定は、ユーザからの撮像の指示を受け付けてもよい。例えば、スキャンボタンなどが投影面上に配置されており、当該スキャンボタンの押下を受け付けることで撮像可能と判定してもよい。
【０１７３】
ステップＳ２８０３では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２８０２で紙文書が置かれ、動きがある一定の時間なくなったと判定された時の、投影面１０６上に投影されている投影画像の位置や、状態を保存しておく処理を行う。たとえば図２１で表示されている表示メニュー２００３などがあり、これらの状態を保存しておく。保存処理が終わったらステップＳ２８０４へと処理を移す。
【０１７４】
ステップＳ２８０４では、情報処理装置１０１のＣＰＵ２０１は、プロジェクタ１０４に対して投影しているものを消すよう、指示を行う。現在、投影面１０６上に投影しているものを投影しないように制御できればよい。これは、後述する処理で紙文書を取り込む際に、投影したものが写り込まないようにするためである。よって、置かれた紙文書の上に投影がされなければよく、それ以外の領域は何かしらの情報が投影されていてもよい。たとえば図２１の表示メニュー２００３の上に紙文書が置かれた場合、すべての投影を消してもよいし、紙文書と表示メニュー２００３が重なる部分の投影だけ消してもよい。
【０１７５】
ステップＳ２８０５では、プロジェクタ１０４は、情報処理装置１０１から指示された投影非表示指示を受信する。
【０１７６】
ステップＳ２８０６では、プロジェクタ１０４は、受信した投影非表示指示に従って、現在投影されている投影を消す。
【０１７７】
ステップＳ２８０７では、情報処理装置１０１のＣＰＵ２０１は、撮像の指示をカメラ１０２に対して行う。
【０１７８】
ステップＳ２８０８では、情報処理装置１０１のＣＰＵ２０１は、紙文書取り込みの撮像音をスピーカ２１３により出力する。撮像音は図２９にしめす撮像音データテーブル２９００から判断する。今回は紙文書取り込みなので図２９に示す撮像音２９０２は「Ｄ：￥ｓｏｕｎｄ￥００１．ｗａｖ」となる。また、前述したステップＳ２７１４と同様に、後述するステップＳ２８１０における撮像とタイミングを合わせて出力することが望ましい。そのため、ステップＳ２７１４で前述した通り、撮像が行われるタイミングまで待機し、待機後に撮像音を出力する。
【０１７９】
ステップＳ２８０９ではカメラ１０２は、情報処理装置１０１から送信された撮像の指示を受信する。
【０１８０】
ステップＳ２８１０では、カメラ１０２は、受信した指示によりデジタルな撮像音を伴う撮像を行う。撮像音を伴う撮像を行うことで、顧客の住民票や戸籍謄本などの書類を画像データとして取り込んでいることを明確に認識させることができる。
【０１８１】
ステップＳ２８１１では、カメラ１０２は、撮像によって得られた画像データを情報処理装置１０１へ送信する。
【０１８２】
ステップＳ２８１２では、情報処理装置１０１のＣＰＵ２０１は、カメラ１０２から送信された画像データを受信する。
【０１８３】
ステップＳ２８１３では、情報処理装置１０１のＣＰＵ２０１は、受信した画像データを、紙文書の取り込みデータとして保存する。
【０１８４】
ステップＳ２８１４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ２８０３で保存した状態を読み出し、投影を終了する前の状態に戻すため、読み出した投影状態をプロジェクタ１０４に投影させ、投影を再開させる。
【０１８５】
ステップＳ２８１５では、プロジェクタ１０４は、情報処理装置１０１からの投影表示指示を受信する。
【０１８６】
ステップＳ２８１６では、プロジェクタ１０４に、受信した投影表示指示に基づいて、ステップＳ２８０３で保存した状態を投影する。
【０１８７】
以上、第３の実施例では、証跡を保存する際の撮像指示と紙文書の取り込みの際の撮像指示とでそれぞれ撮像音の種類を切り替えることでユーザに対して撮像の意図を通知することが可能になるという効果がある。
【０１８８】
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【０１８９】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【０１９０】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１９１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１９２】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【０１９３】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【０１９４】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１９５】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１９６】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１９７】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０１９８】
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１９９】
１００  投影システム
１０１  情報処理装置
１０２  カメラ
１０３  センサ
１０４  プロジェクタ
１０５  反射板
１０６  投影面
１０７  プリンタ
２０１  ＣＰＵ
２０２  ＲＯＭ
２０３  ＲＡＭ
２０４  システムバス
２０５  入力コントローラ
２０６  ビデオコントローラ
２０７  メモリコントローラ
２０８  通信Ｉ／Ｆ（インターフェース）コントローラ
２０９  入力デバイス
２１０  ディスプレイ
２１１  外部メモリ
【図１】
2015097073.tif 000003
【図２】
2015097073.tif 000004
【図３】
2015097073.tif 000005
【図４】
2015097073.tif 000006
【図５】
2015097073.tif 000007
【図６】
2015097073.tif 000008
【図７】
2015097073.tif 000009
【図８】
2015097073.tif 000010
【図９】
2015097073.tif 000011
【図１０】
2015097073.tif 000012
【図１１】
2015097073.tif 000013
【図１２】
2015097073.tif 000014
【図１３】
2015097073.tif 000015
【図１４】
2015097073.tif 000016
【図１５】
2015097073.tif 000017
【図１６】
2015097073.tif 000018
【図１７】
2015097073.tif 000019
【図１８】
2015097073.tif 000020
【図１９】
2015097073.tif 000021
【図２０】
2015097073.tif 000022
【図２１】
2015097073.tif 000023
【図２２】
2015097073.tif 000024
【図２３】
2015097073.tif 000025
【図２４】
2015097073.tif 000026
【図２５】
2015097073.tif 000027
【図２６】
2015097073.tif 000028
【図２７】
2015097073.tif 000029
【図２８】
2015097073.tif 000030
【図２９】
2015097073.tif 000031