(57)【要約】  入出力装置は、投影面に対して投影画像を投影させる投影部と、該投影面を撮像させる撮像部を有する。そして、入出力装置は、投影部と撮像部との実行を切り替える際に、撮像部が撮像した撮像画像に指示体が含まれる場合、投影部による投影画像の投影を抑制し、撮像部による撮像を優先させる。また、入出力装置は、投影部と撮像部との実行を切り替える際に、撮像部が撮像した撮像画像に指示体が含まれない場合、撮像部による撮像を抑制し、投影部による投影を実行させる。
2016063404.tif 000002
【特許請求の範囲】
【請求項１】
投影面に対して投影画像を投影させる投影部と、該投影面を撮像させる撮像部との実行を切り替える切替部と、
前記撮像部が撮像した撮像画像に指示体が含まれる場合、前記投影部による前記投影画像の投影を抑制し、前記撮像部が撮像した撮像画像に指示体が含まれない場合、前記投影部による投影を実行させる制御部と、
を有することを特徴とする入出力装置。
【請求項２】
前記制御部は、前記撮像部が撮像した撮像画像に指示体が含まれる場合、該指示体が指示する位置の検出処理が終了するまで、前記投影部による前記投影画像の投影を抑制することを特徴とする請求項１に記載の入出力装置。
【請求項３】
前記制御部は、前記撮像部が撮像した撮像画像に指示体が含まれる場合、前記投影画像のうち前記指示体が含まれる投影画像を、前記指示体が含まれない投影画像よりも暗い照度で投影させることを特徴とする請求項１に記載の入出力装置。
【請求項４】
コンピュータが、
投影面に対して投影画像を投影させる投影部と、該投影面を撮像させる撮像部との実行を切り替え、
前記撮像部が撮像した撮像画像に指示体が含まれる場合、前記投影部による前記投影画像の投影を抑制し、前記撮像部が撮像した撮像画像に指示体が含まれない場合、前記投影部による投影を実行させる、
処理を含むことを特徴とする入出力方法。
【請求項５】
コンピュータに、
投影面に対して投影画像を投影させる投影部と、該投影面を撮像させる撮像部との実行を切り替え、
前記撮像部が撮像した撮像画像に指示体が含まれる場合、前記投影部による前記投影画像の投影を抑制し、前記撮像部が撮像した撮像画像に指示体が含まれない場合、前記投影部による投影を実行させる、
処理を実行させることを特徴とする入出力プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入出力装置、入出力方法および入出力プログラムに関する。
【背景技術】
【０００２】
従来から、プロジェクターで投影した投影画像を手や指などの指示体で操作するシステムが知られている。具体的には、このシステムは、プロジェクターで投影した投影画像を２台のカメラで撮像して手の位置を検出し、２台のカメラの視差を使って手までの距離を計算して、投影画像に対する手のタップ操作を検出する。このようにして、システムは、プロジェクターで投影した投影画像に対して、モニタとタッチパネルとを合わせたような機能を実現する。【０００３】
また、プロジェクターで投影した画像が手に写り込んでカメラでの手の認識精度が低下することから、プロジェクターの出力を弱くすることが行われる。しかし、この手法では投影画像の視認性が劣化する。このため、近年では、視認性の劣化や画像認識精度の劣化を抑制する技術として、カメラによる撮像とプロジェクターによる投影とを排他に制御するプロジェクターシステムが知られている。【０００４】
具体的には、このプロジェクターシステムは、カメラのシャッタースピード、露出、ガンマ値のいずれか一つまたは二つ以上を最適に調整することで、投影時間とは異なる時間帯で画像を撮像する。つまり、プロジェクターシステムは、投影時間とは異なる撮像時間内で画像を撮像することで、プロジェクター光をブロックし、指示体が強く映し出されたカメラ画像データを得る。このようにして、プロジェクターシステムは、視認性と画像認識精度の劣化を抑制する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２５０４８２号公報
【特許文献２】国際公開第２００６／０８５５８０号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記技術では、操作性を確保することが難しい場合がある。例えば、上記プロジェクターシステムでは、投影時間とは異なる時間帯に投影画像を操作する指示体の画像を撮像した場合でも、指示体の認識処理や操作内容の認識処理に時間がかかる場合がある。この場合、その後の撮像時間がずれて投影時間と重なり、撮像した画像認識の精度が劣化するので、操作性も劣化する。【０００７】
１つの側面では、操作性を確保することができる入出力装置、入出力方法および入出力プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１の案では、入出力装置は、投影面に対して投影画像を投影させる投影部と、該投影面を撮像させる撮像部との実行を切り替える切替部を有する。入出力装置は、前記撮像部が撮像した撮像画像に指示体が含まれる場合、前記投影部による前記投影画像の投影を抑制し、前記撮像部が撮像した撮像画像に指示体が含まれない場合、前記投影部による投影を実行させる制御部を有する。
【発明の効果】
【０００９】
１実施形態によれば、操作性を確保することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施例１に係るシステムの全体構成例を示す図である。
【図２】図２は、実施例１に係る入出力装置の機能構成を示す機能ブロック図である。
【図３】図３は、実施例１に係る入出力装置の表示制御処理の流れを示すフローチャートである。
【図４】図４は、実施例１に係る入出力装置の操作制御処理の流れを示すフローチャートである。
【図５】図５は、従来のタイムチャートを示す図である。
【図６】図６は、表示優先モードのタイムチャートを示す図である。
【図７】図７は、表示優先モード時の投影面を説明する図である。
【図８】図８は、操作優先モードのタイムチャートを示す図である。
【図９】図９は、操作優先モード時の投影面を説明する図である。
【図１０】図１０は、実施例１に係る入出力装置のハードウェア構成例を説明する図である。
【図１１】図１１は、実施例２に係る入出力装置のハードウェア構成例を説明する図である。
【発明を実施するための形態】
【００１１】
以下に、本発明にかかる入出力装置、入出力方法および入出力プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例１】
【００１２】
［全体構成］
図１は、実施例１に係るシステムの全体構成例を示す図である。図１に示すように、このシステムは、カメラ１、カメラ２、プロジェクター３、入出力装置１０を有するプロジェクターシステムの一例である。【００１３】
具体的には、プロジェクター３は、投影面に対して、入出力装置１０に保持される画像等を投影する。カメラ１およびカメラ２は、プロジェクター３が投影する投影面を撮像する。そして、入出力装置１０は、２台のカメラで撮像された撮像画像から手などの指示体の位置を検出し、２台のカメラの視差を使って指示体までの距離を計算して、対象物に対するタップ操作を検出する。【００１４】
このような状態において、入出力装置１０は、投影面に対して投影画像を投影させるプロジェクター３と、該投影面を撮像させるカメラ１およびカメラ２との実行を切り替える。そして、入出力装置１０は、カメラ１およびカメラ２が撮像した撮像画像に指が含まれる場合、プロジェクター３による投影画像の投影を抑制する。また、入出力装置１０は、カメラ１およびカメラ２が撮像した撮像画像に指が含まれない場合、カメラ１およびカメラ２による投影面の撮像を停止しつつプロジェクター３による投影を実行させる。【００１５】
つまり、入出力装置１０は、表示優先モードと操作優先モードを適切に切り替える。例えば、入出力装置１０は、カメラ１およびカメラ２で投影面を撮像した画像に指などの指示体が含まれない場合、プロジェクター３による投影を優先させる表示優先モードに遷移させる。一方、入出力装置１０は、カメラ１およびカメラ２で投影面を撮像した画像に指などの指示体が含まれる場合、各カメラによる撮像を優先させる操作優先モードに遷移させる。【００１６】
したがって、入出力装置１０は、投影される対象物を操作する際は、投影を抑制して撮像を優先させるので、撮像した画像認識の精度劣化が抑制でき、操作性を確保することができる。【００１７】
［機能構成］
図２は、実施例１に係る入出力装置の機能構成を示す機能ブロック図である。図２に示すように、入出力装置１０は、通信部１１、記憶部１２、制御部１３を有する。【００１８】
通信部１１は、有線通信または無線通信を用いて他の装置の通信を制御する処理部であり、例えば通信インタフェースなどである。例えば、通信部１１は、カメラ１およびカメラ２に対して撮像開始や撮像停止などの指示を送信し、カメラ１およびカメラ２が撮像した画像を受信する。また、通信部１１は、プロジェクター３に対して投影開始や投影抑制などの指示を送信する。【００１９】
記憶部１２は、制御部１３が実行するプログラムや各種データを記憶する記憶装置であり、例えばメモリやハードディスクなどである。この記憶部１２は、管理ＤＢ１２ａとフラグＤＢ１２ｂを記憶する。【００２０】
管理ＤＢ１２ａは、各カメラによって撮像された画像などを記憶するデータベースである。例えば、管理ＤＢ１２ａは、投影画像に対するクリッピング操作時に選択された領域のデータ、サイズ情報、位置情報、表示状態などを記憶する。また、管理ＤＢ１２ａは、画像認識によって特定された指の位置情報やタップ操作の内容などを含む解析結果を記憶する。【００２１】
フラグＤＢ１２ｂは、現在動作するモードを特定するフラグ情報を記憶するデータベースである。例えば、フラグＤＢ１２ｂは、「表示優先フラグ、操作優先フラグ」として「オフ、オン」などを記憶する。ここで記憶される情報は、制御部１３で実行される処理部によって更新される。【００２２】
制御部１３は、入出力装置１０全体を司る処理部であり、例えばプロセッサなどの電子回路である。この制御部１３は、投影処理部１４、撮像処理部１５、表示制御部１６、操作部１７を有する。なお、投影処理部１４、撮像処理部１５、表示制御部１６、操作部１７は、電子回路の一例やプロセッサが実行するプロセスの一例である。【００２３】
投影処理部１４は、プロジェクター３への投影制御を実行する処理部である。例えば、投影処理部１４は、プロジェクター３に対して投影開始、投影停止などの指示を送信する。また、投影処理部１４は、プロジェクター３に対して、投影する際の照度を制御する。【００２４】
撮像処理部１５は、カメラ１およびカメラ２への撮像制御を実行する処理部である。例えば、撮像処理部１５は、各カメラに対して撮像開始などの指示を送信して、各カメラが撮像した撮像画像を取り込む。そして、撮像処理部１５は、取り込んだ撮像画像を管理ＤＢ１２ａに格納する。【００２５】
表示制御部１６は、モード制御部１６ａと画像認識部１６ｂを有し、これらによって各モードに対応した処理および画像認識を実行する処理部である。【００２６】
モード制御部１６ａは、動作中のモードに適した処理を実行する処理部である。具体的には、モード制御部１６ａは、フラグＤＢ１２ｂを参照して、現在の動作モードが表示優先モードまたは操作優先モードのいずれであるかを判定し、判定した動作モードに適した処理を実行する。【００２７】
例えば、モード制御部１６ａは、現状の動作モードが表示優先モードの場合、プロジェクター３からの投影中は画像撮像を抑止する指示を撮像処理部１５に出力する。そして、モード制御部１６ａは、プロジェクター３からの投影が停止すると、画像撮像の抑止解除を撮像処理部１５に出力する。【００２８】
この結果、撮像処理部１５は、プロジェクター３からの投影中は、各カメラによる画像撮像を抑止することができる。なお、撮像処理部１５は、表示優先モードの場合、各カメラによる撮像を抑制してもよく、各カメラによる撮像は実行しておき、解析に使用する画像の取り込みだけを抑制することもできる。【００２９】
また、モード制御部１６ａは、現状の動作モードが操作優先モードの場合、各カメラによる画像撮像が終了するまで、プロジェクター３からの投影を抑止する指示を投影処理部１４に出力する。そして、モード制御部１６ａは、画像撮像が終了すると、投影の抑止解除を投影処理部１４に出力する。この結果、投影処理部１４は、各カメラによる画像撮像中は、プロジェクター３からの投影を抑止することができる。【００３０】
なお、投影処理部１４は、操作優先モード中は、すべての投影画像の照度を、表示優先モードのときよりも暗くすることで、操作を優先させることができる。また、投影処理部１４は、投影画像のうち、指と重なっている投影画像すなわちタップ操作対象の投影画像の照度を表示優先モードのときよりも暗くし、その他の投影画像の照度を表示優先モードのときと同じにすることもできる。【００３１】
画像認識部１６ｂは、各カメラによって撮像された画像を解析して指を認識する処理部である。そして、画像認識部１６ｂは、認識した指の情報を管理ＤＢ１２ａに格納する。例えば、画像認識部１６ｂは、指の位置を示す位置座標、指の位置情報の軌跡などを抽出する。なお、画像認識部１６ｂは公知の様々な画像認識処理を用いて、上記情報を抽出する。【００３２】
操作部１７は、クリッピング操作部１７ａとタップ操作部１７ｂを有し、これらによって、投影面に投影される対象物への各種操作を実行する処理部である。【００３３】
クリッピング操作部１７ａは、対象物へのクリッピング操作を実行する処理部である。具体的には、クリッピング操作部１７ａは、ユーザによって指で選択された対象物の所定領域をキャプチャーして、管理ＤＢ１２ａに保存する。このようにして、投影される対象物の任意の領域をクリッピングして保存することができる。【００３４】
タップ操作部１７ｂは、対象物へのタップ操作を実行する処理部であり、対象物を操作する指が検出されるか否かによって動作モードを切り替える処理部である。【００３５】
例えば、タップ操作部１７ｂは、画像認識部１６ｂによって各カメラが撮像した撮像画像から指が検出された場合、管理ＤＢ１２ａ等を参照して、検出された指の位置が対象物上にあるか否かを判定する。ここで、タップ操作部１７ｂは、検出された指の位置が対象物上にない場合、表示優先モードを維持する。【００３６】
一方、タップ操作部１７ｂは、検出された指の位置が対象物上にある場合、フラグＤＢ１２ｂのフラグを書き換えて、表示優先モードから操作優先モードに動作モードを変更する。そして、タップ操作部１７ｂは、対象物の移動や拡大縮小などのタップ操作を実行する。【００３７】
一例を挙げると、タップ操作部１７ｂは、指が検出されてから指が検出されなくなるまで連続的に撮像された画像から、対象物および対象物をタップした指の位置（座標）を検出して、開始位置として管理ＤＢ１２ａに格納する。続いて、タップ操作部１７ｂは、タップが完了した位置、すなわち指と対象物との接触が終了した位置を検出して、終了位置として管理ＤＢ１２ａに格納する。【００３８】
その後、タップ操作部１７ｂは、タップされた対象物を開始位置から終了位置まで移動させることで、対象物の移動を実行する。なお、タップ操作部１７ｂは、対象物の移動以外にも拡大や縮小などを実行できるが、スマートフォンなどで利用される技術を利用することができるので、ここでは詳細な説明は省略する。【００３９】
［処理の流れ］
続いて、実施例１に係る入出力装置が実行する各処理について説明する。ここでは、本実施例に特に関係する表示制御処理と操作制御処理について説明する。なお、表示制御処理と操作制御処理は、別スレッドで並行して実行される。【００４０】
（表示制御処理）
図３は、実施例１に係る入出力装置の表示制御処理の流れを示すフローチャートである。図３に示すように、モード制御部１６ａは、フラグＤＢ１２ｂを参照して表示優先モードであると判定した場合（Ｓ１０１：Ｙｅｓ）、投影処理部１４を介して、プロジェクター３が投影中か否かを判定する（Ｓ１０２）。【００４１】
そして、モード制御部１６ａによって投影中ではないと判定された場合（Ｓ１０２：Ｎｏ）、撮像処理部１５は、各カメラが撮像した画像を取り込む（Ｓ１０３）。つまり、撮像処理部１５は、各カメラを用いて画像を撮像し、撮像画像を管理ＤＢ１２ａに書き込む。続いて、画像認識部１６ｂは、取り込まれた撮像画像に対して画像認識処理を実行して指を認識し、認識した指の位置情報等を管理ＤＢ１２ａに格納する（Ｓ１０４）。そして、Ｓ１０１に戻って以降の処理が繰り返される。【００４２】
一方、モード制御部１６ａは、投影中と判定した場合（Ｓ１０２：Ｙｅｓ）、予め定めた所定時間待機した後（Ｓ１０５）、Ｓ１０１以降を繰り返す。【００４３】
また、Ｓ１０１において、モード制御部１６ａは、フラグＤＢ１２ｂを参照して操作優先モードであると判定した場合（Ｓ１０１：Ｎｏ）、投影処理部１４に対して、プロジェクター３の投影を抑止する指示を送信する（Ｓ１０６）。【００４４】
続いて、撮像処理部１５は、各カメラが撮像した画像を取り込む（Ｓ１０７）。すると、モード制御部１６ａは、投影処理部１４に対して、プロジェクター３の投影抑止を解除する指示を送信する（Ｓ１０８）。その後、画像認識部１６ｂは、取り込まれた画像に対して画像認識処理を実行して指を認識し、認識した指の位置情報等を管理ＤＢ１２ａに格納する（Ｓ１０９）。そして、Ｓ１０１に戻って以降の処理が繰り返される。【００４５】
（操作制御処理）
図４は、実施例１に係る入出力装置の操作制御処理の流れを示すフローチャートである。図４に示すように、操作部１７は、タップ操作を検出すると（Ｓ２０１：Ｙｅｓ）、クリッピングする領域の選択があるか否かを判定する（Ｓ２０２）。例えば、操作部１７は、画像認識部１６ｂによって指が検出された場合に、タップ操作ありと検出する。【００４６】
そして、クリッピング操作部１７ａは、クリッピングする領域の選択を検出した場合（Ｓ２０２：Ｙｅｓ）、選択された領域を保存するか否かをユーザに問い合わせる（Ｓ２０３）。例えば、クリッピング操作部１７ａは、ポップアップなどを表示させて保存の意思をユーザに問い合わせたり、保存ボタンなどの押下があるか否かによってユーザの意思を確認したりする。【００４７】
その後、クリッピング操作部１７ａは、選択された領域を保存する場合（Ｓ２０３：Ｙｅｓ）、選択された領域をキャプチャーし（Ｓ２０４）、キャプチャーした画像を取り込んで管理ＤＢ１２ａに保存する（Ｓ２０５）。そして、Ｓ２０１に戻って以降の処理が繰り返される。なお、クリッピング操作部１７ａは、選択された領域を保存しない場合（Ｓ２０３：Ｎｏ）、Ｓ２０２に戻って以降の処理を繰り返す。【００４８】
一方、クリッピングする領域の選択が検出されない場合（Ｓ２０２：Ｎｏ）、タップ操作部１７ｂは、対象物（オブジェクト）上の操作か否かを判定する（Ｓ２０６）。例えば、タップ操作部１７ｂは、画像認識部１６ｂによって検出された指の位置が対象物上にあるか否かを判定する。【００４９】
そして、タップ操作部１７ｂは、対象物上の操作と判定した場合（Ｓ２０６：Ｙｅｓ）、フラグＤＢ１２ｂのフラグ情報を書き換えて、操作優先モードに切り替える（Ｓ２０７）。続いて、タップ操作部１７ｂは、タップ操作を実行する（Ｓ２０８）。【００５０】
その後、タップ操作部１７ｂは、タップ操作が完了するまで（Ｓ２０９：Ｎｏ）、Ｓ２０８を繰り返す。そして、タップ操作部１７ｂは、タップ操作が完了すると（Ｓ２０９：Ｙｅｓ）、フラグＤＢ１２ｂのフラグ情報を書き換えて、表示優先モードに切り替える（Ｓ２１０）。その後は、Ｓ２０１に戻って以降の処理が繰り返される。【００５１】
また、Ｓ２０６において、タップ操作部１７ｂは、対象物上の操作ではないと判定した場合（Ｓ２０６：Ｎｏ）、例えば表示優先モードを維持するなど予め定めたその他の処理を実行する（Ｓ２１１）。その後は、Ｓ２０１に戻って以降の処理が繰り返される。【００５２】
［処理の比較］
次に、従来技術によるタイムチャート、本実施例にかかる表示優先モード時のタイムチャート、本実施例にかかる操作優先モード時のタイムチャートを用いて、各処理を比較する。【００５３】
（従来）
図５は、従来のタイムチャートを示す図である。図５に示すように、プロジェクター３は、例えば毎秒６０回の一定周期で投影面に画像を投影する。一方で、各カメラは、投影面の撮像、撮像画像の解析および手認識を繰り返すように制御される。つまり、各カメラの撮像タイミングは、撮像画像の解析および手認識の処理終了後となるので、各処理に依存する。【００５４】
このため、図５のａに示すように、各カメラの撮像タイミングがプロジェクター投影中と重なる場合がある。すると、各カメラは、プロジェクターから投影される投影画像が写った手を含む画像を撮像することになる。そうすると、撮像画像の解析および手認識の処理において、手が正しく認識されない事象等が発生し、手による操作が正しく実行されない場合がある。【００５５】
また、カメラのシャッタースピード、露出、ガンマ値のいずれか一つまたは二つ以上を最適に調整することで、投影時間とは異なる時間帯で画像を撮像することも考えられる。しかし、入出力装置のプロセッサが廉価な低性能なプロセッサである場合、撮像画像の解析および手認識の処理に時間がかかる。また、カメラと入出力装置との通信遅延などが発生した場合、撮像画像の解析および手認識の処理の開始が遅延する。【００５６】
これらの場合、撮像時間と投影時間とを分けていても、撮像時間が徐々にずれて投影時間と重なってしまい、投影画像が写った手を含む画像を撮像することになる。その結果、操作性の劣化に繋がる。【００５７】
（表示優先モード）
図６は、表示優先モードのタイムチャートを示す図であり、図７は、表示優先モード時の投影面を説明する図である。すなわち、各カメラによる撮像画像に指が含まれていない場合に実行されるタイムチャートである。【００５８】
表示優先モードの場合、図７に示すように、投影面に指が検出されていない。したがって、投影処理部１４は、プロジェクター３による投影を優先させて投影し続け、撮像処理部１５は、プロジェクター３による投影中は各カメラによる撮像を抑制する。【００５９】
このため、図６に示すように、プロジェクター３は、例えば毎秒６０回の一定周期で投影面に画像を投影する。各カメラは、プロジェクター３による投影中は投影面の撮像を抑制し、プロジェクター３による投影が行われていないタイミングで投影面を撮像する。【００６０】
つまり、撮像処理部１５は、撮像タイミングになっても、プロジェクター３による投影中である場合には、各カメラを用いた画像の取り込みを抑制し、タイミングをずらして画像を取り込むので、図６のｂに示すように、撮像の遅延が発生する。しかし、ずれる時間は無視できる程度の時間であることから、操作性の確保と視認性の確保の両立を実現できる。【００６１】
（操作優先モード）
図８は、操作優先モードのタイムチャートを示す図であり、図９は、操作優先モード時の投影面を説明する図である。すなわち、図６の状態から、各カメラによる撮像画像に指が含まれていることが検出された場合に実行されるタイムチャートである。【００６２】
操作優先モードの場合、図９に示すように、投影面に指が検出されている。したがって、撮像処理部１５は、プロジェクター３による投影中は各カメラによる撮像を実行し、投影処理部１４は、プロジェクター３による投影を抑制する。【００６３】
このため、図８に示すように、各カメラにより、予め設定された撮像タイミングで投影面の撮像が実行され、表示制御部１６により、撮像画像の解析および手認識が実行される。また、プロジェクター３は、例えば毎秒６０回の一定周期が設定されていても、各カメラによる撮像中は投影を抑制し、各カメラによる撮像が行われていないタイミングで投影する。【００６４】
つまり、図８のｃに示すように、プロジェクター３による投影の遅延が発生する。しかし、投影画像が写っていない手の画像を正確に撮像して解析することができるので、操作性を確保することができる。【００６５】
また、投影処理部１４は、投影画像のうち、指と重なっている投影画像すなわちタップ操作対象の投影画像の照度のみを暗くすることもできる。例えば、図９に示すように、投影されている画像が３つあり、そのうちの１つの画像が指でタップされている例で説明する。【００６６】
この場合、投影処理部１４は、画像認識部１６ｂや管理ＤＢ１２ａから、各投影画像の座標と指の位置を示す座標とから、タップされている投影画像を特定し、特定した投影画像の照度を通常値よりも暗くする。そして、投影処理部１４は、画像認識部１６ｂや管理ＤＢ１２ａを参照し続けることで、図９に示すようにタップ操作によって操作中の投影画像および指の位置を追従し、常に操作中の投影画像の照度を通常値よりも暗くすることができる。【００６７】
［効果］
上述したように、入出力装置１０は、プロジェクター３の投影面に指が検出された場合、プロジェクター３からの投影を抑制し、各カメラによる投影面の撮像を優先させて、指認識を優先的に実行する。また、入出力装置１０は、プロジェクター３の投影面に指が検出されない場合、各カメラによる撮像を抑制し、プロジェクター３からの投影を優先的に実行する。【００６８】
したがって、入出力装置１０は、２つの動作モードを切り替えながら動作することにより、視認性を維持しつつ、指認識の精度を高精度に保つことができる。また、入出力装置１０は、低性能のプロセッサを搭載している場合であっても、視認性と操作性とを両立させることができる。同様に、入出力装置１０は、各カメラとの通信回線が低性能であっても、他の遅延原因を最小限にすることができるので、視認性と操作性とを両立させることができる。
【実施例２】
【００６９】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。【００７０】
［操作優先モード］
例えば、入出力装置１０は、操作優先モードで動作させるとき、投影面の画像撮像が実行されている間は、プロジェクター３からの投影を抑制させる例を説明したが、これに限定されるものではない。例えば、入出力装置１０は、投影面の撮像画像から指の位置の認識が終了するまで、プロジェクター３からの投影を抑制させることもできる。【００７１】
このようにすることで、入出力装置１０は、指の位置などを正確に認識することができる。また、入出力装置１０は、プロジェクター３からの投影を一定時間抑制することができるので、指のタップ操作に追従する際に、投影と撮像の切替を少なくすることができ、高い視認性を維持できる。【００７２】
［システム］
また、図示した装置の各構成は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、任意の単位で分散または統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。【００７３】
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。【００７４】
［ハードウェア］
図１０は、実施例１に係る入出力装置のハードウェア構成例を説明する図である。図１０に示すように、入出力装置１０は、電源１０ａ、通信インタフェース１０ｂ、ＨＤＤ（Hard  Disk  Drive）１０ｃ、メモリ１０ｄ、プロセッサ１０ｅを有する。また、図１０に示した各部は、バス等で相互に接続される。【００７５】
電源１０ａは、外部から供給される電力を取得して各部を動作させる。通信インタフェース１０ｂは、他の装置との通信を制御するインタフェースであり、例えばネットワークインタフェースカードである。ＨＤＤ１０ｃは、図２等に示した機能を動作させるプログラム、ＤＢ、テーブルを記憶する。【００７６】
プロセッサ１０ｅは、図２等に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｃ等から読み出してメモリ１０ｄに展開することで、図２等で説明した各機能を実行するプロセスを動作させる。【００７７】
すなわち、このプロセスは、入出力装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｅは投影処理部１４、撮像処理部１５、表示制御部１６、操作部１７等と同様の機能を有するプログラムをＨＤＤ１０ｃ等から読み出す。そして、プロセッサ１０ｅは、投影処理部１４、撮像処理部１５、表示制御部１６、操作部１７と同様の処理を実行するプロセスを実行する。【００７８】
このように入出力装置１０は、プログラムを読み出して実行することで入出力方法を実行する情報処理装置として動作する。また、入出力装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、入出力装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。【００７９】
［筐体］
また、上記実施例１では、各カメラとプロジェクター３と入出力装置１０が別々の筐体で実現される例を説明したが、これに限定されるものではなく、同じ筐体で実現することもできる。【００８０】
図１１は、実施例２に係る入出力装置のハードウェア構成例を説明する図である。図１０に示すように、入出力装置１００は、電源１０１、通信インタフェース１０２、ＨＤＤ１０３、カメラ１０４、カメラ１０５、プロジェクター１０６、メモリ１０７、プロセッサ１０８を有する。また、図１１に示した各部は、バス等で相互に接続される。【００８１】
電源１０１は、外部から供給される電力を取得して各部を動作させる。通信インタフェース１０２は、他の装置との通信を制御するインタフェースであり、例えばネットワークインタフェースカードである。ＨＤＤ１０３は、図２等に示した機能を動作させるプログラム、ＤＢ、テーブルを記憶する。【００８２】
カメラ１０４は、図１に示したカメラ１と同様の機能を実行し、カメラ１０５は、図１に示したカメラ２と同様の機能を実行し、プロジェクター１０６は、図１に示したプロジェクター３と同様の機能を実行する。【００８３】
プロセッサ１０８は、図１０と同様、図２等に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０３等から読み出してメモリ１０７に展開することで、図２等で説明した各機能を実行するプロセスを動作させる。【００８４】
このように入出力装置１００は、プログラムを読み出して実行することで入出力方法を実行する情報処理装置として動作する。また、入出力装置１００は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、入出力装置１００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
【符号の説明】
【００８５】
１  カメラ
２  カメラ
３  プロジェクター
１０  入出力装置
１１  通信部
１２  記憶部
１２ａ  管理ＤＢ
１２ｂ  フラグＤＢ
１３  制御部
１４  投影処理部
１５  撮像処理部
１６  表示制御部
１６ａ  モード制御部
１６ｂ  画像認識部
１７  操作部
１７ａ  クリッピング操作部
１７ｂ  タップ操作部
【図１】
2016063404.tif 000003
【図２】
2016063404.tif 000004
【図３】
2016063404.tif 000005
【図４】
2016063404.tif 000006
【図５】
2016063404.tif 000007
【図６】
2016063404.tif 000008
【図７】
2016063404.tif 000009
【図８】
2016063404.tif 000010
【図９】
2016063404.tif 000011
【図１０】
2016063404.tif 000012
【図１１】
2016063404.tif 000013
【国際調査報告】
2016063404.tif 000014
2016063404.tif 000015