(57)【要約】【課題】投影画像に対するスタイラスや指による接触に対応する操作を適切に認識して、画像を形成する。【解決手段】投影された画像データに対する操作のための接触を検出し、該接触の位置を特定する位置特定部と、検出された前記接触の各々の中から、誤接触を抽出する抽出部と、特定された前記接触の位置の各々から前記誤接触の位置を除く、接触の位置の軌跡を特定し、特定された該軌跡を基に前記操作の内容に応じた情報を生成する生成部と、を有し、第１の接触が検出されてから、所定の期間に第２の接触が検出された場合、前記抽出部は、前記第１の接触を前記誤接触として抽出する、情報処理装置が提供される。【選択図】図８
2017162334.tif 000002
【特許請求の範囲】
【請求項１】
投影された画像データに対する操作のための接触を検出し、該接触の位置を特定する位置特定部と、
検出された前記接触の各々の中から、誤接触を抽出する抽出部と、
特定された前記接触の位置の各々から前記誤接触の位置を除く、接触の位置の軌跡を特定し、特定された該軌跡を基に前記操作の内容に応じた情報を生成する生成部と、
を有し、
第１の接触が検出されてから、所定の期間に第２の接触が検出された場合、前記抽出部は、前記第１の接触を前記誤接触として抽出する、情報処理装置。
【請求項２】
前記第１の接触の位置と前記第２の接触の位置との距離が所定の距離より短い場合、前記抽出部は、前記第１の接触を前記誤接触として抽出する、請求項１に記載の情報処理装置。
【請求項３】
前記第１の接触の大きさが所定のサイズを上回る場合、前記抽出部は、前記第１の接触を前記誤接触として抽出する、請求項１に記載の情報処理装置。
【請求項４】
前記所定の期間、前記所定の距離、及び前記所定のサイズの入力を受け付ける入力部を有し、
前記入力部が入力を受け付けなかった場合、入力を受け付けなかったパラメータのデフォルト値が設定される、請求項１乃至３のいずれか一項に記載の情報処理装置。
【請求項５】
前記軌跡に対応する描画データを生成する描画データ生成部と、
前記描画データと前記画像データとを合成し、新たに投影する画像データを生成する、画像合成部と、を有する、請求項１乃至４のいずれか一項に記載の情報処理装置。
【請求項６】
画像データの入力を外部機器から受け付ける受け付け部と、
前記画像データに対する操作を実行するための情報である操作情報を外部機器に送信する送信部と、を有し、
前記生成部は、前記軌跡を基に、前記画像データに対する操作を特定し、特定された前記操作に対応する操作情報を生成する、請求項１乃至４のいずれか一項に記載の情報処理装置。
【請求項７】
投影された画像データに対する操作のための接触を検出し、該接触の位置を特定するステップと、
検出された前記接触の各々の中から、誤接触を抽出するステップと、
特定された前記接触の位置の各々から前記誤接触の位置を除く、接触の位置の軌跡を特定し、特定された該軌跡を基に前記操作の内容に応じた情報を生成するステップと、を情報処理装置に実行させるプログラムであって、
第１の接触が検出されてから、所定の期間に第２の接触が検出された場合、前記第１の接触を前記誤接触として抽出される、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、及びプログラムに関する。
【背景技術】
【０００２】
プロジェクタの投影画面に対して、ユーザがスタイラスや指を用いて、描画等をすることが広く行われている。この場合、投影画面に対するスタイラスや指の接触位置の軌跡が特定され、投影画面上の軌跡に対応する箇所に画像が形成される。
【０００３】
ユーザがスタイラスを用いる場合、ユーザのスタイラスを持つ手の一部（以下、手付き部分）が投影画面に触れることがある。手つき部分の軌跡に対応する画像が形成されるのを防止するために、スタイラスによる接触と、手つき部分による接触とを区別し、スタイラスの軌跡の画像のみを形成する方法について様々な提案がされている（例えば、特許文献１）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来提案されている方法を用いると、投影画面に手を接触させ描画等を行う場合、手の接触は、スタイラス使用時の「手付き部分」と認識されてしまい、手を用いて適切に描画等を行うのが難しいという課題があった。
【０００５】
本発明は、上記の課題に鑑みてされたものであって、投影画像に対するスタイラスや指による接触に対応する操作を適切に認識して、該投影画像に対する操作を実行することを目的とする。
【課題を解決するための手段】
【０００６】
一つの態様によれば、投影された画像データに対する操作のための接触を検出し、該接触の位置を特定する位置特定部と、検出された前記接触の各々の中から、誤接触を抽出する抽出部と、特定された前記接触の位置の各々から前記誤接触の位置を除く、接触の位置の軌跡を特定し、特定された該軌跡を基に前記操作の内容に応じた情報を生成する生成部と、を有し、第１の接触が検出されてから、所定の期間に第２の接触が検出された場合、前記抽出部は、前記第１の接触を前記誤接触として抽出する、情報処理装置が提供される。
【発明の効果】
【０００７】
投影画像に対するスタイラスや指による接触に対応する操作を適切に認識して、該投影画像に対する操作を実行することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係るシステム構成図の一例を示す図である。
【図２】第１の実施形態に係る動作シーケンスの一例を示す図である。
【図３】第１の実施形態に係るスクリーンにスタイラス等が接触する様子の一例を示す図である。
【図４】第１の実施形態に係るスタイラスが接触したときの撮影データの一例を示す図である。
【図５】第１の実施形態に係る画像投影装置のハードウエア構成の一例を示す図である。
【図６】第１の実施形態に係るライトカーテンモジュールのハードウエア構成の一例を示す図である。
【図７】第１の実施形態に係る画像投影システムの機能構成の一例を示す図である。
【図８】第１の実施形態に係る動作フローの一例を示す図（その１）である。
【図９】第２の実施形態に係る動作フローの一例を示す図（その２）である。
【図１０】第２の実施形態に係る動作シーケンスの一例を示す図である。
【図１１】第２の実施形態に係る画像投影システムの機能構成の一例を示す図である。
【図１２】第２の実施形態に係る動作フローの一例を示す図である。
【発明を実施するための形態】
【０００９】
［第１の実施形態］
＜システム構成＞
図１を用いて第１の実施形態に係る画像投影システム１について説明する。図１は、第１の実施形態に係る画像投影システム１の一例を示す図である。画像投影システム１は、画像投影装置１０、カメラ２０、ライトカーテンモジュール３０、及びスクリーン４０を有する。
【００１０】
画像投影装置１０は、画像データ（第１の画像データ）の入力を受け付け、第１の画像データをスクリーン４０に投影する。スクリーン４０には投影画像が形成される。
【００１１】
ライトカーテンモジュール３０は、画像投影装置１０の指示を受けて、不可視光をスクリーン４０の面と平行な方向（不可視光射出方向３５）に不可視光を射出する。スタイラス（指示具、ペン）や指がスクリーン４０に接触すると、不可視光は、スタイラス等に反射し、反射光を発生する。ライトカーテンモジュール３０と画像投影装置１０とは、ケーブル等で有線接続されてもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮ等の無線により接続されてもよい。
【００１２】
カメラ２０は、画像投影装置１０とＵＳＢケーブル等により接続されている。カメラ２０は、スクリーン４０を撮影し撮影データを生成する。カメラ２０は、生成された撮影データを画像投影装置１０に送信する。
【００１３】
画像投影装置１０は、撮影データから、スタイラス又は指の接触した位置の座標を特定する。画像投影装置１０は、スタイラス又は指の接触位置の軌跡の座標を算出する。画像投影装置１０は、スタイラス又は指の接触位置の軌跡に対応する画像データ（第２の画像データ）を形成する。画像投影装置は、第１の画像データに第２の画像データを重畳した画像データ（第３の画像データ）を生成し、スクリーン４０に投影する。スクリーン４０には、第３の画像データが投影される。
【００１４】
画像投影装置１０は、描画のためのスタイラスや指による接触と、スタイラス使用時の手付き部分の接触とを区別し、スタイラスや指による描画動作に対応する画像を形成し、手付き部分の接触に対応する画像を形成しない。区別の方法については、後述する。
【００１５】
上述した、実施形態では、画像投影装置１０で、第１の画像データと第２の画像データとを重畳する処理を実行しているが、画像投影装置１０をＰＣ等の外部機器に接続し、外部機器が、撮影データ又は軌跡の座標のデータから画像データを重畳する処理を実行し、画像投影装置１０は、外部機器から新たに生成された画像データを取得してもよい。
【００１６】
＜動作シーケンス＞
図２を用いて、第１の実施形態の動作シーケンスについて説明する。図２は、第１の実施形態に係る動作シーケンスの一例を示す図である。
【００１７】
ステップＳ２０１で、画像投影装置１０は、不可視光の射出を、ライトカーテンモジュール３０に指示する。
【００１８】
ステップＳ２０２で、ライトカーテンモジュール３０は、不可視光の射出を開始する。
【００１９】
ステップＳ２０３で、画像投影装置１０は、入力を受け付けた第１の画像データを、スクリーン４０に投影する。
【００２０】
ステップＳ２０４で、画像投影装置１０は、スクリーン４０の撮影を、カメラ２０に指示する。
【００２１】
ステップＳ２０５で、カメラ２０は、スクリーン４０を撮影し、撮影の結果を撮影データとして記憶する。
【００２２】
ステップＳ２０６で、カメラ２０は、撮影データを画像投影装置１０に送信する。
【００２３】
ステップＳ２０７で、画像投影装置１０は、撮影データを受信すると、スクリーン４０へのスタイラスや指の接触を検出し、接触位置のスクリーン４０上の座標を算出する。画像投影装置１０は、所定の期間の撮影データからスタイラス等の接触位置の軌跡の座標を算出する。
【００２４】
画像投影装置１０は、スタイラス又は指による投影されている第１の画像データに対する、操作のための接触と、スタイラス使用時の手付き部分の接触とを、接触を検出するタイミングから区別する。画像投影装置１０は、スタイラス又は指による接触と、スタイラス使用時の手付き部分の接触とを、スクリーン４０上に形成される接触点の面積により区別する。或いは、画像投影装置１０は、接触を検出するタイミング及び接触点の面積から、スタイラス又は指による接触と、スタイラス使用時の手付き部分の接触とを区別する。
【００２５】
ステップＳ２０８で、画像投影装置１０は、スタイラス等の接触位置の軌跡に対応する画像データ（第２の画像データ）を生成する。
【００２６】
ステップＳ２０９で、画像投影装置１０は、第１の画像データと、第２の画像データとを重畳した画像データを、スクリーン４０に投影する。
【００２７】
次に、図３を用いて、接触を検出するタイミングについて説明する。図３は、スクリーン４０にスタイラス６０等が接触するタイミングの一例を示す図である。
【００２８】
図３の（Ａ）は、指６５がスクリーン４０に接触する様子を示している。画像投影装置１０は、撮影データから指６５が接触していることを検出する。
【００２９】
図３の（Ｂ１）及び（Ｂ２）は、スタイラス６０を用いるときに手付き部分５５が、スクリーン４０に接触する様子を示している。ユーザは、スタイラス６０を用いて描画する場合、描画の動作をしやすいよう、まず、図３の（Ｂ１）のように、スクリーン４０に手付き部分５５を接触させ、次に、図３の（Ｂ２）のように、ユーザは、スタイラス６０をスクリーン４０に接触させることが多い。
【００３０】
所定の領域内に、第１の接触を検出してから所定の期間ΔＴの範囲内に、第２の接触を検出した場合、画像投影装置１０は、第１の接触を手付き部分５５の接触として抽出する。この場合、画像投影装置１０は、手付き部分５５の接触と抽出された部分を除いて、第２の画像データを生成する。ここで、所定の領域は、固定サイズの領域が設定される。例えば、第１の接触の位置の座標が、第２の接触の位置の座標から、縦方向（Ｙ軸方向）及び横方向（Ｘ軸方向）１００画素以内に存在する場合、画像投影装置１０は、第１の接触の位置は、所定の領域に含まれると判断してもよい。また、一般的な人間の手の大きさから所定の領域のサイズを設定してもよい。例えば、第１の接触の位置の座標が、第２の接触の位置の座標から１０ｃｍ以内に存在する場合、画像投影装置１０は、第１の接触の位置は、所定の領域に含まれると判断してもよい。所定の期間ΔＴは、一般的なユーザが手付き部分５５をスクリーン４０に接触させてからスタイラス６０をスクリーン４０に接触させる時間を基に設定することが好ましい。所定の期間ΔＴには、比較的短い時間、例えば、５００ｍｓ等が設定される。
【００３１】
次に、図４を用いて、スタイラス等が接触したときの撮影データについて説明する。
【００３２】
図４の（Ａ）は、指又はスタイラスがスクリーン４０に接触しているときの撮影データを示している。この場合、手付き部分はスクリーン４０に接触していない。指等の接触により、ライトカーテンモジュール３０からの不可視光が遮られた部分において、不可視光が、反射する。このため、撮影データの指等の接触位置以外の領域４２は真っ黒であり、撮影データの指等の接触位置４１は、高い輝度を有する。
【００３３】
図４の（Ｂ１）は、手付き部分が、スクリーン４０に接触しているときの撮影データを示している。この場合も、手付き部分の接触により、ライトカーテンモジュール３０からの不可視光が遮られ、不可視光が反射する。このため、撮影データの手付き部分の接触位置以外の領域４４は真っ黒であり、撮影データの手付き部分の接触位置４３は高い輝度を有する。
【００３４】
図４の（Ｂ２）は、図４の（Ｂ１）から所定の期間経過後に、手付き部分に加えて、スタイラスがスクリーン４０に接触しているときの撮影データを示している。この場合も図４のＢ１等と同様に、撮影データのスタイラス等の接触位置以外の領域４６は、真っ黒であり、撮影データの手付き部分の接触位置４３及びスタイラスの接触位置４５は、高い輝度を有する。
【００３５】
図４の（Ｂ１）及び（Ｂ２）に示すように手付き部分の接触位置４３のサイズは、指の接触位置４１のサイズ及びスタイラスの接触位置４５のサイズと比べて大きくなる。このため、画像投影装置１０は、接触位置のサイズが所定のサイズより大きい場合、手付き部分の接触として抽出する。この場合、画像投影装置１０は、手付き部分の接触として抽出された位置を除いて、第２の画像データを生成する。
【００３６】
なお、スタイラスを用いるときでも手付き部分がスクリーン４０に接触しない場合には、指が接触する場合と同様の処理が実行される。
【００３７】
＜ハードウエア構成＞
（１）画像投影装置
図５は、第１の実施形態に係る画像投影装置１０のハードウエア構成の一例を示す図である。画像投影装置１０は、画像投影装置１０全体の動作を制御するＣＰＵ１００１、ＣＰＵ１００１の駆動に用いられるプログラムを記憶したＲＯＭ１００２、ＣＰＵ１００１のワークエリアとして使用されるＲＡＭ１００３を備えている。さらに、画像投影装置１０は、画像データ、画像投影装置１０用のプログラム等の各種データを記憶するメモリモジュール１００４を備えている。
【００３８】
画像投影装置１０は、有線又は無線のネットワークを利用してデータ通信するための複数のネットワークＩ／Ｆ１００５を有する。
【００３９】
画像投影装置１０は、カメラ２０、ライトカーテンモジュール３０、及びＰＣ等の外部機器と接続するためのケーブルＩ／Ｆ１００６を有する。ケーブルＩ／Ｆ１００６は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）  Ｉ／Ｆポートにより実現される。
【００４０】
画像投影装置１０は、ＰＣ等の外部機器から画像データを受信するための画像信号受付Ｉ／Ｆ１００７を有する。画像信号受付Ｉ／Ｆ１００７は、入力される画像信号のフォーマット毎に設けられる。例えば、画像信号受付Ｉ／Ｆ１００７は、Ｄ−Ｓｕｂ（Ｄ−ｓｕｂｍｉｎｉａｔｕｒｅ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）、又はＶＧＡ（Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ）のフォーマットに準拠した画像データの送受信を行う。
【００４１】
画像投影装置１０は、画像信号処理モジュール１００８を有し、画像信号処理モジュール１００８は、画像信号受付１００７が受信した画像データを処理する。
【００４２】
画像投影装置１０は、操作受付モジュール１００９を有する。操作受付モジュール１００９は、画像投影装置１０のユーザからの操作を受け付けるための装置であり、例えば、操作キーにより実現される。
【００４３】
画像投影装置１０は、光学モジュール１０１０を有する。光学モジュール１０１０は、投影される画像を生成する装置である。画像投影装置１０が、ＤＬＰ（Ｄｉｇｉｔａｌ  Ｌｉｇｈｔ  Ｐｒｏｃｅｓｓｉｎｇ）プロジェクタの場合、ＤＭＤ（Ｄｉｇｉｔａｌ  Ｍｉｒｒｏｒ  Ｄｅｖｉｃｅ）又はカラーホイールにより実現される。
【００４４】
画像投影装置１０は、ランプ１０１１とランプ制御モジュール１０１２とを有する。ランプ制御モジュール１０１２の指示に基づいて、ランプ１０１１は、発光する。
【００４５】
画像投影装置１０は、ファン１０１３を有する。ファン１０１３は、画像投影装置１０の冷却に用いられる。
【００４６】
画像投影装置１０では、上述した装置が、相互にバスラインＢで接続される。なお、画像投影装置１０は、カメラを有してもよい。ＲＯＭ１００２等に格納したプログラムをＣＰＵ１００１が実行すること等により、後述する画像投影装置１０の各機能が実現される。
【００４７】
（２）ライトカーテンモジュール
図６は、第１の実施形態に係るライトカーテンモジュール３０のハードウエア構成の一例を示す図である。ライトカーテンモジュール３０は、ライトカーテンモジュール３０全体の動作を制御するＣＰＵ３００１、ＣＰＵ３００１の駆動に用いられるプログラムを記憶したＲＯＭ３００２、ＣＰＵ３００１のワークエリアとして使用されるＲＡＭ３００３を備えている。
【００４８】
ライトカーテンモジュール３０は、光射出モジュール３００４を有し、光射出モジュール３００４は、不可視光を射出する。また、ライトカーテンモジュール３０は、ケーブルＩ／Ｆ３００５を有する。ケーブルＩ／Ｆ３００５は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）  Ｉ／Ｆポートにより実現される。
【００４９】
ライトカーテンモジュール３０では、上述した装置が、相互にバスラインＢで接続される。ＲＯＭ３００２に格納したプログラムをＣＰＵ３００１が、実行すること等により、後述する、ライトカーテンモジュール３０の各機能が実現される。
【００５０】
＜機能構成＞
図７を用いて、第１の実施形態に係る画像投影システム１の機能構成について説明する。
【００５１】
（１）画像投影装置
画像投影装置１０は、機器制御部１０５、送受信部１１０、投影部１２０、画像入力受付部１３０、画像編集部１４０、位置座標算出部１５０、手付き抽出部１６０、描画部１７０、情報記憶部１８０、及び入力部１９０を有する。情報記憶部１８０は、投影データ記憶部１８１、及び手付き抽出設定記憶部１８２を有する。
【００５２】
機器制御部１０５は、カメラ２０にスクリーン４０の撮影指示をする。機器制御部１０５は、ライトカーテンモジュール３０に不可視光の射出を指示する。また、機器制御部１０５は、画像投影装置１０内の各機能ブロックに対する制御を行う。
【００５３】
送受信部１１０は、ネットワーク又はケーブル等を介して、カメラ２０及びライトカーテンモジュール３０との間で各種データの送受信を行う。
【００５４】
投影部１２０は、画像編集部１４０から画像データを取得し、取得した画像データをスクリーン４０に投影する。
【００５５】
画像入力受付部１３０は、ＰＣ、タブレット端末、及びスマートフォン等の外部機器から画像の入力を受け付ける（第１の画像データの入力受け付け）。画像の入力には、ＨＤＭＩ、及びＶＧＡ等のインタフェースが用いられてもよい。また、画像入力受付部１３０は、送受信部１１０を介して、外部機器から画像の入力を受け付けてもよい。
【００５６】
画像編集部１４０は、画像入力受付部１３０が受け付けた第１の画像データと、描画部１７０により生成された第２の画像データとを合成する処理を行う。また、画像編集部１４０は、変倍等の投影する画像に対する編集処理を実行する。なお、画像編集部１４０は、投影データ記憶部１８１から、第１の画像データを取得してもよい。
【００５７】
位置座標算出部１５０は、カメラ２０により撮影された撮影データを受信し、撮影データを基に、スタイラス等による投影されている画像データに対する接触を検出し、検出された接触の位置の座標を特定する。
【００５８】
手付き抽出部１６０は、位置座標算出部１５０により特定された接触位置の各々について、描画のためのスタイラスや指による接触によるものか、スタイラス使用時の手付き部分の接触によるものかを判断し、手付き部分による誤接触を抽出する。手付き抽出部１６０は、抽出設定記憶部１８２に記憶されている情報を用いて、抽出の処理を実行する。
【００５９】
描画部１７０は、位置座標算出部１５０が特定したスタイラスや指による接触の軌跡の画像を生成する（第２の画像データ）。第２の画像データを生成するときに、描画部１７０は、手付き抽出部１６０から抽出された誤接触の情報を取得し、手付き部分による誤接触として抽出された接触位置には画像を生成しない。ここで、接触の軌跡は、スタイラスや指による投影されている画像データに対する一以上の接触を基に形成される。
【００６０】
情報記憶部１８０は、各種情報を記憶する。投影データ記憶部１８１は、ＰＣ等から取得した第１の画像データを記憶する。抽出設定記憶部１８２は、手付き抽出部１６０が、手付き部分による接触を抽出するために用いる情報が記憶される。抽出設定記憶部１８２は、第１の接触を検出してから第２の接触を検出するまでの所定の期間ΔＴを記憶する。又、所定の領域のサイズに関する情報を記憶する。手付き抽出部１６０は、所定の期間ΔＴの範囲内に、所定の領域内に第１の接触と第２の接触とを検出した場合、第１の接触は、手付き部分による接触と判断し、第１の接触を誤接触として抽出する。また、抽出設定記憶部１８２は、手付き部分のサイズに係る所定のサイズを記憶し、手付き抽出部１６０は、接触位置のサイズが、所定のサイズを上回る場合は、手付き部分による接触として抽出する。
【００６１】
なお、抽出設定記憶部１８２は、所定の領域のサイズに代えて、第１の接触の位置と第２の接触の位置との所定の距離を記憶してもよい。この場合、手付き抽出部１６０は、第１の接触が検出されてから、第２の接触が検知されるまでの時間が所定の期間ΔＴ以下であって、第１の接触の位置と第２の接触の位置との距離が所定の距離以下の場合、第１の接触を手付きによる接触と判断し、第１の接触を誤接触として抽出する。
【００６２】
入力部１９０は、画像投影装置１０に対するユーザからの指示を受け付ける。
【００６３】
（２）カメラ
図７を参照してカメラ２０の機能構成について説明する。カメラ２０は、送受信部２１０と、撮像部２２０とを有する。送受信部２１０は、ネットワーク又はケーブル等を介して画像投影装置１０との間でテータの送受信を行う。撮像部２２０は、画像投影装置１０の指示を受けて、スクリーン４０を撮影し、撮影データを生成する。撮像部２２０は、生成された撮影データを、画像投影装置１０に送信する。
【００６４】
（３）ライトカーテンモジュール
図７を参照してライトカーテンモジュール３０の機能構成について説明する。ライトカーテンモジュール３０は、送受信部３１０と、光射出部３２０とを有する。送受信部３１０は、ネットワーク又はケーブル等を介して画像投影装置１０との間でデータの送受信を行う。光射出部３２０は、画像投影装置１０の指示を受けて、スクリーン４０の面と平行な方向（図１の不可視光射出方向３５）に不可視光を射出する。
【００６５】
＜動作フロー＞
図８及び図９を用いて、画像投影装置１０の動作フローについて説明する。
【００６６】
（１）動作フロー（その１）
図８は、第１の実施形態に係る画像投影装置１０の動作フローの一例について示す図である。
【００６７】
ステップＳ８０１で、画像入力受付部１３０が、ＰＣ等から第１の画像データの入力を受け付けると、投影部１２０は、第１の画像データをスクリーン４０に投影する。なお、入力部１９０がユーザからの投影指示を受け付けたことに応じて、投影部１２０が、投影データ記憶部１８１に記憶されている第１の画像データを投影してもよい。
【００６８】
ステップＳ８０２で、機器制御部１０５は、ライトカーテンモジュール３０に、不可視光の射出を指示する。
【００６９】
ステップＳ８０３で、機器制御部１０５は、カメラ２０に、スクリーン４０の撮影を指示する。カメラ２０はスクリーン４０を撮影し、撮影データを生成する。
【００７０】
ステップＳ８０４で、位置座標算出部１５０は、カメラ２０から撮影データを取得し、スクリーン４０へのスタイラス等の接触位置の座標を算出する。
【００７１】
ステップＳ８０５乃至ステップＳ８０８で、手付き抽出部１６０は、位置座標算出部１５０により算出された接触位置の各々が、スタイラスや指による描画による接触によるものか、手付き部分の接触によるものかの判断を行い、手付き部分により誤接触を抽出する。
【００７２】
ステップＳ８０５で、手付き抽出部１６０は、位置座標算出部１５０により算出された接触位置が、スクリーン４０の規定の領域内の最初の接触（第１の接触）か否かを判断する。第１の接触と判断された場合（ステップＳ８０５  Ｙｅｓ）、ステップＳ８０６に進む。第１の接触と判断されなかった場合（ステップＳ８０５  Ｎｏ）、ステップＳ８０９に進む。ここで、スクリーン４０の規定の領域内とは、例えば、ライトカーテンモジュール３０により不可視光が射出される領域である。
【００７３】
ステップＳ８０６で、手付き抽出部１６０は、抽出設定記憶部１８２を参照し、所定の期間ΔＴを特定する。手付き抽出部１６０は、第１の接触が検出されたから所定の期間ΔＴの範囲内に、位置座標算出部１５０により検出された接触の位置の情報を取得する。
【００７４】
ステップＳ８０７で、手付き抽出部１６０は、抽出設定記憶部１８２を参照し、所定の領域のサイズを特定する。そして、手付き抽出部１６０は、第１の接触が検出されてから所定の期間ΔＴ内に、所定の領域内に２回目の接触（第２の接触）が、検出されたか否かを判断する。第２の接触が検出された場合（ステップＳ８０７  Ｙｅｓ）、ステップＳ８０８に進む。第２の接触が検出されなかった場合（ステップＳ８０７  Ｎｏ）、ステップＳ８０９に進む。
【００７５】
ここで、所定の領域は、第１の接触を起点とする、所定の距離の範囲内に形成されてもよい。
【００７６】
ステップＳ８０８で、手付き抽出部１６０は、第１の接触に対応する接触位置を描画部１７０に通知する。また、手付き抽出部１６０は、通知と共に、第１の接触に対応する接触位置は、手付き部分による誤接触に対応するため、描画しないことを、描画部１７０に指示する。
【００７７】
ステップＳ８０９で、描画部１７０は、位置座標算出部１５０により特定された、スタイラスや指による接触の軌跡の画像データを生成する（第２の画像データ）。第２の画像データを生成するときに、描画部１７０は、手付き部分に対応する部分として手付き抽出部１６０から通知された接触位置を、描画しない。つまり、描画部１７０は、検出された接触の位置の各々から手付き部分による接触位置（誤接触位置）を除く、接触の位置の軌跡に対応する画像データを生成する。
【００７８】
ステップＳ８１０で、画像編集部１４０は、第１の画像データと第２の画像データとを合成した、第３の画像データを生成する。
【００７９】
ステップＳ８１１で、投影部１２０は、第３の画像データを画像編集部１４０から取得して、スクリーン４０に投影する。
【００８０】
なお、第２の画像データは、予め設定された、色や太さに基づいて生成される。また、スタイラス等による接触が消しゴムとしての動作することが設定されている場合、軌跡に対応する部分に生成されている画像が消去される。
【００８１】
なお、ステップＳ８０６及びステップＳ８０７において、入力部１９０が、所定の期間ΔＴ、及び所定の領域（所定の距離）を、ユーザから受け付け、画像投影装置１０に設定している場合、手付き抽出部１６０は、ユーザにより設定された所定の期間ΔＴを用いて、第２の接触を検出する。所定の期間ΔＴが、ユーザにより設定されていない場合は、画像投影装置１０に設定されている所定の期間ΔＴのパラメータのデフォルト値を用いて、第２の接触を検出する。
【００８２】
動作フロー（その２）
図９は、第１の実施形態に係る画像投影装置１０の動作フローの一例について示す図である。図９の動作フローでは、手付き抽出部１６０が、第１の接触位置のサイズが所定のサイズか否かを判断し、所定のサイズを上回る場合、手付き部分による接触と判断し、誤接触として抽出することを特徴としている。
【００８３】
ステップＳ９０１乃至ステップＳ９０７については、ステップＳ８０１乃至ステップＳ８０７と同じであるため、説明を省略する。
【００８４】
ステップＳ９０８で、手付き抽出部１６０は、抽出設定記憶部１８２を参照し、手付き部分に係る所定のサイズを特定する。そして、第１の接触のサイズが、所定のサイズを上回るか否か判断する。
【００８５】
所定のサイズを上回る場合（ステップＳ９０８  Ｙｅｓ）、ステップＳ９０９に進む。一方、所定のサイズ以下の場合（ステップＳ９０８  Ｎｏ）、ステップＳ９１０に進む。
【００８６】
ステップＳ９０９乃至ステップＳ９１２は、ステップＳ８０８乃至ステップＳ８１１と同じであるため、説明を省略する。
【００８７】
なお、ステップＳ９０８において、入力部１９０が、所定のサイズを、ユーザから受け付け、画像投影装置１０に設定している場合、手付き抽出部１６０は、ユーザにより設定された所定のサイズを用いて、第２の接触を検出する。所定のサイズが、ユーザにより設定されていない場合は、画像投影装置１０に設定されている所定のサイズのパラメータのデフォルト値を用いて、第２の接触を検出する。
【００８８】
［第２の実施形態］
次に、第２の実施形態について説明する。第１の実施形態と共通する部分については、説明を省略し、異なる部分についてのみ説明する。
【００８９】
＜システム構成＞
第２の実施形態に係る画像投影システム１は、画像投影装置１０、カメラ２０、ライトカーテンモジュール３０、及び外部機器５０を有する。ここで、外部機器５０はＰＣ等である。
【００９０】
第２の実施形態では、画像投影装置１０が、外部機器５０から受信した画像データをスクリーン４０に投影し、投影された画像データに対する接触を検出し、ユーザによる所定の操作と認識することを特徴としている。
【００９１】
外部機器５０は、例えば、画像投影装置１０と、映像入力用のケーブル及び操作信号の送受信用のケーブルとにより接続される。操作信号の送受信用のケーブルは、例えば、ＵＳＢケーブルにより実現される。
【００９２】
画像投影装置１０は、外部機器５０から画像データの入力を受け付け、画像データをスクリーン４０に投影する。画像投影装置１０は、第１の実施形態と同様の方法を用いて、スクリーン４０上に投影された画像データへの接触を検出し、接触内容に対応する操作情報を生成し、生成された操作情報を、外部機器５０に送信する。
【００９３】
外部機器５０は、受信した操作情報に対する操作を画像データに対して実行する。ここで、操作情報とは、画像データに対する、クリック操作、タップ操作、及びドラッグ操作等である。
【００９４】
なお、画像投影装置１０と、外部機器５０とは、無線ＬＡＮ等により接続されてもよい。
【００９５】
＜動作シーケンス＞
図１０を用いて、第２の実施形態に係る動作シーケンスについて説明する。
【００９６】
ステップＳ１００１で、外部機器５０は、画像データを、画像投影装置１０に入力すると共に、画像データの投影を指示する。
【００９７】
ステップＳ１００２乃至ステップＳ１００８の手順については、ステップＳ２０１乃至ステップＳ２０７の手順と同様であるため、説明を省略する。
【００９８】
ステップＳ１００９で、画像投影装置１０は、接触内容に対応する操作情報を生成する。
【００９９】
ステップＳ１０１０で、画像投影装置１０は、操作情報を外部機器５０に送信する。
【０１００】
ステップＳ１０１１で、外部機器５０は、操作情報に対する操作を、画像データに実行し、画像データを更新する。ここで、画像データは、例えば、外部機器５０の画面に表示されているアプリケーションのウィンドウである。
【０１０１】
ステップＳ１０１２で、外部機器５０は、更新された画像データを画像投影装置１０に送信する。
【０１０２】
ステップＳ１０１３で、画像投影装置１０は、更新された画像データをスクリーン４０に投影する。
【０１０３】
＜機能構成＞
図１１を用いて、第２の実施形態に係る画像投影システム１の機能構成について説明する。
【０１０４】
（１）画像投影装置
画像投影装置１０は、機器制御部１０５、送受信部１１０、投影部１２０、画像入力受付部１３０、画像編集部１４０、位置座標算出部１５０、手付き抽出部１６０、描画部１７０、情報記憶部１８０、入力部１９０、及び操作情報変換部１９５を有する。
【０１０５】
機器制御部１０５は、画像投影装置１０を、描画モード、及び操作モードのいずれかのモードで動作させる。
【０１０６】
画像投影装置１０が描画モードで動作している場合、機器制御部１０５は、位置座標算出部１５０により接触が検出されたときに、描画部１７０及び画像編集部１４０を動作させる。
【０１０７】
画像投影装置１０が操作モードで動作している場合、機器制御部１０５は、位置座標算出部１５０により接触が検出されたときに、操作情報変換部１９５を動作させる。
【０１０８】
操作情報変換部１９５は、位置座標算出部１５０が特定したスタイラスや指による接触の軌跡から、投影されている画像データが、ユーザから受け付けた操作を特定する。操作情報変換部１９５は、特定された操作に対応する操作情報を生成する。操作情報変換部１９５は、手付き抽出部１６０から抽出された誤接触の位置の情報を取得し、手付き部分の接触として抽出された接触位置を、操作を特定するのに用いない。ここで、接触の軌跡は、投影されている画像データに対する一以上の接触を基に形成される。生成される操作情報は、例えば、ＵＳＢ  ＨＩＤ（ＵＳＢ  Ｈｕｍａｎ  Ｉｎｔｅｒｆａｃｅ  Ｄｅｖｉｃｅ）のフォーマットに従って生成される。
【０１０９】
なお、機器制御部１０５、送受信部１１０、投影部１２０、画像入力受付部１３０、画像編集部１４０、位置座標算出部１５０、手付き抽出部１６０、描画部１７０、情報記憶部１８０、及び入力部１９０は、第１の実施形態と同様の機能を有する。
【０１１０】
（２）外部機器５０
外部機器５０は、送受信部５１０、画像出力部５２０、及び処理実行部５３０を有する。
【０１１１】
送受信部５１０は、画像投影装置１０との間で各種データの送受信を行う。
【０１１２】
画像出力部５２０は、送受信部５１０を介して、画像データを、画像投影装置１０に送信する。
【０１１３】
処理実行部５３０は、受信した操作情報に対応する操作を、画像投影装置１０を介して出力している画像データに対して実行する。
【０１１４】
なお、ライトカーテンモジュール３０とカメラ２０は、第１の実施形態と同様の機能構成を有する。
【０１１５】
＜動作フロー＞
図１２を用いて、第２の実施形態に係る動作フローについて説明する。
【０１１６】
ステップＳ１２０１で、画像入力受付部１３０が、外部機器５０から画像データ（第１の画像データ）の入力を受け付けると、投影部１２０は、第１の画像データをスクリーン４０に投影する。
【０１１７】
ステップＳ１２０２乃至ステップＳ１２０８の手順については、ステップＳ８０２乃至ステップＳ８０８と同じであるため、説明を省略する。
【０１１８】
ステップＳ１２０９で、機器制御部１０５は、画像投影装置１０が操作モードで動作しているか否かの判断を行う。操作モードで動作している場合（ステップＳ１２０９  Ｙｅｓ）、ステップＳ１２１０に進む。操作モードで動作していない場合、つまり描画モードで動作している場合（ステップＳ１２０９  Ｎｏ）、ステップＳ１２１２に進む。
【０１１９】
ステップＳ１２１０で、操作情報変換部１９５は、スタイラスや指による接触の軌跡から、投影されている画像データが、ユーザから受け付けた操作を特定する。なお、この際に、操作情報変換部１９５は、抽出された誤接触の位置を特定する情報を、手付き抽出部１６０から取得し、手付き部分の接触として抽出された接触位置を、操作を特定するのに用いない。操作情報変換部１９５は、特定された操作に対応する操作情報を生成し、外部機器５０に送信する。
【０１２０】
ステップＳ１２１１で、画像入力受付部１３０は、操作情報に対応する処理が実行された画像データ（第４の画像データ）を受信する。
【０１２１】
ステップＳ１２１２及びステップＳ１２１３の手順は、ステップＳ８０９及びステップＳ８１０と同じであるため、説明を省略する。
【０１２２】
ステップＳ１２１４で、投影部１２０は、画像編集部１４０から取得した第３の画像データ、又は画像入力受付部１３０が受信した第４の画像データを投影する。
【０１２３】
なお、ステップＳ１２０７の後に、ステップＳ９０８と同様の処理、すなわち、第１の接触のサイズが、所定のサイズを上回るか否かの処理が実行されてもよい。また、第２の実施形態でも、第１の実施形態と同様に、入力部１９０が、所定の期間ΔＴ、所定の領域（所定の距離）、及び手付き部分に係る所定のサイズをユーザから受け付けて、画像投影装置１０に設定されている場合、手付き抽出部１６０は、ユーザにより設定された所定の期間ΔＴ等の設定値を用いて、第２の接触を検出する。一方、所定の期間ΔＴ等が、ユーザにより設定されていない場合は、画像投影装置１０に設定されているパラメータのデフォルト値を用いて、第２の接触を検出する。
【０１２４】
［その他］
上述した実施形態では、画像投影装置１０とカメラ２０とは別々の装置で実現されていたが、画像投影装置１０にカメラを設け、投影された画像データを撮影してもよい。上述した実施形態を、ＰＣやサーバ等の情報処理装置で実現可能なことは勿論である。
【０１２５】
また、画像投影装置１０とＰＣ等の外部機器５０との機能分担は、上述した実施形態に限定されないのは、勿論である。例えば、位置座標算出部１５０、手付き抽出部１６０、描画部１７０、及び操作情報変換部１９５と同様の機能が、外部機器５０に設けられてもよい。
【０１２６】
また、上述した実施形態は、画像投影装置１０以外にも適用可能である。例えば、電子黒板（Ｉｎｔｅｒａｃｔｉｖｅ  Ｗｈｉｔｅ  Ｂｏａｒｄ）に、上述した実施形態を適用可能なことは勿論である。
【０１２７】
位置座標算出部１５０は、位置特定部の一例である。手付き抽出部１６０は、抽出部の一例である。画像編集部１４０及び操作情報変換部１９５は、生成部の一例である。画像入力受付部１３０は、受け付け部の一例である。送受信部１１０は、送信部の一例である。
【０１２８】
上述した実施の形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体を、画像投影装置１０に供給してもよい。そして、画像投影装置１０が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、上述の実施形態が、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は、いずれかの実施の形態を構成することになる。ここで、記憶媒体は、記録媒体または非一時的な記憶媒体である。
【０１２９】
また、コンピュータ装置が読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではない。そのプログラムコードの指示に従って、コンピュータ装置上で動作しているオペレーティングシステム（ＯＳ）等が実際の処理の一部または全部を行ってもよい。さらに、その処理によって前述した実施形態の機能が実現されてもよいことは言うまでもない。
【０１３０】
以上、本発明の好ましい実施形態について説明したが、本発明はこうした実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【０１３１】
１  画像投影システム
１０  画像投影装置
２０  カメラ
３０  ライトカーテンモジュール
３５  不可視光射出方向
４０  スクリーン
５０  外部機器
１０５  機器制御部
１１０  送受信部
１２０  投影部
１３０  画像入力受付部
１４０  画像編集部
１５０  位置座標算出部
１６０  抽出部
１７０  描画部
１８０  情報記憶部
１８１  投影データ記憶部
１８２  抽出設定記憶部
１９０  入力部
１９５  操作情報変換部
２１０  送受信部
２２０  撮像部
３１０  送受信部
３２０  光射出部
５１０  送受信部
５２０  画像出力部
５３０  処理実行部
【先行技術文献】
【特許文献】
【０１３２】
【特許文献１】特開２０１３−１１４６８８号
【図１】
2017162334.tif 000003
【図２】
2017162334.tif 000004
【図３】
2017162334.tif 000005
【図４】
2017162334.tif 000006
【図５】
2017162334.tif 000007
【図６】
2017162334.tif 000008
【図７】
2017162334.tif 000009
【図８】
2017162334.tif 000010
【図９】
2017162334.tif 000011
【図１０】
2017162334.tif 000012
【図１１】
2017162334.tif 000013
【図１２】
2017162334.tif 000014