(57)【要約】【課題】入力パネルに接触した物体の接触面の色や模様を取得することが可能な画像投影システム等を提供すること。【解決手段】画像投影システムは、光源からの赤外光を内部に導波させる入力パネルと、入力パネルの背面側に重ねて配置された投影スクリーンと、入力パネルの表面に接触した物体により生じた散乱光を背面側から撮像する赤外線カメラと、投影スクリーンに画像を背面側から投影するプロジェクタと、入力パネルを背面側から撮像する可視光カメラと、処理部とを備える。処理部は、投影用の元画像を生成し、赤外線カメラで撮像された赤外線画像を２値化してマスク画像を生成し、元画像とマスク画像とを合成して合成画像を生成し、合成画像をプロジェクタに送信して投影させ、可視光カメラで撮像された可視光画像とマスク画像とを合成して接触部分に対応する領域の画像を抽出した接触面画像を生成し、接触面画像に基づいて新たな元画像を生成する。【選択図】図１
2018042230.tif 000002
【特許請求の範囲】
【請求項１】
光源からの赤外光を内部に導波させる入力パネルと、
前記入力パネルの背面側に重ねて配置された投影スクリーンと、
前記入力パネルの表面に接触した物体により生じた散乱光を背面側から撮像する赤外線カメラと、
前記投影スクリーンに画像を背面側から投影するプロジェクタと、
前記入力パネルを背面側から撮像する可視光カメラと、
処理部と、を備えた画像投影システムであって、
前記処理部は、
投影用の元画像を生成する元画像生成部と、
前記赤外線カメラで撮像された赤外線画像を２値化してマスク画像を生成するマスク画像生成部と、
前記元画像と前記マスク画像とを合成して合成画像を生成する合成画像生成部と、
前記合成画像を前記プロジェクタに送信して投影させる投影制御部と、
前記合成画像の投影完了後に前記可視光カメラに撮像を行わせる撮像制御部と、
前記可視光カメラで撮像された可視光画像と前記マスク画像とを合成して、前記可視光画像から前記物体と前記入力パネルとの接触部分に対応する領域の画像を抽出した接触面画像を生成する接触面画像生成部と、を含み、
前記元画像生成部は、
前記接触面画像に基づいて前記元画像を生成し、
前記合成画像生成部は、
前記合成画像を投影した場合に前記接触部分が前記可視光カメラから見て単色になるような前記合成画像を生成する、画像投影システム。
【請求項２】
請求項１において、
前記プロジェクタは、
前記合成画像の投影が完了した場合に、通知情報を前記処理部に送信し、
前記撮像制御部は、
前記通知情報を受信した場合に、前記可視光カメラに撮像を行わせる、画像投影システム。
【請求項３】
請求項１において、
前記撮像制御部は、
前記可視光画像のうち前記接触部分に対応する領域を前記合成画像における当該領域と同一色にした画像と前記合成画像とを比較して差分を算出し、算出した差分が許容範囲内となるまで、前記可視光カメラによる撮像を繰り返し行わせる、画像投影システム。
【請求項４】
請求項１において、
前記撮像制御部は、
前記合成画像を前記プロジェクタに送信してから所定時間経過後に、前記可視光カメラに撮像を行わせる、画像投影システム。
【請求項５】
請求項１乃至４のいずれか１項において、
前記元画像生成部は、
前記入力パネルに接触した前記物体の移動軌跡を前記接触面画像の色又は模様を用いて描画した画像を前記元画像として生成する、画像投影システム。
【請求項６】
請求項１乃至５のいずれか１項において、
前記入力パネルに対する前記物体の接触を検出するための圧力センサを更に備え、
前記マスク画像生成部は、
前記入力パネルに対する前記物体の接触が検出された場合に、前記赤外線画像を第１の閾値で２値化してマスク画像を生成し、生成したマスク画像における白画素の数が所定値未満である場合に、前記赤外線画像を前記第１の閾値未満の第２の閾値で２値化してマスク画像を再度生成する、画像投影システム。
【請求項７】
光源からの赤外光を内部に導波させる入力パネルと、前記入力パネルの背面側に重ねて配置された投影スクリーンと、前記入力パネルの表面に接触した物体により生じた散乱光を背面側から撮像する赤外線カメラと、前記投影スクリーンに画像を背面側から投影するプロジェクタと、前記入力パネルを背面側から撮像する可視光カメラと、を備えた画像投影システムのためのプログラムであって、
投影用の元画像を生成する元画像生成部と、
前記赤外線カメラで撮像された赤外線画像を２値化してマスク画像を生成するマスク画像生成部と、
前記元画像と前記マスク画像とを合成して合成画像を生成する合成画像生成部と、
前記合成画像を前記プロジェクタに送信して投影させる投影制御部と、
前記合成画像の投影完了後に前記可視光カメラに撮像を行わせる撮像制御部と、
前記可視光カメラで撮像された可視光画像と前記マスク画像とを合成して、前記可視光画像から前記物体と前記入力パネルとの接触部分に対応する領域の画像を抽出した接触面画像を生成する接触面画像生成部としてコンピュータを機能させ、
前記元画像生成部は、
前記接触面画像に基づいて前記元画像を生成し、
前記合成画像生成部は、
前記合成画像を投影した場合に前記接触部分が前記可視光カメラから見て単色になるような前記合成画像を生成する、プログラム。
【請求項８】
光源からの赤外光を内部に導波させる入力パネルと、前記入力パネルの背面側に重ねて配置された投影スクリーンと、前記入力パネルの表面に接触した物体により生じた散乱光を背面側から撮像する赤外線カメラと、前記投影スクリーンに画像を背面側から投影するプロジェクタと、前記入力パネルを背面側から撮像する可視光カメラと、を備えた画像投影システムで実行される画像投影方法であって、
投影用の元画像を生成する元画像生成ステップと、
前記赤外線カメラで撮像された赤外線画像を２値化してマスク画像を生成するマスク画像生成ステップと、
前記元画像と前記マスク画像とを合成して合成画像を生成する合成画像生成ステップと、
前記合成画像を前記プロジェクタに送信して投影させる投影制御ステップと、
前記合成画像の投影完了後に前記可視光カメラに撮像を行わせる撮像制御ステップと、
前記可視光カメラで撮像された可視光画像と前記マスク画像とを合成して、前記可視光画像から前記物体と前記入力パネルとの接触部分に対応する領域の画像を抽出した接触面画像を生成する接触面画像生成ステップと、を含み、
前記元画像生成ステップでは、
前記接触面画像に基づいて前記元画像を生成し、
前記合成画像生成ステップでは、
前記合成画像を投影した場合に前記接触部分が前記可視光カメラから見て単色になるような前記合成画像を生成する、画像投影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像投影システム、プログラム及び画像投影方法に関する。
【背景技術】
【０００２】
非特許文献１には、任意の物体を入力に用いるデジタルペイントシステムが開示されている。このシステムは、ＦＴＩＲを応用した物体接触形状取得機能と背面透過型プロジェクタを用いた出力機能を備えている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】小坂真美、藤波香織、「任意物体を用いたデジタルペイントシステムＵｎｉｃｒｅＰａｉｎｔにおける入出力パネルの改良とユーザ評価」、情報処理学会インタラクション２０１６、２０１６年３月４日、ｐ．１０１６−１０２１
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１に開示されたデジタルペイントシステムでは、入力パネル（投影面）に置かれた物体の接触形状を取得できるものの、当該物体の接触面の色や模様を取得することはできなかった。
【０００５】
本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、入力パネルに接触した物体の接触面の色や模様を取得することが可能な画像投影システム等を提供することにある。
【課題を解決するための手段】
【０００６】
（１）本発明は、光源からの赤外光を内部に導波させる入力パネルと、前記入力パネルの背面側に重ねて配置された投影スクリーンと、前記入力パネルの表面に接触した物体により生じた散乱光を背面側から撮像する赤外線カメラと、前記投影スクリーンに画像を背面側から投影するプロジェクタと、前記入力パネルを背面側から撮像する可視光カメラと、処理部と、を備えた画像投影システムであって、前記処理部は、投影用の元画像を生成する元画像生成部と、前記赤外線カメラで撮像された赤外線画像を２値化してマスク画像を生成するマスク画像生成部と、前記元画像と前記マスク画像とを合成して合成画像を生成する合成画像生成部と、前記合成画像を前記プロジェクタに送信して投影させる投影制御部と、前記合成画像の投影完了後に前記可視光カメラに撮像を行わせる撮像制御部と、前記可視光カメラで撮像された可視光画像と前記マスク画像とを合成して、前記可視光画像から前記物体と前記入力パネルとの接触部分に対応する領域の画像を抽出した接触面画像を生成する接触面画像生成部と、を含み、前記元画像生成部は、前記接触面画像に基づいて前記元画像を生成し、前記合成画像生成部は、前記合成画像を投影した場合に前記接触部分が前記可視光カメラから見て単色になるような前記合成画像を生成する、画像投影システムに関する。
【０００７】
また、本発明は、光源からの赤外光を内部に導波させる入力パネルと、前記入力パネルの背面側に重ねて配置された投影スクリーンと、前記入力パネルの表面に接触した物体により生じた散乱光を背面側から撮像する赤外線カメラと、前記投影スクリーンに画像を背面側から投影するプロジェクタと、前記入力パネルを背面側から撮像する可視光カメラと、を備えた画像投影システムのためのプログラムであって、投影用の元画像を生成する元画像生成部と、前記赤外線カメラで撮像された赤外線画像を２値化してマスク画像を生成
するマスク画像生成部と、前記元画像と前記マスク画像とを合成して合成画像を生成する合成画像生成部と、前記合成画像を前記プロジェクタに送信して投影させる投影制御部と、前記合成画像の投影完了後に前記可視光カメラに撮像を行わせる撮像制御部と、前記可視光カメラで撮像された可視光画像と前記マスク画像とを合成して、前記可視光画像から前記物体と前記入力パネルとの接触部分に対応する領域の画像を抽出した接触面画像を生成する接触面画像生成部としてコンピュータを機能させ、前記元画像生成部は、前記接触面画像に基づいて前記元画像を生成し、前記合成画像生成部は、前記合成画像を投影した場合に前記接触部分が前記可視光カメラから見て単色になるような前記合成画像を生成する、プログラムに関する。また、本発明は、コンピュータ読み取り可能な情報記憶媒体であって、上記プログラムを記憶した情報記憶媒体に関係する。
【０００８】
また、本発明は、光源からの赤外光を内部に導波させる入力パネルと、前記入力パネルの背面側に重ねて配置された投影スクリーンと、前記入力パネルの表面に接触した物体により生じた散乱光を背面側から撮像する赤外線カメラと、前記投影スクリーンに画像を背面側から投影するプロジェクタと、前記入力パネルを背面側から撮像する可視光カメラと、を備えた画像投影システムで実行される画像投影方法であって、投影用の元画像を生成する元画像生成ステップと、前記赤外線カメラで撮像された赤外線画像を２値化してマスク画像を生成するマスク画像生成ステップと、前記元画像と前記マスク画像とを合成して合成画像を生成する合成画像生成ステップと、前記合成画像を前記プロジェクタに送信して投影させる投影制御ステップと、前記合成画像の投影完了後に前記可視光カメラに撮像を行わせる撮像制御ステップと、前記可視光カメラで撮像された可視光画像と前記マスク画像とを合成して、前記可視光画像から前記物体と前記入力パネルとの接触部分に対応する領域の画像を抽出した接触面画像を生成する接触面画像生成ステップと、を含み、前記元画像生成ステップでは、前記接触面画像に基づいて前記元画像を生成し、前記合成画像生成ステップでは、前記合成画像を投影した場合に前記接触部分が前記可視光カメラから見て単色になるような前記合成画像を生成する、画像投影方法に関する。
【０００９】
本発明によれば、投影用の元画像とマスク画像を合成して、投影時に物体と入力パネルとの接触部分に対応する領域が可視光カメラから見て単色になるような合成画像を生成して投影させ、可視光カメラで撮像した可視光画像から接触部分に対応する画像を抽出することで、プロジェクタの投影光による影響を排除して、当該物体の接触面の色や模様を取得することができる。
【００１０】
（２）また本発明に係る画像投影システム、プログラム及び画像投影方法では、前記プロジェクタは、前記合成画像の投影が完了した場合に、通知情報を前記処理部に送信し、前記撮像制御部は（前記撮像制御ステップでは）、前記通知情報を受信した場合に、前記可視光カメラに撮像を行わせてもよい。
【００１１】
本発明によれば、合成画像の投影が完了する前に可視光カメラにより撮像された可視光画像を取得してしまうことを防止することができる。
【００１２】
（３）また本発明に係る画像投影システム、プログラム及び画像投影方法では、前記撮像制御部は（前記撮像制御ステップでは）、前記可視光画像のうち前記接触部分に対応する領域を前記合成画像における当該領域と同一色にした画像と前記合成画像とを比較して差分を算出し、算出した差分が許容範囲内となるまで、前記可視光カメラによる撮像を繰り返し行わせてもよい。
【００１３】
本発明によれば、プロジェクタが通知機能を備えていない場合や、処理部が通知を受け付ける機能を備えていない場合であっても、合成画像の投影が完了する前に可視光カメラにより撮像された可視光画像を取得してしまうことを防止することができる。
【００１４】
（４）また本発明に係る画像投影システム、プログラム及び画像投影方法では、前記撮像制御部は（前記撮像制御ステップでは）、前記合成画像を前記プロジェクタに送信してから所定時間経過後に、前記可視光カメラに撮像を行わせてもよい。
【００１５】
本発明によれば、プロジェクタが通知機能を備えていない場合や、処理部が通知を受け付ける機能を備えていない場合であっても、合成画像の投影が完了する前に可視光カメラにより撮像された可視光画像を取得してしまうことを防止することができる。
【００１６】
（５）また本発明に係る画像投影システム、プログラム及び画像投影方法では、前記元画像生成部は（前記元画像生成ステップでは）、前記入力パネルに接触した前記物体の移動軌跡を前記接触面画像の色又は模様を用いて描画した画像を前記元画像として生成してもよい。
【００１７】
本発明によれば、入力パネルに接触した物体の接触形状のみならず、当該物体の接触面の色や模様を用いて描画することが可能なデジタルペイントを実現することができる。
【００１８】
（６）また本発明に係る画像投影システム、プログラム及び画像投影方法では、前記入力パネルに対する前記物体の接触を検出するための圧力センサを更に備え、前記マスク画像生成部は、前記入力パネルに対する前記物体の接触が検出された場合に、前記赤外線画像を第１の閾値で２値化してマスク画像を生成し、生成したマスク画像における白画素の数が所定値未満である場合に、前記赤外線画像を前記第１の閾値未満の第２の閾値で２値化してマスク画像を再度生成してもよい。
【００１９】
本発明によれば、入力パネルに接触した物体の接触面の形状及び色や模様を精度良く取得することができる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施形態に係る画像投影システムの構成を模式的に示す図である。
【図２】第１の実施形態における入力パネルの構成の一例を示す側面図である。
【図３】第１の実施形態に係る画像投影システムの機能ブロック図の一例である。
【図４】比較例について説明するための図である。
【図５】第１の実施形態における画像投影システムの処理の流れを示すフローチャートである。
【図６】元画像、マスク画像、補正用画像、補正後のマスク画像及び合成画像の一例を模式的に示す図である。
【図７】合成画像を投影スクリーンに投影したときの投影画像を模式的に示す図である。
【図８】可視光画像及び接触面画像の一例を模式的に示す図である。
【図９】物体の移動軌跡を当該物体の色又は模様で描画して生成した元画像及び合成画像を模式的に示す図である。
【図１０】プロジェクタによる投影と可視光カメラによる撮影のタイミングについて説明するための図である。
【図１１】可視光カメラによる撮像をプロジェクタによる投影完了後に行う第２の手法について説明するための図である。
【図１２】第２の実施形態における入力パネルの構成の一例を示す側面図である。
【図１３】第２の実施形態における画像投影システムの処理の流れを示すフローチャートである。
【図１４】赤外線画像と、赤外線画像を２値化したマスク画像の一例を示す図である。
【発明を実施するための形態】
【００２１】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００２２】
（第１の実施形態）
図１は、第１の実施形態に係る画像投影システムの構成を模式的に示す図である。画像投影システム１は、光源からの赤外光を内部に導波させる入力パネル１０と、入力パネル１０の背面側に重ねて配置された投影スクリーン２０と、入力パネル１０の表面に接触した物体Ｂにより生じた散乱光を背面側から撮像する赤外線カメラ３０と、投影スクリーン２０に画像を背面側から投影するプロジェクタ４０と、入力パネル１０を背面側から撮像する可視光カメラ５０（ＲＢＧカメラ）と、処理部１００と、を含む。プロジェクタ４０の投影範囲と赤外線カメラ３０及び可視光カメラ５０の撮像範囲は凡そ一致している。利用者Ｕが任意の物体Ｂを入力パネル１０に載せる（接触させる）と、物体Ｂの接触面の形状、色、模様（文字を含む）に応じた画像が投影スクリーン２０に投影され、利用者Ｕは、その投影画像を入力パネル１０の表面側から観察することができる。
【００２３】
図２は、第１の実施形態における入力パネル１０の構成の一例を示す側面図である。入力パネル１０は、赤外光の全反射現象（ＦＴＩＲ：Ｆｒｕｓｔｒａｔｅｄ  Ｔｏｔａｌ  Ｉｎｔｅｒｎａｌ  Ｒｅｆｌｅｃｔｉｏｎ）を利用した透明なパネルであり、空気よりも屈折率の高い透明板１１（例えば、透明アクリル板）から構成される。透明板１１の各辺の側面に対向する位置には、赤外線光源１２（例えば、赤外線ＬＥＤ）が配置される。また、ＦＴＩＲの感度を向上するため、透明板１１の表面には、シート状の透明シリコーンゴム１３が貼付されている。赤外線光源１２から出射した赤外光は、透明板１１内部を全反射現象により導波する。物体Ｂを入力パネル１０（透明シリコーンゴム１３）の表面に接触させると、接触部分において赤外線が散乱し、散乱光が生じる。赤外線カメラ３０は、この赤外散乱光を、入力パネル１０の背面側から撮像する。
【００２４】
投影スクリーン２０は、背面投影用の透明に近い透過フィルムである。図２に示す例では、投影スクリーン２０は２枚の透明板１１の間に挟まれている（下側の透明板１１の表面に貼付され、上側の透明板１１の背面側に重ねて配置されている）が、投影スクリーン２０を１枚の透明板１１の背面に貼付するように構成してもよい。
【００２５】
図３は、第１の実施形態に係る画像投影システム１の機能ブロック図の一例である。画像投影システム１は記憶部１１０を含む。記憶部１１０は、処理部１００の各部としてコンピュータを機能させるためのプログラムや各種データを記憶するとともに、処理部１００のワーク領域として機能し、その機能はハードディスク、ＲＡＭなどにより実現できる。
【００２６】
処理部１００は、赤外線カメラ３０、プロジェクタ４０及び可視光カメラ５０を制御する処理と、各種の画像処理を行う。処理部１００の機能は各種プロセッサ（ＣＰＵ、ＤＳＰ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。処理部１００は、投影用の元画像を生成する元画像生成部１０１と、赤外線カメラ３０で撮像された赤外線画像を２値化してマスク画像を生成するマスク画像生成部１０２と、元画像とマスク画像を合成して合成画像を生成する合成画像生成部１０３と、合成画像をプロジェクタ４０に送信して投影させる投影制御部１０４と、合成画像の投影完了後に可視光カメラ５０を制御して撮像を行わせる撮像制御部１０５と、可視光カメラ５０で撮像された可視光画像とマスク画像とを合成して接触面画像を生成する接触面画像生成部１０６とを含む。
【００２７】
本実施形態の画像投影システム１では、赤外線カメラ３０により入力パネル１０を背面側から撮像することで、入力パネル１０の表面に接触した物体Ｂの接触面の形状（物体Ｂと入力パネル１０との接触形状）を取得するとともに、可視光カメラ５０により入力パネル１０を背面側から撮像することで、接触面の色や模様を取得する。しかしながら、入力パネル１０の背面側には投影スクリーン２０が配置されているため、図４に示すように、プロジェクタ４０により画像をそのまま投影スクリーン２０に投影すると、投影画像ＰＰ（投影光）が物体Ｂの接触面ＣＦに重畳することで、接触面ＣＦの見え方が変わってしまい、接触面ＣＦ本来の色や模様を取得することができない。
【００２８】
このような投影と撮像の競合は、例えば、プロジェクタ４０による投影と可視光カメラ５０による撮像とを交互に切り替えることで避けることができる。しかし、投影光の点滅が利用者の目に与える負担や脳内の視覚過程に及ぼす影響を考慮すると、投影と撮像の切り替えは高速（７０〜８０Ｈｚ以上）で行う必要がある。そのため、この手法を採用する場合、各装置（プロジェクタ４０、可視光カメラ５０、処理部１００）を高速化する必要があり高コスト化を招く。
【００２９】
本実施形態の画像投影システム１では、画像投影時に物体Ｂの接触面ＣＦ（物体Ｂと入力パネル１０との接触部分）が可視光カメラ５０から見て単色になるような画像を投影することで、投影と撮像の競合を解消する。
【００３０】
図５は、第１の実施形態における画像投影システム１の処理の流れを示すフローチャートである。
【００３１】
まず、元画像生成部１０１は、投影用の元画像ＦＰを生成する（ステップＳ１０）。図６の（ａ）に、元画像ＦＰの一例を模式的に示す。
【００３２】
次に、処理部１００は、赤外線カメラ３０を制御して撮像させ、赤外線カメラ３０で撮像された赤外線画像を取得する（ステップＳ１１）。次に、マスク画像生成部１０２は、取得した赤外線画像を２値化してマスク画像ＭＰを生成する（ステップＳ１２）。２値化した画像にはノイズが含まれる場合があるため、２値化した画像に対してノイズ除去処理を行ってマスク画像ＭＰを生成することが望ましい。図６の（ｂ）に、マスク画像ＭＰの一例を模式的に示す。マスク画像ＭＰにおいて、領域ＣＡは物体Ｂの接触面ＣＦに対応する領域であり、領域ＣＡの画素値は１、それ以外の領域の画素値が０となる。
【００３３】
次に、マスク画像生成部１０２は、マスク画像ＭＰと補正用画像ＲＰを合成（例えば、対応する画素毎に乗算）し、マスク画像ＭＰを補正してマスク画像ＭＰ’を得る（ステップＳ１３）。図６の（ｃ）に、補正用画像ＲＰの一例を模式的に示す。補正用画像ＲＰは、当該画像を投影スクリーン２０に投影した場合に可視光カメラ５０から見て一様に単色になるような画像である。補正用画像ＲＰの各画素の輝度は、投影スクリーン２０からの反射光の強度（プロジェクタ４０と投影スクリーン２０との位置関係で代用してもよい）により決定される。例えば、マスク画像生成部１０２は、補正用画像ＲＰとして、プロジェクタ４０に近い（投影光の反射が強い）位置に投影される部分は輝度の低い色（例えば、濃いグレー）とし、プロジェクタ４０から遠い（投影光の反射が弱い）位置に投影される部分は輝度の高い色（例えば、薄いグレー）とした画像を生成する。また、補正用画像ＲＰの色は、投影時に接触面ＣＦの見え方（色）が変わり難い色とし、例えば、白（輝度値が最大値）又は黒（輝度値が０）以外の色であって彩度が低い色（例えば、グレー）とする。補正用画像ＲＰの最適色は、プロジェクタ４０と可視光カメラ５０の色特性等から決定することができる。図６の（ｄ）に補正後のマスク画像ＭＰ’を模式的に示す。補正後のマスク画像ＭＰ’では、マスク画像ＭＰのうち接触面ＣＦに対応する領域ＣＡに補正
用画像ＲＰが重畳されている。
【００３４】
次に、合成画像生成部１０３は、元画像ＦＰと補正後のマスク画像ＭＰ’を合成（例えば、対応する画素の画素値を比較して、マスク画像ＭＰ’の画素値が０（黒）である画素については元画像ＦＰの画素値を採用し、マスク画像ＭＰ’の画素値が０以外である画素（領域ＣＡの画素）についてはマスク画像ＭＰ’の画素値を採用する）して合成画像ＳＰを生成する（ステップＳ１４）。図６の（ｅ）に、合成画像ＳＰを模式的に示す。合成画像ＳＰでは、元画像ＦＰのうち接触面ＣＦに対応する領域ＣＡに補正用画像ＲＰが重畳されている。従って、合成画像ＳＰは、投影時に接触面ＣＦの見た目（可視光カメラ５０からの見た目）が単色になるような画像となる。
【００３５】
次に、投影制御部１０４は、合成画像ＳＰをプロジェクタ４０に送信して合成画像ＳＰを投影スクリーン２０に投影させる制御を行う（ステップＳ１５）。図７に、合成画像ＳＰを投影したときの投影画像ＰＰを模式的に示す。図７に示すように、本実施形態によれば、投影時に接触面ＣＦの見た目が単色になるような合成画像ＳＰを投影することで、投影画像ＰＰが接触面ＣＦの見え方に与える影響を極力抑制することができる。
【００３６】
次に、撮像制御部１０５は、可視光カメラ５０を制御して撮像させ、可視光カメラ５０で撮像された可視光画像ＯＰを取得する（ステップＳ１６）。図８の（ａ）に、可視光画像ＯＰを模式的に示す。
【００３７】
次に、接触面画像生成部１０６は、可視光画像ＯＰとマスク画像ＭＰを合成して、可視光画像ＯＰから接触面ＣＦに対応する領域ＣＡの画像を抽出した接触面画像ＣＰを生成する（ステップＳ１７）。図８の（ｂ）に、接触面画像ＣＰを模式的に示す。接触面画像ＣＰにおける領域ＣＡの色や模様は、物体Ｂの接触面ＣＦの色や模様を表している。このように、本実施形態によれば、プロジェクタ４０の投影光による影響を排除して、物体Ｂの接触面ＣＦの色や模様を取得することができる。
【００３８】
次に、ステップＳ１０に移行し、ステップＳ１０以降の処理を繰り返す。ステップＳ１０では、元画像生成部１０１は、前回フレーム（処理単位時間）のステップＳ１７で生成した接触面画像ＣＰに基づいて新たな元画像ＦＰを生成する。
【００３９】
例えば、元画像生成部１０１は、前回フレームで生成した接触面画像ＣＰにおける領域ＣＡ（及び、それ以前に生成した接触面画像ＣＰにおける領域ＣＡ）を、接触面画像ＣＰ（領域ＣＡ）の色又は模様で描画することで、入力パネル１０における物体Ｂの移動軌跡を当該物体Ｂの色又は模様で描画した元画像ＦＰを生成する。これにより、入力パネル１０に接触した物体Ｂの接触形状のみならず、物体Ｂの接触面の色や模様を用いて描画することが可能なデジタルペイントを実現することができる。
【００４０】
図９に示す例の場合、時間ｔ１では、時間ｔ０（前回フレーム）で生成した接触面画像ＣＰにおける領域ＣＡ０を領域ＣＡ０の色又は模様で描画した元画像ＦＰ１を生成し、時間ｔ１における領域ＣＡ１をマスクした合成画像ＳＰ１を生成している。また、時間ｔ２では、時間ｔ１における領域ＣＡ１を含む物体Ｂの移動軌跡ＴＲを領域ＣＡ１の色又は模様で描画した元画像ＦＰ２を生成し、時間ｔ２における領域ＣＡ２をマスクした合成画像ＳＰ２を生成している。同様に、時間ｔ３では、時間ｔ２における領域ＣＡ２を含む移動軌跡ＴＲを領域ＣＡ２の色又は模様で描画した元画像ＦＰ３を生成し、時間ｔ３における領域ＣＡ３をマスクした合成画像ＳＰ３を生成している。このようにして、物体Ｂの移動軌跡ＴＲを物体Ｂの色又は模様で描画することができる。
【００４１】
また、物体Ｂの接触面に当該物体Ｂの識別情報を符号化した模様（例えば、バーコード
や二次元シンボル、文字列など）が付されている場合、処理部１００は、接触面画像ＣＰ（領域ＣＡの画像）に対して画像認識を行うことで物体Ｂを識別し、元画像生成部１０１は、識別した物体Ｂに関連する画像を入力パネル１０における物体Ｂの近傍に投影するための元画像ＦＰを生成するように構成してもよい。
【００４２】
ここで、撮像制御部１０５は、図１０の（ａ）に示すように、プロジェクタ４０による合成画像ＳＰの投影（投影画面の更新）が完了した状態で、可視光カメラ５０に対して撮像の開始を指示する必要がある。
【００４３】
仮に、図１０の（ｂ）に示すように、プロジェクタ４０による合成画像ＳＰの投影が完了する前に、可視光カメラ５０による撮像を開始してしまうと、前回フレームで生成・投影した合成画像ＳＰと今回フレームで生成・投影する合成画像ＳＰとが混在した画像（更新途中の投影画像）を撮像することになり、投影光による影響が排除されていない状態（投影画像と接触面ＣＦとの重畳が発生した状態）で撮像された可視光画像ＯＰを取得することになってしまう。
【００４４】
以下、可視光カメラ５０による撮像をプロジェクタ４０による合成画像ＳＰの投影完了後に行うための３つの手法について説明する。
【００４５】
第１の手法では、プロジェクタ４０が、合成画像ＳＰの投影が完了した場合に、その旨を通知する通知情報を処理部１００に送信し、撮像制御部１０５は、この通信情報を受信した場合に、可視光カメラ５０に撮像を開始させる制御を行う。第１の手法によれば、合成画像ＳＰの投影が完了する前に可視光カメラ５０による撮像を開始してしまうことを確実に防止するとともに、合成画像ＳＰの投影完了後の可視光カメラ５０による撮影を遅滞なく行うことができる。
【００４６】
第２の手法では、撮像制御部１０５が、プロジェクタ４０に送信した合成画像ＳＰと、可視光カメラ５０から受信した可視光画像ＯＰのうち領域ＣＡを合成画像ＳＰにおける領域ＣＡと同一色にした画像（可視光画像ＯＰと補正後のマスク画像ＭＰ’を合成した画像）とを比較して差分（画素毎の差分絶対値の合計値）を算出し、算出した差分が所定の閾値δ未満（許容範囲内）となるまで、可視光カメラ５０に対する撮像指示を繰り返し行う。図１１に示す例では、１回目の撮像により取得した可視光画像ＯＰと合成画像ＳＰとを比較した結果、差分が閾値δ以上であったため、再び可視光カメラ５０に対して撮像を指示している。そして、２回目の撮像により取得した可視光画像ＯＰと合成画像ＳＰとを比較した結果、差分が閾値δ未満であったため、可視光画像ＯＰが合成画像ＳＰの投影完了後に撮像された画像であると判定され、次のステップに移行している。
【００４７】
第３の手法では、合成画像ＳＰのプロジェクタ４０への転送に要する時間と投影画面の更新に要する時間の合計時間（所定時間）を事前調査により見積もっておき、撮像制御部１０５が、合成画像ＳＰをプロジェクタ４０に送信してから事前に見積もった合計時間が経過した後（投影画面の更新が完了したと推定される時刻以降）に、可視光カメラ５０に撮像を開始させる制御を行う。
【００４８】
第２の手法及び第３の手法によれば、プロジェクタ４０が通知機能を備えていない場合や、処理部１００が通知を受け付ける機能を備えていない場合であっても、合成画像ＳＰの投影が完了する前に可視光カメラ５０による撮像を開始してしまうことを防止することができる。
【００４９】
（第２の実施形態）
物体Ｂの材質や、利用者Ｕが物体Ｂを入力パネル１０に接触させるやり方によっては、
物体Ｂと入力パネル１０との密着が不完全となることで、物体Ｂが入力パネル１０に接触しているにもかかわらず物体Ｂの接触面ＣＦの情報（マスク画像ＭＰにおける領域ＣＡ）を取得できない場合がある。この場合、赤外線画像を２値化する（マスク画像ＭＰを生成する）際の閾値を低くすれば、接触面ＣＦの情報を取得することができる。しかし、物体Ｂが入力パネル１０に接触していないときも常に赤外線画像を低い閾値で２値化してマスク画像ＭＰを生成するようにすると、入力パネル１０の表面から漏れ出た（或いは、全反射角に入らなかった）赤外線が接触面ＣＦに接触していない物体（例えば、物体Ｂを持っている利用者Ｕの手や腕）に反射して入力パネル１０に映り込んだ場合等に、当該映り込み等を接触面ＣＦとして誤検出してしまう恐れがある。
【００５０】
そこで、第２の実施形態では、入力パネル１０に対する物体Ｂの接触を圧力センサ（感圧センサ）により検出し、入力パネル１０に対する物体Ｂの接触が検出された場合に、赤外線画像を取得し、取得した赤外線画像を第１の閾値Ｔ１で２値化してマスク画像ＭＰを生成する。そして、生成したマスク画像ＭＰにおける白画素の数が所定値未満である場合には、取得した赤外線画像を第１の閾値Ｔ１未満の第２の閾値Ｔ２で２値化してマスク画像ＭＰを再度生成する。すなわち、第２の実施形態では、物体Ｂが入力パネル１０に接触しているにも関わらず接触面ＣＦの情報を取得できなかったと見做せる場合に、赤外線画像を２値化する際の閾値を低下させてマスク画像ＭＰを生成する。
【００５１】
図１２は、第２の実施形態における入力パネル１０の構成の一例を示す側面図である。図１２において、図２で示した構成と同一の構成には同符号を付し、その説明を適宜省略する。
【００５２】
第２の実施形態では、上側の透明板１１と投影スクリーン２０との間に、入力パネル１０に対する物体Ｂの接触を検出するための圧力センサ６０が設けられている。圧力センサ６０としては、例えば、抵抗膜力センサを用いることができる。また、上側の透明板１１と圧力センサ６０との間には、突起部として機能するシリコーンゴム１４が設けられている。圧力センサ６０及びシリコーンゴム１４は、入力パネル１０の平面視で四隅に設けられる。
【００５３】
図１３は、第２の実施形態における画像投影システム１の処理の流れを示すフローチャートである。なお、図１３に示すステップＳ２０、Ｓ２７〜Ｓ３１については、図５に示すステップＳ１０、Ｓ１３〜Ｓ１７と同様であるから説明を適宜省略する。
【００５４】
処理部１００は、圧力センサ６０からの出力信号（複数の圧力センサ６０からの出力信号の平均値）に基づいて、入力パネル１０に対して物体Ｂが接触しているか否かを判断し（ステップＳ２１）、入力パネル１０に対して物体Ｂが接触していない場合（ステップＳ２１のＮ）には、ステップＳ２０に移行する。一方、入力パネル１０に対して物体Ｂが接触している場合（ステップＳ２１のＹ）には、処理部１００は、赤外線カメラ３０を制御して撮像させ、赤外線カメラ３０で撮像された赤外線画像を取得する（ステップＳ２２）。
【００５５】
次に、マスク画像生成部１０２は、取得した赤外線画像を第１の閾値Ｔ１で２値化してマスク画像ＭＰを生成する（ステップＳ２３）。次に、マスク画像生成部１０２は、ステップＳ２３で生成したマスク画像ＭＰにおける白画素（画素値が１の画素）の数Ｓをカウントする（ステップＳ２４）。ここで、予め物体Ｂが入力パネル１０に接触していない状態で撮像した赤外線画像を２値化した画像を背景画像として用意しておき、当該背景画像とマスク画像ＭＰとを画素毎に比較して、背景画像よりもマスク画像ＭＰの画素値が高い画素の数を白画素の数Ｓとしてカウントしてもよい。
【００５６】
次に、マスク画像生成部１０２は、カウントした白画素の数Ｓが所定値Ｐ未満であるか否かを判断し（ステップＳ２５）、白画素の数Ｓが所定値Ｐ以上である場合（ステップＳ２５のＮ）には、ステップＳ２７に移行する。白画素の数Ｓが所定値Ｐ未満である場合（ステップＳ２５のＹ）には、マスク画像生成部１０２は、取得した赤外線画像を第２の閾値Ｔ２（Ｔ２＜Ｔ１）で２値化してマスク画像ＭＰを生成する（ステップＳ２６）。
【００５７】
次に、マスク画像生成部１０２は、ステップＳ２５で偽の場合には、ステップＳ２３で生成した（第１の閾値Ｔ１で２値化した）マスク画像ＭＰと補正用画像ＲＰを合成してマスク画像ＭＰ’を生成し、ステップＳ２５で真の場合には、ステップＳ２６で生成した（第２の閾値Ｔ２で２値化した）マスク画像ＭＰと補正用画像ＲＰを合成してマスク画像ＭＰ’を生成する（ステップＳ２７）。
【００５８】
図１４に、赤外線画像ＩＰと、赤外線画像ＩＰを２値化したマスク画像ＭＰの一例を示す。図１４に示すマスク画像ＭＰ１は、赤外線画像ＩＰを第１の閾値Ｔ１で２値化した画像であり、マスク画像ＭＰ２は、赤外線画像ＩＰを第２の閾値Ｔ２で２値化した画像である。ここでは、赤外線画像ＩＰの階調は８ビットであり、第１の閾値Ｔ１＝２５３とし、第２の閾値Ｔ２＝１７５としている。赤外線画像ＩＰは、利用者Ｕがスポンジ状の物体Ｂを入力パネル１０に接触させたときに撮像した画像であり、物体Ｂと入力パネル１０との密着が不十分であるため、赤外線画像ＩＰを第１の閾値Ｔ１で２値化したマスク画像ＭＰ１では白画素の領域（領域ＣＡ）が殆どない。この場合、第２の実施形態では、マスク画像ＭＰ１における白画素の数Ｓが所定値Ｐ未満であると判定され、赤外線画像ＩＰを第２の閾値Ｔ２で２値化したマスク画像ＭＰ２が生成される。ここでは、赤外線画像ＩＰ（及びマスク画像ＭＰ）の画素数が７２０×７２０ピクセルであり、所定値Ｐ＝５０としている。マスク画像ＭＰ２には、物体Ｂの接触面ＣＦに相当する白画素の領域が存在しており、接触面ＣＦの情報を取得できていることが分かる。
【００５９】
このように、第２の実施形態によれば、入力パネル１０に対する物体Ｂの接触を検出した場合に、取得した赤外線画像ＩＰを第１の閾値Ｔ１で２値化してマスク画像ＭＰ１を生成し、マスク画像ＭＰ１における白画素の数Ｓが所定値Ｐ以上である場合には、マスク画像ＭＰ１を用いて以降の処理を行い、白画素の数Ｓが所定値Ｐ未満である場合には、赤外線画像ＩＰを第１の閾値Ｔ１よりも低い第２の閾値Ｔ２で２値化したマスク画像ＭＰ２を用いて以降の処理を行うことで、入力パネル１０に接触していない物体Ｂの映り込み等を接触面ＣＦとして誤検出してしまうことを防止しつつ、入力パネル１０に対する密着が不完全な物体Ｂの接触面ＣＦの形状及び色や模様を精度良く確実に取得することができる。
【００６０】
なお、本発明は、上述の実施の形態に限定されるものではなく、種々の変更が可能である。本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成）を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。
【符号の説明】
【００６１】
１…画像投影システム、１０…入力パネル、１１…透明板、１２…赤外線光源、１３…透明シリコーンゴム、１４…シリコーンゴム、２０…投影スクリーン、３０…赤外線カメラ、４０…プロジェクタ、５０…可視光カメラ、６０…圧力センサ、１００…処理部、１０１…元画像生成部、１０２…マスク画像生成部、１０３…合成画像生成部、１０４…投影制御部、１０５…撮像制御部、１０６…接触面画像生成部、１１０…記憶部
【図１】
2018042230.tif 000003
【図２】
2018042230.tif 000004
【図３】
2018042230.tif 000005
【図４】
2018042230.tif 000006
【図５】
2018042230.tif 000007
【図６】
2018042230.tif 000008
【図７】
2018042230.tif 000009
【図８】
2018042230.tif 000010
【図９】
2018042230.tif 000011
【図１０】
2018042230.tif 000012
【図１１】
2018042230.tif 000013
【図１２】
2018042230.tif 000014
【図１３】
2018042230.tif 000015
【図１４】
2018042230.tif 000016