(57)【特許請求の範囲】
【請求項１】
プロジェクタから任意のスクリーンに投影されている投影画像上のタッチ領域に対する手指又はタッチ器材によるタッチ操作を検出するタッチ位置入力装置であって、
前記プロジェクタの近傍に位置し、前記スクリーン上の投影画像を常時撮影するカメラと、
前記カメラの撮影画像を入力し、前記プロジェクタから投影している投影画像の原画像と該カメラからの撮影画像との差異を評価し、前記投影画像上のタッチ領域に相当する撮影画像上のタッチ領域において前記手指又はタッチ器材の影の領域と前記手指又はタッチ器材の領域との面積比を求め、前記面積比が所定値よりも小さくなったときに前記タッチ領域に前記手指又はタッチ器材がタッチされたと判定して当該タッチ領域に対するタッチ検出信号を出力する情報処理装置とを備えたことを特徴とするタッチ位置入力装置。
【請求項２】
前記情報処理装置は、前記カメラからの撮影画像の全体又は一部を射影変換にて歪み補正し、前記投影原画像とアスペクト比及び画素数を一致させ、当該補正後の撮影画像と投影原画像との差異を評価することを特徴とする請求項１に記載のタッチ位置入力装置。
【請求項３】
前記情報処理装置は、前記タッチ領域において、スクリーン上の影の色の領域を前記手指又はタッチ器材の影の領域とし、背景でも影でもない色の領域を前記手指又はタッチ器材の領域として前記面積比を求めることを特徴とする請求項１又は２に記載のタッチ位置入力装置。
【請求項４】
前記情報処理装置は、前記投影原画像に対してタッチ領域を他の領域と識別できる色に色変えして表示させ、若しくは、タッチ領域の枠を表示させることを特徴とする請求項１〜３のいずれかに記載のタッチ位置入力装置。
【請求項５】
前記情報処理装置は、初期設定にて、前記スクリーン上の投影画像の前記タッチ領域に対する色を背景の色と認識して記憶し、前記スクリーン上の投影画像の前記タッチ領域に対する前記手指又はタッチ器材の影だけが映っている状態に対する撮影画像に対して影の色を認識して記憶し、前記タッチ領域に対する前記手指又はタッチ器材によるタッチ状態に対する撮影画像に対して前記記憶した影の色を参照して当該タッチ状態での背景と影の色の領域を認識し、背景でも影でもない色の領域を前景の領域と認識し、かつ、当該タッチ状態での影の色の領域と前景の領域との画素数の比を計算して記憶していることを特徴とする請求項１〜４のいずれかに記載のタッチ位置入力装置。
【請求項６】
前記情報処理装置は、前記投影原画像内に設けるタッチ領域に複数の色を用いる場合、初期設定にて、色の異なるタッチ領域ごとに影の色の領域、前景の色の領域及び面積比を記憶することを特徴とする請求項５に記載のタッチ位置入力装置。
【請求項７】
前記情報処理装置は、前記影の色の領域を認識する際に、色相は同じで輝度の低い領域も全て影の色の領域と認識して記憶することを特徴とする請求項５又は６に記載のタッチ位置入力装置。
【請求項８】
背景の色以外の色の画素数若しくは前景の色の画素数が所定値以上であることをタッチ判定の前提条件に加えたことを特徴とする請求項１〜７のいずれかに記載のタッチ位置入力装置。
【請求項９】
前記情報処理装置は、
初期設定にて、前記スクリーン上の投影画像の前記タッチ領域に対する色を背景の色と認識して記憶し、前記スクリーン上の投影画像の前記タッチ領域に対する前記手指又はタッチ器材の影だけが映っている状態に対する撮影画像に対して、背景の色と異なる色の画素を対象に色空間上で色ヒストグラムを求めて影の色ヒストグラムとして一旦構成し、前記タッチ領域に対する前記手指又はタッチ器材によるタッチ状態に対する撮影画像に対して背景の色の領域と異なる色の画素を対象に色空間上で色ヒストグラムを求めてタッチ状態の色ヒストグラムとしてこれも一旦構成し、それぞれの色ヒストグラムを各ビンの度数の最大のものが１となるように各ビンの度数を正規化したものを、その色がどの程度「影」あるいは「前景または影」らしいかを表す「尤度」を表すものとしてそれぞれ記憶し、
以後のタッチ判定においては、撮影画像のタッチ領域における背景の色の画素以外の全画素の色に対して、前記の正規化後のタッチ状態のヒストグラムの対応ビンに格納された尤度を表す値を重みとして画素数と尤度の加重和を求めて、これを「前景または影」の実効的な面積と決定し、また同様に、影のヒストグラムから得た尤度を表す値を重みとして画素数と尤度の加重和を求めて、これを「影」の実効的な面積と決定し、前記影の加重和（実効面積）と前記タッチ状態の加重和（実効面積）との比が所定値以下であるときにタッチと判定することを特徴とする請求項１〜４のいずれかに記載のタッチ位置入力装置。
【請求項１０】
前記投影原画像内に設けるタッチ領域に複数の色を用いる場合、初期設定にて、色の異なるタッチ領域ごとに影の色ヒストグラム、及び、タッチ状態の色ヒストグラムを一旦構成し、それぞれを正規化して記憶することを特徴とする請求項９に記載のタッチ位置入力装置。
【請求項１１】
初期設定にて、前記タッチ状態の色分布範囲において、影の色分布範囲と重なる部分の色ヒストグラムの各ビンについては、タッチ状態の色ヒストグラムの各ビンの正規化された度数から影の色ヒストグラムの対応する同じビンの正規化された度数を減じて前景の色ヒストグラムの当該ビンの正規化された度数とし、
タッチ判定時には、前記前景の色ヒストグラムの加重和と影の色ヒストグラムの加重和を求め、前記影の色ヒストグラムの加重和と前記前景の色ヒストグラムの加重和との比が所定値以下であるときにタッチと判定することを特徴とする請求項９又は１０に記載のタッチ位置入力装置。
【請求項１２】
初期設定にて、前記タッチ状態の色分布範囲において、影の色分布範囲と重なる部分はタッチ状態の色ヒストグラムの各ビンの正規化された度数を０にして前景の色ヒストグラムを求め、タッチ判定時には、前記前景の色ヒストグラムの加重和と影の色ヒストグラムの加重和を求め、前記影の色ヒストグラムの加重和と前記前景の色ヒストグラムの加重和との比が所定値以下であるときにタッチと判定することを特徴とする請求項９又は１０に記載のタッチ位置入力装置。
【請求項１３】
前記情報処理装置は、初期設定にて、前記手指又はタッチ器材のタッチ状態の色分布を影の色分布と前景の色分布とに分けた結果を用い、各画素に色ヒストグラムの対応ビンの度数を乗じて相互に加算した加重和の比率を記憶し、前記タッチ状態の判定基準に用いることを特徴とする請求項９〜１２のいずれかに記載のタッチ位置入力装置。
【請求項１４】
前記情報処理装置は、初期設定にて、複数種のタッチの仕方をそれぞれ認識するために、影だけが映っている状態に加え、複数種のタッチの仕方についてそれぞれのタッチの状態を前記カメラにて撮影し、請求項５に記載の前景色の範囲、又は、請求項９に記載の正規化したタッチ状態の色ヒストグラム、又は、請求項１１に記載の正規化した前景の色ヒストグラムを記憶し、かつ、背景ではない画素数若しくは前景の画素数、及び、それらの画素で構成される手指の形を記憶しておき、
タッチ判定時には背景ではない画素数若しくは前景の画素数、及び、それらの画素で構成される手指の形によって複数の前景色の範囲や複数のタッチ状態の色ヒストグラム若しくは前景の色ヒストグラムの何れかを選択使用し、タッチ判定の閾値も同様に切り替えることを特徴とする請求項５、６、９、１０、１１、１２又は１３に記載のタッチ位置入力装置。
【請求項１５】
前記情報処理装置は、所定値以上の画素数の背景以外の領域若しくは前景の領域が存在することをタッチ判定の前提条件にすることを特徴とする請求項５、６、９、１０、１１、１２又は１３に記載のタッチ位置入力装置。
【請求項１６】
前記情報処理装置は、タッチ判定が一定時間続くことにより真のタッチと判定することを特徴とする請求項１〜１５のいずれかに記載のタッチ位置入力装置。
【請求項１７】
前記情報処理装置は、背景以外に区別した画素若しくは前景に区別した画素に対応する投影原画像中の領域には白色若しくは明るい無彩色に変更した画像を前記プロジェクタに送出することを特徴とする請求項１〜１５のいずれかに記載のタッチ位置入力装置。
【請求項１８】
タッチ状態を判定中に前記前景の領域の移動を検出したとき、当該前景の領域の移動に合わせて前記投影原画像上のタッチ領域を移動させることを特徴とする請求項１〜１７のいずれかに記載のタッチ位置入力装置。
【請求項１９】
プロジェクタから任意のスクリーンに投影されている投影画像上のタッチ領域に対する手指又はタッチ器材によるタッチ操作を検出するタッチ位置入力方法であって、
前記プロジェクタの近傍に位置させたカメラにより、前記スクリーン上の投影画像を常時撮影し、情報処理装置に入力するステップと、
前記情報処理装置にて、前記プロジェクタから投影している投影画像の原画像と該カメラからの撮影画像との差異を評価し、前記投影画像上のタッチ領域に相当する撮影画像上のタッチ領域において前記手指又はタッチ器材の影の領域と前記手指又はタッチ器材の領域との面積比を求めるステップと、
前記情報処理装置にて、面積比が所定値よりも小さくなったときに前記タッチ領域に前記手指又はタッチ器材がタッチされたと判定して当該タッチ領域に対するタッチ検出信号を出力するステップとを有するタッチ位置入力方法。
【請求項２０】
前記カメラからの撮影画像の全体又は一部を射影変換にて歪み補正して前記投影原画像とアスペクト比及び画素数を一致させ、当該補正後の撮影画像と投影原画像との差異を評価することを特徴とする請求項１９に記載のタッチ位置入力方法。
【請求項２１】
前記タッチ領域において、スクリーン上の影の色の領域を前記手指又はタッチ器材の影の領域とし、背景でも影でもない色の領域を前記手指又はタッチ器材の領域として前記面積比を求めることを特徴とする請求項１９又は２０に記載のタッチ位置入力方法。
【請求項２２】
前記投影原画像に対してタッチ領域を他の領域と識別できる色に色変えして表示させ、若しくは、タッチ領域の枠を表示させることを特徴とする請求項１９〜２１のいずれかに記載のタッチ位置入力方法。
【請求項２３】
初期設定時に、前記スクリーン上の投影画像の前記タッチ領域に対する色を背景の色と認識して記憶し、前記スクリーン上の投影画像の前記タッチ領域に対する前記手指又はタッチ器材の影だけが映っている状態に対する撮影画像に対して影の色を認識して記憶し、前記タッチ領域に対する前記手指又はタッチ器材によるタッチ状態に対する撮影画像に対して前記記憶した背景及び影の色を参照して当該タッチ状態での背景と影の色の領域を認識し、背景でも影でもない色の領域を前景の領域と認識し、かつ、当該タッチ状態での影の色の領域と前景の領域との画素数の比を計算して記憶することを特徴とする請求項１９〜２２のいずれかに記載のタッチ位置入力方法。
【請求項２４】
前記投影原画像に設けるタッチ領域に複数の色を用いる場合、初期設定にて、色の異なるタッチ領域ごとに影の色の領域、前景の色の領域及び面積比を記憶することを特徴とする請求項２３に記載のタッチ位置入力方法。
【請求項２５】
前記影の色の領域を認識する際に、色相は同じで輝度の低い領域も全て影の色の領域と認識して記憶することを特徴とする請求項２３又は２４に記載のタッチ位置入力方法。
【請求項２６】
背景の色以外若しくは前景の色の画素数が所定値以上であることをタッチ判定の前提条件に加えることを特徴とする請求項１９〜２５のいずれかに記載のタッチ位置入力方法。
【請求項２７】
前記情報処理装置にて、
初期設定時に、前記スクリーン上の投影画像の前記タッチ領域に対する色を背景の色と認識して記憶するステップと、前記スクリーン上の投影画像の前記タッチ領域に対する前記手指又はタッチ器材の影だけが映っている状態に対する撮影画像に対して、背景の色と異なる色の画素を対象に色空間上で色ヒストグラムを求めて影の色ヒストグラムとして記憶するステップと、前記タッチ領域に対する前記手指又はタッチ器材によるタッチ状態に対する撮影画像に対して背景の色の領域と異なる色の画素を対象に色空間上で色ヒストグラムを求めてタッチ状態の色ヒストグラムとして記憶するステップと、そのヒストグラムの各ビンに対応する色がどの程度「影」あるいは「前景または影」らしいかを表す「尤度」を表すものとするために、それぞれの色ヒストグラムにおいて、各ビンの度数の最大のものが１となるように各ビンの度数を正規化するステップとを行い、
以後のタッチ判定においては、撮影画像のタッチ領域における背景の色の画素以外の全画素の色に対して、前記の正規化後のタッチ状態のヒストグラムの対応ビンに格納された値を重みとして画素数と尤度の加重和を求めて、これを「前景または影」の実効的な面積と決定し、また同様に、影のヒストグラムから得た値を重みとして画素数と尤度の加重和を求めて、これを「影」の実効的な面積と決定するステップと、前記影の加重和（実効面積）と前記タッチ状態の加重和（実効面積）との比が所定値以下であるときにタッチと判定するステップとを行うことを特徴とする請求項１９〜２２のいずれかに記載のタッチ位置入力方法。
【請求項２８】
前記投影原画像内に設けるタッチ領域に複数の色を用いる場合、初期設定にて、色の異なるタッチ領域ごとに影の色ヒストグラム、及び、タッチ状態の色ヒストグラムを一旦構成し、それぞれを正規化して記憶することを特徴とする請求項２７に記載のタッチ位置入力方法。
【請求項２９】
前記情報処理装置にて、
初期設定にて、前記タッチ状態の色分布範囲において、影の色分布範囲と重なる部分の色ヒストグラムの各ビンについて、タッチ状態の色ヒストグラムの各ビンの正規化された度数から影の色ヒストグラムの対応する同じビンの正規化された度数を減じて前景の色ヒストグラムの当該ビンの正規化された度数とするステップを行い、
タッチ判定時には、前記前景の色ヒストグラムの加重和と影の色ヒストグラムの加重和を求めるステップと、前記影の色ヒストグラムの加重和と前記前景の色ヒストグラムの加重和との比を所定値と比較し、当該比が所定値以下であるときだけタッチと判定するステップとを行うことを特徴とする請求項２７又は２８に記載のタッチ位置入力方法。
【請求項３０】
初期設定にて、前記タッチ状態の色分布範囲において、影の色分布範囲と重なる部分はタッチ状態の色ヒストグラムの各ビンの正規化された度数を０にして前景の色ヒストグラムを求め、タッチ判定時には、前記前景の色ヒストグラムの加重和と影の色ヒストグラムの加重和を求め、前記影の色ヒストグラムの加重和と前記前景の色ヒストグラムの加重和との比が所定値以下であるときにタッチ判定することを特徴とする請求項２７又は２８に記載のタッチ位置入力方法。
【請求項３１】
初期設定時に、前記手指又はタッチ器材のタッチ状態の色分布を影の色分布と前景の色分布とに分けた結果を用い、各画素に色ヒストグラムの対応ビンの度数を乗じて相互に加算した加重和の比率を記憶し、前記タッチ状態の判定基準に用いることを特徴とする請求項２７〜３０のいずれかに記載のタッチ位置入力方法。
【請求項３２】
初期設定時に、複数種のタッチの仕方をそれぞれ認識するために、影だけが映っている状態に加え、複数種のタッチの仕方についてそれぞれのタッチの状態を前記カメラにて撮影し、請求項２３に記載の前景色の範囲、又は、請求項２７に記載の正規化したタッチ状態の色ヒストグラム、又は、請求項２９又は３０に記載の正規化した前景の色ヒストグラムを記憶し、かつ、背景ではない画素数若しくは前景の画素数、及び、それらの画素で構成される手指の形を記憶しておき、タッチ判定時には背景ではない画素数若しくは前景の画素数、及び、それらの画素で構成される手指の形によって複数の前景色の範囲や複数のタッチ状態の色ヒストグラム若しくは前景の色ヒストグラムの何れかを選択使用し、タッチ判定の閾値も同様に切り替えることを特徴とする請求項２３、２４、２７、２８、２９、３０又は３１に記載のタッチ位置入力方法。
【請求項３３】
所定値以上の画素数の背景以外若しくは前景が存在することをタッチ判定の前提条件にすることを特徴とする請求項２３、２４、２７、２８、２９、３０又は３１に記載のタッチ位置入力方法。
【請求項３４】
タッチ判定が一定時間続くことにより真のタッチと判定することを特徴とする請求項１９〜３３のいずれかに記載のタッチ位置入力方法。
【請求項３５】
背景以外に区別した画素若しくは前景に区別した画素に対応する投影原画像中の領域には白色若しくは明るい無彩色に変更した画像を前記プロジェクタに送出することを特徴とする請求項１９〜３３のいずれかに記載のタッチ位置入力方法。
【請求項３６】
タッチ状態を判定中に前記前景の領域の移動を検出したとき、当該前景の領域の移動に合わせて前記投影原画像上のタッチ領域を移動させることを特徴とする請求項１９〜３５のいずれかに記載のタッチ位置入力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プロジェクタにて投影されているスクリーン上の投影画像に対する人の手等によるタッチ位置を検出して入力処理するタッチ位置入力装置及び方法に関する。
【背景技術】
【０００２】
従来、プロジェクタにて投影されているスクリーン上の投影画像に対してユーザがその手指でタッチした位置を検出しコンピュータに入力するためのタッチ位置入力技術として、例えば、特開２００９−７０２４５号公報（特許文献１）、特開２００７−３２８７５４号公報（特許文献２）、特開２００７−１４１１７７号公報（特許文献３）、特開２００１−３５０５８６号公報（特許文献４）、特表２００７−５１４２４１号公報（特許文献５）に記載されたものが知られている。
【０００３】
これらの従来技術の場合、半透明のスクリーンなどを用い、背面からのプロジェクタによる画像投影とカメラ撮影により、ユーザ側、すなわち、前面のスクリーンへのタッチを、タッチした指などの影やその動きの認識によって検出する技術が知られている。これらは半透明のスクリーンが必要で、かつ、スクリーンの背面にプロジェクタやカメラの設置スペースを確保する必要がある。
【０００４】
また、特表２００７−５１７２４４号公報（特許文献６）、特表２００６−５１４３３０号公報（特許文献７）に記載された従来技術は、プロジェクタ、カメラ、ユーザが全て前面に位置し、スクリーンへの投影画像を妨げているユーザ又はその一部のシルエットを検出するものであるが、ユーザによるスクリーンへのタッチ等の操作を検出するものではない。
【０００５】
また、特表２００６−５２２９６７号公報（特許文献８）には、プロジェクタ、カメラ、ユーザが全て前面に位置し、ユーザによるスクリーンへのタッチ位置を検出することを目的とした技術が記載されているが、カメラはスクリーン表面近くに設置され、タッチしようとする指などとスクリーンの距離を直接観察するものであり、タッチされるスクリーン上の位置を正確に検出するには少なくとも２台のカメラが必要である。
【０００６】
さらに、特開２００７−２９９４３４号公報（特許文献９）に記載されているものも知られている。この従来技術は、大画面スクリーンの前方斜め上にスクリーンに向けて赤外光源を設置し、スクリーンの前方に立ってスクリーンにタッチするユーザの手指が赤外光を遮ってスクリーン上に影を映せるようにし、そのスクリーンを背面から撮影するようにスクリーンの背面にカメラを設置し、カメラの撮影した画像から手指の影の位置をコンピュータにて割り出し、プロジェクタにてスクリーンに投影している画像との関係で、手指の影の位置から何をタッチしたのかを割り出し、そのタッチ操作に対応するアクションを起動する構成である。この従来技術の場合、赤外光源と赤外線を透過するプラスチック等の特別なスクリーンが必要であり、かつその位置関係も予め所定のものに設定しておく必要がある。そのため、部屋の壁面をスクリーンにしてプロジェクタから投影させる場合のように、任意の面をスクリーンに利用して投影するような場合には利用できなかった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−７０２４５号公報
【特許文献２】特開２００７−３２８７５４号公報
【特許文献３】特開２００７−１４１１７７号公報
【特許文献４】特開２００１−３５０５８６号公報
【特許文献５】特表２００７−５１４２４１号公報
【特許文献６】特表２００７−５１７２４４号公報
【特許文献７】特表２００６−５１４３３０号公報
【特許文献８】特表２００６−５２２９６７号公報
【特許文献９】特開２００７−２９９４３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上述した従来技術の問題点に鑑みてなされたもので、例えば壁面、床面、通常のスクリーン等々、任意の面を投影面として利用しプロジェクタから投影させても、その投影画像に対してユーザの手指等によるタッチ位置を自動的に検出して入力できるタッチ位置入力装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、プロジェクタからスクリーンに投影される投影画像をプロジェクタの光軸からずれた位置に設置されたカメラにて撮影し、プロジェクタとカメラを接続した情報処理装置にてプロジェクタの送出している投影原画像とカメラからの撮影画像との差異を評価し、ユーザがその手指等にてタッチしている投影原画像上の位置を割り出し、その割り出した位置をタッチ位置として受け付け、例えば、アイコンクリック、次ページ展開、前ページ展開、スタート、終了等々、該当タッチ領域のタッチ操作に対応する処理を実施させることを特徴とするタッチ位置入力装置及び方法を特徴とする。
【００１０】
本発明のタッチ位置入力装置及び方法は、スクリーン上のプロジェクタからの投影画像をプロジェクタの光軸から適宜の角度だけ離したカメラで常時撮影し、プロジェクタとカメラを接続した情報処理装置にて、プロジェクタに送出している投影原画像とカメラからの撮影画像との差異を評価する。次に、タッチを判定するために定めたタッチ領域において、ある閾値以上の差異があり、かつ、スクリーン上の影と見なせる色の領域を「影」とし、同じく差異があって「影」ではない部分、あるいは、予め設定した手指などのタッチの指示物体（以後、説明では「手指」で代表する）の色と同等色の領域を「前景」とし、それ以外は「背景」として区別し、次に、影と前景の領域の割合が、予め設定した閾値よりも小さくなった場合にタッチ状態と判定し、タッチ状態になった時刻や持続時間、及び、画面上の位置、例えば、画面上に設けた複数のタッチ判定領域の内のどの領域であるかの情報を利用し、大画面に投影している画像投影システムにおける何らかのアクション開始の契機とする。
【００１１】
上記発明のタッチ位置入力装置及び方法では、プロジェクタの光軸とカメラの光軸との角度差に起因し、カメラの撮影画像がプロジェクタに送出している投影原画像に対して形の歪みがある場合、撮影画像の全体又は一部を歪み補正し、投影原画像とアスペクト比及び画素数などの形を合わせてからタッチ位置及びタッチ判定に移行するものとすることができる。スクリーンが平面の場合は、この歪み補正には射影変換を利用することができる。
【００１２】
また、上記発明のタッチ位置入力装置及び方法では、タッチ領域に周囲と異なる色をプロジェクタから投影し、若しくは、タッチ領域を周囲と同じ色にする場合は異なる色の枠だけを表示し、ユーザにタッチ領域を知らしめるものとすることができる。
【００１３】
また、上記発明のタッチ位置入力装置及び方法では、プロジェクタからの送出原画像とカメラの撮像画像との差異判定において、予め前景も影も映らない状態でタッチ領域に投影されたスクリーン画像をカメラで撮像して記憶し、またタッチ領域を異なる色で複数設ける場合にはそれぞれの色に関して投影と撮影を逐次に、若しくは、画面上の異なる位置において同時に行い記憶しておき、以後の投影中のタッチ領域の色と、この予め記憶した色との差異が予め定めた小さい範囲内である画素は「背景」と判定するものとすることができる。
【００１４】
また、上記発明のタッチ位置入力装置及び方法では、予め影と手のタッチ状態を撮影し、先に記憶した背景の色と異なる色の画素ごとに、その色分布、すなわち、色空間上に分布する範囲をそれぞれ記憶し、影の色分布に関しては、必要に応じてより輝度の低い領域も全て影の領域として分布を拡張して記憶し、次に、手のタッチ状態の色分布の内、影の色分布を除いた部分を「前景」の色分布と見なして記憶し、以後のタッチ判定において、タッチ領域の入力画像の各画素を前景と影と背景とに分類し、影と前景との画素数の比がある一定以下であることをタッチ状態の判定に用いるものとすることができる。
【００１５】
また、上記発明のタッチ位置入力装置及び方法では、予め影と手のタッチ状態を撮影し、先に記憶した背景の色と異なる色の画素を対象にそれぞれ色空間上で色ヒストグラムを記憶し、影の色ヒストグラムにおいては、必要に応じてより輝度の低い区分（ビン）も全て適当な値で埋めて影の領域として記憶し、以後のタッチ判定においては、両ヒストグラム上での度数の大きさを手のタッチ状態（即ち、前景又は影）及び影らしさを表わす確率として用いるために、それぞれのヒストグラムの各ビンの内、最大度数のものが１となるように各ビンの度数を正規化し、入力画像の背景以外の全画素に対して、正規化後の両ヒストグラム上の対応するビンの値を重みとした手のタッチ状態の加重和と影の加重和を求め、後者の値と前者から後者を減じた値との比がある一定以下であることをタッチ状態の判定に用いるものとすることができる。
【００１６】
また、上記発明のタッチ位置入力装置及び方法では、手のタッチ状態の色分布範囲において、影の色分布範囲と重なる部分は前者の色ヒストグラムの各ビンの正規化された度数から後者の対応するビンの正規化された度数を減じた上で、前者を前景の色ヒストグラムとして使用するものとすることができる。
【００１７】
また、上記発明のタッチ位置入力装置及び方法では、手のタッチ状態の色分布範囲において、影の色分布範囲と重なる部分は前者の色ヒストグラムの各ビンの度数を０にした上で、前者を前景の色ヒストグラムとして使用するものとすることができる。
【００１８】
また、上記発明のタッチ位置入力装置及び方法では、手のタッチ状態の色分布を影と前景に切り分けた結果を用い、同時にそれぞれに分類される画素数を記憶しておき、タッチ状態の判定基準に用い、若しくは、手のタッチ状態の色分布を影と前景に切り分けた結果を用い、各画素にヒストグラムの対応ビンの度数を乗じて相互に加算した加重和の比率を記憶しておき、タッチ状態の判定基準に用いるものとすることができる。
【００１９】
また、上記発明のタッチ位置入力装置及び方法では、例えば、掌でのタッチや指先のタッチなど、複数のタッチの仕方をそれぞれ認識するために、予めタッチしたそれぞれの状態を撮影し、それぞれの比率だけでなく、その前景の絶対量（画素数）や形も記憶し、タッチ判定に複数の条件を用いるものとすることができる。
【００２０】
また、上記発明のタッチ位置入力装置及び方法では、背景以外若しくは前景の画素がある閾値以上であることを、タッチ判定の前提条件に加えたものとすることができる。
【００２１】
また、上記発明のタッチ位置入力装置及び方法では、正規化後の手のタッチ状態若しくは前景のヒストグラムを用いた加重和がある閾値以上であることを、タッチ判定の前提条件に加えるものとすることができる。
【００２２】
また、上記発明のタッチ位置入力装置及び方法では、タッチしていない状態でタッチと判定してしまう誤認識の低減を目的として、タッチ状態が一定時間続くことにより初めてタッチと判定し、アクションの契機とするものとすることができる。
【００２３】
また、上記発明のタッチ位置入力装置及び方法では、背景以外に区別した画素に対応する投影原画像中の領域には白色若しくは明るい無彩色に変更した画像をプロジェクタに送出し、これにより、背景であるのに背景以外に区別してしまった領域はスクリーンに白色又は無彩色を投影した色となるようにし、この色が手に白色又は無彩色を投影した色と区別できる場合は、背景領域への区別変更を行うものとすることができる。
【００２４】
また、上記発明のタッチ位置入力装置及び方法では、タッチ状態を判定中に手指などの移動、すなわち、手のタッチ状態の画素若しくは前景の画素の移動を検出し、それをポインティングデバイスによるドラッグと解釈し、手指などの移動に合わせてタッチ領域の移動などの大画面システムに対するアクションの契機とするものとすることができる。
【発明の効果】
【００２５】
本発明のタッチ位置入力装置及び方法によれば、例えば壁面、床面、通常のスクリーン等々、任意の面を投影面として利用しプロジェクタから投影させても、その投影画像に対してユーザの手指等によるタッチ位置を自動的に検出してそのタッチ位置を情報処理装置に入力し、該当位置のタッチ操作に対応する処理が行え、使い勝手に優れたものである。
【図面の簡単な説明】
【００２６】
【図１】本発明の１つの実施の形態の大画面投影システム及びタッチ位置入力装置の構成図。
【図２】上記実施の形態のタッチ位置入力装置における情報処理装置の演算処理機能の構成を示すブロック図。
【図３】図３（Ａ）は上記実施の形態を使用する投影システムにおいて、スクリーンに映った投影画像の正面図、図３（Ｂ）は、上記実施の形態を使用する投影システムにおいて、投影画像の投影中のスクリーンをカメラにて撮影した撮影画像から投影原画像を切り出し、射影変換処理する処理工程の説明図。
【図４】上記実施の形態を使用する投影システムにおいて、プロジェクタによるスクリーンへの投影画像とそのタッチ領域にユーザがタッチしようとする状態のカメラ撮影画像の説明図。
【図５】図５（Ａ）は、上記実施の形態を使用する投影システムにおいて、タッチ位置入力装置の初期設定時に手指の影だけを投影画像内のタッチ領域に映した状態を示す説明図、図５（Ｂ）は、上記実施の形態を使用する投影システムにおいて、タッチ位置入力装置の初期設定時に投影画像内のタッチ領域に手指をタッチした状態を示す説明図。
【図６】図６（Ａ）は、上記実施の形態を使用する投影システムにおいて、ユーザが掌にて撮影画像のタッチ領域にタッチした状態の撮影画像、図６（Ｂ）は、上記実施の形態を使用する投影システムにおいて、ユーザが手指にて撮影画像のタッチ領域にタッチした状態の撮影画像。
【図７】上記実施の形態のタッチ位置入力装置における情報処理装置によるタッチ判定処理のフローチャート。
【図８】上記実施の形態のタッチ位置入力装置における情報処理装置による初期設定処理のフローチャート。
【図９】上記実施の形態のタッチ位置入力装置における情報処理装置によるタッチ判定ステップの詳細なフローチャート。
【図１０】上記実施の形態のタッチ位置入力装置における情報処理装置によるタッチ領域のドラッグ処理のフローチャート。
【図１１】上記実施の形態のタッチ位置入力装置における情報処理装置によるタッチ領域でのタッチ判定処理の別例のフローチャート。
【図１２】図１２（Ａ）は、上記実施の形態のタッチ位置入力装置が使用するＨＳＶ色空間における背景の色分布図、図１２（Ｂ）は、上記ＨＳＶ色空間における影の色分布図、図１２（Ｃ）は、上記ＨＳＶ色空間におけるタッチ状態の色分布図、図１２（Ｄ）は、上記ＨＳＶ色空間における前景の色分布を示す説明図。
【図１３】上記実施の形態のタッチ位置入力装置における情報処理装置による背景・影・前景の分類処理のフローチャート。
【図１４】図１４（Ａ）は、上記実施の形態のタッチ位置入力装置における情報処理装置が取得したＨＳＶ色空間における背景の正規化前の色ヒストグラム、図１４（Ｂ）は、上記ＨＳＶ色空間における正規化後の影の色ヒストグラム、図１４（Ｃ）は、上記ＨＳＶ色空間における正規化後のタッチ状態の色ヒストグラム、図１４（Ｄ）は、上記ＨＳＶ色空間における正規化後の前景の色ヒストグラム。
【発明を実施するための形態】
【００２７】
以下、本発明の実施の形態を図に基づいて詳説する。
【００２８】
図１は、本発明の１つの実施の形態のタッチ位置入力装置を備えた投影システムを示している。本実施の形態の大画面の投影システムは、スクリーン１１と、スクリーン１１に対して画像を投影するプロジェクタ１２と、スクリーン１１の投影画像を撮像するカメラ１３と、プロジェクタ１２及びカメラ１３が接続された情報処理装置１４とから構成されている。
【００２９】
カメラ１３と情報処理装置１４は本実施の形態のタッチ位置入力装置を構成する。情報処理装置１４は例えば１台のコンピュータ、若しくは、ネットワークで相互に接続され通信し合うことができる２台のコンピュータであり、一方にプロジェクタ１２が、他方にカメラ１３が接続される形態でも構わない。また、以下のタッチ位置入力装置の説明はコンピュータの処理機能を機能部ごとに分けて行うが、各部の行う処理は情報処理装置１４に組み込んだコンピュータプログラムの演算処理にて実現されるものである。したがって、コンピュータが実行するタッチ位置入力プログラム、そのコンピュータプログラムの実行により実現されるタッチ位置入力方法、さらにはそのコンピュータプログラムを記録した記録媒体も本発明の技術的範囲である。
【００３０】
スクリーン１１を垂直に設置する場合は、スクリーン１１の前に人が立ち、スクリーン１１上を手指又は何かの器物（その影がスクリーン１１に映る物。以下、手指で代表する。）で指示する際に、人の頭部や手以外の体の一部がプロジェクタ１２からの光を遮らないようにすること、また、カメラ１３からスクリーン１１上の投影画像への視野が人の頭部や体の一部に遮られないようにすることの必要性から、一般的にはプロジェクタ１２とカメラ１３はスクリーン１１の最上端付近か、さらにその上方で、かつ、左右方向にはスクリーン１１のほぼ正面に設置されるのが望ましい。カメラ１３はプロジェクタ１２の付近において、互いの光軸が１５度〜２５度程度の角度を保つように設置されるのが望ましい。
【００３１】
スクリーン１１を水平なテーブル上や床面とする場合は、プロジェクタ１２及びカメラ１３はスクリーン１１の真上付近に設置するのが望ましい。この場合は、ユーザはプロジェクタ１２からの光を遮らないように頭などを避けることが期待できるが、カメラ１３の視野を意識することは困難なため、カメラ１３の設置位置をプロジェクタ１２との角度が極力小さくなるように設定するのが望ましい。別角度に配置された２台以上のカメラ１３で同時に撮影し、それらのいずれかでタッチを認識するようにすることもできる。
【００３２】
尚、スクリーン１１は平面に限定する必要はなく、プロジェクタ１２からの投影画像をカメラ１３によって撮像した後に情報処理装置１４内部にて面積的に歪みなく元の画像と同じアスペクト比（縦横比）の矩形に変換できるものであれば任意の形状でよい。以後、説明を簡単にするためにスクリーン１１は平面であることを想定する。
【００３３】
スクリーン１１が平面の場合は、例えばプロジェクタ１２からスクリーン１１上に歪みのない矩形画像、若しくは、台形状などに歪んだ四角形の画像をカメラ１３で撮像するとプロジェクタ１２とカメラ１３の光軸の違いから別の歪みを持つ四角形となる。これに対しては、情報処理装置１４内での画像処理において一般に用いられる射影変換を１回施すことによって、プロジェクタ１２が投影しようとした元の画像と同じアスペクト比（縦横比）の矩形に変換することができ、撮像された物体とその影の面積比をほぼ正しく計算することができる。
【００３４】
図２は情報処理装置１４の処理する射影変換、影の面積比計算等に必要な処理機能をブロックに分けて示した図であり、図３〜図６は処理の説明図、図７はその処理のフローチャートを示している。
【００３５】
図２に示すように、情報処理装置１４における各処理機能として、カメラ１３を制御し、カメラ１３の撮影した撮影画像を入力するカメラ画像入力部１０１、カメラ１３の撮影画像に対してプロジェクタ１２からの投影画像の部分だけを切り出す部分画像切り出し処理部１０２、切り出された投影画像に対して原画像と同様のアスペクト比の矩形画像に変換する射影変換処理部１０３、撮影画像中からタッチ領域３１を割り出すタッチ領域認識処理部１０４、タッチ領域３１上に存在する影領域３２を認識する影領域認識処理部１０５、タッチ領域３１上に存在する手指を前景領域３３として認識する前景領域認識処理部１０６、図４に示すようにタッチ領域３１中の背景領域３４、すなわち、影領域３２でも前景領域３３でもない領域を認識する背景領域認識処理部１０７、タッチ判定を行うタッチ判定部１０８、初期設定を行う初期設定処理部１０９、プロジェクタ１２に対してスクリーン１１に向けて投影させる画像を作成する画像作成部１１０、作成された画像をプロジェクタ１２に送出する画像出力部１１１を備えている。
【００３６】
図３（Ａ）は、スクリーン１１上の投影画像２１を示している。図３（Ｂ）は、カメラ１３による撮影画像２２から投影画像相当部分２１′の切り出しと、切り出された投影画像相当部分２１′に対する射影変換後の投影画像再現像２３を示している。
【００３７】
図７のフローチャートにおいて、ステップ６１の初期設定の後、情報処理装置１４がプロジェクタ１２に投影原画像２１を送出しているときに（ステップ６２）、スクリーン１１上に手をかざした状態をカメラ１３で撮影した撮影画像２２を同じ情報処理装置１４にカメラ画像入力部１０１を経て入力する（ステップ６３）。
【００３８】
図３（Ｂ）に示すように撮影画像２２内の投影画面相当部分２１′の４隅を図３（Ａ）に示す投影原画像２１の４隅と対応させるべく、情報処理装置１４はその部分画像切り出し処理部１０２にて撮影画像２２から投影画像相当領域２１′を切り出し、さらに射影変換処理部１０３にて投影画像相当領域２１′を射影変換して投影原画像２１とそれぞれの４隅を対応させた投影画像再現像２３を生成する。この射影変換処理によって得られた投影画像の再現像２３を以下、切り出し画像２３とも称する（ステップ６４）。
【００３９】
ユーザがスクリーン１１上の投影画像２１上のタッチ領域３１にタッチしようとしているときの撮影画像２２に対する切り出し画像２３には、図４に示すように、タッチ領域３１内でポインティングする手指の影の領域（影領域）３２、タッチ領域３１の前方に位置するユーザの手指の領域（前景領域）３３、そしてタッチ領域３１からこれらの影領域３２、前景領域３３を除いた背景領域３４が存在する。これらの領域の認識処理は、タッチ領域認識処理部１０４、影領域認識処理部１０５、前景領域認識処理部１０６、背景領域認識処理部１０７により行われる（ステップ６５）。
【００４０】
タッチ領域３１は情報処理装置１４側で投影原画像２１中に設定した、当該領域内へのタッチを検出したときに次ページへ画像を展開する、前ページへ画像を戻す、該当部分の画像拡大、リンク先への展開等々、予め該当タッチ領域３１に割り付けられているアクションを有効とする領域である。タッチ判定部１０８により、タッチ領域３１の内部で、そこに存在する上記の影領域３２、前景領域３３、背景領域３４の面積比等が計算され、タッチ判定が行われる（ステップ６６、６７）。
【００４１】
この前景・影・背景の領域の認識処理及びタッチ判定処理に先立ち、ステップ６１の初期設定において、次の処理を行っておく。ただし、初期設定を固定的なものにしてシステムを簡素化する場合、予め前景領域３２、影領域３３、背景領域３４それぞれの色を設定し、また、タッチ状態の影領域と前景領域の面積比率を設定しておくことができる。しかしながら、本実施の形態では、システムに学習機能を備えさせ、初期設定時に学習させるものとする。
【００４２】
初期設定に際しては、初期設定処理部１０９が、プロジェクタ１２に対してスクリーン１１に初期設定画面を投影させるように初期設定画面を送出する。この初期設定画面は、テストパターンのように決まった画像であってもよいし、これから投影してプレゼンテーションを行おうとしている画像ファイルの中の特定の１枚の画像フレームであってもよい。
【００４３】
影領域３２の初期設定では、プロジェクタ１２からスクリーン１１に初期設定画面を投影している状態で、図５（Ａ）の示すように、タッチ領域３１内にユーザに手指は入らず、手指の影だけが入る状態にしてカメラ１３に撮影されるように手指をスクリーン１１から離した状態でプロジェクタ１２からの投影光にかざし、手指の影を投影画面２１のタッチ領域３１上に映らせる。そしてカメラ１３にて投影画面を撮影させる。この操作により、システム側では、図５（Ａ）に示す状態でタッチ領域３１上に映っている手指の影３２の色を記憶する。次に、図５（Ｂ）に示すように、手指をスクリーン１１の投影画面２１におけるタッチ領域３１に接触した状態とし、この状態で投影画面２１をカメラ１３にて撮影する。これがタッチの状態の撮影となる。このタッチ状態の撮影の際にはタッチ領域３１内に手指３３と共にその影３２がある程度一緒に撮影される。
【００４４】
ここで、図６（Ａ）に示すように広げた掌５１でタッチ操作する場合、同図６（Ｂ）に示すように１、２本の指先５２でタッチ操作する場合があり得るので、初期設定処理ではそれぞれについて行うことが好ましい。
【００４５】
図８のフローチャートに示すように、ステップ６１の初期設定処理では次のことを行う。領域解析、記憶処理は情報処理装置１４の初期設定処理部１０９が行う。人の手指等の影が映っていない状態でスクリーン１１上の投影画像２１をカメラ１３にて撮影し、カメラ１３から撮影されるタッチ領域３１の色を記憶する（ステップ６１１）。次に、図５（Ａ）に示した影３２のみがタッチ領域３１内に映る状態にして投影画面２１をカメラ１３にて撮影し、初期設定処理部１０９が影３２の色を割り出し、特定した色を記憶する（ステップ６１２）。
【００４６】
さらに、タッチ領域３１に手指３３をタッチした状態にしてカメラ１３にて投影画面２１を撮影し、初期設定処理部１０９がタッチ状態の撮影画像から影の色を除く処理により前景の色を割り出し、記憶する（ステップ６１３）。初期設定ではさらに、タッチ状態及び影の色ヒストグラムを算出し（ステップ６１４）、ヒストグラムの度数を正規化して記憶する（ステップ６１５）。また、タッチ状態のヒストグラムから前景のヒストグラムへの加工を行い（ステップ６１６）、さらに、タッチ状態での前景と影の比率を記憶する（ステップ６１７）。そして、これらは、掌５１でのタッチと指先５２でのタッチとの両方について撮影し、形状を記憶し、それぞれで前景と影の比率を算出して記憶する。
【００４７】
図７でステップ６９の括弧にてまとめたステップ６２〜６７の処理はカメラ１３が撮影する動画像の１フレームごとに繰り返し行う。これは、本実施の形態のタッチ位置入力装置においてカメラ１３がスクリーン１１上を撮影し、スクリーン１１のタッチ状態の有無を監視するためである。
【００４８】
図７のフローチャートにおいて、初期設定ステップ６１に続くステップ６２の投影画像のプロジェクタ送出の処理では、大画面投影システムにおいて情報処理装置１４が生成した画像をプロジェクタ１２経由でスクリーン１１に投影する。
【００４９】
ステップ６３のカメラ動画像の取り込み処理では、カメラ１３で撮影した動画像の１フレームを情報処理装置１４に取り込む。
【００５０】
ステップ６４の投影画像の切り出し処理では、情報処理装置１４において取り込んだフレーム画像を射影変換などにより歪みのない、投影原画像と等しいアスペクト比の矩形に変換する。また、プロジェクタ１２の投影画像の部分の矩形を切り出す。
【００５１】
ステップ６５の前景・影・背景の領域の認識処理では、初期設定で求め記憶している色情報を利用し、カメラ１３の撮影画像から前景・影・背景の領域を認識する。そしてステップ６６のタッチ領域３１内でのタッチ判定の処理では、ステップ６５の認識結果を利用し、影の領域が前景の領域に対して予め設定した割合よりも小さくなった場合にタッチ状態と判定する。この認識処理においては、前景の領域がある閾値以上の広さでない場合、前景とはみなさないようにすることができ、これにより、誤検出を防止することができる。
【００５２】
ステップ６６でタッチ状態と判定されない場合はステップ６７にてＮＯに分岐し、次の画像フレームのプロジェクタ送出の処理ステップ６２に戻る。ステップ６６でタッチ状態と判定された場合はステップ６７にてＹＥＳに分岐し、タッチ状態と判定されたタッチ領域３１のタッチ位置情報を投影システムに知らせることで、情報処理装置１４が何らかのアクションを起こす（ステップ６８）。
【００５３】
ステップ６６のタッチ判定では、図９のフローチャートに示すように、複数のＮ枚連続した画像フレームにおいて同じタッチ領域３１に対してタッチと判定される場合（ステップ６６１〜６６４）、つまり、タッチ状態が一定時間続くことにより真のタッチと判定するように設定することができる（ステップ６６５）。これにより、ユーザによるタッチ操作から投影システムにおけるアクションまでにある程度の時間遅れが生じることになるが、カメラ撮影時のノイズやユーザがタッチを意図しないのにその手指がタッチ領域を偶発的に通過した場合の誤検出等、ユーザの意図しない状況でのタッチの誤判定の軽減できる。
【００５４】
さらに、図１０のアクション処理６８Ａのフローチャートに示すように、タッチ判定に引き続き、タッチ状態が判定されているタッチ領域３１内で、前フレームから前景３３が移動したベクトル量に応じて投影画像２１内のタッチ領域３１の位置を移動させることにより該タッチ領域３１に対するドラッグ機能も実現できる（ステップ６８Ａ１〜６８Ａ６）。
【００５５】
図７のフローチャートにおけるステップ６６のタッチ判定処理については、図１１のフローチャートに示すタッチ判定処理６６Ｂに置き換えることができる。その場合には、タッチ判定した今回のフレームの次フレームから前景領域を白若しくは無彩色に変化させる処理を伴うように処理する。すなわち、今回の画像フレームに対するタッチ状態を認識すると（ステップ６６Ｂ１、６６Ｂ２）、次フレームからステップ６２において前景、若しくは、背景ではないと認識された全ての画素を白色若しくは明るい無彩色光へ変更した投影画像を生成してプロジェクタへ送出する（ステップ６６Ｂ３）。
【００５６】
このタッチ判定処理６６Ｂを採用することにより、予め記憶した白又は明るい無彩色光を投影したスクリーン色が観測されるならば、それは当該領域が背景であるにも関わらず前景であると誤認識したことを示すため、次のフレームに対するステップ６５においては背景と見なして前景と影の比率計算から除外することができ、より正確なタッチ状態判定に寄与すると共に、手指などの真の前景部分もタッチ領域３１の投影色を浴びなくなるため、より正確なタッチ条件判定が可能となる。尚、背景３４であるにも関わらず前景であると誤認識した領域は、次フレーム以降は白又は明るい無彩色光の投影をやめ、元々のタッチ領域色に戻すことが見かけ上望ましい。
【００５７】
次に、初期設定ステップ６１における処理、つまり、色空間上の色分布の記憶処理について説明する。色空間としてはＲＧＢ色空間、ＨＳＶ色空間、ＹＵＶ色空間など、各軸を区分化しマップ表現できるものであれば任意のものでよい。基本的には３次元の配列を用意するのが実装上簡便である。３次元配列は図示しにくいため、図１２ではＨＳＶ空間のＨとＶの２次元で説明する。尚、Ｈ及びＶの最大値から最小値の範囲を図１２（Ａ）〜（Ｄ）ではそれぞれ８区分にしているが、この区分数に限るものではない。ただし、区分数をあまりに少なくし過ぎても多くし過ぎても認識精度が悪くなる。区分数の適正基準の１つとしては、撮影された背景、影、手指などの認識対象の各画素が同じ属性としてマップ上に飛び飛びに分布せず、ほぼ連続した区分に分布することが挙げられる。
【００５８】
図１２（Ａ）は、図７のフローチャートにおけるステップ６１の初期設定の際にスクリーン１１上でタッチ領域３１の色、すなわち、タッチ判定における背景を撮影した際に、領域３１内の各画素のＨ及びＶの値がどの値の範囲にあるか、すなわち、どの区分に存在するかを記録するための色マップを示している。ここでは、図１２（Ａ）において斜線を施した部分７１の色が背景として存在していることを示す。背景の色分布は大画面投影システムにおいてタッチ領域３１の色数に応じてそれぞれ記憶する。
【００５９】
図１２（Ｂ）は、ステップ６１の初期設定の際に、図５（Ａ）に示した影のみがタッチ領域３１にかかる状況をカメラ１３にて撮影した際に、影３２に対応する画素７２がＨ及びＶのどの区分に存在するかを記録するための色マップである。タッチ領域３１の全画素から図１２（Ａ）に示した背景の区分７１に属するものを除いた画素に対してマップが作成される。ただし、影領域３２はスクリーン１１から手を離した状態で撮影されるため、スクリーン１１にタッチした手によってできる図５（Ｂ）における影領域３２に比べて明るい、すなわち、輝度の大きい影となる可能性が高い。その場合は、図５（Ａ）の状態にて得られた影領域３２の色分布に、同色で輝度の低い領域を全て影の色分布に加える。図１２（Ｂ）において、斜線部分７２が以上のようにして得られた影の色分布の例を示している。尚、影領域３２はタッチ領域３１の投影色に依存しないため、影の色分布７２の記憶は１つで構わない。また、影領域３２の色はプロジェクタ１２によるタッチ領域３１への投影色の影響を受けにくいため、ＨＳＶ色空間を用いた場合には３次元に代えてＳＶ又はＨＶの２次元で済ませることも可能である。
【００６０】
図１２（Ｃ）は、やはり初期設定６１の際に手指によるタッチ状態を撮影し、図１２（Ｂ）と同様に背景の区分７１に属するものを除いた画素７３に対して作成したマップであり、図５（Ｂ）のタッチ状態の色分布を示す。この色分布７３には影の画素の色分布７２の情報が含まれている。そこで、図１２（Ｃ）に示す色分布７３の区分から図１２（Ｂ）に示す影の色分布７２の区分を取り除いた図１２（Ｄ）に示す色分布を、手指などの前景領域３３の色分布７４と見なすことができる。尚、影の色分布７２と手のタッチ状態の色分布７３のそれぞれは同一の色空間を用いるのが原則であるが、もし両者の色空間に異なるものを用いる場合は、影の色分布７２の各区分に色空間相互の変換を施した上で、手のタッチ状態の色分布７３から取り除くことになる。また、影の色分布７２を２次元で、手のタッチ状態の色分布７３を３次元で記憶する場合には、影の色分布７２に用いない次元に関しては全て同じ値で２次元から３次元に拡張した上で、手のタッチ状態の色分布７３から取り除くことによって前景の色分布７４を求めることができる。
【００６１】
尚、前景３３の色はタッチ領域３１の投影色に依存するため、投影色ごとに記憶されなければならない。このときの影の色分布７２に属するとして除外された画素数と、前景の色分布７４に属するとされた画素数の比率を記憶し、この比率に例えば数％のマージンを持たせた値をタッチ状態の判定基準に用いる。また、器物ではなく手指でのタッチを想定し、タッチ領域色ごとに、図６（Ａ）の掌のタッチ状態、図６（Ｂ）の指でのタッチ状態のように幾つかの典型的なタッチの仕方についてそれぞれ撮影し、前景の色分布７４を作成して記憶すると共に、影の色分布７２に属するとして除外された画素数と前景の色分布７４に属するとされた画素数との比率を記憶する。この場合、同じ投影色において、複数の色分布７４と、影と前景の比率とを使用する方法は、主に２種類ある。その１つは、前景画素の形状認識機能を前景領域認識処理部１０６に持たせ、初期設定のステップ６１、前景・影・背景の領域認識処理のステップ６５において、前景の形状が類似しているものの色分布７４と影と前景の比率との両方をタッチ判定に用いる方法である。もう１つは、複数の色分布７４を統合して１つのものにすると共に、影と前景の比率の平均値や最大値を統合された基準として用いる方法である。
【００６２】
次に、図７のフローチャートにおけるステップ６５の前景・影・背景の領域認識、及び、ステップ６６のタッチ領域におけるタッチ判定の処理について説明する。屋内の照明などの周囲光の安定した状況下では、前景、影、背景それぞれを予め固定的でかつ相互に排他的な色範囲として定義しておくことが可能である。また背景の色分布だけをシステムの設置場所にて初期設定のステップ６１の際に取得し記憶することもでき、さらに、背景に加え、影とタッチ状態の色分布も取得し、両者から前景の色範囲を求めて記憶することもできる。
【００６３】
さらに加えて、初期設定のステップ６１の際に背景の色分布と影の色分布とのみを取得して記憶し、タッチ判定のステップ６６では、背景の色でもなく、かつ、影の色でもない色の部分を前景の領域と見なすことにし、影の色の領域と前景と見なした領域との比率を求め、閾値と比較することによってタッチ判定することもできる。
【００６４】
本実施の形態では、初期設定のステップ６１にて、背景に加え、影とタッチ状態の色分布を取得し記憶する。ステップ６５では、入力画像フレームの歪み補正後のタッチ領域３１の各画素が、これらの方法によって準備した前景、影、背景のどの色分布に属するかを分類し、その画素数をそれぞれ計数する。そして、ステップ６６の判定では、影領域３２の画素数の前景領域３３の画素数に対する比率を求め、この比率がある閾値以下となったときにタッチ状態と判定する。尚、この比率の閾値としては、予め経験的に求めておいた固定値でもよく、初期設定時に設置場所にて取得した影と前景の比率に数％程度のマージンを持たせた値を閾値としてもよい。本実施の形態では後者を採用している。
【００６５】
図１２（Ａ）〜（Ｄ）に関連して述べた入力フレーム画素の背景、影、前景への分類処理は排他的（決定的）であったが、色マップに代えて色ヒストグラムを用いることもできる。これを図１３のフローチャート、図１４（Ａ）〜（Ｄ）の説明図を用いて説明する。初期設定処理部１０９による初期設定のステップ６１の際に、背景の色分布の記憶は、図１２（Ａ）に示した背景の色分布７１の記憶と同様に行う（ステップ６１Ａ１）。
【００６６】
影の色分布については、手指の影だけを投影画像のタッチ領域３１上に映した状態でカメラ１３にて撮影し、背景の色区分とされない色区分に関して、図１４（Ａ）に示すように、各色区分に該当する画素数をヒストグラムの度数として計数し、それを影の色ヒストグラム８１とする（ステップ６１Ａ２）。
【００６７】
次に、図１４（Ｂ）に示すように、影の色ヒストグラム８１に対して、最大度数が１となるように各色区分の度数を正規化する（ステップ６１Ａ３）。この正規化した影の色ヒストグラム８２は、入力フレームの各画素が影かどうかの確率を求めるための表として用いることができる。
【００６８】
図５（Ｂ）に示した初期設定ステップ６１の際のタッチ状態の撮影画像に関しても、同様に背景以外の画素に関して度数を計数し正規化することにより、図１４（Ｃ）に示すようなタッチ状態の色ヒストグラム８３を得る（ステップ６１Ａ４）。
【００６９】
この場合、実際の前景・影・背景の領域の認識ステップ６５では、入力画像フレームの歪み補正後のタッチ領域の各画素について、図１４（Ｂ）の影の色ヒストグラム及び図１４（Ｃ）のタッチ状態の色ヒストグラムのそれぞれの対応する区分の正規化された度数を読み取り、それらを当該画素の影、及び、前景又は影の確率と見なす。全画素に関してその確率を重みとして加重和をそれぞれ求める。そして、ステップ６６のタッチ判定では、それら影の加重和の値と、前景又は影の加重和から影の加重和を減じた値との比率がある閾値以下である場合にタッチ状態と判定する。尚、この比率の閾値は予め経験的に求めた固定値でもよく、初期設定のステップ６１でタッチ状態の色ヒストグラムを作成した際の、影の色ヒストグラムが重なっている画素数と重なっていない画素数の比率をタッチ判定の基準に用いてもよい。本実施の形態では後者を用いる。
【００７０】
図１４（Ｃ）はタッチ状態、すなわち、前景又は影の色ヒストグラム８３を示しているが、影の色ヒストグラム８２の値が存在しているビンに関しては、前者から後者の値を減じることにより前景の色ヒストグラムを得ることができる。ただし、減算によって負となるビンは０としておく。また、影の色ヒストグラム８２の値が存在しているビンに関して、前景又は影の色ヒストグラムの対応するビンを０にしてしまうことにより、図１４（Ｄ）の前景の色ヒストグラム８４が得られる。
【００７１】
以上は影の色ヒストグラムもタッチ状態の色ヒストグラムも同じ色空間を用いることを想定しているが、もし両者に異なる色空間を用いる場合は、上記図１２（Ｄ）に関連して説明したように、前景を求めるためには影の色ヒストグラムの各ビンに関して色空間の変換が必要である。影の色ヒストグラムが２次元の場合も、前景を求めるためには上記図１２（Ｄ）に関連して説明したように、影の色ヒストグラムを３次元に拡張した後に、タッチ状態の色ヒストグラムからの除外に用いる必要がある。
【００７２】
尚、図７におけるステップ６６のタッチ状態判定のための比率の閾値は、予め経験的に求めておいた固定値でもよく、あるいは設置場所にて取得した影と前景の加重和比率に数％程度のマージンを持たせた値でもよい。
【００７３】
また、タッチ状態を影と前景の画素数、あるいは、確率を重みとした加重和の比率のみで判定すると、両者が共に非常に小さい値であってもタッチ状態と判定されてしまう可能性がある。すなわち、ノイズや周辺光などの外乱の影響で判定が不安定になることがあり得る。これを避けるために、次のような対策をとっておくことができる。
【００７４】
その１つは、ステップ６６のタッチ状態の判定において、背景以外若しくは前景の画素数がある閾値以上検出されることを前提条件に加えることである。例えば、閾値としては、タッチ領域上で指１本以上の面積に相当する画素数を条件にする。また別の対策は、手のタッチ状態の正規化後の色ヒストグラムでの加重和がある閾値以上であることをタッチ判定の前提条件とすることである。この後者の対策も、背景以外若しくは前景の画素の最小数を条件に加えるという意味で前者の対策と同等の効果となる。
【００７５】
さらに、上記の実施の形態では、カメラ１３の撮影画像に対して投影画像を切り出す処理では射影変換処理を行っているが、システムを簡易にし、コストを抑制するために、単純に投影画像を切り出す処理だけを行い、正規のアスペクト比の画像に射影変換する処理は省略することができる。
【符号の説明】
【００７６】
１１  スクリーン
１２  プロジェクタ
１３  カメラ
１４  情報処理装置
１０１  カメラ画像入力部
１０２  部分画像切り出し処理部
１０３  射影変換処理部
１０４  タッチ領域認識処理部
１０５  影領域認識処理部
１０６  前景領域認識処理部
１０７  背景領域認識処理部
１０８  タッチ判定部
１０９  初期設定処理部
１１０  投影原画像作成部
１１１  画像出力部
【図１】
0005510907.tif 000002
【図２】
0005510907.tif 000003
【図３】
0005510907.tif 000004
【図４】
0005510907.tif 000005
【図５】
0005510907.tif 000006
【図６】
0005510907.tif 000007
【図７】
0005510907.tif 000008
【図８】
0005510907.tif 000009
【図９】
0005510907.tif 000010
【図１０】
0005510907.tif 000011
【図１１】
0005510907.tif 000012
【図１２】
0005510907.tif 000013
【図１３】
0005510907.tif 000014
【図１４】
0005510907.tif 000015