(57)【要約】【課題】人間の日常生活で行われる種々の動作と同様に直接的、直感的な入出力処理を実現可能とした入出力システムを提供する。【解決手段】図形等の対象物を仮想的に描画するためのブラシ５、ビデオカメラ７、後述の制御装置１０、プロジェクタ８等からなる描画手段と、描画された対象物が仮想画像の初期値として表示される熱伝導性の良いスクリーン１と、スクリーン上の対象物に対して使用者Ｕが息を吹きかける等の動作を行うことにより生成される熱画像を検出するサーモグラフィー装置９と、検出された熱画像の重心変化や温度変化等に応じて対象物を操作（移動、回転等）することにより仮想画像を逐次生成するパソコン等の制御装置１０と、生成された仮想画像をスクリーン１に逐次表示するプロジェクタ８等の表示手段と、を備える。【選択図】図１
2008181434.tif 000002
【特許請求の範囲】
【請求項１】
図形等の対象物を仮想画像として描画する描画手段と、
この描画手段により描画された前記対象物が仮想画像の初期値として表示される熱伝導性の良いスクリーンと、
このスクリーン上の対象物に対して使用者が行った動作により生成される熱画像を検出するサーモグラフィー装置と、
このサーモグラフィー装置により検出した熱画像の変化に応じて前記対象物を操作することにより仮想画像を逐次生成する制御手段と、
この制御手段により生成された仮想画像を前記スクリーンに逐次表示する表示手段と、
を備えたことを特徴とする入出力システム。
【請求項２】
請求項１に記載した入出力システムにおいて、
前記制御手段は、
使用者が行った前記動作により生成される熱画像の重心の変化または形状の変化または温度の変化を検出し、その検出結果を用いて前記動作の種類を判別すると共に、その判別結果に応じて前記対象物を操作することにより仮想画像を逐次生成することを特徴とする入出力システム。
【請求項３】
請求項２に記載した入出力システムにおいて、
使用者が行った前記動作により前記スクリーンに加えられた衝撃値を検出する衝撃センサを更に備え、
前記制御手段は、
前記動作の種類の判別に前記衝撃値をも用いることを特徴とする入出力システム。
【請求項４】
請求項１〜３の何れか１項に記載した入出力システムにおいて、
使用者が行った前記動作が、前記対象物に対して息を吹きかける動作であることを特徴とする入出力システム。
【請求項５】
請求項１〜３の何れか１項に記載した入出力システムにおいて、
使用者が行った前記動作が、前記対象物に対して使用者の身体部位を接触させる動作であることを特徴とする入出力システム。
【請求項６】
請求項１〜５の何れか１項に記載した入出力システムにおいて、
前記描画手段は、
前記対象物を描画するために前記スクリーンに光または赤外線を照射する手段と、この手段によって前記スクリーンに照射された光または赤外線の軌跡を撮像する撮像手段と、を含み、
この撮像手段により撮像した光または赤外線の軌跡から前記制御手段が前記対象物を含む仮想画像を生成し、この仮想画像を前記表示手段を介して前記スクリーンに表示することを特徴とする入出力システム。
【請求項７】
請求項１〜６の何れか１項に記載した入出力システムにおいて、
前記制御手段は、
前記サーモグラフィー装置により検出した熱画像の重心を求め、前記重心の移動量、移動方向及び移動速度に応じて前記対象物を操作した仮想画像を逐次生成することを特徴とする入出力システム。
【請求項８】
請求項１〜６の何れか１項に記載した入出力システムにおいて、
前記制御手段は、
前記サーモグラフィー装置により検出した熱画像の形状の変化または温度変化を検出し、これら形状の変化または温度変化に応じて前記対象物を操作した仮想画像を逐次生成することを特徴とする入出力システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、描画装置等に適用可能な入出力システムに関し、例えば、キーボードやマウス、タッチパネル等の各種入力機器を用いることなく、スクリーン上に仮想的に描かれた図形等の対象物に使用者が温度や圧力を直接作用させて対象物を操作（移動、回転等）することが可能なインタラクティブな入出力システムに関するものである。
【背景技術】
【０００２】
いわゆるインタラクティブな入出力を可能にした描画装置及び描画方法として、後述する特許文献１に記載されたものが知られている。
この特許文献１に係る描画装置は、図９に示すように、操作パネル及び表示パネルとして機能する半透明面５０１と、その背面側に配置された赤外線ＬＥＤパネル５０２、赤外線透過フィルタ５０４付きのＣＣＤカメラ５０３、及びプロジェクタ５０５と、これらを制御するマイコン等の制御装置５０６と、プリンタとを備えている。
【０００３】
その動作としては、まず、赤外線ＬＥＤパネル５０２から半透明面５０１の背面に照射されて反射した赤外光をＣＣＤカメラ５０３により撮像し、これを基準入力画像レベルとして制御装置５０６に保存しておく。
この状態で、半透明面５０１の前面から遠い位置に使用者Ｕがいる場合には、半透明面５０１を通過した赤外光が使用者Ｕにより反射して再び半透明面５０１の背面に戻ってくる量は少ないため、ＣＣＤカメラ５０３により撮像される検出入力画像レベルは前記基準入力画像レベルとほぼ等しく、両画像レベルに基づいて生成される検出画像情報はない。
【０００４】
一方、使用者Ｕが半透明面５０１の前面に接近し、その指などの身体部位と半透明面５０１とが近接すると、使用者Ｕの身体部位からの反射赤外光が半透明面５０１を介してＣＣＤカメラ５０３に入射することになり、検出入力画像レベルと基準入力画像レベルとの差が大きくなるので、半透明面５０１と身体部位との距離に応じた検出画像情報を得ることができる。
【０００５】
従って、半透明面５０１に近接する身体部位からの反射赤外光による検出画像情報に基づき、例えば、制御装置５０６からプロジェクタ５０５を介し、身体部位の近傍の半透明面５０１に適宜なメニュー画面を表示すると共に、使用者Ｕの指によってメニュー画面の特定領域を選択させ、その選択領域の座標情報を制御装置５０６が検出することでメニュー選択という入力操作を実現することができる。
また、半透明面５０１の表面の複数箇所を指で選択することにより、上記と同様の原理によってこれら複数箇所の座標情報を制御装置５０６が検出し、各座標を結ぶ図形画像を生成してプロジェクタ５０５により半透明面５０１に背後から表示することが可能である。
【０００６】
【特許文献１】特開平１１−３８９４９号公報（段落［００１５］〜［００５１］、図１〜図６等）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記のように、特許文献１に係る従来技術は、赤外光が背面から照射される半透明面５０１を、インタラクティブなインターフェース用の操作パネル兼表示パネルとして用いている。そして、半透明面５０１に使用者Ｕが接近し、接触する等の動作を実行することにより、所望の入力操作や描画を可能にしている。
【０００８】
しかしながら、上記従来技術は半透明面５０１に描画することを主目的とした描画装置であり、描画した対象物に使用者Ｕが直接働きかけることによって対象物を移動させるような処理まで開示するものではない。
そこで、本発明の解決課題は、スクリーンに表示された仮想画像としての対象物に対して、人間の日常生活で行われる種々の動作（例えば、息を吹きかける、押す、叩く等の動作）を行うことにより、前記対象物の操作（移動、回転等）を直接的、直感的に実現可能としたインタラクティブな入出力システムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、請求項１に記載した発明は、図形等の対象物を仮想画像として描画する描画手段と、
この描画手段により描画された前記対象物が仮想画像の初期値として表示される熱伝導性の良いスクリーンと、
このスクリーン上の対象物に対して使用者が行った動作により生成される熱画像を検出するサーモグラフィー装置と、
このサーモグラフィー装置により検出した熱画像の変化に応じて前記対象物を操作（移動、回転、拡大、縮小等）することにより仮想画像を逐次生成するパソコン等の制御手段と、
この制御手段により生成された仮想画像を前記スクリーンに逐次表示する表示手段と、
を備えたものである。
【００１０】
請求項２に記載した発明は、請求項１に記載した入出力システムにおいて、
前記制御手段は、使用者が行った動作により生成される熱画像の重心の変化または形状の変化または温度変化を検出し、その検出結果を用いて動作の種類（例えば使用者がスクリーン上の対象物に息を吹きかけた、または、スクリーン上の対象物を指で押した等）を判別すると共に、その判別結果に応じて対象物を操作することにより仮想画像を逐次生成するものである。
【００１１】
請求項３に記載した発明は、請求項２に記載した入出力システムにおいて、
使用者が行った動作によりスクリーンに加えられた衝撃値を検出する衝撃センサを更に備え、
前記制御手段が、衝撃値を前記動作の種類の判別に付随的に用いることによって動作の種類の判別精度を向上させるものである。
【００１２】
使用者が行った動作としては、請求項４に記載するように使用者が対象物に対して息を吹きかける動作や、請求項５に記載するように使用者の身体部位（指や舌、手の平など）を接触させる動作が考えられる。
【００１３】
請求項６に記載した発明は、請求項１〜５の何れか１項に記載した入出力システムにおいて、
前記描画手段は、対象物を描画するためにスクリーンに光または赤外線を照射する手段と、この手段によってスクリーンに照射された光または赤外線の軌跡を撮像する撮像手段と、を含み、
この撮像手段により撮像した光または赤外線の軌跡から制御手段が対象物を含む仮想画像を生成し、この仮想画像をプロジェクタ等の表示手段を介してスクリーンに表示するものである。
【００１４】
請求項７に記載した発明は、請求項１〜６の何れか１項に記載した入出力システムにおいて、
前記制御手段は、サーモグラフィー装置により検出した熱画像の重心を求め、この重心の移動量、移動方向及び移動速度に応じて対象物を操作（移動、回転、拡大、縮小等）した仮想画像を逐次生成するものである。
【００１５】
請求項８に記載した発明は、請求項１〜６の何れか１項に記載した入出力システムにおいて、
前記制御手段は、サーモグラフィー装置により検出した熱画像の形状の変化または温度変化を検出し、これら形状の変化または温度変化に応じて対象物を操作した仮想画像を逐次生成するものである。
【発明の効果】
【００１６】
本発明によれば、使用者が息を吹きかけたり指や舌、手の平などの身体部位を用いて押す、叩く等の日常的、直感的、直接的な動作を行うことにより、スクリーン上の対象物に所望の操作を加えることができるため、健常者のみならず身体の不自由な者や、複雑な操作を苦手とする幼児や子供に対しても、操作が容易で興趣に富んだ入出力装置、描画装置、遊戯装置等を実現することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図に沿って本発明の実施形態を説明する。
まず、図１は本発明の第１実施形態を示すシステムの全体構成図である。この実施形態は、スクリーン上に任意の図形や文字を仮想的に描き、この図形等を対象物として使用者が息を吹きかける動作を行うことにより、前記対象物を仮想的に移動させるようにした入出力システムに関するものである。
【００１８】
図１において、１は熱伝導性に優れ、しかも赤外線を透過可能であって画像入力面及び画像表示面として使用することができるスクリーンである。２は、スクリーン１を支持する筐体である。
上記筐体２には、スクリーン１に入力される図形の背景画像に対応する背景カード３を装着可能となっている。上記背景画像としては、一例として、使用者Ｕが木の葉の図形を入力する場合には木の幹や枝を表示した背景画像が考えられるが、背景画像を用いないという選択も可能である。
【００１９】
背景カード３にはＲＦ−ＩＤタグ（図示せず）が埋め込まれており、このタグには背景画像を同定するためのＩＤ（背景ＩＤという）が予め設定されている。
また、筐体２には、上記背景ＩＤを読み取ってパソコン等の制御装置１０に送信するためのＲＦ−ＩＤリーダ４が取り付けられている。
【００２０】
５は、スクリーン１に図形、文字等の対象物を仮想的に描くための入力用のブラシであり、このブラシ５の先端部をスクリーン１に押し付けることでスイッチ（図示せず）がオンして赤外線ＬＥＤ５ａに通電され、赤外線がスクリーン１を介してその背後に照射されるようになっている。
なお、スクリーン１に図形、文字等の対象物を仮想的に描くには、赤外線以外に光（可視光）を用いても良いが、この実施形態では上記のように赤外線を用いる場合について述べることとする。
また、６は色彩選択スイッチとしてのパレットであり、例えば複数の色彩に対応したスイッチ６ａの何れかを選択してブラシ５等で押すことにより、描画される対象物の色彩を示すＩＤ（色彩ＩＤという）がBluetooth（登録商標）等の近距離無線通信手段により制御装置１０に送信される。
【００２１】
スクリーン１の背後には、赤外線カメラ等の、撮像手段としてのビデオカメラ７が配置されており、スクリーン１を介した前記ブラシ５からの赤外線の軌跡を撮像し、その赤外線画像をフレーム毎に制御装置１０へ送信するようになっている。
また、９は赤外線カメラ及び温度変換装置を含むサーモグラフィ装置である。このサーモグラフィ装置９は、スクリーン１をその背後から撮像してスクリーン１の熱画像を生成し、熱画像及びその温度データをフレーム毎に制御装置１０に送信するものである。
【００２２】
更に、８は制御装置１０に接続された表示手段としてのプロジェクタである。このプロジェクタ８は、ビデオカメラ７の出力に基づいて制御装置１０が生成した対象物の画像を仮想画像の初期値としてスクリーン１に表示すると共に、制御装置１０による前記熱画像の解析結果に基づき前記仮想画像を操作して逐次生成（更新）し、その生成された仮想画像をスクリーン１に表示するためのものである。
【００２３】
制御装置１０は、ビデオカメラ７が撮像した仮想画像の初期値を前記パレット６により選択された色彩で表示するように画像データを生成し、その画像データをプロジェクタ８に送出する機能を備えると共に、仮想画像の初期値として表示された対象物に使用者Ｕが息を吹きかけることによって生成された熱画像を解析処理し、その解析結果に応じて前記初期値を逐次更新した画像データをプロジェクタ８に送出する機能も備えている。
なお、上記の構成において、ブラシ５、ビデオカメラ７、制御装置１０及びプロジェクタ８は、スクリーン１に対象物を仮想画像の初期値として描画する描画手段を構成している。
【００２４】
図２は、上記制御装置１０の構成を周辺機器と共に示したブロック図である。
図２において、１１は、ビデオカメラ７が撮像した赤外線の軌跡から、使用者により入力された対象物の画像データを検出して出力する対象物検出部、１２は、対象物の画像データからノイズを除去し、二値化処理を行って対象物の座標検出を行う対象物解析部である。
また、１３は、サーモグラフィ装置９から出力された温度データから熱画像データを検出して出力する熱画像検出部、１４は前記熱画像データからノイズを除去して二値化処理を行うと共に、熱画像の重心計算、パターンマッチングを行い、また、ノイズ除去後の熱画像データから温度変化量の計算等を行うことにより、熱画像の発生要因（使用者Ｕによる動作の種類）や熱画像の重心変化、形状変化、温度変化等を解析する熱画像解析部である。
【００２５】
１５は、対象物解析部１２の出力と前記ＲＦ−ＩＤリーダ４からの背景ＩＤ及び前記パレット６からの色彩ＩＤとに基づいて、所定の背景及び色彩を有する対象物の画像を仮想画像の初期値として生成すると共に、熱画像解析部１４の出力を用いて、移動や回転等の操作を施した更新後の仮想画像を逐次生成し、これらの仮想画像の初期値や更新後の仮想画像を出力する表示画像生成部、１６は、表示画像生成部１５から出力された画像データに基づきＲＧＢ信号を生成するＲＧＢ信号生成部であり、このＲＧＢ信号生成部１６の出力データが仮想画像の初期値または更新後の仮想画像としてプロジェクタ８に送出されるように構成されている。
【００２６】
なお、上記制御装置１０の各構成要素は、パソコン等のハードウェア及び画像処理プログラム等のソフトウェアによって実現されるものであり、周知のように、ハードウェアとして演算処理装置、メモリ、入出力インターフェース回路等を備え、表示画像生成部１５の機能を実現するためのソフトウェアとしては、例えば英国Soda Creative Ltd.の「Moovl」（登録商標）等がある。
【００２７】
次いで、本実施形態の動作を説明する。まず、図３のフローチャートを参照しながら、対象物を含む仮想画像の入力・表示処理について述べる。
【００２８】
使用者Ｕがブラシ５を用いてスクリーン１に任意の図形（例えば円形など）を描画すると、ブラシ５の先端部の赤外線ＬＥＤ５ａに通電されて赤外線が照射され、ビデオカメラ７がスクリーン１の背後から赤外線を撮像する（ステップＳ１，Ｓ２）。撮像された赤外線は、制御装置１０内の対象物検出部１１により画像データに変換され、対象物解析部１２に入力される。
一方、パレット６のスイッチ６ａの操作により、色彩ＩＤが予めパレット６から送信されており、制御装置１０内の表示画像生成部１５は、この色彩ＩＤを取得して描画された図形（対象物）の色彩を認識する（Ｓ３，Ｓ４）。
【００２９】
対象物解析部１２は、対象物検出部１１から出力されたフレーム毎の画像データからノイズを除去し、更に二値化処理を行うと共に、赤外線ＬＥＤ５ａの軌跡、すなわちブラシ５の軌跡の位置座標を検出して取得する（Ｓ５〜Ｓ７）。
そして、前フレームの画像データと比較してブラシ５の位置座標を逐次検出し（Ｓ８）、これら一連の処理によってスクリーン１に描かれた対象物を特定し、この対象物を含むレイヤーの画像データを生成して表示画像生成部１５に送出する（Ｓ９）。
【００３０】
表示画像生成部１５では、別個に受信した背景ＩＤに基づく背景画像に、色彩ＩＤによる色彩情報を持った対象物の画像を合成して表示画像を生成し、この表示画像はＲＧＢ信号生成部１６によりＲＧＢ信号に変換される（Ｓ１０）。このＲＧＢ信号はプロジェクタ８に送られ、使用者Ｕが描画した仮想画像の初期値としてスクリーン１に表示されることになる（Ｓ１１）。同時に、この仮想画像の初期値は、表示画像生成部１５内のメモリに記憶される。
【００３１】
なお、図示されていないが、仮想画像の初期値を描画する描画手段としては、対象物が描かれたハードコピーをスキャンしてスクリーン１に表示する手段を採用しても良く、このスクリーン１上の対象物をビデオカメラにより撮像してその位置座標を検出しても良い。
【００３２】
次に、上記のようにしてスクリーン１に表示された仮想画像内の対象物に対し、使用者Ｕが息を吹きかける等の動作を行った場合の動作を図４のフローチャートに従って説明する。
スクリーン１上の対象物に使用者Ｕが息を吹きかけると、息が吹きかけられた部分がその他の部分よりも高温になり、サーモグラフィ装置９により温度が検出されてその温度データが図２の熱画像検出部１３に入力される。熱画像検出部１３では、入力された温度データに基づいて熱画像がフレーム毎に検出される（ステップＳ２１）。この熱画像は、次段の熱画像解析部１４に送られ、ノイズ除去及び二値化処理が行われる（Ｓ２２，Ｓ２３）。
【００３３】
ノイズが除去され、二値化された熱画像は一時的に保存されると共に、熱画像内の変色部分の面積が一定値以上ある場合には、熱画像解析部１４によって変色部分の重心が計算される（Ｓ２４）。
ここで、図５は使用者Ｕが吹きかけた息Ｂが対象物に及ぼす操作を説明するための概念図であり、Ｉ１，Ｉ２，Ｉ３は対象物、Ｔ１，Ｔ２は息による熱画像の変色部分、Ｗ１，Ｗ２は変色部分Ｔ１，Ｔ２の重心を示し、図５（ａ）は、使用者Ｕが息を吹きかけた瞬間の画像、図５（ｂ），（ｃ）はその直後の画像である。
【００３４】
熱画像解析部１４では、図５（ｃ）に示す変色部分Ｔ１，Ｔ２の重心Ｗ１，Ｗ２間の移動量ΔＷ（移動量ΔＷのｘ，ｙ座標成分ΔＷｘ，ΔＷｙ）等を計算する（Ｓ２５）。
この重心の移動量ΔＷと移動方向、移動速度から、息の強さ、吹きかけた方向、初期速度等を検出することができる。これらの重心に関する移動量ΔＷ等のパラメータは、使用者Ｕが対象物に行った動作（対象物に息を吹きかける、指や舌、手の平などにより対象物を動かす）に応じて異なることが発明者の研究によって判明しており、言い換えれば、上記パラメータを解析することで使用者Ｕが対象物に行った動作を判別することが可能である。
なお、重心の移動量ΔＷと移動方向、移動速度等は、対象物の位置を変化させて更新後の仮想画像を生成するために、表示画像生成部１５に送られて内部のメモリに記憶される。
【００３５】
熱画像解析部１４は、上記のステップＳ２５により求めた重心の移動量ΔＷ等に基づいて、使用者Ｕが対象物に行った動作を判別し（Ｓ２６）、例えば「使用者Ｕが対象物に息を吹きかける動作を行った」という一次的な結論を導出する（Ｓ２７）。
この判別処理は、対象物を操作した仮想画像を生成するために必要であり、例えば対象物に息を吹きかけた場合と対象物を指で押した場合とでは対象物の動きが異なり、表示画像生成部１５における処理内容が異なるため、判別結果は重要な意味を持つものである。
【００３６】
一方、二値化処理後の熱画像を対象として、前回フレームの熱画像と今回フレームの熱画像との間で変色部分の形状のパターンマッチングを行う（Ｓ２８）。
前述した重心の移動量ΔＷ等と同様に、使用者Ｕにより対象物に与えられた動作の種類によって変色部分の形状が変化するため、変色部分の形状のパターンマッチングを行った結果に基づいてステップＳ２６と同様に動作の種類を判断し（Ｓ２９）、一次的な結論を導出する（Ｓ３０）。
【００３７】
更に、ノイズ除去後の熱画像を対象として、前回フレームの熱画像と今回フレームの熱画像との間で温度変化の有無を検出し（Ｓ３１）、温度変化がある場合にはその温度変化量を計算する（Ｓ３２）。
この温度変化量に関しても、使用者Ｕにより対象物に与えられた動作の種類に応じて異なるので、温度変化量に基づいて動作の種類を判断し（Ｓ３３）、一次的な結論を導出する（Ｓ３４）。
【００３８】
次いで、上述した一次結論（Ｓ２７，Ｓ３０，Ｓ３４）を総合し、使用者Ｕによって対象物に与えられた動作の種類を最終的に結論付ける（Ｓ３５）。
ここで、仮に各ステップによる一次結論（Ｓ２７，Ｓ３０，Ｓ３４）が相違する場合には、一次結論（Ｓ２７，Ｓ３０，Ｓ３４）の比重を考慮して結論（Ｓ３５）を導く。
【００３９】
なお、上述した最終的な結論（Ｓ３５）を導くために、使用者Ｕの動作に起因する衝撃値を検出して一次結論を出す処理（Ｓ４１〜Ｓ４５）を必要に応じて併用しても良い。この処理については、後述の第２実施形態として述べることとする。
【００４０】
次に、表示画像生成部１５は、最終的な結論（Ｓ３５）に応じて対象物を操作（移動、回転等）することにより仮想画像を連続的に表示画像として生成し（Ｓ３６）、各フレーム毎にＲＧＢ信号生成部１６がＲＧＢ信号を生成してプロジェクタ８に送出することにより、操作後の仮想画像がスクリーン１に逐次表示される（Ｓ３７）。
【００４１】
結論に応じた表示画像の生成処理（Ｓ３６）において、例えば、結論（Ｓ３５）が「使用者Ｕが対象物に息を吹きかける動作を行った」というものである場合について考える。
この場合、直感的には、息を吹きかけた方向に対象物が移動し、しかも、移動速度は当初が大きく、次第に小さくなると共に、息が当たった対象物の一部が変形する等の状態が予想される。
【００４２】
従って、表示画像生成部１５は、予め記憶しておいた仮想画像の初期値（対象物の初期値）に対して、熱画像の変色部分の重心の移動量ΔＷ、移動方向、移動速度等を演算のパラメータとして用い、対象物の初期値のレイヤーと熱画像の変色部分のレイヤーとが衝突した時に対象物を所定方向へ所定速度で所定量だけ移動、回転または変形させた仮想画像を生成する処理を行う。なお、対象物の初期値のレイヤーと熱画像の変色部分のレイヤーとが衝突しない場合には、使用者Ｕが吹きかけた息が対象物に何ら作用を及ぼさない状態を模擬するべく、対象物の初期画像は更新されない。
同様な動作により、使用者Ｕが対象物に与えた動作に応じて対象物を拡大、縮小した仮想画像を表示画像生成部１５が生成することも容易である。
また、熱画像の変色部分の重心ばかりでなく、形状の変化や温度変化を検出し、これら形状の変化または温度変化に応じて対象物を操作した仮想画像を逐次生成しても良い。
【００４３】
ここで、使用者Ｕが対象物に息を吹きかけた際の熱画像の変色部分の面積を、時間軸に沿った各フレーム毎に観察すると、図６（横軸の番号はフレームの順番（第１フレーム，第２フレーム，第３フレーム，……）を示す）のようになる。この図から、息の熱は徐々にスクリーン１に伝わって数フレームを経た後に最も高温になり、その後、冷めていくことがわかる。これは、息を吹いた直後にスクリーン１に当たる息の面積よりもその後に当たる息の面積の方が大きいこと、並びに、息の熱がスクリーン１の背後に設置されたサーモグラフィ装置９によって検出されるレベルに達するまでに若干の時間を要すること等に起因している。
【００４４】
更に、図７は変色部分の重心の移動を示す説明図であり、スクリーン１の右から左方向へ息を吹きかけた場合の第３フレーム目以降の重心Ｗ３，Ｗ４，……を概念的に表示したものである。変色部分の重心は、息を吹きかけた当初は息の方向に移動するが、その後、逆方向へ移動しているのがわかる。これは、熱が冷める際に、息が吹かれた位置に向かって熱が徐々に冷めていくためであると推測される。
【００４５】
図６，図７を総合してみると、息を吹いてから数フレーム（特に第３フレーム〜第６フレーム）の重心の面積や位置の変化が対象物の挙動に大きく影響するので、これらの重心の移動量、移動方向、移動速度等を検出して仮想画像の生成に用いることが望ましい。
【００４６】
次に、図８は本発明の第２実施形態を示す主要部の構成図であり、前述した図４におけるステップＳ４１〜Ｓ４５の処理を実現するための構成を備えた実施形態である。
すなわち、この実施形態は、使用者Ｕの動作によって発生した衝撃値を検出して図４における一次結論を出し（Ｓ４５）、この一次結論も最終的な結論（Ｓ３５）の導出に用いるようにしている。この場合、上記の一次結論（Ｓ４５）を第１実施形態における熱画像の検出による一次結論（Ｓ２７，Ｓ３０，Ｓ３４）と併用することにより、使用者Ｕが行った動作を一層正確に判別することが可能になる。
【００４７】
図８において、２２は箱状の筺体であり、その上部に設けられた枠部２３によってスクリーン１が水平に取り付けられている。筺体２２の内部のスクリーン１の下方には、第１実施形態と同様にビデオカメラ７、プロジェクタ８及びサーモグラフィ装置９がスクリーン１に向けて配置されている。
枠部２３の内周面には、使用者Ｕによってスクリーン１に加えられた衝撃値を検出するために、複数の衝撃センサ２１が取り付けられている。なお、図８では、制御装置や衝撃センサ２１の配線の図示を省略してある。
【００４８】
この実施形態において、スクリーン１に仮想画像の初期値として対象物を表示する動作は第１実施形態と同様で良い。あるいは、図示するように枠部２３にタグ検出部２４を設けると共に、スクリーン１に表示する仮想画像の初期値に対応するＩＤを記憶させたタグ２５を用意しておき、このタグ２５をタグ検出部２４に装着することによって制御装置が前記ＩＤに対応する仮想画像の初期値をプロジェクタ８を介してスクリーン１に表示させても良い。
【００４９】
その動作としては、使用者Ｕが仮想画像の初期値として表示された対象物に対して息を吹きかける、指で押す、手の平で叩く等の動作を行うと、図４に示したステップＳ２１〜Ｓ３４により、熱画像の検出による一連の処理が実行されて一次結論（Ｓ２７，Ｓ３０，Ｓ３４）が導出される。
【００５０】
同時に、使用者Ｕの動作によって対象物（スクリーン１）に与えられた衝撃値（その値は使用者Ｕの動作の種類によって異なる）が分散して複数の衝撃センサ２１に加わるため、これらの衝撃センサ２１が検出した衝撃値に基づいて衝撃が加わったスクリーン１上の位置座標を想定することができる（図４のステップＳ４１，Ｓ４２）。
次いで、複数の衝撃センサ２１により検出した衝撃値とスクリーン１の材質等に基づいて、前記想定位置における衝撃値の大きさを解析することにより（Ｓ４３）、対象物に加えられた衝撃が使用者Ｕの息によるものか、指やその他の身体部位によるものかを判別することができる（Ｓ４４）。
従って、その判別結果を一次結論（Ｓ４５）として導出し、最終的な結論（Ｓ３５）の導出に用いれば良い。
【００５１】
この実施形態は、例えば筺体２２の両側に立った複数の使用者Ｕが、スクリーン１上の対象物を叩く、指ではじく等の動作を行って遊戯する対戦型のゲームに最適である。
【００５２】
なお、上述した各実施形態におけるスクリーン１や筺体２，２２の形状、構造等は何ら限定的なものではなく、本発明の原理を損なわない範囲で任意に変更することができる。
【図面の簡単な説明】
【００５３】
【図１】本発明の第１実施形態を示すシステム構成図である。
【図２】図１における制御装置の構成を示すブロック図である。
【図３】対象物を含む仮想画像の入力・表示処理を示すフローチャートである。
【図４】熱画像及び衝撃値を検出して使用者による動作を判別し、仮想画像の初期値を更新して表示するためのフローチャートである。
【図５】使用者が吹きかけた息が対象物に及ぼす操作を説明するための概念図である。
【図６】各フレームの熱画像の変色部分の面積を示す説明図である。
【図７】熱画像の変色部分の重心の移動を示す説明図である。
【図８】本発明の第２実施形態を示す主要部の構成図である。
【図９】従来技術を示す構成図である。
【符号の説明】
【００５４】
１：スクリーン
２：筐体
３：背景カード
４：ＲＦ−ＩＤリーダ
５：ブラシ
５ａ：赤外線ＬＥＤ
６：パレット
６ａ：スイッチ
７：ビデオカメラ
８：プロジェクタ
９：サーモグラフィ装置
１０：制御装置
１１：対象物検出部
１２：対象物解析部
１３：熱画像検出部
１４：熱画像解析部
１５：表示画像生成部
１６：ＲＧＢ信号生成部
２１：衝撃センサ
２２：筺体
２３：枠部
２４：タグ検出部
２５：タグ
Ｕ：使用者
Ｂ：息
Ｉ１，Ｉ２，Ｉ３：対象物
Ｔ１，Ｔ２：熱画像の変色部分
Ｗ１〜Ｗ６：重心
【図１】
2008181434.tif 000003
【図２】
2008181434.tif 000004
【図３】
2008181434.tif 000005
【図４】
2008181434.tif 000006
【図５】
2008181434.tif 000007
【図６】
2008181434.tif 000008
【図７】
2008181434.tif 000009
【図８】
2008181434.tif 000010
【図９】
2008181434.tif 000011