(57)【要約】【課題】表示された画像に対するユーザの指定操作の有無とこの指定操作のなされた位置とを、容易かつ精度よく検出する。【解決手段】本発明の一態様の指定操作検出装置８は、画像出力装置２の表示領域内においてユーザから指定操作を受け付ける位置を表す操作受付位置データを記憶する操作記憶手段１５と、ユーザに指定操作を促す画像出力データ９を画像出力装置２に提供する画像作成手段１７と、画像入力装置４によって入力された表示領域の画像入力データ１０に基づいて、ユーザの指定位置を示す指定位置データを作成する指定位置検出手段２６と、音入力装置６によって測定された音入力データ１１に基づいて、ユーザによって発生された指定操作音を検出する操作音検出手段３１と、指定操作音が検出されるとともに、操作受付位置データと指定位置データとが整合する場合に、ユーザによって操作受付位置データの示す位置に応じた指定操作が実行されたと判断する操作判断手段１６とを具備する。【選択図】      図１
2006252037.tif 000002
【特許請求の範囲】
【請求項１】
画像出力装置と画像入力装置と音入力装置とに接続される指定操作検出装置において、
前記画像出力装置の表示領域内においてユーザから指定操作を受け付ける位置を表す操作受付位置データを記憶する操作記憶手段と、
前記ユーザに指定操作を促す画像出力データを作成し、前記画像出力データを前記画像出力装置に提供する画像作成手段と、
前記画像入力装置によって入力された前記表示領域の画像入力データに基づいて、前記ユーザの指定位置を示す指定位置データを作成する指定位置検出手段と、
前記音入力装置によって測定された音入力データに基づいて、前記ユーザによって発生された指定操作音を検出する操作音検出手段と、
前記指定操作音が検出されるとともに、前記操作受付位置データと前記指定位置データとが整合する場合に、前記ユーザによって前記操作受付位置データの示す位置に応じた指定操作が実行されたと判断する操作判断手段と
を具備する指定操作検出装置。
【請求項２】
請求項１記載の指定操作検出装置において、
前記画像出力装置は、プロジェクタであることを特徴とする指定操作検出装置。
【請求項３】
請求項１又は請求項２記載の指定操作検出装置において、
前記画像出力データは、操作ボタンを表示するデータであり、
前記操作受付位置データは、前記操作ボタンの表示位置を示すデータであり、
前記画像入力データは、前記画像入力装置によって撮影された前記操作ボタンの表示位置周辺の画像を示すデータであり、
前記指定位置データは、前記ユーザの手領域の位置を検出した結果を示すデータであり、
前記指定操作音は、前記画像出力装置によって表示された前記操作ボタンの表示面と前記ユーザの手との接触音であり、
前記操作判断手段は、前記操作ボタンの表示面と前記ユーザの手との接触音を検出するとともに、前記ユーザの手領域の位置と前記操作ボタンの表示位置とが重なっている場合に、前記操作ボタンに対する指定操作が実行されたと判断する
ことを特徴とする指定操作検出装置。
【請求項４】
請求項１乃至請求項３のいずれか１項に記載の指定操作検出装置において、
前記操作記憶手段は、前記操作受付位置データと出力データとを関連付けて記憶しており、
前記画像作成手段は、前記操作判断手段によって前記操作受付位置データの示す位置に応じた指定操作が実行されたと判断された場合に、前記出力データの出力を実行する
ことを特徴とする指定操作検出装置。
【請求項５】
請求項４記載の指定操作検出装置において、
前記画像作成手段は、前記出力データのデータ種別を判断し、前記出力データが画像データの場合に、前記出力データを含む画像出力データを作成し、前記出力データを含む画像出力データを前記画像出力装置に提供し、
前記出力データが音データの場合に、前記出力データを音出力装置に提供する音提供手段をさらに具備する
ことを特徴とする指定操作検出装置。
【請求項６】
請求項１乃至請求項５のいずれか１項に記載の指定操作検出装置において、
前記操作音検出手段は、所定周期ごとに音入力データの平均値を算出し、前記平均値が操作音検出用しきい値より大きい場合に、前記ユーザによって指定操作音が発生された旨を検出する
ことを特徴とする指定操作検出装置。
【請求項７】
コンピュータを、
画像出力装置の表示領域内においてユーザから指定操作を受け付ける位置を表す操作受付位置データを記憶する操作記憶手段、
前記ユーザに指定操作を促す画像出力データを作成し、前記画像出力データを前記画像出力装置に提供する画像作成手段、
画像入力装置によって入力された前記表示領域の画像入力データに基づいて、前記ユーザの指定位置を示す指定位置データを作成する指定位置検出手段、
音入力装置によって測定された音入力データに基づいて、前記ユーザによって発生された指定操作音を検出する操作音検出手段、
前記指定操作音が検出されるとともに、前記操作受付位置データと前記指定位置データとが整合する場合に、前記ユーザによって前記操作受付位置データの示す位置に応じた指定操作が実行されたと判断する操作判断手段
として機能させるためのプログラム。
【請求項８】
画像出力装置と画像入力装置と音入力装置とを用いる指定操作検出方法において、
前記画像出力装置の表示領域内においてユーザから指定操作を受け付ける位置を表す操作受付位置データを操作記憶手段に記憶し、
前記ユーザに指定操作を促す画像出力データを作成し、前記画像出力データを前記画像出力装置に提供し、
前記画像入力装置によって入力された前記表示領域の画像入力データに基づいて、前記ユーザの指定位置を示す指定位置データを作成するとともに、前記音入力装置によって測定された音入力データに基づいて、前記ユーザによって発生された指定操作音を検出し、
前記指定操作音が検出されるとともに、前記操作受付位置データと前記指定位置データとが整合する場合に、前記ユーザによって前記操作受付位置データの示す位置に応じた指定操作が実行されたと判断する
ことを特徴とする指定操作検出方法。
【請求項９】
画像出力装置と、
前記画像出力装置の表示領域を撮影する画像入力装置と、
前記画像出力装置の表示領域周辺の音を測定する音入力装置と、
前記画像出力装置の表示領域内においてユーザから指定操作を受け付ける位置を表す操作受付位置データを記憶する操作記憶手段と、
前記ユーザに指定操作を促す画像出力データを作成し、前記画像出力データを前記画像出力装置に提供する画像作成手段と、
前記画像入力装置によって撮影された前記表示領域の画像入力データに基づいて、前記ユーザの指定位置を示す指定位置データを作成する指定位置検出手段と、
前記音入力装置によって測定された音入力データに基づいて、前記ユーザによって発生された指定操作音を検出する操作音検出手段と、
前記指定操作音が検出されるとともに、前記操作受付位置データと前記指定位置データとが整合する場合に、前記ユーザによって前記操作受付位置データの示す位置に応じた指定操作が実行されたと判断する操作判断手段と
を具備する操作検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザによる指定操作の有無を検出する指定操作検出装置、プログラム、指定操作検出方法及び操作検出システムに関する。
【背景技術】
【０００２】
非特許文献１（Hiroshi Ishii, Craiq Wisneski, Julian Orbanes, Ben Chun, Joe Paradiso, “PingPongPlus: design of an athletic-tangible interface for computer-supported cooperative play”, Proceedings of the SIGCHI conference on Human factors in computing systems, 1999年５月, pp.394-401）には、音を測定し、その音の発生源の位置を検出する技術が開示されている。この非特許文献１では、ピンポン球が落下した位置を検出するために、４つのマイクが設置される。
【０００３】
非特許文献２（綾塚祐二，暦本純一，“簡易なノック位置検出装置を用いた実世界アプリケーション”in WISS2001,Dec.2001,インタラクティブシステムとソフトウェアＩＸ，近代科学社pp.191-196）には、振動センサを用いて壁や机などに対するノック位置を検出する手法が提案されている。
【０００４】
【非特許文献１】Hiroshi Ishii, Craiq Wisneski, Julian Orbanes, Ben Chun, Joe Paradiso, “PingPongPlus: design of an athletic-tangible interface for computer-supported cooperative play”, Proceedings of the SIGCHI conference on Human factors in computing systems, 1999年５月, pp.394-401
【０００５】
【非特許文献２】綾塚祐二，暦本純一，“簡易なノック位置検出装置を用いた実世界アプリケーション”in WISS2001,Dec.2001,インタラクティブシステムとソフトウェアＩＸ，近代科学社pp.191-196
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記非特許文献１は、ピンポン球の落下位置を検出するものであり、ボタン操作の有無までは検出されない。また、この非特許文献１では、４箇所にマイクを設置する必要があり、機器の調整、キャリブレーションの必要があるため、導入時に労力がかかる。
【０００７】
上記非特許文献２は、ノックではない要因による振動、反射音などによる誤動作を防止するために、３回のノックを検出することとしている。したがって、この非特許文献２の技術を、例えば表示されたボタン画像に対するユーザの１回の押下操作の検出に用いることは困難である。
【０００８】
本発明は、以上のような実情に鑑みてなされたもので、表示された画像に対するユーザの指定操作の有無とこの指定操作のなされた位置とを、容易かつ精度よく検出する指定操作検出装置、プログラム、指定操作検出方法及び操作検出システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の態様において、画像出力装置と画像入力装置と音入力装置とに接続される指定操作検出装置は、画像出力装置の表示領域内においてユーザから指定操作を受け付ける位置を表す操作受付位置データを記憶する操作記憶手段と、ユーザに指定操作を促す画像出力データを作成し、画像出力データを画像出力装置に提供する画像作成手段と、画像入力装置によって入力された表示領域の画像入力データに基づいて、ユーザの指定位置を示す指定位置データを作成する指定位置検出手段と、音入力装置によって測定された音入力データに基づいて、ユーザによって発生された指定操作音を検出する操作音検出手段と、指定操作音が検出されるとともに、操作受付位置データと指定位置データとが整合する場合に、ユーザによって操作受付位置データの示す位置に応じた指定操作が実行されたと判断する操作判断手段とを具備する。
【００１０】
これにより、ユーザの指定操作の有無が指定操作音から検出され、ユーザによって指定操作のなされた位置が撮影された画像から検出される。
この結果、ユーザによる少なくとも一回の指定操作で、指定操作の有無とその指定操作のなされた位置とを容易かつ精度よく検出することができる。
【００１１】
上記指定操作検出装置において、画像出力装置は、プロジェクタであるとしてもよい。
上記指定操作検出装置において、画像出力データは、操作ボタンを表示するデータであり、操作受付位置データは、操作ボタンの表示位置を示すデータであり、画像入力データは、画像入力装置によって撮影された操作ボタンの表示位置周辺の画像を示すデータであり、指定位置データは、ユーザの手領域の位置を検出した結果を示すデータであり、指定操作音は、画像出力装置によって表示された操作ボタンの表示面とユーザの手との接触音であり、操作判断手段は、操作ボタンの表示面とユーザの手との接触音を検出するとともに、ユーザの手領域の位置と操作ボタンの表示位置とが重なっている場合に、操作ボタンに対する指定操作が実行されたと判断するとしてもよい。
【００１２】
上記指定操作検出装置において、操作記憶手段は、操作受付位置データと出力データとを関連付けた状態で記憶しており、画像作成手段は、操作判断手段によって操作受付位置データの示す位置に応じた指定操作が実行されたと判断された場合に、出力データの出力を実行するとしてもよい。また、この場合の指定操作検出装置において、画像作成手段は、出力データのデータ種別を判断し、出力データが画像データの場合に、出力データを含む画像出力データを作成し、出力データを含む画像出力データを画像出力装置に提供し、出力データが音データの場合に、出力データを音出力装置に提供する音提供手段をさらに具備するとしてもよい。
【００１３】
上記指定操作検出装置において、操作音検出手段は、所定周期ごとに音入力データの平均値を算出し、平均値が操作音検出用しきい値より大きい場合に、ユーザによって指定操作音が発生された旨を検出するとしてもよい。
なお、上記の態様は装置として表現されている。しかしながら、これに限らず、上記の態様は、方法、プログラム、コンピュータ読み取り可能な記憶媒体、画像出力装置と画像入力装置と音入力装置と上記態様の装置とを具備するシステムなどで表現されるとしてもよい。
【発明の効果】
【００１４】
本発明により、表示された画像に対するユーザの指定操作の有無とこの指定操作のなされた位置とを、容易かつ精度よく検出すことができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照しながら本発明の実施の形態について説明する。なお、以下の各図において同一の部分については同一の符号を付して説明を省略する。
図１は、本実施の形態に係る操作検出システムの構成の例を示すブロック図である。
また、図２は、本実施の形態に係る操作検出システムの適用例を示す図である。
【００１６】
本実施の形態では、画像出力装置をプロジェクタ、画像入力装置をカメラ、音入力装置をマイク、音出力装置をスピーカとして説明を行う。なお、画像出力装置は、ＣＲＴ、液晶ディスプレイなど、他の表示装置であってもよい。本実施の形態において、画像出力装置による表示範囲と画像入力装置による撮影範囲とは整合させる。
【００１７】
本実施の形態に係る操作検出システム１は、まず、プロジェクタ２を用いて実空間上に操作ボタン３を投影し、また、この操作ボタン３の投影領域をカメラ４で撮影し、投影された操作ボタン３をたたいた時の音の認識結果と、操作ボタン領域に手５が重なっているか否かを判断する画像認識結果との組み合わせに基づいて、操作ボタン３に対する押下操作がなされたことを検出し、この操作ボタン３の押下に応じた機器操作、処理を行う。
【００１８】
操作検出システム１は、プロジェクタ２、カメラ４、マイク６、スピーカ７、指定操作検出装置８を具備する。
プロジェクタ２は、指定操作検出装置８によって作成された画像出力データ９を受け付け、この画像出力データ９に基づいて実空間に対して画像を投影し、画像表示を行う。
【００１９】
カメラ４は、実空間において、ユーザの指示状態及び操作状態、プロジェクタ２によって投影された画像の状態など、実空間の状態を撮影し、この実空間の状態を示す画像入力データ１０を指定操作検出装置８に渡す。
本実施の形態において、プロジェクタ２の投影位置とカメラ４の撮影位置とは整合させる。
【００２０】
マイク６は、ユーザが指定操作を行った際に発する指定操作音を入力し、音入力データ１１を指定操作検出装置８に渡す。
スピーカ７は、ユーザの指定操作に応じた音出力データ１２を指定操作検出装置８から受け付け、音出力データ１２にしたがって音を出力する。
【００２１】
指定操作検出装置８は、画像認識部１３、音認識部１４、操作データベース１５、操作判断部１６、画像作成部１７、音出力データ記憶部１８、音提供部１９を具備する。
画像認識部１３は、画像取得部２０、画像入力データ記憶部２１、手領域検出部２２、手領域データ記憶部２３、重心算出部２４、重心データ記憶部２５を具備する。このうち、手領域検出部２２、手領域データ記憶部２３、重心算出部２４、重心データ記憶部２５により、指定位置検出部２６が構成される。
【００２２】
なお、画像認識部１３は、手領域の検出のみではなく、例えば指示棒の先端やポインタデバイスの指示位置など、様々なユーザの指示位置を検出するとしてもよい。
画像取得部２０は、プロジェクタ２によって投影された操作ボタン３周辺の空間の画像入力データ１０をカメラ４から取得し、画像入力データ１０を画像入力データ記憶部２１に記憶する。
【００２３】
手領域検出部２２は、画像入力データ記憶部２１から画像入力データ１０を読み出し、この画像入力データ１０に対する画像解析により作業者の手５を示す肌色領域を手領域として検出する。そして、手領域検出部２２は、手領域検出結果を示す手領域データ２７を作成し、手領域データ記憶部２３に記憶する。
【００２４】
なお、指定操作を行うものが手５ではない場合においても、投影された操作ボタン３と接触するものを検出すればよい。作業者が手袋等を装着する場合は、この手袋を検出する。例えば、レーザポインタや指示棒の先端などで操作ボタン３を指定する場合、このレーザポインタの照射位置や指示棒の先端位置を検出する。
【００２５】
重心算出部２４は、手領域データ記憶部２３から手領域データ２７を読み出し、この手領域データ２７における手領域の重心の位置（座標値）を算出し、重心の位置を示す重心データ２８を作成し、重心データ記憶部２５に記憶する。そして、重心算出部２４は、重心データ２８を含む手領域検出イベントＥｃａｐを発する。
【００２６】
音認識部１４は、音取得部２９、音入力データ記憶部３０、操作音検出部３１を具備する。
音取得部２９は、プロジェクタ２によって投影された操作ボタン３周辺の空間についての音入力データ１１をマイク６から取得し、音入力データ１１を音入力データ記憶部３０に記憶する。
【００２７】
操作音検出部３１は、音入力データ記憶部３０から音入力データ１１を読み出し、この音入力データ１１に対する振幅解析などの音解析によりユーザの指定操作音（例えばノック音）を検出する。そして、操作音検出部３１は、指定操作音を検出した場合に、操作音検出イベントＥｍを発する。
【００２８】
操作データベース１５は、操作ボタンごとに、操作ボタンＩＤ、ボタン名、形状データ、サイズデータ、操作受付位置に相当する操作ボタンの表示位置データ（Ｘ座標値、Ｙ座標値）、属性データを関係付けた操作ボタンデータ３２を記憶する。
また、操作データベース１５は、操作ボタンに対応する出力データ３３１〜３３Ｎを記憶する。
【００２９】
図３は、操作データベース１５の記憶内容の例を示す図である。
操作ボタンデータ３２では、複数の操作ボタンごとに、操作ボタンＩＤ、ボタン名、形状データ、サイズデータ、表示位置データ、属性データがテーブル形式で管理されている。なお、サイズデータは、形状データが円を示す場合は半径、形状データが四角形、三角形を示す場合は外接円の半径で表されるとする。
【００３０】
表示位置データとしては、それぞれの操作ボタンを表示する位置を示すＸ座標の値、Ｙ座標の値が管理されている。
属性データには、各操作ボタンが押下された際に、出力（例えば画像として表示、音として出力）される出力データ３３１〜３３Ｎへのパス（画像データへのパス、動画データへのパス、音データへのパス、テキストデータへのパスなど）が記憶されている。なお、属性データとして、例えば操作ボタンに対応する注意事項、特徴、操作方法、次の操作などが記憶されるとしてもよい。また、属性データ自体が出力データ３３１〜３３Ｎであるとしてもよい。また、属性データは、プログラムやスクリプトへのパスあるいはリンク情報でもよい。
【００３１】
操作判断部１６は、操作データベース１５から操作ボタン３の操作ボタンＩＤ、位置データ、形状データ、サイズデータなどの各種データを読み出す。
また、操作判断部１６は、重心データ２８を含む手領域検出イベントＥｃａｐと操作音検出イベントＥｍとを受け付けた場合に、重心データ２８の示す手領域の重心の位置が操作ボタン３の投影範囲内（表示位置）か判断し、操作ボタン３の投影範囲内に手領域の重心の位置が含まれる場合、操作発生イベントを発生するとともに押下操作の発生した操作ボタン３の操作ボタンＩＤを画像作成部１７に提供する。
【００３２】
画像作成部１７は、応答データ作成部３４、画像出力データ記憶部３５、画像提供部３６を具備する。
応答データ作成部３４は、画像出力データ作成機能３４ａ、データ種別判断機能３４ｂ、音出力データ作成機能３４ｃを具備する。
応答データ作成部３４の画像出力データ作成機能３４ａは、操作データベース１５をアクセスし、表示位置データの示す位置に操作ボタン３を表示する画像出力データ９を作成し、画像出力データ記憶部３５に記憶する。
【００３３】
応答データ作成部３４のデータ種別判断部３４ｂは、操作発生イベントが発生し、操作判断部１６から押下操作の発生した操作ボタン３の操作ボタンＩＤを受け付けた場合に、操作データベース１５からこの操作ボタンＩＤに対応する出力データを読み出し、この出力データのデータ種別を判断する。
【００３４】
出力データが画像データ又は動画像データの場合、応答データ作成部３４の画像出力データ作成機能３４ａは、操作ボタン３と出力データである画像データ又は動画像データとを表示するための画像出力データ９を作成し、画像出力データ記憶部３５に記憶する。
【００３５】
出力データが音データの場合、応答データ作成部３４の音出力データ作成機能３４ｃは、出力データである音データを音出力データ１２として音出力データ記憶部１８に記憶する。
画像提供部３６は、画像出力データ記憶部３５に記憶されている画像出力データ９をプロジェクタ２に提供する。
【００３６】
音提供部１９は、音出力データ記憶部１８に記憶されている音出力データ１２をスピーカ７に提供する。
上記のような操作検出システム１は、プロジェクタ２によって空間の投影面に投影された操作ボタン３周辺の音をマイク６で入力するとともに、投影面に投影された操作ボタン３周辺の画像をカメラ４で撮影する。
【００３７】
そして、操作検出システム１は、ユーザの手５が投影面に投影された操作ボタン３に接触した際に発する音を検出するとともに、操作ボタン３の投影位置とユーザの手５とが重なっている状態を検出した場合、この操作ボタン３に対するユーザによる指定操作が行われたものと判断する。
【００３８】
操作ボタン３に対するユーザによる指定操作が行われた場合、操作検出システム１は、指定操作された操作ボタン３に対応する出力データのデータ種別を判断する。
操作検出システム１は、出力データが画像データの場合はその画像データの内容をプロジェクタ２で投影し、音データの場合はその音データの内容をスピーカ７から出力する。
【００３９】
上述したように、本実施の形態に係る操作検出システム１は、プロジェクタ２、カメラ４、マイク６、スピーカ７、指定操作検出装置８を具備する。指定操作検出装置８は、画像認識及び音声認識等の処理を行う。指定操作検出装置８としてコンピュータを用いてもよい。プロジェクタ２の投影範囲とカメラ４の撮影範囲とは一致させる。投影される操作ボタン３とこの操作ボタン３に関係付けされた各種データ（例えばテキストデータ、音データ、画像データ、処理スクリプトなど）は、指定操作検出装置８によって管理される。プロジェクタ２によって投影面に操作ボタン３が投影される。ユーザによってこの投影された操作ボタン３が押下された場合、操作ボタン３に関連付けされた各種データがユーザに提示される。
【００４０】
図４は、本実施の形態に係る指定操作検出装置８の画像認識部１３の処理の例を示すフローチャートである。
ステップＳ１において、画像取得部２０は、画像取得周期Ｔcapを設定する。
ステップＳ２において、画像取得部２０は、カメラ４から画像入力データ１０を取得し、画像入力データ記憶部２１に記憶する。
【００４１】
ステップＳ３において、手領域検出部２２は、画像入力データ記憶部２１の画像入力データ１０に対して画像解析を実行し、作業者の手５を示す肌色領域を手領域として検出し、手領域検出結果を示す手領域データ２７を手領域データ記憶部２３に記憶する。
【００４２】
ステップＳ４において、重心算出部２４は、手領域データ記憶部２３の手領域データ２７について、手領域があるか否か判断する。
手領域がない場合、ステップＳ５において、画像認識部１３は、画像取得周期Ｔcap経過するまで待ち状態となり、その後処理はステップＳ２に戻る。
【００４３】
一方、手領域がある場合、ステップＳ６において、重心算出部２４は、手領域データ記憶部２３の手領域データ２７について、手領域の重心の位置を算出し、重心の位置を示す重心データ２８を重心データ記憶部２５に記憶する。
ステップＳ７において、重心算出部２４は、重心の位置を示す手領域重心の座標値を引数に持つ手領域検出イベントＥｃａｐを発生させ、その後処理はステップＳ５に移る。
【００４４】
図５は、本実施の形態に係る指定操作検出装置８の音認識部１４の処理の例を示すフローチャートである。
ステップＴ１において、操作音検出部３１は、操作音検出用しきい値Ｍtを設定する。
ステップＴ２において、音取得部２９は、平均値算出用周期Ｔｍを設定する。
【００４５】
なお、ステップＴ１，Ｔ２の実行順序は逆でもよく、並列に実行されるとしてもよい。
ステップＴ３において、音取得部２９は、操作ボタン３周辺の空間について、平均値算出用周期Ｔｍ間の音入力データ１１をマイク６から取得し、音入力データ１１を音入力データ記憶部３０に記憶する。
【００４６】
ステップＴ４において、操作音検出部３１は、音入力データ記憶部３０における平均値算出用周期Ｔｍ間の音入力データ１１の平均値ｍを算出する。
ステップＴ５において、操作音検出部３１は、平均値算出用周期Ｔｍ間の音入力データ１１の平均値ｍが操作音検出用しきい値Ｍｔより大きいか否か判断する。
【００４７】
平均値ｍが操作音検出用しきい値Ｍｔ以下の場合、処理は、ステップＴ３に戻る。
平均値ｍが操作音検出用しきい値Ｍｔより大きい場合、ステップＴ６において、操作音検出部３１は、操作音検出イベントＥｍを発生させ、その後処理はステップＴ３に戻る。
【００４８】
図６は、本実施の形態に係る指定操作検出装置８の操作判断部１６の処理の例を示すフローチャートである。
ステップＵ１において、操作判断部１６は、操作データベース１５から操作ボタン３の表示位置データ、形状データ、サイズデータを取得する。
【００４９】
ステップＵ２において、操作判断部１６は、操作音検出部３１において操作音検出イベントＥｍが発生したか否かを判断する。
操作音検出イベントＥｍが発生していない場合、処理はステップＵ２を繰り返し、操作音検出イベントＥｍの発生待ち状態となる。
【００５０】
操作音検出イベントＥｍが発生した場合、ステップＵ３において、操作判断部１６は、重心算出部２４において手領域検出イベントＥｃａｐが発生したか否かを判断する。
手領域検出イベントＥｃａｐが発生していない場合、処理はステップＵ２に戻る。
【００５１】
なお、上記ステップＵ２とステップＵ３とは、それぞれ逆にしてもよく、並列に実行してもよい。
手領域検出イベントＥｃａｐが発生した場合、ステップＵ４において、操作判断部１６は、重心データ２８の示す手領域の重心の位置（座標値）が操作ボタン３の投影範囲内か判断する。
【００５２】
手領域の重心の位置が操作ボタン３の投影範囲内でない場合、処理はステップＵ２に戻る。
手領域の重心の位置が操作ボタン３の投影範囲内の場合、ステップＵ５において、操作判断部１６は、操作ボタン３の投影範囲内に手領域の重心の位置が含まれている状態の操作ボタンＩＤと操作発生イベントとを画像作成部１７に発し、その後処理はステップＵ２に戻る。なお、操作ボタンＩＤは、操作発生イベントに含まれるとしてもよい。
【００５３】
図７は、本実施の形態に係る指定操作検出装置８の画像作成部１７と音提供部１９との処理の例を示すフローチャートである。この図７では、操作ボタンＩＤがｋの操作ボタン３についての処理について説明するが、他の操作ボタンＩＤの操作ボタンについても同様である。また、この図７では、出力データが出力される場合を例として説明するが、例えば属性データなどが出力される場合においても同様である。
【００５４】
この図７では、投影面に投影された操作ボタン３が押下されるとこの操作ボタン３に対応する出力データが出力され、再度この操作ボタン３が押下されるとこの操作ボタン３に対応する出力データの出力が中止される。
ステップＶ１において、応答データ作成部３４は、操作ボタンＩＤがｋの操作ボタン３について、出力データを提供するか否かを示す出力データ提供フラグFlag(k)に、出力データを提供しない状態を示すFalseを設定する。
【００５５】
ステップＶ２において、応答データ作成部３４は、操作データベース１５から操作ボタン３の表示位置データ、形状データ、サイズデータを取得する。
ステップＶ３において、応答データ作成部３４は、操作データベース１５から取得したデータに基づいて、形状データ及びサイズデータに応じた操作ボタン３を、表示位置データに応じた位置に表示するための画像出力データ９を作成し、画像出力データ記憶部３５、画像提供部３６経由でプロジェクタ２に提供する。これにより、投影面に、操作ボタン３が表示される。
【００５６】
ステップＶ４において、応答データ作成部３４は、操作判断部１６から操作発生イベントが発生したか否か判断する。
操作発生イベントが発生していない場合、処理はステップＶ４を繰り返し、操作発生イベントの発生待ち状態となる。
操作発生イベントが発生した場合、ステップＶ５において、応答データ作成部３４は、操作判断部１６から受けた操作ボタンＩＤ＝ｋに関連する出力データを操作データベース１５から取得する。
【００５７】
ステップＶ６において、応答データ作成部３４は、出力データの種別を判断する。
出力データが画像データ又は動画データの場合、ステップＶ７において、応答データ作成部３４は、出力データ提供フラグFlag(k)に、Falseが設定されているか否か判断する。
【００５８】
出力データ提供フラグFlag(k)にFalseが設定されている場合、ステップＶ８において、応答データ作成部３４は、操作ボタン３と出力データとを表示するための画像出力データ９を作成し、画像出力データ記憶部３５、画像提供部３６経由でプロジェクタ２に提供し、出力データ提供フラグFlag(k)にtrueを設定し、その後処理はステップＶ４に戻る。
【００５９】
出力データ提供フラグFlag(k)にTrueが設定されている場合、ステップＶ９において、応答データ作成部３４は、表示されている出力データを非表示とするとともに操作ボタン３を表示するための画像出力データ９を作成し、画像出力データ記憶部３５、画像提供部３６経由でプロジェクタ２に提供し、出力データ提供フラグFlag(k)にfalseを設定し、その後処理はステップＶ４に戻る。
【００６０】
出力データが音データの場合、ステップＶ１０において、応答データ作成部３４は、出力データ提供フラグFlag(k)に、Falseが設定されているか否か判断する。
出力データ提供フラグFlag(k)にFalseが設定されている場合、ステップＶ１１において、応答データ作成部３４は、出力データを、音出力データ記憶部１８、音提供部１９経由でスピーカ７に提供し、出力データ提供フラグFlag(k)にtrueを設定し、その後処理はステップＶ４に戻る。
【００６１】
出力データ提供フラグFlag(k)にTrueが設定されている場合、ステップＶ１２において、応答データ作成部３４は、再生中の出力データの出力を中止し、出力データ提供フラグFlag(k)にfalseを設定し、その後処理はステップＶ４に戻る。
【００６２】
なお。出力データのデータ種別がテキストデータの場合は、このテキストデータの内容を表示してもよいし、音声に変換して出力してもよい。
図８は、本実施の形態に係る指定操作検出方法の処理例を示すフローチャートである。
ステップＷ１において、応答データ作成部３４は、操作データベース１５をアクセスし、操作ボタン３を表示位置データの示す位置に表示する画像出力データ９を作成する。
【００６３】
ステップＷ２において、画像提供部３６は、画像出力データ９をプロジェクタ２に提供する。
ステップＷ３において、画像取得部２０は、カメラ４によって撮影された画像入力データ１０を取得する。
ステップＷ４において、手領域検出部２２は、例えば肌色検出などの手法により画像入力データ１０のうち手領域を検出する。
【００６４】
手領域が検出されない場合、処理はステップＷ３に戻る。
手領域が検出された場合、処理はステップＷ５に移る。
ステップＷ５において、重心算出部２４は、手領域の重心Ｈの位置（座標値）を算出し、処理はステップＷ８に移る。
また、ステップＷ６において、音取得部２９は、マイク６によって操作ボタン３の投影位置周辺の音入力データ１１を取得する。
【００６５】
ステップＷ７において、操作音検出部３１は、音入力データ１１に対する音解析によりユーザの指定操作音を検出する。
指定操作音が検出されない場合、処理はステップ６に戻る。
指定操作音が検出された場合、処理はステップＷ８に移る。
ステップＷ８において、操作判断部１６は、重心算出部２４によって手領域が検出されるとともに操作音検出部３１によって指定操作音が検出されたか判断する。
【００６６】
手領域と指定操作音とが検出されていない場合、処理は上記ステップＷ３及びステップＷ６に戻る。
手領域と指定操作音とが検出された場合、ステップＷ９において、操作判断部１６は、手領域の重心の位置が操作ボタン３の投影範囲内か判断する。
手領域の重心の位置が操作ボタン３の投影範囲内でない場合、処理は上記ステップＷ３及びステップＷ６に戻る。
【００６７】
手領域の重心の位置が操作ボタン３の投影範囲内の場合、ステップＷ１０において、応答データ作成部３４は、操作データベース１５において操作ボタン３に対応する出力データのデータ種別を判断する。
出力データが画像データ又は動画データの場合、ステップＷ１１において、応答データ作成部３４は、出力データについての画像が表示状態か否か判断する。
【００６８】
出力データについての画像が表示されていない状態の場合、ステップＷ１２において、応答データ作成部３４は、出力データと操作ボタン３とを表示するための画像出力データ９を作成する。
出力データについての画像が表示状態の場合、ステップＷ１３において、応答データ作成部３４は、出力データの表示を中止するとともに操作ボタン３を表示する画像出力データ９を作成する。
【００６９】
ステップＷ１４において、画像提供部３６は、画像出力データ９をプロジェクタ２に提供し、処理はステップＷ３及びステップＷ６に戻る。
出力データが音データの場合、ステップＷ１５において、応答データ作成部３４は、出力データについての音が出力状態か否か判断する。
【００７０】
出力データについての音が出力していない状態の場合、ステップＷ１６において、音提供部１９は、音出力データ１２をスピーカ７に提供し、処理はステップＷ３及びステップＷ６に戻る。
出力データについての音が出力状態の場合、ステップＷ１７において、応答データ作成部３４は、出力データの出力を中止し、処理はステップＷ３及びステップＷ６に戻る。
【００７１】
本実施の形態に係る操作検出システム１の利用態様の例について説明する。
例えば、プラントなどの作業現場において、実際の操作ボタンを設置しなくても操作データベース１５の内容を設定するのみで操作ボタン３を投影し、この投影された操作ボタン３に対する指定操作が行われると、その操作ボタン３に応じたデータを出力できる。したがって、プラントの保守や情報提供を容易に実現できる。また、操作検出システム１を用いることにより、操作データベース１５の内容に応じて設備の取り扱い方法、注意項目、操作マニュアルなどを出力することができ、出力状態の変更に容易に対処できる。
【００７２】
また、サポートセンタで操作データベース１５を更新し、このサポートセンタで作成された操作データベース１５の内容を迅速に作業現場に反映できる。これにより、現場とサポートセンタとで協調した作業を実現できる。
以上説明した本実施の形態において、マイク６は音の強弱によるユーザの指定操作の有無の検出に用いられ、操作位置の検出には画像解析が用いられる。したがって、特別のキャリブレーション、導入時の装置の調整が不要となり、導入容易である。
【００７３】
また、本実施の形態では、音認識処理と画像解析処理とを組み合わせることで、ユーザによって指定操作がなされた際に発する音と他の音とを区別して精度を向上させることができ、投影された画像に対するユーザの指定操作の有無とこの指定操作のなされた位置とを、容易かつ精度よく検出すことができる。
【００７４】
本実施の形態では、ユーザによる一回の指定操作により、指定操作の有無と指定された内容とを検出でき、指定操作に応じた処理を実行することができる。
本実施の形態では、操作ボタン３の配置状態、操作ボタン３が押下された場合に提供するデータの内容を容易に変更・更新・追加でき、設置労力及びコストを大幅に低減させることができる。
【００７５】
なお、本実施の形態において、各構成要素は同様の動作を実現可能であれば配置を変更させてもよく、また各構成要素を自由に組み合わせてもよく、各構成要素を自由に分割してもよく、いくつかの構成要素を削除してもよい。すなわち、本実施の形態については、上記の構成そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【００７６】
例えば、上述したように、投影された操作ボタン３に対するユーザの押下操作の検出のみではなく、レーザポインタや指示棒の先端などで位置を指定するとともに指定操作音を発することにより、ユーザの指定操作を受け付けるとしてもよい。
また、本実施の形態では、操作ボタン３が表示されるとしているが、例えば、プラントの概略構成図、工場内の地図、領域区分された画像、色分けされた画像、各種記号又はマークなどのようなユーザの指定操作を促す様々な画像が表示され、ユーザに指定操作された位置に対応する詳細情報が表示されるとしてもよい。この場合、操作データベース１５には、上記の操作ボタン３の表示位置データに代えて、ユーザからの指定操作を受け付ける操作受付位置データが記憶される。
【００７７】
また、例えば、本実施の形態では、操作音検出部３１は、操作ボタン３の投影面とユーザの手５との接触音を指定操作音として検出しているが、ユーザによって発せられる電子音などを指定操作音として検出するとしてもよい。
また、例えば、各記憶部２１，２３，２５，３０，３５，１８及び操作データベース１５は、自由に組み合わせることができる。各記憶部２１，２３，２５，３０，３５，１８及び操作データベース１５に記憶されている各データも自由に組み合わせることができる。
【００７８】
図９は、本実施の形態に係る操作検出システム１の指定操作検出装置８を、コンピュータとソフトウェアとを用いて実現するための構成の例を示すブロック図である。
コンピュータ３７は、プロセッサ３８、例えば内部メモリなどの記憶装置３９、内部バス４０を具備する。プロセッサ３８と記憶装置３９とは、内部バス４０経由で接続されている。
【００７９】
記憶媒体４１に記憶されているプログラム４２は、コンピュータ３７に読み込まれ、プロセッサ３８により実行される。これにより、コンピュータ３７は、上記指定操作検出装置８の具備する各構成要素としての機能を実現する。記憶装置３９は、各記憶部２１，２３，２５，３０，３５，１８及び操作データベース１５として機能する。
【００８０】
本実施の形態において、プログラム４２は、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記憶媒体４１に書き込んで、指定操作検出装置８として動作するコンピュータ３７に適用可能である。また、上記プログラム４２は、通信媒体により伝送してコンピュータ３７に適用することも可能である。コンピュータ３７は、上記プログラム４２を読み込み、このプログラム４２によって動作が制御されることにより、指定操作検出装置８としての機能を実現する。プログラム４２は、複数のコンピュータに分散して配置され、複数のコンピュータ間で互いに連携しつつ処理が実行されるとしてもよい。
【産業上の利用可能性】
【００８１】
本発明は、プロジェクタを用いて情報を提示する分野に有効である。
【図面の簡単な説明】
【００８２】
【図１】本発明の実施の形態に係る操作検出システムの構成の例を示すブロック図。
【図２】同実施の形態に係る操作検出システムの適用例を示す図。
【図３】操作データベースの記憶内容の例を示す図。
【図４】同実施の形態に係る指定操作検出装置の画像認識部の処理の例を示すフローチャート。
【図５】同実施の形態に係る指定操作検出装置の音認識部の処理の例を示すフローチャート。
【図６】同実施の形態に係る指定操作検出装置の操作判断部の処理の例を示すフローチャート。
【図７】同実施の形態に係る指定操作検出装置の画像作成部と音提供部との処理の例を示すフローチャート。
【図８】同実施の形態に係る指定操作検出方法の処理例を示すフローチャート。
【図９】同実施の形態に係る操作検出システムの指定操作検出装置を、コンピュータとソフトウェアとを用いて実現するための構成の例を示すブロック図。
【符号の説明】
【００８３】
１…操作検出システム、２…プロジェクタ、３…操作ボタン、４…カメラ、５…手、６…マイク、７…スピーカ、８…指定操作検出装置、９…画像出力データ、１０…画像入力データ、１１…音入力データ、１２…音出力データ、１３…画像認識部、１４…音認識部、１５…操作データベース、１６…操作判断部、１７…画像作成部、１８…音出力データ記憶部、１９…音提供部、２０…画像取得部、２１…画像入力データ記憶部、２２…手領域検出部、２３…手領域データ記憶部、２４…重心算出部、２５…重心データ記憶部、２６…指定位置検出部、２７…手領域データ、２８…重心データ、２９…音取得部、３０…音入力データ記憶部、３１…操作音検出部、３２…操作ボタンデータ、３３１〜３３Ｎ…出力データ、３４…応答データ作成部、３４ａ…画像出力データ作成機能、３４ｂ…データ種別判断機能、３４ｃ…音出力データ作成機能、３５…画像出力データ記憶部、３６…画像提供部、３７…コンピュータ、３８…プロセッサ、３９…記憶装置、４０…内部バス、４１…記憶媒体、４２…プログラム
【図１】
2006252037.tif 000003
【図２】
2006252037.tif 000004
【図３】
2006252037.tif 000005
【図４】
2006252037.tif 000006
【図５】
2006252037.tif 000007
【図６】
2006252037.tif 000008
【図７】
2006252037.tif 000009
【図８】
2006252037.tif 000010
【図９】
2006252037.tif 000011