(57)【要約】【課題】実世界指向のユーザインタフェースを簡便に生成することが可能な実世界指向ユーザインタフェース装置及び実世界指向ユーザインタフェースプログラムを提供する。【解決手段】ユーザインタフェース装置は、オフィス等の実世界空間から電子黒板１４、ディスプレイ装置１６、複合機１８、パーソナルコンピュータ２０、机６２等の動作対象、これらの動作対象の動作主体であるユーザー６４の動作を抽出し、特徴ベクトルデータを生成し、辞書データとして登録する。動作対象、動作主体、動作主体による予め定めた動作、予め定めた動作が実施された場合に実行すべき処理等を関連付けたルールセットを定義して登録する。ユーザインタフェースの実行時には、辞書データに基づいて予め定めた動作が実施されたか否かを判断し、実施された場合には、その動作等の条件が合致するルールセットに定義された処理を実行する。【選択図】図６
2010072732.tif 000002
【特許請求の範囲】
【請求項１】
動作主体及び前記動作主体の動作対象が存在する実世界空間から、前記動作主体及び前記動作対象並びに前記動作対象に対する予め定めた動作を認識する認識手段と、
前記認識手段により認識された前記予め定めた動作の特徴を示す動作特徴ベクトルと、前記認識手段により認識された前記動作対象の特徴を示す対象特徴ベクトルと、を生成する生成手段と、
前記生成手段により生成された前記動作特徴ベクトルを含む動作辞書データと、前記生成手段により生成された前記対象特徴ベクトルを含む対象辞書データと、を登録する辞書データ登録手段と、
前記動作主体と、前記動作対象と、前記動作対象に対する予め定めた動作と、前記実世界空間において前記予め定めた動作が発生した場合に実行すべき予め定めた処理と、を関連付けたルールセットを登録するルールセット登録手段と、
を備えた実世界指向ユーザインタフェース装置。
【請求項２】
前記登録手段は、予め定めた他の処理が事前に実行されている場合にのみ許可するための事前条件を、前記予め定めた処理の実行に関連付けたルールセットを登録する
請求項１記載の実世界指向ユーザインタフェース装置。
【請求項３】
特定の前記動作主体及び前記動作対象の少なくとも一方についてのみ、前記予め定めた動作が発生した場合に実行すべき処理の実行を許可するためのフィルタ条件を登録するフィルタ条件登録手段
を備えた請求項１又は請求項２記載の実世界指向ユーザインタフェース装置。
【請求項４】
前記認識手段は、前記実世界空間を撮影した撮影画像に基づいて、前記動作主体及び前記動作対象並びに前記動作主体の前記動作対象に対する予め定めた動作を抽出する抽出手段である
を備えた請求項１〜請求項３の何れか１項に記載の実世界指向ユーザインタフェース装置。
【請求項５】
前記辞書データ登録手段により登録された前記動作辞書データ及び前記対象辞書データに基づいて、前記実世界空間における前記予め定めた動作を検出し、前記予め定めた動作の動作主体及び前記予め定めた動作の動作対象が、前記ルールセット登録手段により登録されたルールセットと一致する場合に、当該ルールセットに定義された予め定めた処理を実行する実行手段
を備えた請求項１〜請求項４の何れか１項に記載の実世界指向ユーザインタフェース装置。
【請求項６】
コンピュータを、請求項１〜請求５の何れか１項に記載の実世界指向ユーザインタフェース装置を構成する各手段として機能させるための実世界指向ユーザインタフェースプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実世界指向ユーザインタフェース装置及び実世界指向ユーザインタフェースプログラムに関する。
【背景技術】
【０００２】
従来、例えば複写機やコンピュータ、ホワイトボード等の情報処理機器やオフィス機器が設置されたオフィス等においては、これらの機器の操作は、決して直感的かつ分かりやすいとは言えないユーザインタフェースにより機器毎に直接操作するのが通常であった。
【０００３】
近年では、情報処理技術の高度化に伴い、オフィスや家庭等の実世界において、情報処理機器等をその機器自体が有する操作部を直接操作するのではなく、例えば人の手等の実体物の動きを検出することによって操作することができる直感的かつ分かりやすいユーザインタフェースを生成する技術が提案されている。
【０００４】
例えば、特許文献１には、実物体の位置と、画像データ、音声データ、コンピュータ・プログラム等の電子情報との対応付けの設定を、ユーザーの指示ポイントを判別し、実物体座標系における位置情報を登録することにより、実物体を適用したインタフェースを生成する技術が開示されている。
【０００５】
また、特許文献２には、情報空間に存在する複数の利用者の状態を検出し、検出された複数の利用者の状態を指示命令に変換する技術が開示されている。
【０００６】
また、特許文献３には、ユーザーの行動を認識するために、ユーザーを対象とした音声情報及び映像情報の少なくとも一つを分析し、ユーザーの行動が認識された場合に、メディアプレーヤーを自動的に調整するための所定のアクションアイテムを実行する技術が開示されている。
【０００７】
また、特許文献４には所定のハンドジャスチャの存在及び空間内の位置を検出して、これに応じたジェスチャ信号を発生し、このジェスチャ信号に基づいて所定のハンドジャスチャが検出された空間内の位置と対応するオンスクリーンでの位置にオンスクリーンハンドアイコンを出力表示する技術が開示されている。
【特許文献１】特開２００４−２１３５１８号公報
【特許文献２】特開２００１−２１６５２７号公報
【特許文献３】特表２００４−５２６３７４号公報
【特許文献４】特開平８−３１５１５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、実世界指向のユーザインタフェースを簡便に生成することが可能な実世界指向ユーザインタフェース装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１記載の発明は、動作主体及び前記動作主体の動作対象が存在する実世界空間から、前記動作主体及び前記動作対象並びに前記動作対象に対する予め定めた動作を認識する認識手段と、前記認識手段により認識された前記予め定めた動作の特徴を示す動作特徴ベクトルと、前記認識手段により認識された前記動作対象の特徴を示す対象特徴ベクトルと、を生成する生成手段と、前記生成手段により生成された前記動作特徴ベクトルを含む動作辞書データと、前記生成手段により生成された前記対象特徴ベクトルを含む対象辞書データと、を登録する辞書データ登録手段と、前記動作主体と、前記動作対象と、前記動作対象に対する予め定めた動作と、前記実世界空間において前記予め定めた動作が発生した場合に実行すべき予め定めた処理と、を関連付けたルールセットを登録するルールセット登録手段と、を備えている。
【００１０】
請求項２記載の発明は、前記登録手段は、予め定めた他の処理が事前に実行されている場合にのみ許可するための事前条件を、前記予め定めた処理の実行に関連付けたルールセットを登録する。
【００１１】
請求項３記載の発明は、特定の前記動作主体及び前記動作対象の少なくとも一方についてのみ、前記予め定めた動作が発生した場合に実行すべき処理の実行を許可するためのフィルタ条件を登録するフィルタ条件登録手段を備えている。
【００１２】
請求項４記載の発明は、前記認識手段は、前記実世界空間を撮影した撮影画像に基づいて、前記動作主体及び前記動作対象並びに前記動作主体の前記動作対象に対する予め定めた動作を抽出する抽出手段である。
【００１３】
請求項５記載の発明は、前記辞書データ登録手段により登録された前記動作辞書データ及び前記対象辞書データに基づいて、前記実世界空間における前記予め定めた動作を検出し、前記予め定めた動作の動作主体及び前記予め定めた動作の動作対象が、前記ルールセット登録手段により登録されたルールセットと一致する場合に、当該ルールセットに定義された予め定めた処理を実行する実行手段を備えている。
【００１４】
請求項６記載の発明は、コンピュータを、請求項１〜請求５の何れか１項に記載の実世界指向ユーザインタフェース装置を構成する各手段として機能させるための実世界指向ユーザインタフェースプログラムである。
【発明の効果】
【００１５】
請求項１記載の発明によれば、実世界指向のユーザインタフェースを簡便に生成することが可能になる、という効果を有する。
【００１６】
請求項２記載の発明によれば、複数の処理を連結することができる、という効果を有する。
【００１７】
請求項３記載の発明によれば、予め定めた動作の検出処理の負担を軽減することができる、という効果を有する。
【００１８】
請求項４記載の発明によれば、簡便な構成で動作対象を検出することができる、という効果を有する。
【００１９】
請求項５記載の発明によれば、簡単かつ直感的な操作によって実世界における機器の操作を行うことができる、という効果を有する。
【００２０】
請求項６記載の発明によれば、実世界指向のユーザインタフェースを簡便に生成することが可能になる、という効果を有する。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態について説明する。なお、本実施形態では、本発明を会議支援システムに適用した場合について説明する。
【００２２】
図１には、本実施形態に係る会議支援システム１０の概略構成図を示した。同図に示すように、会議支援システム１０は、図２に示すようなオフィス等の実世界空間におけるユーザインタフェースの生成を支援、生成されたユーザインタフェースを実行するユーザインタフェース装置１２と、複数の情報機器、本実施形態では一例として電子黒板１４、ディスプレイ装置１６、コピー機能やＦＡＸ機能、スキャン機能、プリント機能等を有する複合機１８、及びパーソナルコンピュータ２０と、がネットワーク２２を介して接続された構成である。なお、本実施形態で挙げた情報機器は一例であり、これらに限られるものではない。
【００２３】
ユーザインタフェース装置１２は、上記のように複数の情報機器等の動作対象が存在するオフィス等の実世界空間において、人等の動作主体が実施する予め定めた動作等を認識し、その動作が実施され、予め定めた条件を満たす場合に実行すべき処理等を予め定めた動作等と関連付けてルールセットとして登録することにより、実世界空間におけるユーザインタフェースを構築する。
【００２４】
本実施形態における動作対象とは、動作の対象物とみなせるものであり、前述した電子黒板、複合機、操作コンソール等の電子機器の他、テーブル、椅子等の什器、実世界空間における場所そのもの等も含まれる。
【００２５】
また、本実施形態における動作主体とは、予め定めた動作を主となって実施しているとみなせるものであり、人間の手、指、体の他、携帯電話やＰＤＡ等の携帯端末等の機器が含まれるが、これに限られるものではない。
【００２６】
また、本実施形態における動作とは、動作主体が動作対象に対して実施している行為をいい、例えば動作主体が手であれば、指差し（ポイント：選択する動作）、グー（グラブ：取得する動作）、パー（リリース：出力する動作）等の行為や、機器の操作ボタン等を押下する行為等である。また、動作主体が携帯端末等の機器であれば、これを特定の場所や特定の対象物にかざす行為等が含まれるが、これに限られるものではない。
【００２７】
また、本実施形態における条件としては、事前に他の予め定めた処理が実行されている場合にのみ処理の実行を許可する事前条件や、時刻、プロジェクト名等、特定の時刻、特定のプロジェクトの場合のみ処理を実行するための条件等が含まれる。
【００２８】
図３には、ユーザインタフェース装置１２の機能ブロック図を示した。同図に示すように、ユーザインタフェース装置１２は、複数のセンサ部２４、入力表示・選択部２６、入力管理部２８、入力記録部３０、動作特徴ベクトル解析部３２、動作解釈管理部３４、動作辞書データ記憶部３６、対象特徴ベクトル解析部３８、対象解釈管理部４０、対象辞書データ記憶部４２、ルールセット管理部４４、ルールセット記憶部４６、ルールマッチ部４８、及びルール実行部５０を含んで構成されている。
【００２９】
センサ部２４は、実世界空間内の動作対象を認識、すなわち検出するためのものであり、実世界空間を撮影するカメラ、動作対象に取り付けられたＲＦＩＤタグ等から位置情報を受信する通信装置等があるが、これに限られるものではない。
【００３０】
入力表示・選択部２６は、各種画面の表示やユーザーによる各種メニューからの選択操作等を入力するものである。
【００３１】
入力管理部２８は、センサ部２４から出力された信号を入力記録部３０に記録したり、入力表示・選択部２６から入力された操作に応じた処理等を行ったりする。
【００３２】
動作特徴ベクトル解析部３２は、センサ部２４から出力された信号に基づいて、実世界空間内の動作主体の動作を認識し、その特徴を示す動作特徴ベクトルを生成する。生成された動作特徴ベクトルは、動作解釈管理部３４によって動作辞書データ記憶部３６に記憶される。
【００３３】
対象特徴ベクトル解析部３８は、センサ部２４から出力された信号に基づいて、実世界空間内の動作対象を認識し、その特徴を示す対象特徴ベクトルを生成する。生成された対象特徴ベクトルは、対象解釈管理部４０によって対象辞書データ記憶部４２に記憶される。
【００３４】
ルールセット管理部４４は、実世界空間内において動作主体や動作対象についてイベントが発生した場合、例えば動作主体が予め定めた動作を行った場合に実行すべき処理等が定義されたルールセットをルールセット記憶部４６に記憶させる。
【００３５】
ルールマッチ部４８は、ルールセット記憶部４６に記憶されたルールセットに基づいて条件成立するルールが有るか否かを判断し、条件成立するルールがある場合には、ルール実行部５０にそのルールを実行させる。
【００３６】
図４には、図３に示した各機能部をコンピュータを用いた装置として実現したユーザインタフェース装置１２の概略構成図を示した。なお、本実施形態では、センサ部２４としてカメラを用いた場合について説明する。
【００３７】
同図に示すように、ユーザインタフェース装置１２は、コンピュータ５２、カメラ５４、モニタ５６、操作部５８、及びハードディスク６０等を含んで構成されている。
【００３８】
コンピュータ５２は、ＣＰＵ（Central Processing Unit）５２Ａ、例えばＯＳ等の基本プログラム等が記憶されたＲＯＭ（Read Only Memory）５２Ｂ、各種データを一時的に記憶するＲＡＭ（Random Access Memory）５２Ｃ、データを書き換え可能で電源が供給されなくてもデータを保持することができる不揮発性メモリ５２Ｄ、及び入出力インタフェース（Ｉ／Ｏ）５２Ｅがバス５２Ｆを介して各々接続された構成となっている。
【００３９】
Ｉ／Ｏ５２Ｅには、カメラ５４、モニタ５６、操作部５８、及びハードディスク６０等が接続されている。
【００４０】
カメラ５４は、本実施形態では、図２に示すようなオフィスを撮影可能な場所に設置される。
【００４１】
モニタ５６は、例えばカメラ５４で撮影した撮影画像やユーザインタフェースの生成に関する各種登録画面等を表示する。
【００４２】
操作部５８は、例えばマウスやキーボード等を含んで構成され、モニタ５６に表示された各種画面に対して操作するためのものである。
【００４３】
ハードディスク６０は、後述する処理ルーチンのプログラム、このプログラムの実行により生成された動作辞書データや対象辞書データ、ルールセット等の各種データ、予め定めた処理を実行するための処理が記述されたスクリプト等を記憶する。
【００４４】
次に、コンピュータ５２のＣＰＵ５２Ａで実行されるユーザインタフェース生成処理の処理ルーチンについて、図５に示すフローチャートを参照して説明する。
【００４５】
なお、本処理ルーチンは、操作部５８を操作することによりユーザインタフェース生成処理の実行が指示された場合に実行される。
【００４６】
また、本実施形態では、図２に示すようなオフィスにおける会議等の様子や、対象辞書データや動作辞書データとして登録したい動作対象や動作を予め撮影した動画像データがハードディスク６０に予め記憶されており、この動画像データに基づいて実世界空間におけるユーザインタフェースを構築する場合について説明する。
【００４７】
まず、ステップ１００では、動作対象や動作主体、動作主体による動作を登録するための登録画面をモニタ５６に表示させる。
【００４８】
ステップ１０２では、ハードディスク６０に予め記憶された動画像データの読み込みを開始する。
【００４９】
ステップ１０４では、読み込んだ動画像データに基づいて、動作対象候補を抽出し、動作対象特徴ベクトルを生成する。動作対象特徴ベクトルは、例えば動作対象の位置や形状、色等の動作対象の特徴を表わす情報を含む。この処理は、例えば公知の特徴抽出処理やパターンマッチング処理等により行うことができる。図６に示すように、オフィス内に動作対象として電子黒板１４、ディスプレイ装置１６、複合機１８、パーソナルコンピュータ２０、及び机６２等が存在する場合、矩形状のものを抽出することによりこれらの機器や什器を動作対象候補として抽出することができる。
【００５０】
ステップ１０６では、動作主体が、動作対象に対して何らかの動作を実施している動作の候補を抽出し動作特徴ベクトルを生成する。動作特徴ベクトルは、動作主体の位置や形状、色、動き（指で差す動作、手でつかむ動作、手で離す動作等）等の動作主体及び動作の特徴を表わす情報が含む。この処理は、動作対象候補の抽出と同様に、例えば公知の特徴抽出処理やパターンマッチング処理等により行うことができる。図６に示すように、電子黒板１４に対して動作を実施しているユーザー６４がいる場合、人の形状や手の形状等を抽出することにより動作主体が動作対象に対して実施している動作を抽出することができる。
【００５１】
ステップ１０８では、動画像データが終了したか否かを判断する。そして、動画像データが終了していない場合にはステップ１０４へ戻って上記と同様の処理を繰り返し、動画像データが終了した場合には、ステップ１１０へ移行する。
【００５２】
ステップ１１０では、抽出した動作対象や動作主体の動作対象に対する動作の編集、登録処理を行う。
【００５３】
具体的には、図６に示すような登録画面６６において、ハードディスク６０に記憶された動画像データを表示させる。この登録画面６６には、動画像データを再生する再生ボタン６８Ａや早送りボタン６８Ｂ、戻りボタン６８Ｃ、早戻りボタン６８Ｄ、スクロールバー６８Ｅ等が表示され、これらを操作することで任意の位置の画像を表示することができる。
【００５４】
そして、登録画面６６の右側には、予め定めた種類の動作対象を選択するためのメニュー７０と、予め定めた種類の動作主体を選択するためのメニュー７２と、後述するスクリプトを選択するためのメニュー７４と、が表示されている。
【００５５】
動作対象は、図６に示すように、一例として、画面、機器、什器、場所、その他の中から一つを選択可能である。
【００５６】
また、動作主体は、図６に示すように、一例として、手、指、頭、移動、その他の中から一つを選択可能である。
【００５７】
また、登録画面６６では、抽出した動作対象候補、動作主体による動作を太い破線で表示し、辞書データとして登録済の動作対象については太い実線で表示する。図６では、一例として電子黒板１４が動作対象候補として抽出され、電子黒板１４に対して何らかの動作を実施している動作主体であるユーザー６４の手が抽出されていることを示し、ディスプレイ装置１６、複合機１８、パーソナルコンピュータ２０、机６２については動作対象として登録済であることを示している。
【００５８】
このような場合、ユーザーは、破線部分について、属性情報として、動作対象及び動作主体の種類をメニュー７０、７２から選択する。また、詳細な設定画面は省略するが、動作対象の名称やＵＲＬ等の属性情報を設定することも可能である。
【００５９】
動作対象及び動作主体が選択されると、選択された動作対象の種類等のユーザーによって設定された属性情報と共に動作対象特徴ベクトルが動作対象辞書データとしてハードディスク６０に記憶されると共に、選択された動作主体の種類と共に動作特徴ベクトルが動作辞書データとしてハードディスク６０に記憶される。
【００６０】
また、例えば抽出された動作対象の形状が歪んでいるような場合には、ユーザーが形状を編集することも可能である。
【００６１】
ステップ１１２では、ルールセットの定義登録処理を行う。ルールセットは、例えば図７に示すように、ルールセットＮｏ、他のルールセットと同時実行可能か否かを示す「同時実行」、事前に他の予め定めたルールセットが実行されている場合に実行可能であることを示す「事前条件」、動作対象を示す「対象」、動作主体を示す「主体」、動作主体の動作を示す「動作」、実行の条件を満たす場合に実行される処理を示す「スクリプト」、事前条件が設定されたルールセットを実行する前に実行されるべきルールセットであることを示す「事後条件」等の条件を含む。
【００６２】
ルールセットの定義では、ユーザーは、図６に示す登録画面６６において、ルールセットを定義する動作を指定し、その動作が実行された場合に実行すべき処理、すなわちスクリプトをメニュー７４の中から選択する。また、詳細な設定画面は省略するが、ユーザーは、図７に示す各項目を設定、編集することが可能である。
【００６３】
例えば図６の登録画面６６において、動作対象である電子黒板１４に対して、動作湯対である手がポイントする動作がなされた場合に、電子黒板１４に表示されている画像の次ページの画像を電子黒板１４に表示させるといった処理を実行させたい場合には、ユーザーは、メニュー７４から「ｎｅｘｔＰａｇｅ（）」というスクリプト（メソッド）を選択する。また、詳細な画面は省略するが、スクリプトが選択されると、そのスクリプトの処理内容の説明や、指定すべき入力パラメータの説明、戻り値等が表示され、ユーザーは、指示に従ってこれらを設定する。例えば、ｐｕｔＤｏｃ（）というスクリプトがドキュメントを複合機１８からプリントする処理を実行するスクリプトの場合、入力パラメータとしては、プリントするドキュメントを特定する情報を入力パラメータとして設定することができる。
【００６４】
また、入力パラメータは、他のスクリプトを設定することも可能である。例えば、ｇｅｔＤｏｃ（）が例えばディスプレイ装置１６に表示されているドキュメントのデータを取得する処理である場合に、ｐｕｔＤｏｃ（）の入力パラメータにｇｅｔＤｏｃ（）を設定した場合は、ディスプレイ装置１６に表示されているドキュメントのデータを取得して、これを複合機１８に出力してプリントさせることができる。
【００６５】
このようにスクリプトを選択すると、例えば図７のＮｏ．１のようなルールセットが定義される。なお、ここでは、電子黒板１４の名称が「Ｂｏｒａｄ１」であるものとする。このように、動作対象が「Ｂｏｒａｄ１」に特定されている場合には、ルールセットのスクリプトの項目には、その動作対象に対してｎｅｘｔＰａｇｅ（）のスクリプトを実行することを意味する「Ｂｏｒａｄ１．ｎｅｘｔＰａｇｅ（）」が定義される。
【００６６】
また、同時実行の項目が“○”のルールセットについては、他のルールセットと同時実行可能であることを示す。図７の例では、Ｎｏ．１のルールセットとＮｏ．６のルールセットが同時に実行可能である。
【００６７】
また、Ｎｏ．４のルールセットのように、事前条件が“Ｓ１”として設定されているルールセットについては、事後条件が“Ｓ１”として設定されているＮｏ．３のルールセットが事前に実行されていることを条件に、実行が許可される。
【００６８】
このように、事前条件のルールセットが実行されている場合に実行が許可される複項型のルールと、対象、主体、動作が一致していれば実行が許可される単項型のルールとがある。
【００６９】
上記のようにして定義されたルールセットは、ハードディスク６０に記憶される。
【００７０】
次に、ステップ１１４では、スクリプトの実行を制限するためのフィルタ条件の定義登録処理を行う。
【００７１】
具体的には、例えば図８に示すように、動作対象、動作主体、動作についてユーザーがフィルタ条件を設定することができるが、設定できる条件はこれに限られるものではない。
【００７２】
図８に示すように、例えばＮｏ．１のフィルタ条件は、名称が「Ｂｏａｒｄ１」、「Ｂｏｒａｄ２」の動作対象に対して人が何らかの動作を実施した場合に、ルールセットで定義されたスクリプトの実行を許可するものである。また、Ｎｏ．２のフィルタ条件は、名称が「Ｂｏａｒｄ１」の動作対象に対して何らかの主体がポイントの動作を実施した場合に、ルールセットで定義されたスクリプトの実行を許可するものである。
【００７３】
このように定義されたフィルタ条件に合致しないルールセットについては、スクリプトは実行されない。
【００７４】
次に、コンピュータ５０のＣＰＵ５２Ａで実行されるユーザインタフェース処理ルーチンについて、図９に示すフローチャートを参照して説明する。
【００７５】
なお、本処理ルーチンは、操作部５８を操作することによりユーザインタフェース処理の実行が指示された場合に実行される。
【００７６】
まず、ステップ２００では、カメラ５４に対して撮影を開始するよう指示する。これにより、カメラ５４は、図２に示すオフィスの撮影を開始し、動画像データをコンピュータ５２に出力する。
【００７７】
ステップ２０２では、動画像データ、ハードディスク６０に記憶された動作辞書データ及び対象辞書データに基づいて、対象辞書データに登録された動作対象のうち何れかの動作対象に対して、動作辞書データに登録された予め定めた動作のうち何れかの動作が実施されたか否かを判断する。
【００７８】
そして、何らかの予め定めた動作が実施されたと判断した場合は、ステップ２０４へ移行する。ステップ２０４では、ハードディスク６０に記憶されたフィルタ条件のうち、実施された動作、動作主体、動作対象が一致するフィルタ条件が存在するか否かを判断し、一致するフィルタ条件が存在する場合には、ステップ２０６へ移行し、一致するフィルタ条件が存在しない場合はステップ２０２へ戻る。
【００７９】
ステップ２０６では、ハードディスク６０に記憶されたルールセットのうち、実施された動作、動作主体、動作対象、事前条件が一致するルールセットが存在するか否かを判断し、存在する場合には、ステップ２０８へ移行し、存在しない場合はステップ２２０へ移行する。なお、この判断は、一例としてルールセットＮｏの若い順に判断していく。
【００８０】
ステップ２０８では、そのルールセットが同時実行可能であるか否かをルールセットの同時実行の項目から判断し、同時実行可能である場合には、ステップ２１０へ移行し、同時実行可能でない場合はステップ２１８へ移行する。
【００８１】
ステップ２１８では、そのルールセットで定義されたスクリプトを実行する。例えばスクリプトが電子黒板１４に表示された画像を複合機１８にプリントさせる処理であれば、電子黒板１４に表示された画像の画像データを電子黒板１４から取得し、これを複合機１８に出力してプリントさせる。
【００８２】
ステップ２１０では、ルールセットを同時実行可能なルールセットの実行リストに登録する。この実行リストは例えばＲＡＭ５２Ｃに一時的に記憶される。
【００８３】
ステップ２１２では、次に一致するルールセットが存在するか否かを判断し、一致するルールセットが存在する場合には、ステップ２１６へ移行し、一致するルールセットが存在しない場合には、ステップ２１４へ移行する。
【００８４】
ステップ２１４では、そのルールセットが同時実行可能であるか否かを判断し、同時実行可能である場合はステップ２１０へ移行して同時実行可能なルールセットの実行リストに追加し、同時実行可能でない場合は、ステップ２１２へ戻って上記と同様に次に一致するルールセットが存在するか否かを判断する。
【００８５】
ステップ２１６では、実行リストに登録されたルールセットのスクリプトを全て実行する。
【００８６】
ステップ２２０では、ユーザーが操作部５８を操作することにより撮影終了が指示されたか否かを判断し、撮影終了が指示された場合は本ルーチンを終了し、撮影終了が指示されていない場合には、ステップ２０２へ戻って上記と同様の処理を繰り返す。
【００８７】
なお、本実施形態では、予め撮影した動画像データに基づいて実世界空間におけるユーザインタフェースを構築する場合について説明したが、実世界空間をリアルタイムに撮影してユーザインタフェースを構築することも可能である。
【００８８】
また、本実施形態では、辞書データやルールセット等の各種データをユーザインタフェース装置が備えるハードディスクに記憶する場合について説明したが、ネットワークに接続された他の装置に記憶するようにしてもよい。
【００８９】
また、本実施形態では、本発明を会議支援システムに適用した場合について説明しが、これに限らず、本発明は、分散コンポーネントシステムやプロトタイプ支援システム等、複数の動作対象物を有するシステムの実世界におけるユーザインタフェースを構築する場合に適用可能である。
【図面の簡単な説明】
【００９０】
【図１】会議支援システムの概略構成図である。
【図２】実世界空間の一例を示すイメージ図である。
【図３】ユーザインタフェース装置の機能ブロック図である。
【図４】コンピュータを用いたユーザインタフェース装置の概略構成図である。
【図５】ユーザインタフェース生成処理のフローチャートである。
【図６】登録画面の一例を示すイメージ図である。
【図７】ルールセットの一例を示す図である。
【図８】フィルタ条件の一例を示す図である。
【図９】ユーザインタフェース処理のフローチャートである。
【符号の説明】
【００９１】
１０  会議支援システム
１２  ユーザインタフェース装置
１４  電子黒板
１６  複合機
１８  ディスプレイ装置
２０  パーソナルコンピュータ
２２  ネットワーク
【図１】
2010072732.tif 000003
【図２】
2010072732.tif 000004
【図３】
2010072732.tif 000005
【図４】
2010072732.tif 000006
【図５】
2010072732.tif 000007
【図６】
2010072732.tif 000008
【図７】
2010072732.tif 000009
【図８】
2010072732.tif 000010
【図９】
2010072732.tif 000011