(57)【特許請求の範囲】
【請求項１】
第１の電子画像およびそれに続く第２の電子画像を作成するディスプレイ・コンピュータと、コンピュータ制御の画像プロジェクタと、投写スクリーンと、レーザーポインタと、を含む投写ディスプレイ装置に制御を与えるプレゼンテーション制御システムであって、
前記画像プロジェクタは、前記第１の電子画像を入力し、それを第１のプレゼンテーション画像として前記投写スクリーンに投写し、前記レーザーポインタは、講演者がそれを用いて前記投写スクリーンにレーザースポットを射出するとともに、前記第１のプレゼンテーション画像上に空間パターンを投射することにより前記制御を与え、
該プレゼンテーション制御システムは、
前記第１のプレゼンテーション画像に向けられ、そのプレゼンテーション画像から画像要素を有する一連の獲得画像を生成する電子カメラと、
前記獲得画像に応答する制御モジュールと、を備えており、
前記制御モジュールは、
低い画像分解能によって前記獲得画像を解析することにより、予め決められたしきい値以上の輝度を有する獲得画像要素を特定し、前記獲得画像内のレーザースポットの大まかな位置を検出する手段と、
前記大まかな位置を検出する画像分解能より高い画像分解能によって解析することにより、前記大まかな位置が検出された前記レーザースポットのそれぞれに対し位置座標を割当て、前記第１のプレゼンテーション画像内の前記レーザースポットの一連の位置座標のそれぞれに対応して、一連の位置座標（Ｘｉ，Ｙｉ）を形成する手段と、
連続した前記位置座標における差に対応する変位ベクトルの列
【数１】
0003909554.tif 000006
を導出することにより、一連の前記位置座標を解析して、一連の前記位置座標が形成するジェスチャ空間パターンを捕捉する手段と、
捕捉した前記ジェスチャ空間パターンを、所定のジェスチャ空間パターンの集合内の1つのパターンにマッチさせる手段と、
前記マッチした所定のジェスチャ空間パターンに相関付けられたディスプレイコマンドを選択する手段と、
前記選択されたディスプレイコマンドに応答して、引き続く第２の電子画像を生成して、該電子画像を前記画像プロジェクタに転送して、引き続くプレゼンテーション画像として前記投写スクリーンに投写する手段と、を備えた、プレゼンテーション制御システム。
【請求項２】
予め決められた時間間隔のパルスモードでレーザーポインタを操作して得られるレーザースポットパルスを検出する手段をさらに有する、請求項１に記載のプレゼンテーション制御システム。
【請求項３】
第１の電子画像およびそれに続く第２の電子画像を作成するディスプレイ・コンピュータと、コンピュータ制御の画像プロジェクタと、投写スクリーンと、レーザーポインタと、を含む投写ディスプレイ装置に制御を与えるプレゼンテーション制御方法であって、
前記画像プロジェクタは、前記第１の電子画像を入力し、それを第１のプレゼンテーション画像として前記投写スクリーンに投写し、前記レーザーポインタは、講演者がそれを用いて前記投写スクリーンにレーザースポットを射出するとともに、前記第１のプレゼンテーション画像上に空間パターンを投射することにより前記制御を与え、
該プレゼンテーション制御システムは、
前記第１のプレゼンテーション画像に向けられ、そのプレゼンテーション画像から画像要素を有する一連の獲得画像を生成する電子カメラと、
前記獲得画像に応答する制御モジュールと、を備えており、
前記制御モジュールは、
低い画像分解能によって前記獲得画像を解析することにより、予め決められたしきい値以上の輝度を有する獲得画像要素を特定し、前記獲得画像内のレーザースポットの大まかな位置を検出するステップと、
前記大まかな位置を検出する画像分解能より高い画像分解能によって解析することにより、前記大まかな位置が検出された前記レーザースポットのそれぞれに対し位置座標を割当て、前記第１のプレゼンテーション画像内の前記レーザースポットの一連の位置座標のそれぞれに対応して、一連の位置座標（Ｘｉ，Ｙｉ）を形成するステップと、
連続した前記位置座標における差に対応する変位ベクトルの列
【数２】
0003909554.tif 000007
を導出することにより、一連の前記位置座標を解析して、一連の前記位置座標が形成するジェスチャ空間パターンを捕捉するステップと、
捕捉した前記ジェスチャ空間パターンを、所定のジェスチャ空間パターンの集合内の1つのパターンにマッチさせるステップと、
前記マッチした所定のジェスチャ空間パターンに相関付けられたディスプレイコマンドを選択するステップと、
前記選択されたディスプレイコマンドに応答して、引き続く第２の電子画像を生成して、該電子画像を前記画像プロジェクタに転送して、引き続くプレゼンテーション画像として前記投写スクリーンに投写するステップと
を有することを特徴とするプレゼンテーション制御方法。
【請求項４】
第１の電子画像およびそれに続く第２の電子画像を作成するディスプレイ・コンピュータと、コンピュータ制御の画像プロジェクタと、投写スクリーンと、レーザーポインタと、を含む投写ディスプレイ装置に制御を与えるプレゼンテーション制御システムにおいて動作する制御プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記画像プロジェクタは、前記第１の電子画像を入力し、それを第１のプレゼンテーション画像として前記投写スクリーンに投写し、前記レーザーポインタは、講演者がそれを用いて前記投写スクリーンにレーザースポットを射出するとともに、前記第１のプレゼンテーション画像上に空間パターンを投射することにより前記制御を与え、
該プレゼンテーション制御システムは、
前記第１のプレゼンテーション画像に向けられ、そのプレゼンテーション画像から画像要素を有する一連の獲得画像を生成する電子カメラと、
前記獲得画像に応答する制御モジュールと、を備えており、
前記制御モジュールが、
低い画像分解能によって前記獲得画像を解析することにより、予め決められたしきい値以上の輝度を有する獲得画像要素を特定し、前記獲得画像内のレーザースポットの大まかな位置を検出するステップと、
前記大まかな位置を検出する画像分解能より高い画像分解能によって解析することにより、前記大まかな位置が検出された前記レーザースポットのそれぞれに対し位置座標を割当て、前記第１のプレゼンテーション画像内の前記レーザースポットの一連の位置座標のそれぞれに対応して、一連の位置座標（Ｘｉ，Ｙｉ）を形成するステップと、
連続した前記位置座標における差に対応する変位ベクトルの列
【数３】
0003909554.tif 000008
を導出することにより、一連の前記位置座標を解析して、一連の前記位置座標が形成するジェスチャ空間パターンを捕捉するステップと、
捕捉した前記ジェスチャ空間パターンを、所定のジェスチャ空間パターンの集合内の1つのパターンにマッチさせるステップと、
前記マッチした所定のジェスチャ空間パターンに相関付けられたディスプレイコマンドを選択するステップと、
前記選択されたディスプレイコマンドに応答して、引き続く第２の電子画像を生成して、該電子画像を前記画像プロジェクタに転送して、引き続くプレゼンテーション画像として前記投写スクリーンに投写するステップと
をコンピュータに行わせる制御プログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ディスプレイ・コンピュータ、コンピュータ制御の画像プロジェクタ、および投写スクリーンを用いたプレゼンテーション制御システム、及びその制御方法に関するものである。特に、投写スクリーン上でレーザーポインタのビームを所定の空間パターン状に動かすことにより制御を行うインタラクティブプレゼンテーション制御システム及びその制御方法に関する。
【０００２】
【従来の技術】
会議や学校の授業において、図表、文章、その他種々のグラフィック画像を投写スクリーンや壁に光学的に投写することがしばしば行われる。画像ソースとしてはLCD (液晶ディスプレイ) プロジェクタやＤＭＤを利用したプロジェクタが通常使用され、図表、文章、その他種々のグラフィック画像は、例えばMicrosoft PowerPoint（登録商標）のようなプレゼンテーション作成ソフトウエアを実行可能なパーソナル・コンピュータ (PC) またはラップトップ・コンピュータのようなディスプレイ・コンピュータを用いて電子的に作成される。このような表示システムでは、PCは標準VGA、スーパーVGA、XGAのようなビデオ信号を出力する。このようなLCD/PC投写ディスプレイ・システムは、従来のオーバーヘッド・プロジェクタとトランスペアレンシを用いるシステムを置き換え、より多く使用されるようになってきている。
【０００３】
講演者（オペレータ）は書見台のある場所に立っていたり聴衆の前で動いていたりするが、どちらの場合も、LCD/PC投写ディスプレイ・システムを使用している場合には、投写スクリーン上に表示されている画像に対し講演者が直接に制御することは少ない。通常のシステムでは、講演者がディスプレイ・コンピュータの場所に戻るか、あるいは、その場所にアシスタントに座ってもらうかし、プレゼンテーションの制御を行う。講演者またはアシスタントは、ディスプレイ・コンピュータのキーボードまたはマウスを用いてカーソルをコンピュータ・モニタ画像スクリーンの適当な場所に動かすことによって、表示画像を制御する。講演者がディスプレイ・コンピュータの場所へ戻ったり、アシスタントに指示を出したりすると、プレゼンテーションの自然な進行や流れが阻害される。講演者が、ディスプレイ・コンピュータに戻ったり、スクリーンからアシスタントへ繰り返し注意を向けたりせず、ディスプレイを対話的に制御したり、投写スクリーン上の画像を変更したりすることができれば、聴衆とより密接な関係を持つことができることは明らかであろう。
【０００４】
例えば、Miyashitaに付与された米国特許No. 5,782,548に開示された制御システムでは、講演者はリモコン装置を用い、制御信号をプロジェクタのセンサーに無線で送信する。このシステムを用いると、講演者がスクリーン上のプレゼンテーション画像を変更するには、聴衆や投写スクリーンから目をそらし、リモコン装置を介してプロジェクタに注意を向ける必要がある。さらに、講演者はリモートコントロールを使用することによりある程度の可動性が得られるが、プロジェクタのセンサーの感度の範囲内にいる必要があるため、その可動性も限られたものになる。
【０００５】
この分野では、プレゼンテーション画像上のある場所にレーザー光を投射するレーザーポインターが使われることは公知である。このようなシステムでは、通常、プレゼンテーション画像の制御は複数個のステップ、すなわち複数回の動作で行う必要があるが、これはプレゼンテーションの自然な進行と流れを妨げることになる。例として、Nguyen等に付与された米国特許No. 5,682,181では、描画モード、ページアップといった1つの機能を選択する前に、ドロップダウンメニュを呼び出すシステムが開示されている。Marshall等に付与された米国特許No. 5,502,459では、実質的にマウスのダブルクリックと同様の効果を持たせる方法を開示している。その方法では、ユーザは、プレゼンテーション画像上の想像上の矩形領域内に投射レーザースポットを当てながら、レーザーポインタをまずオンにし、続いてオフにし、再びオン、オフしなければならない。他のシステムでは、通常のLCD/PC投写ディスプレイ・システムに加えて追加の装置を必要とする。例えば、米国特許5,504,501ではレーザーポインタを用いたリモコンを使用するが、プレゼンテーション画像からの光とレーザースポットを分離するため光学フィルタが必要である。
【０００６】
【発明が解決しようとする課題】
従来の技術は、講演者が聴衆と高度に対話的でありながら、一方でマウス・コマンドを与えるようにプレゼンテーションの制御が可能な、インタラクティブなディスプレイ・プレゼンテーションを提供しているようではない。したがって、本発明の目的は、従来のディスプレイ・プレゼンテーション制御システムが持つ上述した制限や他の制限を取り除くようなプレゼンテーション制御システムを提供することである。
【０００７】
本発明の他の目的は、次の画像に進む、アンダーラインを引く、ズーミングする、ハイライトするといったようなマウス・コマンドや他のプレゼンテーション機能がレーザーポインタで単に描画することによって実行可能なシステムを提供することである。以下の詳細な説明を読むことにより本発明の他の目的は明らかになるであろう。
【０００８】
【課題を解決するための手段】
本発明のプレゼンテーション制御システムは、第１の電子画像およびそれに続く第２の電子画像を作成するディスプレイ・コンピュータと、コンピュータ制御の画像プロジェクタと、投写スクリーンと、レーザーポインタと、を含む投写ディスプレイ装置に制御を与えるプレゼンテーション制御システムであって、前記画像プロジェクタは、前記第１の電子画像を入力し，それを第１のプレゼンテーション画像上に空間パターンを投射することにより前記制御を与え、該プレゼンテーション制御システムは、前記第１のプレゼンテーション画像に向けられ、そのプレゼンテーション画像から画像要素を有する一連の獲得画像を生成する電子カメラと、前記獲得画像に応答する制御モジュールと、を備えており、前記制御モジュールは、前記獲得画像内のレーザースポットの位置を検出する手段と、位置が検出された前記レーザースポットのそれぞれに対し位置座標を割当て、前記第１のプレゼンテーション画像内の前記レーザースポットの一連の位置のそれぞれに対応して、一連の位置座標（Ｘｉ，Ｙｉ）を形成する手段と、一連の前記位置座標を解析して、一連の前記位置座標が形成するジェスチャ空間パターンを捕捉する手段と、捕捉した前記ジェスチャ空間パターンを、所定のジェスチャ空間パターンの集合内の１つのパターンにマッチさせる手段と、前記マッチした所定のジェスチャ空間パターンに相関付けられたディスプレイコマンドを選択する手段と、前記選択されたディスプレイコマンドに応答して、引き続く第２の電子画像を生成して、該電子画像を前記画像プロジェクタに転送して、引き続くプレゼンテーション画像として前記投写スクリーンに投写する手段と、を備えていて、そのことによって上記目的を達成する。
好ましくは、前記レーザースポットの位置を検出する手段は、輝度の高い画像要素を特定する手段を有し、該輝度の高い画像要素は、予め決められたしきい値以上の輝度を有する獲得画像要素を含む。
【０００９】
さらに好ましくは、前記レーザースポットの位置を検出する手段は、前記輝度の高い画像要素のクラスターを特定する手段を有し、該クラスターは、予め決められた値以上の直線距離を持つ隣接した画像要素の集合を含む。
【００１０】
好ましくは、前記位置座標を割り当てる手段は、低い分解能モードで前記獲得画像を解析する手段を備える。
【００１１】
さらに好ましくは、前記位置座標を解析する手段は、変位ベクトルの列
【００１２】
【数４】
0003909554.tif 000002
【００１３】
を導出する手段を有し、該変位ベクトルの列は、連続した前記位置座標における差に対応する。
【００１４】
さらに好ましくは、前記位置座標を解析する手段は、前記変位ベクトル列をフリーマン・チェイン・コード列により記述する手段を有する。
【００１５】
ある態様では、予め決められた時間間隔のパルスモードでレーザーポインタを操作して得られるレーザースポットパルスを検出する手段をさらに有する。
【００１６】
他の態様では、予め決められた前記時間間隔は、約3秒である。
【００１７】
他の態様では、前記ディスプレイコマンドは、前記位置座標を解析する手段が、実質的に定常なレーザースポットを前記第１のプレゼンテーション画像の予め決められた領域内で検出した場合には第１のマウスクリックを含み、前記第１のマウスクリックは前記ディスプレイ・コンピュータに転送される。
【００１８】
好ましくは前記予め決められた領域は、アイコンを有する。
【００１９】
好ましくは、前記第１のマウスクリックは、前記引き続く第２のプレゼンテーション画像おいてドロップダウン・メニューを表示する。
【００２０】
他の態様では、前記ディスプレイコマンドは、前記レーザースポットパルスが検出された場合には第２のマウスクリックを含み、前記第２のマウスクリックはディスプレイ・コンピュータに転送される、請求項９に記載のプレゼンテーション制御システム。
【００２１】
好ましくは、前記第２のマウスクリックは、前記引き続くプレゼンテーション画像において、前記第１のプレゼンテーション画像の前記予め決められた領域の選択を開始する。
【００２２】
他の態様では、前記選択されたディスプレイコマンドは、3つの前記レーザースポットパルスの入力に相関したオーバーレイ・コマンドを含み、前記オーバーレイ・コマンドは前記第１の電子画像に重ね合わされるオーバーレイ画像を含んだ引き続く第２の電子画像を生じる。
【００２３】
好ましくは、前記オーバーレイ画像は、前記第１のプレゼンテーション画像上でのレーザースポットの移動に対応した1つ以上の曲線を含む。
【００２４】
好ましくは、前記オーバーレイ画像は、前記第１のプレゼンテーション画像上でのレーザースポットの移動に対応したハイライトされた領域を含む。
【００２５】
他の態様では、前記選択されたディスプレイコマンドは、前記1つ以上の曲線が前記第１のプレゼンテーション画像中で閉じた部分を規定する場合にはズームイン・コマンドを含み、前記ズームイン・コマンドは、前記第１のプレゼンテーション画像内の前記閉じた部分に対応した前記第１の電子画像の拡大部を含んだ引き続く第２の電子画像を生じる。
【００２６】
他の態様では、前記引き続く第２の電子画像を生成する手段は、マウスコマンドを前記ディスプレイ・コンピュータに転送する手段を有し、前記引き続く第２の電子画像は前記ディスプレイ・コンピュータにより前記画像プロジェクタに転送される。
【００２７】
他の態様では、前記マウスコマンドは、前記マッチした所定のジェスチャ空間パターンが右矢印を含む場合には、次の引き続く第２の電子画像に進むコマンドを含む。
【００２８】
好ましくは、前記位置座標を保存するためのメモリ手段をさらに有する。
【００２９】
好ましくは、前記メモリ手段は、前記ディスプレイ・コマンドおよび前記所定の画像を保存する参照部を有する。
本発明のプレゼンテーション制御システムは、第１の電子画像およびそれに続く第２の電子画像を作成するディスプレイ・コンピュータと、コンピュータ制御の画像プロジェクタと、投写スクリーンと、およびレーザーポインタとを含む投写ディスプレイ装置に制御を与えるプレゼンテーション制御システムであって、前記画像プロジェクタは、前記第１の電子画像を入力し、それを第１のプレゼンテーション画像として前記投写スクリーンに投写し、前記レーザーポインタは、講演者がそれを用いて前記投写スクリーンにレーザースポットを射出するとともに、前記第１のプレゼンテーション画像上に空間パターンを投射することにより前記制御を与え、該プレゼンテーション制御システムは、前記第１のプレゼンテーション画像に向けられ、そのプレゼンテーション画像から画像要素を有する一連の獲得画像を生成する電子カメラと、前記獲得画像に応答する制御モジュールと、を備えており、前記制御モジュールは、所定のジェスチャ空間パターンの集合およびディスプレイコマンドの集合を含むメモリ部であって、前記ディスプレイコマンドのそれぞれは、前記所定のジェスチャ空間パターンの一つに対応している、メモリ部と、前記獲得画像における前記レーザースポットの位置を検出する位置検出回路と、前記獲得画像における前記レーザースポットの位置検出に応答する画像処理回路であって、前記位置検出されたレーザースポットのそれぞれに対して位置座標を割当て、前記第１のプレゼンテーション画像における前記レーザースポットの位置列に対応して位置座標列（Ｘｉ，Ｙｉ）を生成し、前記位置座標列を解析して前記位置座標列が形成したジェスチャ空間パターンを捕捉する画像処理回路と、前記捕捉したジェスチャ空間パターンに応答し、前記捕捉したジェスチャ空間パターンを前記所定のジェスチャ空間パターンの一つとマッチさせ、前記マッチしたジェスチャ空間パターンに対応した前記ディスプレイコマンドの一つを選択し、前記選択されたディスプレイコマンドに対応してマウスコマンドを生成するコマンド回路と、を備えており、前記マウスコマンドは、前記ディスプレイ・コンピュータに転送され、引き続く第２のプレゼンテーション画像が前記投写スクリーンに投写され、そのことによって上記目的を達成する。
【００３０】
好ましくは、前記位置検出回路は輝度の高い画像要素を特定する輝度検出回路を有し、前記輝度の高い画像要素は、予め決められたしきい値以上の輝度を持つ獲得画像要素を含む。
【００３１】
好ましくは、前記位置検出回路は、前記輝度の高い画像要素のクラスターを特定するクラスター検出回路をさらに備え、該クラスターは、予め決められた値以上の直線距離を有する隣接した画像要素を含む。
【００３２】
好ましくは、前記画像処理回路は、変位ベクトルの列
【００３３】
【数５】
0003909554.tif 000003
【００３４】
を導出する計算回路を有し、それぞれの変位ベクトルの列は、連続した前記位置座標における差に対応する。
【００３５】
好ましくは、前記計算回路は、前記変位ベクトル列をフリーマン・チェイン・コード列に変換する変換回路を有する。
本発明のコンピュータ読取り可能な記録媒体は、コンピュータが複数の画像の連続したサンプリングを受取る動作であって、該複数の画像のそれぞれは複数の画像要素を含む、動作と、一連の前記画像のそれぞれにおいて輝度の高い画像要素の隣接した集合を検出する動作と、連続した前記検出した輝度の高い画像要素に対し、連続した位置座標（Ｘｉ，Ｙｉ）を割当てる動作と、前記一連の位置座標を解析し、ジェスチャ空間パターンを特定する動作と、前記ジェスチャ空間パターンを特定に応じてプレゼンテーションコマンドを生成する動作と、のための制御システムとして機能することを指示する命令を有し、そのことによって上記目的を達成する。
【００３６】
好ましくは、前記位置座標列を解析するための動作は、変位ベクトルの列
【００３７】
【数６】
0003909554.tif 000004
【００３８】
を導出するための動作をさらに有し、該変位ベクトルは、引き続く前記位置座標における差に対応する。
【００３９】
好ましくは、変位ベクトル列を導出するための動作は、前記変位ベクトル列をフリーマン・チェイン・コード列により記述するための動作をさらに有する、請求項２８に記載の記録媒体。
【００４０】
好ましくは、前記プレゼンテーションコマンドはマウスコマンドを含む。
【００４１】
本発明の表示プレゼンテーション装置の制御方法は、プレゼンテーション画像列を投写スクリーンに投写するコンピュータ制御の画像プロジェクタを備えた表示プレゼンテーション装置を制御する方法において、制御は講演者がレーザーポインタを用いレーザースポットを前記投写スクリーンに投写することにより行われ、該レーザースポットは前記プレゼンテーション画像上を所定のジェスチャ空間パターンにおいて動き、前記表示プレゼンテーション装置を制御する方法は、投写された前記プレゼンテーション画像および前記レーザースポットに対応した画像列を獲得するステップであって、前記獲得された画像のそれぞれは複数の画像要素を含む、ステップと、獲得された画像のそれぞれにおいて位置座標列を前記レーザースポットの位置に割当てるステップと、前記位置座標列を解析して、前記レーザースポットにより生成された前記ジェスチャ空間パターンを特定するステップと、前記ジェスチャ空間パターンの特定に応じて前記プレゼンテーションコマンドを生成するステップと、を含み、そのことによって上記目的を達成する。
【００４２】
好ましくは、前記特定されたジェスチャ空間パターンを、前記所定のジェスチャ空間パターンにマッチさせるステップをさらに含む。
【００４３】
好ましくは、前記位置座標列を解析するステップは、輝度の高い獲得画像要素を検出するステップをさらに含み、該輝度の高い獲得画像要素のそれぞれは、予め決められたしきい値以上の輝度を有する。
【００４４】
好ましくは、輝度の高い獲得画像要素のクラスターを前記レーザースポットとして特定するステップをさらに含み、前記クラスターは、予め決められた値以上の直線距離を有する隣接した獲得画像要素の集合を含む。
【００４５】
他の態様では、実質的に定常状態にあるレーザースポットを検出するステップをさらに含む。
【００４６】
他の態様では、前記実質的に定常状態にあるレーザースポットを検出するステップに応じて前記第１のプレゼンテーション画像の一部を選択するステップをさらに含む。
【００４７】
他の態様では、パルス動作のレーザースポットを検出するステップをさらに含む。
【００４８】
他の態様では、前記パルス動作のレーザースポットの検出に応じて前記引き続くプレゼンテーション画像内に前記レーザースポットの動きに応じた曲線を描画するステップをさらに含む。
【００４９】
他の態様では、前記引き続くプレゼンテーション画像の一部であって、前記描画した曲線に対応する部分をハイライトするステップをさらに含む。
【００５０】
好ましくは、前記位置座標列を解析するステップは、前記特定されたジェスチャ空間パターンをフリーマン・チェイン・コードを用いて記述するステップを含む。
【００５１】
他の態様では、前記特定されたジェスチャ空間パターンが矢印の形状を有する場合には、引き続くプレゼンテーション画像を生じさせるステップを有する。
【００５２】
本発明は、講演者（プレゼンタ）が、レーザーポインタから射出するレーザースポットを用いて所定の空間パターンを投写スクリーン上に投射することによりプレゼンテーションを制御するインタラクティブプレゼンテーション制御システムを提供する。所定の空間パターンは制御システムで獲得され翻訳され、続いてディスプレイ・コマンドがプロジェクタに発せられる。プレゼンテーション中には、ディスプレイ・コンピュータはそのローカルなディスプレイ上にプレゼンテーションに対応するビットマップを生成する。このビットマップは、続いてLCDプロジェクタに転送され、次にスクリーンに投写される。プレゼンテーションの表示はスクリーンに投射されたレーザースポットをモニターすることにより行われる。レーザースポットを用いた制御は制御システムにより行われる。制御システムにはレーザースポットの連続した画像を獲得するデジタルカメラおよび制御モジュールが備えられ、制御モジュールにはプレゼンテーション画像上のレーザースポットの位置を解析する処理部が設けられている。処理部が、連続したレーザースポットの位置と所定の空間パターンとをマッチさせたとき、それに対応するディスプレイ・コマンドが発せられる。ディスプレイ・コマンドがディスプレイ・コンピュータに転送され、ディスプレイ・コンピュータが電子画像を一つ進めるような動作を行う場合もあるし、あるいは、ディスプレイ・コマンドが制御モジュール内に留まりプレゼンテーション画像の一部をズームインしたりテキストをハイライトするような機能を行う場合もある。
【００５３】
【発明の実施の形態】
図1は、本発明の第１の実施の形態であるインタラクティブ・ディスプレイ・プレゼンテーション制御システム10を示す。インタラクティブ・ディスプレイ・プレゼンテーション制御システム10は、ディスプレイ・コンピュータ21、コンピュータで制御されるＬＣＤタイプまたはＤＭＤタイプ等の画像プロジェクタ23、投写スクリーン12、レーザーポインタ11、およびプレゼンテーション制御システム30を備える。画像プロジェクタ23は、通常、照明光源25と、照明光源25と投写スクリーン12との間に置かれた画像パネル27を備える。プレゼンテーション制御システム30には、デジタルカメラ31、または同種の画像装置、および制御モジュール33が含まれる。インタラクティブ・ディスプレイ・プレゼンテーション制御システム10の動作中は、ディスプレイ・コンピュータ21は、ディスプレイ・コンピュータ21に搭載されたプレゼンテーション作成ソフトウエアが実行するプレゼンテーションに基づき最初の電子画像22aを作成する。プレゼンテーション・プログラムにはディスプレイ・プレゼンテーション中に投写しようとする電子画像のセット22a, 22b,・ ・ ・,22kが含まれている。最初の電子画像22aはディスプレイ・コンピュータ21により、好ましくはビットマップ画像として、制御モジュール33に転送され、引き続き、投写画像29として画像パネル27に転送される。引き続いて、プロジェクション画像29は対応する最初のプレゼンテーション画像13として投写スクリーン12に投写される。
【００５４】
講演者（プレゼンタ、またはオペレータ）37は、レーザーポインタ11を用いレーザービーム15をレーザースポット16としてプレゼンテーション画像13に投射することにより、インタラクティブ・ディスプレイ・プレゼンテーション制御システム10を対話的に制御する。レーザーポインタ11は購買可能な装置で、連続動作およびパルス動作の両方が可能で、その波長は630ｎｍと670ｎｍの間にあることが好ましい。講演者37はレーザースポット16を投写スクリーン12上で動かし、予め決められたジェスチャ空間パターンを描画し、それによってインタラクティブ・ディスプレイ・プレゼンテーション制御システム10に制御を与える。ジェスチャ空間パターンは水平な下線、矢印、ある画像部分を囲むボックス、あるいは他の予め決められた幾何学的形状であってよいが、このパターンはその後、制御モジュール33により特定され、それに対応する予め決められたディスプレイ・コマンドが選択される。このディスプレイ・コマンドは、以下で詳細に説明するように、制御モジュール33内で機能を行ってもよいし、あるいはディスプレイ・コンピュータ21に転送されてもよい。例えば、1つの動作モードでは、ディスプレイ・コンピュータ21はディスプレイ・コマンドを受け取り、次ぎのスライド22bを呼び出し制御モジュール33を経由して画像プロジェクタ23に転送する。
【００５５】
本発明のシステムの特徴を図2および3を参照して説明する。図2に示す従来のプレゼンテーションでは、講演者17は、実線の矢印41で示すように、主にディスプレイ・コンピュータ21、あるいはディスプレイ・コンピュータ21の場所に座っているアシスタントと対話し、投写スクリーン12上のプレゼンテーションを制御する。したがって鎖線の矢印46で示すように、講演者と投写スクリーン12上のプレゼンテーションとの対話は限られたものになっている。プレゼンテーションを見ている聴衆19の注意は実線の矢印43で示されるように主にプレゼンテーションに向けられ、講演者には鎖線の矢印45で示されるように少しの注意しか払われない。これと対比して、ここで開示されるようなインタラクティブ・ディスプレイ・プレゼンテーション制御システム10では、講演者37はディスプレイ・コンピュータ21またはプレゼンテーション制御システム30のどちらとも対話をする必要がほとんど無いかあるいはまったく必要ではない。したがって、講演者は、実線の矢印47で示されるように聴衆19と、さらに実線の矢印48で示されるようにレーザーポインタ11を介して投写スクリーン12上のプレゼンテーションと対話をすることが可能になる。
【００５６】
図1におけるプレゼンテーション制御システム30の動作中は、デジタルカメラ31は投写スクリーン12に向けられ、現在表示されているプレゼンテーション画像13を連続的にサンプリングする。このサンプリングは1秒間に約10フレームのサンプリング速度で行うのが好ましい。制御モジュール33はこれらのサンプルした画像を一連の獲得（撮像）した画像63a, 63b,・ ・ ・,63nとして入力する。獲得された画像63a, 63b,・ ・ ・,63nは、プレゼンテーション画像13が投写スクリーン12上にある間は、獲得された連続した画像間でレーザースポット16の位置が変化していることを除き実質的に互いに同等であることは当業者にはよく理解できる 。レーザースポット16のこれらの連続した位置は分離され、メモリ34に保存され、解析され、講演者37が投写スクリーン12上に投射したジェスチャ空間パターンが特定される。
【００５７】
制御モジュール33は、連続した獲得画像63a, 63b,・ ・ ・,63n内のレーザースポット16を検出する処理部35を備える。レーザースポット16はプレゼンテーション画像13を構成するいずれの画像要素の輝度よりも輝度の大きな画像要素を有するため、処理部35は予め設定されたしきい値より大きな輝度を持つ画像要素を検出することによりレーザースポット16の位置を決定することが可能である。ここで、しきい値はプレゼンテーション画像内にある最大輝度よりも大きい。処理部35はそのような輝度の高い画像要素の隣接した集合体を求めてプレゼンテーション画像13を解析する。ここでこの集合体はレーザースポットの大きさにほぼ近い高さまたは巾を有する。レーザースポット16の検出は最初、低分解能モード (例えば、獲得された画像63a, 63b,・ ・ ・,63nを80 × 60のピクセル画像として見る) で行い、レーザースポット16のプレゼンテーション画像13内での大まかな位置を見つけるのが好ましい。例えば、図4では、投写スクリーン12上に表示されたプレゼンテーション画像13を形成する流れ図内にレーザースポット16がある様子を示す。レーザースポット16のおよその位置が分かったら、図5に示すように、プレゼンテーション画像13は160 × 120ピクセルの高分解能で解析され、レーザースポット16の位置がその精度に対応して正確に決定される。この例では、位置座標は (128, 114) と決定されている。
【００５８】
図1の処理部35は、レーザースポット16が検出された獲得画像63a, 63b,・ ・ ・,63nのそれぞれについて、レーザースポット16の位置に位置座標を順次割当てる。これら一連の位置座標がメモリ34に取込まれ、すなわち保存され、空間パターンが存在するかどうかが解析される。制御モジュール33はさらに参照部36を備えるが、それには予め決定された（所定の）ジェスチャ空間パターンのセットおよび予め割当てられたディスプレイ・コマンドのセットが保存されている。 ここで、ディスプレイ・コマンドのそれぞれは所定のジェスチャ空間パターンの一つに割当てられている、すなわち、相関付けられている。空間パターンが特定されると、処理部35は、この特定された空間パターンと所定のジェスチャ空間パターンのセットとを比較する。マッチしたパターンがあると、処理部35は、マッチした所定のジェスチャ空間パターンに割当てられたディスプレイ・コマンドを選択し、その選択したコマンドを実行する。
【００５９】
選択されたディスプレイ・コマンドは入力ポート65を介してディスプレイ・コンピュータ21に転送される。好ましい実施例では、入力ポート65はシリアルポートを備え、ディスプレイ・コマンドはシリアルケーブルまたはUSBケーブルを介して転送される。この技術分野の当業者には明らかなように、処理部35は図に示すように制御モジュール33内にあってもよいし、デジタルカメラ31またはディスプレイ・コンピュータ21のいずれかに含まれていてもよいし、あるいは、コンピュータが読み込み可能な命令として記憶媒体67から取出し可能なものでもよいし、さらに、デジタルカメラ31、制御モジュール33およびディスプレイ・コンピュータ21に分散して存在してもよい。
【００６０】
レーザースポット16が獲得画像63a, 63b,・ ・ ・,63nのそれぞれにおいて検出されると、処理部35は、レーザースポット16の動きに関する連続した位置に位置座標(例えば、xi, yi)を割当て、レーザースポット16が動いているかどうかを判定する。そして、動いている場合には、その動きが無作為なものか、またはその動きが所定の多くの形状やパターンの1つと相関があるかどうかを判定する。動きの大きさと方向とは対応する変位ベクトル
【００６１】
【数７】
0003909554.tif 000005
【００６２】
の列を解析することにより決定することができる。好ましくは、関連する技術分野でフリーマン・チェイン・コードと知られる空間パターン認識ツールが用いられ、レーザースポット16の動きを判定し、矢印、ボックス、または他の幾何学的形状が形成されるのを検出する。フリーマン・チェイン・コードはレーザースポット16の並進ベクトル、すなわち、1つの獲得画像63iから次ぎの獲得画像63i+1への動きを表すベクトルに対し1つの数を割当てる。例えば、図6に示すように、π/2の角度を持ち方向ベクトル71で表される垂直方向の動きには「コード1」が割当てられ、5π/4の角度を持ち方向ベクトル73で表される第3象限の対角線方向の動きには「コード6」が割当てられる、等々である。処理部35は、レーザースポット16の無作為な動きと講演者が意図的に行うジェスチャとをフリーマン・チェイン・コードの順序（列）を解析することにより区別する。
【００６３】
例として、図7は、捕捉されたジェスチャ空間パターンがフリーマン・チェイン・コードによりどのように記述されるかを示している。制御モジュール33は最初の5つの引き続いた画像からレーザースポット16の位置座標を捕捉する。4つの連続した画像対で表されるレーザースポットの動きは、方向ベクトル75a、75b、75c、および75dで表される一連の「コード4」で示されている。それに続く5つの画像 (すなわち、63fから63jの捕捉された画像、図示なし)中のレーザースポット16の動きは、方向ベクトル77a、77b、77c、77dおよび77eで表されている5つの「コード6」で示されている。
【００６４】
処理部35は、4つの引き続いた「コード4」とそれに続く5つの「コード6」のジェスチャ空間パターン列を参照部36から処理部35に入力された所定のジェスチャ空間パターンの一つ一つと比較する。この参照部はランダムアクセスメモリでも、ファームウエアでも、ルックアップテーブルであってもよい。この場合、捕捉されたジェスチャ空間パターンは右向き矢印51とマッチする。捕捉されたジェスチャ空間パターンが異なった無作為なフリーマン・チェイン・コードの列からなる場合は、処理部35は、レーザースポットは無作為に動いていると判断し、ディスプレイ・コマンドを発しない。
【００６５】
インタラクティブ・ディスプレイ・プレゼンテーション制御システム10を「マウスモード」で用い、連続するPowerPoint(登録商標)のスライドをプレゼンテーション画像13として投写することが可能である。例として、講演者が右向き矢印51を有するジェスチャ空間パターンを描いた場合、ディスプレイ・コンピュータはそれに対応して次のプレゼンテーション・スライドを呼び出し、画像プロジェクタ23に転送してもよい。すなわち、「次のスライドに進め」というディスプレイ・コマンドが右向き矢印51に関連付けられ、すなわち、割当てられているのである。同様に、ジェスチャ空間パターンが左向き矢印を含んでいる場合、1つ前の画像がプロジェクション画像29として呼び出されて表示されてもよい。あるいは、矢印のインジケータをオーディオのボリュームを変えるように割当ててもよいし、または所定のディスプレイ・コマンドを介してプレゼンテーションの他のスライド特性を変えるように割当てることもできる。
【００６６】
講演者37はレーザースポット16を、アイコンやメニューエントリのようなプレゼンテーション画像13の特定の領域上に位置させることもできる。処理部35はこの状態を、取り囲むアイコンやメニューエントリを選択したものとして解釈する。この状態は、マウスを最初にクリックしたのと等価である。選択に続く2回目のマウスクリックは、レーザースポット16をアイコンやメニューエントリの場所に保持しながら、予め設定された時間間隔の間 (3秒が好ましい) レーザーポインタ16をパルス化することによって達成される。あるいは、レーザースポット16をプレゼンテーション画像13の境に位置させることで、次の選択と動作に関するドロップダウンメニューを出現させてもよい。それに引き続いて、選択された領域上でレーザースポット16を一度パルスすると、処理部35はそのパルスを2回目のマウスクリックとして解釈する。
【００６７】
このようにして、レーザービーム15をプレゼンテーション画像13に投射することにより、会場の実際上どの場所からも、例えば新しいファイルを開いたり、切り取ったり、貼り付けたりして、ディスプレイ・プレゼンテーションを制御することができる。したがって、ディスプレイ・コンピュータ21に直接入力して投写画像29を制御するためにマウス、キーボード、または他の周辺装置が用いられるのと同様の方法で、レーザーポインタ１１がプレゼンテーション制御システム30と共に用いられる。この制御法は、講演者３７が話を続け動き回りながら、インターネットのウェブリンクにアクセスしそれをナビゲートする必要がある場合には特に有用である。
【００６８】
あるいは、3回の引き続いたマウスクリックを生成するようにレーザーポインタ11がパルス化される場合には、「描画モード」にアクセスすることが可能である。描画モードでは、レーザースポット16を用いてプレゼンテーション画像13上に直線や曲線を描くことが可能である。描画モードを終了できるよう、レーザーポインタ11は、パルス化され、4つのマウスクリックを生成する。曲線を描くことにより、プレゼンテーション中に他の機能を実行することができる。好ましい実施例では、講演者37がプレゼンテーション画像13のテキスト部またはグラフィックス部に、例えば水平線を描くと、処理部35は、元の電子画像22aにオーバーレイを重ね合わせ新しい電子画像24を作成する。ここで、オーバーレイはレーザースポット16で描かれた水平線に対応しハイライトや下線を与える。
【００６９】
新しい電子画像24は次にプロジェクタ23に転送され、対応したテキスト部またはグラフィックス部に下線やハイライトが施されたプレゼンテーション画像13として投写される。さらに、講演者37がプレゼンテーション画像13の一部を取り囲むように矩形を描くと、元のスライド22の対応する部分が拡大され、新しい電子画像24として転送され、ズームイン操作になる。
【００７０】
図8に示す他の実施例では、画像プロジェクタ23はディスプレイ・コンピュータ21に直接接続されている。この構成は、制御システム30がディスプレイ・コンピュータ21に対しマウスコマンドのみを出力する場合に使用される。操作は上述した実施例と類似しており、レーザースポット16が制御しようとするプレゼンテーション画像13上に投射される。デジタルカメラ31はプレゼンテーション画像13のサンプリングを行い、獲得された画像63a, 63b,・ ・ ・,63nは制御モジュール33内の処理部35により解析される。特定されたジェスチャ空間パターンと参照部36から得られる所定のジェスチャ空間パターンとが一致した場合は、それに対応するマウスコマンドがシリアルケーブル39を介してディスプレイ・コンピュータ21に転送される。先の実施例と同様、処理部35の命令および参照部36のデータは記憶媒体67から取出されてもよい。
【００７１】
インタラクティブ・ディスプレイ・プレゼンテーション制御システム10を使用する前に、プレゼンテーション画像13の画像要素および位置座標と、ディスプレイ・コンピュータ21に入っている元の電子画像22aの対応する要素および座標との間の相関を取るため、処理部35を用い制御システム30を補正する場合もある。これは、例えば、以下のステップで行なってもよい。i)埋め込まれた予め決められたパターン (図示なし) を投写画像29内に作成する、ii)電子カメラ31を用い埋め込まれたパターンを含むプレゼンテーション画像13を獲得する、iii)予め決められたパターンを検出し電子カメラ31で獲得した画像内の関連した位置座標を確定する、iv)パターンの座標を解析しプレゼンテーション画像13の座標と元の電子画像22aの座標との間の相関を数学的に得る。このような補正処理は、1999年3月31日付け、出願番号09/283,093の「コンピュータ作成投写画像を補正する方法および装置」と題する、本願と同一人に譲渡された同時係属中の特許出願において説明されている。この出願全体を参照文献としてここに含むことにする。
【００７２】
処理部35は、電子カメラ31を用い、講演会場の室内光強度を決定し、プレゼンテーション画像13の明るさとコントラストの設定を最適にする機能を持つ場合もある。プレゼンテーション画像13のカラーバランスは、画像プロジェクタ23で標準カラー補正チャート（図示なし）を投写スクリーン12に投写し、投写したカラーについての電子カメラ31を用いて求めた値をチャートのカラーの既知の値と比較することにより最適化される。この比較で得た結果から、処理部35はカラー補正が必要かどうかを判断し、プレゼンテーション画像13を必要に応じて調整する。
【００７３】
本発明は特定の実施例を参照して説明されたが、本発明は、ここで開示されたり図面に示された特定の構造や方法に限定されるものではない。さらに、本発明は特許請求範囲内の変更や等価なものをも含んでいる。
【図面の簡単な説明】
【図１】本発明の第1の実施例におけるインタラクティブ・ディスプレイ・プレゼンテーション制御システムの模式図。
【図２】従来のディスプレイ・プレゼンテーション制御システムの平面模式図。
【図３】図1のインタラクティブ・ディスプレイ・プレゼンテーション制御システムの平面模式図。
【図４】図1のシステムの投写スクリーン上に表示されたプレゼンテーション画像の模式図。
【図５】図4におけるレーザースポットの位置座標が決定される方法を示す図。
【図６】図4のプレゼンテーション画像上をレーザースポットが動く状態を記述するため本発明で用いるフリーマン・チェイン・コード規則を示す図。
【図７】講演者が投写スクリーンに投射した所定の空間パターンの模式図。
【図８】本発明の第2の実施例におけるインタラクティブ・ディスプレイ・プレゼンテーション制御システムの模式図。
【図１】
0003909554.tif 000009
【図２】
0003909554.tif 000010
【図３】
0003909554.tif 000011
【図４】
0003909554.tif 000012
【図５】
0003909554.tif 000013
【図６】
0003909554.tif 000014
【図７】
0003909554.tif 000015
【図８】
0003909554.tif 000016