(57)【特許請求の範囲】
【請求項１】
電気機器、
ジェスチャを行うためにユーザにより操作可能な携帯型ポインティングデバイスであって、空間からの連続する画像を取得するための当該携帯型ポインティングデバイスに接続されたカメラを含む携帯型ポインティングデバイス、
前記携帯型ポインティングデバイスにより行われたジェスチャを認識するために前記連続する画像を受け取って処理し、ユーザインタフェイス情報を前記電気機器に送信することが可能なデジタル信号プロセッサ、
光子放射を放射する少なくとも１つのビーコン、
を有し、
前記ユーザインタフェイス情報は、認識されたジェスチャに対応する前記電気機器に対する制御情報を表し、
前記デジタル信号プロセッサは、前記連続する画像中の所定のパターンを認識するためのパターン認識モジュール、前記連続する画像の各画像における前記所定のパターンの位置を推定するための位置推定ユニット、および、前記推定された位置を複数の所定のジェスチャと照合するジェスチャ照合ユニットを有し、
前記ジェスチャ照合ユニットは、ジェスチャが実行されている間に、前記連続する画像における前記推定された位置の差異を示すデータを、前記複数の所定のジェスチャそれぞれの対応する位置の差異を示す所定のデータと比較して、それまでに受信した前記連続する画像中の前記推定された位置の差異を示す前記データが前記複数の所定のジェスチャのうちの単一のジェスチャのみに帰する場合に、前記単一のジェスチャを認識し、前記単一のジェスチャが認識されると、認識された前記単一のジェスチャに対応する前記制御情報を表す前記ユーザインタフェイス情報を前記電気機器に送信し、
前記少なくとも１つのビーコンは、前記空間中に配置され、前記携帯型ポインティングデバイスの一部ではなく、
認識されるべき前記所定のパターンは、前記少なくとも１つのビーコンから生じるパターンであり、
前記携帯型ポインティングデバイスが、観測されるロール角を示すデータを検出するロール角検出器を有し、連続する画像中の推定された位置の差異を示す前記データが単一の前記ビーコンに基づいて決定され、差異を示す前記データの決定が、観測されるロール角を示す前記データを用いたロール角の変動の補償を含む、
ユーザインタラクションシステム。
【請求項２】
前記デジタル信号プロセッサは、認識されたジェスチャに対応するユーザインタラクションコマンドを表すコマンド識別データを出力し、前記ジェスチャが認識されるとすぐに前記ユーザインタフェイス情報を前記電気機器に送信し、前記ユーザインタフェイス情報は前記コマンド識別データから構成される、請求項１に記載のユーザインタラクションシステム。
【請求項３】
前記ジェスチャの認識が、所定の閾値に達するジェスチャの尤度に基づく、請求項１又は請求項２に記載のユーザインタラクションシステム。
【請求項４】
前記携帯型ポインティングデバイスが、ジェスチャの開始および終了を指示するための手段を有し、前記ジェスチャ照合ユニットが、ジェスチャの終了が指示される前にジェスチャを認識するように構成される、
請求項１から請求項３のいずれか一項に記載のユーザインタラクションシステム。
【請求項５】
前記デジタル信号プロセッサが、推定されるポインティング位置を取得するために前記推定された位置に空間変換を適用する空間変換ユニットを含む、請求項１から請求項４のいずれか一項に記載のユーザインタラクションシステム。
【請求項６】
前記電気機器が表示スクリーンを含み、推定された前記ポインティング位置を前記表示スクリーンに表示する、請求項５に記載のユーザインタラクションシステム。
【請求項７】
前記少なくとも１つのビーコンは非可視放射を放射し、前記カメラは、前記少なくとも１つのビーコンにより放射される前記非可視放射以外の放射に対して実質的に無感応である、請求項１から請求項６のいずれか一項に記載のユーザインタラクションシステム。
【請求項８】
前記少なくとも1つのビーコンは、時間変調されたパターンに従って前記ビーコンの光子放射素子を駆動する駆動ユニットを有し、前記デジタル信号プロセッサは、前記時間変調されたパターンに従って変調された画像データを検出する検出器を含む、
請求項１から請求項７のいずれか一項に記載のユーザインタラクションシステム。
【請求項９】
前記ロール角検出器が、加速度計、磁力計およびジャイロスコープのうちの１つ又は複数を有する、請求項１から請求項８のいずれか一項に記載のユーザインタラクションシステム。
【請求項１０】
前記単一のビーコンが、検出されるべき空間パターンに従って光子放射を放射し、前記ロール角検出器が、前記空間パターンの位置を表すパターンデータから観測されるロール角を示す前記データを検出する、
請求項１から請求項９のいずれか一項に記載のユーザインタラクションシステム。
【請求項１１】
各ビーコンがそれぞれの制御可能な機器に関連付けられており、前記ユーザインタラクションシステムが、どのビーコンがポイントされているかを示すフィードバックをユーザに提供するための手段を有する、請求項１から請求項１０のいずれか一項に記載のユーザインタラクションシステム。
【請求項１２】
フィードバックを提供するための前記手段が、ポイントされる前記ビーコンの近くに配置される発光素子を有する、請求項１１に記載のユーザインタラクションシステム。
【請求項１３】
フィードバックを提供するための前記手段が、前記携帯型ポインティングデバイス上のディスプレイを有する、請求項１１に記載のユーザインタラクションシステム。
【請求項１４】
前記複数の所定のジェスチャのうちの少なくとも１つが、制限されたユーザまたは制限されたユーザのグループにのみ知られたジェスチャであり、当該ジェスチャは、前記電気機器に対する排他的アクセスを得るためのパスワードとして使用される、請求項１から請求項１３のいずれか一項に記載のユーザインタラクションシステム。
【請求項１５】
電気機器、カメラを備える携帯型ポインティングデバイス、デジタル信号プロセッサ、光子放射を放射する少なくとも１つのビーコンを有するシステムにおけるユーザインタラクション方法であって、当該方法は、前記携帯型ポインティングデバイスによって行われたジェスチャを認識することにより前記電気機器を制御し、当該方法は、
前記携帯型ポインティングデバイスによりジェスチャを行う間に、
前記少なくとも１つのビーコンにより光子放射を放射し、
前記携帯型ポインティングデバイスに含まれる前記カメラにより空間からの連続する画像を取得し、
前記デジタル信号プロセッサにより前記連続する画像を表す連続画像データを受け取り、
前記デジタル信号プロセッサにより前記連続画像データを処理し、当該処理は、
前記カメラにより取得された連続する画像中の所定のパターンの連続する位置を推定すること、
前記連続する画像における前記推定された位置の差異を示すデータを、複数の所定のジェスチャそれぞれの対応する位置の差異を示す所定のデータと比較すること、
それまでに受信した前記連続する画像中の前記推定された位置の差異を示す前記データが前記複数の所定のジェスチャのうちの単一のジェスチャのみに帰する場合に、前記単一のジェスチャを認識すること、
前記単一のジェスチャが認識されると、認識された前記単一のジェスチャに対応する前記制御情報を表す前記ユーザインタフェイス情報を前記電気機器に送信すること、
を含み、
前記少なくとも１つのビーコンは、前記空間中に配置され、前記携帯型ポインティングデバイスの一部ではなく、
認識されるべき前記所定のパターンは、前記少なくとも１つのビーコンから生じるパターンであり、
前記携帯型ポインティングデバイスが、観測されるロール角を示すデータを検出するロール角検出器を有し、連続する画像中の推定された位置の差異を示す前記データが単一の前記ビーコンに基づいて決定され、差異を示す前記データの決定が、観測されるロール角を示す前記データを用いたロール角の変動の補償を含む、方法。
【請求項１６】
前記処理がさらに、推定されるポインティング位置を取得するために前記位置に空間変換を適用することを含む、請求項１５に記載のユーザインタラクション方法。
【請求項１７】
表示スクリーンに推定された前記ポインティング位置を表示する、請求項１６に記載のユーザインタラクション方法。
【請求項１８】
ジェスチャを実行するためにユーザにより操作可能な、ユーザインタラクションシステムにおける使用のための携帯型ポインティングデバイスであって、
連続する画像を取得するための、当該携帯型ポインティングデバイスに接続された、カメラ、
前記携帯型ポインティングデバイスにより行われたジェスチャを認識するために前記連続する画像を受け取って処理し、ユーザインタフェイス情報を前記電気機器に送信することが可能なデジタル信号プロセッサ、
を有し、
前記ユーザインタフェイス情報は、認識されたジェスチャに対応する前記電気機器に対する制御情報を表し、
前記デジタル信号プロセッサは、前記連続する画像中の所定のパターンを認識するためのパターン認識モジュール、前記連続する画像中の前記所定のパターンの位置を推定するための位置推定ユニット、および、前記推定された位置を複数の所定のジェスチャと照合するためのジェスチャ照合ユニットを有し、
前記ジェスチャ照合ユニットは、ジェスチャが実行されている間に、前記連続する画像における前記推定された位置の差異を示すデータを、前記複数の所定のジェスチャそれぞれの対応する位置の差異を示す所定のデータと比較して、それまでに受信した前記連続する画像中の前記推定された位置の差異を示す前記データが前記複数の所定のジェスチャのうちの単一のジェスチャのみに帰する場合に、前記単一のジェスチャを認識し、前記単一のジェスチャが認識されると、認識された前記単一のジェスチャに対応する前記制御情報を表す前記ユーザインタフェイス情報を前記電気機器に送信し、
前記カメラが、空間中に配置された、前記携帯型ポインティングデバイスの一部ではない少なくとも１つのビーコンの画像を取得し、
認識されるべき前記所定のパターンは、前記少なくとも１つのビーコンから生じるパターンであり、
前記携帯型ポインティングデバイスが、観測されるロール角を示すデータを検出するロール角検出器を有し、連続する画像中の推定された位置の差異を示す前記データが単一の前記ビーコンに基づいて決定され、差異を示す前記データの決定が、観測されるロール角を示す前記データを用いたロール角の変動の補償を含む、
携帯型ポインティングデバイス。
【請求項１９】
デジタル信号プロセッサにより実行され、当該デジタル信号プロセッサに請求項１５から請求項１７のいずれか一項に記載の方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザインタラクションシステムに関する。
【０００２】
本発明はさらに、ユーザインタラクション方法に関する。
【０００３】
本発明は、さらに、携帯型ポインティングデバイスに関する。
【０００４】
本発明はさらに、記憶媒体に関する。
【背景技術】
【０００５】
WO2004047011は、カメラに接続されデジタル信号プロセッサに画像を送信する携帯型ポインティングデバイスを開示しており、オブジェクト、および携帯型ポインティングデバイスでジェスチャを行うことによってユーザが与えたコマンドを認識することができ、この認識に基づいて電気機器を制御する。
【０００６】
例えば、上向きの動きの形態のジェスチャを使用して被制御装置のオーディオ音量を増加させることができる。円形の動き軌跡は、「巻き戻し」、すなわち、再生されるコンテンツの早い時点に再生装置を戻すために使用され得る。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
携帯型ポインティングデバイスで行われるジェスチャをより効率的に認識できるように改良されたユーザインタラクションシステムを提供することが目的である。
【０００８】
さらなる目的は、携帯型ポインティングデバイスで行われるジェスチャをより効率的に認識することを可能にする点で改良されたユーザインタラクション方法を提供することである。
【０００９】
さらに別の目的は、それを用いて行われるジェスチャをより効率的に認識する方法を可能にする携帯型ポインティングデバイスを提供することである。 さらに別の目的は、デジタル信号プロセッサでジェスチャをより効率的に認識する方法を可能にするコンピュータプログラムを記憶した記憶媒体を提供することである。
【課題を解決するための手段】
【００１０】
最初に述べた目的によれば、本発明の第1の態様によるユーザインタラクションシステムが提供され、それは、電気装置、携帯型ポインティングデバイス、およびデジタル信号プロセッサを有する。携帯型ポインティングデバイスは、ユーザが空間内のある領域を指示するために操作可能であり、前記空間から順次画像を得るために、それに接続されたカメラを含む。デジタル信号プロセッサは、順次画像を受信して処理し、前記ポインティングデバイスの動きを判定し、判定された動きが所定のジェスチャに対応すると判定された場合に、ユーザインタフェイス情報を電気機器に送信することができる。ユーザインタフェイス情報は、所定のジェスチャに従って電気機器を制御するための制御情報を表す。そして、電気機器、例えばコンピュータまたはテレビは、ユーザインタラクションコマンドに対応する動作を実行する。
【００１１】
ユーザインタラクションシステムは、前記デジタル信号処理部は、前記順次画像における所定のパターンを認識するパターン認識モジュールと、前記順次画像における前記パターンの位置を推定する位置推定ユニットと、前記順次画像における前記位置の違い（位置差）を示すデータに基づいて所定のジェスチャを照合するジェスチャ照合ユニットを有することを特徴とする。
【００１２】
本発明によるユーザインタラクションシステムでは、ジェスチャ照合ユニットは、前記位置差の差を示すデータを、それぞれの所定のジェスチャに対応するそれぞれの位置差と比較する。
【００１３】
典型的には、ユーザは、例えば起動ボタンを押して離すことによって、ポインティングデバイスで行われたジェスチャの開始と終了を指示する。
【００１４】
しかし、後続のキャプチャされた画像から位置差の完全なシーケンスが取り出されるまで、比較を延期する必要はない。代わりに、第2の画像および各後続の画像をキャプチャした直後に、すなわち、ジェスチャが実行されている間に、ジェスチャ認識プロセスは、決定された位置差を、様々な所定のジェスチャについて知られている対応する位置差と比較し、それによって、迅速な応答が可能となる。すなわち、ユーザがジェスチャを完了したことをユーザが示した瞬間に、連続する撮像画像間で所定のパターンの決定された位置の差異を引き起こした可能性が最も高いジェスチャを決定するために先行する位置の差異が既に処理されており、適切な制御コマンドを有するユーザインタフェース情報を装置に送信することができる。これまでに受信された位置差が単一のジェスチャに帰することができれば、すなわち最も可能性の高いジェスチャの尤度が所定の閾値に達すれば、ユーザ指示の前であっても制御コマンドを送信することさえ可能である。しかし、ユーザがジェスチャを完了したという指示をユーザが提供するまで、またはジェスチャの終了が自動的に検出されるまで、ジェスチャ認識が継続されると、動作はより信頼できることが分かった。
【００１５】
さらに、デジタル信号プロセッサは、カメラによって得られた画像内の所定のパターンの連続する位置を決定し、これらの連続する位置からの位置の差を推定することができる。これは、画像全体を比較することによってこれらの動きを検出する必要はもはやなく、カメラによって撮影された画像内の所定のパターンの位置を比較すれば十分であるという点で、携帯型ポインティングデバイスの動きの推定を簡単にする。これは、所定のスポットまたは形状、またはそれらの組み合わせが画像内で識別され得るという事実により、比較的容易である。これは、より少ない処理能力しか要求されず、それにより、より長いバッテリ寿命が得られるので、携帯型ポインティングデバイスにとって有利である。
【００１６】
第1の態様によるユーザインタラクションシステムの実施形態では、デジタル信号プロセッサは、推定されるポインティング位置を得るために、推定位置に空間変換を適用するための空間変換ユニットをさらに含む。これは、ユーザが時には、カメラ画像において所定のパターンが検出される位置がたどる軌跡よりも、ポインティング位置がたどる軌跡の形で形成されるジェスチャをより容易に想像することができるので、ユーザによるより直感的な制御を容易にする 。
【００１７】
ユーザ制御をさらに容易にするために、制御される電気装置が表示画面を含み、制御される電気装置が表示画面上に推定されたポインティング位置を表示するように構成されたユーザ対話システムが提供される。
【００１８】
所定のパターンは、検出されることができる空間内の任意の絶対参照から生じ得る。例えば、制御されるべき装置が、アクティブなビデオコンテンツを表示するための表示画面を有するテレビまたは他の装置である場合、検出されるべき所定のパターンは、静止環境とは対照的にアクティブビデオを含むカメラ画像内の部分である。
【００１９】
あるいは、またはさらに、光子放射を放射する1つまたは複数のビーコンを空間内に配置することができる。その場合、認識される所定のパターンは、1つ以上のビーコンから生じるパターンである。これは、第1の態様によるシステムの動作が、制御されるべき装置によって利用可能にされるビデオコンテンツとは無関係になるという利点を有する。
【００２０】
1つまたは複数のビーコンのそれぞれは、それぞれの制御可能な装置に関連付けられてもよい。この場合、どのビーコンが指し示されているかを示すフィードバックがユーザに提供されてもよく、これは様々な装置のうちのどれが現在制御下にあるかを意味する。このようなフィードバックは、例えば視覚的に、ビーコンの近くに配置された照明素子によって、または、様々な装置および/またはそのビーコンの概要を示すポインティングデバイス上のディスプレイによって提供される。
【００２１】
ビーコンは、カメラ画像内の検出可能なパターン（ドット、ドットのクラスタまたは他の配置、幾何学的形状）を提供する任意の光子放射手段であってもよい。好ましくは、ビーコンによって放射される光子放射は、例えば赤外線範囲の波長を有する光子放射など、人間には見えない。
【００２２】
上述した第2の目的によれば、電気機器と、カメラ付き携帯型ポインティングデバイスと、デジタル信号プロセッサとを備えるシステムにおいて、ユーザ対話方法が提供される。この方法は、
前記携帯型ポインティングデバイスでジェスチャーを行うステップと、
前記ジェスチャーを行いながら、前記携帯型ポインティングデバイスに含まれる前記カメラを用いて連続画像をキャプチャするステップと、
前記デジタル信号プロセッサによって前記連続画像を表す連続画像データを受信するステップと、
前記デジタルプロセッサによって前記連続画像データを処理するステップと、
電気機器にユーザインターフェース情報を送信するステップを有し、前記ユーザインターフェース情報は前記コマンド識別データから構成される。上記の処理には、
前記カメラによって取得された前記連続する画像内の所定のパターンの連続する位置を決定するステップと、
前記連続画像内の前記位置の差から生じる差分データに基づいてジェスチャを識別するステップと、
識別されたジェスチャに対応するユーザインタラクションコマンドを表すコマンド識別データを出力するステップとを含む。電気機器に送信されるユーザインターフェース情報は、前記コマンド識別データから構成される。
【００２３】
上述の第3の目的によれば、空間内のある領域を指すためにユーザによって操作可能な携帯型ポインティングデバイスが提供される。携帯型ポインティングデバイスは、前記空間から画像を得るために接続されたカメラと、デジタル信号プロセッサとを含む。デジタル信号プロセッサは、画像を受信して処理することができ、順次画像を受信して処理して、前記ポインティングデバイスで行われたジェスチャを識別することができ、ユーザインターフェース情報を電気機器に送信することができ、前記ユーザインタフェース情報は、前記識別されたジェスチャに対応する前記電気機器の制御情報を表す。デジタル信号プロセッサは、前記順次画像内の所定のパターンを認識し、前記順次画像内の前記パターンの位置を推定するためのパターン認識モジュールと、 前記順次画像における前記位置の差異に起因する差分データに基づいてジェスチャを識別するジェスチャ照合ユニットとを有する。
【００２４】
一実施形態では、デジタル信号プロセッサは、携帯型ポインティングデバイスを用いてユーザが指し示す位置の推定位置（ポインティング位置）を得るために、前記推定位置に空間変換を適用するための空間変換ユニットをさらに含む。 
【００２５】
一実施形態では、電気装置は表示画面を含み、前記推定された指示位置を前記表示画面上に表示するように構成される。
【００２６】
実施形態において、認識される所定のパターンは、少なくとも１つのビーコンによって放出される光子放射から生じるパターンである。
【００２７】
携帯型ポインティングデバイスのカメラは、前記空間内に配置された少なくとも1つのビーコンからの放射を検出することができ、デジタル信号プロセッサは、カメラによって取得された画像内の少なくとも1つのビーコンの表現の連続する位置を決定し、前記連続する位置から動き軌跡を推定することができる。
【００２８】
少なくとも1つのビーコンの検出は、以下に提示される実施形態における1つ以上の手段によって促進され得る。
【００２９】
一実施形態では、少なくとも1つのビーコンは非可視放射を放射し、カメラは少なくとも1つのビーコンによって放射された非可視放射以外の放射に対して実質的に反応しない。これは、カメラが、非可視放射以外の放射に対して本質的に反応しないセンサ素子を有するか、または他の方法、例えば、少なくとも1つのビーコンの非可視放射を選択的に通過させる、カメラの前に配置された光学フィルタによって実現されてもよい。例えば、少なくとも1つのビーコンはIRビーコンであってもよく、カメラはIRカメラであってもよい。
【００３０】
複数のビーコンが使用される場合、キャプチャされた画像内の所定のパターンに対する様々なビーコンの寄与の識別を容易にするさらなる特徴を提供することが望ましい場合がある。複数のビーコンが使用されているかどうかにかかわらず、これは、所定のパターンの適切な認識を妨害する可能性のある光子放射源が環境内に存在する場合にも関連し得る。
【００３１】
一実施形態では、少なくとも1つのビーコンは、時間変調されたパターンに従ってビーコンの光子放射素子を駆動する駆動ユニットを備え、デジタル信号プロセッサは、そのパターンに従って変調された画像データを検出する検出器を含む。強度は、例えば、変調周波数を有するサインパターンに従って変調されてもよく、検出器は、この周波数で変化する画像データを検出し、他の画像データを無視するように構成されてもよい。任意の変調パターン、例えば正弦波パターンを変調に使用することができる。
【００３２】
一実施形態では、少なくとも1つのビーコンは、互いに異なる波長の光子放射を放射することができる光子放射素子と、時間変調されたパターンに従って光子放射素子の波長を変調する駆動ユニットとを含み、そして、デジタル信号プロセッサは、そのパターンに従って変調された画像データを検出する検出器を含む。
【００３３】
1つの実施形態では、少なくとも1つのビーコンは、固有の空間パターンに従って光子放射を放射するように構成され、および/または一組のビーコンは、固有の空間パターンに従って光子放射を放射するように構成され、そして、デジタル信号プロセッサは、カメラから取得された画像データ内の所定のパターンとして固有の空間パターンを識別するパターン認識モジュールを備える。
【００３４】
これらおよび他の態様は、図面を参照してより詳細に説明される。
【図面の簡単な説明】
【００３５】
【図１】本発明の第1の態様によるユーザインタラクションシステムの実施形態を示す図。
【図２】本発明の第3の態様による携帯型ポインティングデバイスの一実施形態をより詳細に示し、ユーザ対話システムの他の部分との関係を概略的に示す図。
【図３】本発明の第1の態様によるユーザインタラクションシステムの一実施形態で使用されるデジタル信号プロセッサをより詳細に示す図。
【図３Ａ】図1のデジタル信号プロセッサの一部をより詳細に示す図。
【図４】本発明の第3の態様による携帯型ポインティングデバイス、および空間におけるその位置および向きの定義を概略的に示す図。
【図５】部分的に、本発明の第1の態様によるユーザインタラクションシステムの２つの実施形態を示す図。
【図６】本発明の第3の態様による携帯型ポインティングデバイスの2つの実施形態をより詳細に示す図。
【図７Ａ】本発明の第3の態様による携帯型ポインティングデバイスの一実施形態をより詳細に示す図。
【図７Ｂ】図7の携帯型ポインティングデバイスと共に使用するための空間内に配置された1セットのビーコンの例を示す図。
【図８】本発明の第3の態様による携帯型ポインティングデバイスの実施形態、およびそれと共に使用するためのビーコンをより詳細に示す図。
【図９】本発明の第3の態様による携帯型ポインティングデバイスの実施形態、およびそれと共に使用するためのビーコンをより詳細に示す図。
【図９Ａ】図9の携帯型ポインティングデバイスの一部をより詳細に示す図。
【図１０】本発明の第2の態様による方法の実施形態を概略的に示す図。
【図１１】本発明の第1の実施形態によるシステムのさらなる実施形態を概略的に示す図。
【発明を実施するための形態】
【００３６】
様々な図面における同様の参照符号は、別途示されない限り同様の要素を示す。
【００３７】
図1は、電気装置10と、空間20の領域を指すためにユーザによって操作可能な携帯型ポインティングデバイス12と、デジタル信号プロセッサ14と、光子放射線R16を放射する少なくとも1つのビーコン16とを備えるユーザ対話システム1を概略的に示す。空間20は、例えば、 壁によって形成される境界22によって区切られる。少なくとも1つのビーコンは、空間20内に配置され、携帯型ポインティングデバイス12の一部ではない。デジタル信号プロセッサ14は、別個の装置（例えば、図1および図2に示すように）であってもよいし、携帯型ポインティング装置12または電気装置10などの別の装置に組み込まれてもよい。
【００３８】
その実施形態が図2により詳細に示されている携帯型ポインティングデバイス12は、空間20から画像を得るためにそれに接続されたカメラ122を含む。図２に示される携帯型ポインティングデバイス１２はさらに、無線送信ユニット124、ならびに、電力供給ユニット126、例えば交換可能または再充電可能なバッテリおよび／または（例えば太陽電池もしくは機械的エネルギーを電気エネルギーに変換するユニットを含む）発電設備を含む。
【００３９】
デジタル信号プロセッサ14は、画像を受信して処理することができ、画像を処理することによって導出されるユーザインタフェイス情報を電気機器に送信することができる。図1の実施形態では、携帯型ポインティングデバイス12の無線送信ユニット124は、取得された画像を表すデータSiを無線送信し、デジタル信号プロセッサ14は、ユーザインタフェイス情報を表すデータSuiを電気機器10に無線送信する。
【００４０】
図3にさらに詳細に示されるように、デジタル信号処理部14は、携帯型ポインティングデバイス12の動作軌跡を推定する動作軌跡推定部142を備える。動作中、動作軌跡推定ユニット142は、第1の動き特徴付けシグネチャMSを出力する。シグネチャは、動き軌跡の数学的抽象化である。シグネチャ識別ユニット144は、第1の動き特徴付けシグネチャMSを識別するために設けられ、ジェスチャ照合ユニットとして機能する。動作中、シグネチャ識別ユニット144は、ユーザインタラクションコマンドを表すコマンド識別データCIDを出力する。コマンド識別データCIDによって表されるユーザインタラクションコマンドは、第1の動き特徴付けシグネチャMSに対応する。ユーザインタフェイス情報Suiは、コマンド識別データCIDから構成される。図3に示すように、デジタル信号処理部14の無線受信部141は、携帯型ポインティングデバイス12からデータSiを受信する。無線送信部146は、ユーザインタフェイス情報Suiによって制御される電気機器10に対してユーザインタフェイス情報Suiを無線送信する。あるいは、デジタル信号プロセッサ14は、携帯型ポインティングデバイス12に統合されてもよい。この場合、無線送信ユニット124および無線受信ユニット141は余分である。あるいは、実用性は低いが、デジタル信号プロセッサ14と携帯型ポインティングデバイス12とをケーブルで結合して、ユニット124,141による無線伝送を防止することができる。別の代替例として、デジタル信号プロセッサ14は、制御されるべき電気装置10に組み込まれてもよい。この場合、無線送信ユニット146および電気機器のための無線受信ユニットは余計である。同様に、この場合、デジタル信号プロセッサ14と電気装置10との間の無線伝送を防止するために、デジタル信号プロセッサ14と電気装置10との間の有線結合が考えられる。
【００４１】
さらに別の実施形態では、制御される携帯型ポインティングデバイス12、デジタル信号プロセッサ14および電気機器10のうちの2つ以上が、共通の無線または有線ネットワークを介して結合されてもよい。
【００４２】
デジタル信号プロセッサ14は、カメラ122によって取得された画像内の少なくとも1つのビーコン16の表現の連続する位置を決定することができる。デジタル信号プロセッサ14は、これらの連続位置から動き軌跡を推定することができる。
【００４３】
デジタル信号プロセッサまたはその一部は、ハードコードされたASICとして実現されてもよい。あるいは、デジタル信号プロセッサまたはその一部は、記憶媒体に格納されたプログラムを実行する一般的にプログラム可能なプロセッサとして実装されてもよい。また、限定された一連の操作のための命令セットを有するプロセッサ、再構成可能プロセッサ、および、それらの組み合わせの形態の中間的な実装も可能である。図3に示す実施形態では、デジタル信号プロセッサ（の一部）は、一般的にプログラム可能なプロセッサとして実装される。記憶媒体148が提供され、デジタル信号プロセッサ14が様々な機能を実行することを可能にするコンピュータプログラムが記憶されている。
【００４４】
図3Aは、動き軌跡推定ユニット142の一例をより詳細に示す。動き軌跡推定部142は、連続する時点tについての画像IM,tのデータを受け取るパターン認識モジュール1421を有する。パターン認識モジュール1421は、所定のパターン、例えば、これらの画像IM,t中の少なくとも1つのビーコン16から生じる所定のパターンの位置Pi, tを特定し、そして、位置Pi,tを表す情報を相対位置決定モジュール1422に提供する。後者は、先行する時点t-1における画像Pi,t-1内の対応する位置Pi,t-1に対する時点tにおける位置Pi,tの相対位置を決定する。これに応答して、相対位置決定モジュール1422は、出力された前記位置Pi,tの差から生じる差分データDtを提供する。一実施形態では、差分データは、次の位置の座標を減算することによって得られ、すなわち、
Dt = Pi,t - Pi,t-1
である。
【００４５】
他の実施形態では、前記位置Pi,tの差から生じる差分データDtは、推定ポインティング位置を得るために前記推定位置に空間変換を適用することによって得られる。その後、差分データDtは、後続のポインティング位置の座標の差から決定される。
【００４６】
1つの相対位置Dtまたはこれらの相対位置のシーケンスDt、Dt + 1、...、Dt + nは、動き特徴付けシグネチャMSを形成する。
【００４７】
上向きの動きを示す1つの相対位置は、例えば、電気装置10をオンにするために使用されるジェスチャを表すことができる。反対の動きを示す別の相対位置は、例えば、電気装置をオフにするために使用されるジェスチャを表すことができる。
【００４８】
可能性のあるジェスチャの範囲を拡張するために、一連の相対位置から構成される動き特徴付けシグネチャMSを使用することができる。制限された制御目的のために、より複雑なジェスチャを使用することができる。例えば、ユーザまたは制限されたユーザグループによってのみ知られている特定のジェスチャは、電気機器10への排他的アクセスを得るためのパスワードとして使用されることができる。
【００４９】
ユーザが、単一のビーコン16に対して一定の位置から携帯型ポインティングデバイス12を操作し、携帯用ポインティングデバイス12を図4A、4Bに規定されるように固定されたロール角に保持するように気を配るならば、信頼できる相対位置Dtが、単一のビーコン16ですでに得られる。いくつかの実施形態では、相対位置の値を正確に決定する必要はないことにさらに留意されたい。例えば、電気装置10の機能を切り替えるためには、相対位置に対する非ゼロ値を検出することで十分である。例えば、Dtの非ゼロ値は、電気装置が現在オフにされている場合に、電気装置10をスイッチオンするためのコマンドとして解釈することができる。同様に、Dtの非ゼロ値は、電気装置が現在オフにされている場合に、電気装置10をオンにするためのコマンドとして解釈されてもよい。
【００５０】
上記のように、ロール角が固定されている場合、またはロール角検出器によって検出された観測ロール角を示すデータを用いてロール角の変動の影響を補償できる場合、単一のビーコンで十分である。ロール角検出器がない場合には、複数のビーコンが使用されていれば、ロール角の変動に対する補償が可能である。 
【００５１】
一実施形態では、少なくとも1つのビーコン16aは、1組のビーコン16a、16bなどの一部である。一対のビーコン16a、16bはすでに、ロール角を決定し、ロール角補償のためにロール角の観測値を使用するのに十分である。この場合、各画像IM, tは、各ビーコンについて1つの位置Pi, tのペアをもたらす。それにもかかわらず、必要に応じてより多くのビーコンを使用することができる。この場合、各画像IM, tは、各ビーコンに対して１つの３つの位置Pi, tを生じる。代替的または追加の手段として、ビーコンは特徴的な「シグネチャ」を有することができ、パターン認識モジュール1421は、各ビーコンからどの画像データが生じるかを判定することができる。その場合、2つのビーコンが存在すればすでに十分であり、そのうちの1つはその特徴的な「シグネチャ」によって識別可能である。識別可能なビーコンのシグネチャは、例えば、駆動ユニット162が時間変調されたパターンに従ってビーコンの光子放射素子161を駆動するという点で提供されてもよい。図8は、デジタル信号プロセッサ14が、時間変調されたパターンに従って変調された画像データ（IMD, t）を検出するための検出器143をさらに含む実施例を示す。
【００５２】
図5Aは、1組の2つのビーコン16a、16bが使用される実施形態の例を示す。図5Bは、1組の3つのビーコン16a、16b、16cが使用される別の例を示す。ここに示す例では、デジタル信号プロセッサ14は、携帯用ポインティングデバイス12に組み込まれている。図面を不明瞭にしないために、電源は示されていない。    図6Aは、もう1つの実施形態を示し、携帯型ポインティングデバイス12は、ここではロール検出および補正モジュールを含む空間変換ユニット15を備える。画像データIM, tは、デジタル信号プロセッサによって処理され、相対方位データDtが得られる。ロール検出及び補正モジュールは、携帯型ポインティングデバイス12が保持されているロール角を検出する。ロール角の検出値は、ポインティングデバイスのロール角から独立した動き特徴付けシグネチャMSを得るために、相対方位データDtに補償を適用するために使用される。あるいは、画像データIM,tを補正するためにロール検出および補正モジュールを適用してもよいことに留意されたい。動き特徴付けシグネチャMSは、その後、シグネチャ識別ユニット144によって識別される。無線送信部146は、ユーザインタフェイス情報Suiによって制御される電気機器10に対してユーザインタフェイス情報Suiを無線送信する。ロール検出及び補正モジュール15は、例えばロール角を決定するための加速度計、磁力計及びジャイロスコープのうちの1つ以上を含むことができる。
【００５３】
図6Bはさらに、起動ボタン128を含む。起動ボタン128の押下により、ユーザはジェスチャを表す動作軌跡の開始点を特定し、起動ボタン128を放すことにより、ユーザはその動作軌跡の終了点を特定することができる。このようにして、シグネチャ識別ユニット144がシグネチャMSを認識し、適切なコマンドCIDを決定するタスクは単純化される。また曖昧さをより容易に回避することができる。例えば、第1のコマンドに関連付けられた第1のジェスチャを表すために動き軌跡Aを使用することができ、第2のコマンドに関連付けられた第2のジェスチャを表すために動き軌跡Bを使用することができ、動き軌跡AおよびBの連結を含む動き軌跡ABを使用して、第3のコマンドに関連する第3のジェスチャを表すことができるさらに、第4のコマンドに関連付けられた第4のジェスチャを表すために、動き軌跡AおよびBを逆順に連結した動き軌跡BAを使用することができる。あるいは、軌跡の開始および終了は、別の手段によって通知されてもよい。例えば、所定の閾値を超える携帯型ポインティングデバイスの加速度を検出する加速度センサを設けてもよい。このような過度の加速度は、動き軌跡の開始および終了を示すためにユーザによって適用されてもよい。他の例として、装置は、特定の音の検出時に軌跡の開始または終了を信号で伝える音響センサを含むことができる。例えば図2、図5A又は図5Bに示すように、軌跡の開始または終了を示すための起動ボタン128（例えば、ユーザノブ）または代替手段が、携帯型ポインティングデバイス12の他の実施形態において適用されてもよいことに留意されたい。さらに、軌跡の開始または終了を指示するための起動ボタン128または代替手段を、動き軌跡の開始時に携帯型ポインティングデバイスを起動させ、そして、対応するユーザインターフェースコマンドSuiが電気機器10に送信されると、動き軌跡の終了後に携帯型ポインティングデバイス12を非活性化する手段として適用することもできることが留意される。このようにして、携帯型ポインティングデバイスのエネルギー消費を適度に保つことができる。
【００５４】
携帯型ポインティングデバイス12が適切に機能するためには、デジタル信号プロセッサ14は、カメラ122によって得られた画像IM,t中の少なくとも1つのビーコン16を適切に識別することができれば十分である。
【００５５】
一実施形態では、少なくとも1つのビーコン16は非可視放射を放射し、カメラ122は少なくとも1つのビーコン16によって放射される非可視放射以外の放射に対して実質的に鈍感である。このようにして、画像IM,tにおける１つビーコンまたは複数のビーコンの位置を識別するために実質的な画像処理は必要ではない。画像データIM、tは、例えば、実際の実施形態では、ビーコン16またはビーコン16a、16b、（16c）のセットが赤外線を放射する。
【００５６】
図7Aは、この実施形態での使用に適した携帯型ポインティングデバイスの一部の例を示す。ここでは、パターン認識モジュール1421は、例えば閾値関数を適用することによって画像IM, tを2値画像IMb, tに変換する第1の画像処理部14211を含む。パターン認識モジュール1421は、2値画像IMb, tを画像IMc,tに縮小する第2の画像処理部14212を含み、前景画素のすべてのクラスタがその中心点によって置き換えられる。パターン認識モジュール1421は、画像IMc,tにおけるこれらの中心点の位置Pa,t；Pb,tを決定する第3部分14213を含む。画像IM,tを最初に二値画像IMb,tに変換する代わりに、原画像IM,tにおける明るい領域の中心点を直接識別することが可能である。
【００５７】
次に、Δ位置決定モジュール1422は、後続の画像におけるこれらの位置Pa,t；Pb,tの変化を決定する。あるいは、デルタ位置決定モジュール1422は、ユーザによってポインティングされた位置の変化を決定し、その後のキャプチャされた画像において検出された所定のパターンの位置Pa，t；Pb，tからそれぞれのポインティング位置が推定される。ロール角が実質的に変化しない限り、相対位置決定モジュール1422は、画像IMc、tで識別されるどの位置が、先行画像IMc、t-1において識別されたどの位置に対応するかを容易に決定することができる。例えば、左端の点は、常に第1のビーコンから発するものとして識別されてもよく、右端の点は常に第2のビーコンから発するものとして識別され、最上の点は常に第3のビーコンから生じるものとして識別されてもよい。ビーコンを識別することができることにより、距離およびロール角の変化を識別し修正することが可能になる。それにより、位置座標を指示する際にユーザによって実行される動き軌跡を決定するのに十分な情報が利用可能である。このように使用されるビーコンを識別することが不可能な場合、携帯型ポインティングデバイスのより大きなロール移動が生じるので、ビーコンを識別するために以下の代替解決策が可能である。
【００５８】
第1の解決策によれば、ロール角を決定するための加速度計が設けられる。それによって観察されたロール角に基づいて、取り込まれた画像データから直接的または間接的に得られたデータに補償が適用される。例えば、観察されたロール角を補償する回転演算が、取り込まれた画像データに適用されて、ロール角補償された画像が取得され、それは、取り込まれた画像自体のようにさらに処理される。あるいは、最初に取り込まれた画像内の1つまたは複数のビーコンについて見つけられた位置は、ロール角を補償するように補正されてもよい。さらに代替的には、任意のさらなる処理段階でロール角補償を適用することができる。
【００５９】
第2の解決策によれば、画像は、比較的高い繰り返しレートでサンプリングされるので、後続の画像IMc,t-1、IMc,tにおける同じビーコンから生じる点は常に、画像IMc,tにおけるその同じビーコンからの点から、前の画像IMc,t-1における他のビーコンからの点までよりも互いにより近くなる。このようにして、ビーコンからの点の経路は画像IMc,tのシーケンスにおいて追跡することができる。この目的のために、例えばカルマンフィルタまたは粒子フィルタを含む追跡エンジンを適用することができる。第2の解決策によれば、ビーコン16a、16b、16cは、図7Bに示すように、相互に異なる距離Dab、DbcおよびDacに配置される。このようにして、位置Pa,t、Pb,tおよびPc,tとビーコン16a、16b、16cとの間の適切な関連付けは、それらが配置されたパターンに基づいて常に行うことができる。もちろん、これは、3より大きい数のビーコンを使用する場合にも当てはまります。より多くのビーコンが、誤りを訂正するために有利である。
【００６０】
図8は、概略的に更なる実施形態によるユーザインタラクションシステムの一部を示します。ここで、少なくとも1つのビーコン16は、時間変調されたパターンに従ってビーコンの光子放射素子161を駆動するための駆動ユニット162を含む。デジタル信号プロセッサ14は、そのパターンに従って変調された画像データIMD,tを検出するための検出器143を含む。一例として、駆動ユニット162は、変調周期Tを有するブロック変調に従って光子放射素子161を駆動する。そのパターンに従って変調された画像データIMD,tを検出する検出器143は、変調を検出するのに十分高い場合には、任意のサンプル周波数でカメラ122で取り出された画像データIM,tをサンプリングすることができる。実際には、その強度のDC値の約10％の強度の変調を有するビーコンを用いて良好な結果が得られた。検出が変調と同期する場合、例えば、検出される画像データIMD,tを、画像データIM,tの後続のサンプル間の絶対差として決定することが可能である。すなわち、
IMD(x,y,t) = ABS( IM(x,y,t) - IM(x,y,t-T/2) )
であり、x、yは画像座標である。
【００６１】
ビーコンに使用される変調方法は、有り得べき干渉源と比較していくつかの異なる特性を有する必要がある。例えば、変調周期は、好ましくは、他の光子放射源、例えばモニター、TVスクリーン、光源によって引き起こされる可能性がある強度変動の周期と比較して比較的短く選択される。あるいは、より複雑な変調パターンが、駆動ユニット162によって提供され、検出器143によって検出されてもよく、必ずしも高い周波数である必要はない。
【００６２】
図8に示す実施形態では、カメラ122がフォトン放射素子161によって放射される放射以外の放射に対して無感応である必要はない。また、光子放射素子161によって放射される放射は、不可視タイプである必要もない。しかしながら、後者は、ユーザインタラクションシステムのユーザの便宜のために好ましい。
【００６３】
図8に部分的に示される実施形態の変形例では、ビーコン16の光子放射素子161は、互いに異なる波長で光子放射を放射することができる。動作中、駆動ユニット162は、時間変調されたパターンに従って光子放射素子161の波長を変調する。デジタル信号プロセッサ14は、そのパターンに従って変調された画像データIMD,tを検出するための検出器143を含む。駆動ユニット162は、例えば、光子放射素子161に第1の赤外波長帯域および第2の赤外波長帯域の光子放射を交互に放射させることができる。[これは本発明に関連しない識別システムを記述する] カメラ122は、第1の波長帯域に対して感度を有する第1のセンサ素子と、第2の波長帯域に対して感度を有する第2のセンサ素子とを有してもよい。検出器143は、検出される画像データIMD,tを、第1のセンサ素子で得られた画像と第2のセンサ素子で得られた画像との間の絶対差として導出することができる。
【００６４】
また別の実施形態では、図9に示すように、特定の空間パターンに従って光子放射を放射する1セットのビーコン16a、...、16nが提供される。デジタル信号プロセッサ14には、特定の空間パターンを他のソースから生じる画像データ内の所定のパターンとして識別するパターン認識モジュール145が設けられている。パターン認識モジュール145は、画像データIMに応答して、パターンの位置、例えばその質量中心（Px,y）、およびその向き（Proll）を表すパターンデータIMP,tを提供する。その後、ロール補償モジュール147は、検出された重心Px,yから動き軌跡MSを決定するために方位データProllを使用する。
【００６５】
あるいは、検出されるべき固有の空間パターンに従って光子放射を放射する単一のビーコンが提供されてもよい。この場合、キャプチャされる画像をもたらす空間パターンの寸法が、典型的には、空間内に分布された複数のビーコンから生じる空間パターンの寸法よりも小さいので、カメラ122は、空間に分布された複数のビーコン16a、...、16nが使用される場合よりも高い分解能を必要とすることがある。. また、図9に示すような1つ以上のビーコンは、特定の空間パターンに従って光放射を個別に放射することができる。
【００６６】
図10は、電気装置10と、カメラ122を備えた携帯用ポインティングデバイス12と、デジタル信号プロセッサ14と、携帯型ポインティングデバイスの一部ではない少なくとも1つのビーコン16とを含む、前の図面を参照して上述したシステムにおけるユーザインタラクション方法を概略的に示す。さらなる説明のために、その方法が適用されるシステムの好ましい実施形態を示す図11を参照する。図10に示す方法は、以下のステップを含む。
【００６７】
最初のステップS1として、ユーザは携帯用ポインティングデバイス12を用いてジェスチャを行う。その目的のために、ユーザは、携帯型ポインティングデバイス12を制御すべき電気機器に向けることができ、仮想的な曲線に沿って目標とされたポイントを移動させることができる。
【００６８】
第2のステップS2として、ジェスチャを行う間に、連続的な画像が、携帯型ポインティングデバイスに含まれるカメラ122によって捕捉される。第3のステップS3では、連続画像を表す連続する画像データIM,tが、ポインティングデバイス12に統合されてもよいし、別の場所に提供されてもよいデジタルプロセッサ14によって受信される。
【００６９】
連続する画像データIM,tは、その後、デジタルプロセッサによって第4のステップS4において処理される。この処理には、以下の処理ステップが含まれていてもよい。第1の処理ステップS41では、連続する画像において所定パターンの連続する位置Pa,tが決定される。典型的には、所定のパターンは、携帯型ポインティングデバイス12が使用される空間20内に意図的に配置されたビーコンまたは複数のビーコンから生じる。図11に見られるように、この場合、第1の処理ステップS41は、「ビーコン認識および画像内のその位置の決定」を含む。
【００７０】
第2の処理ステップS42は、前記連続画像内の前記位置の差から生じる差分データに基づいてジェスチャを識別するステップを含む。この第2の処理ステップS42の特定の実装形態は、図11により詳細に示されている。そこに示されているように、連続画像において決定された所定のパターンの連続する位置Pa、tが、遠隔制御ユニットRCUの向きを決定するために使用され、これはRCUでユーザが指し示す位置に関連づけられることができる。この指示位置は、ユーザへの一種のフィードバックとして表示画面上に表示されてもよいことに留意されたい。続いて、相互に連続した画像で得られたポインティング位置の間の差が決定される。それにより、ユーザによって行われたジェスチャに対応する一連の差異（実際のジェスチャMS）が得られる。これは、実際のジェスチャ（ポインティング位置の差異のシーケンス）を収集するものとして図11に示されている。このようにして得られたシーケンスは、予め定義されたジェスチャのために記憶された複数のシーケンスと比較される。ジェスチャ同一性メトリックが、どの事前定義のジェスチャがユーザによって行われたジェスチャに最もよく対応するかを決定するために使用される。ユーザがジェスチャを行う速度における若干のトレランスを許容するために、時間ワーピング法を使用することができる。どのコマンドが最良のマッチングジェスチャに関連付けられているかが判定され、そして、ステップS42においてジェスチャが識別されるとすぐに、ステップS5において信号Suiによって電気装置10に送信するために、ステップS43において、このコマンドの識別CIDが送信ユニット124に提供される。ベストマッチングの事前定義に対して決定された同一性が所定の閾値未満である場合、CIDの送信は禁止されてもよいことに留意されたい。このようにして、ユーザの意図に対応しないコマンドが実行されるリスクを低減することができる。
【００７１】
図11に示す実施形態はまた、ユーザが事前定義されたジェスチャのセットに追加のジェスチャを追加することを可能にするトレーニングモードを有する。そのために、ユーザはこのセットに追加すべきジェスチャを行うことができる。上述したのと同じ方法で、ポインティング位置差のシーケンスがカメラ画像から得られる。ジェスチャが完了すると、ポインティング位置の差異のシーケンスおよびそれに関連するCIDが予め定義されたジェスチャのセットに追加される。ユーザは、トレーニングモードにおいていつでもジェスチャに関連するCIDを入力することができる。一実施形態では、ユーザはジェスチャを数回行うことを要求され、それにより、追加されるシーケンスのポインティング位置差のシーケンスにおける標準偏差を推定することが可能になる。
【００７２】
本明細書で使用される場合、用語「comprises」、「comprising」、「includes」、「including」、「has」、「having」またはそれらの任意の他の変形は、非排他的な包含をカバーすることを意図する。例えば、要素のリストを含むプロセス、方法、物品、または装置は、必ずしもそれらの要素に限定されるものではなく、明示的に列挙されていないか、またはかかるプロセス、方法、物品または装置に固有ではない他の要素を含むことができる。さらに、反対のことが明示的に述べられていない限り、「または」は包含的「または」を意味し、排他的「または」を意味しない。例えば、条件「AまたはB」は、以下のいずれかによって満たされる。Aが真（または存在）でありBが偽（または存在しない）、Aが偽（または存在しない）でありBが真（または存在）および、AとBの両方が真（または存在）である。
【００７３】
また、「a」または「an」の使用は、本発明の要素および構成要素を説明するために用いられる。これは、単に便宜上のためであり、本発明の一般的な意味を与えるためである。この説明は、1つまたは少なくとも1つを含むように読まれるべきであり、単数は、それが他の意味であることが明らかでない限り、複数を含む。
【図１】
0006710200.tif 000002
【図２】
0006710200.tif 000003
【図３】
0006710200.tif 000004
【図３Ａ】
0006710200.tif 000005
【図４Ａ】
0006710200.tif 000006
【図４Ｂ】
0006710200.tif 000007
【図５Ａ】
0006710200.tif 000008
【図５Ｂ】
0006710200.tif 000009
【図６Ａ】
0006710200.tif 000010
【図６Ｂ】
0006710200.tif 000011
【図７Ａ】
0006710200.tif 000012
【図７Ｂ】
0006710200.tif 000013
【図８】
0006710200.tif 000014
【図９】
0006710200.tif 000015
【図９Ａ】
0006710200.tif 000016
【図１０】
0006710200.tif 000017
【図１１】
0006710200.tif 000018