(57)【要約】本発明はテレビ電話機等の携帯型通信装置による動画記録に関する。通信装置はビデオカメラ（１０５）を有する主装置（１０１）を含む。さらに、ヘッドセットといった付属装置（１０２）がまた主装置（１０１）に関連づけされ、関連物体（１０３）と同じ位置に配置される。ビデオカメラ（１０５）は関連物体（１０３）の元画像を記録する。少なくとも１つの追跡点（１０７ａ）が付属装置（１０２）に配置され、少なくとも１つの追跡点に対応する少なくとも１つの自動追跡センサ（１０８ａ−１０８ｃ）が主装置（１０１）に配置される。主装置（１０１）は、さらに、自動追跡センサ（１０８ａ−１０８ｃ）から信号を受信し、それに応答して、主装置（１０１）及び付属装置（１０２）間の目標方向（１０４）を表す追跡データを生成する追跡データ生成器を有する。主装置（１０１）内の画像コントローラは、目標方向（１０４）及びビデオカメラ（１０５）が記録した元画像に基づいて、関連物体（１０３）の安定化された画像を作成する。
2004514348.tif 000002
【特許請求の範囲】
【請求項１】
関連物体（１０３）と同位置に配置される付属装置（１０２）が関連する主装置（１０１）内のビデオカメラ（１０５）によって記録される前記関連物体（１０３）の改良された画像を生成する方法であって、
前記主装置（１０１）及び前記付属装置（１０２）の少なくとも第１の装置に少なくとも１つの追跡点（１０７ａ；１０７ｂ）が設置され、
前記少なくとも１つの追跡点（１０７ａ；１０７ｂ）に対応する、少なくとも１つの自動追跡センサ（１０８ａ−１０８ｃ；１０８ｄ−１０８ｆ）が、前記主装置（１０１）及び前記付属装置（１０２）の少なくとも第２の装置に設置され、
前記方法が、
前記主装置（１０１）及び前記付属装置（１０２）の間の目標方向（１０４）を表す追跡データを、前記少なくとも１つの自動追跡センサ（１０８ａ−１０８ｃ；１０８ｄ−１０８ｆ）が受信する信号に基づいて生成するステップと、
前記ビデオカメラ（１０５）が記録した元画像（２０１）を、前記目標方向（１０４）に基づいて処理し、前記関連物体（１０３）の安定化された画像を作成するステップとを有することを特徴とする方法。
【請求項２】
前記追跡データを生成するステップが、少なくとも３つの自動追跡センサ（１０８ａ−１０８ｃ；１０８ｄ−１０８ｆ）から受信した信号の三角測量を含むことを特徴とする請求項１記載の方法。
【請求項３】
前記安定化された画像を作成するステップが、前記ビデオカメラ（１０５）が記録した前記元画像（２０１）の特定部分（２０２）を適応的に選択するステップを含むことを特徴とする請求項１又は請求項２記載の方法。
【請求項４】
前記安定化された画像を作成するステップが、前記ビデオカメラ（１０５）内の少なくとも画像形成素子（３０３，４０１）を少なくとも第１の軸（３０１，３０２）周りに、前記主装置（１０１）に対してチルトするステップを含むことを特徴とする請求項１乃至請求項３のいずれか１項に記載の方法。
【請求項５】
少なくとも２つの連続して記録された画像からのデータを用いて、前記安定化された画像を生成する画像処理ステップを更に有することを特徴とする請求項３又は請求項４記載の方法。
【請求項６】
前記関連物体（１０３）の少なくとも一部が、前記ビデオカメラ（１０５）の記録範囲（１０６）の外部に位置すると推定された場合、前記ビデオカメラ（１０５）が前記関連物体（１０３）の前記元画像を記録できせいないことを示す警告信号を生成するステップを有することを特徴とする請求項３乃至請求項５のいずれか１項に記載の方法。
【請求項７】
前記警告信号が音響信号であることを特徴とする請求項６記載の方法。
【請求項８】
前記警告信号が機械的信号であることを特徴とする請求項５又は請求項６記載の方法。
【請求項９】
前記少なくとも１つの追跡点（１０７ａ）が前記付属装置（１０２）に設置されることを特徴とする請求項１乃至請求項８のいずれか１項に記載の方法。
【請求項１０】
前記少なくとも１つの自動追跡センサ（１０８ａ−１０８ｃ）が、前記主装置（１０１）に設置されることを特徴とする請求項１乃至請求項９のいずれか１項に記載の方法。
【請求項１１】
前記少なくとも１つの追跡点（１０７ｂ）が前記主装置（１０１）に設置されることを特徴とする請求項１乃至請求項１０のいずれか１項に記載の方法。
【請求項１２】
少なくとも１つの自動追跡センサ（１０８ｄ−１０８ｆ）が付属装置（１０２）に設置され、前記方法が前記付属装置（１０２）から前記主装置（１０１）に追跡信号を送信するステップを有することを特徴とする請求項１乃至請求項１１のいずれか１項に記載の方法。
【請求項１３】
前記主装置（１０１）が移動テレビ電話であることを特徴とする請求項１乃至請求項１２のいずれか１項に記載の方法。
【請求項１４】
前記付属装置（１０２）が、前記主装置（１０１）との音声情報の双方向交換のためのヘッドセットであることを特徴とする請求項１乃至請求項１３のいずれか１項に記載の方法。
【請求項１５】
コンピュータの内部メモリに直接読み込み可能なコンピュータプログラムであって、当該プログラムがコンピュータ上で実行される際に、前記請求項１乃至請求項１４のいずれかのステップを制御するためのソフトウェアを有することを特徴とするコンピュータプログラム。
【請求項１６】
プログラムが記録されたコンピュータ読み取り可能な媒体であって、前記プログラムが、前記請求項１乃至請求項１４のいずれかのステップをコンピュータに実行させることを特徴とする媒体。
【請求項１７】
主装置（１０１）及び付属装置（１０２）を含む通信装置であり、前記主装置（１０１）は関連物体（１０３）の元画像（２０１）を記録するためのビデオカメラ（１０５）を有し、前記付属装置（１０２）が前記関連物体（１０３）と同一位置に設けられるような通信装置であって、
前記主装置（１０１）及び付属装置（１０２）の少なくとも第１の装置上に設置された少なくとも１つの追跡点（１０７ａ；１０７ｂ）と、
前記主装置（１０１）及び付属装置（１０２）の少なくとも第２の装置上に設置された、前記少なくとも１つの追跡点（１０７ａ；１０７ｂ）に対応する少なくとも１つの自動追跡センサ（１０８ａ−１０８ｃ；１０８ｄ−１０８ｆ）と、を有し、
前記主装置（１０１）が、少なくとも１つの自動追跡センサ（１０８ａ−１０８ｃ；１０８ｄ−１０８ｆ）から少なくとも１つの信号を受信し、それに応答して前記主装置（１０１）及び付属装置（１０２）の間の目標方向（１０４）を表す追跡データを生成し、
前記主装置（１０１）が、前記目標方向（１０４）及び前記ビデオカメラ（１０５）で記録した元画像データ（２０１）に基づいて、関連物体（１０３）の安定化した画像を作成する画像コントローラ（２０４）を有することを特徴とする通信装置。
【請求項１８】
前記第２の装置が、各々が追跡信号を生成する少なくとも３つの自動追跡センサ（１０８ａ−１０８ｃ；１０８ｄ−１０８ｆ）を含み、
前記追跡信号生成器（２０３）が前記追跡信号の三角測量によって前記追跡データを生成することを特徴とする請求項１７記載の通信装置。
【請求項１９】
前記画像コントローラ（２０４）が、前記ビデオカメラ（１０５）で記録した元画像（２０１）の特定部分（２０２）を適応的に選択することにより、前記画像コントローラ（２０４）は前記関連物体（１０３）の安定化された画像を生成することを特徴とする請求項１７又は請求項１８記載の通信装置。
【請求項２０】
前記ビデオカメラ（１０５）内の少なくとも１つの画像形成素子（３０３，４０１）が、前記画像形成素子（３０３）がチルトされた位置において記録した画像を前記画像コントローラ（２０４）が処理することにより前記関連物体（１０３）の安定化された画像を作成できるよう、少なくとも第１の軸（３０１；３０２）周りに前記主装置（１０１）に対してチルト可能であることを特徴とする請求項１７乃至請求項１９のいずれか１項に記載の通信装置。
【請求項２１】
前記画像コントローラ（２０４）が少なくとも２つの連続的に記録された画像に記録されたデータから前記安定化された画像を生成するための画像プロセッサを有することを特徴とする請求項１９又は請求項２０記載の通信装置。
【請求項２２】
前記主装置が、前記ビデオカメラ（１０５）が前記関連物体（１０３）の前記元画像を記録できないことを示す警告信号を、前記関連物体（１０３）の少なくとも一部が前記ビデオカメラ（１０５）の記録範囲（１０６）の外側に位置すると推定される際に生成するための警告ユニットを有することを特徴とする請求項１９乃至請求項２１のいずれか１項に記載の通信装置。
【請求項２３】
前記警告ユニットが音響信号を生成することを特徴とする請求項２２記載の通信装置。
【請求項２４】
前記警告ユニットが機械的信号を生成することを特徴とする請求項２２又は請求項２３記載の通信装置。
【請求項２５】
少なくとも１つの自動追跡センサが前記ビデオカメラ（１０５）によって構成されることを特徴とする請求項１７記載の通信装置。
【請求項２６】
少なくとも１つの追跡点（１０７ａ；１０７ｂ）が、既知で明確な外観を有するマーカによって構成されることを特徴とする請求項２５記載の通信装置。
【請求項２７】
前記マーカが前記付属装置（１０２）に配置されることを特徴とする請求項２６記載の通信装置。
【請求項２８】
前記マーカが前記主装置（１０１）内の光源から発せられる光を反射するように適合されていることを特徴とする請求項２７記載の通信装置。
【請求項２９】
前記光源が、前記追跡点（１０７ａ）で反射されるべき点滅光を特定のシーケンスに従って発することを特徴とする請求項２８記載の通信装置。
【請求項３０】
少なくとも１つの追跡点（１０７ａ；１０７ｂ）が光源であり、
少なくとも１つの自動追跡センサ（１０８ａ−１０８ｃ；１０８ｄ−１０８ｆ）が光センサを含むことを特徴とする請求項１７乃至請求項２９のいずれか１項に記載の通信装置。
【請求項３１】
少なくとも１つの追跡点（１０７ａ；１０７ｂ）が、特定のシーケンスに従って前記ビデオカメラ（１０５）で検出されるべき点滅光を発する点滅光源によって構成されることを特徴とする請求項２５記載の通信装置。
【請求項３２】
前記光源が発光ダイオードであることを特徴とする請求項３１又は請求項３２記載の通信装置。
【請求項３３】
少なくとも１つの追跡点（１０７ａ）が前記付属装置（１０２）に含まれることを特徴とする請求項３１又は請求項３２記載の通信装置。
【請求項３４】
少なくとも１つの追跡点（１０７ａ；１０７ｂ）が磁気部品であり、
少なくとも１つの自動追跡センサ（１０８ａ−１０８ｃ；１０８ｄ−１０８ｆ）が磁界センサを含むことを特徴とする請求項１７乃至請求項３３のいずれか１項に記載の通信装置。
【請求項３５】
少なくとも１つの追跡点（１０７ａ；１０７ｂ）が超音波発生器であり、
少なくとも１つの自動追跡センサ（１０８ａ−１０８ｃ；１０８ｄ−１０８ｆ）が超音波を受信するマイクを含むことを特徴とする請求項１７乃至請求項３４のいずれか１項に記載の通信装置。
【請求項３６】
少なくとも１つの追跡点（１０７ａ；１０７ｂ）が無線送信機であり、
少なくとも１つの自動追跡センサ（１０８ａ−１０８ｃ；１０８ｄ−１０８ｆ）が無線受信機であることを特徴とする請求項１７乃至請求項３５のいずれか１項に記載の通信装置。
【請求項３７】
少なくとも１つの追跡点（１０７ａ；１０７ｂ）が加速度計を含み、
少なくとも１つの自動追跡センサ（１０８ａ−１０８ｃ；１０８ｄ−１０８ｆ）が加速度計を含み、
前記追跡データが、前記主装置（１０１）及び前記付属装置（１０２）の間の推定された位置−方向関係から生成され、前記位置−方向関係が、前記少なくとも１つの追跡点加速度計が生成した信号と、前記少なくとも１つの自動追跡センサ加速度計が生成した信号とを比較して得られることを特徴とする請求項１７乃至請求項３６のいずれか１項に記載の通信装置。
【請求項３８】
少なくとも１つの追跡点（１０７ａ）が前記付属装置（１０２）に配置されていることを特徴とする請求項１７乃至請求項３７のいずれか１項に記載の通信装置。
【請求項３９】
少なくとも１つの自動追跡センサ（１０８ａ−１０８ｃ）が前記主装置（１０１）に配置されることを特徴とする請求項１７乃至請求項３８のいずれか１項に記載の通信装置。
【請求項４０】
少なくとも１つの追跡点（１０７ｂ）が前記主装置（１０１）に配置されていることを特徴とする請求項１７乃至請求項３９のいずれか１項に記載の通信装置。
【請求項４１】
少なくとも１つの自動追跡センサ（１０８ｄ−１０８ｆ）が前記付属装置（１０２）に配置され、前記付属装置（１０２）が追跡信号を前記主装置（１０１）へ送信する送信機を含むことを特徴とする請求項１７乃至請求項４０のいずれか１項に記載の通信装置。
【請求項４２】
前記主装置（１０１）がテレビ電話機であることを特徴とする請求項１７乃至請求項４０のいずれか１項に記載の通信装置。
【請求項４３】
前記付属装置（１０２）が前記主装置（１０１）とオーディオ情報を双方向交換するためのヘッドセットであることを特徴とする請求項１７乃至請求項４２のいずれか１項に記載の通信装置。
【発明の詳細な説明】
【０００１】
（発明の背景及び従来技術）
本発明は全体として携帯型通信装置（ｐｏｒｔａｂｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｄｅｖｉｃｅ）による動画記録に関する。より具体的には、本発明は請求項１のプリアンブルに係るビデオカメラによって記録された関連物体（ｒｅｌｅｖａｎｔ ｏｂｊｅｃｔ）の改善された画像を生成する方法に関する。本発明はまた、請求項１７のプリアンブルに係る通信装置（ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｒｒａｎｇｅｍｅｎｔ）、請求項１５に係るコンピュータプログラム及び請求項１６に係るコンピュータ装置読み取り可能な媒体に関する。
【０００２】
固定及び移動通信網における、広帯域信号を搬送するための容量の増加は、テレビ電話技術（ｖｉｄｅｏ ｔｅｌｅｐｈｏｂｙ）を現実的なものにした。移動テレビ電話機（ｍｏｂｉｌｅ ｖｉｄｅｏｐｈｏｎｅ）は一般に電話機ユーザの動画を記録する手段と、ユーザが通信している少なくとも１人の対応する動画を表示する手段を有している。
【０００３】
通常、移動テレビ電話通話中にはオーディオ情報（例えば音声信号形式）も通信される。従って、テレビ電話機にはオーディオ情報の双方向通信手段も含まれている。テレビ電話機の画像記録手段は、電話機（又は、少なくとも電話機においてカメラを含む機器（通常は本体））が、ユーザから特定の最小距離に置かれることを必要とするので、標準的な音声電話機で使用されるような通常のマイクでは、音（ｓｏｕｎｄ ｉｎｆｏｒｍａｔｉｏｎ）を記録することができない。
【０００４】
代わりに、音響情報は、ユーザと本体との間で、音声制御式のマイク−スピーカ装置又は、オーディオ情報受信用の（ユーザの口近くに配置される）マイクとオーディオ情報をユーザへ送信するための（ユーザの耳近くに配置される）少なくとも１つのイヤーピースを含むヘッドセットのいずれかによってやりとりされる必要がある。ヘッドセットはマイク−スピーカ装置よりも高度なプライバシーを提供する。
【０００５】
ほとんどの場合、ヘッドセットはオーディオ品質についても勝っている。
【０００６】
もちろん、ヘッドセットが用途によっては現実的でないことがわかるであろう。そうはいっても、（例えば、ブルートゥースインタフェースを介して通信する）無線ヘッドレストは、ケーブル接続型のヘッドレストに付随する制限の大半を解決する。
このように、移動テレビ電話機を介す場合においても、音声信号を通信するための満足のいく解決方法が存在する。残念なことに、テレビ電話機ユーザの動画を記録するための十分良好な解決方法は未だに存在しない。
【０００７】
一般に、テレビ電話通話に関連すると見なされる物体（すなわち、大部分の場合にはユーザの顔）が、利用可能な画像領域の相当な部分をカバーするように記録されることが望ましい。
【０００８】
通話中、テレビ電話機のユーザは、テレビ電話機を手で保持し、電話機のカメラを自分の顔の一般的な方向に向けるか、代わりに、電話機のカメラがユーザの顔の画像を記録可能なように電話機をユーザの前の静止物体上に置くであろう。
【０００９】
最初の場合では、ユーザの手及び上半身の動きによって、ユーザの頭が時折（少なくとも部分的に）画像から外れる（すなわち、ビデオカメラの画角（ａｎｇｕｌａｒ ｒｅｃｏｒｄｉｎｇ ｒａｎｇｅ）から外れる）虞がある。いかなる場合であっても、ユーザの画像は多かれ少なかれ不安定になる可能性が非常に大きい。２番目の場合、画像はより安定するであろうが、特に、画像領域全体の比較的大きな部分を関連物体がカバーするという要求を満たすためにカメラが比較的狭い画角を有するため、ユーザが画像の外に移動するリスクは最初の場合と少なくとも同等である。これらの問題を軽減するためにこれまで取られた方策には、以下の３つの方法が含まれる。
【００１０】
第１の代替方法は、ビデオカメラで記録された画像をディジタル的に解析し、連続的に記録された一連の画像フレームを処理し、関連情報を表すと推定される画像の特徴を抽出し、例えば振動の影響を低減した、質の向上した動画像を生成することにより、安定化された画像を生成するものである。この解決方法は複雑な計算に基づくため、高い処理能力を要求する。言い換えると、それは高コスト及び／又は高消費電力を意味する。さらに、画像処理アルゴリズムが正しい関連情報を検出するかは不確実であり、従って動画を望ましい方法で改質するか不確実である。
【００１１】
振動の影響を低減するための第２の代替方法は、テレビ電話機内のカメラを機械的に安定させることである。しかし、これは大量の動力及び複雑なレバーを含む大きな機構か、非現実的な大きさの錘がテレビ電話機に含まれることを暗示する。従って、この解決方法は実際的見地からすると面白くない。
【００１２】
振動の影響を低減するための第３の解決方法は、テレビ電話機のカメラを、ユーザがかぶるヘルメットに接続された棒に取り付けることである。これはユーザの顔の安定した画像を生成するための疑いなく効率的な方法である。にもかかわらず、この解決方法はそう簡単には消費者の高い関心を得られない。それは、おそらく、この解決方法が非現実的なものであり、またあまりディスクリートでないと受け取られるであろうからである。
【００１３】
ビデオ通信分野以外の用途の２，３の例を含む特許文献においては、情報を適応的にユーザへ搬送するためにヘッドセットが用いられている。これらの例は本発明の分野に直接は関連しない。しかし、それらは本発明の見地にいくらか関連する問題及び解決方法について論じている。
【００１４】
例えば、米国特許第４，８６６，２２９号は、基本的に固定された送信機から、観察者の移動可能なヘッドセットへ、光学情報を送信するための装置を開示する。この解決方法は、通常、航空機パイロットの環境において、直接観察可能な情報に地図情報をスーパーインポーズするために用いられる。送信機はヘッドセットを追跡し、その光学的情報ビームを、送信機内の光源及びトラッキングガイドセンサ及びヘッドセット内のトラッキングガイドリフレクタを用いてヘッドセットへ導く。
【００１５】
日本公開特許第８１０２７０２号（ＪＰ，Ａ，８１０２７０２）は、水平及び垂直波形指向性を有する無線信号を生成するための２つの無線送信機を含むヘッドセットを用いる無線信号送信システムを記述している。無線信号をヘッドセットから受信する検出装置は、各無線信号の異なる強度に基づいてヘッドセットの向きを判定する。
【００１６】
米国特許第５，６１９，５８２号はコンサート環境におけるオーディオ情報の改善のための、無線ヘッドフォンシステムを含むシステムを開示する。全てが同一音響信号を含むが、各チャネルについて信号が異なるプリセット時間期間だけ遅延されている複数の無線チャネルが聴衆に送信される。送信機に対して特定のヘッドフォン受信器の位置を特定するため、少なくとも２つの無線周波数パルスの到達時間が比較される。この位置に基づいて、ヘッドフォン受信器は、復号化オーディオ信号がステージのメインスピーカーから到達する音とほぼ同相となるように、適切に遅延された無線チャネルを選択する。
【００１７】
テレビ電話通信技術及び移動通信ソリューションは数十年間知られているという事実にもかかわらず、関連物体の安定した画像の生成及び維持の両方が可能で、実用的な観点からユーザにとって魅力的な移動テレビ電話ソリューションの例は依然として存在しない。
【００１８】
（発明の概要）
従って、本発明の目的は、装置の使い勝手を損なうことなく、関連物体の改善された画像の生成を可能にする方法及び比較的簡単な機構を提供することにより、上述した問題を軽減することにある。
【００１９】
本発明の一見地によれば、少なくとも１つの追跡点（ｔｒａｃｋｉｎｇ ｐｏｉｎｔ）が主装置又は付属装置の一方又は両方に位置することを前提として、冒頭に記述したようにビデオカメラによって記録された関連物体の改善された画像を生成する方法によって上述の目的が達成される。さらに、少なくとも１つの追跡点に対応する自動追跡センサが、主装置及び付属装置のうち、少なくとも追跡点が位置しない装置に位置することが仮定される。しかし、自動追跡センサは冗長性を理由として追跡点が存在する装置上にも位置することが可能である。方法は、主装置及び付属装置間の目標方向（ｔａｒｇｅｔ ｄｉｒｅｃｔｉｏｎ）を表す追跡データを、少なくとも１つの自動追跡センサによって受信した信号に基づいて生成することによって更に特徴付けされる。そして、ビデオカメラによって記録された元画像を目標方向に基づいて処理することにより、関連物体の安定化された画像（ｓｔａｂｉｌｉｚｅｄ ｉｍａｇｅ）が生成される。
【００２０】
本発明の別の見地によれば、コンピュータの内部メモリに直接読み込み可能なコンピュータプログラムであって、コンピュータ上でこのプログラムを実行した際に、上の段落で説明した方法を制御するためのソフトウェアを有するコンピュータプログラムによっても上述の目的が達成される。
【００２１】
本発明の更に別の見地によれば、上述の目的は、コンピュータに上の最後から２番目の段落に記載された方法を実行させるプログラムが記録されたコンピュータ読み取り可能な媒体によっても達成される。
【００２２】
本発明の更なる見地によれば、上述の目的は、冒頭に記載したような通信装置であって、少なくとも１つの追跡点が主装置、付属装置の一方又は両方に位置することを特徴とする通信装置によっても達成される。少なくとも１つの追跡点に対応する少なくとも１つの自動追跡センサが、主装置及び付属装置のうち少なくとも追跡点のない装置に位置する。しかし、自動追跡センサは冗長性を理由としてその装置上にも位置することが可能である。主装置は、少なくとも１つの自動追跡センサからの少なくとも１つの信号を受信し、それに応答して主装置及び付属装置間の目標方向を表すトラッキングデータを生成するトラッキングデータ生成器を有する。主装置はまた、目標方向及び、ビデオカメラで記録された元画像とに基づいて、関連物体の安定化された画像を作成する画像コントローラを有する。
【００２３】
このようにして、提案する解決方法は、ユーザに不便を与えかねない何らかの付加装置を必要とすることなく、持ち運び可能な主装置からのユーザの頭等の関連物体の安定した追跡を確実にする。
【００２４】
もちろん、これは本発明を技術的な点のみならず商業的な点から見ても、移動テレビ電話用途について本発明を魅力的なものとしている。
本発明を、例として開示される好ましい実施形態によってより詳細に説明する。
【００２５】
（発明の好ましい実施形態の説明）
図１は、本発明の第１の見地に係る通信装置を示す。通信装置は主装置１０１及び、ケーブルによって物理的に、又は無線接続を介して論理的に主装置に関連づけされる付属装置１０２を含む。このような無線接続は無線資源（例えば、ブルートゥースインタフェース）、光学リンク又は磁気誘導リンクによって達成することができる。
【００２６】
主装置１０１は、一般に通信装置を介して通信しているユーザの顔である関連物体１０３の元画像を記録するために、ビデオカメラ１０５を含む。ビデオカメラ１０５は比較的広い角度記録範囲１０６を有する。これはつまり関連物体がカメラ１０５の記録範囲１０６内の（どこか）に含まれる可能性を高める。付属装置１０２は関連物体１０３と同一位置に置かれる。図１は、その顔がここでは関連物体１０３を表すユーザに装着されるヘッドセットの形式の付属装置１０２を示す。理論的には関連物体は、一時的にせよテレビ電話の通話中に重要と見なされる他の任意の物体でよい。
【００２７】
少なくとも１つの追跡点１０７ａが付属装置１０２上に設けられる。追跡点１０７ａは、主装置１０１におけるカメラ１０５が、通話の最中に可能な限り追跡すべき基準目標を構成する。従って、追跡点１０７ａは関連物体１０３のできるだけ近くに設置することが好ましい。この例において、追跡点１０７ａはユーザの口の近傍に設置されたマイク要素上に置かれている。しかし、付属装置１０２を主装置１０１と接続するケーブル上など、付属装置１０２上の他の任意の位置への設置が考えられる。１つかそれより多い追跡点が覆い隠されても追跡能力の大きな悪化が生じないよう冗長度を導入するため、複数の追跡点を付属装置１０２に取り付けることもできる。いくつかの追跡点からの信号が同時に登録された場合、検出された追跡点の間の平均方向に仮想の追跡点が位置するものと仮定する。
【００２８】
追跡点１０７ａに対応する少なくとも１つの自動追跡センサ１０８ａ，１０８ｂ，１０８ｃがそれぞれ主装置１０１上に設置される。各追跡センサ１０８ａ−１０８ｃは追跡点１０７ａからの信号を受信する。従って、異なる追跡センサ１０８ａ−１０８ｃで受信される各信号を調べることにより、主装置１０１から付属装置１０２へ向かう方向を得ることができる。主装置が３つ又はそれより多い追跡センサ１０８ａ−１０８ｃを有する場合、三角測量計算によって付属装置１０２への三次元方向ベクトルを求めることが可能である。そのような方向ベクトルは主装置１０１及び付属装置１０２の間の目標方向１０４を表すものとされる。２つ又はそれより少ない追跡センサが主装置１０１に含まれる場合、三次元で目標方向１０４を規定することはできない。しかし、センサ及び追跡点の形式のよっては、依然として目標方向１０４は十分な精度を有しうる。目標方向１０４が得られると、ビデオカメラ１０５で記録された元画像の一部を選択することが可能となり、これは基本的に関連物体１０３のみが含まれている。本発明によれば、関連物体１０３の画像を生成するため、この選択は十分短い間隔で実行され、それは人間の観察者によって満足される程度に安定したものとして認識される。
【００２９】
自動追跡センサ１０８ａ−１０８ｃにかかわる追跡点１０７ａは、多くの代替的又は補完的技術によって設計されても良い。本発明の好ましい実施形態によれば、追跡点はＬＥＤ（発光ダイオード）といった光源で構成され、自動追跡センサ１０８ａ−１０８ｃは、追跡点光源から放射される光に関する波長スペクトラムにおいて敏感な光センサを有する。
【００３０】
ビデオカメラ１０５が追跡センサとしても動作する場合に、本実施形態の非常に効率的な具現化が得られる。従って、ビデオカメラ１０５は追跡点１０７ａからの光信号を検出する。追跡点１０７ａ内の光源が、特定の既知のシーケンスに従って点滅光（ｆｌａｓｈｉｎｇ／ｐｕｌｓａｔｉｎｇ ｌｉｇｈｔ）を発する場合、さらに好ましい。その結果、画像処理アルゴリズムは、元画像データを既知のシーケンスと比較することによって、ビデオカメラ１０５が記録した元画像中の追跡点１０７ａを見つけることが可能である。小さい追跡遅延が得られ、かつ人間の目には安定した光のように知覚されるため、比較的早い点滅速度が望ましい。例えば、ビデオカメラが周波数６０Ｈｚで動作するという条件では、光源が２画像フレーム毎に”オン”し、２画像フレーム毎に”オフ”するように点滅速度を選択することが適切であろう。
【００３１】
追跡点１０７ａを受動的、すなわちどこか（好ましくは主装置１０１）に設置された光源から送出された光の単なる反射器とすることも可能である。この光源は可視光を発してもよいし、可視スペクトル外の光を生成しても良い。いずれの場合も、自動追跡センサ（繰り返すが、ビデオカメラ１０５であってもよい）は、感度範囲を必ず有しており、その感度範囲は光源から送出される光の波長に適合されている。
【００３２】
既知かつ明確な外観を有する、付属装置１０２上の特定のマーカは、受動追跡点１０７ａの重要な例を構成する。もちろん、ロゴタイプや対応する特徴的デザインはマーカーとして機能しうる。このマーカで反射される光は主装置１０１送出される必要が無く、関連物体１０３を照らす周辺光であっても非常によい。
【００３３】
本発明の別の好ましい実施形態によれば、追跡点１０７ａは磁性部品によって構成され、自動追跡センサ１０８ａ−１０８ｃは磁界センサを含む。
【００３４】
本発明の更に別の好ましい実施形態によれば、追跡点１０７ａは超音波発生器によって構成され、自動追跡センサ１０８ａ−１０８ｃはそれぞれ超音波音を受信するためのマイクを含む。
【００３５】
本発明の更に別の好ましい実施形態によれば、追跡点１０７ａは無線送信機によって構成され、自動追跡センサ１０８ａ−１０８ｃはそれぞれ無線受信機を含む。
【００３６】
複数の追跡点が用いられる場合、自動追跡センサが受信する信号からの方位情報抽出を容易にするため、異なる追跡点から送信される信号はそれぞれに変調される。変調はもちろん追跡点から送出される信号の形式とは無関係に変化しうる。さらに、追跡点の数が増加した場合には、自動追跡センサの数を所与の追跡解像度のに対応する範囲内で削減することができる。
【００３７】
テレビ電話通話の発呼時、関連物体が記録画像のはっきりした領域（ｗｅｌｌ−ｄｅｆｉｎｅｄ ａｒｅａ）内に位置するように主装置内のカメラが関連物体の方角を指しているならば、関連物体を直接追跡する必要はない。代わりに、主装置及び付属装置間の、既知の初期位置−方向関係からの相対移動を示す、主装置及び付属装置内の加速時計（又は慣性センサ）からの信号を登録（ｒｅｇｉｓｔｅｒ）することにより、関連物体を間接的に追跡してもよい。
【００３８】
従って、本発明の他の好ましい実施形態によれば、付属装置における少なくとも１つの追跡点が加速時計を含み、主装置における少なくとも１つの自動追跡センサが加速時計を含む。更新された位置−方向関係は、少なくとも１つの追跡点加速時計が生成した信号を少なくとも１つの自動追跡センサ加速時計が生成した信号と定期的に比較することで得ることができる。
【００３９】
追跡点及び自動追跡センサはもっぱら加速時計を含みうるが、上述した１つ又はそれより多い他の形式の追跡点／センサの組み合わせを、追跡を達成するための主な手段として用い、それを補うものとして加速時計を利用することが望ましい。
【００４０】
図２は、関連物体１０３の安定化された画像が本発明に従ってどのように作成されうるかをより詳細に説明する。主装置１０１内のビデオカメラ１０５は、動画記録のための比較的広い角度範囲１０６を有する。これは比較的大きな領域をカバーする元画像２０１によって表されている。主装置１０１内の追跡データ生成器２０３は、追跡センサが受信した信号を処理し、主装置１０１及び付属装置間の目標方向を導き出す。そして、主装置１０１内の画像コントローラ２０４は、ビデオカメラ１０５が記録した元画像２０１の特定部分２０２を、目標方向に基づいて適応的に選択する。言うまでもなく、選択された部分２０２は、関連物体１０３を含み、かつ他のものができるだけ含まれないように選ばれる。選択された部分２０２は、ある程度までは、選択される画像領域が主装置１０１及び／又は付属装置が移動するにつれて変化するように適応的に選択され、対応して目標方向が更新される。画像コントローラ２０４は、関連物体１０３の画像を生成するため、選択された部分２０２を十分短い間隔で更新し、この画像は安定しているように観察者には知覚される。
【００４１】
図３は、関連物体１０３の安定化された画像が本発明の第２の好ましい実施形態に従ってどのように作成されうるかを説明する。本実施形態において、少なくともカメラ１０５内の画像形成要素３０３が、少なくとも第１の軸３０１周りに、主装置１０１に対してチルト可能（ｔｉｌｔａｂｌｅ）である。これにより、第１の軸３０１に垂直な任意の直線に沿った、関連物体１０３の移動を、カメラ１０５が追跡することが可能になる。このようにして、カメラ１０５の実効的な記録角度範囲が拡大される。代わりに、狭い角度記録範囲を有するカメラ１０５を、さもなくばより広い角度記録範囲が必要となるであろう画像をカバーするために用いることが可能である。結果として、改善された画像解像度、従ってより優れた画像品質が得られる。画像形成要素３０３は１つ又はそれより多い、（レンズや対応するホログラムといった）ビーム屈折器を含み、カメラ１０５外部の物体で反射された光線は、この屈折器を介して、カメラ１０５内部の画像受信要素（例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）に向けられる。カメラ１０５が２次元移動を追跡できるよう、画像形成要素３０３もまた第２の軸３０２周りにチルト可能であることが好ましい。
【００４２】
本発明の本実施形態は、図２に関して上述した第１の実施形態、すなわち、元画像２０１内部の関連物体１０３の追跡を行うための代替物、もしくは、静止画像形成要素３０３でカバーされる元画像領域２０１をさらに拡張するために第１の実施形態を保管するためのものと見なすことができる。
【００４３】
図４は、図３に示した実施形態の第１の見地を説明する図である。ここでは、チルト可能な画像形成要素３０３に加え、画像受容素子４０１もまた対応する範囲でチルト可能である。このようなチルトにより、歪みを与えることなく拡大された画像受容領域を得ることが可能になる。しかし、カメラ１０５内部の可動部品が絶対的に必要な数よりも若干多くなるという問題が起こりうる。
【００４４】
図５は、図３に示した実施形態の第２の見地を説明する図である。ここでは、画像形成要素３０３のみがチルトされ、画像受容素子５０１は固定されている。画像受容領域は、画像形成要素３０３がチルトできないものと仮定した場合に比べて広くされねばならない。本発明のこの見地に従って、画像受容素子５０１は常にその一部が使用されない。さらに、画像形成要素３０３のチルト角に対応した度合いで画像が歪むであろう。従って、画像コントローラはその処理資源の一部をこの歪みの補償に割り当てねばならない。しかし、カメラ内の可動部品数は最小限に保たれ、これは製造及び信頼性の点から有利である。
【００４５】
図２−５に関連して上述した方法のどれが関連物体１０３の追跡に利用されるかとは無関係に、安定化された画像の質をさらに向上させるため、画像コントローラ２０４はさらに画像プロセッサを含みうる。画像プロセッサは２つ又はそれより多い、連続的に記録された画像を結合し、そこから改善された品質を有する画像を生成する。
【００４６】
上で提案した、少なくとも画像形成要素についてのチルトは、主装置１０１の移動及び理想的な方向からの方向ずれを、特定のずれ量に至るまで補償しうる。しかし、主装置１０１がそのような方法で設置されるか、又は関連物体１０３が可能性のある最大元画像２０１の外に移動する場合、通信装置は関連物体１０３の画像を作成することができない。このような状況を防ぐため、主装置１０１はビデオカメラ１０５が関連物体１０３の元画像２０１を記録できないことを示す音響的及び／又は機械的な警告信号を生成する警告ユニットをさらに含むことができる。この警告信号は関連物体１０３が、少なくとも部分的にビデオカメラ１０５の記録範囲外に位置すると推定される場合常に出力（ａｃｔｉｖａｔｅ）される。
【００４７】
図６は、本発明の第２の見地に係る通信装置を説明する図である。ここでは図１の追跡点及び自動追跡センサの位置が変更されている。これは、主装置１０１がカメラ１０５に加えて少なくとも１つの追跡点１０７ｂを含むことを意味する。付属装置１０２は、例えばヘッドセットのイヤホン及びヘッドバンド上に設置されうる複数の自動追跡センサ１０８ｄ，１０８ｅ及び１０８ｆを有する。付属装置上の自動追跡センサ１０８ｄ−１０８ｆの他の数及び配置が同様に考えられることは言うまでもない。三角測量が可能になるため、自動追跡センサ１０８ｄ−１０８ｆの数は３又はそれより多いことが好ましい。図１に関して説明した本発明の見地と同様、各追跡センサ１０８ｄ−１０８ｆは追跡点１０７ｂからの信号を受信する。しかし、付属装置１０２の重量を最小化するため、受信信号から目標方向を得る手段は主装置に位置することが好ましい。そのため、追跡データ生成器内において処理するため、追跡センサ信号は主装置に転送されねばならない。自動追跡センサ１０８ｄ−１０８ｆからの信号は、最も効率が良く、かつ利用可能なチャネルを介して主装置１０１へ送られるべきである。主装置１０１と付属装置１０２とがケーブルを介して接続される場合、可能ならこのケーブルが用いられる。さもなくば、その信号は無線資源、光リンクのような無線インタフェース上を、又は変調された磁気誘導信号を介して送信されるであろう。
【００４８】
この結果、主装置１０１及び付属装置１０２の間の目標方向１０４は、追跡センサ信号に基づいて得られ、上述のように関連物体１０３の安定化された画像が生成される。
【００４９】
提案した解決方法の精度及び信頼性を更に高めるため、第１の目標方向が主装置内での測定に基づいて得ることが可能であり、また、第２の目標方向が付属装置における測定に基づいて得られるように、追跡点及び自動追跡センサを主装置及び付属装置の両方に配置することも可能である。そして、結果として得られる目標方向は好ましくは第１及び第２の目標方向の平均として計算される。このような追跡点及び自動追跡センサの倍増は、ある程度の冗長性を導入し、結果として一部のセンサが隠されても追跡性能が落ちない。
【００５０】
総括のため、本発明の一般的な方法を図７のフローチャートを参照して説明する。
最初のステップ７０１において、主装置内のカメラが記録した元画像が受信される。続くステップ７０２は、１つ又はそれより多い、主装置、付属装置又はその両方に設置された自動追跡センサから少なくとも１つの追跡信号を受信する。続くステップ７０３は、自動追跡センサからの少なくとも１つの信号に基づいて、主装置及び付属装置間の目標方向を表す追跡データを生成する。最後に、ステップ７０４は、目標方向に基づいて、関連物体の安定化された画像を作成する。そして手順は新しい元画像を受信するためステップ７０１へ戻る。
【００５１】
言うまでもなく、上述した全ての処理ステップは、コンピュータの内部メモリに直接読み込み可能なコンピュータプログラムによって制御されうる。このコンピュータプログラムは、コンピュータで実行される際に必要なステップを制御するための適切なソフトウェアを含む。コンピュータプログラムは同様に任意の種類のコンピュータが読み取り可能な媒体上に記録されても良い。
【００５２】
本明細書において、”有する（ｃｏｍｐｒｉｓｅｓ／ｃｏｍｐｒｉｓｉｎｇ）”という語が使用される際には、記載された機能、整数、ステップ又は要素の存在を指定するものと解釈される。しかし、この語は１つ又はそれより多い追加機能、整数、ステップ又は要素、又はそれらのグループの存在又は追加を排除するものではない。
【００５３】
本発明は図面において説明された実施形態及び見地に制限されず、特許請求の範囲の範囲内において自由に変更されうる。
【図面の簡単な説明】
【図１】
本発明の第１の見地に係る通信装置を示す図である。
【図２】
本発明の第１の実施形態に従ってどのように関連物体の安定化された画像を作成するかを示す図である。
【図３】
本発明の第２の実施形態に従ってどのように関連物体の安定化された画像を作成するかを示す図である。
【図４】
図３に示す実施形態の第１の見地を説明する図である。
【図５】
図３に示す実施形態の第２の見地を説明する図である。
【図６】
本発明の第２の見地に係る通信装置を示す図である。
【図７】
本発明に係る一般的な方法を示すフローチャートである。
【図１】
2004514348.tif 000003
【図２】
2004514348.tif 000004
【図３】
2004514348.tif 000005
【図４】
2004514348.tif 000006
【図５】
2004514348.tif 000007
【図６】
2004514348.tif 000008
【図７】
2004514348.tif 000009
【国際公開パンフレット】
2004514348.tif 000010
2004514348.tif 000011
2004514348.tif 000012
2004514348.tif 000013
2004514348.tif 000014
2004514348.tif 000015
2004514348.tif 000016
2004514348.tif 000017
2004514348.tif 000018
2004514348.tif 000019
2004514348.tif 000020
2004514348.tif 000021
2004514348.tif 000022
2004514348.tif 000023
2004514348.tif 000024
2004514348.tif 000025
2004514348.tif 000026
2004514348.tif 000027
2004514348.tif 000028
2004514348.tif 000029
2004514348.tif 000030
2004514348.tif 000031
2004514348.tif 000032
2004514348.tif 000033
2004514348.tif 000034
2004514348.tif 000035
2004514348.tif 000036
2004514348.tif 000037
2004514348.tif 000038
【国際調査報告】
2004514348.tif 000039
2004514348.tif 000040
2004514348.tif 000041