(57)【要約】携帯又は他の映像通信装置は表示装置とカメラを有する。該装置はユーザにユーザの位置に関するフィードバックを、表示された画像を修正するように動作する頭位置部で提供する。例えば、もしユーザの頭が中心から外れている場合には、画像の質を低下したり、或いは画像をシフトさせたりすることによって修正を行う。位置と修正は離れた装置内や介在するネットワーク内のどこかに代わりに位置してもよい。【選択図】図２
2004532568.tif 000002
【特許請求の範囲】
【請求項１】
映像通信装置は、
カメラ装置と、
該カメラ装置からの画像を送信する送信機と、
受信機と、
受信した画像を表示する表示装置と、
映像通信装置を用いて人の頭の、カメラの視野内の、位置を示す頭位置信号を生成する頭位置手段と、
頭の誤った位置取りを示す該頭位置信号に応答して該表示装置で表示された受信した画像を修正するよう動作可能な手段と、を具備する。
【請求項２】
請求項１記載の装置において、前記頭位置手段はカメラからの映像信号を分析するよう動作可能な手段を有する。
【請求項３】
請求項１または請求項２に記載の装置において、前記修正手段は表示装置で生成された画像の少なくとも一部の画像品質を下げるように動作する手段を有する。
【請求項４】
請求項１乃至請求項３のいずれか１項記載の装置において、前記頭位置信号はカメラ装置の視野の方向に対して実質的に垂直な平面にある頭の2次元の位置を表す。
【請求項５】
請求項１乃至請求項４のいずれか１項記載の装置において、前記頭位置信号はカメラ装置からの頭の距離を示すか若しくはカメラ装置からの頭の距離を示す構成部分を含む。
【請求項６】
請求項５に記載の装置において、前記修正手段は前記表示装置によって生成された画像のサイズを変えるように動作可能な手段を有する。
【請求項７】
前記すべての請求項のいずれか1項記載の装置は、カメラから映像信号を受信して符号化された映像信号を前記送信機へ供給するよう接続された映像符号化手段を含み、該映像符号化手段は画像の中央領域においは残りの領域においてよりも高い画像品質を提供する符号化方法に従って動作するように構成されている。
【請求項８】
映像通信装置は、
カメラ装置と、
該カメラ装置からの画像を送信する送信機と、
映像通信装置を用いて人の頭の、カメラの視野内の、位置を示す頭位置信号を生成する頭位置手段と、
頭位置に応答してユーザに対して対応する表示を与えるように動作可能なフィードバック手段と、を具備し、
前記送信機は画像の一領域においては残りの領域においてよりも高い質を提供する符号化方法に従って動作するように構成された映像符号化手段を含む。
【請求項９】
請求項８に記載の装置において、前記一領域は画像の中央である。
【請求項１０】
請求項８に記載の装置において、頭位置信号に依存して前記一領域の位置を変える手段を含む。
【請求項１１】
映像通信装置は、
カメラ装置と、
該カメラ装置からの画像を送信する送信機と、
映像通信装置を用いて人の頭の、カメラの視野内の、位置を示す頭位置信号を生成する頭位置手段と、を具備し、
前記送信機は画像の一領域においては残りの領域においてよりも高い解像度を提供する符号化方法に従って動作するように構成された映像符号化手段を含み、頭位置信号に依存して前記一領域の位置を変える手段を含む。
【請求項１２】
双方向映像通信装置用通信基地は、
第1の方向に伝わる映像信号を監視するよう接続されて、人の頭の、該映像信号によって表される画像内の、位置を示す頭位置信号を生成するよう動作可能な頭位置手段（４０５）と、
前記頭位置信号を受信するよう接続されて、頭の誤った位置取りを示す該頭位置信号に応答して、第２の反対方向に伝わる映像信号を修正するよう動作可能な修正手段（４０６）と、を具備する。
【請求項１３】
映像通信装置との通信用通信基地は、
第1の映像通信装置（１）へ映像信号を送信し、該第1の映像通信装置から映像信号を受信する第１のインタフェース（４０１、４０２、４０３）と、
第２の映像通信装置（２）へ映像信号を送信し、該第２の映像通信装置から映像信号を受信する第２のインタフェース（４０４）と、
第１の接続によって、第１のインタフェースによって受信された第１の映像通信装置からの映像信号が、第２の映像通信装置（２）へ送信する第２のインタフェースへ送信される、第１の接続と、
第２の接続によって、第２のインタフェースによって受信された第２の映像通信装置からの映像信号が、第１の映像通信装置（１）へ送信する第１のインタフェースへ送信される、第２の接続と、
第１のインタフェース装置によって第１の映像通信装置から受信された映像信号を受信するように接続されて、第１の映像通信装置を用いて人の頭の、前記映像信号によって表される画像内の、位置を表す頭位置信号を生成するように動作可能な頭位置手段（４０５）と、
前記第２の接続で接続されて、頭の誤った位置取りを示す該頭位置信号に応答して、第２のインタフェースから第１のインタフェースへ送信された映像信号を修正するよう動作可能な修正手段と、を具備する。
【請求項１４】
請求項１２又は請求項１３のいずれかに記載の通信基地において、前記修正手段は修正されている映像信号によって表された画像の少なくとも一部の解像度を減少させるように動作可能な手段を有する。
【請求項１５】
双方向映像通信用通信網は、
第1の方向に伝わる映像信号を監視するよう接続されて、人の頭の、該映像信号によって表される画像内の、位置を示す頭位置信号を生成するよう動作可能な頭位置手段（４０５）と、
前記頭位置信号を受信するよう接続されて、頭の誤った位置取りを示す該頭位置信号に応答して、第２の反対の方向に伝わる映像信号を修正するよう動作可能な修正手段（４０６）と、を具備する。
【請求項１６】
双方向映像通信用の通信システムの動作方法は、
第1の方向に伝わる映像信号を監視して、人の頭の、該映像信号によって表される画像内の、位置を示す頭位置信号を生成することと、
頭の誤った位置取りを示す該頭位置信号に応答して、第２の反対の方向に伝わる映像信号を修正することからなる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像通信装置とシステムに関し、特に、限定的ではないが、移動或いは携帯装置に関する。本発明は、またこのような装置と使用するための通信局にわたる。
【発明の開示】
【課題を解決するための手段】
【０００２】
本発明によると、以下請求項１に記載されるような映像通信装置が提供される。他の特徴は他の請求項で規定される。
【発明を実施するための最良の形態】
【０００３】
いくつかの実施形態がここに、例によって、付随する図面を参照して説明されるだろう。
【０００４】
図１はモバイル（mobile）映像電話システムを示し、該システムでは複数の携帯装置又はハンドセット１、２が無線ネットワーク３を介して双方向通信状態にある。実際にはもっと多くのハンドセットがあるけれども、２つのハンドセットが示されている。
【０００５】
ハンドセット１の構成は図２にさらに詳細に示されている。（他のハンドセットは同様の構成でよいか或いは従来の構成でよい）信号はアンテナ１０１でネットワークから受信されて、受信機１０２へ伝導される。これらの信号は、（ａ）復号器１０３によって復合されて拡声器１０４へ供給されるディジタルにコード化された音声信号と、（ｂ）復号器１０５にて復合されて表示画面１０６へ供給されるディジタルにコード化された映像信号と、（ｃ）制御部１０７へ供給される制御信号を含む。送信機１０８はまたアンテナ１０１に接続されて、（ａ）マイク１０９によって生成されディジタル音声符号器（coder）１１０によって符号化された音声信号と、（ｂ）カメラ１１１からで符号器１１２によって符号化されたディジタル映像信号と、（ｃ）制御部１０７からの制御信号とを送信することができる。
【０００６】
ハンドセット１は、上述のように、従来型である。特に、コールセットアップ（call set-up）、ハンドオーバ等に関する制御部の機能は全く従来型であり、それ故にさらに詳細には記載されないことに留意すべきである。これはまた音声信号を伴うケースである。
【０００７】
通常カメラは、装置のユーザが表示画面１０６を見ているときに、その人の頭がカメラの視野内にあるように該装置は構築され、即ち向けられた状態に関連した視野の固定された方向に設定されよう。しかしながら、これだけではユーザの頭が完全にカメラの視野内にあることを保証するには十分ではなく、特に該装置が手で保持されている場合、これが好ましいのだが、ユーザの頭が中心にあること必ずしも保証しないであろう。それ故に、ハンドセット１はまたヘッドロケーション（頭位置）（head location）部１１３を含み、該頭位置部はユーザの頭の位置を検出するように動作し（serves）、またそれに応じて信号（ここでは頭位置信号(head location signal)と称する）を生成する。この信号は、そのほとんど基本的な形態において、単純にオン／オフ信号であり、該信号は頭が所定のエラーマージン内、カメラの視野内の中央に位置しているか否かを示し、さらに精巧な構成では頭位置信号は中心位置から頭の中心からはずれた大きさと／又は方向を示してもよい。該信号は表示画面上で表示された受信した画像（即ち、他のハンドセット２から発せられる画像）を修正するように動作し、それによってユーザに頭位置に関してフィードバックを与える。ユーザがハンドセットの持ち方を速やかに修正できるようにこのフィードバックの解釈を速やかに知ることができると想像する。以下にさらに詳細に述べられるように、このフィードバックは表示された画像のいくらかの低下、及び／或いはシフトの形態をとってもよい。
【０００８】
頭位置部１１３は、泥棒警報機等に通常使用されるような、しかしながら修正されて狭いビューアングル（カメラ自身のビューアングルよりも実質的に小さい）を有する赤外線センサの形態を取ることができるであろう。その結果ヘッドロケーション部はユーザの頭が送信された画像の中心領域内にあるときのみ出力信号を生成する。図２に示された好ましい構成では、しかしながら、ヘッドロケーション部はカメラ１１１から到来する映像信号を実際は分析する。ディジタルに符号化されたテレビ画像を分析して人間の頭の位置内のおおよその位置を判断するシステムがよく知られている。例えば、我々の欧州特許２２５,７２９（或いはＵＳ４,８４１,５７５）（Ｗｅｌｓｈ,Ｆｅｎｎ＆Ｃｈａｌｌｅｎｅｒ）はナガオによって提案された方法の実現を記載している（Ｍ．Ｎａｇａｏ著「画像認識とデータ構造」、Graphic Languages-ed. Nake and Rosenfield, 1972）。他の頭位置システムが我々の米国特許５，０８６，４８０（Ｓｅｘｔｏｎ）と５，７１９，９５１（Ｓｈａｃｋｌｅｔｏｎ）に記載されている。ヘッド追跡技術に対するさらに最近の発展は以下に記述されている。
【０００９】
2004532568.tif 000003
一般にこのような方法は頭を境界付けるボックス（それから中心軌跡の位置が容易に計算される）、或いは中心軌跡、目の位置等のようなある特定の点の画像領域内の位置を定義する座標をリターンする。この目的のために、結果はそれが中心の所定の距離内にあるかを判断するように閾値処理されるか、或いは中心の座標（或いは識別された特徴のある他の所望の位置）から控除されて、この差異が表す中心をはずれた部分の大きさと方向を測定してもよい。
【００１０】
表示された画像を修正してフィードバックを提供する多くの可能性がある。１のオプションは画質を低下させることであろう。単純な「オン・オフ」システムでは表示された画像の空間解像度を下げることができよう。これは、アナログローパスフィルタにおける切り換え、或いは（ディジタル領域では）信号を復号器に与えてサブサンプリングを導入したり或いは変換ベース（transform-based）システムではより高次元（higher-order）の係数を抑制することによって実現することができる。他のオプションは代わりに（或いは追加して）時間解像度（temporal resolution）或いは振幅解像度(amplitude resolution)（輪郭化（contouring）、量子化）を下げること、或いはノイズ或いは他の人工物（例えば、モスキートノイズ）を導入するすることである。もし頭の位置によって、頭が中心をはずれている量に従って多くの値の１を推定できるのであれば、いくつかの低下の関連するレベルが提供される。
【００１１】
もしヘッドオフセット（head offset）の方向を表すことが望まれるのであれば、リンクの他端で生じている動きを伴う混乱を避けるために述べられた低下の代わりよりもむしろ低下との組合わせでこれを行うことが好ましいが、それは表示された像をシフトすることによって実現できる。
【００１２】
記載された頭位置フィードバックシステムがハンドセット１に位置していて、ハンドセット１は勿論ネットワーク３に対して或いは第1のハンドセットが通信している他のハンドセットに対して無修正を要求する利点を有する。しかしながら、原理的には頭位置部１１３によって表された相関性と復号器１０５にて生じている映像信号修正はネットワーク内のどこにでも位置することができる。例えば、それらは他のハンドセットに統合することができ、この場合頭位置部は入来する画像を監視し、出て行く映像信号を修正する。或いは該フィードバックシステムはネットワーク３内において実現可能であり、その場合には該システムは従来のハンドセットと共に動作する。図３はハンドセットとの通信のためのアンテナ４０１が受信機４０２と送信機４０３とに接続された基地局４に統合されたシステムを示す。ネットワークインタフェースと制御部４０４（これは従来のもの）は送信機及び受信機と映像接続（及び音声と制御接続、図示しない）している。ヘッドロケーション部（頭位置部）４０５は受信機出力を監視し頭位置信号を生成する。原則的にはヘッドロケーション部（頭位置部）は図２に示されたヘッドロケーション部（頭位置部）１１２と同一であるが、使用される映像符号化のタイプによって信号を最初に復号する必要がある。ヘッドロケーション部４０５からの出力は、ネットワークインタフェースと制御部４０４からの映像接続内に挿入された修正部４０６に供給される。この修正部は図２の場合においてと同様の低下と／又は像シフトを実現するよう動作する。再び、これを実現するために、信号の復号（及び再符号化）が少なくとも部分的に必要となる。ヘッドロケーション部４０５と修正部４０６とが同一の場所に位置することは、便利ではあるが、実際には必ずしも必要ではなく、これらが分けられれば自然ではあるが、リンクが頭位置信号を一方から他方へ搬送するために必要とされるであろうことに留意せよ。
【００１３】
上述のシステムにおいて、頭位置信号は２次元で頭位置を示している。しかしながら、所望されれば、該信号がまた（或いは代わりに）３次元でその位置を、つまり、カメラからの頭の距離を示すようにこれを修正することができよう。これは、以下によって実現される。
（ａ）別の距離測定装置によって、
（ｂ）もしカメラが自動焦点調整構成を有するならば、カメラのレンズの焦点を合わせた距離を示す自動焦点回路からの出力、又は
（ｃ）映像信号を分析することによって頭のサイズを示す信号を生成する
厳密に言えば、これは頭の「位置」ではなく、勿論カメラからのその距離の良い推定である。
【００１４】
本来（ａ）又は（ｂ）はハンドセットにあるべきであるが、（ｃ）は他の場所でもよい。この場合においてユーザへのフィードバックは、頭とカメラの距離が増すにつれて表示される画像を小さくし、距離が減じれば大きくするような、他のものから表示された像のサイズに対して調整の形態をとることができる。
【００１５】
記述されたフィードバックの構成は、それ自身の権利（right）で画像の満足な送信のために頭のセンタリング（centering）を改善するときに使用する。しかしながら、それらはまた符号化システムの使用を促進することができ、該符号化システムは外部領域に対してよりも画像の中心領域の符号化と送信に対してより多くの資源を振り向ける。このようなシステムは過去に映像電話方式に対して提案されてきたけれど、その１つがユーザの頭は画像品質が良い中心領域にあるという妥当な信頼を持たない限りこれらの使用はあまり実際的ではない。
【００１６】
こうして図２のシステムはこのような符号化システム、しばしば「中心偏重圧縮（centre-weighted compression）」と称される、を使用できる。ディジタルシステムでは、画像の異なる部分を符号化するために割当てられたビット数を制御することによって質を変えるものがあり、その結果特定の興味のある画像の部分では残りの部分よりも高い質を得ることができる。一般に、従来のフレーム間符号化スキーム（暫定的補充（conditional replenishment）動き補償のある/ないフレーム間符号化を含む）はある形態の閾値を使用する。これはペル（pel）ドメイン或いは変換ドメイン内であってもよい（量子化ステップ）。このようなシステムは本質的に変化するレートでデータを生成して、こうして一定のビットレートチャネルにインタフェースできるようにバッファリングを組み込む。バッファのオーバーフローやアンダーフローを防ぐためにこのようなシステムはフェードバック機構を用いて閾値と／或いは量子化ステップのサイズを変化させる。これらの閾値が次の２つの（関係した）ことを行うことができることに留意せよ。
１．どちらの領域がアップデートされてどちらがされないか（暫定的補充においてのように）を判断する。
２．アップデートされる領域のアップデートの質を制御する。
【００１７】
それ故に、中心偏重圧縮をフレーム領域をこえてこれらのパラメータを変化させることによって実現することができる。
【００１８】
これの特定の例はＨ．２６１、ＭＰＥＧ１、ＭＰＥＧ２、又はＭＰＥＧ４規格により動作するコーダ（coder）を用いることであるが、これらの規格のシンタックス（syntax）が画像の各マクロブロックに対して異なる量子化ステップサイズの使用を認めるからであり、修正されたコーダを使用できるがしかし受領に対しては標準のデコーダを使用することを意味する。通常、コーダは各マクロブロックに関して量子化ステップサイズを得る（前のマクロブロックに対してと同じものになるならば送信される必要はないということに基づいて、それはあまり頻繁ではないが、いつもスライス毎に１度送信される）。ステップサイズの実際の値はバッファ制御フィードバックに依存し、また問題となるマクロブロックにおける画像アクティビティのレベルに依存するが、該マクロブロックが該画像内のどこにあるかには依存しない。こうして、中央偏重（重み付け）（centre−weighting）を実現するために、ステップサイズ制御アレンジメントは修正されて画像の中央にあるマクロブロックに関するステップサイズを縮小する（或いは興味のある他の領域にあるマクロブロックに関するステップサイズを拡大する）。所望されれば、さらにきれいな遷移のために２つ以上の質レベルを有することも可能である。
【００１９】
もし頭位置の構成が中心からのオフセットである頭位置の識別を許容するようなものであれば、この情報は、所望されれば、コーダに与えられて画像の高解像度領域に同様のオフセットを生成することができる。事実、このような構成はユーザが上述の方法でその頭位置に関するフィードバックを受領しないシステムにおいてでさえ価値がある。
【００２０】
もしハンドセット１が通信しているハンドセット２がこのような符号化を採用するならば、ハンドセット１によって（或いはその代わりにネットワークによって）適用されたデグレデーション(degradation)は画像の中心の、高品質の、一部分にのみ適用されるであろうことを我々は認識するだろう。
【００２１】
最後に、これらの例は手持ち装置が無線で通信する映像システムを描いているが、本発明は他の場合においても、例えば固定された装置に、或いは有線接続された手持ち装置に（例えば、それ自体がオンワード（onward）有線或いは無線接続接続を有する分離した中間装置に）適用できることに留意すべきである。
【図面の簡単な説明】
【００２２】
【図１】図1は映像電話システムを概略的に図示する。
【図２】図２は本発明の１実施形態によるハンドセットのブロック図である。
【図３】図３は本発明の別の実施形態による基地局のブロック図である。
【図１】
2004532568.tif 000004
【図２】
2004532568.tif 000005
【図３】
2004532568.tif 000006
【国際公開パンフレット】
2004532568.tif 000007
2004532568.tif 000008
2004532568.tif 000009
2004532568.tif 000010
2004532568.tif 000011
2004532568.tif 000012
2004532568.tif 000013
2004532568.tif 000014
2004532568.tif 000015
2004532568.tif 000016
2004532568.tif 000017
2004532568.tif 000018
2004532568.tif 000019
2004532568.tif 000020
2004532568.tif 000021
2004532568.tif 000022
【国際公開パンフレット（コレクトバージョン）】
2004532568.tif 000023
2004532568.tif 000024
【国際調査報告】
2004532568.tif 000025
2004532568.tif 000026