(57)【要約】コーデックは、連続したビデオストリームを受信するビデオ入力（３３）と、符号化されたビデオストリームをもたらすようにビデオストリームを符号化するエンコーダ（４２）と、ビデオストリームを伝送するビデオ出力（３７）と、切替手段（３９）とを備える。切替手段は、符号化中に、ビデオストリームが第１の符号化フォーマットに従って符号化される第１のモードと、ビデオストリームが第２の符号化フォーマットに従って符号化される第２のモードとの間で、符号化されたビデオストリームを切り替えるためのものである。本発明はまた、ビデオストリームを復号するための対応するコーデックに関する。別の側面では、本発明は、ビデオ画像内の対象の輪郭を識別するプロセッサに関する。
2011528208.tif 000002
【特許請求の範囲】
【請求項１】
連続したビデオストリームを受信するビデオ入力と、
該ビデオストリームを符号化して、符号化されたビデオストリームをもたらすエンコーダと、
該符号化されたビデオストリームを伝送するビデオ出力と、
該ビデオストリームが第１の符号化フォーマットに従って符号化される第１のモードと、該ビデオストリームが第２の符号化フォーマットに従って符号化される第２のモードとの間で、該エンコーダを符号化中に切り替える切替手段と
を備える、コーデック。
【請求項２】
符号化されたビデオストリームを受信するビデオ入力と、
該符号化されたビデオストリームを復号して、復号されたビデオストリームをもたらすデコーダと、
該復号されたビデオストリームを伝送するビデオ出力と、
該符号化されたビデオストリームが第１の符号化フォーマットに従って復号される第１のモードと、該符号化されたビデオストリームが第２の符号化フォーマットに従って復号される第２のモードとの間で、該デコーダを復号中に切り替える切替手段と
を備える、コーデック。
【請求項３】
前記切替手段は、前記第１のモードと前記第２のモードとの間で前記エンコーダ／デコーダを切り替えるために外部の制御信号に応答する、請求項１または請求項２に記載のコーデック。
【請求項４】
前記コーデックは、前記ビデオストリームのビデオ画像の解像度および／またはサイズを変更することが可能である、請求項１〜３のいずれか一項に記載のコーデック。
【請求項５】
テレプレゼンスシステムであって、
隔離された対象画像および／またはペッパーズゴーストとして表示される対象を撮影するカメラと、
請求項１に記載の第１のコーデックであって、該カメラによって生成されたビデオストリームを受信し、符号化されたビデオストリームを出力する、コ―ディックと、
該符号化されたビデオストリームを遠隔位置にある請求項２に記載の第２のコーデックに伝送する手段であって、該第２のコーデックは、該符号化されたビデオ信号を復号し、該復号されたビデオ信号に基づいて、復号されたビデオ信号を該隔離された対象画像および／またはペッパーズゴーストを作り出す装置に出力するように配設される、手段と、
制御信号を生成して、該第１のコーデックに、該第１のモードと該第２のモードとの間で切り替えさせるように配設される、ユーザ操作スイッチと
を備える、テレプレゼンスシステム。
【請求項６】
前記ユーザ操作スイッチは、制御信号を生成して、前記第２のコーデックに、前記第１のモードと前記第２のモードとの間で切り替えさせるように配設される、請求項５に記載のテレプレゼンスシステム。
【請求項７】
前記第２のコーデックは、前記符号化されたビデオストリームの符号化フォーマットを自動的に決定し、前記正しい（第１または第２の）モードを使用して、該符号化されたビデオストリームを復号するために切り替わるように配設される、請求項６に記載のテレプレゼンスシステム。
【請求項８】
対象のテレプレゼンスを生成する方法であって、
該対象を撮影して、連続したビデオストリームを生成することと、
該ビデオストリームを遠隔位置に伝送することと、
該伝送されたビデオストリームに基づいて、隔離された対象画像および／またはペッパーズゴーストを該遠隔位置において作り出すことと
を含み、
該ビデオストリームを伝送することは、撮影されている動作の変化に基づいて、該ビデオストリームの該伝送中に、複数の符号化フォーマットのうちの異なるフォーマットを選択することと、該符号化フォーマットを該選択された符号化フォーマットに伝送中に変更することとを含む、方法。
【請求項９】
前記動作の変化は、前記対象の運動量の変化、該対象の照明の変化、前記遠隔位置にいる人との撮影された対象の相互作用のレベルの変化、および／または表示される前記画像の中のテキストまたは図形の包含である、請求項８に記載の方法。
【請求項１０】
実質的に図２を参照して本明細書において説明されるようなコーデック。
【請求項１１】
実質的に図１〜８を参照して本明細書において説明されるようなテレプレゼンスシステム。
【請求項１２】
ビデオプロセッサであって、
ビデオストリームを受信するビデオ入力と、
処理されたビデオストリームを伝送するビデオ出力と
を備え、
該プロセッサは、隣接した画素または複数組の画素を識別するために各フレームの画素を走査することによって、該ビデオストリームの各フレームの中の対象の輪郭を識別するように配設され、該隣接した画素または複数組の画素の属性間の相対的差異は、所定のレベルを上回り、これらの画素または複数組の画素間の連続した線として該輪郭を画定しており、該輪郭の範囲外である画素を事前に選択した色にする、ビデオプロセッサ。
【請求項１３】
前記相対的差異は、明るさのコントラストである、請求項１２に記載のビデオプロセッサ。
【請求項１４】
前記相対的差異は、前記隣接した画素または複数組の画素の中において捕捉された特性スペクトルの差異である、請求項１２に記載のビデオプロセッサ。
【請求項１５】
前記ビデオストリームを実質的にリアルタイムで処理するように配設されることにより、該ビデオストリームを継続的に伝送する（または少なくとも表示する）ことができる、請求項１２〜１４のいずれか一項に記載のビデオプロセッサ。
【請求項１６】
前記輪郭を識別することは、隣接する事前設定数の連続画素の属性と対比する該属性を有する、事前設定数の連続画素を決定することを含む、請求項１２〜１５のいずれか一項に記載のビデオプロセッサ。
【請求項１７】
前記事前設定数を調整する手段を含む、請求項１６に記載のビデオプロセッサ。
【請求項１８】
前記フレームを修正するように配設されることにより、前記識別された輪郭に沿って高い相対発光を伴う画素の線を提供する、請求項１２〜１７のいずれか一項に記載のビデオプロセッサ。
【請求項１９】
高い相対発光の各画素は、前記ビデオプロセッサが置き換えた、前記対応する画素と同一の色を有する、請求項１８に記載のビデオプロセッサ。
【請求項２０】
自身の上に記憶された命令を有するデータキャリアであって、該命令がプロセッサによって実行されると、該プロセッサに、
ビデオストリームを受信することと、
隣接した画素または複数組の画素を識別するために、各フレームの画素を走査することによって該ビデオストリームの各フレームの中の対象の輪郭を識別することであって、該隣接した画素または複数組の画素の属性間の相対的差異は、所定のレベルを上回り、これらの画素または複数組の画素間の連続した線として該輪郭を画定する、ことと、
該輪郭の範囲外である画素を、事前に選択した色にすることと、
該処理されたビデオストリームを伝送することと、
を実行させる命令を有する、データキャリア。
【請求項２１】
ペッパーズゴーストとして投影されるように対象を撮影する方法であって、
該対象の前方を照射する１つ以上のフロントライト、および該対象の後方を照射する１つ以上のバックライトを有する照明配設の下において、該対象を撮影することを含み、
該フロントライトは、該バックライトによって放射される光の特有の周波数スペクトルとは異なる特有の周波数スペクトルを有する光を放射する、方法。
【請求項２２】
コーデックであって、
対象のビデオストリームを受信するビデオ入力と、
符号化されたビデオストリームをもたらすように該ビデオストリームを符号化するエンコーダと、
該符号化されたビデオストリームを伝送するビデオ出力と
を備え、
該エンコーダは、該対象の輪郭を識別し、該符号化されたビデオストリームを形成するように該輪郭の範囲に入る画素を符号化する一方で、該輪郭の範囲外である画素を無視することによって該ビデオストリームの各フレームを処理するように配設される、コーデック。
【請求項２３】
前記輪郭の範囲外である前記画素は、前記対象の該輪郭を画定する高い発光画素から識別され、この高い発光画素の輪郭の片側（外側）への画素は無視される、請求項２２に記載のコーデック。
【請求項２４】
前記エンコーダは、前記ビデオストリームを多重化するマルチプレクサを備える、請求項２２または請求項２３に記載のコーデック。
【請求項２５】
前記対象の前記輪郭の範囲内である前記画素は、いくつかのセグメントに分割され、各セグメントは、周波数分割多重（ＦＤＭ）の信号として別個の搬送波上で伝送される、請求項２４に記載のコーデック。
【請求項２６】
コーデックであって、
ビデオストリームおよび関連音声ストリームを受信するビデオ入力と、
該ビデオおよび音声ストリームを符号化するエンコーダと、
該符号化されたビデオおよび音声ストリームを別のコーデックに伝送するビデオ出力と
を備え、
該コーデックは、該ビデオおよび音声ストリームの伝送中に、周期的に別のコーデックに試験信号（ピング）を伝送し、他のコーデックから前記試験信号へのエコー応答を受信し、該試験信号の送信と該エコー応答の受信との間の時間から、該他のコーデックへの伝送のための信号待ち時間を決定し、該決定された信号待ち時間に対して、好適な遅延またはさらなる音声ストリームを導入するように配設される、コーデック。
【請求項２７】
コーデックであって、
別のコーデックから、符号化されたビデオストリームおよび関連音声ストリームを受信するビデオ入力と、
該ビデオおよび音声ストリームを復号するデコーダと、
該復号されたビデオおよび音声ストリームを伝送するビデオ出力と
を備え、
該コーデックは、該ビデオおよび音声ストリームの伝送中に、試験信号（ピング）の受信に応答して、該別のコーデックにエコー応答を伝送するように配設される、コーデック。
【請求項２８】
隔離された対象および／またはペッパーズゴーストとして表示される複数のビデオストリームを伝送するシステムであって、
該複数のビデオストリームを受信し、該複数のビデオストリームを符号化し、該符号化した複数のビデオストリームを遠隔位置に伝送するコーデックを備え、
該複数のビデオストリームは、該複数のビデオ信号のうちの１つに基づいて、同期結合（ゲンロック）される、システム。
【請求項２９】
ビデオプロセッサであって、
ビデオストリームを受信するビデオ入力と、
処理されたビデオストリームを伝送するビデオ出力と
を備え、
該プロセッサは、明るい対象と比較した暗い背景に起因する所定のレベルを上回るコントラストを有する画素または複数組の画素を識別するように、各フレームの画素の各線を走査すること、および画素または複数組の画素のいずれかの元の発光よりも高い発光を有するように、これらの画素または複数組の画素のうちの一方または両方を修正することによって、該ビデオストリームの各フレームの中の対象の輪郭を識別するように配設される、ビデオプロセッサ。
【発明の詳細な説明】
【技術分野】
【０００１】
（発明の分野）
本発明は、ビデオ処理に関し、特に、これらに限定しないが、その正面で対象が撮影された背景から隔離（キーアウト）された対象（以下、「隔離された対象画像」と呼ぶ）の「リアルタイムの」ペッパーズゴーストおよび／または画像を生成するための、テレプレゼンスシステムにおいて使用するためのビデオコーデックおよびビデオプロセッサに関する。
【背景技術】
【０００２】
従来のテレプレゼンスシステムでは、１つの位置において捕捉されるその背景内で完成する対象のビデオ画像が、例えば、インターネットまたはマルチプロトコルラベルスイッチング（ＭＰＬＳ）ネットワーク上で、対象および背景の画像が、ペッパーズゴーストとして投影されるか、または別の方法で表示される遠隔位置に伝送される。伝送は、「リアルタイム」または少なくとも擬似的なリアルタイムの画像が、その遠隔位置において対象に「テレプレゼンス」を与えるために、遠隔位置において生成することができるように、実施され得る。ビデオの伝送は、通常、システムの伝送側および受信側のそれぞれにおいてビデオを符号化および／または復号するために、事前に設定したコーデックの使用を含む。
【０００３】
通常、コーデックは、伝送のために、ビデオ（音声を含む）ストリームを暗号化し、データパケットに圧縮するためのソフトウェアを含む。符号化の方法は、ビデオストリームを受信するステップと、ビデオストリームをインターレースまたはプログレッシブ信号のうちの１つに符号化するステップを含む（また、圧縮技術を含み得る）。
【０００４】
プログレッシブビデオ信号から生成される、実質的に静止した対象のペッパーズゴーストまたは隔離された対象画像は、きれいで詳細な画像をもたらすことが分かっている。しかしながら、同等の１秒当たりのフレーム数（ｆｐｓ）において、プログレッシブ信号は、インターレース信号の２倍の大きさであり、ビデオ画像が１つの位置で捕捉され、有限帯域幅の通信回線上で別の位置に伝送されるテレプレゼンスシステムでは、大きなプログレッシブ信号の伝送は、投影される「リアルタイムの」画像に望ましくないアーチファクトを作り出す、待ち時間／不一致をもたらし得る。例えば、ビデオの対象が動いている場合、隔離された対象またはペッパーズゴーストは、流れるようには見えない場合があり、待ち時間は、実際の人物と、隔離された対象またはペッパーズゴーストの対象との相互作用において、知覚可能な遅延をもたらす場合があり、あるいは通信回線の障害は、ビデオの空白フレームおよび／または欠落した音声をもたらす場合がある。これにより、対象のテレプレゼンスの現実感が減少する。
【０００５】
ビデオストリームを圧縮するか、またはインターレースビデオ信号を使用して符号化することによって、そのような信号遅延を減少させることが可能である場合がある。概して、未加工のＢＰ標準画質（ＳＤ）ストリームは、毎秒２７０ｍ／ビットであり、毎秒１．５乃至２ｍ／ビットの間まで、７２０Ｐは毎秒２乃至３ｍ／ビットの間まで、１０８０Ｐは毎秒４乃至１０ｍ／ビットの間まで圧縮することができる。
【０００６】
しかしながら、ビデオストリームの圧縮は、元データの完全性のうちのある要素を失うか、または何らかの形で劣化するという結果になる。例えば、ＨＤビデオストリームの圧縮は、通常、画像の彩度の低下、コントラストの減少を引き起こし、レンズの焦点の明らかなまたは知覚される損失によって、対象の本体の周りに運動のぼやけの出現を挿入する。この画像の明らかな軟化は、眼窩等、画像が暗くなる細部の領域上において、対象が右または左に突然あるいは素早く移動する状況の中で、およびビデオ画像が高コントラストを有する状況に中で、最もあきらかになる。
【０００７】
インターレースビデオ信号は、同一のｆｐｓでプログレッシブ信号の帯域幅の半分を使用するとき、隔離された対象またはペッパーズゴーストの流れるような動きの出現を保持する一方で、信号待ち時間を減少させるように使用され得る。しかしながら、インターレースビデオ信号の偶数線と奇数線との間のインターレース切り替え効果は、画像の垂直解像度の品質を減少させる。これは、画像をぼやけさせる（アンチエイリアス処理）ことによって補正することができるが、しかしながら、そのようなアンチエイリアス処理は写像性に犠牲を強いる。
【０００８】
プログレッシブ信号に勝るインターレース信号の利点は、インターレース信号がフレーム毎に２つのフィールドを使用するので、インターレース信号から生成された画像の中の動きが、プログレッシブ信号から生成された画像の中の動きよりも滑らかに見えることである。プログレッシブビデオ信号を使用して生成される、隔離された対象画像またはペッパーズゴーストは、減少した動きの捕捉、およびビデオのフルフレームが徐々に表示されるという事実のため、インターレースビデオ信号を使用して生成する画像より平らに見えるので、より現実感に欠けて見え得る。しかしながら、テキストおよび図形、特に静的な図形は、プログレッシブ信号から生成される画像が、静的な画像に対してより滑らかでよりくっきりとした輪郭端を有するので、プログレッシブビデオ信号を使用して生成されることから恩恵を受けることができる。
【０００９】
したがって、コーデックがどのタイプの符号化フォーマットを使用するように事前に設定されていようとも、その結果として得られた隔離された対象またはペッパーズゴーストに望ましくない効果が生じる可能性がある。これは、例えば、ステージ上の動作といった撮影されている動作およびシステム要件が、制作の間中著しく変化し得る、公共／大型イベントにおけるテレプレゼンスの生成に特有の問題である。
【００１０】
あるテレプレゼンスシステム（以下、「没入型テレプレゼンスシステム」と呼ぶ）に対して、１つの位置において捕捉された画像（隔離された対象画像）の背景からキーアウトされた対象のビデオ画像は、遠隔位置に送信され、キーアウトされた画像は、場合によっては、遠隔位置において、隔離された対象画像および／またはペッパーズゴーストとして本物の対象の隣に表示される。これは、キーアウトされた対象が、遠隔位置に実際に存在するという錯覚をつくり出すために使用することができる。対象ではない画像の領域は、理想的にはその最も純粋な形（すなわち、灰色ではなく）で、黒を備える。しかしながら、隔離された対象画像の処理および伝送は、画像の黒の領域を誤信号で不純にし、その結果、没入型テレプレゼンス体験を弱める、スペックル、低光度、および着色干渉等のアーチファクをもたらす。
【発明の概要】
【課題を解決するための手段】
【００１１】
本発明の第１の側面に従い、連続したビデオストリームを受信するためのビデオ入力と、符号化されたビデオストリームをもたらすようにビデオストリームを符号化するためのエンコーダと、符号化されたビデオストリームを伝送するためのビデオ出力と、ビデオストリームの符号化中に、ビデオストリームが第１の符号化フォーマットに従って符号化される第１のモードから、ビデオストリームが第２の符号化フォーマットに従って符号化される第２のモードに、エンコーダを切り替えるための切替手段とを備える、コーデックが提供される。
【００１２】
本発明の第２の側面に従い、符号化されたビデオストリームを受信するためのビデオ入力と、復号されたビデオストリームをもたらすように符号化されたビデオストリームを復号するためのデコーダと、復号されたビデオストリームを伝送するためのビデオ出力と、符号化されたビデオストリーの復号中に、符号化されたビデオストリームが第１の符号化フォーマットに従って復号される第１のモードから、符号化されたビデオストリームが第２の符号化フォーマットに従って復号される第２のモードに、デコーダを切り替えるための切替手段とを備える、コーデックが提供される。
【００１３】
本発明の利点は、コーデックが、撮影されている映像の長さ、例えば、利用可能な帯域幅といったネットワーク性能、および／または外部要因に基づいて、適切であるように、異なるフォーマットにあるビデオストリームを符号化するために、流れの中ほどにおいて切り替えることができることである。切替手段は、第１のモードと第２のモードとの間でエンコーダ／デコーダを切り替えるための外部の制御信号に応答し得る。例えば、外部の制御信号は、ボタン／スイッチを操作して、識別の条件の検出において自動的に、または発表者、芸術家、または他の管理者等のユーザによって、生成されてもよい。
【００１４】
コーデックは、そこから符号化されたビデオストリームを受信する／そこに符号化されたビデオストリームを伝送する、対応するコーデックに／から制御メッセージを伝送および受信するように配設され得、制御メッセージは、ビデオストリームが符号化された、符号化フォーマットの指示を含む。コーデックは、受信された制御メッセージに応答して、モード間で切り替えるように配設され得る。
【００１５】
符号化フォーマットは、プログレッシブ方式の、例えば７２０ｐ、１０８０ｐビデオ信号、またはインターレース方式の、例えば１０８０ｉビデオ信号のようなビデオ信号を符号化、例えば１秒当たりのフレーム数２４乃至１２０の識別のフレームレートでの、および／あるいは例えば３：１：１、４：２：０、４：２：２、または４：４：４等、識別の色の圧縮標準に従う符号化といったビデオ信号の圧縮でのビデオストリームの符号化、もしくは１．５と４メガビット／秒との間等、識別の入力／出力データ速度を達成するための符号化であってもよい。したがって、コーデックは、必要に応じて、プログレッシブ信号とインターレース信号との間で、異なるフレームレートおよび／または圧縮標準を切り替えてもよい。
【００１６】
ＭＰＥＧ等の可変ビットレートフォーマットは、本明細書で使用される通りの用語の意味内の単一符号化フォーマットであることが理解されるであろう。
【００１７】
本発明の第３の側面に従い、隔離された対象画像および／またはペッパーズゴーストとして表示されるように、対象を撮影するためのカメラと、カメラによって生成されたビデオストリームを受信し、符号化されたビデオストリームを出力するための、本発明の第１の側面に従う第１のコーデックと、符号化されたビデオストリームを遠隔位置にある本発明の第２の側面に従う第２のコーデックに伝送するための手段であって、第２のコーデックは、符号化されたビデオ信号を復号し、復号されたビデオ信号を復号されたビデオ信号に基づき、隔離された対象画像および／またはペッパーズゴーストを作り出すための装置に出力するように配設される手段と、制御信号を生成し、第１のコーデックに、第１のモードと第２のモードとの間で切り替えさせるように配設される、ユーザ操作スイッチとを備える、テレプレゼンスシステムが提供される。
【００１８】
そのようなシステムにより、例えば、監督、発表者、芸術家といった操作者が、撮影されている動作に基づいて符号化する方法を制御することが可能になる。例えば、対象の動きがほとんどない場合には、操作者は、プログレッシブ信号に圧縮をほとんどまたは全く提供しないフォーマットを選択してもよい一方で、対象の著しい動きがある場合は、操作者は、インターレース信号に随意で高圧縮を提供するフォーマットを選択してもよい。
【００１９】
ユーザ操作スイッチはさらに、制御信号を生成し、第２のコーデックに、第１のモードと第２のモードとの間で切り替えさせるように配設されてもよい。代替として、第２のコーデックは、符号化されたビデオストリームの符号化フォーマットを自動的に決定し、正しい（第１または第２の）モードを使用して、符号化されたビデオストリームを復号するよう切り替わるように配設されてもよい。
【００２０】
本発明の第４の側面に従い、連続したビデオストリームを生成するように対象を撮影するステップと、ビデオストリームを遠隔位置に伝送するステップと、伝送されたビデオストリームに基づき、隔離された対象画像および／またはペッパーズゴーストを遠隔位置で作り出すステップとを含む、対象のテレプレゼンスを生成する方法が提供され、ビデオストリームを伝送するステップは、撮影されている動作の変化に基づき、ビデオストリームの伝送中に、複数の符号化フォーマットのうちの異なるフォーマットを選択するステップと、伝送中に、符号化フォーマットを選択された符号化フォーマットに変更するステップとを含む。
【００２１】
撮影されている動作の変化は、対象の動き、ビデオフレームに進入する追加の対象、対象の照明の変化、遠隔位置にいる人との撮影された対象の相互作用のレベルの変化、テキストまたは図形の包含、あるいは撮影されている／ビデオの中に形成されている動作の他の好適な変化であってもよい。
【００２２】
本発明の第５の側面に従い、隔離された画像および／またはペッパーズゴーストとして表示されるように、対象を撮影するためのカメラと、符号化されたビデオストリーム、およびさらに隔離された画像および／またはペッパーズゴーストの制作と関連があるデータを、遠隔位置に伝送するための通信回線と、伝送されたビデオストリームを使用して、隔離された画像および／またはペッパーズゴーストを生成するための遠隔位置にある装置と、帯域幅がより遠いデータの伝送に使用されていない時に、ビデオ信号の伝送用通信回線の帯域幅を割り当てるための切替手段とを備える、テレプレゼンスシステムを提供する。
【００２３】
本発明の第５の側面のシステムの利点は、システムが、より現実的な隔離された画像および／またはペッパーズゴーストを達成するように利用可能な帯域幅に集中することである。例えば、より遠いデータは、遠隔位置で観客等の人々と撮影されている対象との間の相互作用に必要とされる、音声ストリーム等のデータ、およびであってもよく、伝送される必要がある、より遠いデータの量は、相互作用のレベルの変化とともに変化してもよい。
【００２４】
本発明の第６の側面に従い、ビデオストリームを受信するためのビデオ入力と、処理されたビデオストリームを伝送するためのビデオ出力とを備えるビデオプロセッが提供され、プロセッサは、隣接した画素または複数組の画素を識別するように、各フレームの画素を走査することによって、ビデオストリームの各フレームの中の対象の輪郭を識別するように配設され、隣接画素または複数組の画素の属性間の相対的差異は、所定のレベルを上回り、これらの画素または複数組の画素間の連続した線として、輪郭を画定しており、輪郭の範囲外である画素を、事前に選択した色、好ましくは黒にする。
【００２５】
本発明の第６の側面のビデオプロセッサは、対象の輪郭の外側のノイズアーチファクトを排除する間、ビデオストリームの各フレームの中の対象を自動的にキーアウトすることができるため、有利である場合がある。ビデオプロセッサは、ビデオストリームを継続的に伝送する（または少なくとも表示する）ことができるように、ビデオストリームを実質的にリアルタイムで処理するように配設されてもよい。
【００２６】
相対的差異は、明るさおよび／または色のコントラストであってもよく、画素または複数組の画素は、周囲の暗い背景を表す画素または複数組の画素より明るく現れる対象を表す。このコントラストは、ビデオの中の対象が、対象の周りの光の明るい周縁部を創造するように逆光だった場合（テレプレゼンスの照明設定においてかなり典型的であるように）に、強化されてもよい。
【００２７】
相対的差異は、隣接画素または複数組の画素の中で捕捉される特性スペクトルの差異であってもよい。特に、画素の特性スペクトルは、画素の、赤、青、緑（ＲＧＢ）等の異なる周波数成分の相対強度であってもよい。例えば、ビデオの中の対象は、対象の前方を照射する光から放射される光へ、異なる周波数スペクトルを有する光を放射する光で、背後から照られさている。結果として、各画素の周波数成分の相対強度は、その画素によって表される領域が、フロントライトまたはバックライトによって大部分照射されるかどうかに依存するであろう。対象の輪郭は、隣接画素または複数組の画素の周波数成分の相対強度に、所定レベルを上回る変化があると、識別することができる。例えば、白色ＬＥＤは、タングステン光等、周波数の広い帯域にわたって光を生成する光源から作り出され得る、特性スペクトルとは異なる画素の特性スペクトルをもたらす、非常に特異的な周波数で鋭いピークを生成してもよい。
【００２８】
輪郭を識別するステップは、隣接する事前設定数の連続画素の属性と対比する属性（例えば、明るさおよび／または色）を有する、事前設定数の連続画素を決定するステップを含んでもよい。適切な閾値に画素の事前設定数を設定することによって、プロセッサは、散発性ノイズを対象の輪郭として誤って識別しない（ノイズによって生成される画素アーチファクト数は、対象の一層小さな物体によって生成される画素数よりさらに少ない）。一実施形態では、ビデオプロセッサは、事前設定数を調整する（すなわち、対比する画素が、ノイズアーチファクトよりむしろ、対象の存在によって生じるとみなされる、閾値を調整する）ための手段を有する。
【００２９】
プロセッサは、識別された輪郭に沿って高い相対発光を伴う画素の線を提供するように、う、フレームを修正するように配設されてもよい。高い相対発光の各画素は、ビデオプロセッサが置き換えた、対応する画素と同一色を有してもよい。対象の周りの光の明るい周縁部が、画像が２‐Ｄ画像よりむしろ３‐Ｄであるという錯覚を創造するのに役立つ場合があるため、高い発光画素の適用により、処理されたビデオストリームによって創造される、隔離された対象画像および／またはペッパーズゴーストの現実感が強化されてもよい。さらに、高い発光画素に同一色を使用することによって、高い発光画素の適用は、画像を非現実的にはしない。
【００３０】
１つの配設では、対象の輪郭を識別するステップは、低減されたカラービット深度フレームを生み出すように、フレームのカラービット深度を低減するステップと、所定のレベルを上回るコントラストを有する画素または複数組の画素を包含するフレームの領域を識別するように、低減されたカラービット深度フレームを走査するステップと、所定のレベルを上回るコントラストを有する画素または複数組の画素を識別するように、低減されたビット深度フレームの識別された領域に対応する、元のフレーム（そのカラービット深度を低減させていない）の領域内の画素を走査するステップと、これら画素または複数組の画素間の連続した線として輪郭を画定するステップとを含む。
【００３１】
この配設は、カラービット深度フレーム上においてより低い粒度で、走査を実施することができ、元のフレームの識別された領域のみが、高粒度で走査される必要があるため、有利である。このように、輪郭の識別は、より迅速に実施されてもよい。
【００３２】
本発明の第７の側面に従い、その上に記憶された命令を有するデータキャリが提供され、プロセッサによって実行される時、プロセッサに、ビデオストリームを受信させ、隣接画素または複数組の画素を識別するように、各フレームの画素を走査することによって、ビデオストリームの各フレームの中の対象の輪郭を識別させ、隣接画素または複数組の画素の属性間の相対的差異は、所定のレベルを上回り、これらの画素または複数組の画素間の連続した線として、輪郭を画定しており、輪郭の範囲外である画素を、事前に選択した色、好ましくは黒にさせ、処理されたビデオストリームを伝送させる。
【００３３】
ビデオプロセッサは、本発明の第１の側面に従い、コーデックの一部であってもよく、そのビデオプロセッサが、ビデオストリームの符号化の前に、ビデオストリームを処理するか、または代替として、ビデオストリームを符号化するコーデックの上流に設置されてもよい。背景からの対象の隔離／キーアウトは、さらなる強化技術を、コーデックの符号化処理の一部として使用することを可能にする場合がある。
【００３４】
本発明の第８の側面に従い、ペッパーズゴーストとして投影されるように、対象を撮影する方法が提供され、方法は、対象の前方を照射するための１つ以上のフロントライト、および対象の後方を照射するための１つ以上のバックライトを有する、照明配設の下で、対象を撮影するステップを含み、フロントライトは、バックライトによって放射される光の特有の周波数スペクトルとは異なる、特有の周波数スペクトルを有する光を放射する。
【００３５】
フロントライトは、タングステンまたはハロゲン光等、周波数の広い帯域にわたって光を放射する、あるいは弧光等、可視光スペクトルにわたって散乱する数々の周波数（少なくとも２つより多い）スパイクを有する光を放射する光であってもよい。バックライトは、例えば、ＬＥＤ光といった、１つまたは２つの識別の周波数で光を放射する光であってもよい。しかしながら、異なる実施形態では、フロントライトがＬＥＤ光、およびバックライト、タングステン光、ハロゲン光、または弧光であってもよいことが理解されるであろう。
【００３６】
代替の実施形態では、フロントおよびバックライトは、同一タイプの光であるが、異なる周波数の中心にある周波数スペクトルを有する光を放射するように配設される。例えば、フロントおよびバックライトは弧光であってもよく、フロントライトが白色光を放射するように配設される一方で、バックライトは青色光を放射するように配設される。また、これは、スペクトルの黄色部分が、バックライトによって主に照らされる領域を捕捉した、その結果得たれたフィルムの画素から失われているため、特有の周波数スペクトルの差異を創造し得る。
【００３７】
さらなる実施形態では、フロントおよびバックライトは、通常の人間の視覚の範囲外の異なる周波数で光を放射するように配設されてもよいが、例えば、赤外光または紫外光といった、好適な機器では検出可能なものである。
【００３８】
方法は、対象の輪郭を識別するように、結果得られたフィルムのスペクトル解析を実施するステップを含んでもよい。スペクトル解析は、本発明の第６の側面に従い、ビデオプロセッサを使用して実行してもよい。
【００３９】
方法は、バックライトおよびフロントライトのうちの１つの電源が入っており、フロントライトおよびバックライトの他方の電源が入っていない時に存在する、特有の周波数スペクトルを測定するステップと、フィルムの中の画素を識別することによって、結果得られたフィルムの中の対象の輪郭を識別するステップとを含んでもよく、測定された特有の周波数スペクトルは、所定の閾値より上である。
【００４０】
本発明の第９の側面に従い、ビデオストリームを受信するためのビデオ入力と、処理されたビデオストリームを伝送するためのビデオ出力とを備えるビデオプロセッサが提供され、プロセッサは、隣接した画素または複数組の画素の属性間の相対的差異が、所定のレベルを上回る、画素または複数組の画素を識別するように、各フレームの画素を走査することによって、ビデオストリームの各フレームの中の対象の輪郭を識別するように配設され、かつ画素または複数組の画素のいずれかの元の発光よりも高い発光を有するように、これらの画素または複数組の画素のうちの一方または両方を修正することによって、ビデオストリームの各フレームの中の対象の輪郭を識別するように配設される。
【００４１】
本発明の第１０の側面に従い、その上に記憶された命令を有するデータキャリアが提供され、プロセッサによって実行される時、プロセッサに、ビデオストリームを受信させ、隣接した画素または複数組の画素の属性間の相対的差異が、明るい対象と比較した暗い背景により、所定のレベルを上回る、隣接した画素または複数組の画素を識別するように、各フレームの画素を走査することによって、ビデオストリームの各フレームの中の対象の輪郭を識別され、かつ画素または複数組の画素のいずれかの元の発光よりも高い発光を有するように、これらの画素または複数組の画素のうちの一方または両方を修正することによって、ビデオストリームの各フレームの中の対象の輪郭を識別する。
【００４２】
本発明の第１１の側面に従い、対象のビデオストリームを受信するためのビデオ入力と、符号化されたビデオストリームをもたらすようにビデオストリームを符号化するためのエンコーダと、符号化されたビデオストリームを伝送するためのビデオ出力とを備える、コーデックが提供され、エンコーダは、本発明の第６の側面のように対象の輪郭を識別し、符号化されたビデオストリームを形成するように、輪郭の範囲に入る画素を符号化する一方で、輪郭の範囲外である画素を無視することによって、ビデオストリームの各フレームを処理するように配設される。
【００４３】
本発明の第１１の側面は、対象を符号化し、各フレームの残余部を無視することのみによって、符号化されたビデオ信号のサイズが減少してもよいため、有利である場合がある。これは、伝送中の必要とされる帯域幅、および信号待ち時間を減少するのに役立つ場合がある。
【００４４】
輪郭の範囲外である画素は、例えば、黒または黒から灰色の範囲といった、識別の色または色の範囲を有する画素、あるいは識別のレベルを下回る発光を有する画素をフィルタリングすることによって無視されてもよい。代替として、輪郭の範囲外である画素は、対象の輪郭を画定する高い発光画素から識別されてもよく、高い発光画素のこの輪郭の片側（外側）への画素は無視される。望ましくない背景を除去する指針として、高い発光画素を使用するステップは、対象の中に存在する暗いおよび／低発光画素が、対象のこれらの部分の不必要な軟化を避けて、保持されてもよいため、有利である場合がある。
【００４５】
エンコーダは、ビデオストリームを多重化するためのマルチプレクサを備えてもよい。対象の輪郭の範囲に入る画素は、いくつかのセグメントに分割されてもよく、各セグメントは、周波数分割多重（ＦＤＭ）の信号として別個の搬送波上で伝送されてもよい。これにより、もしあれば、ビデオストリームに対して必要とされる圧縮の必要性が潜在的に減少する。周波数分割多重は、もしあれば、圧縮を最小化する一方で、コーデックが元のタイムベースにわたってビデオストリームを伸張することが可能になり、さらなる帯域幅を提供するであろう。このように、信号待ち時間が減少する一方で、伝送される情報は増加する。
【００４６】
一実施形態では、エンコーダは、利用可能な帯域幅に基づき、必要に応じて画像のサイズを測るスカラを備えてもよい。例えば、４：４：４のＲＧＢ信号を運ぶ十分な帯域幅がない場合、画像は、４：４：４のＲＧＢ信号を４：２：２のＹＵＶ信号にまで減少するような縮尺に配設されてもよい。これは、例えば、「質疑応答」セッションが、隔離された対象および／またはペッパーズゴーストの対象と、隔離された対象および／またはペッパーズゴーストが表示される位置にいる人との間に発生し得るように、信号待ち時間を減少させるために必要とされてもよい。
【００４７】
ほとんど全ての状況で、圧縮、フレームレート等の符号化フォーマットを調整するステップは、信号待ち時間のレベルに影響を与えるであろう。事前設定コーデックに対して、信号待ち時間は、適切な測定、ならびに隔離された対象および／またはペッパーズゴーストが、信号待ち時間を考慮して、表示される位置で同期されたビデオおよび音声で、あらかじめ決定することができる。しかしながら、符号化フォーマットがビデオストリームの伝送中に変更されてもよい、本発明に従う切り替え可能なコーデックでは、信号待ち時間の変化は、同期された音声およびビデオを維持するように考慮される必要がある。さらに、事前設定コーデックを備えるシステムに対してさえ、信号待ち時間は、例えば、電気通信ネットワーク等のネットワークにわたるルーティングの予測できない変化のため、ビデオストリームの伝送中および／または間に変動する。
【００４８】
本発明の第１２の側面に従い、ビデオストリームおよび関連音声ストリームを受信するためのビデオ入力と、ビデオおよび音声ストリームを符号化するためのエンコーダと、符号化されたビデオおよび音声ストリームを別のコーデックに伝送するためのビデオ出力とを備える、コーデックが提供され、コーデックは、ビデオおよび音声ストリームの伝送中、周期的に別のコーデックに試験信号（ピング）を伝送し、他のコーデックから試験信号へのエコー応答を受信し、試験信号の送信とエコー応答の受信との間の時間から、他のコーデックへの伝送のための信号待ち時間を決定し、決定された信号待ち時間に対して、好適な遅延またはさらなる音声ストリームを導入するように配設される。
【００４９】
本発明の第１３の側面に従い、別のコーデックから、符号化されたビデオストリームおよび関連音声ストリームを受信するためのビデオ入力と、ビデオおよび音声ストリームを復号するためのデコーダと、復号されたビデオおよび音声ストリームを伝送するためのビデオ出力とを備える、コーデックが提供され、コーデックは、ビデオおよび音声ストリームの伝送中、試験信号（ピング）の受信に応答して、他のコーデックにエコー応答を伝送するように配設される。
【００５０】
このように、コーデックは、ビデオおよび音声ストリームのエコーキャンセルならびに／または同期を維持して、２つのコーデック間の伝送によって生じる信号待ち時間の変化を補正することができる。システムの残りに対する固定時間の遅延（すなわち、２つのコーデック間の伝送によって生じる信号待ち時間を除く全て）は、本発明の第１１の側面に従うコーデックにプログラムされてもよく、コーデックは、固定時間の遅延に決定された信号待ち時間を追加することによって、音声ストリームに導入する、適する遅延を決定してもよい。例えば、さらなる固定待ち時間は、隔離された対象および／またはペッパーズゴーストが表示される位置での、音声および表示システムの信号処理ならびに待ち時間の結果として導入することができ、これらは、ビデオおよび音声ストリームの伝送前に測定され、コーデックに事前にプログラムされてもよい。
【００５１】
本発明の第１４の側面に従い、複数のビデオストリームを受信し、複数のビデオストリームを符号化し、符号化した複数のビデオストリームを遠隔位置に伝送するためのコーデックを備える、隔離された対象および／またはペッパーズゴーストとして表示されるように、複数のビデオストリームを伝送するためのシステムが提供され、複数のビデオストリームは、複数のビデオ信号のうちの１つに基づき、同期結合（ゲンロック）される。
【００５２】
本発明の第１４の側面に従うシステムは、ビデオストリームが、隔離された画像および／またはペッパーズゴーストとして表示される時に同期されるため、有利である。例えば、システムは、１つの位置にいる複数の当事者／対象が撮影され、その結果得られた複数のビデオストリームが、別の位置に伝送される、通信リンクの一部であってよい。ビデオストリームが表示される時に、ビデオストリームが同期されることを保証するために、ビデオストリームはコーデックによってゲンロックされる。
【００５３】
本発明の各側面は、独立して、または本発明の他の側面と組み合わせて使用することができることが理解されるであろう。
【００５４】
本発明の実施形態は、以降に、以下の添付の図面を参照して、例としてのみ記載されるであろう。
【図面の簡単な説明】
【００５５】
【図１】図１は、本発明の実施形態に従うテレプレゼンスシステムの概略図である。
【図２】図２は、本発明の実施形態に従うコーデックの概略図である。
【図３】図３は、本発明の実施形態に従う撮影設定の概略図である。
【図４】図４は、本発明の実施形態に従い、ペッパーズゴーストを作り出すための装置の概略図である。
【図５】図５は、コーデックによるフレームの処理を図式的に示す、ビデオ画像のフレームである。
【図６】図６は、本発明の別の実施形態に従う、テレプレゼンスシステムの音声電子機器の概略図である。
【図７】図７および図８は、ペッパーズゴースト画像として投影されるように、対象を撮影するための照明設定の概略図である。
【図８】図７および図８は、ペッパーズゴースト画像として投影されるように、対象を撮影するための照明設定の概略図である。
【発明を実施するための形態】
【００５６】
図１は、ペッパーズゴーストとして表示される対象が撮影される第１の位置１と、対象のペッパーズゴーストが作り出される、第１の位置１から遠隔にある第２の位置２とを備える、本発明の実施形態に従うテレプレゼンスシステムを示す。データは、例えば、インターネットまたはＭＰＬＳネットワークといった、両方が仮想プライベートネットワーク等を使用してもよい双方向通信リンク２０上を第１の位置１と第２の位置２との間を伝達される。
【００５７】
図１、３、７、および８を参照すると、撮影スタジオであってもよい第１の位置１は、ペッパーズゴーストとして位置２に投影されるように、出演者または会議の参加者等の対象１０４を捕捉するためのカメラ１２を備える。対象１０４が第２の位置２にいる人（人々）と情報をやり取りすべき相互作用システムでは、第１の位置は、例えば、ＷＯ２００５０９６０９５またはＷＯ２００７０５２００５で説明されるような銀膜といった、半透明スクリーン１０８と、対象１０４が半透明スクリーン１０８に、投影された画像の反射像１１８を見ることができるように、半透明スクリーン１０８に向かって画像を投影するためのヘッドアップディスプレイ１４とを備えてもよい。スタジオの床は、半透明スクリーン１０８の存在の結果として、カメラレンズの中にグレア／フレアが作り出されるのを防ぐように、黒色の材質１１２で被覆される。
【００５８】
対象１０４は、対象の前方（カメラ１２によって捕捉される対象の側）を照射するためのフロントライト４０３〜４０９と、対象の後方および側面を照射するためのバックライト４１０〜４１６とを備える、照明配設によって照射される。
【００５９】
フロントライト４０３〜４０９は、対象１０４の異なる区画を照射するための光を備え、本実施形態では、対象の頭および胴体を照射するための高いフロントライト４０３、４０４の対と、対象の脚および足を照射するための低いフロントライト４０５、４０６の対とを備える。フロントライトはさらに、対象の目を照射するための高いアイライト４０７と、対象の洋服の影を取り除くための２つの床用補助光４０８、４０９とを備える。
【００６０】
バックライト４１０〜４１６もまた、対象１０４の異なる区画を照射するための光を備える。本実施形態では、バックライト４１０〜４１６は、対象１０４の頭および胴体を照射するための高いバックライト４１０、４１１と、対象１０４の脚および足を照射するためのバックライト４１２、４１３の対とを備える。バックライトはさらに、対象１０４の頭および腰を照射するための高い中央バックライト４１４を備える。サイドライト４１５および４１６は、対象１０４の側面を照射する。
【００６１】
対象１０５は、光４１７および４１８によって上から照射される。黒い壁等、無地の背景幕４１９は、何も書かれていない背景幕を提供する。
【００６２】
カメラ１２は、インテーレースで２５乃至１２０の１秒当たりのフレーム数（ｆｐｓ）で調整可能なフレームレートである、調整可能なシャッタースピードを伴い、プログレッシブで最大６０ｆｐｓでの撮影することが可能である、広角レンズを備える。
【００６３】
カメラ１２によって生成される未加工のデータビデオストリームは、第１のコーデック１８の入力５３に送り込まれる。コーデック１８は、カメラ１２と一体化されてもよく、または分離していてもよい。別の実施形態では、カメラは、第１のコーデック１８に、プログレッシブ、インターレース、または他の事前にフォーマットされたビデオストリームを出力してもよい。
【００６４】
第１のコーデック１８は、図２を参照して以下に説明するように、ビデオストリームを符号化し、通信リンク２０上で、符号化されたビデオストリームを第２の位置２に伝送する。
【００６５】
ここで図１および４を参照すると、第２の位置２は、符号化したビデオストリームを受信し、図４に示す装置を使用して、ペッパーズゴースト８４として表示するためにビデオストリームを復号する、第２のコーデック２２を備える。
【００６６】
装置は、第２のコーデック２２によって復号されたビデオストリーム出力を受信し、脚８８および吊り点９６の間で指示される半透明スクリーン９２に向かって、復号されたビデオストリームに基づく画像を投影する、投影機９０を備える。好ましくは、投影機９０は、プログレッシブおよびインターレースのビデオストリーム両方を処理することが可能な、１０８０ＨＤである。半透明スクリーン９２は、ＷＯ２００５０９６０９５および／またはＷＯ２００７０５２００５で説明されるような、銀膜スクリーンである。
【００６７】
半透明スクリーン９２を眺める観客１００は、舞台８６上の半透明スクリーンによって反射される画像８４を知覚する。観客１００は、前方マスク９４および９８を通して画像８４を眺める。黒のカーテン８２は、投射される画像に背景幕を提供するために、舞台８６の後方に提供される。対応する音は、スピーカー３０を介して作り出される。
【００６８】
一実施形態では、位置２はさらに、観客１００または舞台８６上の動作を撮影するためのカメラ２６と、位置２の音を録音するためのマイク２４とを備えてもよい。カメラは、プログレッシブおよびインターレースのビデオストリームの両方を処理することが可能である。カメラ２６によって生成されるビデオストリーム、およびマイク２４によって生成される音声ストリームは、位置１への伝送のためにコーデック２２に送り込まれる。
【００６９】
位置１に伝送されたビデオは、第１のコーデック１８によって復号され、ヘッドアップディスプレイ１４が、スクリーン１０８に反射された画像１１８を、対象１０４が眺めることができるように復号されたビデオに基づいて画像を投影する。伝送された音声は、スピーカー１６を通して流される。
【００７０】
本実施形態では、コーデック１８と２２とは同一であるが、しかしながら、別の実施形態では、コーデック１８と２２とは異なってもよいことが理解されるであろう。例えば、位置２が、カメラ２６と、ビデオおよび音声ストリームを位置１に送り込むためのマイク２４とを備えていない場合、コーデック２２は単に、ビデオおよび音声ストリームを受信するためのデコーダであってもよく、コーデック１８は単に、ビデオおよび音声ストリームを符号化するためのエンコーダであってもよい。
【００７１】
第１および第２のコーデック１８および２２は、図２に示すコーデック３２に従う。コーデック３２は、カメラ１２または２６によって捕捉された連続したビデオストリームを受信するためのビデオ入力３３と、マイク１０または２４によって録音された音声ストリームを受信するための音声入力３５とを有する。受信されたビデオストリームは、フィルタおよびタイムベースコレクタ５３を通って送り込まれ、フィルタリングされ、タイムベース補正されたビデオ信号は、本実施形態では光学シャープネスエンハンサ（ＯＳＥ）３６である、ビデオプロセッサに送り込まれる。本実施形態では、ＯＳＥ３６は、コーデック３２の一部として示されるが、別の実施形態では、ＯＳＥ３６はコーデック３２から分離していてもよいことが理解されるであろう。
【００７２】
図５を参照すると、（ＯＳＥ）は、所定のレベルを上回るコントラストを有する画素２０４、２０４’または複数組の画素２０５（示されるのは一部のみ）、２０５’を識別するために、ビデオストリームの各フレーム２０３の画素を走査することによって、およびこれらの画素２０４、２０４’または複数組の画素２０５、２０５’の間の連続した線として輪郭を画定することによって、ビデオストリームの各フレームの中の対象２０２の輪郭２０１を識別するように配設される。図５では、低い発光画素２０４および画素２０５の組が斜線によって示され、高い発光画素は、何も書かれない箇所および一連の点によって示される。
【００７３】
低いおよび高い発光画素の正確な明るさは、画素によって異なり、斜線および何も描かれていない画素は、可能な低いおよび高い発光の範囲を表すことを意図することが理解されるであろう。
【００７４】
コントラストは、隣接画素２０４、２０４’または隣接する複数組の画素２０５、２０５’の発光間の差異を取り、フレーム２０３の全画素の平均発光によって割られることによって決定され得る。画素２０４、２０４’または複数組の画素２０５、２０５’間のコントラストが、所定のレベルを上回る場合、これらの画素が、フレームの中の対象の輪郭を構成すると決定される。隔離された対象画像またはペッパーズゴーストを作り出すため定型的なシステムでは、対象は、対象の周りの背景が暗くなるように、暗い、ほとんどは黒の背景幕の前面で撮影され、低い発光画素２０４が背景を表す画像を作り出す。さらに、対象は大抵、対象の端部の回りに光の周縁部を作り出す後方および側面の光によって、背後から光を当てられ、それゆえ、対象の周りの高い発光の画素は、背景を表す低い発光の画素と対比される。
【００７５】
フレーム２０３にわたって走査することによって、ＯＳＥ３６は、高コントラスト（所定のレベルを上回るコントラスト）の第１の例を取り出すことができ、所定のレベルが正しく設定されていると仮定すれば、これは、背景を示す低い発光の画素と、周縁部の照明を示す高い発光の画素との間の境界であるはずである。
【００７６】
走査プロセスは、いずれの好適な方法で実施することができる。例えば、走査プロセスは、単一の側から始まる各画素を走査し、水平、垂直、または斜めに継続し得、あるいは反対側から同時に走査し得る。前者の場合、走査がフレーム２０３全体にわたって行われ、後者の場合、２つの走査が画素または複数組の画素間の高コントラストを検出することなく、中間で出会うとすれば、ＯＳＥ３６は、対象がその線に沿っては存在しないと決定する。
【００７７】
輪郭を識別するステップは、画素が所定のレベルを上回るコントラストを有するかどうかを決定するために、隣接画素２０４、２０４’を比較するステップを含み得、または複数組の画素２０５、２０５’が所定のレベルを上回るコントラストを有するか否かを決定するように、隣接した複数組の画素２０５、２０５’を比較するステップを含み得る。後者の場合の利点は、ＯＳＥ３６がノイズアーチファクトを対象の輪郭として識別することを防ぎ得ることである。例えば、ノイズは、電子伝送と、フレーム２０３の中に高いかまたは低い発光の不揃いな画素２０６および２０７をもたらす場合がある、ビデオストリームの処理とによってフレーム２０３の中に導入される場合がある。個々の画素２０４、２０４’の発光よりむしろ、複数組の画素２０５、２０５’の発光を比較することによって、ＯＳＥ３６は、対象のノイズおよび輪郭を区別することができ得る。
【００７８】
本実施形態では、１組の画素に対応する事前設定数は、３つの連続画素であるが、１組の画素は、４、５、または６画素等、他の数の画素を備えてもよい。したがって、画素の事前設定数を適切な閾値に設定することによって、プロセッサは、散発性ノイズを対象の輪郭として誤って識別はしない（ノイズによって生成される画素アーチファクト数は、対象の小さな物体によってまで生成される画素数よりさらに小さい）。
【００７９】
一実施形態では、コーデック３２／ＯＳＥ３６は、１組の画素を形成する、事前設定数の画素を調整するための手段を有してもよい。例えば、コーデック３２／ＯＳＥ３６は、ユーザが、１組の画素を形成する画素数を選択することを可能にする、ユーザ入力を有してもよい。これは、ユーザが、ビデオストリームに導入されていたかもしれない場合があるとユーザが信じるノイズの量に基づき、走査が対象の輪郭を検索する粒度を設定してもよいため、望ましい場合がある。
【００８０】
ＯＳＥ３６は、組を形成する全画素の発光を合計することによって、複数組の画素２０５、２０５’を比較し、２つの複数組の画素に対する発光の合計間の差を発見し、フレーム２０３の平均画素発光によって差を割ってもよい。その結果得られた値が、所定の値を上回る場合、複数組の画素間の境界が、対象の輪郭を構成すると決定される。各画素は、１組より多い画素の一部を形成してもよく、例えば、走査は、最初、線の第１、第２、および第３の画素から、第４、第５、および第６の画素間のコントラストを比較し、次いで、線の第２、第３、および第４の画素から、第５、第６、および第７の画素のコントラストを比較してもよい。
【００８１】
ＯＳＥ３６が、対象の輪郭を識別するとすぐに、ＯＳＥ３６は、識別された輪郭に沿って高い相対発光を伴う画素の線（点で描いた画素２０８によって示す）を提供するように、フレームを修正する。例えば、点で描いた画素は、フレーム２０３の中のいずれの他の画素より高い発光を有してもよい。図５に示すフレームでは、輪郭の画素のうちの３つが、高い相対発光画素になるように修正されており、２０４’等の輪郭の他の画素は、まだ変更するべきではない。高い相対発光各画素２０８は、置き換えた対応する画素と同一色を有してもよい。対象の回りの光の明るい周縁部が、画像が２‐Ｄ画像よりむしろ３‐Ｄであるという錯覚を創造するのに役立つため、高い発光画素２０８の適用により、処理されたビデオストリームによって創造される、ペッパーズゴーストの現実感が強化されてもよい。さらに、高い発光画素２０８に同一色を使用することによって、高い発光画素２０８の適用は、画像を非現実的にはしない。
【００８２】
ＯＳＥ３６はさらに、輪郭の範囲外である低い発光画素を、黒く、または表示に適切なような事前に選択された色（通常、背景幕／カーテン８２と同一色）にする。
【００８３】
一実施形態では、ＯＳＥ３６は、フレームの２回の走査を実施してもよく、１回目は、フレームのカラービット深度が低減する時で、それによって、コントラストの粒度を減少するが、走査が対象の端部がある場合がある領域を識別するように、迅速に動くことを可能にし、２回目は、端部が低減されたカラービット深度フレームの中で識別された位置の周りの領域の中のみのフルカラービット深度のビット（例えば、数十の画素幅／高さ）にあるフレーム上である。そのようなプロセスにより、対象の端部を発見するのにそのような時間が早まってもよい。
【００８４】
図２を参照すると、処理されたビデオストリームが、ＯＳＥ３６からエンコーダ４２に出力される。エンコーダ４２は、受信されたビデオストリームを、プログレッシブビデオ信号７２０ｐ、１０８０ｐ、またはインターレースビデオ信号１０８０ｉ等の、選択された符号化フォーマットに符号化するように、および／または例えば、ビデオ信号の１．５Ｍｂ／ｓまでの順番への圧縮および圧縮なしの間で可変ビットレートを提供するといった、ビデオ信号を圧縮するように配設される。
【００８５】
音声信号はまた、エンコーダ４２に送り込まれ、適切なフォーマットに符号化される。
【００８６】
符号化は、符号化されたビデオストリームを形成するように、輪郭の範囲に入る画素を符号化する一方で、輪郭の範囲外である画素を無視するステップを含んでもよい。輪郭の範囲に入る画素は、ＯＳＥ３６によって挿入される高い発光画素２０８から識別されてもよい。
【００８７】
符号化されたビデオストリームおよび符号化された音声ストリームは、マルチプレクサ４６に送り込まれ、多重化信号は、信号フィード接続部４８を介して、入力／出力３７を介する双方向通信リンク２０に出力される。
【００８８】
本実施形態では、対象の輪郭の範囲に入る画素は、いくつかのセグメントに分割され、各セグメントは、周波数分割多重（ＦＤＭ）信号として別個の搬送波上で伝送される。周波数分割多重は、コーデックが元のタイムベースにわたって信号を伸張することを可能にする一方で、もし存在するならば、圧縮を最小化する、さらなる帯域幅を提供するであろう。このように、信号待ち時間が減少する一方で、伝送された情報は増加する。
【００８９】
コーデック３２はさらに、異なる符号化フォーマットに従い符号化される複数のモード間で、エンコーダ４２を切り替えるように配設される切替手段３９を備える。切替手段３９およびエンコーダ４２は、モード間の切替が、連続したビデオストリームの伝送中に発生することができるように配設され、すなわち切替は、ペッパーズゴーストを作り出すように、ビデオを位置２または１で継続的に（リアルタイムで）投影するのを防ぐように、ビデオストリームの伝送を中断することなく発生する。切替手段３９は、エンコーダ４２に、本実施形態では、ユーザ起動スイッチ４１または４３から受信される制御信号に応答して、モードを切り替えさせる。
【００９０】
コーデック３２はまた、双方向リンク２０から符号化されたビデオおよび音声ストリームを受信し、フィード接続部４８は、受信した信号をマルチプレクサ５０に方向付ける。ビデオおよび音声ストリームは多重分離され、多重分離信号はデコーダ４４に送り込まれる。
【００９１】
デコーダ４４は、プログレッシブビデオ信号７２０ｐ、１０８０ｐ、またはインターレースビデオ信号１０８０ｉ等の選択された符号化フォーマットから受信されたビデオストリームを復号し、および／または表示に好適なビデオストリームをもたらすよう、ビデオ信号を解凍するように配設される。
【００９２】
符号化されたビデオストリームは、タイムベースコレクタ４０に送り込まれ、出力４７を介してディスプレイ９０または２０に出力される。復号された音声ストリームは、信号拡散を訂正し、音声ストリームを出力４９を介してスピーカー３０または１６に出力する、イコライザ３８に送り込まれる。
【００９３】
切替手段４５は、ビデオ信号が異なる符号化フォーマットに従って復号される複数のモード間で、デコーダ４４を切り替えるように配設される。切替手段４５およびデコーダ４４は、モード間の切替が、連続したビデオストリームの伝送中に発生することができるように配設され、すなわち切替は、ペッパーズゴーストを作り出すように、ビデオを位置１または２で継続的に（リアルタイムで）投影するのを防ぐように、ビデオストリームの伝送を中断することなく発生する。切替手段４５は、デコーダ４５に、本実施形態では、ユーザ起動スイッチ４３または４１から受信される制御信号に応答して、モードを切り替えさせる。本実施形態では、コーデック１８の切替手段４５はユーザ起動スイッチ４３に応答し、コーデック２２の切替手段４５はユーザ起動スイッチ４３に応答する。
【００９４】
エンコーダ４２およびデコーダ４４はまた、システムが必要とするのに応じて、１つのサイズまたは解像度から別のサイズまたは解像度に、ビデオ画像を変換することが可能である。これにより、システムが、投影および／または伝送に必要なように、ビデオ画像を適合させることが可能になる。例えば、ビデオ画像は、より大きな画像内のウィンドウとして投影されてもよく、それゆえ、サイズおよび／または解像度を減少する必要がある。代替として、または加えて、ビデオ画像は、利用可能な帯域幅に基づく縮尺で設計されてもよい。例えば、４：４：４の信号を運ぶのに十分な帯域幅がない場合、画像は、４：４：４のＲＧＢ信号を、４：２：２のＹＵＶ信号に減少するような縮尺で設計されてもよい。これは、例えば、「質疑応答」セッションが、ペッパーズゴーストの対象と、ペッパーズゴーストが表示される位置にいる人との間で発生し得るように、信号待ち時間を減少するために必要とされる場合がある。内蔵スカラを伴うコーデックを有することは、別個のビデオスカラの使用が必ずしも必要なく、システムの複雑性を増加させる場合がある、別のレベルのハードウェアに対する必要性が減少することを意味する。
【００９５】
コーデック３２は、ビデオおよび音声ストリームが、送信される位置で同調して表示／鳴らされることを保証し、エコーキャンセルを提供するように、う、音声ストリームに遅延を適用するように配設される。一実施形態では、音声信号に適用される遅延は、ビデオおよび音声信号の伝送中に測定される、信号待ち時間に基づき決定される、可変遅延である。図６は、そのような音声遅延を達成することができる、コーデック設定を図示する。図６に示すコーデック設定では、音声遅延モジュール／音声キャンセルモジュール３０１、３０１’は、音声入力３３５、３３５’と音声出力３４３、３４３’との間に設置され、音声出力に適用される可変遅延は、以下に説明する方法に基づく。
【００９６】
コーデック３２は、固定時間遅延を伴いプログラムされ、コーデック３１８または３２２は、ビデオおよび音声ストリームの伝送中、周期的に他のコーデック３２２または３１８に試験信号（ピング）を伝送する。試験信号の受信に応答して、他のコーデック３２２または３１８は、エコー応答をコーデック３１８、３２２に送信する。試験信号の送信およびエコー応答の受信の間の時間から、コーデック３１８、３２２は、伝送のための信号待ち時間を決定することができる。瞬時の総時間遅延は、信号待ち時間を固定遅延に付け足すことによって決定され、この総時間遅延は音声ストリームに導入される。
【００９７】
事前にプログラムされた固定時間遅延は、コーデック３１８、３２２間の伝送以外の他の源からの音声信号の伝送の遅延を考慮するのに使用される。例えば、遅延は、ビデオストリームの処理によってもたらされる信号待ち時間、および伝送された音声を出力するためのスピーカー３１６、３３０の待ち時間によってもたらされてもよい。固定時間遅延は、音声およびビデオストリームの伝送前に、全マイク３１０、３２４およびスピーカー３１６、３３０を参照レベルに設定し、次いで、例えば、−１８ｄＢ  ＦＳの固定デシベルレベルで、１ＫＨｚパルス（例えば、いくつかのパルスまたは数十ミリ秒の長さを有する）をコーデック３１８、３２２の入力に送信し、かつパルスがコーデックの出力から伝送されるのにそのような時間を測定することによって決定されてもよく、パルスは、例えば、スピーカー３１８、３３０から、他のコーデック３２２、３１８と接続するマイク３１０、３２４に、他のコーデック３２２、３１８の入力に戻り、および第１のコーデック３１８、３２２に戻るように、音声システムにわたって他のコーデック３２２、３１８に伝送されている。これにより、パルスの伝送に、システムの総遅延を与えるであろう。次いで、伝送線３２０に沿う信号待ち時間が上記のように測定され、決定された信号待ち時間が、測定された総遅延から引かれる。これにより、２つのコーデック３１８、３２２間の伝送以外の源に由来する音声に、固定時間遅延を与える。
【００９８】
上記のように、ビデオおよび音声ストリームの伝送中、測定された信号待ち時間（可変時間遅延）は、システムの瞬時の総時間遅延を与えるように、固定時間遅延に追加することができ、この決定された瞬時の時間遅延は、エコーキャンセルに使用される。
【００９９】
エコーキャンセルは、コーデック３１８、３２２への入力に送り込まれる音声ストリームを分割し、分割された音声ストリームのうちの１つを、エコーキャンセルモジュール３０１、３０１’に送り込むことによって達成される。エコーキャンセルモジュール３１８、３２２はまた、コーデック３１８、３２２によって決定される、瞬時の総固定時間遅延を受信する。エコーキャンセルモジュール３１８、３２２は、音声ストリームを受信し、位相を反転させる、音声ストリームを遅延させる。次いで、この遅延した位相反転音声ストリームは、出力音声ストリームの中に存在する、入力音声ストリームのエコーをキャンセルする（少なくとも部分的に）ように、出力音声ストリーム上に重畳される。
【０１００】
一実施形態では、複数のビデオおよび音声ストリームは、コーデック１８、２２、３１８、３２２間で伝送されてもよい。例えば、第２の位置２で、発表者等の舞台８６上の人（図示せず）、および一人以上の観客１００の両方が撮影されてもよく、このビデオキャプチャと関連付けられるビデオおよび音声ストリームは、コーデック３１８、３２２を介して、ビデオストリームが隔離された対象画像および／またはペッパーズゴーストとして表示される、位置１に伝送される。複数のビデオストリームの表示が同期されることを保証するために、複数のビデオストリームは、例えば、舞台上の人のビデオストリームといった、複数のビデオ信号のうちの１つに基づき、同期結合（ゲンロック）される。
【０１０１】
一実施形態では、システムにより、第１の位置１で撮影されている対象１０４が、舞台の前方の固定カメラから撮影されるような、舞台８６上の１人以上の人と、観客の視点を与えるカメラから撮影されるような、舞台８６上の人（対象のペッパーズゴースを含む）と、舞台に手の視点を与えるカメラと、１人以上の観客１００とを含む、第２の位置２からの、いくつかの異なるビデオフィードを眺めることが可能になる。対象は、どのビデオストリームを眺めるべきかを選択する、または各ビデオストリームの中で撮影されているものを変更する選択肢を有してもよい。したがって、対象は、１つ以上のカメラによって捕捉された／捕捉されている第２の位置のいくつかの異なる要素を眺めることができる、第２の位置２の仮想フライスルーをすることができる場合がある。これは、対象１０４が利用可能なタッチスクリーンインターフェース（図示せず）によって実装されてもよい。対象１０４がコーデック１８、２２、３１８、３２２と情報をやりとりすることを可能にするインターフェースは、開催地の視界／景色の視点を備えてもよく、開催地は、多地点放送を表示する地図上の開催地であってもよく、または開催地は、対象１０４が完全なビデオストリームを眺めるように選択してもよい、他の参加者のディレクトリであってもよい。
【０１０２】
複数のビデオストリームが伝送されるべきシステムでは、コーデックボックスは、伝送される各ビデオストリーム用の複数の別個の取外し可能コーデックモジュール３２（ブレード）を備えて提供されてもよい。例えば、位置２は、舞台８６上の動作を撮影するためのカメラと、観客１００を撮影するための別のカメラとの２つのビデオカメラを備えてもよく、両方のビデオストリームは、ヘッドアップディスプレイ上に投影するために、位置１に伝送されてもよい。このため、各ビデオストリームに対して１つ、別個のコーデック３２が必要とされる場合がある。
【０１０３】
使用時には、対象１０４はカメラ１２によって撮影され、生成されたビデオストリームは、例えば、製作者といった操作者１０５の制御の下で、第１のコーデック１８に送り込まれる。第１のコーデック１８は、選択されたフォーマットに従ってビデオ信号を符号化し、符号化されたビデオストリームをコーデック２２に伝送する。コーデック２２はビデオストリームを復号し、ペッパーズゴースト８４を作り出すように、ビデオストリームに基づいて画像を投影する投影機９０に、復号されたビデオストリームを送り込む。
【０１０４】
管理者１０５は、撮影中に対象１０４を観察し、観察者が、対象１０４の動きの増加などのある要件、あるいはテキストまたは図形の表示が、発生している／近い将来発生するであろうと見なした場合、管理者１０５は、コーデック１８および２２に、異なる符号化フォーマットを使用するように、モードを切り替えさせるために、スイッチ４１を操作する。例えば、管理者１０５は、テキストまたは図形が表示される時には、プログレッシブ方式符号化フォーマットを、対象１０４の著しい動きがある時には、高圧縮のインターレース符号化フォーマットを、あるいは撮影されている映像の長さ／対象が、ビデオストリームの圧縮を通して失いたくない、多くの小さい入り組んだ詳細を備えるときには、非圧縮インターレースまたはプログレッシブ符号化フォーマットを選択してもよい。一実施形態では、スイッチは、管理者１０５が、望ましい符号化フォーマットを選択することを可能にするコンピュータスクリーン上のメニューである。
【０１０５】
一実施形態では、システムはまた、ヘッドアップディスプレイ１４／１１８上に表示するために、位置２にいる観客の人々または他の人を録画するカメラ２４を備える。ビデオストリームが、位置１から位置２に伝送されているのと同じように、位置２にいる管理者は、カメラ２６によって撮影されている映像の長さに基づいて、異なるフォーマットを使用して、位置２から位置１に伝送されているビデオストリームを符号化するためにコーデック２２を切り替え、かつ異なるフォーマットを使用して、ビデオストリームを復号するためにコーデック１８を切り替えるように、スイッチ４３を操作してもよい。
【０１０６】
別の実施形態では、操作者または各位置にいる他の人々は、画像８４または１１８の品質のいずれかの劣化へのフィードバックを提供するために、相互に通信してもよく、操作者は、コーデック１８、２２に、フィードバックに基づいて符号化フォーマットを切り替えさせてもよい。
【０１０７】
別の実施形態では、フロントライト４０３〜４０９は、異なる特有の周波数スペクトルを有する光を、バックライト４１０〜４１６から放射される光に放射する。例えば、フロントライト４０３〜４０９は、タングステン、ハロゲン、または弧光であってもよく、バックライト４１０〜４１６は、ＬＥＤ光であってもよい。捕捉されたビデオの中の画素２０４、２０４’または複数組の画素２０５、２０５’の相対発光を見るよりむしろ、コーデック１８は、隣接した画素２０４、２０４’または複数組の画素２０５、２０５’の異なる周波数成分の相対強度の差異から、対象の輪郭を識別するように配設される。
【０１０８】
通常、ビデオの各画素は、赤、青、緑（ＲＧＢ）等、異なる周波数成分を備える。各周波数成分の強度は、その画素によって捕捉される領域を照射する光の特性スペクトルに依存するであろう。したがって、各画素の周波数成分の相対強度を比較することによって、その地点の照射が、フロントライト４０４〜４０９によって放射される光に、またはバックライト４１０〜４１６から放射される光に偏っているか否かを識別することが可能である。フロントライト４０４〜４０９によって放射される光に偏っている領域が、対象１０４となるであろうし、フロントライト４０３〜４０９によって放射される光は、対象に反射する。バックライト４１０〜４１６によって放射される光に偏っている領域は、対象１０４の周縁部の回りであろう。それゆえ、隣接した画素または複数組の画素の周波数成分の相対強度を比較することによって、対象１０４の輪郭を識別することができる。
【０１０９】
別の実施形態では、システムは、利用可能な帯域幅に対して適切であるような異なるモードに、コーデックを切り替えるために制御信号を自動的に生成する、利用可能な帯域幅を検出するための手段を備える。例えば、測定された信号待ち時間が、所定のレベルを上回って増加する場合には、符号化フォーマットは、プログレッシブから、インターレースまたはより高い圧縮率に切り替えられてもよい。
【０１１０】
別の実施形態では、コーデック１８および２２は、ビデオデータストリーム、音声データストリーム、および制御データストリーム等、異なるデータストリームに帯域幅を割り当てるように配設され、コーデック１８、２２は、音声データストリームまたは制御データストリームの減少を識別する場合には、この利用可能な帯域幅をビデオストリームに再び割り当てる。
【０１１１】
一実施形態では、コーデック１８および２２は、受信され符号化されたビデオストリームの符号化フォーマットを自動的に決定し、正しい復号フォーマットを使用して、符号化されたビデオストリームを復号するよう切り替えるように、配設されてもよい。
【０１１２】
コーデック１８および２０は、ソフトウェアまたはハードウェアに一体化されてもよいことが理解されるであろう。
【０１１３】
変更および修正が、請求項の範囲から逸脱することなく、本発明に対してなされてもよいことが理解されるであろう。
【図１】
2011528208.tif 000003
【図２】
2011528208.tif 000004
【図３】
2011528208.tif 000005
【図４】
2011528208.tif 000006
【図５】
2011528208.tif 000007
【図６】
2011528208.tif 000008
【図７】
2011528208.tif 000009
【図８】
2011528208.tif 000010
【手続補正書】
【提出日】平成23年3月15日(2011.3.15)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
本発明の実施形態は、以降に、以下の添付の図面を参照して、例としてのみ記載されるであろう。
本発明は、以下の項目を提供する。
（項目１）  
連続したビデオストリームを受信するビデオ入力と、
該ビデオストリームを符号化して、符号化されたビデオストリームをもたらすエンコーダと、
該符号化されたビデオストリームを伝送するビデオ出力と、
該ビデオストリームが第１の符号化フォーマットに従って符号化される第１のモードと、該ビデオストリームが第２の符号化フォーマットに従って符号化される第２のモードとの間で、該エンコーダを符号化中に切り替える切替手段と
を備える、コーデック。
（項目２）
符号化されたビデオストリームを受信するビデオ入力と、
該符号化されたビデオストリームを復号して、復号されたビデオストリームをもたらすデコーダと、
該復号されたビデオストリームを伝送するビデオ出力と、
該符号化されたビデオストリームが第１の符号化フォーマットに従って復号される第１のモードと、該符号化されたビデオストリームが第２の符号化フォーマットに従って復号される第２のモードとの間で、該デコーダを復号中に切り替える切替手段と
を備える、コーデック。
（項目３）
前記切替手段は、前記第１のモードと前記第２のモードとの間で前記エンコーダ／デコーダを切り替えるために外部の制御信号に応答する、項目１または項目２に記載のコーデック。
（項目４）
前記コーデックは、前記ビデオストリームのビデオ画像の解像度および／またはサイズを変更することが可能である、項目１〜３のいずれか一項に記載のコーデック。
（項目５）
テレプレゼンスシステムであって、
隔離された対象画像および／またはペッパーズゴーストとして表示される対象を撮影するカメラと、
項目１に記載の第１のコーデックであって、該カメラによって生成されたビデオストリームを受信し、符号化されたビデオストリームを出力する、コ―ディックと、
該符号化されたビデオストリームを遠隔位置にある項目２に記載の第２のコーデックに伝送する手段であって、該第２のコーデックは、該符号化されたビデオ信号を復号し、該復号されたビデオ信号に基づいて、復号されたビデオ信号を該隔離された対象画像および／またはペッパーズゴーストを作り出す装置に出力するように配設される、手段と、
制御信号を生成して、該第１のコーデックに、該第１のモードと該第２のモードとの間で切り替えさせるように配設される、ユーザ操作スイッチと
を備える、テレプレゼンスシステム。
（項目６）
前記ユーザ操作スイッチは、制御信号を生成して、前記第２のコーデックに、前記第１のモードと前記第２のモードとの間で切り替えさせるように配設される、項目５に記載のテレプレゼンスシステム。
（項目７）
前記第２のコーデックは、前記符号化されたビデオストリームの符号化フォーマットを自動的に決定し、前記正しい（第１または第２の）モードを使用して、該符号化されたビデオストリームを復号するために切り替わるように配設される、項目６に記載のテレプレゼンスシステム。
（項目８）
対象のテレプレゼンスを生成する方法であって、
該対象を撮影して、連続したビデオストリームを生成することと、
該ビデオストリームを遠隔位置に伝送することと、
該伝送されたビデオストリームに基づいて、隔離された対象画像および／またはペッパーズゴーストを該遠隔位置において作り出すことと
を含み、
該ビデオストリームを伝送することは、撮影されている動作の変化に基づいて、該ビデオストリームの該伝送中に、複数の符号化フォーマットのうちの異なるフォーマットを選択することと、該符号化フォーマットを該選択された符号化フォーマットに伝送中に変更することとを含む、方法。
（項目９）
前記動作の変化は、前記対象の運動量の変化、該対象の照明の変化、前記遠隔位置にいる人との撮影される対象の相互作用のレベルの変化、および／または表示される前記画像の中のテキストまたは図形の包含である、項目８に記載の方法。
（項目１０）
実質的に図２を参照して本明細書において説明されるようなコーデック。
（項目１１）
実質的に図１〜８を参照して本明細書において説明されるようなテレプレゼンスシステム。
（項目１２）
ビデオプロセッサであって、
ビデオストリームを受信するビデオ入力と、
処理されたビデオストリームを伝送するビデオ出力と
を備え、
該プロセッサは、隣接した画素または複数組の画素を識別するために各フレームの画素を走査することによって、該ビデオストリームの各フレームの中の対象の輪郭を識別するように配設され、該隣接した画素または複数組の画素の属性間の相対的差異は、所定のレベルを上回り、これらの画素または複数組の画素間の連続した線として該輪郭を画定しており、該輪郭の範囲外である画素を事前に選択した色にする、ビデオプロセッサ。
（項目１３）
前記相対的差異は、明るさのコントラストである、項目１２に記載のビデオプロセッサ。
（項目１４）
前記相対的差異は、前記隣接した画素または複数組の画素の中において捕捉された特性スペクトルの差異である、項目１２に記載のビデオプロセッサ。
（項目１５）
前記ビデオストリームを実質的にリアルタイムで処理するように配設されることにより、該ビデオストリームを継続的に伝送する（または少なくとも表示する）ことができる、項目１２〜１４のいずれか一項に記載のビデオプロセッサ。
（項目１６）
前記輪郭を識別することは、隣接する事前設定数の連続画素の属性と対比する該属性を有する、事前設定数の連続画素を決定することを含む、項目１２〜１５のいずれか一項に記載のビデオプロセッサ。
（項目１７）
前記事前設定数を調整する手段を含む、項目１６に記載のビデオプロセッサ。
（項目１８）
前記フレームを修正するように配設されることにより、前記識別された輪郭に沿って高い相対発光を伴う画素の線を提供する、項目１２〜１７のいずれか一項に記載のビデオプロセッサ。
（項目１９）
高い相対発光の各画素は、前記ビデオプロセッサが置き換えた、前記対応する画素と同一の色を有する、項目１８に記載のビデオプロセッサ。
（項目２０）
自身の上に記憶された命令を有するデータキャリアであって、該命令がプロセッサによって実行されると、該プロセッサに、
ビデオストリームを受信することと、
隣接した画素または複数組の画素を識別するために、各フレームの画素を走査することによって該ビデオストリームの各フレームの中の対象の輪郭を識別することであって、該隣接した画素または複数組の画素の属性間の相対的差異は、所定のレベルを上回り、これらの画素または複数組の画素間の連続した線として該輪郭を画定する、ことと、
該輪郭の範囲外である画素を、事前に選択した色にすることと、
該処理されたビデオストリームを伝送することと、
を実行させる命令を有する、データキャリア。
（項目２１）
ペッパーズゴーストとして投影されるように対象を撮影する方法であって、
該対象の前方を照射する１つ以上のフロントライト、および該対象の後方を照射する１つ以上のバックライトを有する照明配設の下において、該対象を撮影することを含み、
該フロントライトは、該バックライトによって放射される光の特有の周波数スペクトルとは異なる特有の周波数スペクトルを有する光を放射する、方法。
（項目２２）
コーデックであって、
対象のビデオストリームを受信するビデオ入力と、
符号化されたビデオストリームをもたらすように該ビデオストリームを符号化するエンコーダと、
該符号化されたビデオストリームを伝送するビデオ出力と
を備え、
該エンコーダは、該対象の輪郭を識別し、該符号化されたビデオストリームを形成するように該輪郭の範囲に入る画素を符号化する一方で、該輪郭の範囲外である画素を無視することによって該ビデオストリームの各フレームを処理するように配設される、コーデック。
（項目２３）
前記輪郭の範囲外である前記画素は、前記対象の該輪郭を画定する高い発光画素から識別され、この高い発光画素の輪郭の片側（外側）への画素は無視される、項目２２に記載のコーデック。
（項目２４）
前記エンコーダは、前記ビデオストリームを多重化するマルチプレクサを備える、項目２２または項目２３に記載のコーデック。
（項目２５）
前記対象の前記輪郭の範囲内である前記画素は、いくつかのセグメントに分割され、各セグメントは、周波数分割多重（ＦＤＭ）の信号として別個の搬送波上で伝送される、項目２４に記載のコーデック。
（項目２６）
コーデックであって、
ビデオストリームおよび関連音声ストリームを受信するビデオ入力と、
該ビデオおよび音声ストリームを符号化するエンコーダと、
該符号化されたビデオおよび音声ストリームを別のコーデックに伝送するビデオ出力と
を備え、
該コーデックは、該ビデオおよび音声ストリームの伝送中に、周期的に別のコーデックに試験信号（ピング）を伝送し、他のコーデックから前記試験信号へのエコー応答を受信し、該試験信号の送信と該エコー応答の受信との間の時間から、該他のコーデックへの伝送のための信号待ち時間を決定し、該決定された信号待ち時間に対して、好適な遅延またはさらなる音声ストリームを導入するように配設される、コーデック。
（項目２７）
コーデックであって、
別のコーデックから、符号化されたビデオストリームおよび関連音声ストリームを受信するビデオ入力と、
該ビデオおよび音声ストリームを復号するデコーダと、
該復号されたビデオおよび音声ストリームを伝送するビデオ出力と
を備え、
該コーデックは、該ビデオおよび音声ストリームの伝送中に、試験信号（ピング）の受信に応答して、該別のコーデックにエコー応答を伝送するように配設される、コーデック。
（項目２８）
隔離された対象および／またはペッパーズゴーストとして表示される複数のビデオストリームを伝送するシステムであって、
該複数のビデオストリームを受信し、該複数のビデオストリームを符号化し、該符号化した複数のビデオストリームを遠隔位置に伝送するコーデックを備え、
該複数のビデオストリームは、該複数のビデオ信号のうちの１つに基づいて、同期結合（ゲンロック）される、システム。
（項目２９）
ビデオプロセッサであって、
ビデオストリームを受信するビデオ入力と、
処理されたビデオストリームを伝送するビデオ出力と
を備え、
該プロセッサは、明るい対象と比較した暗い背景に起因する所定のレベルを上回るコントラストを有する画素または複数組の画素を識別するように、各フレームの画素の各線を走査すること、および画素または複数組の画素のいずれかの元の発光よりも高い発光を有するように、これらの画素または複数組の画素のうちの一方または両方を修正することによって、該ビデオストリームの各フレームの中の対象の輪郭を識別するように配設される、ビデオプロセッサ。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象のテレプレゼンスを生成する方法であって、
該対象を撮影して、連続したビデオストリームを生成することと、
該ビデオストリームを遠隔位置に伝送することと、
該伝送されたビデオストリームに基づいて、ペッパーズゴーストを該遠隔位置において作り出すことと
を含み、
該ビデオストリームを伝送することは、撮影されている動作の変化に基づいて、該ビデオストリームの該伝送中に、複数の符号化フォーマットのうちの異なるフォーマットを選択することと、該符号化フォーマットを該選択された符号化フォーマットに伝送中に変更することとを含む、方法。
【請求項２】
対象のテレプレゼンスを生成する方法であって、
該対象を撮影して、連続したビデオストリームを生成することと、
該ビデオストリームを遠隔位置に伝送することと、
該伝送されたビデオストリームに基づいて、隔離された対象画像を該遠隔位置において作り出すことと
を含み、
該ビデオストリームを伝送することは、撮影されている動作の変化に基づいて、該ビデオストリームの該伝送中に、複数の符号化フォーマットのうちの異なるフォーマットを選択することと、該符号化フォーマットを該選択された符号化フォーマットに伝送中に変更することとを含む、方法。
【請求項３】
前記動作の変化は、前記対象の運動量の変化、該対象の照明の変化、前記遠隔位置にいる人との撮影される対象の相互作用のレベルの変化、および／または表示される前記画像の中のテキストまたは図形の包含である、請求項１または請求項２に記載の方法。
【国際調査報告】
2011528208.tif 000011
2011528208.tif 000012
2011528208.tif 000013
2011528208.tif 000014
2011528208.tif 000015