(57)【要約】  この画像処理システムは、観察領域Ｚ０から来る第２光線ＦＬ２が第２画像Ｉ２を形成するスクリーンＥＣＲ上に、第１画像Ｉ１を形成するための第１光線ＦＬ１を投影するデバイスＰＲＪ，ＳＩ１と、スクリーンＥＣＲ上に形成されるとともに、第２画像Ｉ２と第１画像Ｉ１の少なくとも一部分Ｉ１’との重ね合わせに対応する第３画像Ｉ３を取得するデバイスＣＡＭ，ＳＩ１と、を具備する。このシステムは、第１画像Ｉ１の一部分Ｉ１’を表す第１信号Ｓ１を取得し、第３画像Ｉ３を表す第２信号Ｓ２を取得し、かつ観察領域Ｚ０を表す画像Ｉ２’を形成するために、第２信号Ｓ２から第１信号Ｓ１の少なくとも一部を減算することによって第３信号Ｓ３を算出する、制御手段ＣＴＲをさらに具備する。
2009508377.tif 000002
【特許請求の範囲】
【請求項１】
観察領域Ｚ０から来る第２光線ＦＬ２が第２画像Ｉ２を形成するスクリーンＥＣＲ上に、第１画像Ｉ１を形成するための第１光線ＦＬ１を投影するデバイスＰＲＪ，ＳＩ１と、前記スクリーンＥＣＲ上に形成されるとともに、前記第２画像Ｉ２と前記第１画像Ｉ１の少なくとも一部分Ｉ１’との重ね合わせに対応する第３画像Ｉ３を取得するデバイスＣＡＭ，ＳＩ１と、を具備した画像処理システムにおいて、
前記システムは、第１画像Ｉ１の前記一部分Ｉ１’を表す第１信号Ｓ１を取得し、前記第３画像Ｉ３を表す第２信号Ｓ２を取得し、かつ前記観察領域Ｚ０を表す画像Ｉ２’を形成するために、前記第２信号Ｓ２から前記第１信号Ｓ１の少なくとも一部を減算することによって第３信号Ｓ３を算出する制御手段ＣＴＲをさらに具備することを特徴とするシステム。
【請求項２】
前記制御手段ＣＴＲが、前記第１信号Ｓ１に重み係数αを乗算し、かつ前記第２信号Ｓ２から前記乗算の結果の信号を引いて、前記第３信号Ｓ３を求めることを特徴とする請求項１に記載のシステム。
【請求項３】
輝度の関数として前記重み係数αを取得する輝度センサＣＡＰを具備することを特徴とする請求項２に記載のシステム。
【請求項４】
前記投影デバイスＰＲＪ，ＳＩ１が、
前記第１画像Ｉ１を表す信号Ｒ，Ｇ，Ｂを搬送する電気的接続によってデータ処理システムＳＩ１に接続されたプロジェクタＰＲＪと、
前記信号を複製して前記第１信号Ｓ１を形成する前記接続上の無損失ダイバータ素子ＤＲＶと、を具備することを特徴とする請求項１ないし３のうちのいずれか１項に記載のシステム。
【請求項５】
前記第１信号Ｓ１及び／又は前記第２信号Ｓ２を、前記第３信号Ｓ３の算出に適した形式へ変換する手段ＣＮＶ１を具備することを特徴とする請求項１ないし４のうちのいずれか１項に記載のシステム。
【請求項６】
前記第３信号Ｓ３を遠く離れたデバイスへ送信する手段ＣＯＭを具備することを特徴とする請求項１ないし５のうちのいずれか１項に記載のシステム。
【請求項７】
観察領域Ｚ０から来る第２光線ＦＬ２が第２画像Ｉ２を形成するスクリーンＥＣＲ上に、第１画像Ｉ１を形成するための第１光線ＦＬ１を投影するデバイスＰＲＪ，ＳＩ１と、前記スクリーンＥＣＲ上に形成されるとともに、前記第２画像Ｉ２と前記第１画像Ｉ１の少なくとも一部分Ｉ１’との重ね合わせに対応する第３画像Ｉ３を取得するデバイスＣＡＭ，ＳＩ１と、を具備し、前記第１画像Ｉ１及び前記第３画像Ｉ３が、ファイルＦＩ１，ＦＩ３形式でデータ処理システムＳＩ２に格納されている画像処理システム中で実行可能な画像処理方法において、
前記方法は、
第１画像Ｉ１を格納した前記ファイルＦＩ１から前記第１画像Ｉ１の前記一部分Ｉ１’を表す第１デジタルデータＤＮ１を読み取る段階Ｅ１０と、
第３画像Ｉ３を格納した前記ファイルＦＩ３から前記第３画像Ｉ３を表す第２デジタルデータＤＮ２を読み取る段階Ｅ２０と、
前記第２デジタルデータＤＮ２から前記第１デジタルデータＤＮ１の少なくとも一部を減算することによって求められる、前記観察領域Ｚ０を表す画像Ｉ２’を形成するための第３デジタルデータＤＮ３を算出する段階Ｅ４０と、を有することを特徴とする方法。
【請求項８】
コンピュータによって実行されると請求項７に記載の画像処理方法の段階を実行する命令を有するコンピュータプログラム。
【請求項９】
請求項７に記載の画像処理方法の段階を実行する命令を有するコンピュータプログラムが格納されたコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の一般的な分野に関し、特に、テレビ会議のようなビデオ画像をやりとりする対人コミュニケーション装置に関する。
【背景技術】
【０００２】
テレビ会議システムは、遠隔地から受信したビデオストリームでスクリーン上に画像を形成する投影装置と、遠隔地へ送信されるストリームを生成するために観察領域を撮影する（典型的にビデオカメラである）取得装置と、を具備する。
【０００３】
対人コミュニケーション視聴覚システムにおいて、ユーザは、ビデオカメラによって撮影され、同時に、彼らの遠く離れた通信相手の画像が表示されたスクリーンを見る。
システムによっては、ビデオカメラは、スクリーンの横又は上に設置される。
この撮影角度が、斜め又は見下ろしの不自然な視界をもたらす。さらに、ユーザはスクリーンを見る、すなわちビデオカメラを見ないので、彼らの通信相手は、通常の対面会話ではなされるであろうアイコンタクトがないという印象を持つ。
【０００４】
この問題を解決するための既知の方法は、図１に示すように、スクリーンＥＣＲの前に斜めに設置した部分的に透明な鏡ＭＩＲを用いて、観察領域Ｚ０に位置する観察者の画像をビデオカメラＣＡＭに向かって反射させることである。
従って、ビデオカメラＣＡＭの仮想位置を、遠く離れた通信相手の顔が表示されているスクリーンＥＣＲの中央又はその後方とすることができる。
【０００５】
しかしながら、そのシステムは、特に斜めの鏡ＭＩＲの全体的なサイズ及び重量に関連した多くの短所を有し、さらには、観察者とスクリーンＥＣＲとの間に最低限の距離をとることを課する。
その上、ビデオカメラに対して鏡の後方（図１では鏡ＭＩＲの上方）に位置する領域が鏡を介してビデオカメラの視界にあるので、その画像がユーザの画像上に重ね合わさって不快な副作用をもたらす。
鏡ＭＩＲに映る映像が、スクリーンＥＣＲ上に表示された画像にも重ね合わさることによって、他の副作用が生じる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
この明細書において、発明の目的は、上記の欠点及び制限を解決すると同時に、ビデオカメラをスクリーン後方に自由に設置することである。
【課題を解決するための手段】
【０００７】
この目的を達成するために、発明は、観察領域から来る第２光線が第２画像を形成するスクリーン上に、第１画像を形成するための第１光線を投影するデバイスと、スクリーン上に形成されるとともに、第２画像と第１画像の少なくとも一部分との重ね合わせ（superimposition）に対応する第３画像を取得するデバイスと、を具備する画像処理システムを対象とする。
【０００８】
このシステムは、第１画像の上記一部分を表す第１信号を取得し、第３画像を表す第２信号を取得し、かつ観察領域を表す画像を形成するために、第２信号から第１信号の少なくとも一部を減算することによって第３信号を算出する、制御手段をさらに具備する。
【０００９】
従って、発明の一般的な原理は、取得デバイスによって取得された画像から、スクリーン上に投影されることを目的とした遠隔地から受信されたビデオストリームを、リアルタイムで減算することである。特に、ビデオカメラの出力信号と投影デバイスの入力信号との間のマッチングレベルが重要である。
【００１０】
好適には、制御手段は、第１信号に重み係数を乗算し、かつ第２信号からこの乗算の結果の信号を引いて、第３信号を求める。
【００１１】
好適には、発明による画像処理システムは、輝度の関数として重み係数を取得する輝度センサを具備する。
【００１２】
この特徴は、輝度変化量をリアルタイムで補正する適応フィルタリングを有利に提供する。より詳細には、もし観察領域の輝度が増大する（または、減少する）ならば、ビデオカメラは、抑えた（または、より強い）光を要し、ただし、ビデオプロジェクタからのビデオストリームは、ユーザの認識を高めるためにより明るく（または、より抑えた明るさに）ならなければならない。
【００１３】
重み係数は、０から１の間にある。コントロールされた照明環境（窓の無い部屋）では、それは０．５に等しくなる。
昼の光の差し込む室内であれば、この重み係数は、例えば０．４に減らすことができる。
反対に、例えば照明に不備があるなどして室内が暗闇であれば、重み係数は、例えば０．７に増える可能性がある。
【００１４】
好適な実施形態において、発明の画像処理システムの投影デバイスは、第１画像を表す信号を搬送する電気的接続によってデータ処理システムに接続されたプロジェクタと、信号を複製して第１信号を形成する上記接続上の無損失ダイバータ素子と、を具備する。
【００１５】
好適な実施形態において、発明の画像処理システムは、第１信号及び／又は第２信号を、第３信号の算出に適した形式へ変換する手段を具備する。
【００１６】
例えば、特定の一実施形態において、ビデオカメラは、プロジェクタの入力において取得された第１信号を減算する前にＲＧＢ形式へ変換されたビデオ形式第２信号を生成する。その第１信号もまた、この特定の実施形態ではＲＧＢ形式である。
【００１７】
好適には、発明の画像処理システムは、例えばビデオ会議利用のために、第３信号を遠く離れたデバイスへ送信する手段を具備する。
【００１８】
関連する方法として、発明は、観察領域から来る第２光線が第２画像を形成するスクリーン上に、第１画像を形成するための第１光線を投影するデバイスと、スクリーン上に形成されるとともに、第２画像と第１画像の少なくとも一部分との重ね合わせに対応する第３画像を取得するデバイスと、を具備し、第１画像及び第３画像が、ファイル形式でデータ処理システムに格納されている画像処理システム中で実行可能な方法を提供する。
【００１９】
この方法は、第１画像を格納したファイルから第１画像の一部分を表す第１デジタルデータを読み取る段階と、第３画像を格納したファイルから第３画像を表す第２デジタルデータを読み取る段階と、第２デジタルデータから第１デジタルデータの少なくとも一部を減算することによって求められる、観察領域を表す画像を形成するための第３デジタルデータを算出する段階と、を有する。
【００２０】
好適な実施形態において、画像処理方法の段階は、コンピュータプログラム命令によって決定される。
【００２１】
このため、また、発明は、コンピュータ上で実行可能、かつ上記画像処理方法の段階を実行するために適した命令を有する情報媒体上のコンピュータプログラムを対象とする。
【００２２】
このプログラムは、任意のプログラミング言語を使用できるとともに、部分的にコンパイルされた形式又はその他の望ましい形式のような、ソースコード形式、オブジェクトコード形式、又はソースコードとオブジェクトコードとの間の中間コード形式を成せる。
【００２３】
また、発明は、上記のコンピュータプログラム命令を有するコンピュータ読み取り可能情報媒体を対象とする。
【００２４】
情報媒体は、プログラムを格納可能な構成要素又はデバイスとなることができる。例えば、媒体は、例えばＣＤ−ＲＯＭ若しくはマイクロ電子回路ＲＯＭなどのＲＯＭのような記憶手段、又は例えばディスケット（フロッピー（登録商標）ディスク）若しくはハードディスクなどの磁気記憶手段を含むことができる。
【００２５】
また、情報媒体は、電気的又は光学的信号のような転送可能な媒体となることができる。信号は、電波又はその他の手段によって、電気的又は光学的なケーブルを介して送り届けられることが可能である。特に、発明によるプログラムは、インターネット型ネットワーク越しにダウンロード可能である。
【００２６】
あるいは、情報媒体は、その中にプログラムが組み込まれた集積回路となることができる。集積回路は、当方法を実行するか、又はその実行に用いられる。
【発明を実施するための最良の形態】
【００２７】
添付の図面を参照し、以下の記載から本発明の他の特徴及び利点が明らかとなる。図面は、限定を目的としない発明の実施形態を示す。
【００２８】
図２は、発明による画像処理システムＳＴ１の第１実施形態を示す。
システムは、プロジェクタＰＲＪが第１画像Ｉ１を形成するための第１光線ＦＬ１をその上に投影するスクリーンＥＣＲを具備する。
【００２９】
画像Ｉ１は、図示していない遠隔地から、情報システムＳＩ１の通信カードＣＯＭを介して受信した入ストリームＦＥによるビデオ画像である。
入ストリームＦＥは、プロジェクタＰＲＪの入力へ供給される３つの成分Ｒ，Ｇ，Ｂを備えた信号Ｓ１を生成する、データ処理システムＳＩ１に一体化されたビデオカードＣＶによって処理される。
【００３０】
また、画像処理システムＳＴ１は、主ビデオカメラＣＡＭと、データ処理システムＳＩ１に一体化された取得カードＣＡと、から構成される取得デバイスを具備する。
取得カードＣＡからの出ストリームＦＳは、通信カードＣＯＭを介して遠隔地へ送信される。
【００３１】
ビデオカメラＣＡＭ及びプロジェクタＰＲＪは、スクリーンＥＣＲによって区切られた半平面の同じ側にある。
カメラＣＡＭは、スクリーンＥＣＲのもう一方側にある観察領域Ｚ０を撮影する。
言い換えれば、観察領域Ｚ０は、スクリーンＥＣＲ上に、プロジェクタＰＲＪによって形成された第１画像Ｉ１の一部分Ｉ１’上に重ね合わされる第２画像Ｉ２を生成する。
実際には、ビデオカメラＣＡＭは、スクリーンＥＣＲ上に形成されるとともに、第１画像Ｉ１の一部分Ｉ１’に重ね合わさった第２画像Ｉ２に対応する第３画像Ｉ３を取得するということを当業者は理解する。
明細書に記載された実施形態において、連続する画像Ｉ３に対応するビデオカメラＣＡＭからの出力信号ＳＶ１は、Ｓビデオ規格に従う。
【００３２】
明細書に記載された好適な実施形態において、発明による画像処理システムＳＴ１は、０から１の間の値をとる重み係数αを提供するために適した輝度センサＣＡＰを具備する。重み係数は、より暗い環境では１に近づく輝度の関数として提供される。
【００３３】
この第１実施形態において、画像処理システムＳＴ１は、まず第１に、データ処理システムＳＩ１との間に制御部ＣＴＲを具備し、第２に、プロジェクタＰＲＪ及びビデオカメラＣＡＭを具備する。
【００３４】
制御部ＣＴＲは、無損失ダイバータ素子ＤＲＶを具備し、無損失ダイバータ素子ＤＲＶは、データ処理システムＳＩ１のビデオカードＣＶからのＲＧＢ成分を備えた信号Ｓ１を入力として受信するとともに、上記のプロジェクタＰＲＪへ送る
また、この無損失ダイバータ素子ＤＲＶは、信号Ｓ１を複製するとともに、別の入力において輝度センサＣＡＰから重み係数αを受信する乗算器ＭＵへ向けてリダイレクトする。
従って、乗算器ＭＵは、信号Ｓ１の対応する成分に重み係数αを乗算することによって求められるそれぞれのＲＧＢ成分を備えた信号Ｓ１’を出力として供給する。
【００３５】
また、制御部ＣＴＲは、変換手段ＣＮＶ１を具備し、変換手段ＣＮＶ１は、ビデオカメラＣＡＭによって供給されたＳビデオ形式の信号ＳＶ１を入力として受信するとともに、このＳビデオ信号を、ＲＧＢ成分を備えた第２信号Ｓ２へ変換する。
制御部ＣＴＲは、減算器ＳＳを具備し、減算器ＳＳは、変換手段ＣＮＶ１の出力信号Ｓ２を受ける第１入力と、乗算器ＭＵの出力信号を受ける第２入力と、を備える。
減算器ＳＳは、自身の第１入力で受信した信号Ｓ２から自身の第２入力で受信した信号を減算することによって求めた第３信号Ｓ３を出力として供給する。
【００３６】
この第３信号Ｓ３は、観察領域Ｚ０の画像Ｉ２’を表す。それは、ＲＧＢ成分を備えた信号Ｓ３をＳビデオ規格に適合する信号ＳＶ２へ変換する第２変換器ＣＮＶ２に、入力として供給される。
信号ＳＶ２は、データ処理システムＳＩ１の取得カードＣＡに入力として供給されて、通信カードＣＯＭを介して遠隔地へ転送される。
【００３７】
図３は、発明による画像処理システムの第２実施形態を表す。
図２中の要素に共通するこの図中の要素は、同一の参照を行う。
【００３８】
画像処理システムＳＴ２は、データ処理システムＳＩ１を具備し、データ処理システムＳＩ１は、上記のビデオカードＣＶ、取得カードＣＡ、及び通信カードＣＯＭを含むバスＢによって接続された要素を具備する。
このバスＢ上には、輝度センサＣＡＰによって供給される重み係数αを格納するレジスタＲＥＧがある。
【００３９】
明細書に記載のデータ処理システムＳＩ２は、コンピュータを基盤とする。それは、プロセッサＣＰＵと、コンピュータプログラムを有するリードオンリーメモリＲＯＭと、を具備する。コンピュータプログラムは、図４に記載されたフローチャートに表された発明による画像処理方法の段階を実行する。
また、データ処理システムＳＩ２は、プロセッサＣＰＵによるこのデータ処理プログラムの実行に必要な一時変数を格納するためのランダムアクセスメモリＲＡＭを具備する。
【００４０】
明細書に記載の好適な実施形態において、通信カードＣＯＭを介して受信された入ストリームＦＥは、ビデオカードＣＶにアクセス可能な高速アクセスメモリＭＥＭ１にバッファされる。
同様に、取得カードＣＡによって生成された出ストリームＦＳは、高速アクセスメモリＭＥＭ２に格納される。
【００４１】
入ストリームＦＥからの各画像Ｉ１は、コンピュータファイルＦＩ１形式で高速アクセスメモリＭＥＭ１に格納され、かつ取得カードＣＡによる各画像出力は、デジタルファイルＦＩ３形式で高速アクセスランダムアクセスメモリＭＥＭ２に格納されるということが明細書では想定されている。
【００４２】
第１デジタルデータＤＮ１は、スクリーンＥＣＲ上の第２画像Ｉ２に重なる第１画像Ｉ１の一部分Ｉ１’を表す。
第２デジタルデータＤＮ２は、ビデオカメラＣＡＭによって取得された第３画像Ｉ３を表す。
【００４３】
取得カードＣＡがビデオカメラＣＡＭによって取得された画像Ｉ３に対応するファイルＦＩ３を高速アクセスメモリＭＥＭ２に格納したならば、図示されていないが、その取得カードは信号を生成してプロセッサＣＰＵへ送信するということが想定されている。
【００４４】
この信号の受信時、プロセッサは、ビデオカメラＣＡＭによる画像Ｉ３の取得の瞬間にスクリーンＥＣＲ上に投影されたファイルＦＩ１からの第１画像Ｉ１の一部分Ｉ１’を表す第１デジタルデータＤＮ１を読み取る第１段階Ｅ１０を実行する。
【００４５】
この段階Ｅ１０の後、プロセッサＣＰＵが、画像Ｉ３を格納するファイルＦＩ３を読み取ることによって上記の第２デジタルデータＤＮ２を取得する第２の段階、すなわち読み取り段階Ｅ２０が続く。
【００４６】
この読み取り段階Ｅ２０の後、プロセッサＣＰＵがレジスタＲＥＧから重み係数αの値を読み取る段階Ｅ３０が続く。
【００４７】
この読み取り段階の後、プロセッサＣＰＵが、第２デジタルデータＤＮ２から第１デジタルデータＤＮ１と重み係数αとの積を減算することによって求められる第３デジタルデータを算出する段階が続く。
【００４８】
第３デジタルデータＤＮ３は、ファイルＦＩ２形式でランダムアクセスメモリＲＡＭに格納され、このファイルは、観察領域Ｚ０を表す画像Ｉ２’を表す。
コンピュータファイルＦＩ２は、遠隔地へ送信される出ビデオストリームＦＳを構成する。
【図面の簡単な説明】
【００４９】
【図１】従来設備の図である。
【図２】発明による画像処理デバイスの第１実施形態を示す。
【図３】発明による画像処理デバイスの第２実施形態を示す。
【図４】発明による画像処理方法の好適な実施形態の主なステップをフローチャート形式で示す。
【符号の説明】
【００５０】
Ｂ  バス
ＣＡ  取得カード
ＣＡＭ  ビデオカメラ
ＣＡＰ  輝度センサ
ＣＮＶ１  第１変換器
ＣＮＶ２  第２変換器
ＣＯＭ  通信カード
ＣＰＵ  プロセッサ
ＣＴＲ  制御部
ＣＶ  ビデオカード
ＤＲＶ  無損失ダイバータ素子
ＥＣＲ  スクリーン
ＦＥ  入ストリーム
ＦＩ１，ＦＩ２，ＦＩ３  コンピュータファイル
ＦＬ１  第１光線
ＦＬ２  第２光線
ＦＳ  出ストリーム
Ｉ１  第１画像
Ｉ１’  第１画像の一部分
Ｉ２  第２画像
Ｉ３  第３画像
ＭＥＭ１，ＭＥＭ２  高速アクセスメモリ
ＭＵ  乗算器
ＰＲＪ  プロジェクタ
ＲＥＧ  レジスタ
Ｓ１  第１信号
Ｓ１’  重み係数と掛け合わせられた第１信号
Ｓ２  第２信号
Ｓ３  第３信号
ＳＩ１，ＳＩ２  データ処理システム
ＳＳ  減算器
ＳＴ１，ＳＴ２  画像処理システム
ＳＶ１  ビデオカメラの出力信号
ＳＶ２  第２変換器の出力信号
Ｚ０  観察領域
α  重み係数
【図１】
2009508377.tif 000003
【図２】
2009508377.tif 000004
【図３】
2009508377.tif 000005
【図４】
2009508377.tif 000006
【国際調査報告】
2009508377.tif 000007
2009508377.tif 000008
2009508377.tif 000009
2009508377.tif 000010
2009508377.tif 000011
2009508377.tif 000012