(57)【特許請求の範囲】
【請求項１】
他の画像処理装置とネットワークを介して接続される画像処理装置において、
第１の被写体の画像を撮像する撮像手段と、
前記第１の被写体の移動量を検出する検出手段と、
前記撮像手段により撮像された画像と前記検出手段により検出された移動量とを前記他の画像処理装置に送信する送信手段と、
前記他の画像処理装置から送信された画像データと、その画像データに対応する第２の被写体の移動量のデータとを受信する受信手段と、
前記受信手段により受信された移動量のデータに基づいて、前記受信手段より受信された前記画像データから、前記第２の被写体の画像が中央に位置する画像を生成する生成手段と
を備える特徴とする画像処理装置。
【請求項２】
他の画像処理装置とネットワークを介して接続される画像処理装置の画像処理方法において、
第１の被写体の画像を撮像する撮像ステップと、
前記第１の被写体の移動量を検出する検出ステップと、
前記撮像ステップで撮像された画像と前記検出ステップで検出された移動量とを前記他の画像処理装置に送信する送信ステップと、
前記他の画像処理装置から送信された画像データと、その画像データに対応する第２の被写体の移動量のデータとを受信する受信ステップと、
前記受信ステップで受信された移動量のデータに基づいて、前記受信ステップで受信された前記画像データから、前記第２の被写体の画像が中央に位置する画像を生成する生成ステップと
を含むことを特徴とする画像処理方法。
【請求項３】
他の画像処理装置とネットワークを介して接続される画像処理装置に、
第１の被写体の画像を撮像する撮像ステップと、
前記第１の被写体の移動量を検出する検出ステップと、
前記撮像ステップで撮像された画像と前記検出ステップで検出された移動量とを前記他の画像処理装置に送信する送信ステップと、
前記他の画像処理装置から送信された画像データと、その画像データに対応する第２の被写体の移動量のデータとを受信する受信ステップと、
前記受信ステップで受信された移動量のデータに基づいて、前記受信ステップで受信された前記画像データから、前記第２の被写体の画像が中央に位置する画像を生成する生成ステップと
を含む処理を実行させるコンピュータが読み取り可能なプログラムを記録している記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理装置および方法、並びに記録媒体に関し、特に、より臨場感をもって、例えば、テレビ会議などを行えるようにした画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
複数の会議室をネットワークを用いて接続し、あたかも１つのテーブルを囲んで会議しているような遠隔会議システムが提案されている。このようなシステムにおける各会議室には、自分（参加者Ａと称する）以外の参加者の映像を映し出すディスプレイと、そのディスプレイに映し出されている参加者の発言を出力するスピーカが備え付けられている。ディスプレイとスピーカは、参加者Ａを除いた参加人数と同じ数だけ設置される。
【０００３】
また、各会議室には、その会議室にいる参加者を撮像するためのビデオカメラと、音声を取り込む為のマイクロホンも備え付けられている。そのビデオカメラやマイクロホンは、各会議室に備え付けられているディスプレイの近傍（主に上部）に設置されている。ビデオカメラにより撮像された、参加者Ａの映像や、マイクロホンにより取り込まれた音声は、各会場に備え付けられた、参加者Ａに対応するディスプレイとスピーカに出力される。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した装置においては、ビデオカメラの光軸と参加者Ａがディスプレイを見る目線がずれているため、換言すると、ディスプレイに映し出されている参加者と、その参加者をみている参加者Ａの視線が一致しないため、コミュニケーションが不自然になってしまうことがある。
【０００５】
このようなことを解決する１つの方法として、ハーフミラーを用いてビデオカメラの光軸と参加者Ａのディスプレイを見る目線とを一致させる（視線一致させる）方法が提案されている。この方法においては、参加者Ａは、所定の位置に座り、所定の範囲内から出ない程度で顔を動かすことが前提とされているため、その所定の範囲から、参加者Ａの顔が出てしまった場合、結局視線一致をさせることができなくなるという課題があった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、参加者の顔の移動量を検出し、その検出された移動量に応じて、撮像装置を駆動させる、または撮像された画像を処理することにより、視線一致をはかり、もって、より臨場感のあるテレビ会議などを提供するものである。
【００１０】
【課題を解決するための手段】
本発明の第１の画像処理装置は、第１の被写体の画像を撮像する撮像手段と、第１の被写体の移動量を検出する検出手段と、撮像手段により撮像された画像と検出手段により検出された移動量とを他の画像処理装置に送信する送信手段と、他の画像処理装置から送信された画像データと、その画像データに対応する第２の被写体の移動量のデータとを受信する受信手段と、受信手段により受信された移動量のデータに基づいて、受信手段により受信された画像データから、第２の被写体が中央に位置する画像を生成する生成手段とを備える特徴とする。
【００１１】
本発明の第１の画像処理方法は、第１の被写体の画像を撮像する撮像ステップと、第１の被写体の移動量を検出する検出ステップと、撮像ステップで撮像された画像と検出ステップで検出された移動量とを他の画像処理装置に送信する送信ステップと、他の画像処理装置から送信された画像データと、その画像データに対応する第２の被写体の移動量のデータとを受信する受信ステップと、受信ステップで受信された移動量のデータに基づいて、受信ステップで受信された画像データから、第２の被写体の画像が中央に位置する画像を生成する生成ステップとを含むことを特徴とする。
【００１２】
本発明の第１の記録媒体は、画像処理装置に、第１の被写体の画像を撮像する撮像ステップと、第１の被写体の移動量を検出する検出ステップと、撮像ステップで撮像された画像と検出ステップで検出された移動量とを他の画像処理装置に送信する送信ステップと、他の画像処理装置から送信された画像データと、その画像データに対応する第２の被写体の移動量のデータとを受信する受信ステップと、受信ステップで受信された移動量のデータに基づいて、受信ステップで受信された画像データから、第２の被写体の画像が中央に位置する画像を生成する生成ステップとを含む処理を実行させるコンピュータが読み取り可能なプログラムを記録することを特徴とする。
【００１７】
本発明の第１の画像処理装置および方法、並びに記録媒体においては、第１の被写体の画像が撮像され、第１の被写体の移動量が検出され、撮像された画像と検出された移動量とが他の画像処理装置に送信され、他の画像処理装置から送信された画像データと、その画像データに対応する第２の被写体の移動量のデータとが受信され、受信された移動量のデータに基づいて、その受信された画像データから、第２の被写体の画像が中央に位置する画像が生成される。
【００１９】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。また、従来の場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００２２】
請求項１に記載の画像処理装置は、第１の被写体の画像を撮像する撮像手段（例えば、図１６の正面ビデオカメラ３１−２１）と、第１の被写体の移動量を検出する検出手段（例えば、図１６の移動量検出装置５１）と、撮像手段により撮像された画像と検出手段により検出された移動量とを他の画像処理装置に送信する送信手段（例えば、図１６の送受信装置５３）と、他の画像処理装置から送信された画像データと、その画像データに対応する第２の被写体の移動量のデータとを受信する受信手段（例えば、図１６の送受信装置５３）と、受信手段により受信された移動量のデータに基づいて、受信手段により受信された画像データから、第２の被写体の画像が中央に位置する画像を生成する生成手段（例えば、図１６の演算装置５２）とを備える特徴とする。
【００２４】
図１は、本発明の画像処理装置を適用したテレビ会議システムの構成を示している。なお、本明細書において、システムとは、複数の装置で構成される全体的な装置を表すものとする。図１に示されるように、複数（この実施の形態の場合、４つ）の通信センタ１−１乃至１ー４が、例えば、ISDN（Integrated Service Digital Network）などのネットワーク２を介して相互に接続されている。また、各通信センタは、例えば、図２に示すような１つの会議室を備えている。
【００２５】
図２に示す会議室においては、１つのテーブル１０、１つの椅子及び３台のディスプレイ装置が設けられている。例えば、通信センタ１−４の会議室においては、図２に示される番号４の位置に椅子が配置されており、番号１乃至３の位置にディスプレイ装置が配置されている。また、通信センタ１−３の会議室においては、図２に示される番号３の位置に椅子が配置されており、番号１，２、および４の位置にディスプレイ装置が配置されている。また、通信センタ１−２の会議室においては、図２に示される番号２の位置に椅子が配置されており、番号１，３、および４の位置にディスプレイ装置が配置されている。さらに、通信センタ１−１の会議室においては、図２に示される番号１の位置に椅子が配置されており、番号２乃至４の位置にディスプレイ装置が配置される。
【００２６】
また、通信センタ１−４の会議室に配置されたディスプレイ装置において、図２に示される番号１の位置に配置されたディスプレイ装置には、通信センタ１−１の参加者を撮像した画像が表示され、番号２の位置に配置されたディスプレイ装置には、通信センタ１−２の参加者を撮像した画像が表示され、番号３の位置に配置されたディスプレイ装置には、通信センタ１−３の参加者を撮像した画像が表示されるようになされている。他の通信センタも同様に、参加者が座る椅子以外の位置に配置されたディスプレイ装置には、対応する通信センタの参加者を撮像した映像が表示されることになる。
【００２７】
このように、それぞれの通信センタの会議室には、その通信センタの特定の位置に参加者が座るための椅子が配置されており、その他は、他の通信センタの参加者を表示するディスプレイ装置が配置されることになる。したがって、このように、会議室を構成することにより、どの通信センタの会議室においても、参加者の配置が同一の位置となる。すなわち、あたかも、テーブル１０を中心にして、４人の参加者が、実際に特定の位置に配置されたような状態となる。ただし、各通信センタの会議室において、実在する参加者自身以外は、全てディスプレイ表示による参加者になるが、どの会議室においても、同様の会議状態が実現されていることになる。
【００２８】
次に、各通信センタの詳細について、図３を用いて説明する。なお、各通信センタとも、ディスプレイ装置の配置状態は多少異なるが、ほぼ同一の構成であるため、ここでは、通信センタ１−４についてのみ説明し、他の通信センタ１−１乃至１−３の説明は省略する。
【００２９】
まず、通信センタ１−４の会議室には、図２に示したように、番号４の位置に椅子が配置されており、番号１乃至３の位置にディスプレイ装置がそれぞれ配置されている。従って、図３に示される参加者２４は、図２の番号４の位置に配置されている椅子に座ることになる。また、各ディスプレイ装置２１乃至２３には、参加者２４の映像を取り込むために、参加者２４の左側に設置されている左側面ビデオカメラ３１−２２、参加者２４の正面に設置されている正面ビデオカメラ３１−２１、および参加者２４の右側に設置されている右側面ビデオカメラ３１−２３が設けられている。さらに、その参加者２４の発言を取り込むマイクロホン３２−２１乃至３２−２３（以下、マイクロホン３２−２１乃至３２−２３を個々に区別する必要がない場合、単にマイクロホン３２と記述する。その他の装置に付いても同様に記述する）、他の通信センタからそれぞれ供給される音声を出力するスピーカ部３３−２１乃至３３−２３、およびその音声に対応する画像を表示するディスプレイ部３４−２１乃至３４−２３が設けられている。
【００３０】
スピーカ部３３とディスプレイ部３４は、通信センタ１−１乃至１−３から送信されてきた画像とその画像に対応する音声をそれぞれ出力するようになされている。すなわち、例えば、ディスプレイ装置２１のディスプレイ部３４−２１には、通信センタ１−１の参加者の画像が表示され、スピーカ部３３−２１からは、その参加者の発言が出力されるようになされている。また、ディスプレイ装置２２のディスプレイ部３４−２２には、通信センタ１−２の参加者の画像が表示され、スピーカ部３３−２２からは、その参加者の発言が出力されるようになされている。さらに、ディスプレイ装置２３のディスプレイ部３４−２３には、通信センタ１−３の参加者の画像が表示され、スピーカ部３３−２３からは、その参加者の発言が出力されるようになされている。
【００３１】
また、ディスプレイ装置２１に配置されている正面ビデオカメラ３１−２１は、通信センタ１−４の参加者２４を撮像し、マイクロホン３２−２１は、その参加者２４の発言を取り込み、その参加者２４の画像と発言が、通信センタ１−１に供給される。また、ディスプレイ装置２２に設置されている左側面ビデオカメラ３１−２２は、通信センタ１−４の参加者２４を撮像し、マイクロホン３２−２２は、その参加者の発言を取り込み、その参加者２４の画像と発言が、通信センタ１−２に供給される。さらに、ディスプレイ装置２３に設置されているビデオカメラ３１−２３は、通信センタ１−４の参加者２４を撮像し、マイクロホン３２−２３は、その参加者の発言を取り込み、その参加者２４の画像と発言が、通信センタ１−３に供給される。
【００３２】
そして、図３に示すように、ディスプレイ装置２１乃至２３は、参加者２４が各ディスプレイ装置２１乃至２３のディスプレイ部３４−２１乃至３４−２３を見ることができるように、図２に示された所定の位置に配置されている。
【００３３】
このように各会議室が構成され、ぞれぞれネットワークにより接続されているテレビ会議システムにおいては、同一の部屋において、４人の参加者が、実際に会議をしているような感覚で、会議を行うことができる。
【００３４】
ところで、参加者２４は、他の通信センタ１−１乃至１−３のうちの、例えば、通信センタ１−１の参加者と話をする場合、図３において、ディスプレイ装置２１の方向を向いて話をする。即ち、この場合、参加者２４は、上述のように、通信センタ１−１の参加者の映像が表示されたディスプレイ部３４−２１の表示画面を見ながら話をする。
【００３５】
この場合、通信センタ１−１の参加者には、ディスプレイ装置２１の正面ビデオカメラ３１−２１が撮像した参加者２４の映像が送信されるが、この正面ビデオカメラ３１−２１は、図３の実施の形態では、通信センタ１−１の参加者の映像が表示されるディスプレイ部３４−２１の上部に配置されている。
【００３６】
従って、通信センタ１−１の参加者に提供される映像は、参加者２４が、自身（ここでは、通信センタ１−１の参加者）を見ているようなものではなく、幾分下を向いているようなものとなる。その結果、通信センタ１−１の参加者は、参加者２４の視線が、自身の方向を向いているように見えず、即ち、視線が一致せず、臨場感が損なわれることがある。
【００３７】
ディスプレイ部の画面を小さくし、視線のずれを、検知限界の範囲内にすることも考えられるが、これでは表示される参加者の映像が小さくなり、やはり、臨場感が損なわれることになる。
【００３８】
また、正面ビデオカメラ３１−２１を、ディスプレイ部３４−２１の画面の正面に配置すれば、通信センタ１−１の参加者に対して、視線が向いている参加者２４の映像を提供することができるが、これでは、参加者２４が、ディスプレイ部３４−２１に表示される通信センタ１−１の参加者の映像を見るのを妨げることになる。
【００３９】
そこで、ディスプレイ装置２１（他のディスプレイ装置も同様）は、例えば、図４に示すように構成することができる。なお、以下においては、音声に関する部分の説明は、省略する。
【００４０】
図４は、ディスプレイ装置２１を、参加者２４の頭上方向から見たものであるが、この実施の形態においては、例えば、ハーフミラーやＰＢＳ（偏光ビームスプリッタ）などの、少なくとも一部の光を透過し、残りの光を反射する光学系である光学素子４１−２１が新たに設けられている。ここでは、光学素子４１−２１として、平板形状のハーフミラーが採用されている。そして、ディスプレイ部３４−２１が表示する映像が、光学素子４１−２１を透過して、参加者２４に提供されるとともに、参加者２４からの光が、光学素子４１−２１で反射されて、正面ビデオカメラ３１−２１に入射するように、ディスプレイ部３４−２１、正面ビデオカメラ３１−２１、および光学素子４１−２１が配置されている。
【００４１】
即ち、図４の実施の形態では、ディスプレイ部３４−２１の表示画面の法線方向の直線であって、その表示画面のほぼ中央（例えば、表示画面が長方形であると仮定した場合、その長方形の２つの対角線の交点に相当する点）を通るもの（以下、適宜、ディスプレイ部３４−２１の光軸という）と、正面ビデオカメラ３１−２１の光軸とが同一平面内に含まれ、かつ直交するように、ディスプレイ部３４−２１および正面ビデオカメラ３１−２１が配置されている。
【００４２】
光学素子４１−２１は、その反射面が、ディスプレイ部３４−２１の光軸および正面ビデオカメラ３１−２１の光軸の両方を含む平面に垂直で、かつディスプレイ部３４−２１の光軸または正面ビデオカメラ３１−２１の光軸、それぞれとなす角度が、ほぼ４５度になるように配置されている。従って、光学素子４１−２１によれば、正面ビデオカメラ３１−２１の光軸と、ディスプレイ部３４−２１の光軸とが、等価的に一致している状態とされている。
【００４３】
その結果、ディスプレイ部３４−２１において、例えば、図５に示すように、その表示画面の中央に、通信センタ１−１の参加者の映像が表示されている場合、この映像は、光学素子４１−２１を透過して、参加者２４の眼球に入射し、これにより、参加者２４において、通信センタ１−１の参加者の映像が観察される。そして、参加者２４が、通信センタ１−１の参加者と話をするのに、その映像の方向を見ると、参加者２４において反射された外光（照明光など）は、光学素子４１−２１において９０度反射され、正面ビデオカメラ３１−２１に入射し、これにより、参加者２４が撮像される。即ち、通信センタ１−１の参加者の映像が表示されているディスプレイ部３４−２１の画面中央に、等価的に配置されている正面ビデオカメラ３１−２１において、その通信センタ１−１の参加者の映像を見ている参加者２４が撮像される。
【００４４】
従って、通信センタ１−１の参加者に提供される映像は、参加者２４が、通信センタ１−１の参加者を見ているようなものとなり、これにより、視線が一致し、臨場感が損なわれることを防止することができる。
【００４５】
ところで、例えば、通信センタ１−４の会議室において、参加者２４が、図２の番号４で示す位置に配置された椅子に腰掛けてテレビ会議を行う場合に、常時動かずに一定の姿勢を保つのは困難である。即ち、通信センタ１−４の参加者２４（他の通信センタの参加者についても同様）は、テレビ会議中に動く場合がある。
【００４６】
具体的には、例えば、図６に示すように、参加者２４が、本来の位置（ここでは、例えば、正面ビデオカメラ３１−２１の画枠のほぼ中央において、参加者２４の顔が撮像されるような位置）から左方向にずれたような姿勢をとった場合には、正面ビデオカメラ３１−２１では、その画枠の左の位置において、参加者２４の顔が撮像される。その結果、通信センタ１−１のディスプレイ部においては、例えば、図７に示すような、右端に、参加者２４の映像が表示される。この場合、通信センタ１−１の参加者は、参加者２４の映像を見ながら話をするため、その視線は、通信センタ１−１のディスプレイ部のほぼ中央ではなく、右端の方向に向く。そして、通信センタ１−１のビデオカメラでは、このように右方向を向いた通信センタ１−１の参加者が、光学素子を介して撮像されるから、通信センタ１−４のディスプレイ部３４−２１に表示される通信センタ１−１の参加者の映像も、右方向を向いたものとなる。
【００４７】
ディスプレイ部、ビデオカメラ、および光学素子は、上述したことから、参加者が、ディスプレイ部のほぼ中央に視線を向けた場合に、その視線が、いわゆるカメラ目線となるように配置されているため、通信センタ１−１の参加者が、左方向を向いて話をすると、通信センタ１−４のディスプレイ部３４−２１に表示される通信センタ１−１の参加者の映像は、いわばそっぽを向いているようなものとなる。従って、この場合、視線が一致せず、臨場感が損なわれる。
【００４８】
そこで、ディスプレイ装置２１（他のディスプレイ装置も同様）は、例えば、図８に示すように構成することができる。この構成においては、参加者２４の頭上に、移動量検出装置５１が備え付けられている。この移動量検出装置５１は、例えば、磁気センサ、ジャイロ、角速度センサなどで構成されている。移動量検出装置５１から出力されたデータは、演算装置５２に入力される。演算装置５２には、正面ビデオカメラ３１−２１により撮像された参加者２４の画像データも入力される。
【００４９】
演算装置５２は、正面ビデオカメラ３１−２１から入力された画像データを、移動量検出装置５１から入力されたデータに従って、処理し、送受信装置５３に出力する。送受信装置５３は、ネットワーク２（図１）と接続されており、演算装置５２から入力されたデータを符号化して通信センタ１−１に対して送信するとともに、通信センタ１−１から送信されたデータを受信し、復号する。
【００５０】
図９のフローチャートを参照して、演算装置５２の動作について説明する。ステップＳ１において、演算装置５２は、移動量検出装置５１の初期設定を行う。この初期設定は、参加者２４が、ディスプレイ装置２１の正面に座り、ディスプレイ装置２１を注視し、その時の頭部の位置（移動量検出装置５１が存在している位置）を、演算装置５２が、初期値として０に設定することにより行われる。この設定された初期値の位置から、どれだけ移動したかが、ステップＳ２において、移動量検出装置５１により検出される。
【００５１】
ここでは、ステップＳ２において検出される移動量は、ディスプレイ部３１−２１に対して平行に移動した時の移動量である。ステップＳ３において、演算装置５２は、検出された移動量に応じて、正面ビデオカメラ３１−２１から出力された画像を補正する。
【００５２】
図１０は、ステップＳ３において行われる画像の補正に付いて説明する図である。正面ビデオカメラ３１−２１は、通信センタ１−１に送信される画像よりも大きめの画像を撮像するようにされている。すなわち、正面ビデオカメラ３１−２１で撮像されるのは、撮像枠６１内の画像であり、その内の送信枠６２内の画像が、通信センタ１−１に送信される。送信枠６２は、撮像枠６１より小さく設定された枠であり、撮像枠６１内を、移動する枠である。
【００５３】
図１０（Ａ）に示したように、撮像枠６１内で、参加者２４が撮像されている範囲が送信枠６２として設定されるわけだが、ステップＳ１において、初期設定される際に、この送信枠６２の撮像枠６１内の位置も設定される。例えば、初期設定時、送信枠６２が、図１０（Ａ）に示したような状態に位置するとき、その位置が基準点とされ、図１０（Ｂ）に示したように、参加者２４が、図中、右側に移動したとすると、その移動量ｄが、移動量検出装置５１により検出される。
【００５４】
演算装置５２は、検出された移動量ｄに対応する撮像枠６１内の参加者２４の移動量ｄ’を算出し、その算出された移動量ｄ’分だけ、送信枠６２を移動させる。このようにすることで、送信される画像の中央部分に、参加者２４の顔が常に位置するようにすることができる。
【００５５】
このように、ステップＳ３において、演算装置５２により補正された画像（送信枠６２内の画像）は、ステップＳ４において、送受信装置５３に出力される。送受信装置５３は、入力された画像を、通信センタ１−１に対して送信する。
【００５６】
ステップＳ２乃至Ｓ４の処理は、会議中、繰り返される。これにより、通信センタ１−１に設置されているディスプレイ装置に映し出される参加者２４の画像は、常に中央付近に位置するようになり、もって、視線を一致させることが可能となり、臨場感があるテレビ会議システムを提供することが可能となる。
【００５７】
上述したように、移動量検出装置５１により得られた移動量より、画像を補正したが、撮像枠６１と送信枠６２とを設けることにより、正面ビデオカメラ３１−２１により撮像された画像から、移動量を判定し、画像を補正することが可能である。
【００５８】
図１１に示したディスプレイ装置２１においては、正面ビデオカメラ３１−２１により撮像された画像は、演算装置５２を介して、送受信装置５３に供給されるようになされている。正面ビデオカメラ３１−２１は、図１０を用いて説明したように、撮像枠６１が設定されており、その枠内の画像を撮像するようになされている。また、演算装置５２は、送信枠６２を設定し、その枠内の画像を送受信装置５３に出力するようになされている。
【００５９】
演算装置５２の動作を、図１２のフローチャートを参照して説明する。まず、ステップＳ１１において、初期設定がされる。初期設定の段階では、送信枠６２は、撮像枠６１の中心に設定されており、参加者２４が、所定の位置に座ることにより、正面ビデオカメラ３１−２１により撮像された参加者２４の画像は、送信枠６２内に撮像される。この時撮像された参加者２４の画像が参照画像とされ、演算装置５２に記憶される。
【００６０】
ステップＳ１２において、送信する画像を決定する為に、相関度の高い領域が検出される。この検出を、図１０を参照して説明する。ステップＳ１１で初期設定として撮像された参照画像を、図１０（Ａ）の送信枠６２内の画像とし、所定の時刻で撮像された画像を図１０（Ｂ）の撮像枠６１内の画像であるとした場合、図１０（Ａ）の状態での送信枠６２内の画像（参照画像）と相関度の高い部分が、図１０（Ｂ）で示した撮像枠６１内の画像から検出される。相関度が高い画像として検出されるのは、参加者２４が撮像された画像の部分であり、その部分を含むように、図１０（Ｂ）の送信枠６２が設定される。このようにして設定された送信枠６２内に存在する画像は、ステップＳ１３において、送受信装置５３に出力される。
【００６１】
ステップＳ１２とステップＳ１３の処理は、正面ビデオカメラ３１−２１により、画像が撮像される毎に繰り返される。または、所定の画像数が撮像される毎に繰り返されるようにしても良い。
【００６２】
上述した実施の形態においては、撮像された画像を処理することにより、通信センタ１−１のディスプレイ部に表示された参加者２４の画像は、その画面の中央に表示されるようにしたが、正面ビデオカメラ３１−２１を可動できるようにすることにより、同様の効果を得ることも可能である。そのような装置の構成を図１３に示す。図１３に示した構成においては、移動量検出装置５１から出力されたデータは、演算装置５２に入力される。演算装置５２は、その入力されたデータを基に、正面ビデオカメラ３１−２１を移動させる量を算出し、その算出されたデータを駆動装置７１に出力するようになされている。
【００６３】
駆動装置７１は、入力されたデータに従って、正面ビデオカメラ３１−２１を水平面内で平行移動させる（あるいはパンさせる）。すなわち、参加者２４がディスプレイ部３１−２１に対して、平行に移動した場合に対処できるようになされている。正面ビデオカメラ３１−２１は、撮像した画像を、送受信装置５３に出力し、送受信装置５３は、入力された画像データを、対応する通信センタ１−１乃至１−３に送信するようになされている。
【００６４】
図１４のフローチャートを参照し、図１３に示した装置の動作について説明する。ステップＳ２１における初期設定は、図９のステップＳ１で行われる初期設定と同様であるので、その説明は省略する。但し、図１３に示した正面ビデオカメラ３１−２１と演算装置５２には、撮像枠６１や送信枠６２は設定されていないので、これらの初期設定は行われない。
【００６５】
ステップＳ２２において、移動量の算出が行われる。この算出は、移動量検出装置５１が検出した参加者２４の移動量に応じて、どれだけ正面ビデオカメラ３１−２１を移動させたら、上述したように、光学素子４１−２１により正面ビデオカメラ３１−２１の光軸と、ディスプレイ部３４−２１の光軸とが、等価的に一致している状態となるのかを算出する処理である。例えば、参加者２４が、図１３において、左側に移動した場合（図６に示したような状態の場合）、演算装置５２は、正面ビデオカメラ３１−２１を、図１３において、どれだけ下側に移動させるかを算出する。
【００６６】
このようにして、演算装置５２により算出された移動量は、駆動装置７１に出力される。駆動装置５１は、ステップＳ２３において、入力された移動量のデータに従って、正面ビデオカメラ３１−２１を駆動する。正面ビデオカメラ３１−２１は、ステップＳ２４において、撮像した画像を送受信装置５３に出力し、送受信装置５３は、入力された画像データを通信センタ１−１に対して送信する。
【００６７】
このように、正面ビデオカメラ３１−２１を、参加者２４の移動量に応じて移動させることにより、視線一致を実現することができ、もって、臨場感があるテレビ会議システムを提供することが可能となる。
【００６８】
上述した実施の形態においては、光学素子４１−２１を用いることにより、ディスプレイ部３１−２１と正面ビデオカメラ３１−２１の光軸を一致させていた。しかしながら、例えば、図３に示したように、正面ビデオカメラ３１−２１がディスプレイ装置２１上に固定されているために、その光軸が、ディスプレイ部３４−２１と一致しない場合、正面ビデオカメラ３１−２１を３次元的に駆動させることにより、視線を一致させることができる。
【００６９】
すなわち、図１５に示したように、ディスプレイ装置２１の上部に正面ビデオカメラ３１−２１が、上下、左右、および前後に移動可能なように設置される。正面ビデオカメラ３１−２１の移動を制御するのが、駆動装置７１であり、駆動装置７１には、演算装置５２により演算された移動量が供給される。演算装置５２には、参加者２４の頭上に取り付けられた移動量検出装置５１で検出された参加者２４の移動量が供給される。また、正面ビデオカメラ３１−２１で撮像された参加者２４の画像は、送受信装置５３に出力される。
【００７０】
図１５に示したように、参加者２４が、ディスプレイ装置２１のディスプレイ部３４−２１に映し出されている参加者を注視し、正面ビデオカメラ３１−２１が、図中、左側（参加者２４に近い方）に位置している時、参加者２４の目線と正面ビデオカメラ３１−２１とのなす角度をθ１とし、同様に、正面ビデオカメラ３１−２１が、図中、右側（参加者２４に遠い方）に位置している時、参加者２４の目線と正面ビデオカメラ３１−２１とのなす角度をθ２とすると、角度θ１＞角度θ２の関係にあることがわかる。このことを利用し、参加者２４の目線と正面ビデオカメラ３１−２１とのなす角度θが小さくなるように、正面ビデオカメラ３１−２１が駆動される。
【００７１】
ここで、例えば、テレビジョン学会誌、ｖｏｌ．４２，ｎｏ．６  １９９２の６９８頁乃至７０２ページに記載されている「ヒューマンコミュニケーション」には、人間の検知限界は、左右方向が４．５度、真上方向が１２度、真下方向が８度であることが記述されており、この原理に従えば、この範囲を越えて視線がずれると、臨場感が損なわれることになる。
【００７２】
従って、この例では、角度θが真上方向では１２度いないになるように、かつ、真下方向では８度以内になるように、正面ビデオカメラ３１−２１が参加者２４に対して前後方向、または上下方向に駆動される。また、同様に、ディスプレイ装置２１に対する参加者２４の平行移動に関しては、視線のずれが４．５度以内になるように、正面ビデオカメラ３１−２１が参加者２４に対して左右方向に駆動される。
【００７３】
このような構成においての、装置の動作は、図１４のフローチャートを参照して説明した場合と同様であるので、その説明は省略する。但し、ステップＳ２３において行われる、正面ビデオカメラ３１−２１の駆動は、上下、左右、および前後方向に行われる。
【００７４】
上述した実施の形態においては、画像データを他の通信センタに送信する前に、視線が一致するように処理を施したが、受信した側で画像データを処理するようにしても良い。
【００７５】
図１６は、受信されたデータから視線一致を行う為の処理を行うディスプレイ装置２１の構成を示す図である。この構成においては、移動量検出装置５１で検出された移動量は、演算装置５２に出力される。演算装置５２に入力された移動量は、受信側で受信した画像に処理を加えるときに用いられるデータに変換されて送受信装置５３に出力される。送受信装置５３は、演算装置５２から出力されたデータと、正面ビデオカメラ３１−２１から出力された画像データとを送信する。
【００７６】
送受信装置５３には、また他の通信センタの参加者の画像データと、その画像データの画像が撮像された時の、参加者の移動量に関するデータが受信される。これらの受信されたデータは、演算装置５２に出力される。演算装置５２は、入力された画像データを、同じく入力された移動量のデータに基づいて、処理を施す。この処理は、例えば、図１０を参照して説明したように、送信枠６２に対応する枠内の画像を出力するように行われる。このようにすることで、各通信センタに設置されているディスプレイ部に映し出される参加者２４の顔が、常にその画面の中央に映し出されるようにすることができる。
【００７７】
上述した説明においては、本発明をテレビ会議システムに適用したが、本発明は、その他の装置等に適用することも可能である。また、上述した説明において、通信センタが４つであるとしたが、本発明はこれに限らず、通信センタをさらに多くしたり、少なくした場合にも、適用することができる。
【００７８】
本明細書中において、上記処理を実行するコンピュータプログラムをユーザに提供する提供媒体には、磁気ディスク、CD-ROMなどの情報記録媒体の他、インターネット、デジタル衛星などのネットワークによる伝送媒体も含まれる。
【００８０】
本発明によれば、テレビ会議などにおいて、参加者同士の視線を一致させることが可能となり、もって、臨場感ある会議を提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の画像処理装置を適用したテレビ会議システムの構成例を示す図である。
【図２】  テレビ会議システムにおける各通信センタの会議室の状態を示す図である。
【図３】図１における通信センタにおけるディスプレイ装置の配置状態を示す図である。
【図４】ディスプレイ装置の構成例を示す図である。
【図５】図４のディスプレイ部の表示例を示す図である。
【図６】参加者の位置がずれることにより、視線一致がずれることを説明する図である。
【図７】視線一致がずれた時のディスプレイ部の表示例を示す図である。
【図８】ディスプレイ装置の他の構成例を示す図である。
【図９】図８の演算装置の動作を説明するフローチャートである。
【図１０】ステップＳ３で行われる画像の補正を説明する図である。
【図１１】ディスプレイ装置のさらに他の構成例を示す図である。
【図１２】図１１の演算装置の動作を説明するフローチャートである。
【図１３】ディスプレイ装置のさらに他の構成例を示すブ図である。
【図１４】図１３の演算装置の動作を説明するフローチャートである。
【図１５】ディスプレイ装置のさらに他の構成例を示す図である。
【図１６】ディスプレイ装置のさらに他の構成例を示す図である。
【符号の説明】
１−１乃至１−６  通信センタ，  ２  ネットワーク，  ２１−２３  ディスプレイ装置，  ３５−２１  正面ビデオカメラ，  ３５−２２  左側面ビデオカメラ，  ３５−２３  右側面ビデオカメラ，  ３６−２１乃至３６−２３  マイクロホン，  ３７−２１乃至３７−２３  ディスプレイ部，  ３８−２１乃至３８−２３  スピーカ部，  ４１−２１  光学素子，  ５１  移動量検出装置，  ５２  演算装置，  ５３  送受信装置，  ６１  撮像枠，  ６２  送信枠，  ７１  駆動装置
【図１】
0004300437.tif 000002
【図２】
0004300437.tif 000003
【図３】
0004300437.tif 000004
【図４】
0004300437.tif 000005
【図５】
0004300437.tif 000006
【図６】
0004300437.tif 000007
【図７】
0004300437.tif 000008
【図８】
0004300437.tif 000009
【図９】
0004300437.tif 000010
【図１０】
0004300437.tif 000011
【図１１】
0004300437.tif 000012
【図１２】
0004300437.tif 000013
【図１３】
0004300437.tif 000014
【図１４】
0004300437.tif 000015
【図１５】
0004300437.tif 000016
【図１６】
0004300437.tif 000017