(57)【特許請求の範囲】
【請求項１】
画像を撮影するカメラ装置が撮影した画像を、ディスプレイ装置に表示する画像表示装置を備えたウインドウとカメラの協調制御装置において、
ユーザの与えるウインドウ操作命令に従って第一のウインドウと第二のウインドウを管理するマルチウインドウ管理部と、
前記第一のウインドウと前記第二のウインドウの位置関係を、カメラを制御操作する第一のカメラ制御情報に変換する第一の情報変換部と、
前記第一のカメラ制御情報に従って、前記第一のウインドウに表示する画像を撮影する第一のカメラを制御する第一のカメラ管理部とを備えた
ことを特徴とするウインドウとカメラの協調制御装置。
【請求項２】
さらに、前記マルチウインドウ管理部から送られてきた前記位置関係を、カメラを制御操作する第二のカメラ制御情報に変換する第二の情報変換部と、
前記第二のカメラ制御情報に従って、前記第二のウインドウに表示する画像を撮影する第二のカメラを制御する第二のカメラ管理部とを備える
ことを特徴とする請求項１記載のウインドウとカメラの協調制御装置。
【請求項３】
前記第一の情報変換部は、第一のウインドウの中心と第二のウインドウの中心を結ぶ線と、第一のウインドウの中心を通る水平線がなす第一の相対角度を求め、該第一の相対角度を符号反転させた角度を前記第一のカメラ制御情報とし、
前記第二の情報変換部は、第二のウインドウの中心と第一のウインドウの中心を結ぶ線と、第二のウインドウの中心を通る水平線がなす第二の相対角度を求め、該第二の相対角度を符号反転させた角度を前記第二のカメラ制御情報とし、
前記第一のカメラ管理部は、前記第一のカメラ制御情報に従って、前記第一のカメラを物理的に移動し、
前記第二のカメラ管理部は、前記第二のカメラ制御情報に従って、前記第二のカメラを物理的に移動する
ことを特徴とする請求項２記載のウインドウとカメラの協調制御装置。
【請求項４】
画像を撮影するカメラ装置が撮影した画像を、ディスプレイ装置に表示する画像表示装置を備えたウインドウとカメラの協調制御装置において、
ユーザの与えるウインドウ操作命令に従って第一のウインドウと第二のウインドウを管理するマルチウインドウ管理部と、
前記第一のウインドウと前記第二のウインドウの位置関係を、複数のカメラのうち切り替えるべきカメラを指示する第一と第二のカメラ制御情報に変換する情報変換部と、
前記第一のカメラ制御情報に従って、前記第一のウインドウに表示すべき画像を撮影するカメラを切り替えるとともに、前記第二のカメラ制御情報に従って、前記第二のウインドウに表示すべき画像を撮影するカメラを切ら替えるカメラ管理部とを備えた
ことを特徴とするウインドウとカメラの協調制御装置。
【請求項５】
第一と第二の画像表示装置を備え、
前記情報変換部は、前記第一のウインドウの中心と前記第二のウインドウの中心を結ぶ線と、該第一のウインドウの中心を通る水平線がなす相対角度を求め、該相対角度を符号反転した第一の角度を前記第一のカメラ制御情報とし、また、該第一の角度から１８０°を減じた第二の角度を、前記第二のカメラ制御情報とし、
前記カメラ管理部は  前記第一のカメラ制御情報に従って、前記第一の画像表示装置の周囲に配置された複数のカメラから第一の角度に最も近いカメラに切り替え、また、前記第二のカメラ制御情報に従って、前記第二の画像表示装置の周囲に配置された複数のカメラから第二の角度に最も近いカメラに切り替える
ことを特徴とする請求項４記載のウインドウとカメラの協調制御装置。
【請求項６】
対話者の画像を撮影するカメラ装置が撮影した画像を、ディスプレイ装置に表示する画像表示装置を備えたウインドウとカメラの協調制御方法おいて、
ユーザの与えるウインドウ操作命令に従って第一のウインドウと第二のウインドウを管理するマルチウインドウ管理ステップと、
前記第一のウインドウと前記第二のウインドウの位置関係を、画像表示装置上で第一の対話者と第二の対話者の画像が向きあうように、複数のカメラのうち切り替えるべきカメラを指示する第一と第二のカメラ制御情報に変換する情報変換ステップと、
前記第一のカメラ制御情報に従って、前記第一のウインドウに表示すべき第一の対話者の画像を撮影するカメラを切り替えるとともに、前記第二のカメラ制御情報に従って、前記第二のウインドウに表示すべき第二の対話者の画像を撮影するカメラを切り替えることで、カメラ管理ステップとを備えた
ことを特徴とするウインドウとカメラの協調制御方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、カメラ管理装置とワークステーションで動作するマルチウィンドウ・システムの管理装置に関し、特に本発明は、カメラが撮影した動画像（静止画も含む）を相互に関連させて表示する機能を備えたウィンドウとカメラの協調制御方法および装置に関する。
【０００２】
【従来の技術】
カメラを使ってワークステーションの画面上のウィンドウに画像を表示する装置においては、ウィンドウが単に画像を表示するだけで、ウィンドウの内部の画像とウィンドウの置かれた環境との間で情報が連動していないと、ユーザに不自然な印象を与える。
【０００３】
このため、ウィンドウの画像の変更、もしくは、ウィンドウ内の画像を変化させる指示があったとき、カメラ等の撮影装置を制御し、ウィンドウ・サイズの拡大やウィンドウ内部の画像のスクロール等に合わせて、逐次適切な画像情報を撮影装置から入力してウィンドウに表示する手法が提案されている（例えば、特開平３−２１７９７８号公報参照）。
【０００４】
【発明が解決しようとする課題】
ところで、上記した従来の技術は、単一のウィンドウにおける画像の変更、もしくは、ウィンドウ内の画像を変化させる指示に対応してカメラ等の撮影装置を制御するものであり、ユーザの指示により直接カメラを制御したり、マルチウィンドウにおいて、各ウィンドウの画面を相互に協調させて制御することはできなかった。
【０００５】
このため、次のような問題点があった。
▲１▼  マルチウィンドウ画面に表示されたものの相互の関係あるいは相対位置を容易に把握することができず、ユーザに不自然な印象を与える場合がある。
例えば、テレビ会議の場合には、複数の会議出席者をマルチウィンドウ画面に表示するが、会議における話者と聴者の顔がそれぞれ独立して制御されると、両者の顔を対面させることができず、両者の関係を容易に把握することができないばかりか、ユーザに不自然な印象を与える。
【０００６】
また、例えば、一方のウィンドウの画像を撮影するカメラの撮影位置を変更した場合に、それに応じて、画面上のウィンドウの位置が他のウィンドウに対して相対的に変化しないと、２つのウィンドウ上に表示されているものの相対位置をユーザが把握できなくなる。
▲２▼  ユーザに指示により直接カメラを制御することができないので、例えば、ある物体の正面、側面、後面を撮影してウィンドウ画面上に表示させる等、カメラを三次元的に制御したり、あるいは、ウィンドウ画面上に表示されている位置とはかけ離れた位置へカメラを一気に移動させる等の制御を容易に行うことができない。
【０００７】
本発明は上記した従来技術の問題点を考慮してなされたものであって、本発明の第１の目的は、カメラ装置が撮影した画像を、計算機のディスプレイ装置上に表示する際、ユーザがカメラの制御をごく自然に効率的に行うことができ、ユーザに効果的な画像を見せることができるウィンドウとカメラの協調制御方法および装置を提供することである。
【０００８】
本発明の第２の目的は、マルチウィンドウの各ウィンドウ画面を協調して制御できるようにすることにより、表示されるものの相互関係、相対位置等を容易に把握でき、不自然な印象を与えることがないウィンドウとカメラの協調制御方法および装置を提供することである。
本発明の第３の目的は、ユーザの指示により直接カメラを制御できるようにすることにより、ウィンドウ画面に表示する画像の対象範囲をユーザが自由に選択できるようにし、表示される画像の自由度を大きくした、ウィンドウとカメラの協調制御方法および装置を提供することである。
【０００９】
【課題を解決するための手段】
図１〜図３は本発明の基本構成図である。本発明のシステムは、大きく分けると、図１〜図３に示すように次の３通りに分けることができる。
（１）第１のシステムは、図１に示すように、カメラが撮影した画像を表示するウィンドウの画面上での位置やサイズなどを、カメラのオン／オフ、位置、向き、ズーム（倍率）などを決定するための情報として利用することにより、カメラを制御し、マルチウィンドウに画像を表示するものである。
【００１０】
図１において、１１は例えば人物等の撮影対象、１２はウィンドウを操作するユーザ、１３はカメラ装置であり、カメラ装置１３はカメラ管理装置１６を備えており、カメラのオン／オフ、位置、向き、ズーム等はカメラ管理装置１６により制御される。１４はディスプレイ装置であり、ディスプレイ装置１４には複数のウィンドウ画面が表示され、ウィンドウ画面中に上記カメラ装置１３により撮影された撮影対象が表示される。
【００１１】
１５は画像表示装置であり、画像表示装置１５は、後述するウィンドウ管理部１８から与えられる位置、サイズ情報に基づき、カメラ装置１５により撮影された画像をディスプレイ装置１４のウィンドウ画面に表示する。
１７は情報変換部であり、情報変換部１７は後述するウィンドウ管理部１８から与えられる位置、サイズ情報をカメラのオン／オフ、位置、向き、ズーム等のカメラ制御情報に変換する。
【００１２】
１８はウィンドウ管理部であり、ウィンドウ管理部１８はユーザ１２が与えるウィンドウ操作命令にしたがってディスプレイ装置１４のマルチウィンドウを管理する。
図４は図１に示したシステムの処理を示すフローチャートであり、同図により図１のシステムの処理を説明する。
【００１３】
計算機（ワークステーション）はユーザ１２の入力を待ち（ステップＳ１）、ユーザ１２の入力を受けると、それがウィンドウ操作命令か否かを判別し（ステップＳ２）、ウィンドウ操作命令でない場合には、その入力に適した他の処理を行う（ステップＳ３）。
入力がウィンドウ操作命令の場合には、ウィンドウ管理部１８がその命令に応じて、位置、サイズ情報を画像表示部１５に送り、ウィンドウを修正（移動、リサイズ等）し、それとともに、位置、サイズ等の情報を情報変換部１７に提供する。
【００１４】
情報変換部１７は位置、サイズ等の情報を位置、向き、ズーム等のカメラ情報に変換し、カメラ管理装置１６に渡す（ステップＳ４）。カメラ管理装置１６は上記情報に従ってカメラ装置１３を制御する（ステップＳ５）。その間、その処理に並行して、画像表示装置１５はカメラ装置１３が撮影した画像を、位置、サイズ情報に従って、ディスプレイ装置１４に表示し続ける。
【００１５】
図５はカメラとウィンドウを独立に制御した場合における表示画像〔同図（ａ）〕と、図１に示したようにウィンドウの位置によりカメラを制御した場合の表示画像の一例を示す図〔同図（ｂ）〕である。
カメラとウィンドウを独立に制御した場合には、同図（ａ）に示すように、カメラの撮影した画像が表示されているウィンドウを画面上で移動させると、ウィンドウ内部の画像も一緒に移動して、見える場所は変わらない。
【００１６】
一方、図１に示すように、ウィンドウの位置によりカメラを制御する場合、画面上でのウィンドウの移動に伴って、ウィンドウを移動した方にカメラの向きを変えるようにすると、同図（ｂ）に示すように、あたかも、ウィンドウ内部は固定されていて、覗き窓を移動させるように、見たいところを見るといった自然な操作が可能となる。
【００１７】
図６はカメラとウィンドウを独立して制御した場合における表示画像〔同図（ａ）〕と、図１に示したようにウィンドウのサイズによりズーム倍率を制御した場合の表示画像の一例を示す図〔同図（ｂ）〕である。
カメラとウィンドウを独立に制御した場合には、同図（ａ）に示すように、カメラの撮影した画像が表示されているウィンドウを画面上で拡大縮小すると、ウィンドウ内部の画像も一緒に拡大縮小され、見える範囲は変わらない。
【００１８】
なお、上記のように画像を拡大縮小する外、ウィンドウのサイズに影響されず、表示される画像が固定されたままという表示形態とする場合もある。
一方、ウィンドウのサイズによってカメラのズームを制御し、画面上でのウィンドウの拡大（縮小）に伴って、カメラの倍率を下げ（上げ）、画角を拡げる（狭める）ようにすると、同図（ｂ）に示すように、あたかも、ウィンドウ内部は固定されていて覗き窓を拡げたり縮めたりするように、見たい範囲を変更するといった自然な操作が可能となる。
（２）第２のシステムは、図２に示すように、カメラのオン／オフ、位置、向き、ズーム（倍率）などを、カメラが撮影した画像を表示するウィンドウの画面上での位置やサイズなどを決定するための情報として利用することにより、ウィンドウを管理するものである。
【００１９】
図２において、１１は撮影対象、１２はカメラ制御操作を行うユーザ、１３はカメラ装置であり、カメラのオン／オフ、位置、向き、ズーム等はユーザ１２が与えるカメラ制御操作信号に基づき、カメラ管理装置２６により制御される。１４はディスプレイ装置、１５は画像表示装置であり、画像表示装置１５は、ウィンドウ管理部２８から与えられる位置、サイズ情報に基づき、画像をディスプレイ装置１４のウィンドウ画面に表示する。
【００２０】
２７は情報変換部であり、情報変換部２７は、カメラ管理装置２６から与えられるカメラのオン／オフ、位置、向き、ズーム等のカメラ制御情報を位置、サイズ等の制御情報に変換する。
２８はウィンドウ管理部であり、ウィンドウ管理部２８は情報変換部２７が与える位置、サイズ等の制御情報にしたがってディスプレイ装置１４のマルチウィンドウを管理する。
【００２１】
図７は図２に示したシステムの処理を示すフローチャートであり、同図により図２のシステムの処理を説明する。
計算機（ワークステーション）はカメラ管理装置２６の入力を待ち（ステップＳ１）、カメラ管理装置２６から入力を受けると、カメラのオン／オフ、位置、向き、ズーム等の情報を情報変換部２７に渡す。情報変換部２７はその情報をウィンドウ制御情報に変換し、ウィンドウ管理部２８に渡す（ステップＳ２）。
【００２２】
ウィンドウ管理部２８はその制御情報に従ってウィンドウを管理する（ステップＳ３）。
その間、その処理に並行して、画像表示装置はカメラの撮影した画像を、ウィンドウ管理部が指定する位置およびサイズ情報に従ってディスプレイ装置１４上に表示し続ける。
【００２３】
図２に示したシステムにおいては、ユーザ１２が直接カメラを操作すると、その操作情報が、位置、サイズ等のウインドウ制御情報に変換され、ディスプレイ装置１４におけるウインドウの画面が制御されるので、ユーザは、例えば、ある物体の正面、側面、後面を撮影してウインドウ画面上に表示させたり、あるいは、ウインドウ画面上に表示されている位置とはかけ離れた位置へカメラを一気に移動させる等の制御を容易に行うことができる。
（３）第３のシステムは、図３に示すように、上記した（１）と（２）を組み合わせてカメラ制御とウインドウ管理を双方向で行えるようにしたものである。
【００２４】
図３において、１１は撮影対象、１２はカメラ制御操作、または、ウィンドウ操作を行うユーザ、１３はカメラ装置であり、カメラのオン／オフ、位置、向き、ズーム等はユーザ１２が与えるカメラ制御操作信号、および、情報変換部３７が与える制御情報に基づき、カメラ管理装置３６により制御される。１４はディスプレイ装置、１５は画像表示装置であり、画像表示装置１５は、ウィンドウ管理部２８から与えられる位置、サイズ情報に基づき、画像をディスプレイ装置１４のウィンドウ画面に表示する。
【００２５】
３７は情報変換部であり、情報変換部３７は、カメラ管理装置３６が与えられるカメラのオン／オフ、位置、向き、ズーム等のカメラ制御情報を位置、サイズ等の制御情報に変換するとともに、ウィンドウ管理部３８が与える位置、サイズ情報をカメラ制御情報に変換する。
２８はウィンドウ管理部であり、ウィンドウ管理部２８は情報変換部２７が与える位置、サイズ等の制御情報にしたがってディスプレイ装置１４のマルチウィンドウを管理する。
【００２６】
図８は図３に示したシステムの処理を示すフローチャートであり、同図により図３のシステムの処理を説明する。
計算機（ワークステーション）は、ユーザまたはカメラ管理装置からの入力を待ち（ステップＳ１）、入力を受けると、どこからの入力かを判別し（ステップＳ２）、ユーザからの入力であれば、ステップＳ３およびステップＳ４〜ステップＳ６において、前記（１）で説明したのと同様の処理を行う。また、カメラ管理装置からの入力であると、前記（２）で説明したのと同様の処理を行う。
【００２７】
その間、その処理に並行して、画像表示装置１５はウィンドウ管理部が指定する位置、サイズ情報に従って、ディスプレイ装置１４に表示し続ける。
本発明は、上記（１）〜（３）に示したシステムを用いて、カメラ装置が撮影した画像を、計算機のディスプレイ装置上のマルチウィンドウに表示するようにしたものであり、本発明の請求項１〜１０の発明は、下記構成とすることにより、前記課題を解決している。
【００３０】
すなわち、本発明の請求項１の発明は、画像を撮影するカメラ装置が撮影した画像を、ディスプレイ装置に表示する画像表示装置を備えたウインドウとカメラの協調制御装置において、ユーザの与えるウインドウ操作命令に従って第一のウインドウと第二のウインドウを管理するマルチウインドウ管理部と、前記第一のウインドウと前記第二のウインドウの位置関係を、カメラを制御操作する第一のカメラ制御情報に変換する第一の情報変換部と、前記第一のカメラ制御情報に従って、前記第一のウインドウに表示する画像を撮影する第一のカメラを制御する第一のカメラ管理部とを設けたものである。
【００３１】
本発明の請求項２の発明は、上記請求項１の発明において、さらに、前記マルチウインドウ管理部から送られてきた前記位置関係を、カメラを制御操作する第二のカメラ制御情報に変換する第二の情報変換部と、前記第二のカメラ制御情報に従って、前記第二のウインドウに表示する画像を撮影する第二のカメラを制御する第二のカメラ管理部とを設けたものである。
【００３２】
本発明の請求項３の発明は、上記請求項２の発明において、前記第一の情報変換部が、第一のウインドウの中心と第二のウインドウの中心を結ぶ線と、第一のウインドウの中心を通る水平線がなす第一の相対角度を求め、該第一の相対角度を符号反転させた角度を前記第一のカメラ制御情報とし、前記第二の情報変換部が、第二のウインドウの中心と第一のウインドウの中心を結ぶ線と、第二のウインドウの中心を通る水平線がなす第二の相対角度を求め、該第二の相対角度を符号反転させた角度を前記第二のカメラ制御情報とし、前記第一のカメラ管理部が、前記第一のカメラ制御情報に従って、前記第一のカメラを物理的に移動させ、前記第二のカメラ管理部が、前記第二のカメラ制御情報に従って、前記第二のカメラを物理的に移動させるように構成したものである。
本発明の請求項４の発明は、画像を撮影するカメラ装置が撮影した画像を、ディスプレイ装置に表示する画像表示装置を備えたウインドウとカメラの協調制御装置において、ユーザの与えるウインドウ操作命令に従って第一のウインドウと第二のウインドウを管理するマルチウインドウ管理部と、前記第一のウインドウと前記第二のウインドウの位置関係を、複数のカメラのうち切り替えるべきカメラを指示する第一と第二のカメラ制御情報に変換する情報変換部と、前記第一のカメラ制御情報に従って、前記第一のウインドウに表示すべき画像を撮影するカメラを切り替えるとともに、前記第二のカメラ制御情報に従って、前記第二のウインドウに表示すべき画像を撮影するカメラを切り替えるカメラ管理部とを設けたものである。
【００３３】
本発明の請求項５の発明は、請求項４の発明において、第一と第二の画像表示装置を備え、前記情報変換部が、前記第一のウインドウの中心と前記第二のウインドウの中心を結ぶ線と、該第一のウインドウの中心を通る水平線がなす相対角度を求め、該相対角度を符号反転した第一の角度を前記第一のカメラ制御情報とし、また、該第一の角度から１８０°を減じた第二の角度を、前記第二のカメラ制御情報とし、前記カメラ管理部が  前記第一のカメラ制御情報に従って、前記第一の画像表示装置の周囲に配置された複数のカメラから第一の角度に最も近いカメラに切り替え、また、前記第二のカメラ制御情報に従って、前記第二の画像表示装置の周囲に配置された複数のカメラから第二の角度に最も近いカメラに切り替えるように構成したものである。
【００３４】
本発明の請求項６の発明は、対話者の画像を撮影するカメラ装置が撮影した画像を、ディスプレイ装置に表示する画像表示装置を備えたウインドウとカメラの協調制御方法おいて、ユーザの与えるウインドウ操作命令に従って第一のウインドウと第二のウインドウを管理し、前記第一のウインドウと前記第二のウインドウの位置関係を、画像表示装置上で第一の対話者と第二の対話者の画像が向きあうように、複数のカメラのうち切り替えるべきカメラを指示する第一と第二のカメラ制御情報に変換し、前記第一のカメラ制御情報に従って、前記第一のウインドウに表示すべき第一の対話者の画像を撮影するカメラを切り替えるとともに、前記第二のカメラ制御情報に従って、前記第二のウインドウに表示すべき第二の対話者の画像を撮影するカメラを切り替えるようにしたものである。
【００３７】
【作用】
本発明の請求項１〜３の発明においては、ユーザに効果的な画像を見せることができ、また、表示されるものの相互関係、相対位置等を容易に把握でき、不自然な印象を与えることがない。特に、テレビ会議システム等に適用する際、対話する人の顔を画面上で向き合わせたり、画面上で、参加者の顔を注目するものに向けさせることができ、自然な印象を与える画面を構成することができる。
【００３８】
本発明の請求項４〜５の発明においては、上記と同様、ユーザに効果的な画像を見せることができ、また、表示されるものの相互関係、相対位置等を容易に把握でき、不自然な印象を与えることがない。特に、テレビ会議システム等に適用する際、対話する人の顔を画面上で向き合わせたり、画面上で、参加者の顔を注目するものに向けさせることができ、自然な印象を与える画面を構成することができる。
また、カメラを物理的に移動させるためのマニピュレータ等の手段を設ける必要がなく、構成および制御を簡単にすることができる。
【００４１】
本発明の請求項６の発明においては、ユーザに効果的な画像を見せることができ、また、表示されるものの相互関係、相対位置等を容易に把握でき、不自然な印象を与えることがない。特に、テレビ会議システム等に適用する際、対話する人の顔を画面上で向き合わせたり、画面上で、参加者の顔を注目するものに向けさせることができ、自然な印象を与える画面を構成することができる。
また、カメラを物理的に移動させるためのマニピュレータ等の手段を設ける必要がなく、構成および制御を簡単にすることができる。
【００４２】
【実施例】
（１）顔を表示したウィンドウの位置関係によるカメラの位置の制御（ウィンドウ情報によるカメラの制御）
遠隔分散環境におけるテレビ会議システムでは、相手の顔が画面上で見えることが重要である。一般的には、図９（ａ）に示すように、相手が自分と向かい合っている状況を再現するために正面からみた顔の像を表示しようとするものが多い。
【００４３】
しかし、顔の正面にはディスプレイがありカメラは置けないため、視線まで厳密に考慮すると正面からみた顔の像を得るにはハーフミラーを使うなどの工夫が必要である。
これに対して、図９（ｂ）に示すように、自分の画像も含めて画面上に表示し、自分の画像と相手の画像が並んでいる状況を画面上て構成すると、相手の画像が（本当の）自分の方を向いていなくても自然な印象を受ける。この方式では顔を正面から撮る必要がなく、ディスプレイの傍らにカメラを設置することができる。
【００４４】
しかしながら、この方式において自然の印象を与えるためには、自分の顔が表示されたウィンドウと相手の顔が表示されたウィンドウの位置関係とそれぞれのウィンドウの中での顔の向きが重要である。
例えば、図９（ｃ）（ｄ）のようにウィンドウ同士がたとえ隣り合って並んでいても顔が向き合わっていないと、不自然である。
【００４５】
このようなウィンドウの配置を行う場合には、それぞれの顔の向きが図９（ｅ）のような向きになる位置から撮影する必要がある。また、図９（ｅ）と同じ顔の向きでかつウィンドウの左右の関係が同じでも、図１０（ｆ）に示すように、ウィンドウが斜めに配置されていると不自然である。
このようなウィンドウの配置をする場合には、それぞれの顔が図１０（ｇ）に示すような向きになる位置から撮影する必要がある。
【００４６】
計算機で作業している間は基本的には自分も相手もディスプレイを向いていると考えられる。しかし、顔の向きが固定されていてもカメラの位置を変えることで様々な方向を向いた顔の画像を得ることができる。
すなわち、自分の顔が表示されたウィンドウと相手の顔が表示されたウィンドウの位置関係によってカメラの位置（と向き）を制御することで、常に自然な印象を与える向きの顔画像を得ることができる。
【００４７】
次に、遠隔地にある二人がシステムを介して対話する場合におけるウィンドウ情報によるカメラの制御について、本発明の第１の実施例を説明する。
図１１は本実施例を説明する図であり、同図は、前記した図１に示したワークステーションを用いて、各自を撮影するカメラが一台つづ設置された２人が対話する場合を示している。
【００４８】
同図において、１３Ａ，１３Ｂはそれぞれの対話者を撮影するカメラ装置、１４Ａ、１４Ｂはディスプレイ装置であり、対話する２人のユーザのところに前記した図１に示すワークステーションがそれぞれ設置され（それぞれのワークステーションをＷＳ−Ａ、ＷＳ−Ｂという）、それぞれのワークステーションは伝送路を介して接続されている。
【００４９】
本実施例においては、カメラが各自一台なので、それぞれの人の像はどのウィンドウでも同じになる。したがって、各自のウィンドウの相対的な配置は同じでなければならず、どちらか一方の人がウィンドウを移動したら、その情報に基づいてそれぞれのカメラを移動するとともに、他方のウィンドウの配置も強制的に変更する必要がある。
【００５０】
図１２は本実施例における対話者のそれぞれのワークステーションにおける処理を示すフローチャートであり、同図を参照して本実施例における処理について説明する。
それぞれのワークステーションＷＳ−Ａ、ＷＳ−Ｂは、それぞれ、ユーザ、あるいは、ワークステーションＷＳ−Ｂ、ＷＳ−Ａからの命令を待ち（ステップＳ１，Ｒ１）、命令が入力されると、その入力がウィンドウ移動命令か否かを判別する（ステップＳ２，Ｒ２）。
【００５１】
そして、入力された命令がウィンドウ移動命令でない場合には、その入力に適した他の処理を行う（ステップＳ３，Ｒ３）。
入力された命令がウィンドウ移動命令の場合には、命令に応じてウィンドウを移動させるとともに、その命令が自ワークステーションから入力された場合には、その命令を相手側のワークステーションに送る（ステップＳ４，Ｒ４）。
【００５２】
ついで、それぞれのワークステーションにおいて、ウィンドウＢ（Ａ）の相対角度θ（ρ）〔ρ＝θ±π〕を計算する（ステップＳ５，Ｒ５）。そして、カメラＡ（Ｂ）を角度−θ（−ρ）の位置に移動させる。
例えば、ワークステーションＷＳ−Ａ側で、ウィンドウＡ（ワークステーションＷＳ−Ａ側のユーザの顔が表示されているウィンドウ）の位置を移動させた場合には、ワークステーションＡにおいては、図１１（ａ）に示すように、ウィンドウＡの中心とウィンドウＢ（ワークステーションＷＳ−Ｂ側のユーザの顔が表示されているウィンドウ）の中心を結ぶ直線と水平線との間の角度θを求め、カメラ１３Ａの位置を−θの位置に移動させる。
【００５３】
また、ワークステーションＢにおいては、ワークステーションＷＳ−Ａからの移動命令に基づき、図１１（ｂ）に示すように、ウィンドウ位置を移動させるとともに、ウィンドウＡの中心とウィンドウＢの中心を結ぶ直線と水平線との間の角度ρを求め、カメラ１３Ｂの位置を−ρの位置に移動させる。
これにより、ディスプレイ装置１４Ａ，１４Ｂに表示されるウィンドウＡ，Ｂの相対的位置は同じとなり、また、ウィンドウに表示される対話者の顔が図１１に示すように向き合い、自然な印象を与えることができる。
（２）顔を表示したウィンドウの位置関係による、固定された複数のカメラの制御（ウィンドウ情報によるカメラの制御）
第１の実施例と同じ状況において、一つのカメラを物理的に移動させるのではなく、予め、何箇所かに複数台のカメラを配置しておいて、自分の顔が表示されたウィンドウと相手の顔が表示されたウィンドウの位置関係によって、カメラを切替えて（オン／オフを制御して）、適切な画像を表示することもできる。
【００５４】
図１３は、上記のように複数のカメラを設置して、ディスプレイに向かっている人を撮影した場合の、各カメラにより撮影された画像を示す図であり、同図に示すように、さまざまな向きの顔を撮影すことができる。なお、この場合には顔の向きの微調整はできないが、カメラの物理的な移動を必要としないので、マニピュレータなどの制御をする必要はない。
【００５５】
次に、遠隔地にある二人がシステムを介して対話する場合におけるウィンドウ情報によるカメラの制御について、本発明の第２の実施例を説明する。
図１４、図１５は本実施例を説明する図であり、同図は、前記した図１に示したシステムを用いて、各自を撮影するカメラが複数台（例えば、８台と６台）設置された２人が対話する場合を示している。
【００５６】
図１４、図１５において、図１４はワークステーションＷＳ−Ａにおける画像、図１５はワーステーションＷＳ−Ｂにおける画像を示し、１３Ａ０〜１３Ａ７，１３Ｂ０〜１３Ｂ５はそれぞれの対話者を撮影するカメラ装置、１４Ａ、１４Ｂはディスプレイ装置であり、対話する２人のユーザのところに、第１の実施例と同様、図１に示すワークステーションがそれぞれ設置され（それぞれのワークステーションをＷＳ−Ａ、ＷＳ−Ｂという）、それぞれのワークステーションは伝送路を介して接続されている。
【００５７】
本実施例においては、カメラが各自複数台なので、１人の人の像をウィンドウ毎に変えることができる。したがって、各自のウィンドウの相対的な配置も異なっていてもよい。。
図１６、図１７は本実施例における対話者のそれぞれのワークステーションにおける処理を示すフローチャートであり、図１６はワークステーションＷＳ−Ａにおける処理、図１７はワークステーションＷＳ−Ｂにおける処理を示している。次に同図を参照して本実施例における処理について説明する。
【００５８】
それぞれのワークステーションＷＳ−Ａ、ＷＳ−Ｂは、それぞれ、ユーザからの命令を待ち（ステップＳ１，Ｒ１）、命令が入力されると、その入力がウィンドウ移動命令か否かを判別する（ステップＳ２，Ｒ２）。
そして、入力された命令がウィンドウ移動命令でない場合には、その入力に適した他の処理を行う（ステップＳ３，Ｒ３）。
【００５９】
入力された命令がウィンドウ移動命令の場合には、命令に応じてウィンドウを移動させる（ステップＳ４，Ｒ４）。
ついで、ウィンドウを移動させたワークステーションにおいて、ウィンドウＢ（Ａ）の相対角度θ（ρ）を計算する（ステップＳ５，Ｒ５）。カメラＡをｆ（−θ）番〔ｆ（−ρ）番〕に切り替え、カメラＢをｇ（−θ−π）番〔ｇ（−ρ−π）番〕に切り替える（ステップＳ６，Ｓ７，Ｒ６，Ｒ７）。
【００６０】
ここで、上記ｆ，ｇは、ウィンドウの相対角度に対して切り替えるべきカメラの番号を与える関数であり、この関数は次のように定義される。
上記関数ｆの定義において、ｍは一人あたりのカメラ台数を示す定数（この例ではｍ＝８）であり、カメラは図１４に示すように０番目をＸ軸正方向に配置し、他は画面の周囲に均等に配置されるとする。また、関数ｇについても定義は同様であり、その場合はｍ＝６となる。なお、この例ではカメラを均等に配置したが、かならずしも、そのようにする必要はない。
【００６１】
本実施例においては、式（１）に示すように、ウィンドウの相対角度に対して、画面から−θ方向に最も近いカメラが選ばれるように関数を定義している。
【００６２】
【数１】
0003797678.tif 000002
【００６３】
上記処理において、例えば、両方のワークステーションのウィンドウが、図１５に示すように横に配置されている状態から、ワークステーションＷＳ−Ａ側で、ウィンドウＡの位置を図１４に示すように移動させた場合、次のようにカメラが切り替えられる。
すなわち、ワークステーションＡにおいて、図１４に示すように、ウィンドウＡの中心とウィンドウＢの中心を結ぶ直線と水平線との間の角度θを求める。そして、上記式（１）によりｆ（−θ）を求め、ワークステーションＷＳ−Ａに設置されたカメラ１３Ａ０〜１３Ａ７をｆ（−θ）番に切り替える。その結果、ワークステーションＷＳ−Ａ側のウィンドウＡの画像を撮影するカメラは、ワークステーションＷＳ−Ａ側のユーザの顔を斜め下から撮影するカメラ（カメラ１３Ａ７）に切り替えられる。
【００６４】
次に、上記式（１）によりｇ（−θ−π）を求め、ワークステーションＷＳ−Ｂに設置されたカメラ１３Ｂ０〜１３Ｂ５をｇ（−θ−π）番に切り替える。その結果、ワークステーションＷＳ−Ａ側のウィンドウＢの画像を撮影するカメラは、ワークステーションＷＳ−Ｂ側のユーザの顔を斜め上から撮影するカメラ（カメラ１３Ｂ２）に切り替えられる。
【００６５】
なお、ワークステーションＷＳ−Ｂにおいてはウィンドウが移動していないので、ワークステーションＷＳ−Ｂのウィンドウに表示する画像を撮影するためのカメラの切り替えは行われない。
上記のようなカメラ切り替えを行うことにより、ワークステーションＷＳ−Ａにおいては、図１４に示すように対話者の顔が斜め上下に向き合い、ワークステーションＷＳ−Ｂにおいては、図１５に示すように対話者の顔が横に向き合うようになり、自然な印象を与えることができる。
（３）顔を表示したウィンドウの位置関係による、固定された複数のカメラの制御（ウィンドウとカメラの双方向制御）
複数人が参加したテレビ会議等において、第２の実施例と同じように、何箇所かに複数台のカメラを配置しておいて、カメラを切替えて（オン／オフを制御して）、適切な画像を表示することもできる。
【００６６】
次に、複数人（例えば、５人）の参加で、カメラが各自３台あり、一度に２人づつ発言し、他の人はそれを傍観する場合におけるウィンドウとカメラの双方向制御について、本発明の第３の実施例を説明する。
図１８は各発言者のワークステーションにおけるカメラと発言スイッチの配置を示す図であり、本実施例においては、前記図３に示したワークステーションが各発言者のところに設置され、それらは伝送路を介して接続されている。そして、各発言者の周辺には、同図に示すように傍観用カメラ１３１、右発言カメラ１３２、左発言カメラ１３３、および、左発言スイッチ１３ａ、右発言スイッチ１３ｂが設置されている。
【００６７】
図１９は本実施例の動作を説明する図であり、同図により本実施例を説明する。
図１９に示すように、発言者のウィンドウ用に用意された発言エリアには一度に二つのウィンドウａ，ｂを置くことができ、そのエリア内の二つの顔は互いに向き合うようにする。
【００６８】
その他の参加者の顔は、発言エリアの上に並べられた傍観エリアｃに表示され、それらの顔は発言エリアを見下ろすように向いている。
すなわち、傍観者のワークステーションにおいては、図１８における傍観用カメラ１３１により顔が撮影され、また、発言者のワークステーションにおいては、図１８における右発言カメラ１３２、あるいは、左発言カメラ１３３により顔が撮影される。
【００６９】
まず、図１９の中央上に示すように、参加者ＡとＢが対話し、他の人Ｃ，Ｄ，Ｅが傍観者であると仮定する。
この状態から傍観者が発言者になるための操作は２通りあり、発言用のカメラに切り替えるか、または、自分のウィンドウを発言エリアに移動させることである。
【００７０】
例えば、同図の中央上の状態において、傍観者であるＣさんが発言者となり、発言者Ｂさんと対話をしたい場合、Ｃさんは自分のワークステーションの周辺に設置された右発言スイッチ１３ｂを押す。
これにより、Ｃさんを撮影するカメラは傍観用カメラ１３１から右発言用カメラ１３２に切り換わり、また、図１９の左下に示すように、発言エリアのＡさんの画像は、Ｃさんの画像と入れ代わる。
【００７１】
また、例えば、同図の中央上の状態において、傍観者であるＤさんが発言者となり、発言者Ａさんと対話をしたい場合、Ｄさんは自分が表示されているウィンドウを、Ｂさんのウィンドウの上に移動させる。
これにより、Ｄさんを撮影するカメラは傍観用カメラ１３１から左発言用カメラ１３３に切り換わり、また、図１９の右に示すように、発言エリアのＢさんの画像は、Ｄさんの画像と入れ代わる。
【００７２】
上記のように、発言スイッチを押してカメラを切り替えた場合には、前記図３に示したシステムにおいて、カメラ制御情報が情報変換部３７でウィンドウの位置情報に変換され、ウィンドウ位置の移動が自動的に行われる。
また、上記のように、ウィンドウの位置を移動した場合には、図３に示すシステムにおいて、ウィンドウの位置情報が情報変換部３７によりカメラ制御情報に変換され、カメラの切り替えが自動的に行われる。
【００７３】
図２０は上記処理を示すフローチャートであり、同図において、計算機（ワークステーション）は、ユーザ、カメラ管理装置、または他の計算機からの入力を待ち（ステップＳ１）、入力を受けると、どこからの入力かを判別し（ステップＳ２）、他の計算機からの入力の場合には、その入力に対応した処理を行う（ステップＳ３）。
【００７４】
また、カメラ管理装置からの入力の場合には、発言スイッチが押された側のウィンドウを自分のウィンドウと置き換え（ステップＳ６）、他の計算機にウィンドウ配置命令を送る（ステップＳ７）。これにより他の計算機は発言者と傍観者のウィンドウを置き換える。
さらに、ステップＳ２において、ユーザからの入力と判別された場合には、その入力がウィンドウ移動命令が否かを判別し、ウィンドウ移動命令でない場合には，その他の処理を行う（ステップＳ３）。ウィンドウ移動命令の場合には、自分のウィンドウが置かれた側の発言カメラに切り替え（ステップＳ５）、他の計算機にウィンドウ配置命令を送る（ステップＳ７）。
（４）カメラのズーム（倍率）による、ウィンドウのサイズの制御
ウィンドウがカメラとは独立に制御されている場合、カメラのズーム（倍率）を変えると、それとともにウィンドウ内の画像も一緒に拡大縮小されて、図２１（ａ）に示すように、相対的な大きさが分からなくなる。図２１（ａ）は左側のカメラ１３Ａのズームを広角に（倍率を低く）したところであり、同図に示すように大きい魚が小さい魚と同じ大きさで表示されている。
【００７５】
本発明の第４の実施例は、カメラのズームを操作したとき、それに対応ウィンドウのサイズを制御し相対的な大きさを保存できるようにしたものであり、本実施例においては、前記図２のシステムを用い、図２１（ｂ）に示すようにカメラのズーム（倍率）によってウィンドウのサイズを制御し、倍率が低く（高く）なるに伴って、ウィンドウのサイズを大きく（小さく）する。
【００７６】
図２１において、１３Ａ、１３Ｂはカメラ、１４はディスプレイ装置であり、本実施例において、カメラ１３Ａ、１３Ｂの制御情報（この場合はズーム情報）は前記した図２のシステムの情報変換部２７に送られ、情報変換部２７は上記ズーム情報をウィンドウのサイズ情報に変換する。
そして、上記サイズ情報はウィンドウ管理部２８に送られ、ディスプレイ装置１４のウィンドウのサイズが制御される。
【００７７】
その結果、図２１（ｂ）に示すように、カメラの倍率に応じて、ウィンドウのサイズが変わり、ディスプレイ装置１４に表示される相対的な大きさを保存することができる。
（６）カメラの向きによるウィンドウの配置の制御
ウィンドウがカメラとは独立に制御されている場合、カメラの向きを変えると、それとともにウィンドウ内の画像も一緒に変化して、図２２（ａ）に示すように、相対的な位置関係が分からなくなる。図２２（ａ）は右のカメラ１３Ｂの向きを左下に動かしたところであり、画像が表示されているウィンドウの位置は変わらず、別の位置にいる魚が表示されている。
【００７８】
本発明の第５の実施例は、カメラのズームを操作したとき、それに対応ウィンドウの配置を制御し相対的位置関係を保存できるようにしたものであり、本実施例においては、前記図２のシステムを用い、図２２（ｂ）に示すようにカメラの向きによってウィンドウの配置を制御し、向きが変化するのに伴って、ウィンドウを移動させる。
【００７９】
図２２において、１３Ａ、１３Ｂはカメラ、１４はディスプレイ装置であり、本実施例において、カメラ１３Ａ、１３Ｂの制御情報（この場合はカメラの向き）は前記した図２のシステムの情報変換部２７に送られ、情報変換部２７は上記カメラの向きをウィンドウの位置情報に変換する。
そして、上記カメラの向きはウィンドウ管理部２８に送られ、ディスプレイ装置１４のウィンドウが移動する。
【００８０】
その結果、図２２（ｂ）に示すように、カメラの向きに応じて、ウィンドウの配置が変わり、ディスプレイ装置１４に画像の相対的位置関係を保存したまま、表示することができる。
本発明の第４、第５の実施例においては、以上のように、カメラの操作情報に基づき、ウィンドウのサイズ、配置を制御しているので、画像の相対的大きさ、相対的位置を保存することができる。
【００８１】
【発明の効果】
以上説明したように、本発明によれば、カメラの撮影した画像を表示するウィンドウ自身の情報を基に、カメラを制御することができるため、カメラというハードウェアを意識せずに画像またはそれを映し出すウィンドウ（覗き窓）を直接触って操作するような感覚でごく自然にカメラを制御することができ、ユーザ・インタフェースを構築することができる。また、カメラを操作することで、その画像が表示されるウィンドウを制御できるため、画像の効果的な見せ方が可能となる。
【００８２】
特に、本発明においては、次の効果を得ることができる。
（１）マルチウインドウにカメラ装置が撮影した画像を相互に関連付けて表示するようにしたので、ユーザに効果的な画像を見せることができ、また、表示されるものの相互関係、相対位置等を容易に把握でき、不自然な印象を与えることがない。
【００８３】
特に、テレビ会議システム等に適用する際、対話する人の顔を画面上で向き合わせたり、画面上で、参加者の顔を注目するものに向けさせることができ、自然な印象を与える画面を構成することができる。
（２）マルチウインドウにカメラ装置が撮影した画像を相互に関連付けて表示するように構成したので、カメラが撮影した画像が表示されているウインドウ自身をカメラを制御するユーザ・インタフェースとみなすことができ、ユーザがカメラの制御をごく自然に効率的に行うことができる。このため、ユーザに効果的な画像を見せることができ、また、表示されるものの相互関係、相対位置等を容易に把握でき、不自然な印象を与えることがない。
（３）ユーザの行うカメラ制御操作に従ってウインドウを管理し、マルチウインドウにカメラ装置が撮影した画像を表示するようにしたので、ユーザの指示により直接カメラを制御することができ、ウインドウ画面に表示する画像の対象範囲をユーザが自由に選択できる。
（４）ウインドウの位置情報、サイズ情報、相対的位置情報によってカメラの向き、カメラのズーム、カメラの位置および向きを制御するように構成したので、ユーザがカメラの制御をごく自然に効率的に行うことができ、また、表示されるものの相互関係、相対位置等を容易に把握することができる。
（５）ウインドウの配置によってカメラのオンオフ制御を行うように構成したので、カメラを物理的に移動させるためのマニピュレータ等の手段を設ける必要がなく、構成およびカメラの制御を簡単にすることができる。
（６）カメラのズーム、カメラの向きによってウインドウのサイズ、ウインドウの配置の制御を行うようにしたので、カメラのズーム（倍率）を変えたとき、あるいは、カメラを移動させたとき、画像の相対的大きさ、あるいは、画像の相対位置を保存したまま表示することが可能となる。
【図面の簡単な説明】
【図１】本発明の基本構成図（１）である。
【図２】本発明の基本構成図（２）である。
【図３】本発明の基本構成図（３）である。
【図４】基本構成図（１）の処理を示すフローチャートである。
【図５】ウィンドウの位置によりカメラを制御した場合の表示画像を示す図である。
【図６】ウィンドウのサイズによりズーム制御した場合の表示画像を示す図である。
【図７】図２に示したシステムの処理を示すフローチャートである。
【図８】図３に示したシステムの処理を示すフローチャートである。
【図９】ウィンドウの位置関係によるカメラの制御を説明する図である。
【図１０】ウィンドウの位置関係によるカメラの制御を説明する図である。
【図１１】本発明の第１の実施例を説明する図である。
【図１２】本実施例のワークステーションにおける処理を示すフローチャートである。
【図１３】複数台のカメラにより撮影したさまざまな向きの顔の像を示す図である。
【図１４】本発明の第２の実施例を説明する図である。
【図１５】本発明の第２の実施例を説明する図である。
【図１６】本実施例のワークステーションにおける処理を示すフローチャートである。
【図１７】本実施例のワークステーションにおける処理を示すフローチャートである。
【図１８】本発明の第３の実施例を説明する図である。
【図１９】本実施例の動作を説明する図である。
【図２０】本実施例の処理を示すフローチャートである。
【図２１】本発明の第４の実施例を説明する図である。
【図２２】本発明の第５の実施例を説明する図である。
【符号の説明】
１１                                          撮影対象
１２                                          ユーザ
１３，１３Ａ，１３Ｂ，１３Ａ０〜１３Ａ７，
１３Ｂ０〜１３Ｂ５                            カメラ装置
１３１                                        傍観用カメラ
１３２                                        右発言カメラ
１３３                                        左発言カメラ
１３ａ                                        左発言スイッチ
１３ｂ                                        右発言スイッチ
１４，１４Ａ，１４Ｂ                          ディスプレイ装置
１５                                          画像表示装置
１６，２６，３６                              カメラ管理装置
１７，２７，３７                              情報変換部
１８，２８，３８                              ウィンドウ管理部
ＷＳ−Ａ、ＷＳ−Ｂ                            ワークステーション
【図１】
0003797678.tif 000003
【図２】
0003797678.tif 000004
【図３】
0003797678.tif 000005
【図４】
0003797678.tif 000006
【図５】
0003797678.tif 000007
【図６】
0003797678.tif 000008
【図７】
0003797678.tif 000009
【図８】
0003797678.tif 000010
【図９】
0003797678.tif 000011
【図１０】
0003797678.tif 000012
【図１１】
0003797678.tif 000013
【図１２】
0003797678.tif 000014
【図１３】
0003797678.tif 000015
【図１４】
0003797678.tif 000016
【図１５】
0003797678.tif 000017
【図１６】
0003797678.tif 000018
【図１７】
0003797678.tif 000019
【図１８】
0003797678.tif 000020
【図１９】
0003797678.tif 000021
【図２０】
0003797678.tif 000022
【図２１】
0003797678.tif 000023
【図２２】
0003797678.tif 000024