(57)【要約】【課題】パン・チルト・ズーム操作の操作性を向上させる。【解決手段】表示画面部に対して親画面と子画面を表示させ、これら親画面・子画面のいずれか一方に遠端側撮像画像を、他方に近端側撮像画像を表示させる。この状態において、子画面に表示されている撮像画像に対応する撮像視野を変更するパン・チルト・ズーム操作が行われたことに応じては、この操作が行われているとされる期間において、子画面を拡大して表示させる。これにより、子画面に表示されるパン・チルト・ズーム操作に応じた画像の変化が見えやすくなる。【選択図】図５
2009164886.tif 000002
【特許請求の範囲】
【請求項１】
操作に応じて、撮像部の撮像視野を可変する撮像視野可変機構部の位置を変更するための撮像視野可変制御を実行する撮像視野可変機構部制御手段と、
上記撮像部により得られる撮像画像を表示画面部に対して表示させるための制御を実行するもので、上記撮像視野可変制御が実行されていない期間に対応しては、上記表示画面部において、この表示画面部全体に対応する画像サイズよりも小さい所定の第１の画像サイズにより上記撮像画像を表示させ、上記撮像視野可変制御が実行されている期間に対応しては、上記表示画面部において、上記第１の画像サイズよりも大きな所定の第２の画像サイズにより上記撮像画像を表示させる表示制御手段とを備える、
ことを特徴とする表示制御装置。
【請求項２】
操作に応じて、撮像部の撮像視野を可変する撮像視野可変機構部の位置を変更するための撮像視野可変制御を実行する撮像視野可変機構部制御手順と、
上記撮像部により得られる撮像画像を表示画面部に対して表示させるための制御を実行するもので、上記撮像視野可変制御が実行されていない期間に対応しては、上記表示画面部において、この表示画面部全体に対応する画像サイズよりも小さい所定の第１の画像サイズにより上記撮像画像を表示させ、上記撮像視野可変制御が実行されている期間に対応しては、上記表示画面部において、上記第１の画像サイズよりも大きな所定の第２の画像サイズにより上記撮像画像を表示させる表示制御手順と、
を実行することを特徴とする表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パン・チルト・ズーム機構により撮像視野が変更される撮像装置により撮像して得られる撮像画像を表示させる表示制御装置に関する。
【背景技術】
【０００２】
テレビ会議システムにおいては、互いに離れた会議場などの場所ごとにテレビ会議システム対応の端末装置を設け、さらにこの端末装置に撮像装置及びディスプレイ装置を接続する。そして、１つの近端としての或る会議場においては、例えばその会議場に居る会議参加者などを撮像装置により撮像して得た撮像画像を端末装置経由で、遠端となる他の会議場の端末装置に対して送信する。遠端側の端末装置は、近端側から送信されてきた撮像画像を受信し、これを自身に接続されているディスプレイに表示させる。
また、端末装置には、マイクロフォンとスピーカも接続され、近端側のマイクロフォンにより収音して得られる近端話者の音声信号を、端末装置経由で遠端側に送信する。遠端側の端末装置では、受信した音声信号をスピーカから出力する。
これにより、テレビ会議システムによっては、通信相手の会議場の様子をディスプレイ装置に表示させながら会話を行うようにして、会議を進行させていくことができる。
【０００３】
上述のように、テレビ会議システムでは、近端側において表示する画像は、遠端側において撮像された画像であるが、実際においては、近端側においても、この近端側にて撮像して遠端側に送信して表示させているとする画像の内容が把握できるようにすることが好ましい場合が多い。
そこで、テレビ会議システムなどでは、近端側において、遠端側から送信されてきた画像と共に、近端側において撮像している画像も同時に表示させることができるようになっている(特許文献１参照)。この場合、例えばＰｉｎＰ(Picture In Picture)であるとかＰｏｕｔＰ(Picture Out Picture)などの画面合成による表示を利用して、遠端側からの画像を先ず表示画面全体に親画面として表示させた上で、これよりも小さい子画面により、近端側において撮像している画像を表示させるようにすることが通常である。
【０００４】
また、テレビ会議システムの場合には、会議の進行に応じて、撮像装置により撮像する撮像視野を変更することが好ましい場合がある。例えば、会議参加者が発言するごとに、その発言中の会議参加者(発言者)をクローズアップして映したいような場合である。しかし、このような場合に、撮像装置が、定点により撮像方向などを固定した状態で撮像を行うようにされているのでは都合がよくない。
そこで、テレビ会議システムにおいては、撮像装置と雲台を組み合わせた上で、いわゆるパン・チルト・ズームについての制御を行えるようにされたものが知られている。これにより、これにより、適宜、パン・チルト・ズームのそれぞれに応じた移動指示操作（パン・チルト・ズーム操作）を行うことで、適宜、例えば発言者が変わるのに応じて、その発言者が映るように撮像視野を設定して撮像装置に撮像させることも可能になる。
【０００５】
【特許文献１】特開平７−１１５６２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ここで、例えば上記のようにして近端側にて撮像している画像を子画面により表示させている状態の下で、近端側の撮像装置に対応したパン・チルト・ズーム操作を行う場合を考えてみる。
このときには、子画面に表示される画像の撮像視野が、パン・チルト・ズーム操作に応じて変化することになる。つまり、子画面に表示される画像をモニタしながらパン・チルト・ズームの位置調整を行える。
しかし、子画面は、親画面と比較すれば相当に小さいために、相対的に画面上における画像の変化というものは小さくなる。従って、パン・チルト・ズーム操作による画像の動きも確認しにくくなる。特に、微妙な位置調整を行っているときには、この問題が顕著になる。
そこで、本願発明は、例えば表示画面上における子画面表示などのようにして小さい画像サイズで表示されている撮像画像に対応する撮像視野の変更操作を行う場合において、その撮像画像の動きがより的確に把握できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
そこで本発明は上記した課題を考慮して、表示制御装置として次のように構成する。
つまり、操作に応じて、撮像部の撮像視野を可変する撮像視野可変機構部の位置を変更するための撮像視野可変制御を実行する撮像視野可変機構部制御手段と、撮像部により得られる撮像画像を表示画面部に対して表示させるための制御を実行するもので、撮像視野可変制御が実行されていない期間に対応しては、表示画面部において、この表示画面部全体に対応する画像サイズよりも小さい所定の第１の画像サイズにより撮像画像を表示させ、撮像視野可変制御が実行されている期間に対応しては、表示画面部において、第１の画像サイズよりも大きな所定の第２の画像サイズにより上記撮像画像を表示させる表示制御手段とを備えることを特徴とする表示制御装置。
【０００８】
なお、ここでの「撮像視野」とは、例えば、撮像装置が撮像することにより周囲から切り出したとされる画像の範囲に対応するもので、撮像装置の撮像方向をパン方向あるいはチルト方向に動かすことにより変化するものとなる。また、撮像装置の画角（ズーム）を変更した場合にも変化するものとなる。
また、「撮像視野可変機構部の位置」とは、撮像視野可変機構部における可動部についての位置をいう。例えばパン機構部、チルト機構部についてであれば、これらの位置は、所定の位置を基準とする回転角度により表すことができる。また、ズーム機構部については、ズームレンズの位置により表すことができる。また、これらのパン機構部、チルト機構部、ズーム機構部は、それぞれモータによって駆動されるのであるが、このモータの回転位置の情報によっても得ることができる。
【０００９】
上記構成によれば、表示画面の全画像領域よりも小さい第１の画像サイズで表示されている撮像画像の撮像視野についての変更制御を行っているときに対応しては、これより大きな第２の画像サイズに変化することになる。
【発明の効果】
【００１０】
このようにして本発明は、表示画面の全画像領域よりも小さいサイズで表示されている撮像画像について、その撮像視野の変更操作を行っているときに応じては、より大きなサイズに拡大して表示が行われる。これにより、撮像視野の変更操作に応じた画像の変化をより的確に把握できるようになり、撮像視野の変更操作についての操作性も向上することになる。
【発明を実施するための最良の形態】
【００１１】
本願発明を実施するための最良の形態（以下、実施の形態という）としては、テレビジョン会議システム(テレビ会議システム)における映像送受信系に本願発明を適用する。
テレビ会議システムは、場所の異なる会議場ごとに通信端末であるテレビ会議端末装置を設置し、このテレビ会議端末装置から、撮像装置により撮影した画像と、マイクロフォンにより収音した音声を他のテレビ会議端末装置に送信させると共に、他のテレビ会議端末装置から送信されてきた画像と音声を受信して、それぞれ、ディスプレイ装置、スピーカから出力させるように構成される。つまり、テレビ会議システムでは、画像を相互に送受信する映像送受信系と、音声を相互に送受信する音声送受信系とを備える。そして、本実施の形態としては、上記映像送受信系として撮像画像を送受信するために設けられるテレビ会議端末装置を中核とするシステムが該当する。
【００１２】
図１は、テレビ会議システムにおける映像送受信系を主体とするシステム構成例を示している。
この場合には、互いに離れた２つの場所Ａ、場所Ｂが会議場とされており、これらの場所Ａ，Ｂのそれぞれにおいて、テレビ会議端末装置１−１、１−２が設置される。これらのテレビ会議端末装置１−１、１−２は、所定の通信方式に対応する通信回線により接続されて、相互通信が可能なようにされている。
また、場所Ａにおいては、テレビ会議端末装置１−１とともに、撮像装置２−１、雲台３−１、ディスプレイ装置４−１が備えられる。
撮像装置２−１は、画角調整のためのズーム機構を備え、雲台３−１に取り付けられている。雲台３−１は、パン機構とチルト機構を備えることで、取り付けられた撮像装置の撮像方向（撮像視野）を、所定角度範囲で上下方向及び左右方向に変更することが可能とされている。
また、リモートコントローラ５−１は、テレビ会議端末装置１−１の動作をユーザが遠隔操作するために設けられる。
同様にして、場所Ｂにおいては、テレビ会議端末装置１−２とともに、撮像装置２−２、雲台３−２、ディスプレイ装置４−２が備えられる。
【００１３】
なお、以降の説明において、テレビ会議端末装置、撮像装置、雲台、ディスプレイ装置、リモートコントローラなどについて、特に離れた場所にある同一のものを区別する必要のない場合には、テレビ会議端末装置１、撮像装置２、雲台３、ディスプレイ装置４、リモートコントローラ５などのようにして表記する。
また、音声送受信系については、ここでは図示は省略している。
【００１４】
この図に示される映像送受信系の基本的動作は、例えば次のようになる。
先ず、場所Ａにおいて、撮像装置２−１により撮像して得られた動画像としての映像信号は、テレビ会議端末装置１−１に入力される。テレビ会議端末装置１−１は、入力された映像信号を、通信回線を経由してテレビ会議端末装置１−２に対して送信する。テレビ会議端末装置１−２は、上記のようにして送信されてきた映像信号を受信し、ディスプレイ装置４−１から出力させる。
また、同様にして、場所Ｂ内の撮像装置２−２により撮像して得られた映像信号は、テレビ会議端末装置１−２によりテレビ会議端末装置１−１に送信される。テレビ会議端末装置１−１では、受信した映像信号を、ディスプレイ装置４−１から出力させる。
このようにして、テレビ会議システムの映像送受信系では、映像の双方向通信を行うものであり、これにより、例えば或る１つの場所にいる会議参加者は、他の場所の会議場の様子を視覚的に把握することができる。例えば１つの会議場の撮像装置２により、そのときの発言者がクローズアップされるようにして撮像視野を設定して撮像していれば、他の会議場においては、ディスプレイ装置４には、この発言者のクローズアップされた画像が表示されることになる。
【００１５】
なお、ここでの「撮像視野」とは、例えば、撮像装置２が撮像可能な範囲において、実際に撮像によって周囲から切り出したとされる画像の範囲に対応する。これは、撮像装置の撮像方向をパン方向あるいはチルト方向に動かすことにより変化するものとなる。また、撮像装置の画角（ズーム）を変更した場合にも変化するものとなる。
【００１６】
図２は、１つの場所において備えられるテレビ会議システムを、テレビ会議端末装置１の内部構成例とともに示している。なお、図１との対応では、テレビ会議端末装置１−１、１−２は、この図２に示す構成を共通に有するものとして考えてよい。また、この図においても、音声送受信系に対応する部位についての図示は省略している。
【００１７】
この場合の撮像装置２においては、撮像のための光学系と、撮像光を利用して非圧縮の動画像としての映像信号を生成する信号処理部とを備えるものとされる。撮像装置２から出力される映像信号（撮像映像信号）は、テレビ会議端末装置１における映像信号処理／表示制御部１１に対して入力される。
また、撮像装置２の光学系に対応しては、ズームレンズの位置を移動させて画角を変更するための機構を有して成る、ズーム機構部２ａを備える。
また、雲台３は、取り付けられた撮像装置２の撮像視野を左右に変更するための機構であるパン機構部３ａと、上記撮像視野を上下に変更するための機構であるチルト機構部３ｂとを有して成る。
【００１８】
映像信号処理／表示制御部１１は、入力される映像信号について必要に応じて所定の信号処理を実行するとともに、ディスプレイ装置４に対して画像を表示させるための表示制御を実行する。
【００１９】
例えば、映像信号処理／表示制御部１１は、撮像装置２から入力される撮像映像信号について必要に応じて所要の信号処理を施した上で、エンコーダ１２に転送する。
【００２０】
エンコーダ１２は、入力される映像信号について所定方式による画像圧縮符号化処理を実行して、通信部１４に対して転送する。通信部１４は、制御部１８の制御に応じて、エンコーダ１２から転送されてくる圧縮画像データについて、所定の通信方式に従って、通信回線経由で、他のテレビ会議端末装置に対して送信する。
【００２１】
また、他のテレビ会議端末装置から送信されてきた圧縮画像データは、通信部１４にて受信されて、デコーダ１３に転送される。
デコーダ１３は、入力されてくる圧縮画像データについて、画像圧縮符号化に対する復調（デコード）処理を実行して所定形式の映像信号を得る。このようにして得た映像信号を映像信号処理／表示制御部１１に転送する。
【００２２】
映像信号処理／表示制御部１１は、例えば上記のようにしてデコーダ１３から転送される映像信号の画像がディスプレイ装置４にて表示されるようにするための表示制御を実行することができる。これにより、他の会議場において撮影された画像が、ディスプレイ装置４にて表示されることになる。
また、映像信号処理／表示制御部１１は、上記撮像映像信号について、ディスプレイ装置４にて所定の態様により表示されるようにして表示制御を実行することも可能とされている。
さらに、映像信号処理／表示制御部１１は、制御部１８の制御に応じて、各種の操作画像をディスプレイ装置４により表示させるための画像生成処理、表示制御処理を実行可能とされている。
なお、映像信号処理／表示制御部１１は、その一部、あるいは全ての機能をＤＳＰ(Digital Signal Processor)により構成することができる。
【００２３】
また、このテレビ会議端末装置１は、撮像装置２の撮像視野を可変制御する機能を有するものとされている。ここでの撮像視野の可変は、パン制御、チルト制御、ズーム制御の組み合わせによるものとする。パン制御、チルト制御は、撮像方向をそれぞれ左右方向と上下方向とで可変する制御で、ズーム制御は、撮像装置の画角を変更する制御である。これに対応して、テレビ会議端末装置１は、ＰＴＺ（ＰＴＺ:Pan(Panning),Tilt(Tilting),Zoom(Zooming)）駆動制御部１５を備える。
【００２４】
ＰＴＺ駆動制御部１５は、図示するようにして、パン／チルト駆動制御部１６とズーム駆動制御部１７とを備える。
パン／チルト駆動制御部１６は、制御部１８からのパン方向における移動量の指示情報に応じて、雲台３が備えるとされるパン機構部３ａにおけるパンモータを駆動するための駆動信号を生成して出力する。同様に、制御部１８からのチルト方向における移動量の指示情報に応じて、雲台３が備えるとされるチルト機構部３ｂにおけるチルトモータを駆動するための駆動信号を生成して出力する。これにより、撮像装置２の撮像視野として、左右方向（パン方向）と上下方向（チルト方向）の撮像方向を変更する変更することが可能とされる。
また、ズーム駆動制御部１７は、制御部１９からの画角変更量の指示情報に応じて、撮像装置２の光学系において備えられるズーム機構部２ａにおけるズームモータを駆動するための駆動信号を生成して出力する。これにより、撮像視野として、画角を変更することが可能になる。
なお、以降においては、パン機構部３ａ、チルト機構部３ｂ、ズーム機構部２ｂを総称して、パン・チルト・ズーム機構部ともいう。以降において、また、パン・チルト・ズーム位置（撮像視野可変機構部の位置）という場合があるが、これは、パン・チルト・ズーム機構の各可動部についての位置をいう。例えばパン機構部３ａ、チルト機構部３ｂについてであれば、これらの位置は、所定の位置を基準とする回転角度により表すことができる。また、ズーム機構部２ａについては、ズームレンズの位置により表すことができる。また、これらのパン・チルト・ズーム機構部は、それぞれモータによって駆動されるのであるが、このモータの回転位置の情報によっても得ることができる。
【００２５】
制御部１８は、例えばＣＰＵ、ＲＯＭ、ＲＡＭなどを有して成るマイクロコンピュータなどにより構成されるもので、テレビ会議端末装置１についての全体制御を実行する。
【００２６】
記憶部１９は、例えば不揮発性の記憶デバイスから成るもので、制御部１８が必要な各種のプログラム、データなどを記憶する。
【００２７】
リモートコントローラ５は、テレビ会議端末装置１の動作についての各種の操作をユーザが行うための所要の操作子を備え、これらの操作子に対する操作に応じて、赤外線、あるいは電波などにより操作情報信号を送信する。この操作情報信号は、受信部２０にて受信復調されて制御部１８に入力される。制御部１８は、入力される操作情報信号に応答して所要の制御、処理を実行する。
【００２８】
本実施の形態のテレビ会議端末装置１の場合は、リモートコントローラ５による操作の１つとして、撮像視野、即ち、撮像装置２のパン、チルト、ズームを適宜変更する操作（パン・チルト・ズーム操作）が可能とされる。このパン・チルト・ズーム操作は、先ず、同じ近端側のパン・チルト・ズーム機構（ズーム機構部２ａ、パン機構部３ａ、チルト機構部３ｂに対して行うことができる。また、近端側でのパン・チルト・ズーム操作により、遠端側のパン・チルト・ズーム機構をコントロールすることも可能とされる。このためには、例えばパン・チルト・ズーム操作に応じたパン・チルト・ズームの各移動量を示す制御データを、遠端側のテレビ会議端末装置１に送信して、この遠端側のテレビ会議端末装置１によりパン・チルト・ズーム駆動制御を実行させるように構成することで実現できる。
また、ディスプレイ装置４に対して各種操作画面を表示させたうえで、表示させた操作画面に対して操作を行うことも可能とされている。
【００２９】
続いて、本実施の形態における、近端側のパン・チルト・ズーム機構に対するパン・チルト・ズーム操作に応じた動作について説明を行う。なお、以降の説明においては、図１に倣い、テレビ会議端末装置１、撮像装置２、雲台３、ディスプレイ装置４、及びリモートコントローラ５などについて、それぞれ、近端側のものについては、テレビ会議端末装置１−１、撮像装置２−１、雲台３−１、ディスプレイ装置４−１、リモートコントローラ５−１と表記し、遠端側のものについては、テレビ会議端末装置１−２、撮像装置２−２、雲台３−２、ディスプレイ装置４−２、リモートコントローラ５−２と表記する。
【００３０】
先の説明のように、本実施の形態のテレビ会議端末装置１−１によっては、遠端側の撮像装置２−２により撮像してテレビ会議端末装置１−２から送信されてくる遠端側撮像画像と、近端側の撮像装置２−１により撮像した近端側撮像画像とをディスプレイ装置４−１に対して表示させることが可能である。この際、これらの遠端側撮像画像と近端側撮像画像のいずれか一方を選択して表示させることも可能であるし、両者を同時に所定の表示態様によって表示させることも可能である。
【００３１】
図３（ａ）は、近端側のディスプレイ装置４−１の表示画面４０に対して、表示画面４０に対して、遠端側のテレビ会議端末装置１−２側から送信されてくる撮像装置２−２により撮像して得られた映像信号の画像である遠端側撮像画像と、近端側の撮像装置２−１により撮像して得られた撮像信号の画像である近端側撮像画像とを同時に表示している。
ここでは、親画面の領域内に子画面を表示するいわゆるＰｉｎＰ(Picture In Picture)としての分割画面表示に態様を採用している。親画面４１が、表示画面部４０における表示領域のほぼ全体を使用して表示されるのに対し、子画面４２は、これよりも小さなサイズの画像領域により表示される。
ここでは親画面４１に遠端側撮像画像を表示し、子画面４２に近端側撮像画像を表示しているものとする。
【００３２】
そして、この図３（ａ）に示す表示状態の下で、近端側においてリモートコントローラ５−１を操作して、同じ近端側のパン・チルト・ズーム機構に対するパン・チルト・ズーム操作を行ったとする。この操作は、撮像装置２−１の撮像視野を変化させるものであり、従って、子画面４２に表示される近端側撮像画像に変化を与えるものとなる。
本実施の形態では、この子画面４２に表示される画像内容に変化を与える結果となるパン・チルト・ズーム操作が行われているときには、この子画面４２について、図３（ｂ）に示すようにして、その本来のサイズよりも大きな或る所定の画像サイズを有する拡大画面４３にまで拡大させるようにして変化させる。この結果、それまで子画面４２に表示されていた近端側撮像画像が、拡大画面４３にて拡大して表示されることになる。
【００３３】
図３（ａ）の場合、パン・チルト・ズーム操作を行っているユーザは、表示画面部４０の子画面４２において表示されている近端側撮像画像を見ながら、パン・チルト・ズーム位置の調整を行うことになるが、当然のこととして、子画面４２の画像サイズは、表示用画像部４０としての全画像表示領域に対応する画像サイズよりも小さい。このために、パン・チルト・ズーム操作を行うのにあたり、子画面４４のサイズが変わることなくそのままであると、パン・チルト・ズーム操作に応じた撮像視野の変化が小さいために確認しにくい。特に、パン・チルト・ズーム操作による撮像視野の調整を微妙に行いたいときほど、この問題が顕著になってくる。
そこで、本実施の形態では、この図３（ｂ）に示されるようにして、子画面４２の画像サイズを一時的に拡大させた拡大画面４２−１により近端側撮像画を表示させるものである。これにより、近端側撮像画像がみやすいものとなって、パン・チルト・ズーム位置の調整が行いやすくなる。このようにして、本実施の形態では、パン・チルト・ズーム操作についての操作性が向上される。
【００３４】
なお、パン・チルト・ズーム操作が終了した後においても、上記のようにして子画面４２が拡大画面４２−１に拡大されたままでは、通常に会議を進行させている状況では、子画面側が大きすぎて、親画面を視るのにじゃまになる。このため、パン・チルト・ズーム操作が終了したとされると、拡大画面４３は、元の子画面４２のサイズに戻るようにされている。つまり、図３（ｂ）から図３（ａ）に示す表示に戻る。
【００３５】
また、図示は省略するが、実際においても、図３とは逆に親画面４１に対して近端側撮像画像を表示させ、子画面４２に対して遠端側撮像画像を表示させる場合もある。この場合において、近端側から遠端側のパン・チルト・ズーム機構に対するパン・チルト・ズーム操作を行った場合には、子画面４２において表示されている画像が、パン・チルト・ズーム操作によって変化することになるので、このときにも、子画面４２を拡大画面４３に変化させて、遠端側撮像画像を拡大表示させるようにする。
【００３６】
上記した画像表示制御を実現するための映像信号処理／表示制御部１１の構成例について、図４に示す。なお、ここでの説明に当たっては、この図に示す構成は、近端側のテレビ会議端末装置１−１におけるものであるとする。ただし、遠端側テレビ会議端末装置１−２においても同様の構成を有していてよい。
【００３７】
この図の映像信号処理／表示制御部１１としては、画像サイズ設定部３０Ａ、３０Ｂ及び合成処理部３１を有するものとしている。
同じ近端の撮像装置２−１において得られたとする撮像映像信号は、近端側撮像画像に対応するものとなる。この撮像映像信号は、画像サイズ設定部３０Ａに対して入力される。
また、デコーダ１３から出力された映像信号（受信映像信号）は、遠端側の撮像装置２−２により撮像して得られた映像信号をテレビ会議端末装置１−２が送信してきたものであり、従って、遠端側撮像画像に対応するものとなる。この受信映像信号は、画像サイズ設定部３０Ｂに対して入力されるものとしている。
【００３８】
画像サイズ設定部３０Ａ、３０Ｂは、それぞれ制御部１８による制御に応じて、入力映像信号から、通常時における表示用画像サイズに対応する表示用画像データを生成する。例えば図３（ａ）に示すようにして、遠端側撮像画像については親画面４１に表示させ、近端側撮像画像については子画面４２に表示させるべきことが設定されている場合であれば、まず、画像サイズ設定部３０Ａは、子画面４２に対応する表示用画像サイズに対応した表示用画像データを生成する。また、画像サイズ設定部３０Ｂは、親画面４１に対応する表示用画像サイズに対応した表示用画像データを生成する。これらの表示用画像データは、合成処理部３１に対して入力される。
【００３９】
合成処理部３１は、制御部１８の制御により、例えば入力された複数の表示用画像データごとの１画面上における表示位置などを設定したうえで、これらの表示用画像データについての合成を行う。そして、この合成後の表示用画像データを、ディスプレイ装置４−１に対して出力する。これにより、先ずは、図３（ａ）に示すような態様による、通常時に対応した、近端側撮像画像と遠端側撮像画像との同時表示が行われる。
【００４０】
そして、例えば近端側のパン・チルト・ズーム機構に対するパン・チルト・ズーム操作が行われたとすると、制御部１８は、子画面４２に対応する表示用画像サイズの表示用画像データを生成している側の画像サイズ設定部３０に対して、拡大画面４３に対応する表示用画像サイズの表示用画像データを生成させ、合成処理部３１に対して出力させるようにする。
これにより、ディスプレイ装置４−１にて表示される画像については、例えば図３（ｂ）に示すようにして、子画面４２が拡大画面４３にまで拡大された表示が行われることになる。
【００４１】
図５は、図３に示した表示制御に対応して近端側のテレビ会議端末装置１−１が実行するものとされる処理手順例を示すフローチャートである。この図に示す処理は、テレビ会議端末装置１−１に備えられる制御部１８を形成するＣＰＵがプログラムを実行することにより得られるものとしてみることができる。
【００４２】
この図に示す処理では、先ず、ステップＳ１０１により近端側の撮像視野を変更するパン・チルト・ズーム操作（近端側のパン・チルト・ズーム機構に対するパン・チルト・ズーム操作であり、以降、近端ＰＴＺ操作ともいう）が行われるのを待機（判別）し、ステップＳ１０３により、遠端側の撮像視野を変更するパン・チルト・ズーム操作（遠端側のパン・チルト・ズーム機構に対するパン・チルト・ズーム操作であり、以降、遠端ＰＴＺ操作ともいう）が行われるのを待機（判別）している。
また、この図に示す処理を実行するのにあたっては、図３に例示したようにして、親画面４１、子画面４２を表示させたうえで、親画面４１、子画面４２のそれぞれに遠端側撮像画像、近端側撮像画像を表示させている状態、若しくはその逆に、子画面４１、親画面４２のそれぞれに近端側撮像画像、遠端側撮像画像を表示させている状態であることを前提とする。
【００４３】
ここで、リモートコントローラ５−１に対する操作として近端ＰＴＺ操作が行われ、この近端ＰＴＺ操作に応じた操作信号が受信部２０から制御部１８に対して入力されることに応じて、制御部１８は、ステップＳ１０１にて肯定の判別結果を得ることとなって、ステップＳ１０２に進む。
ステップＳ１０２においては、現在、映像信号処理部１１において子画面４２に対して近端側撮像画像をさせるための表示制御を実行している状態であるか否かについて判別することとしている。ここで近端側撮像画像を親画面４１に表示させている状態であるとして否定の判別結果が得られたのであれば、ステップＳ１０１に戻るが、肯定の判別結果が得られたのであれば、ステップＳ１０５以降の手順を実行する。
【００４４】
また、リモートコントローラ５−１に対して遠端ＰＴＺ操作が行われて、この操作に応じた操作信号が受信部２０から制御部１８に入力されることに応じては、ステップＳ１０３において肯定の判別結果が得られることとなって、ステップＳ１０４に進む。
ステップＳ１０４においては、現在、映像信号処理／表示制御部１１において子画面４２に対して遠端側撮像画像を表示させるための表示制御を実行している状態であるか否かについて判別することとしている。ここで遠端側撮像画像を親画面４１に表示させている状態であるとして否定の判別結果が得られたのであれば、ステップＳ１０１に戻り、肯定の判別結果が得られたのであれば、ステップＳ１０５以降の手順を実行する。
【００４５】
ステップＳ１０５においては、映像信号処理／表示制御部１１の画像サイズ設定部３０Ａ、３０Ｂのうちで、子画面４２に対応する表示用画像サイズを設定している側の画像サイズ設定部３０（この場合は３０Ａ，３０Ｂのいずれか）に対して、拡大画面４２−１に対応する表示用画像サイズへの変更を指示する。この指示を受けた側の画像サイズ設定部３０Ａは、拡大画面４２−１に対応する表示用画像サイズの表示用画像データを生成して、合成処理部３１に出力する。この結果、例えば図３（ａ）から図３（ｂ）への遷移として示すようにして、子画面４２が拡大画面４２−１により拡大表示される結果が得られる。
【００４６】
この表示制御の後は、ステップＳ１０６により、先のステップＳ１０１又はステップＳ１０３に応じて開始されたとする近端ＰＴＺ操作、若しくは遠端ＰＴＺ操作が終了するのを待機している。ここでのＰＴＺ操作の終了は、例えばパン・チルト・ズームのいずれかに対応した操作信号の入力が停止してから、一定時間を経過するまで、次のパン・チルト・ズームのいずれかに対応した操作信号の入力がなかったことを以て判定することとすればよい。つまり、ユーザがパン・チルト・ズームのうちのいずれかに対応する操作を止めてから、次のパン・チルト・ズームのうちのいずれかに対応する操作をすることなく一定時間を経過すると、ＰＴＺ操作の終了とみなされる。そして、ステップＳ１０６にてＰＴＺ操作の終了したことが判別されるとステップＳ１０７に進む。
【００４７】
ステップＳ１０７においては、先のステップＳ１０５により拡大画面４２−１に対応する表示用画像サイズの設定を指示した画像サイズ設定部３０に対して、子画面４２に対応する表示用画像サイズへの変更を指示する。
この指示に応じて、画像サイズ設定部３０は、子画面４２に対応する表示用画像サイズの表示用画像データを生成して合成処理部３１に出力する。これにより、ユーザのＰＴＺ操作の終了に応じて、拡大画面４２−１が元の子画面４２のサイズに戻ることになる。
【００４８】
なお、例えば親画面４１に表示されている撮像画像に対応するＰＴＺ操作が行われたときには、一時的に子画面４２を消去する、というような表示の変化を与えてもよい。子画面４２が消去されることで、これまで子画面４２により隠れていた画像部分が見えることになるので、それだけＰＴＺ操作を行いやすくなることが考えられる。
【００４９】
さらに、本実施の形態のテレビ会議端末装置１によっては、遠端側撮像画像と近端側撮像画像を同時に表示画面部４０に表示させるのにあたり、図３に示した以外の表示態様を採ることができる。
そこで変形例として、図６、図７、図８により、遠端側撮像画像と近端側撮像画像を同時に表示する他の態様例と、それぞれの態様の下での、ＰＴＺ操作時における拡大画面の表示態様例とについて説明する。
先ず、図６（ａ）には、第１の変形例としての遠端側撮像画像と近端側撮像画像の同時表示の態様例を示している。
第１の変形例としては、この図に示すようにして、表示画面部４０において、同じ画像サイズの２つの分割画面４３Ａ、４３Ｂを横方向に並べて配置して表示した態様例が示されている。そして、これらの分割画面４３Ａ、４３Ｂのうちで、いずれか一方に遠端側撮像画像を表示し、他方に近端側撮像画像を表示するものである。なお、この場合には、分割画面４３Ａ、４３Ｂのいずれも、表示画面部４０の全画像表示領域に対応する画像サイズより小さい画像サイズとなる。
【００５０】
ここで、例えば左側の分割画面４３Ａに近端側撮像画像を表示させ、右側の分割画面４３Ｂに遠端側撮像画像を表示させているとして、この状態の下で、近端ＰＴＺ操作が行われたとする。この近端ＰＴＺ操作が行われている期間に応じては、図６（ａ）から図６（ｂ）への遷移として示すようにして、分割画面４３Ａを拡大させて拡大画面４３Ａ−１とし、ここに拡大された近端側撮像画像を表示させるようにする。
また、同じく左側の分割画面４３Ａに近端側撮像画像を表示させ、右側の分割画面４３Ｂに遠端側撮像画像を表示させている状態の下で、遠端ＰＴＺ操作を行った場合には、図示は省略するが、図６（ｂ）と同じ要領で、遠端ＰＴＡ操作が行われている期間に応じて、右側の分割画面４３Ｂを拡大した拡大画面を表示させることになる。
【００５１】
例えば、図３（ａ）に示す表示は、制御部１８が、画像サイズ設定部３０Ａ、３０Ｂのそれぞれに対して、分割画面４３Ａ、４３Ｂに対応した表示用画像サイズによる表示用画像データが生成されるようにして制御を行えばよい。また、ＰＴＺ操作に応じて拡大画面を表示させる制御手順は、図５のフローチャートに準ずるが、変形例１に応じては、図５のフローチャートにおいて、ステップＳ１０２、Ｓ１０４を省略して、ステップＳ１０１、Ｓ１０３にて肯定の判別結果が得られた場合には、ステップＳ１０５に進むようにして変更すればよい。
【００５２】
次に、図７（ａ）に、第２の変形例としての遠端側撮像画像と近端側撮像画像の同時表示の態様例を示す。
実際のテレビ会議システムとしては、３以上の場所に設置されたテレビ会議端末装置１により相互に映像音声の送受信を行えるようにして構築される場合もある。つまり、１つの近端側テレビ会議端末装置に対して、２以上の遠端側テレビ会議端末装置が存在するというシステム構成である。
図７（ａ）は、上記のようなシステム構成として、４つのテレビ会議端末装置の間で送受信している状態での表示態様例となる。
４つのテレビ会議端末装置同士が接続されている場合には、１つの近端側テレビ会議端末装置１−１に対して、３つのテレビ会議端末装置１−２、１−３、１−４が在ることになる。従って、近端側のテレビ会議端末装置１−１では、遠端側のテレビ会議端末装置１−２、１−３、１−４のそれぞれから送信されてくる、３つの近端側撮像画像を取得できることになる。そこで、図７（ａ）においては、４つの同サイズの分割画面４３Ａ、４３Ｂ、４３Ｃ、４３Ｄを縦横２列により配列表示することとしたうえで、これらの分割画面に対して、適宜、１つの近端側撮像画像と、テレビ会議端末装置１−２、１−３、１−４ごとに対応する３つの近端側撮像画像との３つの撮像画像を、それぞれ表示させることとしている。なお、このような画像表示のためには、映像信号処理／表示制御部１１において、分割画面４３の数に応じた画像サイズ設定部３０を設けたうえで、これらの画像サイズ設定部３０から出力される表示用画像データを合成処理部３１により合成させるようにして構成すればよい。
また、分割画面４３Ａ、４３Ｂ、４３Ｃ、４３Ｄも、変形例１と同様に、表示画面部４０の全画像表示領域に対応する画像サイズより小さい画像サイズとなる。
【００５３】
４つの撮像画像を、それぞれ、分割画面４３Ａ、４３Ｂ、４３Ｃ、４３Ｄのうちのどの分割画面に対して配置させるのかについては特に限定されるものではないが、ここでは、左上の分割画面４３Ａに近端側撮像画像を表示させ、残る分割画面４３Ｂ、４３Ｃ、４３Ｄに対して、それぞれ、テレビ会議端末装置１−２、１−３、１−４に対応する遠端側撮像画像を表示させているものとする。
この状態において、近端ＰＴＺ操作が行われたものとすると、これに応じては、図７（ｂ）に示すようにして、近端側撮像画像を表示させている分割画面４３Ａを拡大して拡大画面４３Ａ−１として表示させることになる。
また、図示は省略するが、上記した表示状態の下、例えば、テレビ会議端末装置１−４に対応した遠端ＰＴＺ操作が行われたのであれば、テレビ会議端末装置１−４に対応の撮像画像を表示させている右下の分割画面４３Ｄを拡大した拡大画面が表示されることになる。
【００５４】
また、図８（ａ）は、第３の変形例に対応するものであって、いわゆるＰｏｕｔＰ(Picture Out Picture)といわれる画面分割の表示態様を採っている。この場合にも、４つの分割画面４３Ａ、４３Ｂ、４３Ｃ、４３Ｄを表示させているが、その配列としては、表示画面部４０において、先ず左側に分割画面４３Ａを配置し、その右側において分割画面４３Ｂ、４３Ｃ、４３Ｄを上下に並べて配置している。この場合にも分割画面４３Ａ、４３Ｂ、４３Ｃ、４３Ｄは、いずれも、表示画面部４０の全画像表示領域に対応する画像サイズより小さい画像サイズとはなるが、例えば互いに同サイズの３つの分割画面４３Ｂ、４３Ｃ、４３Ｄに対して、分割画面４３Ａのほうが大きなサイズとなる関係を有する。
【００５５】
この場合において、例えば、分割画面４３Ａ、４３Ｂ、４３Ｃにおいて遠端側撮像画像を表示させ、右下の分割画面４３Ｃにおいて近端側撮像画像を表示させている状態で、近端ＰＴＺ操作が行われたとすると、図８（ｂ）に示すように、分割画面４３Ｃが拡大された拡大画面４３Ｃ−１を表示させることになる。
【００５６】
なお、図８における分割画面４３Ａに表示されている撮像画像に対応するＰＴＺ操作が行われた場合であるが、分割画面４３Ａの画像サイズも、表示画面部４０の全画像表示領域に比較して小さいので、分割画面４３Ａを拡大した拡大画面を表示させてよい。しかしながら、分割画面４３Ａは、表示画面部４０において相応に大きな画サイズで表示されるので、ＰＴＺ操作に応じた微妙な画像の変化も視覚的に捉えやすくなる。そこで、分割画面４３Ａについては拡大画面に変更することは行わずに、分割画面４３Ｂ、４３Ｃのほうのみを拡大画面に変更する表示制御となるようにして構成してもよい。
【００５７】
なお、近端側撮像画像と遠端側撮像画像とを同時に表示させる態様及びこれに応じた拡大画像表示の態様は、これまでに実施の形態、及び変形例として説明したもの意外にも考えることができる。また、近端側撮像画像と遠端側撮像画像の同時表示と、ＰＴＺ操作に応じた拡大画面の表示のための映像信号処理構成、アルゴリズムの構成などは、これまでに図４及び図５などにより示した以外にも考えることができる。
また、本願発明の構成は、テレビ会議システムに適用して好適であるが、これ以外の映像送受信システムに適用することができる。
また、制御部１８におけるＣＰＵが実行するものとされるプログラムは、同じ制御部１８にあるとされるＲＯＭなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてテレビ会議端末装置１が備える不揮発性の記憶領域に記憶させることが考えられる。また、有線あるいは無線のデータインターフェイス経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、サーバからダウンロードして取得できるように構成することも考えられる。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施の形態に対応するテレビ会議システムの構成例を示す図である。
【図２】本実施の形態のテレビ会議端末装置の内部構成例を、これと接続される撮像装置、ディスプレイ装置等と共に示す図である。
【図３】実施の形態において、表示画面部に近端側撮像画像及び遠端側撮像画像を同時表示する表示態様例と、ＰＴＺ操作に応じた拡大画面表示の態様例を示す図である。
【図４】実施の形態としてのＰＴＺ操作に応じた拡大画面表示を実現するための映像信号処理／表示制御部１１の構成例を示す図である。
【図５】ＰＴＺ操作に応じた拡大画面表示のための処理手順例を示す図である。
【図６】第１の変形例としての、表示画面部に近端側撮像画像及び遠端側撮像画像を同時表示する表示態様例と、ＰＴＺ操作に応じた拡大画面表示の態様例を示す図である。
【図７】第２の変形例としての、表示画面部に近端側撮像画像及び遠端側撮像画像を同時表示する表示態様例と、ＰＴＺ操作に応じた拡大画面表示の態様例を示す図である。
【図８】第３の変形例としての、表示画面部に近端側撮像画像及び遠端側撮像画像を同時表示する表示態様例と、ＰＴＺ操作に応じた拡大画面表示の態様例を示す図である。
【符号の説明】
【００５９】
１（１−１、１−２）  テレビ会議端末装置、２（２−１、２−２）  撮像装置、２ａ  ズーム機構部、３ａ  パン機構部、３ｂ  チルト機構部、４（４−１、４−２）  ディスプレイ装置、５（５−１、５−２）  リモートコントローラ１１  映像信号処理／表示制御部、１２  エンコーダ、１３  デコーダ、１４  通信部、１５  ＰＴＺ駆動制御部、１６  パン／チルト駆動制御部、１７  ズーム駆動制御部、１８  制御部、１９  記憶部、２０  受信部、画像サイズ設定部３０（３０Ａ、３０Ｂ）、３１  合成処理部、４０  表示画面部、４１  親画面、４２  子画面、４３Ａ〜４３Ｄ  分割画面、４２−１、４３Ａ−１、４３Ｃ−１  拡大画面
【図１】
2009164886.tif 000003
【図２】
2009164886.tif 000004
【図３】
2009164886.tif 000005
【図４】
2009164886.tif 000006
【図５】
2009164886.tif 000007
【図６】
2009164886.tif 000008
【図７】
2009164886.tif 000009
【図８】
2009164886.tif 000010