(57)【要約】【課題】拠点に夫々配置した各端末において、他の拠点の端末から受信した画像中に目視確認したい画像領域の画像が含まれるようにする。【解決手段】ＭＣＵ７０は、拠点Ａの端末１００ａから受信した画像調整信号に従って、各拠点の端末からの画像データを画像調整（Ａ）部７２ｃで調整する。ここで、画像調整（Ａ）部７２ｃは、操作者の選択した拠点Ａの端末のＩＤデータと調整パラメータである画像座標とに基づいて、ＩＤデータで示される対象となる拠点の端末からの画像データを画像座標により切り出し、切り出した画像データを拡大する。画像合成（Ａ）部７２ｄは、拠点ＢまたはＣの端末からの画像データと、拠点Ａの端末からの画像データに切り出し処理と拡大処理を施した画像データとを合成して１枚の画像データを得て、合成された画像データをエンコーダ（Ａ）部７２ｅでエンコードし、送信部７２ｇから端末１００ｂまたは１００ｃに送信する。【選択図】図４
2013240004.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも第１拠点の端末、第２拠点の端末および第３拠点の端末間で画像を送受信する画像管理装置において、
少なくとも前記第２拠点の端末および第３拠点の端末から画像を受信する受信手段と、
前記第１拠点の端末から画像調整信号を受信する画像調整信号受信手段と、
前記第１拠点の端末から受信した画像調整信号に基づいて、前記第２拠点の端末から受信した画像のうち一定の画像領域の大きさを変更する変更手段と、
前記変更手段により変更された前記第２拠点の端末からの画像と、少なくとも前記第３拠点の端末から受信した画像とを合成する合成手段と、
前記合成手段により合成された画像を前記第１拠点の端末に送信する送信手段と、を備えることを特徴とする画像管理装置。
【請求項２】
前記送信手段により第１拠点の端末に送信された画像と、第３拠点の端末に送信された画像とは異なることを特徴とする請求項１に記載の画像管理装置。
【請求項３】
前記変更手段は、
第１拠点の端末に送信された画像の座標情報と、前記第１拠点の端末から受信した画像調整信号に基づく座標情報とに基づいて、第２拠点の端末から受信した画像の大きさを変更することを特徴とする請求項１に記載の画像管理装置。
【請求項４】
第１拠点に配置される画像処理装置、少なくとも第２拠点の端末および第３拠点の端末間で画像を送受信する画像処理装置において、
少なくとも前記第２拠点の端末および第３拠点の端末から画像を受信する受信手段と、
少なくとも前記第２拠点の端末から受信した画像に対する変更を指示する指示手段と、
前記指示手段による指示に基づいて、少なくとも前記第２拠点の端末から受信した画像の一定の画像領域の大きさを変更する変更手段と、
前記変更手段により変更された前記第２拠点の端末から受信した画像と、少なくとも前記第３拠点の端末からの画像とを合成する合成手段と、
前記合成手段により合成された画像を表示手段に表示させる表示制御手段と、を備えることを特徴とする画像処理装置。
【請求項５】
少なくとも第１拠点の端末、第２拠点の端末、及び第３拠点の端末間で画像を送受信する画像管理装置と、を備えた画像管理システムにおいて、
前記画像管理装置は、
少なくとも前記第２拠点の端末および第３拠点の端末から画像を受信する受信手段と、
前記第１拠点の端末から画像調整信号を受信する画像調整信号受信手段と、
前記第１拠点の端末から受信した画像調整信号に基づいて、前記第２拠点の端末から受信した画像のうち、一定の画像領域の大きさを変更する変更手段と、
前記変更手段により変更された前記第２拠点の端末から受信した画像と、少なくとも前記第３拠点の端末からの画像とを合成する合成手段と、
前記合成手段により合成された画像を前記第１拠点の端末に送信する送信手段と、を備えることを特徴とする画像管理システム。
【請求項６】
第１拠点に配置された画像処理装置と、少なくとも第２拠点の端末および第３拠点の端末との間で画像を送受信する画像処理システムにおいて、
前記画像処理装置は、
少なくとも前記第２拠点の端末および第３拠点の端末から画像を受信する受信手段と、
少なくとも前記第２拠点の端末から受信した画像に対する変更を指示する指示手段と、
前記指示手段からの画像調整信号に基づいて、少なくとも前記第２拠点の端末から受信した画像の一定の画像領域の大きさを変更する変更手段と、
前記変更手段により変更された前記第２拠点の端末から受信した画像と、少なくとも前記第３拠点の端末からの画像とを合成する合成手段と、
前記合成手段により合成された画像を表示手段に表示させる表示制御手段と、を備えることを特徴とする画像処理システム。
【請求項７】
少なくとも第１拠点の端末、第２拠点の端末および第３拠点の端末間で画像を送受信する画像管理装置による画像管理方法において、
少なくとも前記第２拠点の端末および第３拠点の端末から画像を受信する受信工程と、
前記第１拠点の端末から画像調整信号を受信する画像調整信号受信工程と、
前記第１拠点の端末から受信した画像調整信号に基づいて、前記第２拠点の端末から受信した画像のうち一定の画像領域の大きさを変更する変更工程と、
前記変更工程により変更された第２拠点の端末から受信した画像と、少なくとも第３拠点の端末からの画像とを合成する合成工程と、
前記合成工程により合成された画像を前記第１拠点の端末に送信する送信工程と、を実行することを特徴とする画像管理方法。
【請求項８】
第１拠点に配置される画像処理装置であって、少なくとも第２拠点の端末および第３拠点の端末間で画像を送受信する画像処理装置による画像処理方法において、
少なくとも前記第２拠点の端末および第３拠点の端末から画像を受信する受信工程と、
少なくとも前記第２拠点の端末から受信した画像に対する変更を指示する指示工程と、
前記指示工程による画像調整信号に基づいて、少なくとも前記第２拠点の端末から受信した画像の一定の画像領域の大きさを変更する変更工程と、
前記変更工程により変更された前記第２拠点の端末から受信した画像と、少なくとも前記第３拠点の端末からの画像とを合成する合成工程と、
前記合成工程により合成された画像を表示手段に表示させる表示工程と、を実行することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の拠点に配置された端末の間で通信回線を介して画像を送受信するのに好適な画像管理装置、画像処理装置、画像管理システム、画像処理システム、画像管理方法および画像処理方法に関する。
【背景技術】
【０００２】
従来、多拠点テレビ会議システムにおいて、各拠点に配置されているテレビ会議端末は、接続されたカメラで撮影した画像を圧縮エンコードした上で送信している。送信された各拠点の画像はＭＣＵ(Multi point control Unit：多拠点接続装置)において一度デコードされた後、１つの画像に合成される。その後、再エンコードされ、各端末に送信することで、多拠点の画像をテレビ会議端末に送信する技術が知られている。
【０００３】
まず、図１３を参照して、従来の多拠点接続方式のテレビ会議システムにより画像配信を行う動作について説明する。
各拠点に配置されているテレビ会議端末(以下、端末)２００は、処理装置２１０、撮影装置１２０、表示装置２３０を備えており、ネットワークＮに接続されている。一方、多拠点接続装置(ＭＣＵ、以下ＭＣＵ)２５０もネットワークＮに接続されている。各拠点において撮影装置２２０で撮影された画像データは、処理装置２１０において処理され、ネットワークＮを介してＭＣＵ２５０に送信される。
ＭＣＵ２５０において受信された画像データは、処理装置２５０ａによって各拠点からの画像データと合成される。合成された画像データは各拠点の端末２００に対して送信される。端末２００で受信された画像データは処理装置２１０にて処理され、表示装置２３０に表示される。
これにより、各拠点の端末からの画像データを合成した画像データを各拠点の端末で目視確認することができる。
【０００４】
次に、図１４（ａ）、（ｂ）を参照して、従来の多拠点接続方式の端末３００とＭＣＵ３５０における画像データの処理機能について説明する。なお、拠点３００は、任意の拠点Ａの端末を示すこととする。
図１４（ａ）において、拠点Ａに設置されている端末３００の撮影装置３２１において、画像取得部３２１により取得された画像データは処理装置３１０に伝送され、処理装置３１０において、画像取得部３２１から受信した画像データがエンコーダ部３１１によりエンコードされる。エンコーダ部３１１によりエンコードされた画像データは、送信部３１２によりネットワークＮを介してＭＣＵ３５０に送信される。
【０００５】
図１４（ｂ）において、端末３００から送信された画像データは、ネットワークＮを介してＭＣＵ３５０の処理装置３６０において、受信部３６１に受信される。拠点Ａ以外の他の拠点（図１４では他拠点として拠点Ｂ、Ｃがあるものとする）から送信された画像データも同様に受信部３６１に受信される。受信部３６１により受信された各拠点の端末からの画像データは、一旦、それぞれデコーダ部３６２によりデコードされる。デコーダ部３６２によりデコードされた画像データは、拠点Ａの端末において専用に利用するために画像合成部３６３により画像合成され、１枚の画像データとなる。合成された画像データはエンコーダ部３６４によりエンコードされ、エンコードされた拠点Ａ向けの画像データは、拠点Ａの端末３００に向かって送信部３６５から送信される。
拠点Ａに設置されている端末３００の処理装置３１０において、受信部３１３により受信された画像データは、デコーダ部３１４によりデコードされ、デコードされた画像データが画像表示部３３１に入力されて表示される。
これにより、従来の多拠点接続方式のテレビ会議システムでは、多拠点に設置されているそれぞれの端末からの画像データを拠点Ａにおいて表示することができ、テレビ会議を行うことができる。
【０００６】
図１５を参照して、従来のルータ接続方式のテレビ会議システムの画像配信に関する動作について説明する。なお、図１５に示す従来のルータ接続方式のテレビ会議システムは、図１３に示す多拠点接続装置方式のテレビ会議システムと同様に、各拠点のテレビ会議端末（以下、端末という）４００は処理装置４１０、撮影装置４２０、表示装置４３０を備え、ネットワークＮに接続されており、一方、ルータ４５０もネットワークＮに接続されている。
各拠点の端末において撮影装置４２０で撮影された画像データは、処理装置４１０において処理され、ネットワークＮを介してルータ４５０に送信される。ルータ４５０において受信された画像データは、処理装置４１０によってルーティングされ、各拠点の端末４００へと送信される。
つまり、図１３に示すＭＣＵ２５０と違って、ルータ４５０は画像データそのものに対する処理を行わない。端末４００で受信された画像データは処理装置４１０にて処理され、表示装置４３０に表示される。
【０００７】
図１６を参照して、図１５に示す従来のルータ接続方式の端末４００における画像データの処理機能による動作について説明する。
ここで、端末４００は、任意の拠点Ａの端末を示している。なお、ルータ４５０の処理装置４６０における処理は、送信されてきた画像データのルーティングのみであるため、処理機能ブロックの記述と説明を省略する。
拠点Ａに配置されている端末４００の撮影装置４２０において、画像取得部４２１により取得された画像データは、処理装置４１０において、エンコーダ部４１１のよりエンコードされる。一方、画像取得部４２１により取得された画像データは、画像合成部４１５にも伝送される。エンコーダ部４１１によりエンコードされた画像データは、送信部４１２からネットワークＮを介してルータ４５０に向かって送信される。
【０００８】
送信部４１２から送信された画像データは、ルータ４５０の処理装置４６０において、ルーティングされた後に、他の拠点に配置された端末に送信される。ルータ４５０の処理装置４６０においては、他の拠点に配置された端末から受信した画像データも同様にルーティングされ、拠点Ａの端末４００に送信される。
端末Ａにおいて、他の拠点の端末から送信された画像データは、受信部４１３により受信され、それぞれのデコーダ部４１４によりデコードされる。デコーダ部４１４によりデコードされた画像データは、拠点Ａで撮影された画像データとともに画像合成部４１５により画像合成され、１枚の画像データとして合成される。合成された画像データは、画像表示部４３１によりタッチパネルに表示される。
これにより、ルータ接続方式のテレビ会議システムでは、多拠点の画像を拠点Ａにおいて表示することができ、テレビ会議を行うことができる。
【０００９】
特許文献１には、多拠点テレビ会議システムにおいて、各拠点の会議参加者が他方の画像に目視確認したい画像領域の画像が映るようにカメラを制御する目的で、テレビ会議用カメラの制御手法について開示されている。具体的には、どの拠点がカメラ制御権を保持しているかを表示しておき、保持中の制御権の委譲、短時間に且つ不要の操作を伴うこと無く、多拠点から受信する画像中に目視確認したい画像領域の画像が含まれるように多拠点のカメラを制御するという構成が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかし、従来のＭＣＵ方式を用いた多拠点テレビ会議システムにあっては、ある拠点に配置した端末で撮影され画像データをＭＣＵによりそのまま再エンコードするため、ある拠点に配置した端末で撮影された画像データは他の全ての拠点に配置した端末においても同じように表示されることになる。
このため、対象拠点の端末から受信した画像データ中に目視確認したい画像領域の画像データが含まれるようにする場合、対象拠点に設置されているカメラの位置や向きを変更する必要があり、またその変更によって、他の全ての拠点の端末に送信される対象拠点の端末の画像データが全て同じものになってしまうため、拠点毎に他拠点の端末からの画像に対して、目視確認したい画像領域を自由に変更できないといった問題があった。
また、特許文献１には、他拠点の端末から受信する画像に目視確認したい画像領域の画像が含まれるように、制御指示信号を多拠点の端末に向かって送信する点が開示されている。しかし、拠点毎に、対象拠点の端末からの画像中に目視確認したい画像領域の画像データが含まれるようにするために、対象拠点に配置されたカメラに対するパンチルトズーム指示に応じた画角移動を行わせる必要があるので、対象拠点の端末から受信した画像は他の全ての拠点に配置した端末においても同じ画像領域の画像が確認されるといった問題があった。
【００１１】
そこで、各拠点に夫々配置した各端末において、他の拠点の端末から受信した画像中に目視確認したい画像領域の画像が含まれるようにすることが切望されている。
本発明は、上記に鑑みてなされたもので、その目的としては、各拠点に夫々配置した各端末において、他の拠点の端末から受信した画像中に目視確認したい画像領域の画像が含まれるようにすることが可能な画像管理装置、画像処理装置、画像管理システム、画像処理システム、画像管理方法および画像処理方法を提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明の画像管理装置は、少なくとも第１拠点の端末、第２拠点の端末および第３拠点の端末間で画像を送受信する画像管理装置において、少なくとも前記第２拠点の端末および第３拠点の端末から画像を受信する受信手段と、前記第１拠点の端末から画像調整信号を受信する画像調整信号受信手段と、前記第１拠点の端末から受信した画像調整信号に基づいて、前記第２拠点の端末から受信した画像のうち一定の画像領域の大きさを変更する変更手段と、前記変更手段により変更された前記第２拠点の端末からの画像と、少なくとも前記第３拠点の端末から受信した画像とを合成する合成手段と、前記合成手段により合成された画像を前記第１拠点の端末に送信する送信手段と、を備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、少なくとも第２および第３拠点の各端末から画像を受信しておき、第１拠点の端末から受信した画像調整信号に基づいて、第２拠点の端末から受信した画像のうち一定の画像領域の大きさを変更し、変更された第２拠点の端末からの画像と、少なくとも第３拠点の端末からの画像とを合成し、合成された画像を第１拠点の端末に送信することで、拠点に夫々配置した各端末において、他の拠点の端末から受信した画像中に目視確認したい画像領域の画像が含まれるようにすることができる。
【図面の簡単な説明】
【００１４】
【図１】多拠点接続方式の画像処理装置に適応可能なテレビ会議システム１の構成および動作について説明するための図である。
【図２】図１に示すテレビ会議端末の外観図について説明するための図である。
【図３】図１に示す撮像装置１０と処理装置２０のハードウェア構成を示す図である。
【図４】本発明の第１実施形態に係わる画像処理装置および画像管理装置に適用可能な多拠点接続方式のテレビ会議端末１００とＭＣＵ７０の処理ブロックの各機能について説明する図である。
【図５】本発明の第１実施形態に係わる画像管理装置により実現可能な、拠点毎に多拠点の端末からの画像の目視確認したい画像領域を選択できる機能について説明するための図である。
【図６】本発明の第１実施形態に係わる多拠点接続方式の端末１００とＭＣＵ７０との間の処理を示すシーケンス図である。
【図７】（ａ）、（ｂ）は、本発明の第１実施形態に係わる画像管理装置により実現可能な、拠点毎に多拠点の端末からの画像の目視確認したい画像領域を選択できる機能について説明するための、画像調整前の表示画面と画像調整後の表示画面を示す図である。
【図８】本発明の第２実施形態に係わる画像処理装置に適用可能なルータ接続方式のテレビ会議端末１５０とルータ１７０の処理ブロックの各機能について説明するための図である。
【図９】本発明の第２実施形態に係わる画像処理装置による処理の一例として、端末１５０とルータ１７０との間の処理を示すシーケンス図である。
【図１０】本発明の第２実施形態に係わる画像処理装置による画像パラメータ取得処理について説明するためのシーケンス図である。
【図１１】本発明の第２実施形態に係わる画像処理装置に設けられた調整パラメータ取得部１５７ｂにより取得される座標情報について説明するための図である。
【図１２】（ａ）〜（ｄ）は、本発明の第２実施形態に係わる画像処理装置に対して、画像領域を指定するための手順について説明するための図である。
【図１３】従来の多拠点接続方式のテレビ会議システムの画像配信に関する構成を示す図である。
【図１４】（ａ）、（ｂ）は、従来の多拠点接続方式の端末３００とＭＣＵ３５０における画像データの処理機能ブロックの概要を示す図である。
【図１５】従来のルータ接続方式のテレビ会議システムの画像配信に関する構成を示す図である。
【図１６】図１５に示す従来のルータ接続方式の端末４００における画像データの処理機能ブロックの概要を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について説明する。第１実施形態は、多拠点テレビ会議システムおける画像配信の処理に際し、各拠点の端末は広角レンズを有するカメラを用いて広範囲画像を撮影し、撮影した広範囲画像の全てをエンコードし、ＭＣＵに送信しておき、一方、各拠点の端末は他の拠点の端末から受信した画像に対してパンチルトズーム指示をＭＣＵに向けて送信する。ＭＣＵはパンチルトズーム指示に応じて、ＭＣＵ上でデコードした対象拠点の端末からの広範囲画像から映し出される画像領域を切り出す。ＭＣＵは切り出した画像を用いて、他の拠点の端末から画像と画像合成した後にエンコードする。これらの処理を各拠点に対応して行うことにより、ＭＣＵは拠点の端末毎の指示に従って切り出した画像を拠点の端末毎に送信することを特徴とする。
また、第１実施形態において用いたＭＣＵに代わって、第２実施形態では、従来のルータを利用して上記と同様に、拠点の端末毎の指示に従って切り出した画像を拠点の端末毎に送信する処理を行うことを特徴とする。
【００１６】
上記の本発明の特徴について、以下、図面を参考して詳細に説明する。
ここで、図１を参照して、多拠点接続方式の画像処理装置に適応可能なテレビ会議システム１の構成および動作について説明する。
図１に示すように、テレビ会議システム１は、複数の拠点Ａ、Ｂ、Ｃに配置されているテレビ会議端末１００ａ、１００ｂ、１００ｃと、これらテレビ会議端末１００が接続されるネットワークＮで構成され、テレビ会議端末１００は撮像装置１０と処理装置２０を備えている。テレビ会議端末１００は、マイク５、スピーカ６、タッチパネル７なども備え、撮像装置１０と同様に、処理装置２０に接続されている。
例えば拠点Ａに配置されたテレビ会議端末１００ａの撮像装置１０で撮影された画像データは、当該テレビ会議端末１００内の撮像装置１０と処理装置２０との連携した動作により、撮像装置１０で撮像された画像データに補正処理を施し、当該テレビ会議端末１００内のタッチパネル７に表示される。同時に、この補正処理された画像データは、ネットワークＮに接続された他の拠点Ｂ、Ｃに配置されたテレビ会議端末１００Ｂ、Ｃにも伝送されて、そのタッチパネル７にも表示される。
【００１７】
例えば拠点Ａに配置されたテレビ会議端末１００ａにおいて、操作者による接触に応じてタッチパネル７からズームイン／ズームアウト操作の指示が入力されると、当該テレビ会議端末１００ａ内の処理装置２０によりデジタルズーム処理が施されて、デジタルズーム処理された画像データが、当該テレビ会議端末１００のタッチパネル７に表示される。同時に、デジタルズーム処理された画像データは、ネットワークＮに接続された拠点Ｂ、Ｃに配置されているテレビ会議端末１００ｂ、１００ｃにも伝送されて、そのタッチパネル７にも表示される。
この多拠点接続方式のテレビ会議システムによれば、ネットワークＮに接続された複数のテレビ会議端末１００において、デジタルズーム処理や歪曲収差補正処理が施された画像データをリアルタイムに表示することが可能になる。
【００１８】
次に、図２を参照して、テレビ会議端末１００の外観図について説明する。
以下、テレビ会議端末１００の長手方向をＸ軸方向とし、水平面内でＸ軸方向と直交する方向をＹ軸方向（幅方向）とし、Ｘ軸方向およびＹ軸方向に直交する（鉛直方向、高さ方向）をＺ軸方向として説明する。
テレビ会議端末１００は、筐体４０、アーム５０、ハウジング５２を備えている。このうち、筐体４０の右側壁面４１には、音収音用の孔４２が設けられる。当該音収音用の孔４２を通過した、外部からの音声が内部に設けられたマイク５（図１参照）により収音される。
また、上面部４３には、電源スイッチ４４と、音出力用の孔４５が設けられる。操作者が、電源スイッチ４４をＯＮ操作することで、テレビ会議端末１００を起動することができる。また、スピーカ７（図１参照）から出力された音声は、音出力孔４５を介して外部に出力される。さらに、テレビ会議端末１００の筐体４０の上面部４３には、複数の操作ボタン（図示しない）が配置されている。
【００１９】
また、筐体４０の左側壁面４７側には、アーム５０及びカメラハウジング５２を収容するための、凹形状の収容部４６が形成されている。また、筐体４０の左側壁面４７には、接続口（図示せず）が設けられている。接続口は、映像出力ユニット２４と、タッチパネル７とを接続するためのケーブル７ａが接続されている。
また、アーム５０は、トルクヒンジ５１を介して、筐体４０に取り付けられている。アーム５０が、筐体４０に対して、１３５度のチルト角ω１の範囲で、上下方向に回転可能に構成されている。図２では、チルト角ω１が９０度の状態であることを示している。チルト角ω１を０度に設定することで、アーム５０及びカメラハウジング５２を収容部４６に収容することができる。
【００２０】
カメラハウジング５２には、内蔵型の撮像装置１０が収容されている。当該撮像装置１０により、人物（例えば、テレビ会議の参加者）や、用紙に記載された文字や記号、部屋などを撮影することができる。また、カメラハウジング５２には、トルクヒンジ５３が形成されている。カメラハウジング５２は、トルクヒンジ５３を介してアーム５０に取り付けられている。カメラハウジング５２がアーム５０に対して、図２に示す状態を０度として、±１８０度のパン角ω２の範囲で、かつ、±４５度のチルト角ω３の範囲で、上下左右方向に回転可能に構成されている。
また、テレビ会議端末１００は、図２に記載されたものではなく、他の構成であっても良い。例えば、ＰＣ（Personal Computer）に、スピーカ６やマイク５を外部接続したものを用いてもよい。また、本テレビ会議端末１００をスマートフォンなどの携帯型端末に適用しても良い。
【００２１】
次に、図３を参照して、図１に示す撮像装置１０と処理装置２０のハードウェア構成について説明する。
テレビ会議端末１００は少なくとも撮像装置１０と処理装置２０で構成される。処理装置２０は、例えばパーソナルコンピュータである。撮像装置１０と処理装置２０の間は有線（ＵＳＢ等）あるいは無線で接続される。
撮像装置１０は、被写体像が入射する超広角レンズ１１と、超広角レンズ１１によって結像された撮像対象の光学像をアナログ電気信号に変換するＣＣＤ（Charge Coupled Device)やＣＭＯＳ（Complementary Metal Oxide Semiconductor)などの画像センサ１２と、アナログ電気信号をＡ／Ｄ変換してデジタル信号であるフレーム画像に対して各種画像処理を行うＩＳＰ（Image Signal Processor)などから構成される画像処理ユニット１３と、フレーム画像や各種画像処理済みフレーム画像、その他のデータ及び制御信号などを処理装置２０との間で送受信するＩ／Ｆユニット１４などを備えて構成される。
【００２２】
処理装置２０は、撮像装置１０との間でフレーム画像や各種画像処理済みフレーム画像、その他のデータ及び制御信号などを送受信するＩ／Ｆユニット２１と、種々の処理を実行するＣＰＵ（Central Processing Unit）２２、ＣＰＵ２２の処理に必要な各種ソフトウエアやデータ、フレーム画像や各種画像処理済みフレーム画像や変換済みフレーム画像などを格納するメモリ２３と、処理装置２０に接続したタッチパネル７などに映像信号を伝送する映像出力ユニット２４と、画像データや制御データなどをネットワークＮに接続された相手側の他の拠点に配置されているテレビ会議端末に送信する通信ユニット２５と、装置全体を制御する制御ユニット２６と、各ユニットを接続するバス２７と、操作者によるタッチ指示を受け付けるタッチパネル７から指示情報や座標情報を入力する操作ユニット２８などで構成される。メモリ２３は、揮発性メモリであるＲＡＭ、ＲＯＭ、ＨＤＤ（Hard Disk Drive）などの総称である。
処理装置２０のＣＰＵ２２は、撮像装置１０によって撮像された画像内から人物を検出し、人物が写っている画像の範囲に基づいて歪曲収差補正処理の要否を判断し、画像処理ユニット１３に対して歪曲収差補正のオン／オフ指示を行う。画像処理ユニット１３は、処理装置２０からの歪曲収差補正処理のオン／オフ指示に基づいて歪曲収差補正処理を行う機能を有する。
【００２３】
上述した図１乃至図３に示すテレビ会議装置端末１００は、本発明の第１および第２実施形態に係わる画像処理装置の各種機能を搭載可能であり、さらに詳細な構成の具体例を以下に説明する。
＜第１実施形態＞
図４を参照して、本発明の第１実施形態に係わる画像処理装置および画像管理装置に適用可能な多拠点接続方式のテレビ会議端末１００とＭＣＵ７０の処理ブロックの各機能について説明する。
なお、拠点Ａに配置されているテレビ会議端末（以下、端末という）１００ａと、拠点Ｂおよび拠点Ｃに配置されている端末１００ｂ、１００ｃとは同様の構成であり、その説明を省略する。また、拠点Ａ、Ｂおよび拠点Ｃに配置されている各端末１００がネットワークＮを介してＭＣＵ７０に共通に接続されていることとして説明する。
【００２４】
拠点Ａに配置されている端末１００ａは、撮影装置１０と、処理装置２０と、表示装置３０と、画像調整Ｉ／Ｆ部４０とを備えている。
撮影装置１０は、例えば、デジタルカメラ、ビデオカメラを有し、カメラで撮像対象を撮影して画像信号を取得し、画像信号をＡ／Ｄ変換して得た画像データをエンコーダ部２０ａに出力する画像取得部１０ａを備えている。
処理装置２０は、画像取得部１０ａから入力される画像データを符号化（エンコード）して圧縮された例えばＭＰＥＧ方式やＪＰＥＧ方式の画像データを生成するエンコーダ部２０ａと、符号化（エンコード）して圧縮された画像データを送信する送信部２０ｂと、ネットワークＮを介して符号化された画像データを受信する受信部２０ｃと、符号化された画像データを復号（デコード）して元の画像データを生成するデコーダ部２０ｄと、調整パラメータ取得部４０ｂで取得された調整パラメータと、現在使用している画像の座標情報に基づいて、画像調整信号を生成する画像調整信号生成部２０ｅとを備えている。
【００２５】
表示装置３０は、画像データを表示するための画像表示部３０ａとしてタッチパネル７を備えている。
画像調整Ｉ／Ｆ部４０は、他の拠点に配置されている端末から受信した画像データに対応するＩＤデータを表示するＩＤ表示部４０ａと、タッチパネル７の表示画面に対して操作者のタッチ操作により選択された結果から、画像調整の対象となった拠点の端末からの画像データのＩＤデータと表示したい画像領域の座標情報とからなる調整パラメータを取得する調整パラメータ取得部４０ｂとを備えている。なお、ＩＤ表示部４０ａにはタッチパネル７を用いている。
ＭＣＵ７０は、画像管理装置を構成し、メモリ部から読み出したプログラムに従って処理を実行するＣＰＵ、メモリ部（ＲＯＭ、ＲＡＭ、ＨＤＤ）を有し、種々の画像処理を行う処理装置７２を備えている。処理装置７２は、ネットワークＮを介して符号化された画像データを受信する受信部７２ａ、符号化された画像データを復号（デコード）して元の画像データを生成するデコーダ部７２ｂ１、７２ｂ２、７２ｂ３、画像処理（Ａ）部７３ａ、画像処理（Ｂ）部７３ｂ、画像処理（Ｃ）部７３ｃ、送信部７２ｇを備えている。
【００２６】
画像処理（Ａ）部７３ａは、受信部７２ａが受信した画像調整信号に基づいて、拠点Ａの端末から受信した画像を拡大縮小して左側位置に配置し、拠点Ｂ又はＣの端末から受信した画像を右側位置に配置するように合成する。画像処理（Ｂ）部７３ｂは、受信部７２ａが受信した画像調整信号に基づいて、拠点Ｂの端末から受信した画像を拡大縮小して左側位置に配置し、拠点Ａ又はＣの端末から受信した画像を右側位置に配置するように合成する。画像処理（Ｃ）部７３ａは、受信部７２ａが受信した画像調整信号に基づいて、拠点Ｃの端末から受信した画像を拡大縮小して左側位置に配置し、拠点Ａ又はＢの端末から受信した画像を右側位置に配置するように合成する。
画像処理（Ａ）部７３ａは、操作者の選択した拠点に対応するＩＤデータと調整パラメータである画像座標とに基づいて、ＩＤデータで示される対象となる拠点の画像データを画像座標により切り出し、切り出した画像データを拡大する画像調整（Ａ）部７２ｃ、拠点Ａの端末向けの画像データを専用に合成しており、拠点Ｂおよび拠点Ｃの各端末からの画像データを合成して１枚の画像データを得る画像合成（Ａ）部７２ｄ、１枚になった画像データをエンコードするエンコーダ（Ａ）部７２ｅ、画像データに対応するＩＤデータと現在使用している座標情報を生成するＩＤ・座標情報生成（Ａ）部７２ｆを備えている。なお、画像処理（Ｂ）部７３ｂおよび画像処理（Ｃ）部７３ｃの構成は、画像処理（Ａ）部７３ａと同様のブロック構成を有しているので、その説明を省略する。
【００２７】
次に、図４を参照して、多拠点接続装置方式の端末１００とＭＣＵ７０の動作について説明する。
下記の説明に先立って、ＭＣＵ７０が拠点Ａの操作者の指示に応じて、拠点Ｂまたは拠点Ｃに配置されている端末１００ｂまたは１００ｃから受信した画像データの大きさを変更することを想定する。なお、本実施形態では、３拠点Ａ、Ｂ、Ｃに端末１００ａ、１００ｂ、１００ｃを配置することを想定しているが、２拠点でもよいし、３拠点以上であってもよい。
拠点Ａに配置されている端末１００の撮影装置１０では、例えば、デジタルカメラ、ビデオカメラを用いて画像取得部１０ａが画像データを取得する。画像取得部１０ａで取得された画像データは、処理装置２０のエンコーダ部２０ａでエンコードされる。送信部２０ｂは、画像エンコード部２０ａでエンコードされた画像データに対して、送信元として当該拠点の端末を示すＩＤデータをヘッダ部に付加し、ＩＤデータが付加されたヘッダ部を有する画像データをネットワークＮを介してＭＣＵ７０に送信する。ここで、拠点の端末を示すＩＤデータとして、例えば、「Ａ」、「Ｂ」および「Ｃ」を用いてもよい。
端末１００に設けられた送信部２０ｂから送信された画像データは、ＭＣＵ７０に設けられた処理装置７２の受信部７２ａで受信される。他の拠点Ｂ、Ｃの端末から送信される画像データも、同様に受信部７２ａで受信される。受信部７２ａで受信された各拠点の端末から受信した画像データは、一旦、それぞれのデコーダ部７２ｂ１、７２ｂ２、７２ｂ３でデコードされる。
【００２８】
一方、受信部７２ａで受信された画像データは、ＩＤ・座標情報生成部７２ｆに入力される。ＩＤ・座標情報生成部７２ｆは、入力された画像データから、拠点の端末を特定するために使用する例えば拠点名称や文字列などで示されるＩＤデータを生成する。拠点の端末を示すＩＤデータとして、例えば、「Ａ」、「Ｂ」および「Ｃ」を用いてもよい。
【００２９】
ここで、ＩＤ・座標情報生成部７２ｆは、各拠点（Ａ、Ｂ、Ｃ）の各端末から受信した画像データと対応付けられた画像調整信号として、ＩＤデータと、現在使用している画像の座標情報が生成され、画像調整（Ａ）部７２ｃでの画像調整に用いる。
なお、ここでの画像調整とは、拠点Ａに配置されている端末１００ａから受信した画像調整信号に付加されている指示に応じて、そして、拠点Ｂまたは拠点Ｃの画像データの一定の画像領域の大きさを変更する調整である。例えば、画像データに人とホワイトボードが含まれる場合を想定する。例えば、拠点Ａの操作者が拠点Ｂのホワイトボードに書かれている内容に注目したとする。
この場合、拠点Ａの操作者がホワイトボード上の注目点をズームするためのズーム指示を送信し、ホワイトボード上の文字が書かれている画像領域を拡大することできる。この拠点Ａからのズーム指示は、後述する端末１００に設けられた調整パラメータ取得部４０ｂで取得した座標パラメータや、画像調整信号生成部２０ｅで生成した画像調整信号に付加されている。
【００３０】
一方、デコーダ部７２ｂ１でデコードされた画像データは、画像調整部（Ａ）７２ｃで拠点Ａの端末に対して専用の画像調整が行われる。なお、テレビ会議の開始時には操作者による画像調整操作が行われないため、画像調整部（Ａ）７２ｃは調整を行わないこととする。
画像合成部（Ａ）７２ｄは、拠点Ａの端末向けの画像データを専用に合成しており、拠点Ｂおよび拠点Ｃの各端末からの画像データを合成して１枚の画像データを得る。１枚になった画像データはエンコーダ部７２ｅでエンコードされ、送信部７２ｇからネットワークＮを介して拠点Ａに配置されている端末１００ａに送信される。
【００３１】
拠点Ａに配置されている端末１００ａの受信部２０ｃでは、ネットワークＮを介して画像データ（拠点Ｂおよび拠点Ｃ）を受信し、受信された画像データは、デコーダ部２０ｄでデコードされ、画像表示部３０ａであるタッチパネル７に表示される。一方、画像データのヘッダ部にはこの画像データと関連付けられた各拠点の端末のＩＤデータが含まれており、受信部２０ｃで画像データを受信する際に画像データと関連したＩＤデータが抽出され、画像調整Ｉ／Ｆ部４０のＩＤ表示部４０ａにＩＤデータが表示される。
このとき、操作者は画像調整したいＩＤデータの付けられた拠点の端末からの画像に対して、マウス８ａを操作して表示画面上の目標領域を図５に示す点線部８１のように選択する。
調整パラメータ取得部４０ｂは、選択した結果から、画像調整対象となった画像のＩＤデータと、表示したい画像領域の画像座標から調整パラメータを取得する。次いで、画像調整信号生成部２０ｅは、調整パラメータ取得部４０ｂで取得された調整パラメータと、現在使用している画像の座標情報に基づいて、画像調整信号を生成する。
そして、送信部２０ｂは、画像調整する対象となる拠点の端末のＩＤデータと、調整パラメータ(画像座標)とをネットワークＮを介してＭＣＵ７０に送信する。
【００３２】
次いで、ＭＣＵ７０に設けられた受信部７２ａは、拠点Ａに配置されている端末１００ａから受信した画像調整信号に従って、各拠点の端末からの画像データを画像調整（Ａ）部７２ｃで調整する。具体的には、画像調整（Ａ）部７２ｃは、操作者の選択した拠点Ａの端末のＩＤデータと調整パラメータである画像座標とに基づいて、ＩＤデータで示される対象となる拠点の端末の画像データを画像座標により切り出し、切り出した画像データを拡大する。
そして、画像合成（Ａ）部７２ｄは、拠点ＢまたはＣの端末からの画像データと、拠点Ａの端末からの画像データに切り出し処理と拡大処理を施した画像データとを合成して１枚の画像データを得て、合成された画像データをエンコーダ（Ａ）部７２ｅでエンコードし、送信部７２ｇからネットワークＮを介して端末１００ｂまたは１００ｃに送信する。
以上説明した各部の動作を拠点の端末毎に行うことにより、図５に示すように、拠点に夫々配置した各端末において、他の拠点の端末から受信した画像中に目視確認したい画像領域の画像が含まれるようにすることができる。
【００３３】
図６を参照して、本発明の第１実施形態に係わる多拠点接続方式の端末１００とＭＣＵ７０との間の処理を示すシーケンスについて説明する。なお、このシーケンス図は、拠点Ａに配置されている端末１００ａにおいて、拠点Ｂおよび拠点Ｃの各端末から受信した画像データを表示画面に表示させることを想定している。
拠点Ｂおよび拠点Ｃに配置されているそれぞれの端末１００ａ、１００ｂにおいて、画像取得部１０ａが撮影対象を撮影して画像データを取得する（Ｓ１１）。
画像取得部１０ａで取得された画像データに対して、エンコーダ部２０ａは画像データをエンコードする（Ｓ１２）。
送信部２０ｂは、画像エンコード部２０ａでエンコードされた画像データに対して、送信元として当該拠点の端末を示すＩＤデータをヘッダ部に付加し、ＩＤデータが付加されたヘッダ部を有する画像データをネットワークＮを介してＭＣＵ７０に送信する（Ｓ１３）。
【００３４】
拠点Ａに配置されている端末１００ａにおいて、画像取得部１０ａが画像データを取得する（Ｓ２１）。
画像取得部１０ａで取得された画像データに対して、エンコーダ部２０ａは画像データをエンコードする（Ｓ２２）。
送信部２０ｂは、画像エンコーダ部２０ａでエンコードされた画像データのヘッダ部に対して、送信元として当該拠点の端末を示すＩＤデータを付加し、ＩＤデータが付加されたヘッダ部を有する画像データをネットワークＮを介してＭＣＵ７０に送信する（Ｓ２３）。
【００３５】
ＭＣＵ７０では、夫々の拠点の各端末からネットワークＮを介して送信された画像データを受信部７２ａで受信する（Ｓ３１）。
ステップＳ３１において、受信部７２ａで受信した各拠点の端末からの画像データは、デコーダ部７２ｂ１、７２ｂ２、７２ｂ３でデコードされる（Ｓ３２）。なお、受信部７２ａでは、受信した各拠点の端末からの画像データのヘッダ部に含まれる送信元のＩＤデータを抽出し、ＩＤ・座標情報生成部７２ｆに出力する。
ステップＳ３２において、ＩＤ・座標情報生成部７２ｆは、デコーダ部７２ｂ１、７２ｂ２、７２ｂ３でデコードされた各画像データに対応するＩＤデータと現在使用している座標情報を生成する（Ｓ３３）。
デコーダ部７２ｂ１、７２ｂ２、７２ｂ３でデコードされた各拠点の端末からの画像データを画像合成（Ａ）部７２ｄで合成する。ここでは、拠点Ａの端末の表示画面に表示させることを想定しているので、画像合成（Ａ）部７２ｄでは拠点Ｂおよび拠点Ｃの端末からの画像データを合成する（Ｓ３４）。
ステップＳ３４において、画像合成（Ａ）部７２ｄで合成した画像データをエンコーダ部７２ｅでエンコードする（Ｓ３５）。
ステップＳ３５において、エンコーダ部７２ｅでエンコードした画像データと、ステップＳ３３において、ＩＤ・座標情報生成部７２ｆで生成したＩＤデータと、を送信部７２ｇから拠点Ａの端末１００ａに送信する（Ｓ３６）。
【００３６】
拠点Ａに配置されている端末１００ａでは、まず受信部２０ｃは、ＭＣＵ７０からネットワークＮを介して送信されてくる画像データ（拠点Ｂ、Ｃの端末からの画像データ）と、画像データのヘッダ部に付加されたＩＤデータと、現在使用している座標情報とを受信する（Ｓ４１）。
次いで、受信部２０ｃで受信した画像データをデコーダ部２０ｄでデコードする（Ｓ４２）。
次いで、デコーダ部２０ｄでデコードした画像データを画像表示部３０ａであるタッチパネル７の表示画面に表示する。同時に、受信部２０ｃは、受信している画像データのヘッダ部に含まれる送信元のＩＤデータを抽出しており、受信部２０ｃで受信したＩＤデータをＩＤ表示部４０ａであるタッチパネル７の表示画面に表示する（Ｓ４３）。
ステップＳ４３において、タッチパネル７の表示画面に表示されている画像は、例えば図７（ａ）に示すようになる。
【００３７】
ここで、拠点Ａの端末を操作する操作者が、拠点Ｂに配置されているホワイトボードの一部の画像を、端末１００ａに接続されているタッチパネル７上で拡大してみたいとする。つまり、図７（ａ）に示す破線で囲まれる画像領域８１（ホワイトボードの一部）を拡大してみたいとする。
この際、拠点Ａの端末の操作者がタッチパネル７の表示画面に表示されている拠点Ｂの端末からの画像の一部の画像領域８１（破線で囲まれる画像領域）に対して、タッチパネル７上にタッチ操作して選択すると、タッチパネル７から調整パラメータ取得部４０ｂに座標情報が出力される。この結果、調整パラメータ取得部４０ｂは、表示画面上の選択された画像領域８１の座標パラメータを取得する（Ｓ４４）。
ステップＳ４４において、調整パラメータ取得部４０ｂが取得した座標パラメータと、現在使用している座標情報から、画像データを調整するための画像調整信号を画像調整信号生成部２０ｅで生成する（Ｓ４５）。
ステップＳ４５において、画像調整信号生成部２０ｅで生成した画像調整信号を送信部２０ｂからＭＣＵ７０に送信する。
【００３８】
ＭＣＵ７０では、受信部７２ａは拠点Ａに配置されている端末１００ａから送信された画像調整信号を受信する（Ｓ５１）。
受信部７２ａで受信した画像調整信号を画像調整（Ａ）部７２ｃに出力する。画像調整（Ａ）部７２ｃは、画像調整信号に基づいて、画像データに対して拡大処理または縮小処理を行うことで画像の位置や大きさを調整する（Ｓ５２）。このように、画像データの位置や大きさを調整することで、拠点Ｂの端末からの画像データを拡大または縮小することができる。
次に、ステップＳ５２において、画像調整（Ａ）部７２ｃで調整を行った画像データと、ステップＳ５２の画像調整（Ａ）部７２ｃで調整を行った画像データを除く、受信部７２ｂ１で受信した拠点Ｃの端末からの画像データを合成する（Ｓ５３）。すなわち、拠点Ｂの端末からの調整を行った画像データと、拠点Ｃの端末からの調整を行っていない画像データとを合成する。
ステップＳ５３の画像合成（Ａ）部７２ｄで合成した画像データをエンコーダ（Ａ）部７２ｅでエンコードする（Ｓ５４）。
次いで、送信部７２ｇは、エンコーダ部７２ｅでエンコードした画像データを拠点Ａに配置されている端末１００ａに送信する（Ｓ５５）。
【００３９】
次いで、受信部２０ｃは、ＭＣＵ７０から送信された画像データ（拠点Ｂの端末からの画像の一部を拡大した画像と、拠点Ｃの端末からの画像）を受信する（Ｓ６１）。
次いで、デコーダ部２０ｄは、受信部２０ｃで受信した画像データをデコードする（Ｓ６２）。
次いで、デコーダ部２０ｄでデコードされた画像データは、画像表示部３０ａであるタッチパネル７に入力され画像データが表示される（Ｓ６３）。この結果、図７（ｂ）に示すように、ホワイトボードの画像領域が拡大された画像がタッチパネル７の左側に表示される。
【００４０】
ここで、拠点Ａに配置されている端末１００ａのみから、ＭＣＵ７０に対して拠点Ｂの端末からの画像データの一部を拡大するための画像調整信号を送信した。この場合、拠点Ｃの端末１００ｃからは拠点Ａの端末１００ａと同一の画像調整信号が送信されていないので、拠点Ｃと拠点Ａとでは夫々端末の表示画面に表示される拠点Ｂの端末からの画像の画像領域が異なる。
【００４１】
図５を参照して、本発明の第１実施形態に係わる管理装置により実現可能な、各拠点に多拠点の画像の目視確認したい画像領域を選択できる機能について説明する。
例えば、拠点Ａの端末からの画像には人物とホワイトボードが映っているとする。ここで、拠点Ｃの操作者は人物を、拠点Ｂの操作者はホワイトボードを大きく目視確認したいといった場合に、従来技術の多拠点テレビ会議システムでは、拠点Ａにおいて操作者が人物とホワイトボードに順番にカメラをパンチルトズームＰＴＺして向ける必要があり、同時にそれぞれの拠点Ｂ、Ｃの操作者が目視確認したい画像領域を表示することができなかった。
これに対して、本実施形態によれば、図５に示すように、拠点Ｃの端末１００ｃに設けられたタッチパネル７の表示画面の左側には人物が拡大表示され、拠点Ｂの端末１００ｂに設けられたタッチパネル７の表示画面の左側にはホワイトボードが拡大表示されている。
なお、多拠点接続方式では、端末１００側での処理が少なくなるので端末側での処理コストを下げられる一方、ＭＣＵ７０側での処理が多くなるのでＭＣＵ７０側での処理コストは上昇する、といった特徴がある。
【００４２】
＜第２実施形態＞
図８を参照して、本発明の第２実施形態に係わる画像処理装置に適用可能なルータ接続方式のテレビ会議端末１５０とルータ１７０の処理ブロックの各機能について説明する。
上述した第１実施形態にあっては、各拠点Ａ、Ｂ、Ｃに配置された端末１００ａ、１００ｂ、１００ｃがＭＣＵ７０に接続される構成のシステムであった。これに対して、第２実施形態では、例えば各拠点Ａ、Ｂ、Ｃに配置された端末１５０ａ、１５０ｂ、１５０ｃがルータ１７０を介して接続される構成のシステムである。ここで、端末１５０は、任意の拠点に配置されている端末を示している。
【００４３】
拠点Ａに配置されている端末１５０ａは、撮影装置１５１と、処理装置１５３と、表示装置１５５と、画像調整Ｉ／Ｆ部１５７とを備えている。
撮影装置１５１は、例えば、デジタルカメラ、ビデオカメラを有し、カメラで撮像対象を撮影して画像信号を取得し、画像信号をＡ／Ｄ変換して得た画像データをエンコーダ部１５３ａに出力する画像取得部１５１ａを備えている。
処理装置１５３は、画像取得部１０ａから入力される画像データを符号化（エンコード）して圧縮された例えばＭＰＥＧ方式やＪＰＥＧ方式の画像データを生成するエンコーダ部１５３ａと、符号化（エンコード）して圧縮された画像データを送信する送信部１５３ｂと、ネットワークＮを介して符号化された画像データを受信する受信部１５３ｃと、符号化された画像データを復号（デコード）して元の画像データを生成するデコーダ（Ｃ）部１５３ｄ２と、符号化された画像データを復号（デコード）して元の画像データを生成するデコーダ（Ｂ）部１５３ｄ１と、操作者が選択した拠点の端末からのＩＤデータと画像座標とに基づいて、対象となる拠点の端末からの画像データを切り出し処理し、拡大処理する画像調整部１５３ｅと、２つの拠点の端末からの画像データを合成して１枚の画像データを得る画像合成部１５３ｆと、受信した画像データに含まれる送信元のＩＤデータと座標情報を抽出して生成するＩＤ・座標情報生成部１５３ｇと、調整パラメータ取得部１５７ｂが取得した調整パラメータと、ＩＤ・座標情報生成部１５３ｇにより生成された現在使用している座標情報から、画像データを調整するための画像調整信号を生成する画像調整信号生成部１５３ｈとを備えている。
表示装置１５５は、画像データを表示する画像表示部１５５ａとしてタッチパネル７を備えている。
【００４４】
画像調整Ｉ／Ｆ部１５７は、拠点の端末から受信した画像データに対応するＩＤデータを表示するＩＤ表示部１５７ａと、タッチパネル７の表示画面上のタッチにより選択された画像領域の調整パラメータを取得し、画像調整信号生成部１５３ｈに出力する調整パラメータ取得部１５７ｂとを備えている。
ルータ１７０は、ルーティング機能を備えた従来のルータであり、処理装置１７０ａでは、通信プロトコルとして例えばTCP/IPにより画像データ（パケット）に含まれている宛先情報から転送先を決定し、受信した画像データを転送先に送信する。
【００４５】
次に、図８を参照して、ルータ接続方式の端末１５０の動作について説明する。
なお、第２実施形態にあっては、第１実施形態と同様に、拠点Ａの端末に対する操作者の指示に応じて、拠点Ｂまたは拠点Ｃの端末からの画像データの大きさを変更することパンチルトズームＰＴＺを想定する。また第２実施形態にあっては、３箇所の拠点に配置された端末を想定しているが、２箇所の拠点に配置された端末でもよい。
拠点Ａに配置されている端末１５０ａの画像取得部１５１ａで撮影対象を撮像して画像データを取得する。画像取得部１５１ａで取得された画像データは、エンコーダ部１５３ａでエンコードされる。エンコーダ部１５３ａでエンコードされた画像データは、送信部１５３ｂからネットワークＮを介してルータ１７０に向かって送信される。
拠点Ａに配置されている端末１５０ａから送信された画像データは、ルータ１７０に設けられた処理装置１７０ａにおいてルーティングされ、他の拠点Ｂ、Ｃに配置されている端末１５０ｂ、１５０ｃに送信される。他の拠点Ｂ、Ｃに配置されている端末１５０ｂ、１５０ｃからの画像データも同様にルーティングされ、拠点Ａに配置されている端末１５０ａに送信される。
【００４６】
拠点Ａに配置されている端末１５０ａにおいて、他の拠点Ｂ、Ｃに配置されている端末１５０ｂ、１５０ｃから送信された画像データは受信部１５３ａで受信される。受信部１５３ａで受信された他の拠点の端末からの画像データは、各々デコーダ部１５３ｄ１、１５３ｄ２でデコードされる。デコーダ部１５３ｄ１、１５３ｄ２でデコードされた後に、画像調整部１５３ｅで画像調整される。しかし、テレビ会議開始時には操作者からの画像調整操作が行われないため画像調整部１５３ｅでの画像調整は行わない。拠点Ａの端末からの画像も含め画像合成部１５３ｆで画像データが合成され、１枚の画像データが得られる。画像合成部１５３ｆで合成された画像データは画像表示部１５５ａであるタッチパネル７に表示される。
【００４７】
一方で、端末１５０ａに設けられた処理装置１５３において、受信部１５３ｃは各拠点の端末からの画像データを受信する。ＩＤ・座標情報生成部１５３ｇは受信部１５３ｃで受信した画像データに対し、画像データに含まれるＩＤデータと現在使用している画像の座標情報を抽出して生成する。ＩＤ・座標情報生成部１５３ｇで生成されたＩＤデータは、画像調整Ｉ／Ｆ１５７を介してＩＤ表示部１５７ａであるタッチパネル７に表示される。操作者は、タッチパネル７の表示画面に対して、画像調整したいＩＤデータの付けられた拠点の端末からの画像の中から表示したい画像領域をタッチ操作し、図５に示す点線部８１のように選択する。
タッチパネル７へのタッチ操作により選択した結果、画像調整の対象となった目標画像のＩＤデータと表示したい画像領域の座標が、画像調整Ｉ／Ｆ１５７に設けられた調整パラメータ取得部１５７ｂで座標パラメータとして取得される。
【００４８】
次いで、調整パラメータ取得部１５７ｂで取得された座標パラメータと現在使用している画像の座標情報に基づいて、画像調整信号生成部１５３ｈで画像調整信号が生成される。
この画像調整の対象とする拠点の端末のＩＤデータと、生成された画像調整パラメータ(画像座標)に従って、各拠点の端末からの画像データを画像調整部１５３ｅで調整する。具体的には、操作者が選択した拠点の端末のＩＤデータと画像座標とに基づいて、対象となる拠点の端末からの画像データを切り出し処理し、拡大処理する。そして、画像合成部１５３ｆで画像を合成する。
以上の処理動作を対象となる拠点の端末毎に行うことにより、図５に示すように、拠点に夫々配置した各端末において、他の拠点の端末から受信した画像中に目視確認したい画像領域の画像が含まれるようにすることができる。
【００４９】
図９を参照して、本発明の第２実施形態に係わる画像処理装置による処理の一例として、端末１５０とルータ１７０との間の処理を示すシーケンスについて説明する。
拠点Ｂおよび拠点Ｃに配置されている各端末１５０ｂ、１５０ｃにおいて、画像取得部１５１ａが画像データを取得する（Ｓ１１１）。
画像取得部１５１ａで取得された画像データに対して、エンコーダ部１５３ａは画像データをエンコードする（Ｓ１１２）。
送信部１５３ｂは、エンコーダ部１５３ａでエンコードされた画像データに対して、送信元として当該拠点の端末を示すＩＤデータをヘッダ部に付加し、ＩＤデータが付加されたヘッダ部を有する画像データをネットワークＮを介してルータ１７０に送信する（Ｓ１１３）。
ネットワークＮを介して画像データを受信したルータ１７０は、処理装置１７０ａによってルーティングされ、拠点Ａに配置されている端末１５０ａに送信される（Ｓ１２１）。ここで、ルータ１７０に設けられた処理装置１７０ａでは、通信プロトコルとして例えばＴＣＰ／ＩＰにより画像データ（パケット）に含まれている宛先情報から転送先を決定する。
【００５０】
拠点Ａに配置されている端末１５０ａにおいて、ルータ１７０からネットワークＮを介して送信された画像データを受信部１５３ｃで受信し、ＩＤ・座標情報生成部１５３ｇは受信した画像データのヘッダ部に含まれる送信元のＩＤデータを抽出して生成する（Ｓ１３１）。
受信部１５３ｃで受信した各拠点の端末からの画像データのうち、画像データに含まれる送信元が拠点Ｂの端末である画像データはデコーダ（Ｂ）部１５３ｄ１に出力され、デコーダ（Ｂ）部１５３ｄ１は画像データをデコードして画像調整部１５３ｅに出力し、一方、画像データに含まれる送信元が拠点Ｃの端末である画像データはデコーダ（Ｃ）部１５３ｄ２に出力され、デコーダ（Ｃ）部１５３ｄ２は画像データをデコードして画像調整部１５３ｅに出力する（Ｓ１３２）。
デコードされた各拠点の端末からの画像データを入力した画像調整部１５３ｅは、画像調整信号が入力されていない状態では画像調整を行わずに、入力された拠点Ｂ、Ｃの各画像データを画像合成部１５３ｆに出力する。
画像合成部１５３ｆは、入力された画像データの一方を右側に他方を左側に配置して合成し、画像表示部１５５ａに出力する。ここでは、拠点Ａの端末の表示画面に表示させることを想定しているので、拠点Ｂおよび拠点Ｃの端末からの画像データが合成される（Ｓ１３３）。
【００５１】
ステップＳ１３３において画像合成部１５３ｆで合成された画像データを、画像表示部１５５ａであるタッチパネル７の表示画面に表示し、同時に、ステップＳ１３１において生成された送信元のＩＤデータをＩＤ表示部１５７ａであるタッチパネル７の表示画面に表示する（Ｓ１３４）。
ステップＳ１３４においてタッチパネル７の表示画面に表示されている画像は、例えば図１２（ｃ）に示すようになる。
ここで、拠点Ａの端末に対して操作する操作者が、拠点Ｂに配置されているホワイトボードの一部を拡大表示したいこととする。すなわち、図１２（ｃ）に示す破線で囲まれる画像領域（ホワイトボードの一部）の拡大画像を目視確認したいこととする。この際、拠点Ａの操作者がタッチパネル７の表示画面に表示されている拠点Ｂの端末からの画像の一部（破線で囲まれる画像領域）をタッチして選択すると、調整パラメータ取得部１５７ｂは、タッチパネル７の表示画面上のタッチにより選択された画像領域の調整パラメータを取得し、画像調整信号生成部１５３ｈに出力する（Ｓ１３５）。
【００５２】
画像調整信号生成部１５３ｈは、調整パラメータ取得部１５７ｂが取得した調整パラメータと、ＩＤ・座標情報生成部１５３ｇにより生成された現在使用している座標情報から、画像データを調整するための画像調整信号を生成する（Ｓ１３６）。
画像調整部１５３ｅは、画像調整信号生成部１５３ｈから入力した画像調整信号に基づいて、端末Ｂまたは端末Ｃの端末からの画像データを調整する（Ｓ１３７）。
次いで、画像調整部１５３ｅで調整を行った画像データと、画像調整部１５３ｅで調整を行った拠点の端末からの画像データを除く拠点の画像データとを合成する（Ｓ１３８）。すなわち、画像調整部１５３ｅでは、拠点Ｂの端末から受信した調整を行った画像データと、拠点Ｃの調整を行っていない画像データとを合成する。
次いで、画像表示部１５５ａは、画像合成部１５３ｆで合成した画像データをタッチパネル７の表示画面に表示させる（Ｓ１３９）。
【００５３】
図１０を参照して、本発明の第２実施形態に係わる画像処理装置により実行される画像パラメータ取得処理について説明する。
画像調整部１５３ｅでは、送信部１５３ｂがルータ１７０へ現在送信している当該拠点の端末からの画像データの座標情報をＩＤ・座標情報生成部１５３ｇに出力する。例えば、各拠点の端末からの画像データは縦Ｘ［ｐｉｃｓ］、横Ｙ［ｐｉｃｓ］の解像度であり、初期ではこの全ての画像領域を使用していることする。この縦Ｘ［ｐｉｃｓ］、横Ｙ［ｐｉｃｓ］の座標情報をＩＤ・座標情報生成部１５３ｇに出力する（Ｓ２１１）。
ＩＤ・座標情報生成部１５３ｇは、現在送信している当該拠点の画像データの座標情報を画像調整部１５３ｅから入力する（Ｓ２２１）。
ＩＤ・座標情報生成部１５３ｇは、当該拠点のＩＤデータと画像座標情報を対応付けたデータを生成する（Ｓ２２２）。例えば、拠点Ｂの端末に関する拠点データとして、｛Ｂ：オリジナル（０，０）（Ｘ，Ｙ）、使用座標（０，０）（Ｘ，Ｙ）｝を生成する。
【００５４】
ＩＤ・座標情報生成部１５３ｇは、当該拠点の端末のＩＤデータと画像座標情報を対応付けたデータを画像調整信号生成部１５３ｈに出力する（Ｓ２２３）。
像調整信号生成部１５３ｈは、各拠点の端末のＩＤデータと画像座標情報を対応付けたデータをＩＤ・座標情報生成部１５３ｇから受信する（Ｓ２３１）。
調整パラメータ取得部１５７ｂは、各拠点の端末のＩＤデータと画像座標情報を対応付けたデータをＩＤ・座標情報生成部１５３ｇから入力する（Ｓ２４１）。
調整パラメータ取得部１５７ｂは、操作者の指定した拠点の端末のＩＤデータを取得する（Ｓ２４２）。例えば、図１２（ｂ）に示す説明図のような表示画面において、操作者がタッチパネル７の表示画面上で拠点Ｂの端末を選択した場合、｛Ｂ：オリジナル（０，０）（Ｘ，Ｙ）、使用座標（０，０）（Ｘ，Ｙ）｝を取得する。
調整パラメータ取得部１５７ｂは、操作者がタッチパネル７の表示画面上で指定した画像領域の座標を取得する（Ｓ２４３）。例えば、図１１に示す説明図のように、調整パラメータ取得部１５７ｂは、座標｛（ｘ１’，ｙ１’）（ｘ２’，ｙ２’）｝を取得する。
調整パラメータ取得部１５７ｂは、取得したＩＤデータと座標を送信する（Ｓ２４４）。例えば、座標｛Ｂ（ｘ１’，ｙ１’）（ｘ２’，ｙ２’）｝を画像調整信号生成部１５３ｈに出力する。
【００５５】
画像調整信号生成部１５３ｈは、取得したＩＤデータと座標を調整パラメータ取得部１５７ｂから入力する（Ｓ２５１）。
画像調整信号生成部１５３ｈは、取得した座標をオリジナル画像上の座標に変換し、画像調整する座標情報を生成する（Ｓ２５２）。例えば、座標変換として、
｛Ｂ（ｘ１’，ｙ１’）（ｘ２’，ｙ２’）｝→｛Ｂ（ｘ１，ｙ１）（ｘ２，ｙ２）｝
を行う。
画像調整信号生成部１５３ｈは、生成した画像調整情報を画像調整部１５３ｅに出力する（Ｓ２５３）。
画像調整部１５３ｅは、画像調整信号生成部１５３ｈが生成した画像調整情報を入力する（Ｓ２６１）。
画像調整部１５３ｅは、入力した画像調整情報に基づいて画像調整する（Ｓ２６２）。
【００５６】
次に、図１２を参照して、操作者による画像領域の指定手順について説明する。
図１２（ａ）に示す「通常画面（前）」では、タッチパネル７に各拠点の画像データが表示される。
操作ユニット２８に設けられた操作ボタン、またはリモコンの操作ボタンを操作者が操作することにより、図１２（ｂ）に示す画像調整画面：ＩＤデータ選択に遷移する。
図１２（ｂ）に示す「画像調整画面：ＩＤ選択」では、本体またはリモコン、マウスのボタン操作、またはタッチパネル７へのタッチ操作により、画像調整したい拠点の端末からの画像を選択して決定する。ここでは、例えば、拠点Ｂの端末の画像を選択する。
図１２（ｃ）に示す「画像調整画面：領域選択」では、操作ユニット２８に設けられた操作ボタン、またはリモコンの操作ボタン、またはタッチパネル７に対して、操作者がタッチ、ピンチ操作を行うと、画像調整したい拠点の端末の画像領域が選択され、決定ボタンが押されることにより画像領域を決定する。なお、選択できる画像領域はＩＤデータを選択した拠点の端末の画像領域内に制限される。ここでは、例えば、拠点Ｂの端末の画像の破線８１領域を選択する。
図１２（ｄ）に示す「通常画面（後）」では、選択した拠点の端末からの画像に対して、選択した画像領域が拡大されて表示される。
【符号の説明】
【００５７】
７…タッチパネル、１０…撮影装置、１０ａ…画像取得部、２０…処理装置、２０ａ…エンコーダ部、２０ｂ…送信部、２０ｃ…受信部２０ｃ、２０ｄ…デコーダ部、２０ｅ…画像調整信号生成部２０ｅ、２８…操作ユニット、３０…表示装置、３０ａ…画像表示部、画像調整Ｉ／Ｆ部４０、４０ａ…ＩＤ表示部、４０ｂ…調整パラメータ取得部、７０…ＭＣＵ、７２…処理装置、７２ａ…受信部、７２ｂ１…デコーダ（Ａ）部、７２ｂ２…デコーダ（Ｂ）部、７２ｂ３…デコーダ（Ｃ）部、７２ｇ…送信部、７３ａ…画像処理（Ａ）部、７３ｂ…画像処理（Ｂ）部、７３ｃ…画像処理（Ｃ）部、１００ａ、１００ｂ、１００ｃ…端末、１５０ａ、１５０ｂ、１５０ｃ…端末、１５１…撮影装置、１５３…処理装置、１５５…表示装置、１５７…画像調整Ｉ／Ｆ部、１５３ａ…エンコーダ部、１５３ｂ…送信部、１５３ｃ…受信部、１５３ｄ１…デコーダ（Ｃ）部、１５３ｄ２…デコーダ（Ｂ）部、１５３ｅ…画像調整部、１５３ｆ…画像合成部、１５３ｇ…ＩＤ・座標情報生成部、１５３ｈ…取画像調整信号生成部、１５５…表示装置１５５、１５７…画像調整Ｉ／Ｆ部、１５７ａ…ＩＤ表示部、１５７ｂ…調整パラメータ取得部、１７０…ルータ、Ｎ…ネットワーク
【先行技術文献】
【特許文献】
【００５８】
【特許文献１】特開平０５−２９２４９７号公報
【図１】
2013240004.tif 000003
【図２】
2013240004.tif 000004
【図３】
2013240004.tif 000005
【図４】
2013240004.tif 000006
【図５】
2013240004.tif 000007
【図６】
2013240004.tif 000008
【図７】
2013240004.tif 000009
【図８】
2013240004.tif 000010
【図９】
2013240004.tif 000011
【図１０】
2013240004.tif 000012
【図１１】
2013240004.tif 000013
【図１２】
2013240004.tif 000014
【図１３】
2013240004.tif 000015
【図１４】
2013240004.tif 000016
【図１５】
2013240004.tif 000017
【図１６】
2013240004.tif 000018