(57)【要約】 【課題】撮像環境が変化しても、現在のシーンに最適な映像を遅延なく得ることが可能な画像処理装置、画像処理方法、プログラムおよび映像送受信システムを提供する。【解決手段】本発明の画像処理装置は、記憶部と検知部と更新部とを備える。記憶部は、撮像部による撮像で生成された映像データに含まれる複数の表示領域ごとに映像処理用のパラメータを紐付けたパラメータ情報を記憶する。検知部は撮像環境の変化を検知する。更新部は、検知部により撮像環境の変化が検知された場合、その変化に応じてパラメータ情報を更新する。【選択図】図１
2018152799.tif 000002
【特許請求の範囲】
【請求項１】
撮像部による撮像で生成された映像データに含まれる複数の表示領域ごとに映像処理用のパラメータを紐付けたパラメータ情報を記憶する記憶部と、
撮像環境の変化を検知する検知部と、
前記検知部により前記撮像環境の変化が検知された場合、その変化に応じて前記パラメータ情報を更新する更新部と、を備える、
画像処理装置。
【請求項２】
前記更新部は、前記検知部により前記撮像環境の変化が検知されたときの前記映像データから、前記パラメータの最適値を前記表示領域ごとに算出し、その算出した値に更新する、
請求項１に記載の画像処理装置。
【請求項３】
前記パラメータは露出制御のためのパラメータを含み、露光時間を少なくとも含む、
請求項１または２に記載の画像処理装置。
【請求項４】
前記撮像部は時間的に連続して撮像を行って、時間的に連続した前記映像データを生成し、
前記検知部は、前記映像データの変化の度合いから前記撮像環境の変化を検知する、
請求項１乃至３のうちの何れか１項に記載の画像処理装置。
【請求項５】
撮像環境の変化を検知する検知ステップと、
前記検知ステップにより前記撮像環境の変化が検知された場合、その変化に応じて、撮像部による撮像で生成された映像データに含まれる複数の表示領域ごとに映像処理用のパラメータを紐付けたパラメータ情報を前更新する更新ステップと、を含む、
画像処理方法。
【請求項６】
コンピュータに、
撮像環境の変化を検知する検知ステップと、
前記検知ステップにより前記撮像環境の変化が検知された場合、その変化に応じて、撮像部による撮像で生成された映像データに含まれる複数の表示領域ごとに映像処理用のパラメータを紐付けたパラメータ情報を前更新する更新ステップと、を実行させるためのプログラム。
【請求項７】
それぞれの撮像部による撮像で得られた映像データから切り出した表示領域を互いに送受信可能な第１の端末装置および第２の端末装置を含む映像送受信システムであって、
前記第１の端末装置および前記第２の端末装置の各々は、
前記映像データに含まれる複数の表示領域ごとに、映像処理用のパラメータを紐付けたパラメータ情報を記憶する記憶部と、
撮像環境の変化を検知する検知部と、
前記検知部により前記撮像環境の変化が検知された場合、その変化に応じて前記パラメータ情報を更新する更新部と、を備える、
映像送受信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラムおよび映像送受信システムに関する。
【背景技術】
【０００２】
リアルタイム性が優先されるテレビ会議システム映像においては、パン／チルト操作等によってカメラ姿勢位置が変化することで、ＡＥ（Auto Exposure）等のフィードバック処理による映像制御用のパラメータを更新するのに数フレーム分の時間が必要であった。そのため、最適な映像撮影状態で配信するのに時間的な遅延が発生していた。
【０００３】
上記の問題を解決するための手段として、カメラ姿勢位置毎の映像制御用のパラメータを事前に専用記憶装置にプリセットしておくことで、フィードバック処理を行わずにその時のカメラ姿勢位置に最適だと思われる映像制御用のパラメータを記憶装置から取得し、パラメータを計算する必要を無くして遅延なしに最適な映像を得ることを可能にする技術が考えられる（例えば特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記技術においては、撮像環境が変化した場合（電灯のオンオフ変化、天候の変化、カメラの置き方の変化等）、プリセットしてあるパラメータのままでは現在のシーンに最適な映像を得ることはできないという問題がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、撮像環境が変化しても、現在のシーンに最適な映像を遅延なく得ることが可能な画像処理装置、画像処理方法、プログラムおよび映像送受信システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、撮像部による撮像で生成された映像データに含まれる複数の表示領域ごとに映像処理用のパラメータを紐付けたパラメータ情報を記憶する記憶部と、撮像環境の変化を検知する検知部と、前記検知部により前記撮像環境の変化が検知された場合、その変化に応じて前記パラメータ情報を更新する更新部と、を備える画像処理装置である。
【発明の効果】
【０００７】
本発明によれば、撮像環境が変化しても、現在のシーンに最適な映像を遅延なく得ることができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態のテレビ会議システムの構成の一例を示す図である。
【図２】図２は、ＰａｎＴｉｌｔ操作時の映像処理用のパラメータを遅延無しで最適化する場合の動作例を説明するための図である。
【図３】図３は、ＰａｎＴｉｌｔ操作時の映像処理用のパラメータを遅延無しで最適化する場合の動作例を説明するための図である。
【図４】図４は、実施形態のテレビ会議システムの動作例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら、本発明に係る画像処理装置、画像処理方法、プログラムおよび映像送受信システムの実施形態を詳細に説明する。
【００１０】
具体的な内容を説明する前に、本実施形態の概要を説明する。デジタルパン／チルト／ズーム（ＤＰＴＺ）機能を例にすると、デジタルパン／チルト／ズーム機能は、イメージセンサ（撮像部）による撮像で生成された映像データの全ての画素（全ブロック）を表示等の出力対象にするのではなく、映像データから一部のエリア（表示領域）を切り出して有効画像エリア（実際にモニタ表示等されるエリア）とする。出力対象のエリアの大きさと位置は任意である。切り出したエリア（以下の説明では「Ｃｒｏｐｐｉｎｇエリア」と称する場合がある）にとってのみの最適な測光が行われれば、最適な映像を得るという目的は達成（表示対象とならない画素は無視してもよい）できることになる。
【００１１】
上記の切り出しエリアであるが、その座標や大きさを予め決めておけばよい。少なくとも見かけ上シームレスなパン／チルト操作が実現できる粒度で切り出しエリアを刻んでおけばよい（詳しくは後述）。予め用意した切り出しエリアパターンごとに映像制御用のパラメータ（ＡＦやＡＥに関する設定値）をプリセットしておく。以下、パラメータ更新の概要を簡易に記載する。
【００１２】
（１）電源投入直後（Power  ON直後）は、イメージセンサから全エリアのＲＡＷデータを取得する。通常はデフォルトの切り出しエリアについて、プリセットされたパラメータを用いて映像処理を行って出力する。
【００１３】
（２）上記処理を行いながらも、他の切り出しエリアごとの最適な映像制御用のパラメータを裏処理的に算出する。なお、ここではＡＦのような裏処理に適さないものは除く。そして、切り出しエリアごとに、算出したパラメータを紐付けて記憶装置に記録しておく。
【００１４】
（３）パン／チルト操作が開始された場合、そのときの表示エリアに対応させながらカメラ制御については、（２）で算出したパラメータに置き換える。
【００１５】
（４）ＡＦについては、実際に映しながらパラメータをセットし、同時に記憶装置にも記録しておく。次回、同じ切り出しエリアが表示エリアとなった場合は、記録されたパラメータをそのまま使うことができる。ＡＥ等のパラメータについても、撮像しながら（記憶装置のパラメータも含めて）更新する。プリセットされたパラメータを使い続ける必要はない。プリセットされたパラメータを使う目的は、一から最適なパラメータを算出するよりも早く最適な映像を表示できるようにするためである。また、シームレスに表示方向が変化する場合はフィードバックで露出制御等を実施することが不可能であるため、ある程度精度の高いパラメータを最初からセットしておく必要がある。
【００１６】
（５）イメージセンサの撮像環境が変化しなければ、プリセットされたエリア毎のパラメータ群はパン／チルト操作時でも継続的に使える。
【００１７】
（６）ただし、撮像環境が変化した場合は、プリセットされたパラメータのままでは、そのときのシーンに最適な映像は得られない。
【００１８】
（７）そこで、本実施形態では、撮像環境の変化を検知したときは、出力対象ではないエリア（表示されてない切り出しエリア）を含めた各切り出しエリアについて、プリセットされたパラメータを裏処理的に更新（撮像環境の変化に合わせて最適化して更新）する。これにより、撮影環境が変化しても、パン／チルト映像は最適な状態（パラメータ）を保持できる。
【００１９】
以下、添付図面を参照しながら本実施形態の具体的な内容を説明する。図１は、映像送受信システムの一例であるテレビ会議システム１の構成の一例を示す図である。図１に示すように、テレビ会議システム１は、第１の拠点（この例では送信側）に設置された第１の端末装置２００Ａと、第２の拠点（この例では受信側）に設置された第２の端末装置２００Ｂと、会議を管理するサーバ３００と、を備え、これらは例えばインターネットやイントラネット等のネットワーク４００を介して相互に接続可能である。以下の説明では、第１の端末装置２００Ａと第２の端末装置２００Ｂを区別しない場合は「端末装置２００」と称する場合がある。ここでは、端末装置２００は「画像処理装置」の一例である。
【００２０】
なお、図１においては、第１の拠点を送信側、第２の拠点を受信側として説明するが、実際には、各拠点に設置された夫々の端末装置２００は同一の構成を有しており、ともに送受信が可能である。以下では、第１の端末装置２００Ａの構成要素の末尾にＡを付して第２の端末装置２００Ｂの構成要素と区別し、第１の端末装置２００Ａを例に挙げて端末装置２００の構成を説明する。
【００２１】
図１に示すように、第１の端末装置２００Ａは、カメラ１０Ａ、映像処理部２０Ａ、映像ＣＯＤＥＣ部３０Ａ、映像出力処理部４０Ａ、マイクアレイ５０Ａ、音声出力部６０Ａ、音声処理部７０Ａ、ネットワーク処理部８０Ａ、全体（システム）制御部９０Ａ、操作部１００Ａ、録画装置１２０Ａ、映像処理部２０Ａに付随するＲＡＭ１１０ＡおよびＲＡＭ１１５Ａ、ＤＰＴＺ制御部１３０Ａ、それに付随するシーンチェンジ検知部１４０Ａを備える。
【００２２】
カメラ１０Ａは、会議シーンの撮影入力を行う。図１の例では、カメラ１０Ａは、レンズ１１、及びレンズ１１を介して集光された映像を電気信号に変換する撮像部１２（イメージセンサ）から構成され、撮像部１２による撮像で映像データが生成される。ここでは、撮像部１２は時間的に連続して撮像を行って、時間的に連続した映像データを生成する。例えば映像データは全天球画像などであってもよい。ここでは、カメラ１０Ａにより生成された映像データはＲＡＷデータとして、ＤＰＴＺ制御部１３０Ａを経由して映像処理部２０Ａへ入力される。
【００２３】
映像処理部２０Ａは、カメラ１０Ａから転送されたＲＡＷデータに対して、ベイヤー変換、３Ａ制御、等のカメラ映像処理で既知となっている処理を加えて、ＹＵＶデータを生成する。なお、３Ａ制御等の初期パラメータは、映像処理部２０Ａに付随するＲＡＭ１１５に予め格納されている。映像処理部２０Ａは、フィードバック処理をしながらパラメータの更新が必要であれば随時更新する。
【００２４】
また、ＹＵＶデータを生成した次のステップとして、映像処理部２０Ａは、上記で生成されたＹＵＶデータに対して幾何学的な補正（例えばＡＦＦＩＮＥ変換）を加えてから、映像ＣＯＤＥＣ部３０Ａへ転送する。なお、ＡＦＦＩＮＥ変換等に関するパラメータも、映像処理部２０Ａに付随するＲＡＭ１１５Ａに格納されている。
【００２５】
パラメータは複数のセットがそれぞれ独立に設けられ、その中に、カメラ１０の映像処理用のパラメータ（露出制御のためのパラメータを含む）やＡＦＦＩＮＥ変換用のパラメータ等が含まれる。どのセット（パラメータ群）を選択するかはＤＰＴＺ制御部１３０Ａとの連携操作によって決められ、毎フレームごとにどのセットを使うかを随時判断する。より詳細な内容については後述する。
【００２６】
映像ＣＯＤＥＣ部３０Ａは、映像ストリームデータのエンコード／デコード処理を行うため、Ｈ.２６４／２６５等のＣＯＤＥＣ回路あるいはソフトウェアで実現される。送信映像については、映像処理部２０Ａから入力された映像に対して符号化処理を行い、その符号化処理により得られた符号化映像をネットワーク処理部８０Ａに転送する。受信映像については、相手局（第２の端末装置２００Ｂ）より転送されてくる符号化映像をネットワーク処理部８０Ａ経由で取り込んで、その符号化映像を復号処理して、映像出力処理部４０Ａに転送する。
【００２７】
映像出力処理部４０Ａは、映像ＣＯＤＥＣ部３０Ａで複号化された受信映像、あるいは自局の映像をモニター（ディスプレイ）に表示する制御を行う。複数拠点の映像を映す場合のレイアウトについても、操作部１００Ａから送られてくるレイアウト設定情報に従って、モニターに表示する映像のレンダリング処理を行う。
【００２８】
マイクアレイ５０Ａは、会議発話者の音声をマイクで集音し、デジタルデータに変換（Ａ／Ｄ変換）して音声処理部７０Ａへ転送する。なお、端末装置２００に話者追従機能が搭載されている場合は、話者の方向を特定するために、複数のマイクをアレイ形式にして集音する形態をとることもある。
【００２９】
音声出力部６０Ａは、他拠点から送られてきた音声データをアナログ信号に変換（Ｄ／Ａ変換）して、スピーカーに出力する。
【００３０】
音声処理部７０Ａは、受信データについては、ネットワーク処理部８０Ａを介して入力された他拠点からの音声データを取り込み、コーデック処理、ノイズキャンセル（ＮＣ）処理等、音声データ処理では一般的とされている処理を行う。そして、処理済みのデータを音声出力部６０Ａに転送する。同時に、音声出力部６０Ａに転送される音声データを把握しながら、マイクアレイ５０Ａに回り込んで入力される上記音声データに対してエコーキャンセル（ＥＣ）処理を行う。
【００３１】
また、音声処理部７０Ａは、送信データについては、マイクアレイ５０Ａから転送されてくる音声データについて、コーデック処理、エコーキャンセル（ＥＣ）等、音声データ処理では一般的とされている処理を行う。そして、処理済みのデータを送信映像と同期化しながら、ネットワーク処理部８０Ａに転送する。
【００３２】
ネットワーク処理部８０Ａは、送信映像については、映像ＣＯＤＥＣ部３０Ａから転送されてきた符号化映像を、ネットワーク４００を介して送信先の第２の端末装置２００Ｂへ転送する。受信映像については、相手局（第２の端末装置２００Ｂ）より転送されてくる符号化映像を、ネットワーク４００を介して取り込んで、その符号化映像を映像ＣＯＤＥＣ部３０Ａへ転送する。
【００３３】
また、この例では、ネットワーク処理部８０Ａは、符号化に関するパラメータ（ＱＰ値等）を決めるために、ネットワーク４００の帯域をモニターする機能も有している。また、符号化に関するパラメータや送信モードの設定を最適化するために、相手局の機能や性能に関する情報を入力する機能も有している。
【００３４】
全体制御部９０Ａは、第１の端末装置２００Ａ全体のシステム制御を司り、オペレータの指示に従って各モジュールまたはブロックのモード設定やステータス管理を行う。一般に、ユーザーＩ／Ｆやプロセッサとそのプログラム等から、また場合によっては他の各モジュールがシェアできるシステムメモリ（ＲＡＭ)が含まれ、その使用権やシステム（共通）バスのアクセス権限の調停機能等、から構成される。図１の例では、全体制御部９０Ａは、ＣＰＵ９１と、ＲＯＭ９２と、ＲＡＭ９３と、ＨＤＤ９４と、を少なくとも含む。この例では、ＣＰＵ９１が、ＲＯＭ９２やＨＤＤ９４に格納された各種のプログラムをＲＡＭ９３上で実行することにより、第１の端末装置２００Ａの動作を統括的に制御する。本実施形態に関する制御機能としては、パン／チルト（ＰａｎＴｉｌｔ）操作に伴う抜き取りエリア（切り出しエリア）の座標情報をＤＰＴＺ制御部１３０Ａに知らせることなどが挙げられる。パン／チルト操作指示（ＰａｎＴｉｌｔ要求）は、自局のオペレート処理による操作部１００Ａからのコマンドのみとは限らない。相手局（送信先）からネットワーク経由でＰａｎＴｉｌｔ操作に関するコマンドを受信する場合もある。
【００３５】
操作部１００Ａは、オペレータはモニターに表示された映像を見ながら、ここでＰａｎＴｉｌｔ操作を行う。ＰａｎＴｉｌｔの方向等の指示は全体制御部９０Ａに一旦送られて、全体制御部９０Ａが関係する他のモジュールの状態（ステータス）を監視しながら、各モジュールにその時の最適な設定やコマンドを発行する。その他、操作部１００Ａで各種の設定や会議参加者の呼び出し、等のオペレーション操作が行われる。
【００３６】
ＲＡＭ１１０Ａは、映像処理部２０Ａと連動して動くバッファーである。ＲＡＭ１１５Ａは、映像処理部２０Ａ、ＤＰＴＺ制御部１３０Ａと連動して動くパラメータ（映像処理用のパラメータ、ＡＦＦＩＮＥ変換用のパラメータを含むパラメータセット）を格納するためのバッファーである。ＲＡＭ１１５Ａは、ＤＰＴＺ制御部１３０Ａによるクロッピング（Ｃｒｏｐｐｉｎｇ）で切り出されるエリア（Ｃｒｏｐｐｉｎｇエリア）ごとに紐付けたパラメータセットを保持する。ここでは、ＲＡＭ１１５Ａは「記憶部」の一例であり、撮像部（カメラ１０Ａ）による撮像で生成された映像データに含まれる複数の表示領域（Ｃｒｏｐｐｉｎｇエリア）ごとに、映像処理用のパラメータを少なくとも紐付けたパラメータ情報を記憶する。パラメータ情報は、複数のＣｒｏｐｐｉｎｇエリアごとに、パラメータセット（この例では、映像処理用のパラメータの他、ＡＦＦＩＮＥ変換用のパラメータも含む）を紐付けた情報である。
【００３７】
本実施形態では、ＲＡＭ１１５Ａに格納された複数のパラメータセットのうち、ＤＰＴＺ制御部１３０Ａから送られてくる映像のＣｒｏｐｐｉｎｇエリアに紐付くパラメータセットが選択されることになる。なお、ＲＡＭ１１０ＡとＲＡＭ１１５Ａは一体に構成されてもよい。Ｃｒｏｐｐｉｎｇエリアをどの程度の粒度で刻むかで必要なＲＡＭの容量が決まり、システム性能的にメモリ転送に求められる帯域等の条件で、一体で構成した方がよいか、別々に独立させて構成した方がよいかが決まってくる。
【００３８】
録画装置１２０Ａは、音声処理部７０Ａ、映像出力処理部４０Ａから会議中の音声データと映像を吸い上げて、ローカルに会議シーンを録画記録する。再生時は、音声処理部７０Ａ、映像出力処理部４０Ａに録画データを出力して端末上で会議シーンを再生することができる。
【００３９】
シーンチェンジ検知部１４０Ａは、検知部１４１Ａと更新部１４２Ａとを含む。検知部１４１Ａは撮像環境の変化を検知する。この例では、検知部１４１Ａは、カメラ１０Ａと連動して、カメラ１０Ａの設置場所の環境変化を監視する。一例としては、検知部１４１Ａは、映像データの変化の度合いから撮像環境の変化を検知することもできる。例えば検知部１４１Ａは、カメラ１０Ａから連続的に入力される映像データ（全体画像データ）について、毎フレームごとにヒストグラム（輝度値の分布）を作成し、ヒストグラムの変化度合いからシーンチェンジを判断してもよい。見方を変えれば、検知部１４１Ａは、所定値以上の変化度合いを示す撮像環境の変化を検知していると捉えることもできる。
【００４０】
更新部１４２Ａは、検知部１４１Ａにより撮像環境の変化が検知された場合、その変化に応じてパラメータ情報（複数のＣｒｏｐｐｉｎｇエリアごとにパラメータセットを紐付けた情報）を更新する。ここでは、更新部１４２Ａは、検知部１４１Ａにより撮像環境の変化が検知されたときの映像データから、映像処理用のパラメータの最適値をＣｒｏｐｐｉｎｇエリア（表示領域）ごとに算出し、その算出した値に更新する。映像処理用のパラメータは露出制御のためのパラメータを含み、少なくとも露光時間を含む。このようにして、ＲＡＭ１１５Ａに格納されたパラメータ情報は、環境変化に合わせた最適な値に更新されていく（各Ｃｒｏｐｐｉｎｇエリアに紐付くパラメータが更新されていく）。
【００４１】
本実施形態のように、シーンチェンジ検知部１４０Ａにも映像処理部２０Ａと同等のＲＡＷデータを転送できるようにしておくことで、カメラ１０Ａから転送されたＲＡＷデータに対して、ベイヤー変換、３Ａ制御、等のカメラ映像処理で既知となっている実映像データによるフィードバック処理を加えることができる。ただし、ここでの目的は表示映像を生成することではなく、ＲＡＭ１１５Ａに格納された各Ｃｒｏｐｐｉｎｇエリアに紐付くパラメータセットを現状の環境に合わせて随時に更新していくことである。これにより、実際にＰａｎＴｉｌｔ操作が開始された時に、Ｃｒｏｐｐｉｎｇエリアごとに更新済み（フィードバック処理済み）のパラメータがＲＡＭ１１５Ａにセットされているので、映像処理部２０Ａは最初から最適値に近いパラメータを取得できる。すなわち、最適映像に仕上げるためのフィードバック処理による遅延は起こらない、あるいは著しく遅延を低減できる。
【００４２】
本実施形態では、シーンチェンジ検知部１４０Ａは専用のハードウェア回路（半導体集積回路等）で構成されているが、これに限らず、例えばソフトウェア的に実現されてもよい。例えばＣＰＵ９１がプログラムを実行することにより、シーンチェンジ検知部１４０Ａの機能（検知部１４１Ａおよび更新部１４２Ａの各々の機能）が実現される形態であってもよい。
【００４３】
次に、図２および図３を参照しながら、ＰａｎＴｉｌｔ操作時の映像処理用のパラメータ（露出制御のためのパラメータ（露光時間等）を含む）を遅延無しで最適化する場合の動作例を説明する。
【００４４】
図２の外枠は撮像部１２により生成される映像データの全ての画素を有効にした場合のエリア（映像データ全体のエリア）を示し、グレーで示された部分は実際の表示エリアとして切り出されるエリア（Ｃｒｏｐｐｉｎｇエリア）を示す。ＤＰＴＺの場合、超広角のレンズと高解像度センサを搭載し、表示エリアを任意に選択（Ｃｒｏｐｐｉｎｇ）することで、見た目上のパン／チルト操作を実現する。Ｃｒｏｐｐｉｎｇエリアの刻み方粒度やエリアの大きさについては特に制約を設ける必要はないが、映像処理部２０Ａの処理能力やシステム内の記憶装置容量（ＲＡＭ１１５Ａの容量）との兼ね合いで決めればよい。
【００４５】
Ｃｒｏｐｐｉｎｇエリアごとに、被写体との距離や方向（超広角レンズであるため）は異なってくるので、撮像部１２への設定値（露光時間など）を含む映像処理用のパラメータは異なってくる。また、超広角レンズで撮像されている映像なので、幾何学的補正値（ＡＦＦＩＮＥ変換用のパラメータ）もエリア毎に異なる。以上の映像処理用のパラメータ及びＡＦＦＩＮＥ変換用のパラメータはセットにされ、Ｃｒｏｐｐｉｎｇエリアごとに個別の最適値が紐付けられてＲＡＭ１１５Ａにセットされる。
【００４６】
図３の例では、ＤＰＴＺ制御部１３０Ａ内で撮像部１２から転送された映像データ（ＲＡＷデータ）はＣｒｏｐｐｉｎｇされ、切り出された映像が映像処理部２０Ａに入力される。映像処理部２０Ａは、次はどのＣｒｏｐｐｉｎｇエリアが入力されるのかを事前に把握しておく必要があり、その情報はネットワーク処理部８０Ａや全体制御部９０Ａから取得する。
【００４７】
映像処理部２０Ａは、次に入力されるＣｒｏｐｐｉｎｇエリアの情報（Ｃｒｏｐｐｉｎｇエリアの座標情報等）を、ネットワーク処理部８０Ａあるいは全体制御部９０Ａから入手して、それに紐付けされたパラメータセット（映像処理用のパラメータ及びＡＦＦＩＮＥ変換用のパラメータ）をＲＡＭ１１５Ａからロードする。そして、映像処理部２０Ａは、そのロードしたパラメータセットに従って、撮像部１２の設定を行う。同時にＤＰＴＺ制御部１３０Ａに対して、次のＣｒｏｐｐｉｎｇエリアの情報（Ｃｒｏｐｐｉｎｇエリアの座標情報等）も転送する。
【００４８】
上記設定によって、撮像部１２により生成されたＲＡＷデータ（映像データ全体）のうち、ＤＰＴＺ制御部１３０Ａにより切り出されたＲＡＷデータ（Ｃｒｏｐｐｉｎｇエリアのデータ）が映像処理部２０Ａに転送される。映像処理部２０Ａ（映像処理部２０Ａ内のＩＳＰ）がそのデータに対して所定の映像処理を加えることで表示可能なＹＵＶデータを得ることができるが、その映像はレンズ中央の映像とは限らない。そこで、ＡＦＦＩＮＥ変換を行うことでレンズ特性歪を除去してから、次の処理ユニットである映像ＣＯＤＥＣ部３０Ａへ転送する。
【００４９】
また、映像処理部２０Ａは露出制御等のフィードバック処理も同時に行う。ＲＡＭ１１５Ａに設定されていたパラメータが最適ではないと判断した場合は、パラメータの書き換え／更新を行ってもよい。
【００５０】
図４は、本実施形態のテレビ会議システム１の動作例を示すフローチャートである。図４に示すように、まず全体制御部９０Ａは、システム起動時に各モジュールの初期設定を行い（ステップＳ１）、カメラ１０Ａでの撮像が可能な状態にする。次に、全体制御部９０Ａは、会議環境に合わせて測光条件等のカメラ撮像モードの設定（初期化）を行う（ステップＳ２）。この時点では、ＲＡＭ１１５Ａに格納される映像処理用のパラメータはデフォルト値に設定される。なお、ＡＦＦＩＮＥ変換用のパラメータはレンズ１１の特性で決まる固定値であるため、予め全体制御部９０Ａ内のＨＤＤ９４に格納しておく。ここでは、ＨＤＤ９４に格納済みのパラメータ（ＡＦＦＩＮＥ変換用のパラメータ）をＲＡＭ１１５Ａにコピーすればよい。以降はオペレータのマニュアル設定に合わせてカメラ１０Ａの撮像モードを設定する。また、上述のステップＳ１および上述のステップＳ２の後は、会議の開始を待つ状態となる。
【００５１】
上述のステップＳ１および上述のステップＳ２の後、つまり本体の準備が整った時点で、全体制御部９０Ａは、接続先に通信開始を要求して会議を開始するための制御を行う（ステップＳ３）。あるいは、相手局からの通信要求を受けて会議を開始するための制御を行う。なお、録画をする場合は、この時点で録画装置１２０Ａを起動してもよい。
【００５２】
そして、カメラ１０Ａによる撮像（通常の撮像）が開始される（ステップＳ４）。全体制御部９０Ａは、操作部１００Ａまたはネットワーク処理部８０Ａを経由して相手拠点からＰａｎＴｉｌｔ要求を受け付けた場合、それに従ってＣｒｏｐｐｉｎｇエリアを変えていく。すなわち見かけ上のＰａｎＴｉｌｔ操作である。なお、ＣｒｏｐｐｉｎｇエリアはＰａｎＴｉｌｔのようにシームレスに変更させる場合もあれば、音声処理部７０Ａと連動した話者追従操作により、それまでと全く異なる方向の映像を取得するためにＣｒｏｐｐｉｎｇエリアが大きく変わる（近傍ではない連続性のない変化）場合もある。
【００５３】
ＲＡＭ１１５Ａに格納されたパラメータに従って撮像部１２の設定が行われるが、そのように設定された撮像部１２の撮像で生成されたＲＡＷデータに対しても露出制御等のフィードバック制御を行う。映像処理部２０Ａは、カメラ１０ＡからＤＰＴＺ制御部１３０Ａ経由で入力されたＲＡＷデータ（ＣｒｏｐｐｉｎｇエリアのＲＡＷデータ）から、露出制御のためのパラメータ（典型的には露光時間）を算出し、その算出した値と、ＲＡＭ１１５Ａに格納されたパラメータとを比較することで、ＲＡＭ１１５Ａ上のパラメータが不適切であるか否かを判断する（ステップＳ５）。両者の値が異なっている場合は不適切であると判断できる。
【００５４】
ステップＳ５の結果が否定の場合（ステップＳ５：Ｎｏ）、処理はステップＳ４に戻る。また、ステップＳ５の結果が肯定の場合（ステップＳ５：Ｙｅｓ）、映像処理部２０Ａは、現在の表示エリアであるＣｒｏｐｐｉｎｇエリアに紐付く露出制御のためのパラメータ（露光時間を含む）を、ＲＡＷデータから算出した値に更新する（ステップＳ６）。以後は、ステップＳ４以降の処理が繰り返される。
【００５５】
また、この例では、上述のステップＳ１および上述のステップＳ２の後、ステップＳ５１およびステップＳ５２の処理が裏処理的に繰り返し実行される。ステップＳ５１において、検知部１４１Ａは、カメラ１０Ａから連続的に入力されるＲＡＷデータ（全体の映像データ）に基づき、撮像環境の変化の有無を検知する。検知方法については上述したとおりである。
【００５６】
検知部１４１Ａにより撮像環境の変化が検知された場合（ステップＳ５１：Ｙｅｓ）、更新部１４２Ａは、そのときのＲＡＷデータから、複数のＣｒｏｐｐｉｎｇエリアごとの露出制御のためのパラメータ（露光時間を含む）を算出し、ＲＡＭ１１５Ａにおいて各Ｃｒｏｐｐｉｎｇエリアに紐付く露出制御のためのパラメータを該算出した値に更新する（ステップＳ５２）。
【００５７】
以上においては、更新対象のパラメータとして露出制御のためのパラメータに焦点を当てて説明したが、更新対象のパラメータはこれに限られるものではなく、カメラ制御および映像処理に関する他のパラメータを対象として、上記と同様の手順で更新することもできる。
【００５８】
以上に説明したように、本実施形態では、会議開始後は常に撮像環境の変化の有無を検知し、撮像環境の変化を検知した場合は、その変化に応じて、全てのＣｒｏｐｐｉｎｇエリアに紐付く映像処理用のパラメータを同時に更新する処理を裏処理的に実行する。これにより、会議の途中で撮像環境が変化しても、現在のシーンに最適な映像を遅延なく得ることができる。
【００５９】
以上、本発明に係る実施形態について説明したが、本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【００６０】
また、上述した実施形態のテレビ会議システム１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【符号の説明】
【００６１】
１      テレビ会議システム
１０    カメラ
２０    映像処理部
３０    映像ＣＯＤＥＣ部
４０    映像出力処理部
５０    マイクアレイ
６０    音声出力部
７０    音声処理部
８０    ネットワーク処理部
９０    全体制御部
１００  操作部
１１０  ＲＡＭ
１１５  ＲＡＭ
１２０  録画装置
１３０  ＤＰＴＺ制御部
１４０  シーンチェンジ検知部
２００  端末装置
３００  サーバ
４００  ネットワーク
【先行技術文献】
【特許文献】
【００６２】
【特許文献１】特開２００４−１２９００２号公報
【図１】
2018152799.tif 000003
【図２】
2018152799.tif 000004
【図３】
2018152799.tif 000005
【図４】
2018152799.tif 000006