(57)【特許請求の範囲】
【請求項１】
撮像部と、
前記撮像部から取得した映像データを解析して、前記映像データの全エリアでの最適な露光条件を算出して前記撮像部に設定するとともに、前記最適な露光条件で撮像された最適映像データを出力する信号処理部と、を備えた撮像装置であって、
前記最適映像データの一部のエリアからエリア映像データを切り出して出力する一部切出手段と、
前記エリア映像データに基づいて、最適なエリア露光条件を算出する露光条件算出手段と、
記憶手段と、
前記信号処理部から取得した前記最適映像データを複数の映像ブロックに分割して、前記映像ブロック毎に最適なブロック露光条件を算出して、前記記憶手段に記憶するブロック測光演算手段と、
パン操作又はチルト操作の入力があるか否かを判断する操作判断手段と、を備え、
前記露光条件算出手段は、前記エリア露光条件を前記撮像部、及び前記信号処理部に設定し、
前記パン操作又は前記チルト操作の入力がある場合に、前記ブロック測光演算手段は、前記記憶手段から取得した前記一部のエリアに相当する映像ブロック毎の最適なブロック露光条件に基づいて、前記一部のエリアに係る最適なエリア露光条件を算出して、前記撮像部、及び前記信号処理部に設定することを特徴とする撮像装置。
【請求項２】
前記ブロック測光演算手段は、
前記一部のエリアに相当する映像ブロック毎の最適なブロック露光条件について加重平均値を算出することにより最適なエリア露光条件を算出することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記ブロック測光演算手段は、
前記一部のエリアを含む映像ブロックが１つのみである場合には、当該映像ブロックについての最適なブロック露光条件を出力することを特徴とする請求項２記載の撮像装置。
【請求項４】
請求項１乃至３の何れか１つ記載の撮像装置と、
前記一部切出手段により切り出されたエリア映像データに基づいて、必要とするサイズの拡大映像データを生成する拡大処理部と、
前記拡大映像データをネットワークを介して相手側の映像受信装置に送信する送信手段と、を備えることを特徴とする映像送信装置。
【請求項５】
請求項４記載の映像送信装置と、
前記映像送信装置から前記拡大映像データを受信して表示する映像受信装置と、を備えることを特徴とする映像送受信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全体映像から抜き取った一部のエリアの映像の画質を向上するのに好適な露出制御技術に関する。
【背景技術】
【０００２】
従来の撮像装置の一例として、ネットワークカメラが知られている。
このネットワークカメラは、ＴＶ会議システムや監視システム等に用いられ、撮影対象や背景全体の全体映像を全域に渡って撮影するために、通常、パン／チルト／ズーム機能が搭載されている。パン／チルト機能については、カメラレンズの光軸方向を上下左右方向に変更する駆動機構を搭載し、ズーム機能については光学的機構において倍率を変更するように構成するのが一般的であった。
昨今、イメージセンサの高解像度化、デジタル信号処理（ＤＳＰ）技術の進歩が著しい。最近のネットワークカメラにあっても、パン／チルト機能については光学的機構ではなく、広角レンズを用いて撮影した全体映像データに対して、スクロールして一部エリアを抜き取っておき、デジタル処理を行うことで、見かけ上のパン／チルト機能を実現している。またズーム機能も光学的機構ではなく、デジタル処理することで実現する処理技術が既に知られている。
ＴＶ会議システム等に用いるネットワークカメラについての信号処理技術では、広角レンズを用いて撮影した全体映像に対して最適な露出制御を行っておき、全体映像から必要な一部分の映像データを抜き取り、所定のデジタルズーム処理を施して拡大することで、デジタルパン／チルト／ズーム機能を実現できている。
特許文献１には、画面内の人物の位置／範囲に拘わらず、対象となる人物を適正露光とすることが可能な撮像装置が開示されている。
一般的には、全体映像に対して、パン／チルト操作によりスクロールして一部エリアの映像を抜き取った場合、一部エリアの映像だけが実際にモニタに映し出されるため、その映像が暗すぎる場合や、明るすぎる場合があり、一部エリアの映像レベルには偏りが生じているので、一部エリアの映像によっては目視確認時に違和感が生じる。この原因は、広角レンズを用いて撮影した全体映像に対してのみ最適な露出制御を行っていることに起因している。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、全体映像から抜き取った一部のエリア映像の画質を向上させることにある。
【課題を解決するための手段】
【０００４】
請求項１記載の発明は、上記課題を解決するため、撮像部と、前記撮像部から取得した映像データを解析して、前記映像データの全エリアでの最適な露光条件を算出して前記撮像部に設定するとともに、前記最適な露光条件で撮像された最適映像データを出力する信号処理部と、を備えた撮像装置であって、前記最適映像データの一部のエリアからエリア映像データを切り出して出力する一部切出手段と、前記エリア映像データに基づいて、最適なエリア露光条件を算出する露光条件算出手段と、記憶手段と、前記信号処理部から取得した前記最適映像データを複数の映像ブロックに分割して、前記映像ブロック毎に最適なブロック露光条件を算出して、前記記憶手段に記憶するブロック測光演算手段と、パン操作又はチルト操作の入力があるか否かを判断する操作判断手段と、を備え、前記露光条件算出手段は、前記エリア露光条件を前記撮像部、及び前記信号処理部に設定し、前記パン操作又は前記チルト操作の入力がある場合に、前記ブロック測光演算手段は、前記記憶手段から取得した前記一部のエリアに相当する映像ブロック毎の最適なブロック露光条件に基づいて、前記一部のエリアに係る最適なエリア露光条件を算出して、前記撮像部、及び前記信号処理部に設定することを特徴とする。
【発明の効果】
【０００５】
本発明によれば、全体映像から抜き取った一部のエリア映像の画質を向上させることができる。
【図面の簡単な説明】
【０００６】
【図１】本発明の実施形態に係る映像送受信システムの一例であるＴＶ会議システムの構成を示す図である。
【図２】図１に示すカメラ及びＰＴＺ制御部の構成を示すブロック図である。
【図３】（ａ）〜（ｃ）は、撮像部により撮影可能な映像データの全体エリアを複数のブロックに分割したことを示す図である。
【図４】本発明の実施形態に係るＴＶ会議システムに用いる全体制御部によるカメラ映像の取り込み動作を示したフローチャートである。
【発明を実施するための形態】
【０００７】
以下、本発明を図面に示した実施の形態により詳細に説明する。
本発明は、全体映像から抜き取った一部のエリア映像の画質を向上させるために、以下の構成を有する。
すなわち、本発明の撮像装置は、撮像部と、撮像部から取得した映像データを解析して、映像データの全エリアでの最適な露光条件を算出して撮像部に設定するとともに、最適な露光条件で撮像された最適映像データを出力する信号処理部と、を備えた撮像装置であって、最適映像データの一部のエリアからエリア映像データを切り出して出力する一部切出手段と、エリア映像データに基づいて、最適なエリア露光条件を算出する露光条件算出手段と、を備え、露光条件算出手段は、エリア露光条件を撮像部、及び信号処理部に設定することを特徴とする。
以上の構成を備えることにより、全体映像から抜き取った一部のエリア映像に対して最適な露光条件を設定することで、全体映像から抜き取った一部のエリア映像の画質を向上させることができる。
上記の本発明の特徴に関して、以下、図面を用いて詳細に説明する。
【０００８】
図１は、本発明の実施形態に係る映像送受信システムの一例であるＴＶ会議システムの構成を示す図である。図１においては、ＴＶ会議システムのうち、特に映像データに関する部分のみを記載している。
ＴＶ会議システム１は、第一の拠点に設置されたカメラ部１０Ａ、ディスプレイ１２Ａ、端末装置１４Ａ、マイク２６Ａ、操作部２９Ａ、パン／チルト／ズーム制御部（以下、ＰＴＺ制御部という）５０Ａ、を備えている。
第二の拠点にも第一の拠点に設置された装置と同様の装置が備えられている。
端末装置１４Ａと端末装置１４Ｂとの間には、夫々に取得された映像及び音声を中継するためのサーバ３０を備えており、端末装置１４Ａ、端末装置１４Ｂ、及びサーバ３０は、インターネットやイントラネット等のネットワーク４０を介して接続されている。
【０００９】
なお、図１においては、第一の拠点を送信側、第二の拠点を受信側として説明するが、実際には、各拠点に設置された夫々の装置は同一の構成を有しており、ともにＴＶ会議に用いられる情報の送受信が可能である。
以下、例えば第一の拠点にはカメラ部１０Ａが配置され、第二の拠点にはカメラ部１０Ｂが配置されているが、本実施形態における説明を簡略化するため「カメラ部１０」として説明することとする。
端末装置１４は、画処理部１５、エンコーダ部１６、ＮＷ（ネットワーク）処理部１７、デコーダ１８、ネットワーク状態検知部２０、相手局デコード機能判別部２２、音声判別部２４を備えている。
【００１０】
画処理部１５は、ＰＴＺ制御部５０の内部において映像データから抜き取った（切り出した）エリアの映像データに基づいて、受信側が必要とするサイズの拡大映像データを生成する拡大処理を行い、処理後の映像データをエンコーダ部１６に出力する。なお、画処理部１５は、ローカルモードにおいて、自局の必要とするサイズの拡大映像データを生成してモニタ９に出力してもよい。
エンコーダ部１６は、ネットワーク状態検知部２０と相手局デコード機能判別部２２と音声判別部２４からの情報に基づいて、符号化レベルや送信モードを決定する。次いで、エンコーダ部１６は、画処理部１５から入力された映像に対して符号化処理を行い、その符号データをＮＷ処理部１７に転送する。
【００１１】
ＮＷ処理部１７は、エンコーダ部１６から転送されてきた映像符号化データを、例えばインターネットまたはＬＡＮ（Local Area Network）等のネットワーク４０を介して、送信先の端末装置１４に転送する。
デコーダ１８は、相手局から受信した符号データに含まれる画像信号と音声信号を復号し、モニタ９（スピーカを含む）に出力する。
ネットワーク状態検知部２０は、ネットワーク４０のネットワーク状態を検知し、検知状況に応じてエンコーダ部１６の符号化レベルを制御する。
相手局デコード機能判別部２２は、通信プロトコルに従って相手局から受信したデコード能力を表すデコード能力情報に基づいて、相手局のデコード機能を判別し、相手局のデコード機能をエンコーダ部１６に出力する。
【００１２】
音声判別部２４は、マイク３から入力される音声信号のレベル判別を行い一定レベル以上の音声信号をエンコーダ部１６に出力する。
操作部２９は、例えば、左ボタン（←）２９Ｌ、右ボタン（→）２９Ｒ、上ボタン（↑）２９Ｕ、下ボタン（↓）２９Ｄを備え、各ボタンに対して行われた押下操作をパン／チルト方向指示として全体制御部２８に出力する。また、操作部２９は、スライドボリューム２９Ｚを備え、このスライドボリュームに対して行われたスライド操作による抵抗値の変化量をズーム倍率指示として全体制御部２８に出力する。さらに、操作部２９は、モード設定に関連したボタン等を備えている。
【００１３】
全体制御部２８は、ＣＰＵ、ＲＯＭ、ＲＡＭ、タイマ、ユーザＩ／Ｆを有し、オペレータの操作により操作部２９から入力される指示に従って各モジュールまたはブロックのモード設定やステータス管理を行う。全体制御部２８は、ＲＯＭからオペレーティングシステムＯＳを読み出してＲＡＭ上に展開してＯＳを起動し、ＯＳ管理下において、ＲＯＭからプログラム（処理モジュール）を読み出し、各種処理を実行する。
全体制御部２８は、操作部２９から入力されたパン／チルト操作に伴う抜き取り（切り出し）エリアの座標情報を撮像エリア抜き取り部５１及び第１抜取エリア露出制御部５４に通知する。
なお、パン／チルト方向指示は、ローカルモード時の自局のオペレート処理（操作部２９）によるものとは別に、例えば、相手局（送信先）からネットワーク４０を経由してパン／チルト操作に係るＰＴ方向指示を受信する場合もある。
【００１４】
図２は、図１に示すカメラ部１０及びＰＴＺ制御部５０の構成を示すブロック図である。
カメラ部１０は、広角レンズ１１、撮像部１２、ＤＳＰ部１３を備えている。
広角レンズ１１は、例えば２４ｍｍ〜３５ｍｍ相当の焦点距離のレンズであり、撮影対象や背景全体の全体映像を全域に渡って広角に撮影するためのレンズである。広角レンズ１１は、画面の中心からの距離と角度が比例する等距離射影方式を採用した魚眼レンズであってもよい。広角レンズ１１は、外部から入射する光を透過して結像面に光像を結像する。
【００１５】
撮像部１２は、イメージセンサを備え、広角レンズ１１を透過した光を受光して結像面に結像（集光）された映像を電気信号に変換する。撮像部１２は、ＤＳＰ部１３又はＰＴＺ制御部５０から設定される測光条件（露光条件）に含まれる露光時間によりイメージセンサの露光量を調整する。撮像部１２は、イメージセンサに対して、露光時間の期間に光電変換された電荷を画素に蓄積させ、転送時間の期間に画素に蓄積された電荷を転送させるようにタイミング制御を行うように構成されている。このように、イメージセンサでは露光時間の期間に光電変換された電荷を画素に蓄積させるため、露光時間が短くなるほど画素に蓄積される電荷量が低下するので、その条件下では映像レベルが低下する傾向がある。一方、露光時間が長くなるほど画素に蓄積される電荷量が増大するので、その条件下では映像レベルが増大する傾向がある。
なお、撮像部１２は、映像に係る電気信号に対してＡ／Ｄ変換を施すことで画像データを生成してもよい。
また、イメージセンサには、イメージセンサの各画像からシフト出力される電気信号を増幅するアンプ回路を備えているので、このアンプ回路のゲイン値を測光条件（露光条件）として設定してもよい。
【００１６】
ＤＳＰ部１３は、撮像部１２から取得した画像データに対してシェーディング処理、ベイヤー変換処理等のカメラにおいて一般的に周知された信号処理を行う。ＤＳＰ部１３は、撮像部１２から取得した電気信号に対してＡ／Ｄ変換を施すことで画像データを生成してもよい。
ＤＳＰ部１３は、映像データの輝度レベルに基づいて露出評価値を生成し、露出評価値に基づいて現在のシーンでの最適測光条件となる露光時間を判断（露出制御）し、この測光条件に含まれる露光時間を撮像部１２に設定する。ただし、この時点では撮像部１２で生成する映像全体にとって最適と判断した測光条件が設定される。ＤＳＰ部１３は、生成した露出評価値に基づいて最適測光条件を判断（露出制御）し、ＤＳＰ部１３内部で行われる各種処理におけるダイナミックレベルを縮小又は拡大するように構成することで露出制御を行ってもよい。
ＤＳＰ部１３は、ＰＴＺ制御部５０から設定される測光条件により上記信号処理における露光量を調節する。
【００１７】
図２に示すＰＴＺ制御部５０は、撮像エリア抜き取り部５１、ブロック測光演算部５２、シーンチェンジ検出部５３、第１抜取エリア露出制御部５４、第２抜取エリア露出制御部５５、データスイッチ５６を備えている。なお、ＰＴＺ制御部５０に備えられている各部はソフトウエアモジュールであってもよく、この場合、ＰＴＺ制御部５０はＲＯＭ、ＲＡＭ、ＣＰＵから構成されていればよい。また、ＰＴＺ制御部５０は、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）や画像処理プロセッサを用いて、集積回路もしくはプログラムにより実現されていてもよい。
シーンチェンジ検出部５３は、例えばカメラ部１０から入力される全体画像データについて、フレーム毎にヒストグラムを作成し、ヒストグラムの変化度合に基づいて、今まで撮影されていた全体映像のシーンが別のシーンにシーンチェンジがあるか否かを判断する。
【００１８】
撮像エリア抜き取り部５１は、全体制御部２８からのパン／チルト方向指示（コマンド）に従って、全体映像に対して画像の抜き取り（切り出し）エリアをスクロールさせながら、カメラ部１０からの映像データに対してフレーム毎にエリア抜き取り処理を行い、抜き取った一部のエリアの映像データを画処理部１５及び第１抜取エリア露出制御部５４に出力する。
撮像エリア抜き取り部５１では、エリア抜き取り処理を行うため、実質的にデジタル的なパン／チルト機能を実現する。なお、抜き取るエリアの大きさについては、全体制御部２８からのズーム倍率指示や相手端末に転送する映像データの解像度に依存して決まるものであり、固定されるものではない。
【００１９】
第１抜取エリア露出制御部５４（露光条件算出手段）は、パン／チルト操作による表示エリアがスクロール中ではなく、抜き取りエリアが固定されている場合に、撮像エリア抜き取り部５１から入力されるエリア映像データの輝度レベルの平均値に基づいて最適な露出評価値を算出し、露出評価値に基づいて露光時間を含む測光条件を生成する。第１抜取エリア露出制御部５４は、この最適な測光条件（露光条件）をデータスイッチ５６を介して、撮像部１２及びＤＳＰ部１３に設定することでフィードバックする。この際、第１抜取エリア露出制御部５４は、カメラ部１０から出力された全体映像の中の一部エリアについての映像データをモニタしながら測光条件を求めていくので、測光条件をフィードバックするまでに数フレーム分の遅延が発生する。第１抜取エリア露出制御部５４は、撮像部１２及びＤＳＰ部１３に時間的に遅れてくる後続フレームの測光条件をフィードバックすることになるが、抜き取りエリアが固定されているので、撮影条件が安定しており、多少のリアルタイム性は犠牲にしてもよい。
【００２０】
ブロック測光演算部５２は、ＤＳＰ部１３から全体画像についての最適映像データを取得している。ブロック測光演算部５２は、全体映像データの各映像ブロックを全て解析して、映像ブロック毎に映像データの輝度レベルの平均値に基づいて最適な露出評価値を算出し、露出評価値に基づいて露光時間を含む測光条件を生成し、最適なブロック露光条件としてメモリ部５２ａに記憶する。ブロック測光演算部５２は、メモリ部５２ａから読み出した一部のエリアに相当する映像ブロック毎の露光条件について加重平均値を算出することにより一部エリアに係る最適なエリア露光条件を算出する。ブロック測光演算部５２は、一部のエリアを含む映像ブロックが１つのみである場合には、当該映像ブロックについての最適な露光条件を出力する。
なお、ブロック測光演算部５２は、ブロック毎の最適な測光条件を継続的に演算するものではなく、時間的に間隔を開けて、定期的に測光条件を割り出してデータを更新する。また、明らかに撮影シーンが変更された場合に、同様の更新処理を行う。
第２抜取エリア露出制御部５５は、パン／チルト操作による表示エリアがスクロール中である場合に、ブロック測光演算部５２から入力される最適測光条件に基づいて、測光条件を制御する。
【００２１】
ここで、一部エリアの輝度レベルに対して、最適な露光時間を求める処理の一例について説明する。
この際、ブロック測光演算部５２、及び第１抜取エリア露出制御部５４は、異なる輝度レベルと異なる露出評価値とを一対一に対応させて記憶した輝度レベル・露出評価値変換テーブル、異なる露出評価値と異なる露出時間とを一対一に対応させて記憶した露出評価値・露出時間変換テーブルを有するＲＯＭを備えるように構成してもよい。
このように構成しておくことで、ブロック測光演算部５２、及び第１抜取エリア露出制御部５４において、求めた輝度レベルをキーとして輝度レベル・露出評価値変換テーブルから露出評価値を検索して求め、求まられた露出評価値をキーとして露出評価値・露出時間変換テーブルから最適な露出時間を検索して求めることができる。
露出評価値・露出時間変換テーブルについては、イメージセンサの受光素子特性に依存しているので、最適な露出時間は個々のイメージセンサに対応して変更するのが好ましい。
【００２２】
データスイッチ５６は、２系統のデータ接続経路のうち一方を有効にするスイッチ回路であり、全体制御部２８により第１状態に設定された場合に、第１抜取エリア露出制御部５４で求めた測光条件をデータスイッチ５６を介して撮像部１２及びＤＳＰ部１３に出力することができる。一方、データスイッチ５６は、全体制御部２８により、第２状態に設定された場合に、第２抜取エリア露出制御部５５で求めた測光条件をデータスイッチ５６を介して撮像部１２及びＤＳＰ部１３に出力することができる。
なお、第２抜取エリア露出制御部５５において、現状の抜き取りエリアに最適な測光条件を求めて、撮像部１２及びＤＳＰ部１３に設定する。これにより、時間的に遅れてくる後続フレームにフィードバックすることができるが、抜き取りエリアが他のエリアへスクロール中である場合には、決して最適な測光条件が反映できない。
このような場合、リアルタイム性を優先するために、ブロック測光演算部５２のメモリ部５２ａから前もって抽出済みの測光条件データを読み出して、ブロック測光演算部５２においてスクロール中のエリアについての最適な測光条件を算出して利用する。
なお、パン／チルト方向指示は、自局のオペレート処理によるものとは別に、例えば、相手局（送信先）からネットワーク４０を経由してパン／チルト操作に係るパン／チルト指示（以下、ＰＴ指示）を受信する場合もある。
【００２３】
図３（ａ）〜（ｃ）は、撮像部１２により撮影可能な映像データの全体映像を複数のブロックに分割したことを示す図である。
図３（ａ）に示すように、ブロック測光演算部５２は、撮像部１２で撮影可能な全体映像７１を例えば３６個のブロック１Ａ〜６Ｆに分割する。
カメラ部１０の設置環境が固定された時点（シーンの移動がない状態）において、ブロック測光演算部５２は、上述したようにブロック１Ａ〜６Ｆに夫々に単独で、ブロック毎に最適測光条件を求める。求めた最適測光条件をブロック毎の映像データとともにメモリ部５２ａに記憶しておく。
なお、ブロック測光演算部５２のメモリ部５２ａに記憶されたデータは定期的に更新する。例えば、周囲の環境が明かに変化したと判断できた場合は、同じ処理をやり直してメモリ部５２ａに記憶されたデータを更新する。
【００２４】
図３（ｂ）に示すように、スクロール中のある時点での抜き取りエリアが、例えばブロック２Ｂ、２Ｃ、２Ｄ、３Ｂ、３Ｃ、３Ｄ、４Ｂ、４Ｃ、４Ｄから構成されたエリア７３であることとする。
スクロール中である場合、ブロック測光演算部５２は、抜き取りエリア７３の面積（画素数）に対する、ブロック毎の面積（画素数）に係る占有率Ｓ２Ｂ〜Ｓ４Ｄを求める。次いで、ブロック毎の面積に係る占有率Ｓ２Ｂ〜Ｓ４Ｄから加重平均に用いるブロック毎の係数ｋ２Ｂ〜ｋ４Ｄ（ｋ２Ｂ＋・・・＋ｋ４Ｄ＝１）を求める。メモリ部５２ａから読み出したブロック毎での最適測光条件を夫々にＡＥ２Ｂ〜ＡＥ４Ｄとし、さらに、抜き取りエリア７３に係る測光条件ＡＥを、
ＡＥ＝ｋ２Ｂ＊ＡＥ２Ｂ＋ｋ２Ｃ＊ＡＥ２Ｃ＋・・・＋ｋ４Ｄ＊ＡＥ４Ｄ
から求め、更に測光条件ＡＥから露光時間ＴＡＥを求め、その結果を抜き取りエリア７３に係る測光条件（露光時間ＴＡＥ）とする。
この測光条件（露光時間ＴＡＥ）は、全体制御部２８による制御に応じて、ブロック測光演算部５２、第２抜取エリア露出制御部５５、データスイッチ５６を経由して撮像部１２及びＤＳＰ部１３の測光条件（露光時間ＴＡＥ）に設定される。
【００２５】
なお、図３（ｃ）に示すように、抜き取りエリア７５と分割ブロック（例えばブロック５Ｅ）のサイズ及び位置とがー致した場合、抜き取りエリアの測光条件（露光時間Ｔ）は、ブロック５Ｅの最適測光条件と一致する。この場合、ブロック測光演算部５２は、メモリ部５２ａから読み出した当該ブロックの最適測光条件を第２抜取エリア露出制御部５５に出力すればよい。
【００２６】
図４は、本発明の実施形態に係るＴＶ会議システムに用いる全体制御部２８によるカメラ映像の取り込み動作を示したフローチャートである。
まず、ステップＳ１では、全体制御部２８は、起動時に各部（各モジュール）に対して初期設定を行い、カメラ部１０をリアルタイム撮影が可能な状態にする。
ステップＳ１でのシステム初期設定を実行することにより、撮像部１２及びＰＴＺ制御部５０に備えられている各部はリアルタイム処理を行う。
【００２７】
次いで、ステップＳ２では、全体制御部２８は、ブロック測光演算部５２に対して、全体映像データを複数のブロックに分割して、ブロック毎の最適な測光条件を算出させる。この制御に応じて、ブロック測光演算部５２は、全体映像データの各映像ブロックを全て解析する。
詳しくは、画像データ（各画素データ（Ｒ、Ｇ、Ｂ））に基づいて、測光の対象となるブロック１Ａ〜６Ｆ毎に輝度データＹ１Ａ〜Ｙ６Ｆを算出する。以下に輝度データの計算式を示す。下記計算式において、Ｒｎ、Ｇｎ、Ｂｎ（ｎは１Ａ〜６Ｆ）は、各ブロック内の各画素データ（Ｒ、Ｇ、Ｂ）の平均値を示している。
Ｙｎ＝０．２９９Ｒｎ＋０．５８７Ｇｎ＋０．１１４Ｂｎ
ここで、各ブロックのみで測光処理を行う場合には、ブロックの輝度データを各々算出し、算出したブロックの輝度データの平均値を輝度データＹｎ（ＡＥ評価値）とする。図３（ａ）に示す例では、ブロック１Ａ〜６Ｆ毎に輝度データの平均値を輝度データＹｎ（ＡＥ評価値）とする。
ブロック測光演算部５２は、映像ブロック毎に映像データの輝度レベルの平均値に基づいて最適な露出評価値を算出し、露出評価値に基づいて露光時間を含む測光条件を生成し、最適なブロック露光条件としてメモリ部５２ａに記憶する。また、ブロック測光演算部５２は、全ブロックについて最適測光条件を割り出して、そのデータを内部のメモリ部５２ａに記憶しておくことで記憶データを更新する。
このように、最適映像データを複数の映像ブロックに分割して、映像ブロック毎に最適なブロック露光条件を算出して記憶しておくことで、映像ブロック毎に最適なブロック露光条件を必要に応じて利用することができる。
【００２８】
次いで、ステップＳ３では、全体制御部２８は、タイマを時間Ｔに設定して０からカウントアップを開始させる。
次いで、ステップＳ４では、全体制御部２８は、スクロール操作として操作部２９からパン／チルト操作に係るＰＴ指示を受け付けたか否かを確認する。ここで、ＰＴ指示がある場合はステップＳ５に進む。一方、ＰＴ指示がない場合はステップＳ７に進む。
【００２９】
ステップＳ５では、全体制御部２８は、スクロール操作としてＰＴ指示がある場合は、抜き取りエリアがスクロール中であると判断して、データスイッチ５６を第２状態に設定する。
この場合、ブロック測光演算部５２は、例えば、抜き取りエリア７３に対する、ブロック毎の面積（画素数）に係る占有率Ｓ２Ｂ〜Ｓ４Ｄを求める。次いで、ブロック毎の面積に係る占有率Ｓ２Ｂ〜Ｓ４Ｄから加重平均に用いるブロック毎の係数ｋ２Ｂ〜ｋ４Ｄ（ｋ２Ｂ＋・・・＋ｋ４Ｄ＝１）を求める。メモリ部５２ａから読み出したブロック毎での最適測光条件を夫々にＡＥ２Ｂ〜ＡＥ４Ｄとし、さらに、抜き取りエリア７３に係る測光条件ＡＥを、
ＡＥ＝ｋ２Ｂ＊ＡＥ２Ｂ＋ｋ２Ｃ＊ＡＥ２Ｃ＋・・・＋ｋ４Ｄ＊ＡＥ４Ｄ
から求め、更に測光条件ＡＥから露光時間ＴＡＥを求め、その結果を抜き取りエリア７３に係る測光条件（露光時間ＴＡＥ）とする。この測光条件（露光時間ＴＡＥ）は、ブロック測光演算部５２から第２抜取エリア露出制御部５５に出力される。
【００３０】
第２抜取エリア露出制御部５５では、ブロック測光演算部５２から入力される最適測光条件に基づいて、測光条件を制御する。
第２抜取エリア露出制御部５５で求めた測光条件をデータスイッチ５６を介して撮像部１２及びＤＳＰ部１３に設定させ、撮像部１２及びＤＳＰ部１３にこの測光条件を用いて撮影させる。
これにより、撮像部１２及びＤＳＰ部１３は、第２抜取エリア露出制御部５５から設定される測光条件（露光条件）に含まれる露光時間によりイメージセンサの全体映像の露光量を調整することができる。
このように、パン操作又はチルト操作の入力がある場合に、メモリ部５２ａから取得した一部のエリアに相当する映像ブロック毎の最適なブロック露光条件に基づいて、一部のエリアに係る最適なエリア露光条件を算出して、撮像部１２、及びＤＳＰ部１３に設定する。これにより、最適なエリア露光条件で撮像されたエリア映像データを出力することができ、全体映像から抜き取った一部のエリア映像の画質を向上させることができる。
【００３１】
一方、ステップＳ７では、全体制御部２８は、ＰＴ指示がない場合は、スクロール中ではなく、映像の抜き取りエリアが固定されていると判断して、データスイッチ５６を第１状態に設定する。
この場合、撮像エリア抜き取り部５１は、カメラ部１０からの映像データに対してフレーム毎にエリア抜き取り処理を行い、抜き取ったエリアの映像データを画処理部１５及び第１抜取エリア露出制御部５４に出力する。
ここで、第１抜取エリア露出制御部５４は、撮像エリア抜き取り部５１から入力されるエリア映像データの輝度レベルの平均値に基づいて最適な露出評価値を算出し、露出評価値に基づいて露光時間を含む測光条件を生成する。
次いで、第１抜取エリア露出制御部５４で求めた測光条件（露光時間）をデータスイッチ５６を介して撮像部１２及びＤＳＰ部１３に設定させ、撮像部１２及びＤＳＰ部１３にこの測光条件（露光時間）を用いて撮影させる。
これにより、撮像部１２及びＤＳＰ部１３は、第１抜取エリア露出制御部５４から設定される測光条件（露光条件）に含まれる露光時間によりイメージセンサの全体映像の露光量を調整することができる。
画処理部１５は、撮像エリア抜き取り部５１が映像データから抜き取ったエリアの映像データに基づいて、受信側が必要とするサイズの拡大映像データを生成する拡大処理を行い、処理後の映像データをエンコーダ部１６に出力する。
このように、最適映像データの一部のエリアからエリア映像データを切り出して出力し、エリア映像データに基づいて、最適なエリア露光条件を算出しておき、最適なエリア露光条件を撮像部１２、及びＤＳＰ部１３に設定する。これにより、最適なエリア露光条件で撮像されたエリア映像データを出力することができ、全体映像から抜き取った一部のエリア映像の画質を向上させることができる。
【００３２】
次いで、ステップＳ６では、全体制御部２８は、タイマに設定された時間Ｔまでカウントアップ値が到達したか否かを判断する。また、全体制御部２８は、シーンチェンジ検出部５３から検出結果を取得して、今まで撮影されていた全体映像のシーンが別のシーンにシーンチェンジが発生しているか否かを判断する。
ここで、全体制御部２８は、ステップＳ６での判断において、タイムアウトが発生していない場合、またはシーンチェンジが発生していない場合は、ステップＳ４に戻り、上述した処理を繰り返す。
一方、全体制御部２８は、ステップＳ６での判断において、タイムアウトが発生した場合、またはシーンチェンジが発生した場合は、ブロック測光データを更新するため、ステップＳ２に戻り、上述した処理を繰り返す。
【００３３】
本実施形態では、ＴＶ会議システムに用いるカメラ部１０の撮像部１２及びＰＴＺ制御部５０の特徴的な構成、作用及び効果について説明したが、監視カメラ等のシステムに本発明を適用しても同様である。
【００３４】
＜本発明の実施態様例の構成、作用、効果＞
＜第１態様＞
本態様の撮像装置は、撮像部１２と、撮像部１２から取得した映像データを解析して、映像データの全エリアでの最適な露光条件を算出して撮像部１２に設定するとともに、最適な露光条件で撮像された最適映像データを出力するＤＳＰ部１３（信号処理部）と、を備えた撮像装置であって、最適映像データの一部のエリアからエリア映像データを切り出して出力する撮像エリア抜き取り部５１（一部切出手段）と、エリア映像データに基づいて、最適なエリア露光条件を算出する第１抜取エリア露出制御部５４（露光条件算出手段）と、を備え、第１抜取エリア露出制御部５４は、エリア露光条件を撮像部１２、及びＤＳＰ部１３に設定することを特徴とする。
本態様によれば、最適映像データの一部のエリアからエリア映像データを切り出して出力し、エリア映像データに基づいて、最適なエリア露光条件を算出しておき、最適なエリア露光条件を撮像部１２、及びＤＳＰ部１３に設定することで、最適なエリア露光条件で撮像されたエリア映像データを出力することができ、全体映像から抜き取った一部のエリア映像の画質を向上させることができる。
【００３５】
＜第２態様＞
本態様の撮像装置は、メモリ部５２ａ（記憶手段）と、ＤＳＰ部１３（信号処理部）から取得した最適映像データを複数の映像ブロックに分割して、映像ブロック毎に最適なブロック露光条件を算出して、メモリ部５２ａに記憶するブロック測光演算手段と、を備えることを特徴とする。
本態様によれば、最適映像データを複数の映像ブロックに分割して、映像ブロック毎に最適なブロック露光条件を算出して記憶しておくことで、映像ブロック毎に最適なブロック露光条件を必要に応じて利用することができる。
【００３６】
＜第３態様＞
本態様の撮像装置は、パン操作又はチルト操作の入力があるか否かを判断する（操作判断手段）と、パン操作又はチルト操作の入力がある場合に、ブロック測光演算部５２（ブロック測光演算手段）は、メモリ部５２ａ（記憶手段）から取得した一部のエリアに相当する映像ブロック毎の最適なブロック露光条件に基づいて、一部のエリアに係る最適なエリア露光条件を算出して、撮像部１２、及びＤＳＰ部１３に設定することを特徴とする。
本態様によれば、パン操作又はチルト操作の入力がある場合に、メモリ部５２ａから取得した一部のエリアに相当する映像ブロック毎の最適なブロック露光条件に基づいて、一部のエリアに係る最適なエリア露光条件を算出して、撮像部１２、及びＤＳＰ部１３に設定することで、最適なエリア露光条件で撮像されたエリア映像データを出力することができ、全体映像から抜き取った一部のエリア映像の画質を向上させることができる。
【００３７】
＜第４態様＞
本態様のブロック測光演算部５２（ブロック測光演算手段）は、一部のエリアに相当する映像ブロック毎の最適なブロック露光条件について加重平均値を算出することにより最適なエリア露光条件を算出することを特徴とする。
本態様によれば、一部のエリアに相当する映像ブロック毎の露光条件について加重平均値を算出することにより最適なエリア露光条件を算出することで、最適なエリア露光条件を撮像部１２、及びＤＳＰ部１３に設定することができ、最適なエリア露光条件で撮像されたエリア映像データを出力することができ、全体映像から抜き取った一部のエリア映像の画質を向上させることができる。
【００３８】
＜第５態様＞
本態様のブロック測光演算部５２（ブロック測光演算手段）は、一部のエリアを含む映像ブロックが１つのみである場合には、当該映像ブロックについての最適なブロック露光条件を出力することを特徴とする。
本態様によれば、一部のエリアを含む映像ブロックが１つのみである場合には、当該映像ブロックについての最適なブロック露光条件を出力することで、最適なエリア露光条件を撮像部１２、及びＤＳＰ部１３に設定することができ、最適なエリア露光条件で撮像されたエリア映像データを出力することができ、全体映像から抜き取った一部のエリア映像の画質を向上させることができる。
【００３９】
＜第６態様＞
本態様の映像送信装置は、第１態様乃至第５態様の何れか１つに記載の撮像装置と、撮像エリア抜き取り部５１（一部切出手段）により切り出されたエリア映像データに基づいて、必要とするサイズの拡大映像データを生成する画処理部１５（拡大処理部）と、拡大映像データをネットワーク４０を介して相手側の映像受信装置に送信する端末装置１４（送信手段）と、を備えることを特徴とする。
本態様によれば、一部のエリアから切り出されたエリア映像データに基づいて、必要とするサイズの拡大映像データを生成し、この拡大映像データをネットワーク４０を介して相手側の映像受信装置に送信することで、エリア映像の画質を向上させた拡大映像データを相手側の映像受信装置に提供することができる。
【００４０】
＜第７態様＞
本態様の映像送受信システムは、第６態様に記載の映像送信装置と、映像送信装置から拡大映像データを受信して表示する映像受信装置と、を備えることを特徴とする。
本態様によれば、映像送信装置と、映像送信装置から拡大映像データを受信して表示する映像受信装置とを備えた映像送受信システムを提供することができる。
【００４１】
＜第８態様＞
本態様の画像処理方法は、第１態様乃至第５態様の何れか１つに記載の撮像装置による画像処理方法であって、最適映像データの一部のエリアからエリア映像データを切り出して出力する一部切出ステップ（Ｓ７）と、エリア映像データに基づいて、最適なエリア露光条件を算出する露光条件算出ステップ（Ｓ７）と、を実行し、露光条件算出ステップ（Ｓ７）は、エリア露光条件を撮像部１２、及びＤＳＰ部１３（信号処理部）に設定することを特徴とする。
本態様によれば、最適映像データの一部のエリアからエリア映像データを切り出して出力し、エリア映像データに基づいて、最適なエリア露光条件を算出しておき、最適なエリア露光条件を撮像部１２、及びＤＳＰ部１３に設定することで、最適なエリア露光条件で撮像されたエリア映像データを出力することができ、全体映像から抜き取った一部のエリア映像の画質を向上させることができる。
【００４２】
＜第９態様＞
本態様のプログラムは、第８態様に記載の各ステップをプロセッサに実行させることを特徴とする。
本態様によれば、各ステップをプロセッサに実行させることができる。
【符号の説明】
【００４３】
１…ＴＶ会議システム、９…モニタ、１０…カメラ部、１１…広角レンズ、１２…撮像部、１３…ＤＳＰ部、１４…端末装置、１５…画処理部、１６…エンコーダ部、１７…ＮＷ処理部、１８…デコーダ、２０…ネットワーク状態検知部、２２…相手局デコード機能判別部、２４…音声判別部、２９…操作部、２８…全体制御部、３０…サーバ、４０…ネットワーク、５０…ＰＴＺ制御部、５１…撮像エリア抜き取り部、５２…ブロック測光演算部、５３…シーンチェンジ検出部、５４…第１抜取エリア露出制御部、５５…第２抜取エリア露出制御部、５６…データスイッチ、７１…全体映像、７３…一部エリア
【先行技術文献】
【特許文献】
【００４４】
【特許文献１】特開２００３−１０７５５５公報
【図１】
0006459517.tif 000002
【図２】
0006459517.tif 000003
【図３】
0006459517.tif 000004
【図４】
0006459517.tif 000005