(57)【要約】【課題】複数の目的画像を広角画像から切り出して利用するシステムにおいてそれぞれの画像を好ましい状態に調整する。又、目的画像の画角を変更しようとした際に、新しい画角での目的画像の状態を撮影当初から好ましい状態に調整することができる撮像装置及び撮像システムを提供すること。【解決手段】複数の目的画像に対応する自動調整のための積分枠を設け、そこから得られる情報と広角画像の情報から各画像の補正を実施する。又、画角の変更時には広角画像の情報を利用して、仮補正値を作って新しい画角の画像を補正する。【選択図】図８
2006222816.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を電気信号に変換する撮像手段と、前記撮像手段からの電気信号を処理して画像信号を出力する現像手段とを有し、前記現像手段においては前記撮像手段で撮影された１画面分の信号のうち、全域若しくはその一部を切り出して時分割多重処理することにより複数の画像を作成可能であるような撮像装置において、
前記複数の画像に対してそれぞれ異なる自動調整を、前記複数の画像から検出される特徴の相互の関連に基づいて前記現像手段で行うことを特徴とする撮像装置。
【請求項２】
前記複数の画像のうち少なくとも１つは撮像装置の撮影可能範囲の状態を確認するための広角画像であり、該広角画像以外に実際に撮影の目的とする目的画像の画角を複数指定し得る領域指定手段を前記撮像手段内部に持つことを特徴とする請求項１記載の撮像装置。
【請求項３】
現像処理部において、前記撮像手段から読み出した信号をアナログ／デジタル変換する手段の直後にバッファを設け、前記領域指定手段の指示に従って、前記目的画像の画角に対応する画像信号をバッファから読み出して後続の信号処理手段に与えることを特徴とする請求項２記載の撮像装置。
【請求項４】
前記領域指定手段の指示に従って、前記目的画像の画角に対応する電気信号を撮像手段から直接選択的に読み出して前記現像手段に入力することを特徴とする請求項２記載の撮像装置。
【請求項５】
前記目的画像の画角に応じて信号を読み出す際に、前記現像手段での処理を考慮して、目的画像として求められた画角に加えて所定の調整用の領域を加えて信号を読み出して前記現像手段に与え、前記現像手段はその信号処理後に目的画像として求められた画角に処理後の画像信号を整形することを特徴とする請求項３又は４記載の撮像装置。
【請求項６】
前記現像手段は、前記自動調整を実施するための画像の特徴抽出手段として、前記広角画像に対する広角画像用検出枠と、前記目的画像の画角に応じてその適用範囲が可変である目的画像用検出枠を有し、該両検出枠における積分結果から前記自動調整のためのデータを作成することを特徴とする請求項３〜５の何れかに記載の撮像装置。
【請求項７】
前記自動調整のためのデータ作成を行う際に、前記複数の画像毎にそれぞれ異なるモードを用いて積分結果を評価することが可能であることを特徴とする請求項６記載の撮像装置。
【請求項８】
前記複数の画像は前記撮像装置とネットワークで接続された複数のユーザが利用可能であり、該複数のユーザが前記モードをそれぞれ独自に設定可能であることを特徴とする請求項７記載の撮像装置。
【請求項９】
前記自動調整の内容の少なくとも１つは自動露出調整であり、前記撮像手段における絞りの値と、前記複数の画像に対する利得を連動して調整することを特徴とする請求項３〜８の何れかに記載の撮像装置。
【請求項１０】
前記自動調整の内容の少なくとも１つは自動ホワイトバランス調整であることを特徴とする請求項３〜８の何れかに記載の撮像装置。
【請求項１１】
前記請求項６〜１０記載の撮像装置とネットワークを介して接続され、前記広角画像を表示して確認するための広角画像表示手段と、前記目的画像を表示して確認するための目的画像表示手段とを有し、前記広角画像表示手段を利用して目的画像撮影画角の操作を前記撮像装置に対して物理的に離れたところから利用できるような撮像システムにおいて、
前記目的画像を撮影する画角を変更するために前記広角画像表示手段上で新たな目的画像撮影画角を指示した際に、前記広角画像用検出枠の情報を用いて、目的画像の新たな撮影画角における前記自動調整のための仮設定用データを取り出す手段を有し、該仮設定用データに基づいて前記新たな撮影画角における目的画像に対する自動調整を実施することを特徴とする撮像システム。
【請求項１２】
前記新たな目的画像撮影画角を指示した後、新たな撮影画角で目的画像の撮影が開始される時点においては、前記仮設定用データに基づいて新たな撮影画角における目的画像に対する自動調整を実施して撮影を開始し、一方、新しい画角での目的画像の撮影開始後は実際に撮像された映像信号の情報に基づいて更に調整を掛けることを特徴とする請求項１１記載の撮像システム。
【請求項１３】
前記複数の独立した目的画像を１映像期間内に複数処理することができるように、時分割処理を行うことを特徴とする請求項１１又は１２記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像信号をデジタル化してデジタル信号処理する撮像装置及びその撮像装置を利用した撮像システムに関するものである。
【背景技術】
【０００２】
近年、カメラを遠隔地に置いたまま、ユーザが意図するように動かして映像を得ようとするような仕組みが発達してきた。その際、遠隔地にいるユーザはカメラが撮影している映像の周囲の画像を知ることができないという問題があるため、実際に目的物の撮影に用いるカメラ以外に、その周辺を広角で撮影するカメラを準備し、その広角映像情報を用いて目的物の撮影に用いるカメラを制御しようというシステムが存在する（例えば、特許文献１参照）。
【０００３】
一方、上記のように広角画像と目的画像を得られるようなシステムを構成する際に、目的とする画像を上記広角画像から切り出して利用するシステムが存在する（例えば、特許文献２参照）。このシステムでは、切り出した画像に対して焦点、露出、色バランス等を調整し、切り出した画像が好ましいものになるように調整している。又、注目した領域に応じて元画像の中で領域を抽出してその部分領域の情報を用いて画像を調整する例としては、他に撮像装置における電子ズームの例が存在する（例えば、特許文献３，４参照）。
【０００４】
又、画角の異なった複数の映像信号を同時に撮影する方法としては、単一の撮像素子の読み出し信号からフレームレート、画角、画素数等の異なる複数の画像を生成するために、複数の信号の保持部及び処理部を持つシステムが提案されている（例えば、特許文献５参照）。
【０００５】
【特許文献１】特開平１０−２９４８９０号公報（第７頁、図１）
【特許文献２】特開平１０−０７９８８２号公報（第５頁、図１）
【特許文献３】特開平７−０８７３７２号公報（第９，１０頁、図１、図６、図８）
【特許文献４】特開２００１−１１６９７８号公報（第９，１０頁、図３、図４、図６、図７）
【特許文献５】特開２００４−０４０４３２号公報（第１０，１１頁、図１、図６）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の技術では、ユーザは或るカメラで撮影した広角画像の情報を別の目的物撮影用のカメラに反映させて、目的とする画像の撮影を行っている。ここで、広角画像を撮影するカメラと目的画像を撮影するカメラはそれぞれ別個のものであり、その露出、ホワイトバランス等のパラメータはカメラ毎に独立して調整されているため、それぞれのカメラから得られる画像もそれぞれ独自に調節されたものとなっている。この方式は、後述する広角画像から目的画像を切り出す場合には、それぞれのパラメータが互いに関連のないものであるため、どちらか一方を優先すると他方の映像が汚くなる可能性があった。
【０００７】
一方、特許文献２に記載の或る目的画像を広角画像から切り出して利用するシステムにおいては、或る切り出した画像をベースに焦点、露出、色バランス等を調整しているが、切り出し画像を利用する際には他の画像の利用は考慮していないため、目的画像に過度にパラメータのチューニングがなされると広角画像の映像が汚くなる可能性があった。又、複数のユーザがこのシステムを利用しようとした場合に、目的画像を複数設定しても、個々の目的画像毎に画像を好ましいものになるように調整することができなかった。この点は特許文献３，４においても同様であり、ズームにおける注目点では最適化されるものの、それ以外の部分に関してはその保証がないものであった。
【０００８】
特許文献５に記載のシステムでは、複数の信号の保持部及び処理部を持つシステムが提案されているため、個々の処理部において画像の最適化を図ることができるようにはなるものの、保持部及び処理部を並列化するため、その処理できる画像数はハードウェアの構成要素の並列度によって制限されるものであった。又、個々の撮影画角に応じた処理の仕組みであるため、事前にパラメータを設定する等のことはできなかった。
【０００９】
本発明は上記問題に鑑みてなされたもので、その目的とする処は、目的画像を広角画像から切り出して利用するシステムにおいて広角画像と目的画像の双方を好ましい状態に調整することができる撮像装置及び撮像システムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するため本発明の撮像装置では、第１の手段として、被写体像を電気信号に変換する撮像手段と、前記撮像手段からの電気信号を処理して画像信号を出力する現像手段とを有し、前記現像手段においては前記撮像手段で撮影された１画面分の信号のうち、全域若しくはその一部を切り出して時分割多重処理することにより複数の画像を作成可能であるような撮像装置において、前記複数の画像に対してそれぞれ異なる自動調整を、前記複数の画像から検出される特徴の相互の関連に基づいて前記現像手段で行うことを特徴とする。
【００１１】
又、第２の手段として、第１の手段に加えて、前記複数の画像のうち少なくとも１つは撮像装置の撮影可能範囲の状態を確認するための広角画像であり、該広角画像以外に実際に撮影の目的とする目的画像の画角を複数指定し得る領域指定手段を前記撮像手段内部に持つことを特徴とする。
【００１２】
又、第３の手段として、第２の手段に加えて、現像処理部において、前記撮像手段から読み出した信号をアナログ／デジタル変換する手段の直後にバッファを設け、前記領域指定手段の指示に従って、前記目的画像の画角に対応する画像信号をバッファから読み出して後続の信号処理手段に与えることを特徴とする。
【００１３】
又、第４の手段として、前記第２の手段に加えて、前記領域指定手段の指示に従って、前記目的画像の画角に対応する電気信号を撮像手段から直接選択的に読み出して前記現像手段に入力することを特徴とする。
【００１４】
又、第５の手段として、前記第３又は４の手段に加えて、前記目的画像の画角に応じて信号を読み出す際に、前記現像手段での処理を考慮して、目的画像として求められた画角に加えて所定の調整用の領域を加えて信号を読み出して前記現像手段に与え、前記現像手段はその信号処理後に目的画像として求められた画角に処理後の画像信号を整形することを特徴とする。
【００１５】
又、第６の手段として、前記第３〜５の手段に加えて、前記現像手段は、前記自動調整を実施するための画像の特徴抽出手段として、前記広角画像に対する広角画像用検出枠と、前記目的画像の画角に応じてその適用範囲が可変である目的画像用検出枠を有し、該両検出枠における積分結果から前記自動調整のためのデータを作成することを特徴とする。
【００１６】
又、第７の手段として、前記第６の手段に加えて、前記自動調整のためのデータ作成を行う際に、前記複数の画像毎にそれぞれ異なるモードを用いて積分結果を評価することが可能であることを特徴とする。
【００１７】
又、第８の手段として、前記第７の手段に加えて、前記複数の画像は前記撮像装置とネットワークで接続された複数のユーザが利用可能であり、該複数のユーザが前記モードをそれぞれ独自に設定可能であることを特徴とする。
【００１８】
又、第９の手段として、前記第３〜８の手段に加えて、前記自動調整の内容の少なくとも１つは自動露出調整であり、前記撮像手段における絞りの値と、前記複数の画像に対する利得を連動して調整することを特徴とする。
【００１９】
又、第１０の手段として、前記第３〜８の手段に加えて、前記自動調整の内容の少なくとも１つは自動ホワイトバランス調整であることを特徴とする。
【００２０】
又、第１１の手段として、前記第６〜１０のの手段を持つ撮像装置とネットワークを介して接続され、前記広角画像を表示して確認するための広角画像表示手段と、前記目的画像を表示して確認するための目的画像表示手段とを持ち、前記広角画像表示手段を利用して目的画像撮影画角の操作を前記撮像装置に対して物理的に離れたところから利用できるような撮像システムにおいて、前記目的画像を撮影する画角を変更するために前記広角画像表示手段上で新たな目的画像撮影画角を指示した際に、前記広角画像用検出枠の情報を用いて、目的画像の新たな撮影画角における前記自動調整のための仮設定用データを取り出す手段を有し、該仮設定用データに基づいて前記新たな撮影画角における目的画像に対する自動調整を実施することを特徴とする。
【００２１】
又、第１２の手段として、前記第１１の手段に加えて、前記新たな目的画像撮影画角を指示した後、新たな撮影画角で目的画像の撮影が開始される時点においては、前記仮設定用データに基づいて新たな撮影画角における目的画像に対する自動調整を実施して撮影を開始し、一方、新しい画角での目的画像の撮影開始後は実際に撮像された映像信号の情報に基づいて更に調整を掛けることを特徴とする。
【００２２】
又、第１３の手段として、前記第１１又は１２の手段に加えて、前記複数の独立した目的画像を１映像期間内に複数処理することができるように、時分割処理を行うことを特徴とする。
【発明の効果】
【００２３】
上記手段を備えたことにより、目的画像を広角画像から切り出して利用するシステムにおいては、広角画像と目的画像の双方を好ましい状態に調整することが可能になる。特に、複数のユーザが独立して目的画像を切り出して利用する場合に、個々の目的画像を好ましい状態に調整することが可能になる。又、個々のユーザが目的画像の自動調整に関してそれぞれ独立したモードを指示できるようにすることによって、よりユーザの好みに合った画像調整を行うことが可能になる。
【００２４】
又、ユーザは既に撮影が行われている広角画像の映像情報を基にして目的画像の撮影パラメータを調整することができるようになるため、目的画像の画角を変更しようとした際に、新しい画角での目的画像の状態を撮影当初から好ましい状態に調整することが可能になる。
【００２５】
又、個々の目的画像を時分割して取り扱うことで、ハードウェア上の構成の並列度による制限を無くすことが可能になる。
【発明を実施するための最良の形態】
【００２６】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００２７】
＜実施の形態１＞
図１は本実施の形態における撮像システムの構成を示す図である。
【００２８】
図１において、４は撮像装置であり、これは撮像部１、画像圧縮部２、通信部３により構成されている。撮像部１の中の撮像処理部２０に含まれる撮像レンズ２０１によって光が集められ、撮像素子２０２において光電変換される。光電変換された信号は、現像処理部１０に与えられ、そこで処理された信号が画像圧縮部２で圧縮され、更に通信部３で通信用にパケット化処理等をされてネットワーク５に出て行く。その信号を受け取る表示装置６は、通信／画像変換部７、広角画像表示／操作入力部８、目的画像表示部９より構成される。ネットワークから入力された映像データは、通信／画像変換部７で展開・伸長された後、視野確認用の広角画像は広角画像表示／操作入力部８に、撮影の対象物に注目している目的画像は目的画像表示部９に表示される。
【００２９】
図２は本実施の形態における撮像装置４を用いて実際の画像を撮影している様子を示している。
【００３０】
図２において、線４１で囲まれた領域が実際に撮像装置４の広角画像として撮影されている領域であるとする。そして、その領域の中でユーザは線４２で囲まれた領域に注目して現在撮影を行っており、次に線４３で囲まれた領域に撮影画角を変更しようとしているものとする。尚、本実施の形態においては、目的画像は広角画像の一部を切り出すことによって実現されているとする。
【００３１】
図３（ａ），（ｂ）はその際の表示装置での表示の様子を示している。
【００３２】
図３（ａ）において広角画像表示／操作入力部８には図２の線４１で囲まれた領域が表示されている。又、目的画像表示部９には図２の線４２に囲まれた領域に相当する画像が表示されている。
【００３３】
又、同じ領域を示す枠が目的画像撮影領域表示枠８１として広角画像表示／操作入力部８上に表示されている。ここで、ユーザが広角画像表示／操作入力部８上に、図２の線４３で囲まれた領域に相当する目的画像撮影領域変更枠８２を設定して変更開始を指示すると、目的画像が新たに切り替わって図３（ｂ）のように表示されるようになる。この時点においては、目的画像表示部９には新たに設定された図２の線４３で囲まれた領域の映像が表示されており、広角画像表示／操作入力部８上の目的画像撮影領域表示枠８１も同じ領域を示すように移動している。又、操作が終わったため図３（ａ）で見られた目的画像撮影領域変更枠８２は表示されなくなっている。
【００３４】
このようにしてユーザがカメラを利用する場合に、広角画像と目的画像が双方とも好ましい状態で表示装置６に表示されるための仕組み及び目的画像の画角が切り替わった瞬間から目的画像の状態を素早く好ましい状態にするための仕組みを、以下、図１〜図３を参照しながら図４〜図１０を用いて説明する。
【００３５】
図４は本実施の形態における撮像部の詳細を表すブロック図である。
【００３６】
図４において、２０１は撮像レンズ、２０５は撮像レンズ２０１の焦点リングを回転する自動焦点（ＡＦ）モータ、２０３は絞り、２０４は絞り３の開口を制御するするＩＧメータ、２０２は微小色分解フィルタを含む２次元カラー撮像素子であり、以下ＣＣＤと略す。しかし、本発明の撮像素子はＣＣＤに限らずＣＭＯＳセンサであっても良い。
【００３７】
２０６はＣＤ２０２を駆動するドライバ回路、２０７はＤ２０２の光電変換出力を受けて、各種アナログ処理を行うアナログ画処理部である。アナログ画処理部２０７には、クロック及びリセットノイズを取り除く相関２重サンプリング回路（ＣＤＳ）ＣＤＳの出力を増幅する自動ゲイン制御用アンプ（ＡＧＣ）、入力電圧の黒レベルを所定の電圧に固定するクランプ回路等が含まれるが、ここでは詳細は割愛する。
【００３８】
１０は入力されるＣＣＤの出力信号を信号処理して所定のデジタルカラービデオ信号を形成する現像処理部であり、ここでは集積回路によって実現される。２１０は現像処理部１０より信号に関するデジタルデータを受け、又、現像処理部１０を制御し、更に、ＡＦモータ２０５及びＩＧメータ２０４、アナログ画処理部２０７を制御する信号を形成するマイクロプロセッサユニット（ＭＰＵ）、２０８はＡＦモータ２０５を駆動するＡＦドライバ回路、２０９はＩＧメータ２０４を駆動するＩＧドライバ回路である。
【００３９】
１００〜１２０は集積回路によって実現される現像処理部１０の内部回路要素である。１００はタイミング発生回路１１より入力されるクロックパルス、水平同期パルスＨＤ、垂直同期パルスＶＤ等から現像処理部１０の内部に必要な各周波数のクロックパルスを作成する同期信号発生器である。
【００４０】
１０１は入力信号に応じたデジタル信号を発生するＡＤ変換器で、ＡＤ変換器以降の回路はデジタル信号を扱う。ここで、ＡＤ変換器１０１の分解能は１４ｂｉｔであるとする。１０２はデジタル化された入力信号を一時蓄えるためのバッファである。１０３は色分離及び輝度信号合成回路であって、マトリクス回路、切り替え回路を含み、入力信号より色信号成分Ｒ，Ｇ，Ｂを分離すると共に、輝度信号Ｙ’を合成する。１０４は帯域制限及び時分割サンプリングを行うローパスフィルタ、１０５は時分割された各色チャンネルの利得を可変するホワイトバランス（ＷＢ）回路である。
【００４１】
１０６はガンマ補正及び高輝度部分のレベル圧縮を行うガンマ・ニー回路、１０７は時分割信号を入力し、これを３チャンネル（Ｒ，Ｇ，Ｂ）の連続的並列信号に変換し、更に帯域制限を行うローパスフィルタ、１０８は赤Ｒ、緑Ｇ、青Ｂより、低帯域輝度信号ＹＬ１，ＹＬ２を合成するマトリクス回路、１０９はＲ，Ｂ及びＹＬ２より色差信号Ｒ−Ｙ，Ｂ−Ｙを形成する色差マトリクス回路、１１０は色差信号の利得制御及び色補正マトリクスを含む色補正回路である。
【００４２】
１１３は入力される輝度信号Ｙ’に各々ガンマ補正を行うガンマ補正回路、１１４はガンマ補正を受けた輝度信号とマトリクス回路１０８の出力信号ＹＬ１から、ハイパスフィルタ、ノンリニア処理、利得修正等を行った後、出力すべきＹ信号を作成するＹ信号処理器である。又、１１１はＲ−Ｙ，Ｂ−Ｙ及びＹ信号を必要に応じてトリミングと解像度変換をする解像度変換器、１１２はここまで処理してきた信号をデジタルビデオ信号の規格に合わせて変換するＹＣｂＣｒ符号化器である。
【００４３】
１１５は現像処理部１０の各部の信号のうち、自動焦点調整（ＡＦ）、自動露出制御（ＡＥ）、自動ホワイトバランス（ＡＷＢ）等の制御に必要な信号を、ＭＰＵが読み取る際、ＭＰＵとのデータの受け渡しが容易で、且つ、ＭＰＵが処理し易い形に処理を行う前処理部である。１１６〜１１８は前処理部１１５の中に設けられ、１１６はＡＦの前処理を行うＡＦプリプロセス回路、１１７はＡＥの前処理を行うＡＥプリプロセス回路、１１８はＡＷＢの前処理を行うＡＷＢプリプロセス回路である。１１９は画像の切り出し領域等を制御する切り出し制御部、１２０は各プリプロセス回路の出力をＭＰＵ２１０に受け渡す、若しくはＭＰＵ２１０から現像処理部１０の各部の制御データ等を受け取るＭＰＵインタフェース回路である。
【００４４】
以下、基本動作等について広角画像の撮影を例に詳細に説明する。
【００４５】
図２の線４１に示されるような被写体像は、撮像レンズ２０１、絞り２０３により光量を調節され、ＣＣＤ２０２の微小色分解フィルタを通り色分解されＣＣＤ２０２の光電変換面に結像され、画素ごとに光電変換され、ドライバ回路２０６の駆動パルスに応じて順次、撮像信号として出力される。この撮像信号は、アナログ画処理部２０７において、クロック成分とリセットノイズの除去、増幅、クランプ処理等が行われた後、現像処理部１０内のＡＤ変換器１０１でデジタル信号に変換される。このデジタル信号は、バッファ１０２に一時的に蓄えられ、その後、高速読出しされて色分離・Ｙ合成回路１０３に入力される。
【００４６】
色分離・Ｙ合成回路１０３に入力されたデジタル信号は、Ｒ，Ｇ，Ｂの各色成分に分解される。それと同時に輝度信号Ｙ’が合成される。このＲ，Ｇ，Ｂ信号は、ローパスフィルタ１０４によって、所定の帯域に制限された後、更に３相で時分割信号に変換され、１チャンネルの信号となり、ＷＢ回路１０５においてＭＰＵ２１０によって設定された所定の利得で増幅される。このとき、Ｒ信号、Ｂ信号の利得のみを変えるとホワイトバランス調整が行われ、Ｒ信号、Ｇ信号、Ｂ信号の利得を同時に可変することにより、全体の利得を制御することができる。
【００４７】
この出力は、ガンマ・ニー回路１０６でガンマ補正及び高輝度部分の圧縮が行われ、ローパスフィルタ１０７で再びＲ，Ｇ，Ｂの各信号に戻され、所定の帯域制限を受けた後、マトリクス回路１０８で所定の比率によりＲ，Ｇ，Ｂ各色信号が加算されて低域輝度信号ＹＬ１，ＹＬ２が形成される。このうち、ＹＬ１はＹ信号処理部１１４で出力用のＹ信号を作成するために利用され、ＹＬ２は色差信号を形成するために使用される。このＹＬ２及びＲ，Ｂは色差マトリクス回路１０９により所定の比率で減算され、色差信号Ｒ−Ｙ，Ｂ−Ｙが形成される。この色差信号は、色補正回路１１０により、利得の調整及び所定のマトリクス演算を受けると共に色補正される。
【００４８】
又、色分離・Ｙ合成回路１０３から出力された輝度信号Ｙ’は、ガンマ補正回路１１３によりガンマ補正を受けた後、輝度信号Ｙを形成するためのＹ信号処理器１１４に入力される。色補正回路１１０及びＹ信号処理器１１４の出力は、ＹＣｂＣｒ符号化器１１２に与えられ、所定の出力形式に応じてヘッダを付ける等の処理をなされた後、デジタルビデオ出力として画像圧縮部２に対して出力される。又、Ｙ’はＡＦプリプロセス回路１１６により処理され、ＡＦに必要なデータが形成される。又、Ｙ’は、ＡＥプリプロセス１１７で処理され、ＡＥに必要なデータが形成される。更に、前述の色差マトリクス回路１０９の出力Ｒ−Ｙ，Ｂ−Ｙは、ＡＷＢプリプロセス回路１１８で処理され、ＡＷＢに必要なデータが形成される。これらのデータは、ＭＰＵインタフェース回路１２０を通してＭＰＵ回路２１０に読み出される。
【００４９】
図５はＡＥプリプロセス回路１１７で行われる積分処理に用いられる枠の説明図である。図５（ａ）〜（ｅ）の外枠は広角画像の撮像領域を示しており、図２の４１及び図３の広角画像表示８に対応するものである。
【００５０】
図５（ａ）は広角画像用の画像データに対応する枠である。所定座標値（ｘ１，ｙ１），（ｘ２，ｙ２）で表される枠の外側をＷＡ、内側をＷＢとする。広角画像用の画像データが現像処理部で処理されている場合には、ＡＥプリプロセス１１７に入力される輝度信号Ｙ’は、このＷＡ，ＷＢに対応する領域ごとに積分される。積分された結果は、ＭＰＵインタフェース１２０を介してＭＰＵ２１０に与えられる。そして、その値はＷＡ領域及びＷＢ領域ごとに重み付けされて平均化され、広角画像の輝度参考値ＡＥ−Ｗの作成に用いられる。
【００５１】
図５（ｂ）も広角画像用の画像データに対応する枠である。こちらは全体の画面を水平方向ｎ、垂直方向ｍに分割し、そのそれぞれの小さな領域ごとに輝度信号Ｙ’を積分している。小領域ごとに積分した結果の値のＷnmはブロック測光値としてＭＰＵインタフェース１２０を介してＭＰＵ２１０に与えられる。これらは後述するアルゴリズムによって本システムの露出補正値を決めるのに利用される（図６参照）。
【００５２】
図５（ｃ）は広角画像の撮像領域５１と、目的画像の撮像画角５２及び画角変更後の目的画像の撮像画角５３をＡＥ用積分枠との比較のために当て嵌めた図である。この目的画像の撮像画角５２の位置情報は、図３の表示装置６の広角画像表示／操作入力部８から、目的画像撮影領域表示枠８１の座標情報として抽出され、ネットワーク５を介して撮像装置４にまで伝達されたものである。そして、その座標情報は撮像部１のＭＰＵ２１０により、現像処理部の切り出し制御部１１９に保存されている。
【００５３】
現像処理部１０は、先に図４を用いて説明したように一連の広角画像に対する処理が終了すると、次いで、この切り出し制御部１１９の領域情報に基づいて、バッファ１０２から画像データの高速読み出しを開始し、目的画像の作成処理を実施する。その際、バッファ１０２からの画像の読み出しは、後段でのフィルタ等の処理が適切に行われるように、切り出し制御部１１９に保存されている画角サイズよりも周囲に所定の付加領域を付けた形で読み出される。尚、付加領域のデータは最終的にはデジタルビデオデータとして出力される前に、解像度変換器１１１で取り除かれる。
【００５４】
読み出された目的画像用の画像データは、先に図４で説明した広角画像に対する処理と同様に処理される。その際、目的画像の輝度信号Ｙ’がＡＥプリプロセス１１７に入力されるが、今度は図５（ｄ）によって示された積分枠によって輝度情報の処理が行われることになる。
【００５５】
図５（ｄ）は目的画像に対するＡＥ積分枠を表したものである。目的画像の領域を示す（ｘ３，ｙ３），（ｘ４，ｙ４）の各値は切り出し制御部１１９より与えられる。これは、図５（ｃ）の撮像画角52に対応している。又、（ｘ３，ｙ３），（ｘ４，ｙ４）に対して、所定の比率で計算された中央重点検出枠の座標（ｘ５，ｙ５），（ｘ６，ｙ６）が与えられる。この座標値（ｘ３，ｙ３），（ｘ４，ｙ４）で表される枠の内側で（ｘ５，ｙ５），（ｘ６，ｙ６）の外側をＴＡ、内側をＴＢとする。ＡＥプリプロセス１１７に入力される目的画像の輝度信号Ｙ’は、このＴＡ，ＴＢに対応する領域ごとに積分される。積分された結果は、ＭＰＵインタフェース１２０を介してＭＰＵ２１０に与えられる。そして、その値はＴＡ領域及びＴＢ領域ごとに重み付けされて平均化され、目的画像の輝度参考値ＡＥ−Ｔの作成に用いられる。
【００５６】
ここで、本システムにおける露出補正値及び利得補正値を決めるアルゴリズムについて、ＭＰＵ２１０での処理の流れを図６〜図８を用いて説明する。
【００５７】
先ず、初期化時における目的画像が１つも取り出されていない状態で、どのように露出値と利得を決めていくかについて図６を用いて説明する。
【００５８】
Ｓ６０１でＡＥの制御の初期化が開始される。ここでは、先ず広角画像を用いて入力画面全体を最適化するためのＡＥ制御が開始される。尚、この初期化開始の際各補正項等は初期化されているものとする。
【００５９】
Ｓ６０２で図５（ａ）のＷＡ及びＷＢ領域の重み付け平均値ＡＥ−Ｗが求められる。即ち、ＡＥプリプロセス１１７で求められたＷＡ、ＷＢ各領域での輝度信号Ｙ’の積分値にそれぞれ重みＫ１，Ｋ２を乗じ、それらを加算することで、広角画像の輝度参考値ＡＥ−Ｗが得られる。ここで、ＡＥ−Ｗは入力画面全体に対し、中央重点測光になるように重み付けをしているものとする。
【００６０】
一方、Ｓ６０３では図５（ｂ）に示した全体の画面を水平方向ｎ、垂直方向ｍに分割した各小領域ごとに輝度信号Ｙ’を積分した値ＷnmをＭＰＵ２１０で分析し、その平均値Ｗnmave やピーク値Ｗnmpeak等を求めている。これらのブロック測光によって得られた結果を次にＡＥ−Ｗと比較する。本実施の形態では、先ずＳ６０４において、ＡＥ−ＷとＷnmave に重みＫ３を乗じたものを比較し、その差が所定の閾値Ｗth１より小さいかどうかを比較する。差が小さい場合（Ｓ６０４−Ｙｅｓ）には補正項ＡＥ−ｃは初期値０のままであるが、差がＷth１より大きい場合（Ｓ６０４−Ｎｏ）には、補正項ＡＥ−ｃに対して補正値Ｃ１がＳ６０５で設定される。
【００６１】
次いで、Ｓ６０６でＡＥ−ＷとＷnmpeakを比較する。こちらではその比が所定の閾値Ｗth２より小さいかどうかを比較する。比が小さい場合（Ｓ６０６−Ｙｅｓ）には補正項ＡＥ−ｃはそれ以前の値のままであるが、その比がＷth２より大きい場合（Ｓ６０６−Ｎｏ）には、現在の補正項ＡＥ−ｃに対して更に補正値Ｃ２がＳ６０７にて加えられる。
【００６２】
このようにして補正項が決まると、Ｓ６０８でＡＥ−Ｗに補正項ＡＥ−ｃを加えることで広角画像をベースにした全画面領域に対する輝度参考値ＡＥ−Ｂａｓｅを求めることができる。この輝度参考値ＡＥ−Ｂａｓｅは、広角画像だけではなく、今後行われるであろう目的画像の切り出しにも対応するべく値を求めたものである。Ｓ６０９でこのＡＥ−Ｂａｓｅと所定の輝度基準値ＡＥ−Ｒｅｆとの差を取って、それに所定係数Ｋ４を乗じたものを現在のＩＧ駆動電圧ＩＧＣから減算して、次のＩＧ駆動電圧ＩＧＣを求める。この駆動電圧によって撮像装置の絞り２０３が制御されることになる。
【００６３】
一方、先に求めた全画面領域の輝度参考値ＡＥ−Ｂａｓｅは、広角画像用に求めた輝度参考値ＡＥ−Ｗとは補正項ＡＥ−ｃの分だけずれた値となっているため、広角画像の画像を必ずしも最適化するものではない。この補正項ＡＥ−ｃで補正して絞りを更に絞った分はデジタルゲインを上げることで補正する必要がある。Ｓ６１０ではその補正を行っている。即ち、現在の広角画像に対する利得の調整値ＧＡＩＮ−Ｗに対して、露出の補正項ＡＥ−ｃに所定の係数Ｋ５を乗じたものを加えて新しい利得補正値としている。このことによって、将来の画面切り出しに備えて全画面領域の露出を適正化すると共に、広角画像の画質も適正化することが実現されている。この新しい広角画像の利得補正値ＧＡＩＮ−Ｗは、ＭＰＵ２１０からＭＰＵインタフェース１２０を介してホワイトバランス回路１０５に対して与えられ、広角画像を現像処理する際のパラメータとして利用される。ここまでで、目的画像の切り出し前時点におけるＡＥ制御の初期化が終了したことになる。
【００６４】
次いで、図６で示したＡＥ制御の初期化終了後において、目的画像及び広角画像の処理中に、どのようにして露出値と利得補正値を決めていくかについて、ＭＰＵ２１０での処理の流れを図７及び図８を用いて示す。
【００６５】
Ｓ６２０においてＡＥ制御が開始されると、先ず、Ｓ６２１において現在処理中の画像はどのような画像であるかを判別する。そして、処理中の画像がｎ番目の目的画像であった場合（Ｓ６２１−Ｙｅｓ）はＳ６２２へ、広角画像の処理であった場合（Ｓ６２１−Ｎｏ）にはＳ６２４へ処理が進む。本実施の形態では先ず処理中の画像がｎ番目（ｎ＝１，２，…）の目的画像であった場合（Ｓ６２１−Ｙｅｓ）についての動作を示すこととする。
【００６６】
Ｓ６２２において、ｎ番目の目的画像の輝度参考値としてＡＥ−Ｔｎが求められる。この値は、図５（ｄ）の（ｘ３，ｙ３），（ｘ４，ｙ４）で表される枠の内側で（ｘ５，ｙ５），（ｘ６，ｙ６）の外側をＴＡｎ、内側をＴＢｎとして、ＴＡｎ，ＴＢｎ各領域での輝度信号Ｙ’の積分値にそれぞれ重みＫ６，Ｋ７を乗じ、それらを加算することで得られる。ここで、ＡＥ−Ｔｎは入力画面全体に対し、中央重点測光になるように重み付けをしているものとする。
【００６７】
次いで、Ｓ６２３において求められたｎ番目の目的画像の輝度参考値ＡＥ−Ｔと先に図６で求めた全画面領域に対する輝度参考値ＡＥ−Ｂａｓｅとの差分として補正項ＡＥ−Ｘを求める。その先の処理は図８を用いて説明を行う。
【００６８】
図８において、先ず、求められた補正項ＡＥ−Ｘの値がデジタル補正による利得調整で補正可能な値かどうかを判断する（Ｓ６４０）。ここで、利得調整に関してデジタル補正可能な補正項の上限値をＫ８としている。
【００６９】
もし、デジタル補正可能な範囲内であったとすると（Ｓ６４０−Ｙｅｓ）、Ｓ６５０でデジタル利得の補正を行う。即ち、今回処理している画像の利得調整値ＧＡＩＮ−Ｘに対して、露出の補正項ＡＥ−Ｘに所定の係数Ｋ５を乗じたものを加えて新しい利得補正値としている。このことによって、今回処理している画像（この場合はｎ番目の目的画像）の画質を適正化することが実現できる。この利得補正値ＧＡＩＮ−ＸはＭＰＵ２１０からＭＰＵインタフェース１２０を介してホワイトバランス回路１０５に対して与えられる。
【００７０】
一方、デジタル補正可能な範囲外であったとすると（Ｓ６４０−Ｎｏ）、先ず、今回の処理中画像のために、どの程度の補正量が必要であるのかを捉え、その分だけの補正が可能かどうかの検討を行う。即ち、先ず露出補正項ＡＥ−Ｘの値が正であるかどうかを判断し（Ｓ６４１）、正である場合は、デジタル補正可能な補正値の上限Ｋ８だけ差し引いた値を、調整が必要な値としてＡＥ−Ｘに設定する（Ｓ６４２）。負であった場合はそのままである。その上で、全画面領域に対する輝度参考値ＡＥ−Ｂａｓｅの候補値を現在地からＡＥ−Ｘを引くことで求める（Ｓ６４３）。
【００７１】
その上で、全画面領域に対する輝度参考値ＡＥ−Ｂａｓｅを変更することで、他の処理画像に対して影響が出ないかどうかのチェックを行う。Ｓ６４４において、新たに求めた全画面領域に対する輝度参考値ＡＥ−Ｂａｓｅを利用しても、全ての処理画像に対する輝度参考値が全てデジタル補正による利得調整で補正可能な値になると判断された場合（Ｓ６４４−Ｙｅｓ）、その時点におけるＡＥ−Ｂａｓｅの値が採用される。
【００７２】
一方、他の処理画像に対する輝度参考値の中で、今回のＡＥ−Ｂａｓｅの変更を実施することでデジタル補正による利得調整で補正可能な範囲内から値が外れてしまうものがあった場合には（Ｓ６４４−Ｎｏ）、ＡＥ−ＢａｓｅにＳ６４３で減算した補正項ＡＥ−Ｘに対して一定の比率Ｋ９を乗じたものを加えて、再度全ての処理画像に対する輝度参考値を計算（Ｓ６４５）して、デジタル補正による利得調整で補正可能な範囲から外れる処理画像の数と外れる程度をチェックする。その結果、補正可能な範囲から外れる処理画像の数と外れる程度から求められる評価値が最小となるＡＥ−Ｂａｓｅの値を求める（Ｓ６４６）。この値が求まるまで処理は繰り返され（Ｓ６４６−Ｎｏ）、最小値が求まるとその値が新たなＡＥ−Ｂａｓｅとして採用される（Ｓ６４６−Ｙｅｓ）。
【００７３】
ここで、ＡＥ−Ｂａｓｅの設定のための評価値としてデジタル補正による利得調整で補正可能な範囲から外れる処理画像の数と外れる程度を採用したが、評価値の設定の基準はこれに限るものではなく、多種多様な評価値の設定手法があって良い。例えば、録画中など、優先度の高い目的画像が存在した場合には、その画像がデジタル補正による利得調整で補正可能な範囲から外れないという限定をして、その範囲で先の評価値を採用することも可能である。
【００７４】
次いで、Ｓ６４７でこのＡＥ−Ｂａｓｅと所定の輝度基準値ＡＥ−Ｒｅｆとの差を取って、それに所定係数Ｋ４を乗じたものを現在のＩＧ駆動電圧ＩＧから減算して、次のＩＧ駆動電圧ＩＧＣを求める。この駆動電圧によって撮像装置の絞り２０３が制御されることになる。
【００７５】
一方、先に求めた全画面領域の輝度参考値ＡＥ−Ｂａｓｅが変更されたので、広角画像及び目的画像の輝度参考値はＡＥ−Ｂａｓｅの変更量だけ以前のものと外れていることになる。そこで、新たな各処理画像に対する輝度参考値を再計算し（Ｓ６４８）、その輝度参考値に基づき、各処理画面に対するデジタル利得の補正値を再計算する（Ｓ６４９）。このことによって、なるべく多くのユーザが露出のバランスの取れた画像を利用することが可能になる。目的画像に対する処理の場合には、ここで図７に戻り、ＡＥの制御が終了する（Ｓ６３２）ことになる。
【００７６】
一方、Ｓ６２１において現在処理中の画像はどのような画像であるかを判別した結果、処理中の画像が広角画像であった場合（Ｓ６２１−Ｎｏ）にはＳ６２４へ処理が進む。その場合の処理を次に示す。
【００７７】
処理画像が広角画像であった場合には、図６のＳ６０２と同様にして、Ｓ６２４で図５（ａ）のＷＡ及びＷＢ領域の重み付け平均値ＡＥ−Ｗが求められる。そして、Ｓ６２５でＡＥ−ＢａｓｅからＡＥ−Ｗを差し引いた値が露出補正項ＡＥ−Ｘとして求められる。その後の処理は図８に示したように行われるが、先にｎ番目の目的画像を処理する場合で示した内容と同一であるので、ここでは割愛する。
【００７８】
広角画像自体に対する露出の検討が終了すると、次いでＳ６２６以降で現在のＡＥ−Ｂａｓｅ値の妥当性の検討が行われる。これは、広角画像及び目的画像で余り重点が置かれていない場所の輝度変化を救済するためのものである。
【００７９】
Ｓ６２６において、図６のＳ６０３と同様にしてブロック測光の結果からその平均値Ｗnmave やピーク値Ｗnmpeak等を求める。これらのブロック測光によって得られた結果を現在のＡＥ−Ｂａｓｅと比較する。本実施の形態では、ＡＥ−Ｘの値を初期化して０にした後（Ｓ６２７）、先ず、Ｓ６２８において、ＡＥ−ＢａｓｅとＷnmave に重みＫ３を乗じたものを比較し、その差が所定の閾値Ｗth１より小さいかどうかを比較する。差が小さい場合（Ｓ６２８−Ｙｅｓ）には補正項ＡＥ−Ｘは初期値０のままであるが、差がＷth１より大きい場合（Ｓ６２８−Ｎｏ）には、補正項ＡＥ−Ｘに対して補正値Ｃ１がＳ６２９で設定される。
【００８０】
次いで、Ｓ６３０でＡＥ−ＢａｓｅとＷnmpeakを比較する。こちらではその比が所定の閾値Ｗth２より小さいかどうかを比較する。比が小さい場合（Ｓ６３０−Ｙｅｓ）には補正項ＡＥ−Ｘはそれ以前の値のままであるが、その比がＷth２より大きい場合（Ｓ６３０−Ｎｏ）には、現在の補正項ＡＥ−Ｘに対して更に補正値Ｃ２がＳ６３１にて加えられる。
【００８１】
このようにして補正項が決まると、再び図８の処理が始まることになる。今度は図８に対して「Ａ３」のポイントからこの処理フローに入り込むため、Ｓ６４３からの処理が行われることになる。その後の処理は図８に示したように行われるが、先にｎ番目の目的画像を処理する場合で示した内容と処理の流れが一部限定される点を除いて同一であるので、ここでは割愛する。
【００８２】
以上のようにして本システムでは露出補正値及び利得補正値の計算がＭＰＵ２１０を用いて行われる。このことによって、同一の画像ソースから複数の画像を切り出して利用するようなシステムにおいて、利用する画像毎に切り出した絵の露出を最適化することが可能になる。
【００８３】
本システムを用いると、目的画像の画角を変更しようとした際に、新しい画角での目的画像の露出の状態を撮影当初から好ましい状態に調整することが可能になる。次いで、その場合の動作例を図５及び図７を参照しながら用いて示す。
【００８４】
図５（ｃ）〜（ｅ）は、目的画像の画角が変更されようとしている時の様子を示したものである。図３でユーザが広角画像表示／操作入力部８上に、図２の線４３で囲まれた領域に相当する目的画像撮影領域変更枠８２を設定していたが、その情報が表示装置から伝達されてきた結果、目的画像の変更先領域が（ｘ３’，ｙ３’），（ｘ４’，ｙ４’）で表される領域５３であると切り出し制御部１１９において認識されたとする。この場合、画像を新しい画角に切り替えた瞬間において、過去の目的画像の情報が役に立たなくなるので、そのままでは目的画像の補正を適切に行うことができない。
【００８５】
本実施の形態では、先に説明した全画面領域の輝度参考値ＡＥ−Ｂａｓｅを求めるためのブロック測光の結果を利用する。即ち、全体図５（ｂ）に示した全体の画面を水平方向ｎ、垂直方向ｍに分割した各小領域ごとに輝度信号Ｙ’を積分した値Ｗnmの値に対して、領域５３に対応する図５（ｂ）の小領域の組を設定し、それらの輝度情報を組み合わせることで新たな画角の目的画像の仮輝度情報とする。図５（ｅ）にその対応関係を示す。
【００８６】
ここで斜線で示された小領域の組の値が利用されることになる。場合によっては、小領域の組のうち特に中央に位置するものに対して計算の際の係数にバイアスをかけることで、擬似的に中央重点型の評価を実現することも可能になる。このようにして画角変更後の目的画像に対する露出補正項の仮の値を求めることができる。この値を図７のＳ６２３におけるＡＥ−Ｘに代入してその後の処理を実施することによって、新しい画角における利得補正値等も求められる。その結果、目的画像の画角を変更しようとした際に、新しい画角での目的画像の状態を撮影当初から好ましい状態に調整することが可能になる。尚、新しい画角での撮影開始後は、先に示した図６〜図８に示したようにすることによって、より適した状態に調整される。
【００８７】
次いで、本システムにおけるＡＷＢ（ホワイトバランス自動制御）について説明する。図９はＡＷＢプリプロセス回路１１８で行われる積分処理に用いられる枠の説明図である。図９（ａ）〜（ｄ）の外枠は広角画像の撮像領域を示しており、図２の４１及び図３の広角画像表示８に対応するものである。
【００８８】
図９（ａ）は広角画像用の画像データに対応する枠である。ここでは全体の画面を水平方向ｎ、垂直方向ｍに分割し、そのそれぞれの小さな領域ごとに色差マトリクス回路１０９の出力Ｒ−Ｙ，Ｂ−Ｙをそれぞれ積分している。この分割数ｎ，ｍに関しては、先の図５（ｂ）における分割数ｎ，ｍと同一でも良いし、異なる値を設定することも構わない。積分した結果は小領域ごとの値としてＭＰＵインタフェース１２０を介してＭＰＵ２１０に与えられる。そして、その値は領域毎に重み付けされて平均化され、広角画像のＡＷＢ補正値ＡＷＢ−Ｗ（R_GAIN-W、B_GAIN-Wの組）作成に用いられる。
【００８９】
図１０にＡＷＢ制御ステップの詳細を示す。Ｓ７０１でスタートし、Ｓ７０２で水平方向ｎ、垂直方向ｍに分割したそれぞれの小さな領域ごとに色差マトリクス回路１０９の出力Ｒ−Ｙ，Ｂ−Ｙをそれぞれ積分したデータを取得している。その上で、Ｓ７０３で（Ｒ−Ｙ）ijの重み付け合計値ＳＲ−Ｙを求め、Ｓ７０４で（Ｂ−Ｙ）ijの重み付け合計値ＳＢ−Ｙを求める。Ｓ７０５でもしＳＲ−Ｙが所定の閾値−（Ｒ−Ｙ）thより小さければＳ７０６でＲ信号利得の制御値ＲGAINより所定値ＲＧ０を減ずる。Ｓ７０５でもし、ＳＲ−Ｙが−（Ｒ−Ｙ）th以上で且つ（Ｒ−Ｙ）th以下の時はそのまま、（Ｒ−Ｙ）thよりも大きい時はＳ７０７でＲGAINに所定値ＲG0を加算する。Ｓ７０８で同様にもしＳＢ−Ｙが所定の閾値−（Ｂ−Ｙ）thより小さければＳ７０９でＢ信号利得の制御値ＢGAINより所定値ＢG0を減ずる。Ｓ７０８で、もしＳＢ−Ｙが−（Ｂ−Ｙ）th以上で且つ（Ｂ−Ｙ）th以下の時はそのまま、（Ｂ−Ｙ）thよりも大きい時はＳ７１０でＢGAINに所定値ＢG0を加算する。このようにしてＡＷＢの補正のためのＲ及びＢの利得を求め、Ｓ７１１でＡＷＢ制御を終了する。
【００９０】
ＭＰＵ２１０において、求められたＡＷＢ−Ｗの制御値は、ＭＰＵインタフェース１２０を介してホワイトバランス（ＷＢ）回路１０５に与えられ、Ｒ及びＢの利得値が変更される。
【００９１】
以上のようにして広角画像のＡＷＢ補正値は求めることができたが、目的画像に対しては以下のようになる。
【００９２】
図９（ｂ）は広角画像の撮像領域５１と、目的画像の撮像画角５２及び画角変更後の目的画像の撮像画角５３をＡＷＢ用積分枠との比較のために当て嵌めた図である。この目的画像の撮像画角５２の位置情報は、図３の表示装置６の広角画像表示／操作入力部８から、目的画像撮影領域表示枠８１の座標情報として抽出され、ネットワーク５を介して撮像装置４にまで伝達されたものである。そして、その座標情報は撮像部１のＭＰＵ２１０により、現像処理部の切り出し制御部１１９に保存されている。現像処理部１０は、先に図４を用いて説明したように一連の広角画像に対する処理が終了すると、次いで、この切り出し制御部１１９の領域情報に基づいて、バッファ１０２から画像データの高速読み出しを開始し、目的画像の作成処理を実施する。読み出された目的画像用の画像データは先に図４で説明した広角画像に対する処理と同様に処理される。その際、目的画像の色差マトリクス回路１０９の出力Ｒ−Ｙ，Ｂ−ＹがＡＷＢプリプロセス１１８に入力されるが、今度は図９（ｃ）によって示された積分枠によって色差情報の処理が行われることになる。図９（ｃ）は目的画像に対するＡＷＢ積分枠を表したものである。
【００９３】
目的画像の領域を示す（ｘ３，ｙ３），（ｘ４，ｙ４）の各値は切り出し制御部１１９より与えられる。これは、図９（ｂ）の撮像画角５２に対応している。又、（ｘ３，ｙ３），（ｘ４，ｙ４）で表された領域に対して、その内側を小領域に分割するためのパラメータが水平方向ｎ’、垂直方向ｍ’として与えられる。このｎ’，ｍ’に基づいて分割された小領域ごとに色差マトリクス回路１０９の出力Ｒ−Ｙ，Ｂ−Ｙがそれぞれ積分される。
【００９４】
積分された結果は、ＭＰＵインタフェース１２０を介してＭＰＵ２１０に与えられる。そして、その値は領域毎に重み付けされて平均化され、目的画像のＡＷＢ補正値ＡＷＢ−Ｔ（R_GAIN-T、B_GAIN-Tの組）の作成に用いられる。ＡＷＢ−Ｔを求めるアルゴリズムも基本的に図１０で示したものと同一である。但し、ＡＷＢ−Ｗを求めた時と画面の分割数が、水平方向ｎ’、垂直方向ｍ’に設定されている。それ以外は同一であるので、ここでの説明は割愛する。
【００９５】
このように広角画像のＡＷＢ補正値ＡＷＢ−Ｗ及び目的画像のＡＷＢ補正値ＡＷＢ−Ｔをそれぞれの目的画像ごとに計算し、それに適用することによって、それぞれの目的画像及び広角画像のホワイトバランスを画像ごとに好ましいものにすることが可能になる。
【００９６】
本システムを用いると、目的画像の画角を変更しようとした際に、新しい画角での目的画像のＱＷＢの状態を撮影当初から好ましい状態に調整することが可能になる。その場合の動作例を図９及び図１０を用いて示す。
【００９７】
図９（ｄ）は、目的画像の画角が変更されようとしている時の様子を示したものである。
【００９８】
図３でユーザが広角画像表示／操作入力部８上に、図２の線４３で囲まれた領域に相当する目的画像撮影領域変更枠８２を設定していたが、その情報が伝達されてきた結果の目的画像の変更先領域が（ｘ３’，ｙ３’），（ｘ４’，ｙ４’）で表される領域５３であると切り出し制御部１１９において認識されたとする。この場合、画像を新しい画角に切り替えた瞬間において、過去の目的画像の情報が役に立たなくなるので、そのままでは新しい画角の目的画像のＡＷＢ補正を適切に行うことができない。
【００９９】
本実施の形態では、図９（ａ）で示した広角画像のＡＷＢ補正のための情報を利用して、先ず、一時情報を作成する。即ち、図９（ｄ）に示すように、図９（ａ）において水平方向ｎ、垂直方向ｍに分割された小領域の中から、領域５３に相当する小領域の組を設定し、それらの小領域における色差信号積分情報を組み合わせることで新たな画角の目的画像の仮色差信号情報とする。例えば、分割された各小領域のうち、その面積の半分以上が領域５３に含まれる場合に前記小領域の組に含まれることとすると、図９（ｄ）においては斜線で示された小領域の組の値が利用されることになる。この小領域の組から得られた値を新しい画角のＳＲ−Ｙ，ＳＢ−Ｙとして、図１０のフローチャートの中で利用する。領域５３の画角での映像処理が実際に開始された後は、図９（ｃ）に示したように新たな目的画像の領域を水平方向ｎ’、垂直方向ｍ’に分割し、その小領域ごとに色差マトリクス回路１０９の出力Ｒ−Ｙ，Ｂ−Ｙをそれぞれ積分することによって、新たな画角に対応した目的画像のＡＷＢ補正値が計算されることになる。
【０１００】
このようにすることによって、目的画像の画角を変更しようとした際に、新しい画角での目的画像のＡＷＢの状態を撮影当初から好ましい状態に調整することが可能になる。
【０１０１】
以上、広角画像と１つの目的画像の処理を例に説明したが、目的画像は複数設定することが可能である。この目的画像を作るための切り出しデータの読み出しを１映像期間内に時分割多重で複数回行うことによって、見掛け上複数のユーザに対してリアルタイムで複数の目的画像のストリームを提供することが可能になる。
【０１０２】
＜実施の形態２＞
実施の形態１においては、目的画像の輝度参考値ＡＥ−Ｔｎを求める際の、輝度信号積分値に対する重み付けは中央重点測光になるようにしており、各目的画像に対して共通であった。
【０１０３】
しかし、複数のユーザで利用している場合、ユーザの好みは多種多様であり、その測光モードも各ユーザの好みによって切り替えて利用できれば、より各ユーザが求める画像に近い画像を提供することができる。そのような場合について、以下、図１１〜図１３を用いて説明する。尚、実施の形態と構成要素が同一のものに関しては実施の形態１における図１〜図１０までの番号を流用して説明する。
【０１０４】
図１１は本実施の形態における撮像システムの利用例を示したものである。本実施の形態では、図１と異なり、複数のユーザが複数の表示装置６（ａ）〜（ｃ）から１台の撮像装置４を、ネットワーク５を介して利用している。各表示装置はパーソナルコンピュータ（ＰＣ）とＰＣ用のモニタによって構成されている。
【０１０５】
ここで、各ユーザは広角画像表示／操作入力部８（ａ）〜（ｃ）を利用して、撮像装置４に対して各ユーザの好みに応じた測光モードを指示できるものとする。ここで言うところの測光モードとは、実施の形態１で示した中央重点測光等の他、例えばサーフ＆スノーモードやスポットライトモード等がある。ユーザの測光モードの指示は、表示装置６よりそれぞれ撮像装置４の通信部３から撮像部のＭＰＵ２１０に伝達され、そこでユーザ毎の撮影補助情報として記憶される。
【０１０６】
図１２は本実施の形態におけるＡＥプリプロセス回路１１７で行われる積分処理に用いられる枠の説明図である。図１２（ａ）〜（ｄ）の外枠は広角画像の撮像領域を示しており、図２の４１及び図３の広角画像表示８に対応するものである。図１２（ａ）〜（ｃ）に関しては実施の形態１における図５と共通であり、ここでは説明を省略する。
【０１０７】
図１２（ｄ）は実施の形態２における目的画像に対するＡＥ積分枠を表したものである。目的画像の領域を示す（ｘ３，ｙ３），（ｘ４，ｙ４）の各値は切り出し制御部１１９より与えられる。これは、図１２（ｃ）の撮像画角５２に対応している。又、（ｘ３，ｙ３），（ｘ４，ｙ４）で表された領域に対して、その内側を小領域に分割するためのパラメータが水平方向ｎ”、垂直方向ｍ”として与えられる。ＡＥプリプロセス１１７に入力される目的画像の輝度信号Ｙ’は、このｎ”，ｍ”に基づいて分割された小領域ごとに積分される。
【０１０８】
次いで、このブロック測光された結果を用いてどのようにＡＥの補正値を求めるかのアルゴリズムを示す。基本的にアルゴリズムは実施の形態１と殆ど共通であるので、異なるところのみを示す。
【０１０９】
図１３に本実施の形態におけるＡＥ制御のアルゴリズムを示す。
【０１１０】
基本的には実施の形態１の図７と同じであるが、図７におけるＳ６２２が図１３ではＳ６３３，Ｓ６３４に置き換わっている。即ち、実施の形態１の図７ではＳ６２２で中央重点測光の評価式を用いてＡＥ−Ｔｎを求めていたが、本実施の形態では、Ｓ６３３で、各ユーザが求めている測光モードに基づいた重み付け係数Ｋ’ijを設定し、その係数と図１２（ｄ）におけるブロック測光の結果を掛け合わせて加算することによって、求められたｎ番目の目的画像の輝度補正値ＡＥ−Ｔｎを求めている。
【０１１１】
このようにすることによって、ユーザの好みに応じた測光モードを用いて各目的画像の補正が可能となり、よりユーザが求める画像に近い映像を提供することが可能になる。
【０１１２】
＜実施の形態３＞
実施の形態２においては、図８に示したように、求められた補正項ＡＥ−Ｘの値がデジタル補正による利得調整で補正可能な値かどうかを判断する際、補正可能な範囲の値であった場合には全画面領域に対する輝度参考値ＡＥ−Ｂａｓｅは変更することはなかった。しかし、場合によっては、全画面領域に対する輝度参考値ＡＥ−Ｂａｓｅを変更することによって、各画面における補正項の総和をより小さな値に収束させることが可能な場合もあり、そのような方向にＡＥ−Ｂａｓｅを変更させるようなアルゴリズムにすることも、ある場面においては有効である。本実施の形態では、そのような場合についてのアルゴリズム例を、図１４を用いて説明する。
【０１１３】
図１４は本実施の形態におけるＡＥ制御のフローチャートを示したものであり、実施の形態１の図８に相当する。基本的にこの部分以外は実施の形態１と構成及びアルゴリズムは同じであるので、それらの部分に関しての詳細な説明は省略する。
【０１１４】
図１４は実施の形態１の図８と異なっているのは、求められた補正項ＡＥ−Ｘの値がデジタル補正による利得調整で補正可能な値かどうかを判断した際、補正可能な範囲の値であった場合（Ｓ６４０−Ｙｅｓ）の動作に関してである。本実施の形態では、そのような場合、Ｓ６５１において現在処理している広角画像及び全ての目的画像の輝度参考値（ＡＥ−ａｌｌで総称する) に対する現在の全画面領域に対する輝度参考値ＡＥ−Ｂａｓｅとの差分和ＡＥ−Ｘsum を取る。そして、Ｓ６５２においてＡＥ−Ｘsum がＡＥ−Ｂａｓｅを所定の範囲内で変更させる場合に現在の値で最小になっているかどうかを判断する。もし、最小になっているのであれば（Ｓ６５２−Ｙｅｓ）、そのときのＡＥ−Ｂａｓｅを新しいＡＥ−Ｂａｓｅとしてその後の絞りの調整や利得調整を実施する。
【０１１５】
一方、最小でなかった場合には（Ｓ６５２−Ｎｏ）、ＡＥ−Ｂａｓｅを所定の範囲内で変更する（Ｓ６５３）。ここで所定の範囲とは、各輝度参考値とＡＥ−Ｂａｓｅの値の差がデジタル補正による利得調整で補正可能な範囲内であること、即ち、ＡＥ−Ｂａｓｅ−Ｋ８＜ＡＥ−ａｌｌ＜ＡＥ−Ｂａｓｅであることを意味する。
【０１１６】
このようにすることによって、なるべく多くのユーザがデジタル的利得補正を最小限に押さえた画像を利用できるようになる。又、実施の形態１の場合に比べて、常にＡＥ−Ｂａｓｅの値を細かく調整しているため、絞りの状態を変化させなければならない場合に、一度に変化する量を小さく抑えることが可能になり、パラメータの急激な変更を避けることが可能になる。
【０１１７】
＜実施の形態４＞
実施の形態１では図４に示すように、画像の切り出しを行うために、デジタル化された入力信号を一時蓄えるためのバッファ１０２を用い、このバッファ１０２に対して切り出し制御部１１９から制御を行うことで、複数の画像データの切り出しを実現していた。一方、撮像素子にＭＯＳセンサを利用すると、このようなバッファを準備せずとも、システムと動作が実現可能になる。そのような場合の例を実施の形態４として示す。実施の形態４では実施の形態１とバッファ１０２の有無等、撮像部ハードウェアの構成が異なるのみであるので、その違いを図１５を用いて説明する。
【０１１８】
図１５において、撮像素子２０２はＭＯＳセンサである。そして、図１において存在したバッファ１０２が存在せず、ＡＤ変換器１０１の出力は直接色分離及び輝度信号合成回路１０３に対して入力される。
【０１１９】
一方、切り出し制御部１１９の出力のうち１つが、撮像素子を制御するドライバ２０６に入力されている。画像を切り出す際には、切り出し制御部１１９に設定された情報をドライバ２０６に伝達してCMOSセンサによって構成される撮像素子２０２から選択的に撮像信号を読み出すことによって、画像切り出し制御が実現できるようになる。これ以降のハードウェアの処理の流れや、ソフトウェアにおけるＡＥ制御等のアルゴリズムに関しては実施の形態１と同等であるので、これについての説明は省略する。
【０１２０】
＜実施の形態５＞
実施の形態１〜４においては、輝度参考値ＡＥ−Ｂａｓｅは現在の全画面領域に対する輝度を用いて求めていた。これは、撮影可能な範囲内で目的画像として新たな切り出し画像が発生してもそれに即座に対応可能にできるように考えてのことであった。
【０１２１】
しかし、そのようにすることで、現在の目的画像の範囲に含まれていない点において大きく輝度が異なる点があったりすると、その輝度情報がＡＥ−Ｂａｓｅの算出に影響を与えるため、現在の目的画像に対して考えた場合必ずしも精度高く絞りや利得の調整が行われているとは言えなかった。
【０１２２】
本実施の形態では、ＡＥ−Ｂａｓｅの算出に、現在利用されている目的画像の複数の枠をマージする領域を使用して、現在の目的画像に対して精度高く絞りや利得の調整を行えるようにした例を示す。基本的な構成及びアルゴリズムは実施の形態１と同等であるので実施の形態１の図を流用し、異なるところのみ詳細に示す。
【０１２３】
実施の形態１ではＡＥ−Ｂａｓｅ設定用の積分枠は図５（ａ），（ｂ）に示されたように全画面領域に対応したものであった。これに対し、本実施の形態では、目的画像が複数切り取られている場合に、それらの目的画像の撮影範囲からその枠を設定する。図１６（ａ）〜（ｅ）にその例を示す。
【０１２４】
図１６（ａ）では３つの目的画像ａ，ｂ，ｃが或る程度の重なりをもって切り取られている。そこで、３つの目的画像ａ，ｂ，ｃを全て包含するような座標値（ｘ７，ｙ７），（ｘ８，ｙ８）で表される矩形領域の枠を設定し、その範囲内で輝度信号を積分するようにする。図１６（ｂ）では、座標値（ｘ７，ｙ７），（ｘ８，ｙ８）で表される矩形枠の中に更に座標値（ｘ９，ｙ９），（ｘ１０，ｙ１０）で表される矩形領域の枠が設定されている。この座標値（ｘ９，ｙ９），（ｘ１０，ｙ１０）で表される矩形領域は３つの目的画像ａ，ｂ，ｃがそれぞれ重なりを持っている領域を包含したものであり、この領域をＡＥ−Ｂａｓｅを設定する時の中央重点測光用の枠に利用する。
【０１２５】
ここで、この座標値（ｘ９，ｙ９），（ｘ１０，ｙ１０）で示される領域をＳＢ、座標値（ｘ７，ｙ７），（ｘ８，ｙ８）で表される矩形枠の中でＳＢの領域を除いたものをＳＡと呼ぶことにする。又、図１６（ｃ）は座標値（ｘ７，ｙ７），（ｘ８，ｙ８）で表される矩形枠の中を水平方向ｎ”’、垂直方向ｍ”’に区切った物である。このように区切ったブロックごとにブロック測光を行うことも可能である。
【０１２６】
尚、もし図１６（ｄ）のように、３つの目的画像ａ，ｂ，ｃにそれぞれ重なる領域がなかった場合にも、それらを全て包含するような座標値（ｘ７’，ｙ７’），（ｘ８’，ｙ８’）で表される矩形領域の枠を設定し、その範囲内で輝度信号を積分するようにすることができる。そして、そのような場合には図１６（ｅ）のように、目的画面ａ，ｂ，ｃそれぞれの画面の中心を通るような矩形領域を座標値（ｘ９’，ｙ９’）−（ｘ１０’，ｙ１０’）のように設定し、その枠を中央重点測光用に利用する方法等を採ることができる。又、目的画像の数が多い場合には、目的画像のうち８割を包含する領域等というように座標値（ｘ７’，ｙ７’），（ｘ８’，ｙ８’）を設定することも可能である。
【０１２７】
このように枠を設定することで、広角画像の処理用のデータを利用してＡＥ−Ｂａｓｅの値を再設定するようにできる。その際のアルゴリズムを図１７に示す。これは実施の形態１の図７に相当するものである。
【０１２８】
図１７において、広角画像を処理する際のＳ６２５までは図７と処理が共通である。Ｓ６６１からが本実施の形態の新しい部分であるので、ここからの流れを詳細に説明する。
【０１２９】
Ｓ６６１において、複数の目的画像の撮影範囲からその枠を設定して得られる輝度参考値をＡＥ−Ｓとする。ここでは、図１６（ｂ）のＳＡ及びＳＢ領域の重み付け平均値ＡＥ−Ｓが求められる。即ち、ＡＥプリプロセス１１７で求められたＳＡ，ＳＢ各領域での輝度信号Ｙ’の積分値にそれぞれ重みＫ１，Ｋ２を乗じ、それらを加算することで、複数の目的画像の撮影範囲におけるの輝度参考値ＡＥ−Ｓが得られる。
【０１３０】
一方、Ｓ６６２では図１６（ｃ）に示した座標値（ｘ７，ｙ７），（ｘ８，ｙ８）で表される矩形枠の中を水平方向ｎ”’、垂直方向ｍ”’に分割した各小領域ごとに輝度信号Ｙ’を積分した値Ｗsnm をＭＰＵ２１０で分析し、その平均値Ｗsaveやピーク値Ｗspeak 等を求めている。これらのブロック測光によって得られた結果をＡＥ−Ｓと比較する。本実施の形態では、先ず、Ｓ６６３において、ＡＥ−ＳとＷsaveに重みＫ３を乗じたものを比較し、その差が所定の閾値Ｗth1 より小さいかどうかを比較する。差が小さい場合（Ｓ６６３−Ｙｅｓ）には補正項ＡＥ−Ｓｃは初期値０のままであるが、差がＷth１より大きい場合（Ｓ６６３−Ｎｏ）には、補正項ＡＥ−Ｓｃに対して補正値Ｃ１がＳ６６４で設定される。
【０１３１】
次いで、Ｓ６６５でＡＥ−ＳとＷspeak を比較する。こちらではその比が所定の閾値Ｗth２より小さいかどうかを比較する。比が小さい場合（Ｓ６６５−Ｙｅｓ）には補正項ＡＥ−Ｓｃはそれ以前の値のままであるが、その比がＷth２より大きい場合（Ｓ６６５−Ｎｏ）には、現在の補正項ＡＥ−Ｓｃに対して更に補正値Ｃ２がＳ６６６にて加えられる。
【０１３２】
このようにして補正項が決まると、複数の目的画像の撮影範囲における輝度情報を基に求められた新しいＡＥ−Ｂａｓｅの候補値（ＡＥ−Ｓ＋ＡＥ−Ｓｃ）が求まるので、この値と現在のＡＥ−Ｂａｓｅとの差分を取ることで、ＡＥ−Ｂａｓｅの補正項ＡＥ−Ｘとしてどの位の値が必要かが求められる（Ｓ６６７）。求められたＡＥ−Ｘの値は図８のＡ３ポイントからの処理の流れに沿って処理され、新しいＡＥ−Ｂａｓｅの値が求まることになる。
【０１３３】
このようにすることによって、現在の目的画像に対して精度高く絞りや利得の調整を行え  るようになり、より適正に処理された画像を扱うことができるようになる。
【図面の簡単な説明】
【０１３４】
【図１】本発明の実施の形態１における撮像装置を用いたシステムの構成例を示す図である。
【図２】本発明の実施の形態１における撮像装置を用いた撮影の様子を示す図である。
【図３】本発明の実施の形態１における表示端末での表示の例を示す図である。
【図４】本発明の実施の形態１における撮像装置の撮像部の構成例を示す図である。
【図５】本発明の実施の形態１におけるＡＥ用の積分枠の構成を示す図である。
【図６】本発明の実施の形態１におけるＡＥ制御初期化時の処理を示すフローチャートである。
【図７】本発明の実施の形態１におけるＡＥ制御時の処理を示すフローチャート１である。
【図８】本発明の実施の形態１におけるＡＥ制御時の処理を示すフローチャート２である。
【図９】本発明の実施の形態１におけるＡＷＢ用の積分枠の構成を示す図である。
【図１０】本発明の実施の形態１におけるＡＷＢ制御時の処理を示すフローチャートである。
【図１１】本発明の実施の形態２における撮像装置を用いたシステムの構成例を示す図である。
【図１２】本発明の実施の形態２におけるＡＥ用の積分枠の構成を示す図である。
【図１３】本発明の実施の形態２におけるＡＥ制御時の処理を示すフローチャート２である。
【図１４】本発明の実施の形態３におけるＡＥ制御時の処理を示すフローチャート２である。
【図１５】本発明の実施の形態４における撮像装置の撮像部の構成例を示す図である。
【図１６】本発明の実施の形態５におけるＡＥ用の積分枠の構成を示す図である。
【図１７】本発明の実施の形態５におけるＡＥ制御時の処理を示すフローチャート２である。
【符号の説明】
【０１３５】
１      撮像部
２      画像圧縮部
３      通信部
４      撮像装置
５      ネットワーク撮像装置
６      表示装置
７      通信／画像変換部
８      広角画像表示／操作入力部
９      目的画像表示部
１０    現像処理部
２０    撮像処理部
４１    広角画像での撮影対象
４２    目的画像での撮影対象
４３    画角変更後の目的画像での撮影対象
５１    広角画像に対する積分枠の外形
５２    目的画像に対する積分枠の外形
５３    画角変更後の目的画像に対する積分枠の外形
８１    画像−通信武官制御信号
１００  同期信号発生器
１０１  ＡＤ変換器
１０２  バッファ
１０３  色分離及び輝度信号合成回路
１０４  ローパスフィルタ
１０５  ホワイトバランス（ＷＢ）回路
１０６  ガンマ・ニー回路
１０７  ローパスフィルタ
１０８  マトリクス回路
１０９  色差マトリクス回路
１１０  色補正回
１１１  解像度変換器
１１２  ＹＣｂＣｒ符号化器
１１３  ガンマ補正回路
１１４  Ｙ信号処理器
１１５  前処理部
１１６  ＡＦの前処理を行うＡＦプリプロセス回路
１１７  ＡＥの前処理を行うＡＥプリプロセス回路
１１８  ＡＷＢの前処理を行うＡＷＢプリプロセス回路
１１９  切り出し制御部
１２０  ＭＰＵインタフェース回路
２０１  撮像レンズ
２０２  ２次元カラー撮像素子
２０３  絞り
２０４  ＩＧメータ
２０５  自動焦点（ＡＦ）モータ
２０６  ドライバ
２０７  アナログ画処理部
２０８  ＡＦドライバ回路
２０９  ＩＧドライバ回路
２１０  マイクロプロセッサユニット（ＭＰＵ）
【図１】
2006222816.tif 000003
【図２】
2006222816.tif 000004
【図３】
2006222816.tif 000005
【図４】
2006222816.tif 000006
【図５】
2006222816.tif 000007
【図６】
2006222816.tif 000008
【図７】
2006222816.tif 000009
【図８】
2006222816.tif 000010
【図９】
2006222816.tif 000011
【図１０】
2006222816.tif 000012
【図１１】
2006222816.tif 000013
【図１２】
2006222816.tif 000014
【図１３】
2006222816.tif 000015
【図１４】
2006222816.tif 000016
【図１５】
2006222816.tif 000017
【図１６】
2006222816.tif 000018
【図１７】
2006222816.tif 000019