(57)【要約】【課題】  広角レンズを備えた全方位カメラにおいて、複数のユーザーに異なる表示形態に対応した映像の配信を指定された場合にも、表示形態の組み合わせに応じて、最適な撮影パラメータで撮影できる手段を提供すること。【解決手段】  広角レンズを備えた全方位カメラにおいて、ユーザに指定された表示形態に合わせた歪補正処理を行う手段と、レンズ制御や画像処理のための撮影パラメータを決定するための評価値を算出する評価エリアを指定する手段を有し、ユーザから指定された表示形態（すなわち、歪補正処理）の組み合わせに基づいて、評価エリアを変更する構成とした。【選択図】  図１
2018142939.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して画像信号を生成する撮像手段と、
前記画像信号から評価値を算出する評価値算出手段と、
前記評価値算出手段で評価する領域を設定する評価エリア設定手段と、
前記評価値算出手段の結果に応じて前記撮像手段を制御する制御手段と、
前記画像信号に対して１つ以上の歪補正処理を行う歪補正手段と、を有し、
前記評価エリア設定手段は、前記１つ以上の歪補正処理の種類に応じて前記評価エリアを変更することを特徴とする撮像装置。
【請求項２】
前記１つ以上の歪補正処理には、前記画像信号の一部の領域を除外して歪補正処理をする歪補正処理が含まれることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記１つ以上の歪補正処理には、前記画像信号の一部の領域の１以上を切り出し、切り出し画像の各々に対して歪補正処理をする歪補正処理が含まれることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記評価値算出手段は、輝度成分、色成分、コントラスト値、エッジ成分、ノイズ成分の内の少なくとも１つを評価値として算出することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記制御手段は、前記評価値算出手段により算出された評価値に基づいて、前記撮像手段の露出制御、フォーカス制御、ホワイトバランス制御、画像処理のうちの少なくとも１つを行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
選択された任意の評価エリア、または、前記歪補正手段で実行される歪補正処理の種類についての情報を外部から受信する通信手段、
をさらに有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記任意の評価エリアが選択されていて、かつ、前記歪補正処理手段において前記画像信号の一部を除外して歪補正処理が実行される場合は、
前記評価エリア設定手段は、設定する評価エリアから、前記歪補正処理で除外される画像信号の一部の領域を除外することを特徴とする請求項６に記載の撮像システム。
【請求項８】
前記任意の評価エリアが選択されていて、かつ、前記歪補正手段で歪補正処理が実行される有効領域に前記任意の評価エリアの全領域または一部の領域が含まれる場合は、
前記評価エリア設定手段は、前記有効領域と前記任意の評価エリアが重なる領域の前記評価値算出手段で算出する評価値の重み付けを変更することを特徴とする請求項６又は７に記載の撮像装置。
【請求項９】
前記評価エリア設定手段は、前記１つ以上の歪補正処理のそれぞれに対応する映像ストリームが外部から要求されている数に応じて、前記評価値算出手段で算出される評価値の重み付けを変更することを特徴とする請求項６乃至８のいずれか１項に記載の撮像システム。
【請求項１０】
被写体を撮像して画像信号を生成する撮像手段と、
前記画像信号から評価値を算出する評価値算出手段と、
前記評価値算出手段で評価する領域を設定する評価エリア設定手段と、
前記評価値算出手段の結果に応じて前記撮像手段を制御する制御手段と、
１つ以上の映像配信の種類を選択する選択手段と、を有し、
前記評価エリア設定手段は、前記１つ以上の映像配信の種類に応じて前記評価エリアを変更することを特徴とする撮像システム。
【請求項１１】
被写体を撮像して画像信号を生成するステップと、
前記画像信号から評価値を算出するステップと、
前記評価値算出手段で評価する領域を設定するステップと、
前記評価値算出手段の結果に応じて前記撮像手段を制御するステップと、
前記画像信号に対して１つ以上の歪補正処理を行うステップと、
前記１つ以上の歪補正処理の種類に応じて前記評価エリアを変更するステップと、
を有することを特徴とする撮像装置の制御方法。
【請求項１２】
請求項１１に記載の各ステップをコンピュータによって実行させるためのコンピュータプログラム。
【請求項１３】
請求項１２に記載のプログラムを記載したコンピュータで読み取り可能な記録媒体。
【請求項１４】
被写体を撮像して画像信号を生成するステップと、
前記画像信号から評価値を算出するステップと、
前記評価値算出手段で評価する領域を設定するステップと、
前記評価値算出手段の結果に応じて前記撮像手段を制御するステップと、
１つ以上の映像配信の種類を選択するステップと、
前記１つ以上の映像配信の種類に応じて前記評価エリアを変更するステップと、
を有することを特徴とする撮像システムの制御方法。
【請求項１５】
請求項１４に記載の各ステップをコンピュータによって実行させるためのコンピュータプログラム。
【請求項１６】
請求項１５に記載のプログラムを記載したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像システム、その制御方法およびプログラムに関し、特に、被写体撮影時のカメラ制御に用いる画像信号の評価エリアの設定に関する。
【背景技術】
【０００２】
従来、監視カメラの種別の１つとして広角レンズを搭載した全方位カメラが浸透してきている。１台で３６０°監視することができるので、台数・コストの削減につながる。また、全方位カメラ魚眼画像（全方位画像）をそのまま出力する以外に、複数種類の表示形態に対応して歪補正処理を施した画像や映像を出力可能なカメラが一般的である。また、人体検知や動体検知といった各種Ｖｉｄｅｏ  Ｃｏｎｔｅｎｔ  Ａｎａｌｙｓｉｓ（以下、ＶＣＡ）等を使用する際には、魚眼画像（全方位画像）に対して歪補正を施した後の画像を用いることも多い。更に、複数種類の歪補正処理を行った複数の映像を出力可能であり、撮影環境や設置環境に応じた監視ができることも特徴のひとつである。
【０００３】
全方位カメラで切り出し範囲（表示範囲）を設定可能な構成において、特許文献１には、歪補正後の撮像画像における分割領域毎に画像処理パラメータを算出し、切り出し領域の画像に対して混合補正を行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−２２６１４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、全方位画像全体を１つの矩形に補正するように歪補正処理を行う構成について記載されているだけで、それ以外の異なる歪補正を施す場合については開示されていない。すなわち、ユーザーにより異なる歪補正を施したカメラの映像が要求された場合に、露出制御や画像処理などのカメラ制御が適切にされない場合がある。
【０００６】
そこで、本発明の目的は、複数種類の異なる歪補正処理を施した映像を出力可能な構成において、出力する映像に最適なカメラ制御が可能な手段を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、被写体を撮像して画像信号を生成する撮像手段と、前記画像信号から評価値を算出する評価値算出手段と、前記評価値算出手段で評価する領域を設定する評価エリア設定手段と、前記評価値算出手段の結果に応じて前記撮像手段を制御する制御手段と、前記画像信号に対して１つ以上の歪補正処理を行う歪補正手段と、を有し、前記評価エリア設定手段は、前記１つ以上の歪補正処理の種類に応じて前記評価エリアを変更することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数種類の異なる歪補正処理を施した映像を出力可能な構成において、出力する映像に最適なカメラ制御を実現することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る撮像システムの構成例を示す図
【図２】本発明の実施形態に係る撮像装置の撮像部の構成例を示す図
【図３】本発明の実施形態に係る映像（ストリーム）の種類の例
【図４】本発明の実施形態に係る全方位カメラで天井から床方向を撮影した画像の例
【図５】本発明の実施形態に係る全方位画像をダブルパノラマで表示した画像の例
【図６】本発明の実施形態に係る歪補正処理後に出力される画像の例
【図７】第１の実施形態に係る撮像装置の評価エリアの設定処理を示すフローチャート
【図８】第１の実施形態に係る図４および図５の歪補正処理が設定されている場合の評価エリアが設定された画像の例
【図９】第１の実施形態に係る図６および図６の歪補正処理が設定されている場合の評価エリアが設定された画像の例
【図１０】第１の実施形態に係る図８および図９の評価エリアを考慮した場合の評価エリアが設定された画像の例
【図１１】第２の実施形態に係る複数の映像に対して複数種類の歪補正処理が選択されている場合の例を示す表
【図１２】本発明の第２の実施形態に係る撮像システムの評価エリア設定処理を示すフローチャート
【図１３】第２の実施形態に係る評価エリア選択部で任意の評価エリアが選択されている場合の画像の例
【図１４】第２の実施形態に係る歪補正選択部で歪補正が選択されている場合の評価エリアが設定された画像の例
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施形態の一例を、添付の図面に基づいて詳細に説明する。以下では、撮像装置としてカメラを用いる場合を例に説明する。
【００１１】
図１は、第１の実施形態に係る撮像システムの構成例を示す図である。図１において、撮像装置１０は、クライアント装置１１（情報処理装置）と相互に通信可能な状態に接続されている。
【００１２】
撮像装置１０が有する撮像部１０１（撮像手段）は、被写体像を撮像するための撮像部（撮像手段）である。撮像部１０１は、不図示の撮像光学系としてのレンズから入射した光を、不図示の撮像素子が電気信号に変換する。撮像部１０１の動作は、後述する評価値算出部１０３により取得される評価値算出結果や、不図示の画像解析手段による画像認識結果や被写体情報に基づいて、制御部１０４によって制御される。
【００１３】
画像生成部１０２は、撮像部１０１から出力された輝度信号および色信号からＲＧＢ画像やＹＵＶ画像等の画像信号を生成する。
【００１４】
評価値算出部１０３は、画像生成部１０２で生成された画像信号の所定のエリアを評価して評価値を算出する。評価値としては、例えば、輝度成分、色成分、エッジ成分、コントラスト値、ノイズ成分、絞り情報、フォーカス情報、振れ情報などを算出できる。また、評価値は画像信号の領域毎に重み付けを変更してもよい。
【００１５】
制御部１０４は、撮像装置１０の全体を制御し、撮像や画像処理、映像出力、などの制御を行う。図示しないＣＰＵ（コンピュータ）、メモリ（ＲＯＭ、ＲＡＭ）を有し、ＣＰＵはメモリからロードしたコンピュータプログラムに従い、撮像装置１０の各機能ブロックの制御およびそのために必要な演算を行う。例えば、撮像部１０１内の、撮像素子２０２内での露光時間制御、ＡＧＣ２０４内のゲイン制御等の露出制御およびホワイトバランスを制御する。また、レンズ２０１のズーム動作やフォーカス動作の制御を行う。
【００１６】
評価エリア設定部１０５は、評価値算出部１０３で評価値を算出するために評価する評価エリアを設定し、設定された評価エリアの信号に基づいて、撮像部１０１や、後述する画像処理部を制御するためのパラメータが決定される。エリアは複数設定することが可能で、全体エリアやエリア内の所定領域、エリアの中心からの距離等に応じて評価値を算出する際の重み付けを変更してもよい。
【００１７】
画像処理部１０６は、例えば、Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ（ＤＳＰ）などから構成され、デジタル信号に対して色変換、信号処理された画像の階調変換を行うガンマ処理、ノイズ低減処理など種々の画像処理を行う。画像処理部１０６の動作は、評価値算出部１０３により取得される評価値算出結果や、不図示の画像解析手段による画像認識結果や被写体情報に基づいて、制御部１０４によって制御される。
【００１８】
歪補正処理部１０７は、画像処理部１０６で画像処理を施された画像に対して幾何学的変換などの歪補正処理を行う。
【００１９】
歪補正設定部１０８は、歪補正処理部１０７で行う歪補正の種類を設定する。歪補正の種類は、通信部１０９を介しクライアント装置１１（情報処理装置）から設定可能である。例えば、外部端末により出力映像（ストリーム）の種類を選択し、歪補正設定部１０８がその出力映像（ストリーム）の種類の情報に基づいた歪補正の種類を設定する。また、例えば、画像認識や動体検知などの解析機能や、解析機能が設定されている領域に基づいて歪補正の種類を設定してもよい。
【００２０】
通信部１０９は、歪補正処理１０７で歪補正された画像信号をクライアント装置１１（情報処理装置）などの外部端末へ、要求された画像を出力し、また、映像配信を行う。画像信号の出力先、映像の配信先はカメラに内蔵されているディスプレイや独立している外部のディスプレイでもよい。また、画像信号から複数の映像ストリームを生成し出力してもよい。また、本システムの状態や処理結果などを外部ネットワークを介して外部端末に出力し、または本システムの動作を制御するための制御情報などを外部端末から入力するために用いられる。制御部１０４が、通信部１０９を介して入力された情報を取得し、その情報に基づいて各機能ブロックの制御を行う。
【００２１】
クライアント装置１１（情報処理装置）に関して以下に説明する。評価エリア選択部１１１は、ユーザー操作により画像信号上の任意の評価エリアを選択する。
【００２２】
歪補正選択部１１２は、ユーザー操作により歪補正の種類を選択する。
【００２３】
表示部１１３は、撮像装置１０の出力部１０９からの出力を任意の表示形式で表示する。
【００２４】
通信部１１４は、選択された評価エリアや歪補正の種類または出力映像（ストリーム）の種類の情報や、撮像装置１０に対する指示、画像解析結果などの情報を撮像装置１０へ出力する。また、撮像装置１０より出力された画像信号を入力し、表示部１１３へ表示させる。
【００２５】
ここで、図２は本発明の実施形態に係る撮像装置の撮像部の構成例を示す図である。撮像部１０１は、レンズ２０１、撮像素子２０２、ＣＤＳ回路２０３、ＡＧＣ２０４、Ａ／Ｄ変換２０５を備える。
【００２６】
レンズ２０１は、数枚のレンズ群からなり、被写体像を撮像素子２０２に結像する。レンズ２０１は歪みが多く画角が広い広角レンズや魚眼レンズでもよい。本実施形態では、魚眼レンズの場合に関して説明する。
【００２７】
撮像素子２０２は、例えばＣＣＤやＣＭＯＳなどであり、撮像光学系としてのレンズ２０１を介して結像された被写体像を電気信号に変換する。
【００２８】
ＣＤＳ回路２０３（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ回路）は、撮像素子２０２から出力された電気信号に対して雑音軽減を行う相関二重サンプリング処理などを実施する。
【００２９】
ＡＧＣアンプ２０４（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ回路）は、カメラの利得制御を自動で行うゲインコントロールアンプ回路であり、ＣＤＳ回路２０３から出力された電気信号に対して増幅処理などを行う。
【００３０】
Ａ／Ｄ変換２０５は、ＡＧＣアンプ２０４により増幅処理されたアナログ信号をデジタル信号へと変換する。
【００３１】
ここで図３を用いて、映像（ストリーム）の種類と、歪補正設定部１０８で選択される歪補正の種類の例を説明する。図３は、本発明の実施形態に係る出力映像（ストリーム）の種類の例である。なお、映像の種類および歪み補正の種類は１例であり、分割数、分割エリアの形状などは以下に限られない。
【００３２】
（Ａ）は、魚眼と称する。全方位画像の全領域が有効領域で、撮影した映像をそのまま配信する。歪補正設定部１０８では、歪補正処理をしない設定となる。
【００３３】
（Ｂ）は、ダブルパノラマと称する。全方位画像を２分割し、歪補正処理を施した画像を合成したパノラマ画像として配信する。歪補正設定部１０８では、２分割された領域をそれぞれ矩形になるよう歪補正の種類を設定する。
【００３４】
（Ｃ）は、シングルパノラマと称する。全方位画像を１つのパノラマ画像として配信する。歪補正設定部１０８では、全方位画像が１つの矩形になるような歪補正処理の種類を設定する。
【００３５】
（Ｄ）は、４画ストリームと称する。全方位画像を４つの領域を切り出し、それぞれを１つのストリームとして配信する。歪補正設定部１０８では、４つの領域それぞれを矩形になる歪補正処理の種類を設定する。この図の例の場合、４分割であるので４本のストリームとして配信するが、分割数はこれに限られない。
【００３６】
（Ｅ）は、４画合成と称する。（Ｄ）と同様に、全方位画像を４つの領域を切り出して画像補正を施すが、最終的に４つの画像を合成して配信する。歪補正設定部１０８で選択される歪補正処理の種類は、（Ｄ）と同様である。分割数はこれに限られない。
【００３７】
なお、図３に示した例において、（Ｂ）、（Ｄ）、（Ｅ）の映像ストリームが選択されている場合は、全体画像の中心部分は映像として配信されない。
【００３８】
ここで、図４〜図６を用いて歪補正処理部１０７で歪補正処理される画像の例を説明する。図４は、本発明の実施形態に係る全方位カメラで天井から床方向を撮影した画像の例である。図４の画像３０は、天井に設置された魚眼レンズを備えたカメラで、床に対して垂直な方向を撮影した場合の歪補正がされていない画像全体を示す。これは図３（Ａ）の魚眼画像と同等の画像である。
【００３９】
図５は、本発明の実施形態に係る全方位画像をダブルパノラマ画像の例である。図３（Ｂ）に示したように、本実施形態において、ダブルパノラマとは、全方位画像の全体を２分割し、それぞれに対して歪補正を行い並べた画像形態である。図４の魚眼画像から、画像３０うちの破線で区切られた一部の領域３００の部分を除外して、同じく破線で区切られた領域３０１、領域３０２をそれぞれ切り出して歪補正処理を行い、領域３０２を上下反転させている。この場合、図４の破線で区切られた領域３００が無効領域、領域３０１および領域３０２が有効領域である。
【００４０】
さらに、別の歪補正処理の例として、図６は、第１の実施形態に係る歪補正処理後に出力される画像の例である。図４の実線で区切られた領域４００〜４０２を部分的に切り出して、図６の領域４０１〜４０２のように切り出した部分画像を繋げて１つの画像として生成している。この場合、図４の実線で区切られた領域４００〜４０２が有効領域、それ以外が無効領域である。なお、ここでは切り出し領域を１つの画像として合成しているが、それぞれを別の映像ストリームとして配信する構成としてもよい。
【００４１】
（第１の実施形態）
ここで、図７および図１０を用いて、本発明の第１の実施形態について詳細に説明する。まず、図７のフローチャートを用いて、設定されている歪補正処理の種類に応じて露出制御時の測光に用いる評価エリアを設定する際の例を説明する。
【００４２】
図７は、本発明の第１の実施形態に係る撮像装置の評価エリアの設定処理を示すフローチャートである。図７のフローチャートは、制御部１０４によって、各処理ブロックを制御し実行される処理手順を図示したものである。制御部１０４が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。ここでは、撮像部１０１、画像生成部１０２、評価値算出部１０３、制御部１０４、評価エリア設定部１０５、画像処理部１０６、歪補正処理部１０７、歪補正設定部１０８、通信部１０９が主に動作することにより処理が実現される。
【００４３】
まず、ステップＳ１０１では、歪補正設定部１０８で設定される歪補正処理の種類が複数設定されているか判定する。歪補正設定部１０８において単一種類の歪補正処理が設定されている場合はステップＳ１０２へ進み、複数種類の歪補正処理が設定されている場合は、ステップＳ１０３へ進む。
【００４４】
ステップＳ１０２へ進んだ場合、設定されている歪補正処理は単一種類であるため、評価エリア設定部１０５は、歪補正設定部１０８で設定されている現在の歪補正処理の種類に応じた評価エリアを設定する。例えば、歪補正設定部１０８において図３（Ｂ）および図５に示したダブルパノラマの例のような歪補正処理が設定されている場合は、評価エリア設定部１０５は、ダブルパノラマにおける有効領域を評価エリアとして設定する。具体的には、図８に示すように、撮像範囲全体のうち灰色領域８０１を露出制御のための測光に用いる評価エリアとして設定する。ここで、図８に示す格子状の部分は、評価エリア設定部１０５で設定可能な評価領域を表していて、格子で示された領域ごとに評価エリアとするか否かを設定可能である。また、歪補正設定部１０８において図６のような歪補正処理が設定されている場合は、評価エリア設定部１０５は、図９に示すように灰色領域９０１〜９０３を露出制御のための測光に用いる評価エリアとして設定する。
【００４５】
一方、ステップＳ１０３へ進んだ場合、歪補正設定部１０８において複数種類の歪補正処理が設定されているので、その設定された歪補正処理の種類の組み合わせを取得する。ここで、図１１には、複数の映像１〜５が出力映像として選択されている場合に、対応する歪補正設定部１０８の歪補正の種類の例を表として示している。例えば、歪補正処理１は図５のダブルパノラマと同様の歪補正処理で、歪補正処理２は図６の領域切り出しの場合と同様歪補正処理とする。例えば、取得した歪補正処理の組み合わせが図１１の映像４（魚眼）を除いた組合せだったとして、以下説明する。
【００４６】
ステップＳ１０４へ進み、評価エリア設定部１０５は、歪補正処理の種類の組み合わせを考慮した評価エリアを設定する。取得した歪補正処理の組み合わせが図１１の映像４（魚眼）を除いた組合せだった場合、歪補正処理１（ダブルパノラマ対応の歪補正）および歪補正処理２（領域切り出しに対応した歪補正）の２種類の歪補正処理が設定されていることになる。その場合は、評価エリア設定部１０５は、図８と図９を組み合わせた図１０の灰色領域１００１を露出制御のための測光に用いる評価エリアとして設定する。
【００４７】
以上のフローにより、評価エリア設定部１０５は評価エリアを設定し、その設定された評価エリアにおいて評価値算出部１０３で算出された評価値に基づいて露出制御を行う。以上、露出制御のフローについて説明したが、設定された評価エリアから評価値算出部１０３でエッジ成分やコントラスト値を評価値として算出することでフォーカス制御を行うことも可能である。また、色成分を評価値として算出して、ホワイトバランス制御やカラーバランス制御を行ってもよい。さらに、評価値算出部１０３でノイズ成分を評価値として算出して、ノイズ低減処理や種々のフィルタ処理などの画像処理を行ってもよい。
【００４８】
（第２の実施形態）
次に、図１２〜図１４を用いて本実施の形態における第２の実施形態の一例を示す。第２の実施形態では、歪補正処理の設定とは別に、例えばユーザー指示等により評価エリアが選択可能な構成とする。また、本実施形態においては、クライアント装置１１の歪補正選択部１１２により映像配信（ストリーム）の種類を選択し、撮像装置１０は通信部１０９を介して受信した映像配信の種類に応じて、歪補正設定部１０８に歪補正処理の種類を設定する。ユーザーが歪補正選択部１１２により映像配信（ストリーム）の種類を選択し、例えば、図１１に示すように複数の映像１〜５に対応する対応する歪補正処理の種類（歪補正処理１、２）が、歪補正設定部１０８に設定される。
【００４９】
まず、図１２に示すフローチャートを用いて、ユーザーがクライアント装置１１上で任意の評価エリアを選択している場合における露出制御の測光に用いる評価エリアを設定する制御の例を説明する。
【００５０】
図１２は、本発明の第２の実施形態に係る撮像システムの評価エリア設定処理を示すフローチャートである。図１２のフローチャートは、制御部１０４によって、各処理ブロックを制御し実行される処理手順を図示したものである。制御部１０４が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。図１２のステップＳ１０１〜ステップＳ１０４に関しては、それぞれ前述の第１の実施形態の図７のステップＳ１０１〜ステップＳ１０４と同様の処理のため説明を省略する。
【００５１】
次に、ステップＳ２０５では、評価エリア選択部１１１で、任意の評価エリアが選択されているかどうかを判定する。評価エリア選択部１１１により選択された任意の評価エリアを受信していない場合は処理を終了し、評価エリア設定部１０５は、前述のステップＳ１０４までの処理で設定された評価エリアを最終的な評価エリアとして設定する。
【００５２】
評価エリア選択部１１１により選択された任意の評価エリアの情報を受信している場合は、ステップＳ２０６へ進む。ここで、評価エリア選択部１１１は、図１３に示すＵＩの例のように、クライアント装置１１の表示部１１３に全体画像を表示し、その画像上でユーザーが灰色領域１４０１のように領域を設定することで任意の評価エリアを選択させる。評価エリア選択のために表示する画像は実際に撮影している全方位画像の全体を表示してもよいし、事前記録しておいた画像上で指定する構成としてもよい。また、パノラマ画像を表示する構成としてもよい。評価エリアの設定方法は領域を囲むとか、評価領域ごとに１つ１つ選択していく、など既知の技術により指定可能である。ここでは、図１３の灰色領域１４０１が評価エリア選択部１１１で選択されていることとする。なお、選択した任意の評価エリアの情報は、通信部を介して撮像装置へ送られる。
【００５３】
ステップＳ２０６では、評価エリア選択部１１１で選択された任意の評価エリアに、歪補正設定部１０８で設定されている歪補正処理の種類に基づいた無効領域が含まれているかどうかを判定する。例えば、図５（ダブルパノラマ）が設定されている場合は図８に示すように中央付近の一部の白領域が無効領域であり、任意の評価エリアである図１３の灰色領域１４０１に含まれている。評価エリア選択部１１１で選択された任意の評価エリア内に、歪補正設定部１０８に設定されている歪補正処理に基づく無効領域が含まれている場合は、ステップＳ２０７へ進む。含まれていない場合は、ステップＳ２０８へ進む。
【００５４】
ステップＳ２０７では、評価エリア選択部１１１で選択された評価エリアから、歪補正設定部１０８に設定されている歪補正処理に基づく無効領域を除外する。例えば、図５（ダブルパノラマ）が設定されている場合は、図１４に示すように選択された任意の評価エリアから、歪補正処理に基づく無効領域（画像の中央部分）を除外した灰色領域１５０１を評価エリアとして設定する。その後、ステップＳ２０８へ進む。
【００５５】
ステップＳ２０８では、評価エリア選択部１１１で選択されている任意の評価エリア（無効領域を除外したエリア）と、歪補正選択部１１２で選択されている（歪補正設定部１０８に設定されている）歪補正処理の有効領域に基づいて最終的な評価エリアを設定する。例えば、任意の評価エリアと歪補正処理の有効領域が重なる部分を最終的な評価エリアとして設定する。又は、例えば、任意の評価エリアと有効領域すべてを最終的な評価エリアとし、評価エリア選択部１１１で選択されている任意の評価エリアの領域の評価値算出部１０３で算出する評価値の重み付けを上げるように構成してもよい。
【００５６】
ステップＳ２０６〜Ｓ２０８においても、複数のクライアント装置の歪補正選択部１１２により、複数の映像が選択されている場合は、歪補正処理の種類の組み合わせに基づいて、有効領域、無効領域を算出し、評価エリア設定を行う。さらに、図１１の例の場合は、歪補正処理１が最も適用されている映像数が多いので、歪補正処理１の有効領域に対する評価エリアの領域の評価値算出部１０３で算出される評価値の重み付けを上げるように制御してもよい。
【００５７】
以上説明したように、本実施形態によれば、任意の評価エリアが設定されている場合に、歪補正処理に基づく評価エリアと、別に選択された任意の評価エリアの両方を加味した評価エリアを設定することができる。
【００５８】
なお、本発明について、撮像装置１０に歪補正処理部１０７を持つ構成を例に説明したが、撮像装置１０からは撮像した画像全体を配信し、外部のサーバまたはクライアント装置側で歪補正処理を実行する構成としてもよい。
【００５９】
以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更などが可能である。例えば、上述した実施形態では、撮像装置として説明したカメラには、デジタルスチルカメラやデジタルビデオカメラに適用することができる。
【００６０】
本発明において、撮像部１０１、画像生成部１０２、評価値算出部１０３、制御部１０４、評価エリア設定部１０５、画像処理部１０６、歪補正処理部１０７、歪補正設定部１０８、通信部１０９の動作は、ＣＰＵがプログラムを実行することで実現してもよい。
【００６１】
以上が本発明の好ましい実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。例えば、上述した実施形態で、撮像装置として説明したカメラは、デジタルスチルカメラやデジタルビデオカメラに適用することができる。
【００６２】
また、本発明は、例えばシステム、装置、方法、コンピュータプログラムもしくは記録媒体などとしての実施形態も可能であり、具体的には、１つの装置で実現しても、複数の装置からなるシステムに適用してもよい。本実施形態に係る撮像装置を構成する各手段および撮像装置の制御方法の各ステップは、コンピュータのメモリなどに記憶されたプログラムが動作することによっても実現できる。このコンピュータプログラムおよびこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００６３】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６４】
１０１  撮像部
１０２  画像信号生成手段
１０３  評価値算出部
１０４  評価エリア設定部
１０５  制御部
１０６  画像処理部
１０７  歪補正処理部
１０８  歪補正選択部
１０９  通信部
【図１】
2018142939.tif 000003
【図２】
2018142939.tif 000004
【図３】
2018142939.tif 000005
【図４】
2018142939.tif 000006
【図５】
2018142939.tif 000007
【図６】
2018142939.tif 000008
【図７】
2018142939.tif 000009
【図８】
2018142939.tif 000010
【図９】
2018142939.tif 000011
【図１０】
2018142939.tif 000012
【図１１】
2018142939.tif 000013
【図１２】
2018142939.tif 000014
【図１３】
2018142939.tif 000015
【図１４】
2018142939.tif 000016