(57)【要約】【課題】光学系の角度により特定領域が設定される場合に、光学系と球面座標系との間の特定領域の不一致を改善可能にすることを課題とする。【解決手段】光学系制御部１０６は、撮影光学系１０１の光学画角を変更する。通信部１０５は、撮影光学系１０１の光学画角に対する切り出し画角を設定する画角情報コマンドと切り出し画角のなかの特定領域を示す角度を設定する角度情報コマンドとを情報処理装置から受信する。画像処理部１０３は、撮影画像から切り出し画角の画像を切り出す。マスク生成部１０７は、特定領域を示す角度を、自装置を中心とした球面座標の情報に変換し、当該球面座標の情報を基に、切り出された画像の特定領域のマスク重畳画像を生成し、合成・圧縮符号化部１０４は、切り出された画像にマスク重畳画像を合成して圧縮符号化する。通信部１０５は、合成・圧縮符号化後の画像を情報処理装置に配信する。【選択図】図１
2019092066.tif 000002
【特許請求の範囲】
【請求項１】
撮影光学系の光学画角を変更する制御を行う光学系制御手段と、
前記撮影光学系の前記光学画角に対する切り出し画角を設定する画角情報コマンドと、前記切り出し画角のなかの特定領域を示す角度を設定する角度情報コマンドとを、情報処理装置から受信する受信手段と、
前記撮影光学系により得られた撮影画像から、前記画角情報コマンドの前記切り出し画角の画像を切り出す切り出し手段と、
前記特定領域を示す角度を、自装置を中心とした球面座標の情報に変換し、前記球面座標の情報を基に、前記切り出された画像の前記特定領域に基づく処理を行う処理手段と、
前記処理手段による処理後の画像を、前記情報処理装置に送信する送信手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記特定領域の角度の情報を記憶する記憶手段を有し、
前記処理手段は、前記記憶手段に記憶されている前記角度の情報を、前記球面座標の情報に変換することを特徴とする請求項１に記載の撮像装置。
【請求項３】
撮影光学系の光学画角を変更する制御を行う光学系制御手段と、
前記撮影光学系により得られた撮影画像から、前記光学画角に対する切り出し画角により画像を切り出す切り出し手段と、
前記切り出し画角により切り出された画像のなかの特定領域に基づく処理を行う処理手段と、
前記処理手段による処理後の画像と前記切り出し画角の情報とを情報処理装置に送信する送信手段と、
前記情報処理装置から、前記特定領域を示す角度を設定するための角度情報コマンドを受信する受信手段と、
前記受信手段により前記角度情報コマンドを受信したとき、前記処理手段は、前記切り出し手段が前記切り出しを行う前の前記切り出し画角を、自装置を中心とする球面座標に変換した角度に対して、前記特定領域を示す角度を再計算することを特徴とする撮像装置。
【請求項４】
前記特定領域の角度の情報を記憶する記憶手段を有し、
前記記憶手段には前記処理手段により前記再計算された角度の情報を記憶することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記処理手段は、前記撮影光学系の光学画角における光軸中心からの距離に基づいて、前記球面座標の変換を行うことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記処理手段による前記特定領域に基づく処理は、前記特定領域の圧縮率を上げた圧縮、又は圧縮率を下げた圧縮を行う処理を含むことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
前記処理手段による前記特定領域に基づく処理は、前記特定領域を遮蔽するための画像を生成して前記切り出された画像に重畳する処理を含むことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
【請求項８】
前記処理手段による前記特定領域に基づく処理は、前記特定領域から自動露出制御の評価値を取得する処理を含むことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
【請求項９】
前記処理手段による前記特定領域に基づく処理は、前記特定領域からオートホワイトバランス制御の評価値を取得する処理を含むことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
前記処理手段による前記特定領域に基づく処理は、前記特定領域からオートフォーカス制御の評価値を取得する処理を含むことを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
【請求項１１】
撮像装置の撮影光学系の光学画角に対する切り出し画角を設定する画角情報コマンドと、前記切り出し画角のなかの特定領域を示す角度を設定する角度情報コマンドとを生成して、前記撮像装置に送信する送信手段と、
前記撮像装置により、撮影画像から前記切り出し画角で切り出されて送信された画像を受信する受信手段と、
前記受信した画像を表示する表示手段と、を有し、
前記送信手段は、前記切り出し画角を、前記撮像装置を中心とした球面座標の角度に変換した角度に対し、前記特定領域を示す角度を求めて、前記角度情報コマンドを生成することを特徴とする情報処理装置。
【請求項１２】
撮像装置の撮影光学系の光学画角に対する切り出し画角のなかの特定領域を示す角度を設定する角度情報コマンドを生成して、前記撮像装置に送信する送信手段と、
前記撮像装置により、撮影画像から前記切り出し画角で切り出されて送信された画像と、前記切り出し画角の情報とを受信する受信手段と、
前記受信した画像を表示する表示手段と、を有し、
前記送信手段は、前記受信した切り出し画角を、前記撮像装置を中心とした球面座標の角度に変換した角度に対し、前記特定領域を示す角度を求めて、前記角度情報コマンドを生成することを特徴とする情報処理装置。
【請求項１３】
撮像装置と情報処理装置を有するシステムであって、
前記撮像装置は、
撮影光学系の光学画角を変更する制御を行う光学系制御手段と、
前記撮影光学系の前記光学画角に対する切り出し画角を設定する画角情報コマンドと、前記切り出し画角のなかの特定領域を示す角度を設定する角度情報コマンドとを、前記情報処理装置から受信する受信手段と、
前記撮影光学系により得られた撮影画像から、前記画角情報コマンドの前記切り出し画角の画像を切り出す切り出し手段と、
前記特定領域を示す角度を、自装置を中心とした球面座標の情報に変換し、前記球面座標の情報を基に、前記切り出された画像の前記特定領域に基づく処理を行う処理手段と、
前記処理手段による処理後の画像を、前記情報処理装置に送信する送信手段とを有し、
前記情報処理装置は、
前記画角情報コマンドと、前記切り出し画角を、前記撮像装置を中心とした球面座標の角度に変換した角度に対して設定した、前記特定領域を示す角度の前記角度情報コマンドとを生成して、前記撮像装置に送信する送信手段と、
前記撮像装置により、撮影画像から前記切り出し画角で切り出されて送信された画像を受信する受信手段と、
前記受信した画像を表示する表示手段と、を有する
ことを特徴とするシステム。
【請求項１４】
撮像装置と情報処理装置を有するシステムであって、
前記撮像装置は、
撮影光学系の光学画角を変更する制御を行う光学系制御手段と、
前記撮影光学系により得られた撮影画像から、前記光学画角に対する切り出し画角により画像を切り出す切り出し手段と、
前記切り出し画角により切り出された画像のなかの特定領域に基づく処理を行う処理手段と、
前記処理手段による処理後の画像と前記切り出し画角の情報とを前記情報処理装置に送信する送信手段と、
前記情報処理装置から、前記特定領域を示す角度を設定するための角度情報コマンドを受信する受信手段と、
前記受信手段により前記角度情報コマンドを受信したとき、前記処理手段は、前記切り出し手段が前記切り出しを行う前の前記切り出し画角を、自装置を中心とする球面座標に変換した角度に対して、前記特定領域を示す角度を再計算し、
前記情報処理装置は、
前記撮像装置の撮影光学系の光学画角に対する切り出し画角を、前記撮像装置を中心とした球面座標の角度に変換した角度に対して設定した前記特定領域を示す角度の前記角度情報コマンドを生成して、前記撮像装置に送信する送信手段と、
前記撮像装置により、撮影画像から前記切り出し画角で切り出されて送信された画像と、前記切り出し画角の情報とを受信する受信手段と、
前記受信した画像を表示する表示手段と、を有する
ことを特徴とするシステム。
【請求項１５】
撮影光学系の光学画角を変更する制御を行う光学系制御工程と、
前記撮影光学系の前記光学画角に対する切り出し画角を設定する画角情報コマンドと、前記切り出し画角のなかの特定領域を示す角度を設定する角度情報コマンドとを、情報処理装置から受信する受信工程と、
前記撮影光学系により得られた撮影画像から、前記画角情報コマンドの前記切り出し画角の画像を切り出す切り出し工程と、
前記特定領域を示す角度を、自装置を中心とした球面座標の情報に変換し、前記球面座標の情報を基に、前記切り出された画像の前記特定領域に基づく処理を行う処理工程と、
前記処理工程による処理後の画像を、前記情報処理装置に送信する送信工程と、
を撮像装置に実行させることを特徴とする撮像装置の制御方法。
【請求項１６】
撮影光学系の光学画角を変更する制御を行う光学系制御工程と、
前記撮影光学系により得られた撮影画像から、前記光学画角に対する切り出し画角により画像を切り出す切り出し工程と、
前記切り出し画角により切り出された画像のなかの特定領域に基づく処理を行う処理工程と、
前記処理工程による処理後の画像と前記切り出し画角の情報とを情報処理装置に送信する送信工程と、
前記情報処理装置から、前記特定領域を示す角度を設定するための角度情報コマンドを受信する受信工程と、を撮像装置に実行させ、
前記受信工程により前記角度情報コマンドを受信したとき、前記処理工程では、前記切り出し工程で前記切り出しを行う前の前記切り出し画角を、自装置を中心とする球面座標に変換した角度に対して、前記特定領域を示す角度を再計算することを特徴とする撮像装置の制御方法。
【請求項１７】
情報処理装置が実行する情報処理方法であって、
撮像装置の撮影光学系の光学画角に対する切り出し画角を設定する画角情報コマンドと、前記切り出し画角のなかの特定領域を示す角度を設定する角度情報コマンドとを生成して、前記撮像装置に送信する送信工程と、
前記撮像装置により、撮影画像から前記切り出し画角で切り出されて送信された画像を受信する受信工程と、
前記受信した画像を表示する表示工程と、を有し、
前記送信工程では、前記切り出し画角を、前記撮像装置を中心とした球面座標の角度に変換した角度に対し、前記特定領域を示す角度を求めて、前記角度情報コマンドを生成することを特徴とする情報処理方法。
【請求項１８】
情報処理装置が実行する情報処理方法であって、
撮像装置の撮影光学系の光学画角に対する切り出し画角のなかの特定領域を示す角度を設定する角度情報コマンドを生成して、前記撮像装置に送信する送信工程と、
前記撮像装置により、撮影画像から前記切り出し画角で切り出されて送信された画像と、前記切り出し画角の情報とを受信する受信工程と、
前記受信した画像を表示する表示工程と、を有し、
前記送信工程では、前記受信した切り出し画角を、前記撮像装置を中心とした球面座標の角度に変換した角度に対し、前記特定領域を示す角度を求めて、前記角度情報コマンドを生成することを特徴とする情報処理方法。
【請求項１９】
撮像装置が有するコンピュータを、請求項１から１０のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【請求項２０】
コンピュータを、請求項１１または１２に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像に画像処理を施して配信する技術に関する。
【背景技術】
【０００２】
従来、撮像装置においては、プライバシー保護などの種々様々な観点から、撮影した映像や画像（以下、まとめて撮影画像とする。）の一部の特定された領域に対して画像処理が行われることがある。一例として、プライバシーマスキング技術の場合、撮影画像のなかの特定領域を遮蔽（マスク）するような画像処理が行われる。
【０００３】
また撮像装置には、雲台機能付きの装置もあり、当該雲台機能付き撮像装置の場合には、雲台の動きに合わせて、特定領域を追従させる必要がある。このような雲台の動きに合わせて特定領域を追従させるシステムを成立させるためには、特定領域の位置を、雲台の角度座標と撮影画像の平面座標の間で変換する必要がある。なお、例えば特許文献１には、撮像装置を中心とした球面座標上に設定した特定領域の頂点を撮影平面に対して射影し、当該撮影平面に射影された頂点の重心を中心として特定領域を設定する技術が開示されている。さらに、特許文献１には、雲台の動きにより撮影方向が変化する場合、その撮影方向の変化に合わせて特定領域の位置を移動させる技術についても開示されている。
【０００４】
また、撮像装置のなかには、デジタルズーム等によって、撮影光学系による光学画角とは異なる画角（以下、切り出し画角とする。）に相当する範囲の画像を切り出すようなクロップ機能を備えたものもある。光学画角から切り出し画角で画像の切り出しが行われる場合、切り出し前に設定された特定領域と、切り出し後の画像における特定領域とが、一致しなくなることがある。なお、例えば特許文献２には、撮影画像のアスペクト比が変更（撮影画像の切り出し範囲が変更）される場合に、そのアスペクト比の変更（切り出し範囲の変更）処理に合わせて、特定領域の位置を変更（再計算）する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−９５１９５号公報
【特許文献２】特開２０１５−２４８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、雲台機能付き撮像装置の雲台の動きにより変更される撮像方向は、撮像装置を中心とした球面座標系の角度により表され、当該雲台の動きに合わせて特定領域を追従させる場合の特定領域の位置も、球面座標系における角度により表現される。一方、前述した画像の切り出しが行われる場合の切り出し画角は、撮影光学系の光学画角に対する画角として設定され、特定領域も撮影光学系の画角における角度により表現される。このため、撮影光学系による光学系の角度により特定領域が設定される場合、光学系の角度で設定される特定領域と球面座標系の特定領域とが不一致となる問題が残る。
【０００７】
そこで、本発明は、光学系の角度により特定領域が設定される場合に、光学系と球面座標系との間の特定領域の不一致を改善することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、撮影光学系の光学画角を変更する制御を行う光学系制御手段と、前記撮影光学系の前記光学画角に対する切り出し画角を設定する画角情報コマンドと、前記切り出し画角のなかの特定領域を示す角度を設定する角度情報コマンドとを、情報処理装置から受信する受信手段と、前記撮影光学系により得られた撮影画像から、前記画角情報コマンドの前記切り出し画角の画像を切り出す切り出し手段と、前記特定領域を示す角度を、自装置を中心とした球面座標の情報に変換し、前記球面座標の情報を基に、前記切り出された画像の前記特定領域に基づく処理を行う処理手段と、前記処理手段による処理後の画像を、前記情報処理装置に送信する送信手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、光学系の角度により特定領域が設定される場合に、光学系と球面座標系との間で特定領域の不一致を改善可能となる。
【図面の簡単な説明】
【００１０】
【図１】実施形態の撮像装置とクライアント装置の概略構成例を示す図である。
【図２】実施形態のネットワーク構成例を示す図である。
【図３】球面座標系の設定球と対象領域の関係を説明する図である。
【図４】光学系の画角と球面座標系の画角の関係を説明する図である。
【図５】クライアント装置における対象領域指定のＵＩ例を示す図である。
【図６】第１実施形態の対象領域設定のフローチャートである。
【図７】第１実施形態の対象領域位置補正のフローチャートである。
【図８】第２実施形態の対象領域設定のフローチャートである。
【図９】第２実施形態の対象領域位置補正のフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
＜第１実施形態＞
図１（ａ）と図１（ｂ）は本実施形態の撮像装置１００と情報処理装置であるクライアント装置２００との概略構成を示した機能ブロック図であり、図１（ｂ）には撮像装置１００を、図１（ｂ）にはクライアント装置２００を示している。図２は本実施形態の撮像装置１００とクライアント装置２００を含むネットワークシステムの構成例を示した図である。
【００１２】
図１（ａ）に示す撮像装置１００は、撮影光学系１０１、撮像部１０２、画像処理部１０３、合成・圧縮符号化部１０４、通信部１０５、光学系制御部１０６、マスク生成部１０７、雲台制御部１１１、制御部１０８、記憶部１０９を有して構成されている。なお、図１（ａ）の構成では、撮像装置１００が雲台１１０を備えた例を挙げているが、雲台１１０は撮像装置１００の外部装置として設けられていてもよい。本実施形態の撮像装置１００の各構成の詳細な動作については後述する。
図１（ｂ）に示すクライアント装置２００は、ＣＰＵ２０５、ＲＯＭ２０４、ＲＡＭ２０６、操作部２０１、表示部２０２、通信部２０３を有して構成されている。本実施形態のクライアント装置２００の各構成の詳細な動作については後述する。
【００１３】
図２に示すネットワークシステムは、本実施形態の撮像装置１００、ＩＰネットワーク３００、本実施形態のクライアント装置２００を有して構成されている。撮像装置１００は、レンズを含む撮像装置本体に、パン方向及びチルト方向に回転可能な雲台が備えられた雲台機能付きの監視カメラであるとする。クライアント装置２００は、例えばパーソナルコンピュータ（ＰＣ）や携帯型情報端末であるとする。撮像装置１００とクライアント装置２００とは、ＩＰネットワーク３００を介して相互に通信可能な状態に接続されている。クライアント装置２００は、撮像装置１００に対して、撮影パラメータの変更や画像ストリーミング開始等を指示するための後述する各種コマンドを送信する。撮像装置１００は、それらのコマンドに対するレスポンスや画像ストリーミング等を、クライアント装置２００に送信する。
【００１４】
＜本実施形態の撮像装置とクライアント装置の動作例＞
本実施形態の撮像装置１００とクライアント装置２００の動作について、クロップ処理、プライバシーマスキング処理、ビットレート削減処理、自動露出制御、オートホワイトバランス制御、オートフォーカス制御を例に挙げて説明する。
ここで、クロップ処理は、例えばデジタルズームによって、撮影光学系１０１による光学画角とは異なる切り出し画角（以下、クロップ画角とする。）の範囲で画像を切り出す処理である。
プライバシーマスキング処理は、撮影した映像や画像（以下、撮影画像とする。）の中で、プライバシー保護の対象となされる特定領域を遮蔽（マスク）する処理である。
本実施形態に係るビットレート削減処理では、撮影画像の中の特定領域の圧縮率を下げて品質を維持する一方で、特定領域以外の領域については圧縮率を高めることで画像ストリーミングの際に送信されるビット量を削減する。
本実施形態に係る自動露出制御では、撮影画像の中の特定領域から取得した明るさ等の評価値を基に自動露出（以下、ＡＥとする。）制御が行われる。本実施形態に係るオートホワイトバランス（以下、ＡＷＢとする。）制御では、撮影画像の中の特定領域から取得した色差信号等の評価値を基にホワイトバランス（以下、ＷＢとする）の自動調整が行われる。本実施形態に係るオートフォーカス（以下、ＡＦとする。）制御では、撮影画像の中の特定領域から取得した合焦検波値を評価値として焦点合わせが行われる。
以下の説明では、プライバシー保護の対象となる特定領域、圧縮率を下げる対象となる特定領域、ＡＥの評価値取得の対象とる特定領域、ＡＷＢの評価値取得の対象となる特定領域、ＡＦの評価値取得の対象となる特定領域を、まとめて対象領域と呼ぶことにする。
また、本実施形態の撮像装置１００は、雲台機能付きの装置であり、雲台により撮像装置の向き（撮像方向）が変更される場合には、当該撮影方向の変化に合わせて対象領域を追従させる処理を行う。
【００１５】
＜対象領域の指定と問題点の説明＞
図１（ａ）、図１（ｂ）に示した撮像装置１００とクライアント装置２００の構成及び動作の詳細を述べる前に、図３と図４（ａ）〜図４（ｆ）を参照して、クロップ画角の設定と、対象領域（特定領域）指定の概要と、それらの問題点について説明する。
【００１６】
本実施形態の撮像装置１００において、雲台の動きにより変更される撮像装置の向き（撮像方向）は、自装置（撮像装置１００）を中心とした球面座標系の角度により表される。また、対象領域は球面座標上で設定され、雲台の動きに合わせて追従させる際の対象領域の位置も、球面座標系における角度として表現される。そして、雲台の動きに合わせて対象領域を追従させる際、本実施形態の撮像装置１００は、対象領域の位置を、球面座標上での雲台の角度座標と撮影画像の平面座標の間で変換する。
また、本実施形態の撮像装置１００において、クロップ機能により撮影画像から画像の切り出しを行う場合のクロップ画角は、撮影光学系１０１の光学画角に対する画角として設定され、対象領域も撮影光学系１０１の画角に合わせて角度により設定される。
【００１７】
図３は、球面座標系を表しており、設定球Ａと、対象領域Ｍと、クロップ前画角（Ａｏ）及びクロップ後に対象領域を再計算すべきクロップ後画角（Ａｔ）との関係を表した図である。クロップ前画角（Ａｏ）は、撮影光学系１０１の光学画角と同角度である。設定球Ａの球面座標は、自装置を球の中心位置として表される座標である。撮像装置１００の撮影光学系１０１の光軸と設定球Ａとの交点の位置は、撮影画像（撮影光学系１０１による光学画角）の中心と一致する。なお、本実施形態における画角は、例えば水平方向の角度により表されるものとする。以下の説明では、クロップ前画角をクロップ前角度Ａｏと表記する。クロップ後画角は、後述するようにクロップ後に対象領域を再計算すべき再計算対象角度Ａｔである。
【００１８】
図４（ａ）は、平面座標系で表された撮影画像の一例であり、撮影光学系１０１の光学画角Ｚと、クロップ画角Ｚｃと、撮影光学系１０１が備えるレンズの歪曲特性を簡易的に表した光学画角等高線４００とを示した図である。クロップ画角Ｚｃは例えば６０°、光学画角Ｚは例えば７２°であるとする。光学画角等高線４００は、撮影光学系１０１のレンズの光軸からの距離に応じて歪曲特性が変化していることを、同心円状の等高線により簡易的に表している。
【００１９】
一方、図４（ｂ）は、図４（ａ）に例示した撮影画像を球面座標系に対応させて表しており、光学画角Ｚと同角度であるクロップ前角度Ａｏと、クロップ画角Ｚｃと等しい角度Ａｃとの関係を示した図である。図４（ａ）に例示したようにクロップ画角Ｚｃが６０°、光学画角Ｚが７２°であるとすると、図４（ｂ）の角度Ａｃは６０°であり、クロップ前画角Ａｏは７２°である。ただし、撮影光学系１０１の光学特性（歪曲特性）によって、球面座標系の角度Ａｃで表される範囲の大きさは、平面座標系のクロップ画角Ｚｃで表される範囲の大きさと一致しなくなることがある。図４（ａ）と図４（ｂ）に挙げた例の場合、球面座標系の角度Ａｃで表される範囲の大きさが、平面座標系のクロップ画角Ｚｃで表される範囲の大きさに対して小さくなっている。なお、撮影光学系１０１の光学特性（歪曲特性）によっては、逆に、球面座標系の角度Ａｃで表される範囲が、平面座標系のクロップ画角Ｚｃで表される範囲よりも大きくなる場合もある。
【００２０】
前述同様の理由から、球面座標系の角度で表される対象領域の大きさは、平面座標系の光学画角に対する角度として設定される対象領域の大きさと一致しなくなることがあり、撮影光学系１０１の光学特性に依存して大小する。また、光学画角等高線４００で表したように、撮影光学系１０１の歪曲特性は光軸からの距離により変化するため、対象領域が歪曲特性により受ける影響も、光軸からの距離によって変化する。これに対し、球面座標で表される図３の設定球Ａは真球であり、平面変換は３次元の行列変換モデル（特許文献１参照）を用いて行われるため、球面座標系では、対象領域が光学特性の影響を受けることはない。
【００２１】
図４（ｃ）は、図４（ａ）に示した撮影画像を球面座標系に対応させて表しており、クロップ画角が図４（ａ）に例示したクロップ画角Ｚｃであった場合に、そのクロップ後に対象領域を再計算すべき再計算対象角度Ａｔを示した図である。再計算対象角度Ａｔは、クロップ後画角であり、クロップ前画角Ａｏ（光学画角）と、撮影画像とクロップ後のクロップ画像との間の水平比率（クロップ倍率とする。）と、を用いたＡｔ＝Ａｃ／（クロップ倍率）の演算により求められる。図４（ａ）及び図４（ｃ）の例の場合、クロップ前画角Ａｏは７２°であり、クロップ倍率が１．１倍であるとすると、再計算対象角度Ａｔとしては７２／（１．１）≒６５°が求められる。このように、クロップ倍率は、撮影画像とクロップ画像の水平比率であるため、光学画角Ｚや球面座標とは独立しており影響を受けないことがわかる。
【００２２】
図４（ｄ）から図４（ｆ）は、図４（ａ）から図４（ｃ）と同様に表した図であるが、図４（ｄ）から図４（ｆ）ではクロップ画角Ｚｃが４０°、クロップ倍率が１．６倍となされた場合の例を示している。図４（ｆ）では、再計算対象角度Ａｔは、クロップ前画角Ａｏ（７２°）とクロップ倍率（１．６倍）とから７２／（１．６）＝４５°となる。
【００２３】
以上説明したように、平面座標系の光学画角に対して設定される対象領域の大きさは、撮影光学系１０１の歪曲特性に依存して大小し、対象領域の位置も光軸からの距離によって光学特性の影響を受ける。一方、球面座標は真球の座標であり、平面変換では３次元の行列変換モデルを用いて行われるため、光学特性の影響はない。このため、本実施形態の撮像装置１００において、クリップ画角による切り出しを行い、雲台の動きに合わせて対象領域を追従させる場合、クリップ前に設定された対象領域とクリップ後の対象領域とが一致しなくなることがある。
【００２４】
＜構成と動作の詳細説明＞
以下、光学画角の角度により対象領域が設定される場合に、撮影光学系の光学画角と球面座標系との間で対象領域の不一致を改善可能とした、本実施形態の撮像装置１００とクライアント装置２００の構成及び動作について詳細に説明する。
【００２５】
先ず本実施形態の撮像装置１００から説明する。
被写体等からの光線は、撮影光学系１０１を介して撮像部１０２の撮像面上に結像される。撮像部１０２は、撮像面上に結像された被写体像等を撮像し、その撮像信号をデジタル変換した画像データを、画像処理部１０３に出力する。撮影光学系１０１は、フォーカスレンズ及びフォーカスレンズ駆動部と、ズームレンズ及びズームレンズ駆動部、絞り及び絞り駆動部とを含む。光学系制御部１０６は、撮像部１０２にて撮像された被写体像に合わせて、フォーカス合わせ、絞りの調整、ズーム位置の調整等を行い、また、赤外線カットフィルターの挿抜等がなされた場合の画像信号に対する制御処理等も行う。
【００２６】
通信部１０５は、クライアント装置２００から送信されてきた、画像サイズ設定指示のコマンド、被写体像に対するＷＢ制御に関する設定コマンド、絞りやゲインなどのＡＥ制御に関する設定コマンドを受信する。これらのコマンドは制御部１０８により解析されて、画像サイズの設定情報、ＷＢの設定情報、ＡＥの設定情報などからなる画像設定情報として、画像処理部１０３に送られる。また同時に、画像設定情報は記憶部１０９に記憶され、撮像装置１００の起動時には、制御部１０８が、記憶部１０９から読み出した画像設定情報を基に、画像処理部１０３に対する画像設定を行う。
【００２７】
画像処理部１０３は、撮像部１０２から出力されてきた画像データに対し、画像設定情報に基づく画像処理等を行った後、合成・圧縮符号化部１０４へ出力する。画像設定情報は、前述したように画像サイズ設定情報、ＷＢの設定情報、ＡＥの設定情報を有する。
画像サイズ設定情報には、画像の一部を切り出すクロップ処理の設定に関するクロップ設定情報や、画像の一部を拡大するデジタルズーム処理の設定に関するデジタルズーム設定情報が含まれている。クロップ設定情報には、クロップ処理の有無及びクロップ画角に相当するクロップ倍率情報が含まれる。デジタルズーム設定情報には、デジタルズームの有無及びデジタルズームにより撮影光学系１０１のズーム望遠端を越えた場合の画角に相当するデジタルズーム倍率情報が含まれる。これにより、画像処理部１０３では、クロップ設定情報に基づくクロップ処理、デジタルズーム設定情報に基づくデジタルズーム処理等の画像処理が行われる。
【００２８】
ＷＢ設定情報には、撮影画像の中でＷＢの評価値としての色差信号を取得すべき対象領域の位置と大きさを光学系の角度情報で表したＷＢ領域角度情報が含まれる。また、ＡＥ設定情報には、撮影画像の中でＡＥの評価値としての明るさ等を取得すべき対象領域の位置と大きさを光学系の角度情報で表したＡＥ領域角度情報が含まれる。これらＷＢ領域角度情報、ＡＥ領域角度情報は、後述するマスク角度情報ｍ1や低圧縮領域角度情報ｍ2と同様に、撮像装置１００の撮影方向に基づく角度で表される位置及び大きさを示す情報となされている。これにより、画像処理部１０３では、ＡＥ設定情報に応じて対象領域から取得されたＡＥ評価値に基づくＡＥ制御と、ＡＷＢ設定情報に応じて対象領域から取得されたＷＢ評価値に基づくＷＢ処理が行われる。また、これらＷＢ領域角度情報、ＡＥ領域角度情報は、記憶部１０９に記憶される。
【００２９】
また、通信部１０５は、クライアント装置２００から送信されてきたマスク角度情報コマンドを受信する。マスク角度情報コマンドには、マスク角度情報ｍ1が含まれている。通信部１０５により受信されたマスク角度情報コマンドは、制御部１０８により解析されて、マスク角度情報ｍ1がマスク生成部１０７に送られる。マスク角度情報ｍ1は、撮影画像の中でプライバシー保護の対象とすべき対象領域の位置と大きさを、撮像装置１００の撮影方向に基づく角度により表した情報である。具体的には、マスク角度情報ｍ1は、対象領域の位置を表す角度としてのパン始点角度ｐ1及びチルト始点角度ｔ1と、対象領域の大きさを表す角度としてのパン幅Δｐ1及びチルト高さΔｔ1とにより構成されている。クライアント装置２００におけるマスク角度情報コマンドとそれに含まれるマスク角度情報ｍ1の生成及び送信の詳細ついては後述する。またマスク角度情報ｍ1は、記憶部１０９に記憶される。そして、マスク生成部１０７は、入力されたマスク角度情報ｍ1に基づき、プライバシー保護の対象となされる対象領域を遮蔽（マスク）するためのマスク重畳画像を生成して、合成・圧縮符号化部１０４へ送る。
【００３０】
また、通信部１０５は、クライアント装置２００から送信されてきた符号化設定コマンドを受信する。符号化設定コマンドには符号化設定情報が含まれている。符号化設定コマンドは、制御部１０８により解析されて、符号化設定情報が合成・圧縮符号化部１０４に送られる。また、符号化設定情報には、符号化方式を表す符号化方式情報と、撮影画像の中で圧縮率を下げる対象領域の位置と大きさを、撮像装置１００の撮影方向に基づく角度により表した低圧縮領域角度情報ｍ2とが含まれる。低圧縮領域角度情報ｍ2は、具体的には、対象領域の位置を表す角度としてのパン始点角度ｐ2及びチルト始点角度ｔ2と、対象領域の大きさを表す角度としてのパン幅Δｐ2及びチルト高さΔｔ2とにより構成されている。クライアント装置２００における符号化設定情報（符号化方式情報と低圧縮領域角度情報ｍ2）を含む符号化設定コマンドの生成及び送信の詳細については後述する。また、低圧縮領域角度情報ｍ2は、記憶部１０９に記憶される。
【００３１】
合成・圧縮符号化部１０４は、画像処理部１０３による画像処理後の画像データに対し、符号化方式設定情報による符号化方式と低圧縮領域角度情報ｍ2と基づいた圧縮符号化を行う。合成・圧縮符号化部１０４は、符号化方式設定情報による符号化方式を用い、さらに低圧縮領域角度情報ｍ2に基づき、対象領域に対しては低圧縮率による圧縮符号化を行い、対象領域以外の領域に対しては圧縮率を高めた圧縮符号化を行う。また、マスク生成部１０７からマスク重畳画像が入力されている場合、合成・圧縮符号化部１０４は、画像処理部１０３からの画像にマスク生成部１０７からのマスク重畳画像を合成する。そして、合成・圧縮符号化部１０４は、その合成後の画像に対し、符号化方式設定情報による符号化方式と低圧縮領域角度情報ｍ2と基づいた圧縮符号化を行う。この圧縮符号化がなされた画像データは、画像ストリームとして、通信部１０５から出力されて、ネットワーク３００を介してクライアント装置２００に配信される。本実施形態では、対象領域を低圧縮率とし、対象領域以外の領域の圧縮率を高めた圧縮符号化が行われた場合、対象領域については高品位とする一方で、対象領域以外の領域のビット量を削減することが可能となる。これにより、送信される画像ストリームのビットレート削減が可能となる。なお、本実施形態では、対象領域の圧縮率を下げる例を挙げたが、逆に、対象領域の圧縮率を上げるようにしてもよい。
【００３２】
なお、合成・圧縮符号化部１０４は、複数の符号化方式を用いて画像の圧縮符号化を行うこともでき、この場合、撮像装置１００は複数のそれぞれの符号化方式により圧縮符号化された複数の画像ストリームを配信可能となる。すなわち、撮像装置１００は、複数の符号化方式の圧縮符号化によって送信ビット量がそれぞれ異なる複数の画像ストリームを配信することも可能である。
【００３３】
また、通信部１０５は、クライアント装置２００から送信されてきたＡＦ角度情報コマンドを受信する。ＡＦ角度情報コマンドには、ＡＦ角度情報が含まれている。通信部１０５により受信されたＡＦ角度情報コマンドは、制御部１０８により解析され、ＡＦ角度情報として光学系制御部１０６に送られる。ＡＦ角度情報は、撮影画像の中でＡＦ評価値としての合焦検波値を取得すべき対象領域の位置と大きさを光学系の角度で表した情報である。ＡＦ角度情報は、前述したマスク角度情報ｍ1や低圧縮領域角度情報ｍ2と同様に、撮像装置１００の撮影方向に基づく角度で表される位置及び大きさを示す情報となされている。これにより、光学系制御部１０６では、ＡＦ角度情報で示された対象領域から合焦検波を行った合焦検波値に基づくＡＦ制御が行われる。また、ＡＦ角度情報は、記憶部１０９に記憶される。
【００３４】
雲台１１０は、当該撮像装置１００または撮影光学系１０１と撮像部１０２からなる撮像ユニットをパン方向やチルト方向に回転可能とした雲台機構であり、雲台制御部１１１によってパン方向とチルト方向の回転駆動が制御される。また、雲台１１０を回転駆動させた際のパン方向とチルト方向の角度の情報は、雲台制御部１１１から制御部１０８に送られ、さらに画像処理部１０３と光学系制御部１０６とマスク生成部１０７と圧縮符号化部１０４にも通知される。
【００３５】
また制御部１０８は、撮影光学系１０１のズームレンズを光学系制御部１０６が制御した際のズーム位置と、画像処理部１０３でクロップ処理がなされた場合のクロップ倍率又はデジタルズーム倍率とから、光学上（平面座標系）の水平角度（画角）を算出する。このときの光学上の水平角度は、撮影光学系１０１のレンズの光学特性（歪曲特性）の影響を考慮した角度として算出され、前述したクロップ倍率情報とデジタルズーム倍率情報の組み合わせから導かれる。そして、制御部１０８は、それらズーム位置、クロップ倍率、デジタルズーム倍率、光学上の水平角度の情報を、画像処理部１０３と圧縮符号化部１０４とマスク生成部１０７とに通知する。また同時に、光学上の水平角度の情報は、記憶部１０９に記憶される。
【００３６】
さらに通信部１０５は、クライアント装置２００から送信されてきたストリーム画角情報コマンドを受信した場合、そのストリーム画角情報コマンドを制御部１０８に送る。制御部１０８は、ストリーム画角情報コマンドを受け取ると、合成・圧縮符号化部１０４からの画像ストリームと、記憶部１０９から読み出した光学上の水平角度の情報を、通信部１０５を介してクライアント装置２００に返信する。
【００３７】
次に図５と図６を用い、クライアント装置２００において行われる対象領域指定の手順について説明する。
本実施形態のクライアント装置２００で指定される対象領域は、前述したプライバシー保護対象の特定領域、圧縮率を下げる対象の特定領域、ＡＥ評価値取得対象の特定領域、ＡＷＢ評価値取得対象の特定領域、ＡＦ評価値取得対象の特定領域である。これら対象領域は、一つのみ指定されてもよいし、複数がそれぞれ指定されてもよい。また、クライアント装置２００で対象領域を指定する際には、クロップ倍率又はデジタルズーム倍率に応じた光学上（平面座標系）の水平角度を考慮した指定が行われる。
【００３８】
図５は、クライアント装置２００の表示部２０２に表示される対象領域指定のためのユーザインターフェイス（以下、ＵＩとする。）画面の一例を示した図である。図５は一つの対象領域の指定がなされる場合のＵＩ画面例を示している。
図５の画面５０１は、撮像装置１００からクライアント装置２００に送信された画像ストリームの画像が表示される表示部２０２の画面内において、対象領域を指定する際のウィンドウ画面を示している。画面５０１の中心は、撮像装置１００の画像中心（撮影光学系１０１の光軸）に対応している。クライアント装置２００のＣＰＵ２０５は、撮像装置１００の雲台１１０のパン角度Ｐ及びチルト角度Ｔを基に、画面５０１の中心を設定する。また、画面５０１の水平サイズはクロップ画角Ｚｃあるいはデジタルズームの画角に対応している。
【００３９】
画面５０１内の指定枠５０２は、前述したプライバシー保護の対象領域、圧縮率を下げる対象領域、ＡＥ評価値取得の対象領域、ＡＷＢ評価値取得の対象領域、ＡＦ評価値取得の対象領域の何れかを指定するための枠画像である。これらの何れの対象領域の指定枠５０２を画面５０１内に表示させるかについては、操作部２０１の操作を介して、ユーザにより任意に選択可能となされている。指定枠５０２は対象領域の位置と大きさをユーザに視認させるための枠画像であり、当該指定枠５０２の位置と大きさにはユーザにより任意に変更可能となされている。指定枠５０２の始点（ｈ，ｖ）の位置は対象領域の位置に対応し、指定枠５０２の高さΔｖと幅Δｈは対象領域の高さと幅（つまり対象領域の大きさ）に対応している。これら始点（ｈ，ｖ）の位置、高さΔｖ、幅Δｈは、操作部２０１のマウスやタッチパネル等を介したポインタ５０３の操作によって画面５０１上で変更可能となされている。そして、クライアント装置２００のＣＰＵ２０５は、操作部２０１へのユーザ操作によりポインタ５０３が操作され、指定枠５０２の始点（ｈ，ｖ）の位置や高さΔｖと幅Δｈが指定されると、当該指定枠５０２に応じた対象領域を設定する。一例として、指定枠５０２がプライバシー保護の対象領域に対応した枠である場合、当該指定枠５０２へのユーザ操作に応じてプライバシー保護の対象領域の位置と大きさが設定されることになる。
【００４０】
図６は、クライアント装置２００において行われる対象領域指定処理のフローチャートである。図６のフローチャートにおいても、指定される対象領域は、プライバシー保護の対象領域、圧縮率を下げる対象領域、ＡＥ評価値取得の対象領域、ＡＷＢ評価値取得の対象領域、ＡＦ評価値取得の対象領域の何れかである。複数の対象領域の指定が行われる場合、図６のフローチャートの指定処理は、それら複数の個々の対象領域ごとに行われる。なお、以下の説明では、図６のフローチャートの各処理ステップＳ１００〜ステップＳ１０３をＳ１０１〜Ｓ１０３と略記する。図６のフローチャートの処理は、ソフトウェア構成またはハードウェア構成により実行されてもよいし、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェア構成により処理が実行される場合、例えばＲＯＭ２０４等に記憶されている本実施形態に係るプログラムがＲＡＭ２０６に展開されてＣＰＵ２０５が実行することにより実現される。本実施形態に係るプログラムは、ＲＯＭ２０４に予め用意されていてもよく、また着脱可能な半導体メモリ等から読み出されたり、通信部２０３を介してインターネット等のネットワーク３００からダウンロードされたりしてもよい。これらのことは、後述する他のフローチャートにおいても同様であるとする。
【００４１】
先ずＳ１００において、クライアント装置２００のＣＰＵ２０５は、ストリーム画角情報コマンドを、通信部２０３を介してネットワーク３００に送信して、撮像装置１００へ送る。このコマンドを受け取った撮像装置１００の制御部１０８は、記憶部１０９からクロップ画角Ｚｃ（又はデジタルズーム画角）と雲台１１０のパン角度Ｐ及びチルト角度Ｔの情報を読み出し、通信部１０５を介してクライアント装置２００に返信する。
【００４２】
次に、Ｓ１０１において、ＣＰＵ２０５は、撮像装置１００から配信された画像ストリームを、通信部２０３を介して取得すると、当該画像ストリームの画像を前述の図５に示したＵＩの画面５０１に表示する。さらに、前述したプライバシー保護の対象領域や圧縮率を下げる対象領域等の各対象領域のうち、何れかの対象領域がユーザにより選択されると、ＣＰＵ２０５は、当該選択された対象領域に対応した指定枠５０２を画面５０１上に表示させる。そして、ユーザにより指定枠５０２の位置と大きさが指定されると、ＣＰＵ２０５は、当該指定枠５０２の位置と大きさに応じた対象領域の２次元座標を求める。
【００４３】
次に、Ｓ１０２において、ＣＰＵ２０５は、Ｓ１０１で求めた対象領域の２次元座標と、Ｓ１００で送信したストリーム画角情報コマンドに対するレスポンスとして撮像装置１００から取得した情報とを基に、対象領域を表す角度を算出する。このときストリーム画角情報コマンドに対するレスポンスとして撮像装置１００から返信される情報は、クロップ画角Ｚｃ（又はデジタルズーム画角）と撮像装置１００の雲台１１０のパン角度Ｐ及びチルト角度Ｔの情報を含む。ＣＰＵ２０５は、クロップ画角Ｚｃを、撮像装置１００を中心とした球面座標の角度に変換し、当該変換された角度に対する対象領域の角度を算出する。例えばＣＰＵ２０５は、後述する図７のＳ２０３での変換処理の逆変換を行うことで、対象領域の２次元座標を、クロップ画角Ｚｃとパン角度Ｐ及びチルト角度Ｔで表される範囲の角度に変換する。
【００４４】
次に、Ｓ１０３において、ＣＰＵ２０５は、Ｓ１０２で算出した対象領域の角度を表す角度情報を含む角度情報コマンドを、通信部２０３を介して撮像装置１００に送信する。例えば、対象領域がプライバシー保護の対象領域である場合、Ｓ１０２では対象領域の角度として前述したマスク角度情報ｍ1が算出され、Ｓ１０３ではマスク角度情報ｍ1を含むマスク角度情報コマンドが撮像装置１００に送信される。この場合、撮像装置１００では、マスク角度情報ｍ1がマスク生成部１０７に送られることになる。また例えば、対象領域が圧縮率を下げる対象領域である場合、Ｓ１０２では対象領域の角度として低圧縮領域角度情報ｍ2が算出され、Ｓ１０３では当該低圧縮領域角度情報ｍ2を含む符号化設定コマンドが送信される。この場合、撮像装置１００では、低圧縮領域角度情報ｍ2が合成・圧縮符号化部１０４に送られることになる。以下同様に、対象領域がＡＥやＡＷＢ評価値取得の対象領域である場合、Ｓ１０２ではＡＥ領域角度情報やＷＢ領域角度情報が算出され、Ｓ１０３ではＡＥ領域角度情報やＷＢ領域角度情報を含む設定コマンドが送信される。この場合、撮像装置１００では、ＡＥ領域角度情報やＷＢ領域角度情報が画像処理部１０３に送られることになる。また、対象領域がＡＦ評価値取得の対象領域である場合、Ｓ１０２ではＡＦ角度情報が算出され、Ｓ１０３ではＡＦ角度情報を含むＡＦ角度情報コマンドが送信される。この場合、撮像装置１００では、ＡＦ角度情報が光学系制御部１０６に送られることになる。
【００４５】
図７は、クライアント装置２００から図６のＳ１０３でコマンドに含められて送信されてきた角度情報を基に、撮像装置１００において、対象領域の位置等を補正する際のフローチャートである。なお、図７のフローチャートの処理は、ソフトウェア構成またはハードウェア構成により実行されてもよいし、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェア構成を実現するためのハードウェア構成は、少なくともＣＰＵ、ＲＯＭ、ＲＡＭを備え、ＲＯＭから読み出されてＲＡＭに展開されたプログラムをＣＰＵが実行することにより、図７のフローチャートの処理が実現される。この場合のＲＯＭに記憶されているプログラムは、ＣＰＵが、図１の制御部１０８、画像処理部１０３、合成・圧縮符号化部１０４、マスク生成部１０７、光学系制御部１０６の各機能を実行可能なプログラムとなされる。このプログラムは、例えば記憶部１０９に含まれるＲＯＭに予め用意されていてもよく、また着脱可能な半導体メモリ等から読み出されたり、通信部１０５を介してインターネット等のネットワーク３００からダウンロードされたりしてもよい。
【００４６】
ここで、クライアント装置２００からのコマンドにより、角度情報として例えばプライバシー保護の対象領域のマスク角度情報ｍ1が送られてきた場合、図７のフローチャートの処理は主にマスク生成部１０７で行われる。クライアント装置２００からのコマンドにより、角度情報として例えば圧縮率を下げる対象領域の低圧縮領域角度情報ｍ2が送られてきた場合、図７の処理は主に合成・圧縮符号化部１０４で行われる。クライアント装置２００からのコマンドにより、ＡＥやＡＷＢ評価値取得の対象領域の、ＡＥ領域角度情報やＷＢ領域角度情報が送られてきた場合、図７の処理は主に画像処理部１０３で行われる。クライアント装置２００からのコマンドにより、ＡＦ評価値取得の対象領域のＡＦ角度情報が送られてきた場合、図７の処理は主に光学系制御部１０６により行われる。
【００４７】
ここで、図７のフローチャートに示した対象領域の位置等の補正は、これら各対象領域において基本的に同様の処理である。全ての対象領域について説明すると煩雑になるため、以下、代表例として、マスク生成部１０７によるプライバシー保護の対象領域（マスクすべき領域）の位置等の補正のみを例に挙げて説明する。
【００４８】
図７のＳ２００において、マスク生成部１０７は、雲台制御部１１１にて制御される雲台１１０のパン角度Ｐとチルト角度Ｔの情報を、制御部１０８を介して参照する。
また、Ｓ２０１において、マスク生成部１０７は、光学系制御部１０６にて制御されるズームレンズのズーム位置（ズーム倍率）を基に制御部１０８が算出したズーム画角の情報を参照する。当該ズーム画角は撮影光学系１０１による光学系画角Ｚであり、前述したクロップ前画角Ａｏに相当する。
【００４９】
次に、Ｓ２０２において、マスク生成部１０７は、画像処理部１０３のクロップ設定（又はデジタルズーム設定）を参照し、クロップ設定（又はデジタルズーム設定）がなされているか否か判定する。以下の説明ではクロップ設定を例に挙げる。そして、マスク生成部１０７は、クロップ設定がなされていると判定した場合にはＳ２０３へ処理を進め、一方、クロップ設定がなされていない場合にはＳ２０４へ処理を進める。
【００５０】
Ｓ２０３に進むと、マスク生成部１０７は、記憶部１０９に記憶されている対象領域のマスク角度情報ｍ1を、前述した図３の設定球Ａにおける球面座標に補正する。例えば補正前のマスク角度情報ｍ1による角度と画像中心（光軸中心）とのなす角をｒ、補正後のマスク角度情報による角度と画像中心（光軸中心）とのなす角をＲとすると、マスク生成部１０７は、下記の式（１）の係数テーブルＤ［ｒ］を用いた補正を行う。
Ｒ＝ｒ＋Ｄ［ｒ］ｒ3      式（１）
【００５１】
なお、補正精度を向上させるために、係数テーブルＤ［ｒ］は光軸からの距離関数ｄ（ｒ）であってもよい。また、式（１）のような３次の補正式に限らず、式（２）のようにｎ次の補正式を用いて精度を高めるようにしてもよい。
Ｒ＝ΣＤn［ｒ］ｒn    （ｎ＝１，３，５・・・）      式（２）
【００５２】
また、記憶部１０９のマスク角度情報ｍ1の始点ｍを（ｐ，ｔ）とし、当該始点ｍに対する補正角度ｍ'を（ｐ'，ｔ'）とすると、前述の角ｒと角Ｒは式（３）を満たす。なお、ｐとＰはパン角度、ｔとＴはチルト角度である。
ｒ2＝（ｐ−Ｐ）2＋（ｔ−Ｔ）2
Ｒ2＝（ｐ'−Ｐ）2＋（ｔ'−Ｔ）2
（ｐ'−Ｐ）（ｔ'−Ｔ）＝（ｐ'−Ｐ）（ｔ−Ｔ）      式（３）
【００５３】
また、マスク角度情報ｍ1の対象領域の高さΔｐと幅Δｔに対して高さの補正角度Δｐ'と幅の補正角度Δｔ'は、光学上の水平角度ΔＺと画像ストリームの画像のアスペクト比に比例する垂直角度ΔＺｖとから、式（４）の補正式を使って求めることができる。
Δｐ'＝Δｐ×ｒ／Ｒ
Δｔ'＝Δｔ×ｒ／Ｒ
ｒ2＝（ΔＺ／２）2＋（ΔＺｖ／２）2      式（４）
【００５４】
次に、Ｓ２０４において、マスク生成部１０７は、Ｓ２０２で参照したクロップ倍率の比率と、クロップ前のズーム角度（光学画角Ｚ）とから、再計算対象角度Ａｔを計算する。
また、Ｓ２０５に進んだ場合には、クロップ倍率がかかっていないことから、マスク生成部１０７は、再計算対象角度Ａｔをズーム角度（光学倍率Ｚ）と一致させる。またこのときの補正角度ｍ'は（ｐ'，ｔ'）＝（ｐ，ｔ）である。
【００５５】
次に、Ｓ２０６に進むと、マスク生成部１０７は、前述したパン角度Ｐとチルト角度Ｔと再計算対象角度Ａｔとにおける対象領域の補正角度ｍ'＝（ｐ'，ｔ'）を平面変換する。平面座標（ｈ，ｖ）は、下記の式（５）により行われる。
ｈ＝tan-1（ｙ／（ｘ2＋ｚ2）-2）
ｖ＝tan-1（ｚ／（ｘ2＋ｙ2）-2）
ｘ＝cos（ｔ'）cos（ｐ'−Ｐ）cos（Ｔ）＋sin（ｔ'）sin（Ｔ）
ｙ＝cos（ｔ'）sin（ｐ'−Ｐ）
ｚ＝−cos（ｔ'）cos（ｐ'−Ｐ）sin（Ｔ）＋sin（ｔ'）cos（Ｔ）      式（５）
【００５６】
また、平面の対象領域の高さΔｖと幅Δｈは、画像ストリームの画像の高さＨと幅Ｗに対して、式（６）により導かれる。
Δｈ＝Ｗ×Δｐ'／ΔＺ'
Δｖ＝Ｈ×Δｔ'／ΔＺｖ'      式（６）
【００５７】
式（６）のΔＺ'とΔＺｖ'は、それぞれ補正式から求められる、光学上の水平角度ΔＺと画像ストリームの画像のアスペクト比に比例する垂直角度ΔＺｖの、設定球Ａ上における対象領域の補正角度である。
【００５８】
次に、Ｓ２０７において、マスク生成部１０７は、平面変換された座標の始点（ｈ，ｖ）、高さΔｖ、幅Δｈで表される対象領域に対するマスク重畳画像を生成する。マスク重畳画像は、例えば画像処理部１０３から出力された画像の中の対象領域内を例えば不透過色で塗りつぶすようなマスク重畳画像を生成する。なお、マスク重畳画像は、画像処理部１０３から出力された画像のなかの対象領域内を例えば不透過色で塗りつぶし、対象領域以外の領域を透明にするような画像であってもよい。そして、圧縮符号化部１０４では、画像処理部１０３が出力した画像とマスク生成部１０７が生成したマスク重畳画像とを合成する。これによりプライバシーマスキングが行われた画像が得られる。
【００５９】
なお、図７に示したフローチャートのＳ２０３の処理は、制御部１０８においてマスク画角情報を記憶部１０９に記憶させるときに行ってもよい。この場合も前述したのと同じ補正効果が得られる。
【００６０】
また、図７のフローチャートでは、プライバシー保護の対象領域についてのみ説明したが、他の対象領域についても略々前述同様の補正処理が適用される。但し、例えば圧縮率を下げる対象領域の場合、図７のフローチャートの処理は合成・圧縮符号化部１０４において行われ、Ｓ２０７では、画像処理部１０３から出力された画像の対象領域の圧縮率を下げ、それ以外の領域の圧縮率を上げる処理が行われる。これにより、画像ストリームにおいて対象領域の品質を維持しつつ、伝送ビット量を削減することができる。また例えばＡＥやＷＢ評価値取得の対象領域の場合、図７のフローチャートの処理は画像処理部１０３で行われ、Ｓ２０７では、画像処理部１０３から出力された画像の対象領域からＡＥやＷＢ評価値が取得される。これにより、対象領域に適応したＡＥやＷＢの制御が行われる。また例えば、ＡＦ評価値取得の対象領域の場合、図７のフローチャートの処理は光学系制御部１０６で行われ、Ｓ２０７では、画像処理部１０３から出力された画像の対象領域からＡＦの合焦検波値が取得される。これにより、対象領域に合焦するようなＡＦ制御が行われる。
【００６１】
第１実施形態によれば、光学系の角度により対象領域（特定領域）が設定される場合に、光学系と球面座標系との間で対象領域の不一致を改善でき、雲台１１０の動きに合わせて対象領域を移動させることができる。
【００６２】
＜第２実施形態＞
以下、第２実施形態について説明する。第２実施形態の撮像装置１００とクライアント装置２００の構成とネットワークシステムの構成は、前述した図１（ａ）、図１（ｂ）、図２と同様であるためその図示は省略する。第２実施形態の撮像装置１００とクライアント装置２００において、第１実施形態とは異なる構成、処理、動作について以下に説明する。
【００６３】
第２実施形態の撮像装置１００において、第１実施形態と異なる点は、制御部１０８における処理及び動作である。第２実施形態の場合、制御部１０８は、光学系制御部１０６のズーム位置を光学上の水平角度に変換した光学角度Ｚの情報を、画像処理部１０３と圧縮符号化部１０４とマスク生成部１０７に個別に通知する。また、制御部１０８は、画像処理部１０３のクロップ倍率（又はデジタルズーム倍率）の情報を、光学系制御部１０６と圧縮符号化部１０４とマスク生成部１０７に個別に通知する。第１実施形態と同様、撮像装置１００は、ストリーム画角情報コマンドを受信すると、ズーム位置と、クロップ倍率（又はデジタルズーム倍率）から光学上の水平角度を算出した画角の情報を、クライアント装置２００に返信する。
【００６４】
図８は、第２実施形態のクライアント装置２００において行われる対象領域設定処理のフローチャートである。この図８の例では、プライバシー保護の対象領域のみを例に挙げて説明する。
Ｓ３００において、クライアント装置２００のＣＰＵ２０５は、ストリーム画角情報コマンドを、通信部２０３を介して撮像装置１００へ送信する。これにより、ストリーム画角情報コマンドを受信した撮像装置１００は、画像処理部１０３のクロップ画角Ｚｃ（又はデジタルズーム画角）と、雲台１１０のパン角度Ｐ及びチルト角度Ｔの情報を、クライアント装置２００にレスポンスする。
【００６５】
次に、Ｓ３０１において、ＣＰＵ２０５は、受信した画像ストリームがクロップ処理（又はデジタルズーム）で切り出された画像ストリームかどうかを判定する。ＣＰＵ２０５は、クロップ処理（又はデジタルズーム）で切り出されたストリームであると判定した場合にはＳ３０２へ処理を進め、クロップ処理とデジタルズームのいずれも行われていないストリームであると判定した場合にはＳ３０３へ処理を進める。
【００６６】
Ｓ３０２に進むと、ＣＰＵ２０５は、光学画角Ｚｃ（ズーム画角）を、第１実施形態の図７のＳ２０３で説明した補正式を用いて、再計算対象角度Ａｔに補正する。
次に、Ｓ３０３において、クライアント装置２００は、撮像装置１００が送信してきた画像ストリームを取得し、前述した図５のＵＩにより設定される対象領域の２次元座標を取得する。
【００６７】
次のＳ３０４において、ＣＰＵ２０５は、対象領域の２次元座標を、Ｓ３００で取得したストリーム画角情報コマンドで取得した角度（Ｐ，Ｔ，Ｚｃ）、又はＳ３０２で補正した再計算対象角度Ａｔの範囲へ球面変換し、マスク角度情報を算出する。球面変換は、第１実施形態の図７のＳ２０３の平面変換の逆変換である。
【００６８】
次に、Ｓ３０５において、ＣＰＵ２０５は、Ｓ３０４で算出したマスク角度情報をマスク角度情報コマンドに含めて撮像装置１００へ送信する。このときの撮像装置１００は、受信したマスク角度情報コマンドを制御部１０８で解析して記憶部１０９に記憶する。そして、撮像装置１００のマスク生成部１０７は、記憶部１０９に記憶されたマスク角度情報を受け取る。
【００６９】
図９は、第２実施形態のクライアント装置２００から図８のＳ３０３でコマンドに含められて送信されてきた角度情報を基に、第２実施形態の撮像装置１００において、対象領域の位置等を補正する際のフローチャートである。図９の例においても、プライバシー保護の対象領域のみを例に挙げて説明する。
【００７０】
図９のＳ４００、Ｓ４０１、Ｓ４０２は、図７のＳ２００、Ｓ２０１、Ｓ２０２と同様の処理であるためその説明は省略する。Ｓ４０２において、マスク生成部１０７は、クロップ設定（又はデジタルズーム設定）がなされていると判定した場合にはＳ４０３へ処理を進め、クロップ設定とデジタルズーム設定のどちらもなされていない場合にはＳ４０４へ処理を進める。また、Ｓ４０３は図７のＳ２０４と同様の処理であり、Ｓ４０４は図７のＳ２０５と同様の処理であるためその説明は省略する。
【００７１】
Ｓ４０５に進むと、マスク生成部１０７は、前述した角度（Ｐ，Ｔ，Ａｔ）における記憶部１０９の補正角度ｍ＝（ｐ，ｔ，Δｐ，Δｔ）を平面変換して、平面座標（ｈ，ｖ）を算出する。Ｓ４０５における平面変換の式は、前述した図７のＳ２０６における式（５）のｐ'，ｔ'を、ｐ，ｔまたはΔｐ，Δｔに変えた式を用いる。
【００７２】
その後、Ｓ４０６において、マスク生成部１０７は、平面変換された座標の始点（ｈ，ｖ）、高さΔｖ、幅Δｈで表される対象領域に対するマスク重畳画像を生成する。マスク重畳画像は、第１実施形態で説明したものと同様である。第２実施形態の場合、圧縮率を下げる対象領域やＡＥ，ＷＢ，ＡＦ等の他の対象領域についても前述同様に処理される。
【００７３】
第２実施形態においても前述の第１実施形態と同様に、光学系の角度により対象領域（特定領域）が設定される場合に、光学系と球面座標系との間で対象領域の不一致を改善できる。
以上説明したように、第１、第２実施形態によれば、球面座標を用いた対象領域指定における平面座標変換の誤差を補正可能となり、光学画角と球面座標との間で対象領域を一致させることができる。
【００７４】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００７５】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００７６】
１００：撮像装置、１０１：撮影光学系、１０２：撮像部、１０３：画像処理部、１０４：圧縮符号化部、１０５：通信部、１０６：光学系制御部、１０７：マスク生成部、１０８：制御部、１０９：記憶部、１１０：雲台、１１１：雲台制御部、２００：クライアント装置、３００：ネットワーク
【図１】
2019092066.tif 000003
【図２】
2019092066.tif 000004
【図３】
2019092066.tif 000005
【図４】
2019092066.tif 000006
【図５】
2019092066.tif 000007
【図６】
2019092066.tif 000008
【図７】
2019092066.tif 000009
【図８】
2019092066.tif 000010
【図９】
2019092066.tif 000011