(57)【要約】【課題】撮像装置のパン・チルト・ズーム操作中における映像の画質劣化と符号量増大とを抑制する。【解決手段】情報処理装置は、撮像手段から連続するフレームにより構成された映像を取得する取得手段と、取得手段により取得された映像を圧縮する圧縮手段と、撮像手段のパン機構、チルト機構およびズーム機構を含む駆動機構を駆動させる駆動制御手段と、撮像手段に対するパン、チルトおよびズームの操作を指示する操作情報に基づいて、駆動制御手段により駆動機構を駆動させることで上記操作を実現する第一操作を行うか否かを判定する判定手段と、判定手段により第一操作を行わないと判定された場合、撮像手段のズーム倍率を所定の倍率よりも広角側に制御して撮像された第一画像から、操作情報に基づく所定の領域の第二画像を切り出して上記操作を擬似的に実現する第二操作を行い、圧縮手段が第二画像を圧縮するよう制御する圧縮制御手段と、を備える。【選択図】      図１
2020123888.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段から連続するフレームにより構成された映像を取得する取得手段と、
前記取得手段により取得された映像を圧縮する圧縮手段と、
前記撮像手段のパン機構、チルト機構およびズーム機構を含む駆動機構を駆動させる駆動制御手段と、
前記撮像手段に対するパン、チルトおよびズームの操作を指示する操作情報に基づいて、前記駆動制御手段により前記駆動機構を駆動させることで前記操作を実現する第一操作を行うか否かを判定する判定手段と、
前記判定手段により前記第一操作を行わないと判定された場合、前記撮像手段のズーム倍率を所定の倍率よりも広角側に制御して撮像された第一画像から、前記操作情報に基づく所定の領域の第二画像を切り出して前記操作を擬似的に実現する第二操作を行い、前記圧縮手段が前記第二画像を圧縮するよう制御する圧縮制御手段と、を備えることを特徴とする情報処理装置。
【請求項２】
前記判定手段は、
前記操作情報に基づいて、前記第一操作を行った場合に前記取得手段により取得される映像を前記圧縮手段により圧縮した場合の画質の劣化度を予測し、当該劣化度が所定の劣化度を上回っている場合、前記第一操作を行わないと判定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記操作情報は、前記撮像手段のパン、チルトおよびズームの操作速度を示す速度情報を含み、
前記判定手段は、
前記操作速度で前記駆動機構を駆動させた場合の１フレームあたりの画像変化量を予測し、
前記画像変化量が、前記圧縮手段がフレーム間予測における動き補償で用いる動きベクトルの探索可能な範囲を超えている場合、前記劣化度が前記所定の劣化度を上回っていると判定することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記判定手段は、
前記操作の実現を開始する直前に前記取得手段により取得された画像の複雑度を判定し、当該複雑度が所定の閾値を上回っている場合、前記第一操作を行うと判定することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
【請求項５】
前記判定手段は、
前記操作の実現を開始する直前に前記取得手段により取得された画像の最高周波数を、前記撮像手段の解像分解能をもとに決定される最高周波数で割った値を前記複雑度として判定することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記所定の閾値は、前記操作の実現を開始する直前に前記取得手段により取得された画像の画角を、前記第一画像の画角で割った値に比例する値であることを特徴とする請求項４または５に記載の情報処理装置。
【請求項７】
前記判定手段は、
前記圧縮手段による圧縮に使用する量子化値が定める解像分解能をもとに決定される最高周波数を、前記複雑度の上限とすることを特徴とする請求項４から６のいずれか１項に記載の情報処理装置。
【請求項８】
前記圧縮手段は、
前記第二画像を圧縮する場合、前記第二画像内の注目領域の圧縮率を、当該注目領域外の領域の圧縮率よりも小さくすることを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
【請求項９】
前記注目領域は、動体が存在する動体領域であることを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記圧縮手段は、
前記第二画像を圧縮する場合、次フレームにおいて動体が発現すると予測される領域外の情報をフレーム間予測に加えて前記第二画像を圧縮することを特徴とする請求項８または９に記載の情報処理装置。
【請求項１１】
前記圧縮手段は、
前記第二画像を圧縮する場合、前記第二操作の開始時と前記第二操作の終了時とにおいては、フレーム内符号化のみを用いて前記第二画像を圧縮することを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記圧縮手段は、
前記第二画像を圧縮する場合、所定の周波数成分よりも高い高周波成分の圧縮率を、前記第二操作の開始時から徐々に高くすることを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。
【請求項１３】
撮像手段から連続するフレームにより構成された映像を取得するステップと、
前記撮像手段に対するパン、チルトおよびズームの操作を指示する操作情報に基づいて、前記撮像手段の前記パン機構、前記チルト機構および前記ズーム機構を含む駆動機構を駆動させることで前記操作を実現する第一操作を行うか否かを判定するステップと、
前記第一操作を行わないと判定された場合、前記撮像手段のズーム倍率を所定の倍率よりも広角側に制御して撮像された第一画像から、前記操作情報に基づく所定の領域の第二画像を切り出して前記操作を擬似的に実現する第二操作を行い、当該第二画像を圧縮するステップと、を含むことを特徴とする情報処理方法。
【請求項１４】
コンピュータを、請求項１から１２のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、ネットワークを介して映像を配信する撮像装置として、ユーザが遠隔にてパン機構、チルト機構およびズーム機構を操作できる撮像装置がある。
このような撮像装置から配信される映像データは、フレーム内の相関を用いて圧縮されたＩフレームと、フレーム間の相関も含んで圧縮されたＰフレームまたはＢフレームとで構成される。ＩフレームとＰ／Ｂフレームとでは、Ｉフレームの方が符号量は大きいため、Ｐ／Ｂフレームのフレーム数を多くすることで圧縮率を高めることができる。
【０００３】
しかしながら、撮像装置をＰＴＺ（パン・チルト・ズーム）操作した場合、ＰＴＺ操作中に撮像された映像は、フレーム間での相関が取りにくいため、画質劣化と符号量増大とが生じる。特にフレーム間予測のみを用いて圧縮された部分においては画質劣化が伝播していくため、見苦しい画像となってしまう。
特許文献１には、ズーム中に圧縮処理された画像の画質劣化を抑制するために、ズーム操作中はＩフレームのみの符号化状態とする技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−２５７３６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に記載の技術にあっては、ズーム中はＩフレームのみの符号化状態に規制するので、符号量が増大し、高圧縮率を達成することができない。つまり、画質劣化の伝播を抑制する代わりに多大な符号量コストを支払わなければならない。
そこで、本発明は、撮像装置のパン・チルト・ズーム操作中における映像の画質劣化と符号量増大とを抑制することを課題としている。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る情報処理装置の一態様は、撮像手段から連続するフレームにより構成された映像を取得する取得手段と、前記取得手段により取得された映像を圧縮する圧縮手段と、前記撮像手段のパン機構、チルト機構およびズーム機構を含む駆動機構を駆動させる駆動制御手段と、前記撮像手段に対するパン、チルトおよびズームの操作を指示する操作情報に基づいて、前記駆動制御手段により前記駆動機構を駆動させることで前記操作を実現する第一操作を行うか否かを判定する判定手段と、前記判定手段により前記第一操作を行わないと判定された場合、前記撮像手段のズーム倍率を所定の倍率よりも広角側に制御して撮像された第一画像から、前記操作情報に基づく所定の領域の第二画像を切り出して前記操作を擬似的に実現する第二操作を行い、前記圧縮手段が前記第二画像を圧縮するよう制御する圧縮制御手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、撮像装置のパン・チルト・ズーム操作中における映像の画質劣化と符号量増大とを抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】第一の実施形態における撮像装置のブロック構成例を示す図である。
【図２】撮像装置のハードウェア構成例である。
【図３】第一の実施形態における撮像装置の動作を説明するフローチャートである。
【図４】第二の実施形態における撮像装置のブロック構成例を示す図である。
【図５】第二の実施形態における撮像装置の動作を説明するフローチャートである。
【図６】第三の実施形態における撮像装置のブロック構成例を示す図である。
【図７】第四の実施形態におけるフレーム生成の説明図である。
【図８】第四の実施形態における動体発現領域の説明図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００１０】
（第一の実施形態）
図１は、本実施形態における撮像装置１００のブロック構成例を示す図である。
撮像装置１００は、時系列上で連続するフレーム（画像）により構成された動画（映像）を生成し、圧縮して出力する撮像装置である。本実施形態では、撮像装置１００は、監視システム等に用いられるネットワークカメラとすることができる。ネットワークカメラは、所定の監視領域を撮像し、撮像した映像を、ネットワークを介してクライアント装置へ配信する。ユーザは、クライアント装置を用いて撮像装置１００から配信された画像（映像）を視聴することができる。
【００１１】
また、本実施形態における撮像装置１００は、パン機構、チルト機構およびズーム機構を含む駆動機構を備えたＰＴＺ（Ｐａｎ  Ｔｉｌｔ  Ｚｏｏｍ）カメラである。撮像装置１００は、駆動機構（ＰＴＺ機構）を駆動する駆動制御を行うことで、ＰＴＺ操作を実現することができる。さらに、撮像装置１００は、ズーム倍率を所定の倍率よりも広角側に制御して撮像された画像（広角画像）から所定の領域の画像を切り出して、擬似的にＰＴＺ操作を実現する機能も有する。なお、以下の説明では、ＰＴＺ機構を駆動させてＰＴＺ操作を実現することを「メカＰＴＺ」、画像処理によって擬似的にＰＴＺ操作を実現することを「デジタルＰＴＺ」という。
撮像装置１００は、ユーザからパン、チルトおよびズームの操作を指示する操作情報（ＰＴＺ操作情報）を受け付け、ＰＴＺ操作情報に基づいて、メカＰＴＺとデジタルＰＴＺのどちらを用いて指示されたＰＴＺ操作を実現するかを判定する。そして、撮像装置１００は、その判定結果に従って、メカＰＴＺとデジタルＰＴＺとを切り替えてＰＴＺ制御を行い、映像を圧縮して出力する。
【００１２】
図１に示すように、撮像装置１００は、撮像部１０１と、駆動部１０２と、ＰＴＺ操作部１０３と、判定部１０４と、ＰＴＺ制御部１０５と、圧縮部１０６と、を備える。
撮像部１０１は、光学ズーム機能を有するレンズと、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）といった撮像素子と、を備える。撮像素子は、レンズにより結像された被写体像を電気信号（撮像信号）に変換して出力する。撮像部１０１は、撮像素子から出力された撮像信号に対して、ノイズ除去やゲイン調整、Ａ／Ｄ変換、色変換処理、ガンマ補正、画素補間処理といった画像処理を施して画像データを生成し、ＰＴＺ制御部１０５に出力する。
【００１３】
駆動部１０２は、ＰＴＺ制御部１０５により出力される目標座標、目標画角および目標到達時間を受信して、受信した目標座標に基づいてパン機構およびチルト機構を駆動し、受信した目標画角に基づいて撮像部１０１のレンズの光学ズームを駆動する。このとき、目標座標、目標画角および目標到達時間と、現在の座標および画角とに基づいて算出されるＰＴＺ操作速度に従って、ＰＴＺ機構を駆動する。ここで、目標座標は、目標パン角度、目標チルト角度であってもよい。また、目標画角は、目標ズーム倍率であってもよい。
ＰＴＺ操作部１０３は、ユーザが、例えばクライアント装置のユーザインタフェースを介して入力したＰＴＺ操作の指示に関する情報を受け付け、判定部１０４へＰＴＺ操作情報を出力する。ＰＴＺ操作情報は、ＰＴＺ操作終了時の目標座標、目標画角および目標到達時間を含む。
【００１４】
判定部１０４は、ＰＴＺ操作部１０３から受信した目標座標、目標画角および目標到達時間と、現在の座標および画角とに基づいて、ユーザによるＰＴＺ操作の指示を達成するＰＴＺ操作速度を算出する。なお、ＰＴＺ操作部１０３から受信したＰＴＺ操作情報に、ＰＴＺ操作速度を示す速度情報が含まれていてもよい。
判定部１０４は、ＰＴＺ操作速度に基づいて、当該ＰＴＺ操作速度でＰＴＺ機構を駆動させた場合の１フレームあたりの画像変化量を予測する。また、判定部１０４は、予測された画像変化量と圧縮部１０６における圧縮予測範囲とを比較することで、メカＰＴＺを用いてユーザが要求するＰＴＺ操作を実現するか、デジタルＰＴＺを用いてユーザが要求するＰＴＺ操作を実現するかを判定する。そして、その判定結果をＰＴＺ制御部１０５に出力する。
ここで、圧縮予測範囲は、エンコードに使用する動きベクトルの範囲であり、具体的には、フレーム間予測における動き補償で用いる動きベクトルの探索可能な範囲である。また、画像変化量は、例えば下記（１）式をもとに算出することができる。
【００１５】
【数１】
2020123888.tif 000003
【００１６】
ここで、δは画像変化量（pixel/frame）、ｔは時間、Θは現在の水平画角、Ｗは画像の水平サイズ、θはパン移動角、Ｔはフレームレートの逆数である。なお、上記（１）式は、パン方向の移動に関する画像変化量の算出式であるが、任意の方向であっても回転行列を乗ずるだけなので、ここでは説明を割愛する。
【００１７】
ＰＴＺ制御部１０５は、撮像部１０１から映像データを受信し、判定部１０４から判定結果とＰＴＺ操作情報とを受信する。ＰＴＺ制御部１０５は、判定部１０４からメカＰＴＺを用いるという判定結果を受信した場合、駆動部１０２に目標座標、目標画角および目標到達時間を出力することで、ＰＴＺ機構の駆動制御を行う。また、この場合、ＰＴＺ制御部１０５は、撮像部１０１から受信した映像データをそのまま圧縮部１０６に出力する。
一方、ＰＴＺ制御部１０５は、判定部１０４からデジタルＰＴＺを用いるという判定結果を受信した場合は、撮像部１０１のズーム倍率を所定の倍率よりも広角側に制御するよう駆動部１０２に目標画角を出力する。また、ＰＴＺ制御部１０５は、ズーム制御を行った撮像部１０１により撮像された広角画像から、所定の領域の画像を切り出し、切り出した画像に対して解像度変換をして圧縮部１０６へ出力する。ここで、切り出し画像の切り出し座標は、ＰＴＺ操作情報をもとに決定される。また、切り出し画像の画角は、上記のズーム制御前の画角である。
【００１８】
圧縮部１０６は、予め定められた目標符号量と、現在までの符号量の累積符号量からフレームの割り当て符号量を計算して映像を圧縮する。ここで、圧縮方法としては、Ｈ.２６４に準拠した圧縮符号化方法を用いることができる。ただし、映像の圧縮方法は、上記に限定されるものではなく、フレーム内予測符号化とフレーム間予測符号化とを用いる他の非可逆圧縮手法を用いることもできる。
圧縮部１０６は、圧縮した映像を、ネットワークを介してクライアント装置へ配信することができる。なお、圧縮部１０６は、圧縮した映像を記憶装置に記憶するようにしてもよい。
【００１９】
図２は、撮像装置１００のハードウェア構成例である。
撮像装置１００は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、外部メモリ１４と、撮像部１５と、入力部１６と、通信Ｉ／Ｆ１７と、システムバス１８と、を備える。
ＣＰＵ１１は、撮像装置１００における動作を統括的に制御する。ＲＯＭ１２は、ＣＰＵ１１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ１４や不図示の着脱可能な記憶媒体に記憶されていてもよい。ＲＡＭ１３は、ＣＰＵ１１の主メモリ、ワークエリア等として機能する。ＣＰＵ１１は、処理の実行に際してＲＯＭ１２から必要なプログラム等をＲＡＭ１３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
【００２０】
外部メモリ１４は、例えば、ＣＰＵ１１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ１４には、例えば、ＣＰＵ１１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。
撮像部１５は、図１の撮像部１０１に対応している。入力部１６は、電源ボタンや各種設定ボタン等を含む。通信Ｉ／Ｆ１７は、ネットワークを介して外部機器との間でデータの送受信を行う通信インタフェースを提供する。
【００２１】
図１に示す撮像装置１００の各要素の一部の機能は、ＣＰＵ１１がプログラムを実行することで実現することができる。ただし、図１に示す撮像装置１００の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１１の制御に基づいて動作する。
本実施形態では、撮像装置１００が、ＰＴＺ操作情報に基づいてメカＰＴＺとデジタルＰＴＺのどちらを用いてＰＴＺ操作を実現するかを判定し、その判定結果に基づいてＰＴＺ制御し、映像を圧縮する情報処理装置として動作する場合について説明する。しかしながら、一般のＰＣや他の機器等が上記の情報処理装置として動作してもよい。一般のＰＣや他の機器等が上記の情報処理装置として動作する場合、情報処理装置は、撮像部１５（図１の撮像部１０１）に替えて、撮像装置から映像データを入力する映像入力部を備える。
【００２２】
次に、本実施形態における撮像装置１００の動作について説明する。
図３は、本実施形態に係る撮像装置１００によるＰＴＺ操作を行う手順の一例を示すフローチャートである。図３の処理は、撮像装置１００がＰＴＺ操作情報を取得したタイミングで開始される。ただし、図３の処理の開始タイミングは、上記のタイミングに限らない。撮像装置１００は、ＣＰＵ１１が必要なプログラムを読み出して実行することにより、図３に示す各処理を実現することができる。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。
【００２３】
まずＳ１において、撮像装置１００は、ＰＴＺ操作情報に含まれる目標座標、目標画角および目標到達時間と、フレームレート、現在の画角、配信画像のサイズをもとに、上記（１）式を用いて画像変化量δを算出する。
次にＳ２において、撮像装置１００は、Ｓ１において算出された画像変化量δを圧縮予測範囲と比較する。そして、画像変化量δが圧縮予測範囲内である場合は、通常のメカＰＴＺ操作を実行して得られた映像を圧縮しても画質劣化は生じないと判断してＳ３に移行する。一方、画像変化量δが圧縮予測範囲を超えている場合は、通常のメカＰＴＺ操作を実行して得られた映像を圧縮した場合、画質劣化が生じる、つまり、画質の劣化度合いを示す画質劣化度が所定の劣化度を上回っていると判断してＳ４に移行する。
Ｓ３では、撮像装置１００は、目標座標および目標画角に基づいてメカＰＴＺを行い、図３の処理を終了する。これにより、メカＰＴＺによるユーザのＰＴＺ操作要求が達成される。
【００２４】
Ｓ４では、撮像装置１００は、現在の画角をストアしてから、光学ズームを現在のズーム倍率から広角側に制御し、Ｓ５に移行する。
Ｓ５では、撮像装置１００は、Ｓ４においてストアした画角と、現在の画角と、ＰＴＺ操作情報とに基づいて、切り出し画像の画面内座標値を決定する。
次にＳ６において、撮像装置１００は、Ｓ５において決定された画面内座標値が、画像内に存在するか否かを判定する。そして、撮像装置１００は、画面内座標値が画像内に存在しないと判定した場合、Ｓ７に移行し、画面内座標値が画像内に存在すると判定した場合、Ｓ８に移行する。
【００２５】
Ｓ７では、撮像装置１００は、メカＰＴＺを用いてＰＴＺ操作を行い、Ｓ５へ戻る。このＳ７におけるＰＴＺ操作では、例えば、下記（２）式で与えられるパン角度Ｐの分だけパン方向に操作する。
【００２６】
【数２】
2020123888.tif 000004
【００２７】
上記（２）式において、絶対座標系において現在光軸が向いている方向の方向ベクトル（カメラベクトル）を（φ，０）、ＰＴＺ操作終了時のカメラベクトルを（φ´，０）としている。また、目標到達時間をＮ／ＦＲ、ＰＴＺ操作開始前の画角をΦ、ＰＴＺ操作終了時の画角をΦ´としている。
なお、ベクトル（ｘ、ｙ）は、それぞれパン方向の角度ｘとチルト方向の角度ｙで張られるベクトルである。ここでは、現在のカメラベクトルとＰＴＺ終了時のカメラベクトルのチルト値をそれぞれ０としているが、任意の方向であっても回転行列を乗ずるだけなので、ここでは説明を割愛する。
【００２８】
Ｓ８では、撮像装置１００は、広角画像から、Ｓ５において決定された画面内座標値の画像を、Ｓ４においてストアされた画角と同じ画角で切り出し、切り出した画像をデジタルＰＴＺ画像としてＳ９へ移行する。
Ｓ９では、撮像装置１００は、Ｓ８において切り出したデジタルＰＴＺ画像を解像度変換して配信映像の解像度とし、Ｓ１０に移行する。
Ｓ１０では、撮像装置１００は、Ｓ９において解像度変換したデジタルＰＴＺ画像を圧縮し、Ｓ１１に移行する。
【００２９】
Ｓ１１では、撮像装置１００は、デジタルＰＴＺ画像の切り出し位置（座標）が、ＰＴＺ操作終了時の目標座標であるか否かを判定し、ＰＴＺ操作終了時の目標座標ではないと判定した場合はＳ５に戻り、デジタルＰＴＺ画像の切り出し位置を更新する。一方、撮像装置１００は、デジタルＰＴＺ画像の切り出し位置が、ＰＴＺ操作終了時の目標座標であると判定した場合には、Ｓ１２に移行する。
Ｓ１２では、撮像装置１００は、光学ズームを元に戻して図３の処理を終了する。具体的には、撮像装置１００は、ユーザによる操作要求がＰＴ操作である場合には、光学ズームを、ＰＴ操作前のストアされた画角に対応するズーム倍率に制御する。また、撮像装置１００は、ユーザによる操作要求がズーム操作である場合には、光学ズームを、ＰＴＺ操作終了時の目標画角に対応するズーム倍率に制御する。
【００３０】
以上説明したように、本実施形態における撮像装置１００は、連続するフレームにより構成された映像を取得し、取得された映像を圧縮する。このとき、撮像装置１００は、パン、チルトおよびズームの操作であるＰＴＺ操作を指示するＰＴＺ操作情報に基づいて、パン機構、チルト機構およびズーム機構を含む駆動機構を駆動させることによって指示されたＰＴＺ操作を実現するか否かを判定する。つまり、撮像装置１００は、ＰＴＺ操作情報に基づいて、メカＰＴＺを用いてＰＴＺ操作を実現するか否かを判定する。そして、撮像装置１００は、メカＰＴＺを用いないと判定した場合、デジタルＰＴＺを用いてＰＴＺ操作を擬似的に実現する。つまり、撮像装置１００は、ズーム倍率を所定の倍率よりも広角側に制御して撮像された広角画像から、ＰＴＺ操作情報に基づく所定の領域の画像を切り出すことでＰＴＺ操作を擬似的に実現し、切り出した画像を圧縮するよう圧縮制御を行う。
【００３１】
具体的には、撮像装置１００は、ＰＴＺ操作情報に基づいて、メカＰＴＺを用いてＰＴＺ操作を行った場合に取得される映像を圧縮した場合の画質の劣化度合いを示す画質劣化度を予測する。そして、当該画質劣化度が所定の劣化度を上回っている場合、メカＰＴＺを用いずにデジタルＰＴＺを用いてＰＴＺ操作を行うと判定する。
撮像装置１００は、ＰＴＺ操作情報に含まれるＰＴＺ操作速度でＰＴＺ機構を駆動させた場合の１フレームあたりの画像変化量を予測し、当該画像変化量が圧縮予測範囲を超えている場合、画質劣化度が所定の劣化度を上回っていると判定することができる。
【００３２】
このように、撮像装置１００は、メカＰＴＺを用いてＰＴＺ操作要求を達成した場合に得られる映像を圧縮した場合に画質劣化が生じると判定した場合には、デジタルＰＴＺを用いてＰＴＺ操作要求を達成するようにする。つまり、撮像装置１００は、メカＰＴＺを用いないと判定した場合、現在の画角をストアしてから画角を広げ、広角画角となったフレームから、ストアされた画角の画像を切り出し、切り出した画像を圧縮する圧縮制御を行う。このとき、画像の切り出し位置は、ＰＴＺ操作情報に含まれる操作速度で最終到達点（目標座標）まで変化させるようにする。
これにより、圧縮対象となる画像の最高周波数を下げることができ、モスキートノイズ等の圧縮ノイズの発生を抑制し、符号量の増大を測定することができる。結果として、良好な画質を適切な符号量でユーザに提供することができる。
【００３３】
（第二の実施形態）
次に、本発明における第二の実施形態について説明する。
上述した第一の実施形態では、ＰＴＺ操作時における圧縮によるノイズ評価を行って、メカＰＴＺを行うか、デジタルＰＴＺを行うかを判定する場合について説明した。この第二の実施形態では、ＰＴＺ操作時における圧縮によるノイズ評価に加えて、切り出し画像の解像度変換による画質劣化を評価して、メカＰＴＺを行うか、デジタルＰＴＺを行うかを判定する場合について説明する。
【００３４】
図４は、本実施形態における撮像装置１００Ａの構成の一例を示すブロック図である。
本実施形態における撮像装置１００Ａの構成は、図１に示す撮像装置１００の判定部１０４が判定部１０４Ａに置換されていることを除いては、撮像装置１００の構成と同様である。したがって、以下、撮像装置１００とは構成の異なる部分を中心に説明する。
判定部１０４Ａは、判定部１０４の機能に加えて、ＰＴＺ操作前の画像の複雑度に基づいてメカＰＴＺを行うかデジタルＰＴＺを行うかを判定する機能を有する。具体的には、判定部１０４Ａは、撮像部１０１よりＰＴＺ操作の実現を開始する直前の画像を取得し、当該画像の複雑度を判定し、画像の複雑度が所定の閾値を上回っている場合、メカＰＴＺを使用すると判定する。一方、画像の複雑度が所定の閾値以下である場合は、画像切り出しを用いたデジタルＰＴＺを使用すると判定する。
【００３５】
ここで、画像の複雑度は、例えば画像を周波数変換してパワースペクトラムを計算し、当該スペクトラムの中からある任意の値以上のスペクトラムの最高周波数を求め、当該最高周波数を画像の解像周波数で規格化した値を用いることができる。ここで、解像周波数は、撮像装置１００Ａの解像分解能をもとに決定される最高周波数とすることができる。
また、画像の複雑度と比較する上記の所定の閾値は、例えばデジタルＰＴＺを行う直前の画像の画角を、デジタルＰＴＺ操作時の広角画角で規格化した値としてもよい。
なお、圧縮に使用する量子化値が定める解像分解能をもとに決定される最高周波数を、画像の複雑度の上限としてもよい。つまり、圧縮で使用する量子化値によって定まる解像周波数と、上記の規格化された画像の最高周波数とを比較し、より小さい周波数を画像の複雑度としてもよい。
さらに、例えば圧縮部１０６より下記（３）式をもとに算出される値Ｃを受信し、値Ｃを画像の複雑度として用いてもよい。下記（３）式において、Ｃは画像の複雑度、Ｒは画像の符号量、Ｑｐは画像の圧縮量子化値である。
【００３６】
【数３】
2020123888.tif 000005
【００３７】
次に、本実施形態における撮像装置１００Ａの判定部１０４Ａの動作について説明する。
図５は、判定部１０４Ａにおいて、メカＰＴＺかデジタルＰＴＺを選択する手順の一例を示すフローチャートである。図５の処理の開始タイミングは、上述した図３の開始タイミングと同様である。撮像装置１００Ａは、ＣＰＵ１１が必要なプログラムを読み出して実行することにより、図５に示す各処理を実現することができる。
【００３８】
Ｓ２１〜Ｓ２３の処理は、図３のＳ１〜Ｓ３の処理と同様である。
撮像装置１００Ａは、Ｓ２２において、画像変化量が圧縮予測範囲を超えていると判定するとＳ２４に移行し、Ｓ２４において画像を周波数変換し、パワースペクトラムを求め、ある閾値以上のパワースペクトラムの最高周波数Ｆを算出してＳ２５に移行する。
Ｓ２５では、撮像装置１００Ａは、変数の規格化を行う。ここでは、以下の規格化された変数ｆ0、Ａ0を算出する。
ｆ0＝Ｆ／Ｆmax  ………（４）
Ａ0＝Φ／Φ´  ………（５）
【００３９】
ここで、ｆ0、Ａ0は、それぞれ規格化された画像の最大周波数と、解像度変換率の逆数とである。上記（４）式において、Ｆは画像の最大周波数、Ｆmaxは画像の解像周波数である。変数ｆ0が画像の複雑度に相当する。つまり、画像の複雑度は、ＰＴＺ操作の実現を開始する直前に取得された画像の最高周波数Ｆを、撮像装置１００Ａの解像分解能をもとに決定される最高周波数Ｆmaxで割った値とすることができる。
また、上記（５）式において、ΦはデジタルＰＴＺ操作直前の画角であり、Φ´はデジタルＰＴＺ操作時の広角画角である。
【００４０】
次にＳ２６において、撮像装置１００Ａは、変数ｆ0と閾値αＡ0とを比較し、変数ｆ0が閾値αＡ0よりも大きい場合にはＳ２３に移行し、変数ｆ0が閾値αＡ0以下である場合にはＳ２７に移行する。ここで、定数αは、調整用の任意値であり、特に何も無ければ１とすることができる。つまり、撮像装置１００Ａは、ＰＴＺ操作の実現を開始する直前に取得された画像の画角Φを、デジタルＰＴＺ操作時の画角Φ´で割った値Ａ0に比例する値αＡ0を閾値とし、画像の複雑度ｆ0が当該閾値以下であるか否かを判定する。
Ｓ２７では、撮像装置１００Ａは、光学ズームを制御し、画角を広角画角Φ´となるようにしてＳ２８に移行する。
Ｓ２８では、撮像装置１００Ａは、広角画像から、メカＰＴＺ操作を行った場合と同じ画角、同じ領域の画像をデジタルＰＴＺ画像として切り出し、解像度変換を行い、圧縮する。
【００４１】
以上説明したように、本実施形態における撮像装置１００Ａは、ＰＴＺ操作情報に基づいてＰＴＺ操作の実現を開始する直前に取得された画像の複雑度を判定し、当該複雑度が閾値を上回っている場合、メカＰＴＺ操作を行うと判定する。
ここで、撮像装置１００Ａは、デジタルＰＴＺ操作を開始する直前に取得された画像の最高周波数Ｆを、撮像装置１００Ａの解像分解能をもとに決定される最高周波数Ｆmaxで割った値ｆ0を、上記の画像の複雑度として判定する。このように、デジタルＰＴＺ操作を開始する直前の画像の周波数成分の比率により、デジタルＰＴＺ画像の解像度変換による画質劣化を評価する。
したがって、撮像装置１００Ａは、メカＰＴＺを用いてＰＴＺ操作要求を達成した場合に得られる映像を圧縮すると圧縮ノイズが生じる場合で、かつデジタルＰＴＺによる解像度の喪失による画質劣化が起きない場合に、デジタルＰＴＺを用いることができる。そのため、弊害なくモスキートノイズ等の圧縮ノイズの発生を抑制することができ、結果として良好な画質を適切な符号量でユーザに提供することができる。
【００４２】
（第三の実施形態）
次に、本発明における第三の実施形態について説明する。
この第三の実施形態は、ＰＴＺ操作としてデジタルＰＴＺ操作が選択された場合、ユーザの興味がある注目領域であるＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｓｔ）に、それ以外の領域よりも符号量をより多く割り当てる圧縮処理を行うようにしたものである。
【００４３】
図６は、本実施形態における撮像装置１００Ｂの構成の一例を示すブロック図である。
本実施形態における撮像装置１００Ｂの構成は、図４に示す撮像装置１００Ａの構成にＲＯＩ設定部１０７を追加し、圧縮部１０６が圧縮部１０６Ａに置換されていることを除いては、撮像装置１００Ａの構成と同様である。したがって、以下、撮像装置１００Ａとは構成の異なる部分を中心に説明する。また、ＰＴＺ操作としてデジタルＰＴＺ操作が選択されなかった場合（メカＰＴＺ操作が選択された場合）の動作は、上述した第一の実施形態および第二の実施形態と同様であるため、ここでは説明を省略する。
【００４４】
圧縮部１０６Ａは、ＰＴＺ制御部１０５から画像（デジタルＰＴＺ画像）を受信し、さらにＲＯＩ設定部１０７からＲＯＩ情報を受信する。そして、圧縮部１０６Ａは、画像内の注目領域の圧縮率が、当該注目領域外の領域の圧縮率よりも小さくなるように、ＲＯＩとＲＯＩ以外の領域の符号量割り当てを制御する。
ＲＯＩとＲＯＩ以外の符号量割り当ては、例えば、単位面積当たり２：１の符号量分配といった固定的な分配比率とすることができる。なお、領域内での符号量割り当ては単一でもよいし、領域内の中心から外周部へ向けて変動させてもよい。変動させる場合、例えば下記（６）式のように、領域の中心を０とした中心からの距離ｒの符号量をＡ（ｒ）としたガウス分布を用いてもよい。下記（６）式において、σは分散パラメータであり、符号量の分配の偏り具合を表す。また、Ｋは定数である。ＲＯＩの割り当て符号量をＡとした場合、分散パラメータσと定数Ｋとの関係は、例えば下記（７）式に従う。下記（７）式において、ｒ１はＲＯＩの外周から中心までの距離である。
ここで、領域の符号量分配は、例えば圧縮に係わる量子化値を制御して行うことができる。
【００４５】
【数４】
2020123888.tif 000006
【００４６】
ＲＯＩ設定部１０７は、判定部１０４ＡよりデジタルＰＴＺを行うと判定された場合に、撮像部１０１から画像を入力し、定義されたＲＯＩを判別し、圧縮部１０６ＡにＲＯＩ情報を出力する。ここで、ＲＯＩは、例えば動体が存在する動体領域とすることができる。この場合、ＲＯＩ設定部１０７は、撮像部１０１から受信した画像をもとに、背景差分法等を用いてＲＯＩを検出することができる。また、撮像部１０１から受信した画像内のＲＯＩ領域座標は、デジタルＰＴＺの切り出し、解像度変換を同様に行えば、デジタルＰＴＺ領域の座標に変換することができる。
【００４７】
以上説明したように、本実施形態における撮像装置１００Ｂは、デジタルＰＴＺを用いてＰＴＺ操作を実現する場合、切り出したデジタルＰＴＺ画像を圧縮する際に、画像内の注目領域の圧縮率を、当該注目領域外の領域の圧縮率よりも小さくする。ここで、注目領域は、動体が存在する動体領域とすることができる。
このように、デジタルＰＴＺ操作時に符号量分配を行うことで、デジタルＰＴＺ画像内のＲＯＩ領域の圧縮ノイズを抑制することができ、結果として良好な画質を適切な符号量でユーザに提供することができる。
【００４８】
（変形例）
上記第三の実施形態においては、撮像装置１００Ｂの圧縮部１０６Ａは、デジタルＰＴＺ操作時に、圧縮対象フレームを圧縮する際に、圧縮対象フレームの次フレームの動体発現領域を除いた領域の情報を用い、圧縮効率を高めるようにしてもよい。この場合、圧縮部１０６Ａは、圧縮対象フレームを、当該圧縮対象フレーム、圧縮対象フレームの少なくとも一枚前のフレーム、および圧縮対象フレームの少なくとも一枚後のフレームの動体発現領域外の情報を用いて、圧縮処理を行う。ここで、動体発現領域とは、圧縮対象フレームにおいてＲＯＩ設定部１０７により検出されたＲＯＩ領域の位置情報と、当該ＲＯＩ領域の速度情報とから予測、拡大された、動体が発現すると予測される領域のことである。
なお、少なくとも一枚後のフレームは、予定されている切り出し領域を予め切り出して使用し、少なくとも一枚前のフレームは、圧縮部１０６Ａにて少なくとも一枚前のフレームの圧縮に使用された圧縮対象フレームを使用する。
【００４９】
以下、動作について説明する。
図７（ａ）に示すフレーム２０１は、ＰＴＺ操作を開始する直前のフレームであり、この直後にデジタルＰＴＺ操作を行うと判定されると、ＰＴＺ制御部１０５は、光学ズームを広角側に制御し、撮像部１０１から図７（ｂ）に示すフレーム２０２を取得する。ＰＴＺ制御部１０５は、図７（ｂ）のフレーム２０２を受信して、図７（ｃ）に示すように、フレーム２０２においてＰＴＺ操作終了時の目的フレームまでの各フレーム切り出し位置２１０、２１１、２１２、…、を計算する。
そして、ＰＴＺ制御部１０５は、圧縮部１０６Ａに図７（ｄ）のフレーム２０３と図７（ｅ）のフレーム２０４とを圧縮対象フレーム、圧縮対象フレームの次フレームとして出力する。ここで、図７（ｄ）のフレーム２０３は、フレーム２０２における切り出し位置２１０の画像に対応し、図７（ｅ）のフレーム２０４は、フレーム２０２における切り出し位置２１１の画像に対応している。なお、ここでは説明を簡単にするために、圧縮対象フレーム以外を１フレームとしたが、複数フレームであっても構わない。
【００５０】
ＲＯＩ設定部１０７は、図７（ｂ）に示すフレーム２０２に対して、ＲＯＩを検出するために背景差分による動体検出処理を行い、ＲＯＩの位置情報および速度情報を求める。ここで、ＲＯＩの位置情報は、動体の座標であり、ＲＯＩの速度情報は、動体の移動ベクトルとすることができる。また、移動ベクトルは、例えば前フレームに対する動体検出処理において検出された動体の座標の中で最も近い座標との差分とすることができる。
ＲＯＩ設定部１０７は、算出された動体の移動ベクトルを用いて、図８（ａ）に示すようにフレーム２０２内で動体が存在する可能性のある動体発現領域２２０を算出し、算出結果を圧縮部１０６Ａに出力する。
圧縮部１０６Ａは、ＰＴＺ制御部１０５から圧縮対象フレームと圧縮フレームの次フレームとを受信するとともに、ＲＯＩ設定部１０７から動体発現領域に関する情報を受信する。そして、圧縮部１０６Ａは、図８（ｂ）および図８（ｃ）に示すように、動体発現領域２２０を各フレーム２０３、２０４内の領域に変換する。そして、圧縮部１０６Ａは、圧縮対象フレームを圧縮する際に、過去フレームだけではなく、圧縮対象フレームの次フレームの動体発現領域外との相関を用いる。つまり、圧縮対象フレームを圧縮する際に、次フレームにおいて動体が発現すると予測される領域外をフレーム間予測に加えて圧縮する。
【００５１】
このように、撮像装置１００Ｂは、デジタルＰＴＺを用いてＰＴＺ操作を実現する場合、切り出したデジタルＰＴＺ画像を圧縮する際に、次フレームにおいて動体が発現すると予測される領域外の情報をフレーム間予測に加えて圧縮するようにしてもよい。これにより、未来のフレームの情報を遅延無く圧縮に利用することができる。つまり、デジタルＰＴＺ操作中に擬似Ｂフレームを作成して配信することが可能となる。したがって、圧縮ノイズを適切に抑制しつつ圧縮符号化効率を上げることができ、良好な画質を適切な符号量でユーザに提供することができる。
【００５２】
なお、圧縮部１０６Ａは、例えばＨ．２６４におけるスケーリングリストのように、周波数毎に圧縮率を制御できる機構を用いて、所定の周波数成分よりも高い高周波成分の圧縮率を、ＰＴＺ操作開始時のフレームから徐々に高くするようにしてもよい。この場合、デジタルＰＴＺに切り替わった際の解像度が急激に変化することを抑制することができる。また、圧縮部１０６Ａは、デジタルＰＴＺ操作の開始時のフレームと、デジタルＰＴＺ操作の終了時のフレームとに対しては、フレーム内符号化（画面内符号化）のみを用いた圧縮処理を行ってもよい。
【００５３】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５４】
１００…画像処理装置、１０１…映像入力部、１０２…圧縮部、１０３…動体検知部、１０４…ＦＲ制御部、１０５…圧縮制御部、１０６…配信部
【図１】
2020123888.tif 000007
【図２】
2020123888.tif 000008
【図３】
2020123888.tif 000009
【図４】
2020123888.tif 000010
【図５】
2020123888.tif 000011
【図６】
2020123888.tif 000012
【図７】
2020123888.tif 000013
【図８】
2020123888.tif 000014