(57)【要約】【課題】第１の画像と第１の画像から切り出され歪みが補正された第２の画像の両方に、符号化処理に影響する機能に係る領域を適切に設定可能とする。【解決手段】画像処理装置は、第１の画像を取得し、第１の画像の少なくとも一部を切り出して歪み補正した第２の画像を生成する。画像処理装置は、第１の画像に対して符号化処理に影響する機能に係る領域を設定するための第１のユーザインターフェースと、第２の画像に対して符号化処理に影響する機能に係る領域を設定するための第２のユーザインターフェースとを提供し、第１のユーザインターフェースを用いて設定された領域に基づいて第１の画像を符号化し、第２のユーザインターフェースを用いて設定された領域に基づいて第２の画像を符号化する。【選択図】  図１
2019009507.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像を取得する取得手段と、
前記第１の画像の少なくとも一部を切り出して歪み補正した第２の画像を生成する生成手段と、
前記第１の画像に対して符号化処理に影響する機能に係る領域を設定するための第１のユーザインターフェースと、前記第２の画像に対して符号化処理に影響する機能に係る領域を設定するための第２のユーザインターフェースとを提供する提供手段と、
前記第１のユーザインターフェースを用いて設定された領域に基づいて前記第１の画像を符号化し、前記第２のユーザインターフェースを用いて設定された領域に基づいて前記第２の画像を符号化する符号化手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記取得手段は、カメラにより撮像された画像を前記第１の画像として取得し、
前記生成手段は、前記第１の画像の一部を切り出して幾何変換処理を行うことにより前記第２の画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の画像は魚眼画像であり、
前記第２の画像は、前記魚眼画像の一部を切り出して幾何変換処理が施された切り出し画像であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第１のユーザインターフェースは前記第２のユーザインターフェースへ切り換えるための操作項目を含み、前記第２のユーザインターフェースは前記第１のユーザインターフェースへ切り換えるための操作項目を含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第１の画像と前記第２の画像のいずれか一方のみに前記領域が設定されている場合に、その旨をユーザに通知するためのメッセージを出力する出力手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第１のユーザインターフェースでは前記第１の画像の表示上で前記領域が設定され、前記第２のユーザインターフェースでは前記第２の画像の表示上で前記領域が設定されることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第１のユーザインターフェースにおいて、前記第１の画像の表示上に前記第２のユーザインターフェースで設定された領域に対応する領域が表示され、前記第２のユーザインターフェースにおいて、前記第２の画像の表示上に前記第２のユーザインターフェースで設定された領域に対応する領域が表示されることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第１および第２のユーザインターフェースのそれぞれは、前記領域として１つまたは複数の領域を設定可能であり、前記１つまたは複数の領域の各々について、有効または無効を設定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記第１および第２のユーザインターフェースのそれぞれは、前記領域として、画質を変更すべき１つまたは複数の領域を設定可能であり、前記１つまたは複数の領域の各々について、画質のレベルを設定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
撮像手段と、
前記撮像手段により撮像された第１の画像を取得する取得手段と、
前記第１の画像の少なくとも一部を切り出して歪み補正した第２の画像を生成する生成手段と、
前記第１の画像に対して符号化処理に影響する機能に係る領域を設定するための第１のユーザインターフェースと、前記第２の画像に対して符号化処理に影響する機能に係る領域を設定するための第２のユーザインターフェースとを外部装置に提供する提供手段と、
前記外部装置が前記第１のユーザインターフェースを用いて設定した領域に基づいて前記第１の画像を符号化し、前記外部装置が前記第２のユーザインターフェースを用いて設定した領域に基づいて前記第２の画像を符号化する符号化手段と、を備えることを特徴とする撮像装置。
【請求項１１】
撮像装置と、画像処理装置と、クライアント装置を備える監視システムであって、
前記画像処理装置が、
前記撮像装置が撮像した第１の画像を取得する取得手段と、
前記第１の画像の少なくとも一部を切り出して歪み補正した第２の画像を生成する生成手段と、
前記第１の画像に対して符号化処理に影響する機能に係る領域を設定するための第１のユーザインターフェースと、前記第２の画像に対して符号化処理に影響する機能に係る領域を設定するための第２のユーザインターフェースとを、前記がクライアント装置に提供する提供手段と、
前記クライアント装置により前記第１のユーザインターフェースを用いて設定された領域に基づいて前記第１の画像を符号化し、前記クライアント装置により前記第２のユーザインターフェースを用いて設定された領域に基づいて前記第２の画像を符号化する符号化手段と、を備えることを特徴とする監視システム。
【請求項１２】
画像処理装置の制御方法であって、
第１の画像を取得する取得工程と、
前記第１の画像の少なくとも一部を切り出して歪み補正した第２の画像を生成する生成工程と、
前記第１の画像に対して符号化処理に影響する機能に係る領域を設定するための第１のユーザインターフェースと、前記第２の画像に対して符号化処理に影響する機能に係る領域を設定するための第２のユーザインターフェースとを提供する提供工程と、
前記第１のユーザインターフェースを用いて設定された領域に基づいて前記第１の画像を符号化し、前記第２のユーザインターフェースを用いて設定された領域に基づいて前記第２の画像を符号化する符号化工程と、を有することを特徴とする画像処理装置の制御方法。
【請求項１３】
請求項１２に記載された画像処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置およびその制御方法、撮像装置、監視システムに関する。
【背景技術】
【０００２】
全方位ミラーまたは全周魚眼レンズを搭載した全方位カメラは、一度に全周囲（３６０度）の景観を撮影する撮像装置であり、監視カメラやロボットナビゲーションなどのさまざまな用途に利用されている。例えば、全周魚眼レンズを搭載した全方位カメラでは、３６０度円環あるいは円形などの魚眼画像が撮影される。撮影された魚眼画像は歪を含むが、魚眼画像から画像を切り出して幾何変換処理を行なうことにより、パノラマ展開画像、平面透視投影画像などの切り出し画像が得られる。
【０００３】
特許文献１では、全方位カメラのような広視野角カメラの画像を部分的に切り出して配信する技術が開示されている。また、近年、ネットワークカメラなどの撮像装置において、領域毎に画像の品質を変えることが可能な撮像装置が提案されている。特許文献２では、画面中央部の映像を高画質にし、周辺部の映像を低画質にする事で実質の画質を向上しつつ画像のデータ容量を抑えることが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１１５０４６号公報
【特許文献２】特開平０６−２８４３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動画像の圧縮、符号化技術として、ＭＰＥＧ規格が知られている。ＭＰＥＧ規格に従って動画像を符号化する符号化装置は、目標とするデータレートに基づいてピクチャ毎に目標とする符号量を決定している。そして、各ピクチャの目標符号量に基づいて、各ピクチャを構成する全てのマクロブロックに平均的に目標となる符号量を割り当てる。その後、目標符号量となるよう、各マクロブロックを符号化する際の量子化ステップを決定し、符号化を行う。この量子化ステップを小さくすれば、符号量は増加するが高画質な画像が得られる。したがって、例えば、符号化対象の画像中に設定された領域を高画質にする場合、その領域を構成するマクロブロックの量子化ステップを他の領域のマクロブロックの量子化ステップよりも小さくする。なお、ＨＥＶＣ（High efficiency video coding）規格では、マクロブロックではなく、Coding unitと呼ばれる単位で量子化ステップが決定される。いずれにしても、動画像の圧縮符号化技術では、複数の画素からなる矩形状のブロック単位に量子化ステップが決定される。なお、動画像の圧縮符号化技術では、量子化ステップ以外のパラメータも基本的に矩形状のブロック単位に決定される。
【０００６】
図８（Ａ）に示されるように、魚眼画像８００に対して高画質に符号化する領域８０１を設定した場合を考える。図８（Ｂ）において、切り出し画像８５０は、歪を有する魚眼画像８００から部分的に切り出され、歪を取り除くための幾何変換処理を行って得られた画像である。魚眼画像８００に設定された高画質な領域８０１を切り出し画像８５０上に展開すると、領域８０１は上記の幾何変換処理によって歪むため、領域８５１のようになる。領域８５１はマクロブロック単位の形状にはならず、ＭＰＥＧ規格のようにマクロブロック単位で符号化する場合に切り出し画像８５０に対して高画質に符号化する領域を設定することができない。上記の事項は、高画質に符号化する領域だけではなく、符号化に影響する機能に係る領域を設定する場合も同様である。
【０００７】
本発明は上記の課題を解決するためになされたものであり、第１の画像と第１の画像から切り出され歪みが補正された第２の画像の両方に、符号化処理に影響する機能に係る領域を適切に設定可能とすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様による画像処理装置は、
第１の画像を取得する取得手段と、
前記第１の画像の少なくとも一部を切り出して歪み補正した第２の画像を生成する生成手段と、
前記第１の画像に対して符号化処理に影響する機能に係る領域を設定するための第１のユーザインターフェースと、前記第２の画像に対して符号化処理に影響する機能に係る領域を設定するための第２のユーザインターフェースとを提供する提供手段と、
前記第１のユーザインターフェースを用いて設定された領域の画質に基づいて前記第１の画像を符号化し、前記第２のユーザインターフェースを用いて設定された領域に基づいて前記第２の画像を符号化する符号化手段と、を備える。
【発明の効果】
【０００９】
本発明によれば、第１の画像と第１の画像から切り出され歪みが補正された第２の画像の両方に、符号化処理に影響する機能に係る領域を適切に設定することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】（ａ）は本実施形態におけるカメラサーバの機能構成例を示すブロック図、（ｂ）は本実施形態の監視システムの構成例を示す図。
【図２】本実施形態におけるカメラサーバのハードウェア構成例を示すブロック図。
【図３】第１実施形態による、魚眼画像および切り出し画像に対して高画質領域を設定する処理を示すフローチャート。
【図４】魚眼画像に高画質領域を設定する際のＵＩ画面の一例を示す図。
【図５】切り出し画像に高画質領域を設定する際のＵＩ画面の一例を示す図。
【図６】第２実施形態による、魚眼画像および切り出し画像に対して高画質領域を設定する処理を示すフローチャート。
【図７】第２実施形態における高画質領域を設定する際のＵＩ画面の一例を示す図。
【図８】魚眼画像の切り出し領域と、切り出し画像の切り出し領域との関係を示す図。
【発明を実施するための形態】
【００１１】
以下に、本発明の実施形態のいくつかを、図面に基づいて詳細に説明する。
【００１２】
＜第１実施形態＞
図１（ｂ）は第１実施形態による監視システムの装置構成例を示す図である。画像処理装置としてのカメラサーバ２００とクライアント２２０がネットワーク２３０を介して相互に通信可能に接続されている。カメラサーバ２００は撮影画角が可変のカメラ２１０と接続され、カメラ２１０で撮影した画像を、ネットワーク２３０を介して外部装置へ配信する。カメラ２１０は、たとえば、全周魚眼レンズを搭載した全方位カメラである。クライアント２２０はカメラサーバ２００にアクセスし、画像を取得しながら、パン・チルト・ズーム及びフォーカスや露出等の撮影パラメータを制御する。また、クライアント２２０は、それら撮影パラメータをカメラサーバ２００にプリセット設定する。それぞれの詳細については後述する。なお、説明の簡略化のためにカメラサーバが１台の監視システムを示したが、カメラサーバが２台以上であっても構わない。またクライアント２２０以外にもカメラサーバ２００にアクセスして画像の受信や蓄積を行う他のクライアントがあっても構わない。また、カメラサーバ２００の機能がカメラ２１０に組み込まれていてもよい。
【００１３】
ネットワーク２３０はＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態においては各サーバ・クライアント間の通信が支障なく行えるものであればその通信規格、規模、構成を問わない。故に、ネットワーク２３０には、インターネットからＬＡＮ（Ｌｏｃａｌ  Ａｒａ  Ｎｅｔｗｏｒｋ）まで、種々のネットワークを適用可能である。
【００１４】
図２はカメラサーバ２００のハードウェア構成例を示すブロック図である。カメラサーバ２００では、ＣＰＵ３００、一次記憶装置３１０、二次記憶装置３２０、画像キャプチャＩ／Ｆ３３０、雲台制御Ｉ／Ｆ３４０、ネットワークＩ／Ｆ３６０が内部バス３０１を介して相互に接続されている。
【００１５】
ＣＰＵ３００は、一次記憶装置３１０にロードされた所定のプログラムを実行することにより各種の制御を実現する。一次記憶装置３１０はＲＡＭに代表される書き込み可能な高速の記憶装置である。一次記憶装置３１０には、ＣＰＵ３００が実行するＯＳと各種プログラム、及び各種データが二次記憶装置３２０からロードされる。また、一次記憶装置３１０は、ＯＳや各種プログラムを実行するＣＰＵ３００の作業領域としても使用される。二次記憶装置３２０はＦＤＤやＨＤＤ、フラッシュメモリ、ＣＤ−ＲＯＭドライブ等に代表される不揮発性を持った記憶装置である。二次記憶装置３２０は、ＯＳや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。カメラサーバ２００の一次記憶装置３１０及び二次記憶装置３２０に置かれる各種プログラム等の詳細については後述する。
【００１６】
画像キャプチャＩ／Ｆ３３０にはカメラ２１０の画像センサ３７０が接続される。画像センサ３７０は、ＣＣＤセンサまたはＣＭＯＳセンサにより構成される。ＣＰＵ３００は、画像センサ３７０から画像キャプチャＩ／Ｆ３３０を介して画像データを取得し、取得した画像データを画質パラメータに従って画像処理し、所定のフォーマットに変換・圧縮して一次記憶装置３１０に格納する。雲台制御Ｉ／Ｆ３４０は、カメラ２１０のレンズ／雲台３８０と接続される。ＣＰＵ３００は、雲台制御Ｉ／Ｆ３４０を介してパン・チルト・ズーム機構を制御してカメラ２１０（画像センサ３７０）の撮影位置や撮影画角を変更する。ネットワークＩ／Ｆ３６０はネットワーク２３０と接続するためのＩ／Ｆであり、Ｅｔｈｅｒｎｅｔ等の通信媒体を介してクライアント２２０等との通信を担う。
【００１７】
図１（ａ）は、カメラサーバ２００の機能構成例を示すブロック図である。図１（ａ）に示される撮像処理部１１０、プリセット制御部１１１、通信処理部１１２、領域処理部１１４、一時記憶部１１３の各機能部は、ＣＰＵ３００が一次記憶装置３１０にロードされたプログラム（ソフトウェア）を実行することにより実現される。ただし、各機能部は、専用のハードウェアにより実現されてもよいし、ハードウェアとソフトウェアの協働により実現されてもよい。
【００１８】
撮像処理部１１０は、カメラ２１０により撮像された画像（歪みを有する画像）を取得し、取得した画像の少なくとも一部を切り出して歪み補正した画像を生成する。より具体的には、撮像処理部１１０は、画像センサ３７０で生成された画像データを画像キャプチャＩ／Ｆ３３０を介して取得し、プリセット制御部１１１から指定された画質パラメータに従って画像処理と符号化処理を行う。なお、本実施形態では、画像センサ３７０から全方位画像（魚眼画像）が取得され、撮像処理部１１０は、魚眼画像の全体を符号化した魚眼画像データを出力する。また、撮像処理部１１０は、魚眼画像から一部を切り出した画像に歪みを除去または低減するための幾何変換（歪み補正）を行って得られた画像（切り出し画像）を符号化した切り出し画像データを出力する。なお、切り出し画像の切り出し位置と切り出しサイズは、クライアント２２０から設定可能としてもよい。また、本実施形態では、歪みを有する画像として魚眼画像を用いるが、これに限定されるものではない。
【００１９】
プリセット制御部１１１は、クライアント２２０から設定されたプリセット位置、プリセット巡回設定、および／またはイベントによるプリセット移動設定、などの撮影パラメータに応じて、雲台制御Ｉ／Ｆ３４０を介してレンズ／雲台３８０を制御する。これにより、プリセットの内容に応じてパン・チルト・ズーム位置が制御される。また、プリセット制御部１１１は、プリセットとして保存されている画質パラメータを、撮像処理部１１０に設定する。画質パラメータには、例えば、フォーカス、露出、ホワイトバランス、デイナイト、スマートシェード補正、ノイズリダクション、シャープネス、色の濃さ等のパラメータが含まれる。また、プリセットには魚眼画像から切り出し画像を得るための切り出し範囲を示す情報が含まれてもよい。
【００２０】
通信処理部１１２は、クライアント２２０からのリクエストに応じて、一次記憶装置３１０に保存された画像データを、ネットワークＩ／Ｆ３６０およびネットワーク２３０を介してクライアント２２０へ送る。また、通信処理部１１２は、クライアント２２０から送られる撮影パラメータ（パン・チルト・ズームの位置など）や画質パラメータをプリセット制御部１１１に伝える。受信したプリセットの内容は二次記憶装置３２０に保存される。
【００２１】
一時記憶部１１３は、撮像処理部１１０により符号化された画像データ（魚眼画像データ、切り出し画像データ）を一次記憶装置３１０に保存する。領域処理部１１４は、クライアント２２０により指定された、同じ画像内の他の領域よりも高画質とする高画質領域（符号化処理に影響する機能に係る領域の一例）を受け付け、撮像処理部１１０に設定する。高画質領域については後述する。例えば、領域処理部１１４は、魚眼画像または切り出し画像において高画質領域に指定された領域を構成するマクロブロックの量子化ステップを他の領域よりも小さく設定する。これにより、撮像処理部１１０により生成された画像データは、高画質領域の画質が他の領域の画質よりも高い画像データとなる。なお、各機能部の相互の連携は、例えばオペレーティングシステムが提供する機能を用いることで実現され得る。なお、マクロブロックは一例であり、使用する動画圧縮符号化規格で規定される処理単位であればよい。また、符号化処理に影響する機能としては、画像内の特定の領域の画質を変更する機能だけではなく、符号化に係るパラメータの変更が発生する機能であればよい。
【００２２】
以下、図３、図４、図５を参照して、第１実施形態による、高画質領域の設定処理について説明する。図３は、カメラサーバ２００による、魚眼画像およびその魚眼画像から切り出され、幾何変換処理により歪みが低減もしくは除去された切り出し画像に対して高画質領域を設定する処理を示すフローチャートである。図４、図５は、高画質領域を設定する際のクライアント２２０上のユーザインターフェース（ＵＩ）画面の一例である。図４は魚眼画像に対して高画質領域を設定するためのユーザインターフェースの画面（ＵＩ画面）、図５は切り出し画像に対して高画質領域を設定するためのユーザインターフェースの画面（ＵＩ画面）を示す。
【００２３】
なお、本実施形態では、ＵＩはカメラサーバ２００からクライアント２２０に提供される。例えば、クライアント２２０において高画質領域を設定するためのＵＩは領域処理部１１４からウェブページの形態で提供され、クライアント２２０で稼働するブラウザにより表示される。もちろん、ＵＩの提供形態はこれに限られるものではなく、クライアント２２０上で専用のアプリケーションを実行することでＵＩが実現されてもよい。
【００２４】
ユーザは、例えばクライアント２２０上の設定画面（不図示）等を操作することで、魚眼画像に対して高画質領域を設定するかどうかを指示することができる。魚眼画像に対して高画質領域を設定することが指示された場合、その指示がクライアント２２０からカメラサーバ２００に通知される。領域処理部１１４は、魚眼画像に対して高画質領域を設定することの指示を受け付けると（Ｓ４０１でＹＥＳ）、魚眼画像に対して高画質領域を設定するためのユーザインターフェースをクライアント２２０に提供する。具体的には、魚眼画像用の領域設定画面５００ａ（図４）をクライアント２２０に送信する（Ｓ４０２）。クライアント２２０は、魚眼画像用の領域設定画面５００ａを受信すると、これをディスプレイ上に表示する。魚眼画像の高画質領域を設定する指示がなされない場合は（Ｓ４０１でＮＯ）、処理はＳ４０２をスキップしてＳ４０３へ進む。
【００２５】
図４は、領域処理部１１４により提供され、クライアント２２０で表示される魚眼画像用の領域設定画面５００ａの一例を示す図である。領域設定画面５００ａの魚眼画像表示５２８は、カメラ２１０により撮影された魚眼画像を表示する。ユーザは、この魚眼画像表示５２８における魚眼画像の表示上で高画質領域を指定することにより、魚眼画像に高画質領域を設定することができる。図４では、２つの高画質領域５２９、５３０が有効に設定されている様子が示されている。
【００２６】
本実施形態の領域設定画面５００ａでは、８個の高画質領域を設定しておくことができ、それらの有効、無効を個別に設定することができる。なお、設定可能な高画質領域の数が８に限られないことは言うまでもない。項目５０１〜５０８は領域１〜領域８として魚眼画像上に設定される高画質領域に対応する。例えば、ユーザが、項目５０１を選択し、ポインティングデバイスを用いて魚眼画像表示５２８上の任意の位置に任意の大きさの矩形を指定すると、領域１に対応する高画質領域が設定される。図４では、高画質領域５２９が領域１に対応し、高画質領域５３０が領域２に対応しているとする。また、例えば、ユーザが項目５０１（領域１）を指定すると、これに対応する高画質領域５２９の枠がハイライト表示される。あるいは、魚眼画像表示５２８上で高画質領域５２９を選択すると対応する項目５０１がハイライト表示される。これにより、ユーザは項目５０１〜５０８と魚眼画像上の高画質領域との対応を把握できる。
【００２７】
なお、各領域を矩形で設定する理由は、符号化における処理単位（マクロブロックやCoding unit等）が矩形状だからである。なお、各領域は矩形に限らず、画像の縦方向又は横方向に平行な直線によって規定してもよい。また、符号化における処理単位に合うように、ユーザによって設定された領域を自動的に調整するようにしてもよい。
【００２８】
ユーザは、プルダウンリスト５０９〜５１６を用いて、領域１〜８のそれぞれの高画質領域について有効／無効を設定することができる。また、ユーザは、プレビューボタン５１７〜５２４により、それぞれの高画質領域をプレビュー表示させることができる。図４では、領域１（５０１）の高画質領域５２９と領域２（５０２）の高画質領域５３０が有効となっている。また、ユーザは、高画質領域５２９および５３０の位置および形状（矩形のアスペクト比）を、例えばポインティングデバイスを用いて変更することができる。
【００２９】
領域設定画面５００ａにおいてなされた上記設定内容は、適用ボタン５２６の押下に応じてクライアント２２０からカメラサーバ２００に送信され、領域処理部１１４によって二次記憶装置３２０に保存される。クリアボタン５２７が押下されると、これらの設定が変更前に戻る（二次記憶装置３２０に保存されている設定内容は更新されない）。適用ボタン５２６またはクリアボタン５２７の押下により領域設定画面５００ａによる設定処理（Ｓ４０２）は終了し、処理はＳ４０３へ進む。
【００３０】
ユーザは、例えばクライアント２２０上の設定画面（不図示）等を操作することで、切り出し画像に対して高画質領域を設定するかどうかを指示することができる。切り出し画像に対して高画質領域を設定することが指示された場合、その指示がクライアント２２０からカメラサーバ２００に通知される。領域処理部１１４は、切り出し画像に対して高画質領域を設定することの指示を受け付けると（Ｓ４０３でＹＥＳ）、切り出し画像に対して高画質領域を設定するためのユーザインターフェースをクライアント２２０に提供する。より具体的には、切り出し画像用の領域設定画面５００ｂをクライアント２２０に送信する（Ｓ４０４）。クライアント２２０は、切り出し画像用の領域設定画面５００ｂを受信すると、これをディスプレイ上に表示する。切り出し画像の高画質領域を設定する指示がなされない場合は（Ｓ４０３でＮＯ）、Ｓ４０４はスキップされ、本処理は終了する。なお、図４に示した魚眼画像用の領域設定画面５００ａの適用ボタン５２６の押下に応じて、クライアント２２０の表示が切り出し画像用の領域設定画面５００ｂへ遷移するようにしてもよい。
【００３１】
図５は、領域処理部１１４により提供され、クライアント２２０で表示される切り出し画像用の領域設定画面５００ｂの一例を示す図である。領域設定画面５００ｂの切り出し画像表示５７８には切り出し画像が表示される。切り出し画像は、カメラ２１０により撮影された魚眼画像から一部が切り出され、幾何変換処理された画像である。ユーザは、この切り出し画像表示５７８における切り出し画像の表示上で高画質領域を指定することにより、切り出し画像に高画質領域を設定することができる。図５では、２つの高画質領域５７９、５８０が有効に設定されている様子が示されている。
【００３２】
項目５５１〜５５８、プルダウンリスト５５９〜５６６、プレビューボタン５６７〜５７４の機能は、それぞれ図４の項目５０１〜５０８、プルダウンリスト５０９〜５１６、プレビューボタン５１７〜５２４と同様である。また、魚眼画像用の領域設定画面５００ａと同様に、ユーザは、切り出し画像表示５７８上の高画質領域５７９、高画質領域５８０の位置および形状をポインティングデバイスの操作により変更することができる。ここでも図４の説明と同様に、各領域を矩形で設定する。その理由は、符号化における処理単位が矩形状だからである。なお、図４の説明と同様に各領域は矩形に限らず、画像の縦方向又は横方向に平行な直線によって規定してもよい。また、符号化における処理単位に合うように、ユーザによって設定された領域を自動的に調整するようにしてもよい。
【００３３】
領域設定画面５００ｂにおいてなされた設定内容は、適用ボタン５７６の押下に応じてクライアント２２０からカメラサーバ２００に送信され、領域処理部１１４によって二次記憶装置３２０に保存される。クリアボタン５７７が押下されると、これらの設定が変更前に戻る（二次記憶装置３２０に保存されている設定内容は更新されない）。適用ボタン５７６またはクリアボタン５７７の押下により領域設定画面５００ｂによる設定処理（Ｓ４０４）は終了し、図３の処理が終了する。
【００３４】
以上のように、第１実施形態によれば、魚眼画像とその魚眼画像から切り出され、歪み補正された切り出し画像それぞれに対して別々に符号化処理に影響する機能に係る領域を設定させることができる。また、魚眼画像と切り出し画像の両画像に対して符号化処理に係る規定の処理単位に適した形状の領域を設定することができる。なお、魚眼画像への領域の設定に応じて（例えば、適用ボタン５２６の押下に応じて）、その魚眼画像から切り出された切り出し画像に領域を設定するためのユーザインターフェース（領域設定画面５００ｂ）が表示されるようにしてもよい。また、逆に、切り出し画像への領域の設定に応じて（例えば、適用ボタン５７６の押下に応じて）、その切り出し画像の元の魚眼画像に領域を設定するためのユーザインターフェース（領域設定画面５００ａ）が表示されるようにしてもよい。
【００３５】
＜第２実施形態＞
以下、図６および図７を参照して、第２実施形態を説明する。第２実施形態では、魚眼画像と切り出し画像のいずれか一方にのみ同じ画像内の他の領域よりも高画質とする高画質領域（符号化処理に影響する機能に係る領域の一例）が設定されている場合にその旨のメッセージが通知される。図６は、魚眼画像および切り出し画像に対して高画質領域を設定するための第２の実施形態による処理を示すフローチャートである。図７は、高画質領域を設定する際のクライアント２２０上のＵＩ画面の一例を示す図である。
【００３６】
図６において、Ｓ４０１〜Ｓ４０４の処理は第１実施形態（図３）と同様である。Ｓ６０５において、領域処理部１１４は、魚眼画像と切り出し画像のどちらか一方のみに高画質領域が設定されているかどうかを判定する。魚眼画像と切り出し画像のどちらか一方のみに高画質領域が設定されている場合（Ｓ６０５でＹＥＳ）、領域処理部１１４は、注意のメッセージをクライアント２２０に送信する（Ｓ６０６）。クライアント２２０がこのメッセージをＵＩ画面（不図示）に表示することで、ユーザが片方の画像に対してだけ高画質領域を設定し、もう片方の画像に対して高画質領域を設定し忘れることを防止できる。魚眼画像と切り出し画像の両方に高画質領域が設定されている場合、または、それらのいずれにも高画質領域が設定されていない場合は（Ｓ６０５でＮＯ）、Ｓ６０６はスキップされ、本処理が終了する。
【００３７】
例えば、ユーザは、それぞれの領域設定画面において適用ボタン５２６、５７６を押下し、設定を反映させることができる。魚眼画像および切り出し画像のどちらか一方のみに対してのみ高画質領域が設定された状態（適用ボタン５２６、５２７の一方を押下し、他方を押下していない状態）で、ユーザが領域設定画面から他の画面へ遷移させると、Ｓ６０５でＹＥＳと判定される。この場合、領域処理部１１４は、注意のメッセージをクライアント２２０に送信し、クライアント２２０のＵＩ画面（不図示）に表示させる（Ｓ６０６）。
【００３８】
以上のように、第２実施形態によれば、魚眼画像および切り出し画像のどちらか一方のみに対して高画質領域が設定されている場合にユーザに対して注意喚起することで、ユーザが本来設定すべき領域設定を失念することを防止できる。なお、ここでは注意メッセージを表示したが、エラーメッセージを表示し、設定していない方の画像の領域設定画面に強制的に遷移するようにしてもよい。
【００３９】
＜他の実施形態＞
上記各実施形態において、領域設定画面５００ａが領域設定画面５００ｂへ切り換えるための操作項目を含み、領域設定画面５００ｂが領域設定画面５００ａへ切り換えるための操作項目を含むようにしてもよい。この場合、たとえば、図７に示すような領域設定画面５００ｃが用いられる。領域設定画面５００ｃは、魚眼画像用の領域設定画面であり、図４に示した領域設定画面５００ａに、ユーザインターフェースを切り換えるための操作項目としての画像種別プルダウンリスト７０１が追加されている。画像種別プルダウンリスト７０１において魚眼画像が選択されると魚眼画像用の領域設定画面（図７）が提供される。また、画像種別プルダウンリスト７０１において切り出し画像が選択されると、切り出し画像用の領域設定画面が提供される。この場合、切り出し画像用の領域設定画面は、図４に示した領域設定画面５００ａに画像種別プルダウンリスト７０１が追加されたものとなる。魚眼画像を表示している図７の領域設定画面５００ｃにおいて画像種別プルダウンリスト７０１から切り出し画像が選択されると、表示中の魚眼画像から切り出された切り出し画像に領域設定を行うための領域設定画面が提供される。同様に、切り出し画像を表示している領域設定画面において画像種別プルダウンリスト７０１から切り出し画像が選択されると、表示中の切り出し画像の元の魚眼画像に領域設定を行うための領域設定画面が提供される。いずれの領域設定画面においても、画像種別プルダウンリスト７０１が含まれる。
【００４０】
また、上記各実施形態では、符号化処理に影響する機能に係る領域について有効／無効を切り換えるのみであったが、これに限られるものではない。例えば、高画質に複数段階のレベルを設けて、領域ごとに指定できるようにしてもよい。例えば、高画質、中間画質、無効のいずれかを領域ごとに指定できるようにしてもよい。また、上記実施形態では、画質を高める領域を指定する構成を示したが、画質を下げる領域を指定するようにしてもよい。すなわち、領域処理部１１４がクライアント２２０に提供するＵＩは、魚眼画像または引き出し画像において異なる画質とするべき領域を設定するものであればよい。そして、撮像処理部１１０の符号化は、ＵＩにより設定された領域の画質が他の領域の画質と異なるように魚眼画像または引き出し画像を符号化する。
【００４１】
また、上記各実施形態において、領域設定画面の魚眼画像表示５２８において、切り出し画像において設定された高画質領域に対応する領域が、高画質領域５２９，５３０と区別可能に（例えば点線により）表示されてもよい。同様に、領域設定画面の切り出し画像表示５７８に、魚眼画像において設定された高画質領域に対応する領域が、高画質領域５７９，５８０と区別可能に（例えば点線により）表示されてもよい。このようにすれば、例えば、ユーザは、切り出し画像上で高画質領域を設定する際に、魚眼画像で設定された高画質領域を切り出し画像表示５７８上で確認することができる。この場合、魚眼画像で設定された高画質領域は、魚眼画像の歪みを補正する幾何変換により矩形から変形するが、ユーザは、その領域を囲むように高画質領域の範囲（矩形）を設定することができる。これにより、ユーザは、容易に、魚眼画像で設定された高画質領域に対応する範囲を切り出し画像における高画質領域に設定することができる。
【００４２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上記各実施形態では、魚眼画像と魚眼画像を幾何変換処理によって補正した画像を高画質領域の設定対象としたが、補正が必要な画像であれば魚眼画像に限定されない。
【００４３】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４４】
１１０：撮像処理部、１１１：プリセット制御部、１１２：通信処理部、１１３：一時記憶部、２００：カメラサーバ、２１０：カメラ、２２０：クライアント、２３０：ネットワーク
【図１】
2019009507.tif 000003
【図２】
2019009507.tif 000004
【図３】
2019009507.tif 000005
【図４】
2019009507.tif 000006
【図５】
2019009507.tif 000007
【図６】
2019009507.tif 000008
【図７】
2019009507.tif 000009
【図８】
2019009507.tif 000010