(57)【要約】【課題】マスク処理済の画像に対して階調補正が行われた場合に、目的に応じたマスク処理が施された画像が得られるようにする。【解決手段】画像処理装置は、マスク領域にマスクを重畳するマスク処理が施された画像を取得する取得手段と、取得手段により取得された画像の階調特性を補正する階調補正手段と、階調補正手段による補正の対象とする領域を、マスク領域を含まないマスク除外領域とマスク領域を含むマスク込み領域とで切り替え可能な切替手段と、を備える。【選択図】      図１
2019164449.tif 000002
【特許請求の範囲】
【請求項１】
マスク領域にマスクを重畳するマスク処理が施された画像を取得する取得手段と、
前記取得手段により取得された画像の階調特性を補正する階調補正手段と、
前記階調補正手段による補正の対象とする領域を、前記マスク領域を含まないマスク除外領域と前記マスク領域を含むマスク込み領域とで切り替え可能な切替手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記階調補正手段による補正の対象としない非補正領域を示す領域情報を記録する記録手段をさらに備え、
前記階調補正手段は、前記記録手段に記録された前記領域情報をもとに前記画像の階調特性を補正し、
前記切替手段は、前記非補正領域の指定を受け付け、前記記録手段に記録された前記領域情報を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記階調補正手段により階調特性が補正された画像をもとに、表示装置に表示画像を表示させる表示制御手段をさらに備えることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記表示制御手段は、
前記階調補正手段による補正の対象とする領域が前記マスク除外領域である場合、前記階調補正手段により階調特性が補正された画像を、前記表示画像として前記表示装置に表示させることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記表示制御手段は、
前記階調補正手段による補正の対象とする領域が前記マスク込み領域である場合、前記階調補正手段により階調特性が補正された画像の前記マスク領域に対して表示用マスクを重畳する表示用マスク処理を施した画像を、前記表示画像として前記表示装置に表示させることを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記表示用マスク処理の要否を判定する判定手段をさらに備え、
前記表示制御手段は、
前記階調補正手段による補正の対象とする領域が前記マスク込み領域である場合で、前記判定手段により前記表示用マスク処理が必要であると判定された場合に、当該表示用マスク処理を施した画像を前記表示画像として前記表示装置に表示させることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記階調補正手段は、前記マスク込み領域を対象として階調特性を補正した場合、階調特性を補正した画像に、前記マスク領域の位置、サイズおよび形状の少なくとも１つを含むメタデータを関連付け、
前記表示制御手段は、前記メタデータに基づいて前記表示用マスク処理を行うことを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記切替手段は、
前記階調補正手段により前記メタデータを関連付けることにより増加する符号量と、前記階調補正手段による補正の対象とする領域を前記マスク除外領域から前記マスク込み領域へ切り替えることにより削減される符号量とを比較し、前記階調補正手段による補正対象とする領域を、前記マスク除外領域とするか前記マスク込み領域とするかを決定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記表示制御手段は、
前記階調補正手段により階調特性が補正された画像の少なくとも一部を含む領域を切り出して前記表示画像として前記表示装置に表示させることを特徴とする請求項３から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記表示制御手段は、
前記切り出した領域に画像データが存在しない画像外領域が含まれる場合、前記画像外領域に対して表示用マスクを重畳する表示用マスク処理を施した画像を、前記表示画像として前記表示装置に表示させることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記表示制御手段は、
前記画像外領域に対して、前記表示画像において前記マスク領域と同一の色を有する前記表示用マスクを重畳することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記階調補正手段により階調特性が補正された画像を記録する第二の記録手段をさらに備えることを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
撮像手段により撮像された撮像画像を取得する画像取得手段と、
前記画像取得手段により取得された撮像画像に対して前記マスク処理を施すマスク処理手段と、をさらに備えることを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１４】
請求項１３に記載の画像処理装置と、
前記撮像手段と、を備えることを特徴とする撮像装置。
【請求項１５】
マスク領域にマスクを重畳するマスク処理が施された画像を取得するステップと、
取得された前記画像の階調特性を補正するステップと、
前記階調特性を補正する対象とする領域を、前記マスク領域を含まないマスク除外領域と前記マスク領域を含むマスク込み領域とで切り替えるステップと、を含むことを特徴とする画像処理方法。
【請求項１６】
コンピュータを、請求項１から１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
低照度環境においてカメラによる撮像が行われた場合、一般に、自動利得制御（Automatic Gain Control：ＡＧＣ）によって画像のゲインを上げる処理が行われる。しかしながら、この場合、画像の明るさは上がるが、ノイズが多く画質の低い、また、符号量の大きい画像となってしまう。
特許文献１には、符号量の削減を目的として、画像を撮像した際の照度を検出し、画像の輝度の階調特性を補正する補正特性の、少なくとも出力最小輝度と出力最大輝度の何れかを、検出された照度に応じて補正する点が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１３５５５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、監視カメラでは、プライバシー保護の観点から画像内の特定領域を覆い隠すプライバシーマスクを設定する場合がある。また、歪みが多く画角が広い魚眼レンズを用いる全方位監視カメラでは、プライバシーマスクに加えて、歪曲の顕著な周辺部を覆い隠す周辺部マスクを設定する場合もある。
上記のようなマスク処理済みの画像に対して、上記特許文献１に記載の技術のように、撮像環境に応じて階調性やコントラストに影響を及ぼす画像処理を行った場合、時間軸に対してマスク領域の色が一定とはならず、映像の品位が低下してしまう場合がある。また、マスク領域に重畳するマスクの色は、ユーザが任意に指定することが可能な場合も多く、表示された画像においてマスクの色が変化しているとユーザに違和感を与えるおそれがある。ただし、長時間に渡って撮像される監視カメラにおいては、マスクの色の変化を許容し、符号量を削減することを優先する場合も想定される。
そこで、本発明は、マスク処理済の画像に対して階調補正が行われた場合に、目的に応じたマスク処理が施された画像が得られるようにすることを課題としている。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る画像処理装置の一態様は、マスク領域にマスクを重畳するマスク処理が施された画像を取得する取得手段と、前記取得手段により取得された画像の階調特性を補正する階調補正手段と、前記階調補正手段による補正の対象とする領域を、前記マスク領域を含まないマスク除外領域と前記マスク領域を含むマスク込み領域とで切り替え可能な切替手段と、を備える。
【発明の効果】
【０００６】
本発明によれば、マスク処理済の画像に対して階調補正が行われた場合に、目的に応じたマスク処理が施された画像が得られるようにすることができる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態における撮像装置の構成例を示すブロック図である。
【図２】撮像部の構成例を示す図である。
【図３】撮像システムの構成例を示すブロック図である。
【図４】撮像装置およびクライアント装置のハードウェア構成図である。
【図５】画像処理手順を示すフローチャートである。
【図６】マスク処理前の画像の一例である。
【図７】マスク処理後の画像の一例である。
【図８】非補正領域が設定された場合の階調補正後の画像の一例である。
【図９】非補正領域が設定されない場合の階調補正後の画像の一例である。
【図１０】ＤＰＴＺ表示時の切り出し範囲の一例である。
【図１１】適切なマスク処理がなされない場合のＤＰＴＺ表示例である。
【図１２】表示画像生成処理手順を示すフローチャートである。
【図１３】表示用マスク処理を行った場合のＤＰＴＺ表示例である。
【図１４】表示用マスク処理を行わない場合のＤＰＴＺ表示例である。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【０００９】
図１は、本実施形態における撮像装置１００の構成例を示すブロック図である。
撮像装置１００は、撮像部１０１と、画像処理部１０２と、メモリ１０３と、操作部１０４と、符号化処理部１０５と、記録部１０６と、記録媒体１０７と、表示画像生成部１０８と、表示部１０９と、を備える。この図１に示す撮像装置１００は、例えば、デジタルカメラやデジタルビデオカメラ等、ユーザが操作可能な操作部１０４と、画像や各種情報を表示可能な表示部１０９とを備えるカメラとすることができる。
【００１０】
撮像部１０１は、図２に示すように、レンズ１０１ａ、撮像素子１０１ｂ、ゲインコントロールアンプ回路（ＡＧＣアンプ）１０１ｃおよびＡ／Ｄ変換器１０１ｄを備える。
レンズ１０１ａは、撮像光学系としての数枚のレンズ群を備える。レンズ１０１ａは、歪みが多く画角が広い広角レンズや魚眼レンズなどであってよい。本実施形態では、レンズ１０１ａは魚眼レンズである場合について説明する。撮像素子１０１ｂは、ＣＣＤやＣＭＯＳなどを備える。撮像素子１０１ｂは、レンズ１０１ａを介して結像された被写体像を電気信号に変換する。ＡＧＣアンプ１０１ｃは、撮像素子１０１ｂから出力された電気信号に対して増幅処理などを行い、撮像装置１００の利得制御を自動で行う。Ａ／Ｄ変換器１０１ｄは、ＡＧＣアンプ１０１ｃにより増幅処理されたアナログ信号をデジタル信号へと変換する。
【００１１】
画像処理部１０２は、撮像部１０１により撮像された撮像画像に対して、マスク処理、階調補正処理等を含む種々の画像処理を行う。
マスク処理は、撮像画像中のマスク領域にマスクを重畳する処理とすることができる。本実施形態では、マスク処理は、撮像画像中のマスク領域を所定の色で塗り潰す処理である場合について説明する。なお、マスク処理は、マスク領域の解像度が低くなるように変換する処理（モザイク処理）や、すりガラス越しに見たような画像に変換する処理等、マスク領域に撮像された被写体（例えば人物）を特定できなくするような画像処理を含んでもよい。ここで、マスク領域は、ユーザにとって撮像不要な領域や、プライバシー保護の観点から不可視とすべきプライバシーマスク領域や、魚眼画像における歪曲の顕著な周辺部を覆い隠す周辺部マスク領域を含む。
また、階調補正処理は、画像中の補正対象領域について階調特性を補正する処理である。階調補正処理は、階調性やコントラストに影響を及ぼす画像処理である。本実施形態では、階調補正処理は、マスク処理が施された画像を対象とし、階調性やコントラストを低下させる処理として説明する。
【００１２】
メモリ１０３は、画像処理部１０２における画像処理に関する情報を記録する。具体的には、メモリ１０３は、マスク領域情報と非補正領域情報とを記録する。ここで、マスク領域情報は、マスク処理が施されるマスク領域の位置、サイズおよび形状を示す領域情報やマスクの色情報等を含む。非補正領域情報は、階調補正処理の対象としない補正対象外領域（非補正領域）の位置、サイズおよび形状を示す領域情報を含む。画像処理部１０２は、メモリ１０３にアクセスし、マスク領域情報や非補正領域情報を読み出して、マスク処理や階調補正処理を行う。
【００１３】
メモリ１０３が記録しているマスク領域情報および非補正領域情報は、ユーザの指示により変更可能に構成されている。操作部１０４は、ユーザからのマスク領域および非補正領域の指定を受け付け、メモリ１０３にアクセスして、マスク領域情報および非補正領域情報の追加、削除、領域の形状の変更を行うことができる。
ここで、非補正領域は、マスク領域毎にのみ選択可能とすることができる。この場合、非補正領域の位置および形状が、マスク領域の位置および形状と同一となるため、非補正領域の特定に必要な非補正領域情報の情報量が削減され、メモリ１０３に必要な容量を削減できる。
【００１４】
マスク領域が全て非補正領域として選択されている場合、階調補正の対象とする領域は、マスク領域を含まないマスク除外領域となる。一方、非補正領域が選択されていない場合、もしくはマスク領域の一部のみが非補正領域として選択されている場合は、階調補正の対象とする領域は、マスク領域を含むマスク込み領域となる。このように、本実施形態では、階調補正の対象とする領域を、マスク除外領域とマスク込み領域とで切り替え可能である。
【００１５】
符号化処理部１０５は、画像処理部１０２により画像処理された画像を符号化するエンコーダである。符号化処理部１０５は、画像処理部１０２の出力結果である画像をＭＰＥＧやＨ．２６４といった符号化方式で符号化を行う。
記録部１０６は、画像処理部１０２によって画像処理され、符号化処理部１１５によって符号化処理された画像を記録媒体１０７に記録する。記録媒体１０７は、ＨＤＤ、フラッシュメモリ、ＳＤカード等に代表される不揮発性の記憶装置であり、着脱可能な構成であってもよい。
【００１６】
表示画像生成部１０８は、画像処理部１０２により画像処理された画像をもとに、表示部１０９に表示画像を表示させる表示制御を行う。ここで、表示画像生成部１０８は、画像処理部１０２により画像処理された画像に対して、必要に応じて表示用マスク処理を施し、表示画像として表示部１０９に表示させる。表示用マスク処理は、画像処理部１０２によりマスク処理および階調補正処理が施された画像のマスク領域に対して、表示用マスクを重畳する処理である。なお、表示用マスク処理の要否は、別途操作部１０４等を介してユーザが選択可能であってもよい。
表示部１０９は、液晶ディスプレイ（ＬＣＤ）等のモニタを備え、表示画像生成部１０８により生成された表示画像を表示する。
【００１７】
このように、撮像装置１００は、撮像画像に対してマスク処理を行ってマスク処理後の画像を生成する機能と、マスク処理が施された画像の階調を補正する階調補正処理を行って階調補正後の画像を生成する機能と、を有する。また、撮像装置１００は、マスク処理および階調補正処理を含む画像処理後の画像をもとに、表示画像を表示させる表示制御機能を有する。
つまり、図１に示す撮像装置１００は、撮像画像に対して画像処理および表示制御処理を行う画像処理装置として動作する。しかしながら、撮像装置１００は、画像処理装置の一部の機能のみを備える構成であってもよい。この場合、撮像装置１００とネットワーク等を介して接続された他の装置が画像処理装置の残りの機能を備える。なお、撮像装置１００に接続された他の装置が画像処理装置の全部の機能を備えていてもよい。
【００１８】
図３は、撮像装置１００が画像処理装置の一部の機能のみを備える場合の撮像システム１０００の構成例を示すブロック図である。なお、図３において、図１と同様の構成を有する部分には、図１と同一の符号を付し、詳細な説明を省略する。
撮像システム１０００は、監視領域を監視するユーザに、当該監視領域を撮像した画像を提供するシステムであり、撮像装置１００と、クライアント装置２００と、記録装置３００と、を備える。撮像装置１００とクライアント装置２００と記録装置３００とは、ネットワークによって相互に通信可能に接続されている。ここで、ネットワークは、ＬＡＮ（Local Area Network）やインターネット、ＷＡＮ（Wide Area Network）などとすることができる。なお、ネットワークへの物理的な接続形態は、有線であってもよいし、無線であってもよい。
【００１９】
撮像装置１００は、撮像部１０１と、画像処理部１０２と、メモリ１０３と、符号化処理部１０５と、を備える。さらに、撮像装置１００は、新たに通信部１２０を備える。
通信部１２０は、符号化処理部１０５から出力されるビットストリームを、クライアント装置２００および記録装置３００に送信する。また、通信部１２０は、クライアント装置２００からの命令を受信し、メモリ１０３にアクセスして、マスク領域情報および非補正領域情報の追加、削除、および変更を行う。
撮像装置１００は、所定の撮像範囲を撮像するネットワークカメラとすることができる。撮像装置１００は、１枚の画像（静止画）を撮像するカメラであってもよいし、１枚以上の画像を含む映像を撮像するカメラであってもよい。
【００２０】
クライアント装置２００は、例えば、パーソナルコンピュータ（ＰＣ）やモバイル端末などの汎用コンピュータと、画像を表示可能なモニタと、を備える表示装置とすることができる。クライアント装置２００は、操作部１０４と、表示画像生成部１０８と、表示部１０９と、を備える。さらに、クライアント装置２００は、新たに通信部２０１と、復号化処理部２０２と、を備える。
操作部１０４は、キーボードやマウス等のポインティングデバイスを備え、ユーザからの指示入力を受け付けることができる。通信部２０１は、撮像装置１００から送信されるビットストリームを受信し、復号化処理部２０２に出力する。また、通信部２０１は、操作部１０４からのマスク領域情報および非補正領域情報の追加、削除、および変更の命令を撮像装置１００に送信する。復号化処理部２０２は、通信部２０１により受信されたビットストリームを復号して画像データを出力する。
記録装置３００は、記録部１０６と、記録媒体１０７と、を備える。さらに、記録装置３００は、新たに通信部３０１を備える。通信部３０１は、撮像装置１００から送信されるビットストリームを受信し、記録部１０６に出力する。
【００２１】
各通信部（１２０、２０１、３０１）は、外部機器との間の無線または有線の通信インタフェースを提供する。例えば、無線通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚ−Ｗａｖｅ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）等の無線ＰＡＮ（Ｐｅｒｓｏｎａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を含む。また、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）（登録商標）等の無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）や、ＷｉＭＡＸ（登録商標）等の無線ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を含む。さらに、ＬＴＥ／３Ｇ等の無線ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を含む。
また、各通信部は、有線ＬＡＮにより外部機器と通信してもよい。有線ＬＡＮとしては、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等の構成が挙げられる。
なお、各通信部は、外部機器と通信が可能であればよく、通信の規格、規模、構成は上記に限定されない。
【００２２】
図４は、撮像装置１００およびクライアント装置２００のハードウェア構成例である。なお、図４では、撮像装置１００とクライアント装置２００とがネットワーク５００を介して接続された状態を示している。
撮像装置１００は、図４に示すように、ＣＰＵ１１１と、ＲＯＭ１１２と、ＲＡＭ１１３と、撮像部１１４と、通信Ｉ／Ｆ１１５と、を備える。
ＣＰＵ１１１は、撮像装置１００における動作を統括的に制御する。ＲＯＭ１１２は、ＣＰＵ１１１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、不図示の外部メモリや着脱可能な記憶媒体に記憶されていてもよい。ＲＡＭ１１３は、ＣＰＵ１１１の主メモリ、ワークエリア等として機能する。ＣＰＵ１１１は、処理の実行に際してＲＯＭ１１２から必要なプログラム等をＲＡＭ１１３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
撮像部１１４は、図３の撮像部１０１に対応し、通信Ｉ／Ｆ１１５は、図３の通信部１２０に対応する。
【００２３】
クライアント装置２００は、ＣＰＵ２１１と、ＲＯＭ２１２と、ＲＡＭ２１３と、表示部２１４と、操作部２１５と、通信部２１６と、を備える。ＣＰＵ２１１、ＲＯＭ２１２およびＲＡＭ２１３は、撮像装置１００のＣＰＵ１１１、ＲＯＭ１１２およびＲＡＭ１１３と同様である。また、表示部２１４は、図３の表示部１０９に対応し、操作部２１５は、図３の操作部１０４に対応し、通信Ｉ／Ｆ２１６は、図３の通信部２０１に対応する。
【００２４】
図３に示す撮像装置１００の構成要素の一部または全部の機能は、撮像装置１００のＣＰＵ１１１がプログラムを実行することで実現することができる。ただし、図３に示す撮像装置１００の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１０１の制御に基づいて動作する。また、図３に示すクライアント装置２００の構成要素の一部または全部の機能は、クライアント装置２００のＣＰＵ２１１がプログラムを実行することで実現することができる。ただし、図３に示すクライアント装置２００の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ２０１の制御に基づいて動作する。
【００２５】
なお、図１に示す撮像装置１００も、図４に示すハードウェア構成を有することができる。この場合、図１に示す撮像装置１００の構成要素の一部または全部の機能は、撮像装置１００のＣＰＵ１１１がプログラムを実行することで実現することができる。ただし、図１に示す撮像装置１００の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１０１の制御に基づいて動作する。
【００２６】
次に、画像処理部１０２の動作について、図５のフローチャートを参照しながら説明する。
この図５の処理は、例えば、画像処理部１０２が撮像部１０１から画像データを取得したタイミングで開始される。ただし、図５の処理の開始タイミングは、上記のタイミングに限らない。撮像装置１００は、ＣＰＵ１０１が必要なプログラムを読み出して実行することにより、図５に示す処理を実現することができる。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。
【００２７】
まずＳ１において、画像処理部１０２は、撮像部１０１から取得した画像データに対して、所定の画素補間や色変換処理といった現像処理を行う。この時点でのマスク処理前画像の例を図６に示す。
次にＳ２において、画像処理部１０２は、メモリ１０３に記録されたマスク領域情報を参照し、マスク処理の対象となるマスク対象領域の有無を判定する。そして、マスク対象領域が存在する場合にはＳ３に移行し、マスク対象領域が存在しない場合にはＳ５に移行する。なお、本実施形態では、操作部１０４を介してユーザがマスク領域情報を指定する場合について説明するが、画像処理部１０２が画像解析等によりマスク領域情報を設定してもよい。
【００２８】
Ｓ３では、画像処理部１０２は、メモリ１０３に記録されたマスク領域情報をもとに、マスク処理を行う。ここでは、メモリ１０３に、周辺部マスクとプライバシーマスクとの情報が記録されているものとして説明する。
図７は、図６に示すマスク処理前画像４０１に対してマスク処理を行ったマスク処理後画像４０２の一例である。マスク処理後画像４０２は、マスク処理前画像４０１に、周辺部マスク４１１とプライバシーマスク４１２とが重畳された画像となる。なお、マスクの数、形状、色に関しては、説明のための一例であって、図７に限定されるものではない。
【００２９】
Ｓ４では、画像処理部１０２は、メモリ１０３に記録された非補正領域情報を参照し、階調補正の対象とする補正対象領域を特定し、Ｓ５に移行する。Ｓ５では、画像処理部１０２は、補正対象領域に対して階調補正を行う。
このとき、周辺部マスク４１１とプライバシーマスク４１２とが非補正領域として選択されている場合には、補正対象領域は、マスク領域を含まないマスク除外領域となる。この場合、図７に示すマスク処理後画像４０２は、図８に示すように、マスク領域を除いて階調性、コントラストが低下された階調補正後画像４０３となる。そのため、画像４０３では、マスクの色は変化しない。一方、非補正領域が選択されていない場合、補正対象領域は、マスク領域を含むマスク込み領域となる。この場合、図７に示すマスク処理後画像４０２は、図９に示すように、マスク領域も含めた画像全体において階調性、コントラストが低下された階調補正後画像４０４となる。そのため、この画像４０４では、マスクの色は変化する。
【００３０】
表示画像生成部１０８は、階調補正の対象とする補正対象領域がマスク除外領域である場合、図８に示すような階調補正後画像４０３を、表示画像として表示部１０９に表示させる表示制御を行う。つまり、表示画像生成部１０８は、表示用マスク処理を行わない。
一方、表示画像生成部１０８は、階調補正の対象とする補正対象領域がマスク込み領域である場合、図９に示すような階調補正後画像４０４に対して表示用マスク処理を施した画像を、表示画像として表示部１０９に表示させる表示制御を行う。これにより、図９に示すように階調補正によりマスクの色が変化した場合でも、マスク領域に対して表示用マスクを重畳させ、表示部１０９に対して、図８に示すようなマスクの色が変化していない表示画像を表示させることが可能である。
【００３１】
具体的には、表示画像生成部１０８は、表示用マスク処理において、階調補正後画像４０４におけるマスク領域の位置やサイズ、形状等を判定し、マスク領域であると判定された領域に表示用マスクを重畳する処理を行う。ここで、表示画像生成部１０８は、階調補正後画像４０４に関連付けられたメタデータに基づいて、マスク領域を判定することができる。当該メタデータは、階調補正後画像４０４におけるマスク領域の座標やサイズを示す情報を含むことができる。また、マスク領域に重畳する表示用マスクは、画像処理部１０２におけるマスク処理にて重畳されるマスクと同じ色を有するマスクとすることができる。
【００３２】
つまり、表示画像生成部１０８が表示用マスク処理を行わない場合、画像処理部１０２によって生成される画像（記録画像）と、表示部１０９に表示される画像（表示画像）とは一致する。これに対して、表示画像生成部１０８が表示用マスク処理を行った場合は、記録画像と表示画像とは不一致となる。
また、表示画像生成部１０８が表示用マスク処理を行わない場合、表示用マスクを重畳させるマスク領域を判定するためのメタデータを階調補正後画像に関連付ける必要はない。そのため、表示画像生成部１０８が表示用マスク処理を行う場合と比較して、メタデータに相当する符号量を削減することができる。ただし、この場合、画像処理部１０２は、マスク領域を非補正領域として選択しているため、マスク領域を含めた画像全体を階調補正する場合と比較して、マスク領域に対して階調補正が行われない分だけ記録画像の符号量は増加する。言い換えると、階調補正の対象とする領域をマスク込み領域とした場合には、記録画像の符号量を小さくすることができるが、表示用マスク処理を行う必要があるため、マスク領域を判定するためのメタデータを関連付ける必要があり、その分の符号量が増加する。
【００３３】
本実施形態においては、操作部１０４を介してユーザから非補正領域の指定を受け付け、メモリ１０３に記録された非補正領域情報を変更する場合について説明した。しかしながら、上記のメタデータを関連付けることにより増加する符号量と、階調補正の対象とする領域をマスク除外領域からマスク込み領域へ切り替えることにより削減される符号量とを比較し、非補正領域情報を変更するようにしてもよい。
例えば、メタデータ付加により増加する符号量が、階調補正の対象領域の切り替えにより削減される符号量よりも大きい場合、階調補正の対象領域をマスク込み領域とすると、階調補正の対象領域をマスク除外領域とした場合よりも符号量が大きくなってしまう。したがって、このような場合には、階調補正の対象とする領域をマスク除外領域とするよう決定し、マスク領域を非補正領域とするよう非補正領域情報を変更するようにしてもよい。これにより、記録媒体１０７に記録される画像データの符号量を抑えることができる。
【００３４】
以上説明したように、本実施形態における画像処理装置は、撮像画像を取得し、取得された撮像画像に対して、画像中のマスク領域にマスクを重畳するマスク処理を施す。また、画像処理装置は、マスク処理が施された画像を対象として、階調特性を補正する。このとき、画像処理装置は、階調補正の対象とする領域を、マスク領域を含まないマスク除外領域とマスク領域を含むマスク込み領域とで切り替え可能とする。
具体的には、画像処理装置は、階調補正の対象としない非補正領域を示す領域情報（非補正領域情報）を記録するメモリ１０３を有し、メモリ１０３に記録された非補正領域情報をもとに画像の階調特性を補正するようにする。そして、画像処理装置は、操作部１０４を介してユーザから非補正領域の指定を受け付け、メモリ１０３に記録された非補正領域情報を変更する。
【００３５】
上記のように、画像処理装置は、マスク領域の色が変化する画像処理の対象にマスク領域を含めるか否かを切り替え可能な構成とする。これにより、階調補正の対象とする領域をマスク除外領域とした場合には、階調補正によりマスク領域の色が変化することを防止することができる。一方、階調補正の対象とする領域をマスク込み領域とした場合には、マスク領域を含めてコントラストを低下させることができ、符号量を適切に削減することができる。したがって、階調補正後の画像を記録する記録媒体１０７を備える場合、記録媒体１０７に必要な容量を削減することができる。
このように、マスク処理済の画像に対して階調補正が行われた場合に、目的に応じた適切なマスク処理が施された画像が得られるようにすることができる。
【００３６】
また、画像処理装置は、階調補正後の画像をもとに、表示部１０９に表示画像を表示させる表示制御を行うことができる。具体的には、階調補正の対象とする領域をマスク除外領域とした場合には、階調補正後の画像を表示画像として表示部１０９に表示させることができる。階調補正の対象とする領域がマスク除外領域である場合、階調補正によりマスク領域の色は変化しない。つまり、ユーザがマスクの色として任意の色を指定した場合、階調補正後の画像におけるマスク領域の色は、ユーザ指定の色を維持する。そのため、階調補正が施された画像であっても、ユーザが期待するマスクカラーが反映された状態での視聴が可能となる。また、マスクの色が変更されることに起因してマスク境界の視認性が低下してしまうことも防止することができる。
【００３７】
一方、階調補正の対象とする領域がマスク込み領域である場合には、階調補正後の画像のマスク領域に対して表示用マスクを重畳する表示用マスク処理を施した画像を、表示画像として表示部１０９に表示させることができる。これにより、階調補正によってマスク領域の色が変化した場合であっても、表示画像におけるマスク領域の色は、ユーザ指定の色とすることができる。したがって、階調補正後の画像の符号量を削減しつつ、ユーザが期待するマスクカラーが反映された状態での視聴が可能となる。
【００３８】
なお、画像処理装置は、階調補正の対象とする領域がマスク込み領域である場合、表示用マスク処理の要否を判定し、表示用マスク処理が必要であると判定された場合に、表示用マスク処理を施した画像を表示画像として表示させるようにしてもよい。これにより、マスクの色の変化が許容される場合には、表示用マスク処理を行わず、階調補正後の画像をそのまま表示画像として表示させることができる。したがって、表示用マスク処理を行う負荷を低減することができる。
【００３９】
また、画像処理装置は、マスク込み領域を対象として階調特性を補正した場合、階調特性を補正した画像に、マスク領域の位置、サイズおよび形状の少なくとも１つを含むメタデータを関連付けてもよい。そして、画像処理装置は、階調補正後の画像に関連付けられたメタデータに基づいて表示用マスク処理を行うようにしてもよい。これにより、表示用マスクを重畳させるマスク領域を適切に判定することができ、表示用マスク処理を適切に実施することができる。
【００４０】
以上のように、本実施形態では、階調補正が行われた画像を表示させる場合に、目的に応じた適切なマスク処理が施された画像を表示させることができる。
【００４１】
（変形例）
上記実施形態においては、図３に示すクライアント装置２００は、メカニカルな手段によるパンチルト機能の代わりに、画像のデジタル処理によりパンチルト機能を実現するＤＰＴＺ（Ｄｉｇｉｔａｌ  Ｐａｎ  Ｔｉｌｔ  Ｚｏｏｍ）機能を備えていてもよい。ＤＰＴＺは、画像データをデジタル的に処理して拡大、縮小および切り出し処理を行うことで、見かけ上のパン、チルト、ズーム機能を実現する。
ＤＰＴＺは、表示画像生成部１０８が実現することができる。表示画像生成部１０８におけるＤＰＴＺ表示の制御および表示用マスク処理の要否の設定は、操作部１０４を介してユーザが指示することが可能となっている。
【００４２】
表示画像生成部１０８は、階調補正後画像の少なくとも一部を含む領域を切り出して、表示画像として表示部１０９に表示させるＤＰＴＺ表示を行う。
ＤＰＴＺ表示を行う場合、図１０に示すように、切り出し表示を行う表示領域４２１に、斜線部で示すような画像データが存在しない領域である画像外領域４２２が含まれる場合がある。この場合、表示画像生成部１０８は、表示用マスク処理により画像外領域４２２に対して表示用マスクを重畳させ、表示領域４２１に対応する表示画像を生成する。このとき、適切な色で画像外領域４２２に表示用マスク処理を行わないと、図１１に示すように、表示領域４２１を表示した際に、マスク領域である周辺部マスク４１１の色と画像外領域４２２の色とが一致しなくなり、品位が低下する。
そこで、表示画像生成部１０８は、ＤＰＴＺ表示を行う場合で、切り出した領域に画像外領域が含まれる場合には、表示画像において画像外領域とマスク領域とで色の不一致が生じないように表示用マスク処理を施す。
【００４３】
図１２は、クライアント装置２００の動作を示すフローチャートである。クライアント装置２００は、ＣＰＵ２１１が必要なプログラムを読み出して実行することにより、図１２に示す処理を実現することができる。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。
まずＳ１１において、クライアント装置２００の通信部２０１は、撮像装置１００から送信されたビットストリームを受信し、復号化処理部２０２に出力する。Ｓ１２では、復号化処理部２０２は、入力されたビットストリームに対して復号化処理を行い、画像データを表示画像生成部１０８に出力する。
【００４４】
Ｓ１３では、表示画像生成部１０８は、操作部１０４を介してユーザにより指定された画像データの一部を切り出し、拡大した画像を生成する。
Ｓ１４では、表示画像生成部１０８は、Ｓ１３において切り出した画像に画像外領域が含まれるか否かを判定する。そして、画像外領域が含まれる場合にはＳ１５に移行し、画像外領域が含まれない場合にはＳ２０に移行する。
Ｓ１５では、表示画像生成部１０８は、表示用マスク処理を行うか否かの判定を行う。そして、表示用マスク処理を行う設定の場合にはＳ１６に移行し、画像外領域とマスク領域とに対して予め設定された色の表示用マスクを重畳する表示用マスク処理を行い、Ｓ１７に移行して画像を表示部１０９に表示させる。ここで、表示用マスクの色は、画像処理部１０２におけるマスク処理で使用されるマスクと同一の色であってもよいし、ユーザが所望の色を指定するようにしてもよい。このとき表示部１０９に表示される表示領域４２１の画像は、図１３に示すように、画像外領域４２２と周辺部マスク４１１とに同じ色のマスクが重畳された画像となる。
【００４５】
一方、表示画像生成部１０８は、Ｓ１５において表示用マスク処理を行う設定ではないと判定した場合には、Ｓ１８に移行して、マスク領域の色を判定する。このとき、表示画像生成部１０８は、マスク領域の位置および形状を、メタデータ等をもとに判定し、判定されたマスク領域内の色を抽出することで、マスク領域の色を判定することができる。なお、表示画像生成部１０８は、撮像装置１００から通信部２０１を介してマスク領域の色情報を取得するようにしてもよい。
次にＳ１９では、表示画像生成部１０８は、画像外領域のみに表示用マスクを重畳する表示用マスク処理を行い、Ｓ１７に移行して画像を表示部１０９に表示させる。このとき、表示用マスクの色は、Ｓ１８において判定されたマスク領域と同一の色とする。これにより、表示部１０９に表示される表示領域４２１の画像は、図１４に示すように、画像外領域４２２と周辺部マスク４１１とに同じ色のマスクが重畳された画像となる。
【００４６】
Ｓ２０では、表示画像生成部１０８は、表示用マスク処理を行うか否かの判定を行い、表示用マスク処理を行う場合にはＳ２１に移行して、マスク領域に対して表示用マスクを重畳する表示用マスク処理を行い、Ｓ１７に移行する。一方、Ｓ２０において表示用マスク処理を行わないと判定した場合には、表示用マスク処理を行わず、そのままＳ１７に移行する。
【００４７】
このように、表示画像生成部１０８は、階調補正後の画像の少なくとも一部を含む領域を切り出して表示画像として表示部１０９に表示させるＤＰＴＺ表示が可能な構成とすることができる。このとき、表示画像生成部１０８は、切り出した領域に画像データが存在しない画像外領域が含まれる場合には、画像外領域に対して表示用マスクを重畳する表示用マスク処理を施した画像を表示画像として表示部１０９に表示させることができる。
これにより、ＤＰＴＺ表示時に輝度値の存在しない領域が表示領域に含まれる場合であっても、表示用マスクを追加して、切り出した領域全体を表示することが可能となる。
【００４８】
また、表示画像生成部１０８は、画像外領域に対して表示用マスク処理を施す場合、表示画像においてマスク領域と同一の色を有する表示用マスクを重畳するようにする。
具体的には、階調補正の対象領域がマスク込み領域であり、階調補正後の画像のマスク領域に対して表示用マスク処理を行う設定である場合には、画像外領域に対して重畳させる表示用マスクの色は、マスク領域に対して重畳させる表示用マスクと同一の色とする。また、階調補正の対象領域がマスク込み領域であり、階調補正後の画像のマスク領域に対して表示用マスク処理を行わない設定である場合には、画像外領域に対して重畳させる表示用マスクの色は、階調補正後の画像のマスク領域と同一の色とする。さらに、階調補正の対象領域がマスク除外領域である場合には、画像外領域に対して重畳させる表示用マスクの色は、階調補正後の画像のマスク領域と同一の色（マスク処理で使用されるマスクと同一の色）とする。
これにより、マスク領域と画像外領域とで輝度差が生じることを回避することができ、画像の品位が低下することを防止できる。
【００４９】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５０】
１００…撮像装置、１０１…撮像部、１０２…画像処理部、１０３…メモリ、１０４…操作部、１０５…符号化処理部、１０６…記録部、１０７…記録媒体、１０８…表示画像生成部、１０９…表示部、２００…クライアント装置、３００…記録装置、５００…ネットワーク
【図１】
2019164449.tif 000003
【図２】
2019164449.tif 000004
【図３】
2019164449.tif 000005
【図４】
2019164449.tif 000006
【図５】
2019164449.tif 000007
【図６】
2019164449.tif 000008
【図７】
2019164449.tif 000009
【図８】
2019164449.tif 000010
【図９】
2019164449.tif 000011
【図１０】
2019164449.tif 000012
【図１１】
2019164449.tif 000013
【図１２】
2019164449.tif 000014
【図１３】
2019164449.tif 000015
【図１４】
2019164449.tif 000016