(57)【要約】【課題】全方位画像を矩形画像に変形して領域別階調補正行う際に、領域別階調補正を効果的に行って高画質の画像を得る。【解決手段】矩形変形処理部１００と第１および第２の階層画像生成処理部１０１および１０２は撮像装置の全方位を撮像して得られた全方位画像を幾何変形処理によって矩形画像に変形し矩形画像を複数の領域画像に分けて当該領域画像の各々について互いに解像度が異なる複数の階層画像を生成する。第１および第２の階調補正ゲイン生成処理部１０３および１０４、ゲイン合成処理部１０５、および階調補正処理部１０６は領域画像の各々について得られた階層画像に基づいて補正ゲインを生成して、当該補正ゲインに応じて矩形画像の階調を補正して補正画像を得る。【選択図】図１
2017184126.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置の全方位を撮像して得られた全方位画像を画像処理して補正画像を得る画像処理装置であって、
前記全方位画像を幾何変形処理によって矩形画像に変形して、前記矩形画像を複数の領域画像に分けて、当該領域画像の各々について互いに解像度が異なる複数の階層画像を生成する第１の処理手段と、
前記領域画像の各々について得られた階層画像に基づいて補正ゲインを生成して、前記補正ゲインに応じて前記矩形画像の階調を補正して前記補正画像を得る第２の処理手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記第１の処理手段は、前記領域画像として前記矩形画像を前記全方位画像における像高が所定の像高以上の領域である高像高領域画像と前記全方位画像における像高が所定の像高未満の領域である低像高領域画像とに分けることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の処理手段は、前記第１の処理手段において前記高像高領域画像に基づいて得られた第１の階層画像に基づいて第１の階調補正ゲインを求め、前記第１の処理手段において前記低像高領域画像に基づいて得られた第２の階層画像に基づいて第２の階調補正ゲインを求めて、前記第１の階調補正ゲインおよび前記第２の階調補正ゲインを全方位画像における像高に応じて合成して前記補正ゲインを求めることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の処理手段は全方位画像における像高が低い領域画像ほど、前記階層画像の解像度を低くすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第１の処理手段は、前記矩形画像を複数の領域画像に分ける際、互いに隣接する領域画像においてその一部がオーバーラップするように、前記矩形画像を複数の領域画像に分けることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
撮像装置の全方位を撮像して得られた全方位画像を画像処理して補正画像を得る画像処理装置の制御方法であって、
前記全方位画像を幾何変形処理によって矩形画像に変形して、前記矩形画像を複数の領域画像に分けて、当該領域画像の各々について互いに解像度が異なる複数の階層画像を生成する第１の処理ステップと、
前記領域画像の各々について得られた階層画像に基づいて補正ゲインを生成して、前記補正ゲインに応じて前記矩形画像の階調を補正して前記補正画像を得る第２の処理ステップと、
を有することを特徴とする制御方法。
【請求項７】
撮像装置の全方位を撮像して得られた全方位画像を画像処理して補正画像を得る画像処理装置で用いられる制御プログラムであって、
前記画像処理装置に備えられたコンピュータに、
前記全方位画像を幾何変形処理によって矩形画像に変形して、前記矩形画像を複数の領域画像に分けて、当該領域画像の各々について互いに解像度が異なる複数の階層画像を生成する第１の処理ステップと、
前記領域画像の各々について得られた階層画像に基づいて補正ゲインを生成して、前記補正ゲインに応じて前記矩形画像の階調を補正して前記補正画像を得る第２の処理ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、全周囲を撮像（全方位撮影）して得られた画像を処理する画像処理装置に関する。
【背景技術】
【０００２】
従来、双曲面ミラー又は魚眼レンズを介して全周囲を一括して撮像して得られた画像（全方位画像という）を画像処理するための画像処理装置が知られている。全周囲を一括して撮像した際には、画像のダイナミックレンジが広くなる傾向がある。よって、画像処理装置では、黒つぶれおよび白飛びが発生しないように覆い焼き処理などに代表される領域別の階調補正処理を行う必要がある。
【０００３】
領域別階調補正処理として、例えば、１つの画像から解像度の異なる複数の画像（階層画像という）を生成する。そして、これら画像のレベル差（信号レベルの差）を参照して領域毎に最適な階調補正を行うためのゲインマップを作成するようにしたものがある（特許文献１参照）。
【０００４】
ところが、全方位画像においては、撮像される半球面の極点に当たる部分（以下低像高領域という）と、その周辺部分（以下高像高領域という）とでは光学的な歪の差が大きい。このため、像高毎に階層画像の生成を制御する必要があり、その処理が複雑となる。コンパクトデジタルカメラに全方位撮影用の光学アタッチメントを取り付けて全方位撮影をしたとする。この場合には、通常の撮影と全方位撮影とにおいて互いに異なる画像処理を行う必要があり、処理回路が増大するばかりでなく、制御が複雑化する。このような問題に対処するため、例えば、全方位画像を矩形画像に変形した後、当該矩形画像に対して画像処理を行う画像処理装置がある（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３００４６５号公報
【特許文献２】特開２００３−２８４０５８号公報
【非特許文献】
【０００６】
【非特許文献１】東芝レビューＶｏｌ．６４  Ｎｏ．６（２００９）  “撮影画像の明るさ最適化技術  ＣｏｎｔｒａｓｔＭａｇｉｃ  ＴＭ”
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、全方位画像を矩形に変換する際には、像高に応じて画像の変形量が異なり、全方位撮影の際に像高が低い領域ほど、変形後の解像度が低下する。前述のように、領域別階調補正処理においては、異なる解像度の画像（階層画像）の信号レベルを参照して、入力画像の領域を分割して領域毎に最適な階調補正を行う。
【０００８】
ところが、入力画像の解像度が低い場合には、入力画像から複数の低解像度の画像を生成しても、画像間の信号レベル差が小さくなる。このため、レベル差によって領域を分割して、領域毎に最適な階調補正ゲインを生成することが困難となってしまう。その結果、全方位画像を矩形画像に変形した場合には、全方位画像において像高が低い領域ほど解像度が低下してしまい、領域別階調補正の効果が低下してしまうことになる。
【０００９】
従って、本発明の目的は、全方位画像を矩形画像に変形して領域別階調補正行う際に、領域別階調補正を効果的に行って高画質の画像を得ることができる画像処理装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明による画像処理装置は、撮像装置の全方位を撮像して得られた全方位画像を画像処理して補正画像を得る画像処理装置であって、前記全方位画像を幾何変形処理によって矩形画像に変形して、前記矩形画像を複数の領域画像に分けて、当該領域画像の各々について互いに解像度が異なる複数の階層画像を生成する第１の処理手段と、前記領域画像の各々について得られた階層画像に基づいて補正ゲインを生成して、前記補正ゲインに応じて前記矩形画像の階調を補正して前記補正画像を得る第２の処理手段と、を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、全方位画像を矩形画像に変形して領域別階調補正行う際に、領域別階調補正を効果的に行って高画質の画像を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態による画像処理装置の一例についてその構成を示すブロック図である。
【図２】図１に示す画像処理装置に入力される全方位画像の撮像を示す図である。
【図３】図２に示す撮像によって得られた全方位画像の一例を示す図である。
【図４】図１に示す矩形変形処理部で矩形変形処理された画像の一例を示す図である。
【図５】図１に示す画像処理装置で行われる画像処理の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１３】
以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。
【００１４】
図１は、本発明の実施の形態による画像処理装置の一例についてその構成を示すブロック図である。
【００１５】
図示の画像処理装置は、矩形変形処理部１００を備えており、矩形変形処理部１００には全方位画像（カメラの全周囲を撮像して得られた画像）が入力される。そして、矩形変形処理部１００は、後述するようにして、全方位画像を矩形画像に変形する。第１および第２の階層画像生成処理部１０１および１０２は、後述するようにして、それぞれ矩形画像から解像度の異なる複数の画像（階層画像）を生成する。
【００１６】
第１および第２の階層補正ゲイン生成処理部１０３および１０４にはそれぞれ第１および第２の階層画像生成処理部１０１および１０２の出力である階層画像が入力される。第１および第２の階層補正ゲイン生成処理部１０３および１０４は階層画像に基づいてそれぞれ領域別階調補正ゲインを生成する。
【００１７】
なお、以下の説明では、第１および第２の階層画像生成処理部１０１および１０２の出力である階層画像をそれぞれ第１および第２の階層画像と呼ぶ。また、第１および第２の階層補正ゲイン生成処理部１０３および１０４の出力である領域別階調補正ゲインをそれぞれ第１および第２の領域別階調補正ゲインと呼ぶ。
【００１８】
第１および第２の領域別階調補正ゲインはゲイン合成処理部１０５に入力される。ゲイン合成処理部１０５は第１および第２の領域別階調補正ゲインを合成処理して合成後の領域別階調補正ゲインを出力する。階調補正処理部１０６は合成後の領域別階調補正ゲインに基づいて矩形画像について領域別階調補正を行う。制御部１０７は画像処理装置全体の制御を司る。
【００１９】
図２は、図１に示す画像処理装置に入力される全方位画像の撮像を示す図である。
【００２０】
全方位画像を撮像する際には、カメラ６００に備えられたレンズに対して、双曲面ミラー６０１を設置して撮像が行われる。なお、全方位画像を撮像する際には。双曲面ミラーの代わりに、例えば、魚眼レンズ又は円錐ミラーを用いてもよい。
【００２１】
図３は、図２に示す撮像によって得られた全方位画像の一例を示す図である。
【００２２】
前述の矩形変形処理部１００は全方位画像を、所定の位置で展開して、矩形画像に変形するための幾何変形処理を行う。例えば、図３に示す全方位画像を位置２０３で展開して幾何学変形処理によって矩形画像に変形する。
【００２３】
いま、全方位画像が円錐ミラーを用いて撮像されたものとする。全方位画像においては、円錐ミラーの半球面の極点に当たる部分で反射され撮像面において像高の低い領域に結像された被写体像（低像高領域画像という）が存在する。さらに、全方位画像においては、円錐ミラーの半球面の周辺部分で反射され撮像面において像高の高い領域に結像される被写体像（高像高領域画像という）が存在する。そして、低像高領域画像と高像高領域画像とにおいては光学的な歪量が大きく異なる。
【００２４】
図３に示す例においては、低像高領域画像２０２は高像高領域画像２０３よりも歪が大きい。このため、矩形変形処理部１０１は、全方位画像において低像高領域画像ほど大きく引き伸ばす必要がある。
【００２５】
図４は、図１に示す矩形変形処理部で矩形変形処理された画像の一例を示す図である。
【００２６】
上述の理由から、矩形変形処理後の画像において、低像高領域画像から変形された画素領域３０２は、高像高領域画像から変形された画素領域３０１よりも変形処理による解像度の劣化が大きくなる。
【００２７】
再び図１を参照して、第１の階層画像生成処理部１０１は、矩形変形処理後の画像（矩形画像）において全方位画像で所定の像高以上（つまり、閾値以上）の高像高の領域を矩形変形処理して得られた画像領域（高像高領域画像：領域１）を解像度変換する。これによって、第１の階層画像生成処理部１０１は、互いに解像度が異なる第１の階層画像Ｈ１、Ｍ１、およびＬ１を出力する。なお、高像高画像領域は、例えば、図４に示す画素領域３０１である。また、第１の階層画像Ｈ１、Ｍ１、およびＬ１の順に解像度が高いものとする。
【００２８】
第１の階調補正ゲイン生成処理部１０３は、第１の階層画像Ｈ１、Ｍ１、およびＬ１の画素レベル（つまり、信号レベル）を比較して領域分けを行う。そして、第１の階調補正ゲイン生成処理部１０３は当該領域毎に明るさおよびコントラストが適正になるように領域別の階調補正ゲインを生成する（この階調補正ゲインを第１の領域別階調補正ゲインとする）。
【００２９】
領域分け処理を行う際には、低解像度画像の信号レベルを参照すると、ノイズおよび被写体のエッジに拘わらず、着目画素近傍の明るさを推定することができる。一方、明部と暗部の境界などコントラストの高い領域において、低解像度画像を参照すると、明部と暗部の境界の信号レベルが平均化されて領域の分離が難しくなる。よって、第１の階層補正ゲイン生成処理部１０３は、第１の階層画像Ｈ１、Ｍ１、およびＬ１の信号レベルを比較して、複数の解像度の画像（第１の階層画像）の信号レベルに応じた補正ゲインを合成する。これによって、領域毎に最適な階調補正を行うための第１の領域別補正ゲインを生成することができる。
【００３０】
なお、領域別階調補正ゲイン生成処理および領域別階調補正処理については、例えば、非特許文献１に記載の手法が用いられる。
【００３１】
第２の階層画像生成処理部１０２は、矩形変形処理後の画像（矩形画像）において全方位画像で所定の像高未満の低像高の領域を矩形変形処理して得られた画像領域（低像高領域画像：領域２）を解像度変換する。これによって、第２の階層画像生成処理部１０２は、互いに解像度が異なる第２の階層画像Ｈ２、Ｍ２、およびＬ２を出力する。なお、低像高画像領域は、例えば、図４に示す画素領域３０２である。また、第２の階層画像Ｈ２、Ｍ２、およびＬ２の順に解像度が高いものとする。
【００３２】
ところで、全方位画像においては、像高が低い領域（つまり、低像高領域画像：画素領域３０２）では、矩形変形処理部１００における変形量が大きく解像度が低下する。このような低像高領域画像に基づいて階層画像を生成すると、これら階層画像間の階層画像間における信号レベルの差が極めて小さくなる。
【００３３】
階層画像間における信号レベルの差が小さくなると、信号レベルの差を比較して領域分けをする場合に誤判定が生じ易い。例えば、低解像度画像を適用すべき領域に高解像度画像が適用されて、ノイズおよび被写体エッジの影響によって補正画像の画質が劣化することがある。さらに、高解像度画像を用いて補正領域と非補正領域との境界を規定する際に、低解像度画像を適用すると後判定される結果、領域の境界でコントラストが低下することがある。
【００３４】
このような問題に対処するため、図示の画像処理装置においては、前述のように、第１および第２の階調補正ゲイン生成処理部１０１および１０２を設ける。そして、第１の階調補正ゲイン生成処理部１０１に高像高領域画像を入力し、第２の階調補正ゲイン生成処理部１０２に低像高領域画像を入力する。
【００３５】
さらに、後述するようにして、第１および第２の階調補正ゲイン生成処理部１０１および１０２における解像度変換処理を制御する。そして、解像度が低く低像高領域画像について解像度変換処理を行った結果得られる第２の階層画像Ｈ２、Ｍ２、およびＬ２に適切な信号レベル差をもたせる。第２の階層補正ゲイン生成処理部１０４は第２の階層画像Ｈ２、Ｍ２、およびＬ２の信号レベルを比較して信号レベルに応じた補正ゲインを合成する。これによって、領域毎に階調補正を行うための第２の領域別階調補正ゲインを適切に生成することができる。
【００３６】
ゲイン合成処理部１０５は、第１の領域別階調補正ゲインおよび第２の領域別階調補正ゲインを、全方位画像における像高に応じて合成して合成領域別階調補正ゲインを出力する。
【００３７】
前述のように、第１の階調補正ゲイン生成部１０３は、図４に示す画素領域３０１に対応する第１の領域別階調補正ゲインを生成する。また、第２の階調補正ゲイン生成部１０４は、図４に示す画素領域３０２に対応する第２の領域別階調補正ゲインを生成する。この際、ゲイン合成処理部１０５は、画素領域３０１および３０２の境界において領域別階調補正ゲインが不連続とならないように合成処理を行う。
【００３８】
例えば、第１および第２の階層画像生成処理部１０１および１０２において第１および第２の階層画像を生成する際、それぞれ図４に示す画素領域３０３を含むようにする。つまり、互いに隣接する画素領域（領域画像）の一部をオーバーラップさせる。これによって、第１および第２の階調補正ゲイン生成処理部１０３および１０４で生成される第１および第２の領域別階調補正ゲインについてその一部をオーバーラップさせる。ゲイン合成処理部１０４は第１および第２の領域別階調補正ゲインを合成する際、画素領域３０３において像高に応じて加重加算処理を行う。この結果、画素領域３０１および３０２の境界において、合成領域別階調補正ゲインを不連続とならないようにすることができる。
【００３９】
階調補正処理部１０６は、ゲイン合成処理部１０５の出力である合成領域別階調補正ゲインに基づいて、矩形変形処理部１００の出力である矩形画像について領域別階調補正処理を行って、補正画像を出力する。
【００４０】
図５は、図１に示す画像処理装置で行われる画像処理の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は制御部１０７の制御下で行われる。
【００４１】
デジタルカメラなどの撮像装置で撮像された全方位画像を受けると、画像処理装置は当該全方位画像について画像処理を開始する。まず、矩形変形処理部１００は、前述したようにして、全方位画像を矩形画像に変形する（ステップＳ１００１）。そして、制御部１０７は矩形画像において着目画素が全方位画像において低像高領域画像に位置していたかを判定する（ステップＳ１００２）。なお、着目画素とは、矩形画像におけるいずれかの画素であり、制御部１０７は矩形画像における全ての画素を順次着目画素とする。
【００４２】
着目画素が低像高領域画像に位置していると（ステップＳ１００２において、ＹＥＳ）、第２の階層画像生成処理部１０２は低像高領域画像に応じて階層画像を生成する第２の階層画像生成処理を行う（ステップＳ１００３）。そして、第２の階層画像生成処理部１０２は第２の階層画像Ｈ２、Ｍ２、およびＬ２を出力する。第２の階層補正ゲイン生成処理部１０４は第２の階層画像Ｈ２、Ｍ２、およびＬ２に基づいて第２の領域別階調補正ゲイン生成処理を行う（ステップＳ１００４）。そして、第２の階層補正ゲイン生成処理部１０４は第２の領域別階調補正ゲインを出力する。
【００４３】
着目画素が高像高領域画像に位置していると（ステップＳ１００２において、ＮＯ）、第１の階層画像生成処理部１０１は高像高領域画像に応じて階層画像を生成する第１の階層画像生成処理を行う（ステップＳ１００５）。そして、第１の階層画像生成処理部１０１は第１の階層画像Ｈ１、Ｍ１、およびＬ１を出力する。第１の階層補正ゲイン生成処理部１０３は第１の階層画像Ｈ１、Ｍ１、およびＬ１に基づいて第１の領域別階調補正ゲイン生成処理を行う（ステップＳ１００６）。そして、第１の階層補正ゲイン生成処理部１０３は第１の領域別階調補正ゲインを出力する。
【００４４】
ステップＳ１００４およびＳ１００６の後、ゲイン合成処理部１０５は、前述のようにして、第１および第２の領域別階調補正ゲインを像高に応じて合成して、合成領域別階調補正ゲインを得る（ステップＳ１００７）。そして、階層補正処理部１０６は合成領域別階調補正ゲインに基づいて矩形画像を補正処理して補正画像を生成して（ステップＳ１００８）、画像処理を終了する。
【００４５】
このように、本発明の実施の形態では、全方位画像を矩形画像に変形して領域別階調補正処理を行う際、全方位画像において像高が低い領域について、高解像度の階層画像との信号レベル差が大きくなるように階層画像を生成する。これによって、全方位画像を矩形画像に変形する際の像高に起因する解像度の劣化による領域別階調補正処理の効果の低減を防止することができる。その結果、良好な画質の補正画像を得ることができる。
【００４６】
なお、上述の実施の形態では全方位画像の像高に基づいて、矩形画像を低像高領域画像（低解像度画像）と高像高領域画像（高解像度画像）に分けて、これら低像高領域画像および高像高領域画像の各々について階層画像を生成した。つまり、矩形画像を２つの領域に分けてそれぞれ階層画像を生成するようにしたが、矩形画像を３つ以上の領域に分けるようにしてもよい。
【００４７】
上述の説明から明らかなように、図１に示す例では、矩形変形処理部１００と第１および第２の階層画像生成処理部１０１および１０２が第１の処理手段として機能する。また、第１および第２の階調補正ゲイン生成処理部１０３および１０４、ゲイン合成処理部１０５、および階調補正処理部１０６は第２の処理手段として機能する。
【００４８】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００４９】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００５０】
［その他の実施形態］
上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも本発明は実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５１】
１００  矩形変形処理部
１０１  第１の階層画像生成処理部
１０２  第２の階層画像生成処理部
１０３  第１の階調補正ゲイン生成処理部
１０４  第２の階調補正ゲイン生成処理部
１０５  ゲイン合成処理部
１０６  階調補正処理部
１０７  制御部
【図１】
2017184126.tif 000003
【図２】
2017184126.tif 000004
【図３】
2017184126.tif 000005
【図４】
2017184126.tif 000006
【図５】
2017184126.tif 000007