(57)【要約】【課題】  合成画像の本来の画質を維持しつつ、画像特性の段差を解消する。【解決手段】  画像処理装置が、互いに画像特性の異なる複数の画像を取得する取得手段と、前記取得手段により取得された複数の画像を合成することで、合成画像を生成する生成手段と、前記合成画像の画素値の補正処理を行う処理手段とを有し、前記処理手段は、画素値補正の対象となる画素の、前記合成画像の合成境界からの距離に応じた補正量を用いて、前記補正処理を行う。【選択図】  図３
2016099836.tif 000002
【特許請求の範囲】
【請求項１】
ノイズ特性、解像度、明るさ、カラーバランスのうちの少なくとも一つの画像特性が互いに異なり、互いに被写体の同じ領域に対応する共通の画像領域を有する複数の画像を取得する取得手段と、
前記取得手段により取得された前記複数の画像を、前記共通の画像領域が重なるように位置合わせして合成することで、合成画像を生成する生成手段と、
前記複数の画像の前記画像特性の違いに基づいて、前記合成画像の画素値の補正処理を行う処理手段とを有し、
前記処理手段は、前記合成画像において画素値の生成に用いられる画像が切り替わる境界である合成境界を挟む二つの領域の少なくとも一方の領域について、前記合成境界からの距離に応じて所定の距離の画素まで連続的に変化する補正量を用いて、前記補正処理を行うことを特徴とする画像処理装置。
【請求項２】
前記処理手段は、前記合成画像における前記合成境界を挟んだ二つの領域で、前記画像特性が連続的に変化するように、前記合成画像の画素値を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
ノイズ特性、解像度、明るさ、カラーバランスのうちの少なくとも一つの画像特性が互いに異なり、互いに被写体の同じ領域に対応する共通の画像領域を有する複数の画像を取得する取得手段と、
前記複数の画像の前記画像特性の違いに基づいて、前記複数の画像の画素値の補正処理を行う処理手段と、
前記処理手段により画素値の補正が行われた前記複数の画像を、前記共通の画像領域が重なるように位置合わせして合成することで、合成画像を生成する生成手段とを有し、
前記処理手段は、前記合成画像において画素値の生成に用いられる画像が切り替わる境界である合成境界を挟む二つの領域の少なくとも一方の領域に対応する、前記複数の画像中の領域について、前記合成画像における前記合成境界からの距離に応じて所定の距離の画素まで連続的に変化する補正量を用いて、前記補正処理を行うことを特徴とする画像処理装置。
【請求項４】
前記処理手段は、前記合成画像における前記合成境界を挟んだ二つの領域で、前記画像特性が連続的に変化するように、前記複数の画像の画素値を補正することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記処理手段は、前記画素値補正の対象となる画素の、前記合成境界からの距離が小さいほど、前記補正量を大きくすることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記補正処理における画素値の補正量を決定する決定手段を更に備え、
前記画像特性は、画像中のノイズ量を含むノイズ特性であり、
前記決定手段は、前記複数の画像それぞれが有するノイズ特性に基づいて前記補正量を決定することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項７】
前記処理手段が行う補正処理は、前記複数の画像のうちノイズ量が小さい画像に対して、前記合成境界からの距離に応じた量のノイズを付加する処理と、前記複数の画像のうちノイズ量が大きい画像から、前記合成境界からの距離に応じた量のノイズを低減する処理とのうちの、少なくとも一方の処理であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記決定手段は、前記複数の画像のべた部を抽出し、該抽出したべた部の画素値の標準偏差を前記ノイズ特性として取得し、該取得したノイズ特性を用いて前記補正量を決定することを特徴とする請求項６又は７に記載の画像処理装置。
【請求項９】
前記補正処理における画素値の補正量を決定する決定手段を更に備え、
前記画像特性は、画像の解像度であり、
前記決定手段は、前記複数の画像それぞれが有する解像度に基づいて前記補正量を決定することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記処理手段が行う補正処理は、前記複数の画像のうち解像度が低い画像に対して、前記合成境界からの距離に応じた強度の鮮鋭化フィルタを作用させる処理と、前記複数の画像のうちの解像度が高い画像に対して、前記合成境界からの距離に応じた強度のぼかしフィルタを作用させる処理の少なくとも一方であることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記決定手段は、前記複数の画像に対応する焦点距離、撮像センサの画素ピッチ、被写体距離の少なくとも１つに基づいて前記複数の画像の解像度を取得し、該取得した解像度に基づいて前記補正処理を行うことを特徴とする請求項９又は１０に記載の画像処理装置。
【請求項１２】
請求項１乃至１１のいずれか一項に記載の画像処理装置を有し、前記複数の画像を撮像する、互いに異なる特性を有した複数の撮像部を備える撮像装置。
【請求項１３】
コンピュータを請求項１乃至１１のいずれか一項に記載の画像処理装置の各手段として機能させるプログラム。
【請求項１４】
ノイズ特性、解像度、明るさ、カラーバランスのうちの少なくとも一つの画像特性が互いに異なり、互いに被写体の同じ領域に対応する共通の画像領域を有する複数の画像を取得する取得工程と、
前記取得工程において取得された複数の画像を、前記共通の画像領域が重なるように位置合わせして合成することで、合成画像を生成する生成工程と、
前記複数の画像の前記画像特性の違いに基づいて、前記合成画像の画素値の補正処理を行う処理工程とを含み、
前記処理工程は、前記合成画像において画素値の生成に用いられる画像が切り替わる境界である合成境界を挟む二つの領域の少なくとも一方の領域について、前記合成境界からの距離に応じて所定の距離の画素まで連続的に変化する補正量を用いて、前記補正処理を行う工程であることを特徴とする画像処理方法。
【請求項１５】
ノイズ特性、解像度、明るさ、カラーバランスのうちの少なくとも一つの画像特性が互いに異なり、互いに被写体の同じ領域に対応する共通の画像領域を有する複数の画像を取得する取得工程と、
前記複数の画像の前記画像特性の違いに基づいて、前記複数の画像の画素値の補正処理を行う処理工程と、
前記処理手段により画素値の補正が行われた前記複数の画像を、前記共通の画像領域が重なるように位置合わせして合成することで、合成画像を生成する生成工程とを含み、
前記処理工程は、前記合成画像において画素値の生成に用いられる画像が切り替わる境界である合成境界を挟む二つの領域の少なくとも一方の領域に対応する、前記複数の画像中の領域について、前記合成画像における前記合成境界からの距離に応じて所定の距離の画素まで連続的に変化する補正量を用いて、前記補正処理を行う工程であることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を合成することにより得られる画像の画質を向上する技術に関する。
【背景技術】
【０００２】
複数の撮像部により撮像された複数の画像データを合成することにより、撮像後の画角制御やＨＤＲなどを実現する画像合成技術がある。しかし、各撮像部の撮像条件が異なる場合、複数の撮像データ間でノイズや解像度などの画像特性が異なるため、合成画像中の合成境界において、画像特性の段差がはっきりと表れてしまうという課題があった。
【０００３】
合成画像中の合成境界におけるノイズ段差を解消する手法として、撮像時のゲイン値に応じて画像ごとにノイズリダクションの強弱を切り替えることにより、複数枚の撮像データのノイズ量を揃える手法がある（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１５４４７８
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術を用いると、合成画像データに表れたノイズ段差が大きい場合には、ノイズ量が大きい画像領域に過剰なノイズリダクションを行ってしまい、合成画像の画質が低下してしまうことがある。そこで本発明は、合成画像の画質をできる限り維持しつつ、画像特性の段差を解消することを目的としている。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の画像処理装置は、ノイズ特性、解像度、明るさ、カラーバランスのうちの少なくとも一つの画像特性が互いに異なり、互いに被写体の同じ領域に対応する共通の画像領域を有する複数の画像を取得する取得手段と、前記取得手段により取得された前記複数の画像を、前記共通の画像領域が重なるように位置合わせして合成することで、合成画像を生成する生成手段と、前記複数の画像の前記画像特性の違いに基づいて、前記合成画像の画素値の補正処理を行う処理手段とを有し、前記処理手段は、前記合成画像において画素値の生成に用いられる画像が切り替わる境界である合成境界を挟む二つの領域の少なくとも一方の領域について、前記合成境界からの距離に応じて所定の距離の画素まで連続的に変化する補正量を用いて、前記補正処理を行うことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、合成画像の画質を維持しつつ、画像特性の段差を解消することができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置の構成の一例を示す図。
【図２】実施例１に係る画像処理部の構成を示す図。
【図３】実施例１の画像処理装置で行われる処理の流れを示すフローチャート。
【図４】合成画像データの概要を示す図。
【図５】ノイズ量変化の理想モデルを示す図。
【図６】パノラマ合成を示す図。
【図７】実施例１の適用例を示す図。
【図８】画素ピッチ、焦点距離、被写体距離の関係性を示す図。
【図９】実施例２における解像度変化の例を示す図。
【図１０】実施例２の適用例を示す図。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明を実施する形態について説明する。
【００１０】
＜実施例１＞
本実施例では、互いに異なる範囲の画像領域に対応する画像データ同士を合成した際の、合成境界に発生するノイズ段差を解消する例について述べる。図１（ａ）は、本実施例に係る画像処理装置１００（以下、処理装置１００とする）の構成を示す図である。処理装置１００は撮像部１０１〜１０５、ＣＰＵ１０６、ＲＡＭ１０７、ＲＯＭ１０８、操作部１０９、表示制御部１１０、表示部１１１を備えている。また、処理装置１００は、撮像部制御部１１２、デジタル信号処理部１１３、エンコーダ部１１４、外部メモリ制御部１１５、画像処理部１１７、バス１１８を備えている。
【００１１】
撮像部１０１〜１０５は、それぞれが独立した結像光学系と撮像センサを有するカメラであり、図１（ｂ）に示すように、処理装置１００の筺体の同一平面上に配置されている。撮像部１０１〜１０４は互いに焦点距離の等しい望遠レンズを有しており、撮像部１０５は、撮像部１０１〜１０４よりも焦点距離の短い広角レンズを有している。また、撮像部１０１〜１０５がそれぞれ有する撮像素子の画素数は互いに等しい。撮像部１０１〜１０５は、操作部１０９の操作に対応して画像の撮像を行い、取得した画像データをバス１１８を介して処理装置１００の各構成部に出力する。なお、撮像部の構成は上記に限定されるものではなく、撮像部の数、撮像部の位置、姿勢を変更してもよいし、全てのレンズの焦点距離が同じでも、異なっていてもよい。また、本実施例における処理装置は、１つの筺体に複数のカメラを備えた多眼カメラに限定されるものではなく、複数のカメラと接続されたコンピュータの形態をとることもできる。また、撮像部を１つだけ備えたカメラの形態をとって、視点を変えながら複数回撮像することにより得られた画像データに画像処理を行う例も本実施例における処理装置に含まれる。
【００１２】
ＣＰＵ１０６は、以下に述べる各部を統括的に制御する処理回路である。ＲＡＭ１０７はＣＰＵ１０６の主メモリとして機能するメモリであり、撮像した画像データ等のデータの一時的な格納などを行う。ＲＯＭ１０８はＣＰＵ１０６で実行される制御プログラム等を格納しているメモリである。操作部１０９はユーザが処理装置１００に対して入力操作を行うためのボタンであり、画像の撮像指示などを入力することができる。なお、操作部１０９としては、シャッターボタンの他にモードダイヤルや十字キーなども含まれる。表示制御部１１０は表示部１１１に表示される画像や文字の表示制御を行う処理回路である。撮像部制御部１１２はＣＰＵ１０６、または操作部１０９などからの指示に基づいた撮像部１０１〜１０５の制御を行う処理回路である。
【００１３】
デジタル信号処理部１１３は、バス１１８を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う処理回路である。エンコーダ部１１４は、画像データをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う処理回路である。外部メモリ制御部１１５は、処理装置１００とＰＣその他メディア１１６（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）とを接続するインターフェースである。処理装置１００は、この外部メモリ制御部１１５を介してＰＣその他メディア１１６にデータの出力を行うことができる。
【００１４】
画像処理部１１７は、撮像部１０１〜１０５で取得された画像データやデジタル信号処理部１１３から出力された画像データに対して画像処理を行う処理回路である。処理装置１００では、ＣＰＵ１０６が、ＲＯＭ１０８に格納されたプログラムをＲＡＭ１０７をワークメモリとして実行することで、画像処理部１１７を図２に示す各ブロックとして制御し、以下の処理を実行する。
【００１５】
以下、本実施例の処理装置１００で行われる処理の流れについて、図２のブロック図と図３のフローチャートを参照して説明する。
【００１６】
ステップＳ３０１では、取得部２０１が、撮像部１０１〜１０５が撮像した撮像データ群を取得する。ここで撮像データ群とは、各撮像部が撮像した画像データ、各撮像部のレンズの焦点距離、撮像時のＦ値や露光時間などの撮像パラメータと、ＲＡＭ１０７に格納されている各撮像部の位置姿勢などを含むキャリブレーションパラメータ、を含む。なお、ここでのキャリブレーションパラメータは事前にキャリブレーションすることにより得られているものとする。取得部２０１は、取得した撮像データ群を合成部２０２へ出力する。
【００１７】
ステップＳ３０２では、合成部２０２は、取得部２０１から入力された撮像データ群を用いて、合成画像データを生成する。本実施例では撮像データ群に含まれる撮像部１０１〜１０５の画像データを合成することにより、撮像部１０５と同じ視点で、撮像部１０５のレンズと同じ画角で、撮像部１０５の撮像データより高画質な合成画像データを生成する例を示す。ここで撮像部１０１〜１０４のレンズの焦点距離をｆＴ、撮像部１０５のレンズの焦点距離をｆＷとする。合成部２０２ではまず、撮像部１０１〜１０４の画像データから、キャリブレーションパラメータを用いた視点補間処理により、視点位置、姿勢が撮像部１０５と同じで、焦点距離がｆＴの画像データを４枚生成する。視点補間処理には既存の方法が利用可能である。例えば、撮像部１０１〜１０４の画像データ間でブロックマッチングを行って決定した、各画素における被写体の距離に基づいて、撮像部１０１〜１０４の画像データを撮像部１０５の視点にシフトさせることにより生成できる。
【００１８】
次に、合成部２０２は、生成した４枚の画像データの画素値を加算平均することにより、焦点距離ｆＴに対応する画角を有する合成画像データＴを生成する。そして、合成部２０２は、合成画像データＴと撮像部１０５で撮像された焦点距離ｆＷの画像データとを合成することにより、焦点距離ｆＷに対応する画角を有する合成画像データＷを生成する。双方の画像データは、視点位置、光軸方向が等しいため、焦点距離の比に応じて拡大縮小することにより合成可能である。合成画像データＷの例を図４（ａ）に示す。図４（ａ）に示す画像が合成画像データＷであり、中央部の灰色の線で囲まれた領域が、合成画像データＴに対応する領域である。なお、灰色の線は合成境界を示している。本実施例において、合成画像データＴと撮像部１０５で撮像された画像データとの合成は、合成画像データＴを撮像部１０５で撮像された画像データにはめ込む形（合成画像データＴの画素値で撮像部１０５の画像データの画素値を置き換える形）で行っている。すなわち、この処理において、合成画像データＴは撮像部１０５で撮像された画像データと、同じ被写体領域に対応する画像領域同士が重なるように位置合わせして合成される。合成の方法はこれに限られず、合成領域において、合成画像データＴと撮像部１０５で撮像された画像データの画素値の加算平均を行う形でも良い。合成画像データＴをはめ込む形の方が、画像中央部で解像感が高い合成画像データＷを得ることができるが、画素値の加算平均を行う合成法では、合成画像データＷの中央部と周縁部における画質の違いが緩和され、画像中央部におけるノイズも低減される。
【００１９】
合成部２０２は、ここで生成した合成画像データＷを決定部２０３と補正部２０４へと出力し、合成に使用した撮像部１０５の画像データと合成画像データＴを決定部２０３へと出力する。なお、ここで行われる画像合成処理は上記のものだけに限定されるものではない。たとえば、撮像部１０５で撮像された画像と、撮像部１０１〜１０４のうちのいずれかで撮像された画像とを合成する場合にも本実施例の処理は適用可能である。
【００２０】
ステップＳ３０３では、決定部２０３が合成部２０２から入力された合成画像データＷの画像特性として、合成画像データＷの合成境界におけるノイズ特性を取得する。図４（ｂ）を用いて、ノイズ段差について説明する。図４（ｂ）は、図４（ａ）と同様に合成画像データＷを示す図である。領域４０２は合成画像データＴに対応する領域、領域４０３は撮像部１０５で撮像された画像データに対応する領域であり、領域４０４は合成境界の近傍の領域を示す。領域４０４において、合成境界の左側は複数枚の画像を加算平均することにより得られた領域であるため、１枚の画像の情報だけを有する右側の領域に比べてノイズが少ない領域になっている。そのため、合成境界の左右でノイズ量の違いが発生し、これが画像中でのノイズ段差となって表れる。画像の信号成分をＳ、ノイズ成分をＮとしたとき、撮像センサが取得する実際の測定値Ｕは式（１）のように表せる。このとき、ノイズ成分Ｎの標準偏差はσとする。
Ｕ＝Ｓ＋Ｎ            （１）
また、同一条件でＫ回信号を取得し、加算平均をとったときの値Ｕ’は式（２）で表せる。
【００２１】
【数１】
2016099836.tif 000003
【００２２】
中心極限定理より、標準偏差σの分布から発生した乱数をＫ回加算したとき、加算後の値の分布の標準偏差は
【００２３】
【数２】
2016099836.tif 000004
【００２４】
となることから、加算平均後のノイズ成分Ｎ’の標準偏差は式（３）により求められる。
【００２５】
【数３】
2016099836.tif 000005
【００２６】
つまり、Ｋ回加算し、平均をとることにより、ノイズ成分の標準偏差が
【００２７】
【数４】
2016099836.tif 000006
【００２８】
となることがわかる。したがって、撮像部１０１〜１０５のノイズの標準偏差が全て同じσであると仮定すると、本実施例においては、合成境界の左右で、図５（ｃ）に示すようなノイズ段差が発生することになる。本実施例では、領域４０２において４枚の画像が加算平均されているので、領域４０４の左側の領域のノイズの標準偏差は
【００２９】
【数５】
2016099836.tif 000007
【００３０】
、右側の領域のノイズの標準偏差はσとなる。
【００３１】
決定部２０３は、この、領域４０２と領域４０３に対応するノイズ特性を、合成画像データＷ中の画素値から取得する。本実施例では、決定部２０３が、領域４０２と領域４０３のべた部（被写体の色がほぼ同一である領域）の画素値の標準偏差をノイズの標準偏差として取得する。べた部の抽出方法としては公知の技術を広く用いることができるが、本実施例では、合成画像データＷに対してエッジ抽出の処理を行い、そのエッジが抽出されていない領域をべた部として抽出する。なお、ノイズ特性の取得方法はこれに限られず、合成前の撮像画像データの画素値から同様の手法で標準偏差を取得してもよい。また、あらかじめカメラの撮像パラメータとノイズ強度の関係が分かっている場合には、画像データの画素値を用いずに、撮像時のＦ値、レンズ特性、ＩＳＯ感度等から算出するようにしてもよい。
【００３２】
ステップＳ３０４では、決定部２０３が、ステップＳ３０３で取得されたノイズ特性に基づいて、ノイズ段差を解消するための、合成領域における画素値の変化量を決定する。ここで、本実施例における、領域４０４におけるｘ軸方向のノイズ量変化の理想モデルを図５（ａ）に示す。本実施例では、ノイズ量が少ない合成境界左側の領域に対して、画素値補正の対象となる画素に、合成境界からの距離ｄに応じたノイズ量を付加することにより、合成境界におけるノイズ特性を図５（ａ）に示すように変化させ、ノイズ段差を解消する。本実施例では境界からの距離Ｄ画素の内側の領域をノイズ量変化領域とし、境界に近づくにしたがってノイズ量が連続的に増えていくように画素値の補正を行う。このようにノイズ量を変化させると、補正処理後の画像において、ノイズ段差が目立たなくなる。図５（ａ）に示している、領域４０２と領域４０３の間のノイズ量の差σ’は、分散の加法性により式（４）で算出できる。
【００３３】
【数６】
2016099836.tif 000008
【００３４】
さらに、合成境界からの距離がｄ［画素］である画素における付加ノイズ量は式（５）により求めることができる。
【００３５】
【数７】
2016099836.tif 000009
【００３６】
ノイズ量を変化させる範囲を示す境界からの距離Ｄは、例えば３０画素で実施可能であるが、Ｄの値はこれに限らない。また、本実施例ではＤの値として、ＲＯＭ１０８に格納してある一定の値を用いるものとするが、各画像の画角の比によって変更するようにしてもよい。例えば、望遠画像の画角が所定の閾値よりも小さい場合には、ノイズ量を変化させる範囲を狭くすることで、望遠画像の広範囲にノイズが付加されることを防ぐことができる。また、本実施例ではノイズ量変化の理想モデルとして図５（ａ）に示した線形モデルを用いているが、ノイズ量変化の理想モデルの形はこれに限られない。例えば、図５（ｂ）に示すような滑らかな曲線系に変化するようにすると、線型の理想モデルに比べて全体のノイズ付加量を抑えながら、ノイズ段差をなめらかに補正することができる。決定部２０３は、ここで決定したノイズ量の補正量を補正部２０４に出力する。
【００３７】
ステップＳ３０５では、補正部２０４が、決定部２０３から入力された補正量に基づいて、合成画像データＷにノイズ量の補正処理を行い、生成された補正画像データをバス１１８に出力して処理を終了する。ノイズの付加手法としては公知の技術を広く用いることができる。本実施例では、補正部２０４は合成画像データＷの各画素の画素値に対して、合成境界からの距離ｄに応じたσｄの標準偏差を用いた加法性ホワイトガウスノイズを加えることにより、補正画像データを生成する。本実施例では平均０、標準偏差σｄのホワイトガウスノイズを加えることにより補正合成画像データを生成したが、補正合成画像データのノイズ量がノイズ量の理想変化モデルに沿っていれば、ノイズ付加手法はこれに限らない。
【００３８】
以上が本実施例の処理装置１００で行われる処理である。以上の処理によれば、画像中の広い範囲にノイズリダクションを行わずとも合成境界のノイズ段差を解消できるので、ノイズリダクションによる画質劣化を抑えることができる。なお、本実施例は、画角の異なる画像同士を合成する場合に限られず、例えば、図６に示すように、画角の同じ画像をパノラマ合成する場合においても、実施可能である。図６の例では、点線で囲まれた領域６０１が合成領域となり、その他の領域との境界にノイズ段差が生じるため、本実施例を適用することでそのノイズ段差を補正することができる。
【００３９】
本実施例を実際の画像に適用した例を図７に示す。図７（ａ）は標準偏差σ（ノイズ量）の異なる２種類の画像をつなぎ合わせた画像であり、画像中央部においてノイズ段差を確認することができる。図７（ｂ）は図７（ａ）の画像に本実施例を適用した結果画像である。ノイズ量の変化が滑らかになっていることがわかる。
【００４０】
なお、本実施例において、取得部２０１は互いに画像特性の異なる複数の画像を取得する取得手段として機能する。また、合成部２０２は、前記取得手段により取得された複数の画像を合成することで、合成画像を生成する生成手段として機能する。また、補正部２０４は、前記合成画像の画素値の補正処理を行う処理手段として機能する。また、決定部２０３は、前記補正処理における画素値の補正量を決定する決定手段として機能する。
【００４１】
＜実施例２＞
実施例１では、補正画像データの合成境界において、ノイズ量が滑らかに変化するように合成画像データを補正する実施形態について説明した。本実施例では、画角の異なる画像同士を合成した場合に、補正画像データの合成境界において、解像度が滑らかに変化するように合成画像データを補正する実施形態について説明する。なお、実施例１と共通の部分については説明を省略し、実施例１との差異についてのみ説明する。
【００４２】
まず、焦点距離の異なる撮像部で撮像された画像データ間で解像度が異なることについて説明する。図８にセンサの画素ピッチｘとレンズの焦点距離ｆ、被写体距離ｄの関係性を表した図を示す。ここで本実施例における解像度を、被写体面上での長さａがセンサ面上で何画素になるかであると定義した場合、解像度Ｒは式（６）により算出できる。
【００４３】
【数８】
2016099836.tif 000010
【００４４】
よって、各撮像部間でセンササイズと被写体までの距離が同じであると仮定すると、解像度はレンズの焦点距離によって決定することがわかる。そのため実施例１と同様に、焦点距離ｆＴと焦点距離ｆＷの画像データを合成すると、その合成境界で解像度段差が発生してしまう。本実施例はこの課題を解決する処理に関する。
【００４５】
本実施例では、実施例１と同様に合成部２０２が合成画像データＴを撮像部１０５の中央にはめ込む場合について説明する。合成画像データＷは、実施例１と同様に図４（ｂ）で示される。領域４０２に対応する焦点距離がｆＴ、領域４０３に対応する焦点距離がｆＷであるので、領域４０４において図９（ａ）に示すような解像度段差が発生している。本実施例では、補正部２０４が、合成領域の右側に対して、図９（ｂ）に示すように解像度を劣化させる補正を行うことで、この解像度段差を解消する。
【００４６】
以下、本実施例の処理装置１００で行われる処理の詳細について説明する。本実施例の処理装置１００の構成および処理の流れは基本的に実施例１と同じであるが、ステップＳ３０３〜ステップＳ３０５で行われる処理の詳細がそれぞれ実施例１と異なっている。その違いについて説明する。
【００４７】
本実施例のステップＳ３０３では、決定部２０３が、合成画像データＷの画像特性として、領域４０２と領域４０３における解像度の差を取得する。解像度は撮像部１０１〜１０５の撮像パラメータから算出可能なので、決定部２０３は、取得部２０１から入力された撮像データ群が示す撮像パラメータを式６に代入して差分を取ることで解像度の差を算出する。
【００４８】
また、本実施例のステップＳ３０４では、決定部２０３が、合成境界の近傍で、解像度がどのように変化すべきかの理想変化モデルを定める。そして、それを満たすための付加ボケ量を決定する。本実施例では式（７）で表されるガウシアンフィルタを、領域４０３の中の合成境界の近傍の領域に作用させることで、画像データの解像度をなめらかに変化させる。ここで、ｘ、ｙは画像中の画素位置である。また、画像データの解像度
【００４９】
【数９】
2016099836.tif 000011
【００５０】
を解像度
【００５１】
【数１０】
2016099836.tif 000012
【００５２】
に劣化させる際に使用する標準偏差σ’は式（８）により算出可能である。
【００５３】
【数１１】
2016099836.tif 000013
【００５４】
【数１２】
2016099836.tif 000014
【００５５】
さらに、合成境界からの距離がｄである領域の付加ボケ量は式（９）により求めることができる。
【００５６】
【数１３】
2016099836.tif 000015
【００５７】
なお、ぼけを付加させるフィルタはガウシアンフィルタに限られず、様々なぼけフィルタを利用することが可能である。決定部２０３は、ここで決定された付加ボケ量σｄを補正部２０４に出力する。
【００５８】
ステップ３０５では、補正部２０４が、ステップＳ３０４で決定された付加ボケ量σｄに基づいて、合成画像データＷに対してガウシアンフィルタによる処理を行い、補正画像データをバス１１８に出力して処理を終了する。
【００５９】
以上が本実施例の処理装置１００で行われる処理である。以上の処理によれば、解像度の異なる画像データ同士を合成した場合の合成境界に発生する解像度段差を緩和することができる。以下、本実施例を実際の画像に適用した例を図１０に示す。図１０（ａ）は解像度の異なる２種類の画像をつなぎ合わせた画像であり、画像中央部において解像度段差を確認することができる。図１０（ｂ）は図１０（ａ）の画像に本実施例を適用した結果画像である。解像度の変化が滑らかになっていることがわかる。
【００６０】
＜その他の実施例＞
本発明の実施形態は、上記の実施例に挙げたものに限られない。例えば、ノイズ特性の異なる画像同士を合成した場合に、実施例１とは異なり、ノイズ量が大きい方の領域に、合成境界からの距離に応じた強度でノイズを低減するデノイズ処理を施すようにしてもよい。また、解像度の異なる画像同士を合成した場合に、実施例２とは異なり、解像度が低い方の領域に、合成境界からの距離に応じた鮮鋭化フィルタを作用させるようにしてもよい。また、合成境界の両側において、ノイズ量を変化させる処理や解像度を変化させる処理を行ってもよい。つまり、合成境界を挟む二つの領域の少なくとも一方について、画素値の補正を行う処理をすればよい。また、実施例１と２を組み合わせて、ノイズ量と解像度を両方変化させる処理を行ってもよい。また、画像特性の異なる画像としては、ノイズ特性や解像度が異なる画像に限られず、明るさやカラーバランスが異なる画像を用いた例にも本発明は適応可能である。
【００６１】
また、上記の実施例においては、共に合成画像データＷに画素値の補正を行う処理を行ったが、画素値補正を行う順番は上記に挙げたものに限られない。例えば、合成画像データＴと、撮像部１０５で撮像された画像データのそれぞれに、あらかじめ画素値の補正処理を施してから両者を合成することで合成画像データＷを生成するようにしてもよい。
【００６２】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2016099836.tif 000016
【図２】
2016099836.tif 000017
【図３】
2016099836.tif 000018
【図４】
2016099836.tif 000019
【図５】
2016099836.tif 000020
【図６】
2016099836.tif 000021
【図８】
2016099836.tif 000022
【図９】
2016099836.tif 000023
【図７】
2016099836.tif 000024
【図１０】
2016099836.tif 000025