(57)【要約】【課題】局所的な輝度のバラつきのない高解像度画像を自動的に生成できるようにする。【解決手段】複数枚の画像から、１枚以上の高解像度画像を生成する方法であって、輝度の基準となる位置を決定する基準位置設定手段と、基準位置において１枚以上撮影し、輝度の基準となる基準画像を取得する基準画像取得手段と、被写体に対して分割撮影を実施し、分割画像群を取得する分割画像取得手段と、分割画像群を合成する画像合成手段と、基準画像を基に分割画像群の輝度を補正する輝度補正手段と、を有することを特徴とする。【選択図】  図４
2015204576.tif 000002
【特許請求の範囲】
【請求項１】
複数枚の画像から、１枚以上の高解像度画像を生成する方法であって、
輝度の基準となる位置を決定する基準位置設定手段と、
基準位置において１枚以上撮影し、輝度の基準となる基準画像を取得する基準画像取得手段と、
被写体に対して分割撮影を実施し、分割画像群を取得する分割画像取得手段と、
分割画像群を合成する画像合成手段と、
基準画像を基に分割画像群の輝度を補正する輝度補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記基準位置設定手段は、前記分割画像群の中心位置であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記基準位置設定手段は、前記分割画像群の中であおりが最小の位置であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記基準位置設定手段は、前記分割画像群の中で主被写体が配置された位置であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記輝度補正手段は、前記分割画像間の重なり領域の輝度平均値を利用することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
複数枚の画像から、１枚以上の高解像度画像を生成する方法であって、
輝度の基準となる位置を決定する基準位置設定手段と、
基準位置において１枚以上撮影し、輝度の基準となる基準画像を取得する基準画像取得手段と、
被写体に対して分割撮影を実施し、分割画像群を取得する分割画像取得手段と、
分割画像群を合成する画像合成手段と、
基準画像を基に分割画像群の輝度を補正する輝度補正手段と、
を有することを特徴とする複数枚画像に対する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は複数枚画像を合成し、高解像度画像を生成するための色補正方法に関する。
【背景技術】
【０００２】
複数枚画像を用いて高解像度画像（パノラマ画像）を生成する処理では、各画像間での色の相違が課題となる。これは、撮影カメラの機種の相違、カメラ設定の相違、光源環境の相違に起因する。カメラに起因する問題は、あらかじめカメラ間で色が一致するような変換テーブルを設定する手法が存在する。しかし、光源環境に起因する問題は、フラッシュの光量ムラのように、再現性に乏しいため、あらかじめ変換テーブルを用意することができない。そのため、ＵＩを用いてユーザが手動で色を合わせる手法が存在する（特許文献１参照）。また、フラッシュのコンデンサに蓄えられた電荷量から光量を推定し、色補正を実施する手法も存在する（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２３８１４６号公報
【特許文献２】特開２００７−１６６２６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された方法では、何十枚という画像群に対して手動処理を行う必要がある。また、特許文献２に記載された方法では、コンデンサの電荷量と実際の発光量との間に差異が生じるため、高精度に色補正することはできない。
【０００５】
そこで本発明では、全自動でかつ高精度に複数枚画像間の色補正を実施することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するための本発明に係る画像処理装置の構成は、複数枚の画像から、１枚以上の高解像度画像を生成する方法であって、輝度の基準となる位置を決定する基準位置設定手段と、基準位置において１枚以上撮影し、輝度の基準となる基準画像を取得する基準画像取得手段と、被写体に対して分割撮影を実施し、分割画像群を取得する分割画像取得手段と、分割画像群を合成する画像合成手段と、基準画像を基に分割画像群の輝度を補正する輝度補正手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明の画像処理装置によれば、局所的な輝度のバラつきのない高解像度画像を自動的に生成できるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置の構成を示すブロック図
【図２】複数枚画像を用いた高解像度画像の概念図
【図３】フラッシュ光量の安定性を説明する図
【図４】高解像度画像を合成する処理のフローチャート
【図５】基準位置の選出方法を説明するための図
【図６】輝度基準画像生成処理のフローチャート
【図７】合成・色補正処理のフローチャート
【図８】各分割画像の処理順序を示す図
【発明を実施するための形態】
【０００９】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
【００１０】
＜第１実施形態＞
本実施形態では、被写体に対し分割撮影した複数枚画像の色を合わせる手法について説明する。
【００１１】
図１は、本発明の実施形態における画像処理装置の構成を示すブロック図である。画像処理装置は、ＣＰＵ１０１、メインメモリ１０２、記憶装置１０３、入力装置１０４、表示装置１０５、バス１０６を備える。まず、ＣＰＵ１０１は、演算処理や各種プログラムの実行を行う。メインメモリ１０２は、処理に必要なプログラム、データ、作業領域などをＣＰＵ１０１に提供する。記憶装置１０３は、画像処理プログラムや複数枚画像データを蓄積する装置で、例えばハードディスクが用いられる。入力装置１０４は、キーボードやマウスであり、ユーザ操作を入力するための装置である。表示装置１０５は、ＣＰＵ１０１が生成した画像を表示するためのものであり、ＣＲＴや液晶画面などにより構成する。バス１０６は上述の各部をつなぐバスである。なお、画像処理装置の構成については、上記以外にも、様々な構成要素が存在するが、本発明の主眼ではないので、その説明は省略する。
【００１２】
図２は、高解像度画像の基となる分割画像の概要を示す。番号（１）〜（９）で示す矩形は分割画像を示す。同じカメラ位置で向きを変えながら被写体の異なる座標位置（Ｘ，Ｙ）を撮影することで、分割画像が生成される。その際、各分割画像間で座標空間をオーバーラップさせて、重なり領域２０１を設けるのが一般的である。
【００１３】
図３は、フラッシュ光量の安定性について説明した図である。縦軸が実際に発光したフラッシュの光量で、横軸が撮影回数である。ある被写体に対し、フラッシュを用いて複数回撮影した場合、フラッシュ光量が乱高下している様子がわかる。このように、フラッシュ光量は非常に不安定なので、分割画像間で輝度レベルに差異が発生する。
【００１４】
図４は、分割画像間での輝度レベル差を補正し、高解像度画像を合成する処理を説明したフローチャート図である。Ｓ４０１では、Ｎ枚の分割画像を撮影する。このとき、各分割画像が捉えた被写体の座標位置も合わせて記録しておく。Ｓ４０２では、輝度レベルの基準となる画像の位置を設定する。この処理は後で詳述する。Ｓ４０３では、基準位置で再度撮影を行い、輝度基準画像を生成する。この処理も後で詳述する。Ｓ４０４では、輝度基準画像を用いて全分割画像の輝度補正を行い、高解像度画像の合成を行う。この処理についても後で詳述する。
【００１５】
図５は、Ｓ４０２の基準位置の選出方法に関して説明した図である。（１）から（９）までの分割画像に各種被写体が写っているものとする。このとき、選出方法は２通り存在する。まず、合成の基準となる位置を用いる場合である。高解像度画像の合成では、合成の基準となる位置が存在する。この基準位置にある分割画像に対し、周辺の分割画像を順次合成する。そのため、多くの場合は歪み（あおり）の少ない、分割画像群の中心位置が選出される。本図においては、分割画像（１）に相当する。次に、主被写体を含む位置を用いる場合である。本図においては、分割画像（５）に相当する。このように、選出した位置を輝度補正における基準位置に設定する。また、ここでは２例しか説明しなかったが、合成処理を行う上で最も重要な位置を基準位置とすれば、先の２例と同様の効果が得られることは言うまでもない。
【００１６】
図６は、Ｓ４０３における輝度基準画像生成処理のフローチャートを示す図である。Ｓ６０１では、基準位置において、複数回撮影を行う。このとき、Ｋ回撮影を実施したとする。Ｓ６０２では、Ｋ枚の撮影画像それぞれの平均輝度を算出する。Ｓ６０３では、平均輝度が最も高い画像と、最も低い画像を、撮影画像の中から除外する。Ｓ６０４では、残りのＫ−２枚の撮影画像から、平均輝度が中間値となる撮影画像を抽出し、その画像の輝度を基準輝度に設定する。なお、本フローチャートでは、輝度の中間値をもって基準輝度を設定しているが、各画像群の平均値や統計量から基準輝度を設定しても構わない。
【００１７】
図７は、Ｓ４０４における合成・色補正処理のフローチャートである。Ｓ７０１では、Ｓ４０１で撮影したＮ枚の分割画像をメインメモリ１０２に展開する。このとき、各画像データに処理の実施、未実施を判断する処理フラグを付与する。処理フラグの初期値はｆａｌｓｅとする。Ｓ７０２では、基準位置の分割画像をＳ４０３で取得した輝度基準画像に差し替える。Ｓ７０３では、Ｎ枚の分割画像群をＳ４０１にて記録した座標情報を基にＸＹ座標上に配置する。このとき、各分割画像は斜め方向から撮影しているため、あおりのついた画像となっている。そのため、画像の配置だけでは高解像度画像の生成はできない。
【００１８】
また、配置の概念図を図８−ａに示す。Ｓ７０４では、輝度基準画像を処理画像Ａとして選択する。図８−ａでは、（１）に相当する。Ｓ７０５では、処理画像Ａの周辺の分割画像から１枚を抽出し、処理画像Ｂとして選択する。図８−ａでは、（２）〜（９）の中から１枚を選択することとなる。このとき、処理フラグがｆａｌｓｅである周辺画像のみを選択する。
【００１９】
Ｓ７０６では、処理画像Ａ、処理画像Ｂに対しあおり補正を実施する。これによって、２枚の画像が合成される。このとき、処理画像Ａの処理フラグがｔｒｕｅであった場合、処理画像Ａのあおり補正は実施しない。Ｓ７０７では、処理画像Ａと処理画像Ｂの重なり領域を算出し、重なり領域における各画像の輝度平均値を算出する。そして、輝度平均値の輝度比を算出する。Ｓ７０８では、処理画像Ｂに対し、輝度比を掛け合わせることによって輝度補正を実施する。これによって、処理画像Ｂの輝度は処理画像Ａの輝度と同等になる。また、このとき、処理画像Ｂに対し、処理フラグをｔｒｕｅに設定する。
【００２０】
Ｓ７０９では、処理画像Ａの周辺画像を探索し、処理フラグが全てｔｒｕｅであるかを確認する。全てｔｒｕｅの場合は、Ｓ７１０に進み、そうでない場合は、Ｓ７０５に戻って処理を続行する。Ｓ７１０では、処理画像Ａの周辺画像から１枚を選択し、処理画像Ａとして選択する。図８−ａでは、（２）〜（９）の中から１枚を選択することとなる。ここでは、（４）を選択する。
【００２１】
Ｓ７１１では、全画像に対して処理フラグを確認し、処理フラグが全てｔｒｕｅの場合は処理を終了する。そうでない場合は、Ｓ７０５に戻り処理を続行する。ここでは、Ｓ７０５に戻り、（４）を処理画像Ａ、（１０）を処理画像Ｂとして処理を続行することになる。以上のように、本処理フローによって、合成処理と輝度補正を実行し、輝度が均一な高解像度画像を生成することができる。
【００２２】
また、図８−ｂのように基準位置が（６）であった場合は、１度のループで、（６）を処理画像Ａ、（１）〜（３）を処理画像Ｂとして処理を行う。その後、（１）〜（３）をそれぞれ処理画像Ａとして使用し、（４）〜（９）の合成および輝度補正処理を実施する。
【００２３】
以上説明した処理制御を行うことで、輝度が均一な高解像度画像を生成することが可能となる。なお、本実施形態では、輝度値を用いて説明したが、ＲＧＢ値やＸＹＺ値、分光スペクトルなどを用いて実現しても同様の効果を得ることができる。
【００２４】
＜その他の実施形態＞
本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）がコンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施形態の機能を実現する。
【符号の説明】
【００２５】
１０１  ＣＰＵ、１０２  メインメモリ、１０３  記憶装置、１０４  入力装置、
１０５  表示装置、１０６  バス
【図１】
2015204576.tif 000003
【図２】
2015204576.tif 000004
【図３】
2015204576.tif 000005
【図４】
2015204576.tif 000006
【図５】
2015204576.tif 000007
【図６】
2015204576.tif 000008
【図７】
2015204576.tif 000009
【図８】
2015204576.tif 000010