(57)【要約】【課題】画像データ境界付近での実際のシーンとの不整合を無くし、より高品質な画像データを得ること。【解決手段】連続的に撮像された複数フレームの画像データを位置合せして重ね合わせたフレーム加算後画像データ２３より生成した、そのフレーム加算後画像データ２３の全体の領域よりも小領域の１フレームの矩形画像データ２４に対して、階調補正部２２にて当該矩形画像データ２４に応じた適応的な階調補正を行う際の階調補正パラメータを、階調補正パラメータ算出部２１は、上記矩形画像データ２４の領域内の画像データだけ用いるのではなく、上記矩形画像データ２４の領域外を含む上記フレーム加算後画像データ２３の部分領域または全体の領域における画像データの統計量を用いて算出する。【選択図】図１
2010081090.tif 000002
【特許請求の範囲】
【請求項１】
連続的に撮像された複数フレームの画像データから位置合せ処理を行って１フレームの画像データを生成し、さらに該生成された１フレームの画像データに対して当該１フレームの画像データに応じた適応的な階調補正を行う画像処理装置であって、
複数フレームの画像データ間の動きベクトルを算出する動きベクトル演算部と、
上記動きベクトル演算部によって算出された上記動きベクトルに基づき位置補正して上記複数フレームの画像データの重ね合わせを行う画像重ね合わせ部と、
上記画像重ね合わせ部によって重ね合わせを行った画像データから、上記重ね合わせを行った画像データの全体の領域より小領域の矩形画像データを切り出す画像切り出し部と、
上記画像切り出し部によって切り出された矩形画像データに応じた階調補正パラメータを算出する階調補正パラメータ算出部と、
上記画像切り出し部によって切り出された上記矩形画像データに対して、上記階調補正パラメータ算出部によって算出された階調補正パラメータにより階調補正を行う階調補正部と、
を有し、
上記階調補正パラメータ算出部は、上記切り出された矩形画像データより広い範囲の、上記画像重ね合わせ部によって重ね合わせを行った画像データの部分領域または全体の領域における画像データの統計量を用いて上記階調補正パラメータを算出することを特徴とする画像処理装置。
【請求項２】
上記階調補正パラメータ算出部は、上記画像重ね合わせ部によって重ね合わせを行った画像データの部分領域または全体の領域における画素値の平均値に基づき階調補正パラメータを算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記階調補正パラメータ算出部は、上記画像重ね合わせ部によって重ね合わせを行った画像データの部分領域または全体の領域における画素値のヒストグラムに基づき階調補正パラメータを算出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
撮像された画像データに対して当該画像データに応じた適応的な階調補正を行う画像処理装置であって、
連続的に撮像された複数フレームの画像データを位置合せして重ね合わせを行い、その重ね合わせた画像データより、その重ね合わせた画像データの全体の領域よりも小領域の１フレームの矩形画像データを生成する電子手振れ補正部と、
上記電子手振れ補正部によって生成された上記１フレームの矩形画像データの領域外を含む上記重ね合わせた画像データの部分領域または全体の領域における画像データの統計量を用いて、上記１フレームの矩形画像データに応じた階調補正パラメータを算出する階調補正パラメータ算出部と、
上記電子手振れ補正部によって生成された上記１フレームの矩形画像データに対して、上記階調補正パラメータ算出部によって算出された階調補正パラメータにより階調補正を行う階調補正部と、
を有することを特徴とする画像処理装置。
【請求項５】
複数フレームの画像データ間の動きベクトルを算出するステップと、
上記算出された上記動きベクトルに基づき位置補正して上記複数フレームの画像データの重ね合わせを行うステップと、
上記重ね合わせを行った画像データから、上記重ね合わせを行った画像データの全体の領域より小領域の矩形画像データを切り出すステップと、
上記切り出された矩形画像データより広い範囲の、上記重ね合わせを行った画像データの部分領域または全体の領域における画像データの統計量を用いて、上記切り出された矩形画像データに応じた階調補正パラメータを算出するステップと、
上記切り出された上記矩形画像データに対して、上記算出された階調補正パラメータにより階調補正を行うステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやビデオカメラ等の撮像装置において使用される画像処理装置及びコンピュータにそのような画像処理装置の手順を実行させる画像処理プログラムに関する。
【背景技術】
【０００２】
現在のデジタルスチルカメラやビデオカメラ等の撮像装置では、撮像された画像データに対して表示系を考慮した階調変換処理が行われる。また、例えば特許文献１には、さらに人間の視覚特性を考慮して、撮像された画像データに応じて適応的に階調変換特性を修正する技術が開示されている。
【特許文献１】特開２００４−２８２２８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、撮像された画像データの領域は実際に人間が観察しているシーンの領域よりも狭いため、上記特許文献１に開示の技術のように、撮像された画像データだけでシーンに応じた階調補正パラメータを求めてしまうと、不整合が起こる場合がある。例えば、図７に示すような撮像シーン１を想定すると、撮像画角２の境界付近において急激な輝度変動のある被写体を撮像した場合、実際のシーンにおいてはこの撮像画角境界付近の領域は暗く見えているはずであるのに対し、上記特許文献１に開示の技術のように撮像された画像データ領域だけで階調補正パラメータを求めてしまうと、撮像により得られた画像データの境界付近の領域が過大に明るく補正されてしまう場合がある。また特に、このようなシーンを画角を変えて動画撮像した場合には、高輝度被写体３が撮像画角２に入るか入らないかで、急激な階調の変化がフレーム間で起こってしまう。
【０００４】
本発明は、上記の点に鑑みてなされたもので、画像データ境界付近での実際のシーンとの不整合を無くし、より高品質な画像データを得ることができる画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置の一態様は、連続的に撮像された複数フレームの画像データから位置合せ処理を行って１フレームの画像データを生成し、さらに該生成された１フレームの画像データに対して当該１フレームの画像データに応じた適応的な階調補正を行う画像処理装置であって、
複数フレームの画像データ間の動きベクトルを算出する動きベクトル演算部と、
上記動きベクトル演算部によって算出された上記動きベクトルに基づき位置補正して上記複数フレームの画像データの重ね合わせを行う画像重ね合わせ部と、
上記画像重ね合わせ部によって重ね合わせを行った画像データから、上記重ね合わせを行った画像データの全体の領域より小領域の矩形画像データを切り出す画像切り出し部と、
上記画像切り出し部によって切り出された矩形画像データに応じた階調補正パラメータを算出する階調補正パラメータ算出部と、
上記画像切り出し部によって切り出された上記矩形画像データに対して、上記階調補正パラメータ算出部によって算出された階調補正パラメータにより階調補正を行う階調補正部と、
を有し、
上記階調補正パラメータ算出部は、上記切り出された矩形画像データより広い範囲の、上記画像重ね合わせ部によって重ね合わせを行った画像データの部分領域または全体の領域における画像データの統計量を用いて上記階調補正パラメータを算出する。  
また、本発明の画像処理装置の別の態様は、撮像された画像データに対して当該画像データに応じた適応的な階調補正を行う画像処理装置であって、
連続的に撮像された複数フレームの画像データを位置合せして重ね合わせを行い、その重ね合わせた画像データより、その重ね合わせた画像データの全体の領域よりも小領域の１フレームの矩形画像データを生成する電子手振れ補正部と、
上記電子手振れ補正部によって生成された上記１フレームの矩形画像データの領域外を含む上記重ね合わせた画像データの部分領域または全体の領域における画像データの統計量を用いて、上記１フレームの矩形画像データに応じた階調補正パラメータを算出する階調補正パラメータ算出部と、
上記電子手振れ補正部によって生成された上記１フレームの矩形画像データに対して、上記階調補正パラメータ算出部によって算出された階調補正パラメータにより階調補正を行う階調補正部と、
を有する。  
また、本発明の画像処理プログラムの一態様は、
複数フレームの画像データ間の動きベクトルを算出するステップと、
上記算出された上記動きベクトルに基づき位置補正して上記複数フレームの画像データの重ね合わせを行うステップと、
上記重ね合わせを行った画像データから、上記重ね合わせを行った画像データの全体の領域より小領域の矩形画像データを切り出すステップと、
上記切り出された矩形画像データより広い範囲の、上記重ね合わせを行った画像データの部分領域または全体の領域における画像データの統計量を用いて、上記切り出された矩形画像データに応じた階調補正パラメータを算出するステップと、
上記切り出された上記矩形画像データに対して、上記算出された階調補正パラメータにより階調補正を行うステップと、
をコンピュータに発揮させる。  
これらの態様によれば、例えば、複数フレームの画像データを重ね合わせた後に矩形画像データに切り出される以前の重ね合わせされた画像データにおける上記矩形画像データ外の画像データも用いて階調補正パラメータを求めることにより、より実際のシーンに適した階調補正パラメータを用いて階調補正を行うことができるので、切り出された矩形画像データの境界付近での実際のシーンとの不整合をなくし、より高品質な画像データを得ることができる。
【発明の効果】
【０００６】
本発明によれば、画像データ境界付近での実際のシーンとの不整合を無くし、より高品質な画像データを得ることができる画像処理装置及び画像処理プログラムを提供することができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【０００８】
［第１実施形態］
図１は、本発明の第１実施形態に係る画像処理装置が適用されるデジタルスチルカメラやビデオカメラ等の撮像装置の構成を示す図である。この撮像装置は、メインコントローラ１１、撮像部１２、フレームメモリ１３、動きベクトル測定領域設定部１４、動きベクトル算出部１５、動きベクトル信頼度算出部１６、動きベクトル統計処理部１７、補正ベクトル算出部１８、フレーム加算部１９、切り出し部２０、階調補正パラメータ算出部２１、及び階調補正部２２を含む。本実施形態に係る画像処理装置は、例えばその内のメインコントローラ１１、フレームメモリ１３、動きベクトル測定領域設定部１４、動きベクトル算出部１５、動きベクトル信頼度算出部１６、動きベクトル統計処理部１７、補正ベクトル算出部１８、フレーム加算部１９、切り出し部２０、階調補正パラメータ算出部２１、及び階調補正部２２によって構成される。なお、図１中の各部間を結ぶ細線は制御信号を、矢印は動きベクトルや信頼度等のデータを、太矢印はそれ以外の画像データを、それぞれ表している。
【０００９】
上記メインコントローラ１１は、本画像処理装置１０を含む撮像装置全体の動作の制御を行うものであり、例えばＤＳＰ（デジタルシグナルプロセッサ）などのＣＰＵが用いられる。
【００１０】
上記フレームメモリ１３は、複数フレームの画像データを記憶する記憶容量を持ち、上記撮像部１２で連続的に撮像された複数フレームの画像データを全て格納する。
【００１１】
上記動きベクトル測定領域設定部１４、上記動きベクトル算出部１５、上記動きベクトル信頼度算出部１６、上記動きベクトル統計処理部１７、上記補正ベクトル算出部１８、上記フレーム加算部１９、及び上記切り出し部２０は、連続的に撮像された複数フレームの画像データを位置合せして重ね合わせを行い、その重ね合わせた画像データより、その重ね合わせた画像データの全体の領域よりも小領域の１フレームの矩形画像データを生成する電子手振れ補正部として機能する。
【００１２】
即ち、デジタルスチルカメラやビデオカメラ等の撮像装置においては、手振れによる像振れを抑制する方法として電子式手振れ補正がある。この電子式手振れ補正は、例えば特開２００４−３４３４８３号公報に開示されているように、高速に複数フレームの画像データを撮像し、それらフレーム間の位置ずれ量を、センサもしくは画像処理手法を用いて測定し、位置ずれ量を補償した上でフレーム積算することで手振れのない１フレームの画像データを生成する手法である。
【００１３】
この電子手振れ補正などでは、各々のフレーム間の画角は手振れなどの影響により異なるため、図２に示すように、フレーム加算されたフレーム加算後画像データ２３は矩形ではなくなる。そのため、一般的には、フレーム加算後画像データ２３をそれより小領域の矩形画像データ２４に切り出しを行い、該切り出された矩形画像データ２４に対して後の階調補正を含む現像処理がなされることになる。この切り出しにより切り捨てられた画像データ領域には、該現像処理がなされる矩形画像データ２４よりもより広範囲の画像データが潜んでいることになる。
【００１４】
そこで、本実施形態では、このような電子手振れ補正により得られる矩形画像データ２４に切り出される以前のフレーム加算後画像データ２３を用いて階調補正パラメータを求めることにより、より実際のシーンに適した階調補正パラメータを求めるようにしたものである。
【００１５】
電子手振れ補正部においては、まず、フレームメモリ１３に格納された複数フレームの画像データより、基準となるフレームの画像データと対象フレームの画像データとの間の動きを算出する。即ち、上記動きベクトル測定領域設定部１４では、メインコントローラ１１の制御に従って、フレームメモリ１３中の基準のフレームの画像データに対して、所定の領域を設定する。例えば、図３に示すように、画像データ２５中に動きベクトル測定領域２６を格子状に設定する。上記動きベクトル算出部１５では、メインコントローラ１１の制御に従って、フレームメモリ１３に格納された基準となるフレームの画像データと対象フレームの画像データと上記動きベクトル測定領域設定部１４で設定された動きベクトル測定領域２６のデータとを使って相関演算を用いて、基準となるフレームの画像データに対して対象フレームの画像データ中の相関の高い領域を算出し、それら相関の高い領域間での画像データの移動量を求めることで、動きベクトル２７を算出する。このように、上記動きベクトル測定領域設定部１４及び上記動きベクトル算出部１５は、複数フレームの画像データ間の動きベクトルを算出する動きベクトル演算部として機能する。
【００１６】
次に、上記動きベクトル信頼度算出部１６では、メインコントローラ１１の制御に従って、上記動きベクトル算出部１５で算出した動きベクトル２７の信頼性判定を行う。信頼性に関しては、動きベクトル２７を算出した動きベクトル測定領域２６における画像統計値から、例えば動きベクトル測定領域２６内にエッジ構造が含まれていたり、繰り返し構造が含まれていたりした場合には信頼性が高く、ランダムテクスチャや平坦な構造のみの場合には信頼性が低いといった判定を行う。上記動きベクトル統計処理部１７では、メインコントローラ１１の制御に従って、上記動きベクトル信頼度算出部１６によって図３に示すように信頼性が有ったと判定された動きベクトル測定領域２６の動きベクトル２７を用いて、動きベクトル２７のヒストグラムを算出する。上記補正ベクトル算出部１８では、メインコントローラ１１の制御に従って、上記動きベクトル統計処理部１７によって算出された上記動きベクトル２７のヒストグラムから最大頻度動きベクトルのデータをフレーム間の補正ベクトルとして算出する。上記フレーム加算部１９では、メインコントローラ１１の制御に従って、上記フレームメモリ１３中の基準フレームの画像データと対象フレームの画像データと上記補正ベクトル算出部１８によって算出された上記補正ベクトルデータとを用いてフレーム間の位置補正を行ってから、上記基準フレームの画像データと上記対象フレームの画像データとのフレーム加算を行うことで、両フレームの画像データの重ね合わせを行う。このフレーム加算によって重ね合わせを行った画像データは、例えば図４に示されるフレーム加算後画像データ２３として、上記フレームメモリ１３内に一旦記憶される。このように、上記動きベクトル信頼度算出部１６、上記動きベクトル統計処理部１７、上記補正ベクトル算出部１８、及び上記フレーム加算部１９は、動きベクトルに基づき位置補正して複数フレームの画像データの重ね合わせを行う画像重ね合わせ部として機能する。
【００１７】
次に、上記切り出し部２０では、メインコントローラ１１の制御に従って、上記フレーム加算後画像データ２３を上記フレームメモリ１３から読み出し、そのフレーム加算後画像データ２３の全体の領域から図２に示すような所定の矩形領域の矩形画像データ２４を切り出して、上記フレームメモリ１３内に再び格納する。このように、上記切り出し部２０は、重ね合わせを行った画像データから、その重ね合わせを行った画像データの全体の領域より小領域の矩形画像データを切り出す画像切り出し部として機能する。
【００１８】
上記階調補正部２２では、メインコントローラ１１の制御に従って、後述する階調補正パラメータ算出部２１において算出された階調補正パラメータに基づき、上記フレームメモリ１３内に格納された上記切り出し後の矩形画像データ２４に対して階調補正を行い、階調補正後の画像データを上記フレームメモリ１３内に格納する。このフレームメモリ１３内に格納された階調補正後の画像データは、特に図示はしないが、記憶媒体に格納され保存されたり、また、画像表示装置に送られ画像が閲覧できたりする。
【００１９】
上記階調補正パラメータ算出部２１では、メインコントローラ１１の制御に従って、切り出し前のフレーム加算されたフレーム加算後画像データ２３から画像解析を行って、切り出し後の矩形画像データ２４の階調補正を行うためのパラメータである階調補正パラメータを算出する。例えば、図４に示すような注目画素２８について階調補正パラメータを求める際には、フレーム加算後画像データ２３の部分領域である注目画素２８に対する近傍領域２９の画素値を上記フレーム加算後画像データ２３から取得し、上記フレーム加算後画像データ２３の部分領域における画像データの統計量として、該近傍領域２９の画素値のヒストグラムを作成する。すると図５（Ａ）に実線で示すようなヒストグラム３０が作成され、図５（Ｂ）に実線で示すようなこのヒストグラム３０が平滑化されるような階調変換特性３１を算出することにより、該注目画素２８のシーンを考慮した階調変換パラメータが求まる。具体的には、ヒストグラムが平滑化されるような階調変換パラメータは、図５（Ａ）に示すヒストグラム３０において、０から注目画素２８の画素値までのヒストグラム３０の累積値を計算すれば求まる。以上の処理を、切り出された矩形画像データ２４内の全ての注目画素について行うことにより、切り出し後の矩形画像データ２４の階調補正を行うための階調変換パラメータが算出できる。
【００２０】
ここでもし従来の方法により切り出し後の矩形画像データ２４のみ用いて階調変換パラメータを求めた場合には、例えば図４に示す注目画素２８に対する近傍領域２９が画像データ境界にまたがるため、画像データ境界外側の画素値をミラーリング等により外像して近傍領域２９のヒストグラムを求めることとなるため、図５（Ａ）に破線で示すようなヒストグラム３２となり、その結果求まる図５（Ｂ）に破線で示すような階調変換特性３２を用いて注目画素２８の階調変換を行うと、過大に明るく補正されてしまうことになる。
【００２１】
本実施形態のように、切り出し前のフレーム加算されたフレーム加算後画像データ２３を用いることで、切り出された矩形画像データ２４外の画素値も使用することができるため、より実際のシーンに適した階調変換パラメータを求めることが可能となる。
【００２２】
なお上記の説明では、階調変換パラメータを求める際に注目画素毎に局所的な近傍領域のヒストグラムを利用する方法を示したが、それに限る必要はなく、例えば、全注目画素に対してフレーム加算後画像データ２３の全体の領域のヒストグラムを計算して階調変換パラメータを求める方法でもかまわない。その場合にも、切り出し前のフレーム加算されたフレーム加算後画像データ２３を用いてヒストグラムを計算することにより、従来と比較して広い範囲のシーンの統計量を考慮した最適な階調変換パラメータを求めることが可能である。
【００２３】
以上のように、本第１実施形態によれば、電子手振れ処理を行った画像データである矩形画像データ２４に対して撮像されたシーンに応じた階調補正を行う際、従来と比較してより広範囲の画像データであるフレーム加算後画像データ２３の部分領域または全体の領域における画像データの統計量であるヒストグラムを用いて階調補正パラメータを求めることが可能となり、より実際のシーンに適した階調補正パラメータを用いて階調補正を行うことが可能となるので、切り出された矩形画像データ２４の境界付近での実際のシーンとの不整合をなくすことができる。そして、そのように矩形画像データ２４の境界付近での実際のシーンとの不整合をなくすことにより、例えば動画撮像時における連続的な画角変化に対して画像データの境界付近の急激な階調変化を防ぐことも可能であり、さらには、パノラマ合成等を行う場合においても、該階調補正を行った後の画像データを用いて滑らかに隣り合う画像データ同士の貼り合せを行うことも可能である。
【００２４】
［第２実施形態］
上記第１実施形態では、上記階調変換パラメータを求める際に、画像データの統計量としてヒストグラムを利用していたが、その代わりに、注目画素２８毎に局所的な近傍領域２９またはフレーム加算後画像データ２３の全体の領域の画素値の平均値を利用するようにしても良い。即ち、そのような画素値の平均値を算出し、該算出した平均値に応じて該注目画素２８の階調変換特性を決定する。例えば、図６に示すように、算出した平均値に応じて該平均値付近の画素のコントラストを上げるような階調変換特性、つまり、算出した平均値が階調補正後画素値の最大値の例えば１／２になるような階調変換を行う階調変換特性にすれば良い。
【００２５】
本第２実施形態においても、切り出し前のフレーム加算後画像データ２３を用いて画素値の平均値を計算することにより、従来と比較して広い範囲の画像データであるフレーム加算後画像データ２３の部分領域または全体の領域における画像データの統計量を考慮した最適な階調変換パラメータを求めることが可能となり、より実際のシーンに適した階調補正パラメータを用いて階調補正を行うことが可能となるので、切り出された矩形画像データ２４の境界付近での実際のシーンとの不整合をなくすことができる。そして、そのように矩形画像データ２４の境界付近での実際のシーンとの不整合をなくすことにより、例えば動画撮像時における連続的な画角変化に対して画像データの境界付近の急激な階調変化を防ぐことも可能であり、さらには、パノラマ合成等を行う場合においても、該階調補正を行った後の画像データを用いて滑らかに隣り合う画像データ同士の貼り合せを行うことも可能である。
【００２６】
以上、実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００２７】
例えば、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。
【００２８】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【００２９】
（１）  連続的に撮像された複数フレームの画像データから位置合せ処理を行って１フレームの画像データを生成し、さらに該生成された１フレームの画像データに対して当該１フレームの画像データに応じた適応的な階調補正を行う画像処理装置であって、
複数フレームの画像データ間の動きベクトルを算出する動きベクトル演算部と、
上記動きベクトル演算部によって算出された上記動きベクトルに基づき位置補正して上記複数フレームの画像データの重ね合わせを行う画像重ね合わせ部と、
上記画像重ね合わせ部によって重ね合わせを行った画像データから、上記重ね合わせを行った画像データの全体の領域より小領域の矩形画像データを切り出す画像切り出し部と、
上記画像切り出し部によって切り出された矩形画像データに応じた階調補正パラメータを算出する階調補正パラメータ算出部と、
上記画像切り出し部によって切り出された上記矩形画像データに対して、上記階調補正パラメータ算出部によって算出された階調補正パラメータにより階調補正を行う階調補正部と、
を有し、
上記階調補正パラメータ算出部は、上記切り出された矩形画像データより広い範囲の、上記画像重ね合わせ部によって重ね合わせを行った画像データの部分領域または全体の領域における画像データの統計量を用いて上記階調補正パラメータを算出することを特徴とする画像処理装置。
【００３０】
（対応する実施形態）
この（１）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。それらの実施形態において、一例として、動きベクトル測定領域設定部１４、動きベクトル算出部１５が上記動きベクトル演算部に、動きベクトル信頼度算出部１６、動きベクトル統計処理部１７、補正ベクトル算出部１８、フレーム加算部１９が上記画像重ね合わせ部に、切り出し部２０が上記画像切り出し部に、階調補正パラメータ算出部２１が上記階調補正パラメータ算出部に、階調補正部２２が上記階調補正部に、フレーム加算後画像データ２３が上記重ね合わせを行った画像データに、矩形画像データ２４が上記切り出された矩形画像データに、それぞれ対応する。
【００３１】
（作用効果）
この（１）に記載の画像処理装置は、例えば複数フレームの画像データを重ね合わせた後に矩形画像データに切り出される以前の重ね合わせされた画像データにおける上記矩形画像データ外の画像データも用いて階調補正パラメータを求める。  
従って、この（１）に記載の画像処理装置によれば、より実際のシーンに適した階調補正パラメータを用いて階調補正を行うことができるので、切り出された矩形画像データの境界付近での実際のシーンとの不整合をなくし、より高品質な画像データを得ることができる。
【００３２】
（２）  上記階調補正パラメータ算出部は、上記画像重ね合わせ部によって重ね合わせを行った画像データの部分領域または全体の領域における画素値の平均値に基づき階調補正パラメータを算出することを特徴とする（１）に記載の画像処理装置。
【００３３】
（対応する実施形態）
この（２）に記載の画像処理装置に関する実施形態は、第２実施形態が対応する。
【００３４】
（作用効果）
この（２）に記載の画像処理装置は、切り出し前の重ね合わせされた画像データを用いて画素値の平均値を計算することにより、従来と比較して広い範囲の画像データである重ね合わせされた画像データの部分領域または全体の領域における画像データの統計量を考慮した最適な階調変換パラメータを求めることが可能となる。  
従って、この（２）に記載の画像処理装置によれば、より実際のシーンに適した階調補正パラメータを用いて階調補正を行うことが可能となるので、切り出された矩形画像データの境界付近での実際のシーンとの不整合をなくすことができる。そして、そのように矩形画像データの境界付近での実際のシーンとの不整合をなくすことにより、例えば動画撮像時における連続的な画角変化に対して画像データの境界付近の急激な階調変化を防ぐことも可能であり、さらには、パノラマ合成等を行う場合においても、該階調補正を行った後の画像データを用いて滑らかに隣り合う画像データ同士の貼り合せを行うことも可能である。
【００３５】
（３）  上記階調補正パラメータ算出部は、上記画像重ね合わせ部によって重ね合わせを行った画像データの部分領域または全体の領域における画素値のヒストグラムに基づき階調補正パラメータを算出することを特徴とする（１）に記載の画像処理装置。
【００３６】
（対応する実施形態）
この（３）に記載の画像処理装置に関する実施形態は、第１実施形態が対応する。
【００３７】
（作用効果）
この（３）に記載の画像処理装置は、切り出し前の重ね合わせされた画像データを用いて画素値のヒストグラムを計算することにより、従来と比較して広い範囲の画像データである重ね合わせされた画像データの部分領域または全体の領域における画像データの統計量を考慮した最適な階調変換パラメータを求めることが可能となる。  
従って、この（３）に記載の画像処理装置によれば、より実際のシーンに適した階調補正パラメータを用いて階調補正を行うことが可能となるので、切り出された矩形画像データの境界付近での実際のシーンとの不整合をなくすことができる。そして、そのように矩形画像データの境界付近での実際のシーンとの不整合をなくすことにより、例えば動画撮像時における連続的な画角変化に対して画像データの境界付近の急激な階調変化を防ぐことも可能であり、さらには、パノラマ合成等を行う場合においても、該階調補正を行った後の画像データを用いて滑らかに隣り合う画像データ同士の貼り合せを行うことも可能である。
【００３８】
（４）  撮像された画像データに対して当該画像データに応じた適応的な階調補正を行う画像処理装置であって、
連続的に撮像された複数フレームの画像データを位置合せして重ね合わせを行い、その重ね合わせた画像データより、その重ね合わせた画像データの全体の領域よりも小領域の１フレームの矩形画像データを生成する電子手振れ補正部と、
上記電子手振れ補正部によって生成された上記１フレームの矩形画像データの領域外を含む上記重ね合わせた画像データの部分領域または全体の領域における画像データの統計量を用いて、上記１フレームの矩形画像データに応じた階調補正パラメータを算出する階調補正パラメータ算出部と、
上記電子手振れ補正部によって生成された上記１フレームの矩形画像データに対して、上記階調補正パラメータ算出部によって算出された階調補正パラメータにより階調補正を行う階調補正部と、
を有することを特徴とする画像処理装置。
【００３９】
（対応する実施形態）
この（４）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。それらの実施形態において、一例として、動きベクトル測定領域設定部１４、動きベクトル算出部１５、動きベクトル信頼度算出部１６、動きベクトル統計処理部１７、補正ベクトル算出部１８、フレーム加算部１９、切り出し部２０が上記電子手振れ補正部に、階調補正パラメータ算出部２１が上記階調補正パラメータ算出部に、階調補正部２２が上記階調補正部に、フレーム加算後画像データ２３が上記重ね合わせた画像データに、矩形画像データ２４が上記１フレームの矩形画像データに、それぞれ対応する。
【００４０】
（作用効果）
この（４）に記載の画像処理装置は、例えば電子手振れ補正によって複数フレームの画像データを重ね合わせた後に１フレームの矩形画像データに切り出される以前の重ね合わせされた画像データにおける上記矩形画像データ外の画像データも用いて階調補正パラメータを求める。  
従って、この（４）に記載の画像処理装置によれば、より実際のシーンに適した階調補正パラメータを用いて階調補正を行うことができるので、切り出された１フレームの矩形画像データの境界付近での実際のシーンとの不整合をなくし、より高品質な画像データを得ることができる。
【００４１】
（５）  複数フレームの画像データ間の動きベクトルを算出するステップと、
上記算出された上記動きベクトルに基づき位置補正して上記複数フレームの画像データの重ね合わせを行うステップと、
上記重ね合わせを行った画像データから、上記重ね合わせを行った画像データの全体の領域より小領域の矩形画像データを切り出すステップと、
上記切り出された矩形画像データより広い範囲の、上記重ね合わせを行った画像データの部分領域または全体の領域における画像データの統計量を用いて、上記切り出された矩形画像データに応じた階調補正パラメータを算出するステップと、
上記切り出された上記矩形画像データに対して、上記算出された階調補正パラメータにより階調補正を行うステップと、
をコンピュータに発揮させることを特徴とする画像処理プログラム。
【００４２】
（対応する実施形態）
この（５）に記載の画像処理プログラムに関する実施形態は、第１及び２実施形態が対応する。
【００４３】
（作用効果）
この（５）に記載の画像処理プログラムは、コンピュータに、例えば複数フレームの画像データを重ね合わせた後に矩形画像データに切り出される以前の重ね合わせされた画像データにおける上記矩形画像データ外の画像データも用いて階調補正パラメータを求めさせる。  
従って、この（５）に記載の画像処理プログラムによれば、コンピュータに、より実際のシーンに適した階調補正パラメータを用いて階調補正を行わせることができるので、切り出された矩形画像データの境界付近での実際のシーンとの不整合をなくし、より高品質な画像データを得ることができる。
【図面の簡単な説明】
【００４４】
【図１】図１は、本発明の第１実施形態に係る画像処理装置の適用された撮像装置の全体構成を示す図である。
【図２】図２は、電子手振れ補正において位置合せして重ね合わされたフレーム加算後画像データと、該フレーム加算後画像データに対して切り出される矩形画像データを説明するための図である。
【図３】図３は、図１における動きベクトル領域設定部、動きベクトル算出部、動きベクトル信頼度算出部により算出された結果を表す図である。
【図４】図４は、図１における階調補正パラメータ算出部においてある注目画素に対して階調補正パラメータを求めるために使用する近傍領域を説明するための図である。
【図５】図５（Ａ）は、図４における近傍領域の画素値ヒストグラムの例を示す図であり、図５（Ｂ）は、図５（Ａ）のヒストグラムを平滑化するために使用される階調変換特性の例を示す図である。
【図６】図６は、本発明の第２実施形態における近傍領域の平均値に応じた階調変換特性の例を示す図である。
【図７】図７は、従来の画像データに応じた階調補正において問題となる撮像シーンと撮像画角との関係を示す図である。
【符号の説明】
【００４５】
１…撮像シーン、  ２…撮像画角、  ３…高輝度被写体、  １０…画像処理装置、  １１…メインコントローラ、  １２…撮像部、  １３…フレームメモリ、  １４…動きベクトル測定領域設定部、  １５…動きベクトル算出部、  １６…動きベクトル信頼度算出、  １７…動きベクトル統計処理部、  １８…補正ベクトル算出部、  １９…フレーム加算部、  ２０…切り出し部、  ２１…階調補正パラメータ算出部、  ２２…階調補正部、  ２３…フレーム加算後画像データ、  ２４…矩形画像データ、  ２５…画像データ、  ２６…動きベクトル測定領域、  ２７…動きベクトル、  ２８…注目画素、  ２９…近傍領域、  ３０，３２…ヒストグラム、  ３１，３２…階調変換特性。
【図１】
2010081090.tif 000003
【図２】
2010081090.tif 000004
【図３】
2010081090.tif 000005
【図４】
2010081090.tif 000006
【図５】
2010081090.tif 000007
【図６】
2010081090.tif 000008
【図７】
2010081090.tif 000009