(57)【要約】【課題】  露出条件の異なる画像データを合成するに際して、出力階調特性に合わせた合成処理を実施する。【解決手段】  本発明の画像処理装置は、画像入力部、比率決定部、および画像処理部を備える。画像入力部は、露出条件を変えて撮影された複数の画像データを取り込む。比率決定部は、画像出力先の出力階調特性のデータに基づいて、複数の画像データの合成比率を決定する。画像処理部は、複数の画像データを合成比率に従って合成し、合成画像を生成する。上記構成において、比率決定部は、出力階調特性のデータにおいて暗部階調レンジが小さいほど、明るい露出条件で撮影された画像データの合成比率を上げることを特徴とする。【選択図】      図２
2007158693.tif 000002
【特許請求の範囲】
【請求項１】
露出条件を変えて撮影された複数の画像データを取り込む画像入力部と、
画像出力先の出力階調特性のデータに基づいて、前記複数の画像データの合成比率を決定する比率決定部と、
前記複数の画像データを前記合成比率に従って合成し、合成画像を生成する画像処理部とを備え、
前記比率決定部は、前記出力階調特性のデータにおいて暗部階調レンジが小さいほど、前記複数の画像データの内で明るい露出条件で撮影された画像データの合成比率を上げる
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記比率決定部は、取り込まれた前記複数の画像データの露出条件に対応して前記出力階調特性を区分し、各区分の出力階調レンジの大小に応じて、対応する画像データの合成比率を決定する
ことを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記画像処理部は、前記合成画像をモニタ表示して前記合成比率の変更を受け付ける操作部を備える
ことを特徴とする画像処理装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の画像処理装置において、
前記画像入力部は、前記複数の画像データとして、同一被写体について露出条件を変えて撮影した動画像を取り込み、
前記画像処理部は、前記複数の動画像間の対応フレームを、前記合成比率に従って合成する
ことを特徴とする画像処理装置。
【請求項５】
コンピュータを、請求項１ないし請求項４のいずれか１項に記載の前記画像入力部、前記比率決定部、および前記画像処理部として機能させるための画像処理プログラム。
【請求項６】
請求項１ないし請求項４のいずれか１項に記載の画像処理装置と、
露出条件の異なる複数の画像データを撮影する機能を有する撮像部とを備え、
前記画像処理装置は、前記撮像部で生成された前記複数の画像データを取り込み、合成画像を生成する
ことを特徴とする電子カメラ。
【請求項７】
請求項１ないし請求項４のいずれか１項に記載の画像処理装置と、
前記画像処理装置で生成される合成画像を出力する画像出力部と
を備えたことを特徴とする画像出力装置。
【請求項８】
露出条件を変えて撮影された複数の画像データを取り込むステップと、
画像出力装置の出力階調特性のデータに基づいて、前記複数の画像データの合成比率を決定するステップと、
前記複数の画像データを前記合成比率に従って合成し、合成画像を生成するステップとを備え、
合成比率を決定するステップでは、前記出力階調特性のデータにおいて暗部階調レンジが小さいほど、前記複数の画像データの内で明るい露出条件で撮影された画像データの合成比率を上げる
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、露出条件の異なる画像データを合成する技術に関する。
【背景技術】
【０００２】
下記の特許文献１には、露出条件の異なる状態で撮像された画像データを合成する技術が開示されている。
また、画像データを画像出力装置（表示装置や印刷装置など）で出力するに際して、その出力階調特性（例えばγ値）に合わせて画像データを階調変換（例えばγ変換）する技術も従来公知である。
【特許文献１】特開平８−２２３４９１号公報（段落０００５など）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した特許文献１には、合成画像を出力階調特性に合わせて適切に処理する技術について記載がない。
この種の合成画像は、通常の撮像画像とは異なり、階調特性が人為的に操作されている。そのため、一般的な撮像画像用の階調変換を、そのまま合成画像に適用しても適切な階調変換が実施できるとは限らない。
【０００４】
そこで、発明は、露出条件の異なる画像データを合成するに際して、出力階調特性に合わせた合成画像を得る技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
《１》  本発明の画像処理装置は、画像入力部、比率決定部、および画像処理部を備える。
画像入力部は、露出条件を変えて撮影された複数の画像データを取り込む。
比率決定部は、画像出力先の出力階調特性のデータに基づいて、複数の画像データの合成比率を決定する。
【０００６】
画像処理部は、複数の画像データを合成比率に従って合成し、合成画像を生成する。
上記構成において、比率決定部は、出力階調特性のデータにおいて暗部階調レンジが小さいほど、複数の画像データの内で明るい露出条件で撮影された画像データの合成比率を上げることを特徴とする。
《２》  なお好ましくは、比率決定部は、取り込まれた複数の画像データの露出条件に対応して出力階調特性を区分し、各区分の出力階調レンジの大小に応じて、対応する画像データの合成比率を決定する。
《３》  また好ましくは、画像処理部は、合成画像をモニタ表示して合成比率の変更を受け付ける操作部を備える。
《４》  なお好ましくは、画像入力部は、複数の画像データとして、同一被写体について露出条件を変えて撮影した動画像を取り込む。一方、画像処理部は、複数の動画像間の対応フレームを合成比率に従って合成する。
《５》  本発明の画像処理プログラムは、コンピュータを、上記《１》ないし《４》のいずれか１項に記載の画像入力部、比率決定部、および画像処理部として機能させることを特徴とする。
《６》  本発明の電子カメラは、上記《１》ないし《４》のいずれか１項に記載の画像処理装置と、露出条件の異なる複数の画像データを撮影する機能を有する撮像部とを備える。この画像処理装置は、撮像部で生成された複数の画像データを取り込み、合成画像を生成することを特徴とする。
《７》  本発明の画像出力装置は、上記《１》ないし《４》のいずれか１項に記載の画像処理装置と、画像処理装置で生成される合成画像を出力する画像出力部とを備えたことを特徴とする。
《８》  本発明の画像処理方法は、次のステップを実行する。
画像入力ステップ：  露出条件を変えて撮影された複数の画像データを取り込む。
比率決定ステップ：  画像出力装置の出力階調特性のデータに基づいて、複数の画像データの合成比率を決定する。
画像処理ステップ：  複数の画像データを合成比率に従って合成し、合成画像を生成する。
【０００７】
特に、上記の比率決定ステップでは、出力階調特性のデータにおいて暗部階調レンジが小さいほど、複数の画像データの内で明るい露出条件で撮影された画像データの合成比率を上げることを特徴とする。
【発明の効果】
【０００８】
本発明では、出力階調特性のデータにおいて暗部階調レンジが小さいほど、明るい露出条件で撮影された画像データの合成比率を上げる。
通常、明るい露出条件で撮影した画像データは、暗部の階調潰れが少なく、暗部階調の情報が豊かである。この画像データの合成比率を上げることで、暗部階調の豊かな合成画像を得ることができる。この合成画像を、暗部階調レンジの小さい画像出力装置に出力することで、暗部側の出力階調不足を補うことが可能になり、良好な画像出力を得ることが可能になる。
【発明を実施するための最良の形態】
【０００９】
［実施形態の構成説明］
図１は、画像処理システム１１を示すブロック図である。
この画像処理システム１１は、撮像部１２、画像処理装置１３、および画像出力部１４を備えて概略構成される。ここで、画像出力部１４は、画像の出力先である表示モニタやプリンタなどに該当する。
【００１０】
この内、画像処理装置１３は、次の構成要件を備える。
（１）画像入力部２０・・撮像部１２、記録媒体、または通信媒体などを介して、露出条件を変えて撮影された複数の画像データを取り込む。
（２）比率決定部２１・・画像出力部１４の出力階調特性を情報取得し、その出力階調特性に基づいて、複数の画像データの合成比率を決定する。
（３）画像処理部２２・・複数の画像データを合成比率に従って合成し、合成画像を生成する。なお、画像処理部２２は、ユーザーから合成比率（後述）の変更操作を受け付ける操作部を備える。
【００１１】
なお、この画像処理装置１３については、画像処理プログラムをコンピュータで実行することによって、ソフトウェア的に実現してもよい。また、画像処理装置１３を、ハードウェア的に実現してもよい。
また、撮像部１２と画像処理装置１３とを一体に構成することにより、電子カメラ３１を構成してもよい。さらに、画像出力部１４と画像処理装置１３とを一体に構成することにより、画像出力装置３２を構成してもよい。
［実施形態の動作説明］
図２は、画像処理システム１１の動作を説明する流れ図である。
【００１２】
以下、図２に示すステップ番号にそって動作説明を行う。
ステップＳ１：  撮像部１２は、測光動作を実施する。撮像部１２は、この測光結果に基づいて公知の露出計算を行い、適正露出条件を決定する。撮像部１２は、この適正露出条件をＮ回（Ｎ≧２）にわたって露出過多側および／または露出不足側へずらすことにより、Ｎ個の異なる露出条件を決定する。なお、Ｎの値は、ユーザー設定によって増減することが可能である。
ステップＳ２：  撮像部１２は、ステップＳ１で決定した露出条件に従って撮影を行い、Ｎ個の画像データを生成する。
【００１３】
なお、撮像部１２が単一の撮像手段からなる場合、撮像部１２は、露出条件を変えながらＮ回の連写撮影を行う。
また、特許文献１のように、像分離したＮ個の被写体像を、露出条件を変えたＮ個の撮像手段で一度に撮像してもよい。このような撮像機構を使用することで、Ｎ個の動画像データを生成することもできる。
【００１４】
このように生成されたＮ個の画像データは、画像入力部２０に取り込まれる。
ステップＳ３：  比率決定部２１は、画像出力部１４の出力階調特性に関するデータ（例えばデータテーブル）を情報取得する。図３は、この出力階調特性の一例を示す図である。
例えば、画像出力部１４が表示モニタの場合、この出力階調特性は、画像の入力階調が表示画面上の輝度階調（出力階調）にどのように出力変換されるかを示す特性である。
【００１５】
また例えば、画像出力部１４がプリンタの場合、この出力階調特性は、画像の入力階調が印刷出力上の濃淡階調（出力階調）にどのように出力変換されるかを示す特性である。
この種の出力階調特性のデータは、メーカー側において事前に作成し、画像出力部１４内の不揮発メモリに保持させておいてもよい。また、ユーザーが、キャリブレーション機器を操作して画像出力部１４の出力階調特性を実測し、独自の出力階調特性のデータを作成して比率決定部２１などに登録してもよい。
【００１６】
なお、この出力階調特性の作成に当たっては、人間の視覚特性を考慮して出力階調軸を適度に対数圧縮するなどの処理を施してもよい。
ステップＳ４：  比率決定部２１は、図３に示すように、出力階調特性の入力階調側をＮ個の露出条件に応じて区分する。この区分を簡易に実施する場合は、入力階調軸をＮ個に等分すればよい。また例えば、最終結果（合成画像）の画質評価を実験的に繰り返すことで、Ｎ個の露出条件に適した区分を予め設計しておいてもよい。
【００１７】
また例えば、下記の手順に従って、入力階調を区分してもよい。
（１）Ｎ個の画像データの付随情報（EXIF情報など）から、露出条件を示す露光量やＥＶ値をそれぞれ読み出す。
（２）Ｎ個の露光量やＥＶ値からなる数列のデータ間隔に従って、入力階調軸上の配置位置（図３に示すＡ，Ｂ，Ｃ）を定める。
（３）これら配置位置Ａ，Ｂ，Ｃの間を区切ることで、入力階調側をＮ個に区分する。
【００１８】
続いて、比率決定部２１は、図３に示すように、区分ごとに出力階調レンジＭ１，Ｍ２，Ｍ３を求める。
ステップＳ５：  比率決定部２１は、これら出力階調レンジＭ１，Ｍ２，Ｍ３に合わせて、各区分に対応する画像データの合成比率を決定する。
この合成比率の一般ルールとしては、暗部側の出力階調レンジが小さいほど、明るい露出条件で撮影された画像データの合成比率を上げるようにすればよい。
【００１９】
例えば、図４に示すように、これら出力階調レンジＭ１，Ｍ２，Ｍ３の比率に比例するように、各区分に対応する画像データの合成比率を決定してもよい。
ステップＳ６：  画像処理部２２は、合成比率に従って、Ｎ個の画像データを画素単位に加重加算し、合成画像を生成する。なお、単純に加重加算するだけではなく、非線形な処理（上限や下限のリミッタ処理など）を組み合わせることで、ノイズ除去や飽和防止を合わせて実施してもよい。
【００２０】
なお、動画像データの場合には、撮像タイミングの略一致する対応フレームごとに上記合成処理を実施すればよい。
ステップＳ７：  画像出力部１４は、ステップＳ６で生成された合成画像を出力（表示出力や印刷出力など）する。
ステップＳ８：  ユーザーは、画像出力部１４の画像出力を見ながら、画像処理部２２の操作部を操作して、合成比率を好みで調整する。
【００２１】
このユーザー操作は、Ｎ個の画像データごとに合成比率を個別変更する操作でもよい。
また、暗部階調の強調度合いをユーザーが調整入力し、この調整入力に合わせてＮ個の画像データの合成比率を増減変化させてもよい。
なお、本実施形態では、合成比率の元となる出力階調レンジＭ１，Ｍ２，Ｍ３は変更せず、合成比率の調整係数（図４に示すα，β，γなど）や正規化係数を変更することで合成比率を変更する。
【００２２】
このような合成比率のユーザー操作を受け付けると、画像処理装置１３はステップＳ６に動作を戻す。この動作により、対話的な画像調整が実現し、ユーザー好みの合成画像を的確に生成することが可能になる。
一方、合成比率の操作が無い場合、画像処理装置１３はステップＳ９に動作を移行する。
ステップＳ９：  ユーザーは、所望の合成画像が得られた場合、画像処理部２２の操作部を操作して、画像処理の終了指示を行う。
【００２３】
この終了指示がない場合、画像処理部２２はステップＳ８に動作を戻し、対話的な画像調整を継続する。
一方、この終了指示を受け付けた場合、画像処理部２２は、最終的に生成された合成画像を保存記録した後、動作を終了する。
なお、比率決定部２１は、この最終決定された時点の調整係数α、β，γをデータ保存しておき、次回の合成比率決定（ステップＳ５）に使用することが好ましい。この動作により、ユーザー好みを反映した合成比率から次回の画像合成を出発することが可能になる。
［実施形態の効果など］
（１）本実施形態では、出力階調特性の暗部階調レンジが小さいほど、明るい露出条件で撮影された画像データの合成比率を上げる。この動作により、暗部側の出力階調が不足する出力環境に柔軟に対応して、暗部階調の豊かな合成画像が生成される。その結果、暗部側の出力階調の不足を補うことが可能になり、良好な表示結果や印刷結果を得ることが可能になる。
（２）また、本実施形態では、Ｎ個の画像データの露出条件に対応して出力階調特性を区分し、各区分の出力階調レンジの大小に応じて、画像データの合成比率を決定する。この動作により、合成する画像データの個数や露出条件が様々に変化しても、それに合わせて柔軟に合成比率を決定することができる。
（３）さらに、本実施形態では、合成比率のユーザー調整も受け付ける。したがって、合成比率にユーザーの好みを適切に反映させることができる。
（４）また、本実施形態では、露出条件の異なる動画像データを合成することも可能になる。
（５）さらに、本実施形態では、画像処理装置１３を画像処理プログラムによりソフトウェア的に実現することも可能である。この場合、露出条件の異なる画像データの合成処理をコンピュータ上で事後的に実施することが可能になる。
（６）また、本実施形態では、撮像部１２と画像処理装置１３とを一体化して電子カメラ３１を構成してもよい。この場合、ユーザーによる合成比率の調整結果を、次回の露出条件のずらし具合に反映させることが可能になる。この動作により、ユーザーの好みを撮影時点から根本的に反映した合成画像を生成することが可能になる。
（７）さらに、本実施形態では、画像処理装置１３と画像出力部１４とを一体化して、画像出力装置３２を構成してもよい。
《実施形態の補足事項》
なお、上述した実施形態では、露出条件に応じて画像合成を行う場合について説明した。この動作に加えて、撮影時のホワイトバランス調整（色温度推定値）を画像データと一緒に記憶しておき、事後的にホワイトバランス調整を変更してもよい。この動作によって、より高画質な画像出力を得ることができる。
【００２４】
また、上述した実施形態では、画像データの合成演算を実施することで合成画像を生成している。しかしながら、実施形態はこれに限定されるものではない。例えば、ＲＡＷファイルの画像合成では、Ｎ個分のＲＡＷ画像のオリジナルデータに対して、合成比率を画像処理情報として付随記録してもよい。このような仮想的な合成処理により、ＲＡＷ画像のオリジナルデータを変更することなく、ＲＡＷ画像の画像合成を実現することができる。
【００２５】
なお、上述した実施形態では、Ｎ＝３の場合について具体的に説明した。しかしながら、実施形態はこれに限定されるものではない。一般的には、合成する画像データは２個以上であればよい。
また、上述した実施形態では、合成段階において合成比率を決定することで、出力階調特性に合わせた階調変換を実施している。しかしながら、実施形態は合成段階のみの階調変換に限定されるものではない。このような合成段階の動作に加えて、合成前や合成後の画像に階調変換を実施してもよい。
【００２６】
なお、上述した実施形態では、図３に示す出力階調特性について説明した。しかしながら、図３の出力階調特性に限定されるものではない。本実施形態は、Ｓ字カーブ、硬調カーブ、軟調カーブその他の様々な出力階調特性に対応して、適切な合成比率を決定することが可能である。
また、上述した実施形態では、画像出力装置の実際の出力階調特性を使用する。その結果、現実の画像出力装置に適合した画像合成結果を迅速に得ることができる。しかしながら、実施形態はこれに限定されるものではない。例えば、画像出力先の出力階調の癖などから想定される出力階調特性（それに対応可能なキーワードでも可、例えば暗部潰れやすいなど）を与えることも可能である。また、所望の画像合成結果が得られるように、画像出力先の出力階調特性を仮に与えたり、その出力階調特性を可変しながら試行錯誤することも可能である。
【産業上の利用可能性】
【００２７】
以上説明したように、本発明は、露出条件の異なる画像データの合成処理などに利用可能な技術である。
【図面の簡単な説明】
【００２８】
【図１】画像処理システム１１を示すブロック図である。
【図２】画像処理システム１１の動作を説明する流れ図である。
【図３】この出力階調特性の一例を示す図である。
【図４】画像データの合成処理の一例を示す図である。
【符号の説明】
【００２９】
１１…画像処理システム，１２…撮像部，１３…画像処理装置，１４…画像出力部，２０…画像入力部，２１…比率決定部，２２…画像処理部，３１…電子カメラ，３２…画像出力装置
【図１】
2007158693.tif 000003
【図２】
2007158693.tif 000004
【図３】
2007158693.tif 000005
【図４】
2007158693.tif 000006