(57)【要約】【課題】微妙な動きも含めて被写体が動いた場合に対してもより高画質の画像を提供することが可能である。【解決手段】画像データに基づき画像を記録または表示する画像処理方法において、複数の異なる撮影条件で撮影された同一シーンの画像データから特徴点を抽出し、画像間での特徴点の位置ずれを補正し、特徴点の位置ずれを補正した上で、画像を合成する。【選択図】図７
2005151495.tif 000002
【特許請求の範囲】
【請求項１】
画像データに基づき画像を記録または表示する画像処理方法において、
複数の異なる撮影条件で撮影された同一シーンの画像データから特徴点を抽出し、
前記画像間での特徴点の位置ずれを補正し、
前記特徴点の位置ずれを補正した上で、前記画像を合成することを特徴とする画像処理方法。
【請求項２】
前記画像間の特徴点の位置ずれ情報を利用して、画素中間点の補間を行い、高解像度の画像を合成することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
画像データに基づき画像を記録または表示する画像処理方法において、
複数の異なる撮影条件で撮影された同一シーンの画像データから輝度飽和を生じている領域を除外し、
前記画像データから特徴点を基準とした各対応領域における各画像間の輝度相当比を算出し、
前記輝度飽和を生じている部分については輝度相当比が一定となるようなつぶれ修正を行うことを特徴とする画像処理方法。
【請求項４】
前記輝度相当比にばらつきがある場合、その代表値を適用して、各場所の輝度相当比がほぼ正確に一定となるように各画像を補正することを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記撮影条件として、シャッタースピードまたは絞りで露出条件を変化させた場合において、画像のＲＧＢ輝度相当比を連動させ、ＲＧＢ平均、重み付平均、Ｇの輝度比の少なくとも１つをＲＧＢ全体に適用して画像合成することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理方法。
【請求項６】
撮影条件として、光源の分光特性を変化させた場合において、各色成分ごとの輝度相当比を独立に適用して画像合成することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理方法。
【請求項７】
３枚以上の画像を撮影し、その中から２枚以上の適切な画像データを選択し、選択された画像から１枚の画像を合成することを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理方法。
【請求項８】
撮影装置が入射光量に対し、ほぼ線形な応答を示す光電変換デバイスを有している装置であって、前記撮影装置を使用して撮影することを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、写真原画やデジタルカメラ等からの画像データに基づき画像を記録または表示する画像処理方法に関する。
【背景技術】
【０００２】
従来、写真原画やデジタルカメラ等からの画像データに基づき記録材料に画像を記録する場合に、記録する画像の品質を上げるために種々の画像処理が行われている。例えば、同一シーンにおいて撮影された複数枚の異なる露光量の画像データから１枚の画像を合成する際に、黒つぶれ及び白つぶれのない画像データ領域における各画素の輝度情報比の平均値に基づいて輝度レベルを合わせる画像処理がある（例えば、特許文献１）。
【０００３】
また、蛍光灯下又は太陽光において被写体を撮像することにより得られる第１の画像信号及びカメラのフラッシュを発光させて該被写体を撮影することにより得られる第２の画像信号からそれぞれ正規化処理の後、小さいほうの画像信号を選択して第３の画像信号を生成する画像処理がある（例えば、特許文献２）。
【特許文献１】特許第３４２０３０３号公報
【特許文献１】特許第３４２９６４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、個人を証明したり認知する目的で撮影された顔写真が従来から広く用いられ、例えば各種申請書類作成や、従業員証、学生証作成の目的で顔写真を簡単に撮影するシステム、またポートレート等の写真を撮影するシステムのように人物被写体などの場合、人物そのもの及び衣服が、例え短時間であっても微妙に動く場合が考えられ、その場合従来法では手ぶれ写真のようなかえって画質の悪い画像を生成してしまう可能性が高い。
【０００５】
この発明は、かかる点に鑑みてなされたもので、微妙な動きも含めて被写体が動いた場合に対してもより高画質の画像を提供することが可能な画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
前記課題を解決し、かつ目的を達成するために、この発明は、以下のように構成した。
【０００７】
請求項１に記載の発明は、画像データに基づき画像を記録または表示する画像処理方法において、
複数の異なる撮影条件で撮影された同一シーンの画像データから特徴点を抽出し、
前記画像間での特徴点の位置ずれを補正し、
前記特徴点の位置ずれを補正した上で、前記画像を合成することを特徴とする画像処理方法である。
【０００８】
請求項２に記載の発明は、前記画像間の特徴点の位置ずれ情報を利用して、画素中間点の補間を行い、高解像度の画像を合成することを特徴とする請求項１に記載の画像処理方法である。
【０００９】
請求項３に記載の発明は、画像データに基づき画像を記録または表示する画像処理方法において、
複数の異なる撮影条件で撮影された同一シーンの画像データから輝度飽和を生じている領域を除外し、
前記画像データから特徴点を基準とした各対応領域における各画像間の輝度相当比を算出し、
前記輝度飽和を生じている部分については輝度相当比が一定となるようなつぶれ修正を行うことを特徴とする画像処理方法である。
【００１０】
請求項４に記載の発明は、前記輝度相当比にばらつきがある場合、その代表値を適用して、各場所の輝度相当比がほぼ正確に一定となるように各画像を補正することを特徴とする請求項３に記載の画像処理方法である。
【００１１】
請求項５に記載の発明は、前記撮影条件として、シャッタースピードまたは絞りで露出条件を変化させた場合において、画像のＲＧＢ輝度相当比を連動させ、ＲＧＢ平均、重み付平均、Ｇの輝度比の少なくとも１つをＲＧＢ全体に適用して画像合成することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理方法である。
【００１２】
請求項６に記載の発明は、撮影条件として、光源の分光特性を変化させた場合において、各色成分ごとの輝度相当比を独立に適用して画像合成することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理方法である。
【００１３】
請求項７に記載の発明は、３枚以上の画像を撮影し、その中から２枚以上の適切な画像データを選択し、選択された画像から１枚の画像を合成することを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理方法である。
【００１４】
請求項８に記載の発明は、撮影装置が入射光量に対し、ほぼ線形な応答を示す光電変換デバイスを有している装置であって、前記撮影装置を使用して撮影することを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理方法である。
【発明の効果】
【００１５】
前記構成により、この発明は、以下のような効果を有する。
【００１６】
請求項１に記載の発明では、複数の異なる撮影条件で撮影された同一シーンの画像間での特徴点の位置ずれを補正し、特徴点の位置ずれを補正した上で、画像を合成することで、微妙な動きも含めて被写体が動いた場合に対してもより高画質の画像を得ることができる。
【００１７】
請求項２に記載の発明では、画像間の特徴点の位置ずれ情報を利用して、画素中間点の補間を行い、高解像度の画像を合成することで、より高解像度化することができる。
【００１８】
請求項３に記載の発明では、複数の異なる撮影条件で撮影された同一シーンの画像データから輝度飽和を生じている領域を除外し、画像データから特徴点を基準とした各対応領域における各画像間の輝度相当比を算出し、輝度飽和を生じている部分については輝度相当比が一定となるようなつぶれ修正を行うことで、データ飽和がなく、しかもＳ／Ｎが確保された高ダイナミックレンジの画像データとなり、より高画質な画像が得られる。
【００１９】
請求項４に記載の発明は、輝度相当比にばらつきがある場合、その代表値を適用して、各場所の輝度相当比がほぼ正確に一定となるように各画像を補正することで、ノイズの低減が可能で、より高画質な画像が得られる。
【００２０】
請求項５に記載の発明では、シャッタースピードまたは絞りで露出条件を変化させた場合において、画像のＲＧＢ輝度相当比を連動させ、ＲＧＢ平均、重み付平均、Ｇの輝度比の少なくとも１つをＲＧＢ全体に適用して画像合成することで、より高画質の画像を得ることができる。
【００２１】
請求項６に記載の発明では、光源の分光特性を変化させた場合において、各色成分ごとの輝度相当比を独立に適用して画像合成することで、より色分離性の高い画像情報が得られる。
【００２２】
請求項７に記載の発明では、３枚以上の画像を撮影し、その中から２枚以上の適切な画像データを選択し、選択された画像から１枚の画像を合成することで、より高画質の画像を得ることができる。
【００２３】
請求項８に記載の発明では、入射光量に対し、ほぼ線形な応答を示す光電変換デバイスを有している撮影装置を使用して撮影することで、より高画質の画像を得ることができる。
【発明を実施するための最良の形態】
【００２４】
以下、この発明の画像処理方法の実施の形態について説明するが、この発明は、この実施の形態に限定されない。また、この発明の実施の形態は、発明の最も好ましい形態を示すものであり、この発明の用語はこれに限定されない。
【００２５】
図１は撮影システムの概略構成図である。この実施の形態の撮影システム１は、図２に示すような証明写真ボックス１０、または図３に示すようにポートレートスタジオ２０に用いられる。
【００２６】
図２の証明写真ボックス１０は、撮影室１１と、機械室１２の隔離された箱状の筐体１３に設置され、広く一般に用いられている証明写真ボックス１０を形成することができる。撮影室１１に被写体である被撮影者が入り、椅子１４に腰掛け、料金投入口１５から料金を支払い、撮影手段１６であるＣＣＤカメラによって撮影を行うものである。撮影された顔写真画像は、現像処理されて写真プリントとして筐体１３の側部に設けられた排出部１７に出力される。この筐体１３の側部には鏡１８が設けられ、被撮影者が例えば髪型を整える場合等に用いられる。
【００２７】
図３のポートレートスタジオ２０は、椅子２１、背景幕２２、照明器具２３及び撮影カメラ２４が備えられている。このように、スタジオ内に各々のパーツを設置することで、ポートレートスタジオ２０として機能し、コンパクトな機材を写真店店頭に設置すれば簡易スタジオとして機能する。
【００２８】
この実施の形態の撮影システム１は、撮影装置３０、撮影条件設定手段３１、画像処理手段３５、照明調節器３６、照明条件調節手段３７、画像出力手段３８、被写体検出／起動スイッチＳＷ１を有する。撮影条件設定手段３１には、インターネット３９ａを介して個人認証機関データベース３９ｂが接続される。
【００２９】
この実施の形態の撮影システム１は、画像処理手段３５、画像出力手段３８が必要であるが、一般に知られている手段（光学焼付け→現像や、デジタル画像取得→デジタル画像処理→画像記録紙、ＣＤＲ等のメディアに画像出力）で簡単に実現可能である。
【００３０】
この実施の形態では、複数個の照明調節器３６を被写体４０の周囲に設置し、照明条件調節手段３７で適宜調整することにより、撮影条件の一種である照明条件が様々に得られる。
【００３１】
照明条件として重要な要素に、光の柔らかさがある。光の柔らかさは、被写体４０を照明する光線の被写体４０への入射方向の分布特性を調節することで調節できる。具体的には、例えば光源の位置を変えずに、光源の発光部位の大きさを変化させれば良く、大きさを小さくすれば硬い光が、大きくすれば柔らかい光が得られる。
【００３２】
このように撮影システム１は、被写体４０を撮影して被写体画像を取得する撮影装置３０と、被写体４０の撮影条件を設定する撮影条件設定手段３１とを備え、撮影条件設定手段３１で定められた撮影条件で被写体４０の撮影を行う。撮影装置３０は、ＣＣＤやＣＭＯＳセンサなど入射光量に対し、ほぼ線形な応答を示す光電変換デバイスを有している装置である。
【００３３】
この実施の形態の画像処理手段３５は、撮影装置３０で得られる画像データに基づき画像を記録または表示する画像処理をし、この画像処理を図４乃至図６に示す。図４は画像の合成フローを示す図、図５は画像１と画像２のデータ対応を示す図、図６は撮像データヒストグラムを示す図である。
【００３４】
この実施の形態では、図４に示すように、特定シーンを撮影する際に、露出条件を適正露出に対して例えば＋１ＥＶで撮影した画像を画像１とし、例えば−１ＥＶで撮影した画像を画像２とする。露出条件の調整は例えばシャッタースピードによるものとし、撮影にはデジタルスチルカメラを使用する。
【００３５】
画像１の顔抽出処理、あるいは人物全画像抽出処理等を行ない特徴点を抽出し（ステップａ１）、同様に画像２の顔抽出処理、あるいは人物全画像抽出処理等を行ない特徴点を抽出する（ステップａ２）。このように抽出した特徴点の位置を比較し、画像１に対する画像２の位置ずれを補正し画像２´を得（ステップａ３）、画像１と画像２´との画像合成処理を行ない（ステップａ４）、画像３を得る。
【００３６】
画像３に対して階調制御を行ない、最終目的画像を得る（ステップａ５）。
【００３７】
即ち、ある程度の領域のデータに関して、画像１と画像２´で対応領域のデータの対応を調べると、図５に示すように、画像１と画像２´のデータは線形な対応関係になっている。
【００３８】
しかしながら、図６（ａ）に示すように、よりオーバー露出撮影による画像１のハイライト領域についてはデータ飽和が認められる。ハイライトの情報が飽和により損なわれる。一方、図６（ｂ）に示すように、アンダー露出撮影による画像２のシャドー領域については、信号値が小さいためＳ／Ｎの小さい低品位のデータとなっている。即ち、信号が小さい領域に集中し、システムのダイナミックレンジが生かせていない。
【００３９】
そこで、図６（ｃ）に示すように、線形な対応関係を全領域に適用することで、新たな画像３を合成する。これにより、より高画質の画像を得るための好ましい撮像データヒストグラムを得ることができ、データ飽和がなく、しかもＳ／Ｎが確保された高ダイナミックレンジの画像データとなる。このようにして合成された撮像信号は、カラーマネジメント処理及び各種フィルタ処理を施して、より高画質な最終画像が得られる。
【００４０】
このように、この実施の形態の画像処理手段３５は、複数の異なる撮影条件で撮影された同一シーンの画像データから特徴点を抽出し、画像間での特徴点の位置ずれを補正し、特徴点の位置ずれを補正した上で、画像を合成することで、微妙な動きも含めて被写体が動いた場合に対してもより高画質の画像を得ることができる。
【００４１】
また、画像処理手段３５は、撮影装置３０で得られる画像データに基づき画像を記録または表示する画像処理を図７乃至図１２に示すように実施する。図７は基本画像処理のフローチャート、図８は位置調整フローを示す図、図９は位置調整の画像処理を示す図、図１０はアフィン変換を説明する図、図１１は画像合成処理を説明する図、図１２は画像の合成を示す図である。
【００４２】
図７の基本画像処理フローは、２枚の画像１と画像２からの合成の例を示している。図７のステップｂ１において、露出条件を変化させて同一シーンを連続的に撮影し、画像１と画像２とを得る。画像１を図１２（ａ）に示し、そのヒストグラムを図１２（ｂ）に示す。画像２を図１２（ｃ）に示し、そのヒストグラムを図１２（ｄ）に示す。
【００４３】
次に、ステップｂ２において、画像１と画像２の特徴点を抽出し、ステップｂ３において、画像２の各特徴点位置を対応する画像１の特徴点位置に一致するよう、特徴点で囲まれる小領域ごとにアフィン変換を施し（ＲＧＢ毎、ＹＣｂＣｒ毎など）、画像２´を得る。
【００４４】
即ち、図８乃至図１０に示すような画像処理を行なう。
【００４５】
図８のステップｃ１において、画像１から特徴点を抽出する。例えば図９（ａ）に示すように（１）手動でポイント指定する。例えば、顔写真であれば、顔輪郭、目、眉、鼻、口など、また（２）濃度変化の顕著な部分をほぼ一定の間隔で自動指定する。
【００４６】
図８のステップｃ２において、画像２に対して画像１の特徴点に対応するポイントを指定し、１対１で対応させる。
【００４７】
図８のステップｃ３において、画像１に関して、図９（ａ）に示すように、指定した特徴点および画像の四隅のポイントを頂点とするドローネ三角形分割を実施する。必ずしもドローネ三角形分割でなく、任意の三角形分割で構わないが、一意に決定されるドローネ三角形分割が好ましい。
【００４８】
図８のステップｃ４において、画像２に関して、ポイント指定した点を頂点とし、画像１と対応した三角形分割を実施する。
【００４９】
図８のステップｃ５において、画像２の分割された各三角形領域を領域ごとに対応する画像１の三角形領域と同一形状となるようにアフィン変換を施し、図９（ｂ）の基準画像の画像２´を図９（ｃ）の被変換画像から得る。
【００５０】
アフィン変換は、図１０に示すように、各三角形メッシュを個々にアフィン変換する。
【００５１】
そして、図７のステップｂ４において、画像１と画像２´の同じ位置の画素同士でデータの対応関係を調査する。但し、各データが飽和レベルにあるかどうかチェックし、少なくとも一方が飽和レベルにある画素のデータは除外する。ここで、飽和レベルとは、必ずしもデータの上限値に限らず、データのばらつきを考慮して適当なレベルを適宜設定する。
【００５２】
さらに、ステップｂ５において、各画素に関して、画像１のデータと画像２´のデータから露出パラメータＥ3の新たに画像３のデータを生成する。この発明による合成画像３を図１２（ｅ）に示し、そのヒストグラムを図１２（ｆ）に示す。
【００５３】
この合成画像３のデータは、ＲＧＢデータ毎にある特定画素の画像１のデータＸ1、画像２´のデータＸ2とすると、基本的には次式により、合成画像を計算する。
【００５４】
ｆ（Ｘ3）／Ｅ3＝（ｆ（Ｘ1）＋ｆ（Ｘ2））／（ｋ＋１）
ｋは画像１と画像２のデータ対応状況で決定されるパラメータ、
Ｅ3は合成画像全体の濃度レベルを調整する露出パラメータ、
関数ｆ（Ｘ）は各データを輝度相当量に変換する関数（各データを生成するルックアップテーブルＬＵＴの逆変換）で、一般的にＲＧＢ毎で別の関数である。  但し、飽和度の高い方のデータが所定レベルを超える時は、他方のデータのみに基づき
ｆ（Ｘ3）／Ｅ3＝ｆ（Ｘ1）（またはｆ（Ｘ2））
とする。最終的にカラーマネージメントに基づく適当なルックアップテーブルＬＵＴを作用させ、合成画像を得る。
【００５５】
同じように、３枚以上の画像の場合も分子、分母の項をそれぞれ追加することで合成できる。
【００５６】
また、元画像では、それぞれ特定の範囲にデータの分布が限られ、上記の例において図１２（ａ）に示す画像１では人物の顔や髪が完全に黒つぶれにいたらないまでも十分に階調表現されているとは言えず、ダイナミックレンジの狭い印象の画像である。図１２（ｃ）に示す画像２では白いジャケットや背景の雪景色の部分でかなり多くの画素がデータ飽和してしまい、白とびとなっている。やはり、ダイナミックレンジが制限された影響もあって、低画質である。
【００５７】
一方、図１２（ｅ）に示す本発明による合成画像３は、画像１の黒つぶれ部分も画像２の白とび部分も両立して表現されており、ダイナミックレンジの広い画像と言える。
【００５８】
図１２（ｇ）に示す比較例においては、特徴点抽出による位置補正を実施していないため、エッジが二重となってしまっており、画像全体がぼけた印象となる。
【００５９】
このように、この実施の形態では、複数の異なる撮影条件で撮影された同一シーンの画像データから輝度飽和を生じている領域を除外し、画像データから特徴点を基準とした各対応領域における各画像間の輝度相当比を算出し、輝度飽和を生じている部分については輝度相当比が一定となるようなつぶれ修正を行うことで、微妙な動きも含めて被写体が動いた場合に対してもより高画質の画像を得ることができる。
【００６０】
また、図７の基本画像処理フローのステップａ５において、次のような画像処理を行なうことができる。
【００６１】
図１１（ａ）に示すように、画像１におけるｉ番目の画素の輝度相当データを（Ｒ1i，Ｇ1i，Ｂ1i）、画像２の同じ画素の輝度相当データを（Ｒ2i，Ｇ2i，Ｂ2i）と表す。
【００６２】
ここで画像１がアンダー露出による撮影、画像２がオーバー露出による撮影で、それぞれのデータの全画素平均について
Σ（Ｒ1i）／ｎ＜Σ（Ｒ2i）／ｎ
Σ（Ｇ1i）／ｎ＜Σ（Ｇ2i）／ｎ
Σ（Ｂ1i）／ｎ＜Σ（Ｂ2i）／ｎ
（ｎは全画素致）とする。
（１）Ｒ1iとＲ2i（ｉ＝１〜ｎ）のうち、両方が所定のレベル（Ｒｓ）に対してＲ1i＜ＲｓかつＲ2i＜Ｒｓ
であるものの総和を計算し、それらの比
ｋR＝Σ（Ｒ1i）／Σ（Ｒ2i）（ｉ＝１〜ｎで条件を満たすもの）
を計算する。
同様にして、ｋG、ｋBもそれぞれ計算する。
【００６３】
ここで扱うＲ，Ｇ，Ｂなどの値は、ＣＣＤ出力相当値（ＲＡＷデータ）とする。ＲＡＷデータが直接得られないときは、適当な変換式などにより、いったん上記相当値へ変換してから合成処理を行う。
（２）合成画像の各画素Ｒ3iを次のとおり計算する。図１１（ｂ）に示すように、露出調整パラメータは、露出調整パラメータをＥ（０〜１）として、
＊１  Ｒ2i＜Ｒｓのとき、Ｒ3i＝（Ｒ1i＋Ｒ2i）／（ｋR＋１）×（ｋR）E
＊２  Ｒ2i≧Ｒｓのとき、Ｒ3i＝Ｒ2i×（ｋR）E
とする。但し、Ｒ1i≒Ｒｓのときは、＊１と＊２の中間的な値としてもよい。
同様にＧＢについても
Ｇ2i＜Ｇｓのとき、Ｇ3i＝（Ｇ1i＋Ｇ2i）／（ｋG＋１）×（ｋG）E
Ｇ2i≧Ｇｓのとき、Ｇ3i＝Ｇ2i×（ｋG）E
Ｂ2i＜Ｂｓのとき、Ｂ3i＝（Ｂ1i＋Ｂ2i）／（ｋB＋１）×（ｋB）E
Ｂ2i≧Ｂｓのとき、Ｂ3i＝Ｂ2i×（ｋB）E
などとする。
（３）（２）で計算された輝度相当データから、適当なカラーマネージメントフィルタ処理によるルックアップテーブルＬＵＴを適用、その他必要な画像処理（フィルタ処理、拡大・縮小処理など）を施し、最終画像データを得る。
【００６４】
このように、輝度相当比にばらつきがある場合、その代表値を適用して、各場所の輝度相当比がほぼ正確に一定となるように各画像を補正することで、より高画質の画像を得ることができる。
【００６５】
また、画像処理手段３５は、撮影装置３０で得られる画像データに基づき画像を記録または表示する画像処理を図９に示すように実施する。図１３の画像処理フローは、図７の基本画像処理フローのステップａ２において、次のような画像処理を行なう。
【００６６】
元画像１及び元画像２の画像サイズをｎｘ×ｎｙとする。
【００６７】
画像１及び画像２のサイズをそれぞれｎx´×ｎy´（ｎx´＞ｎx、ｎy´＞ｎy）へ拡大し、画像１´および画像２´とする。（例えばｎx´×ｎy´は本画像処理にて最終的に必要な画像サイズかそれ以上とする）拡大した画像に対して、それぞれ特徴点を求め、以降の処理を実施する。
【００６８】
また、図７の基本画像処理フローのステップａ５の後処理として、ステップａ６において、必要ならば適切な縮小処理を行い、最終出力画像を得る。最終的に得られる画像が元画像１または元画像２から単独で生成した画像よりも高精細となる。
【００６９】
このように、画像間の特徴点の位置ずれ情報を利用して、画素中間点の補間を行い、高解像度の画像を合成することで、より高画質の画像を得ることができる。
【００７０】
また、画像処理手段３５は、撮影装置３０で得られる画像データに基づき画像を記録または表示する画像処理を次のように実施することができる。
【００７１】
図７の基本画像処理フローのステップａ１において、撮影条件として、シャッタースピードまたは絞り、照明の強度などを変化させて少なくとも２枚の画像を撮影する。
【００７２】
このとき、２枚の画像の間でＲＧＢの輝度相当値は揃って変化し、図７の基本画像処理フローのステップａ５において、求められるｋR、ｋG、ｋBの値は近くなる。
そこで、請求項３の場合に対して、
ｋR、ｋG、ｋBの代表値ｋを設定する。例えば、
ｋ＝（ｋR＋ｋG＋ｋB）／３
とし、ＲＧＢに対し、共通の値ｋを適用して合成画像の各画素データを計算する。前実施例と同様、画像１がアンダー露出による撮影、画像２がオーバー露出による撮影であって、一般的にＲ1i＜Ｒ2i、Ｇ1i＜Ｇ2i、Ｂ1i＜Ｂ2iとなっているものとする。
すなわち、例として
Ｒ2i＜Ｒｓのとき、Ｒ3i＝（Ｒ1i＋Ｒ2i）／（ｋ＋１）×ｋE
Ｒ2i≧Ｒｓのとき、Ｒ3i＝Ｒ2i×ｋE
Ｇ2i＜Ｇｓのとき、Ｇ3i＝（Ｇ1i＋Ｇ2i）／（ｋ＋１）×ｋE
Ｇ2i≧Ｇｓのとき、Ｇ3i＝Ｇ2i×ｋE
Ｂ2i＜Ｂｓのとき、Ｂ3i＝（Ｂ1i＋Ｂ2i）／（ｋ＋１）×ｋE
Ｂ2i≧Ｂｓのとき、Ｂ3i＝Ｂ2i×ｋE
などとする。
【００７３】
このように、シャッタースピードまたは絞りで露出条件を変化させた場合において、画像のＲＧＢ輝度相当比を連動させ、ＲＧＢ平均、重み付平均、Ｇの輝度比の少なくとも１つをＲＧＢ全体に適用して画像合成することで、より高画質の画像を得ることができる。
【００７４】
また、画像処理手段３５は、撮影装置３０で得られる画像データに基づき画像を記録または表示する画像処理を次のように実施することができる。
【００７５】
図７の基本画像処理フローのステップａ１において、撮影条件として、照明の分光特性や撮像光軸上に挿入するフィルタなどの分光特性を変化させて少なくとも２枚の画像を撮影する。
【００７６】
このとき、２枚の画像の間でＲＧＢの輝度相当値は分光特性の変化に応じて異なった変化を示し、ｋR、ｋG、ｋBの値は相互に大きく異なったものとなる。
【００７７】
また、図７の基本画像処理フローのステップａ５における露出調整パラメータをＲＧＢ個別（ＥR、ＥG、ＥB）に調整し、合成画像のカラーバランスを調整する。
【００７８】
一般的にＲ1i＜Ｒ2iが成り立つときＲxiはＲ2iを表し、逆に、一般的にＲ1i＞Ｒ2iが成り立つときＲxiはＲ1iを表す。同様に一般的にＧ1i＜Ｇ2iが成り立つときＧxiはＧ2iを表し、逆に、一般的にＧ1i＞Ｇ2iが成り立つときＧxiはＧ1iを表す。一般的にＢ1i＜Ｂ2iが成り立つときＢxiはＢ2iを表し、逆に、一般的にＢ1i＞Ｂ2iが成り立つときＢxiはＢ1iを表す。
Ｒxi＜Ｒｓのとき、Ｒ3i＝（Ｒ1i＋Ｒ2i）／（ｋR＋１）×（ｋR）ER
Ｒxi≧Ｒｓのとき、Ｒ3i＝Ｒ2i×（ｋR）ER
Ｇxi＜Ｇｓのとき、Ｇ3i＝（Ｇ1i＋Ｇ2i）／（ｋG＋１）×（ｋG）EG
Ｇxi≧Ｇｓのとき、Ｇ3i＝Ｇ2i×（ｋG）EG
Ｂxi＜Ｂｓのとき、Ｂ3i＝（Ｂ1i＋Ｂ2i）／（ｋB＋１）×（ｋB）EB
Ｂxi≧Ｂｓのとき、Ｂ3i＝Ｂ2i×（ｋB）EB
などとする。
【００７９】
このように、光源の分光特性を変化させた場合において、各色成分ごとの輝度相当比を独立に適用して画像合成することで、より高画質の画像を得ることができる。
【００８０】
また、画像処理手段３５は、撮影装置３０で得られる画像データに基づき画像を記録または表示する画像処理を図１４に示すように実施する。図１４の画像処理フローは、図７の基本画像処理フローのステップａ２において、次のような画像処理を行なう。
【００８１】
図７の基本画像処理フローのステップａ１において、撮影条件を変化させて３枚以上の画像を撮影する。その中から、ヒストグラム情報などを利用して、適度に露出条件が異なる２枚の画像を選択し、以降の処理を行う。
【００８２】
このように、３枚以上の画像を撮影し、その中から２枚以上の適切な画像データを選択し、選択された画像から１枚の画像を合成することで、より高画質の画像を得ることができる。
【産業上の利用可能性】
【００８３】
この画像処理方法は、多重撮影の画像データに基づき画像を記録または表示する画像処理等に適用できる。
【図面の簡単な説明】
【００８４】
【図１】撮影システムの概略構成図である。
【図２】証明写真ボックスを示す図である。
【図３】ポートレートスタジオを示す図である。
【図４】画像の合成フローを示す図である。
【図５】画像１と画像２のデータ対応を示す図である。
【図６】撮像データヒストグラムを示す図である。
【図７】基本画像処理のフローチャートである。
【図８】位置調整フローを示す図である。
【図９】位置調整の画像処理を示す図である。
【図１０】アフィン変換を説明する図である。
【図１１】画像合成処理を説明する図である。
【図１２】画像の合成を示す図である。
【図１３】画像処理のフローチャートである。
【図１４】画像処理のフローチャートである。
【符号の説明】
【００８５】
１  撮影システム
３０  撮影装置
３１  撮影条件設定手段
３５  画像処理手段
３６  照明調節器
３７  照明条件調節手段
３８  画像出力手段
【図１】
2005151495.tif 000003
【図２】
2005151495.tif 000004
【図３】
2005151495.tif 000005
【図４】
2005151495.tif 000006
【図５】
2005151495.tif 000007
【図６】
2005151495.tif 000008
【図７】
2005151495.tif 000009
【図８】
2005151495.tif 000010
【図９】
2005151495.tif 000011
【図１０】
2005151495.tif 000012
【図１１】
2005151495.tif 000013
【図１２】
2005151495.tif 000014
【図１３】
2005151495.tif 000015
【図１４】
2005151495.tif 000016