(57)【要約】【課題】品質の高い合成画像を得る。【解決手段】合成対象となる複数の画像データ各々を画像解析することにより、各々の撮影画像の撮影状況であるシーンを判断し、合成対象となる互いのシーン判断結果に応じて、各々の撮影画像を補正するための画像処理条件を補正して合成時の画像処理条件を再算出する。そして、この再算出された合成時の画像処理条件に応じて補正処理された画像データを合成するので、品質の高い合成画像を得ることができる。【選択図】  図１
2005006133.tif 000002
【特許請求の範囲】
【請求項１】
入力された複数の画像データの各々について、画像データを得るときの画像形成環境を表す画像形成条件を解析する解析手段と、
前記画像形成条件に基づいて、前記画像データの少なくとも１つについて、予め定めた濃度及び色の少なくとも１つになるように画像データを変換処理する画像処理条件を算出する算出手段と、
前記算出された画像処理条件に対応して、他の画像データの画像処理条件を導出する導出手段と、
前記算出手段で算出した画像処理条件による画像データと、前記導出手段で導出した画像処理条件による画像データとを、前記各画像処理条件で画像処理した後に合成する合成手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記算出手段は、前記画像処理条件を算出するために前記画像データの内の少なくとも１つを基準画像データとして選択する選択手段を含み、前記導出手段は、前記選択手段で選択された前記基準画像データの濃度及び色の少なくとも１つの傾向になるように、他の画像データの画像処理条件を導出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記算出手段は、複数の画像データについて画像処理条件を算出する場合、前記複数の画像データの相互関係に基づいて各々の画像処理条件を算出することを特徴とする請求項１に記載の画像処置装置。
【請求項４】
前記合成手段は、前記各画像処理条件で画像処理した後の画像データについて、前記画像データの画像の一部を合成領域として設定する設定手段を含むことを特徴とする請求項１乃至請求項３の何れか１項に記載の画像処理装置。
【請求項５】
前記合成手段により合成された合成画像を表示する表示手段を更に備えることを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
【請求項６】
入力された複数の画像データの各々について、画像データを得るときの画像形成環境を表す画像形成条件を解析可能な画像処理方法であって、
前記画像形成条件に基づいて、前記画像データの少なくとも１つについて、予め定めた濃度及び色の少なくとも１つになるように画像データを変換処理する画像処理条件を算出し、
前記算出された画像処理条件に対応して、他の画像データの画像処理条件を導出し、
前記算出された画像処理条件による画像データと、前記導出された画像処理条件による画像データとを、前記各画像処理条件で画像処理した後に合成する、
ことを特徴とする画像処理方法。
【請求項７】
画像データを合成するコンピュータにおいて実行される画像処理プログラムであって、
入力された複数の画像データの各々について、画像データを得るときの画像形成環境を表す画像形成条件を解析させ、
前記画像形成条件に基づいて、前記画像データの少なくとも１つについて、予め定めた濃度及び色の少なくとも１つになるように画像データを変換処理する画像処理条件を算出させ、
前記算出させた画像処理条件に対応して、他の画像データの画像処理条件を導出させ、
前記算出させた画像処理条件による画像データと、前記導出させた画像処理条件による画像データとを、前記各画像処理条件で画像処理した後に合成させる、
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに係り、特に、複数の画像データを合成する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【０００２】
【従来の技術】
従来、複数の画像データを合成して合成画像を得るために、合成対象となる各画像データの色や濃度を調整することが行われている。このような色や濃度の調整によって得られる合成画像は、合成対象となる画像データの画像各々の構図や撮影時の光源環境等の画像形成環境が異なるため、合成画像、特に境界部の濃度や色等の違いによりユーザに対して不自然さを与えやすい。
【０００３】
これを解消するために、複数の画像データを合成することによって得られる合成画像について、合成対象となる各々の画像データの濃度や色を補正して不自然さを抑制する技術が知られている（例えば、特許文献１参照）。
【０００４】
特許文献１では、補正対象となる画像が、撮影によって得られた写真画像（自然画像）であるか、または自然画像にコンピュータグラフィックス等の人工画像を含めた複合画像であるかを判別し、判別結果に応じて適正な補正を行う。詳細には、画像が複合画像であると判別されると、複合画像に含まれる自然画像領域について濃度や色を補正する。これにより、違和感のない合成画像として複合画像を得ることができる。
【０００５】
【特許文献１】
特開２０００−２２２５６４号公報  （第８頁、図３）
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、複合画像に含まれる自然画像領域に対する補正は可能であるが、色や濃度の補正は、自然画像領域に対するもののみであり、合成の対象となる全ての画像を考慮したものではなく、さらに、撮影時の光源環境等の画像形成環境を考慮したものではなかった。
【０００７】
本発明は上記問題点を解決するためになされたもので、合成画像の品質を向上することが可能な画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために本発明は、入力された複数の画像データの各々について、画像データを得るときの画像形成環境を表す画像形成条件を解析する解析手段と、前記画像形成条件に基づいて、前記画像データの少なくとも１つについて、予め定めた濃度及び色の少なくとも１つになるように画像データを変換処理する画像処理条件を算出する算出手段と、前記算出された画像処理条件に対応して、他の画像データの画像処理条件を導出する導出手段と、前記算出手段で算出した画像処理条件による画像データと、前記導出手段で導出した画像処理条件による画像データとを、前記各画像処理条件で画像処理した後に合成する合成手段と、を備えることを特徴とする。
【０００９】
本発明の画像処理装置は、解析手段を備えており、入力された複数の画像データの各々について、画像データを得るときの画像形成条件を解析する。画像形成条件とは、画像データを得るときの画像形成環境を示すものである。画像形成環境には、被写体への光源色、具体的には、例えばストロボのオン、オフによる光源色の設定、色濃度解析による光源色や被写体の濃度傾向、及び構図等の撮影シーンがある。算出手段は、画像データを変換処理するための画像処理条件を算出する。この画像処理条件は、解析手段による画像形成条件に対応するものである。画像データは、前記のように画像形成環境において得られるものである。このため、画像形成環境による影響を受けている。そこで、算出手段は、画像形成条件に応じた色または濃度になるように、すなわち、画像形成環境により得られた画像データを所定の環境による画像データとなるように、画像処理条件を算出する。所定の環境の一例には、標準光源下の環境等がある。
【００１０】
例えば、所定の環境による画像データの濃度には、画像データの濃度が適正となるような濃度がある。適正な濃度とは、該画像データの濃度が低濃度である場合に標準濃度になるように、また高濃度である場合に標準濃度になるように濃度の変動を抑制することにより得られる濃度である。また、所定の環境による画像データの色とは、画像データに含まれる特定領域における、本来の該特定領域の色として規定された色である。算出手段による画像処理条件の算出は、入力された複数の画像データの内の何れか１つ、または複数の画像データについて行われる。
【００１１】
導出手段は、入力された複数の画像データの内、上記算出手段による画像処理条件の算出対象以外の、他の画像データを変換処理するための画像処理条件を導出する。前記算出手段では、画像データの画像処理条件を求めた。この画像処理条件に対応する画像データ以外の画像処理条件を、導出手段で導出する。この導出は、算出手段で算出した画像処理条件に対応して導出する。すなわち、導出手段は、算出手段による画像処理条件の算出対象となった画像データの所定の環境による画像データの濃度または色の傾向を示すように、他の画像データの画像処理条件を算出する。従って、算出手段による算出がなされた画像データ以外の画像データについて、前記算出手段で求めた画像形成条件の傾向が反映される。合成手段は、算出手段で求めた画像処理条件による画像データを該画像処理条件で画像処理する。また、合成手段は、上記算出手段による画像処理条件の算出対象外の他の画像データを、上記導出手段で導出された画像処理条件、すなわち算出手段による画像処理条件に則した画像処理条件で画像処理する。更に、合成手段は、上記画像処理された各画像データを合成する。
【００１２】
このように、１つまたは複数の画像データを、各画像データの画像形成条件に応じて算出された画像処理条件により画像処理するとともに、前記画像データの画像形成条件の傾向が反映された画像処理条件によって前記画像データ以外の画像データを画像処理した後に、これらの画像データを合成することができるので、品質の高い合成画像を得ることができる。
【００１３】
前記算出手段は、前記画像処理条件を算出するために前記画像データの内の少なくとも１つを基準画像データとして選択する選択手段を含むことができ、前記導出手段は、前記選択手段で選択された前記基準画像データの濃度及び色の少なくとも１つの傾向になるように、他の画像データの画像処理条件を導出することができる。
【００１４】
算出手段は、選択手段を含むことができ、入力された複数の画像データ全ての画像処理条件算出の基準となる基準画像データを選択することができる。選択手段による基準画像データの選択は、入力された複数の画像データの内の何れか１つ、または複数の画像データについて行われる。選択手段によって基準画像データが選択されると、算出手段は、基準画像データの画像処理条件を算出する。導出手段は、入力された複数の画像データの内、上記選択手段により選択された基準画像データ以外の画像データの画像処理条件を導出する。導出手段によって導出される画像処理条件は、基準画像データの画像形成条件に則したものである。すなわち、導出手段は、基準画像データの濃度または色の傾向と同じ傾向を示すように、予め定められたアルゴリズムの評価結果等に応じて基準画像データ以外の画像データの画像処理条件を導出する。
【００１５】
このように、画像処理条件算出の基準となる基準画像データを選択し、算出手段による画像処理条件により画像処理された基準画像データと、該基準画像データに応じた画像処理条件により画像処理された画像データと、を合成することができる。このため、合成画像の品質を向上することができるとともに、基準画像データを選択することができるので、ユーザの意図を反映した画像データの合成を行うことができる。
【００１６】
前記算出手段は、複数の画像データについて画像処理条件を算出する場合、前記複数の画像データの相互関係に基づいて各々の画像処理条件を算出することができる。
【００１７】
複数の画像データから画像処理条件を算出する場合、複数の画像データの各々に同様に機能する画像処理条件を求めることが好ましい場合がある。例えば、色や濃度を同一の傾向で作用させたり、顔などの特定領域を所定の色や濃度に調整させたりする場合がある。この場合、複数の画像データには、相互関係を有することが想定される。すなわち、画像データ同士に色や濃度の規則性、そして特定領域に対する色や濃度の規則性等の関係である相互関係を特定すれば、複数の画像データに対して、相互関係による傾向を反映させることができる。そこで、複数の画像データの相互関係を見出したり、指定したりすることで、その相互関係による画像処理条件を算出する。
【００１８】
例えば、相互関係として、複数の画像データ間における共通の画像形成環境の関係である場合、光源色や被写体の濃度または色の傾向の関係、及び撮影シーンの関係等により画像処理条件を算出すれば、その画像処理条件は、複数の画像データによる各画像が有する傾向や特徴を各画像データに対して施すことが可能な変換処理とすることができる。撮影シーンの関係の一例には、人物等の特定領域の濃度または色の傾向の関係がある。従って、相互関係に基づいて算出される画像処理条件は、例えば、複数の画像データ各々に含まれる特定領域の濃度または色の平均、または所定の光源色による画像データの色または濃度の傾向となるように算出することができる。このため、複数の画像データの色や濃度の平均や傾向を表す画像処理条件や、特徴的な画像処理条件を扱うことが可能となる。
【００１９】
前記合成手段は、前記各画像処理条件で画像処理した後の画像データについて、前記画像データの画像の一部を合成領域として設定する設定手段を含むことができる。
【００２０】
複数の画像データは、解析手段により画像形成条件が解析され、算出手段により画像処理条件が算出され、導出手段により画像処理条件が導出され、更に前記算出や導出された各画像処理条件で画像処理される。この後に、設定手段は、画像処理された画像データの画像の一部を合成領域として設定する。合成領域の一例には、画像データの画像に含まれる人物領域がある。このため、例えば、合成領域として設定された人物領域を抽出して合成することができる。
【００２１】
前記合成手段により合成された合成画像を表示する表示手段を更に備えることができる。表示手段は、合成手段により合成された合成画像を表示することができるので、合成画像を視認可能に提供することが可能となる。
【００２２】
なお、次の画像処理方法によって、合成画像の品質を向上することができる。詳細には、入力された複数の画像データの各々について、画像データを得るときの画像形成環境を表す画像形成条件を解析可能な画像処理方法であって、前記画像形成条件に基づいて、前記画像データの少なくとも１つについて、予め定めた濃度及び色の少なくとも１つになるように画像データを変換処理する画像処理条件を算出し、前記画像処理条件のうち選択された画像処理条件に対応して、他の画像データの画像処理条件を導出し、前記算出された画像処理条件による画像データと、前記導出された画像処理条件による画像データとを、前記各画像処理条件で画像処理した後に合成することを特徴とする。
【００２３】
また、次の画像処理プログラムをコンピュータによって処理させることで、合成画像の品質を向上することができる。詳細には、画像データを合成するコンピュータにおいて実行される画像処理プログラムであって、入力された複数の画像データの各々について、画像データを得るときの画像形成環境を表す画像形成条件を解析させ、前記画像形成条件に基づいて、前記画像データの少なくとも１つについて、予め定めた濃度及び色の少なくとも１つになるように画像データを変換処理する画像処理条件を算出させ、前記画像処理条件のうち選択された画像処理条件に対応して、他の画像データの画像処理条件を導出させ、前記算出させた画像処理条件による画像データと、前記導出させた画像処理条件による画像データとを、前記各画像処理条件で画像処理した後に合成させることを特徴とする。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。
【００２５】
本発明に係る画像処理装置の一の実施の形態を図面に基づき説明する。
【００２６】
図１には、本実施の形態に係る画像処理装置１０の主要構成をブロック図として示した。画像処理装置１０は、読取部１２、表示部１４、記憶部１６、操作部１８、及び制御部２０から構成されている。制御部２０は、図示を省略したマイクロコンピュータを含んで構成されており、上記読取部１２、表示部１４、記憶部１６、及び操作部１８の各々とバス１９を介して接続され、互いにデータやコマンドの授受が可能な構成とされている。
【００２７】
読取部１２は、記憶媒体３０に記憶された画像データを読取るためのインターフェース機能部であり、伝送データを受信する受信装置や記憶媒体に読み書きする読取装置から構成することができる。本実施の形態では、記憶媒体３０に記憶された画像データは、撮影によって得られた撮影画像の画像データであるものとして説明する。なお、この画像データは、後述する記憶部１６に予め記憶するようにしてもよい。記憶媒体３０の一例には、リムーバブルディスク、デジタルカメラ、及びＣＤ−Ｒ等がある。本実施の形態では、撮影画像の画像データは、撮影情報を埋め込んだ画像ファイル形式であるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍｔ）形式を採用する場合を説明する。撮影情報の一例には、ストロボのＯＮ／ＯＦＦ、撮影光源、及び輝度情報等がある。
【００２８】
表示部１４は、撮影画像、後述する合成画像、及び各種入力項目等を表示するためのものであり、ＣＲＴやＬＣＤなどのディスプレイ装置がある。操作部１８は、画像処理装置１０で指示入力するためのものであり、一例として、キーボード等がある。
【００２９】
制御部２０は、画像データの合成処理を実行する機能部であり、後述する処理ルーチンを記憶した図示しないメモリを含んでいる。この制御部２０は、図示を省略したＣＰＵ、ＲＯＭ、及びＲＡＭからなるマイクロコンピュータで構成されている。なお、処理ルーチンは、図示しないＲＯＭやＲＡＭに記憶しても良い。また、後述する記憶部１６に記憶しても良い。本実施の形態では、制御部２０は、画像データに対して各種処理を行う機能部である信号処理部２２を含んでいる。信号処理部２２は、主要な５つの機能部として、画像解析部２４、画像処理条件算出部２６、合成時画像処理条件再算出部２７、画像変換処理部２８、及び画像合成処理部２９の各々を含んで構成されている。
【００３０】
これらの詳細は後述するが、概要としては、画像解析部２４は、合成対象となる画像データの撮影状況（以下、シーンという）を解析するための機能部である。シーンとは、ストロボのＯＮ／ＯＦＦ、撮影光源、撮影色温度、及び人物抽出位置等を示すものであり、該画像データがどのような環境下で撮影されたかを示すものである。撮影光源には、標準光、タングステン光、及び蛍光灯等がある。標準光による撮影画像とは、昼光（デイライト）、及びストロボ光等を撮影光源とした画像の画像データであって、例えば、該撮影画像の色温度が５５００Ｋ〜６０００Ｋのものである。
【００３１】
画像処理条件算出部２６は、合成対象となる画像データ各々を最適な状態に補正するための画像処理条件を算出するための機能部である。合成時画像処理条件再算出部２７は、合成時の画像処理条件を再度算出するための機能部である。この合成時の画像処理条件は、詳細は後述するが、画像処理条件算出部２６で算出された合成対象の各々の画像データを補正するための画像処理条件を、画像解析部２４による各々の撮影画像のシーンの解析結果（以下、シーン判断結果という）に応じて補正することによって算出される。
【００３２】
画像変換処理部２８は、合成時画像処理条件再算出部２７によって算出された各々の合成時の画像処理条件に応じて、合成対象となる画像データを補正、または、画像処理条件算出部２６による画像処理条件に応じて、合成対象となる画像データを補正するための機能部である。画像合成処理部２９は、画像変換処理部２８により補正された画像データを合成するための機能部である。
【００３３】
なお、上記画像解析部２４が本発明の画像処理装置の解析手段の機能に相当し、画像処理条件算出部２６が算出手段の機能に相当し、合成時画像処理条件再算出部２７が導出手段の機能に相当する。また、画像変換処理部２８及び画像合成処理部２９が合成手段の機能に相当する。また、上記表示部１４が表示手段の機能に相当し、操作部１８が選択手段の機能に相当する。
【００３４】
次に、上記実施の形態の作用を図面を参照して説明する。
【００３５】
画像処理装置１０では、図示しない電源スイッチにより電源が投入されると、所定時間毎に図２に示す処理ルーチンが実行され、ステップ１００へ進む。ステップ１００では、対象画像指示がなされるまで否定判断を繰り返し、肯定されるとステップ１０２へ進む。対象画像指示は、合成対象の撮影画像の画像データを指示するものである。本実施の形態では、合成対象の撮影画像の画像データとして、２つの画像データが指示される。ステップ１００の判断は、ユーザの操作部１８の予め定められたキーの押圧による対象画像指示を示す信号の入力を判別することによって判断可能である。
【００３６】
例えば、まず、記録媒体３０に保存されている全ての画像データを読取部１２を介して読取る。次に、読取った画像データ一覧を示す情報を表示部１４に表示してユーザに対して合成対象となる撮影画像の指示入力を促す。そして、ユーザによる操作部１８の指示入力によって入力される合成対象となる撮影画像を示す信号を判別することによって、判断可能である。なお、合成対象の撮影画像の画像データは、予め記憶部１６に記憶するようにし、記憶部１６から読取るようにしてもよい。
【００３７】
次にステップ１０２では、上記ステップ１００で対象画像指示がなされた合成対象の２つの画像データを記録媒体３０または記憶部１６から読取り、次のステップ１０４において表示部１４へ表示する。ステップ１０４の処理によって、例えば、図５に示す合成対象となる２つの撮影画像４２及び撮影画像４０が表示部１４に表示される。
【００３８】
次にステップ１０６では、表示部１４に表示された合成対象となる２つの撮影画像について、合成領域指示がなされるまで否定判断を繰り返し、肯定されるとステップ１０８へ進む。合成領域指示は、例えは、合成対象となる画像データの撮影画像に含まれる合成対象となる領域を指示するものである。例えば、合成対象となる領域として、図５に示す撮影画像４２の全領域４４、及び撮影画像４０の人物領域４６が指示される。ステップ１０６の判断は、操作部１８の予め定められたキーのユーザによる操作入力による合成対象となる領域を示す情報の入力を判別することによって可能である。ステップ１０８では、上記ステップ１０６で入力された合成対象となる領域を示す情報を各々の撮影画像の画像データに対応付けて記憶部１６に格納する。
【００３９】
次に、ステップ１１０では、基準画像指示がなされたか否かを判断する。基準画像指示は、合成時画像処理条件再算出部２７による合成時の画像処理条件の再算出時に基準とする画像処理条件の画像データを指示するものである。この基準となる画像処理条件の画像データとして、上記ステップ１００で指示された合成対象となる２つの撮影画像の画像データの内の一方が指示される。ステップ１１０の判断は、操作部１８のユーザによる予め定められたキーの押圧による基準画像を示すデータの入力を判別することによって判断可能である。基準画像を示すデータの入力は、例えば、記憶部１６から合成対象となる画像データを読取って表示部１４に表示し、ユーザに対して基準画像指示を促す。そして、ユーザによる操作部１８の予め定められたキーの押圧によって、基準画像を示すデータが入力されるようにすればよい。
【００４０】
ステップ１１０で否定されると、ステップ１１４へ進み、画像合成処理（１）が実行された後にステップ１１８へ進む。ステップ１１４の画像合成処理（１）は、合成対象となる２つの画像データ各々を、合成時画像処理条件再算出部２７によって再算出された、合成時の画像処理条件に応じて補正した後に合成するものである（詳細後述）。
【００４１】
一方、ステップ１１０で肯定されると、ステップ１１２へ進み、上記ステップ１１０で指示された基準画像を示すデータを該当する合成対象の画像データに対応付けて記憶部１６に記憶した後にステップ１１６へ進む。
【００４２】
ステップ１１６では、画像合成処理（２）が実行される。ステップ１１６の画像合成処理（２）は、基準画像として設定された画像データの画像処理条件に応じた補正を該基準画像の画像データに行うとともに、基準画像として設定されなかった他方の撮影画像（以下、非基準画像という）の画像データを上記基準画像の画像データの画像処理条件及びシーン判断結果に応じて補正した後に合成するものである（詳細後述）。
【００４３】
次にステップ１１８では、上記ステップ１１４の画像合成処理（１）またはステップ１１６の画像合成処理（２）によって得られた合成画像データの合成画像を、表示部１４に表示した後に、本ルーチンを終了する。
【００４４】
次に、上記ステップ１１４で実行される画像合成処理（１）について図３に示す処理ルーチンを用いて説明する。ステップ２００では、画像解析処理が実行される。ステップ２００の処理は、画像解析部２４によって、合成対象となる２つの撮影画像の画像データの画像解析を行うことによって、画像データ各々のシーン判断結果を得るものである。具体的には、例えば、画像データ各々に含まれる撮影情報を読取ることによって、ストロボのＯＮ／ＯＦＦ、撮影光源、輝度情報等の撮影情報を得る。また、画像データを解析することによって、該画像データの色温度、該画像データの画像に含まれる人物を示す画像の領域などを抽出する。これによって、画像データ各々のシーンを判断してシーン判断結果を得るものである。次にステップ２０２において、上記ステップ２００の処理によって得られた合成対象となる画像データ各々のシーン判断結果を各々の画像データに関連付けて記憶部１６に記憶する。
【００４５】
次にステップ２０４では、画像処理条件算出処理が実行される。ステップ２０４の処理は、画像処理条件算出部２６によって、ＡＥ補正値、ＡＷＢ補正値、及び階調制御量等の合成対象となる画像データ各々に施す画像処理条件を算出するものである。ステップ２０４の処理によって、合成対象となる各々の画像データに対して最適な補正処理を施すための画像処理条件が算出される。次にステップ２０６において、上記ステップ２０４で算出した画像データ各々の画像処理条件を、各々の画像データに関連付けて記憶部１６に記憶する。
【００４６】
次にステップ２０８では、合成時の画像処理条件再算出処理が実行される。ステップ２０８の処理は、上記ステップ２００の処理及び上記ステップ２０４の処理によって得られた、合成対象となる画像データ各々のシーン判断結果及び画像処理条件から、合成時の画像処理条件を再算出するものである。ステップ２０８の処理は、画像データ各々の画像処理条件を、合成対象となる互いのシーン判断結果に応じて補正することによって、合成時の画像処理条件を再算出するものである。この合成時の画像処理条件の再算出の方法は、予め合成対象となる互いのシーン判断結果に応じて、複数の方法が既定されている。
【００４７】
例えば、シーン判断結果により、一方の画像データがタングステン光による撮影によって得られた撮影画像の画像データであり、他方の画像データが標準光による撮影によって得られた撮影画像の画像データである場合、タングステン光による画像データがあたかも標準光による撮影がなされたかのような画像となるように、タングステン光による画像データの画像処理条件を補正して合成時の画像処理条件を再算出する。この標準光による撮影画像への画像処理条件の補整は、予め定められたアルゴリズムの評価結果に従って実行される。例えば、予め定められたアルゴリズムの評価結果として、標準光の撮影画像の色温度を１００％とした場合に、タングステン光による画像データの画像処理条件に対して１００％の補正を行う。これによって、タングステン光で撮影された撮影画像の画像データを、あたかも標準光で撮影されたかのような撮影画像の画像データに補正するためにタングステン光による画像データの画像処理条件が補正されて、タングステン光による画像データの合成時の画像処理条件が再算出される。
【００４８】
また、その他の例として、シーン判断結果により合成対象となる撮影画像の画像データ双方に人物抽出領域が示される場合、該人物の抽出位置に相当する領域の互いの画像の濃度が等しくなるように、各々の画像データの画像処理条件を補正して、各々の画像データの合成時の画像処理条件が再算出される。同様に、人物抽出領域以外の特定領域を予め既定し、この既定された特定領域に相当する画像の濃度の平均値を示す撮影画像となるように、各々の画像データの画像処理条件を補正するようにしてもよい。
【００４９】
次に、ステップ２１０では、画像変換処理が実行される。ステップ２１０の処理は、上記ステップ２０８で再算出された合成対象となる画像データ各々の合成時の画像処理条件に応じて、各々の画像データに補正処理を施し、画像変換後の２つの画像データを得るものである。次にステップ２１２において、上記ステップ２１０で処理された画像変換後の合成対象となる２つの画像データを記憶部１６に記憶する。
【００５０】
次にステップ２１４では、記憶部１６に記憶した画像変換後の合成対象となる２つの画像データ各々から、合成対象となる領域を抽出する。ステップ２１４の処理は、記憶部１６に記憶された合成対象となる画像データ各々の合成対象となる領域を示す情報に応じて、合成対象領域に相当する画像の画像データを、画像変換後の合成対象となる２つの画像データ各々から抽出することによって実行される。
【００５１】
次にステップ２１６では、上記ステップ２１４で抽出した画像変換後の合成対象となる２つの画像データの合成対象領域の画像データの画像を合成する合成処理が実行される。ステップ２１６の処理によって、合成画像の画像データが得られる。次にステップ２１８では、上記ステップ２１６で合成された合成画像の画像データを記憶部１６に記憶した後に本ルーチンを終了する。
【００５２】
例えば、上記ステップ２００乃至ステップ２１８の処理によって、図５に示すような合成画像５０が生成される。詳細には、人物領域４８を含む標準光による撮影画像４２の全領域４４、及び人物領域４６を含む標準光による撮影画像４０の人物領域４６を合成する。具体的には、撮影画像４０及び撮影画像４２に対して、各々の撮影画像に適切な補正を行うための画像処理条件を、互いのシーン判断結果に応じて補正することによって再算出することによって得られた合成時の画像処理条件に応じた補正が実行される。これによって、例えば、人物領域４８の濃度と人物領域４６の濃度の平均の濃度を示す合成画像５０が得られる。
【００５３】
次に、上記ステップ１１６で実行される画像合成処理（２）について図４に示す処理ルーチンを用いて説明する。ステップ３００では、画像解析処理が実行される。ステップ３００の処理は、上記ステップ２００の処理と略同様に、画像解析部２４によって、合成対象となる２つの撮影画像（以下、基準画像及び非基準画像という）の画像データの画像解析を行うことによって、画像データ各々のシーン判断結果を得るものである。次にステップ３０２において、上記ステップ３００の処理によって得られた基準画像の画像データ及び非基準画像の画像データ各々のシーン判断結果を各々の画像データに関連付けて記憶部１６に記憶する。
【００５４】
次にステップ３０４では、基準画像の画像処理条件算出処理が実行される。ステップ３０４の処理は、画像処理条件算出部２６によって、ＡＥ補正値、ＡＷＢ補正値、及び階調制御量等の、基準画像の画像データに施す画像処理条件を算出するものである。ステップ３０４の処理によって、基準画像の画像データに対して最適な補正処理を施すための画像処理条件が算出される。なお、ステップ３０４の処理において、更に、ユーザの操作部１８の操作入力による画像処理条件の補正値を、算出した画像処理条件に反映させるようにしてもよい。次にステップ３０６において、上記ステップ３０４で算出した基準画像の画像データの画像処理条件を、基準画像の画像データに関連付けて記憶部１６に記憶する。
【００５５】
次にステップ３０８では、基準画像の画像データの画像変換処理が実行される。ステップ３０８の処理は、上記ステップ３０４で算出された、基準画像の画像データの画像処理条件に応じて基準画像の画像データに補正処理を施し、画像変換後の基準画像の画像データを得るものである。次にステップ３１０において、上記ステップ３０８で処理された画像変換後の基準画像の画像データを記憶部１６に記憶する。
【００５６】
次にステップ３１２では、合成時の画像処理条件再算出処理が実行される。ステップ３１２の処理は、上記ステップ３００の処理及び上記ステップ３０４の処理によって得られた基準画像の画像データのシーン判断結果及び画像処理条件に応じて、非基準画像の合成時の画像処理条件を算出するものである。この非基準画像の合成時の画像処理条件の算出方法は、予め基準画像及び非基準画像のシーン判断結果に応じて、複数の方法が既定されている。
【００５７】
例えば、シーン判断結果により、基準画像の画像データがタングステン光による撮影によって得られた撮影画像の画像データであり、非基準画像の画像データが標準光による撮影によって得られた撮影画像の画像データである場合、非基準画像の標準光による撮影画像が、基準画像のシーン判断結果であるタングステン光による撮影がなされたかのような画像となるような補正がなされるように、非基準画像の合成時の画像処理条件が算出される。このタングステン光による撮影画像へ補正するための画像処理条件は、予め定められたアルゴリズムの評価結果として標準光の撮影画像の色温度を１００％とした場合に、標準光による画像データに対して７０％の色温度の補正を行うことによって算出される。
【００５８】
また、その他の例として、シーン判断結果により基準画像及び非基準画像双方の画像データに人物抽出位置が示される場合、該人物の抽出位置に相当する基準画像の濃度となるような補正がなされるように、非基準画像の合成時の画像処理条件が算出される。同様に、人物抽出領域以外の特定領域を予め既定し、基準画像の既定された特定領域に相当する濃度を示す撮影画像となるように、非基準の画像データの合成時の画像処理条件を算出するようにしてもよい。
【００５９】
次に、ステップ３１４では、画像変換処理が実行される。ステップ３１４の処理は、上記ステップ３１２で算出された非基準画像の画像データの合成時の画像処理条件に応じて非基準画像の画像データに補正処理を施し、画像変換後の非基準画像の画像データを得るものである。次にステップ３１６において、上記ステップ３１４で処理された画像変換後の非基準画像の画像データを記憶部１６に記憶する。
【００６０】
次にステップ３１８では、記憶部１６に記憶された画像変換後の基準画像の画像データ及び非基準画像の画像データ各々から、合成対象となる領域を抽出する。ステップ３１８の処理は、記憶部１６に記憶された画像データ各々の合成対象となる領域を示す情報に応じて、合成対象領域に相当する画像の画像データを、画像変換後の基準画像及び非基準画像の画像データ各々から抽出することによって実行される。
【００６１】
次にステップ３２０では、上記ステップ３１８で抽出した画像変換後の非基準画像及び画像変換後の基準画像の画像データ各々における、合成対象領域の画像データの画像を合成する合成処理が実行される。ステップ３２０の処理によって、合成画像の画像データが得られる。次にステップ３２２では、上記ステップ３２０で合成された合成画像の画像データを記憶部１６に記憶した後に本ルーチンを終了する。
【００６２】
例えば、上記ステップ３００乃至ステップ３２２の処理によって、図６に示すような合成画像６０が生成される。詳細には、人物領域５４を含む標準光による撮影画像５２の全領域５３、及び人物領域５８を含むタングステン光による撮影画像５６の人物領域５８を合成する。なお、撮影画像５６が基準画像として設定されているものとする。具体的には、まず、基準画像である撮影画像５６に対して、適切な補正を行うための画像処理条件に応じた補正を行うことによって、画像変換後の基準画像の画像データを得る。また、非基準画像である撮影画像５２に対して、基準画像の画像処理条件及びシーン判断結果に応じて算出された合成時の画像処理条件に応じた補正を行うことによって、画像変換後の非基準画像の画像データを得る。これらの画像変換後の基準画像及び非基準画像を合成することによって、例えば、基準画像５６のシーン判断結果であるタングステン光の色温度を示す合成画像６０が得られる。
【００６３】
以上説明したように、本実施の形態の画像処理装置１０によれば、合成対象となる撮影画像各々を画像解析することにより、各々の撮影画像の撮影状況であるシーンを判断し、合成対象となる互いのシーン判断結果に応じて、各々の撮影画像を補正するための画像処理条件を補正して合成時の画像処理条件を再算出する。そして、この再算出された合成時の画像処理条件に応じて補正処理された画像データを合成するので、品質の高い合成画像を得ることができる。また、合成時の画像処理条件の再算出方法には、複数の方法を既定することができるので、ユーザの意図を反映した合成画像を得ることが可能となる。
【００６４】
また、画像処理条件再算出において基準となる基準画像として設定された撮影画像の画像処理条件及びシーン判断結果に応じて、非基準画像の撮影画像の合成時の画像処理条件を算出する。そして、算出された合成時の画像処理条件に応じて補正処理された非基準画像の画像データと、画像処理条件に応じて補正処理された基準画像の画像データとを合成することができる。このため、例えば、より品質の高い撮影画像を基準画像として設定することができるため、品質の高い剛性画像を得ることができる。また、この基準画像をユーザの操作指示によって設定することができるので、ユーザの意図を反映した合成画像を得ることが可能となる。
【００６５】
なお、上記ステップ１１０の処理が本発明の画像処理装置の選択手段の機能に相当し、ステップ１１８の処理が表示手段の機能に相当し、上記ステップ１０６の処理が設定手段の機能に相当する。また、上記ステップ２００及びステップ３００の処理が解析手段の機能に相当し、ステップ２０４及びステップ３０４の処理が算出手段の機能に相当し、ステップ２０８及びステップ３１２の処理が導出手段の機能に相当する。また、ステップ２１０乃至ステップ２１６の処理、ステップ３０８、ステップ３１０、及びステップ３１４乃至ステップ３２０の処理が本発明の合成手段の機能に相当する。
【００６６】
なお、本発明は、上記の実施の形態に限られるものではない。例えば、本実施の形態では、上記ステップ１０６において、合成対象となる２つの画像について合成領域指示がなされる場合を説明したが、ステップ１０６の判断は、省略することができる。このようにすれば、例えば、夜間に被写体を撮影することによって得られる撮影画像のように、合成対象なる領域を指示する必要ない場合について、対応することが可能となる。
【００６７】
また、本実施の形態では、合成対象となる画像データとして、２つの画像データを合成する場合を説明したが、合成対象となる画像データは２つに限られるものではなく、３つ以上の複数の画像データを合成することも可能である。また、本実施の形態では、基準画像として設定される画像データは、２つの合成対象となる画像データの内の何れか一方である場合を説明したが、合成対象となる画像データが３つ以上である場合には、複数設定可能としてもよい。
【００６８】
なお、本実施の形態では、合成対象として撮影によって得られた撮影画像の画像データを採用する場合を説明したが、これに限るものではない。例えば、コンピュータ等で作成されたコンピュータグラフィックス（ＣＧ）画像を採用することも可能である。
【００６９】
また、本発明の画像処理装置１０をデジタルカメラ等の撮像装置に搭載することも可能である。この場合、デジタルカメラ等の撮像装置の撮影によって得られた画像データについて、本実施の形態で説明した合成処理を実行するようにすればよい。
【００７０】
【発明の効果】
以上説明したように、本発明の画像処理装置、画像処理方法、及び画像処理プログラムによれば、入力された複数の画像データの内の１つまたは複数の画像データの画像処理条件を算出するとともに、前記算出対象外の画像データの画像処理条件を前記算出された画像処理条件に応じて導出し、各々の画像データを各々の画像処理条件に応じて画像処理した後に合成することができるので、品質の高い合成画像を得ることができる、という効果が得られる。
【図面の簡単な説明】
【図１】本実施の形態に係る画像処理装置の概略構成図である。
【図２】本実施の形態の画像処理装置で実行される処理を示すフローチャートである。
【図３】基準画像が指示されていない場合の合成画像処理条件算出処理を示すフローチャートである。
【図４】基準画像が指示された場合の合成画像処理条件算出処理を示すフローチャートである。
【図５】基準画像が指示されていない場合の合成対象となる撮影画像及び合成後の合成画像の一例を示す模式図である。
【図６】基準画像が指示された場合の合成対象となる撮影画像及び合成後の合成画像の一例を示す模式図である。
【符号の説明】
１０  画像処理装置
２４  画像解析部
２６  画像処理条件算出部
２７  合成時画像処理条件再算出部
２８  画像変換処理部
２９  画像合成処理部
【図１】
2005006133.tif 000003
【図２】
2005006133.tif 000004
【図３】
2005006133.tif 000005
【図４】
2005006133.tif 000006
【図５】
2005006133.tif 000007
【図６】
2005006133.tif 000008