(57)【要約】【課題】擬似輪郭の発生をより完全に防ぐことができる画像処理装置を提供する。【解決手段】２以上の画像データＡ、Ｂ、Ｃに基づいて生成された画像Ａ、Ｂ、Ｃを合成して合成画像を生成する画像処理装置であって、一の撮影対象を異なる露光量で撮影して得られる画像データＡ、Ｂ、Ｃを取得するＣＣＤカメラ１０１、合成画像の少なくとも一部の範囲に対応する画像データＡと、画像Ｂ、Ｃのうちのこの範囲と一致する範囲に対応する画像データＢ、Ｃとを合成して一の合成画像の画像データを生成する画像合成部１０６を備える。【選択図】図１
2008276482.tif 000002
【特許請求の範囲】
【請求項１】
２つ以上の画像を合成して合成画像を生成する画像処理装置であって、
一の撮影対象を異なる露光量で撮影して得られる画像データ群を取得する画像データ取得手段と、
前記画像データ取得手段によって取得された画像データ群のうち、前記合成画像の少なくとも一部の範囲に対応する画像データ群を合成して一の合成画像の画像データを生成する画像データ合成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像データ群に含まれる画像データを所定の値の範囲で正規化する正規化手段をさらに備え、
前記画像データ合成手段は、前記正規化手段によって正規化された後の画像データ群に含まれる画像データを合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像データ取得手段は、光電変換素子を含む撮像手段が電気信号に変換して出力したデータを前記画像データとして取得し、
前記撮像手段の特性に基づいて前記画像合成手段によって生成された前記一の合成画像データを調整する特性調整手段をさらに備えることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記画像データ取得手段によって取得された画像データ群に含まれる少なくとも一部の画像データをそれぞれ分割する画像データ分割手段と、
前記画像データ分割手段によってそれぞれ分割された画像データを再び結合する画像データ結合手段と、をさらに備え、
前記画像データ合成手段は、前記画像データ分割手段によって分割された画像データの一部を合成し、前記画像データ結合手段は、前記画像データ合成手段によって合成された画像データの一部と、合成されなかった画像データのいずれかと、を結合することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
２つ以上の画像を合成して合成画像を生成する画像処理方法であって、
一の撮影対象を異なる露光量で撮影して得られる画像データ群を取得する画像データ取得ステップと、
前記画像データ取得ステップにおいて取得された画像データ群のうち、前記合成画像の少なくとも一部の範囲に対応する画像データ群を合成して一の合成画像の画像データを生成する画像データ合成ステップと、
を含むことを特徴とする画像処理方法。
【請求項６】
２つ以上の画像を合成して合成画像を生成する画像処理用プログラムであって、
コンピュータに、
一の撮影対象を異なる露光量で撮影して得られる画像データ群を取得する画像データ取得機能と、
前記画像データ取得機能によって取得された画像データ群のうち、前記合成画像の少なくとも一部の範囲に対応する画像データ群を合成して一の合成画像の画像データを生成する画像データ合成機能と、
を実現させることを特徴とする画像処理用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理用プログラムに係り、適正な露光時間が異なる複数の領域を含む範囲を一の画像として撮影することに適した画像処理装置、画像処理方法及び画像処理用プログラムに関する。
【背景技術】
【０００２】
画像の撮影をする場合の露光時間は、撮影された画像の品質を決定する重要な要素である。不適切な露光時間を設定して撮影した場合、人間の目であれば視認できるにも関わらず、画像上では黒く潰れて撮影の対象を判別することができない場合がある。また、反対に反射光が画像上で白く撮像され、いわゆる白とびが発生するおそれがある。このような場合にも、撮影の対象を判別することができないことがある。
このような課題を解決するための従来技術として、露光量が異なる複数の画像の明るさが適正な画像を切り出して合成し、一枚の画像を構成する特許文献１がある。ただし、特許文献１の発明には、合成される画像の輝度レベルが異なるため、合成によって得られた画像における合成の境目に擬似輪郭と呼ばれる像が出現することが問題となっていた。
【０００３】
図１１は、擬似輪郭の発生について説明するための図である。図１１（ａ）、（ｂ）、（ｃ）は、それぞれ露光時間が異なる画像の輝度信号レベルを縦軸に、入射光量を横軸に示したＣＣＤカメラ１０１の出力特性を示したグラフである。図１１に示した例では、（ｂ）の露光時間が標準の露光時間であって、（ａ）は（ｂ）よりも短い露光時間の特性を、（ｃ）は（ｂ）よりも長い露光時間の特性を示している。
【０００４】
（ａ）、（ｂ）、（ｃ）に露光特性を示した３つの画像を選択的に合成した場合の露光特性を（ｄ）、（ｅ）に示す。一般的には、特許文献１のように、（ａ）、（ｂ）、（ｃ）の輝度レベルを各々調整した後、図１１（ｄ）のように各々の入射光量に合わせて画像を合成する。（ｄ）に示した例では、（ａ）に示した露光特性を図中にＡで示す領域で選択している。また、（ｂ）に示した露光特性を図中にＢで示す領域で、（ｃ）に示した露光特性を図中にＣで示す領域で選択している。
【０００５】
ただし、図１１（ｂ）は、画像を理想的に合成できた場合の例であって、領域Ａ、Ｂ、Ｃの境界Ｉ、ＩＩにおいていずれも入射光量に対する輝度レベルが直線性を有している。しかし、例えば、（ｂ）に示した露光特性のデータにノイズが生じて±１０％の出力誤差が生じた場合、図１１（ｅ）（図は＋１０％の例）のように入射光量に対する輝度レベルが直線性を失って境界Ｉ、ＩＩに不連続点が生じる。輝度信号の不連続性が人間の目に認識できるレベルに達する画像の箇所には擬似輪郭が発生することになる。
【０００６】
合成画像の擬似輪郭をなくすため、様々な技術が提案されている。このような技術としては、例えば、特許文献２、特許文献３が挙げられる。特許文献２は、露光量の異なる複数の画像を合成するにあたり、複数の画像においてそれぞれ明るさが適正な（潰れていない）画像の輝度レベルを一致させて複数の画像の輝度のレベルを一致させている。
また、特許文献３の発明は、色分離をする以前に複数の画像の輝度を合成することによって画像合成に使用される回路の規模を小型化するものである。
【特許文献１】特開昭６３−３０６７７７号公報
【特許文献２】特開平７−１３１７１８号公報
【特許文献３】特開２０００−７８５９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２、特許文献３は、いずれも切り出された画像を合成している。このため、その輝度信号レベルのノイズが合成される画像ごとに異なるような場合には、入射光量に対する輝度レベルの直線性が失われて擬似輪郭が発生する可能性がある。
また、特許文献２、３は、合成される複数の画像データの輝度レベルを合わせた後に合成しているため、輝度レベルの調整の状態によっては擬似輪郭の発生を防ぐことができない。
本発明は、このような点に鑑みてなされたものであり、擬似輪郭の発生をより完全に防ぐことができる画像処理装置、画像処理方法及び画像処理用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
以上の課題を解決するため、本発明の画像処理装置は、２つ以上の画像を合成して合成画像を生成する画像処理装置であって、一の撮影対象を異なる露光量で撮影して得られる画像データ群を取得する画像データ取得手段と、前記画像データ取得手段によって取得された画像データ群のうち、前記合成画像の少なくとも一部の範囲に対応する画像データ群を合成して一の合成画像の画像データを生成する画像データ合成手段と、を備えることを特徴とする。
【０００９】
このような発明によれば、異なる露光量で撮影された画像における同一の範囲の画像データを合成して合成画像を生成することができる。このため、露光量の異なる画像同士の境界が生じ得ないので、擬似輪郭の発生をより完全に防ぐことができる画像処理装置を提供することができる。
また、本発明の画像処理装置は、前記画像データ群に含まれる画像データを所定の値の範囲で正規化する正規化手段をさらに備え、前記画像データ合成手段は、前記正規化手段によって正規化された後の画像データ群に含まれる画像データを合成することを特徴とする。
【００１０】
このような発明によれば、正規化された画像データを合成することができるので、各画像データの値が合成画像に与える影響を均一にすることができる。
また、本発明の画像処理装置は、前記画像データ取得手段が、光電変換素子を含む撮像手段が電気信号に変換して出力したデータを前記画像データとして取得し、前記撮像手段の特性に基づいて前記画像合成手段によって生成された前記一の合成画像データを調整する特性調整手段をさらに備えることを特徴とする。
このような発明によれば、ＣＣＤ等を使ったセンサセルアレイの特性等による画像データの値の露光量に対する直線性が保たれ、画像品質の高い合成画像を生成することができる。
【００１１】
また、本発明の画像処理装置は、前記画像データ取得手段によって取得された画像データ群に含まれる少なくとも一部の画像データをそれぞれ分割する画像データ分割手段と、前記画像データ分割手段によってそれぞれ分割された画像データを再び結合する画像データ結合手段と、をさらに備え、前記画像データ合成手段は、前記画像データ分割手段によって分割された画像データの一部を合成し、前記画像データ結合手段は、前記画像データ合成手段によって合成された画像データの一部と、合成されなかった画像データのいずれかと、を結合することを特徴とする。
このような発明によれば、一の画像の一部だけを合成画像とすることができる。このため、画像の必要な部分だけを合成画像にすることによって画像品質を保ちながら、合成の処理を効率化することができる。
【００１２】
また、本発明の画像処理方法は、２つ以上の画像を合成して合成画像を生成する画像処理方法であって、一の撮影対象を異なる露光量で撮影して得られる画像データ群を取得する画像データ取得ステップと、前記画像データ取得ステップにおいて取得された画像データ群のうち、前記合成画像の少なくとも一部の範囲に対応する画像データ群を合成して一の合成画像の画像データを生成する画像データ合成ステップと、を含むことを特徴とする。
このような発明によれば、異なる露光量で撮影された画像における同一の範囲の画像データを合成して合成画像を生成することができる。このため、切り出された露光量の異なる画像同士の境界が生じ得ないので、擬似輪郭の発生をより完全に防ぐことができる画像処理方法を提供することができる。
【００１３】
また、本発明の画像処理用プログラムは、２つ以上の画像を合成して合成画像を生成する画像処理用プログラムであって、コンピュータに、一の撮影対象を異なる露光量で撮影して得られる画像データ群を取得する画像データ取得機能と、前記画像データ取得機能によって取得された画像データ群のうち、前記合成画像の少なくとも一部の範囲に対応する画像データ群を合成して一の合成画像の画像データを生成する画像データ合成機能と、を実現させることを特徴とする。
このような発明によれば、異なる露光量で撮影された画像における同一の範囲の画像データを合成して合成画像を生成することができる。このため、切り出された露光量の異なる画像同士の境界が生じ得ないので、擬似輪郭の発生をより完全に防ぐことができる画像処理用プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図を参照して本発明に係る実施形態１、実施形態２を説明する。
(実施形態１）
図１は、本発明の実施形態１の画像処理装置の構成を説明するための図である。図示した画像処理装置は、ＣＣＤカメラ１０１、ＣＣＤカメラ１０１によって撮影されたデータ（画像データ）を複数のメモリ１０３ａ、１０３ｂ、１０３ｃに振分けるスイッチ（ＳＷ）１０２、メモリ１０３ａ〜１０３ｃに振分けられて蓄積された画像データを正規化する正規化部１０４、正規化された画像データを合成する画像合成部１０５、合成された画像データの輝度レベルを調整する階調調整部１０６、調整後の画像データを表示するディスプレイ画面等の表示部１０７あるいは保存する画像保存部１０８を備えている。
【００１５】
このような画像処理装置は、２つ以上の画像を合成して合成画像を生成する画像処理装置であって、画像データＡ、Ｂ、Ｃは、一の撮影対象を異なる露光量で撮影して得られる画像データである。なお、実施形態１では、画像データＡ、Ｂ、Ｃをまとめて画像データ群とも記す。
なお、実施形態１では、露光時間を変更することによって異なる露光量の画像データＡ、Ｂ、Ｃを生成するものとした。画像データＡの露光時間Ｔ１、画像データＢの露光時間Ｔ２、画像データＣの露光時間Ｔ３は、
Ｔ１＜Ｔ２＜Ｔ３の関係にあって、
Ｔ１：Ｔ２：Ｔ３＝２：３：６とする。
【００１６】
ＣＣＤカメラ１０１は、一の撮影対象を異なる露光量で撮影して画像データＡ、Ｂ、Ｃを生成する。ＣＣＤカメラ１０１は、受光したアナログ信号を電気信号に変換して出力する光電変換素子（ＣＣＤ）を含む撮像手段である。
また、実施形態１では、ＣＣＤカメラ１０１が出力する輝度信号レベルを画素値、画素値と、この画素値を有する画像における画素の座標とを対応付けたデータを画像データというものとする。すなわち、画像データは、画素の座標と輝度信号のレベルとによって規定されるデータである。
【００１７】
ここで、図２を用い、ＣＣＤカメラ１０１が一の撮影対象を異なる露光時間で撮影する構成について説明する。
図２は、ＣＣＤカメラ１０１に搭載されるＣＣＤ２０１ａを含むセンサセルアレイ２０１を示した図である。センサセルアレイ２０１の露光領域には、ＣＣＤ２０１ａに蓄積された電荷を読み出す３つの読み出しラインＬ１、Ｌ２、Ｌ３が設けられている。ＣＣＤ２０１ａは、図中に示したスキャン方向に繰り返しスキャンされて蓄積された電荷が読み出される。
【００１８】
読み出しラインＬ１は、最も多くのＣＣＤに蓄積された電荷を読み出すと共にリセットする読み出しラインである。リセットを伴う読み出しは、破壊読出しとも呼ばれている。読み出しラインＬ１によって読み出された電荷のデータは、図示しないＡＦＥ（Analog Front End）を介してＡ／Ｄ変換部に入力されてデジタルデータ（画像データ）となる。読み出しラインＬ１によって読み出された電荷のデータに基づく画像データは、実施形態１で最も露光時間が長い画像データＣとなる。
【００１９】
また、読み出しラインＬ２によって読み出された画像データは、実施形態１の標準露光時間の画像データＢとなる。読み出しラインＬ３は、最も少ないＣＣＤに蓄積された電荷を読み出す読み出しラインである。読み出しラインＬ３によって読み出された画像データは、実施形態１で最も露光時間が短い画像データＡとなる。読み出しラインＬ２、Ｌ３による読み出しは、いずれもリセットを伴わない非破壊読み出しである。
【００２０】
１回の露光期間において、読み出しラインＬ１による電荷の読み出し及びリセットと読み出しラインＬ２、Ｌ３による非破壊読み出しは、それぞれ独立に実行される。
このような読み出しタイミングの制御は、電子シャッタ機能によって実現される。ただし、実施形態１は、このような構成に限定されるものでなく、ＣＣＤカメラ１０１の絞りを制御して露光量を変更するものであってもよい。
【００２１】
メモリ１０３ａは、いずれも同様の構成を有するメモリであって、スイッチ１０２を介してＣＣＤ１０１が出力する画像データを入力し、受け取っている。メモリ１０３ａは画像データＡを蓄積し、メモリ１０３ｂは画像データＢを蓄積し、メモリ１０３ｃは画像データＣを蓄積している。
各メモリ１０３ａ、１０３ｂ、１０３ｃに蓄積された画像データは、それぞれ正規化部１０４において正規化される。図３、図４は、画像データの正規化について説明するための図である。
【００２２】
図３（ａ）、（ｂ）、（ｃ）は、画像データＡ、Ｂ、Ｃについて、全入射光量の範囲に対応する輝度信号レベルを０〜２５６のレベル（輝度信号レベル）に割り付けた状態を示している。図４（ａ）、（ｂ）、（ｃ）は、最も長い露光時間である、画像データＣの露光時間Ｔ3に合わせて画像データＡ、画像データＢを正規化した状態を示している。
正規化された画像データＡの輝度信号レベルをＡ_NTｃ（ｘ，ｙ，Ｒ）、Ｂ_NTｃ（ｘ，ｙ，Ｒ）、Ｃ_NTｃ（ｘ，ｙ，Ｒ）とし、規格化される以前の画像データＡ、Ｂ、ＣをそれぞれＡ_Tａ（ｘ，ｙ，Ｒ）、Ｂ_Tｂ（ｘ，ｙ，Ｒ）、Ｃ_Tｃ（ｘ，ｙ，Ｒ）とする。Ａ_NTｃ（ｘ，ｙ，Ｒ）、Ｂ_NTｃ（ｘ，ｙ，Ｒ）、Ｃ_NTｃ（ｘ，ｙ，Ｒ）、Ａ_Tａ（ｘ，ｙ，Ｒ）、Ｂ_Tｂ（ｘ，ｙ，Ｒ）、Ｃ_Tｃ（ｘ，ｙ，Ｒ）は、いずれもＲ，Ｇ，ＢのうちのＲの画像データを示していている。なお、変数ｘ、ｙは、その輝度信号レベルを持つ画素の座標を示している。Ａ_NTｃ（ｘ，ｙ，Ｒ）、Ｂ_NTｃ（ｘ，ｙ，Ｒ）、Ｃ_NTｃ（ｘ，ｙ，Ｒ）、Ａ_Tａ（ｘ，ｙ，Ｒ）、Ｂ_Tｂ（ｘ，ｙ，Ｒ）、Ｃ_Tｃ（ｘ，ｙ，Ｒ）の関係は、以下の式で表される。
【００２３】
Ａ_NTｃ（ｘ，ｙ，Ｒ）＝Ａ_Tａ（ｘ，ｙ，Ｒ）・（Ｔｃ／Ｔａ）
Ｂ_NTｃ（ｘ，ｙ，Ｒ）＝Ｂ_Tｂ（ｘ，ｙ，Ｒ）・（Ｔｃ／Ｔｂ）
Ｃ_NTｃ（ｘ，ｙ，Ｒ）＝Ｃ_Tｃ（ｘ，ｙ，Ｒ）
上記した式は、Ｇ、Ｂの画像についても同様に成立する。
【００２４】
画像合成部１０５は、正規化部１０４において正規化された画像データＡ、Ｂ、Ｃを合成する。合成は、一の撮影対象を異なる露光量で撮影して得られる画像データＡ、Ｂ、Ｃについて、画像Ａの少なくとも一部の範囲に対応する画像データＡと、画像Ｂのうち、この範囲と一致する範囲に対応する画像データＢと、画像Ｃのうち、この範囲と一致する範囲に対応する画像データＣとを合成することによって行われる。
【００２５】
なお、実施形態１では、画像データＡは画像Ａの全領域（全部）を生成するものである。したがって、画像データＢ、画像データＣも、それぞれ画像Ａの全領域に対応する画像データである。
すなわち、実施形態１では、正規化された各画像データＡ、Ｂ、Ｃを、画像における座標が一致する輝度信号レベルを足し合わせることによって合成する。ただし、実施形態１は、このような構成に限定されるものでなく、各画像データに重み付けをして加算するものであってもよい。あるいは加算以外の他の演算を使って合成するものであってもよい。
【００２６】
階調調整部１０６は、合成された輝度信号レベルを、ＣＣＤカメラ１０１の特性を考慮して調整する。すなわち、画像合成部１０５によって合成された画像データＡ、Ｂ、Ｃは、輝度信号レベルが入射光量に対して直線性を有していない。図５は、画像データＡ、Ｂ、Ｃの輝度信号レベルを合成した輝度信号レベルを示した図である。合成は、画像データＡ、Ｂ、ＣのＲの輝度信号レベルを加算して平均化（１／３を乗じた）することによって行っている。
【００２７】
図６は、階調調整部１０６によって行われる輝度信号レベルの調整を説明するための図である。階調調整部１０６は、図５に示した輝度信号レベルの出力特性を、図６（ａ）に示したＬＵＴ（Look-Up Table）テーブルを参照して調整する。図示したＬＵＴは、横軸に階調調整部１０６に入力される輝度信号レベル値を、縦軸に階調調整部１０６から出力される輝度信号レベル値を示している。
【００２８】
このようなＬＵＴは、入力された輝度信号レベルが高くなるに連れて大きい値にして出力するよう調整するものである。ＬＵＴによれば、ＣＣＤカメラ１０１から出力される輝度信号レベル値が、入射光量が大きくなるに連れて小さい値となる傾向を調整することができる。
図６（ｂ）は、（ａ）に示したＬＵＴを参照して調整された図５に示した輝度信号レベルを示している。図示したように、調整後の輝度信号レベルは、入射光量に対して好適な直線性を有している。このような処理を、実施形態１では、リニア化とも記す。
【００２９】
以上述べた構成において、ＣＣＤカメラ１０１は画像データ取得手段として機能する。ＣＣＤカメラ１０１は、ＣＣＤ２０１ａを含むセンサセルアレイ２０１が電気信号に変換して出力したデータを画像データとして取得していて、ＣＣＤ２０１ａが光電変換素子、センサセルアレイ２０１が撮像手段として機能する。また、正規化部１０４は正規化手段、画像合成部１０５は画像合成手段、階調調整部１０６は特性調整手段として機能する。
【００３０】
実施形態１では、輝度信号レベルを全入射光のレベルで合成しているので、入射光量の境界で輝度信号レベルに不連続性が発生することがない。
また、図５に示した合成された輝度信号レベルに１０％の誤差が生じた場合にも、リニア化によって図７に示す出力特性が得られる。図７に示した出力特性は、多少の不連続性を有してはいるものの、その程度は図１１（ｅ）に示した不連続性に比べて充分小さいことが分かる。
【００３１】
図８は、以上述べた実施形態１の画像処理装置で実行される画像処理方法及びコンピュータプログラムを説明するためのフローチャートである。このフローチャートは、正規化部１０４、画像合成部１０５、階調調整部１０６によって実行される。
実施形態１では、先ず、正規化部１０４が、メモリ１０３ａから画像データＡ、Ｂ、ＣのＲ信号を入力する（Ｓ８０１）。そして、入力された画像データを各々正規化する。画像合成部１０５は、正規化された画像データＡ、Ｂ、Ｃを合成し（Ｓ８０３）、階調調整部１０６が図６（ａ）に示したＬＵＴを参照してリニア化する（Ｓ８０４）。
【００３２】
正規化部１０４の図示しない制御部が、以上の画像処理をＲ、Ｇ、Ｂの全てについて完了したか否か判断し（Ｓ８０５）、完了していない場合には（Ｓ８０５：Ｎｏ）、画像データＡ、Ｂ、Ｃの未処理の信号を入力して画像処理を繰り返す。また、Ｒ、Ｇ、Ｂの全てについて画像処理が完了した場合（Ｓ８０５：Ｙｅｓ）、図示したフローチャートは終了する。
【００３３】
以上述べた実施形態１は、露光量の異なる画像同士の境界が生じ得ないので、擬似輪郭の発生をより完全に防ぐことができる。また、画像の合成に先立って画像データを正規化しているので、画像データＡ、Ｂ、Ｃの値が合成画像に与える影響を均一にすることができる。
また、センサセルアレイ２０１は、一般的に露光量に応じてその出力特性が変化することが知られている。実施形態１では、合成後の画像データをリニア化しているため、出力特性の変化が画像データに与える影響を低減して画像品質の高い合成画像を生成することができる。
【００３４】
なお、以上述べた実施形態１の画像処理方法は、画像のデータを預かってプリントする、いわゆるプリントサービスを提供する場で実施することも可能である。
さらに、以上述べた実施形態１は、ＣＣＤカメラ１０１が取得した画像データＡ、Ｂ、Ｃの全てを使って合成画像データを生成するものとしたが、実施形態１はこのような構成に限定されるものでなく、取得された画像データのうちの少なくとも一部の画像データを合成するものであってもよい。
【００３５】
（実施形態２）
次に、本発明の実施形態２について説明する。実施形態２の画像処理装置は、実施形態１が画像データＡ、Ｂ、Ｃの全部を合成していたのに対し、画像データＡ、Ｂ、Ｃの一部を合成し、他の部分を標準的な露光時間で露光した画像データを使って一の画像を生成するものである。
【００３６】
図９は、実施形態２の概念を説明するための図である。図示した例では、画像データＡによって生成された撮影画像９０１Ａ、画像データＢによって生成された撮影画像９０１Ｂ、画像データＣによって生成された撮影画像９０１Ｃの一部（HDR(High Dynamic Range）合成用画像）をＨＤＲ合成して一の合成画像９０１Ｄを生成する。また、撮影画像９０１Ａ、Ｂ、ＣのＨＤＲ合成用画像以外の部分を標準露光時間で撮影された撮影画像９０１Ｂを使用して合成画像を生成している。
【００３７】
図１０は、実施形態２の画像処理装置の構成を説明するための図である。図示した構成のうち、図１で説明した構成と同様の構成については同様の符号を付し、説明を一部略すものとする。
実施形態２の画像処理装置は、ＣＣＤカメラ１０１によって取得され、メモリ１０３ａ、１０３ｂ、１０３ｃに蓄積された画像データＡ、Ｂ、Ｃをそれぞれ分割する領域分割部１１１、分割された画像データを再び結合する領域合成部１１２を備えている。
画像合成部１０５は、分割された画像データＡ、Ｂ、Ｃの一部であるＨＤＲ合成用画像を合成し、領域合成部１１２は、画像合成部１０５によって合成された画像データＡ、Ｂ、Ｃの一部と、合成されなかった画像データＡ、Ｂ、Ｃのいずれかと、を結合する構成である。
【００３８】
領域分割部１１１は、画像データＡ、Ｂ、Ｃを、撮影画像の領域ごとに分割する。分割は、例えば、標準画像において白とびや黒く潰れる画素が生じる、つまり入射光量の変化が大きい画像の領域と、比較的入射光量の変化が小さい画像の領域とに分割するように行われる。
入射光量の変化が大きい領域の画像データは、正規化部１０４、画像合成部１０５、階調調整部１０６によって正規化、合成、リニア化された後、領域合成部１１２に入力する。一方、入射光量の変化が小さい領域の標準露光時間で撮影された画像の画像データは、そのまま領域合成部１１２に入力する。
【００３９】
領域合成部１１２は、合成された画像データと標準露光時間で撮影された画像の画像データとを合成する。この合成は、輝度合成部のように輝度信号レベルを足し合わせるものでない。すなわち、合成画像の一部の領域の座標が合成された輝度信号レベルに対応付けられ、他の領域の座標が標準露光時間の輝度信号レベルに対応付けられる。このような合成によれば、一部がＨＤＲ合成画像であって、他の部分が標準露光時間で撮影された画像である合成画像が形成できる。
以上述べた実施形態２は、一の画像の一部だけを合成画像とすることができる。このため、画像の必要な部分（例えば人間の顔の部分）だけを合成画像にすることによって画像品質を保ちながら、合成の処理を効率化することができる。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施形態１の画像処理装置の構成を説明するための図である。
【図２】図１に示したＣＣＤカメラに搭載されるＣＣＤを含むセンサセルアレイを示した図である。
【図３】画像データの正規化について説明するための図であって、全入射光量の範囲に対応する輝度信号レベルを０〜２５６の輝度信号レベルに割り付けた状態を示した図である。
【図４】画像データの正規化について説明するための図であって、最も長い露光時間に合わせて他の画像データを正規化した状態を示した図である。
【図５】画像データＡ、Ｂ、Ｃの輝度信号レベルを合成した輝度信号レベルを示した図である。
【図６】図１に示した階調調整部によって行われる輝度信号レベルの調整を説明するための図である。
【図７】本発明の実施形態１においてリニア化された出力特性を示した図である。
【図８】本発明の実施形態１の画像処理装置で実行されるコンピュータプログラムを説明するためのフローチャートである。
【図９】本発明の実施形態２の概念を説明するための図である。
【図１０】本発明の実施形態２の画像処理装置の構成を説明するための図である。
【図１１】一般的な擬似輪郭の発生について説明するための図である。
【符号の説明】
【００４１】
１０１  ＣＣＤカメラ、１０２  スイッチ、１０３ａ、１０３ｂ、１０３ｃ  メモリ、１０４  正規化部、１０５  画像合成部、１０６  階調調整部、１０７  表示部、１０８  画像保存部、１１１  領域分割部、１１２  領域合成部、２０１  センサセルアレイ、２０１ａ  ＣＣＤ
【図１】
2008276482.tif 000003
【図２】
2008276482.tif 000004
【図３】
2008276482.tif 000005
【図４】
2008276482.tif 000006
【図５】
2008276482.tif 000007
【図６】
2008276482.tif 000008
【図７】
2008276482.tif 000009
【図８】
2008276482.tif 000010
【図９】
2008276482.tif 000011
【図１０】
2008276482.tif 000012
【図１１】
2008276482.tif 000013