(57)【要約】【課題】画像合成を行う際の利便性を大幅に向上させることが可能な撮像装置、画像合成方法及び画像合成プログラムを提供する。【解決手段】基画像ＹＣデータをベイヤデータに変換し（ステップＳＤ１）、この変換したベイヤデータを逆ガンマ変換する（ステップＳＤ２）。また、合成対象である撮影画像ＹＣデータもベイヤデータに変換し（ステップＳＤ３）、この変換したベイヤデータを逆ガンマ変換する（ステップＳＤ４）。次に、これら逆ガンマ変換された基画像ベイヤデータと撮影画像ベイヤデータとを加算し（ステップＳＤ５）、この加算したベイヤデータの上限値をクリップする（ステップＳＤ６）。さらに、この上限値をクリップした加算後のベイヤデータに対して画素補間とガンマ変換を施し（ステップＳＤ７、８）、ガンマ変換したベイヤデータをＹＣデータに変換する（ステップＳＤ９）。【選択図】　　　　図５
2004048663.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し、カラー画像データを出力する撮像手段と、
この撮像手段から出力されたカラー画像データに対して所定の色処理を実行する色処理手段と、
この色処理手段により前記所定の色処理が施されたカラー画像データを所定の色処理が施される前の状態のカラー画像データに変換する変換手段と、
前記所定の色処理が施されていないカラー画像データを取得する取得手段と、
前記変換手段により変換されたカラー画像データと前記取得手段により取得されたカラー画像データとを合成する合成手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記色処理手段により所定の色処理が施されたカラー画像データを記憶する記憶手段を備え、
前記変換手段は、この記憶手段に記憶されているカラー画像データを所定の色処理が施される前の状態のカラー画像データに変換することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記記憶手段は、前記色処理手段により所定の色処理が施されたカラー画像データを複数記憶し、
前記記憶手段に記憶されている複数のカラー画像データの中から任意のカラー画像データを選択する選択手段を備え、
前記変換手段は、この選択手段により選択されたカラー画像データを所定の色処理が施される前の状態のカラー画像データに変換することを特徴とする請求項２記載の撮像装置。
【請求項４】
前記取得手段は、前記撮像手段から出力され、前記色処理手段により所定の色処理が施される前のカラー画像データを取得することを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
【請求項５】
前記取得手段は、前記変換手段により所定の色処理が施される前の状態に変換されたカラー画像データを取得することを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
【請求項６】
前記合成手段により合成された合成カラー画像データを記憶する記憶手段を備えることを特徴とする請求項１記載の撮像装置。
【請求項７】
前記合成手段により合成された合成カラー画像データを表示する表示手段を備えることを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
【請求項８】
前記撮像手段から出力されたカラー画像データに対してエッジ強調処理を実行するエッジ強調処理手段と、
このエッジ強調処理手段によりエッジ強調処理が施されたカラー画像データに対して高周波成分を抑制するフィルタ処理を施すフィルタ処理手段とを備え、
前記合成手段は、前記フィルタ処理手段によるフィルタ処理と前記変換手段による変換処理とが施されたカラー画像データと前記取得手段により取得されたカラー画像データとを合成することを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
【請求項９】
前記取得手段は、前記所定の色処理およびエッジ強調処理が施されていないカラー画像データを取得することを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記取得手段は、前記撮像手段から出力され、前記フィルタ処理手段によるフィルタ処理と前記変換手段による変換処理とが施される前のカラー画像データを取得することを特徴とする請求項９記載の撮像装置。
【請求項１１】
前記合成手段により合成された合成画像データに対してエッジ強調処理を施すエッジ強調手段を備えることを特徴とする請求項８乃至１０のいずれかに記載の撮像装置。
【請求項１２】
前記色処理手段は、前記合成手段により合成された合成カラー画像データに対して所定の色処理を実行する手段を含むことを特徴とする請求項１乃至１１のいずれかに記載の撮像装置。
【請求項１３】
前記所定の色処理は、ガンマ補正処理を含むことを特徴とする請求項１乃至１２のいずれかに記載の撮像装置。
【請求項１４】
前記所定の色処理は、ベイヤデータを輝度・色差データに変換する処理を含むことを特徴とする請求項１乃至１３のいずれかに記載の撮像装置。
【請求項１５】
前記所定の色処理は、画素補間処理を含むことを特徴とする請求項１乃至１３のいずれかに記載の撮像装置。
【請求項１６】
被写体を撮像し、得られたカラー画像データに対して所定の色処理を実行する撮像装置のコンピュータに実行させる画像合成プログラムであって、
前記所定の色処理が施されたカラー画像データを所定の色処理が施される前の状態のカラー画像データに変換する変換手順と、
この変換手順により変換されたカラー画像データと、前記所定の色処理が施されていないカラー画像データとを合成する合成手順と
をコンピュータに実行させることを特徴とする画像合成プログラム。
【請求項１７】
被写体を撮像する撮像工程と、
この撮像工程で得られたカラー画像データに対して所定の色処理を実行する色処理工程と、
この色処理工程で前記所定の色処理が施されたカラー画像データを所定の色処理が施される前の状態のカラー画像データに変換する変換工程と、
この変換工程で変換されたカラー画像データと、前記所定の色処理が施されていないカラー画像データとを合成する合成工程と
を含むことを特徴とする画像合成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像の合成を行う撮像装置、画像合成方法及び画像合成プログラムに関する。
【０００２】
【従来の技術】
近年、撮像して記録した画像データ同士を合成して合成画像データを生成し、記録する機能を備えたデジタルカメラが一般に普及している。こうしたデジタルカメラでは、固体撮像素子の一種であるＣＣＤから出力されたＣＣＤデータに対して、画素補間処理、ガンマ補正処理、ホワイトバランス処理、エッジ強調処理、ＹＣデータ変換処理（ＣＣＤデータを輝度信号Ｙ及び色差信号ＣとからなるＹＣデータに変換する処理）といった色処理（カラープロセス）を施した後、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔ　Ｇｒｏｕｐ）等の所定のフォーマットでフラッシュメモリ等の記録媒体に記録している。そして、画像データを合成するに際しては、フラッシュメモリから合成対象となる第１の画像データと第２の画像データとを読み出し、伸張してから画像データ同士で合成を行い、合成画像データを生成するのである。
【０００３】
【発明が解決しようとする課題】
しかしながら、このように各種の色処理が施された後の画像データ同士で合成を行って合成画像データを生成すると、画像の明るい箇所が白くつぶれてしまうか、逆に暗い箇所が更に暗くなってしまう等の色のつぶれによる画質の劣化が生じてしまったり、画像の合成処理のために多くのメモリ容量を必要としてしまうといった問題が生じてしまう。
【０００４】
本発明は、かかる従来の課題に鑑みてなされたものであり、画像合成を行う際の利便性を大幅に向上させることが可能な撮像装置、画像合成方法及び画像合成プログラムを提供することを目的とするものである。
【０００５】
【課題を解決するための手段】
前記課題を解決するために請求項１記載の発明にあっては、被写体を撮像し、カラー画像データを出力する撮像手段と、この撮像手段から出力されたカラー画像データに対して所定の色処理を実行する色処理手段と、この色処理手段により前記所定の色処理が施されたカラー画像データを所定の色処理が施される前の状態のカラー画像データに変換する変換手段と、前記所定の色処理が施されていないカラー画像データを取得する取得手段と、前記変換手段により変換されたカラー画像データと前記取得手段により取得されたカラー画像データとを合成する合成手段とを備える。
【０００６】
また、請求項２記載の発明にあっては、前記色処理手段により所定の色処理が施されたカラー画像データを記憶する記憶手段を備え、前記変換手段は、この記憶手段に記憶されているカラー画像データを所定の色処理が施される前の状態のカラー画像データに変換する。
【０００７】
また、請求項３記載の発明にあっては、前記記憶手段は、前記色処理手段により所定の色処理が施されたカラー画像データを複数記憶し、前記記憶手段に記憶されている複数のカラー画像データの中から任意のカラー画像データを選択する選択手段を備え、前記変換手段は、この選択手段により選択されたカラー画像データを所定の色処理が施される前の状態のカラー画像データに変換する。
【０００８】
また、請求項４記載の発明にあっては、前記取得手段は、前記撮像手段から出力され、前記色処理手段により所定の色処理が施される前のカラー画像データを取得する。
【０００９】
また、請求項５記載の発明にあっては、前記取得手段は、前記変換手段により所定の色処理が施される前の状態に変換されたカラー画像データを取得する。
【００１０】
また、請求項６記載の発明にあっては、前記合成手段により合成された合成カラー画像データを記憶する記憶手段を備える。
【００１１】
また、請求項７記載の発明にあっては、前記合成手段により合成された合成カラー画像データを表示する表示手段を備える。
【００１２】
また、請求項８記載の発明にあっては、前記撮像手段から出力されたカラー画像データに対してエッジ強調処理を実行するエッジ強調処理手段と、このエッジ強調処理手段によりエッジ強調処理が施されたカラー画像データに対して高周波成分を抑制するフィルタ処理を施すフィルタ処理手段とを備え、前記合成手段は、前記フィルタ処理手段によるフィルタ処理と前記変換手段による変換処理とが施されたカラー画像データと前記取得手段により取得されたカラー画像データとを合成する。
【００１３】
また、請求項９記載の発明にあっては、前記取得手段は、前記所定の色処理およびエッジ強調処理が施されていないカラー画像データを取得する。
【００１４】
また、請求項１０記載の発明にあっては、前記取得手段は、前記撮像手段から出力され、前記フィルタ処理手段によるフィルタ処理と前記変換手段による変換処理とが施される前のカラー画像データを取得する。
【００１５】
また、請求項１１記載の発明にあっては、前記合成手段により合成された合成画像データに対してエッジ強調処理を施すエッジ強調手段を備える。
【００１６】
また、請求項１２記載の発明にあっては、前記色処理手段は、前記合成手段により合成された合成カラー画像データに対して所定の色処理を実行する手段を含む。
【００１７】
また、請求項１３記載の発明にあっては、前記所定の色処理は、ガンマ補正処理を含む。
【００１８】
また、請求項１４記載の発明にあっては、前記所定の色処理は、ベイヤデータを輝度・色差データに変換する処理を含む。
【００１９】
また、請求項１５記載の発明にあっては、前記所定の色処理は、画素補間処理を含む。
【００２０】
また、請求項１６記載の発明にあっては、被写体を撮像し、得られたカラー画像データに対して所定の色処理を実行する撮像装置のコンピュータに実行させる画像合成プログラムであって、前記所定の色処理が施されたカラー画像データを所定の色処理が施される前の状態のカラー画像データに変換する変換手順と、この変換手順により変換されたカラー画像データと、前記所定の色処理が施されていないカラー画像データとを合成する合成手順とをコンピュータに実行させる。また、請求項１７記載の発明にあっては、被写体を撮像する撮像工程と、この撮像工程で得られたカラー画像データに対して所定の色処理を実行する色処理工程と、この色処理工程で前記所定の色処理が施されたカラー画像データを所定の色処理が施される前の状態のカラー画像データに変換する変換工程と、この変換工程で変換されたカラー画像データと、前記所定の色処理が施されていないカラー画像データとを合成する合成工程とを含む。
【００２１】
【発明の実施の形態】
（第１の実施の形態）
以下、本発明の第１の実施の形態を図に従って説明する。図１は、各実施の形態に共通するデジタルカメラの電気的な回路構成を示すブロック図である。このデジタルカメラは、光学レンズ１、この光学レンズ１により結像されるＣＣＤ等の撮像素子２と、撮像素子２及び後述するユニット回路４を駆動するためのＴＧ３と、撮像素子２から出力された撮像信号を保持するＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ）、その撮像信号を増幅するＡＧＣ（Ａｕｔｏ　Ｇａｉｎ　Ｃｏｎｔｒｏｌ）アンプ、増幅後の撮像信号をデジタル信号に変換するＡ／Ｄ変換器（ＡＤ）とからなるユニット回路４を有している。なお、前述した撮像素子２はその前面に原色ベイヤ配列の色（ＲＧＢ）フィルタが配置されている。
【００２２】
そして、被写体の像が光学レンズ１を介して撮像素子２上に結像され、撮像素子２は信号を出力する。この撮像素子２から出力された信号は、ユニット回路４にて、サンプリング、増幅、デジタル化されてベイヤデータ（ＲＧＢデータ）のまま、画像処理回路／ＣＰＵ６に送られて、画像処理回路／ＣＰＵ６の処理により各種の信号処理（色処理を含む）及び画像処理が施される。
【００２３】
前記光学レンズ１は、ＡＦモータ等を備えるレンズ駆動回路５に保持されており、前記光学レンズ１は、レンズ駆動回路５が画像処理回路／ＣＰＵ６の制御により駆動されることにより光軸方向に移動し、撮像素子２に結像される被写体像のフォーカスを調整する。また、ＡＥ制御時には、撮像素子２が、画像処理回路／ＣＰＵ６から送られるシャッターパルスに基づきＴＧ３によって駆動され、その電荷蓄積時間を制御される。これにより電子シャッターが実現される。
【００２４】
画像処理回路／ＣＰＵ６は各種の信号処理、及び画像処理機能を備えたものであり、撮像待機時には、ユニット回路４を経てデジタル信号に変換された撮像信号からビデオ信号を生成し、撮像素子２によって撮像した被写体像をスルー画像としてＴＦＴ液晶モニタ等からなる表示装置７に表示させる。また、撮像時には、撮像信号を圧縮してＪＰＥＧフォーマットのＹＣデータからなる画像ファイルを生成し、それをフラッシュメモリ等からなる着脱自在な外部メモリ８に記憶させ、再生時には圧縮した画像ファイルを外部メモリ８から読み出し伸張して表示装置７に表示させる。
【００２５】
さらに、画像処理回路／ＣＰＵ６には、電源スイッチ、シャッターキー、スクロールキー、セットキー等の各種のスイッチを含む操作キー部９、メモリ１０、プログラムＲＯＭ１１が接続されている。メモリ１０は、後述する画像合成処理等における作業領域として使用されるワークＲＡＭである。プログラムＲＯＭ１１は、画像処理回路／ＣＰＵ６による各部の制御及び各種データ処理に必要な動作プログラム、すなわち後述するフローチャートに示す処理を実行するためのプログラム等が記憶されている。
【００２６】
次に、以上の構成からなるデジタルカメラの動作を図２〜図５に示すフローチャートに従って説明する。これらのフローチャートは、既に撮像されてＹＣデータの状態で外部メモリ８に保存されている基画像の画像データ（以下、基画像ＹＣデータという）に、シャッターキーの操作により撮像素子２で取り込まれ外部メモリ８に記憶される前の撮像画像の画像データ（以下、撮影画像ＹＣデータという）を合成する場合を示すものである。
【００２７】
前記画像処理回路／ＣＰＵ６は前記プログラムに基づき、図２に示す全体概略フローに従って処理を実行し、外部メモリ８から合成対象となる基画像ＹＣデータを読み出し伸張してメモリ１０上に展開する（ステップＳＡ１）。また、シャッターキーの操作に伴って撮像素子２により撮像され、ユニット回路４から出力されたベイヤデータ（以下、撮影画像ベイヤデータという）を取り込み（ステップＳＡ２）、後述するようにこの撮影画像ベイヤデータに基づく撮影画像ＹＣデータの生成処理（色処理）等を行う（ステップＳＡ３）。さらに、後述する多重（合成）画像ＹＣデータ生成処理を行った後（ステップＳＡ４）、この多重画像ＹＣデータ生成処理により得られた画像データ（以下、多重画像ＹＣデータという。）を表示装置７に表示すると同時にメモリ１０あるいは外部メモリ８に保存する（ステップＳＡ５）。
【００２８】
図３は、前記ステップＳＡ３の撮影画像ＹＣデータ生成処理（色処理）の詳細を示すフローチャートである。先ず、シャッターキーの操作に伴って撮像素子２で撮像されユニット回路４から出力され、メモリ１０に一時記憶されている撮影画像ベイヤデータの処理対象点座標を示す値として初期値を設定する（ステップＳＢ１）。引き続き、撮影画像ベイヤデータからこの初期値が示す処理対象点データ及びその周囲点データを読み出す（ステップＳＢ２）。次に、この読み出した処理対象点データ及びその周囲点データに基づき画素補間処理を行い（ステップＳＢ３）、続いて画素補間後のデータに対して、ガンマ変換（ガンマ補正）処理（ステップＳＢ４）、エッジ強調処理（ステップＳＢ５）を順次行った後、ベイヤデータからＹＣデータへの変換処理（ステップＳＢ６）を行い、当該処理対象点における（１ｐｉｘ当たりの）撮影画像ＹＣデータをメモリ１０に書き込む（ステップＳＢ７）。
【００２９】
更に、撮影画像ベイヤデータの全ての点（ｐｉｘ）に対して以上のステップＳＢ２〜ステップＳＢ７の処理を終了したか否かを判断する（ステップＳＢ８）。全ての点に対する処理が終了していなければ（ステップＳＢ８；ＮＯ）、処理対象点座標を示す値を更新した後（ステップＳＢ９）、この更新した値が示す処理対象点に対してステップＳＢ２〜ステップＳＢ７の処理を実行する。そして、撮影画像ベイヤデータの全ての点に対して以上のステップＳＢ２〜ステップＳＢ７の処理を終了したならば、この図３に示したフローに従った処理を終了する。
【００３０】
図４は、前記ステップＳＡ４の多重画像ＹＣデータ生成処理の詳細を示すフローチャートである。先ず、処理対象点座標を示す値として初期値を設定し（ステップＳＣ１）、基画像ＹＣデータからこの初期値が示す処理対象点データを読み出す（ステップＳＣ２）。また、撮影画像ＹＣデータからもこの初期値が示す処理対象点データを読み出し（ステップＳＣ３）、後述する図５に示すフローチャートに従って多重演算処理を実行し（ステップＳＣ４）、当該処理対象点における多重化されたＹＣデータをメモリ１０に書き込む（ステップＳＣ５）。
【００３１】
次に、基画像ＹＣデータ及び撮影画像ＹＣデータの全ての点に対して以上のステップＳＣ２〜ステップＳＣ５の処理を終了したか否かを判断する（ステップＳＣ６）。全ての点に対する処理が終了していなければ（ステップＳＣ６；ＮＯ）、処理対象点座標を示す値を更新した後（ステップＳＣ７）、この更新した値が示す処理対象点に対してステップＳＣ２〜ステップＳＣ５の処理を実行する。そして、基画像ＹＣデータ及び撮影画像ＹＣデータの全ての点に対して以上のステップＳＣ２〜ステップＳＣ５の処理を終了したならば、この図４に示したフローに従った処理を終了する。
【００３２】
図５は、図４に示したステップＳＣ４の多重演算処理を詳細に示すフローチャートである。先ず、前記処理対象点における基画像ＹＣデータをベイヤデータに変換し（ステップＳＤ１）、この変換した処理対象点のベイヤデータを逆ガンマ変換する（ステップＳＤ２）。すなわち、既にガンマ補正が施され非線形性を有しているデータに対して線形性を持たせる処理を実行することによりガンマ補正前の状態の戻す。また、前記処理対象点における撮影画像ＹＣデータもベイヤデータに変換し（ステップＳＤ３）、この変換した処理対象点のベイヤデータを逆ガンマ変換する（ステップＳＤ４）。次に、これら逆ガンマ変換された処理対象点における基画像のベイヤデータと撮影画像のベイヤデータとを加算し（ステップＳＤ５）、加算後のベイヤデータの上限値をクリップする（ステップＳＤ６）。さらに、この上限値をクリップしたベイヤデータに対して画素補間処理を実行した後（ステップＳＤ７）、ガンマ変換し（ステップＳＤ８）、ガンマ変換したベイヤデータをＹＣデータに変換する（ステップＳＤ９）。
【００３３】
したがって、この図５のフローチャートに示した処理が図４のステップＳＣ４で実行されることにより、基画像ＹＣデータと撮影画像ＹＣデータの全ての点がベイヤデータ変換及び逆ガンマ変換されてから加算された後、画素補間、ガンマ変換されてＹＣデータからなる多重画像ＹＣデータ（合成画像データ）が生成されることとなる。
【００３４】
よって、以上の図２〜図５に示したフローチャートに示した処理が実行されると、例えば画像サイズを２０４８×１５６８ｐｉｘ、各ＹＣデータのフォーマットをＹｃｂＣｒ各１バイトで４：２：２、ベイヤデータを１Ｂｙｔｅ／ｐｉｘとすると、図６に示したようにメモリ１０においては、基画像ＹＣデータを展開した際に６ＭＢ（１０ａ）、撮影画像ベイヤデータを記憶させた際に３ＭＢ（１０ｂ）、撮影画像ベイヤデータを撮影画像ＹＣデータに変換する際に６ＭＢ（１０ｃ）、多重画像ＹＣデータに変換する際に６ＭＢ（１０ｄ）を各々要する。よって、メモリ１０に２１ＭＢの容量があれば、基画像ＹＣデータと撮影画像ＹＣデータとに基づき、多重画像ＹＣデータを生成することができる。また、多重画像ＹＣデータを撮影画像ＹＣデータ上に上書きした場合には（１０ｅ）、メモリ１０に１５ＭＢの容量があれば、基画像ＹＣデータと撮影画像ＹＣデータとに基づき、多重画像ＹＣデータを生成することができる。よって、従来よりも少ないメモリ容量で画像合成を行うことができる。
【００３５】
さらに、図２〜図５のフローチャートに示したように、画像合成を行う際、既にガンマ補正が施されている基画像ＹＣデータ及び撮影画像ＹＣデータに対して逆ガンマ補正を施してから両ＹＣデータを合成するようにしたので、従来、画質の劣化を回避するために必要であった、多くのメモリ容量を要すると同時に補正演算処理に時間を要する画像の補正処理を行うことなく、単純で短時間の処理により画質の劣化のない画像合成を行うことができる。
【００３６】
なお、本実施形態においては、予め保存されている基画像と保存前の撮影画像とを合成するようにしたが、基画像同士つまり既に外部メモリ８に保存記録されている画像同士を合成することも可能である。
（第２の実施の形態）
図７は、本発明の第２の実施の形態において、既に撮像されてＹＣデータの状態で外部メモリ８に保存されている第１の基画像ＹＣデータと第２の基画像ＹＣデータを合成する場合を示すものである。
【００３７】
前記画像処理回路／ＣＰＵ６は前記プログラムに基づき、図７に示す全体概略フローに従って処理を実行する。
【００３８】
先ず、外部メモリ８から合成対象となる第１の基画像ＹＣデータを選択して読み出し伸張してメモリ１０上に展開する（ステップＳＡ１１）。例えば、外部メモリ８に記録されている複数のＹＣデータをスクロールキー操作に応じて表示装置７に順次切り換え表示させ、合成を希望するＹＣデータが表示された時点でセットキーを操作することにより第１の基画像ＹＣデータを選択する。続いて、外部メモリ８から合成対象となる第２の基画像ＹＣデータを選択して読み出し伸張してメモリ１０上に展開し（ステップＳＡ１２）、多重（合成）画像ＹＣデータ生成処理を行った後（ステップＳＡ１３）、この多重画像ＹＣデータ生成処理により得られた多重画像ＹＣデータをメモリ１０あるいは外部メモリ８に保存する（ステップＳＡ１４）。
【００３９】
図８は、前記ステップＳＡ１３の多重画像ＹＣデータ生成処理の詳細を示すフローチャートである。先ず、処理対象点座標を示す値として初期値を設定し（ステップＳＣ１１）、第１の基画像ＹＣデータからこの初期値が示す処理対象点データを読み出す（ステップＳＣ１２）。また、第２の基画像ＹＣデータからもこの初期値が示す処理対象点データを読み出し（ステップＳＣ１３）、後述する図９に示すフローチャートに従って多重演算処理を実行し（ステップＳＣ１４）、当該処理対象点における多重化されたＹＣデータをメモリ１０に書き込む（ステップＳＣ５）。
【００４０】
次に、第１の基画像ＹＣデータ及び第２の基画像ＹＣデータの全ての点に対して以上のステップＳＣ１２〜ステップＳＣ１５の処理を終了したか否かを判断する（ステップＳＣ１６）。全ての点に対する処理が終了していなければ（ステップＳＣ１６；ＮＯ）、処理対象点座標を示す値を更新した後（ステップＳＣ１７）、この更新した値が示す処理対象点に対してステップＳＣ１２〜ステップＳＣ１５の処理を実行する。そして、第１の基画像ＹＣデータ及び第２の基画像ＹＣデータの全ての点に対して以上のステップＳＣ１２〜ステップＳＣ１５の処理を終了したならば、この図８に示したフローに従った処理を終了する。
【００４１】
図９は、図８に示したステップＳＣ１４の多重演算処理を詳細に示すフローチャートである。先ず、前記処理対象点における第１の基画像ＹＣデータをベイヤデータに変換し（ステップＳＤ１１）、この変換した処理対象点のベイヤデータを逆ガンマ変換する（ステップＳＤ１２）。すなわち、既にガンマ補正が施され非線形性を有しているデータに対して線形性を持たせる処理を実行することによりガンマ補正前の状態の戻す。また、前記処理対象点における第２の基画像ＹＣデータもベイヤデータに変換し（ステップＳＤ１３）、この変換した処理対象点のベイヤデータを逆ガンマ変換する（ステップＳＤ１４）。次に、これら逆ガンマ変換された処理対象点における第１の基画像のベイヤデータと第２の基画像のベイヤデータとを加算し（ステップＳＤ１５）、加算後のベイヤデータの上限値をクリップする（ステップＳＤ１６）。さらに、この上限値をクリップしたベイヤデータに対して画素補間処理を実行した後（ステップＳＤ１７）、ガンマ変換し（ステップＳＤ１８）、ガンマ変換したベイヤデータをＹＣデータに変換する（ステップＳＤ１９）。
【００４２】
したがって、この図９のフローチャートに示した処理が図８のステップＳＣ１４で実行されることにより、第１の基画像ＹＣデータと第２の基画像ＹＣデータの全ての点がベイヤデータ変換及び逆ガンマ変換されてから加算された後、画素補間、ガンマ変換されてＹＣデータからなる多重画像ＹＣデータ（合成画像データ）が生成されることとなる。
【００４３】
よって、以上の図７〜図９に示したフローチャートに示した処理が実行されると、例えば画像サイズを２０４８×１５６８ｐｉｘ、各ＹＣデータのフォーマットをＹｃｂＣｒ各１バイトで４：２：２、ベイヤデータを１Ｂｙｔｅ／ｐｉｘとすると、メモリ１０においては、第１の基画像ＹＣデータを展開した際に６ＭＢ、第２の基画像ＹＣデータを展開した際に６ＭＢ、多重画像ＹＣデータに変換する際に６ＭＢを各々要する。よって、メモリ１０に１８ＭＢの容量があれば、第１の基画像ＹＣデータと第２の基画像ＹＣデータとに基づき、多重画像ＹＣデータを生成することができる。また、多重画像ＹＣデータを第１あるいは第２の基画像ＹＣデータ上に上書きした場合には、メモリ１０に１２ＭＢの容量があれば、第１の基画像ＹＣデータと第２の基画像ＹＣデータとに基づき、多重画像ＹＣデータを生成することができる。よって、従来よりも少ないメモリ容量で画像合成を行うことができる。
【００４４】
さらに、図７〜図９のフローチャートに示したように、画像合成を行う際、既にガンマ補正が施されている第１の基画像ＹＣデータ及び第２の基画像ＹＣデータに対して逆ガンマ補正を施してから両ＹＣデータを合成するようにしたので、従来、画質の劣化を回避するために必要であった、多くのメモリ容量を要すると同時に補正演算処理に時間を要する画像の補正処理を行うことなく、単純で短時間の処理により画質の劣化のない画像合成を行うことができる。
（第３の実施の形態）
図１０〜図１３は、本発明の第３の実施の形態において、既に撮像されてＹＣデータの状態で外部メモリ８に保存されている基画像ＹＣデータに、シャッターキーの操作により撮像素子２で取り込まれ、各種の色処理が施される前の撮影画像ベイヤデータを合成する場合を示すものである。
【００４５】
前記画像処理回路／ＣＰＵ６は前記プログラムに基づき、図１０に示す全体概略フローに従って処理を実行し、外部メモリ８から合成対象となる基画像ＹＣデータを読み出し伸張してメモリ１０上に展開する（ステップＳＥ１）。また、シャッターキーの操作に伴って撮像素子２により撮像され、ユニット回路４から出力された撮影画像ベイヤデータを取り込み（ステップＳＥ２）、後述するように多重ベイヤデータ生成処理を行う（ステップＳＥ３）。さらに、多重画像ＹＣデータ生成（色処理）処理を行った後（ステップＳＥ４）、この多重画像ＹＣデータ生成（色処理）処理により得られた画像データを表示装置７に表示すると同時に外部メモリ８に保存記録する（ステップＳＥ５）。
【００４６】
図１１は、前記ステップＳＥ３の多重画像ベイヤデータ生成の詳細を示すフローチャートである。先ず、処理対象点座標を示す値として初期値を設定する（ステップＳＦ１）。引き続き、メモリ１０に展開した基画像ＹＣデータからこの初期値が示す処理対象点データを読み出す（ステップＳＦ２）。次に、シャッターキーの操作に伴って撮像素子２で撮像されユニット回路４から出力され、メモリ１０に一時記憶されている撮影画像ベイヤデータから前記初期値が示す処理対象点データを読み出す（ステップＳＦ３）。そして、この読み出した基画像ＹＣデータの処理対象点データと撮影画像ベイヤデータの処理対象点データとを用いて、後述するように、多重演算処理を行う（ステップＳＦ４）。さらに、この多重演算処理により生成された当該処理対象点における多重化されたベイヤデータをメモリ１０に書き込む（ステップＳＦ５）。
【００４７】
次に、基画像ＹＣデータ及び撮影画像ベイヤデータの全ての点に対して以上のステップＳＦ２〜ステップＳＦ５の処理を終了したか否かを判断する（ステップＳＦ６）。全ての点に対する処理が終了していなければ（ステップＳＦ６；ＮＯ）、処理対象点座標を示す値を更新した後（ステップＳＦ７）、この更新した値が示す処理対象点に対してステップＳＦ２〜ステップＳＦ５の処理を実行する。そして、基画像ＹＣデータ及び撮影画像ベイヤデータの全ての点に対して以上のステップＳＦ２〜ステップＳＦ５の処理を終了したならば、この図１１に示したフローに従った処理を終了する。
【００４８】
図１２は、図１０に示したステップＳＦ４の多重演算処理を詳細に示すフローチャートである。先ず、「基画像ＹＣ／ベイヤデータ変換」処理により、前記処理対象点における基画像ＹＣデータをベイヤデータに変換する（ステップＳＧ１）。さらに、「基画像ベイヤデータ逆ガンマ変換」処理により、処理対象点のベイヤデータを撮影画像のベイヤデータと同等に扱えるように、逆ガンマ変換する（ステップＳＧ２）。この状態での「基画像ベイヤデータ／撮影画像ベイヤデータ加算」処理により、前記処理対象点における基画像ベイヤデータと撮影画像ベイヤデータとを加算する（ステップＳＧ３）。そして、この加算後のベイヤデータの上限値をクリップして（ステップＳＧ４）、１ｐｉｘ当たりの多重演算処理を完了する。
【００４９】
したがって、この図１２のフローチャートに示した処理が図１０のステップＳＦ４で実行されることにより、基画像ＹＣデータと撮影画像ベイヤデータの全ての点（ｐｉｘ）がベイヤデータの状態で加算された多重画像ベイヤデータ（合成画像データ）が生成されることとなる。
【００５０】
そして、前述の図１０に示したフローチャートにおいて、ステップＳＥ３に続くステップＳＥ４の多重画像ＹＣデータ生成（色処理）においては、図３に示したフローチャートの処理と同一の処理を実行する。
【００５１】
すなわち、先ず、処理対象点座標を示す値として初期値を設定し（ステップＳＢ１）、多重画像ベイヤデータからこの初期値が示す処理対象点データ及びその周囲点データを読み出す（ステップＳＢ２）。次に、この読み出した処理対象点データ及びその周囲点データに基づき、画素補間処理（ステップＳＢ３）、ガンマ変換処理（ステップＳＢ４）、エッジ強調処理（ステップＳＢ５）を順次行った後、ベイヤデータからＹＣデータへの変換処理（ステップＳＢ６）を行い、当該処理対象点における（１ｐｉｘ当たりの）多重画像ＹＣデータをメモリ１０に書き込む（ステップＳＢ７）。
【００５２】
更に、多重画像ベイヤデータの全ての点（ｐｉｘ）に対して以上のステップＳＢ２〜ステップＳＢ７の処理を終了したか否かを判断する（ステップＳＢ８）。全ての点に対する処理が終了していなければ（ステップＳＢ８；ＮＯ）、処理対象点座標を示す値を更新した後（ステップＳＢ９）、この更新した値が示す処理対象点に対してステップＳＢ２〜ステップＳＢ７の処理を実行する。そして、多重画像ベイヤデータの全ての点に対して以上のステップＳＢ２〜ステップＳＢ７の処理を終了したならば、この図３に示したフローに従った処理を終了する。
【００５３】
以上の図１０〜図１２及び図３のフローチャートに示した処理が実行されると、例えば画像サイズを２０４８×１５６８ｐｉｘである場合、図１３に示したようにメモリ１０においてデータを全て並べた場合は、基画像ＹＣデータ；６ＭＢ（１０ａ）、撮影画像ベイヤデータ；３ＭＢ（１０ｂ）、多重画像ベイヤデータ；３ＭＢ（１０ｅ）、多重画像ＹＣデータ；６ＭＢ（１０ｄ）となる。よって、メモリ１０に１８ＭＢの容量があれば、基画像ＹＣデータと色処理が施される前の撮影画像ベイヤデータとに基づき、多重画像ＹＣデータを生成することができる。また、多重画像ＹＣデータと基画像ＹＣデータ、撮影画像ベイヤデータと多重画像ベイヤデータとはそれぞれ上書きが可能であることから、これを考慮するとメモリ１０に９ＭＢの容量があれば、多重画像ＹＣデータを生成することができる。よって、少ないメモリ容量で合成を行うことができる。
【００５４】
さらに、本実施の形態の場合、多重処理における乗算は、図１２のステップＳＧ１における「基画像ＹＣ／ベイヤデータ変換」のみで発生する。ここでの演算は基本的に３×３のマトリックス演算であるが、ベイヤ配列の色によってＲＧＢいずれかを算出すればよいため、１ｐｉｘ当たりの乗算回数は３回となる。よって、複雑な演算処理に伴って時間を要することもなく、単純で短時間の処理により画像の劣化のない画像合成を行うことができる。
【００５５】
また、本実施の形態の場合、外部メモリ８に記録されている画像データの合成対象として、ガンマ変換、ベイヤ／ＹＣデータ変換等の色処理が施される前の画像データをそのまま用いるので、一方の画像データに対して逆ガンマ変換処理やＹＣ／ベイヤデータ変換処理を行う必要がなくなり、結果として、第１、第２の実施の形態よりも画像合成に伴う処理の負担を軽減することができる。
（第４の実施の形態）
図１４〜図１７は、本発明の第４の実施の形態において、既に撮像されてＹＣデータの状態で外部メモリ８に保存されている基画像ＹＣデータに、シャッターキーの操作により撮像素子２で取り込まれ、色処理が施される前の撮影画像ベイヤデータを合成する場合を示すものである。
【００５６】
前記画像処理回路／ＣＰＵ６は前記プログラムに基づき、図１４に示す全体概略フローに従って処理を実行する。この全体概略フローにおけるステップＳＨ１〜ＳＨ５の処理は、前述した図１０のステップＳＥ１〜ＳＥ５の処理と同一である。また、図１５は、ステップＳＨ３の多重画像ベイヤデータ生成の詳細を示すフローチャートであるが、このフローチャートにおけるステップＳＩ１〜ＳＩ７の処理も、前述した図１１のステップＳＦ１〜ＳＦ７の処理と同一である。
【００５７】
図１６は、図１５に示したステップＳＩ４の多重演算処理を詳細に示すフローチャートである。先ず、「基画像ＹＣデータ／ＬＰＦ処理」を実行する（ステップＳＪ１）。このステップＳＪ１の処理においては、多重演算の際に基画像ＹＣデータに対してＬＰＦ（低域通過フィルタ）処理を行う。この演算の内容を、Ｙを例として図１４に示す。
【００５８】
すなわち、ある対象点（図の例では座標（１，１））における、Ｙの低域成分を算出する場合、対象点を中心として周囲９点（水平３×垂直３）のデータに対して、フィルタ係数の畳み込み演算を行う。ここで、Ｙ（ｉ−１，ｊ−１）〜Ｙ（ｉ−１＋１，ｊ−１＋１）にＬＰＦの行列ＬＦＰ（０，０）〜ＬＦＰ（２，２）を畳み込み、ＹＬ（ｉ，ｊ）を算出する場合、下記の式となる。
【数１】
2004048663.tif 000003
【００５９】
このようにしてステップＳＪ１の処理を実行したならば、このステップＳＪ１の処理によって得られた基画像ＹＣデータの低域成分に対して、以下のステップＳＪ２〜ＳＪ５で、前述した図１２のステップＳＧ１〜ＳＧ４と同一の処理を行う。
【００６０】
すなわち、色処理前の撮影画像ベイヤデータと比べて、基画像ＹＣデータは、通常、色処理の一つであるエッジ強調を行った後のデータであるため、高域成分が多く含まれる。したがって、これをそのまま用いて多重処理／色処理を行うと、基画像の高域成分に対して、さらにエッジ強調を行ってしまうため（図３のフロー参照）、不要な高域成分が多い画像になってしまう。しかし、第４の実施の形態では、予め基画像ＹＣデータに対してＬＰＦをかけて高域成分を抑制してから多重処理／色処理を行うことから、多重処理後の画像の不要な高域成分が抑えられ、その結果画像の劣化のない画像合成を行うことができる。
【００６１】
なお、本実施の形態においては、フィルタの構成を３×３としたが、５×５等の他の構成であってもよい。また、多重演算処理時にフィルタ処理を行うようにしたが、基画像ＹＣデータ読み出し直後にフィルタ処理を行うようにしてもよい。
【００６２】
また、前述した第１〜第４の実施の形態においては、ＣＣＤのベイヤデータを原色ベイヤ配列（ＲＧＢ）としたが補色の配列（ＹＭＣ）でもよい。さらに、各ＹＣデータのフォーマットをＹｃｂＣｒ各１バイトで４：２：２としたが４：２：０などにしても良い。
【００６３】
また、前述した第１〜第４の実施の形態においては、スチル画像同士を合成する場合について説明したが、ムービー画像同士を合成する場合や、ムービー画像とスチル画像とを合成する場合にも本発明を適用することが可能である。
【００６４】
また、前述した第１〜第４の実施の形態においては、画像同士を多重合成（加算）するものに本発明を適用した場合について説明したが、画像同士を減算する場合にも本発明を適用することが可能である。例えば、シャッタを閉じた状態での撮影により得た画像データを、シャッタを開いた状態での撮影により得た画像データから減算することによりノイズを除去する場合に本発明を適用するといったことも考えられる。
【００６５】
また、前述した第１〜第４の実施の形態においては、いずれも本発明をデジタルカメラに適用した場合について説明したが、カメラ付き携帯電話端末、カメラ付き携帯情報端末、カメラ付きパーソナルコンピュータ等の撮像機能を有する機器であれば、いずれの機器にでも本発明を適用することが可能である。
【００６６】
また、前述した第１〜第４の実施の形態においては、撮像機能を有する機器に本発明を適用した場合について説明したが、カメラ機能が付いていない、携帯電話端末、携帯情報端末、パーソナルコンピュータ等に本発明を適用することが可能であり、要は画像合成機能を備えている機器であれば、いずれの機器にでも本発明を適用することが可能である。
【００６７】
【発明の効果】
以上説明したように本発明によれば、少ないメモリ容量、高画質で画像合成を行うことができる。
【００６８】
したがって、従来必要であった画質の劣化を回避するための合成画像の補正処理を行う必要がなくなるので、補正処理に多くのメモリ容量を要したり、補正演算処理に時間を要するといったことがなくなり、単純で短時間の処理により画質の劣化のない画像合成を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の各実施の形態に共通するデジタルカメラのブロック図である。
【図２】第１の実施の形態のゼネラルフローチャートである。
【図３】図２に示したフローチャートにおけるステップＳＡ３の詳細を示すフローチャートである。
【図４】図２に示したフローチャートにおけるステップＳＡ４の詳細を示すフローチャートである。
【図５】図４に示したフローチャートにおけるステップＳＣ４の詳細を示すフローチャートである。
【図６】第１の実施の形態におけるメモリー使用状況を示す説明図である。
【図７】第２の実施の形態のゼネラルフローチャートである。
【図８】図７に示したフローチャートにおけるステップＳＡ１３の詳細を示すフローチャートである。
【図９】図８に示したフローチャートにおけるステップＳＣ１４の詳細を示すフローチャートである。
【図１０】第３の実施の形態のゼネラルフローチャートである。
【図１１】図１０に示したフローチャートにおけるステップＳＥ３の詳細を示すフローチャートである。
【図１２】図１１に示したフローチャートにおけるステップＳＦ４の詳細を示すフローチャートである。
【図１３】第３の実施の形態におけるメモリー使用状況を示す説明図である。
【図１４】第３の実施の形態のゼネラルフローチャートである。
【図１５】図１４に示したフローチャートにおけるステップＳＨ３の詳細を示すフローチャートである。
【図１６】図１５に示したフローチャートにおけるステップＳＩ４の詳細を示すフローチャートである。
【図１７】第４の実施の形態の基画像ＹＣデータに対するＬＰＦ処理を示す説明図である。
【符号の説明】
２　　撮像素子
４　　ユニット回路
６　　画像処理回路／ＣＰＵ
８　　外部メモリ
１０　　メモリ
１１　　プログラムＲＯＭ
【図１】
2004048663.tif 000004
【図２】
2004048663.tif 000005
【図３】
2004048663.tif 000006
【図４】
2004048663.tif 000007
【図５】
2004048663.tif 000008
【図６】
2004048663.tif 000009
【図７】
2004048663.tif 000010
【図８】
2004048663.tif 000011
【図９】
2004048663.tif 000012
【図１０】
2004048663.tif 000013
【図１１】
2004048663.tif 000014
【図１２】
2004048663.tif 000015
【図１３】
2004048663.tif 000016
【図１４】
2004048663.tif 000017
【図１５】
2004048663.tif 000018
【図１６】
2004048663.tif 000019
【図１７】
2004048663.tif 000020