(57)【要約】      （修正有）【課題】ＪＰＥＧ形式に変換したテンプレート画像と撮影画像とを、合成することにより生成される合成画像の画質劣化を低減することのできる画像処理装置を提供する。【解決手段】テンプレート画像をＪＰＥＧ変換した際に、ＪＰＥＧ変換後のテンプレート画像の各画素の色と透過色の色を比較し、透過色に近い色であると判断された場合に当該画素の色を透過色の色に変換する。この結果、ＪＰＥＧ形式のテンプレート画像と撮影画像とを合成することにより得られる合成画像の画質劣化を低減することができる。【選択図】図１
2010206528.tif 000002
【特許請求の範囲】
【請求項１】
透過色を有する第１既定画像を画像圧縮して生成された第２既定画像と共に透過色を特定する透過色特定情報を記録するメモリ手段、
前記第２既定画像を画像伸張して第３既定画像を生成する伸張手段、
前記透過色特定情報に基づいて前記第３既定画像に含まれる所定色を前記透過色に置換して第４既定画像を生成する生成手段
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置によって生成された第４既定画像と注目被写体を含む特定画像とを合成して、合成画像を生成する合成画像生成手段、
前記合成画像生成手段は、前記第４既定画像の透過色を含む第１領域の位置を特定する第１特定手段、
前記特定画像の注目被写体を含む第２領域の位置を特定する第２特定手段、
前記第１特定手段により特定された第１領域の位置と、前記第２特定手段により特定された第２領域の位置及び大きさとに基づいて、前記合成画像を生成するときの、前記第２既定画像と前記特定画像との位置関係を調整する位置関係調整手段を備えることを特徴とする画像合成装置。
【請求項３】
透過色を有する第１既定画像を画像圧縮して生成された第２既定画像を生成する圧縮手段、
前記第１既定画像の透過色領域とすべき領域を示す透過色情報と非透過色領域とすべき領域を示す非透過色情報をからなる識別情報を作成する作成手段、
前記第２既定画像と共に前記識別情報を記録するメモリ手段、
前記第２既定画像を画像伸張して第３既定画像を生成する伸張手段、
前記識別情報に基づき前記伸張手段によって生成された第３既定画像と注目被写体を含む特定画像とを合成し合成画像を生成する画像合成手段、
を備えることを特徴とする画像合成装置。
【請求項４】
前記作成手段は、前記既定画像の透過色領域を示す初期透過色情報と非透過色領域を示す初期非透過色情報からなる初期識別情報を作成する初期識別情報作成手段、
初期識別情報のうち、初期透過色情報と初期非透過色情報の境界周辺に存在する初期透過色情報を初期非透過色情報に置換する、又は、初期透過色情報と初期非透過色情報の境界周辺に存在する初期非透過色情報を初期透過色情報に置換することにより前記識別情報を作成する補正手段、
を備えることを特徴とする請求項３記載の画像合成装置。
【請求項５】
前記画像合成手段は、前記識別情報の透過色情報に対応する領域については前記特定画像を採用し、前記識別情報の非透過色情報に対応する領域については前記伸張手段により生成された第３既定画像を採用することにより、前記合成画像を生成することを特徴とする請求項３乃至４に記載の画像合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に透過色エリアを有するテンプレート画像と注目被写体を含む特定画像とを合成処理する画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この特許文献１によれば、予め準備された複数のテンプレート画像の中から所望のテンプレート画像が選択されると、記録媒体１８から読み出された撮像画像が所望のテンプレート画像の画像合成領域（透過色エリア）に合成される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−５８４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１では、予め準備されたテンプレート画像の保存形式については何ら開示されていない。ところで、ＪＰＥＧ（Joint Photographic Experts Group）以外のデータフォーマットのテンプレート画像をＪＰＥＧ形式の画像に変換すると、画像合成領域を含む画素ブロックに対するＤＣＴ（Discrete Cosine Transform）変換に起因して、画像合成領域の形状、色、及び画像合成領域の輪郭部の色のうち一部、又は全部が変化し、画質が劣化するおそれがある。従って、ＪＰＥＧ形式に変換されたテンプレート画像の画質が劣化し、この結果、当該テンプレート画像と撮影画像とを合成して生成する合成画像が画質劣化するおそれがある。
【０００５】
本発明は、上記課題を鑑みてなされたものであり、テンプレート画像と撮影画像との合成により生成する合成画像の画質劣化を低減することが出来る画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の請求項１に係る画像処理装置は、透過色を有する第１既定画像を画像圧縮して生成された第２既定画像と共に透過色を特定する透過色特定情報を記録するメモリ手段、前記第２既定画像を画像伸張して第３既定画像を生成する伸張手段、前記透過色特定情報に基づいて前記第３既定画像に含まれる所定色を前記透過色に置換して第４既定画像を生成する生成手段を備えることを特徴とする。
【０００７】
本発明の請求項２に係る画像合成装置は、請求項１に記載の画像処理装置によって生成された第４既定画像と注目被写体を含む特定画像とを合成して、合成画像を生成する合成画像生成手段、前記合成画像生成手段は、前記第４既定画像の透過色を含む第１領域の位置を特定する第１特定手段、前記特定画像の注目被写体を含む第２領域の位置を特定する第２特定手段、前記第１特定手段により特定された第１領域の位置と、前記第２特定手段により特定された第２領域の位置及び大きさとに基づいて、前記合成画像を生成するときの、前記第２既定画像と前記特定画像との位置関係を調整する位置関係調整手段を備えることを特徴とする。
【０００８】
本発明の請求項３に係る画像合成装置は、透過色を有する第１既定画像を画像圧縮して生成された第２既定画像を生成する圧縮手段、前記第１既定画像の透過色領域とすべき領域を示す透過色情報と非透過色領域とすべき領域を示す非透過色情報からなる識別情報を作成する作成手段、前記第２既定画像と共に前記識別情報を記録するメモリ手段、前記第２既定画像を画像伸張して第３既定画像を生成する伸張手段、前記識別情報に基づき前記伸張手段によって生成された第３既定画像と注目被写体を含む特定画像とを合成し合成画像を生成する画像合成手段、を備えることを特徴とする。
【０００９】
本発明の請求項４に係る画像合成装置は、請求項３に従属し、前記作成手段は、前記既定画像の透過色領域を示す初期透過色情報と非透過色領域を示す初期非透過色情報からなる初期識別情報を作成する初期識別情報作成手段、初期識別情報のうち、初期透過色情報と初期非透過色情報の境界周辺に存在する初期透過色情報を初期非透過色情報に置換する、又は、初期透過色情報と初期非透過色情報の境界周辺に存在する初期非透過色情報を初期透過色情報に置換することにより前記識別情報を作成する補正手段、を備えることを特徴とする。
【００１０】
本発明の請求項５に係る画像処理装置は、請求項３乃至４に従属し、前記画像合成手段は、前記識別情報の透過色情報に対応する領域については前記特定画像を採用し、前記識別情報の非透過色情報に対応する領域については前記伸張手段により生成された第３既定画像を採用することにより、前記合成画像を生成することを特徴とする。
【発明の効果】
【００１１】
本発明によると、テンプレート画像をＪＰＥＧ形式に圧縮した際に生じる変形、変色を低減することで、該テンプレート画像と撮影画像との合成により生成される合成画像の画質劣化を低減することができる。
【図面の簡単な説明】
【００１２】
【図１】撮像装置１の構成を示すブロック図である。
【図２】図１のメモリのマッピング状態の一例を示す図解図である。
【図３】図１の撮像装置１によって捉えられる撮影領域（被写体）の一例を示す図解図である。
【図４】実施例１におけるテンプレート画像を収めたＪＰＥＧファイルの構造の一例を示す図解図である。
【図５】テンプレート画像の一例を示す図解図である。
【図６】実施例１におけるノイズ低減処理を示す図解図である。
【図７】実施例１における画像合成動作の一部を示す図解図である。
【図８】画像合成モードの処理動作を示すフローチャートである。
【図９】実施例１におけるノイズ低減処理動作を示すフローチャートである。
【図１０】画像合成処理動作を示すフローチャートである。
【図１１】実施例１におけるテンプレート画像取り込みモードの処理動作の一部を示すフローチャートである。
【図１２】実施例１におけるテンプレート画像取り込みモードの処理動作のその他一部を示すフローチャートである。
【図１３】実施例１の変形例におけるテンプレート画像を収めたＪＰＥＧファイルの構造の一例を示す図解図である。
【図１４】合成データの一例を示す図解図である。
【図１５】実施例１の変形例における画像合成動作の一部を示す図解図である。
【図１６】合成データのデータ補正動作の一例を示すフローチャートである。
【図１７】実施例１の変形例における画像合成処理動作を示すフローチャートである。
【図１８】実施例１の変形例におけるテンプレート画像取り込みモードの処理動作の一部を示すフローチャートである。
【図１９】実施例１の変形例におけるテンプレート画像取り込みモードの処理動作のその他一部を示すフローチャートである。
【実施例１】
【００１３】
図１は、本発明の一実施例における撮像装置１の概略を示したブロック図である。
【００１４】
撮像装置１は、焦点距離を一定の範囲内で自由に変更できるズームレンズ、被写体の光学像を撮像素子に結像させるフォーカスレンズ、露出の制御を行う絞り、及び入射される光をフレーム周期でアナログ電気信号に変換する撮像素子からなる撮像部２、撮像部２から出力されるアナログ電気信号である画像信号に対してＡ/Ｄ変換を施すＡ/Ｄ変換部４、Ａ/Ｄ変換部４から出力される画像信号を一時記録するメモリ１０、メモリ１０の制御を行うメモリ制御部８、メモリ１０に一時記録された画像信号にホワイトバランス調整を施すホワイトバランス調整部、色補間処理を施すことにより色同時化処理（色分離処理ともいう。）を行う色同時化処理部などからなる信号処理部１１、信号処理部１１で処理された画像信号をＪＰＥＧ形式で圧縮（符号化）、及びＪＰＥＧデータの伸張（復号化）を行うためのＪＰＥＧコーデック部６、伸張された画像信号を表示するＬＣＤ（Liquid Crystal Display）モニタ１４、ＬＣＤモニタ１４の駆動を制御するＬＣＤドライバ１２、Ｉ/Ｆ（インターフェース）回路１６、メモリ１０を介して画像信号を記録する記録媒体１８、ＪＰＥＧ形式以外のデータフォーマットのテンプレート画像を記録している着脱可能な記録媒体１８ｔ、ＪＰＥＧ形式の合成用テンプレート画像を記録しているフラッシュメモリ２０、撮像装置１全体の制御を行うＣＰＵ（Central Processing Unit）２２、シャッタボタン２４ｓを含む撮像装置１の操作を行う操作部２４を備えている。
【００１５】
撮像素子としてはＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等が使用される。
【００１６】
また、メモリ１０としては、例えば、ＶＲＡＭ（Video Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、或いはＳＤＲＡＭ（Synchronous DRAM）などの一般的に用いられているメモリが使用される。
【００１７】
また、記録媒体１８及び１８ｔとしては、例えばフラッシュメモリなどの撮像装置１に内蔵される内部記録媒体、或いはＳＤメモリカードやメモリスティック（登録商標）などの撮像装置１への着脱が自在な外部記録媒体が使用される。
【００１８】
操作部２４が操作され、撮影モードが選択されると、ＣＰＵ２２は、スルー画像処理を実行するべく、プリ露光動作及び間引き読み出し動作の繰り返しを撮像部２に命令する。撮像部２は、フレーム周期で、撮像素子の受光面にプリ露光を施すと共に、撮像素子の受光面に照射された撮影領域の光学像を表す電荷を光電変換によって生成する。生成された電荷の一部をラスタ走査態様で受光面から読み出す。この結果、撮影領域を表す低解像度のＲＡＷ画像信号がフレーム周期で撮像部２から出力される。
【００１９】
Ａ/Ｄ変換部４は、撮像部２から出力されたＲＡＷ画像信号に対して、Ａ/Ｄ変換処理を施す。Ａ/Ｄ変換処理によって生成されたデジタル画像データは、メモリ制御部８を介してメモリ１０のワークエリア１０ｆ（図２参照）に書き込まれる。信号処理部１１は、ワークエリア１０ｆ書き込まれたデジタル画像信号をメモリ制御回路８を介して読み出し、読み出したデジタル画像信号にホワイトバランス調整、色同時化処理などを施し、メモリ制御８を介してメモリ１０のスルー画像エリア１０ａに書き込む。ＬＣＤドライバ１２は、スルー画像エリア1０ａに書き込まれた画像データを読み出し、読み出されたフレーム画像データに基づいてＬＣＤモニタ１４を駆動する。その結果、撮影領域を表すスルー画像（プレビュー画像）がＬＣＤモニタ１４に表示される。
【００２０】
図３は、上述した処理によって生成されたスルー画像を示している。操作部２４のシャッタボタン２４ｓが半押しされると、ＣＰＵ２２は、Ａ/Ｄ変換部４から出力されるスルー画像Ｐ１に基づいて顔検出処理を実行する。
【００２１】
ＣＰＵ２２は、顔検出処理により撮影領域内に人物の顔が検出された場合、この顔を囲う顔枠Ｋｐ１を生成し、Ｋｐ１の中心座標及び枠サイズを導出する。
【００２２】
ＣＰＵ２２は、導出したＫｐ１の中心座標及び枠サイズからなる顔枠情報を、メモリ制御部８を介してメモリ１０のワークエリア１０ｆに書き込む。
【００２３】
シャッタボタン２４ｓが全押しされると、ＣＰＵ２２は、本露光動作及び全画素読み出しの一連の動作を実行することを撮像部２に命令する。撮像部２は、撮像素子の受光面に本露光を施すと共に、撮像素子に結像された撮影領域の光学像を表す電荷を光電変換によって生成する。生成された電荷をラスタ走査態様で読み出す。この結果、撮影領域を表す高解像度のＲＡＷ画像信号が撮像部２から出力される。
【００２４】
撮像部２から出力された１フレームのＲＡＷ画像信号は、Ａ/Ｄ変換部２、信号処理部１１によって上述と同様の信号処理を施され、ＹＵＶ形式の画像データに変換される。変換された画像データは、メモリ制御部８を介してメモリ１０の伸張画像エリア１０ｂに書き込まれる。
【００２５】
また、ＣＰＵ２２は、シャッタボタン２４ｓの全押しに応答して圧縮命令及び記録命令をＪＰＥＧコーデック部６に及びＩ/Ｆ回路１６にそれぞれ与える。ＪＰＥＧコーデック部６は、伸張画像エリア１０ｂに書き込まれた画像データをメモリ制御部８を介して読み出し、読み出した画像データにＪＰＥＧ圧縮処理を施し、圧縮した画像データ、即ち、ＪＰＥＧデータをメモリ制御部８を介してメモリ１０の圧縮画像エリア１０ｃに書き込む。
【００２６】
Ｉ/Ｆ回路１６は、メモリ制御部８を介して圧縮画像エリア１０ｃに書き込まれたＪＰＥＧデータを読み出し、当該ＪＰＥＧデータを含む撮影画像ファイルを生成し、記録媒体１８に記録する。また、Ｉ/Ｆ回路１６は、メモリ制御部８を介してワークエリア１０ｆから顔枠情報を読み出し、撮影画像ファイルのヘッダに書き込む。記録処理が完了すると上述のスルー画像処理が再開される。
【００２７】
尚、本実施例では、説明の便宜上、撮影領域には一人の人物が存在することを前提とする。
【００２８】
操作部２４が操作され、再生モードが選択され、且つ所望の撮影画像ファイルが指定されると、ＣＰＵ２２は、Ｉ/Ｆ回路１６及びＪＰＥＧコーデック部６に再生命令及び伸張命令をそれぞれ与える。
【００２９】
Ｉ/Ｆ回路１６は、指定された撮影画像ファイルに格納されたＪＰＥＧデータを記録媒体１８から読み出し、読み出されたＪＰＥＧデータをメモリ制御部８を介してメモリ１０の圧縮画像エリア１０ｃに書き込む。ＪＰＥＧコーデック部６は、圧縮画像エリア１０ｃに格納されたＪＰＥＧデータをメモリ制御部８を介して読み出し、読み出されたＪＰＥＧデータにＪＰＥＧ伸張処理を施し、伸張されたＪＰＥＧデータ、即ち、撮影画像データをメモリ制御部８を介してメモリ１０の伸張画像エリア１０ｂに書き込む。
【００３０】
ＬＣＤドライバ１２は、伸張画像エリア１０ｂに格納された撮影画像データをメモリ制御部８を介して読み出し、読み出された撮影画像データに基づいてＬＣＤモニタ１４を駆動する。この結果、撮影画像がＬＣＤモニタ１４に表示される。
【００３１】
操作部２４が操作され、画像更新操作が実行されると、Ｉ/Ｆ回路１６及びＪＰＥＧコーデック部６に再生命令及び伸張命令をそれぞれ与える。この結果、次の撮影画像ファイルに格納された撮影画像がＬＣＤモニタ１４に表示される。
【００３２】
本実施例における撮像装置１は、テンプレート画像ファイルがフラッシュメモリ２０に準備され、当該テンプレート画像データと撮影画像データとを合成し、合成画像を生成する画像合成モードを備えている。以下では、撮影画像データを単に「撮像画像」と記載し、テンプレート画像データを単に「テンプレート画像」と記載する場合もある。
【００３３】
図４は、テンプレート画像ファイルのファイル構造を示している。テンプレート画像ファイルはファイル名、後述する透過色エリア枠Ｋｔ１を示す透過色エリア枠情報、少なくとも透過色の値を定義した透過色情報を含む色情報などが書き込まれたヘッダ部分とＪＰＥＧ画像データ（テンプレート画像）で構成されている。本実施例では、透過色はＲ、Ｇ、Ｂの数値で定義され、その値はそれぞれＲ＝Ｒｔ、Ｇ＝Ｇｔ、Ｂ＝Ｂｔであるものとする。
【００３４】
図５は、テンプレート画像を示している。テンプレート画像は、透過色エリアＴＲと非透過色エリアＮＴＲ１で構成される。透過色エリア枠Ｋｔ１は透過色エリアを覆う矩形枠に相当し、透過色エリア枠情報は透過色エリア枠Ｋｔ１の中心座標及び枠のサイズからなる。
【００３５】
操作部２４が操作され、画像合成モードが選択されると、ＣＰＵ２２は、合成する撮影画像を選択するべく撮影画像選択処理を実行する。記録媒体１８に記録された撮影画像ファイルは上述の要領で再生され、その結果、撮影画像がＬＣＤモニタ１４に表示される。また、表示された撮影画像に対応して伸張画像エリア１０ｂに格納された撮影画像は、ワークエリア１０ｆに複製される。撮影画像更新操作が行われると、ＬＣＤモニタ１４に表示される撮影画像が上述の要領で更新され、更にワークエリア１０ｆ上の撮影画像データも更新される。操作部２４から選択操作が実行されるとＣＰＵ２２は撮影画像選択処理を終了し、続いてテンプレート画像再生処理を実行する。
【００３６】
テンプレート画像再生処理のもとで、ＣＰＵ２２は、Ｉ/Ｆ回路１６及びＪＰＥＧコーデック部６に再生命令及び伸張命令をそれぞれ与える。
【００３７】
Ｉ/Ｆ回路１６は所望のテンプレート画像ファイルに格納されたテンプレート画像データをフラッシュメモリ２０から読み出し、読み出されたテンプレート画像データをメモリ制御部８を介してメモリ１０の圧縮画像エリア１０ｅに書き込む。ＪＰＥＧコーデック部６は圧縮画像エリア１０ｅに格納されたテンプレート画像データをメモリ制御部８を介して読み出し、読み出されたテンプレート画像データに伸張処理を施し、伸張したテンプレート画像データをメモリ制御部８を介してメモリ１０の伸張画像エリア１０ｄに書き込む。
【００３８】
ＣＰＵ２２は、所望のテンプレート画像ファイルのヘッダに書き込まれた透過色エリア枠情報及び色情報をＩ/Ｆ回路１６を介して読み出す。
【００３９】
ＪＰＥＧ圧縮処理では、水平８画素×垂直８画素の画素ブロック単位でＤＣＴ変換が実行される。図６は、外部テンプレート画像のうち、３×４＝１２個の画素ブロックからなる領域を示している。テンプレート画像にＪＰＥＧ圧縮処理を施し、該画像を伸張すると、図６（Ａ）に示す透過色エリアＴＲと非透過色エリアＮＴＲ１の境界を跨ぐ３つの画素ブロックＰＢＫの各々で、ＤＣＴ変換の影響により色が変化し、図６（Ｂ）のＮＴＲ２に示すような透過色エリアと非透過色エリアの境界部分が変色した（モスキートノイズという。）画素ブロックが生成されてしまう。
【００４０】
そこで、このモスキートノイズを低減するために、伸張したテンプレート画像の各画素の色を判定し、透過色に近い色であると判断された画素については、その色が透過色と同じ色となるように色調整を行う。即ち、ＪＰＥＧテンプレート画像を構成する全画素それぞれについてＲ、Ｇ、Ｂを導出する。導出された各画素がもつＲ、Ｇ、Ｂの数値と色情報に記録されている透過色のＲ、Ｇ、Ｂの数値との差分の絶対値をそれぞれ導出し、各絶対値がそれぞれ所定の閾値ＴｈｒＲ、ＴｈｒＧ、ＴｈｒＢ以下であれば、透過色に近い色の色であると判断し、その画素の色を透過色に変換する。即ち、テンプレート画像の任意の画素の色が、Ｒ＝Ｒｋ、Ｇ＝Ｇｋ、Ｂ＝Ｂｋであるとき、｜Ｒｔ−Ｒｋ｜≦ＴｈｒＲ、且つ、｜Ｇｔ−Ｇｋ｜≦ＴｈｒＧ、且つ、｜Ｂｔ−Ｂｋ｜≦ＴｈｒＢを満たすなら当該画素を透過色の色に変換する。この結果、図６（Ｃ）に示すような合成用テンプレート画像が得られる。非透過色に近い色をもつモスキートノイズが発生することもあるため、色情報に非透過色の数値を定義しておき、上述と同じ要領で、非透過色に近い色の画素を非透過色と同じ色に変換する処理を施すようにしてもかまわない。
【００４１】
ＣＰＵ２２は、再生表示中の撮影画像ファイルに納められた顔枠情報をＩ/Ｆ回路１６を介して読み出し、再生表示中のテンプレート画像ファイルに納められた透過色エリア枠情報をＩ/Ｆ回路１６を介して読み出し、読み出された顔枠情報及び透過色エリア枠情報に基づいて合成用テンプレート画像データの適正倍率及び適正多重位置（重ね合わせ位置）を導出（調整）する。
【００４２】
図７（Ａ）は選択中の撮影画像、図７（Ｂ）はテンプレート画像を示している。ＣＰＵ２２は、例えば、顔枠Ｋｐ１の水平サイズが透過色エリア枠Ｋｔ２の水平サイズと一致するような撮影画像データの倍率（拡大倍率又は縮小倍率）を適正倍率として導出し、透過色エリア枠Ｋｔ２の中心座標が顔枠Ｋｐ１の中心座標と一致するテンプレート画像データの多重位置を適正多重位置として導出する。
【００４３】
ワークエリア１０ｆ上の撮影画像データは、導出された適正倍率を参照して拡大または縮小される。また、伸張画像エリア１０ｄ上のテンプレート画像データは、導出された適正多重位置を参照してワークエリア１０ｆ上の撮影画像データに多重される（重ね合わせられる。）。多重処理が完了すると、テンプレートの外縁からはみ出した一部の撮影画像が切り取られ、これによって図７（Ｃ）に示すような合成画像が生成される。
【００４４】
生成された合成画像を示す画像データは、ワークエリア１０ｆから伸張エリア１０ｂに移動される。移動された画像データはＬＣＤドライバ１２によって読み出され、この結果、合成画像がＬＣＤモニタ１４に表示される。
【００４５】
操作部２４が操作され、テンプレート画像更新操作が行われると、Ｉ/Ｆ回路１６及びＪＰＥＧコーデック部６に向けて再生命令及び伸張命令がそれぞれ与えられる。この結果、撮影画像と他のテンプレート画像との画像合成処理が実行される。
【００４６】
所望の合成画像が得られた後に操作部２４が操作され、画像記録操作が行われると、ＣＰＵ２２は、記録処理を実行すべく、圧縮命令及び記録命令をＪＰＥＧコーデック部６及びＩ/Ｆ回路１６にそれぞれ与える。ＪＰＥＧコーデック部６は、上述と同じ要領で合成画像にＪＰＥＧ圧縮処理を施し、ＪＰＥＧデータをメモリ１０の圧縮画像エリア１０ｃに書き込む。Ｉ/Ｆ回路１６は、メモリ制御部８を介して圧縮画像エリア１０ｃからＪＰＥＧデータを読み出し、読み出されたＪＰＥＧデータからなるＪＰＥＧファイルを記録媒体１８内に作成する。
【００４７】
本実施例における撮像装置１は、外部から、ＪＰＥＧ形式以外のデータフォーマットのテンプレート画像データ（以下、外部テンプレート画像と記載する。）を取り込み、画像合成処理に使用するＪＰＥＧ形式のテンプレート画像ファイルを作成するテンプレート画像取り込みモードを備えている。
【００４８】
記録媒体１８ｔには、外部テンプレート画像ファイルが記録されている。外部テンプレート画像は、例えば、ビットマップ形式で保存されている。記録媒体１８ｔが装着され、且つ操作部２４が操作され、テンプレート画像取り込みモードが選択されると、ＣＰＵ２２はＩ/Ｆ回路１６を介して記録媒体１８ｔから外部テンプレート画像データを読み出す。読み出された外部テンプレート画像データは、メモリ制御部８を介してメモリ１０のワークエリア１０ｆに書き込まれる。
【００４９】
外部テンプレート画像のヘッダには、透過色エリア枠情報及び色情報が書き込まれている。透過色エリア枠情報は上述した透過色エリア枠の枠サイズと中心座標に相当する。色情報には、少なくとも透過色の色を、例えば、Ｒ、Ｇ、ＢやＹ、Ｕ、Ｖなどの数値で表現した透過色情報が含まれる。透過色情報は、外部テンプレート画像ごとにその数値は異なる。
【００５０】
外部テンプレート画像から読み出された透過色エリア枠情報及び色情報はワークエリア１０ｆに保持される。
【００５１】
その後、ＣＰＵ２２はＪＰＥＧコーデック部６に対して圧縮命令を与える。ＪＰＥＧコーデック部６は、ワークエリア１０ｆ上のテンプレート画像データをメモリ制御部８を介して読み出し、読み出されたテンプレート画像データにＪＰＥＧ圧縮処理を施し、圧縮されたＪＰＥＧデータをメモリ制御部８を介してワークエリア１０ｆに書き込む。
【００５２】
ＣＰＵ２２は、ファイル名、ワークエリア１０ｆ上の透過色エリア枠情報、色情報、及びＪＰＥＧデータからなる合成用テンプレート画像ファイル（図４参照）を作成し、作成された該ファイルをＩ/Ｆ回路１６を介してフラッシュメモリ２０に保存する。
【００５３】
図８は画像合成モード選択時の撮像装置１の動作を示すフローチャートである。
【００５４】
ステップＳ１０１では、撮影画像の選択を実行する。この結果、所望の撮影画像が伸張画像エリア１０ｂに展開され、ＬＣＤモニタ１４に表示される。撮影画像の選択が完了した後、ステップＳ１０３に進む。
【００５５】
ステップＳ１０３では、所望のテンプレート画像の選択を実行する。この結果、所望のテンプレート画像のヘッダに書き込まれている透過色エリア枠情報、色情報がワークエリア１０ｆに読み出され、テンプレート画像データが伸張画像エリア１０ｄに展開され、ＬＣＤモニタ１４に表示される。テンプレート画像の選択が完了した後、ステップＳ１０４に進む。
【００５６】
ステップＳ１０４では、色情報に基づいて、ステップＳ１０３で展開されたテンプレート画像にノイズ低減処理を施す。ノイズ低減処理が完了した後、ステップＳ１０５に進む。
【００５７】
ステップＳ１０５では、ステップＳ１０１で選択された撮影画像データとステップＳ１０５で伸張された合成用テンプレート画像データの合成処理を実行する。このとき、ステップＳ１０１で選択された撮影画像とステップＳ１０３で選択されたテンプレート画像の合成画像がＬＣＤモニタ１４に表示される。合成処理が完了した後ステップＳ１０７に進む。
【００５８】
ステップＳ１０７では、テンプレート画像更新操作が実行されたか否かを判別する。テンプレート画像更新操作が実行された場合はステップＳ１０９に進み、そうでない場合はステップＳ１１１に進む。
【００５９】
ステップＳ１０９では、テンプレート画像の更新を実行する。新たに選択されたテンプレート画像が伸張画像エリア１０ｄに展開されＬＣＤモニタ１４に表示される。テンプレート画像の更新が完了した後、ステップＳ１０５に戻る。
【００６０】
ステップＳ１１１では、画像記録操作が実行されたか否かを判別する。画像記録操作が実行された場合はステップＳ１１３に進み、そうでない場合はステップＳ１０７に戻る。
【００６１】
ステップＳ１１３では、生成された合成画像の記録処理を実行する。合成画像を記録媒体１８に記録し、記録処理が完了した後画像合成モードを終了する。
【００６２】
図９は、ステップＳ１０４のノイズ低減処理動作を示すフローチャートである。ノイズ低減処理は、次のサブルーチンに従って実行される。
【００６３】
ステップＳ４０１では、変数Ｐを１に設定する。変数Ｐの設定が完了した後、ステップＳ４０３に進む。
【００６４】
ステップＳ４０３では、Ｐ番目の画素の色のＲ、Ｇ、Ｂの値を導出する。画素の色のＲＧＢ化が完了した後、ステップＳ４０５に進む。
【００６５】
ステップＳ４０５では、Ｐ番目の画素が透過色の色に近い色であるか否かを判別する。ステップＳ４０３で数値化した値と透過色が持つ色の数値の差分の絶対値をＲ、Ｇ、Ｂそれぞれについて算出し、各絶対値がそれぞれＴｈｒＲ、ＴｈｒＧ、ＴｈｒＢ以下であれば透過色に近いＰ番目の画素は透過色の色に近い色であると判別する。透過色に近い色であると判別された場合はステップＳ４０７に進み、そうでない場合はステップＳ４０９に進む。
【００６６】
ステップＳ４０７では、Ｐ番目の画素を透過色の色に変換する。変換が完了した後ステップＳ４０９に進む。
【００６７】
ステップＳ４０９では、変数Ｐをインクリメントする。インクリメントが完了した後ステップＳ４１１に進む。
【００６８】
ステップＳ４１１では、変数Ｐが最大値Ｐｍａｘより大きいか否かを判別する。変数Ｐの値がＰｍａｘより大きい場合は上階層のルーチンに復帰し、そうでない場合はステップＳ４０３に戻る。
【００６９】
図１０は、ステップＳ１０５の画像合成処理の動作を示すフローチャートである。画像合成処理は次のサブルーチンに従って実行される。
【００７０】
ステップＳ２０１では、再生中の撮影画像の撮影画像ファイルに納められた顔枠情報と再生中の合成用テンプレート画像のテンプレート画像ファイルに納められた透過色エリア枠情報とを参照して、撮影画像の適正倍率を導出する。適正倍率の導出が完了した後ステップＳ２０３に進む。
【００７１】
ステップＳ２０３では、同じ顔枠情報及び透過色エリア枠情報を参照して、テンプレート画像の多重位置を導出する。多重位置の導出が完了した後、ステップＳ２０５に進む。
【００７２】
ステップＳ２０５では、ワークエリア１０ｆ上の撮影画像データを、ステップＳ２０１で導出された適性倍率に従い拡大または縮小する。そして、拡大又は縮小された撮影画像データと伸張画像エリア１０ｄ上の合成用テンプレート画像データとをステップＳ２０３で導出された多重位置に従い多重する。
【００７３】
ステップＳ２０７では、テンプレート画像データの外縁からはみ出した一部の撮影画像を切りとる。画像の切り取りが完了した後、上階層のルーチンに復帰する。
【００７４】
図１１及び図１２はテンプレート画像取り込みモードの動作を示すフローチャートである。
【００７５】
ステップＳ３０１では、取り込み操作が実行されたか否かを判別する。取り込み操作が実行された場合はステップＳ３０３に進み、そうでない場合はステップＳ３０１を繰り返す。
【００７６】
ステップＳ３０３では、記録媒体１８ｔに外部テンプレート画像が存在するか否かを判別する。外部テンプレート画像が存在する場合はステップＳ３０７に進み、そうでない場合はステップＳ３０５に進む。
【００７７】
ステップＳ３０５では、記録媒体１８ｔに外部テンプレート画像が存在しないことを警告として発生する。警告を発生した後、ステップＳ３０１に戻る。
【００７８】
ステップＳ３０７では、変数Ｔを１に設定する。変数Ｔを１に設定した後、ステップＳ３０９に進む。
【００７９】
ステップＳ３０９では、Ｔ番目の外部テンプレート画像を記録媒体１８ｔから取り込む。テンプレート画像の取り込みが完了した後ステップＳ３１１に進む。
【００８０】
ステップＳ３１１では、ステップＳ３０９で取り込んだ外部テンプレート画像の色情報及び透過色エリア枠情報を読み出す。読み出しが完了した後、ステップＳ３１５に進む。
【００８１】
ステップＳ３１５では、外部テンプレート画像データをＪＰＥＧ圧縮処理する。ＪＰＥＧ圧縮処理が完了した後、ステップＳ３１９に進む。
【００８２】
ステップＳ３１９では、ステップＳ３１１で読み出した透過色エリア枠情報とステップＳ３１５でＪＰＥＧ圧縮されたＪＰＥＧデータを納めた合成用テンプレート画像ファイルを作成し、フラッシュメモリ２０に保存する。フラッシュメモリ２０への保存が完了した後、ステップＳ３２１に進む。
【００８３】
ステップＳ３２１では、変数Ｔの値をインクリメントする。インクリメントが完了した後、ステップＳ３２３に進む。
【００８４】
ステップＳ３２３では、ステップＳ３２１でインクリメントされた変数Ｔの値が最大値Ｔｍａｘを上回るか否かを判別する。変数Ｔの値がＴｍａｘを上回った場合はステップＳ３２５に進み、そうでない場合はステップＳ３０９に戻る。
【００８５】
ステップＳ３２５では、外部テンプレート画像の取り込みが終了したことを報知する。取り込み終了の報知が完了した後、外部テンプレート画像取り込みモードを終了する。
【実施例２】
【００８６】
次に、実施例１の変形例について説明する。本変形例では、実施例１における撮像装置１において、画像合成処理及びテンプレート画像取り込みモードの処理動作が異なる。
【００８７】
本変形例では、記録媒体１８ｔに保存されている外部テンプレート画像に基づいて作成された合成データを用いて画像合成を行う。
【００８８】
図１３は本変形例におけるテンプレート画像ファイルのファイル構造を示している。テンプレート画像ファイルはファイル名、後述する図１４に示す合成データなどが書き込まれたヘッダ部分とＪＰＥＧ画像データで構成されている。
【００８９】
図１４は合成データを示している。合成データは透過色エリアを形成する各画素に「０」が割り当てられ、非透過色エリアを形成する各画素に「１」が割り当てられている。また、各画素には座標（Ｍ，Ｎ）が割り当てられている。
【００９０】
図１５は画像合成処理動作を示している。画像合成は、合成データに基づき「０」が割り当てられている画素は撮影画像の画素に置き換え、「１」が割り当てられている画素は合成用テンプレート画像の画素に置き換える。例えば、合成データの座標（１，３）の画素は「１」が割り当てられているため合成用テンプレート画像の座標（１，３）に該当する画素に置き換え、座標（２，２）の画素は「０」が割り当てられているため撮影画像の座標（２，２）の画素に置き換える。この結果、合成画像を得ることが出来る。
【００９１】
外部テンプレート画像取り込みモードが選択されると、実施例１と同じ要領で記録媒体１８ｔに記録されている外部テンプレート画像データ及び色情報を読み出し、ワークエリア１０ｆに書き込む。
【００９２】
ＣＰＵ２２は、読み出した色情報に基づき、外部テンプレート画像の透過色を有する画素を特定する。そして、透過色を有する画素の位置には「０」を、それ以外の画素、即ち、非透過色を有する画素の位置には「１」をそれぞれ割り当てた、合成データを作成する。その後、外部テンプレート画像データをＪＰＥＧ圧縮処理し、合成用テンプレート画像データを作成する。ＪＰＥＧ圧縮処理された合成用テンプレート画像データは、上述の理由によりモスキートノイズが発生している。そのため、撮影画像と合成用テンプレート画像を合成データに基づき合成すると、透過色エリアと非透過色エリアの境界部分に生じる変色画素が残り、所望の合成画像が得られないおそれがある。
【００９３】
そこで、本変形例では、画像合成処理を実行した際に所望の合成画像を得るため、合成データの補正を行う。具体的には、モスキートノイズが発生すると想定される範囲、即ち、透過色エリアと非透過色エリアの境界付近において、非透過色画素を示す「１」が割り当てられているエリアの情報を透過色画素を示す「０」に書き換える。その結果、画像合成を実行した場合、モスキートノイズが発生すると想定される非透過色エリアは、撮影画像の画素が置換され、モスキートノイズを低減した合成画像を得ることが出来る。
【００９４】
図１６は、合成データ補正処理動作を示している。透過色エリアを構成する画素には「０」、非透過色エリアを構成する画素には「１」が割り当てられている。そして、「０」が割り当てられている画素の周囲にある「１」が割り当てられている画素を「０」に書き換える。図１６では、「０」が割り当てられている画素の周囲１画素に対してデータ補正を施しているが、データ補正を施す範囲は境界部分の形状に応じて可変するようにしてもかまわない。
【００９５】
このようにして、補正された合成データが、図１３に示すテンプレート画像ファイルのヘッダ部分に書き込まれる。
【００９６】
図１７は画像合成処理動作を示すフローチャートである。
【００９７】
ステップＳ５０１では、テンプレート画像のヘッダから合成データを読み出す。読み出された合成データはワークエリア１０ｆに書き込まれる。合成データの読み出しが完了した後ステップＳ５０２に進む。
【００９８】
ステップＳ５０２では、変数Ｍの値を１に設定する。変数Ｍの値の設定が完了した後、ステップＳ５０３に進む。
【００９９】
ステップＳ５０３では、変数Ｎの値を１に設定する。変数Ｎの値の設定が完了した後、ステップＳ５０５に進む。
【０１００】
ステップＳ５０５では、座標（Ｍ，Ｎ）の画素に割り当てられている合成データが「０」であるか否かを判別する。座標（Ｍ，Ｎ）の画素に「０」が割り当てられている場合はステップＳ５０７に進む。そうでない場合はステップＳ５０９に進む。
【０１０１】
ステップＳ５０７では、撮影画像の座標（Ｍ，Ｎ）にある画素を採用し、合成データの当該位置に割り当てる。画素の割り当てが完了した後ステップＳ５１１に進む。
【０１０２】
ステップＳ５０９では、合成用テンプレート画像の座標（Ｍ，Ｎ）にある画素を採用し、合成データの当該位置に割り当てる。画素の割り当てが完了した後ステップＳ５１１に進む。
【０１０３】
ステップＳ５１１では、変数Ｎの値が最大値Ｎｍａｘであるか否かを判別する。最大値Ｎｍａｘは、合成データの垂直方向の画素数に相当する。変数Ｎの値がＮｍａｘである場合は、ステップＳ５１３に進む。そうでない場合はステップＳ５１５に進む。
【０１０４】
ステップＳ５１３では、変数Ｍの値が最大値Ｍｍａｘであるか否かを判別する。最大値Ｍｍａｘは、合成データの水平方向の画素数に相当する。変数Ｍの値がＭｍａｘである場合は、画像合成処理を終了する。そうでない場合はステップＳ５１７に進む。
【０１０５】
Ｓ５１５では、変数Ｎの値をインクリメントする。変数Ｎのインクリメントが完了した後ステップＳ５０５に戻る。
【０１０６】
ステップＳ５１７では、変数Ｍの値をインクリメントする。変数Ｍのインクリメントが完了した後ステップＳ５０３に戻る。
【０１０７】
図１８及び図１９は、テンプレート画像取り込みモードの動作を示す。フローチャートである。尚、図１０及び図１１と同じ符号を付すステップは、実施例１と同様の処理を施すため説明は省略する。
【０１０８】
ステップＳ６０１では、ステップＳ３１１で特定された透過色エリア及び非透過色エリアに基づき合成データを作成する。合成データの作成が完了した後、ステップＳ６０３に進む。
【０１０９】
ステップＳ６０３では、ステップＳ６０１で作成した合成データの補正を行う。合成データの補正が完了した後、ステップＳ３１５に進む。
【０１１０】
ステップＳ６０５では、ステップＳ６０３で補正した合成データとステップＳ３１５でＪＰＥＧ圧縮処理を施したＪＰＥＧデータを納めた合成用テンプレート画像ファイルを作成し、フラッシュメモリ２０に保存する。フラッシュメモリ２０への保存が完了した後、ステップＳ３２１に進む。
【０１１１】
上述した実施例では、撮像装置１がテンプレート画像取り込みモードを有し、該モードにおいて、テンプレート画像を合成用テンプレート画像に圧縮した際に生じるモスキートノイズの低減するための処理を施すようにしている。しかし、テンプレート画像取り込みモードに相当する処理は、ＰＣ（Personal Computer）によって実行し、これにより得られた合成用テンプレート画像ファイルは、例えば、ＵＳＢケーブルを介してフラッシュメモリ２０に保存するようにしてもよい。
【０１１２】
また、上述の実施例では、記録媒体１８及び記録媒体１８ｔをそれぞれ装着しているが、記録媒体１８が、例えば、ＳＤメモリカードなどの着脱可能な記録媒体である場合、記録媒体１８及び記録媒体１８ｔの種類を統一し、装着スロットを一つにして、必要に応じて記録媒体１８及び記録媒体１８ｔを着けかえるようにしても構わない。
【０１１３】
また、上述の実施例１では合成用テンプレート画像を構成する全画素について色の判定を行い、ノイズ低減処理を行うようにしているが、透過色エリアと非透過色エリアの境界部分周辺のみにノイズ低減処理を施すようにしてもよい。この場合、色の判定を行う範囲を予め設定しておく必要がある。
【０１１４】
以上、本発明の実施例について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変更及び変形が可能である。    
【符号の説明】
【０１１５】
２    撮像部
４    Ａ/Ｄ変換部
６    ＪＰＥＧコーデック部
８    メモリ制御部
１０    メモリ
１１    信号処理部
１２    ＬＣＤドライバ
１４    ＬＣＤモニタ
１６    Ｉ/Ｆ
１８    記録媒体
１８ｔ  記録媒体
２０    フラッシュメモリ
２２    ＣＰＵ
２４    操作部
２４ｓ  シャッタボタン             
【図１】
2010206528.tif 000003
【図２】
2010206528.tif 000004
【図３】
2010206528.tif 000005
【図４】
2010206528.tif 000006
【図５】
2010206528.tif 000007
【図６】
2010206528.tif 000008
【図７】
2010206528.tif 000009
【図８】
2010206528.tif 000010
【図９】
2010206528.tif 000011
【図１０】
2010206528.tif 000012
【図１１】
2010206528.tif 000013
【図１２】
2010206528.tif 000014
【図１３】
2010206528.tif 000015
【図１４】
2010206528.tif 000016
【図１５】
2010206528.tif 000017
【図１６】
2010206528.tif 000018
【図１７】
2010206528.tif 000019
【図１８】
2010206528.tif 000020
【図１９】
2010206528.tif 000021