(57)【特許請求の範囲】
【請求項１】
処理対象となる原画像を取得する原画像取得手段と、
前記原画像取得手段により取得された前記原画像内における所定の堆積物が堆積し得る被写体部分の位置と形状を特定する被写体特定手段と、
前記被写体特定手段により特定された前記所定の堆積物が堆積し得る被写体部分の位置と形状に対応させて、前記原画像上に前記所定の堆積物を示す物体画像を配置して合成することによって合成画像を生成する合成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記原画像上に合成すべき堆積物の種類を指定する第１指定手段を更に備え、
前記被写体特定手段は、前記第１指定手段により指定された種類の堆積物の合成に適した被写体部分の位置と形状を特定し、
前記合成手段は、前記第１指定手段により指定された種類の堆積物を示す物体画像を、この堆積物が堆積し得る被写体部分の位置と形状に対応させて前記原画像上に配置して合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定の堆積物の堆積量を指定する第２指定手段と、
前記合成手段は、前記被写体特定手段により特定された前記所定の堆積物が堆積し得る被写体部分の位置と形状に対応させて、前記原画像上に前記第２指定手段により指定された堆積量に対応する量の前記所定の堆積物を示す物体画像を配置して合成することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記所定の堆積物が、前記被写体特定手段により特定された前記所定の堆積物が堆積し得る被写体部分の形状に対応する形状で配置された状態の物体画像を生成する物体画像生成手段を更に備え、
前記合成手段は、前記物体画像生成手段により生成された物体画像を前記被写体特定手段により特定された前記所定の堆積物が堆積し得る被写体部分の位置に配置して合成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
被写体を撮像して撮像画像のデータを取得する撮像手段と、
前記撮像手段により撮像してデータとして得られた前記撮像画像を表示する表示手段と、
前記撮像手段により撮像して得られた前記撮像画像のデータを記録する記録手段と、
をさらに備え、
前記原画像取得手段は、前記撮像手段により撮像して得られた前記撮像画像のデータを前記処理対象となる原画像のデータとして取得し、
前記表示手段は、前記撮像画像として、前記合成手段により生成された前記合成画像を表示し、
前記記録手段は、前記撮像画像のデータとして、前記合成手段により生成された前記合成画像のデータを記録することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記記録手段は、前記表示手段により前記合成画像が表示された後、ユーザによる記録の指示操作に応じて、前記合成画像のデータを記録する、
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記表示手段により前記合成画像が表示された後、前記ユーザによる記録の指示操作が行われるまでの間、前記第２指定手段による合成量のユーザによる指定と、前記物体画像生成手段による前記物体画像の生成と、前記合成手段による前記合成画像の生成と、前記表示手段による前記合成画像の表示とを繰り返させる制御を実行する制御手段をさらに備えたことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記合成手段は、前記第２指定手段により指定された堆積量に対応する量の前記所定の堆積物が、前記被写体特定手段により特定された前記所定の被写体部分の上部に堆積した状態を示す物体画像を前記原画像上に配置して合成することを特徴とする請求項３または４に記載の画像処理装置。
【請求項９】
前記所定の堆積物は、雪である、
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記合成手段は、所定の降雪シミュレーションを実行することにより、前記雪が堆積した状態を示す物体画像を生成する、
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記被写体特定手段は、前記所定の堆積物が堆積し得る被写体部分の３次元形状を特定し、
前記合成手段は、前記被写体特定手段により特定された前記所定の堆積物が堆積し得る被写体部分の３次元形状に基づいて、前記所定の堆積物を示す物体画像を合成する際の形状及び配置位置を決定することを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記被写体特定手段は、前記原画像に基づいて、複数の特徴量に基づく顕著性マップを生成し、前記顕著性マップに基づいて注目点領域を推定し、前記注目点領域に基づいて前記所定の堆積物が堆積し得る被写体部分の位置と形状を特定する、
ことを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
【請求項１３】
画像処理装置が実行する画像処理方法において、
処理対象となる原画像を取得する原画像取得ステップと、
前記原画像取得ステップにより取得された前記原画像内における所定の堆積物が堆積し得る被写体部分の位置と形状を特定する被写体特定ステップと、
前記被写体特定ステップにより特定された前記所定の堆積物が堆積し得る被写体部分の位置と形状に対応させて、前記原画像上に前記所定の堆積物を示す物体画像を配置して合成することによって合成画像を生成する合成ステップと、
を含むことを特徴とする画像処理方法。
【請求項１４】
コンピュータを、
処理対象となる原画像を取得する原画像取得手段、
前記原画像取得手段により取得された前記原画像内における所定の堆積物が堆積し得る被写体部分の位置と形状を特定する被写体特定手段、
前記被写体特定手段により特定された前記所定の堆積物が堆積し得る被写体部分の位置と形状に対応させて、前記原画像上に前記所定の堆積物を示す物体画像を配置して合成することによって合成画像を生成する合成手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、ユーザの撮像行為の目的に合致した画像処理であって、より自然で現実味のある景観を表現できる画像処理を実現可能な技術に関する。
【背景技術】
【０００２】
従来、表示装置が鑑賞用の画像を表示したり、カーナビゲーション装置が地図等の情報確認用の画像を表示する、といった表示技術の分野が存在する。このような表示技術の分野においては、時間変化や天候変化に応じた演出表示が行われている（特許文献１乃至４参照）。
一方、ユーザがカメラを用いて撮像画像を撮像する、といった撮像技術の分野も存在する。このような撮像技術の分野でも、デジタルカメラの登場により、撮像画像の表示が可能になり、さらに近年では、画像処理が施された撮像画像を表示することも可能になっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０５−１９９４９１号公報
【特許文献２】特開平０７−２１０１２３号公報
【特許文献３】特開平０８−１６５８６号公報
【特許文献４】特開２００２−２８６４６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮像技術の分野では、一般的には、ユーザがデジタルカメラを用いて撮像するという撮像行為の方が、その撮像行為の結果として得られる撮像画像をユーザが確認する行為よりも主要な行為となる。ここで、撮像行為とは、ユーザの主観的な目的を伴う行為であり、当該目的が達成した画像を創り出すという能動的行為である。このため、ユーザが創造したともいえる撮像画像のデータに対しては、撮像行為という能動的行為の目的に合致した画像処理を施すことが要求される。
一方で、表示技術の分野においては、表示対象の画像は、ユーザとは別の他人が創造した画像であることが多い。そして、このような他人が創造した画像を鑑賞したり確認する行為が、ユーザの主要な行為となる。即ち、表示技術の分野とは、撮像行為等の能動的行為よりも、一方的に提示された画像をユーザが鑑賞又は確認するという受動的な行為が主要な行為であるとして、発達してきた分野である。
よって、表示技術の分野の技術、例えば特許文献１乃至４に記載の技術をそのまま撮像技術の分野に適用しても、ユーザの撮像行為の目的に合致した画像処理を撮像画像のデータに施すことは困難である。
【０００５】
例えば、ユーザが、デジタルカメラを用いて、所定場所から見える景観の画像を、撮像画像として撮像する場合を考える。ただし、ユーザの撮像行為の目的は、当該所定場所から見える景観であって、かつ、所望の状態になっている景観の画像を得ることであるとする。
ここで、同一の所定場所であっても、季節が違えば、景観の状態は異なる。
そこで、ユーザは、その撮像行為の目的を達成すべく、所定場所まで赴き、景観が所望の状態になっていると想定される時刻になるまで待機して、景観の画像を撮像する。
しかしながら、この場合に得られる撮像画像は、必ずしも所望の景観が写っている画像、即ち撮像行為の目的が達成されている画像とは限らない。
【０００６】
というのも、景観の状態は、天気等の各種条件によって異なり、これらの各種条件が時や場所を隔てて同一になる確率は非常に低いからである。
例えば、ユーザは、積雪された景観の画像を得ることが撮像行為の目的であった場合、通常、天気予報等により降雪となる日時を予測し、予測した日時の景観の画像を撮像する。
しかしながら、予測した日時の天気が降雪となっているとは限らない。予測した日時が例えば快晴であったならば、当然ながら、ユーザは、積雪された景観の画像、即ち撮像行為の目的が達成されている画像を得ることができない。
【０００７】
このように、ユーザにとって、単にデジタルカメラを用いて撮像操作（レリーズ釦の押下操作等）をしただけでは、景観の所望の状態（積雪された状態等）になっている画像、即ち、当該ユーザの撮像行為の目的が達成された画像を得ることは困難である。
そこで、デジタルカメラが、撮像画像のデータに対して画像処理を施して、撮像行為の目的が達成された画像のデータに変換することが要求される。
【０００８】
しかしながら、特許文献１乃至４に記載の技術を単に適用しても、このような要求に応えることは困難である。
即ち、特許文献１乃至４に記載の技術とは、時間変化や天候変化に応じて、表示する絵柄や画像を自動的に選択して表示する第１技術か、或いは、色や輝度等の表示用調整データを予め設定しておき、現在の季節、日時、天候等に応じて画像全体を補正する第２技術である。
前者の第１技術では、選択して表示する絵柄や画像は予め用意しておく必要があるところ、所定場所から見える景観の画像を予め用意しておくことは現実的でない。後者の第２の技術では、景観の色だけでなく、画像全体の色や輝度が一律に補正されてしまうため、不自然で現実味に欠ける補正しかできない。
【０００９】
なお、従来、３次元CG(Computer  Graphics)や建築用の景観シミュレーションソフトウェアの中には、色々な視点から眺めた建築物の景観をレンダリングしたり、樹木等周囲の景観や季節変化による日陰等をシミュレーションできるものが存在する。
しかしながら、これらのシミュレーションソフトウェアにより得られる画像は、実世界を撮像した結果得られる撮像画像（写真画像）と比較すると、仮想的かつ人工的な画像であることが明らかであり、不自然で現実味に欠けるものであった。
さらにまた、これらのシミュレーションソフトウェアは、そもそも設計データや３次元形状モデル等実世界とは別なものに基づいて、シミュレーション描画することが前提とされている。このため、これらのシミュレーションソフトウェアを、実世界の景観等を撮像した結果得られる撮像画像の加工用としてそのまま適用することは非常に困難である。
【００１０】
以上まとめると、ユーザの撮像行為の目的に合致し、かつより自然で現実味のある画像となるように、撮像画像を加工したいという要望が挙げられている。しかしながら、特許文献１乃至４を含む従来の技術では、当該要望に十分に応えることはできない。このため、当該要望に十分に応えることが可能な技術の実現が求められている。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、ユーザの撮像行為の目的に合致した画像処理であって、より自然で現実味のある景観の状態を表現できる画像処理を実現することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の一態様に係る画像処理装置は、処理対象となる原画像を取得する原画像取得手段と、前記原画像取得手段により取得された前記原画像内における所定の堆積物が堆積し得る被写体部分の位置と形状を特定する被写体特定手段と、前記被写体特定手段により特定された前記所定の堆積物が堆積し得る被写体部分の位置と形状に対応させて、前記原画像上に前記所定の堆積物を示す物体画像を配置して合成することによって合成画像を生成する合成手段と、を備えることを特徴とする。
【００１３】
本発明の別の態様によると、上述した本発明の一態様に係る画像処理装置に対応する画像処理方法及びプログラムの各々を提供する。
【発明の効果】
【００１４】
本発明によれば、ユーザの撮像行為の目的に合致した画像処理であって、より自然で現実味のある景観の状態を表現可能な画像処理を実現することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の画像処理装置の第１実施形態としての撮像装置のハードウェアの構成を示すブロック図である。
【図２】図１の撮像装置の機能的構成のうち、本発明の第１実施形態に係る画像合成処理の実行機能を実現する機能的構成例を示す機能ブロック図である。
【図３】原画像の一例を示す図である。
【図４】図３の原画像から得られた合成画像の一例を示す図である。
【図５】図１の撮像装置が実行する本発明の第１実施形態に係る画像合成処理の流れの一例を示すフローチャートである。
【図６】図５の画像合成処理に含まれる対象被写体特定処理の詳細な流れの一例を説明するためのフローチャートである。
【図７】図５の画像合成処理に含まれる対象被写体特定処理の詳細な流れの一例であって、図６の例とは別の例を説明するためのフローチャートである。
【図８】図５の画像合成処理に含まれる雪画像生成処理の詳細な流れの一例を説明するためのフローチャートである。
【図９】図５の画像合成処理に含まれる雪画像生成処理の詳細な流れの一例であって、図８の例とは別の例を説明するためのフローチャートである。
【図１０】図１の撮像装置の機能的構成のうち、本発明の第２実施形態に係る画像合成処理の実行機能を実現する機能的構成例を示す機能ブロック図である。
【図１１】図１の撮像装置が実行する本発明の第２実施形態に係る画像合成処理の流れの一例を示すフローチャートである。
【図１２】図１の撮像装置が実行する本発明の第２実施形態に係る成長物画像生成処理の詳細な流れの一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面に基づいて、本発明の画像処理装置の実施形態として、第１実施形態及び第２実施形態をその順番で個別に説明する。
【００１７】
〔第１実施形態〕
図１は、本発明の画像処理装置の第１実施形態としての撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラにより構成することができる。
【００１８】
撮像装置１は、CPU（Central  Processing  Unit）１１と、ROM（Read  Only  Memory）１２と、RAM（Random  Access  Memory）１３と、計時部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、操作部１８と、表示部１９と、記憶部２０と、通信部２１と、GPS（Global  Positioning  System）部２２と、ドライブ２３と、を備えている。
【００１９】
CPU１１は、ROM１２に記録されているプログラムに従って、又は、記憶部２０からRAM１３にロードされたプログラムに従って、各種の処理を実行する。
RAM１３にはまた、CPU１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００２０】
例えば本実施形態では、後述する図２の原画像取得部４１乃至表示制御部４５の各機能を実現するプログラムが、ROM１２や記憶部２０に記憶されている。従って、CPU１１が、これらのプログラムに従った処理を実行することで、図２の原画像取得部４１乃至表示制御部４５の各機能を実現することができる。
【００２１】
計時部１４は、計時動作を行い、現在時刻等をCPU１１に通知する。
【００２２】
CPU１１、ROM１２、RAM１３、及び計時部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、操作部１８、表示部１９、記憶部２０、通信部２１、GPS部２２、及びドライブ２３が接続されている。
【００２３】
撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００２４】
光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００２５】
イメージセンサは、光電変換素子や、AFE（Analog  Front  End）等から構成される。
光電変換素子は、例えばCMOS（Complementary  Metal  Oxide  Semiconductor）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮像）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D（Analog/Digital）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
なお、以下、撮像部１７の出力信号を、「撮像画像のデータ」と呼ぶ。従って、撮像部１７からは撮像画像のデータが出力されて、CPU１１等に適宜供給される。
【００２６】
操作部１８は、各種釦等で構成され、ユーザの指示操作を受け付ける。
表示部１９は、液晶ディスプレイ等で構成され、各種画像を表示する。
記憶部２０は、DRAM（Dynamic  Random  Access  Memory）等で構成され、撮像部１７から出力された撮像画像のデータを一時記憶する。また、記憶部２０は、各種画像処理に必要な各種データ、例えば、画像のデータ、各種フラグの値、閾値等も記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００２７】
GPS部２２は、複数のGPS衛星との距離を算出することで、撮像装置１の現在位置を測定する。
【００２８】
ドライブ２３には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。ドライブ２３によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。
【００２９】
図２は、図１の撮像装置１の機能的構成のうち、本発明の第１実施形態に係る画像合成処理の実行機能を実現する機能的構成例を示す機能ブロック図である。
ここで、第１実施形態に係る画像合成処理とは、一般的な景観を表す原画像のデータと、後述する対象被写体に一定量の積雪がなされた画像（以下、「雪画像」と呼ぶ）のデータとを合成するまでの一連の処理をいう。
【００３０】
CPU１１は、このような画像合成処理を実行すべく、原画像取得部４１と、対象被写体特定部４２と、雪画像生成部４３と、合成部４４と、表示制御部４５と、を備えている。
【００３１】
本実施形態では、原画像取得部４１乃至表示制御部４５の各々は、図１に示す構成のうち、CPU１１というハードウェアと、ROM１２等に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。
しかしながら、これは例示であって、原画像取得部４１乃至表示制御部４５の機能の少なくとも一部を、CPU１１以外の他の構成要素に移譲させることも当然可能である。
【００３２】
また、本実施形態では、記憶部２０の一領域として、積雪情報記憶部５１が設けられている。
なお、積雪情報記憶部５１が記憶部２０の一領域として設けられていることは例示にすぎず、その他例えば、リムーバブルメディア３１の一領域として設けられるようにしてもよい。また、積雪情報記憶部５１は、撮像装置１に設けられている必要は特になく、例えば、通信部２１を介して接続される他の装置内に設けられていてもよい。
【００３３】
原画像取得部４１は、本実施形態では撮像部１７から出力される撮像画像のデータを、原画像のデータとして取得して、対象被写体特定部４２及び合成部４４に供給する。
【００３４】
なお、原画像のデータは、本実施形態では撮像部１７から出力される撮像画像のデータが採用されているが、本実施形態の例に特に限定されず、後述する積雪対象領域を特定可能な画像のデータであれば、その供給元は問わない。
例えば、原画像取得部４１は、リムーバブルメディア３１から読み出された画像のデータや、通信部２１を介するインターネット等から供給される画像のデータを、原画像のデータとして取得することもできる。
【００３５】
また、本実施形態では、原画像のデータには、当該原画像が撮像された地域（以下、「撮像地域」と呼ぶ）を示す位置情報と、当該原画像が撮像された時刻（以下、「撮像時刻」と呼ぶ）を示す時間情報とが、少なくともメタ情報として付加されているものとする。
ここで、位置情報は例えばGPS部２２（図１）により得られ、時間情報は例えば計時部１４（図１）により得られる。
【００３６】
対象被写体特定部４２は、原画像取得部４１から供給された原画像のデータに基づいて、当該原画像に含まれる各種被写体のうち、その上に積雪が起こり得る１以上の被写体（以下、「対象被写体」と呼ぶ）の位置や形状を特定する処理を実行する。
このような対象被写体の位置や形状を特定する処理を、以下、「対象被写体特定処理」と呼ぶ。
ここで、対象被写体の位置や形状を特定する手法は、特に限定されない。本明細書では、このような各種各様の手法のうち２つの具体例について、図６及び図７の各々を参照して後述する。
【００３７】
図３は、原画像の一例を示している。
図３の原画像６１においては、道路を示す対象被写体７１ａや、家を示す対象被写体７１ｂ等が特定されることになる。なお、当然ながら、その他の家等の被写体についても、積雪の可能性があるため、対象被写体として特定され得るが、ここでは説明の便宜上、図３に符号が図示されている対象被写体７１ａ，７１ｂのみに着目して、以下、説明を行う。
【００３８】
対象被写体特定部４２は、１以上の対象被写体の各々の位置や形状を、雪画像生成部４３に通知する。
【００３９】
雪画像生成部４３は、対象被写体特定部４２から通知された１以上の対象被写体の位置や形状に基づいて、一定量の積雪がなされた当該１以上の対象被写体を含み、それ以外は透明になっている画像のデータを、雪画像のデータとして生成する。
ここで、対象被写体の上の部分であって、一定量の積雪がなされている部分を、以下、「積雪領域」と呼ぶ。従って、本実施形態では、雪画像には、対象被写体と、積雪領域との両者が含まれる。ただし、雪画像には、積雪領域が含まれていれば足り、対象被写体は省略してもよい。
また、本実施形態では、雪画像のうち、対象被写体と積雪領域以外の画素、即ち透明の画素は、データ上、所定の画素値が与えられずに、「画素値がない」というフラグが立てられることにより、表現されるものとする。
ここで、雪画像を生成する手法は、特に限定されない。本明細書では、このような各種各様の手法のうち２つの具体例について、図８及び図９の各々を参照して後述する。
【００４０】
なお、本実施形態では、雪領域の積雪量、即ち、雪領域の画像内の垂直方向の長さ（高さ）の基準は、ユーザが自在に設定可能とされており、以下、「設定積雪量」と呼ぶ。即ち、ユーザは、操作部１８を操作することによって、設定積雪量を指示することができる。
なお、設定積雪量の指示の手法は、特に限定されないが、本実施形態では、積雪量加減モードと季節変化モードの２種類の設定モードが設けられており、ユーザが何れかの種類の設定モードを用いて設定積雪量を指示する、という手法が採用されているものとする。
積雪量加減モードとは、ユーザが、設定積雪量の加減量を、例えばセンチメートル単位で、操作部１８を操作して直接指示するモードをいう。積雪量加減モードでは、ユーザは、既に積雪している合成画像（合成画像については後述する）に対して、マイナス量を指定して設定積雪量を減ずる設定をすることで、合成画像の積雪量を減少させることもできる。
一方、季節変化モードとは、地域や季節のリストが表示部１９に表示され、ユーザが操作部１８を操作して、そのリストの中から任意の地域と任意の季節を選択することにより、当該地域と季節における例年の積雪量を、設定積雪量として指示するモードをいう。なお、季節変化モードを実現するために、地域と季節とを少なくとも含む複数種類のパラメータにより特定されるパターンに対して、所定の積雪量が対応付けられた情報（以下、「積雪情報」と呼ぶ）が積雪情報記憶部５１に記録されている。
【００４１】
雪画像生成部４３は、このようにして生成した雪画像のデータを、合成部４４に供給する。
【００４２】
合成部４４は、原画像取得部４１から供給された原画像のデータと、雪画像生成部４３により生成された雪画像のデータとを合成することによって、合成画像のデータを生成する。
具体的には例えば、対象被写体及び積雪領域については透明度が０％（非透明）にされ、それ以外については透明度が１００％（透明）にされた状態で、雪画像が原画像の上に重畳されるように、合成画像のデータが生成される。
【００４３】
図４は、図３の原画像から得られた合成画像の一例を示している。
合成画像６２は、図３の原画像６１に対して、各対象被写体の上に積雪領域が付加された画像、例えば、対象被写体７１ａの上に積雪領域７２ａが付加され、対象被写体７１ｂの上に積雪領域７２ｂが付加された画像になっている。
【００４４】
ここで、対象被写体や積雪領域の透明度は、０％（非透明）にする必要は特になく、例えば３０％などの半透明にしてもよい。これにより、原画像の色を合成画像に反映させることができるので、例えば積雪領域の奥に元の風景が存在する様子がおぼろげながらわかるような、より自然な表現が可能になる。
また、積雪領域の透明度は、一律に同一割合にする必要は特になく、下方にいくほど０％（非透明）に近付ける、換言すると、上方にいくほど１００％（透明）に近付けるようにしてもよい。これにより、下方にいくほど積雪の密度が濃くなり、元の奥の風景が見えづらくなり、上方にいくほど積雪の密度が薄くなり、元の奥の風景が見え易くなるといった、より自然な表現も可能になる。
【００４５】
合成部４４は、合成画像のデータを、表示制御部４５に供給する。
すると、表示制御部４５は、合成部４４から供給されたデータが表現する合成画像、即ち、原画像に対して、対象被写体が積雪された状態に変化した画像を表示部１９に表示させる。
【００４６】
また、合成部４４は、ユーザの操作部１８に対する保存の指定操作があった場合、当該合成画像のデータを、例えばリムーバブルメディア３１に保存する。
【００４７】
次に、以上説明した図２の機能的構成を有する撮像装置１が実行する画像合成処理について説明する。
【００４８】
画像合成処理は、例えば、撮像画像が撮像された後、この撮像画像のデータを保存用メモリ（図１のリムーバブルメディア３１等）に記録することを確定する前の確認用画面（いわゆるプレビュー画面）の表示中に、ユーザが、当該撮像画像を積雪の状態の画像に変更をする指示操作を操作部１８に対して行った場合、その操作を契機として開始される。
そして、この画像合成処理により積雪の状態が変更された後の撮像画像が再度確認用画面に表示され、ユーザが保存用メモリへの記録を確定する指示操作を行った後に、撮像装置１は、積雪の状態が変更された後の撮像画像のデータを保存用メモリに記録する。又は、撮像装置１は、保存用メモリに一時記憶されていた撮像画像のデータの恒久的な保存を確定する。
この場合、ユーザが保存用メモリへの記録を確定する指示操作を行わなかった場合には、一時的に保存用メモリ又は記憶部２０に記録されていた撮像画像のデータを自動的に削除する。そして、撮像画像のデータの保存又は非保存が確定した後、撮像装置１の状態は、次の撮影の待機状態に移行する。
ユーザは、保存用メモリへの記録を確定する指示操作を行う前（次の撮影の待機状態に移行する前）の段階では、何度でも変更の指示操作を行って、その都度撮像装置１に画像合成処理を実行させることで、積雪状態の変化を確認用画面でその都度確認することができる。
一方で、ユーザが積雪の状態を変更する指示操作を行わずに保存用メモリへの記録を確定する指示操作を行った場合には、画像合成処理は実行されずに、積雪の状態が変更されていない撮像画像のデータが保存用メモリに記録される。
なお、撮像画像の記録指示操作（シャッタ釦の全押操作等）を、積雪の状態の画像に変更をする指示操作として兼用することも可能である。
このように、撮影直後の確認用画面において、ユーザの指示操作に応じて積雪の状態を任意の状態に変更し、その変更結果を確認できるようにしたので、構図と積雪状態の組み合わせが所望の状態になるまで、構図と積雪状態の両方を変えながら何度でも撮り直しをすることが可能となる。また、構図と積雪状態の組み合わせが所望の状態になった撮像画像のデータだけを保存用メモリに記録することができるので、無駄な撮像画像のデータを保存することなくメモリ容量を節約することが可能となる。
即ち、ユーザは、積雪状態だけを変更するのであれば、例えば、帰宅後に自宅のパーソナルコンピュータを用いて画像編集を行うことも可能である。しかしながら、ユーザは、構図と積雪状態の組み合わせを所望の状態にするためには、その場で（撮影直後に）、積雪状態の変更と確認を行うことが必須になる。このような変更と確認を行うために、画像合成処理が実行されるのである。
なお、上述のように、撮影直後の保存用メモリへの記録を確定する前（次の撮影の待機状態に移行する前）に画像合成処理を行うのが望ましいが、保存用メモリに記録した後の任意のタイミングで撮像画像を読み出して画像合成処理を実行できるようにしてもよい。
また、例えば、より処理能力の高いＣＰＵを用いるなどして、ライブビュー表示のために逐次取得される画像のデータに対して画像合成処理をリアルタイムに施しながら表示するようにしてもよい。
また、予め撮影前の段階で、積雪量加減モードや季節変化モードを設定して記憶しておき、撮影指示が行われた際に、ユーザが他の指示操作を行うこと無く、予め設定された条件で自動的に画像合成処理を実行し、積雪状態が変更された後の撮像画像を自動的に記録するようにしてもよい。
【００４９】
図５は、このような画像合成処理の流れの一例を示すフローチャートである。
【００５０】
ステップＳ１において、原画像取得部４１は、原画像のデータを取得する。
【００５１】
ステップＳ２において、対象被写体特定部４２は、対象被写体特定処理を実行することによって、ステップＳ１の処理で取得された原画像のデータから、１以上の対象被写体の各々の形状と位置を特定する。
なお、対象被写体特定処理の詳細については、図６及び図７の各々の具体例を参照して後述する。
【００５２】
ステップＳ３において、雪画像生成部４３は、設定積雪量の設定モードの選択操作を受け付ける。
即ち、上述したように、設定積雪量の設定モードとして、積雪量加減モードと季節変化モードの２種類の設定モードが設けられている。このため、本実施形態では、ユーザは、操作部１８を操作することによって、これら２種類の設定モードのうち所望のモードを選択することができる。
雪画像生成部４３は、このようなユーザの操作部１８に対する選択操作を受け付けると、処理をステップＳ４に進める。
【００５３】
ステップＳ４において、雪画像生成部４３は、ステップＳ３の処理で受け付けた選択操作の内容を解釈することによって、選択された設定モードが季節変化モードであるか否かを判定する。
【００５４】
設定積雪量の設定モードとして、積雪量加減モードが選択された場合、ステップＳ４においてＮＯであると判定され、処理はステップＳ５に進む。
ステップＳ５において、雪画像生成部４３は、ユーザが操作部１８を操作して直接指定した積雪量（増減量も含む）を、設定積雪量として決定する。
これにより、処理はステップＳ９に進む。ただし、ステップＳ９以降の処理は後述する。
【００５５】
これに対して、設定積雪量の設定モードとして、季節変化モードが選択された場合、ステップＳ４においてＹＥＳであると判定され、次のようなステップＳ６乃至Ｓ８の処理が実行される。
【００５６】
ステップＳ６において、雪画像生成部４３は、図２には図示しないが表示制御部４５を制御して、ユーザが選択可能な地域と季節のリストを、表示部１９に表示させる。
【００５７】
表示部１９に表示されたリストをみたユーザは、操作部１８を操作して、所望の地域と所望の季節を選択する。
【００５８】
ステップＳ７において、雪画像生成部４３は、ユーザが選択した地域と季節のパターンを認識する。
なお、ユーザが地域を選択しなかった場合、本実施形態では、雪画像生成部４３は、原画像の撮像地域が選択されたものとみなし、当該原画像のデータに付されたメタ情報（位置情報）から撮像地域を認識する。
また、ユーザが季節を選択しなかった場合、本実施形態では、雪画像生成部４３は、原画像が撮像された時の季節が選択されたものとみなし、当該原画像のデータに付されたメタ情報（時間情報）から季節を認識する。
【００５９】
ステップＳ８において、雪画像生成部４３は、ステップＳ７の処理で認識したパターンに対応する積雪情報を積雪情報記憶部５１から読み出し、当該積雪情報に基づいて設定積雪量を決定する。
【００６０】
このようにして、ステップＳ５又はＳ８の処理で設定積雪量が決定されると、処理はステップＳ９に進む。
【００６１】
ステップＳ９において、雪画像生成部４３は、雪画像のデータを生成する。即ち、ステップＳ２の対象被写体特定処理によって位置と形状が特定された対象被写体の上部に、ステップＳ５又はＳ８の処理で決定された設定積雪量に基づいて堆積された雪を示す積雪領域が付加された画像のデータが、雪画像のデータとして生成される。
このようなステップＳ９の処理を、以下、図５の同ステップの記載にあわせて「雪画像生成処理」と呼ぶ。雪画像生成処理の詳細については、図８及び図９の各々の具体例を参照して後述する。
【００６２】
ステップＳ１０において、合成部４４は、ステップＳ１の処理で取得された原画像のデータと、ステップＳ９の雪画像生成処理で生成された雪画像のデータとを合成することによって、合成画像のデータを生成する。
【００６３】
ステップＳ１１において、表示制御部４５は、ステップＳ１０の処理で生成されたデータで表現される合成画像を、表示部１９に表示させる。
これにより、画像合成処理は終了する。
【００６４】
次に、図５の画像合成処理のうち、ステップＳ２の対象被写体特定処理の詳細について、図６及び図７の各々の具体例を用いて説明する。
図６は、対象被写体特定処理の詳細な流れの一例を説明するためのフローチャートである。
【００６５】
図６の例の対象被写体特定処理においては、対象被写体特定部４２は、顕著性マップを作成することにより、対象被写体の位置や形状を特定する。
【００６６】
顕著性マップとは、次のような画像のデータをいう。即ち、人間の目の網膜や脳の視覚野にある受容野の細胞は、網膜に映る画像の輪郭成分や直線成分を強調して認識する、という性質を有している。このような性質に基づくシミュレーションによって、原画像のデータから生成される画像のデータであって、原画像の中から連続した輪郭成分を抽出するために用いられる画像のデータが、顕著性マップである。
顕著性マップの解像度（サイズ）は原画像と同一であり、顕著性マップの各画素値は、複数種類の特徴量マップの各画素値又はそれに重み付けした値の総和となる。
そこで、図６の例の対象被写体特定処理においては、先ず、次のようなステップＳ２１乃至Ｓ２３のループ処理が繰り返されることによって、複数種類の特徴量マップが生成される。
【００６７】
ステップＳ２１において、対象被写体特定部４２は、所定種類の特徴を処理対象に設定する。
ステップＳ２２において、対象被写体特定部４２は、処理対象に対応する種類の特徴量マップを生成する。
【００６８】
ここで、特徴量マップとは、原画像と同一の解像度（サイズ）を有する画像のデータであって、所定種類の特徴についての原画像の各画素における特徴量のそれぞれを、対応する画素の画素値として有する画像のデータである。
即ち、ステップＳ２１の処理で選択される特徴の種類に応じて、特徴量マップの種類が特定されることになる。
ステップＳ２１の処理で選択され得る特徴の種類として主に採用されるものは、隣接画素間における輝度や色の差分（即ち輪郭成分）と、縦横斜め方向の直線成分である。これらの種類の特徴は全て、人間の受容野の細胞が有する性質のうち、実際に輝度や色の差分と縦横斜めの直線を特異的に感知するという性質に基づいて採用されたものである。
輝度や色の輪郭成分を強調することは、画像の空間周波数の高周波成分を強調することと等価である。それ故、ステップＳ２１の処理で、輝度や色の輪郭成分が特徴として選択された場合、対象被写体特定部４２は、ステップＳ２２の処理として、空間周波数のローパスフィルタ（ガウシアンフィルタ等）を原画像のデータに掛けた結果得られるデータと、原画像のデータとの差分を演算する。これにより、所定の高周波成分を強調した画像のデータ、即ち、輝度や色の輪郭成分についての特徴量マップが生成される。
また、ステップＳ２１の処理で、縦横斜め方向のうちの所定方向の直線成分が特徴として選択された場合、対象被写体特定部４２は、ステップＳ２２の処理として、所定方向の輪郭成分を強調するフィルタ（ガボールフィルタ等）を原画像のデータに掛けた結果得られるデータと、当該原画像のデータとの差分を演算する。これにより、所定方向の直線成分を強調した画像のデータ、即ち、所定方向の直線成分についての特徴量マップが生成される。
【００６９】
このようにして、ステップＳ２１及びＳ２２の処理で、処理対象に対応する種類の特徴量マップが生成されると、処理はステップＳ２３に進む。
ステップＳ２３において、対象被写体特定部４２は、全ての種類の特徴が処理対象に設定されたか否かを判定する。
ここで、「全ての種類の特徴」は何れも、撮像装置１の設計製作者やユーザが任意に決定することが可能である。即ち、撮像装置１の設計製作者やユーザは、任意の種類の特徴を任意の数だけ決定することが可能である。
このようにして撮像装置１の設計製作者やユーザにより決定された複数の特徴の種類のうち、未だ処理対象に設定されていないものがある場合、ステップＳ２３においてＮＯであると判定されて、処理はステップＳ２１に戻され、それ以降の処理が繰り返される。
即ち、撮像装置１の設計製作者やユーザにより決定された複数の特徴の種類の各々が順次処理対象に設定され、その都度、ステップＳ２１乃至Ｓ２３のループ処理が繰り返し実行されることによって、当該処理対象に対応する種類の特徴量マップがそれぞれ生成される。
そして、輝度や色の高周波成分についての特徴量マップや、縦横斜めの直線成分についての特徴量マップといった複数種類の特徴量マップが生成されると、ステップＳ２３においてＹＥＳであると判定されて、処理はステップＳ２４に進む。
【００７０】
ステップＳ２４において、対象被写体特定部４２は、複数種類の特徴量マップのデータを構成する各画素値のそれぞれについて、必要に応じて一定の重み付けをして、それらの総和を取ることにより、顕著性マップを生成する。
【００７１】
顕著性マップの具体的な生成手法としては、例えば、Treismanの特徴統合理論や、Itti及びKochらによる顕著性マップの手法を採用することができる。
なお、Treismanの特徴統合理論については、「A.M.Treisman  And  G.Gelade，“A  Feature-Integration  Theory  of  Attention”，Cognitive  Psychology，Vol.12，No.1，pp97-136，1980.」を参照するとよい。
また、Itti及びKochらによる顕著性マップについては、「L.Itti，C.Koch,  and  E.Niebur，“A  Model  of  Saliency-Based  Visual  Attention  for  Rapid  Scene  Analysis”，IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence，Vol.20，No.11，November  1998.」を参照するとよい。
【００７２】
ステップＳ２５において、対象被写体特定部４２は、顕著性マップに基づいて、注目点領域を特定する。即ち、対象被写体特定部４２は、顕著性マップを構成する各画素値のうち、所定の閾値以上の画素値を有する画素の集合体（領域）を、注目点領域として特定する。
【００７３】
ステップＳ２６において、対象被写体特定部４２は、注目点領域に基づいて、対象被写体の位置や形状を特定する。例えば、対象被写体特定部４２は、注目点領域の上方の輪郭線を結合することによって、対象被写体の位置や形状を特定する。
これにより、対象被写体特定処理は終了する。即ち、図５のステップＳ２の処理は終了して、処理はステップＳ３に進む。
【００７４】
以上、図５の画像合成処理のステップＳ２の対象被写体特定処理の一例について、図６のフローチャートを参照して説明した。次に、当該対象被写体特定処理の別の例として、図７のフローチャートを参照して説明する。
図７は、対象被写体特定処理の詳細な流れの一例であって、図６の例とは別の例を説明するためのフローチャートである。
【００７５】
ステップＳ４１において、対象被写体特定部４２は、２次元の原画像のデータから、対象被写体の３次元形状を特定する。
【００７６】
ステップＳ４２において、対象被写体特定部４２は、特定された３次元形状内の平面部分を特定する。
【００７７】
ステップＳ４３において、対象被写体特定部４２は、特定された平面部分に基づいて、対象被写体の位置や形状を特定する。
これにより、対象被写体特定処理は終了する。即ち、図５のステップＳ２の処理は終了して、処理はステップＳ３に進む。
【００７８】
以上、図５の画像合成処理のステップＳ２の対象被写体特定処理の２つの例について、図６及び図７の各々のフローチャートを参照してそれぞれ説明した。
次に、画像合成処理のステップＳ９の雪画像生成処理の２つの例について、図８及び図９の各々のフローチャートを参照してそれぞれ説明する。
【００７９】
図８は、雪画像生成処理の詳細な流れの一例を説明するためのフローチャートである。
【００８０】
ステップＳ６１において、雪画像生成部４３は、基準線の上に単位雪画像をランダムに配置させる処理（以下、図８の記載にあわせ「単位雪画像配置処理」と呼ぶ）を実行する。
ここで、初回の単位雪画像配置処理の基準線は、図５のステップＳ２の対象被写体特定処理により位置や形状が特定された対象被写体のうち、積雪の可能性がある部分（主に上部）の形状の輪郭線が採用される。
また、単位雪画像とは、ｎ×ｍ画素の雪色の画像をいう。ｎは、水平方向の画素数を示す任意の整数値である。ｍは、垂直方向の画素数を示す整数値であって、ｎとは独立した任意の整数値（ｎ＝ｍも含む）である。ｎ，ｍは、単位雪画像を連続して配置した場合に自然な積雪のように見える範囲内で設定するとよい。
なお、全ての単位雪画像が一律に同一色ならば、単位雪画像が連続して配置された部分は、一律に同一色となってしまい、自然な積雪のようにみえない。従って、単位雪画像の色も、積雪時の色として不自然にならない範囲内で、ランダムに変化させるとよい。或いはまた、単位雪画像を構成するｎ×ｍの各画素の色を、積雪時の色として不自然にならない範囲内で、ランダムに変化させてもよい。
また、対象被写体が複数個存在する場合には、単位雪画像配置処理は、複数の対象被写体毎にそれぞれ実行される。
【００８１】
ステップＳ６２において、雪画像生成部４３は、直前のステップＳ６１の処理が終了した時点の単位雪画像の上部の形状の輪郭線を新たな基準線として更新する。
【００８２】
ステップＳ６３において、雪画像生成部４３は、初回の基準線（対象被写体の上部）から、直前のステップＳ６２の処理で更新された基準線までの高さに基づいて、画像内の積雪量を認識し、当該積雪量が、図５のステップＳ５又はＳ８の処理で決定された設定積雪量を超えたか否かを判定する。
【００８３】
画像内の積雪量が設定積雪量に到達していない場合、ステップＳ６３においてＮＯであると判定されて、処理はステップＳ６１に戻され、それ以降の処理が繰り返される。
即ち、画像内の積雪量が設定積雪量に到達するまでの間、ステップＳ６１乃至Ｓ６３のループ処理が繰り返し実行され、単位雪画像配置処理がその都度実行される。
これにより、対象被写体の上部に、単位雪画像が徐々に積層されていくことになる。この場合、このような単位雪画像が積層された領域が、積雪領域となる。即ち、単位雪画像配置処理が繰り返し実行されることで、画像内の積雪量が増加していくように、積雪領域の画像内の高さが高くなっていく。
その後、画像内の積雪量が設定積雪量を超えると、ステップＳ６３においてＹＥＳであると判定され、雪画像生成処理が終了する。
なお、対象被写体が複数存在する場合には、複数の対象被写体のそれぞれに対して、ステップＳ６１乃至Ｓ６３の処理が実行され、複数の対象被写体の上部に複数の積雪領域が形成されていく。この場合、積雪領域の画像内の積雪量（高さ）のうち、例えば最高量（最高位）が設定積雪量を超えると、ステップＳ６３においてＹＥＳであると判定され、雪画像生成処理が終了する。
【００８４】
このようにして雪画像生成処理が終了すると、原画像と同一解像度（同一サイズ）の画像であって、一定量（一定の高さ）の積雪領域が上部にそれぞれ付加された、１以上の対象被写体を含み、それ以外は透明となった画像のデータが、雪画像のデータとして生成される。
その後、処理は、図５のステップＳ９からＳ１０に進み、このような雪画像のデータが、原画像のデータに合成されて、合成画像のデータが生成される。
【００８５】
以上、図５の画像合成処理のステップＳ９の雪画像生成処理の一例について、図８のフローチャートを参照して説明した。次に、当該雪画像生成処理の別の例として、図９のフローチャートを参照して説明する。
図９は、雪画像生成処理の詳細な流れの一例であって、図８の例とは別の例を説明するためのフローチャートである。
【００８６】
ステップＳ８１において、雪画像生成部４３は、図５のステップＳ２の対象被写体特定処理により特定された対象被写体の位置や形状にあわせて、所定の降雪シミュレーションにおける降雪対象モデルの形状を設定する。
【００８７】
ステップＳ８２において、雪画像生成部４３は、図５のステップＳ５又はＳ８の処理で決定された設定積雪量を、降雪シミュレーションにおける雪の量として設定する等、降雪シミュレーションの各種条件を設定する。
【００８８】
ステップＳ８３において、雪画像生成部４３は、ステップＳ８２の処理で設定された条件に従って、ステップＳ８１の処理で設定された降雪対象モデルに対して降雪シミュレーションを行うことによって、雪画像のデータを生成する。
これにより、雪画像生成処理が終了する。
【００８９】
このようにして雪画像生成処理が終了すると、原画像と同一解像度（同一サイズ）の画像であって、一定量（一定の高さ）の積雪領域が上部にそれぞれ付加された、１以上の対象被写体を含み、それ以外は透明となった画像のデータが、雪画像のデータとして生成される。
その後、処理は、図５のステップＳ９からＳ１０に進み、このような雪画像のデータが、原画像のデータに合成されて、合成画像のデータが生成される。
【００９０】
なお、図９の例の雪画像生成処理に適用する降雪シミュレーションの手法は特に限定されない。例えば、モンテカルロフィルタ或いは粒子フィルタと呼ばれるフィルタを用いる手法を適用することができる。そこで、以下、当該手法の概略について説明する。
【００９１】
粒子フィルタを用いる手法が適用された降雪シミュレーションは、次のように実行される。
即ち、上空の所定位置からランダムに発生した雪粒子が、一定時間毎にランダムな揺らぎを与えられた場合において、各雪粒子の運動状態が演算される。このような演算が、対象被写体毎に、各雪粒子が到達するまでの間繰り返し実行されると、対象被写体の各々の上に到達する雪粒子の数が求められる。
このような雪粒子の数を求めるまでの演算がさらに繰り返し実行されると、対象被写体の各々に降り積もる雪の３次元形状（積雪領域の３次元形状）がそれぞれ形成されていく。
これにより、対象被写体の各々の積雪量は当然ランダムになるが、その平均値（或いは最大値）が、図５のステップＳ５又はＳ８の処理で決定された設定積雪量に達した時点で、積雪領域の３次元形状は確定される。
【００９２】
雪画像生成部４３は、さらに、上述のように確定された積雪領域の３次元形状が、原画像の画角に対してどのように見えるかをシミュレートすることによって、２次元の積雪領域を含む雪画像のデータを生成する。
ここで、積雪領域の３次元形状から２次元の画像を得る手法は、特に限定されず、例えば、ＣＧ（コンピュータ・グラフィックス）の技法として広く用いられているレイ・トレーシング法等を採用することができる。
レイ・トレーシング法とは、画像を見る眼の方から逆に光線を発したと仮想して、光の伝播経路を追跡することで、２次元スクリーンの各画素でどのように見えるかをシミュレートして、２次元の画像のデータを生成する手法をいう。
【００９３】
以上説明したように、本発明の第１実施形態に係る撮像装置１は、原画像取得部４１と、対象被写体特定部４２と、操作部１８と、雪画像生成部４３と、合成部４４と、を備えている。
原画像取得部４１は、被写体を含む原画像のデータを取得する。
対象被写体特定部４２は、原画像のデータについて、所定の物体の一例である雪の少なくとも一部が接するか又は重なるように合成され得る被写体を対象被写体として、当該対象被写体の形状を特定する。
操作部１８は、ユーザにより指定された、雪の合成量の基準として、設定積雪量を受け付ける。
雪画像生成部４３は、設定積雪量に基づく積雪量の雪（上述の積雪領域）が、対象被写体の形状の少なくとも一部に対して接するか又は重なる位置に配置された画像のデータを、雪画像のデータとして生成する。
合成部４４は、原画像のデータと、雪画像のデータとを合成することによって、合成画像のデータを生成する。
【００９４】
従って、本発明の第１実施形態の撮像装置１は、撮像画像に対して、あたかも雪を積もらせたような合成画像のデータを生成することができる。このような合成画像は、例えば、異なる地域や季節の積雪を模した画像になる。
【００９５】
ここで、ユーザが、撮像装置１を用いて、所定場所（例えば日本国の東京都Ａ区）から見える景観の画像を、撮像画像として撮像する場合を考える。ただし、ユーザの撮像行為の目的は、当該所定場所（例えば日本国の東京都Ａ区）から見える、降雪時の景観の画像を得ることであるとする。
この場合、ユーザの撮影時点において実際に雪が降っていなくとも、即ち、降雪していない景観の画像が原画像として得られたとしても、合成画像として、所望の量の雪が積雪した景観の画像を得ることが容易に可能になる。
さらに、一定量の雪が一律に積雪するのではなく、ユーザにより指定された設定積雪量が基準となって、当該基準に基づいて積雪量が対象被写体毎に決定されるので、より自然で現実味のある降雪の様子を表現できる画像処理が実現可能になる。
【００９６】
以上の、本発明の第１実施形態の撮像装置１が奏することが可能な効果を、具体的に説明すると、例えば次の（１）や（２）のようになる。
（１）所定場所における所望量の積雪がなされた景観等、ユーザの作画意図に合った思い通りの景観の画像を、模擬的な合成画像として容易に得ることができるので、ユーザにとっては、撮影の失敗を減少したり、失敗時のカバーを容易にすることができる。
（２）海外の旅行先等の再び撮影するのが困難な場所での撮影や、同一状態の再現や繰り返しが困難な被写体の撮影といった、再撮影が困難な撮影が存在する。このような場合であっても、ユーザは、１度の撮影で得られた撮像画像を原画像とすることで、所望の景観に近い合成画像を得ることができ、さらに、当該合成画像のデータを保存対象のデータとすることができる。その結果、再度の撮影が不要になる。
また、専らパーソナルコンピュータに用いられる画像編集ソフト等を採用する場合と異なり、ユーザが、積雪の場所、積雪の量、積雪の状態（色等）を個々に指定する必要が無く、積雪の量や季節を指定するだけで、自動的に積雪の場所や積雪の状態（色など）を決定して容易に積雪の画像合成を行うことが可能となる。
【００９７】
以上、本発明の画像処理装置の第１実施形態としての撮像装置１について説明した。
ここで、第１実施形態では、原画像に合成される所定の物体は、雪とされたが、特にこれに限定されない。
原画像に合成される所定の物体としては、例えば、時間の経過とともに被写体に堆積する任意の堆積物を採用することができる。換言すると、堆積物の一例が、上述の雪である。従って、雪以外の堆積物、例えば、水たまりや埃等を、原画像に合成される所定の物体として採用することもできる。
さらにまた、原画像に合成される所定の物体としては、例えば、樹木に咲く花、庭に生える草花等、時間の経過とともに成長する成長物を採用することもできる。
そこで、以下、原画像に合成される所定の物体として「成長物」を採用した場合の実施形態を第２実施形態として、以下説明をする。
【００９８】
〔第２実施形態〕
本発明の第２実施形態に係る撮像装置１は、第１実施形態に係る撮像装置１と基本的に同様のハードウェア構成を取ることができる。
従って、図１は、第２実施形態に係る撮像装置１のハードウェアの構成を示すブロック図でもある。第２実施形態に係る撮像装置１は、第１実施形態と同様に、例えばデジタルカメラにより構成することができる。
【００９９】
図１０は、図１の撮像装置１の機能的構成のうち、第２実施形態に係る画像合成処理の実行機能を実現する機能的構成例を示す機能ブロック図である。
ここで、第２実施形態に係る画像合成処理とは、一般的な景観を表す原画像のデータと、一定量の成長を遂げた成長物を含む画像（以下、「成長物画像」と呼ぶ）のデータとを合成するまでの一連の処理をいう。
【０１００】
CPU１１は、このような画像合成処理を実行すべく、原画像取得部４１と、対象被写体特定部４２と、合成部４４と、表示制御部４５と、成長物画像生成部７１と、を備えている。
【０１０１】
本実施形態では、原画像取得部４１、対象被写体特定部４２、合成部４４、表示制御部４５、及び成長物画像生成部７１の各々は、図１に示す構成のうち、CPU１１というハードウェアと、ROM１２等に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。
しかしながら、これは例示であって、原画像取得部４１、対象被写体特定部４２、合成部４４、表示制御部４５、及び成長物画像生成部７１の機能の少なくとも一部を、CPU１１以外の他の構成要素に移譲させることも当然可能である。
【０１０２】
また、本実施形態では、記憶部２０の一領域として、成長物情報記憶部８１が設けられている。
なお、成長物情報記憶部８１が記憶部２０の一領域として設けられていることは例示にすぎず、その他例えばリムーバブルメディア３１の一領域として設けられるようにしてもよい。また、成長物情報記憶部８１は、撮像装置１に設けられている必要は特になく、例えば通信部２１を介して接続される他の装置内に設けられていてもよい。
【０１０３】
原画像取得部４１、対象被写体特定部４２、合成部４４、及び表示制御部４５の各機能ブロックは、図２の同一符号の各機能ブロックと基本的に同様の機能的構成を有しているため、ここでは、これらの説明は適宜省略する。
【０１０４】
対象被写体特定部４２は、原画像取得部４１により取得された原画像のデータに基づいて、成長物が含まれるか又は接する可能性のある１以上の被写体、例えば桜等の花が咲く樹木を対象被写体として、当該対象被写体の位置や形状を特定する。
対象被写体特定部４２は、１以上の対象被写体の各々の位置や形状を、成長物画像生成部７１に通知する。
【０１０５】
成長物画像生成部７１は、対象被写体特定部４２から通知された１以上の対象被写体の位置や形状に基づいて、一定量の成長を遂げた成長物が付加された当該１以上の対象被写体を含み、それ以外は透明になっている画像のデータを、成長物画像のデータとして生成する。
ここで、本実施形態では、成長物画像には、対象被写体と、それに付加される成長物の両者が含まれる。例えば、対象被写体が樹木であれば、成長物は当該樹木の枝であり、当該枝の成長度合によって、当該枝に生える葉の量や、当該枝に咲く花の量が変化する。ただし、成長物画像には、成長物が含まれていれば足り、対象被写体は省略してもよい。
また、本実施形態では、成長物画像のうち、対象被写体と成長物以外の画素、即ち透明の画素は、データ上、所定の画素値が与えられずに、「画素値がない」というフラグが立てられることにより、表現されるものとする。
ここで、成長物画像を生成する手法は、特に限定されない。本明細書では、このような各種各様の手法の１つの具体例について、図１１を参照して後述する。
【０１０６】
なお、本実施形態では、成長物の成長度合の基準は、ユーザが自在に設定可能とされており、以下、「設定成長度合」と呼ぶ。即ち、ユーザは、操作部１８を操作することによって、設定成長度合を指示することができる。
設定成長度合の指示の手法は、特に限定されないが、本実施形態では、成長度合加減モードと季節変化モードの２種類の設定モードが設けられており、ユーザが何れかの種類の設定モードを用いて設定成長度合を指示する、という手法が採用されているものとする。
設定度合加減モードとは、ユーザが、設定成長度合の加減量を、操作部１８を操作して直接指示するモードをいう。成長度合加減モードでは、ユーザは、既に成長している合成画像（合成画像については後述する）に対して、マイナス量を指定して設定成長度合を減ずる設定をすることで、成長を戻す（過去の状態に戻す）ような合成画像を得ることができる。
一方、季節変化モードとは、地域や季節のリストが表示部１９に表示され、ユーザが操作部１８を操作して、そのリストの中から任意の地域と任意の季節を選択することにより、当該地域と季節における例年の成長度合を、設定成長度合として指示するモードをいう。なお、季節変化モードを実現するために、地域と季節とを少なくとも含む複数種類のパラメータにより特定されるパターンに対して、所定の成長度合が対応付けられた情報（以下、「成長物情報」と呼ぶ）が成長物情報記憶部８１に記録されている。
【０１０７】
成長物画像生成部７１は、このようにして生成した成長物画像のデータを、合成部４４に供給する。
【０１０８】
合成部４４は、原画像取得部４１から供給された原画像のデータと、成長物画像生成部７１により生成された成長物画像のデータとを合成することによって、合成画像のデータを生成する。
具体的には例えば、対象被写体及び成長物については透明度が０％（非透明）にされ、それ以外については透明度が１００％（透明）にされた状態で、成長物画像が原画像の上に重畳されるように、合成画像のデータが生成される。
【０１０９】
ここで、対象被写体や成長物の透明度は、０％（非透明）にする必要は特になく、例えば３０％などの半透明にしてもよい。これにより、原画像の色を合成画像に反映させることができるので、例えば成長物の奥に元の風景が存在する様子がおぼろげながらわかるような、より自然な表現が可能になる。
また、成長物の透明度は、一律に同一割合にする必要は特になく、下方にいくほど０％（非透明）に近付ける、換言すると、上方にいくほど１００％（透明）に近付けるようにしてもよい。これにより、下方にいくほど成長物（花が咲いたり、葉が生い茂った枝等）の密度が濃くなり、元の奥の風景が見えづらくなり、上方にいくほど成長物の密度が薄くなり、元の奥の風景が見え易くなるといった、より自然な表現も可能になる。
【０１１０】
次に、以上説明した図２の機能的構成を有する撮像装置１が実行する、第２実施形態に係る画像合成処理について説明する。
【０１１１】
第２実施形態に係る画像合成処理は、例えば、撮像画像が撮像された後、この撮像画像のデータを保存用メモリ（図１のリムーバブルメディア３１等）に記録することを確定する前の確認用画面（いわゆるプレビュー画面）の表示中に、ユーザが、当該撮像画像に含まれる成長物の成長度合を変更する指示操作を操作部１８に対して行った場合、その操作を契機として開始される。
そして、この画像合成処理により成長度合が変更された後の撮像画像が再度確認用画面に表示され、ユーザが保存用メモリへの記録を確定する指示操作を行った後に、撮像装置１は、成長度合が変更された後の撮像画像のデータを保存用メモリに記録する。又は、撮像装置１は、保存用メモリに一時記憶されていた撮像画像のデータの恒久的な保存を確定する。
この場合、ユーザが保存用メモリへの記録を確定する指示操作を行わなかった場合には、一時的に保存用メモリ又は記憶部２０に記録されていた撮像画像のデータを自動的に削除する。そして、撮像画像のデータの保存又は非保存が確定した後、撮像装置１の状態は、次の撮影の待機状態に移行する。
ユーザは、保存用メモリへの記録を確定する指示操作を行う前（次の撮影の待機状態に移行する前）の段階では、何度でも変更の指示操作を行って、その都度撮像装置１に画像合成処理を実行させることで、成長物の成長度合の変化を確認用画面でその都度確認することができる。
一方で、ユーザが成長度合を変更する指示操作を行わずに保存用メモリへの記録を確定する指示操作を行った場合には、画像合成処理は実行されずに、成長物の成長度合が変更されていない撮像画像のデータが保存用メモリに記録される。
なお、撮像画像の記録指示操作（シャッタ釦の全押操作等）を、成長物の成長度合を変更する指示操作として兼用することも可能である。
このように、撮影直後の確認用画面において、ユーザの指示操作に応じて成長物の成長度合を任意の度合に変更し、その変更結果を確認できるようにしたので、構図と成長度合の組み合わせが所望の状態になるまで、構図と成長度合の両方を変えながら何度でも撮り直しをすることが可能となる。また、構図と成長度合の組み合わせが所望の状態になった撮像画像のデータだけを保存用メモリに記録することができるので、無駄な撮像画像のデータを保存することなくメモリ容量を節約することが可能となる。
即ち、ユーザは、成長物の成長度合だけを変更するのであれば、例えば、帰宅後に自宅のパーソナルコンピュータを用いて画像編集を行うことも可能である。しかしながら、ユーザは、構図と成長度合の組み合わせを所望の状態にするためには、その場で（撮影直後に）、成長度合の変更と確認を行うことが必須になる。このような変更と確認を行うために、画像合成処理が実行されるのである。
なお、上述のように、撮影直後の保存用メモリへの記録を確定する前（次の撮影の待機状態に移行する前）に画像合成処理を行うのが望ましいが、保存用メモリに記録した後の任意のタイミングで撮像画像を読み出して画像合成処理を実行できるようにしてもよい。
また、例えば、より処理能力の高いＣＰＵを用いるなどして、ライブビュー表示のために逐次取得される画像のデータに対して画像合成処理をリアルタイムに施しながら表示するようにしてもよい。
また、予め撮影前の段階で、成長度合加減モードや季節変化モードを設定して記憶しておき、撮影指示が行われた際に、ユーザが他の指示操作を行うこと無く、予め設定された条件で自動的に画像合成処理を実行し、成長度合が変更された後の撮像画像を自動的に記録するようにしてもよい。
【０１１２】
図１１は、このような第２実施形態に係る画像合成処理の流れの一例を示すフローチャートである。
【０１１３】
ステップＳ１０１において、原画像取得部４１は、原画像のデータを取得する。
【０１１４】
ステップＳ１０２において、対象被写体特定部４２は、対象被写体特定処理を実行することによって、ステップＳ１の処理で取得された原画像のデータから、１以上の対象被写体の各々の形状と位置を特定する。
なお、対象被写体特定処理としては、上述した図６や図７の例も含め、各種各様の処理を採用することができる。
ここでは、説明の便宜上、桜の木が対象被写体として、当該桜の木の形状と位置が特定されたものとして、以下の説明を行う。
【０１１５】
ステップＳ１０３において、成長物画像生成部７１は、設定成長度合の設定モードの選択操作を受け付ける。
即ち、上述したように、設定成長度合の設定モードとして、成長度合加減モードと季節変化モードの２種類の設定モードが設けられている。このため、本実施形態では、ユーザは、操作部１８を操作することによって、これら２種類の設定モードのうち所望のモードを選択することができる。
成長物画像生成部７１は、このようなユーザの操作部１８に対する選択操作を受け付けると、処理をステップＳ１０４に進める。
【０１１６】
ステップＳ１０４において、成長物画像生成部７１は、ステップＳ３の処理で受け付けた選択操作の内容を解釈することによって、選択された設定モードが季節変化モードであるか否かを判定する。
【０１１７】
設定成長度合の設定モードとして、成長度合加減モードが選択された場合、ステップＳ１０４においてＮＯであると判定され、処理はステップＳ１０５に進む。
ステップＳ１０５において、成長物画像生成部７１は、ユーザが操作部１８を操作して直接指定した成長度合（例えば、桜の花の開花度等も含む）を、設定成長度合として決定する。
これにより、処理はステップＳ１０９に進む。ただし、ステップＳ１０９以降の処理は後述する。
【０１１８】
これに対して、設定成長度合の設定モードとして、季節変化モードが選択された場合、ステップＳ１０４においてＹＥＳであると判定され、次のようなステップＳ１０６乃至Ｓ１０８の処理が実行される。
【０１１９】
ステップＳ１０６において、成長物画像生成部７１は、図１０には図示しないが表示制御部４５を制御して、ユーザが選択可能な地域と季節のリストを、表示部１９に表示させる。
【０１２０】
表示部１９に表示されたリストをみたユーザは、操作部１８を操作して、所望の地域と所望の季節を選択する。
【０１２１】
ステップＳ１０７において、成長物画像生成部７１は、ユーザが選択した地域と季節のパターンを認識する。
なお、ユーザが地域を選択しなかった場合、本実施形態では、成長物画像生成部７１は、原画像の撮像地域が選択されたものとみなし、当該原画像のデータに付されたメタ情報（位置情報）から撮像地域を認識する。
また、ユーザが季節を選択しなかった場合、本実施形態では、成長物画像生成部７１は、原画像が撮像された時の季節が選択されたものとみなし、当該原画像のデータに付されたメタ情報（時間情報）から季節を認識する。
【０１２２】
ステップＳ１０８において、成長物画像生成部７１は、ステップＳ１０７の処理で認識したパターンに対応する成長物情報を成長物情報記憶部８１から読み出し、当該成長物情報に基づいて設定成長度合を決定する。
【０１２３】
このようにして、ステップＳ１０５又はＳ１０８の処理で設定成長度合が決定されると、処理はステップＳ１０９に進む。
【０１２４】
ステップＳ１０９において、成長物画像生成部７１は、成長物画像のデータを生成する。即ち、ステップＳ１０２の対象被写体特定処理によって位置と形状が特定された対象被写体の内部又は接する位置に、ステップＳ１０５又はＳ１０８の処理で決定された設定成長度合に応じた成長を遂げた成長物が配置された画像のデータが、成長物画像のデータとして生成される。具体的には例えば、上述の例では、桜の木が対象被写体であるため、成長物は当該桜の木の枝になり、その結果、成長度合（開花度）に応じた桜の花が咲いた各枝を有する木を含む画像のデータが、成長物画像のデータとして得られる。
このようなステップＳ１０９の処理を、以下、図１１の同ステップの記載にあわせて「成長物画像生成処理」と呼ぶ。成長物画像生成処理の詳細については、図１２の具体例を参照して後述する。
【０１２５】
ステップＳ１１０において、合成部４４は、ステップＳ１０１の処理で取得された原画像のデータと、ステップＳ１０９の成長物画像生成処理で生成された成長物画像のデータとを合成することによって、合成画像のデータを生成する。
【０１２６】
ステップＳ１１１において、表示制御部４５は、ステップＳ１１０の処理で生成されたデータで表現される合成画像を、表示部１９に表示させる。
これにより、画像合成処理は終了する。
【０１２７】
以上、図１１のフローチャートを参照して、第２実施形態に係る画像合成処理について説明した。
次に、このような画像合成処理のうち、ステップＳ１０９の成長物画像生成処理の詳細な例について、図１２のフローチャートを参照して説明する。
【０１２８】
図１２は、第２実施形態に係る成長物画像生成処理の詳細な流れの一例を説明するためのフローチャートである
【０１２９】
ステップＳ１２１において、成長物画像生成部７１は、基準線の上に単位要素画像をランダムに配置させる処理（以下、図１２の記載にあわせ「単位要素画像配置処理」と呼ぶ）を実行する。
ここで、初回の単位要素画像配置処理の基準線は、図１１のステップＳ１０２の対象被写体特定処理により位置や形状が特定された対象被写体の一部又は接するように配置される成長物の輪郭線が採用される。
また、単位要素画像とは、ｎ×ｍ画素の、成長物の成長要素の少なくとも一部を示す画像、例えば成長物が桜の木の枝ならば、桜の花の少なくとも一部を示す桜色（ピンク色等）の画像をいう。ｎは、水平方向の画素数を示す任意の整数値である。ｍは、垂直方向の画素数を示す整数値であって、ｎとは独立した任意の整数値（ｎ＝ｍも含む）である。ｎ，ｍは、単位要素画像を連続して配置した場合に成長物が自然に成長しているように見える範囲内で設定するとよい。
なお、全ての単位要素画像が一律に同一色ならば、単位要素画像が連続して配置された部分は、一律に同一色となってしまい、自然な成長物にみえない。例えば成長物が桜の木の枝ならば、一律に同一のピンク色の領域が枝に付加されただけになってしまい、桜の花が自然に開花しているようにみえない。
従って、単位要素画像の色も、成長時の色、例えば桜の開花時の色として不自然にならない範囲内で、ランダムに変化させるとよい。或いはまた、単位要素画像を構成するｎ×ｍの各画素の色を、成長時の色、例えば桜の開花時の色として不自然にならない範囲内で、ランダムに変化させてもよい。
また、成長物が複数個存在する場合には、単位要素画像配置処理は、複数の成長物毎にそれぞれ実行される。例えば、対象被写体が桜の木の場合、成長物たる複数の枝が存在するので、複数の枝毎に、単位要素画像配置処理がそれぞれ実行され、その結果、複数の枝のそれぞれに桜の花（単位要素画像）が開花しているように配置されることになる。
【０１３０】
ステップＳ１２２において、成長物画像生成部７１は、直前のステップＳ１２１の処理が終了した時点の単位要素画像の輪郭線を新たな基準線として更新する。
【０１３１】
ステップＳ１２３において、成長物画像生成部７１は、初回の基準線（対象被写体の上部）から、直前のステップＳ１２２の処理で更新された基準線までの高さに基づいて、画像内の成長物の成長度合（桜の花の開花度等）を認識し、当該成長度が、図１１のステップＳ１０５又はＳ１０８の処理で決定された設定成長度合を超えたか否かを判定する。
【０１３２】
画像内の成長物の成長度合が設定成長度合に到達していない場合、ステップＳ１２３においてＮＯであると判定されて、処理はステップＳ１２１に戻され、それ以降の処理が繰り返される。
即ち、画像内の成長物の成長度合（桜の花の開花度等）が設定成長度合に到達するまでの間、ステップＳ１２１乃至Ｓ１２３のループ処理が繰り返し実行され、単位要素画像配置処理がその都度実行される。
これにより、対象被写体の一部又は接するように配置された成長物に、単位要素画像が徐々に積層されていくことになる。例えば、対象被写体が桜の木の場合には、成長物である複数の枝の各々に対して、桜の花（単位要素画像）が徐々に積層されていくことによって、開花が進んでいく様子が表わされていく。
その後、画像内の成長物の成長度合が設定成長度合を超えると（桜の花の開花度が設定開花度を超えると）、ステップＳ１２３においてＹＥＳであると判定され、成長物画像生成処理が終了する。
なお、成長物が複数存在する場合には、複数の成長物のそれぞれに対して、ステップＳ１２１乃至Ｓ１２３の処理が実行され、複数の成長物の画像内のサイズが大きくなっていく。この場合、成長物の画像内のサイズのうち、例えば最高サイズに対応する成長度合が設定成長度合を超えると、ステップＳ１２３においてＹＥＳであると判定され、成長物画像生成処理が終了する。
【０１３３】
このようにして成長物画像生成処理が終了すると、原画像と同一解像度（同一サイズ）の画像であって、設定成長度合に基づく成長量で成長した成長物が、設定被写体の内部又は接する位置に配置された画像のデータが、成長物画像のデータとして生成される。
例えば、対象被写体が桜の木であって、成長物が複数の枝の各々の場合には、設定成長度合（設定開花度）に基づいて開花された複数の枝の各々を有する桜の木を含む画像のデータが、成長物画像のデータとして生成される。
その後、処理は、図１１のステップＳ１０９からＳ１１０に進み、このような成長物画像のデータが、原画像のデータに合成されて、合成画像のデータが生成される。
【０１３４】
以上説明したように、本発明の第２実施形態に係る撮像装置１は、原画像取得部４１と、対象被写体特定部４２と、操作部１８と、成長物画像生成部７１と、合成部４４と、を備えている。
原画像取得部４１は、被写体を含む原画像のデータを取得する。
対象被写体特定部４２は、原画像のデータについて、所定の物体の一例である成長物（例えば桜の木の枝等）の少なくとも一部が接するか又は重なるように合成され得る被写体（例えば桜の木等）を対象被写体として、当該対象被写体の形状を特定する。
操作部１８は、ユーザにより指定された、成長物の成長量（合成量）の基準として、設定成長度合を受け付ける。
成長物画像生成部７１は、設定成長度合に基づく成長量で成長した成長物が、設定被写体の内部又は接する位置に配置された画像のデータを、成長物画像のデータとして生成する。
合成部４４は、原画像のデータと、成長物画像のデータとを合成することによって、合成画像のデータを生成する。
【０１３５】
従って、本発明の第２実施形態の撮像装置１は、撮像画像に対して、あたかも成長物が成長した状態の合成画像のデータを生成することができる。このような合成画像は、例えば、異なる地域や季節の成長物の成長状態を模した画像になる。
【０１３６】
ここで、ユーザが、撮像装置１を用いて、所定場所（例えば日本国の東京都Ａ区）から見える景観の画像を、撮像画像として撮像する場合を考える。ただし、ユーザの撮像行為の目的は、当該所定場所（例えば日本国の東京都Ａ区）から見える、開花時の桜の木の景観の画像を得ることであるとする。
この場合、ユーザの撮影時点において実際に桜が開花していなくとも、即ち、開花していない桜の木の景観の画像が原画像として得られたとしても、合成画像として、所望の開花度で開花した桜の木の景観の画像を得ることが容易に可能になる。
さらに、一定面積の桜の花を示す領域が各枝に付されるのではなく、ユーザにより指定された設定開花度が基準となって、当該基準に基づいて開花量（桜の花を示す領域の面積）が各枝（成長物）毎に決定されるので、より自然で現実味のある桜の開花の様子を表現できる画像処理が実現可能になる。
【０１３７】
以上の、本発明の第２実施形態の撮像装置１が奏することが可能な効果を、具体的に説明すると、例えば次の（１）や（２）のようになる。
（１）所定場所における所望の開花度で開花した桜の木の景観等、ユーザの作画意図に合った思い通りの景観の画像を、模擬的な合成画像として容易に得ることができるので、ユーザにとっては、撮影の失敗を減少したり、失敗時のカバーを容易にすることができる。
（２）海外の旅行先等の再び撮影するのが困難な場所での撮影や、同一状態の再現や繰り返しが困難な被写体の撮影といった、再撮影が困難な撮影が存在する。このような場合であっても、ユーザは、１度の撮影で得られた撮像画像を原画像とすることで、所望の景観に近い合成画像を得ることができ、さらに、当該合成画像のデータを保存対象のデータとすることができる。その結果、再度の撮影が不要になる。
【０１３８】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【０１３９】
例えば、上述の実施形態では、原画像に合成される合成対象は、第１実施形態では雪を代表とする堆積物とされ、第２実施形態では成長物とされたが、特にこれに限定されない。
換言すると、本発明が適用される画像処理装置は、原画像取得機能と、被写体特定機能と、受け付け機能と、物体画像生成機能と、合成機能と、を有していれば足り、その実施の形態は特に限定されない。
ここで、原画像取得機能とは、被写体を含む原画像のデータを取得する機能である。
被写体特定機能とは、原画像のデータについて、所定の物体の少なくとも一部が接するか又は重なるように合成され得る被写体を対象として、対象の被写体の形状を特定する機能である。
受け付け機能とは、ユーザにより指定された、所定の物体の合成量の基準を受け付ける機能である。
物体画像生成機能とは、受け付けられた基準に基づく合成量の所定の物体が、被写体の形状の少なくとも一部に対して接するか又は重なる位置に配置された画像のデータを、物体画像のデータとして生成する機能である。
合成機能とは、原画像のデータと、物体画像のデータとを合成することによって、合成画像のデータを生成する機能である。
これらの各機能を有する、本発明が適用される画像処理装置は、第１実施形態や第２実施形態で説明したように、ユーザの撮像行為の目的に合致した画像処理であって、より自然で現実味のある景観を表現できる画像処理を実行できる。
【０１４０】
また例えば、上述の実施形態では、原画像に対して積雪部分だけを変化させたが、雪が増えることにより、反射される光の量は増えるので、雪のないところも全体的に輝度を上げるような補正をしてもよい。
また例えば、上述の実施形態では、雪が積もっていない景観画像から対象被写体を特定したが、既に雪が積もっている景観画像であれば、その積雪部分を抽出して、その上にさらに雪を積もらせるという方法も採用できる。
【０１４１】
また例えば、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラ等の撮像装置として構成される例として説明した。しかしながら、本発明は、撮像装置に特に限定されず、撮像機能の有無を問わず（撮像画像のデータは別の装置から取得してもよい）、上述の画像処理を実行可能な電子機器一般に適用することができる。具体的には例えば、本発明は、パーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。
【０１４２】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【０１４３】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１４４】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM（Compact  Disk-Read  Only  Memory），DVD（Digital  Versatile  Disk）等により構成される。光磁気ディスクは、MD（Mini-Disk）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のROM１２や、図１の記憶部２０に含まれるハードディスク等で構成される。
【０１４５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【０１４６】
１・・・撮像装置、１１・・・CPU、１２・・・ROM、１３・・・RAM、１８・・・操作部、２０・・・記憶部、３１・・・リムーバブルメディア、ドライブ、４１・・・原画像取得部、４２・・・対象被写体特定部、４３・・・雪画像生成部、４４・・・合成部、４５・・・表示制御部、５１・・・積雪情報記憶部、７１・・・成長物画像生成部、８１・・・成長物情報記憶部
【図１】
0005621524.tif 000002
【図２】
0005621524.tif 000003
【図３】
0005621524.tif 000004
【図４】
0005621524.tif 000005
【図５】
0005621524.tif 000006
【図６】
0005621524.tif 000007
【図７】
0005621524.tif 000008
【図８】
0005621524.tif 000009
【図９】
0005621524.tif 000010
【図１０】
0005621524.tif 000011
【図１１】
0005621524.tif 000012
【図１２】
0005621524.tif 000013