(57)【要約】【課題】撮像時がそれぞれ異なる被写体が略共通した背景に存在するような合成画像を生成することができるようにすること。【解決手段】撮像画像取得部６１は、撮像画像データを取得する。基準画像取得部６２は、Ｋ回目の基準画像データを取得する。表示制御部５１は、基準画像を、スルー画像たる撮像画像に重畳して表示部１９に表示させるよう制御をする。差分画像生成部６３は、初回に取得された基準画像データと、Ｋ回目の記録用撮像により得られた撮像画像データとの差分を取ることによって、差分画像データを生成する。合成部６４は、Ｋ回目の基準画像データと、差分画像データとを合成することによって、Ｋ回目の合成画像データを生成する。設定部５２は、このＫ回目の合成画像データを、新たな（Ｋ＋１回目の）基準画像データとして設定する。【選択図】図２
2012060384.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取得する第１画像取得手段と、
この第１画像取得手段により取得された画像データの画像を表示する表示手段と、
合成の基準となる基準画像データを取得する第２画像取得手段と、
この第２画像取得手段により取得された基準画像データの画像を、前記第１画像取得手段により取得された画像データの画像に重畳して前記表示手段に表示させるよう制御をする表示制御手段と、
前記第２画像取得手段により取得された前記基準画像データと、前記第１画像取得手段により取得された前記画像データとの差分画像データを生成する差分画像生成手段と、
前記第２画像取得手段により取得された前記基準画像データと、前記差分画像生成手段により生成された前記差分画像データとを合成した合成画像データを生成する合成手段と、
この合成手段により生成された前記合成画像データを、新たな基準画像データとして設定する設定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
画像を撮像し、その画像の画像データを出力する撮像手段をさらに備え、
前記第１画像取得手段は、前記撮像手段から出力された画像データを取得する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
画像を表示する表示手段を備える画像処理装置の画像処理方法であって、
画像データを取得する第１画像取得ステップと、
合成の基準となる基準画像データを取得する第２画像取得ステップと、
この第２画像取得ステップにて取得された基準画像データの画像を、前記第１画像取得ステップにて取得された画像データの画像に重畳して前記表示手段に表示させるよう制御する表示制御ステップと、
前記第２画像取得ステップにて取得された前記基準画像データと、前記第１画像取得ステップにて取得された前記画像データとの差分画像データを生成する差分画像生成ステップと、
前記第２画像取得ステップにて取得された前記基準画像データと、前記差分画像生成ステップにて生成された前記差分画像データとを合成して、合成画像データを生成する合成ステップと、
この合成ステップにて生成された前記合成画像データを、新たな基準画像データとして設定する設定ステップと、
を含むことを特徴とする画像処理方法。
【請求項４】
画像を表示する表示手段を備える画像処理装置のコンピュータを、
画像データを取得する第１画像取得手段、
合成の基準となる基準画像データを取得する第２画像取得手段、
この第２画像取得手段により取得された基準画像データの画像を、前記第１画像取得手段により取得された画像データの画像に重畳して前記表示手段に表示させるよう制御する表示制御手段、
前記第２画像取得手段により最初に取得された基準画像データと、前記第１画像取得手段により取得された画像データとの差分を取ることによって、差分画像データを生成する差分画像生成手段、
前記第２画像取得手段により取得された基準画像データと、前記差分画像生成手段により生成された差分画像データとを合成し、合成画像データを生成する合成手段、
この合成手段により生成された前記合成画像データを、新たな基準画像データとして設定する設定手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来の技術として、今回の撮像時における被写体画像の輪郭を抽出した後、前回撮像した被写体画像の輪郭を抽出することで、今回の撮像時の輪郭に重畳表示させ、今回の撮像時の画角を前回の撮像の画角に合わせる技術が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２６８７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１では、前回の撮像画像の構図と略同一となるように今回の撮像をしたとしても、例えば、背景は略共通するが、それぞれ撮像時がそれぞれ異なる被写体同士が存在する合成画像を生成するまでは、対応していない。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、撮像時がそれぞれ異なる被写体が略共通した背景に存在するような合成画像を生成できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、請求項１の発明は、画像データを取得する第１画像取得手段と、この第１画像取得手段により取得された画像データの画像を表示する表示手段と、合成の基準となる基準画像データを取得する第２画像取得手段と、この第２画像取得手段により取得された基準画像データの画像を、前記第１画像取得手段により取得された画像データの画像に重畳して前記表示手段に表示させるよう制御をする表示制御手段と、前記第２画像取得手段により取得された前記基準画像データと、前記第１画像取得手段により取得された前記画像データとの差分画像データを生成する差分画像生成手段と、前記第２画像取得手段により取得された前記基準画像データと、前記差分画像生成手段により生成された前記差分画像データとを合成した合成画像データを生成する合成手段と、この合成手段により生成された前記合成画像データを、新たな基準画像データとして設定する設定手段と、を備えることを特徴とする。
【０００７】
また、請求項２に記載の発明は、上記請求項１に記載の発明において、画像を撮像し、その画像の画像データを出力する撮像手段をさらに備え、前記第１画像取得手段は、前記撮像手段から出力された画像データを取得する、ことを特徴とする。
【０００８】
また、上記目的を達成するため、請求項３の発明は、画像を表示する表示手段を備える画像処理装置の画像処理方法であって、画像データを取得する第１画像取得ステップと、合成の基準となる基準画像データを取得する第２画像取得ステップと、この第２画像取得ステップにて取得された基準画像データの画像を、前記第１画像取得ステップにて取得された画像データの画像に重畳して前記表示手段に表示させるよう制御する表示制御ステップと、前記第２画像取得ステップにて取得された前記基準画像データと、前記第１画像取得ステップにて取得された前記画像データとの差分画像データを生成する差分画像生成ステップと、前記第２画像取得ステップにて取得された前記基準画像データと、前記差分画像生成ステップにて生成された前記差分画像データとを合成して、合成画像データを生成する合成ステップと、この合成ステップにて生成された前記合成画像データを、新たな基準画像データとして設定する設定ステップと、を含むことを特徴とする。
【０００９】
また、上記目的を達成するため、請求項４の発明は、画像を表示する表示手段を備える画像処理装置のコンピュータを、画像データを取得する第１画像取得手段、合成の基準となる基準画像データを取得する第２画像取得手段、この第２画像取得手段により取得された基準画像データの画像を、前記第１画像取得手段により取得された画像データの画像に重畳して前記表示手段に表示させるよう制御する表示制御手段、前記第２画像取得手段により最初に取得された基準画像データと、前記第１画像取得手段により取得された画像データとの差分を取ることによって、差分画像データを生成する差分画像生成手段、前記第２画像取得手段により取得された基準画像データと、前記差分画像生成手段により生成された差分画像データとを合成し、合成画像データを生成する合成手段、この合成手段により生成された前記合成画像データを、新たな基準画像データとして設定する設定手段、として機能させるプログラムであることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮像時がそれぞれ異なる被写体が略共通した背景に存在するような合成画像を生成することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
【図２】画像合成処理を実行するための機能的構成を示す機能ブロック図である。
【図３】図２の画像処理装置が実行する画像合成処理の流れを説明するフローチャートである。
【図４】画像合成処理の具体的な処理結果の一例を示す図である。
【図５】画像合成処理の具体的な処理結果の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態を図面に基づいて説明する。
【００１３】
図１は、本発明に係る画像処理装置の一実施形態としての撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラにより構成することができる。
【００１４】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、入出力インターフェース１６と、撮像部１７と、操作部１８と、表示部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。
【００１５】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。なお、ＣＰＵ１１に設けられている表示制御部５１及び設定部５２については、図２を参照して後述する。
ＲＡＭ１３にはまた、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１６】
画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。
ここで、本実施形態では、撮像装置１による画像の処理単位は一枚の静止画像であり、このような処理単位としての静止画像が、本明細書では「フレーム」と呼ばれている。以下、特に断りがない限り、画像とはフレームを意味するものとする。
例えば、画像処理部１４は、後述する撮像部１７から出力される撮像画像のデータに対して、ノイズ低減、ホワイトバランス、手ぶれ補正等の画像処理を施す。
本実施形態では、画像処理部１４は、さらに、差分画像生成部６３と、合成部６４と、を備えている。ただし、撮像画像取得部６１乃至合成部６４の詳細については、図２を参照して後述する。
【００１７】
ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、操作部１８、表示部１９、記憶部２０、通信部２１、及びドライブ２２が接続されている。
【００１８】
撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００１９】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００２０】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
なお、以下、撮像部１７の出力信号が、「撮像画像のデータ」であるものとする。従って、撮像部１７からは撮像画像のデータが出力されて、ＣＰＵ１１や画像処理部１４等に適宜供給される。
【００２１】
操作部１８は、各種釦等で構成され、ユーザの指示操作を受け付ける。
表示部１９は、液晶ディスプレイ等で構成され、各種画像を表示する。
記憶部２０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、画像処理部１４等から出力された画像のデータを一時的に記憶する。また、記憶部２０は、画像処理部１４等の処理に必要な各種データも記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００２２】
ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。
【００２３】
このような構成を有する撮像装置１は、撮像の前後を通じて、スルー撮像処理及びスルー表示処理を開始する。
即ち、撮像装置１は、撮像部１７による撮像動作を継続させ、その間、当該撮像部１７を介して画像処理部１４から順次出力される撮像画像（フレーム）のデータを、メモリ（本実施形態では記憶部２０）に一時的に記憶させる。このような一連の処理が、ここでいう「スルー撮像処理」である。
また、撮像装置１は、スルー撮像時にメモリ（本実施形態では記憶部２０）に一時的に記録された各撮像画像（フレーム）のデータを順次読み出して、各々に対応する撮像画像を表示部１９に順次表示させる。このような一連の制御処理が、ここでいう「スルー表示処理」である。なお、スルー表示処理により表示部１９に表示されている撮像画像を、以下、「スルー画像」と呼ぶ。
【００２４】
ユーザは、スルー画像をみながら構図を決めた後、操作部１８のシャッタスイッチ（図示せず）を下限まで押下することで、撮像画像のデータの記録の指示をすることができる。なお、このように、シャッタスイッチを下限まで押下する操作を、以下、「全押し操作」又は単に「全押し」と呼ぶ。
なお、以下、スルー撮像処理及びスルー表示処理のための撮像と区別すべく、全押し操作がなされて記録の指示がなされたときの撮像を、「記録用撮像」と呼ぶ。
【００２５】
さらに、本実施形態では、撮像装置１は、異なる時点に各々撮像された複数の被写体が合成された合成画像のデータを生成するにあたり、次のような一連の処理を実行することができる。
撮像装置１は、当該合成画像のデータの生成のための事前準備として、０回目の記録用撮像を行う。なお、ここでは、合成画像のデータを生成するための初回の記録用撮像を１回目とするため、事前準備の回は０回目となる。
撮像装置１は、０回目の記録用撮像により得られた撮像画像のデータを、１回目の基準画像のデータとして保持し、また、当該基準画像を表示部１９に半透過表示させる。
即ち、撮像装置１は、１回目の記録用撮像の前に、スルー画像に対して半透過状態の１回目の基準画像を重畳して表示部１９に表示させる。
この場合、撮像者は、スルー画像の上に、背景が半透過表示されている様子を視認することができる。よって、撮像者は、１回目の記録用撮像の前に、撮像装置１を移動させたりすることによって、半透過表示された背景を基準にして、１回目の被写体の位置が適切になるような構図取りをすることができる。
そして、ユーザは、適切な構図となった段階で、全押し操作をすることで、１回目の記録用撮像を指示することができる。
撮像装置１は、このような指示を受けて、１回目の記録用撮像を行い、その結果得られる撮像画像のデータと、１回目の基準画像（後述する背景画像）のデータとの差分を画素単位で取ることによって、各差分値が各画素値となった画像（以下、「差分画像」と呼ぶ）のデータを生成する。
そして、撮像装置１は、差分画像と基準画像との各データを合成することによって、１回目の合成画像のデータを生成する。
さらに、撮像装置１は、１回目の合成画像のデータを、次回（２回目）の基準画像のデータとして設定して保持する。
撮像装置１は、２回目の記録用撮像の前に、スルー画像に対して半透過状態の２回目の基準画像を重畳して表示部１９に表示させる。
この場合、２回目の基準画像のデータとは、前回（１回目）の記録用撮像時に生成された合成画像のデータであるため、２回目の基準画像には、背景の他、前回まで（１回目）の記録用撮像時の被写体も含まれている。よって、撮像者は、スルー画像の上に、背景のみならず、前回まで（１回目）の記録用撮像時の被写体が半透過表示されている様子を視認することができる。よって、撮像者は、撮像装置１を移動させたりすることによって、半透過表示された背景及び前回まで（１回目）の記録用撮像時の被写体を基準にして、今回（２回目）の被写体の位置が適切になるような構図取りをすることができる。即ち、撮像者は、合成画像内の適切な位置に被写体が配置された構図で、今回（２回目）の記録用撮像を指示することができる。
即ち、撮像者は、適切な構図となった段階で、全押し操作をすることで、今回（２回目）の記録用撮像を指示することができる。
撮像装置１は、このような指示を受けて、今回（２回目）の記録用撮像を行い、その結果得られる撮像画像のデータと、１回目の基準画像（後述する背景画像）のデータとを用いて、差分画像のデータを生成する。
そして、撮像装置１は、差分画像と２回目の基準画像との各データを合成することによって、２回目の合成画像のデータを生成する。
さらに、撮像装置１は、２回目の合成画像のデータを、次回（３回目）の基準画像のデータとして設定して保持する。
以降、３回以降の記録用撮像が行われる毎に、上述した一連の処理が繰り返し実行される。
なお、各回の記録用撮像は、前回の記録用撮像がなされてから、即座に実行されてもよいし、長期間経過後（例えば、年単位でも可）に実行されてもよい。
このような一連の処理の繰り返しを、以下、「画像合成処理」と呼ぶ。
【００２６】
図２は、図１の撮像装置１が画像合成処理を実行するための機能的構成を示す機能ブロック図である。
図２においては、図１の撮像装置１の構成のうち、ＣＰＵ１１と、画像処理部１４と、撮像部１７と、表示部１９と、記憶部２０と、のみが図示されている。
ＣＰＵ１１においては、表示制御部５１と、設定部５２と、が設けられている。
なお、表示制御部５１及び設定部５２は、本実施形態では、ＣＰＵ１１と、当該ＣＰＵ１１により実行されるプログラムとの組み合わせ、即ち、ハードウェアとソフトウェアとの組み合わせにより構成されている。しかしながら、これは例示であって、表示制御部５１及び設定部５２の機能の少なくとも一部を、ＣＰＵ１１以外の他の構成要素（画像処理部１４等）に移譲させることも当然可能である。
また、画像処理部１４には、撮像画像取得部６１乃至合成部６４が設けられている。なお、撮像画像取得部６１乃至合成部６４が画像処理部１４に設けられていることは例示であって、撮像画像取得部６１乃至合成部６４の少なくとも一部を、画像処理部１４以外の他の構成要素（ＣＰＵ１１等）に移譲させることも当然可能である。
記憶部２０の一領域として、背景画像記憶部４１及び基準画像記憶部４２が設けられている。なお、背景画像記憶部４１及び基準画像記憶部４２が記憶部２０の一領域として設けられていることは例示であって、その他例えばリムーバブルメディア３１の一領域として設けられるようにしてもよい。
【００２７】
背景画像記憶部４１は、０回目の記録用撮像（合成画像を生成するための事前準備としての記録用撮像）により得られた撮像画像のデータを、背景画像のデータとして取得する。
【００２８】
基準画像記憶部４２は、１以上の基準画像のデータを記憶する。
具体的には、０回目の記録用撮像（事前準備としての記録用撮像）では、撮像画像のデータが基準画像のデータとして基準画像記憶部４２に記憶される。即ち、０回目の記録用撮像では、背景画像記憶部４１に記憶された背景画像のデータが、基準画像のデータとして基準画像記憶部４２に記憶される。
その後、各回の記録用撮像の毎、後述する合成部６４から順次出力されてくる合成画像のデータが、次回の基準画像のデータとして基準画像記憶部４２に記憶される。
このように、記録用撮像の回数が進む度に、基準画像記憶部４２に記憶される基準画像のデータは更新されていく。
【００２９】
表示制御部５１は、撮像画像取得部６１から順次供給されるデータにより表わされる撮像画像を、スルー画像として表示部１９に表示させる制御を実行する。さらに、表示制御部５１は、基準画像取得部６２から供給されるデータにより表わされる基準画像を半透過画像にして、スルー画像に重畳して表示させる制御を実行する。
【００３０】
設定部５２は、各回の記録用撮像の毎、後述する合成部６４により順次生成される合成画像のデータを、新たな（次回の）基準画像のデータとして設定する。
このようにして設定部５２により設定された新たな基準画像のデータは、合成部６４から出力されて、基準画像記憶部４２に記憶される。
【００３１】
撮像画像取得部６１は、撮像部１７から順次出力されてくる撮像画像のデータを取得する。
撮像画像取得部６１は、順次取得した撮像画像のデータを、スルー画像のデータとして表示制御部５１に供給する。また、撮像画像取得部６１は、取得した撮像画像のデータが、記録用撮像時に出力されたものである場合、当該撮像画像のデータを差分画像生成部６３に供給する。さらにまた、撮像画像取得部６１は、取得した撮像画像のデータが、０回目の記録用撮像時（事前準備としての記録用撮像時）に出力されたものである場合、当該撮像画像のデータを背景画像のデータとして背景画像記憶部４１に供給する。
【００３２】
基準画像取得部６２は、基準画像のデータを基準画像記憶部４２から取得して、表示制御部５１及び合成部６４に供給する。
【００３３】
差分画像生成部６３は、１回目以降の記録用撮像時に得られた撮像画像のデータと、背景画像記憶部４１に記憶された背景画像のデータ（事前準備としての０回目の記録用撮像時に得られた撮像画像のデータ、即ち１回目の基準画像のデータ）とを用いて、差分画像のデータを生成する。
なお、差分画像のデータの生成手法の具体例については、図４及び図５を参照して後述する。
差分画像生成部６３により生成された差分画像のデータは、合成部６４に供給される。
【００３４】
合成部６４は、基準画像取得部６２から供給された基準画像のデータと、差分画像生成部６３から供給された差分画像のデータとを合成することによって、合成画像のデータを生成する。
合成部６４は、生成した合成画像のデータを、設定部５２により設定された新たな（次回の）基準画像のデータとして、基準画像記憶部４２に記憶させる。
【００３５】
次に、図３を参照して、撮像装置１の処理のうち、このような図２の機能的構成により実現される画像合成処理について説明する。
図３は、画像合成処理の流れを説明するフローチャートである。
【００３６】
図３の画像合成処理は、Ｋ回目（Ｋは１以上の整数値）の記録用撮像が行われる場合に実行される処理である。
即ち、少なくとも事前準備としての０回目の記録用撮像が完了しており、０回目の記録用撮像によって得られた撮像画像のデータ（１回目の基準画像のデータ）が、背景画像のデータとして背景画像記憶部４１に記憶されていることを前提とする。
また、スルー撮像処理及びスルー表示処理は、図３の画像処理の実行前後を通じて継続して実行されていることを前提とする。即ち、表示部１９にはスルー画像が常時表示されていることを前提とする。
このような前提の下、Ｋ＝１回目の画像合成処理は、０回目の記録用撮像が終了したことを契機として開始され、その後、Ｋ＝２回目以降の画像合成処理は、前回のＫ−１回目の画像合成処理が週慮したことを契機として開始される。即ち、記録用撮像が繰り返し行われている限り、図３の画像合成処理は繰り返し実行される。
【００３７】
ステップＳ１１において、基準画像取得部６２は、Ｋ回目の基準画像のデータを基準画像記憶部４２から取得する。
【００３８】
ステップＳ１２において、撮像画像取得部６１は、撮像部１７から出力されてくる撮像画像のデータを取得する。
【００３９】
ステップＳ１３において、表示制御部５３は、撮像画像をスルー画像として、半透過状態の基準画像を重畳して表示部１９に表示させる。
【００４０】
ステップＳ１４において、撮像画像取得部６１は、全押し操作がなされたか否かを判定する。
【００４１】
全押し操作がなされていない場合、ステップＳ１４においてＮＯであると判定されて、処理はステップＳ１２に戻される。即ち、全押し操作がなされるまでの間、ステップＳ１２乃至Ｓ１４のループ処理が繰り返し実行される。この間、撮像部１７から順次出力されてくるデータにより表わされる撮像画像がスルー画像となり、即ち、スルー画像が逐次更新され、逐次更新されるスルー画像の上に半透過状態の基準画像が重畳して表示される。
【００４２】
ここで、Ｋ（＞１）回目の画像合成処理においては、ステップＳ１１の処理で取得される今回（Ｋ回目）の基準画像のデータとは、前回（Ｋ−１回目）の記録用撮像時に生成された合成画像のデータである。よって、Ｋ回目の基準画像には、背景の他、前回まで（１乃至Ｋ−１回目）の記録用撮像時の各々の被写体も含まれている。よって、撮像者は、スルー画像の上に、背景のみならず、前回まで（１乃至Ｋ−１回目）の記録用撮像時の各々の被写体が半透過表示されている様子を視認することができる。
よって、撮像者は、撮像装置１を移動させたりすることによって、半透過表示された背景及び前回まで（１乃至Ｋ−１回目）の記録用撮像時の各々の被写体を基準にして、今回（Ｋ回目）の被写体の位置が適切になるような構図取りをすることができる。即ち、撮像者は、合成画像内の適切な位置に被写体が配置された構図で、今回（Ｋ回目）の記録用撮像を指示することができる。
即ち、撮像者は、適切な構図となった段階で、全押し操作をすることで、今回（Ｋ回目）の記録用撮像を指示することができる。
【００４３】
この場合、ステップＳ１４においてＹＥＳであると判定されて、処理はステップＳ１５に進む。
【００４４】
ステップＳ１５において、撮像画像取得部６１は、撮像画像のデータを記憶部２０等に一時的に記憶する。
【００４５】
ステップＳ１６において、差分画像生成部６３は、背景画像記憶部４１に記憶された背景画像のデータと、ステップＳ１５の処理で一時的に記憶された撮像画像のデータとを用いて、その差分画像のデータを生成する。
【００４６】
ステップＳ１７において、合成部６４は、ステップＳ１１の処理で取得された基準画像のデータと、ステップＳ１６の処理で生成された差分画像のデータとを合成することによって、合成画像のデータを生成する。
【００４７】
ステップＳ１８において、設定部５２は、ステップＳ１７の処理で生成されたＫ回目の合成画像のデータを、新たな（次のＫ＋１回目の）基準画像のデータとして設定する。
【００４８】
ステップＳ１９において、合成部６４は、ステップＳ１８の処理で設定された新たな基準画像のデータ（Ｋ回目の合成画像のデータ）を基準画像記憶部４２に上書き保存する。
これにより、画像合成処理は終了となる。
【００４９】
さらに、図４及び図５を参照して、画像合成処理について具体的に説明する。
図４は、画像合成処理の具体的な処理結果を説明する図である。
【００５０】
図４（Ａ）は、画像合成処理の事前準備として、０回目の記録用撮像により得られた撮像画像のデータ、即ち背景画像のデータの一例を示している。
即ち、図４の例では、Ｋ＝１回目の画像合成処理が実行される前には、図４（Ａ）に示す背景画像１０１のデータが背景画像記憶部４１に記憶されていることになる。
なお、背景画像１０１には、背景の一部として家９１が含まれている。
【００５１】
図４（Ｂ）は、Ｋ＝１回目の画像合成処理の結果（途中結果含む）の具体例を示している。
【００５２】
図３のステップＳ１１の処理によって、図４（Ｂ）のＢ−１に示すように、Ｋ＝１回目の基準画像１１１のデータとして、図４（Ａ）に示す背景画像１０１のデータが取得される。
【００５３】
その後、全押し操作がなされるまでの間、ステップＳ１２乃至Ｓ１４のループ処理が繰り返し実行される。この間、図４（Ｂ）のＢ−２に示すように、スルー画像の上に半透過状態の基準画像１１１が重畳された画像１１２が、表示部１９に表示される。
画像１１２において、実線で示される家９１や被写体９２がスルー画像に含まれており、点線で示される家９１が半透過状態の基準画像１１１に含まれている。
この場合、撮像者は、１回目の記録用撮像の前に、撮像装置１を移動させたりすることによって、半透過表示（図中点線）の家９１を基準にして、１回目の被写体９２の位置が適切になるような構図取りをすることができる。具体的には、撮像者は、半透過表示の家９１（図中点線）と、スルー画像の家９１（図中実線）とを略一致させるように構図取りをすればよい。
【００５４】
そして、ユーザは、適切な構図となった段階で、全押し操作をすることで、１回目の記録用撮像を指示することができる。
【００５５】
この場合、図３のステップＳ１４においてＹＥＳであると判定されて、ステップＳ１５の処理で、図４（Ｂ）のＢ−３に示すような撮像画像１１３のデータが記憶部２０等に一時的に記憶される。
【００５６】
ステップＳ１６の処理で、差分画像生成部６３は、図４（Ａ）の背景画像１０１（Ｋ＝１回目の基準画像１１１）のデータと、撮像画像１１３のデータとを用いて、図４（Ｂ）のＢ−４に示すような差分画像１１４のデータが生成される。
この場合、差分画像１１４には、図４（Ａ）の背景画像１０１に存在しなかった被写体９２のみが含まれるようになる。換言すると、被写体９２が切り抜かれたと把握することもできる。
【００５７】
ステップＳ１７の処理で、Ｋ＝１回目の基準画像１１１（背景画像１０１）のデータと、差分画像１１４のデータとが合成されることによって、図４（Ｂ）のＢ−５に示すような、Ｋ＝１回目の合成画像１１５のデータが生成される。
即ち、Ｋ＝１回目には、基準画像１１１に含まれていた背景（家９１等）に対して、切り抜かれた被写体９２が張り付けられたような合成画像１１５のデータが生成される。
【００５８】
ステップＳ１８の処理で、Ｋ＝１回目の合成画像１１５のデータが、次の２（＝Ｋ＋１）回目の基準画像のデータとして設定され、ステップＳ１９の処理で基準画像記憶部４２に上書き保存される。
【００５９】
これにより、Ｋ＝１回目の画像合成処理が終了となる。その後、Ｋ＝２回目の記録用撮像が行われる場合に、Ｋ＝２回目の画像処理が開始する。なお、Ｋ＝２回目の画像処理の開始タイミングは、Ｋ＝１回目の画像合成処理の終了後であれば足り、終了後即座であってもよいし、終了してから長期間（年単位でも可）経過してからであってもよい。
【００６０】
図４（Ｃ）は、Ｋ＝２回目の画像合成処理の結果（途中結果含む）の具体例を示している。
【００６１】
図３のステップＳ１１の処理によって、図４（Ｃ）のＣ−１に示すように、Ｋ＝２回目の基準画像１２１のデータとして、図４（Ｂ）に示すＫ＝１回目の合成画像１１５のデータであったものが取得される。
【００６２】
その後、全押し操作がなされるまでの間、ステップＳ１２乃至Ｓ１４のループ処理が繰り返し実行される。この間、図４（Ｃ）のＣ−２に示すように、スルー画像の上に半透過状態の基準画像１２１が重畳された画像１２２が、表示部１９に表示される。
画像１２２において、実線で示される家９１や被写体９３がスルー画像に含まれており、点線で示される家９１や被写体９２が半透過状態の基準画像１２１に含まれている。
この場合、撮像者は、２回目の記録用撮像の前に、撮像装置１を移動させたりすることによって、半透過表示（図中点線）の家９１や被写体９２を基準にして、２回目の被写体９３の位置が適切になるような構図取りをすることができる。具体的には、撮像者は、半透過表示の家９１（図中点線）と、スルー画像の家９１（図中実線）とを略一致させ、かつ、被写体９２と被写体９３とが重複しないように構図取りをすればよい。
【００６３】
そして、ユーザは、適切な構図となった段階で、全押し操作をすることで、２回目の記録用撮像を指示することができる。
【００６４】
この場合、図３のステップＳ１４においてＹＥＳであると判定されて、ステップＳ１５の処理で、図４（Ｃ）のＣ−３に示すような撮像画像１２３のデータが記憶部２０等に一時的に記憶される。
【００６５】
ステップＳ１６の処理で、差分画像生成部６３は、図４（Ａ）の背景画像１０１（Ｋ＝１回目の基準画像１１１）のデータと、撮像画像１２３のデータとを用いて、図４（Ｃ）のＣ−４に示すような差分画像１２４のデータが生成される。
この場合、差分画像１２４には、図４（Ａ）の背景画像１０１に存在しなかった被写体９３のみが含まれるようになる。換言すると、被写体９３が切り抜かれたと把握することもできる。
【００６６】
ステップＳ１７の処理で、Ｋ＝２回目の基準画像１２１（１回目の合成画像１１５）のデータと、差分画像１２４のデータとが合成されることによって、図４（Ｂ）のＢ−５に示すような、Ｋ＝２回目の合成画像１２５のデータが生成される。
即ち、Ｋ＝２回目には、基準画像１２１に含まれていた背景（家９１等）や被写体９２に対して、切り抜かれた被写体９３が張り付けられたような合成画像１２５のデータが生成される。
【００６７】
ステップＳ１８の処理で、Ｋ＝２回目の合成画像１２５のデータが、次の３（＝Ｋ＋２）回目の基準画像のデータとして設定され、ステップＳ１９の処理で基準画像記憶部４２に上書き保存される。
【００６８】
図５は、図４（Ｃ）に示すＫ＝２回目の画像合成処理のさらに具体的な処理結果（途中経過含む）を説明する図である。
図５（Ａ）は、Ｋ＝２回目の図３のステップＳ１６の具体的な処理結果（途中経過含む）を示している。
【００６９】
上述したように、全押し操作がなされると、ステップＳ１６の処理で、背景画像１０１（図４（Ｂ）に示すＫ＝１回目の基準画像１１１）のデータと、撮像画像１２３のデータとを用いて、差分画像１２４のデータが得られる。
差分画像１２４は、上述したように、被写体９３が切り抜かれた画像であるといえる。
【００７０】
そこで、本実施形態ではさらに、差分画像生成部６３は、切り抜き画像たる差分画像１２４に対して透過か非透過かの２値化処理を施すことによって、マスク画像１３１のデータを生成する。図５の例では、切り抜かれた部分（背景以外の部分）である被写体９３が非透過画素（以下、白色とする）となり、背景が透過画素（以下、黒色とする）となるようなマスク画像１３１のデータが得られている。今、画像を構成する各画素をＲＧＢの各値で表した場合、黒色は、ＲＧＢの各値がすべて０であり、白色は、ＲＧＢ値の各値がすべて１となる。
ここで、二つの画素のうち、一方の画素が黒色（他方は、黒色以外の画素とする）である場合のＡＮＤ処理とＯＲ処理という本発明に関連した二つの処理について説明する。
今、黒色の画素のＲＧＢ値がすべて０であることから、二つの画素に対してＡＮＤ処理をすると、ＡＮＤ処理後の画素は黒色になる。他方、二つの画素に対してＯＲ処理をすると、黒色の画素のＲＧＢ値がすべて０であることから、ＯＲ処理後の画素は黒色以外の色になる。
本実施例では、これらＡＮＤ処理とＯＲ処理を処理の対象となる二つの画像の画素すべてに対して行う。
【００７１】
差分画像生成部６３は、マスク画像１３１のデータに対して反転処理を施すことによって、反転画像１３２のデータとなる。図５の例では、切り抜かれた部分（背景以外の部分）である被写体９３が黒色に反転し、背景が白色に反転した反転画像１３２のデータが得られている。
即ち、この反転画像１３２のデータが、ステップＳ１６の最終的な処理結果である。従って、このような反転画像１３２のデータが得られると、処理はステップＳ１７に進む。
【００７２】
図５（Ｂ）は、Ｋ＝２回目の図３のステップＳ１７の具体的な処理結果（途中経過含む）を示している。
【００７３】
ステップＳ１７の処理の最初の処理として、合成部６４は、Ｋ＝２回目の基準画像１２１（図４（Ｂ）に示す１回目の合成画像１１５）のデータと、差分画像１２４に基づく反転画像１３２のデータとに対してＡＮＤ処理を施す。
これにより、図５（Ｂ）の中央に示すような、ＡＮＤ画像１４１のデータが生成される。つまり、ＡＮＤ処理後の画像は、基準画像１２１に反転画像１３２を重ね合わせたような画像となる。ＡＮＤ画像１４１においては、被写体９３の部分が、反転画像１３２における黒色の部分のままとなっている。
そこで、合成部６４はさらに、ＡＮＤ画像１４１のデータと、差分画像１２４のデータとに対してＯＲ処理を施す。
これにより、図５（Ｂ）のＢ−８に示すような合成画像１２５のデータが生成される。即ち、基準画像１２１に含まれていた背景（家９１等）や被写体９２に対して、切り抜かれた被写体９３が張り付けられたような合成画像１２５のデータが生成される。つまり、ＯＲ処理後の画像は、ＡＮＤ画像１４１に差分画像１２４を重ね合わせたような画像となる。
【００７４】
その後、ステップＳ１８の処理で、Ｋ＝２回目の合成画像１２５のデータが、次の３（＝Ｋ＋２）回目の基準画像のデータとして設定され、ステップＳ１９の処理で基準画像記憶部４２に上書き保存されると、Ｋ＝２回目の画像合成処理は終了となる。
【００７５】
以上説明したように、本実施形態の撮像装置１は、撮像画像取得部６１と、基準画像取得部６２と、表示制御部５１と、設定部５２と、差分画像生成部６３と、合成部６４と、を備えている。
撮像画像取得部６１は、撮像画像データを取得する。基準画像取得部６２は、Ｋ回目の基準画像データを取得する。
表示制御部５１は、基準画像を、スルー画像たる撮像画像に重畳して表示部１９に表示させるよう制御をする。
差分画像生成部６３は、初回に取得された基準画像（即ち、本実施形態でいう背景画像）データと、Ｋ回目の記録用撮像により得られた撮像画像データとの差分を取ることによって、差分画像データを生成する。
合成部６４は、Ｋ回目の基準画像データと、差分画像データとを合成することによって、Ｋ回目の合成画像データを生成する。
設定部５２は、このＫ回目の合成画像データを、新たな（Ｋ＋１回目の）基準画像データとして設定する。
これにより、１乃至Ｋ回の記録用撮像の各々により撮像された複数の被写体が合成された合成画像データを生成するにあたり、合成画像内の適切な位置に被写体が配置された構図で、各回の記録用撮像をすることが容易に可能になる。
【００７６】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００７７】
例えば、上述の実施形態では、表示制御部５３は、基準画像を表示部１９に半透過表示しているが、これに限られることではなく、基準画像と撮像画像とを差別表示できればよい。具体的には、基準画像の輪郭のみ表示したり、輪郭線のみを点線にしたり、基準画像の被写体を赤で強調したりする表示形態を採用することができる。
【００７８】
また例えば、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラ等の画像処理装置として構成される例として説明した。しかしながら、本発明は、画像処理装置に特に限定されず、撮像機能の有無を問わず（撮像画像のデータは別の装置から取得してもよい）、上述の画像処理を実行可能な電子機器一般に適用することができる。具体的には例えば、本発明は、パーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。
【００７９】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【００８０】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００８１】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。
【００８２】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【００８３】
１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１５・・・バス、１６・・・入出力インターフェース、１７・・・撮像部、１８・・・操作部、１９・・・表示部、２０・・・記憶部、２１・・・通信部、２２・・・ドライブ、３１・・・リムーバブルメディア、４１・・・背景画像記憶部、４２・・・基準画像記憶部、５１・・・表示制御部、５２・・・設定部、６１・・・撮像画像取得部、６２・・・基準画像取得部、６３・・・差分画像生成部、６４・・・合成部
【図１】
2012060384.tif 000003
【図２】
2012060384.tif 000004
【図３】
2012060384.tif 000005
【図４】
2012060384.tif 000006
【図５】
2012060384.tif 000007