(57)【要約】【課題】切り出した複数の差分画像を不自然さを生じさせることなく合成することを可能にする。【解決手段】切り出した複数の差分画像を合成した合成画像において、被写体が重なるか否かを判断する（ステップＳ１３）。重なる場合には、重なる何れか一方の被写体を重ならない位置に移動する（ステップＳ１４）。合成画像内に存在する人物被写体に配置条件があるか否かを判断する（ステップＳ１５）。配置条件が登録されている場合には、配置条件に従った配置スペースが合成画像内にあるか否かを判断する（ステップＳ１６）。ある場合には、ステップＳ１６からステップＳ１７に進み、配置条件に従って被写体を移動させる。スペースがない場合には、ステップＳ１６からステップＳ１８に進み、配置条件が登録された人物被写体を空きスペースに配置する。【選択図】    図４
2011244224.tif 000002
【特許請求の範囲】
【請求項１】
撮影済みの２つの画像から差分を抽出し、この差分を被写体のみからなる画像領域とする差分画像を生成する差分画像生成手段と、
この差分画像生成手段により生成された差分画像を複数用いて合成する際、予め定められた被写体に関する合成条件に従って合成する画像合成手段と、
を備えることを特徴とする画像合成装置。
【請求項２】
前記合成条件とは、前記複数の差分画像が重ならないようにすることであることを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記合成条件とは予め記憶された被写体同士の配置条件であり、
前記画像合成手段は、前記配置条件に基づいて前記差分画像を複数用いて合成することを特徴とする請求項１記載の画像合成装置。
【請求項４】
前記被写体とは人物であるとともに、前記合成条件とは前記人物における顔の大きさに基づいたものであり、
前記画像合成手段は、前記合成条件に従って、前記人物の顔の大きさが略一致するよう前記差分画像を複数用いて合成することを特徴とする請求項１記載の画像合成装置。
【請求項５】
前記合成条件とは、前記複数の差分画像の色調が略一致するようにすることであることを特徴とする請求項１記載の画像合成装置。
【請求項６】
前記差分画像には当該差分画像の元となる画像が撮影された際の撮影情報が対応付けられ、
前記合成条件とは、前記撮影情報に基づいて定められることを特徴とする請求項１記載の画像合成装置。
【請求項７】
前記撮影情報には、前記差分画像の元となる画像を撮影した際の撮影角度が含まれ、
前記画像合成手段は、前記撮影角度に基づき、各被写体の回転角度が略一致するよう合成することを特徴とする請求項６記載の画像合成装置。
【請求項８】
電子機器が有するコンピュータを、
撮影済みの２つの画像から差分を抽出し、この差分を被写体のみからなる画像領域とする差分画像を生成する差分画像生成手段、
この差分画像生成手段により生成された差分画像を複数用いて合成する際、予め定められた被写体に関する合成条件に従って合成する画像合成手段、
として機能させることを特徴とするプログラム。
【請求項９】
撮影済みの２つの画像から差分を抽出し、この差分を被写体のみからなる画像領域とする差分画像を生成する差分画像生成ステップと、
この差分画像生成ステップにて生成された差分画像を複数用いて合成する際、予め定められた被写体に関する合成条件に従って合成する画像合成ステップと、
を含むことを特徴とする画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、切り出された差分画像を合成して合成画像を生成する画像合成装置、プログラム及び画像合成方法に関する。
【背景技術】
【０００２】
従来、背景のみの画像と、当該背景内に被写体が存在する被写体込み画像とを用いて、両者の差分画像を切り出す技術が考案されている（特許文献１参照）。この技術を用いれば、背景のみの画像を撮影した後、当該背景内に被写体が存在する画像を撮影することにより、被写体のみを切り出すことができる。
【０００３】
また、ある背景のみの画像を撮影した後、当該背景内に被写体が存在する画像を撮影する第１の撮影を行って第１の差分画像を切り出し、異なる背景のみの画像を撮影した後、当該背景内に被写体が存在する画像を撮影する第２の撮影を行って第２の差分画像を切り出し、各々切り出した第１の差分画像と第２の差分画像とを合成することもできる。これにより、第１の差分画像の被写体と第２の差分画像内の被写体とを同一のフレーム内に配置した合成画像を生成することが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−２１４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記第１の撮影と第２の撮影とは同一の撮影条件でなされるとは限らず、撮影時のカメラの角度や画角、構図等が異なることが一般的である。したがって、切り出された第１の差分画像と第２の差分画像も構図や画角等が異なる。
【０００６】
このため、第１の差分画像と第２の差分画像とを同一のフレーム内にそのまま配置して合成画像を生成すると、一方の差分画像の被写体と他方の差分画像の被写体とが重なったり、両被写体の大きさや撮影角度異なる等の不自然な合成画像が生成されてしまうという問題がある。
【０００７】
本発明は、かかる従来の課題に鑑みなされたものであり、切り出した複数の差分画像を不自然さを生じさせることなく合成することのできる画像合成装置、プログラム及び画像合成方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するために、請求項１記載の発明は、撮影済みの２つの画像から差分を抽出し、この差分を被写体のみからなる画像領域とする差分画像を生成する差分画像生成手段と、この差分画像生成手段により生成された差分画像を複数用いて合成する際、予め定められた被写体に関する合成条件に従って合成する画像合成手段と、を備えることを特徴とする。
【０００９】
また、請求項２記載の発明は、請求項１記載の発明において、前記合成条件とは、前記複数の差分画像が重ならないようにすることであることを特徴とする。
【００１０】
また、請求項３記載の発明は、請求項１記載の発明において、前記合成条件とは予め記憶された被写体同士の配置条件であり、前記画像合成手段は、前記配置条件に基づいて前記差分画像を複数用いて合成することを特徴とする。
【００１１】
また、請求項４記載の発明は、請求項１記載の発明において、前記被写体とは人物であるとともに、前記合成条件とは前記人物における顔の大きさに基づいたものであり、前記画像合成手段は、前記合成条件に従って、前記人物の顔の大きさが略一致するよう前記差分画像を複数用いて合成することを特徴とする。
【００１２】
また、請求項５記載の発明は、請求項１記載の発明において、前記合成条件とは、前記複数の差分画像の色調が略一致するようにすることであることを特徴とする。
【００１３】
また、請求項６記載の発明は、請求項１記載の発明において、前記差分画像には当該差分画像の元となる画像が撮影された際の撮影情報が対応付けられ、前記合成条件とは、前記撮影情報に基づいて定められることを特徴とする。
【００１４】
また、請求項７記載の発明は、請求項６記載の発明において、前記撮影情報には、前記差分画像の元となる画像を撮影した際の撮影角度が含まれ、前記画像合成手段は、前記撮影角度に基づき、各被写体の回転角度が略一致するよう合成することを特徴とする。
【００１５】
また、請求項８記載の発明は、電子機器が有するコンピュータを、撮影済みの２つの画像から差分を抽出し、この差分を被写体のみからなる画像領域とする差分画像を生成する差分画像生成手段、この差分画像生成手段により生成された差分画像を複数用いて合成する際、予め定められた被写体に関する合成条件に従って合成する画像合成手段、として機能させることを特徴とする。
【００１６】
また、請求項９記載の発明は、撮影済みの２つの画像から差分を抽出し、この差分を被写体のみからなる画像領域とする差分画像を生成する差分画像生成ステップと、この差分画像生成ステップにて生成された差分画像を複数用いて合成する際、予め定められた被写体に関する合成条件に従って合成する画像合成ステップと、を含むことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、切り出した複数の差分画像を不自然さを生じさせることなく合成して、各差分画像内の被写体が不自然さ無く併存する合成画像を生成することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施の形態を適用した電子カメラのブロック図である。
【図２】顔登録メモリ概念的に示すメモリ構成図である。
【図３】本実施の形態の処理手順を示すフローチャートである。
【図４】図３に続くフローチャートである。
【図５】（ａ）は第１の差分画像、（ｂ）は第２の差分画像、（ｃ）は合成画像の一例を示す図である。
【図６】（ａ）は第１の差分画像、（ｂ）は合成画像の一例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の一実施の形態を図に従って説明する。
図１は、本発明の一実施の形態を適用したデジタルカメラ１の電気的構成を示す回路ブロック図である。このデジタルカメラ１は、ＡＥ（Auto Exposure）、ＡＷＢ（Auto White Balance）、ＡＦ（Auto Focus）等の一般的な機能を有するものである。すなわち、レンズブロック１１には、ズームレンズ１１１や図示しないフォーカスレンズ等の光学系、及び光学系を駆動するための駆動機構が含まれている。前記ズームレンズ１１１は、駆動機構に設けられているズームモーター１２によって光軸方向に駆動される。
【００２０】
デジタルカメラ１全体を制御するＣＰＵ（Central Processing Unit）１３には、バス１４及びタイミング発生器（ＴＧ：Timing Generator）１５を介してモータードライバ１６が接続されている。モータードライバ１６は、ユーザの操作に応じたＣＰＵ１３の命令に従いタイミング発生器１５が発生するタイミング信号に基づき、ズームモーター１２を駆動する。これにより、ズームレンズ１１１が駆動されて、そのレンズ位置が変化する。
【００２１】
このとき、ＣＰＵ１３は、自己が発生する命令を記憶して管理している。したがって、ＣＰＵ１３は、自己が発生する命令を記憶して管理することにより、自己が発生する命令によりタイミング発生器１５が発生するタイミング信号に応じて変化するズームレンズ１１１のレンズ位置を取得することができる。
【００２２】
また、図示は省略するが、実際には、フォーカスレンズを駆動するためのフォーカスモーター及びモータードライバや、メカシャッタやメカ絞り及びそれらを駆動するためのモーターを有する駆動機構等が設けられている。
【００２３】
また、デジタルカメラ１は、撮像素子としてＣＣＤ（Charge Coupled Device）１８を有している。ＣＣＤ１８は、レンズブロック１１の光軸上に配置されている。被写体は、レンズブロック１１によってＣＣＤ１８の受光面に結像される。ＣＣＤ１８は、ＣＰＵ１３の命令に従いタイミング発生器１５が生成するタイミング信号に基づき垂直及び水平ドライバ１９によって駆動され、被写体の光学像に応じたアナログの撮像信号をユニット回路２０に出力する。ユニット回路２０は、ＣＣＤ１８の出力信号に含まれるノイズを相関二重サンプリングによって除去するＣＤＳ（Correllated Double Sampling）回路や、ノイズが除去された撮像信号をデジタル信号に変換するＡ／Ｄ（Analog/Digital）変換器等から構成され、デジタル信号をＤＳＰ（Digital Signal Processor）２１へ出力する。
【００２４】
ＤＳＰ２１は、ユニット回路２０から出力されたデジタル信号に対しペデスタルクランプやオートホワイトバランス等の各種画像処理を施すことにより、輝度（Ｙ）信号及び色差（ＵＶ）信号からなる画像データを生成する。ＤＳＰ２１で変換された画像データは順次ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２２に格納されるとともに、ＲＥＣ（Record）ライブビュー・モードでは１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換され、液晶の前記モニタ４へ送られてライブビュー画像として画面表示される。
【００２５】
そして、静止画撮影モードにおいては、シャッタボタン操作をトリガとして、ＣＰＵ１３は、ＣＣＤ１８、垂直及び水平ドライバ１９、ユニット回路２０、及びＤＳＰ２１に対してライブビュー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られＳＤＲＡＭ２２に一時記憶された画像データは、ＣＰＵ１３により圧縮され、最終的には所定のフォーマットの静止画ファイルとして外部メモリ２５に記録される。この外部メモリ２５に記録された静止画ファイルは、ＰＬＡＹ・モードにおいてユーザの選択操作に応じてＣＰＵ１３に読み出されるとともに伸張され、画像データとしてＳＤＲＡＭ２２に展開された後、画像データに基づく画像がモニタ４に表示される。
【００２６】
フラッシュメモリ２６には、ＣＰＵ１３に前記各部を制御させるための各種のプログラム、例えばＡＥ、ＡＦ、ＡＷＢ制御用のプログラムや、後述するフローチャートに示す処理を実行するためのプログラム等の各種のプログラムが格納されている。また、フラッシュメモリ２６には、ズームレンズ１１１のレンズ位置と光学的ズーム倍率との関係も記憶されている。したがって、ＣＰＵ１３は、前述のようにしてズームレンズ１１１のレンズ位置を取得し、フラッシュメモリ２６に記憶されているレンズ位置と光学的ズーム倍率との関係を参照することにより、ズームレンズ１１１のレンズ位置に対応するズーム倍率を取得することも可能である。
【００２７】
また、デジタルカメラ１は、シャッタボタン、ズームボタン等の複数の操作キー及びスイッチを含むキー入力部２７を有している。キー入力部２７は、ユーザによっていずれかの操作キーが操作されると、その操作内容に応じた操作信号をＣＰＵ１３へ供給する。
【００２８】
更に、バス１４には、ジャイロ部２７と顔登録メモリ２８とが接続されている。ジャイロ部２７には、このデジタルカメラ１をユーザが手に持って撮像レンズの方向を変化させた際にその方向（撮影方向）を検出するジャイロセンサを備え、このジャイロセンサの検出出力をＣＰＵ１３へ出力する。
【００２９】
顔登録メモリ２８には、図２に示すように、登録被写体エリア２８１、特徴情報エリア２８２、配置条件エリア２８３及び優先度エリア２８４が対応して設けられている。登録被写体エリア２８１には、「本人」、「妻」、「子供」等の登録した人物被写体を示す文字情報がユーザにより予め記憶されている。特徴情報エリア２８２には、当該人物被写体を撮影して得られた顔の特徴を示す特徴情報が記憶されている。
【００３０】
配置条件エリア２８３には、後述する差分画像を合成した際に、登録した人物被写体をいずれの人物被写体の隣に配置するかを示す配置条件がユーザにより予め記憶されている。また、優先度エリア２８４には、配置条件エリア２８３に複数の配置条件が記憶されている場合に、いずれの人物被写体の配置条件をより優先するかがユーザにより予め記憶されている。
【００３１】
次に、以上の構成にかかるデジタルカメラ１の動作を説明する。図３及び図４は、本実施の形態における差分画像合成モードの処理手順を示す一連のフローチャートである。ユーザによるキー入力部２７での操作により、差分画像合成モードが設定されるとＣＰＵ１３は前記プログラムに従って、このフローチャートに示す処理を実行する。
【００３２】
すなわち、ＣＰＵ１３は、差分画像合成モードにおける撮影モードが設定されているか否かを判断する（ステップＳ１）。撮影モードが設定されているならば、１回目のシャッタボタン操作が検出されたか否かを判断する（ステップＳ２）。１回目のシャッタボタン操作が検出されたならば、撮影処理を実行しその画像を背景画像として記録する（ステップＳ３）。具体的には、ＣＰＵ１３は、シャッタボタン２の押下時点でＳＤＲＡＭ２２に記憶されている画像データを圧縮し、圧縮した画像データを背景画像として外部メモリ２５に記録する。
【００３３】
次に、２回目のシャッタボタン操作が検出されたか否かを判断する（ステップＳ４）。２回目のシャッタボタン操作が検出されたならば、撮影処理を実行しその画像を被写体込み画像として、前記ステップＳ３で記録した背景画像と関連付けて、外部メモリ２５に記録する（ステップＳ５）。更に、この被写体込み画像を記録した際にジャイロ部２９により検出したレンズの方向である撮影角度、ズームレンズ１１１のレンズ位置に対応するズーム倍率、絞り値等の撮影情報を被写体込み画像のＥＸＩＦ（Exchangeable Image File Format）情報として対応付けて記録する（ステップＳ６）。
【００３４】
引き続き、差分画像合成モードにおける合成モードに移行したか否かを判断し、移行するまでステップＳ１〜ステップＳ６の処理を繰り返す。したがって、この間にユーザが１回目のシャッタボタン操作で背景を撮影し、２回目のシャッタボタン操作で当該背景内に被写体が存在する画像を撮影することにより、関連付けられた背景画像と被写体込み画像とを一組として、複数組の画像が外部メモリ２５に記録されていく。
【００３５】
そして、ユーザが差分画像の合成を行うべく差分画像合成モードにおける合成モードを設定すると、ステップＳ７からステップＳ８に進み、外部メモリ２５に記録された複数組の画像から、何れかが１組目の画像として選択されたか否かを判断する。外部メモリ２５から、関連付けられた一組の背景画像と被写体込み画像が１組目の画像として選択されたならば、選択された背景画像と被写体込み画像の差分である第１の差分画像を生成する（ステップＳ９）。このステップＳ９での処理により、図５（ａ）に例示するように、被写体Ｂ、Ｃ、Ｄのみが存在し、背景のない第１の差分画像Ｐ１が生成される。
【００３６】
また、外部メモリ２５に記録された複数組の画像から、何れかが２組目の画像として選択されたか否かを判断する（ステップＳ１０）。外部メモリ２５から、関連付けられた一組の背景画像と被写体込み画像が２組目の画像として選択されたならば、選択された背景画像と被写体込み画像の差分である第２の差分画像を生成する（ステップＳ１１）。このステップＳ９での処理により、図５（ｂ）に例示するように、被写体Ａのみが存在し、背景のない第２の差分画像Ｐ２が生成される。このようにして、第１の差分画像Ｐ１と第２の差分画像Ｐ２とが生成されたならば、両者を合成して、ＳＤＲＡＭ２２に一時的に保存する（ステップＳ１２）。
【００３７】
次に、ＣＰＵ１３は、ＳＤＲＡＭ２２に一時的に保存した合成画像において、被写体が重なるか否かを判断する（ステップＳ１３）。重なる場合には、重なる何れか一方の被写体を重ならない位置に移動する（ステップＳ１４）。したがって、このステップＳ１４での処理により、被写体が重なった不自然な合成画像が生成されることを防止することができる。
【００３８】
また、ＣＰＵ１３は、ＳＤＲＡＭ２２に一時的に保存した合成画像内に存在する人物被写体に配置条件があるか否かを判断する（ステップＳ１５）。より具体的には、先ずＳＤＲＡＭ２２に一時的に保存した合成画像内に存在する人物被写体の顔を認識してその特徴を抽出する。そして、その特徴と顔登録メモリ２８の特徴情報エリア２８２に記憶されている特徴情報と比較することにより、当該顔の人物が登録された人物被写体で有るか否かを判定する。登録された人物被写体であるならば、当該人物に対応して配置条件エリア２８３に配置条件が登録されているか否かを判断する。
【００３９】
したがって、図５（ａ）（ｂ）に示した例の場合、合成画像内に人物被写体Ａ，Ｂ，Ｃ，Ｄが存在し、図２に示すように、人物被写体Ａに対応して「Ｂの隣」という配置条件が登録されていることから、ステップＳ１５の判断はＹＥＳとなる。したがって、ステップＳ１５からステップＳ１６に進み、配置条件に従った配置スペースが合成画像内にあるか否かを判断する。
【００４０】
このとき、本例の場合には、図５（ａ）に示すように、人物被写体Ｂの隣に人物被写体Ａを配置するスペースＺがある。したがって、ステップＳ１６からステップＳ１７に進み、配置条件に従って被写体を移動させる。これにより、図５（ｃ）に示すように、人物被写体Ｂの隣のスペースに人物被写体Ａを配置した合成画像Ｐ３がＳＤＲＡＭ２２で生成される。
【００４１】
これにより、特定の人物被写体を特定の被写体人物の隣に配置した所望の合成画像を生成することができる。
【００４２】
しかし、図６（ａ）に示すように、第１の差分画像Ｐ１内において人物被写体Ｂが端部に位置し、その隣に人物被写体Ａを配置するスペースがない場合には、ステップＳ１６の判断はＮＯとなる。したがって、ステップＳ１６からステップＳ１８に進み、配置条件が登録された人物被写体を空きスペースに配置する。これにより、図６（ｂ）に示すように、人物被写体Ｃの隣の空きスペースに人物被写体Ａを配置した合成画像Ｐ３がＳＤＲＡＭ２２に生成される。
【００４３】
また、ＳＤＲＡＭ２２に一時的に保存している合成画像において、人物被写体の顔の大きさが略一致しているか否かを判断する（ステップＳ１９）。この判断に際しては、例えば合成画像内に存在する各人物被写体の顔を認識して、認識した顔の面積や顔の構成ドット数を算出し、その差が所定以上である場合には略一致しないとし、差が所定未満である場合には、略一致するとする。略一致しない場合には、人物被写体の顔の大きさが略一致するよう、顔が小さい方の人物被写体を拡大処理し、又は顔が大きい方の人物被写体を縮小処理し、若しくはこれら拡大処理と縮小処理の双方を行う（ステップＳ２０）。
【００４４】
これにより、特定の人物被写体の顔が大き過ぎたり、小さ過ぎることよる不自然さの発生を解消することができる。
【００４５】
また、ＳＤＲＡＭ２２に一時的に保存している合成画像において、被写体の色調が略一致しているか否かを判断する（ステップＳ２１）。この判断に際しては、例えば合成画像内に存在する各被写体の明度と彩度とを検出して、検出したかく被写体の明度と彩度の差が所定以上である場合には略一致しないとし、差が所定未満である場合には、略一致するとする。略一致しない場合には、各被写体の明度と彩度が略一致するよう、画質調整して色調を補正する（ステップＳ２２）。
【００４６】
これにより、合成画像内に存在する複数の被写体の色調を略一致させて、不自然さのない合成画像を生成することができる。
【００４７】
また、前記差分画像Ｐ１、Ｐ２の元の画像である被写体込み画像にＥＸＩＦ情報として記録されていた撮影角度が略一致するか否かを判断する（ステップＳ２３）。この判断に際しては、両被写体込み画像のＥＸＩＦ情報として記録されていた撮影角度差が所定以上である場合には略一致しないとし、差が所定未満である場合には、略一致するとする。略一致しない場合には、撮影角度が略一致するような角度に合成画像内の被写体の回転角度を補正する（ステップＳ２４）。
【００４８】
これにより、合成画像内に存在する複数の被写体の回転角度を略一致させて、不自然さのない合成画像を生成することができる。
【００４９】
さらに、以上の被写体の移動処理や補正処理以外のその他の補正処理、例えば被写体の影の長さが不一致であるならば影の長さを略一致させ、ホワイトバランスが不一致であるならばホワイトバランスを略一致させる等を行った後（ステップＳ２６）、完成した合成画像をＳＤＲＡＭ２２から読み出して外部メモリ２５に記録する（ステップＳ２７）。
【００５０】
これにより、切り出した複数の差分画像を不自然さを生じさせることなく合成して、各差分画像内の被写体が不自然さ無く併存する合成画像を生成することができる。
【００５１】
なお、本実施の形態においては、デジタルカメラに本発明を適用した場合を示したが、デジタルカメラに限らず、携帯電話機等の撮影機能を有する各種機器に適用しても良く、更には撮影機能を有さずとも撮影された背景のみの画像と、当該背景内に被写体が存在する被写体込み画像とを外部から取り込み可能な機器であれば、他の電子機器に適用することが可能である。
【符号の説明】
【００５２】
１    デジタルカメラ
４    モニタ
１１    レンズブロック
１２    ズームモーター
１３    ＣＰＵ
１４    バス
１５    タイミング発生器
１６    モータードライバ
１８    ＣＣＤ
２０    ユニット回路
２１    ＤＳＰ
２２    ＳＤＲＡＭ
２５    外部メモリ
２６    フラッシュメモリ
２７    キー入力部
２７    ジャイロ部
２８    顔登録メモリ
２９    ジャイロ部
１１１    ズームレンズ
２８１    登録被写体エリア
２８１    登録被写体エリア
２８２    特徴情報エリア
２８３    配置条件エリア
２８４    優先度エリア
【図１】
2011244224.tif 000003
【図２】
2011244224.tif 000004
【図３】
2011244224.tif 000005
【図４】
2011244224.tif 000006
【図５】
2011244224.tif 000007
【図６】
2011244224.tif 000008