(57)【要約】【課題】ユーザの操作としては最小限の操作によって、実写画像の撮影時の撮影状況に適した素材画像を選択または生成して実写画像と合成することができ、より簡単かつ確実に、より高度な演出効果を得ることができるようにする。【解決手段】撮像部１０で被写体を撮影したとき、制御部２０は、撮影状況（撮影条件、カメラ操作状態、撮影環境）を解析し、その解析結果を、メモリカード５７に記録されている複数の素材画像についての、属性メモリ５９に記憶されている、それぞれの素材画像の属性を示す情報と照合して、メモリカード５７に記録されている複数の素材画像から、撮像部１０で得られた実写画像と合成する素材画像を選択し、実写画像と合成する。撮影状況の解析結果に応じて、ＣＧによって素材画像を生成するように構成することもできる。【選択図】　　　　図１
2004134950.tif 000002
【特許請求の範囲】
【請求項１】
撮像部で被写体を撮影したときの撮影条件、カメラ操作状態または撮影環境である撮影状況を、記憶部に記憶されている複数の素材画像についての、同じ記憶部または別の記憶部に記憶されている、それぞれの素材画像の属性を示す情報と照合して、前記複数の素材画像から、前記撮像部で得られた実写画像と合成する素材画像を選択する工程と、
その選択した素材画像と前記実写画像を合成する工程と、
その合成画像をディスプレイ上に表示する工程と、
を備えることを特徴とする画像合成方法。
【請求項２】
撮像部で被写体を撮影したときの撮影条件、カメラ操作状態または撮影環境である撮影状況に応じて、コンピュータ・グラフィックスによって、前記撮像部で得られた実写画像と合成する素材画像を生成する工程と、
その生成した素材画像と前記実写画像を合成する工程と、
その合成画像をディスプレイ上に表示する工程と、
を備えることを特徴とする画像合成方法。
【請求項３】
請求項１の画像合成方法において、
前記選択工程では、前記実写画像と合成する素材画像が複数存在すると認められるときには、前記素材画像の属性に重み付けをして前記撮影状況を前記画像属性情報と照合することによって素材画像を選択することを特徴とする画像合成方法。
【請求項４】
請求項１の画像合成方法において、
前記選択工程では、前記実写画像と合成する素材画像が複数存在すると認められるときには、乱数を発生させることによって素材画像を選択することを特徴とする画像合成方法。
【請求項５】
請求項１の画像合成方法において、
前記合成工程では、前記撮影状況、または前記選択工程で選択した素材画像の属性に応じて、その素材画像の前記実写画像上での位置または大きさを決定することを特徴とする画像合成方法。
【請求項６】
請求項１の画像合成方法において、
前記合成工程では、前記撮影状況に応じて、前記選択工程で選択した素材画像の輝度または色温度を補正することを特徴とする画像合成方法。
【請求項７】
請求項１の画像合成方法において、
前記複数の素材画像の少なくとも一部に対しては効果音が対応づけられ、
前記選択工程で選択した素材画像が、効果音が対応づけられたものであるときには、その効果音を出力する画像合成方法。
【請求項８】
撮像装置で被写体を撮影して得られる実写画像と合成される複数の素材画像が記録されているとともに、それぞれの素材画像に対応づけられて、それぞれの素材画像の属性を示す情報が記録されている記憶媒体。
【請求項９】
複数の素材画像が記憶され、その複数の素材画像の属性を示す情報が記憶される記憶手段と、
撮像部で被写体を撮影したときの撮影条件、カメラ操作状態または撮影環境である撮影状況を、前記記憶手段に記憶されている画像属性情報と照合して、前記記憶手段に記憶されている複数の素材画像から、前記撮像部で得られた実写画像と合成する素材画像を選択する手段と、
その選択された素材画像と前記実写画像を合成する手段と、
その合成画像をディスプレイ上に表示する手段と、
を備えることを特徴とする画像合成装置。
【請求項１０】
撮像部で被写体を撮影したときの撮影条件、カメラ操作状態または撮影環境である撮影状況に応じて、コンピュータ・グラフィックスによって、前記撮像部で得られた実写画像と合成する素材画像を生成する手段と、
その生成された素材画像と前記実写画像を合成する手段と、
その合成画像をディスプレイ上に表示する手段と、
を備えることを特徴とする画像合成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、デジタルスチルカメラやデジタルビデオカメラなどのデジタルカメラ、あるいはカメラ付きの携帯電話端末や情報端末のカメラ部、または携帯電話端末や情報端末に装着もしくは接続されるカメラ機能モジュールなどの撮像部（撮像装置）で撮影された画像に、あらかじめ用意されている画像、またはＣＧ（コンピュータ・グラフィックス）により即時に生成される画像を合成する方法および装置に関する。
【０００２】
【従来の技術】
テレビ放送や映画などでは、クロマキー処理などによって画像を合成して、多様な演出を行うことが多い。
【０００３】
また、デジタルスチルカメラやデジタルビデオカメラのようなデジタルカメラでも、大掛かりなスタジオセットやバーチャルスタジオに匹敵する演出効果は期待できないものの、画像合成機能を備えることによって、ユーザが手軽に高度な演出効果を得ることができる。
【０００４】
また、最近では、携帯電話端末やＰＤＡなどの情報端末でも、ＣＣＤカメラなどによる撮像機能を備えたものが市販されており、Ｊａｖａ（登録商標）などのソフトウェア技術によってＣＧ画像を作成する機能を備えたものも考えられている。
【０００５】
特許文献１（特開２０００−２７０２６１公報）には、図１５に示すような、撮像機能、画像合成機能および画像表示機能を一体化した撮像装置が示されている。
【０００６】
この撮像装置では、撮像部１でブルーバックの前の出演者が撮影され、切出部２でのクロマキー処理によって、その実写画像から出演者の画像部分のみが前景画像として切り出され、ユーザの操作部５での操作によって、記憶部６に記憶されている複数の素材画像（ＣＧ画像などの画像）から、実写画像と合成する素材画像が背景画像として選択され、合成部３で、その選択された背景画像（素材画像）に切出部２からの前景画像（実写画像）が合成されて、表示部４上に合成画像（合成後の画像）が表示される。
【０００７】
記憶部６に記憶された、それぞれの素材画像に対しては、実写画像の合成の位置や割合（アルファ・ブレンディングにおけるアルファ値）を示す合成情報が付加され、その合成情報に基づいて素材画像と実写画像が合成される。
【０００８】
なお、特許文献１には、操作部５での操作や、撮像装置の位置を検出するセンサの出力によって、合成位置を微調整することが示されている。
【０００９】
特許文献２（特開２００１−２５１６１８公報）には、利用者が、ストーリーおよびこれに対する背景画像を選択した上で、利用者自身の動画像を撮影することによって、装置において、その動画像と選択された背景画像とを合成することが示されている。
【００１０】
特許文献３（特開２０００−２７０２０３公報）には、撮像装置で実写画像とＣＧ画像を合成する際に、実写画像の撮影時の光源パラメータやカメラワークパラメータなどの環境パラメータに応じてＣＧ画像を作成することによって、実写画像に含まれる影と同様の影がＣＧ画像に付加された合成画像を得ることが示されている。
【００１１】
特許文献４（特開平１０−４２３０７号公報）には、高度なグラフィック処理機能を有する高価なコンピュータによって、その時々のカメラの動きに合わせたバーチャルの背景画像を作成する代わりに、あらかじめカメラの動きに合わせた多数の背景画像を作成してメモリに収録しておき、実際にクロマキー用スクリーンの前の対象体（出演者などの被写体）をカメラで撮影する際、その多数の背景画像の中から、そのときのカメラの動きに応じた背景画像を選択して、カメラから得られた前景画像（対象体の画像）と合成することが示されている。
【００１２】
また、特許文献４には、カメラのズームポジションに応じて、選択された背景画像を拡大または縮小することが示されている。
【００１３】
【特許文献１】
特開２０００−２７０２６１公報。
【特許文献２】
特開２００１−２５１６１８公報。
【特許文献３】
特開２０００−２７０２０３公報。
【特許文献４】
特開平１０−４２３０７号公報。
【００１４】
【発明が解決しようとする課題】
撮影された実写画像に、あらかじめ用意されている素材画像を合成する場合、素材画像として多数のキャラクタ画像などを用意しておき、実写画像の撮影時の撮影条件やカメラ操作状態などに応じて、実写画像と合成する素材画像を選択することができれば、より高度な演出効果を得ることができ、趣向性およびエンターテインメント性を向上させることができる。
【００１５】
しかし、その場合、特許文献１，２に記載されているように、ユーザの操作によって、記憶部に記憶されている複数の素材画像から、実写画像と合成する素材画像を選択するのでは、ユーザにとって煩わしい。特に、多数の素材画像が存在する場合には、画像選択操作が面倒になる。
【００１６】
また、動画の撮影では、ユーザの操作によって、記憶部に記憶されている複数の素材画像から、実写画像と合成する素材画像を選択するのでは、ユーザにとって煩わしいだけでなく、適切な画像選択のタイミングを逃してしまうなどの問題がある。
【００１７】
そこで、この発明は、ユーザの操作としては最小限の操作によって、実写画像の撮影時の撮影状況に適した素材画像を選択または生成して、実写画像と合成することができ、より簡単かつ確実に、より高度な演出効果を得ることができ、趣向性およびエンターテインメント性を向上させることができるようにしたものである。
【００１８】
【課題を解決するための手段】
この発明の画像合成方法は、
撮像部で被写体を撮影したときの撮影条件、カメラ操作状態または撮影環境である撮影状況を、記憶部に記憶されている複数の素材画像についての、同じ記憶部または別の記憶部に記憶されている、それぞれの素材画像の属性を示す情報と照合して、前記複数の素材画像から、前記撮像部で得られた実写画像と合成する素材画像を選択する工程と、
その選択した素材画像と前記実写画像を合成する工程と、
その合成画像をディスプレイ上に表示する工程と、
を備えることを特徴とする。
【００１９】
また、この発明の画像合成方法は、
撮像部で被写体を撮影したときの撮影条件、カメラ操作状態または撮影環境である撮影状況に応じて、コンピュータ・グラフィックスによって、前記撮像部で得られた実写画像と合成する素材画像を生成する工程と、
その生成した素材画像と前記実写画像を合成する工程と、
その合成画像をディスプレイ上に表示する工程と、
を備えることを特徴とする。
【００２０】
上記の画像合成方法では、画像合成装置の制御部（ＣＰＵ）が、実写画像の撮影時の撮影状況に応じて、記憶部に記憶されている複数の素材画像から、実写画像と合成する素材画像を選択し、または、コンピュータ・グラフィックスによって、実写画像と合成する素材画像を生成するので、ユーザの操作としては最小限の操作によって、実写画像の撮影時の撮影状況に適した素材画像が選択または生成され、実写画像と合成される。
【００２１】
【発明の実施の形態】
〔画像合成装置のシステム構成：図１〕
図１は、この発明の画像合成装置の一実施形態を示し、デジタルスチルカメラに画像合成機能を持たせた場合である。
【００２２】
この実施形態の画像合成装置では、撮像部１０において、被写体からの光が、撮像光学系１１を介してＣＣＤ撮像素子１２に投射されて、ＣＣＤ撮像素子１２によって被写体が撮影され、映像出力部１３から、輝度信号と色差信号とからなる映像信号が得られる。
【００２３】
その映像信号は、Ａ／Ｄコンバータ１４でデジタル映像データに変換されて、撮像部１０からの映像信号として出力され、素材画像を合成しない場合には、または素材画像が合成される前の状態では、そのままメモリ制御部１５を通じて表示処理部１７に供給されて、ＲＧＢ映像データに変換され、そのＲＧＢ映像データが、Ｄ／Ａコンバータ１８で液晶駆動用のＲＧＢ映像信号に変換されて、ＬＣＤ（液晶ディスプレイ）モニタ１９に供給され、ＬＣＤモニタ１９上に実写画像が表示される。
【００２４】
制御部２０は、画像合成装置の各部を制御するとともに、素材画像の選択などの処理を行うもので、ＣＰＵ２１を備え、そのバス２２に、ＣＰＵ２１が実行すべき後述の画像合成処理ルーチンなどのプログラムや各種の固定データなどが書き込まれたＲＯＭ２３、およびＣＰＵ２１のワークエリアなどとして機能するＲＡＭ２４などが接続される。
【００２５】
撮像光学系１１は、通常のデジタルスチルカメラのそれと同じで、カメラ操作部３１で、露出制御、絞り制御、焦点制御、ズーム操作、シャッター制御などのカメラ操作を行うことができる。
【００２６】
これによって、撮像光学系１１およびカメラ操作部３１では、後述のような各種の撮影条件およびカメラ操作状態が検出される。その撮影条件およびカメラ操作状態のデータは、バス２２に取り込まれる。
【００２７】
また、映像出力部１３からの映像信号が、撮影条件検出部３３に供給されて、撮影条件検出部３３において、ホワイトバランスなどの撮影条件が検出され、その検出結果が、バス２２に取り込まれる。
【００２８】
また、温度センサ３５によって測定された撮影時の気温の情報が、撮影環境を示す情報の一つとして、インタフェース３６を介してバス２２に取り込まれるとともに、カレンダー時計回路３８によって検出された撮影日時（撮影時の年、月、日、時、分）の情報が、撮影環境を示す情報の一つとして、バス２２に取り込まれる。
【００２９】
さらに、この実施形態では、画像合成装置に、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信機４０が設けられる。ＧＰＳ受信機４０は、地球を周回するＧＰＳ衛星からの信号を受信するアンテナ４１および受信部４２、および、受信部４２で捕捉された複数の衛星についての連立方程式の解として、ＧＰＳ受信機４０の位置（３次元座標）を算出する測位演算部４３によって構成され、測位演算部４３の算出結果の位置情報が、撮影環境を示す情報の一つとして、バス２２に取り込まれる。
【００３０】
また、地図メモリ４４が、メモリインタフェース４５を介してバス２２に接続される。地図メモリ４４は、地図情報が書き込まれた内部メモリまたは外部記憶装置で、制御部２０は、ＧＰＳ受信機４０で測位された撮影位置により、その地図情報を参照することによって、撮影地域（国、地域、地方などや、陸、山、海などの別）を特定する。
【００３１】
また、モードキー５２、画像合成オンオフキー５３、および合成モード選択キー５４などを備えるキー操作部５１が、入力インタフェース５５を介してバス２２に接続される。
【００３２】
モードキー５２は、静止画、動画および再生のモードを選択するものであり、画像合成オンオフキー５３は、画像合成をするか否かを選択するものであり、合成モード選択キー５４は、画像合成をする場合に、後述の２つの合成モード（実写画像を背景画像とし、素材画像を前景画像とする第１の合成モード、または、実写画像を前景画像とし、素材画像を背景画像とする第２の合成モード）のいずれかを選択するものである。
【００３３】
この実施形態では、素材画像の記憶部として、外部記憶装置であるメモリカード５７が用いられ、その素材画像記憶エリアに、あらかじめ、後述のような複数の素材画像の、圧縮された画像データからなる画像ファイルが書き込まれる。
【００３４】
具体的に、素材画像の作成およびメモリカード５７への記録は、メディアを作成し、販売する事業者が行い、あるいは、ユーザが、当該のデジタルスチルカメラまたは他のデジタルカメラなどによって画像を撮影し、またはＰＣ（パーソナル・コンピュータ）上でＣＧなどによって画像を作成して行う。
【００３５】
また、図１では省略したが、画像合成装置に外部と無線または有線で通信する機能を搭載し、その通信機能によって、外部から素材画像の画像ファイルを受信して、メモリカード５７にロードするように、画像合成装置を構成することもできる。この場合には、また、後述のように生成された合成画像（合成後の画像）の画像ファイルを外部に送信することができる。
【００３６】
このように素材画像が記録されたメモリカード５７は、画像合成装置のメモリカードスロットに装着されることによって、メモリインタフェース５８を介してバス２２に接続される。
【００３７】
また、ＲＡＭなどからなる属性メモリ５９が、バス２２に接続される。この属性メモリ５９には、メモリカード５７に記憶されている複数の素材画像についての、素材画像の属性を示す情報が書き込まれる。
【００３８】
具体的に、この実施形態では、メモリカード５７に記録されている、それぞれの素材画像についての、メモリカード５７に記憶されている画像属性情報が、メモリカード５７から属性メモリ５９にロードされる。ただし、その画像属性情報については、ＬＣＤモニタ１９上での表示およびキー操作部５１での操作によって、一部の属性を追加、変更、削除するなど、情報を書き換えることができるようにされる。
【００３９】
また、例えば、この属性メモリ５９には、撮影状況の解析のための変換テーブルが書き込まれる。
【００４０】
さらに、メモリカード５７には、素材画像に対応した効果音データが書き込まれ、画像合成時、後述のように選択された素材画像に効果音が付加されている場合には、その効果音データがメモリカード５７から読み出される。
【００４１】
その読み出された効果音データは、Ｄ／Ａコンバータ４７でアナログ音声信号に変換され、その音声信号が、音声増幅回路４８を通じてスピーカ４９に供給されて、スピーカ４９から効果音が出力される。
【００４２】
さらに、バス２２には、撮像部１０からの実写画像の画像データを、メモリカード５７への記録用に圧縮し、または画像合成用に処理し、メモリカード５７から読み出された素材画像の圧縮された画像データを、伸長して画像合成用に処理し、合成画像の画像データを、メモリカード５７への記録用に圧縮する、などの画像処理をする画像処理部２７が接続される。
【００４３】
画像処理部２７には、ＤＲＡＭ（ダイナミックＲＡＭ）などからなるフレームメモリ２８が接続される。また、バス２２と表示処理部１７との間には、ＬＣＤモニタ１９上にメニューやアイコンなどを表示するためのＯＳＤ（Ｏｎ　Ｓｃｒｅｅｎ　Ｄｉｓｐｌａｙ）処理部２９が接続される。
【００４４】
そして、静止画モードでは、上述したように実写画像がＬＣＤモニタ１９上に表示された状態で、画像合成をオフにして、シャッターボタンを押すと、制御部２０の制御によって、実写画像の１画面分の画像データが、撮像部１０から画像処理部２７を通じてフレームメモリ２８に取り込まれ、画像処理部２７で圧縮され、所定フォーマットの画像ファイルに変換されて、メモリカード５７に記録される。
【００４５】
静止画モードで、画像合成をオンにすると、後述のように、制御部２０によって、メモリカード５７から、そのときの撮影状況に適した素材画像が選択され、画像処理部２７で、その選択された素材画像の圧縮された画像データが伸長されるとともに、伸長後の素材画像の画像データと、撮像部１０からの実写画像の画像データが、合成処理され、その合成後の画像データが、メモリ制御部１５を通じて表示処理部１７に供給され、ＬＣＤモニタ１９上に合成画像が表示される。
【００４６】
この状態で、シャッターボタンを押すと、制御部２０の制御によって、合成画像の１画面分の画像データが、画像処理部２７で圧縮され、所定フォーマットの画像ファイルに変換されて、メモリカード５７に記録される。
【００４７】
再生モードでは、制御部２０によって、メモリカード５７から、実写画像または合成画像の画像ファイルが読み出され、その圧縮された画像データが、画像処理部２７で伸長されて、メモリ制御部１５によって表示用メモリ１６に書き込まれ、表示用メモリ１６から読み出されて、ＬＣＤモニタ１９上に再生画像が表示される。
【００４８】
メモリカード５７に記録されている素材画像自体も、同様にＬＣＤモニタ１９上に表示することができる。
【００４９】
動画モードの場合にも、後述のように、実写画像と素材画像を合成することができる。
【００５０】
〔撮影状況とその解析：図２〕
画像合成に当たっては、制御部２０は、属性メモリ５９に書き込まれている変換テーブルや、地図メモリ４４に書き込まれている地図情報を参照して、撮影状況を解析し、その解析結果を、属性メモリ５９に記憶されている画像属性情報と照合して、実写画像と合成する素材画像を選択する。
【００５１】
図１の実施形態の画像合成装置では、図２に示すように、撮影条件またはカメラ操作状態としては、ズーム倍率、ズーム操作状態、パン操作状態、チルト操作状態、被写体までの距離、フォーカス状態、実写画像中で動いている被写体の存在や位置、手振れ（カメラの揺れ）の有無、被写体の明るさ、色温度などが検出され、撮影環境としては、気温、撮影日時および撮影位置が検出される。
【００５２】
これらの撮影状況の解析結果としては、一例として、被写体の明るさから、実写画像の明るさ（輝度レベル）が、明るい、普通、暗い、の３段階で検出され、色温度および気温から、天気が、晴れと、その他（曇り、雨、雪）の、２通りに検出されるとともに、撮影場所が、屋内と、屋外の、２通りに検出され、撮影日時から、撮影時間帯が、朝、昼、夜の、３通りに検出されるとともに、撮影季節が、春、夏、秋、冬の、４通りに検出され、撮影位置から、撮影地域が、特定の国、地域、地方などや、陸、山、海などの別として検出される。
【００５３】
なお、撮影地域として世界各地を想定するような場合には、例えば、撮影日時が７月でも、日本では夏、オーストラリアでは冬、というように、国や地域によって季節が異なるので、撮影日時と撮影地域から撮影季節が特定されるようにする。
【００５４】
〔素材画像とその属性：図３〜図６〕
実写画像と合成する素材画像としては、アニメーション、ゲーム、漫画、童話などに登場するキャラクタ（動物などの著作物）の画像が好適である。
【００５５】
図３上段に、素材画像としてのキャラクタ画像の例を示す。画像Ａは、ネコを模したものであり、画像Ｂは、白ウサギを模したものであり、画像Ｃは、イヌを模したものであり、画像Ｄは、カエルを模したものであり、画像Ｅは、ロボットを表したものである。
【００５６】
さらに、図３下段に示すように、同一キャラクタで、表情や表現が異なる複数の画像を用意すれば、より趣向性およびエンターテインメント性を向上させることができる。
【００５７】
図３下段の画像Ａ１は、キャラクタが笑顔で歩いている画像であり、画像Ａ２は、キャラクタが挨拶しながら近づいてくる画像であり、画像Ａ３は、キャラクタが浮輪を持ちながら喜んでいる画像であり、画像Ａ４は、キャラクタが悲しんでいる画像である。
【００５８】
画像Ｂ〜Ｅについても、それぞれ、表情や表現が異なる複数の画像を用意すると、より好ましい。
【００５９】
図４に、図３に示したキャラクタ画像の属性の一例を示す。この例では、画像の属性として、用途、適切な地域、適切な場所、適切な季節、適切な時間帯、適切な天気、適切な明るさ、適切な合成態様、適切な使用サイズ、およびアルファ値を規定する。
【００６０】
用途は、前景画像として用いるか、背景画像として用いるか、であるが、図３のキャラクタ画像は、全て前景画像として用いる。
【００６１】
適切な地域としては、撮影状況の解析結果の撮影地域に合わせて、特定の国、地域、地方などや、陸、山、海などの別を規定する。この例では、国、地域、地方などは特定しないで、画像Ａ３については海とし、画像Ｂについては山とし、画像Ａ１，Ａ２，Ａ４，Ｃ，Ｄ，Ｅについては陸とする。
【００６２】
適切な場所としては、撮影状況の解析結果の撮影場所に合わせて、屋内または屋外を規定する。この例では、画像Ａ１〜Ａ４，Ｂ，Ｃ，Ｄについては屋外とし、画像Ｅについては特定しない。
【００６３】
適切な季節としては、撮影状況の解析結果の撮影季節に合わせて、春、夏、秋または冬を規定する。この例では、画像Ａ３，Ｃ，Ｄについては夏とし、画像Ｂについては冬とし、画像Ａ１，Ａ２，Ａ４，Ｅについては特定しない。
【００６４】
適切な時間帯としては、撮影状況の解析結果の撮影時間帯に合わせて、朝、昼または夜を規定する。この例では、画像Ａ１，Ａ３，Ｂ，Ｄについては昼とし、画像Ａ２については朝とし、画像Ａ４，Ｃ，Ｅについては特定しない。
【００６５】
適切な天気としては、撮影状況の解析結果の天気に合わせて、「晴れ」または「その他」を規定する。この例では、画像Ａ１，Ａ３，Ｂについては「晴れ」とし、画像Ａ４，Ｃ，Ｄについては「その他」とし、画像Ａ２，Ｅについては特定しない。
【００６６】
適切な明るさとしては、実写画像の明るさに合わせて、「明るい」「普通」または「暗い」を規定する。この例では、画像Ａ１，Ａ２，Ａ３，Ｂ，Ｄについては「明るい」とし、画像Ａ４，Ｃについては「暗い」とし、画像Ｅについては特定しない。
【００６７】
適切な合成態様としては、当該の画像のキャラクタが、地面に着地すべきものか、空中や海中に浮遊すべきものか、実写画像中で動いている被写体の近くに位置すべきものか、などを規定する。この例では、画像Ａ１〜Ａ４，Ｂ〜Ｅは全て、キャラクタが地面に着地すべきものとされる。
【００６８】
適切な使用サイズとは、ズーム倍率（焦点距離・画角）に対応した合成サイズ（合成画像上の大きさ）で、この例では、全てのキャラクタ画像につき、「３５ｍｍ換算で２０５ｍｍ撮影時において高さは画面の２／３」などのように規定する。
【００６９】
アルファ値は、一般に前景画像の不透明度を示すが（０．０は、完全に透明、すなわち前景画像の部分でも背景画像のみが表示される状態であり、１．０は、完全に不透明、すなわち前景画像の部分では前景画像のみが表示される状態である）、この例のキャラクタ画像は全て、アルファ値が１．０とされ、不透明の前景画像として、背景画像としての実写画像と合成される。
【００７０】
実写画像と合成する素材画像は、キャラクタ以外の画像とすることもできる。図５は、キャラクタ以外の素材画像の一例を示し、人物画像、動物画像、植物画像、前景用ＣＧ画像、自然画像、および背景用ＣＧ画像に分類した場合である。
【００７１】
人物画像は、ユーザやその家族などの画像であり、動物画像は、ユーザが飼っている犬や猫などの画像であり、植物画像は、高山植物などの画像であり、前景用ＣＧ画像は、ＣＧによって作成されたＵＦＯ（未確認飛行物体）やクラゲなどの画像であり、自然画像は、特定の山、海、夜景などの画像であり、背景用ＣＧ画像は、ＣＧによって作成された宇宙などの画像である。
【００７２】
これらキャラクタ以外の素材画像についても、キャラクタ画像と同様に、画像の属性として、例えば、用途、適切な地域、適切な場所、適切な季節、適切な時間帯、適切な天気、適切な明るさ、適切な合成態様、適切な使用サイズ、およびアルファ値を、図示するように適宜規定する。
【００７３】
この例は、ＵＦＯの画像については、適切な合成態様として空中に浮遊すべきものとされ、クラゲの画像については、適切な合成態様として海中に浮遊すべきものとされるとともに、アルファ値が０．５とされた場合である。したがって、素材画像としてクラゲの画像が選択された場合には、そのクラゲの画像が、半透明の前景画像として、前景画像としての実写画像と合成される。
【００７４】
人物画像などを前景画像として用いることによって、例えば、ユーザが海を撮影するとき、その実写画像である背景画像に、自身の画像が前景画像として合成された画像を作成し、または、ユーザが山を撮影するとき、その実写画像である背景画像に、実際には存在しない高山植物の画像が前景画像として合成された画像を作成するなどの、画像合成を行うことができる。
【００７５】
また、自然画像や背景用ＣＧ画像を背景画像として用いる場合には、例えば、ユーザがブルーバックなどのクロマキー用バックのユーザ自身などを撮影することによって、画像合成装置において、クロマキー処理によって実写画像からユーザ自身などの画像部分のみが前景画像として切り出され、背景画像としての自然画像や背景用ＣＧ画像と合成されるような画像合成を行うことができる。
【００７６】
例えば、撮影状況の解析結果の撮影季節が冬、撮影時間帯が夜、実写画像（被写体）の明るさが「暗い」である場合には、背景画像としての素材画像として夜景の画像が選択される。
【００７７】
なお、素材画像を背景画像とし、実写画像を前景画像とする場合、上述したようにキー操作部５１で合成モードを選択する際、前景画像としての実写画像につき、後述のようにアルファ値を０．０と１．０の間に指定できるように構成することができる。
【００７８】
また、前景画像または背景画像としての素材画像の選択については、ユーザが画像の属性の一部を「冬」「夜」「暗い」などと指定することができるように構成してもよい。
【００７９】
なお、素材画像としてのキャラクタ画像としては、図６に示す画像Ｆまたは画像Ｇのような、複数のキャラクタを合成した複合キャラクタ画像を用いることもできる。
【００８０】
〔画像合成方法：図７〜図９〕
図７および図８に、図１の実施形態の画像合成装置において制御部２０（ＣＰＵ２１）が実行する画像合成処理ルーチンの一例を示す。
【００８１】
この例の画像合成処理ルーチン６０では、撮像部１０で被写体が撮影され、ＬＣＤモニタ１９上に実写画像が表示された状態で、画像合成処理を開始して、まずステップ６１で、画像合成がオンにされているか否かを判断する。
【００８２】
そして、画像合成がオフにされている場合には、ステップ６１からステップ６２に進んで、シャッターボタンが押されたか否かを判断し、シャッターボタンが押されたときには、ステップ６３に進んで、メモリカード５７に実写画像を記録する。
【００８３】
一方、画像合成がオンにされている場合には、ステップ６１からステップ６４に進んで、上述したように撮影状況を解析し、次にステップ６５に進んで、その解析結果を、属性メモリ５９に記憶されている画像属性情報と照合し、さらにステップ６６に進んで、その照合結果から、撮影状況に適合する素材画像が存在するか否かを判断する。
【００８４】
そして、適合する素材画像が存在する場合には、ステップ６６からステップ６７に進んで、適合する素材画像が一つか否かを判断し、一つである場合には、ステップ６７からステップ６８に進んで、その素材画像を、実写画像と合成する画像として選択して、メモリカード５７から読み出す。
【００８５】
次に、ステップ７１に進んで、後述のように、その選択した素材画像と実写画像とを合成し、さらにステップ７２に進んで、その合成画像をＬＣＤモニタ１９上に表示する。
【００８６】
次に、ステップ７３に進んで、シャッターボタンが押されたか否かを判断し、シャッターボタンが押されたときには、ステップ７４に進んで、その合成画像をメモリカード５７に記録する。
【００８７】
ステップ６７で、撮影状況に適合する素材画像が複数存在すると判断した場合には、別処理ルーチン７７を実行する。メモリカード５７に多数の素材画像が記録されている場合や、属性の類似する素材画像が記録されている場合などには、撮影状況に適合する素材画像が複数あり得る。
【００８８】
このような場合の別処理ルーチン７７としては、例えば、制御部２０は、その複数の素材画像を順次、ＬＣＤモニタ１９上に表示し、ある素材画像が表示された状態で、ユーザによりキー操作部５１で決定の操作がなされたとき、またはシャッターボタンが押されたとき、制御部２０は、その素材画像を実写画像と合成する画像として確定する、という処理を実行する。
【００８９】
あるいは、別処理ルーチン７７として、制御部２０が、画像の属性に重み付けをして、撮影状況の解析結果を画像属性情報と照合することによって、撮影状況に最も適した素材画像を選択するように構成することもできる。
【００９０】
また、別処理ルーチン７７として、制御部２０が乱数を発生させることによって素材画像を選択するように構成することもできる。
【００９１】
さらに、ユーザのキー操作部５１での操作によって、別処理ルーチン７７を上記の複数の方法のうちのいずれかに切り替えることができるように構成することもできる。
【００９２】
ステップ６６で、撮影状況に適合する素材画像が存在しないと判断した場合には、別処理ルーチン７６を実行する。特殊な撮影状況である場合や、メモリカード５７に記録されている素材画像の数が少ない場合などには、撮影状況に適合する素材画像が存在しない場合があり得る。
【００９３】
このような場合の別処理ルーチン７６としては、例えば、制御部２０は、ＯＳＤ処理によってＬＣＤモニタ１９上に適当な素材画像が見つからない旨を表示して、素材画像の選択をユーザに委ねる。
【００９４】
あるいは、別処理ルーチン７６として、制御部２０が、画像の属性に重み付けをして、撮影状況の解析結果を画像属性情報と照合することによって、撮影状況に比較的適した素材画像を選択するように構成することもできる。
【００９５】
また、別処理ルーチン７６として、制御部２０が乱数を発生させることによって素材画像を選択するように構成することもできる。
【００９６】
さらに、ユーザのキー操作部５１での操作によって、別処理ルーチン７６を上記の複数の方法のうちのいずれかに切り替えることができるように構成することもできる。
【００９７】
図９に、上述した実施形態の画像合成方法を機能ブロック構成として示す。この実施形態では、制御部２０は、図２に示したような撮影状況のデータを取り込み、記憶部８２（図１の実施形態では属性メモリ５９）に書き込まれている変換テーブルを参照して、撮影状況を解析する。
【００９８】
さらに、制御部２０は、その解析結果を、記憶部８２に記憶されている画像属性情報と照合して、記憶部８３（図１の実施形態ではメモリカード５７）から、そのときの撮影状況に適した素材画像を選択する。
【００９９】
その選択された素材画像と、撮像部１０から得られた実写画像が、合成処理部８４（図１の実施形態では画像処理部２７）において合成される。
【０１００】
この場合、操作部８１（図１の実施形態ではキー操作部５１）での操作によって第１の合成モードが選択されている場合には、制御部２０の制御によって、実写画像を背景画像とし、素材画像を前景画像として、必要に応じて切り出し処理され、前景画像としての素材画像についてのアルファ値が０．０と１．０の間のときには半透明処理されて（アルファ値が１．０のときには不透明処理されて）、実写画像と素材画像が合成される。
【０１０１】
また、第２の合成モードが選択されている場合には、制御部２０の制御によって、実写画像を前景画像とし、素材画像を背景画像として、必要に応じて切り出し処理され、前景画像としての実写画像についてのアルファ値が０．０と１．０の間に指定されているときには半透明処理されて（アルファ値が特に指定されていないときには不透明処理されて）、実写画像と素材画像が合成される。
【０１０２】
合成後の画像は、表示部８５（図１の実施形態ではＬＣＤモニタ１９）に表示されるとともに、記憶部８６（図１の実施形態ではメモリカード５７）に記録される。
【０１０３】
〔ＣＧによる素材画像の生成：図１０〕
図９の実施形態は、記憶部８３に複数の素材画像が記録されていて、制御部２０が、撮影状況の解析結果を、記憶部８２に記憶されている画像属性情報と照合して、記憶部８３から、そのときの撮影状況に適した素材画像を選択する場合であるが、撮影状況の解析結果から直接、ＣＧによって、そのときの撮影状況に適した素材画像が生成されるように構成することもできる。
【０１０４】
具体的に、この場合、制御部（ＣＰＵ）の制御によってＣＧ生成部が、撮影状況の解析結果に応じて、生成する素材画像の仮想物体を定義し、素材画像の基になるＣＧ生成用データを選択して、素材画像を生成するように構成する。Ｊａｖａ（登録商標）などのソフトウェア技術によれば、このような方法によって素材画像をリアルタイムで生成することができる。この場合、仮想物体の定義などの一部の操作をユーザが行うように構成してもよい。
【０１０５】
図１０に、この実施形態の画像合成方法を機能ブロック構成として示す。この実施形態では、制御部２０は、撮影状況のデータを取り込み、記憶部８２に書き込まれている変換テーブルを参照して、撮影状況を解析する。
【０１０６】
ＣＧ生成部８７は、その解析結果から、上述した方法によって、そのときの撮影状況に適した素材画像を生成する。
【０１０７】
その生成された素材画像と、撮像部１０から得られた実写画像が、合成処理部８４において合成される。
【０１０８】
この場合、操作部８１での操作によって第１の合成モードが選択されている場合には、制御部２０の制御によって、実写画像を背景画像とし、素材画像を前景画像として、必要に応じて切り出し処理され、前景画像としての素材画像についてのアルファ値が０．０と１．０の間に指定されているときには半透明処理されて（アルファ値が特に指定されていないときには不透明処理されて）、実写画像と素材画像が合成される。
【０１０９】
また、第２の合成モードが選択されている場合には、制御部２０の制御によって、実写画像を前景画像とし、素材画像を背景画像として、必要に応じて切り出し処理され、前景画像としての実写画像についてのアルファ値が０．０と１．０の間に指定されているときには半透明処理されて（アルファ値が特に指定されていないときには不透明処理されて）、実写画像と素材画像が合成される。
【０１１０】
合成後の画像は、表示部８５に表示されるとともに、記憶部８６に記録される。
【０１１１】
このように、ＣＧによって素材画像を生成する場合にも、撮影状況に適した効果音のデータを生成して、効果音を発生させることができる。
【０１１２】
〔画像選択および画像合成の具体的態様：図１１〜図１４〕
上述した画像合成方法による具体的な画像選択および画像合成の例を示す。
【０１１３】
（第１の例：図１１および図１２）
第１の合成モードが選択された状態で、図１１の左上に示すような画像Ｊが撮影される場合、このときの撮影状況の解析結果が、撮影地域は陸、撮影場所は屋外、撮影季節は春、撮影時間帯は昼、撮影時の天気は晴れ、被写体の明るさは明るい、であるとすると、その解析結果を図４および図５に示した属性と照合することによって、制御部２０では、このときの撮影状況に適合する素材画像として、図１１の左下に示すように、図３に示したキャラクタ画像Ａ１が選択され、このキャラクタ画像Ａ１のキャラクタ部分（影が存在する場合には影の部分を含む）ａ１が、前景画像として背景画像としての画像Ｊと合成される。
【０１１４】
この場合、キャラクタ部分ａ１にはキャラクタの足ｆが存在するので、画像Ｊの地面と判定される部分に、その足ｆが着地するように、キャラクタ部分ａ１の画像Ｊへの合成位置が決定される。
【０１１５】
当該部分が地面であるか否かは、当該部分の画像内における位置（画像の下部であれば、地面の可能性が高い）、当該部分の距離（距離が近い部分は、地面の可能性が高い）、当該部分の色（茶色や灰色の部分は、地面の可能性が高い）などから、制御部２０において比較的正確に判定することができる。
【０１１６】
また、キャラクタ画像Ａ１の使用サイズとして、例えば「３５ｍｍ換算で２０５ｍｍ撮影時において高さは画面の２／３」というようなサイズが規定されている場合には、そのサイズに合うように、合成画像Ｋにおけるキャラクタ部分ａ１の大きさが決定される。
【０１１７】
さらに、図１１の例では、キャラクタ画像Ａ１（キャラクタ部分ａ１）を少し青に近づけ、あるいは、例えば、実写画像が夕焼けの画像のように赤みがかったものであるときには、素材画像を少し赤に近づけるなど、制御部２０が実写画像の色温度に応じて素材画像の色温度を補正するように画像合成装置を構成すると、合成画像として、より自然な画像を得ることができ、好ましい。
【０１１８】
同様に、実写画像の明るさに応じて素材画像の明るさ（輝度レベル）が補正されるように画像合成装置を構成すると、合成画像として、より自然な画像を得ることができ、好ましい。
【０１１９】
キャラクタ画像Ａ１が選択され、実写画像と合成される場合には、効果音として、図４に示したように、「きゅっ」という、歩く音が出力される。
【０１２０】
図１１のように画像Ｊを撮影している状態から、ユーザがズーム・パン・チルトのカメラ操作を行うと、制御部２０は、素材画像としてキャラクタ画像Ａ１を再度選択するとともに、このときのズーム・パン・チルトのカメラ操作量に応じて、キャラクタ部分ａ１の合成画像上での位置および大きさを決定する。したがって、このとき、合成画像は、図１２の左上に示すような画像Ｋから、同図の右下に示すような画像Ｌに変更され、変更後の合成画像Ｌも、自然なものとなる。
【０１２１】
（第２の例：図１３および図１４）
メモリカード５７に素材画像として、図１３の左下に示すようなキャラクタ部分ａ５は上半身のみの画像Ａ５が記録されている状態で、同図の左上に示すように、図１１の左上に示したのと同じ画像Ｊが撮影される場合、図１１に示したキャラクタ画像Ａ１のようなキャラクタの足が存在するキャラクタ画像がメモリカード５７に記録されていないために、または撮影状況が図１１の場合と異なるために、素材画像として図１３に示したキャラクタ画像Ａ５が選択されたとする。
【０１２２】
この場合は、キャラクタ部分ａ５が上半身のみであるので、制御部２０では、例えば、そのキャラクタ部分ａ５の下側エッジが合成画像の下側エッジに一致するように、キャラクタ画像Ａ５の合成画像上での位置および大きさが決定される。これによって、合成画像は、図１３の右側に示すような画像Ｒとなり、自然なものとなる。
【０１２３】
この場合も、図１３のように画像Ｊを撮影している状態から、ユーザがズーム・パン・チルトのカメラ操作を行うと、制御部２０は、素材画像としてキャラクタ画像Ａ５を再度選択するとともに、このときのズーム・パン・チルトのカメラ操作量に応じて、キャラクタ部分ａ５の合成画像上での位置および大きさを決定する。したがって、このとき、合成画像は、図１４の左上に示すような画像Ｒから、同図の右下に示すような画像Ｓに変更され、変更後の合成画像Ｓも、自然なものとなる。
【０１２４】
（動画の場合）
動画の撮影の場合にも、上述したように素材画像が選択され、実写画像と合成される。
【０１２５】
さらに、動画の場合には、例えば、実写画像における人や車などの動きに合わせて、素材画像として選択されたキャラクタ画像を合成画像上で動かすことができる。
【０１２６】
この場合、同一のキャラクタ画像を移動させるのではなく、例えば、同一のキャラクタで、動きが変化する複数のキャラクタ画像を記録しておいて、実写画像における人や車などの動きに合わせて、その複数のキャラクタ画像を順次、切り替えて、その時々の実写画像と合成することによって、例えば、イヌのキャラクタが人の後について歩いて行くような動画の合成画像を得ることができる。
【０１２７】
また、このように動きが変化する複数のキャラクタ画像を用意する代わりに、一つのキャラクタ画像をＣＧによって加工または補正することによって、同様の画像合成を実現することもでき、その場合には、記憶部を少容量化・小型化することができる。
【０１２８】
素材画像としてのキャラクタ画像をＣＧによって生成する場合にも、同様の画像合成を容易に実現することができる。
【０１２９】
さらに、動画の場合には、このようなキャラクタ画像の変化に合わせて、効果音やアルファ値を変化させることによって、聴覚的または視覚的に特殊な効果を得ることもできる。
【０１３０】
〔他の実施形態〕
上述した実施形態は、この発明をデジタルスチルカメラに適用した場合であるが、この発明は、デジタルビデオカメラにも適用することができ、さらには、カメラ付きの携帯電話端末や情報端末のカメラ部、または携帯電話端末や情報端末に装着もしくは接続されるカメラ機能モジュールなどの撮像部で撮影された画像に、あらかじめ用意されている画像、またはＣＧにより即時に生成される画像を合成する場合にも適用することができる。
【０１３１】
【発明の効果】
上述したように、この発明によれば、ユーザの操作としては最小限の操作によって、実写画像の撮影時の撮影状況に適した素材画像を選択または生成して、実写画像と合成することができ、より簡単かつ確実に、より高度な演出効果を得ることができ、趣向性およびエンターテインメント性を向上させることができる。
【０１３２】
しかも、選択または生成された素材画像に対応した効果音を発生させる場合には、さらに趣向性およびエンターテインメント性を向上させることができる。
【図面の簡単な説明】
【図１】この発明の画像合成装置の一実施形態を示す図である。
【図２】撮影状況とその解析結果の一例を示す図である。
【図３】素材画像としてのキャラクタ画像の一例を示す図である。
【図４】図３のキャラクタ画像についての属性および効果音の一例を示す図である。
【図５】キャラクタ以外の素材画像の一例の種類と属性を示す図である。
【図６】複数のキャラクタを合成した複合キャラクタ画像の例を示す図である。
【図７】制御部が実行する画像合成処理ルーチンの一例の一部を示す図である。
【図８】制御部が実行する画像合成処理ルーチンの一例の一部を示す図である。
【図９】この発明の画像合成装置の一実施形態の機能ブロック構成を示す図である。
【図１０】この発明の画像合成装置の他の実施形態の機能ブロック構成を示す図である。
【図１１】画像選択および画像合成の具体例を示す図である。
【図１２】画像選択および画像合成の具体例を示す図である。
【図１３】画像選択および画像合成の具体例を示す図である。
【図１４】画像選択および画像合成の具体例を示す図である。
【図１５】特許文献１に記載された撮像装置を示す図である。
【符号の説明】
主要部については図中に全て記述したので、ここでは省略する。
【図１】
2004134950.tif 000003
【図２】
2004134950.tif 000004
【図３】
2004134950.tif 000005
【図４】
2004134950.tif 000006
【図５】
2004134950.tif 000007
【図６】
2004134950.tif 000008
【図７】
2004134950.tif 000009
【図８】
2004134950.tif 000010
【図９】
2004134950.tif 000011
【図１０】
2004134950.tif 000012
【図１１】
2004134950.tif 000013
【図１２】
2004134950.tif 000014
【図１３】
2004134950.tif 000015
【図１４】
2004134950.tif 000016
【図１５】
2004134950.tif 000017