(57)【要約】【課題】撮像した画像に適切な画像を合成するのに好適な撮像装置を提供する。【解決手段】制御部１０は、ＣＧ生成部２０を制御して、記憶部２３に記憶されているキャラクタ情報からＣＧを生成する。制御部１０は、生成されたＣＧを修正するための修正情報を各センサから取得する。制御部１０は、ＣＧ生成部２０を制御して、修正情報に基づいてＣＧを修正する。制御部１０は、画像合成部２１を制御して、修正したＣＧからキャラクタ画像を生成し、撮像画像にキャラクタ画像を合成して合成画像を生成する。【選択図】図１
2010087902.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して得られた撮像画像にキャラクタ画像を合成して合成画像を生成する撮像装置であって、
被写体を撮像して撮像画像を生成する撮像手段と、
三次元の仮想空間上のキャラクタのＣＧを生成するためのＣＧ生成情報を記憶するＣＧ生成情報記憶手段と、
前記ＣＧ生成情報記憶手段に記憶されているキャラクタ情報を読み出し、当該読み出したキャラクタ情報からＣＧを生成するＣＧ生成手段と、
前記ＣＧ生成手段により生成されたＣＧを修正するための修正情報を取得する修正情報取得手段と、
前記修正情報取得手段により取得された修正情報に基づいて、前記ＣＧ生成手段により生成されたＣＧを修正するＣＧ修正手段と、
前記ＣＧ修正手段により修正されたＣＧからキャラクタ画像を生成するキャラクタ画像生成手段と、
前記撮像手段により撮像された撮像画像に前記キャラクタ画像生成手段により生成されたキャラクタ画像を合成して合成画像を生成する合成手段と、
を備える、ことを特徴とする撮像装置。
【請求項２】
前記修正情報取得手段は、
所定の物理量を測定するセンサを備え、
当該センサが測定した物理量を修正情報として取得する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記修正情報取得手段は、
撮像時刻、撮像装置の位置、撮像装置の周囲の温度、撮像装置の周囲の湿度、撮像装置の周囲の照度、撮像装置の周囲の塵の量、撮像装置の周囲の気圧、若しくは、撮像装置の周囲の音の少なくとも１つを測定するセンサを備える、
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記修正情報取得手段は、前記撮像手段が被写体を撮像する際のシャッター速度若しくは絞り値を修正情報として取得する、
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記撮像手段は、人物を被写体として撮像して撮像画像を生成し、
前記撮像手段により撮像された撮像画像から被写体を示す画像部分である被写体画像を抽出する被写体画像抽出手段と、
前記被写体画像抽出手段により抽出された被写体画像に基づいて、被写体の動き若しくは表情を検出する被写体情報検出手段と、をさらに備え、
前記修正情報取得手段は、前記被写体情報検出手段が検出した被写体の動き若しくは表情を修正情報として取得し、
前記ＣＧ修正手段は、前記キャラクタ画像生成手段により生成されるキャラクタ画像により示されるキャラクタの動き若しくは表情が、前記修正情報取得手段により取得された被写体の動き若しくは表情に対応するように、前記ＣＧ生成手段により生成されたＣＧを修正する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記修正情報取得手段は、被写体が移動しているか否かを示す被写体移動情報を修正情報として取得し、
前記ＣＧ修正手段は、前記修正情報取得手段により取得された被写体移動情報に基づいて、被写体が移動していると判別した場合に、前記キャラクタ画像生成手段により生成されるキャラクタ画像により示されるキャラクタが移動するキャラクタとなるように、前記ＣＧ生成手段により生成されたＣＧを修正する、
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記修正情報取得手段は、被写体が撮像領域のどこに位置するかを示す情報と、撮像装置の角速度若しくは加速度を示す情報とを被写体移動情報として取得し、
前記ＣＧ修正手段は、前記修正情報取得手段により取得された被写体移動情報に基づいて、被写体が所定の時間継続して撮像領域の同じ位置にあり、且つ、撮像装置の角速度若しくは加速度が所定の値以上であると判別した場合に、前記キャラクタ画像生成手段により生成されるキャラクタ画像により示されるキャラクタが移動するキャラクタとなるように、前記ＣＧ生成手段により生成されたＣＧを修正する、
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記合成手段が合成した合成画像を表示する表示手段と、
前記合成手段が合成した合成画像を記憶する合成画像記憶手段と、
をさらに備え、
前記ＣＧ修正手段は、前記表示手段に表示される合成画像に合成されるキャラクタ画像と、前記合成画像記憶手段に記憶される合成画像に合成されるキャラクタ画像とが異なるキャラクタ画像となるようにＣＧを修正する、
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記ＣＧ修正手段がどのようにＣＧを修正したかを示す修正履歴を記憶する修正履歴記憶手段、をさらに備え、
前記ＣＧ修正手段は、前記修正履歴記憶手段に記憶された修正履歴に基づいて、ＣＧを修正する、
ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
コンピュータを、被写体を撮像して得られた撮像画像にキャラクタ画像を合成して合成画像を生成する撮像装置として機能させるためのプログラムであって、
当該撮像装置は、
被写体を撮像して撮像画像を生成する撮像手段と、
三次元の仮想空間上のキャラクタのＣＧを生成するためのＣＧ生成情報を記憶するＣＧ生成情報記憶手段と、
を備え、
当該プログラムは、当該コンピュータを、
前記ＣＧ生成情報記憶手段に記憶されているキャラクタ情報を読み出し、当該読み出したキャラクタ情報からＣＧを生成するＣＧ生成手段、
前記ＣＧ生成手段により生成されたＣＧを修正するための修正情報を取得する修正情報取得手段、
前記修正情報取得手段により取得された修正情報に基づいて、前記ＣＧ生成手段により生成されたＣＧを修正するＣＧ修正手段、
前記ＣＧ修正手段により修正されたＣＧからキャラクタ画像を生成するキャラクタ画像生成手段、
前記撮像手段により撮像された撮像画像に前記キャラクタ画像生成手段により生成されたキャラクタ画像を合成して合成画像を生成する合成手段、
として機能させる、ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した画像に適切な画像を合成するのに好適な撮像装置及びこれらをコンピュータにより実現するためのプログラムに関する。
【背景技術】
【０００２】
現在、撮像した画像に対して、キャラクタ画像やフレーム画像などの画像を合成する技術が知られている。ここで、撮像した画像に合成する画像は、ユーザに飽きられないように、バリエーションに富んだものであることが望ましい。かかる要望に応える技術は、例えば、特許文献１に開示されている。
【０００３】
特許文献１に開示された画像表示装置は、撮像画像に対応付けて記録されている撮像場所情報に基づいて、現在の撮像場所の天候や時刻などの情報をネットワーク経由で取得し、取得した情報に基づいて生成した画像を撮像した画像に合成して表示する。特許文献１に開示された画像表示装置がネットワーク経由で取得する情報は、取得する度に異なる情報であることが期待できる。従って、特許文献１に開示された画像表示装置によれば、撮像した画像に様々な画像を合成してユーザに表示することができる。
【０００４】
【特許文献１】特開２００７−２５８９６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された技術は、ネットワーク機能を必要とする技術であり、ネットワーク機能に乏しい撮像装置などに適用することは困難であった。また、ネットワーク機能を利用すると、通信コストが発生したり、通信遅延により処理速度が低下したりするという理由から、画像を合成する機能の利用が躊躇される場合があった。従って、ネットワーク機能を使用せずに、バリエーションに富んだ画像を合成したいという要望が強かった。
【０００６】
本発明は、上記問題に鑑みてなされたものであり、撮像した画像に適切な画像を合成するのに好適な撮像装置及びこれらをコンピュータにより実現するためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の第１の観点に係る撮像装置は、
被写体を撮像して得られた撮像画像にキャラクタ画像を合成して合成画像を生成する撮像装置であって、
被写体を撮像して撮像画像を生成する撮像手段と、
三次元の仮想空間上のキャラクタのＣＧを生成するためのＣＧ生成情報を記憶するＣＧ生成情報記憶手段と、
前記ＣＧ生成情報記憶手段に記憶されているキャラクタ情報を読み出し、当該読み出したキャラクタ情報からＣＧを生成するＣＧ生成手段と、
前記ＣＧ生成手段により生成されたＣＧを修正するための修正情報を取得する修正情報取得手段と、
前記修正情報取得手段により取得された修正情報に基づいて、前記ＣＧ生成手段により生成されたＣＧを修正するＣＧ修正手段と、
前記ＣＧ修正手段により修正されたＣＧからキャラクタ画像を生成するキャラクタ画像生成手段と、
前記撮像手段により撮像された撮像画像に前記キャラクタ画像生成手段により生成されたキャラクタ画像を合成して合成画像を生成する合成手段と、
を備える、ことを特徴とする。
【０００８】
前記修正情報取得手段は、
所定の物理量を測定するセンサを備え、
当該センサが測定した物理量を修正情報として取得してもよい。
【０００９】
前記修正情報取得手段は、
撮像時刻、撮像装置の位置、撮像装置の周囲の温度、撮像装置の周囲の湿度、撮像装置の周囲の照度、撮像装置の周囲の塵の量、撮像装置の周囲の気圧、若しくは、撮像装置の周囲の音の少なくとも１つを測定するセンサを備えてもよい。
【００１０】
前記修正情報取得手段は、前記撮像手段が被写体を撮像する際のシャッター速度若しくは絞り値を修正情報として取得してもよい。
【００１１】
前記撮像手段は、人物を被写体として撮像して撮像画像を生成し、
前記撮像手段により撮像された撮像画像から被写体を示す画像部分である被写体画像を抽出する被写体画像抽出手段と、
前記被写体画像抽出手段により抽出された被写体画像に基づいて、被写体の動き若しくは表情を検出する被写体情報検出手段と、をさらに備え、
前記修正情報取得手段は、前記被写体情報検出手段が検出した被写体の動き若しくは表情を修正情報として取得し、
前記ＣＧ修正手段は、前記キャラクタ画像生成手段により生成されるキャラクタ画像により示されるキャラクタの動き若しくは表情が、前記修正情報取得手段により取得された被写体の動き若しくは表情に対応するように、前記ＣＧ生成手段により生成されたＣＧを修正してもよい。
【００１２】
前記修正情報取得手段は、被写体が移動しているか否かを示す被写体移動情報を修正情報として取得し、
前記ＣＧ修正手段は、前記修正情報取得手段により取得された被写体移動情報に基づいて、被写体が移動していると判別した場合に、前記キャラクタ画像生成手段により生成されるキャラクタ画像により示されるキャラクタが移動するキャラクタとなるように、前記ＣＧ生成手段により生成されたＣＧを修正してもよい。
【００１３】
前記修正情報取得手段は、被写体が撮像領域のどこに位置するかを示す情報と、撮像装置の角速度若しくは加速度を示す情報とを被写体移動情報として取得し、
前記ＣＧ修正手段は、前記修正情報取得手段により取得された被写体移動情報に基づいて、被写体が所定の時間継続して撮像領域の同じ位置にあり、且つ、撮像装置の角速度若しくは加速度が所定の値以上であると判別した場合に、前記キャラクタ画像生成手段により生成されるキャラクタ画像により示されるキャラクタが移動するキャラクタとなるように、前記ＣＧ生成手段により生成されたＣＧを修正してもよい。
【００１４】
前記合成手段が合成した合成画像を表示する表示手段と、
前記合成手段が合成した合成画像を記憶する合成画像記憶手段と、
をさらに備え、
前記ＣＧ修正手段は、前記表示手段に表示される合成画像に合成されるキャラクタ画像と、前記合成画像記憶手段に記憶される合成画像に合成されるキャラクタ画像とが異なるキャラクタ画像となるようにＣＧを修正してもよい。
【００１５】
前記ＣＧ修正手段がどのようにＣＧを修正したかを示す修正履歴を記憶する修正履歴記憶手段、をさらに備え、
前記ＣＧ修正手段は、前記修正履歴記憶手段に記憶された修正履歴に基づいて、ＣＧを修正してもよい。
【００１６】
上記目的を達成するために、本発明のその他の観点に係るプログラムは、
コンピュータを、被写体を撮像して得られた撮像画像にキャラクタ画像を合成して合成画像を生成する撮像装置として機能させるためのプログラムであって、
当該撮像装置は、
被写体を撮像して撮像画像を生成する撮像手段と、
三次元の仮想空間上のキャラクタのＣＧを生成するためのＣＧ生成情報を記憶するＣＧ生成情報記憶手段と、
を備え、
当該プログラムは、当該コンピュータを、
前記ＣＧ生成情報記憶手段に記憶されているキャラクタ情報を読み出し、当該読み出したキャラクタ情報からＣＧを生成するＣＧ生成手段、
前記ＣＧ生成手段により生成されたＣＧを修正するための修正情報を取得する修正情報取得手段、
前記修正情報取得手段により取得された修正情報に基づいて、前記ＣＧ生成手段により生成されたＣＧを修正するＣＧ修正手段、
前記ＣＧ修正手段により修正されたＣＧからキャラクタ画像を生成するキャラクタ画像生成手段、
前記撮像手段により撮像された撮像画像に前記キャラクタ画像生成手段により生成されたキャラクタ画像を合成して合成画像を生成する合成手段、
として機能させる、ことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、撮像した画像に適切な画像を合成するのに好適な撮像装置及びこれらをコンピュータにより実現するためのプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１８】
（第１の実施形態）
以下、図面に基づき、本発明の第１の実施形態に係る撮像装置１００について説明する。
【００１９】
まず、図１を用いて、第１の実施形態に係る撮像装置１００の構成を説明する。撮像装置１００は、被写体を含む空間を撮像して画像を生成し、生成した画像にＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）画像を合成する装置である。なお、撮像装置１００は、デジタルカメラなどにより構成することができる。
【００２０】
撮像装置１００は、制御部１０と、光学系１１と、光学系制御部１２と、光学系駆動部１３と、撮像素子１４と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換器１５と、画像処理部１６と、画像処理メモリ１７と、フラッシュ制御部１８と、フラッシュ発光部１９と、ＣＧ生成部２０と、画像合成部２１と、画像合成メモリ２２と、記憶部２３と、計時部２４と、電源制御部２５と、操作部２６と、表示部２７と、温度センサ３１と、湿度センサ３２と、照度センサ３３と、マイクロホンアレイ３４と、角速度センサ３５と、加速度センサ３６と、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）３７と、気圧センサ３８と、塵センサ３９と、を備える。
【００２１】
制御部１０は、撮像装置１００全体の動作を制御する。制御部１０は、例えば、ＣＰＵ、ＲＯＭ及びＲＡＭなどから構成される。この場合、ＣＰＵがＲＡＭをワークエリアとしてＲＯＭに記憶されているプログラムを実行することにより制御部１０として機能する。
【００２２】
光学系１１は、ズームレンズ、フォーカスレンズ、絞り、シャッターなどから構成される。
【００２３】
光学系制御部１２は、制御部１０や画像処理部１６による制御に従って、光学系駆動部１３を制御する。具体的には、光学系制御部１２は、光学系駆動部１３を制御することにより、光学系１１が備えるズームレンズの位置を調節してズームを合わせるとともに、光学系１１が備えるフォーカスレンズの位置を調節して焦点を合わせる。また、光学系制御部１２は、光学系駆動部１３を制御することにより、光学系１１が備える絞りやシャッターを駆動する。
【００２４】
撮像素子１４は、光学系１１から入射された光を電気信号に変換する素子である。撮像素子１４は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などから構成され、変換した電気信号をアナログ信号として出力する。
【００２５】
Ａ／Ｄ変換器１５は、撮像素子１４から供給されたアナログ信号をディジタル信号に変換して出力する。
【００２６】
画像処理部１６は、Ａ／Ｄ変換器１５から供給されたディジタル信号を処理して、撮像された画像を示す画像データを生成する。具体的には、画像処理部１６は、供給された画像のノイズ除去、配列変換、色変換、認識処理、圧縮処理を実行する。画像処理部１６は、シャッターボタンが押されたときは、比較的高画質の画像を示す大容量の画像データを生成する。一方、画像処理部１６は、スルー画像表示（プレビュー画像表示）をするときは、比較的低画質の画像を示す小容量の画像データを生成する。なお、画像処理部１６は、画像データを生成する際に、画像処理メモリ１７をバッファとして用いる。画像処理部１６は、例えば、ＣＰＵ、ＲＯＭ及びＲＡＭなどから構成される。
【００２７】
画像処理メモリ１７は、画像処理部１６がディジタル信号から画像データを生成するまでに生成される中間データなどを記憶する。画像処理メモリ１７は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などから構成される。
【００２８】
フラッシュ制御部１８は、制御部１０による制御に従って、フラッシュ発光部１９を制御する。フラッシュ発光部１９は、閃光電球などから構成される。
【００２９】
ＣＧ生成部２０は、記憶部２３に記憶されているキャラクタ情報などに基づいて、三次元の仮想空間上のキャラクタのＣＧを生成する。ＣＧ生成部２０は、例えば、ＣＰＵ、ＲＯＭ及びＲＡＭなどから構成される。
【００３０】
画像合成部２１は、画像処理部１６から供給された画像データにより示される画像とＣＧ生成部２０から供給されたＣＧとを合成する。なおＣＧ生成部２０から供給されるＣＧは三次元の仮想空間上のキャラクタのＣＧである。従って、画像合成部２１は、当該ＣＧを、三次元の仮想空間上の所定の点を基準として、三次元の仮想空間上の所定の投影面に投影したときに得られる画像（以下「キャラクタ画像」という。）を抽出し、抽出したキャラクタ画像を画像処理部１６から供給された画像データにより示される画像と合成する。なお、画像合成部２１は、画像を合成する際に、画像合成メモリ２２をバッファとして用いる。画像合成部２１は、例えば、ＣＰＵ、ＲＯＭ及びＲＡＭなどから構成される。
【００３１】
画像合成メモリ２２は、画像合成部２１が画像を合成するまでに生成される中間データなどを記憶する。画像合成メモリ２２は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などから構成される。
【００３２】
記憶部２３は、画像処理部１６が生成した画像データ、画像合成部２１が生成した画像データ、３次元の仮想空間上のキャラクタのＣＧを生成するためのキャラクタ情報などを記憶する。記憶部２３は、フラッシュメモリなどから構成される。
【００３３】
計時部２４は、現在の時刻（年、月、日、時、分、秒など）を取得する。計時部２４は、水晶振動子や発振回路などを備えるＲＴＣ（Ｒｅａｌ  Ｔｉｍｅ  Ｃｌｏｃｋ）などから構成される。
【００３４】
電源制御部２５は、図示しない電源のオン／オフの制御や、充電の制御を実行する。電源制御部２５は、例えば、計時部２４から時刻を取得して、所定の時間継続して操作部２６に操作入力がない場合に、電源をオフにする機能を有する。電源制御部２５は、例えば、ＣＰＵ、ＲＯＭ及びＲＡＭなどから構成される。
【００３５】
操作部２６は、ユーザから各種のキー操作を受け付ける。操作部２６は、シャッターボタン、ズームボタン、カーソルキー、決定ボタン、メニューボタンなどを備える。操作部２６は、ユーザから受け付けた各種のキー操作を示す信号を制御部１０に供給する。一方、制御部１０は、操作部２６からこれらの信号を受信すると、受信した信号に基づいた処理を実行する。
【００３６】
表示部２７は、記憶部２３に記憶されている画像データにより表現される画像などを表示する。表示部２７は、液晶ディスプレイなどから構成される。
【００３７】
温度センサ３１は、撮像装置１００の周囲の気温を測定し、測定した気温を電気信号に変換して制御部１０に供給する。
【００３８】
湿度センサ３２は、撮像装置１００の周囲の湿度を測定し、測定した湿度を電気信号に変換して制御部１０に供給する。
【００３９】
照度センサ３３は、撮像装置１００の周囲の照度を測定し、測定した照度を電気信号に変換して制御部１０に供給する。
【００４０】
マイクロホンアレイ３４は、音声を入力する。また、マイクロホンアレイ３４は、入力された音声を信号処理することにより、音源の方向を推定する。マイクロホンアレイ３４は、入力した音声や、測定した音源の方向を示す情報などを制御部１０に供給する。マイクロホンアレイ３４は、複数のマイクロホンなどから構成される。
【００４１】
角速度センサ３５は、撮像装置１００の角速度、すなわち、撮像装置１００がどのくらいの角速度で回転しているかを測定し、測定した角速度を電気信号に変換して制御部１０に供給する。
【００４２】
加速度センサ３６は、撮像装置１００の加速度、すなわち、撮像装置１００がどのくらいの加速度で加速しているかを測定し、測定した加速度を電気信号に変換して制御部１０に供給する。
【００４３】
ＧＰＳ３７は、複数の人工衛星から受信した電波を解析することにより、撮像装置１００の位置を測定し、測定した位置を示す情報を制御部１０に供給する。
【００４４】
気圧センサ３８は、撮像装置１００の周囲の気圧を測定し、測定した気圧を電気信号に変換して制御部１０に供給する。
【００４５】
塵センサ３９は、撮像装置１００の周囲の塵の量を測定し、測定した塵の量を電気信号に変換して制御部１０に供給する。
【００４６】
次に、図２に示すフローチャートを用いて、撮像装置１００が実行する撮像処理を説明する。なお、本実施形態においては、温度センサにより測定された気温に基づいて、キャラクタ画像を合成する例を示す。撮像装置１００は、電源が投入されると、図２のフローチャートにより示される撮像処理を実行する。また、撮像処理は、シャッターボタンが押されるまでは、スルー表示のために低画質の画像（比較的データ量が少ない画像）とキャラクタ画像とを合成してプレビュー表示し、シャッターボタンが押されたことに応答して、高画質の画像（比較的データ量が多い画像）とキャラクタ画像とを合成して保存する処理である。
【００４７】
以下、理解を容易にするため、「スルー表示のために撮像された低画質の画像」を「スルー画像」、「スルー画像とＣＧとを合成して得られる画像」を「プレビュー画像」、「シャッターボタンが押されたことに応答して撮像された高画質の画像」を「本画像」、「本画像とキャラクタ画像とを合成して得られる画像」を「合成画像」とする。
【００４８】
まず、制御部１０は、スルー画像の表示を開始する（ステップＳ１０１）。具体的には、制御部１０は、画像処理部１６を制御してスルー画像を生成し、生成したスルー画像を表示部２７に表示する処理を開始する。以降、制御部１０は、画像処理部１６から順次供給される画像データを順次表示部２７に供給することによりスルー画像表示を実行する。なお、ステップＳ１０４において、キャラクタが選択された後は、制御部はスルー画像表示に代えてプレビュー画像表示を実行する。
【００４９】
次に、制御部１０は、撮像装置１００周辺の気温を取得する（ステップＳ１０２）。具体的には、制御部１０は、撮像装置１００周辺の気温を示す電気信号を温度センサ３１から取得する。
【００５０】
そして、制御部１０は、キャラクタの選択要求があるか否かを判別する（ステップＳ１０３）。例えば、制御部１０は、キャラクタの選択要求を示す操作入力がユーザから操作部２６になされたか否かを判別することにより、キャラクタの選択要求があるか否かを判別する。なお、キャラクタの選択要求は、ユーザからのものに限られない。例えば、制御部１０は、記憶部２３に記憶されているデータに基づいてキャラクタの選択要求があるか否かを判別したり、温度センサ３１から供給された電気信号に基づいてキャラクタの選択があるか否かを判別したりしてもよい。
【００５１】
制御部１０は、キャラクタの選択要求があると判別すると（ステップＳ１０３：ＹＥＳ）、キャラクタ選択を実行する（ステップＳ１０４）。具体的には、制御部１０は、キャラクタの選択を促す画面を表示部２７に表示し、操作部２６を介してユーザからのキャラクタの選択を受け付ける。本実施形態においては、キャラクタとしてペンギンが選択されたものとして説明する。
【００５２】
次に、制御部１０は、選択したキャラクタのＣＧを取得する（ステップＳ１０５）。具体的には、制御部１０は、三次元の仮想空間上のペンギンのＣＧをＣＧ生成部２０に生成させる。例えば、制御部１０は、ペンギンを示す情報をＣＧ生成部２０に供給する。そして、ＣＧ生成部２０は、記憶部２３に記憶されているキャラクタ情報のうち、三次元の仮想空間上のペンギンのＣＧを生成するためのキャラクタ情報を読み出す。ＣＧ生成部２０は、読み出したキャラクタ情報に基づいて、三次元の仮想空間上のペンギンのＣＧを生成する。
【００５３】
制御部１０は、キャラクタの選択要求がないと判別する（ステップＳ１０３：ＮＯ）、若しくは、選択キャラクタのＣＧの取得（ステップＳ１０５）を完了すると、ＣＧを更新する（ステップＳ１０６）。具体的には、ＣＧ生成部２０は、ステップＳ１０２において取得した気温に基づいて、ＣＧを三次元の仮想空間上で変化させる。例えば、ＣＧ生成部２０は、気温が所定の閾値（例えば、０℃）以上且つ所定の閾値（例えば、２５℃）以下である場合は、生成したペンギンのＣＧを、携帯電話で通話するペンギンのＣＧに変化させ、気温が所定の閾値（例えば、２５℃）を超える場合は、生成したペンギンのＣＧを、汗をハンカチで拭いながらジュースを飲むペンギンのＣＧに変化させる。なお、携帯電話やハンカチやジュース（ジュースの容器）などの三次元の仮想空間上のアイテムを生成するためのアイテム情報は、あらかじめ記憶部２３に記憶しておく。また、アイテム情報の他、ＣＧを変化させるために必要な情報も、あらかじめ記憶部２３に記憶しておく。気温が常温（例えば、０〜２５℃）の場合に生成されるＣＧ（ＣＧ５１Ａ）を図３（Ａ）に、気温が高温（例えば、２５℃を超える）の場合に生成されるＣＧ（ＣＧ５１Ｂ）を図３（Ｂ）に例示する。
【００５４】
次に、制御部１０は、スルー画像とキャラクタ画像とを合成してプレビュー画像を生成する（ステップＳ１０７）。具体的には、制御部１０は、画像合成部２１を制御して、画像処理部１６により生成された画像データにより示されるスルー画像と、ＣＧ生成部２０により生成されたＣＧを変換して得られたキャラクタ画像とを合成し、プレビュー画像を示す画像データを生成する。なお、ＣＧは三次元の仮想空間上のものであるため、スルー画像と合成するのはキャラクタ画像である。
【００５５】
そして、制御部１０は、プレビュー画像を表示する（ステップＳ１０８）。具体的には、制御部１０は、ステップＳ１０８で画像合成部２１に生成させたプレビュー画像を表示部２７に供給することにより、プレビュー画像を表示部２７に表示する。なお、ステップＳ１０４においてキャラクタが選択されるまでは、制御部１０は、プレビュー画像表示の代わりにスルー画像表示を実行する。ここで、図３（Ｃ）〜（Ｅ）を参照して、表示部２７に表示されるプレビュー画像について説明する。
【００５６】
図３（Ｃ）に、スルー画像の一例を示す。図３（Ｃ）に示すように、スルー画像は、被写体画像６１を含む画像であり、背景画像を含む画像である。ここで、ステップＳ１０２において取得した気温が常温である場合は、ＣＧ５１Ａを変換して得られたＣＧ５１Ｃがスルー画像に合成される。すなわち、プレビュー画像は、図３（Ｄ）に示すように、ＣＧ５１Ａを変換して得られたキャラクタ画像５１Ｃをスルー画像に合成して得られる画像となる。一方、ステップＳ１０２において取得した気温が高温である場合は、ＣＧ５１Ｂを変換して得られたＣＧ５１Ｄががスルー画像に合成される。すなわち、プレビュー画像は、図３（Ｅ）に示すように、ＣＧ５１Ｂを変換して得られたキャラクタ画像５１Ｄをスルー画像に合成して得られる画像となる。
【００５７】
次に、制御部１０は、シャッターボタンが押圧されているか否かを判別する（ステップＳ１０９）。具体的には、制御部１０は、操作部２６を監視することにより、ユーザによりシャッターボタンが押されているか否かを判別する。制御部１０は、シャッターボタンが押圧されていないと判別した場合（ステップＳ１０９：ＮＯ）、気温を取得（ステップＳ１０２）に処理を戻す。一方、制御部１０は、シャッターボタンが押圧されていると判別した場合（ステップＳ１０９：ＹＥＳ）、撮像素子１４が取得したデータに基づいて本画像を生成する（ステップＳ１１０）。
【００５８】
具体的には、制御部１０は、画像処理部１６を制御して本画像を生成する。なお、光学系１１は、被写体を精度良く撮像できるように、光学系制御部１２により制御される。また、画像処理部１６は、高画質の本画像を取得するために、スルー画像を生成する場合よりも多くのデータを用いて本画像を表現する。すなわち、スルー画像を表現する画像データよりも、本画像を表現する画像データの方がデータ量が多くなる。
【００５９】
次に、制御部１０は、ＣＧの修正が必要か否かを判別する（ステップＳ１１１）。例えば、制御部１０は、記憶部２３に記憶されている情報に基づいて、ＣＧの修正が必要か否かを判別する。
【００６０】
そして、制御部１０は、ＣＧの修正が必要と判別した場合（ステップＳ１１１：ＹＥＳ）、ＣＧを修正する（ステップＳ１１２）。例えば、制御部１０は、当該撮像設定に対応付けて記憶部２３に記憶されている情報に基づいて、三次元の仮想空間上でＣＧを修正する。
【００６１】
制御部１０は、ＣＧの修正が必要でないと判別した場合（ステップＳ１１１：ＮＯ）、若しくは、ＣＧの修正（ステップＳ１１２）が完了した場合、本画像とキャラクタ画像とを合成して合成画像を生成する（ステップＳ１１３）。具体的には、制御部１０は、画像合成部２１を制御して、画像処理部１６により生成された画像データにより示される本画像と、ＣＧ生成部２０により生成されたＣＧを変換して得られたキャラクタ画像とを合成し、合成画像を示す画像データを生成する。
【００６２】
そして、制御部１０は、合成画像を表示する（ステップＳ１１４）。具体的には、制御部１０は、ステップＳ１１２で画像合成部２１に生成させた合成画像を表示部２７に供給することにより、合成画像を表示部２７に表示する。ここで、図４（Ａ）〜（Ｄ）を参照して、表示部２７に表示される合成画像について説明する。
【００６３】
図４（Ａ）に、本画像の一例を示す。図４（Ａ）に示すように、本画像は、被写体画像６１を含む画像であり、背景画像を含む画像である。なお、本画像は、スルー画像と比較すると高画質な画像である。ここで、ステップＳ１０２において取得した気温が常温であり、フラッシュ設定がオンの場合はキャラクタの目を光らせるようにＣＧを修正する必要があることを示す情報が記憶部２３に記憶されている場合について説明する。なお、記憶部２３は、キャラクタの目を光らせるようにＣＧを修正するための情報をあらかじめ記憶しておく。
【００６４】
ステップＳ１０２において取得した気温は常温である場合、ステップＳ１０６において更新された後のＣＧは、図３（Ａ）に示すＣＧ５１Ａとなる。ここで、ステップＳ１０９においてシャッターボタンが押圧されたときのフラッシュ設定がオフである場合はＣＧの修正はされない。従って、合成画像は、図４（Ｃ）に示すように、ＣＧ５１Ａを変換して得られたキャラクタ画像５１Ｃを本画像に合成して得られる画像となる。一方、ステップＳ１０９においてシャッターボタンが押圧されたときのフラッシュ設定がオンである場合はＣＧの修正がなされる。従って、図４（Ｂ）に示すように、ＣＧ５１Ａの目を光らすように修正されたＣＧ５１Ｅが生成される。そして、合成画像は、図４（Ｄ）に示すように、ＣＧ５１Ｅを変換して得られたキャラクタ画像５１Ｆを本画像に合成して得られる画像となる。
【００６５】
次に、制御部１０は、生成した合成画像を圧縮する（ステップＳ１１５）。上述したように、本画像は高画質な画像であり、本画像を表現する画像データのデータ量も多くなる。従って、本画像とキャラクタ画像とを合成して生成される合成画像も高画質な画像であり、合成画像を表現する画像データのデータ量も多くなる。このため、制御部１０は、合成画像を表現する画像データを圧縮して、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）形式、或いは、ＧＩＦ（Ｇｒａｐｈｉｃ  Ｉｎｔｅｒｃｈａｎｇｅ  Ｆｏｒｍａｔ）形式の画像データを生成する。
【００６６】
そして、制御部１０は、合成画像を保存する（ステップＳ１１６）。具体的には、制御部１０は、ステップＳ１１５において圧縮された画像データを記憶部２３に記憶する。
【００６７】
制御部１０は、合成画像の保存（ステップＳ１１６）を終了すると、気温を取得（ステップＳ１０２）に処理を戻す。以下、制御部１０は、撮像装置１００の電源がオフになるまで、上述した処理を繰り返す。
【００６８】
以上、説明したように、本実施形態にかかる撮像装置１００によれば、気温に応じて撮像した画像に合成するキャラクタ画像の体裁を自動で変化させることができる。また、本実施形態にかかる撮像装置１００によれば、シャッターボタンを押圧した際のフラッシュ設定に応じて、撮像した画像に合成するキャラクタ画像の体裁を自動で変化させることができる。このため、撮像する際の温度若しくは撮像する際のフラッシュ設定の少なくとも一方が変化する度に、異なるキャラクタ画像を撮像した画像に合成することができる。従って、ユーザに飽きられにくい画像を提供することができる。また、本実施形態にかかる撮像装置によれば、三次元の仮想空間上で変化させたＣＧを変換することにより、撮像した画像に合成するキャラクタ画像を生成する。従って、多数のフレーム画像を用意する場合に比べ、記憶するデータ量を少なくすることが可能となる。
【００６９】
（第２の実施形態）
第１の実施形態では、温度センサが取得した気温に基づいて、撮像した画像に合成するキャラクタ画像を変化させた。しかしながら、撮像した画像に合成するＣＧは、気温以外のパラメータに基づいて変化させてもよいし、当該パラメータに基づいて自動で所定のキャラクタ画像を合成するようにしてもよい。以下、本実施形態において、撮像装置１００の角速度に基づいて、撮像した画像に自動でキャラクタ画像を合成する撮像装置１００について説明する。
【００７０】
なお、本実施形態に係る撮像装置１００の構成は、第１の実施形態に係る撮像装置１００の構成と同様であるため説明を省略する。以下、本実施形態に係る撮像装置１００の動作について説明するが、第１の実施形態に係る撮像装置１００と同様の動作については、説明を簡略化又は省略する。
【００７１】
図５に示すフローチャートを用いて、撮像装置１００が実行する撮像処理を説明する。
【００７２】
まず、制御部１０は、スルー画像の表示を開始する（ステップＳ２０１）。
【００７３】
次に、制御部１０は、現在のスルー画像を保存する（ステップＳ２０２）。具体的には、制御部１０は、画像処理部１６を制御してスルー画像を生成し、生成されたスルー画像を記憶部２３に記憶する。
【００７４】
そして、制御部１０は、撮像装置１００の角速度を取得する（ステップＳ２０３）。具体的には、制御部１０は、撮像装置１００の角速度を示す電気信号を角速度センサ３５から取得する。
【００７５】
次に、制御部１０は、キャラクタを未選択であるか否かを判別する（ステップＳ２０４）。制御部１０は、キャラクタを未選択であると判別すると（ステップＳ２０４：ＹＥＳ）、ステップＳ２０２で取得した角速度が所定の値以上であるか否かを判別する（ステップＳ２０５）。制御部１０は、角速度が所定の値以上であると判別すると（ステップＳ２０５：ＹＥＳ）、現在のスルー画像と過去のスルー画像とで近似する画像部分があるか否かを判別する（ステップＳ２０６）。なお過去のスルー画像は、所定の時間（例えば、１０ｍｓｅｃ）前にスルー画像表示されたスルー画像であり、ステップＳ２０２においてあらかじめ記憶部２３に記憶されているものとする。
【００７６】
近似する画像部分があるかないかを判別する方法は任意であるが、例えば、以下のような手法が考えられる。なお、理解を容易にするため、スルー画像は６４０×４８０の画素から構成され、モノクロ表示される画像であるものとして説明する。まず、４×４の画素から構成される１６０×１２０のブロックに、スルー画像を分割する。そして、現在のスルー画像と過去のスルー画像とのそれぞれについて、各ブロックに含まれる画素の輝度の総和をブロック毎に求める。そして、現在の輝度の総和と過去の輝度の総和との差分の絶対値をブロック毎に求める。ここで、絶対値が所定の値以下であるブロックを近似ブロックに設定する。そして、近似ブロックの密度が高い画像部分を検出する。例えば、近似ブロックが縦方向、横方向ともに４つ以上連続する近似ブロック群があるか否かを判別する。近似ブロック群がないと判別した場合は、近似する画像部分がないと判別する。一方、近似ブロック群があると判別した場合は、近似する画像部分があると判別し、当該近似ブロック群を近似する画像部分と設定する。なお、スルー画像がモノクロ表示される画像でなく、ＲＧＢの３色によりカラー表示される画像である場合、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色について、現在の輝度の総和と過去の輝度の総和との差分の絶対値をブロック毎に求める。そして、ブロック毎に、Ｒ（赤）について求めた絶対値と、Ｇ（緑）について求めた絶対値と、Ｂ（青）について求めた絶対値との和を求め、求めた和が所定の値以下であるブロックを近似ブロックに設定すればよい。
【００７７】
ここで、現在のスルー画像と過去のスルー画像とで近似する画像部分は、同じもの（同じ物体、同じ人物など）を表す画像部分であると考えることができる。一方、撮像装置１００の角速度が所定の値以上である場合、撮像装置１００は所定の回転速度以上で回転していると考えることができる。従って、現在のスルー画像と過去のスルー画像とで近似する画像部分がある場合、当該画像部分により表現されるものが被写体（すなわち、撮像者が撮像しているもの）であると考えることができる。また、当該被写体は所定の速度以上で移動しているものと考えることができる。
【００７８】
図６（Ａ）に、過去のスルー画像の一例を示し、図６（Ｂ）に、現在のスルー画像の一例を示す。図６（Ａ）、（Ｂ）に示すように、現在のスルー画像と過去のスルー画像とは共に、撮像領域のほぼ中央に被写体画像６２を含む画像である。このように、過去のスルー画像と現在のスルー画像とで、撮像領域のほぼ同じ位置に同じ被写体画像が含まれている場合、近似する画像部分があると判別される。
【００７９】
制御部１０は、現在のスルー画像と過去のスルー画像とで近似する画像部分があると判別した場合（ステップＳ２０６：ＹＥＳ）、キャラクタを自動で選択する（ステップＳ２０７）。具体的には、制御部１０は、あらかじめ用意されたキャラクタの中から移動するように表示されることが不自然ではないキャラクタを自動で選択する。本実施形態においては、キャラクタとして犬が選択されたものとして説明する。
【００８０】
次に、制御部１０は、選択したキャラクタのＣＧを取得する（ステップＳ２０８）。具体的には、制御部１０は、三次元の仮想空間上の犬のＣＧをＣＧ生成部２０に生成させる。
【００８１】
次に、制御部１０は、ＣＧの動きアルゴリズムを取得する（ステップＳ２０９）。例えば、制御部１０は、ＣＧ生成部２０を制御して、記憶部２３に記憶されている情報などに基づいて三次元の仮想空間上の犬のＣＧを走らせるための動きアルゴリズムを取得する。
【００８２】
制御部１０は、キャラクタを未選択でないと判別する（ステップＳ２０４：ＮＯ）、角速度が所定の値以上でないと判別する（ステップＳ２０５：ＮＯ）、現在のスルー画像と過去のスルー画像とで近似する画像部分がないと判別する（ステップＳ２０６）、若しくは、ＣＧの動きアルゴリズムの取得を完了する（ステップＳ２０９）と、ＣＧを更新する（ステップＳ２１０）。具体的には、制御部１０は、ＣＧ生成部２０を制御して、ステップＳ２０９で取得した動きアルゴリズムに基づいて、三次元の仮想空間上で犬のＣＧが走るように時間経過とともにＣＧを変化させる。
【００８３】
次に、制御部１０は、スルー画像とキャラクタ画像とを合成してプレビュー画像を生成する（ステップＳ２１１）。そして、制御部１０は、プレビュー画像を表示する（ステップＳ２１２）。三次元の仮想空間上の犬のＣＧは、二次元のキャラクタ画像に変換されスルー画像に合成される。すなわち、プレビュー画像は、図６（Ｃ）に示すように、キャラクタ画像５２Ａをスルー画像に合成して得られる画像となる。
【００８４】
次に、制御部１０は、シャッターボタンが押圧されているか否かを判別する（ステップＳ２１３）。制御部１０は、シャッターボタンが押圧されていないと判別した場合（ステップＳ２１３：ＮＯ）、現在のスルー画像を保存（ステップＳ２０２）に処理を戻す。一方、制御部１０は、シャッターボタンが押圧されていると判別した場合（ステップＳ２１３：ＹＥＳ）、撮像素子１４が取得したデータに基づいて本画像を生成する（ステップＳ２１４）。
【００８５】
次に、制御部１０は、ＣＧの修正が必要か否かを判別する（ステップＳ２１５）。そして、制御部１０は、ＣＧの修正が必要と判別した場合（ステップＳ２１５：ＹＥＳ）、ＣＧを修正する（ステップＳ２１６）。
【００８６】
制御部１０は、ＣＧの修正が必要でないと判別した場合（ステップＳ２１５：ＮＯ）、若しくは、ＣＧの修正（ステップＳ２１６）が完了した場合、本画像とキャラクタ画像とを合成して合成画像を生成する（ステップＳ２１７）。
【００８７】
そして、制御部１０は、合成画像を表示する（ステップＳ２１８）。ここで、図７（Ａ）、（Ｂ）を参照して、表示部２７に表示される合成画像について説明する。
【００８８】
スルー画像と本画像とは、画質を除けばほぼ同じ画像である。このため、ステップＳ２１６においてＣＧが修正されない場合、合成画像は図６（Ｃ）に示すプレビュー画像とほぼ同じ画像となる。ここで、ステップＳ２１０においてＣＧが更新されるため、プレビュー画像に合成されるキャラクタ画像５２Ａは時間経過と共に変化する。従って、プレビュー画像表示中は、プレビュー画像上で犬が走っている様子を表現できる。しかしながら、合成画像は静止画であるため、合成するキャラクタ画像を変化させることはできない。従って、本画像に合成するキャラクタ画像を、合成画像上で犬が走っているように見えるように変化させることが望ましい。
【００８９】
例えば、図７（Ａ）に示すように、キャラクタ画像５２Ａに漫画風の飾りを追加したキャラクタ画像５２Ｂを本画像に合成して合成画像とする。或いは、図７（Ｂ）に示すように、躍動感があるように表現された画像であって、ぶれたように表現されたキャラクタ画像５２Ｃを本画像に合成して合成画像とする。
【００９０】
次に、制御部１０は、生成した合成画像を圧縮する（ステップＳ２１９）。そして、制御部１０は、合成画像を保存する（ステップＳ２２０）。
【００９１】
制御部１０は、合成画像の保存（ステップＳ２２０）を終了すると、現在のスルー画像を保存する処理（ステップＳ２０２）に処理を戻す。以下、制御部１０は、撮像装置１００の電源がオフになるまで、上述した処理を繰り返す。
【００９２】
以上、説明したように、本実施形態にかかる撮像装置１００によれば、移動する被写体を検出した場合に、被写体の動きに応じた適切なキャラクタ画像を、撮像した画像に合成することができる。また、プレビュー表示画面においては、時間経過とともにＣＧを更新することにより、プレビュー画像上において動きのあるキャラクタ画像を表示することができる。さらに、躍動感があるように表現されたキャラクタ画像を合成して合成画像を生成する。このため合成画像は、静止画像であるにもかかわらず躍動感が表現された画像となる。
【００９３】
（第３の実施形態）
第２の実施形態では、角速度センサ３５を用いて被写体が移動していることを検出した。しかしながら、被写体が移動していることを検出する手法はこの手法に限られない。以下、本実施形態において、角速度センサ３５を用いずに被写体が移動していることを検出し、移動している被写体が検出された場合に適切なキャラクタ画像を合成することが可能な撮像装置１００について説明する。
【００９４】
なお、本実施形態に係る撮像装置１００の構成は、第１、２の実施形態に係る撮像装置１００の構成と同様であるため説明を省略する。以下、本実施形態に係る撮像装置１００の動作について説明するが、第１、２の実施形態に係る撮像装置１００と同様の動作については、説明を簡略化又は省略する。
【００９５】
図８に示すフローチャートを用いて、撮像装置１００が実行する撮像処理を説明する。
【００９６】
まず、制御部１０は、スルー画像の表示を開始する（ステップＳ３０１）。次に、制御部１０は、現在のスルー画像を保存する（ステップＳ３０２）。
【００９７】
そして、制御部１０は、現在のスルー画像と過去のスルー画像とで大きく異なる画像部分があるか否かを判別する（ステップＳ３０３）。
【００９８】
大きく異なる画像部分があるかないかを判別する方法は任意であるが、例えば、以下のような手法が考えられる。なお、理解を容易にするため、スルー画像は６４０×４８０の画素から構成され、モノクロ表示される画像であるものとして説明する。まず、４×４の画素から構成される１６０×１２０のブロックに、スルー画像を分割する。そして、現在のスルー画像と過去のスルー画像とのそれぞれについて、各ブロックに含まれる画素の輝度の総和をブロック毎に求める。そして、現在の輝度の総和と過去の輝度の総和との差分の絶対値をブロック毎に求める。ここで、絶対値が所定の値以上であるブロックを変化ブロックに設定する。そして、変化ブロックの密度が高い画像部分を検出する。例えば、変化ブロックが縦方向、横方向ともに４つ以上連続する変化ブロック群があるか否かを判別する。変化ブロック群がないと判別した場合は、大きく異なる画像部分がないと判別する。一方、変化ブロック群があると判別した場合は、大きく異なる画像部分があると判別し、当該変化ブロック群を大きく異なる画像部分と設定する。スルー画像がＲＧＢの３色によりカラー表示される画像である場合も同様である。
【００９９】
ここで、現在のスルー画像と過去のスルー画像とで大きく異なる画像部分は、動きのあるもの（移動している物体、走っている人物など）を表す画像部分であると考えることができる。一方、現在のスルー画像と過去のスルー画像とで大きく異ならない画像部分は、動きのないもの（背景など）を表す画像部分であると考えることができる。従って、現在のスルー画像と過去のスルー画像とで大きく異なる画像部分がある場合、当該画像部分により表現されるものが被写体（すなわち、撮像者が撮像しているもの）であると考えることができる。また、当該被写体は所定の速度以上で移動しているものと考えることができる。なお、過去のスルー画像を複数記憶部２３に記憶している場合、現在のスルー画像と複数のスルー画像とのうち、複数の組み合わせにおいてそれぞれ抽出した、大きく異なる画像部分の重心の位置と、これらのスルー画像の取得時刻の関係から被写体がどの方向に移動しているかを判別することができる。
【０１００】
図９（Ａ）に、過去のスルー画像の一例を示し、図９（Ｂ）に、現在のスルー画像の一例を示す。図９（Ａ）、（Ｂ）に示すように、現在のスルー画像と過去のスルー画像とは、撮像領域の異なる位置に被写体画像６２を含む画像である。このとき、図９（Ｂ）において、波線で囲まれた領域である領域９０に含まれる画素の輝度は、現在のスルー画像と過去のスルー画像とで大きく変化すると考えられる。従って、このように、過去のスルー画像と現在のスルー画像とで、撮像領域の異なる位置に被写体画像が含まれている場合、大きく異なる画像部分があると判別される。
【０１０１】
制御部１０は、現在のスルー画像と過去のスルー画像とで大きく異なる画像部分があると判別した場合（ステップＳ３０３：ＹＥＳ）、キャラクタの使用履歴を取得する（ステップＳ３０４）。具体的には、制御部１０は、最後にＣＧを使用したときの使用履歴を示すパラメータを記憶部２３から読み出す。パラメータは、例えば、キャラクタを表示させた位置を示すパラメータ、キャラクタの動作を示すパラメータなどとすることができる。また、パラメータは、ＣＧとして使用したキャラクタを示すパラメータでもよく、キャラクタ毎に上述したパラメータ（キャラクタを表示させた位置を示すパラメータ、キャラクタの動作を示すパラメータ）を用意してもよい。
【０１０２】
次に、制御部１０は、キャラクタを自動で選択する（ステップＳ３０５）。制御部１０は、例えば、ステップＳ３０４において読み出したパラメータに基づいて、最後に使用したキャラクタ以外のキャラクタを選択する。本実施形態においても、キャラクタとして犬が選択されたものとして説明する。
【０１０３】
次に、制御部１０は、選択したキャラクタのＣＧを取得する（ステップＳ３０６）。そして、制御部１０は、ＣＧの動きアルゴリズムを取得する（ステップＳ３０７）。
【０１０４】
制御部１０は、現在のスルー画像と過去のスルー画像とで大きく異なる画像部分がないと判別する（ステップＳ３０３）、若しくは、ＣＧの動きアルゴリズムの取得を完了する（ステップＳ３０７）と、ＣＧを更新する（ステップＳ３０８）。
【０１０５】
次に、制御部１０は、シャッターボタンが押圧されているか否かを判別する（ステップＳ３０９）。制御部１０は、シャッターボタンが押圧されていないと判別した場合（ステップＳ３０９：ＮＯ）、現在のスルー画像を保存（ステップＳ３０２）に処理を戻す。一方、制御部１０は、シャッターボタンが押圧されていると判別した場合（ステップＳ３０９：ＹＥＳ）、撮像素子１４が取得したデータに基づいて本画像を生成する（ステップＳ３１０）。
【０１０６】
次に、制御部１０は、ＣＧの修正が必要か否かを判別する（ステップＳ３１１）。そして、制御部１０は、ＣＧの修正が必要と判別した場合（ステップＳ３１１：ＹＥＳ）、ＣＧを修正する（ステップＳ３１２）。
【０１０７】
制御部１０は、ＣＧの修正が必要でないと判別した場合（ステップＳ３１１：ＮＯ）、若しくは、ＣＧの修正（ステップＳ３１２）が完了した場合、本画像とキャラクタ画像とを合成して合成画像を生成する（ステップＳ３１３）。
【０１０８】
そして、制御部１０は、合成画像を表示する（ステップＳ３１４）。ここで、図１０（Ａ）、（Ｂ）を参照して、表示部２７に表示される合成画像について説明する。
【０１０９】
第１、２の実施形態のように、スルー画像にキャラクタ画像を合成し、プレビュー画像として表示部２７に表示する場合、被写体やキャラクタ画像の位置や大きさによっては、キャラクタ画像が撮像の妨げになる場合がある。従って、本実施形態では、プレビュー画像を表示せずに（スルー画像を表示して）、シャッターボタンが押圧されたときに生成される本画像にのみキャラクタ画像を合成する。また、ステップＳ３０４において取得した使用履歴に基づいて、キャラクタ画像を合成する位置を調整するようにしてもよい。
【０１１０】
例えば、図１０（Ａ）に示すように、被写体６２の進行方向と反対の方向にキャラクタ画像５２Ａを合成することにより、被写体６２を犬が追いかける合成画像を生成することができる。或いは、図１０（Ｂ）に示すように、被写体６２の進行方向にキャラクタ画像５２Ａを合成することにより、犬が被写体６２に追われる合成画像を生成することができる。このように、ユーザに飽きさせない合成画像とするために、被写体に対するキャラクタ画像の位置などを、使用履歴に基づいて、最後にキャラクタ画像を生成した際と異なるように合成することができる。
【０１１１】
次に、制御部１０は、生成した合成画像を圧縮する（ステップＳ３１５）。そして、制御部１０は、合成画像を保存する（ステップＳ３１６）。また、制御部１０は、キャラクタの使用履歴を記憶部２３に保存する（ステップＳ３１７）。
【０１１２】
制御部１０は、キャラクタの使用履歴の保存（ステップＳ３１７）を終了すると、現在のスルー画像を保存する処理（ステップＳ３０２）に処理を戻す。以下、制御部１０は、撮像装置１００の電源がオフになるまで、上述した処理を繰り返す。
【０１１３】
以上、説明したように、本実施形態にかかる撮像装置によれば、シャッターボタンを押圧するまでは、撮像した画像にキャラクタ画像を合成せず、シャッターボタンが押圧されたときに、本画像にキャラクタ画像を合成して合成画像を生成することができる。このため、合成するキャラクタ画像が撮像の妨げになることを防止することができる。また、スルー画像表示の際とは異なる画像が保存されるため、撮像された画像を見る楽しみをユーザに与えることができる。
【０１１４】
また、本実施形態にかかる撮像装置によれば、キャラクタの使用履歴に基づいて、キャラクタの選択、キャラクタ画像の配置位置などを切り換えることができる。従って、様々なバリエーションの合成画像が毎回生成されることにより、ユーザに飽きられにくい合成画像を提供することが可能となる。
【０１１５】
（変形例）
本発明は、上記第１〜３の実施形態において示したものに限定されず、様々な変形が可能である。
【０１１６】
例えば、温度センサ３１を用いて取得した気温に基づいて、撮像した画像に、様々なキャラクタ画像を合成することができる。例えば、常温の場合、図１１（Ａ）に示すように、平常を装ったキャラクタ画像５３Ａが合成された合成画像やプレビュー画像を生成する。例えば、低温の場合、図１１（Ｂ）に示すように、時間経過と共に合成される位置を少しずらしてキャラクタ画像５３Ｂを合成することにより、寒さで震えるキャラクタを表現するプレビュー画像を生成する。一方、本画像に合成するキャラクタ画像は時間経過と共に配置する位置を変化させることはできないため、低温の場合、図１１（Ｃ）に示すように、キャラクタ画像５３Ｃを合成することにより、漫画風に寒さで震えるキャラクタを表現する合成画像を生成する。また、例えば、気温が高いときに、汗をかくキャラクタ、暑がるキャラクタを、撮像した画像に合成してもよい。
【０１１７】
また、湿度センサ３２を用いて取得した湿度に基づいて、撮像した画像に、様々なキャラクタ画像を合成することができる。例えば、低湿度の場合、図１２（Ａ）に示すように、骨を持ったキャラクタ画像５４Ａが合成された合成画像を生成する。そして、例えば、高湿度の場合、図１２（Ｂ）に示すように、傘を持ったキャラクタ画像５４Ｂが合成された合成画像を生成する。また、湿度が高いときに、レインコートを着るキャラクタを、撮像した画像に合成してもよい。
【０１１８】
また、照度センサ３３を用いて取得した照度に基づいて、撮像した画像に、様々なキャラクタ画像を合成することができる。例えば、照度が低い場合（曇りの場合）、図１２（Ｃ）に示すように、普通の表情をしたキャラクタ画像５５Ａが合成された合成画像を生成する。そして、例えば、照度が高い場合（晴れの場合）、図１２（Ｄ）に示すように、笑った表情をしたキャラクタ画像５５Ｂが合成された合成画像を生成する。また、照度が高いときに、目を細めるキャラクタ、照度が低いときに暗がりに目だけ写るキャラクタを、撮像した画像に合成しても良い。
【０１１９】
また、塵センサ３９を用いて取得した塵の量に基づいて、撮像した画像に、様々なキャラクタ画像を合成することができる。例えば、塵の量が少ない場合、図１３（Ａ）に示すように、普通の表情をしたキャラクタ画像５６Ａが合成された合成画像を生成する。そして、例えば、塵の量が多い場合、図１３（Ｂ）に示すように、目をこするキャラクタ画像５６Ｂが合成された合成画像を生成する。
【０１２０】
また、マイクロホンアレイ３４を用いて取得した音の内容（方向、音量、波長など）に基づいて、撮像した画像に、様々なキャラクタ画像を合成することができる。例えば、「はい、チーズ」のような掛け声があった場合、図１３（Ｃ）に示すように、撮像装置１００側の方向を向いたキャラクタ画像５７Ａが合成された合成画像を生成する。そして、例えば、撮像者からみて撮像装置１００の左側の方向から大きな音がした場合、図１３（Ｄ）に示すように、撮像領域の左側の方向を向くキャラクタ画像５７Ｂが合成された合成画像を生成する。また、音源の方向に応じて見る方向が変化するキャラクタ、音声を認識して笑うキャラクタ、音声を認識してポーズをとるキャラクタを、撮像した画像に合成してもよい。
【０１２１】
また、計時部２４を用いて取得した時刻に基づいて、撮像した画像に、様々なキャラクタ画像を合成することができる。例えば、昼間の場合、図１４（Ａ）に示すように、普通の表情をしたキャラクタ画像５６Ａが合成された合成画像を生成する。そして、例えば、夜間の場合、図１４（Ｂ）に示すように、眠くて目をこするキャラクタ画像５６Ｃが合成された合成画像を生成する。
【０１２２】
また、ＧＰＳ３７を用いて取得した位置に基づいて、撮像した画像に、地域性のある服装（和装、洋装など）をするキャラクタを合成しても良い。なお、気圧センサ３８を用いて取得した気圧に基づいて、撮像した画像に、気圧により予測できる状況（標高、気温、天候）に合わせた服装をするキャラクタを合成しても良い。
【０１２３】
上記実施形態や上記変形例では、主に、撮像装置に、撮像機能を実現するための構成とは別に設けられたセンサの出力を用いて、キャラクタ画像を変化させる例について説明した。しかしながら、撮像装置にセンサを設けることなく、従来の撮像装置が備える機能を利用して、キャラクタ画像を変化させることもできる。
【０１２４】
例えば、シャッター速度、絞り値などの露光設定に基づいて、キャラクタ画像を変化させることができる。ここで、制御部１０は、被写体の明るさなどに基づいて定めたシャッター速度に基づいて、光学系駆動部１３を制御することにより、光学系１１が備えるシャッターを開閉する。また、制御部１０は、被写体の明るさなどに基づいて定めた絞り値に基づいて、光学系駆動部１３を制御することにより、光学系１１が備える絞りを制御する。従って、撮像装置は特別なセンサなどを具備せずとも、シャッター速度や絞り値などの露光設定を容易に取得することができる。
【０１２５】
また、年月日や時分秒などを取得する計時部２４は、従来の撮像装置に具備されている場合も多い。ここで、年月日を取得することができれば、季節や行事や曜日を取得することができる。従って、季節や行事や曜日に合わせた服装や表情のキャラクタ画像を生成することができる。また、時分秒を取得することができれば、上述したように昼か夜かを判別することができるほか、食事の時間帯であるか、あるいは、出勤中の時間帯であるかなどを判別することができる。従って、これらの時間帯に合わせた服装や表情のキャラクタ画像を生成することができる。
【０１２６】
また、撮像装置は、上述したような照度センサ３３を備えていなくとも、撮像装置の周辺の明るさを取得することができる。例えば、所定の絞り値におけるスルー画像を構成する全ての画素の輝度の平均値を撮像装置１００の周辺の明るさとすることができる。
【０１２７】
また、シャッターボタンが押圧されたときの撮像設定によって、撮像した画像に、様々なキャラクタ画像を合成する例について説明する。
例えば、絞り値などの露光設定に基づいて、様々なキャラクタ画像を合成することができる。例えば、絞り値が大きい場合、図１５（Ａ）に示すように、普通のキャラクタ画像５８Ａが合成された合成画像を生成する。そして、例えば、絞り値が小さい場合、図１５（Ｂ）に示すように、一部がピントがずれてぼけたキャラクタ画像５８Ｂが合成された合成画像を生成する。
【０１２８】
また、シャッター速度に基づいて、撮像した画像に、様々なキャラクタ画像を合成することができる。例えば、シャッター速度が速い場合、図１５（Ｃ）に示すように、普通のキャラクタ画像５２Ａが合成された合成画像を生成する。そして、例えば、シャッター速度が遅い場合、図１５（Ｄ）に示すように、撮像が失敗してぶれたキャラクタ画像５２Ｄが合成された合成画像を生成する。
【０１２９】
また、シャッターボタンが押圧されたときのプレビュー画像を分析することによって、撮像した画像に、様々なキャラクタ画像を合成することができる。
例えば、被写体の表情に基づいて、撮像した画像に、様々なキャラクタ画像を合成することができる。例えば、被写体の表情が普通の場合、図１６（Ａ）に示すように、普通の表情のキャラクタ画像５５Ａが合成された合成画像を生成する。そして、例えば、被写体の表情が笑顔の場合、図１６（Ｂ）に示すように、笑顔の表情のキャラクタ画像５５Ｃが合成された合成画像を生成する。このように、被写体の表情に基づいて、合成するキャラクタの表情（笑う、泣く、まじめな表情）を変化させてもよい。また、被写体の動きに基づいて、合成するキャラクタの動き（追いかける、逃げる、ポーズする、逆方向に動く）を変化させてよい。さらに、背景の色合いに合わせて、キャラクタの服装を背景の色に合わせたり、キャラクタを変更してもよい。
【０１３０】
また、フラッシュ設定がある場合に、目が光るキャラクタではなく、目をつぶるキャラクタ、赤目のキャラクタを合成してもよい。
【０１３１】
なお、撮像装置１００が移動していることを検出するために、角速度センサ３５ではなく加速度センサ３６を用いても良い。
【０１３２】
上記実施形態では、撮像装置１００が静止画像を撮像する場合について、説明したが、動画像を撮像する場合にも本発明を適用することができる。
【０１３３】
上記実施形態では、キャラクタは、動物のキャラクタである。しかしながら、キャラクタは、動物に限られず、物品や文字など、画像と認識できるものであれば何でも良い。
【０１３４】
さらに、本発明は、上述した構成例やフローチャートに示される手順に限定されないことは勿論である。
【０１３５】
上記実施形態では、プログラムが、記憶装置に予め記憶されているものとして説明した。しかし、撮像装置を、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、ＭＯ（Ｍａｇｎｅｔｏ  Ｏｐｔｉｃａｌ  Ｄｉｓｋ）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。
【０１３６】
さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等してプログラムを実行してもよい。
【図面の簡単な説明】
【０１３７】
【図１】本発明の第１〜３の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】第１の実施形態に係る撮像装置が実行する撮像処理の一例を示すフローチャートである。
【図３】（Ａ）〜（Ｅ）は、プレビュー画像を説明するための図である。
【図４】（Ａ）〜（Ｄ）は、合成画像を説明するための図である。
【図５】第２の実施形態に係る撮像装置が実行する撮像処理の一例を示すフローチャートである。
【図６】（Ａ）〜（Ｃ）は、プレビュー画像を説明するための図である。
【図７】（Ａ）、（Ｂ）は、合成画像を説明するための図である。
【図８】第３の実施形態に係る撮像装置が実行する撮像処理の一例を示すフローチャートである。
【図９】（Ａ）、（Ｂ）は、スルー画像を説明するための図である。
【図１０】（Ａ）、（Ｂ）は、合成画像を説明するための図である。
【図１１】（Ａ）、（Ｃ）は、合成画像を説明するための図である。（Ｂ）は、プレビュー画像を説明するための図である。
【図１２】（Ａ）〜（Ｄ）は、合成画像を説明するための図である。
【図１３】（Ａ）〜（Ｄ）は、合成画像を説明するための図である。
【図１４】（Ａ）、（Ｂ）は、合成画像を説明するための図である。
【図１５】（Ａ）〜（Ｄ）は、合成画像を説明するための図である。
【図１６】（Ａ）、（Ｂ）は、合成画像を説明するための図である。
【符号の説明】
【０１３８】
１０・・・制御部、１１・・・光学系、１２・・・光学系制御部、１３・・・光学系駆動部、１４・・・撮像素子、１５・・・Ａ／Ｄ変換器、１６・・・画像処理部、１７・・・画像処理メモリ、１８・・・フラッシュ制御部、１９・・・フラッシュ発光部、２０・・・ＣＧ生成部、２１・・・画像合成部、２２・・・画像合成メモリ、２３・・・記憶部、２４・・・計時部、２５・・・電源制御部、２６・・・操作部、２７・・・表示部、３１・・・温度センサ、３２・・・湿度センサ、３３・・・照度センサ、３４・・・マイクロホンアレイ、３５・・・角速度センサ、３６・・・加速度センサ、３７・・・ＧＰＳ、３８・・・気圧センサ、３９・・・塵センサ
【図１】
2010087902.tif 000003
【図２】
2010087902.tif 000004
【図５】
2010087902.tif 000005
【図８】
2010087902.tif 000006
【図３】
2010087902.tif 000007
【図４】
2010087902.tif 000008
【図６】
2010087902.tif 000009
【図７】
2010087902.tif 000010
【図９】
2010087902.tif 000011
【図１０】
2010087902.tif 000012
【図１１】
2010087902.tif 000013
【図１２】
2010087902.tif 000014
【図１３】
2010087902.tif 000015
【図１４】
2010087902.tif 000016
【図１５】
2010087902.tif 000017
【図１６】
2010087902.tif 000018