(57)【要約】      （修正有）【課題】動画にアニメーション効果を合成する場合に、パンニングやズーミングがある場合でも、不自然なアニメーション効果になることを防止する画像処理装置を提供する。【解決手段】ユーザが指定した動きの現フレームでの画像オブジェクト合成位置に、前フレームと現フレームのパンニングやズーミングによる動き量を加算した合成位置を算出し、合成する。それにより合成位置がパンニングやズーミングに追従することで自然な合成となる。【選択図】図１
2016010078.tif 000002
【特許請求の範囲】
【請求項１】
合成する合成オブジェクトを複数記憶している記憶手段と、画像処理装置の傾きを検出する傾斜検出手段と、動画の前後２枚のフレームを相関演算し、フレーム間の移動量を算出するフレーム間移動量算出手段と、前記傾斜検出手段での検出結果より得られる重力方向と、前記フレーム間移動量とに基づいて、動画に合成する合成オブジェクトの動きを算出する合成オブジェクト軌跡算出手段と、前記合成オブジェクト軌跡算出手段により算出した軌跡に従って合成オブジェクトを動画に合成する合成手段と、を備えることを特徴とする画像処理装置。
【請求項２】
請求項１の画像処理装置の動きの速度を検出する動作速度検出手段と、前記動作速度検出手段により検出した前記画像処理装置の移動速度により、前記軌跡の合成オブジェクトの移動速度パラメータを調節する合成オブジェクト移動速度調整手段と、を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
請求項１の画像処理装置の動きの速度を検出する動作速度検出手段と、前記動作速度検出手段により検出した前記画像処理装置の移動速度により、前記軌跡に合成オブジェクトの量を調節する合成量調整手段と、を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
所定領域が前記第２の合成オブジェクト軌跡上にあった場合に迂回、もしくは所定領域を通過するまでは合成しないように判断する所定領域回避手段、を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記所定領域回避手段において、顔検出手段により検出した顔の範囲を所定領域とすることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
動画の前後２枚のフレームを相関演算し、フレーム間のズーミング量を算出するズーミング量算出手段と、前記ズーミング量に伴い合成オブジェクトをデフォルトサイズからリサイズする合成オブジェクトリサイズ手段と、を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記合成オブジェクト軌跡算出手段により算出した軌跡を表示装置のVRAMサイズの座標系に変換し、合成オブジェクトを重畳もしくは合成して表示部にプレビューを再生するプレビュー手段と、を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記前記合成オブジェクト軌跡算出手段により算出した軌跡を１種類以上記憶する軌跡記憶手段と、ユーザの合成実行操作により前記軌跡記憶手段により記憶した前記第２の合成オブジェクト軌跡を選択し、動画に合成する記憶軌跡合成手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
動画の前後２枚のフレームを相関演算し、フレーム間の移動量を算出するフレーム間移動量算出手段と、動画の撮影情報に記載されている天地方向により得られる重力方向と、前記フレーム間移動量とに基づいて、動画に合成する合成オブジェクトの動きを算出する合成オブジェクト軌跡算出手段と、前記合成オブジェクト軌跡算出手段により算出した軌跡に従って合成オブジェクトを動画に合成する合成手段と、を備えることを特徴とする画像処理装置。
【請求項１０】
合成する合成オブジェクトを複数記憶している記憶手段と、表示部の画面の接触を認識し、合成オブジェクトを合成する軌跡を入力する軌跡入力手段と、動画の前後２枚のフレームを相関演算し、フレーム間の移動量を算出するフレーム間移動量算出手段と、前記軌跡入力手段で得られる軌跡と、前記フレーム間移動量とに基づいて、動画に合成する合成オブジェクトの動きを算出する合成オブジェクト軌跡算出手段と、前記合成オブジェクト軌跡算出手段により算出した軌跡に従って合成オブジェクトを動画に合成する合成手段と、を備えることを特徴とする画像処理装置。
【請求項１１】
合成する合成オブジェクトを複数記憶している記憶手段と、画像処理装置の傾きを検出する傾斜検出手段と、動画の前後２枚のフレームを相関演算し、フレーム間の移動量を算出するフレーム間移動量算出手段と、予め決めた所定の期間、前記傾斜検出手段での検出結果より得られる重力方向から表示部の画面上の座標として算出する座標算出手段と、前記座標を表示部に表示する座標表示手段と、前記座標と、前記フレーム間移動量とに基づいて、動画に合成する合成オブジェクトの動きを算出する合成オブジェクト軌跡算出手段と、
前記合成オブジェクト軌跡算出手段により算出した軌跡に従って合成オブジェクトを動画に合成する合成手段と、を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画に画像オブジェクトを合成する画像処理装置およびその制御方法に関する。
【背景技術】
【０００２】
カメラやビデオカメラで撮影した動画に画像オブジェクトを合成してアニメーション効果を付ける技術は従来からあるが、指定された合成オブジェクトの動き量に、フレーム間の動き量を加算した位置に画像オブジェクトを合成して、動画のパンニングやズーミングに追従する自然なアニメーション効果を付ける技術はなかった。
【０００３】
特許文献１には、合成する画像オブジェクトの動きの指定のためタッチパネルをなぞらせたり、装置を動かしてジャイロセンサー等で動きを検出したりアニメーションを定義する技術が開示されている。
【０００４】
特許文献２には、カメラの傾きを検出してそれに応じて画像の合成の速度を決める技術が開示されている。
【０００５】
特許文献３には、合成オブジェクトの表示位置を地球に固定（すなわち、スルー画像に対して固定位置）するためにジャイロセンサー等でカメラの傾き検出するか、前後のフレーム画像を比較して動き量を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2002-223389号公報
【特許文献２】特開2010-009575号公報
【特許文献３】特開2001-243012号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１の技術では、パンニングやズーミングにより画面が変化する動画では、単純にユーザが指定した動きのみで画像オブジェクトを合成した場合に、動画のパンニングやズーミングに追従しないため、不自然なアニメーション効果になってしまう。
【０００８】
また、特許文献２の技術では、パンニングやズーミング等、画像自体の動きに応じた処理は考慮されていない。
【０００９】
また、特許文献３の技術では、固定位置で表示するための技術のため合成オブジェクトを動かすための処理は考慮されていない。
【課題を解決するための手段】
【００１０】
請求項１の画像処理装置の構成は、合成する合成オブジェクトを複数記憶している記憶手段と、画像処理装置の傾きを検出する傾斜検出手段と、動画の前後２枚のフレームを相関演算し、フレーム間の移動量を算出するフレーム間移動量算出手段と、前記傾斜検出手段での検出結果より得られる重力方向と、前記フレーム間移動量とに基づいて、動画に合成する合成オブジェクトの動きを算出する合成オブジェクト軌跡算出手段と、前記合成オブジェクト軌跡算出手段により算出した軌跡に従って合成オブジェクトを動画に合成する合成手段と、を備えることを特徴とする。
【００１１】
請求項１の画像処理装置の動きの速度を検出する動作速度検出手段と、前記動作速度検出手段により検出した前記画像処理装置の移動速度により、前記軌跡の合成オブジェクトの移動速度パラメータを調節する合成オブジェクト移動速度調整手段と、を備えることを特徴とする。
【００１２】
請求項１の画像処理装置の動きの速度を検出する動作速度検出手段と、前記動作速度検出手段により検出した前記画像処理装置の移動速度により、前記軌跡に合成オブジェクトの量を調節する合成量調整手段と、を備えることを特徴とする。
【００１３】
所定領域が前記第２の合成オブジェクト軌跡上にあった場合に迂回、もしくは所定領域を通過するまでは合成しないように判断する所定領域回避手段、を備えることを特徴とする。
【００１４】
前記所定領域回避手段において、顔検出手段により検出した顔の範囲を所定領域とすることを特徴とする。
【００１５】
動画の前後２枚のフレームを相関演算し、フレーム間のズーミング量を算出するズーミング量算出手段と、前記ズーミング量に伴い合成オブジェクトをデフォルトサイズからリサイズする合成オブジェクトリサイズ手段と、を備えることを特徴とする。
【００１６】
前記合成オブジェクト軌跡算出手段により算出した軌跡を表示装置のVRAMサイズの座標系に変換し、合成オブジェクトを重畳もしくは合成して表示部にプレビューを再生するプレビュー手段と、を備えることを特徴とする。
【００１７】
前記合成オブジェクト軌跡算出手段により算出した軌跡を１種類以上記憶する軌跡記憶手段と、ユーザの合成実行操作により前記軌跡記憶手段により記憶した前記第２の合成オブジェクト軌跡を選択し、動画に合成する記憶軌跡合成手段を備えることを特徴とする。
【００１８】
請求項９の画像処理装置の構成は、動画の前後２枚のフレームを相関演算し、フレーム間の移動量を算出するフレーム間移動量算出手段と、動画の撮影情報に記載されている天地方向により得られる重力方向と、前記フレーム間移動量とに基づいて、動画に合成する合成オブジェクトの動きを算出する合成オブジェクト軌跡算出手段と、前記合成オブジェクト軌跡算出手段により算出した軌跡に従って合成オブジェクトを動画に合成する合成手段と、を備えることを特徴とする。
【００１９】
請求項１０の画像処理装置の構成は、合成する合成オブジェクトを複数記憶している記憶手段と、表示部の画面の接触を認識し、合成オブジェクトを合成する軌跡を入力する軌跡入力手段と、動画の前後２枚のフレームを相関演算し、フレーム間の移動量を算出するフレーム間移動量算出手段と、前記軌跡入力手段で得られる軌跡と、前記フレーム間移動量とに基づいて、動画に合成する合成オブジェクトの動きを算出する合成オブジェクト軌跡算出手段と、前記合成オブジェクト軌跡算出手段により算出した軌跡に従って合成オブジェクトを動画に合成する合成手段と、を備えることを特徴とする。
【００２０】
請求項１１の画像処理装置の構成は、合成する合成オブジェクトを複数記憶している記憶手段と、画像処理装置の傾きを検出する傾斜検出手段と、動画の前後２枚のフレームを相関演算し、フレーム間の移動量を算出するフレーム間移動量算出手段と、予め決めた所定の期間、前記傾斜検出手段での検出結果より得られる重力方向から表示部の画面上の座標として算出する座標算出手段と、前記座標を表示部に表示する座標表示手段と、前記座標と、前記フレーム間移動量とに基づいて、動画に合成する合成オブジェクトの動きを算出する合成オブジェクト軌跡算出手段と、
前記合成オブジェクト軌跡算出手段により算出した軌跡に従って合成オブジェクトを動画に合成する合成手段と、を備えることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、ユーザが指定した動きの現フレームでの画像オブジェクト合成位置に、前フレームと現フレームのパンニングやズーミングによる動き量を加算した合成位置を算出し、合成する。それにより合成位置がパンニングやズーミングに追従することで自然な合成となる。
【図面の簡単な説明】
【００２２】
【図１】ハードウェア構成図
【図２】実施例１のフローチャート
【図３】移動画素パラメータの説明図
【図４】画像オブジェクトパラメータの説明図
【図５】実施例１の画面の説明図
【図６】実施例２のフローチャート
【図７】実施例３のフローチャート
【図８】実施例４のフローチャート
【図９】実施例４の画面の説明図
【発明を実施するための形態】
【００２３】
図１〜図１０を参照して、本発明の各実施例の動作を説明する。図１は、本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。図１において、１０３はフォーカスレンズを含む撮影レンズ、１０１は絞り機能を備えるシャッター、２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である。２３はＡ／Ｄ変換器であり、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。
【００２４】
１０２はバリアであり、デジタルカメラ１００の、撮影レンズ１０３を含む撮像部を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。
【００２５】
２４は画像処理部であり、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００２６】
Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００２７】
また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。１３はＤ／Ａ変換器であり、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。
【００２８】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００２９】
５０はシステム制御部であり、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。
【００３０】
モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。
【００３１】
第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。
【００３２】
第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００３３】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００３４】
コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラホイール７３が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。
【００３５】
例えば、ユーザの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。
【００３６】
８０は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
【００３７】
３０は電源部であり、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。１８はメモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、メモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００３８】
１０８は傾斜検出部であり、ジャイロセンサー等からなりデジタルカメラ１００の傾きを検出する。１０９は動作速度検出部であり、ジャイロセンサー等からなりデジタルカメラ１００の動いた速度を検出する。
【００３９】
上述したデジタルカメラ１００では中央１点ＡＦや顔ＡＦを用いた撮影が可能である。中央１点ＡＦとは撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行うことである。
【００４０】
顔検出機能について説明する。システム制御部５０は顔検出対象の画像データを画像処理部２４に送る。画像処理部２４内部の顔検出部２０１は、当該画像データに水平方向バンドパスフィルタを作用させる。また、顔検出部２０１は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。
【００４１】
その後、顔検出部２０１は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、顔検出部２０１は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、顔検出部２０１は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。顔検出部２０１は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、システム制御部５０は画像処理部２４から渡された顔の数などの特徴量をシステムメモリ５２に記憶する。
【００４２】
以上のようにライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施例では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。
【００４３】
なお、顔ＡＦと同時に顔ＡＥ，顔ＦＥ、顔ＷＢを行うことができる。顔ＡＥとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔ＦＥとは検出された顔を中心にフラッシュの調光をすることである。顔ＷＢとは、検出された顔の色に合わせて画面全体のＷＢを最適化することである。
【００４４】
なお操作部７０の一つとして、表示部２８に対する接触を検知可能なタッチパネルを有する。システム制御部５０はタッチパネルへの以下の操作を検出できる。タッチパネルを指やペンで触れたこと（以下、タッチダウンと称する）。タッチパネルを指やペンで触れている状態であること（以下、タッチオンと証する）。タッチパネルを指やペンで触れたまま移動していること（以下、ムーブと称する）。タッチパネルへ触れていた指やペンを離したこと（以下、タッチアップと称する）。タッチパネルに何も触れていない状態（以下、タッチオフと称する）。
【００４５】
これらの操作や、タッチパネル上に指やペンが触れている位置座標は内部バスを通じてシステム制御部５０に通知され、システム制御部５０は通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。ムーブについてはタッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。またタッチパネル上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。
【００４６】
フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。
【００４７】
以下、図２〜図１０を参照して、本発明の各実施例の動作を説明する。
【００４８】
＜実施例１＞
実施例１では、ジャイロセンサーでカメラの傾きを検出した結果を元に重力方向の画像オブジェクトパラメータを算出し、動画に画像オブジェクトを合成する例を述べる。
【００４９】
図２は実施例１のフローチャートである。このフローチャートおける各処理は、システム制御部５０が不揮発性メモリ５６に格納されたプログラムをメモリ３２に展開して実行することにより実現される。
【００５０】
図２〜図５を用いて実施例１を説明する。S１００では、ユーザは表示された動画のうち、所望の編集する動画を選択する（図３(a)）。S１０１では、システム制御部は編集動画の決定ボタンが押下されたか否かを判定する。押下された場合はS１０２へ進み、押下されない場合はS１００へ進む。
【００５１】
S１０２では、ユーザは表示された画像オブジェクトのうち、所望の合成する画像オブジェクトを選択する（図３(b)）。S１０３では、システム制御部は合成オブジェクトの決定ボタンが押下されたか否かを判定する。押下された場合はS１０４、S１０８の並列処理へ進み、押下されない場合はS１０２へ進む。
【００５２】
S１０５〜S１１７は合成オブジェクトパラメータの確定処理中に更新されるパラメータを参照してプレビュー表示するための処理である。そのため、プレビュー表示処理は合成オブジェクトパラメータの確定処理（S１１８〜S１４０）と並列処理される。確定する合成オブジェクトとは、合成オブジェクトの個数、X軸方向の移動画素、Y軸方向の移動画素、各合成オブジェクトの幅、高さである（図４）。
【００５３】
S１０５では、画像処理部２４は動画のストリームをデコードする。S１０６で画像処理部２４はフレームをVRAMサイズにリサイズする。VRAMとはビデオメモリのことである。S１０７では、画像処理部２４はデコードした前フレームと現フレーム全体を相関演算し2フレーム間の移動量を算出する。S１０８で画像処理部２４はデコードした前フレームと現フレーム全体を相関演算し2フレーム間のズーミング量を算出する。S１０９では、画像処理部２４はVRAMサイズ用の画像オブジェクトサイズと算出したズーミング量から比例計算したサイズに合成オブジェクトをリサイズする。
【００５４】
S１１０では、画像処理部２４はVRAMサイズの現フレームから顔検出して、顔の個数、位置及びサイズをシステム制御部５０へ通知する。S１１２では、システム制御部５０はVRAMサイズ用の現フレームの合成位置にフレーム間の移動量を加算した合成位置を算出する。S１１３では、システム制御部５０は合成オブジェクトの合成位置が顔の範囲内か否かを判定する。顔の範囲内の場合（S１１３  YES）はS１１５へ進み、顔の範囲外の場合（S１１３  NO）はS１１４へ進む。
【００５５】
S１１４では、画像処理部２４はVRAMに合成オブジェクトを合成位置に合成する。S１１５では、システム制御部５０は合成オブジェクトの個数分処理が完了したか否かを判定する。合成オブジェクトの個数分処理が完了した場合はS１３４へ進み、完了していない場合は繰り返し処理のためにS１１２へ進む。
【００５６】
S１１６では、システム制御部５０は作成したVRAMを表示部に表示するよう制御する。S１１７では、システム制御部５０は全ての合成オブジェクトパラメータが確定した否かを判定する。全ての合成オブジェクトパラメータが確定した場合はS１４２へ進み、確定していない場合はS１０５へ進む。
【００５７】
S１１８〜S１４０はプレビュー表示と並列処理する合成オブジェクトパラメータの確定処理である。S１１８では、ユーザはデジタルカメラ１００を傾けて重力方向を選択し、傾斜検出部１０８は現在のデジタルカメラ１００の傾きを検出する。S１１９では、システム制御部５０は検出した傾きから重力方向の式を算出して、１フレームあたりのY軸方向の移動画素とX軸方向の移動画素の値を決定する。この時点では重力方向の軸の移動画素に初期値を使用し、もう一方の移動画素パラメータを決定する。
【００５８】
例えば、図３(a)のようにデジタルカメラ１００が傾けられた場合、y = xの式が算出され、重力方向がY軸方向になる。そのためY軸方向の移動画素は初期値Mを使用し、傾きによりX軸方向の移動画素はMと算出する。
【００５９】
同様に図３(b)のようにデジタルカメラ１００が傾けられた場合、y = 240の式が算出され、重力方向がX軸方向になる。そのため、軸方向の移動画素は初期値Nを使用し、傾きなしのためY軸方向の移動画素は０と算出する。同様に図３(c)のようにデジタルカメラ１００が傾けられた場合、y = -1/2x+400の式が算出され、重力方向がY軸方向になる。そのためY軸方向の移動画素は初期値Mを使用し、傾きによりX軸方向の移動画素は-1/2Mと算出する。
【００６０】
S１２０では、システム制御部５０はS１１９で算出したVRAMサイズ用の合成オブジェクトパラメータのY軸方向の移動画素とX軸方向の移動画素の値を更新する（その時のプレビュー画面例  図５(c)）。S１２２では、システム制御部は合成オブジェクトの移動画素パラメータの決定ボタンもしくはキャンセルボタンが押下されたかを判定する。決定ボタンが押下された場合はS１２４へ進み、キャンセルボタンが押下された場合はS１２３へ進む。
【００６１】
S１２３では、システム制御部５０はVRAMサイズ用の移動画素パラメータを初期値に戻す。S１２４では、動作速度検出部１０９はユーザがカメラを振った時の動きの移動方向、速度を検出する。S１２５では、システム制御部５０は移動方向により個数パラメータの増減方向を決定し、所定の速度に比例して所定の増減個数を算出する。S１２６では、システム制御部５０はVRAMサイズ用の個数パラメータを算出した増減個数に基づき更新する（その時のプレビュー画面例  図５(d)）。
【００６２】
S１２７では、システム制御部は合成オブジェクトの合成個数パラメータの決定ボタンもしくはキャンセルボタンが押下されたかを判定する。決定ボタンが押下された場合はS１２９へ進み、キャンセルボタンが押下された場合はS１２８へ進む。S１２８では、システム制御部５０はVRAMサイズ用の合成個数パラメータを初期値に戻す。S１２９では、システム制御部５０はズームボタンが押下された回数を検出し、押下された回数に応じた所定のリサイズ率を算出する。テレ側が押下された場合は拡大率となり、ワイド側が押下された場合は縮小率となる。
【００６３】
S１３０では、システム制御部５０は算出したリサイズ率に比例して各VRAMサイズ用の画像オブジェクトのサイズパラメータを算出する。S１３１では、システム制御部５０はS１３１で算出したVRAMサイズ用の画像オブジェクトのサイズパラメータを更新する（その時のプレビュー画面例  図５(e)）。S１３２では、システム制御部５０は合成オブジェクトのサイズパラメータの決定ボタンもしくはキャンセルボタンが押下されたかを判定する。
【００６４】
決定ボタンが押下された場合はS１３４へ進み、キャンセルボタンが押下された場合はS１３３へ進む。S１３３では、システム制御部５０はVRAMサイズ用のサイズパラメータを初期値に戻す。S１３４では、動作速度検出部１０９はユーザがカメラを振った時の速度を検出する。S１３５では、システム制御部５０は検出した速度に基づき所定の移動画素数を算出する。算出した画素数は重力方向のパラメータに加算する。
【００６５】
例えば、図３(a)のようにデジタルカメラ１００が傾けられた場合、重力方向の移動画素パラメータはM2になるので、M2に算出した移動画素数を加算する。同様に図３(b)のようにデジタルカメラ１００が傾けられた場合、重力方向の移動画素パラメータはN2になるので、N2に算出した移動画素数を加算する。同様に図３(c)のようにデジタルカメラ１００が傾けられた場合、重力方向の移動画素パラメータはM2になるので、M2に算出した移動画素数を加算する。
【００６６】
ｓ１３６では、現在の値をメモリに一時退避し保存する、システム制御部５０はS１３５で算出したVRAMサイズ用の画像オブジェクトの移動画素パラメータを更新する（その時のプレビュー画面例  図５(f)）。S１３７では、システム制御部５０は合成オブジェクトの移動画素パラメータの決定ボタンもしくはキャンセルボタンが押下されたかを判定する。決定ボタンが押下された場合はS１３９へ進み、キャンセルボタンが押下された場合はS１３８へ進む。
【００６７】
S１３８では、システム制御部５０はVRAMサイズ用の移動画素パラメータをS１３６で一時退避しておいた値に戻す。S１３９では、システム制御部５０は合成実行ボタンが押下されたか否かを判定する。合成実行ボタンが押下された場合はS１４０へ進み、押下されない場合はS１３９へ進む。S１４０では、システム制御部５０はVRAMサイズ用の合成オブジェクトパラメータを基に比例計算して記録サイズ用の合成オブジェクトパラメータを算出し、更新する。
【００６８】
S１４１〜S１５３は記録動画に確定した画像オブジェクトパラメータで合成する処理であり、記録動画の最終フレームになるまで繰り返す。S１４２では、画像処理部２４はストリームをデコードする。S１４３では、画像処理部２４はデコードした前フレームと現フレーム全体を相関演算し2フレーム間の移動量を算出する。S１４４で画像処理部２４はデコードした前フレームと現フレーム全体を相関演算し2フレーム間のズーミング量を算出する。S１４５では、画像処理部２４は記録サイズ用の画像オブジェクトサイズと算出したズーミング量から比例計算したサイズに合成オブジェクトをリサイズする。
【００６９】
S１４６では、画像処理部２４は現フレームから顔検出して、顔の個数、位置及びサイズをシステム制御部５０へ通知する。S１４８では、システム制御部５０はVRAMサイズ用の現フレームの合成位置にフレーム間の移動量を加算した合成位置を算出する。S１４９では、システム制御部５０は合成オブジェクトの合成位置が顔の範囲内か否かを判定する。顔の範囲内の場合はS１５１へ進み、顔の範囲外の場合はS１５０へ進む。S１５０では、画像処理部２４は現フレームに合成オブジェクトを合成位置に合成する。
【００７０】
S１５１では、システム制御部５０は合成オブジェクトの個数分処理が完了したか否かを判定する。合成オブジェクトの個数分処理が完了した場合はS１５２へ進み、完了していない場合は繰り返し処理のためにS１４８へ進む。S１５２では、画像処理部２４はフレームをエンコードする。S１５３では、システム制御部５０は動画の最終フレームか否かを判定する。最終フレームの場合はS１５４へ進み、最終フレーム出ない場合は繰り返し処理のためS１４２へ進む。
【００７１】
＜実施例２＞
実施例２では、撮影時の画像の天地方向情報を元に重力方向の合成オブジェクトパラメータを算出し、動画に画像オブジェクトを合成する例を述べる。図６は実施例２のフローチャートである。このフローチャートおける各処理は、システム制御部５０が不揮発性メモリ５６に格納されたプログラムをメモリ３２に展開して実行することにより実現される。なお、図６のステップS２００〜S２１７、S２２０〜S２２３、S２２６〜S２３３、S２３６〜S２５４は、実施例１で説明した図２のステップS１００〜S１１７、S１２０〜S１２３、S１２６〜S１３３、S１３６〜S１５４と同様の処理なので説明を省略する。
【００７２】
S２１９では、システム制御部５０は動画ファイルに記載されている天地方向の情報を読み出し、重力方向により、１フレームあたりのY軸方向の移動画素とX軸方向の移動画素の値を決定する。S２２４では、システム制御部５０はズームボタンが押下された回数を検出し、押下された回数に応じた所定の増減個数を算出する。テレ側が押下された場合は合成オブジェクトの個数を増加させ、ワイド側が押下された場合は合成オブジェクトの個数を減少させる。S２２５では、システム制御部５０はS２２４で算出した増減個数を基に合成オブジェクト個数パラメータを算出する。
【００７３】
S２３４では、システム制御部５０はズームボタンが押下された回数を検出し、押下された回数に応じた所定の移動画素を算出する。テレ側が押下された場合は移動画素が増加し、ワイド側が押下された場合は移動画素が減少する。S２３５では、システム制御部５０は算出した移動画素数を基に各VRAMサイズ用の画像オブジェクトの移動画素パラメータを算出する。
【００７４】
以上のように、実施例２によれば撮影時の天地情報から落下の重力方向が決定するため、ユーザが重力方向を指定する手間を省くことができる。
【００７５】
＜実施例３＞
実施例３では、タッチパネルでムーブした軌跡により合成オブジェクトパラメータを算出し、動画に画像オブジェクトを合成する例を述べる。
【００７６】
図７は実施例３のフローチャートである。このフローチャートおける各処理は、システム制御部５０が不揮発性メモリ５６に格納されたプログラムをメモリ３２に展開して実行することにより実現される。
【００７７】
なお、図７のステップS３００〜S３１７、S３２２〜S３５４は、実施例２で説明した図６のステップS２００〜S２１７、S２２２〜S２５４と同様の処理なので説明を省略する。
【００７８】
S３１８では、システム制御部５０はムーブを検出する。S３１９では、システム制御部５０は操作部７０が所定の間隔で送る座標をシステムメモリ５２に記録する。S３２０では、システム制御部５０は軌跡追加ボタンが押下されたか否かを判定する。軌跡追加ボタンが押下された場合（S３２０  YES）はS３１８へ進み、押されない場合（S３２０  NO）はS３２２へ進む。
【００７９】
以上のように、実施例３によればタッチパネルでムーブした軌跡により指定するため、ユーザが簡単に曲線の軌跡を指定できる。
【００８０】
＜実施例４＞
実施例４では、ジャイロセンサーでカメラの傾きを所定の期間検出した結果を元に画像オブジェクトパラメータを算出し、動画に画像オブジェクトを合成する例を述べる。図９は実施例４のフローチャートである。このフローチャートおける各処理は、システム制御部５０が不揮発性メモリ５６に格納されたプログラムをメモリ３２に展開して実行することにより実現される。
【００８１】
なお、図８のステップS４００〜S４１７、S４２０〜S４５４は、実施例２で説明した図６のステップS２００〜S２１７、S２２０〜S２５４と同様の処理なので説明を省略する。
【００８２】
S４１９では、傾斜検出部１０８は所定の期間、所定の間隔でカメラの傾きを検出しシステム制御部５０へ送る。システム制御部５０は傾きから座標を算出しシステムメモリ５２に保存する。システム制御部５０は算出した座標の軌跡を表示部２８に表示する。
例えば、初めが図９(a)の傾きで所定の時間経過後に(b)の傾きで、さらに所定の時間経過後に(c)の傾きだった場合に図９の用に軌跡が表示される。
【００８３】
以上のように、実施例４によればタッチパネルを搭載しない機種でも、ユーザが曲線の軌跡を指定できる。
【００８４】
以上説明したように、本発明によれば、ユーザの指定した合成オブジェクトのパラメータに動画のパンニングやズーミングに追従し、記録動画に自然な合成をすることができる。
【００８５】
なお、上述した各実施形態においては、本発明がデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、本発明は、画像ビューワーなどの再生装置に適用してもよい。さらに、携帯電話端末等の画像を表示可能な装置であれば、本発明は適用可能である。
【符号の説明】
【００８６】
１００  デジタルカメラ、１０３  撮影レンズ、１０１  シャッター、２２  撮像部、
２３  Ａ／Ｄ変換器、１０２  バリア
【図１】
2016010078.tif 000003
【図２】
2016010078.tif 000004
【図３】
2016010078.tif 000005
【図４】
2016010078.tif 000006
【図５】
2016010078.tif 000007
【図６】
2016010078.tif 000008
【図７】
2016010078.tif 000009
【図８】
2016010078.tif 000010
【図９】
2016010078.tif 000011