(57)【要約】  画像選択部３１は、入力フレーム毎に、被写体情報に応じて、合成済画像に合成される合成対象画像の幅を決定する。画像合成部３２は、入力フレームのうちの前記決定された幅の合成対象画像を、合成済画像に対して所定の方向に並ぶように合成対象画像を合成して被写体の動作推移を示す動作推移画像を生成する。ユーザが被写体を含む領域をフレーム画像毎に設定する処理や、ユーザが画像の繋ぎ合わせの位置を設定する処理を行うことなく、被写体の状態に応じて画像の抽出や繋ぎ合わせを自動的に行うことが可能となる。したがって、所望の動作推移画像を容易に生成できるようになる。
2013125277.tif 000002
【特許請求の範囲】
【請求項１】
入力フレーム毎に、被写体情報に応じて、合成済画像に合成される合成対象画像の幅を決定する画像選択部と、
前記入力フレームのうちの前記決定された幅の合成対象画像を、前記合成済画像に対して所定の方向に並ぶように前記合成対象画像に合成する画像合成部と
を備える画像処理装置。
【請求項２】
前記画像選択部は、
前記被写体情報に応じて、前記入力フレームのうちの動被写体レイヤーと背景レイヤーの少なくとも一方の幅を決定する
請求項１記載の画像処理装置。
【請求項３】
前記画像選択部は、
前記入力フレームの前記動被写体レイヤーのうち、前記被写体情報が特定の状態を示す領域を注目領域として抽出して、前記注目領域の領域幅を、前記合成済画像に対して、前記入力フレームの前記背景レイヤーを合成する幅として決定する請求項２記載の画像処理装置。
【請求項４】
前記画像選択部は、
前記入力フレームの前記動被写体レイヤーにおける動被写体の幅に基づいて、前記合成済画像に対して、前記入力フレームの前記動被写体レイヤーを合成する幅を決定する請求項２記載の画像処理装置。
【請求項５】
前記動被写体は人体であり、前記画像選択部は、人体検出マスクを用いて人体の所望の部位を検出して、該所望の部位が含まれるように前記注目領域の領域幅を決定する請求項３記載の画像処理装置。
【請求項６】
前記画像選択部は、動被写体部分の累積面積が所定の割合となるように累積面積マスクを用いて前記注目領域の領域幅を決定する請求項３記載の画像処理装置。
【請求項７】
前記画像選択部は、画枠サイズと前記合成が行われた画像の画像サイズに応じて、合成する画像のフレーム数を決定する請求項２記載の画像処理装置。
【請求項８】
前記画像選択部は、前記入力フレームからキーフレームを決定して、前記画枠サイズと前記キーフレームの前記合成対象画像を合成して生成される画像の画像サイズに応じて合成する画像のフレーム数を変更する場合、変更後のフレーム数に応じて前記キーフレームを再度決定する請求項７記載の画像処理装置。
【請求項９】
前記画像選択部は、
前記合成対象画像の前記動被写体レイヤーにおいて、所望の動被写体の注目する領域を含む注目領域として、前記合成済画像において最後に合成された画像の注目領域に対して、前記合成対象画像の注目領域を繋げて前記合成を行うことで生成される画像のサイズが前記画枠サイズとほぼ一致するように、前記注目領域の領域幅を調整する請求項７記載の画像処理装置。
【請求項１０】
前記画像選択部は、前記合成を行うことで生成される画像のサイズが前記画枠サイズとほぼ一致するように、前記注目領域のそれぞれに対する幅の調整を均等の調整幅で行う請求項９記載の画像処理装置。
【請求項１１】
前記画像選択部は、前記合成を行うことで生成される画像のサイズが前記画枠サイズとほぼ一致するように、前記注目領域のそれぞれに対する幅の調整を前記注目領域の領域幅に応じた調整幅で行う請求項９記載の画像処理装置。
【請求項１２】
前記画像選択部は、前記注目領域の領域幅を縮小する場合、前記被写体情報に基づき、前記所望の動被写体の注目する領域がより多く残るように幅の調整を行い、前記注目領域の領域幅を拡大する場合、前記所望の動被写体の注目する領域がより多く含まれるように幅の調整を行う請求項９記載の画像処理装置。
【請求項１３】
前記画像選択部は、前記注目領域の領域幅を縮小する場合、各フレーム画像の注目キーフレームに対するフレーム間隔が長くなるに伴いフレーム画像における調整幅を大きくして、前記注目領域の領域幅を拡大する場合、前記注目キーフレームのフレーム画像における調整幅を大きくして、または各フレーム画像の注目キーフレームに対するフレーム間隔が短くなるに伴いフレーム画像における調整幅を大きくする請求項９記載の画像処理装置。
【請求項１４】
前記注目キーフレームは、ユーザによって指示されたキーフレームまたは前記被写体情報に基づいて決定したキーフレームである請求項１３記載の画像処理装置。
【請求項１５】
入力フレーム毎に、被写体情報に応じて、合成済画像に合成される合成対象画像の幅を決定する工程と、
前記入力フレームのうちの前記決定された合成対象画像を、前記合成済画像に対して所定の方向に並ぶように前記合成対象画像に合成する工程と
を含む画像処理方法。
【請求項１６】
入力フレームを用いて、被写体の動作推移を示す画像の生成をコンピュータで実行させるプログラムであって、
前記入力フレーム毎に、被写体情報に応じて、合成済画像に合成される合成対象画像の幅を決定する手順と、
前記入力フレームのうちの前記決定された合成対象画像を、前記合成済画像に対して所定の方向に並ぶように前記合成対象画像に合成する手順と
を前記コンピュータで実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法およびプログラムに関する。詳しくは、動作推移画像を容易に生成できるようにする。
【背景技術】
【０００２】
従来、スポーツのフォーメーション確認などの用途で、例えば特許文献１に示すように動作推移画像を自動的に生成することが行われている。動作推移画像の生成では、自動的に連続写真の生成を行い、生成した写真を用いて画像の繋ぎ合わせ（ステッチ）が行われている。また、動被写体部分を検出して、動被写体部分を前面として合成を行うことで、視認性を下げることなく動作推移画像の生成が行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−０３０２４４号公報（米国特許出願公開第２０１０／００３９４４７号）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、従来の動作推移画像の生成では、合成するフレーム数が予め設定されたフレーム数またはユーザが設定したフレーム数であり、合成幅も合成フレーム数にのみ依存し、一意的に決定されている。このため、動作推移画像を生成する場合、予め被写体の動きを予測して最適な合成フレーム数の設定や、合成幅に被写体が含まれるように撮影距離やズーム倍率を調整しなければならないことから、所望の動作推移画像を容易に生成することが困難である。【０００５】
そこで、この技術では動作推移画像を容易に生成できる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
この技術の第１の側面は、入力フレーム毎に、被写体認識結果に応じて、合成済画像に合成される合成対象画像の幅を決定する画像選択部と、前記入力フレームのうちの前記決定された幅の合成対象画像を、前記合成済画像に対して所定の方向に並ぶように前記合成対象画像に合成する画像合成部とを備える画像処理装置にある。【０００７】
この技術においては、入力フレーム毎に、被写体認識結果に応じて、合成済画像に合成される合成対象画像の幅、例えば入力フレームのうちの動被写体レイヤーと背景レイヤーの少なくとも一方の幅が決定される。動被写体レイヤーは、動被写体の幅に基づいて、合成済画像に対して入力フレームの動被写体レイヤーを合成する幅が決定される。また、動被写体レイヤーのうち、被写体情報が特定の状態を示す領域を注目領域として抽出して、この注目領域の領域が、合成済画像に対して、入力フレームの背景レイヤーを合成する幅として決定される。注目領域の領域幅は、動被写体が人体である場合には、人体検出マスクを用いて人体の所望の部位を検出して、所望の部位が含まれるように決定される。また、注目領域の領域幅は、被写体情報に基づき、動被写体部分の累積面積が所定の割合となるように累積面積マスクを用いて幅が決定される。【０００８】
また、画枠サイズと合成が行われた画像の画像サイズに応じて、合成する画像のフレーム数が決定される。入力フレームからキーフレームを決定して、画枠サイズとキーフレームの合成対象画像を合成して生成される画像の画像サイズに応じて、合成する画像のフレーム数を変更する場合、変更後のフレーム数に応じてキーフレームを再度決定する。また、合成対象画像の動被写体レイヤーにおいて、所望の動被写体の注目する領域を含む注目領域として、合成済画像において最後に合成された画像の注目領域に対して、合成対象画像の注目領域を繋げて合成を行うことで生成される画像のサイズが画枠サイズとほぼ一致するように、注目領域の領域幅が調整される。領域幅の調整では、例えば注目領域のそれぞれに対する幅の調整が均等の調整幅、または、注目領域の領域幅に応じた調整幅で行われる。さらに、注目領域の領域幅を縮小する場合、所望の動被写体の注目する領域がより多く残るように幅の調整を行い、注目領域の領域幅を拡大する場合、所望の動被写体の注目する領域がより多く含まれるように幅の調整が行われる。または、注目領域の領域幅を縮小する場合、注目キーフレームとのフレーム間隔が長くなるに伴いフレーム画像における調整幅を大きくして、注目領域の領域幅を拡大する場合、注目キーフレームまたは注目キーフレームとのフレーム間隔が短くなるに伴いフレーム画像における調整幅を大きくするように幅の調整が行われる。【０００９】
この技術の第２の側面は、入力フレーム毎に、被写体認識結果に応じて、合成済画像に合成される合成対象画像の幅を決定する工程と、前記入力フレームのうちの前記決定された幅の合成対象画像を、前記合成済画像に対して所定の方向に並ぶように前記合成対象画像に合成する工程とを含む画像処理方法にある。【００１０】
この技術の第３の側面は、入力フレームを用いて、被写体の動作推移を示す画像の生成をコンピュータで実行させるプログラムであって、前記入力フレーム毎に、被写体認識結果に応じて、合成済画像に合成される合成対象画像の幅を決定する手順と、前記入力フレームのうちの前記決定された合成対象画像を、前記合成済画像に対して所定の方向に並ぶように前記合成対象画像に合成する手順とを前記コンピュータで実行させるプログラムにある。【００１１】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【発明の効果】
【００１２】
この技術によれば、入力フレーム毎に、被写体情報に応じて、合成済画像に合成される合成対象画像の幅が決定される。また、入力フレームのうちの前記決定された幅の合成対象画像が、合成済画像に対して所定の方向に並ぶように合成対象画像に合成されて、被写体の動作推移を示す動作推移画像が生成される。このため、ユーザが被写体を含む領域をフレーム画像毎に指示する操作や、ユーザが画像の繋ぎ合わせの位置を指示する処理を行うことなく、被写体の状態に応じて画像の抽出や繋ぎ合わせを自動的に行うことが可能となり、所望の動作推移画像を容易に生成できるようになる。
【図面の簡単な説明】
【００１３】
【図１】画像処理装置を用いたシステムの構成を例示した図である。
【図２】画像処理装置で生成される動作推移静止画像を例示した図である。
【図３】第１の生成動作を示すフローチャートである。
【図４】レイヤー分離情報を例示した図である。
【図５】動作推移有効領域と残存背景領域の設定（人体検出マスクを用いる場合）を説明するための図である。
【図６】動作推移有効領域と残存背景領域の設定（被写体累積面積マスクを用いる場合）を説明するための図である。
【図７】閾値Ｔｈを利用して動作推移有効領域を設定した場合を説明するための図である。
【図８】動作推移有効領域を示す図である。
【図９】合成フレーム数の算出を説明するための図である。
【図１０】幅調整部の動作を説明するための図である。
【図１１】第２の生成動作を示すフローチャートである。
【図１２】第２の生成動作で生成される画像を例示した図である。
【図１３】合成領域の他の設定方法を説明するための図である。
【図１４】他の幅調整方法を説明するための図である。
【図１５】他の幅調整方法を説明するための図である。
【図１６】動被写体の状態に応じて合成位置や合成方向を調整した場合を例示した図である。
【発明を実施するための形態】
【００１４】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置の構成
２．動作推移画像の第１の生成動作
３．動作推移画像の第２の生成動作
４．画像処理装置の他の動作
【００１５】
＜１．画像処理装置の構成＞
図１は、本技術の画像処理装置を用いたシステムの構成を例示している。このシステム１０では、画像入力部２１、被写体情報生成部２２、被写体情報入力部２３、画像処理装置３０、出力デバイス４１を有している。また、画像処理装置３０は、画像選択部３１、画像合成部３２、画像出力部３３、合成画像更新保持部３４を有している。
【００１６】
画像入力部２１、被写体情報生成部２２、被写体情報入力部２３、画像処理装置３０、出力デバイス４１は、必ずしも同一筐体内に設けられる場合に限らない。例えば、画像入力部２１、被写体情報生成部２２、被写体情報入力部２３、出力デバイス４１は、別個の筐体に設けるようにしてもよい。また、被写体情報生成部２２と被写体情報入力部２３については一方を設けるのみでもよい。
【００１７】
画像処理装置３０は、例えばビデオカメラやデジタルスチルカメラ、撮像機能を有する携帯電話やタブレット型端末などの携帯機器、撮像画像の画像信号を記録するサーバや画像信号の処理を行う編集装置、映像再生装置等の機器の内部に設けられる。また、１つの画像処理専用機器として構成されてもよい。さらに、パーソナルコンピュータ等においてソフトウェアおよびハードウェアの連係またはいずれか一方によって実現される画像処理機能を実行するものとして構成されてもよい。
【００１８】
画像入力部２１では、生成する動作推移画像の元となるフレーム画像群の入力を行う。なお、フレーム画像は、動画を構成する各フレームの１つであったり、例えば連写撮像された静止画の１枚１枚の画像などである。
【００１９】
画像入力部２１は、画像処理装置３０が撮像装置に搭載される場合、撮像光学系や撮像素子、カメラ信号処理部等で構成されており、撮像画の画像信号を生成する。また、外部の撮像装置で得られた撮像画像を取り込むのであれば、画像入力部２１は、外部機器から供給される画像信号の受信処理系とされる。例えば放送波に対するチューナ部や、ＵＳＢ（Universal Serial Bus）インターフェース等のインターフェース部、さらには有線または無線のネットワーク通信部などが想定される。また、画像信号がメモリカード（固体メモリ）、光ディスク等の記録媒体に記録されている場合は、画像入力部２１は、これらの記録媒体の再生系とされる。
【００２０】
画像入力部２１は、動画としての各フレームの画像信号や静止画連写撮像などによって得られた複数フレーム分の画像信号の生成または受信あるいは読み出しを行い、画像処理装置３０および被写体情報生成部２２に供給する。
【００２１】
なお、画像入力部２１は必要に応じて前処理を行うこともある。動画像のファイルを受け取った場合に各フレームに展開したり、インターレース画像を受け取った場合にプログレッシブ化を行うなど処理に必要な形へ適切な変換を行う。また、拡大縮小を行うこともある。
【００２２】
被写体情報生成部２２は、画像入力部２１から供給された画像信号や外部情報（深度情報など）を用いて被写体認識を行い、被写体の状態例えば動作状態の認識結果を被写体情報としてフレーム毎に生成して画像処理装置３０に出力する。被写体情報生成部２２は、例えば物体検出部２２１と動被写体検出部２２２を有している。
【００２３】
物体検出部２２１は、テンプレートマッチングや学習等によって、動作推移の観測対象である被写体例えば人体や人体部位の検出を行い、フレーム画像のいずれの部分が所定の物体の画像領域であるかを示す被写体情報を生成する。人体検出では例えば顔検出を行い、検出結果を利用することで人体を検出する。また、人体部位の検出では、例えば検出した顔を基準として設定した領域に胴体や手足等に相当する形状の画像が含まれるか否かによって人体部位の検出を行うことができる。
【００２４】
動被写体検出部２２２は、動被写体の検出を行い、フレーム画像のいずれの部分が動被写体の領域でどの部分が背景の領域であるかを示す被写体情報を生成する。動被写体検出部２２２は、例えば撮像方向と画角が一定である場合、連続する２つのフレーム間で画像信号の差分を算出して、差分が閾値よりも小さい領域は背景の領域、差分が閾値以上の領域は動被写体の領域と判別する。なお、動被写体検出部２２２は、動被写体と背景の分離の他、複数の被写体が存在する場合、それぞれを分離する。この場合、深度別に分離してもよい。被写体情報は、複数の被写体を深度別に分離する場合、各画素が動被写体か背景かのいずれであるかを示す２値情報ではなく、各画素がどの深度にあるかを表す多値情報となる。
【００２５】
被写体情報入力部２３は、外部装置等から供給された被写体情報を取得して画像処理装置３０に出力する。
【００２６】
なお、被写体情報生成部２２と被写体情報入力部２３は、少なくとも一方が設けられていればよい。また、被写体情報生成部２２と被写体情報入力部２３が設けられている場合、被写体情報生成部２２で生成された被写体情報と、被写体情報入力部２３で取得した被写体情報を画像処理装置３０に出力してもよい。この場合、画像処理装置３０は、いずれか一方の被写体情報を用いた処理、または両方の被写体情報を併用した処理を行う。
【００２７】
画像処理装置３０の画像選択部３１は、画像入力部２１から順次供給される入力フレーム毎に、被写体情報に応じて、合成済画像に合成される合成対象画像の幅を決定する。なお、合成済画像に対して合成対象画像を水平方向に配置して合成する場合（連結方向が水平方向である場合に相当）には合成対象画像の水平方向のサイズを合成対象画像の幅とする。また、合成済画像に対して合成対象画像を垂直方向に配置して合成する場合（連結方向が垂直方向である場合に相当）には合成対象画像の垂直方向のサイズを合成対象画像の幅とする。また、後述する他の画像の幅や注目領域、動作推移有効領域，残存背景領域等の領域幅についても同様である。
【００２８】
画像選択部３１は、被写体情報に応じて、入力フレームのうちの動被写体レイヤーと背景レイヤーの少なくとも一方の幅を決定する。画像選択部３１は、合成対象画像の幅の決定において、例えば入力フレームの動被写体レイヤーのうち、被写体情報が特定の状態を示す領域を注目領域として抽出する。画像選択部３１は、この注目領域の領域幅を、合成済画像に対して、入力フレームの背景レイヤーを合成する幅として決定する。また、画像選択部３１は、例えば入力フレームの動被写体レイヤーにおける動被写体の幅に基づいて、合成済画像に対して、入力フレームの動被写体レイヤーを合成する幅を決定する。
【００２９】
画像選択部３１は、合成対象画像の画像抽出を行い、抽出した画像を画像合成部３２に出力する。また、画像選択部３１は、注目領域を示す合成処理情報を生成して画像合成部３２に出力する。また、画像選択部３１は、被写体情報生成部２２や被写体情報入力部２３から供給された被写体情報を画像合成部３２に出力する。なお、画像抽出は、画像合成部３２で行うようにしてもよい。この場合、画像選択部３１は、合成対象画像の領域を示す情報を合成処理情報に含めて画像合成部３２に出力する。
【００３０】
画像選択部３１は、キーフレーム判別部３１１、合成領域設定部３１２、合成フレーム数算出部３１３、幅調整部３１４、抽出処理部３１５を備えている。
【００３１】
キーフレーム判別部３１１は、順次供給されるフレーム画像からキーフレームとするフレーム画像を判定する処理を行う。キーフレーム画像とは、最終的に得られる合成済画像である動作推移画像（静止画）において、動作推移の軌跡として残される時間軸の異なる複数の画像のことである。例えば時間的に連続するフレーム画像群のうちで、適切な単位時間あたりの等間隔で撮像されたフレーム画像がキーフレーム画像とされることが一般的に想定される。また、キーフレーム判別部３１１は、順次供給されるフレーム画像を全てキーフレームの画像として用いて動作推移画像を生成するようにしてもよい。
【００３２】
また、キーフレームの間隔は、必ずしも等間隔の時間である必要はなく、撮像対象の動作推移を視認するのに適した間隔としてもよい。例えば注目キーフレームを検出して、注目キーフレームを基準としてキーフレームの間隔を調整してもよい。注目キーフレームは、ユーザが指定してもよく、画像認識結果に基づいて自動的に決定してもよい。画像認識では、物体の形状変化、人体の姿勢変化、物体の移動速度、物体の加速度、物体の移動方向の変化等を検出して、所望の形状変化や姿勢変化を生じたキーフレームを注目キーフレームとする。キーフレーム判別部３１１は、例えば動被写体の動きが最も速い時点を注目キーフレームとして、動被写体の動きが遅くなるに伴いキーフレームの時間間隔（フレーム間隔）が長くなるように判定を行う。また、キーフレーム判別部３１１は、動被写体の加速度が大きく変化した時点を注目キーフレームに設定して、キーフレームの判定を行えば、例えばサッカー等において、ボールを動被写体としたとき、シュートが行われたタイミングを注目フレームに設定できる。また、キーフレーム判別部３１１は、例えばゴルフクラブやバット、ラケット等でボールを打ったときの音声を利用して注目キーフレームを設定するようにしてもよい。この場合、例えばボールを打ったときの近傍において時間間隔（フレーム間隔）を短くしてキーフレームを設定する。
【００３３】
キーフレーム判別部３１１は、動作推移画像として静止画を生成する場合、後述する合成フレーム数算出部３１３で合成フレーム数の変更が行われた場合、変更後の合成フレーム数に応じて再度キーフレームの判別を行う。キーフレーム判別部３１１は、合成フレーム数が確定されたときに判別したキーフレームの画像信号を抽出処理部３１５に出力する。また、動作推移画像として動画を生成する場合は、入力された全フレーム画像の画像信号を抽出処理部３１５に出力する。
【００３４】
合成領域設定部３１２は、被写体情報生成部２２や被写体情報入力部２３から供給された被写体情報に基づき、キーフレーム毎またはフレーム毎に、被写体の状態に応じて合成対象画像の領域を設定する。例えば、合成領域設定部３１２は、入力フレームの動被写体レイヤーにおける動被写体の幅に基づいて、合成済画像に対して、入力フレームの動被写体レイヤーを合成する幅を決定する。また、合成領域設定部３１２は、入力フレームの動被写体レイヤーのうち、被写体認識結果として特定の状態を示す領域を注目領域として抽出して、注目領域の領域幅を、合成済画像に対して、入力フレームの背景レイヤーを合成する幅として決定する。この注目領域は、合成済画像に合成対象画像を合成する際に、画像の繋ぎ合わせ（ステッチング）が行われる領域である。なお、以下の説明では、動被写体レイヤーを合成する幅の領域を動作推移有効領域という。また、注目領域は、入力フレームの背景レイヤーを合成する領域であることから残存背景領域ともいう。さらに、画像連結方向の幅を、動作推移有効領域の領域幅および注目領域（残存背景領域）の領域幅とする。
【００３５】
残存背景領域（注目領域）は、例えば動被写体レイヤーにおける動被写体の特定の状態を示す領域とする。このように残存背景領域を設定すると、残存背景領域は動作推移有効領域内に設けられることになり、残存背景領域の領域幅は、動作推移有効領域の領域幅以下となる。
【００３６】
合成領域設定部３１２は、動作推移有効領域と残存背景領域の設定を、動作推移画像として静止画を生成する場合にはキーフレームに対して行い、動作推移画像として動画を生成する場合には各フレーム画像に対して行う。また、合成領域設定部３１２は、動作推移画像として静止画を生成する場合、合成フレーム数算出部３１３で合成フレーム数が変更されたことによりキーフレーム判別部３１１で判別が再度行われた場合、新たなキーフレームについて再度領域の設定を行う。なお、領域の設定方法については後述する。
【００３７】
合成フレーム数算出部３１３は、動作推移画像として静止画を生成する場合に、キーフレームの動作推移有効領域の領域幅と残存背景領域の領域幅に基づき、動作推移画像の画像サイズが動作推移画像を表示する表示領域の連結方向のサイズ（以下「画枠サイズ」という）に近づくように合成フレーム数を算出する。例えば予め設定されたフレーム数で動作推移画像を生成した場合に、画枠サイズに対する過不足の画像幅が１フレームを超える場合、または画枠サイズに対する過不足の画像幅が１フレームよりも小さく、かつ、所定の割合を超える場合、合成フレーム数の変更を行う。合成フレーム数算出部３１３は、合成フレーム数を変化させる場合には、変更後の合成フレーム数をキーフレーム判別部３１１と合成領域設定部３１２に出力することにより、変更後の合成フレーム数に応じたキーフレームの判別および領域の再度の設定を行わせる。
【００３８】
このような処理を、キーフレーム判別部３１１と合成領域設定部３１２と合成フレーム数算出部３１３で繰り返す。したがって、合成フレーム数を所望の画枠サイズに対して最適な値とすることができる。また、最適な合成フレーム数のキーフレーム、およびキーフレームに対する動作推移有効領域と残存背景領域の設定を行うことができる。
【００３９】
幅調整部３１４は、合成領域設定部３１２で設定された残存背景領域に対して連結方向に対する領域幅の調整を行う。幅調整部３１４は、合成領域設定部３１２で設定した残存背景領域を連結方向に繋ぎ合わせて画像合成を行う場合に、合成画像である動作推移画像が所望の画枠サイズとなるように、残存背景領域の幅調整を行う。幅調整は、例えば過不足分の画像幅を各フレームに均一に割り当てて幅調整を行う均一変更方法を用いてもよく、各フレームの残存背景領域の領域幅に比例して、過不足分の画像幅を分配する幅比例変更方法を用いてもよい。さらに、幅調整部３１４は、注目キーフレームからの時間的距離（フレーム間隔）や、被写体情報に基づいて調整量を設定してもよい。
【００４０】
抽出処理部３１５は、キーフレーム判別部３１１から供給されたフレーム画像の画像信号から合成領域設定部３１２で設定された動作推移有効領域の画像信号を抽出して画像合成部３２に出力する。また、抽出処理部３１５は、動作推移有効領域内に設定された残存背景領域を示す情報を合成処理情報として画像合成部３２に出力する。
【００４１】
画像合成部３２は、画像選択部３１で抽出された画像信号と合成処理情報および被写体情報に基づき、被写体の状態に応じて、各フレームの動作推移有効領域の画像を、合成済画像の残存背景領域に対して連結方向に繋ぎ合わせて合成を行う。画像合成部３２は、このような画像合成を行い、動作推移を示す出力画像を生成する。
【００４２】
画像合成部３２は、レイヤー分離部３２１，レイヤー加工部３２２，レイヤー合成部３２３を備えている。
【００４３】
レイヤー分離部３２１は、画像選択部３１からの入力画像（抽出画像）のレイヤー分離を被写体情報に基づいて行う。レイヤー分離部３２１は、例えば入力画像と前回のキーフレーム画像を被写体情報に基づき背景と動被写体のレイヤーに分離して各レイヤーの画像を生成する。このように、レイヤー分離を行うことで、後述するレイヤー合成部３２３では、画像選択部３１で決定された動被写体レイヤーや背景レイヤーの幅でレイヤー毎の画像を合成できる。なお、複数の動被写体が存在し、それらの深度がわかる場合はそれぞれの動被写体の数＋背景の数のレイヤーに分離して、画像選択部３１では、各レイヤーの幅を決定してもよい。
【００４４】
レイヤー加工部３２２は、分離された各レイヤーの画像の拡大縮小、座標移動などの加工を行う。すなわち、レイヤー加工部３２２は、レイヤー分離された各レイヤーに対して様々な処理を行い、合成できる形に加工する。レイヤー加工部３２２が行う処理は「拡大縮小」「回転」「平行移動」など、幾何学的な演算が行われることが多いが、動作部分の強調などの画像処理が行われることもある。拡大縮小は、キーフレームの枚数、出力画像サイズなどによって決定される。
【００４５】
レイヤー合成部３２３は、加工されたレイヤーや前回以前の合成済画像を用いた合成処理を行う。すなわちレイヤー加工部３２２によって加工された画像，合成済画像，被写体情報，合成処理情報等を元に合成を行うことにより動作推移画像を生成する。レイヤー合成部３２３は、被写体情報と合成処理情報に基づき、どのレイヤーの画素を出力画像に反映するかの判定を行い、判定結果に基づき出力画像を生成する。なお、合成では、単一レイヤーの画素から選択することもあるが、複数レイヤーの画素を混合して出力する場合もある。
【００４６】
また、レイヤー合成部３２３は、画像の合成を行う場合、合成処理情報に基づき残存背景領域を連結方向に繋ぎ合わせる。また、レイヤー合成部３２３は、合成する画像の配置として、予め定められた方向だけでなく、合成する画像における被写体の状態に応じて、配置位置を決定してもよい。例えば、ピッチャーを動被写体として動作推移画像を生成する場合、ピッチャー全体の動きが主に水平方向であることから、水平方向に画像を合成して動作推移画像を生成する。また、例えばテニスのラケットを動被写体として動作推移画像を生成する場合、ラケットがラケットを所持する人の肩を中心として円弧状に移動するときは、円弧状に画像を合成する。また、状態の変化として色の変化等も利用してもよい。
【００４７】
画像出力部３３は、画像合成部３２で合成された動作推移画像を出力デバイス４１に出力する。出力デバイス４１とは、モニタ装置、記憶装置など、動作推移画像の出力先となり得る各種の機器を示すものである。画像出力部３３による動作推移画像の具体的な出力先については、表示出力、メモリへの展開、ハードディスクやフラッシュメモリ、ネットワーク先など外部の記憶媒体への書き込みなど、システムによって異なることとなる。
【００４８】
動作推移画像として静止画を生成する場合、画像出力部３３は、合成フレーム数分のキーフレーム画像の合成処理が完了した時点で完成される合成済画像を、動作推移静止画像として出力デバイス４１に出力することになる。
【００４９】
また、動作推移画像として動画を生成する場合、画像出力部３３は、画像選択部３１から画像合成部３２に画像信号が入力される毎に順次行われる合成処理で得られる合成済画像を、出力デバイス４１に出力する。すなわち、順次行われる合成処理で得られる合成済画像は、それぞれ動作推移を示す動画の１フレーム画像として出力デバイス４１に出力されることになる。
【００５０】
また、画像出力部３３は、合成処理対象のフレーム画像の全てがキーフレーム画像である静止画生成時は、今回の合成で生成された画像の画像信号を、合成画像更新保持部３４に出力して記憶させる。画像出力部３３は、今回の合成で生成された画像の画像信号を合成画像更新保持部３４に記憶させることで、次の処理時に既存の合成済画像の画像信号として使用できるようにする。
【００５１】
画像出力部３３は、動画生成時において、キーフレーム画像を用いて合成処理が行われる場合にのみ、合成処理後の画像信号を、次の処理時に既存の合成済画像の画像信号として使用できるようにするため、合成画像更新保持部３４に出力して記憶させる。
【００５２】
合成画像更新保持部３４は、動作推移画像の生成過程において、各時点の合成済画像の画像信号を保持する。例えば静止画生成時については、画像出力部３３から出力される各時点の合成済画像を新たな合成済画像として保持していく。例えば前回、前々回などの合成処理過程で必要とされる過去の合成済画像の画像信号を更新しながら保持する。また、各合成時のキーフレームの情報や、キーフレームの被写体情報、合成処理情報等を記憶してもよい。
【００５３】
合成画像更新保持部３４は、動画生成時において、キーフレーム画像の合成処理において生成された合成済画像の画像信号を更新しながら保持していくことになる。この場合、各合成時のキーフレームの情報や、キーフレームの被写体情報、合成処理情報等を記憶してもよい。
【００５４】
＜２．動作推移画像の第１の生成動作＞
次に、動作推移画像の第１の生成動作について説明する。図２は、画像処理装置で生成される動作推移静止画像を例示している。例えば野球でピッチングを行っている人を被写体として動画撮像もしくは静止画連写撮像を行って得られた複数フレームの画像信号を用いて、図２に示す動作推移静止画像を画像処理装置３０で生成する。図２の動作推移静止画像は、連続するピッチング動作の期間の中で多数の時点の画像が所望の画枠サイズで表現されている。また、動被写体（ピッチングを行っている人）の状態に応じて動作推移有効領域や残存背景領域の領域幅が調整されて、動作推移静止画像では、各フレームの動被写体の全体が表現されている。
【００５５】
図３は、第１の生成動作を示すフローチャートであり、動作推移画像として静止画を生成する場合である。
【００５６】
ステップＳＴ１で画像処理装置３０は、フレーム画像と被写体情報の取り込みを行う。画像処理装置３０は、画像入力部２１から供給されるフレーム画像、被写体情報生成部２２で生成された被写体情報、被写体情報入力部２３で取得した被写体情報を画像選択部３１で取り込んでステップＳＴ２に進む。
【００５７】
ステップＳＴ２で画像処理装置３０は、取り込み終了であるか判別する。画像処理装置３０は、動作推移静止画像の生成に用いるフレーム画像と被写体情報の取り込みを終了した場合にステップＳＴ３に進み、取り込みが終了していない場合はステップＳＴ１に戻り、フレーム画像と被写体情報の取り込みを継続する。このように、取り込みを終了してからステップＳＴ３に進むと、後述するように合成対象画像の幅や合成する画像のフレームを調整して、動作推移静止画像の幅を所望のサイズとすることができる。なお、フレーム画像と被写体情報の取り込みを行う毎に、合成済画像に合成される合成対象画像の幅を決定する処理と、決定された幅の合成対象画像を合成済画像に対して所定の方向に並ぶように合成する処理を行えば、フレーム画像が入力される毎に更新される動作推移画像を出力することができる。
【００５８】
ステップＳＴ３で画像処理装置３０は、キーフレーム判別を行う。画像処理装置３０は、キーフレーム判別部３１１によって、取り込まれているフレーム画像から、後述する合成フレーム数を事前設定値とした場合に、合成に用いるキーフレームのフレーム画像を判別してステップＳＴ４に進む。
【００５９】
ステップＳＴ４で画像処理装置３０は、合成領域を設定する。画像処理装置３０は、合成領域設定部３１２によって、キーフレームについて動作推移有効領域と残存背景領域を設定してステップＳＴ５に進む。
【００６０】
ステップＳＴ５で画像処理装置３０は、合成フレーム数を算出する。画像処理装置３０は、合成フレーム数算出部３１３によって、例えばキーフレームの残存背景領域を繋げて動作推移静止画像を生成する場合、動作推移静止画像が所望の画枠サイズに最も近くなる合成フレーム数を算出してステップＳＴ６に進む。
【００６１】
ステップＳＴ６で画像処理装置３０は、合成フレーム数の変更がないか判別する。画像処理装置３０は、ステップＳＴ５で算出された合成フレーム数が予め設定されている合成フレーム数に対して変更されているか、または合成フレーム数の算出が繰り返されて、ステップＳＴ５で算出された合成フレーム数が前回算出された合成フレーム数に対して変更されているか判別する。画像処理装置３０は、合成フレーム数が変更されていない場合にステップＳＴ７に進む。また、画像処理装置３０は、合成フレーム数が変更された場合には、ステップＳＴ３に戻り、算出した合成フレーム数に応じてキーフレームの判別を再度行い、ステップＳＴ４およびステップＳＴ５の処理を繰り返す。なお、ステップＳＴ６で画像処理装置３０は、合成フレーム数の変更が所定回数繰り返された場合にステップＳＴ７に進むことで、合成フレーム数の変更が繰り返されてステップＳＴ７の処理が行われなくなってしまうことを防止する。
【００６２】
ステップＳＴ７で画像処理装置３０は、幅調整を行う。画像処理装置３０は、幅調整部３１４によって、動作推移静止画像が所望の画枠サイズとなるように、キーフレームにおける残存背景領域の領域幅を調整する。また、幅調整部３１４は、調整後の残存背景領域を示す合成処理情報を生成してステップＳＴ８に進む。
【００６３】
ステップＳＴ８で画像処理装置３０は、画像抽出を行う。画像処理装置３０は、キーフレームから動作推移有効領域の画像を抽出してステップＳＴ９に進む。
【００６４】
ステップＳＴ９で画像処理装置３０は、レイヤー分離処理を行う。画像処理装置３０は、レイヤー分離部３２１によって、被写体情報に基づきレイヤー分離処理を行い、キーフレームの動作推移有効領域を例えば動被写体レイヤーと背景レイヤーに分離してステップＳＴ１０に進む。
【００６５】
レイヤー分離は、レイヤー毎の画像を作成してメモリ領域上に記憶してもよく、レイヤー分離情報を作成することでレイヤー分離を行うようにしてもよい。このレイヤー分離情報は、前回のキーフレームと今回のキーフレームの動作推移有効領域の重なる部分、すなわち合成対象領域における各画素について、どのレイヤーが最終的に有効であるかを画素値で表現した情報である。
【００６６】
図４は、レイヤー分離情報を例示している。例えば、今回のキーフレームＫＦnにおける動作推移有効領域Ｗａの動被写体領域ｍの画素のレイヤー分離情報を判定値「１」とする。また、キーフレームＫＦnの残存背景領域Ｗｂにおける背景領域（動被写体領域ｍを除いた領域（破線のハッチングで示す領域））の画素のレイヤー分離情報を判定値「３」とする。さらに、キーフレームＫＦnの動作推移有効領域Ｗａにおいて、残存背景領域Ｗｂを除いた領域の背景領域（動被写体領域ｍを除いた領域（クロスハッチングで示す領域））の画素のレイヤー分離情報を判定値「５」とする。また、合成済画像における最後の合成で用いたキーフレームＫＦn-1については、このキーフレームＫＦn-1を合成する際の判定値に「１」を加えた値とする。すなわち、前回のキーフレームＫＦn-1における動作推移有効領域Ｗａの動被写体領域ｍの画素のレイヤー分離情報を判定値「２」とする。また、キーフレームＫＦn-1の残存背景領域Ｗｂにおける背景領域（破線のハッチングで示す領域）の画素のレイヤー分離情報を判定値「４」とする。さらに、キーフレームＫＦn-1の動作推移有効領域Ｗａにおいて、残存背景領域Ｗｂを除いた領域の背景領域（クロスハッチングで示す領域）の画素のレイヤー分離情報を判定値「６」とする。なお、レイヤー分離情報の画素値が小さい画素は優先度が高く、画素値の大きい画素は優先度が低いとする。
【００６７】
ステップＳＴ１０で画像処理装置３０は、レイヤー加工処理を行う。画像処理装置３０は、レイヤー加工部３２２によって、レイヤー合成に必要な加工を行いステップＳＴ１１に進む。例えば、加工処理としては、入力画像のサイズと合成結果の画像上での入力画像を反映させるサイズなどに応じて拡大縮小を行ったり、画像の回転などを行う。特にそのまま入力画像の各画素を合成結果に反映させる場合などは、拡大縮小や回転の処理は不要な場合もある。
【００６８】
ステップＳＴ１１で画像処理装置３０は、レイヤー合成処理を行う。画像処理装置３０は、レイヤー合成部３２３でレイヤー合成処理を行い、今回のキーフレームの合成対象画像と合成済画像から新たな合成済画像を生成してステップＳＴ１２に進む。レイヤー合成部３２３は、合成済画像に対して所定の方向に並ぶように今回のキーフレームの画像合成対象画像を合成する。レイヤー合成部３２３は、例えば合成済画像の残存背景領域に対して合成対象画像の残存背景領域を所定の方向に繋げて、合成済画像と合成対象画像のレイヤー合成処理を行う。
【００６９】
レイヤー合成部３２３は、合成済画像と合成対象画像のレイヤー合成処理において、今回のキーフレームの合成対象画像が合成済画像と重なりを生じる部分に対して優先度の高い画素を用いるようにする。例えば図４において、今回のキーフレームＫＦnの動被写体領域ｍの画素は判定値「１」であり、前回のキーフレームＫＦn-1の動被写体領域ｍの画素は判定値「２」である。したがって、今回のキーフレームＫＦnの動被写体領域ｍと前回のキーフレームＫＦn-1の動被写体領域ｍが重なりを生じる部分では、優先度の高い今回のキーフレームＫＦnの動被写体領域ｍの画素の画素値を新たな合成済画像の画素値とする。また、前回のキーフレームＫＦn-1の動被写体領域ｍの画素は判定値「２」であり、今回のキーフレームＫＦnの残存背景領域Ｗｂにおける背景領域の画素は判定値「３」である。したがって、今回のキーフレームＫＦnの残存背景領域Ｗｂにおける背景領域と前回のキーフレームＫＦn-1の動被写体領域ｍとの重なり部分では、優先度の高い前回のキーフレームＫＦn-1の動被写体領域ｍの画素の画素値を、新たな合成済画像の画素値とする。さらに、今回のキーフレームＫＦnの背景領域と前回のキーフレームＫＦn-1の背景領域が重なりを生じる部分についても同様に処理を行う。レイヤー合成部３２３は、このような処理を行い、今回のキーフレームＫＦnにおける残存背景領域Ｗｂの画素の画素値と前回のキーフレームＫＦn-1における残存背景領域Ｗｂの画素の画素値を新たな合成済画像の画素値として用いる。すなわち、新たな合成済画像は、キーフレームにおける残存背景領域の背景が残存した画像となる。なお、新たな合成済画像は、次のキーフレーム画像を合成する際の合成済画像となる。
【００７０】
このように、レイヤー分離情報の判定値に応じて今回のキーフレーム画像または合成済画像の画素値を選択して用いることで、優先順位に沿った合成が行われた新たな合成済画像を生成できる。
【００７１】
ステップＳＴ１２で画像処理装置３０は、全フレームの合成終了であるか判別する。画像処理装置３０は、全てのキーフレームについて合成が完了したか判別する。画像処理装置３０は、合成が完了していないキーフレームが残っている場合はステップＳＴ１３に進み、全てのキーフレームについて合成が完了した場合はステップＳＴ１４に進む。
【００７２】
ステップＳＴ１３で画像処理装置３０は、前回の合成済画像の更新を行う。画像処理装置３０は、合成画像更新保持部３４に記憶されている合成済画像をステップＳＴ１１で生成した新たな合成済画像で更新してステップＳＴ９に戻る。
【００７３】
ステップＳＴ１４で画像処理装置３０は、合成済画像の出力を行う。画像処理装置３０は、画像合成部３２で最終的に得られた合成済画像の画像信号を出力画像の画像信号として画像出力部３３から出力デバイス４１等に出力する。
【００７４】
これにより本例の画像処理装置１によって、１枚の動作推移静止画像の画像データが生成され、出力されたことになる。
【００７５】
なお、レイヤー分離情報の生成は、図４に示す優先度に限られない。例えば、キーフレームの背景領域の優先度を変更して、例えば今回のキーフレームにおける動作推移有効領域Ｗａの背景領域の優先度を高くすれば、合成済画像では今回のキーフレームにおける動作推移有効領域の背景領域を表示させることも可能である。
【００７６】
次に、画像選択部３１、画像合成部３２、画像出力部３３、合成画像更新保持部３４により実行される動作推移画像の生成処理の具体例を説明する。
【００７７】
キーフレーム判別部３１１は、動作推移の軌跡として同一の静止画に残される時間軸の異なる複数の画像であるキーフレーム画像を、事前設定値の数だけ判定する。また、キーフレーム判別部３１１は、後述する合成フレーム数算出部３１３で合成フレーム数すなわち合成に用いるキーフレームの数が調整された場合、調整後の合成フレーム数に応じてキーフレームを判別しなおす。
【００７８】
合成領域設定部３１２は、被写体情報に基づき入力フレーム毎に動作推移有効領域と残存背景領域を設定する。例えば、合成領域設定部３１２は、動作の観察対象である動被写体の全体を含む最小の矩形領域を動作推移有効領域として設定する。また、特定の状態を示す領域として例えば前述した動被写体の全体のうちの所望の状態の部位または動き部分を示す矩形領域を残存背景領域として設定する。この場合、残存背景領域は動作推移有効領域内の位置となる。動作推移有効領域と残存背景領域の設定は、静止画を生成する場合、キーフレームに対してのみ行われる。図５，６は、動作推移有効領域と残存背景領域を説明するための図である。例えば、図５，６の（Ａ）は、一部のキーフレームを例示している。また、図５，６の（Ｂ）は、キーフレームにおいて動作推移を観察する動被写体の画像を例示している。
【００７９】
合成領域設定部３１２は、被写体情報の生成において動被写体検出と人体検出や人体部位検出が行われている場合、例えば図５の（Ｃ）に示すように、動被写体において人体検出マスクを行い、例えば斜線で示すように頭の位置や胴体部分を検出する。次に、合成領域設定部３１２は、図５の（Ｄ）に示すように、体全体（動被写体全体）を含む最小幅矩形領域を動作推移有効領域Ｗａとして設定して、人体検出マスクによって検出した頭の位置や胴体部分を含む矩形領域を、残存背景領域Ｗｂとして設定する。
【００８０】
合成領域設定部３１２は、被写体情報の生成において動被写体検出と人体検出や人体部位検出が行われている場合、例えば図５の（Ｃ）に示すように、動被写体において人体検出マスクを行い、例えば斜線で示すように頭の位置や胴体部分を検出する。次に、合成領域設定部３１２は、図５の（Ｄ）に示すように、体全体（動被写体全体）を含む最小幅矩形領域を動作推移有効領域Ｗａとして設定して、人体検出マスクによって検出した頭の位置や胴体部分を含む矩形領域を残存背景領域Ｗｂとして設定する。
【００８１】
また、合成領域設定部３１２は、残存背景領域の設定において、被写体累積面積マスクを用いてもよい。被写体累積面積マスクとは、被写体部分の面積が、左右(上下)について所定の割合となる位置をマスクの境界としている。
【００８２】
図６は、被写体累積面積マスクを説明するための図である。被写体累計面積マスクでは、図６の（Ｃ）に示すようにマスクの境界をＮａ％とした場合、左右の領域が全動被写体面積のそれぞれ（Ｎａ／２）％を占め、中央部分が動被写体面積（１００−Ｎａ）％となる。ここで、図６の（Ｄ）に示すようにＮａ％の位置で残存背景領域Ｗｂを設定し、０％の位置で動作推移有効領域Ｗａを設定している。
【００８３】
また、合成領域設定部３１２は、所望の動き部分が含まれるように残存背景領域を設定してもよい。例えばピッチング動作において、合成領域設定部３１２は、人体部位や動きのある被写体の検出結果に基づき、手や腕のように動きの大きい部分が含まれるように残存背景領域を設定してもよい。
【００８４】
また、閾値Ｔｈを利用して動作推移有効領域を設定すれば、ノイズを除去することが可能となる。例えば、図７の（Ａ）に示すように背景の一部分ＭＰで動きを生じた場合、図７の（Ｂ）に示すように、この部分ＭＰを含むように動作推移有効領域Ｗａが設定されてしまう。しかし、部分ＭＰの面積よりも閾値Ｔｈを大きく設定すれば、図７の（Ｃ）に示すように、この部分ＭＰを含まないように動作推移有効領域Ｗａを設定できる。
【００８５】
また、動作推移有効領域は、図８の（Ａ）に示すように、動被写体全体を含む最小幅矩形領域として設定する場合に限らず、図８の（Ｂ）に示すように、最小幅矩形領域より広く動被写体に対して余裕を持たせた領域としてよい。さらに、残存背景領域は被写体の状態に応じて設定してもよい。このようにして、合成領域設定部３１２は、動作推移有効領域と残存背景領域を決定する。
【００８６】
合成フレーム数算出部３１３は、合成フレーム数の自動算出は様々な手法が考えられるが、ここでは繰り返し処理を用いた手法について説明する。
【００８７】
繰り返し処理を用いた手法では、最初に合成フレーム数の初期値を用いて各キーフレームの残存背景領域が連結方向に繋げるように並べて合成済画像の連結方向の幅を算出する。この場合の合成済画像の幅が、画枠サイズとなることは極めて稀であり、フレーム数の増減が必要となる。したがって、合成フレーム数算出部３１３は、フレーム数について小数単位で過不足を計算して、計算結果を例えば四捨五入してフレームの必要増減数とする。また、合成フレーム数算出部３１３は、合成済画像を多段例えば２段で表示する場合は、上下それぞれにおいて過不足を計算して、計算結果からフレームの必要増減数を算出する。なお、合成フレーム数の初期値は、予め設定されている固定値を用いても良くユーザ等によって指定された値を用いてもよい。例えば動作推移画像を表示する表示領域の連結方向のサイズが１９２０画素でキーフレーム数が２１フレームであり、動作推移有効領域Ｗａを４８０画素、残存背景領域Ｗｂを１６０画素、残存背景領域Ｗｂは動作推移有効領域Ｗａの中央位置とする。この場合、合成フレーム数が１０フレームであると合成済画像の幅は１９２０画素となる。したがって、合成フレーム数の初期値は１０フレームとする。
【００８８】
図９は、合成フレーム数の算出を説明するための図であり、各キーフレームの残存背景領域を水平方向に順に並べて合成する場合を示している。合成フレーム数の算出では、動作推移静止画像のサイズが所望の画枠サイズＷＧとならない場合、超過分または不足分が最も少なくなるように合成フレーム数の増減を行う。例えば枠の過不足分について、小数以下を四捨五入して削減する枠数を決定する。図９の（Ａ）に示すように、例えば上段が１．３枠分、下段が０．６枠分超過している場合、上段と下段のそれぞれについて１フレームだけ削減する。また、不足分を生じる場合、画枠サイズＷＧの境界に最も近い左側のフレームの残存背景領域を１枠サイズとしたとき、不足分が何枠分に相当するか算出して、小数以下を四捨五入して増加させる枠数を決定する。例えば図９の（Ｂ）に示すように、上段が１．１枠分、下段が０．３枠分不足している場合、上段は１フレームだけ増加させて、下段は現在の枠数とする。このようにして合成フレーム数の算出を行う。
【００８９】
合成フレーム数算出部３１３で合成フレーム数を変更した場合、キーフレーム判別部３１１は合成フレーム数の変更に応じてキーフレームを再度判別する。このため、合成フレーム数算出部３１３は、変更後の合成フレーム数をキーフレーム判別部３１１に出力して、新たにキーフレームの判別を行う。
【００９０】
このようにしてキーフレーム数が変化すると、キーフレームとして使用するフレームが変化する。これはキーフレームそのものが静止画の生成に用いる合成フレーム数によって決定されるものであり、合成フレーム数の変化はキーフレームの変更を意味するからである。これによって再び選出されたキーフレームは、合成フレーム数の変更前に用いたキーフレームとは残存背景領域が異なる場合がある。したがって、合成領域設定部３１２は、新たなキーフレームに対して動作推移有効領域や残存背景領域の算出を行い、算出結果に基づき、合成フレーム数算出部３１３で合成フレーム数の算出を再度繰り返す。
【００９１】
以下同様の処理を行い、合成フレーム数の変更が無くなった場合のフレーム数を、画像合成における合成フレーム数とする。なお、合成フレーム数の変更が無くならない場合は、所定回数処理を繰り返したときのフレーム数を合成フレーム数とする。
【００９２】
幅調整部３１４は、合成後の画像サイズが所望の画枠サイズＷＧとなるように画像幅を調整する。上述のように合成フレーム数を算出しても動作推移静止画像のサイズは、所望の画枠サイズＷＧと等しくならない場合がある。したがって、幅調整部３１４は、残存背景領域の領域幅を調整して、動作推移静止画像の画像サイズを所望の画枠サイズＷＧと等しくする。
【００９３】
図１０は、幅調整部の動作を説明するための図である。最適な合成フレーム数を算出して画像合成を行う場合、所望の画枠サイズＷＧと等しくならない場合がある。図１０の（Ａ）では、出力画像である動作推移静止画像の画像サイズが所望の画枠サイズＷＧを超過している場合を例示している。このような場合、幅調整部３１４は、残存背景領域の領域幅の調整を行い、図１０の（Ｂ）に示すように、残存背景領域の領域幅を狭くして、動作推移静止画像の画像サイズを所望の画枠サイズＷＧとほぼ等しくする。
【００９４】
残存背景領域の幅調整手法は様々なものが考えられるが、ここでは簡単な２つの手法について述べる。均一変更方法では、過不足分の画像幅を各フレームで均一に調整して合成後の画像サイズを所望の画枠サイズＷＧとほぼ等しくする。すなわち、幅調整部３１４は、式（１）の演算を行い、各フレームに共通な変更枠幅ｄＷｉを算出して幅調整を行う。なお、式（１）において、Ｗsubは幅の過不足分、ｎwkは枠数を示している。このような均一変更方法を用いれば、各フレームで均一に調整が行われることから自然な微調整が可能となる。
【００９５】
【数１】
2013125277.tif 000003
【００９６】
幅比例変更方法では、各フレームの残存背景領域の領域幅に比例して過不足分の画像幅を分配して合成後の画像サイズを所望の画枠サイズＷＧとほぼ等しくする。すなわち、幅調整部３１４は、式（２）の演算を行い、ｊ番目のフレームの変更枠幅ｄＷｊを算出して幅調整を行う。なお、式（２）において、Ｗsubは幅の過不足分、Ｗｊはｊ番目のフレームの画像幅、ｎwkは合成フレーム数を示している。このような幅比例変更方法を用いれば、幅の小さいフレームには影響が少なくなり、より変化の目立たない自然な微調整ができる。
【００９７】
【数２】
2013125277.tif 000004
【００９８】
＜３．動作推移画像の第２の生成動作＞
上述の第１の動作では、動作推移静止画像の画像サイズが所望の画枠サイズＷＧとなるように合成フレーム数や画像幅を調整する場合について説明した。次に第２の動作では、各フレーム画像から動作推移有効領域と残像背景領域を被写体状態に応じて設定して、残像背景領域を繋げて合成する処理をフレーム順に行うことで、動作推移を示す動作推移動画像を生成する場合について説明する。なお、動作推移動画像の生成では、フレーム順に合成処理を行って得られた画像の表示を行うことから、最終的に得られる合成済画像の画像サイズを所望の画枠サイズとほぼ一致させるための合成フレーム数の算出や画像幅の調整を事前に行っておく。
【００９９】
図１１は、第２の生成動作を示すフローチャートである。ステップＳＴ２１で画像処理装置３０は、フレーム画像と被写体情報の取り込みを行う。画像処理装置３０は、画像入力部２１から供給されるフレーム画像、被写体情報生成部２２で生成された被写体情報、被写体情報入力部２３で取得した被写体情報を画像選択部３１で取り込んでステップＳＴ２２に進む。
【０１００】
ステップＳＴ２２で画像処理装置３０は、キーフレーム判別を行う。画像処理装置３０は、キーフレーム判別部３１１によって、キーフレームのフレーム画像を判別してステップＳＴ２３に進む。
【０１０１】
ステップＳＴ２３で画像処理装置３０は、合成領域を設定する。画像処理装置３０は、合成領域設定部３１２によって、各フレームについて動作推移有効領域と残存背景領域を算出してステップＳＴ２４に進む。
【０１０２】
ステップＳＴ２４で画像処理装置３０は、画像抽出を行う。画像処理装置３０は、フレーム画像から動作推移有効領域の画像を抽出してステップＳＴ２５に進む。
【０１０３】
ステップＳＴ２５で画像処理装置３０は、レイヤー分離処理を行う。画像処理装置３０は、レイヤー分離部３２１によって、被写体情報に基づきレイヤー分離処理を行い、キーフレームの動作推移有効領域を動被写体レイヤーと背景レイヤーに分離してステップＳＴ２６に進む。
【０１０４】
レイヤー分離は、レイヤー毎の画像を作成してメモリ領域上に記憶してもよく、レイヤー分離情報を作成することでレイヤー分離を行うようにしてもよい。このレイヤー分離情報は、前回のキーフレームと今回のキーフレームの動作推移有効領域の重なる部分、すなわち合成対象領域における各画素について、どのレイヤーが最終的に有効であるかを画素値で表現した情報である。
【０１０５】
ステップＳＴ２６で画像処理装置３０は、レイヤー加工処理を行う。画像処理装置３０は、レイヤー加工部３２２によって、レイヤー合成に必要な加工を行いステップＳＴ２７に進む。例えば、加工処理としては、入力画像のサイズと合成結果の画像上での入力画像を反映させるサイズなどに応じて拡大縮小を行ったり、画像の回転などを行う。特にそのまま入力画像の各画素を合成結果に反映させる場合などは、拡大縮小や回転の処理は不要な場合もある。
【０１０６】
ステップＳＴ２７で画像処理装置３０は、前回の合成済画像の読み出しを行う。画像処理装置３０は、レイヤー合成部３２３によって、合成画像更新保持部３４に記憶されている前回の合成済画像を読み出してステップＳＴ２８に進む。
【０１０７】
ステップＳＴ２８で画像処理装置３０は、レイヤー合成処理を行う。画像処理装置３０は、レイヤー合成部３２３でレイヤー合成処理を行い、今回のフレームの合成対象画像と合成済画像から新たな合成済画像を生成してステップＳＴ２９に進む。レイヤー合成部３２３は、合成済画像に対して所定の方向に並ぶように今回のキーフレームの画像合成対象画像を合成する。レイヤー合成部３２３は、例えば合成済画像の残存背景領域に対して合成対象画像の残存背景領域を所定の方向に繋げて、合成済画像と合成対象画像のレイヤー合成処理を行う。
【０１０８】
レイヤー合成部３２３は、合成済画像と合成対象画像のレイヤー合成処理において、今回のフレームの合成対象画像が合成済画像と重なりを生じる部分に対して優先度の高い画素を用いるようにする。
【０１０９】
ステップＳＴ２９で画像処理装置３０は、合成済画像を出力する。画像処理装置３０は、画像合成部３２で生成した合成済画像の画像信号を画像出力部３３から出力デバイス４１等に出力してステップＳＴ３０に進む。
【０１１０】
ステップＳＴ３０で画像処理装置３０は、今回の入力がキーフレームであるか判別する。画像処理装置３０は、今回のフレーム画像がキーフレーム画像と判別されている場合はステップＳＴ３１に進み、キーフレーム画像と判別されていない場合はステップＳＴ３２に進む。
【０１１１】
ステップＳＴ３１で画像処理装置３０は、前回の合成済画像を更新する。画像処理装置３０は、画像合成部３２で生成した新たな合成済画像を用いて、合成画像更新保持部３４に記憶されている前回の合成済画像を更新してステップＳＴ３２に進む。
【０１１２】
ステップＳＴ３２で画像処理装置３０は、全フレームの合成終了であるか判別する。画像処理装置３０は、全てのフレームについて合成が完了したか判別する。画像処理装置３０は、合成が完了していないフレームが残っている場合はステップＳＴ２１に戻り、全てのフレームについて合成が完了した場合は処理を終了する。
【０１１３】
図１２は、第２の生成動作で生成される画像を例示した図である。図１２の（Ａ）は、合成済画像（キーフレーム画像から抽出した画像または合成画像更新保持部３４に記憶されている合成済画像）ＧＡを示している。この合成済画像ＧＡに対して、次のキーフレーム画像が合成されるまでは、キーフレームでないフレームから抽出された合成対象画像が残存背景領域を連結させて合成される。例えば図１２の（Ｂ）に示すように、合成済画像ＧＡに対して、キーフレームでないフレームから抽出された合成対象画像Ｇ1が残存背景領域を連結させて合成される。また、次のフレームでは、合成対象画像Ｇ1に代えて、図１２の（Ｃ）に示すように、合成済画像ＧＡに対して、キーフレームでない次のフレームから抽出された合成対象画像Ｇ2が残存背景領域を連結させて合成される。
【０１１４】
その後、次のキーフレームから画像が抽出されると、合成済画像に対して、次のキーフレームから抽出された合成対象画像が残存背景領域を連結させて合成される。また、合成済画像は次のキーフレームから抽出した合成対象画像が合成されている画像に更新される。例えば図１２の（Ｄ）に示すように、合成済画像ＧＡに対して、キーフレームから抽出された合成対象画像ＧmKFが残存背景領域を連結させて合成されて、新たな合成済画像ＧＢとされる。また、図１２の（Ｅ）に示すように、合成済画像ＧＢに対して、キーフレームでない次のフレームから抽出された合成対象画像Ｇ(m+1)が残存背景領域を連結させて合成される。
【０１１５】
したがって、動作推移を示す画像を動画として表示できるようになる。また、動作推移画像では、キーフレームから抽出された画像が動被写体の動作履歴を示す画像として残される。
【０１１６】
＜４．画像処理装置の他の動作＞
上述の第１および第２の動作では、画像の合成方向が水平方向である場合について説明した。しかし、合成領域設定や幅調整、画像の合成方向は上述の動作に限られない。
【０１１７】
合成領域設定は、被写体状態に応じて領域を設定する場合、人体検出マスクや面積累積マスクを用いる方法に代えて、他の方法を用いることができる。図１３は、合成領域の他の設定方法を説明するための図である。なお、比較のため、図１３の（Ａ）は、例えば人体検出マスクを用いて設定された残存背景領域を示している。
【０１１８】
図１３の（Ｂ）は、中心位置を設定して、中心位置を基準に残存背景領域を設定した場合を例示している。例えば、中心位置（一点鎖線で示す）は、人体検出において検出された顔の位置とする。また、中心位置から例えば右側に位置する領域と左側に位置する領域で、独立に面積累積マスクを用いて残像背景領域の境界を決定するようにしてもよい。このようにすれば、中心位置を基準として分割した領域毎に残像背景領域の境界を設定できることから、自由度の高い領域設定を行うことができる。
【０１１９】
図１３の（Ｃ）は、被写体の動きに応じて残存背景領域を設定した場合を例示している。例えば人体の部位検出を行い部位毎の動きを判別して、動きの速い部位（例えばボールを握っている手の部分）が残存背景領域に含まれるように領域設定を行う。このようにすれば、画像合成において動きの速い部位が次のフレーム画像（の一部）で隠されてしまうことを防止できる。
【０１２０】
また、合成領域設定部３１２は、被写体情報の生成において物体検出が行われている場合、所望の物体に応じて動作推移有効領域を設定してもよい。例えば、テニスの撮像画像を用いて動作推移画像を生成する場合、物体検出によってラケットを検出することで、人体だけでなくラケットも含まれるように動作推移有効領域を設定することができる。また、ラケットを検出するマスクを用いて、検出したラケットを含むように残存背景領域を設定してもよい。
【０１２１】
幅調整部３１４は、被写体の状態に応じて残存背景領域Ｗｂの領域幅を制御してもよい。図１４は、他の幅調整方法を説明するための図である。図１４は、人体部位の検出結果を利用して幅調整を行う場合を示している。幅調整部３１４は、出力画像の画像幅を広くして所望の幅とする場合、図１４の（Ａ）に示すように、動作推移で注目する人体部位（例えばボールを握っている手の部分）が残存背景領域に含まれるように、すなわち注目する部位がより多く残るように幅調整を行う。また、幅調整部３１４は、出力画像の画像幅を狭くして所望の幅とする場合、図１４の（Ｂ）に示すように、動作推移で注目する部位が残存背景領域から外れないように、すなわち注目する部位がより多く含まれるように幅調整を行う。このような幅調整を行うようにすれば、注目する人体部位等を合成済画像でより確実に表示させることができる。
【０１２２】
さらに、幅調整部３１４は、図１５に示すように、注目キーフレームからの時間的距離（フレーム間隔）に応じて、残存背景領域Ｗｂの領域幅を制御してもよい。注目キーフレームは、上述のようにユーザが指定してもよく、画像認識によって被写体が所望の状態等となったキーフレームを自動的に判別して、この判別したキーフレームを注目キーフレームと決定する。
【０１２３】
幅調整部３１４は、画像幅を拡大する場合、例えば図１５の（Ａ）に示すように、注目キーフレームや注目キーフレームとの時間的距離が短いフレーム（注目キーフレームに近接しているフレームすなわちフレーム間隔が短いフレーム）の調整幅を大きくして、残存背景領域Ｗｂの領域幅を調整前よりも大きくする。また、幅調整部３１４は、画像幅を縮小する場合、例えば図１５の（Ｂ）に示すように、注目キーフレームとの時間的距離が長いフレーム（注目フレームから離れているフレームすなわちフレーム間隔が長いフレーム）の調整幅を大きくして、残存背景領域Ｗｂの領域幅を調整前よりも大きくする。このようにすれば、注目キーフレームの近傍では、残像背景領域を広く確保できるので、注目するタイミング部分の動作推移を合成済画像で確認しやすくなる。
【０１２４】
さらに、幅調整部３１４は、ユーザによって注目キーフレームが指定された場合または画像認識結果を利用して注目キーフレームが決定された場合、注目キーフレームの残存背景領域Ｗｂの領域幅を注目キーフレームとされる前よりも大きくしてもよい。このようにすれば、動作推移画像において例えば所望する被写体の状態を示す画像部分の領域が狭く観察等を容易に行えない場合、ユーザが所望の状態を示す画像部分を注目キーフレームと指示すれば、この部分の観察等を容易に行えるようになる。画像の合成方向は、水平方向に限らず例えば垂直方向であってもよい。例えば、柔道の寝技の場合等のように、横方向に長い被写体を上下方向に合成してもよい。さらに、被写体情報生成部２２からの被写体情報に基づき、合成方向を直方向のいずれとするか判定するようにしてもよい。
【０１２５】
また、被写体の状態に応じて合成位置や合成方向を調整してもよい。例えば動作推移有効領域から背景領域を除いて動被写体部分を抽出する。さらに、抽出した動被写体画像を動被写体の状態例えば動きに応じて貼り付けるようする。図１６は、動被写体の状態に応じて合成位置や合成方向を調整した場合を例示している。例えば、テニスのラケットの動きを観察する場合、ラケットは、体を軸として円弧状に移動する。したがって、動被写体の状態例えば動きに応じて合成方向を矢印のように調整して、ラケットの画像を示す残存背景領域を円弧状に合成することで、より実際の動きに近い動作推移画像を生成できるようになる。
【０１２６】
また、第１の生成動作を用いて、動作推移を示す動画の生成を行うようにしてもよい。この場合、図３のステップＳＴ１からステップＳＴ１１の処理を行い、生成した合成済画像を出力する。次に、ステップＳＴ９に戻り、生成した合成済画像と次のキーフレームの合成対象画像を用いてステップＳＴ９乃至ステップＳＴ１１の処理を行い、新たな合成済画像を生成して出力する。このような処理を行えば、動作推移を示す動画を生成できる。
【０１２７】
また、第２の生成動作を用いて、動作推移を示す静止画の生成を行うようにしてもよい。この場合、図１１のステップＳＴ２８からステップＳＴ３０に進み、ステップＳＴ３２で取り込みの終了と判別されたとき、合成済画像の出力を行う。取り込みの終了時には、各キーフレームの合成対象画像の合成が完了している。したがって、出力される合成済画像は、動作推移を示す静止画となる。
【０１２８】
また、動作推移画像の生成では、上述のように時間方向に画像を合成して最新の状態を手前に表示する場合に限らず、逆時間方向に合成を行うようにして元の状態を手前に表示するようにしてもよい。なお、この場合の連結方向は、時間方向に画像を合成する場合の連結方向に対して逆方向とする。
【０１２９】
このように、本技術によれば、例えば野球の投球等のように動作中に必要な枠幅が動的に変化する対象であっても、動作推移画像を容易に生成することが可能となり、ユーザにとって見やすい動作推移画像を容易に生成できる。また、撮像時に、モニタ画面上にアドバイスを表示して、限定した撮影環境(ズーム・撮影距離など)で行われるようにしなくとも、画像に応じて自動的に合成領域を設定できるので、利便性を大きく向上できる。
【０１３０】
さらに、明細書中において説明した一連の処理は、上述のようにハードウェアまたはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１３１】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１３２】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３３】
なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
【０１３４】
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１）  入力フレーム毎に、被写体情報に応じて、合成済画像に合成される合成対象画像の幅を決定する画像選択部と、
前記入力フレームのうちの前記決定された幅の合成対象画像を、前記合成済画像に対して所定の方向に並ぶように前記合成対象画像に合成する画像合成部と
を備える画像処理装置。
（２）  前記画像選択部は、
前記被写体情報に応じて、前記入力フレームのうちの動被写体レイヤーと背景レイヤーの少なくとも一方の幅を決定する（１）に記載の画像処理装置。
（３）  前記画像選択部は、
前記入力フレームの前記動被写体レイヤーのうち、前記被写体情報が特定の状態を示す領域を注目領域として抽出して、前記注目領域の領域幅を、前記合成済画像に対して、前記入力フレームの前記背景レイヤーを合成する幅として決定する（２）に記載の画像処理装置。
（４）  前記画像選択部は、
前記入力フレームの前記動被写体レイヤーにおける動被写体の幅に基づいて、前記合成済画像に対して、前記入力フレームの前記動被写体レイヤーを合成する幅を決定する（２）または（３）のいずれかに記載の画像処理装置。
（５）  前記動被写体は人体であり、前記画像選択部は、人体検出マスクを用いて人体の所望の部位を検出して、該所望の部位が含まれるように前記注目領域の領域幅を決定する（３）に記載の画像処理装置。
（６）  前記画像選択部は、動被写体部分の累積面積が所定の割合となるように累積面積マスクを用いて前記注目領域の領域幅を決定する（３）に記載の画像処理装置。
（７）  前記画像選択部は、画枠サイズと前記合成が行われた画像の画像サイズに応じて、合成する画像のフレーム数を決定する（２）乃至（６）のいずれかに記載の画像処理装置。
（８）  前記画像選択部は、前記入力フレームからキーフレームを決定して、前記画枠サイズと前記キーフレームの前記合成対象画像を合成して生成される画像の画像サイズに応じて合成する画像のフレーム数を変更する場合、変更後のフレーム数に応じて前記キーフレームを再度決定する（７）に記載の画像処理装置。
（９）  前記画像選択部は、
前記合成対象画像の前記動被写体レイヤーにおいて、所望の動被写体の注目する領域を含む注目領域として、前記合成済画像において最後に合成された画像の注目領域に対して、前記合成対象画像の注目領域を繋げて前記合成を行うことで生成される画像のサイズが前記画枠サイズとほぼ一致するように、前記注目領域の領域幅を調整する（７）または（８）のいずれかに記載の画像処理装置。
（１０）  前記画像選択部は、前記合成を行うことで生成される画像のサイズが前記画枠サイズとほぼ一致するように、前記注目領域のそれぞれに対する幅の調整を均等の調整幅で行う（９）に記載の画像処理装置。
（１１）  前記画像選択部は、前記合成を行うことで生成される画像のサイズが前記画枠サイズとほぼ一致するように、前記注目領域のそれぞれに対する幅の調整を前記注目領域の領域幅に応じた調整幅で行う（９）に記載の画像処理装置。
（１２）  前記画像選択部は、前記注目領域の領域幅を縮小する場合、前記被写体情報に基づき、前記所望の動被写体の注目する領域がより多く残るように幅の調整を行い、前記注目領域の領域幅を拡大する場合、前記所望の動被写体の注目する領域がより多く含まれるように幅の調整を行う（９）に記載の画像処理装置。
（１３）  前記画像選択部は、前記注目領域の領域幅を縮小する場合、各フレーム画像の注目キーフレームに対するフレーム間隔が長くなるに伴いフレーム画像における調整幅を大きくして、前記注目領域の領域幅を拡大する場合、前記注目キーフレームのフレーム画像における調整幅を大きくして、または各フレーム画像の注目キーフレームに対するフレーム間隔が短くなるに伴いフレーム画像における調整幅を大きくする（９）に記載の画像処理装置。
（１４）  前記注目キーフレームは、ユーザによって指示されたキーフレームまたは前記被写体情報に基づいて決定したキーフレームである（１３）に記載の画像処理装置。
【産業上の利用可能性】
【０１３５】
この技術の画像処理装置と画像処理方法およびプログラムによれば、入力フレーム毎に、被写体情報に応じて、合成済画像に合成される合成対象画像の幅が決定される。また、入力フレームのうちの前記決定された幅の合成対象画像が、合成済画像に対して所定の方向に並ぶように合成対象画像に合成されて、被写体の動作推移を示す動作推移画像が生成される。このため、ユーザが被写体を含む領域をフレーム画像毎に指示する操作や、ユーザが画像の繋ぎ合わせの位置を指示する処理を行うことなく、被写体の状態に応じて画像の抽出や繋ぎ合わせを自動的に行うことが可能となり、所望の動作推移画像を容易に生成できるようになる。したがって、ビデオカメラやデジタルスチルカメラ、撮像機能を有する携帯電話やタブレットなどの携帯機器、撮像画像の画像信号を記録するサーバや画像信号の処理を行う編集装置、映像再生装置やコンピュータ装置等に適用できる。
【符号の説明】
【０１３６】
１０・・・システム、２１・・・画像入力部、２２・・・被写体情報生成部、２３・・・被写体情報入力部、３０・・・画像処理装置、３１・・・画像選択部、３２・・・画像合成部、３３・・・画像出力部、３４・・・合成画像更新保持部、４１・・・出力デバイス、２２１・・・物体検出部、２２２・・・動被写体検出部、３１１・・・キーフレーム判別部、３１２・・・合成領域設定部、３１３・・・合成フレーム数算出部、３１４・・・幅調整部、３１５・・・抽出処理部、３２１・・・レイヤー分離部、３２２・・・レイヤー加工部、３２３・・・レイヤー合成部
【図１】
2013125277.tif 000005
【図２】
2013125277.tif 000006
【図３】
2013125277.tif 000007
【図４】
2013125277.tif 000008
【図５】
2013125277.tif 000009
【図６】
2013125277.tif 000010
【図７】
2013125277.tif 000011
【図８】
2013125277.tif 000012
【図９】
2013125277.tif 000013
【図１０】
2013125277.tif 000014
【図１１】
2013125277.tif 000015
【図１２】
2013125277.tif 000016
【図１３】
2013125277.tif 000017
【図１４】
2013125277.tif 000018
【図１５】
2013125277.tif 000019
【図１６】
2013125277.tif 000020
【国際調査報告】
2013125277.tif 000021
2013125277.tif 000022
2013125277.tif 000023