(57)【要約】【課題】動作推移画像として、多数のフレーム画像を用いて十分な動作表現及び動被写体の動作範囲を的確に表現できるような動作推移画像を実現する。さらに動作推移画像を効果的な動画像とすることも実現する。【解決手段】  入力される複数のフレーム画像データについて合成処理を行って動作推移画像を生成する。このため合成処理部は、動被写体レイヤーと背景レイヤーとに分離されたフレーム画像データの入力に応じて、既存の合成画像データに、上記入力された最新のフレーム画像データを合成することで、各フレーム画像データの上記背景レイヤーが、所定の順に所定の方向に並んで配置される合成画像データを生成する合成処理部を備える。この場合に、合成処理部は、動被写体レイヤーが、対応する背景レイヤー及び隣接する背景レイヤーと重なる部分を有する状態で合成するとともに、動被写体レイヤーを、対応する背景レイヤーに隣接する背景レイヤーより優先して合成する。【選択図】図８
2011030244.tif 000002
【特許請求の範囲】
【請求項１】
フレーム画像データについて、画像内の動被写体レイヤーと背景レイヤーを分離するレイヤー分離部と、
フレーム画像データの入力に応じて、既存の合成画像データに、入力された最新のフレーム画像データを合成する画像合成処理を行って各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく合成画像データを生成するとともに、上記画像合成処理では、最新のフレーム画像データの画像と既存の合成画像データの画像の重複部分となる、上記既存の合成画像データの一部である合成対象領域に対し、入力された最新のフレーム画像データの動被写体レイヤーを第１に優先し、前回の画像合成処理に係るフレーム画像データの動被写体レイヤーを第２に優先し、入力された最新のフレーム画像データの背景レイヤーを第３に優先し、前回の画像合成処理に係るフレーム画像データの背景レイヤーを第４に優先した状態でレイヤー画像合成処理を行う合成処理部と、
を備える画像処理装置。
【請求項２】
所定数のフレーム画像データについて上記合成処理部で画像合成処理が行われた結果として得られる合成画像データを、動作推移静止画データとして出力する画像出力部をさらに備える請求項１に記載の画像処理装置。
【請求項３】
順次入力されるフレーム画像データから、合成画像の生成に用いるキーフレームを選択する入力画選択部をさらに備え、
上記合成処理部は、キーフレームとして選択されたフレーム画像データの入力に応じて画像合成処理を行っていくことで、動作推移静止画データを生成する請求項２に記載の画像処理装置。
【請求項４】
上記合成処理部でフレーム画像データの入力に応じた画像合成処理で生成される合成画像データを、次回の画像合成処理で用いる上記既存の合成画像データとして保持する合成画像保持部をさらに備える請求項３に記載の画像処理装置。
【請求項５】
フレーム画像データの入力毎に上記合成処理部で生成される合成画像データを、連続して、動作推移動画データとして出力する画像出力部をさらに備える請求項１に記載の画像処理装置。
【請求項６】
順次入力されるフレーム画像データから、合成画像の生成に用いるキーフレームを選択する入力画選択部と、
上記合成処理部で、上記キーフレームとされたフレーム画像データの入力に応じた画像合成処理で生成される合成画像データを、次回の画像合成処理で用いる上記既存の合成画像データとして保持する合成画像保持部と、
をさらに備える請求項５に記載の画像処理装置。
【請求項７】
上記合成処理部は、キーフレームとして選択されたか否かにかかわらず、各フレーム画像データの入力に応じて画像合成処理を行って合成画像データを生成していくことで、動作推移動画データを生成する請求項６に記載の画像処理装置。
【請求項８】
フレーム画像データについて、画像内の動被写体レイヤーと背景レイヤーを分離するレイヤー分離部と、
フレーム画像データの入力に応じて、既存の合成画像データに、入力された最新のフレーム画像データを合成する画像合成処理を行って各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく合成画像データを生成するとともに、上記画像合成処理では、最新のフレーム画像データの画像と既存の合成画像データの画像の重複部分となる、上記既存の合成画像データの一部である合成対象領域に対し、入力された最新のフレーム画像データの動被写体レイヤーが第１に優先され、前回の画像合成処理に係るフレーム画像データの動被写体レイヤーが第２に優先され、入力された最新のフレーム画像データの背景レイヤーが第３に優先され、前回の画像合成処理に係るフレーム画像データの背景レイヤーが第４に優先されて表示されるように、レイヤー画像合成処理を行う合成処理部と、
を備える画像処理装置。
【請求項９】
フレーム画像データについて、画像内の動被写体レイヤーと背景レイヤーを分離するレイヤー分離ステップと、
フレーム画像データの入力に応じて、既存の合成画像データに、入力された最新のフレーム画像データを合成する画像合成処理を行って各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく合成画像データを生成するともに、上記画像合成処理では、最新のフレーム画像データの画像と既存の合成画像データの画像の重複部分となる、上記既存の合成画像データの一部である合成対象領域に対し、入力された最新のフレーム画像データの動被写体レイヤーを第１に優先し、前回の画像合成処理に係るフレーム画像データの動被写体レイヤーを第２に優先し、入力された最新のフレーム画像データの背景レイヤーを第３に優先し、前回の画像合成処理に係るフレーム画像データの背景レイヤーを第４に優先した状態でレイヤー画像合成処理を行う合成処理ステップと、
を有する画像処理方法。
【請求項１０】
フレーム画像データについて、画像内の動被写体レイヤーと背景レイヤーを分離するレイヤー分離ステップと、
フレーム画像データの入力に応じて、既存の合成画像データに、入力された最新のフレーム画像データを合成する画像合成処理を行って各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく合成画像データを生成するともに、上記画像合成処理では、最新のフレーム画像データの画像と既存の合成画像データの画像の重複部分となる、上記既存の合成画像データの一部である合成対象領域に対し、入力された最新のフレーム画像データの動被写体レイヤーを第１に優先し、前回の画像合成処理に係るフレーム画像データの動被写体レイヤーを第２に優先し、入力された最新のフレーム画像データの背景レイヤーを第３に優先し、前回の画像合成処理に係るフレーム画像データの背景レイヤーを第４に優先した状態でレイヤー画像合成処理を行う合成処理ステップと、
を演算処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法、プログラムに関し、特に被写体の動作推移を表現する静止画や動画を得る技術に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特許第３４４９９９３号公報
【特許文献２】特開２００４−１８０２５９号公報
【特許文献３】特開２００７−２５９４７７号公報
【特許文献４】特開２００２−３５９７７７号公報
【背景技術】
【０００３】
例えばスポーツのフォーメーション確認などの用途で、例えば図３２に示すような「動作推移画像」が用いられる。
動作推移画像は動作を行う人または物（動被写体）をある特徴的な時間（キーフレーム）で切り出し、それを空間的に並べることで動作の推移を容易に認識することができる。これは、動被写体が空間的に移動していなくても、空間的に移動させた画像を敢えて生成するところに特徴がある。一般的には絵を描くことによって実現されるが、写真を手作業で切り抜いて並べることで実現されることもある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来、こういった動作推移画像を自動で生成する場合、ビデオカメラの映像や写真機の連写などで得られた複数フレームの画像のうちで、処理対象とするキーフレームの画像を抜き出す。そしてさらにキーフレーム中で対象被写体の部分を切り出し、それを並べるなどの手法で行っている。
しかし従来の動作推移画像では、動作範囲の拡大と動作推移の十分な表現性の両立が難しいという問題があった。
【０００５】
例えば図３２は、ゴルフのスイングを行う人をビデオカメラで撮像した動画データから抜き出したキーフレームＦＫ１〜ＦＫ２０を用いて動作推移画像を生成した例である。
１つの合成画像として、この図３２のように多数のキーフレーム画像を合成すると、当然ながら各キーフレーム画像を並べる際の１枚の切り出し幅ｗａは狭くならざるを得ない。
すると動被写体の動作範囲をカバーできなくなってしまい、目的であるはずの動被写体が一部切り取られてしまう。例えば図３２の各画像を見るとわかるように、スイング過程のタイミングによっては、ゴルフクラブの先端部分などが欠けた画像となっている。これは視覚的にも好ましくないと共に、フォームチェックなどの用途を考えても適切でない。
【０００６】
ここで、動被写体（例えばスイングしている人とゴルフクラブ）の一部が欠けないようにするには、切出し幅を広くする必要がある。
図３３は切出し幅ｗｂとして示すように、１つのキーフレーム画像からの切出し幅を広くした例であるが、この場合、１画像として並べることができるキーフレーム画像の数が少なくなる。例えば図３３は、図３２の２０個のキーフレームＦＫ１〜ＦＫ２０から８個のキーフレームＦＫ１，ＦＫ４，ＦＫ７，ＦＫ１０，ＦＫ１１，ＦＫ１４，ＦＫ１７，ＦＫ２０を抽出して生成した動作推移画像を示している。
この場合、各キーフレーム画像について見ると、動被写体（スイングしている人とゴルフクラブ）の一部が欠けないようにできる。しかしながら、１枚の画像上に並べることのできるキーフレーム数が減ることで、スムースに動きを表現する動作推移画像となりにくい。つまりフォームチェックなどとしての動作推移が十分に細かく表現できない。
【０００７】
この図３２，図３３の例のように、動被写体の動作範囲をすべてカバーしようと切り出し幅を広くすると、生成される最終画像内に存在するキーフレーム数が少なくなり動作推移の表現性に欠ける。反対に切り出し幅を狭くするとキーフレーム数を増やして時間的に細かく動被写体を表現できるが、動被写体の動作範囲をカバーできなくなってしまい、目的であるはずの動被写体が一部切り取られてしまうという不都合がある。
【０００８】
また、このような動作推移画像は、従来は複数のキーフレームを単純に並べて画像合成することによって、動作推移を表現する静止画とされるものであるが、より視覚効果の高い、動作推移画像を実現することも要望されている。
【０００９】
そこで本発明では、動作推移画像として、多数のフレーム画像を用いて十分な動作表現を可能とするとともに、動被写体の動作範囲を的確に表現できるような動作推移画像を実現することを目的とする。さらに本発明では、動作推移画像を効果的な動画像としても実現することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、フレーム画像データについて、画像内の動被写体レイヤーと背景レイヤーを分離するレイヤー分離部と、フレーム画像データの入力に応じて、既存の合成画像データに、入力された最新のフレーム画像データを合成する画像合成処理を行って各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく合成画像データを生成するとともに、上記画像合成処理では、最新のフレーム画像データの画像と既存の合成画像データの画像の重複部分となる、上記既存の合成画像データの一部である合成対象領域に対し、入力された最新のフレーム画像データの動被写体レイヤーを第１に優先し、前回の画像合成処理に係るフレーム画像データの動被写体レイヤーを第２に優先し、入力された最新のフレーム画像データの背景レイヤーを第３に優先し、前回の画像合成処理に係るフレーム画像データの背景レイヤーを第４に優先した状態でレイヤー画像合成処理を行う合成処理部とを備える。
また、所定数のフレーム画像データについて上記合成処理部で画像合成処理が行われた結果として得られる合成画像データを、動作推移静止画データとして出力する画像出力部をさらに備える。
また、順次入力されるフレーム画像データから、合成画像の生成に用いるキーフレームを選択する入力画選択部をさらに備え、上記合成処理部は、キーフレームとして選択されたフレーム画像データの入力に応じて画像合成処理を行っていくことで、動作推移静止画データを生成する。
また、上記合成処理部でフレーム画像データの入力に応じた画像合成処理で生成される合成画像データを、次回の画像合成処理で用いる上記既存の合成画像データとして保持する合成画像保持部をさらに備える。
【００１１】
また、フレーム画像データの入力毎に上記合成処理部で生成される合成画像データを、連続して、動作推移動画データとして出力する画像出力部をさらに備える。
またこの場合、順次入力されるフレーム画像データから、合成画像の生成に用いるキーフレームを選択する入力画選択部と、上記合成処理部で、上記キーフレームとされたフレーム画像データの入力に応じた画像合成処理で生成される合成画像データを、次回の画像合成処理で用いる上記既存の合成画像データとして保持する合成画像保持部とをさらに備える。
また、上記合成処理部は、キーフレームとして選択されたか否かにかかわらず、各フレーム画像データの入力に応じて画像合成処理を行って合成画像データを生成していくことで、動作推移動画データを生成する。
【００１２】
また、上記合成処理部は、既存の合成画像データの所定領域に対し、入力された最新のフレーム画像データの動被写体レイヤーを第１に優先し、前回の画像合成処理に係るフレーム画像データの動被写体レイヤーを第２に優先し、入力された最新のフレーム画像データの背景レイヤーを第３に優先し、前回の画像合成処理に係るフレーム画像データの背景レイヤーを第４に優先した状態で画像合成を行う。
【００１３】
また、上記合成処理部は、既存の合成画像データの所定領域に対し、入力された最新のフレーム画像データを合成する画像合成処理を行う際に、処理対象の画素の位置に応じて、入力された最新のフレーム画像データからの抽出画素をあてはめる処理と、入力された最新のフレーム画像データの動被写体レイヤーの画素をあてはめる処理と、前回以前の合成画像データからの抽出画素をあてはめる処理と、入力された最新のフレーム画像データと前回以前の合成画像データを用いたレイヤー画像合成処理とを選択的に実行する。
この場合、上記レイヤー画像合成処理は、入力された最新のフレーム画像データの動被写体レイヤーの画素が第１に優先され、前回の合成画像データに係るフレーム画像データの動被写体レイヤーの画素が第２に優先され、入力された最新のフレーム画像データの背景レイヤーの画素が第３に優先されて行われる。
或いは、上記レイヤー画像合成処理は、入力された最新のフレーム画像データの動被写体レイヤーの画素が第１に優先され、前回以前の複数の合成画像データに係る各フレーム画像データの動被写体レイヤーの画素が順に第２〜第ｎに優先され、入力された最新のフレーム画像データの背景レイヤーの画素が第（ｎ＋１）に優先されて行われる。
【００１４】
また本発明の画像処理装置は、フレーム画像データについて、画像内の動被写体レイヤーと背景レイヤーを分離するレイヤー分離部と、フレーム画像データの入力に応じて、既存の合成画像データに、入力された最新のフレーム画像データを合成する画像合成処理を行って各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく合成画像データを生成するとともに、上記画像合成処理では、最新のフレーム画像データの画像と既存の合成画像データの画像の重複部分となる、上記既存の合成画像データの一部である合成対象領域に対し、入力された最新のフレーム画像データの動被写体レイヤーが第１に優先され、前回の画像合成処理に係るフレーム画像データの動被写体レイヤーが第２に優先され、入力された最新のフレーム画像データの背景レイヤーが第３に優先され、前回の画像合成処理に係るフレーム画像データの背景レイヤーが第４に優先されて表示されるように、レイヤー画像合成処理を行う合成処理部とを備える。
また画像処理装置は、フレーム画像データの入力毎に画像合成処理を行い、合成画像データを生成して出力していくことで、各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく動画表示を実行させるとともに、キーフレームとしたフレーム画像データの動被写体画像については、動画表示上で継続的に表示させ、キーフレームとしないフレーム画像データの動被写体画像については、動画表示上で一時的に表示させるように上記画像合成処理を行う。
【００１５】
本発明の画像処理方法は、フレーム画像データについて、画像内の動被写体レイヤーと背景レイヤーを分離するレイヤー分離ステップと、フレーム画像データの入力に応じて、既存の合成画像データに、入力された最新のフレーム画像データを合成する画像合成処理を行って各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく合成画像データを生成するともに、上記画像合成処理では、最新のフレーム画像データの画像と既存の合成画像データの画像の重複部分となる、上記既存の合成画像データの一部である合成対象領域に対し、入力された最新のフレーム画像データの動被写体レイヤーを第１に優先し、前回の画像合成処理に係るフレーム画像データの動被写体レイヤーを第２に優先し、入力された最新のフレーム画像データの背景レイヤーを第３に優先し、前回の画像合成処理に係るフレーム画像データの背景レイヤーを第４に優先した状態でレイヤー画像合成処理を行う合成処理ステップとを有する。
また本発明の画像処理方法は、フレーム画像データについて、画像内の動被写体レイヤーと背景レイヤーを分離するレイヤー分離ステップと、フレーム画像データの入力に応じて、既存の合成画像データに、入力された最新のフレーム画像データを合成する画像合成処理を行って各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく合成画像データを生成するともに、上記画像合成処理では、最新のフレーム画像データの画像と既存の合成画像データの画像の重複部分となる、上記既存の合成画像データの一部である合成対象領域に対し、入力された最新のフレーム画像データの動被写体レイヤーを第１に優先し、前回の画像合成処理に係るフレーム画像データの動被写体レイヤーを第２に優先し、入力された最新のフレーム画像データの背景レイヤーを第３に優先し、前回の画像合成処理に係るフレーム画像データの背景レイヤーを第４に優先した状態でレイヤー画像合成処理を行う合成処理ステップとを有する。
また画像処理方法は、フレーム画像データの入力毎に画像合成処理を行い、合成画像データを生成して出力していくことで、各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく動画表示を実行させるとともに、キーフレームとしたフレーム画像データの動被写体画像については、動画表示上で継続的に表示させ、キーフレームとしないフレーム画像データの動被写体画像については、動画表示上で一時的に表示させるように上記画像合成処理を行う。
本発明のプログラムは、これらの画像処理方法を演算処理装置に実行させるプログラムである。
【００１６】
即ち本発明では、入力される複数のフレーム画像データについて画像合成処理を行って動作推移画像を生成する。なおフレーム画像データとは、動画を構成する各フレームの１つであったり、例えば連写撮像された静止画の１枚１枚の画像などのことである。即ち１枚の画像を構成する画像データのことを広く示すものとする。
本発明では、入力される複数のフレーム画像データについて画像合成処理を行って動作推移画像を生成する際に、フレーム画像データについて、画像内の動被写体レイヤーと背景レイヤーを分離する処理を行う。そして、フレーム画像データが入力された各時点において、その時点で既存の合成画像データに、入力された最新のフレーム画像データを合成していく。このときに、１つのフレームについての幅を短くすることで、多数の動被写体画像を並べることができるが、その場合に最新のフレーム画像データの動被写体と、それ以前のフレーム画像データの動被写体が重なる部分が生ずる。そこで、入力された最新のフレーム画像データの動被写体レイヤーを第１に優先し、また前回以前の画像合成処理に係るフレーム画像データの動被写体レイヤーを第２に優先したレイヤー画像合成処理を行うようにする。これにより動被写体の一部が以前のフレームの動被写体の上に重なる状態で合成画像が生成される。
また、この手法を動画にも適用する。動画の場合は、順次入力される各フレーム画像データにいて画像合成処理を行っていきながら、各時点の合成処理結果を動画データ（動作推移動画）として出力すればよい。
【発明の効果】
【００１７】
本発明によれば、動作推移画像の自動生成において、動作可能範囲の拡大による動被写体の的確な表現と、多数の動被写体を並べることでの時間方向に精細な動作推移の表現の両立を実現することができる。
また、各時点の合成画像データを動作推移動画として出力することで、視覚効果が高く、動作の推移をわかりやすく捕らえることのできる動画像を実現できる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態の画像処理装置のブロック図である。
【図２】実施の形態の動作推移静止画の説明図である。
【図３】実施の形態の動作推移静止画の生成処理の説明図である。
【図４】実施の形態のレイヤー分離処理の説明図である。
【図５】実施の形態の入力画像の領域設定例の説明図である。
【図６】実施の形態の推移動作有効領域及び残存背景領域の説明図である。
【図７】実施の形態の４レイヤーのレイヤー合成処理の説明図である。
【図８】実施の形態の第１の生成処理例での合成処理の説明図である。
【図９】実施の形態の第１の生成処理例のフローチャートである。
【図１０】実施の形態の第１の生成処理例のレイヤー分離処理のフローチャートである。
【図１１】実施の形態の動作推移動画の説明図である。
【図１２】実施の形態の動作推移動画の説明図である。
【図１３】実施の形態の動作推移動画の説明図である。
【図１４】実施の形態の動作推移動画の説明図である。
【図１５】実施の形態の動作推移動画の説明図である。
【図１６】実施の形態の動作推移動画の説明図である。
【図１７】実施の形態の動作推移動画の説明図である。
【図１８】実施の形態の動作推移動画及び第２の生成処理例での合成処理の説明図である。
【図１９】実施の形態の動作推移動画及び下段コピー処理の説明図である。
【図２０】実施の形態の動作推移動画の最終フレームの説明図である。
【図２１】実施の形態の第２の生成処理例のフローチャートである。
【図２２】実施の形態の第２の生成処理例におけるプロセス判定処理のフローチャートである。
【図２３】実施の形態の第２の生成処理例で合成処理に用いる画像データの説明図である。
【図２４】実施の形態の第２の生成処理例のプロセスＰ２，Ｐ３の説明図である。
【図２５】実施の形態の第２の生成処理例のプロセスＰ４の説明図である。
【図２６】実施の形態の第２の生成処理例のプロセスＰ５の説明図である。
【図２７】実施の形態の第２の生成処理例のプロセスＰ６の説明図である。
【図２８】実施の形態の２値及び多値の動被写体情報の説明図である。
【図２９】実施の形態の２値及び多値の動被写体情報の説明図である。
【図３０】実施の形態の第１の生成処理例を動作推移動画に適用する場合の処理のフローチャートである。
【図３１】実施の形態の第２の生成処理例を動作推移静止画に適用する場合の処理のフローチャートである。
【図３２】従来の合成画像の説明図である。
【図３３】従来の合成画像の説明図である。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態を次の順序で説明する。
［１．画像処理装置の構成］
［２．動作推移画像の第１の生成処理例］
［３．動作推移画像の第２の生成処理例］
［４．動被写体情報］
［５．第１の生成処理例の動画への適用］
［６．第２の生成処理例の静止画への適用］
［７．プログラム］
【００２０】
［１．画像処理装置の構成］
図１は実施の形態の画像処理装置１の構成例を示している。
図１には本例の画像処理装置１の構成として、入力画選択部２，レイヤー処理部３，画像出力部４、合成画像更新保持部５、画像入力部１０、動被写体情報生成部１１、動被写体情報入力部１２、出力デバイス４０を示している。
これらの各部は必ずしも同一筐体内の構成部位とされるものには限らない。特に画像入力部１０、動被写体情報生成部１１、動被写体情報入力部１２、出力デバイス４０は、別体の構成部位とすることが考えられる。また動被写体情報生成部１１と動被写体情報入力部１２については一方を設けるのみでもよい。
また入力画選択部２，レイヤー処理部３，画像出力部４，合成画像更新保持部５については、それぞれがハードウエアブロックとして構成されてもよいが、マイクロコンピュータ等の演算処理装置において、ソフトウエアプログラムによって実現される機能ブロックとして実現することもできる。
この画像処理装置１は、例えば撮像装置（ビデオカメラ等）や映像再生装置等の機器の内部に設けられても良いし、１つの画像処理専用機器として構成されてもよい。さらにパーソナルコンピュータ等においてソフトウエア及びハードウエアの連係によって実現される画像処理機能を実行するものとして構成されてもよい。
【００２１】
画像入力部１０では、生成する動作推移画像（静止画または動画）の元となるフレーム画像データ群の入力を行う。
フレーム画像データとは、動画を構成する各フレームの１つであったり、例えば連写撮像された静止画の１枚１枚の画像などのことである。即ち１枚の画像を構成する画像データのことを広く示すものとして、「フレーム画像データ」という用語を用いる。
この画像入力部１０は、当該画像処理装置１が撮像装置に搭載されるのであれば、レンズ系や受光素子、画像信号処理を行って撮像画像信号を得る一連の撮像系部位に相当することになる。
また外部の撮像装置で得られた撮像画像を取り込むのであれば、画像入力部１０は、外部機器から転送・送信・ダウンロード等されてくる画像信号の受信処理系とされることもある。例えば放送波に対するチューナ部や、ＵＳＢ（Universal Serial Bus）インターフェース等の外部機器インターフェース部、さらには有線又は無線のネットワーク通信部などが想定される。
また、撮像画像データ等の画像信号がメモリカード（固体メモリ）、光ディスク等の記録媒体に記録されている場合は、画像入力部１０は、これらの記録媒体に対して再生を行う再生系部位又は再生プログラムとして実現される。
【００２２】
画像入力部１０によっては、動画としての各フレーム画像データや、静止画連写撮像などによって得られた複数のフレーム画像データが入力され、画像入力部１０はこれらのフレーム画像データを入力画選択部２及び動被写体情報生成部１１に供給する。
なお、画像入力部１０は前処理を行うこともある。動画像のファイルを受け取った場合に各フレームに展開したり、インターレース画像を受け取った場合にプログレッシブ化を行うなど処理に必要な形へ適切な変換を行う。また、拡大縮小を行うこともある。
【００２３】
動被写体情報生成部１１は、画像入力部１０から受け取った元画像群（フレーム画像データ群）や他の外部情報（深度情報など）を用いて、動被写体情報を生成する。
動被写体情報とは、少なくとも入力されたフレーム画像データのうち、どの部分が動被写体であり、どの部分が背景であるかを判別することが可能な情報である。
動被写体情報生成部１１は、入力されたそれぞれのフレーム画像データに対応する動被写体情報を生成し、入力画選択部２に供給する。
【００２４】
動被写体情報は、動被写体画像として表現されることもあり、この場合は各画素が動被写体であるか、背景であるかを画素値として表す。また、各同被写体の場所を表す情報を式やベクトルで表す場合もある。
動被写体情報生成部１１は、動被写体と背景の分離のほか、複数の動被写体が存在する場合、それぞれを分離し、かつ深度別に分離することもある。この場合、動被写体情報を画像で表すときは動被写体か背景かの２値画像ではなく、各画素がどの深度にあるかを表す多値画像（または多チャンネル画像）となる。これについては図２８，図２９を用いて後述する。
【００２５】
また、動被写体情報の生成は本例の画像処理装置１の装置内でなくともよく、他の装置やプログラムで生成された動被写体情報を受け取ることもできる。動被写体情報入力部１２は、画像入力部１０で入力される各フレーム画像データについての動被写体情報を外部から受け取る部位として示している。動被写体情報入力部１２は、入力されたそれぞれのフレーム画像データに対応する動被写体情報を外部から入力し、入力画選択部２に供給する。
なお、従って動被写体情報生成部１１と動被写体情報入力部１２は、少なくとも一方が設けられればよい。但し、動被写体情報生成部１１で生成される動被写体情報と、動被写体情報入力部１２で入力される動被写体情報を併用することもでき、その意味で、動被写体情報生成部１１と動被写体情報入力部１２が両方設けられることも有用である。
【００２６】
入力画選択部２は、画像入力部１０から順次供給されるフレーム画像データについて、動作推移画像の生成のための処理を行う。即ちレイヤー処理部３での合成処理に用いる必要な画像データを選択し、適切な画像の組み合わせをレイヤー処理部３に出力する。また入力画選択部２は、レイヤー処理部３に出力するフレーム画像データに対応する動被写体情報や、合成のための座標情報など合成処理に必要な情報をレイヤー処理部３に出力する。
図１では、入力画選択部２内にキーフレーム判定部２１と座標計算部２２を示している。
キーフレーム判定部２１は、キーフレームの判定処理や、それに基づくレイヤー処理部３に出力するフレーム画像データの選定を行う。また座標計算部２２は、合成処理のための座標計算を行う。
【００２７】
キーフレームとは、動作推移画像としての最終出力画（動画の場合は最終フレーム画）において、動作推移の軌跡として同一の静止画に残される時間軸の異なる複数の画像のことである。例えば時間的に連続するフレーム画像データ群のうちで、適切な単位時間あたりの等間隔で撮像されたフレームがキーフレームとされることが一般的に想定されるが、必ずしも等間隔の時間である必要はなく、撮像対象の動作推移を視認するのに適した間隔に変化させることもある。
キーフレーム判定部２１は、画像入力部１０から順次供給されるフレーム画像データのうちで、キーフレームとなるフレーム画像データを選定する処理を行う。後述するが、動作推移静止画を生成する場合は、選定したキーフレームのみをレイヤー処理部３の処理に供することになる。また動作推移動画を生成する場合は、入力された全フレーム画像データをレイヤー処理部３の処理に供するが、キーフレームであるか否かによって、レイヤー処理部３での合成画像の扱いが異なることになる。
【００２８】
レイヤー処理部３は、レイヤー分離部３１，レイヤー加工部３２，レイヤー合成部３３を備え、動作推移画像の生成処理を行う。
レイヤー分離部３１は、動被写体情報を用いて、入力されたフレーム画像データのレイヤー分離を行う。レイヤーとは、１つのフレーム画像データにつき、動被写体部分と背景部分等で分離させたそれぞれをいう。レイヤー分離部３１はレイヤー合成を行う該当範囲を、例えば動被写体情報を元に入力画像と前回キーフレーム画像を背景と動被写体に分離して各レイヤーの画像を生成する。複数の動被写体が存在し、それらの深度がわかる場合はそれぞれの動被写体の数＋背景の数のレイヤーに分離する。
レイヤー加工部３２は、分離された各レイヤーの切り取り、拡大縮小、座標移動などの加工を行う。即ちレイヤー分離された各レイヤーに対して様々な処理を行い、合成できる形に加工する。レイヤー加工部３２が行う処理は「拡大縮小」「回転」「平行移動」など、幾何学的な演算が行われることが多いが、動作部分の強調などの画像処理が行われることもある。拡大縮小はキーフレームの枚数、出力画像サイズなどによって決定される。
レイヤー合成部３３は、加工されたレイヤーや前回以前の合成画像を用いた合成処理を行う。即ちレイヤー加工部３２によって加工された画像、前回以前の合成画像、動被写体情報等を元に、出力する画像の合成を行う。ここでいう合成とは動被写体情報を元に、どのレイヤーの画素を出力画像に反映するかの判定を行い、出力画像を生成することとなる。単一レイヤーの画素から選択することもあるが、複数レイヤーの画素を混合して出力する場合もある。
これらレイヤー処理部３の処理については後述する。
【００２９】
画像出力部４は、レイヤー処理部３で合成された合成画像を出力デバイス４０に出力する。出力デバイス４０とは、モニタ装置、記憶装置など、動作推移画像の出力先となり得る各種の機器を示すものである。画像出力部４による動作推移画像の具体的な出力先については、表示出力、メモリへの展開、ハードディスクやフラッシュメモリ、ネットワーク先など外部の記憶メディアへの書き込みなど、システムによって異なることとなる。
動作推移静止画を生成する場合は、画像出力部４は、所定数のキーフレームとされたフレーム画像データについての合成処理が完了した時点で完成される動作推移静止画としての１フレームの画像データを出力デバイス４０に出力することになる。
また、動作推移動画を生成する場合は、画像出力部４は、各フレーム画像データの入力毎に順次行われる合成処理で得られる合成画像を、それぞれ動画を構成する１フレームの画像データとして出力デバイス４０に出力していくことになる。
また画像出力部４は、合成処理対象のフレーム画像データの全てがキーフレームである動作推移静止画生成時は、今回の合成画像データを、次のフレーム画像データについての処理時に既存の前回の合成画像データとして使用できるようにするため、合成画像更新保持部５に出力して更新記憶させる。
一方、画像出力部４は、動作推移動画生成時においては、今回の処理に係るフレーム画像データがキーフレームの場合に、今回の合成画像データを、次の処理時に既存の前回の合成画像データとして使用できるようにするため、合成画像更新保持部５に出力して更新記憶させる。
【００３０】
合成画像更新保持部５は、動作推移静止画の生成過程において、各時点の合成画像データを保持する。
例えば動作推移静止画生成時については、画像出力部４から出力される各時点の合成画像を更新しながら保持していく。例えば前回、前々回などとして、合成処理過程で必要とされる過去の合成画像データを更新しながら保持する。また、各合成画像の生成時のキーフレームの情報や、キーフレームの動被写体情報等も記憶保持する。
動作推移動画生成時については、キーフレームの合成処理において生成された合成画像データを更新しながら保持していくことになる。この場合も、各合成画像の生成時のキーフレームの情報や、キーフレームの動被写体情報等も記憶保持する。
【００３１】
［２．動作推移画像の第１の生成処理例］
以下、主に入力画選択部２、レイヤー処理部３、画像出力部４、合成画像更新保持部５により実行される動作推移画像の生成処理例として第１の生成処理例を説明していく。
ここでは、図２のような動作推移静止画を生成する場合を例に挙げ、第１の生成処理例についての処理の考え方を図２〜図８で説明し、図９〜図１０で具体的な処理例を説明する。
【００３２】
まず本例の画像処理装置１で生成される動作推移静止画について図２で説明する。
例えばゴルフスイングを行っている人を被写体として動画撮像もしくは静止画連写撮像を行って得られた複数のフレーム画像データを元に、この図２のような動作推移静止画を生成する。
この図２の動作推移静止画は、先に述べた図３２と同様に、比較的多数のフレーム画像データを用い、連続するゴルフスイングの期間の中で多数の時点の画像が表現されている。その上で、図３２のように例えばゴルフクラブの先端が欠けてしまうことなどがなく、左右の画像で一部重複しながらも、各フレームの動被写体（人とゴルフクラブ）の全体が表現されている。つまり、動作推移画像として、多数のフレーム画像を用いて十分な動作表現を可能とすることと、動被写体の動作範囲を適切に表現することを両立した画像となっている。以下説明する処理により、このような動作推移画像を実現する。
【００３３】
図３により、動作推移静止画の生成処理のイメージを示す。
図３（ａ）は入力画選択部２に入力される画像データを模式的に示している。例えば動画データであり、図のＦ１，Ｆ２，Ｆ３・・・が、それぞれ１つのフレーム画像データを示しているとする。
入力画選択部２は、このような動画として時間的に連続するフレームから、キーフレームを選択する。例えば５フレーム置きのフレームをキーフレームとするとした場合、○を付したフレームＦ１，Ｆ６，Ｆ１１，Ｆ１６，Ｆ２１・・・がキーフレームとなる。図３（ｂ）には、これら各キーフレームの画像内容を図形で示している。
【００３４】
後述するが、動作推移動画を生成する場合には、キーフレーム以外のフレーム画像データ（例えばＦ２，Ｆ３等）も合成処理に用いるが、動作推移静止画を生成する場合は、キーフレームのみが合成処理に用いられる。
この場合、入力画選択部２は、このキーフレームのみを抽出してレイヤー処理部３に受け渡すことになる。
レイヤー処理部３は、後述する処理により、各キーフレームＦ１，Ｆ６，Ｆ１１，Ｆ１６，Ｆ２１・・・の画像が、順次入力画選択部２から供給されるたびに、順次合成処理していくことで、図３（ｃ）のような動作推移静止画を最終的に生成する。このときに、今回合成するキーフレームの動被写体の画像が、それまでの合成済の画像に重複して表現されるようにレイヤー合成処理を行うことになる。
【００３５】
このような画像合成を行うレイヤー処理部３の処理は次のようになる。
レイヤー分離部３１は、レイヤー合成の該当範囲を、動被写体情報を元に入力画像と前回キーフレーム画像を背景と動被写体に分離して各レイヤーの画像を生成する。
図４（ａ）は、入力画像（或る１つのフレーム画像データ）と、そのフレーム画像データについての動被写体情報を示している。
上述のように入力画選択部２は、画像入力部１０から順次供給されるフレーム画像データＦ１，Ｆ２，Ｆ３・・・のうち、キーフレームとするフレーム画像データ（例えばＦ１）をレイヤー処理部３に出力する。
また、入力画選択部２には、動被写体情報生成部１１又は動被写体情報入力部１２から、各フレーム画像データに対応した動被写体情報が供給されている。入力画選択部２は、キーフレームとしてのフレーム画像データをレイヤー処理部３に供給する際には、そのフレーム画像データに対応する動被写体情報もレイヤー処理部３に供給する。
【００３６】
図４（ａ）の上段及び下段に示すのは、そのようにしてレイヤー処理部３に与えられるフレーム画像データと、その動被写体情報である。ここでは動被写体情報は、２値の値で表現されているものとしている。つまり動被写体とされる画素について「１」、動被写体以外の背景となっている画素について「０」などとした情報である。図４（ａ）下段では白抜き部分が「１」つまり動被写体を表し、黒部分は「０」つまり背景を表すものとしている。
【００３７】
レイヤー分離部３１は、このような動被写体情報を用いて、入力されたフレーム画像データをレイヤー分離する。
図４（ｂ）には、分離後の動被写体レイヤーと背景レイヤーを示している。図４（ｂ）上段の動被写体レイヤーは、図４（ａ）の入力画像のうちで動被写体部分（つまり動被写体情報＝「１」の画素のみ）を抜き出した画像となる。
また図４（ｂ）下段の背景レイヤーは、図４（ａ）の入力画像のうちで背景部分（つまり動被写体情報＝「０」の画素のみ）を抜き出した画像となる。
【００３８】
なお、複数の動被写体が存在する場合を想定し、３値以上の多値の動被写体情報を用いるようにすることもできる。これについては図２８，図２９で後述するが、動被写体情報生成部１１又は動被写体情報入力部１２では、複数の動被写体の深度（画像上での奥行き方向の前後関係）に応じて異なる値とした動被写体情報を生成（又は取得）する。
そのような場合は、レイヤー分離部３１は、動被写体の数＋背景の数のレイヤーに分離することができる。
【００３９】
レイヤー加工部３２は、上述のように、レイヤー分離された各レイヤーに対して様々な処理を行い、合成できる形に加工する。
動作推移画像は通常、入力されたフレーム画像データの全領域を対象とするのではなく、一部を切り出す形で行われる。
さらに、動被写体が有効となる範囲と、最終画像に残される背景の領域も異なる。
入力されるフレーム画像データとしての画像の幅と高さを（Ｗｉｍｇ，Ｈｉｍｇ）、推移動作有効領域の幅と高さを（Ｗｍｏｖ，Ｈｍｏｖ）、残存背景領域の幅と高さを（Ｗｂａｃｋ，Ｈｂａｃｋ）とすると、例えば図５（ａ）（ｂ）（ｃ）のような領域態様が想定される。なお、図５（ａ）（ｂ）（ｃ）はそれぞれ一例であり、これらに限られない。
図５（ａ）（ｂ）（ｃ）に示す推移動作有効領域とは、主たる動被写体を切り出す範囲となる。また残存背景領域とは、合成処理において背景画像として用いる領域である。
【００４０】
これらの推移動作有効領域の値（Ｗｍｏｖ，Ｈｍｏｖ）や残存背景領域の値（Ｗｂａｃｋ，Ｈｂａｃｋ）は、被写体の推移方向、つまり動作推移画像として表現する際に画像が時間的に進行していく方向によって、幅が同じになったり高さが同じになったりする。
図２に示した動作推移画像のように、各動被写体画像を横方向に推移させる場合は、図５（ｂ）の例のように高さ（Ｈｍｏｖ、Ｈｂａｃｋ）が、元のフレーム画像データの高さ（Ｈｉｍｇ）と同じ値とすることが好適な場合が多い。
また、各動被写体画像を縦方向に推移させる場合は、図５（ｃ）の例のように幅（Ｗｍｏｖ、Ｗｂａｃｋ）が、元のフレーム画像データの幅（Ｗｉｍｇ）と同じ値とすることが好適な場合が多い。
スポーツのフォーム確認など、動作対象が人物であり、かつ立っている場合は横推移となることが多く、柔道の寝技などが対象である場合は縦推移となる可能性が高い。このように推移方向と、それに伴う各画像の大きさは撮像対象に強く依存する。
【００４１】
図６は、実際のフレーム画像データについての、図５（ｂ）の例による、推移動作有効領域と残存背景領域の設定例を示している。
図６（ａ）は、元の入力されたフレーム画像データであり、例えばフレーム画像データのサイズはＶＧＡ（６４０×４８０）であるとする。推移動作有効領域と残存背景領域の中心は入力画像であるフレーム画像データの中心と一致するものとする。
推移動作有効領域は、図６（ｂ）のように、幅Ｗｍｏｖ＝３２０，高さＨｍｏｖ＝４８０の領域とする。
残存背景領域は、図６（ｃ）のように、幅Ｗｂａｃｋ＝１６０，高さＨｂａｃｋ＝４８０の領域とする。
もちろんこれは一例にすぎず、実際には被写体の大きさや、動きに応じて適切な設定がされて、合成処理に用いる画像が切り出されればよい。
【００４２】
レイヤー合成部３３は例えば、レイヤー加工部３２によって加工された入力画像（今回のキーフレームとされたフレーム画像データ）、前回のキーフレーム画像、動被写体情報、及びその時点で既存の合成画像データを元に、出力する画像の合成を行う。
なお、前回のキーフレーム画像は、前回に入力画選択部２から入力されて合成処理に用いられた画像であるが、これは、今回の処理時点までレイヤー処理部３内に保存しているようにしてもよいし、合成画像更新保持部５で保存しておき、合成処理の際に合成画像更新保持部５から、それまでの合成画像データとともに読み出しても良い。
【００４３】
図７を用いて、入力画像（今回のキーフレーム）と前回のキーフレームについての合成時の考え方を説明する。
上述したレイヤー分離部３１の処理により、入力された今回のキーフレームは、動被写体レイヤーと残存背景レイヤーに分離されている。
また前回のキーフレームについても、動被写体レイヤーと残存背景レイヤーに分離されている。
図７は、これらの４つのレイヤーについての合成の様子を示している。
図７（ａ）に示すように、入力された最新のフレーム画像データ（今回のキーフレーム）の動被写体レイヤーを第１に優先する。
また、前回の合成処理に係るフレーム画像データ（前回のキーフレーム）の動被写体レイヤーを第２に優先する。
また、入力された最新のフレーム画像データ（今回のキーフレーム）の残存背景レイヤーを第３に優先する。
また前回の合成処理に係るフレーム画像データ（前回のキーフレーム）の残存背景レイヤーを第４に優先する。
そしてこれらの優先順位に基づいて、４つのレイヤー画像を合成することで、図７（ｂ）のような合成画を得る。
そしてこのような合成画を、その時点で既存の合成画像データの所定領域に合成することで、それまでの多数のキーフレームを用いた合成画像に、新たに１つ動被写体画像を追加する。
【００４４】
例えば図８には、動作推移静止画が最終的に生成されるまでの間の、ある時点での合成状態を示している。即ち、今回入力されたキーフレームＦｘについての合成処理が行われた時点である。
今回入力されたキーフレームＦｘの推移動作有効領域と、前回のキーフレームの入力の際に合成された、今回の処理時点で既存の合成画像データの範囲が、それぞれ図示する範囲であるとする。
今回のキーフレームＦｘの画像を合成処理により加える際には、図中のＢ領域については、今回のキーフレームＦｘの推移動作有効領域の画素をそのまま新たな合成画像データ上にコピーすればよい。
またＣ領域については、その時点で既存の合成画像データ、つまり前回のキーフレームまでの合成処理後の時点の合成画像データの画素をそのまま新たな合成画像データ上にコピーすればよい。
この場合Ａ領域が問題となる。即ちＡ領域は、今回のキーフレームＦｘの動被写体ＦｘＤと、前回のキーフレームの動被写体Ｆ（ｘ−１）Ｄの画像が一部重なることになる。この領域Ａにおいて、上記図７のような優先順位で各レイヤーを合成することが必要となる。
【００４５】
即ちレイヤー合成部３３は、今回のキーフレームＦｘと、前回のキーフレームを用い、Ａ領域については、図７のレイヤー合成を行って合成画像を生成する。またＢ領域は、今回のキーフレームＦｘのＢ領域相当部分をそのまま用いる。これによって、今回と前回のキーフレームの画像からＡ＋Ｂ領域の合成画像を得る。そして、このようなＡ＋Ｂ領域の合成画像を、合成画像更新保持部５から読み出した、この時点で既存の合成画像データに合成する。即ち既存の合成画像データのＣ領域に続いて、今回生成したＡ＋Ｂ領域を貼り付ける処理を行う。
以上により、この図８に示した状態の合成画像データが得られる。
この合成画像データは、合成画像更新保持部５に記憶され、次のキーフレームＦ（ｘ＋１）に係る合成処理の際に、同様に用いられることになる。
【００４６】
このように、合成の際に重複部分となるＡ領域において、図７のレイヤー合成を行うことで、動被写体ＦｘＤの一部が欠損することなく、それまでの合成画像データに加えられる状態となる。従って、図２で説明したように、多数のキーフレームを用いても、動被写体の動作が適切に表現された動作推移画像が生成されることになる。
【００４７】
図９，図１０により、画像処理装置１の具体的な処理例を説明する。
図９は、動作推移静止画を生成する際の、入力画選択部２、レイヤー処理部３、画像出力部４、合成画像更新保持部５によって実行される処理を示している。
【００４８】
ステップＦ１０１〜Ｆ１０４は入力画選択部２の処理となる。
上述したように入力画選択部２には、画像入力部１０から時間的に連続するフレーム画像データが供給される。入力画選択部２は、１枚のフレーム画像データが供給されるたびにステップＦ１０２で、そのフレーム画像データと、動被写体情報生成部１１（又は動被写体情報入力部１２）からフレーム画像データに対応する動被写体情報を取り込む処理を行う。
なお、ステップＦ１０１の判断は、動作推移静止画を生成する一連のフレーム画像データの取込、つまり画像入力部１０からの供給が終了したか否かの判断である。つまり動作推移静止画として反映させる所定数のキーフレームの入力が完了するまでは、ステップＦ１０１からＦ１０２に進むことになる。
【００４９】
入力画選択部２は、ステップＦ１０２でフレーム画像データ及び動被写体情報を取り込んだら、ステップＦ１０３で、当該フレーム画像データをキーフレームとするか否かを選定する。例えば図３のようにキーフレーム選定を行うとすると、１番目、６番目、１１番目・・・という５フレーム置きのフレームをキーフレームとする。
【００５０】
入力されたフレーム画像データがキーフレームである場合は、入力画選択部２は、処理をステップＦ１０４に進める。入力されたフレーム画像データがキーフレームではない場合は、入力画選択部２は、処理をステップＦ１０１に戻し、次のフレーム画像データの入力の処理を行うことになる。つまり動作推移静止画の生成処理では、キーフレーム以外は合成処理に用いないようにする。
【００５１】
入力画選択部２は、ステップＦ１０２で取り込んだフレーム画像データがキーフレームであった場合、当該フレーム画像データを合成処理に用いるための処理を行う。このためステップＦ１０４では座標計算を行う。この座標計算は、今回のフレーム画像データを合成画像に反映させる画素位置を計算するものとなる。即ち最終的な合成画像のサイズ（動作推移静止画のサイズ）の中で、今回のフレーム画像データを当てはめる画素範囲の算出処理である。
入力画選択部２は、このステップＦ１０４で算出した座標を、今回のフレーム画像データ（今回のキーフレーム画像）及び動被写体情報と共に、レイヤー処理部３に出力する。
【００５２】
レイヤー処理部３においては、まずステップＦ１０５で、レイヤー分離部３１が、入力されたフレーム画像データ（今回のキーフレーム画像）と動被写体情報、さらには前回キーフレーム画像、前回キーフレーム画像の動被写体情報を使用して４レイヤーに分割する。つまり図４で説明したように動被写体情報を用いて動被写体レイヤーと背景レイヤーに分割し、図７（ａ）のように今回キーフレームの動被写体レイヤー、前回キーフレームの動被写体レイヤー、今回キーフレームの背景レイヤー、前回キーフレームの背景レイヤーに分割する。
なお、前回キーフレームの動被写体レイヤー、前回キーフレームの背景レイヤーについては、前回のキーフレームが入力された際にステップＦ１０５で行われたレイヤー分離結果を今回の処理に用いるために記憶しておけばよい。或いは前回入力されたキーフレームの画像データと動被写体情報を、今回の処理に用いるために記憶しておいてもよい。
【００５３】
４レイヤーの分割は、図７（ａ）のそれぞれのレイヤー画像を作成してメモリ領域上に記憶しても良いが、ここでは「レイヤー分離情報」を作成することでレイヤー分離を行う例を説明する。
このレイヤー分離情報は、前回キーフレーム画像と今回キーフレーム画像の推移動作有効領域の重なる部分、即ち図８で説明した合成対象領域における各画素として、どのレイヤーが最終的に有効であるかを画素値で表現するものである。
【００５４】
この処理を図１０に示す。図１０の処理は、今回キーフレームの推移動作有効領域の全画素について１つずつ判定していく処理となる。
まず、レイヤー処理部３はステップＦ２００において、今回キーフレームの推移動作有効領域の最初の画素を判定対象とする。そして当該判定対象の画素について、ステップＦ２０１〜Ｆ２１０の判定処理を行う。
ステップＦ２１１で、今回キーフレームの推移動作有効領域の全画素について判定処理を終えるまでは、ステップＦ２１２で判定対象を次の画素に変更しながら、ステップＦ２０１〜Ｆ２１０の判定処理を繰り返すことになる。
【００５５】
ステップＦ２０１では、レイヤー処理部３は判定対象の１つの画素について、その画素が合成対象領域内の画素であるか否かを判定する。
合成対象領域内でない場合は、ステップＦ２０２に進み、レイヤー処理部３は、その今回キーフレームにおける当該判定対象の画素を、合成結果画像（レイヤー合成画像）にコピーする画素とする。例えば当該判定対象の画素について、レイヤー分離情報に、画素値「０」を格納する。そしてステップＦ２１１に進む。
例えば図８のＢ領域に相当する画素については、このステップＦ２０１→Ｆ２０２の処理が行われることになる。
【００５６】
判定対象の画素が合成対象領域内である場合は、レイヤー処理部３はステップＦ２０３に進み、判定対象の画素が、今回キーフレームの動被写体領域の画素か否かを判定する。判定対象の画素が、今回キーフレームの動被写体領域の画素である場合は、ステップＦ２０４で、当該判定対象の画素について、レイヤー分離情報に、画素値「１」を格納する。そしてステップＦ２１１に進む。画素値「１」とは、図７（ａ）の「第１優先」を示す値である。
例えば図８のＡ領域（合成対象領域内）であって、今回キーフレームの動被写体領域の画素、例えばゴルフクラブの先端部分の画素などについては、このステップＦ２０３→Ｆ２０４の処理が行われることになる。
【００５７】
判定対象の画素が、ステップＦ２０３で今回キーフレームの動被写体領域の画素ではないと判定された場合は、レイヤー処理部３はステップＦ２０５で、判定対象の画素が前回キーフレームの動被写体領域に相当するか否かを判定する。これに該当する場合、レイヤー処理部３はステップＦ２０６に進み、当該判定対象の画素について、レイヤー分離情報に、画素値「２」を格納する。そしてステップＦ２１１に進む。画素値「２」とは、図７（ａ）の「第２優先」を示す値である。
例えば図８のＡ領域（合成対象領域内）であって、前回キーフレームの動被写体領域の画素、例えば動被写体Ｆ（ｘ−１）Ｄを構成する画素などについては、このステップＦ２０５→Ｆ２０６の処理が行われることになる。
【００５８】
判定対象の画素が、ステップＦ２０５で前回キーフレームの動被写体領域の画素ではないと判定された場合は、レイヤー処理部３はステップＦ２０７で、判定対象の画素が今回キーフレームの背景領域に相当するか否かを判定する。これに該当する場合、レイヤー処理部３はステップＦ２０８に進み、当該判定対象の画素について、レイヤー分離情報に、画素値「３」を格納する。そしてステップＦ２１１に進む。画素値「３」とは、図７（ａ）の「第３優先」を示す値である。
また判定対象の画素が、ステップＦ２０７で今回キーフレームの背景領域の画素ではないと判定された場合は、レイヤー処理部３はステップＦ２０９で、判定対象の画素が前回キーフレームの背景領域に相当するか否かを判定する。これに該当する場合、レイヤー処理部３はステップＦ２１０に進み、当該判定対象の画素について、レイヤー分離情報に、画素値「４」を格納する。そしてステップＦ２１１に進む。画素値「４」とは、図７（ａ）の「第４優先」を示す値である。
【００５９】
以上の処理を、ステップＦ２１１で、今回キーフレームの推移動作有効領域の全画素について判定が終わったとされるまで行う。
合成対象領域における、図７（ａ）に示したような４つのレイヤーは、下から順に「前回キーフレーム画像の背景レイヤー（第４優先）」「今回キーフレームの残存背景レイヤー（第３優先）」「前回キーフレーム画像の動被写体レイヤー（第２優先）」「今回キーフレームの動被写体レイヤー（第１優先）」となっている。これらを下から順番に重ね、上から見たものが出力画像となる。すなわち上のレイヤーが優先され、自己レイヤーの上にあるレイヤーに有効画素がある場合は自己レイヤーの画素が有効であっても無効であっても、またどんな画素値であっても関係がない。
【００６０】
上記図１０の処理が行われることで、レイヤー分離情報には、合成対象領域内の各画素について、有効レイヤーの番号を保持することになる。
例えばレイヤー分離情報の或る画素値が「１」であれば、結果画像におけるその画素位置には、第１優先である今回キーフレーム画像の動被写体レイヤーから抽出する画素を用いるべきことが示される。
また例えばレイヤー分離情報の或る画素値が「２」であれば、その画素位置は第２優先である前回キーフレーム画像の動被写体レイヤーから抽出する画素を用いることが示される。
つまりレイヤー分離情報によって、図７（ａ）で説明した各レイヤーが表現される。
【００６１】
続いてレイヤー処理部３は、図９のステップＦ１０６として、レイヤー加工部３２による加工処理を行う。即ちレイヤー合成に必要な加工を行う。なお、この加工処理としては、入力画像のサイズと合成結果の画像上での入力画像を反映させるサイズなどに応じて拡大縮小を行ったり、画像の回転などを行う。特にそのまま入力画像の各画素を合成結果に反映させる場合などは、拡大縮小や回転の処理は不要な場合もある。
【００６２】
続いてレイヤー処理部３はステップＦ１０７として、レイヤー合成を行い、今回キーフレームと前回キーフレームでのレイヤー合成画像を生成する。なお、ここでいうレイヤー合成画像とは、図８でのＡ＋Ｂ領域の画像のことである。
【００６３】
まず、上記図１０のステップＦ２０２で画素値「０」と判定された画素、つまり図８でいえばＢ領域内の画素については、そのまま今回キーフレームから抽出した画素をレイヤー合成画像にコピーして当てはめる。
レイヤー合成は合成対象領域（Ａ領域）内の各画素について行うことになる。
この場合、各画素についてレイヤー分離情報を参照し、画素値「１」とされている画素位置には、今回キーフレームから該当画素を抽出してレイヤー合成画像に当てはめる。また画素値「２」であれば前回キーフレームから該当画素を抽出してレイヤー合成画像に当てはめる。
画素値「３」とされている画素位置には、今回キーフレームから該当画素を抽出してレイヤー合成画像に当てはめる。また画素値「４」であれば前回キーフレームから該当画素を抽出してレイヤー合成画像に当てはめる。
上述のように、レイヤー分離情報には４つのレイヤーのどの画素を有効とするかの情報が各画素位置に対して保持されている。従って各画素位置について、レイヤー分離情報の画素値に応じて今回キーフレーム又は前回キーフレームから画素を抽出して貼り付けることで、図８の合成対象領域について、図７の優先順位に沿った合成が行われることになる。
【００６４】
以上の処理で、図８でのＡ＋Ｂ領域に相当するレイヤー合成画像が生成され、このレイヤー合成画像では、図８のように、今回のキーフレームＦｘの動被写体ＦｘＤと、前回のキーフレームの動被写体Ｆ（ｘ−１）Ｄの画像が一部重なりながら、今回のキーフレームＦｘの動被写体ＦｘＤは、欠けずに表現されている。
なお、レイヤー合成処理では、今回キーフレームの動被写体レイヤーが第１優先となるので、動被写体画像が今回と前回で重なった部分は、常に、今回、つまりその時点で最新のフレームの動被写体画像が優先されることになる。
【００６５】
続いてレイヤー処理部３はステップＦ１０８として、レイヤー合成画像を、その時点で既存の前回合成画像に合成する。既存の前回合成画像データは、合成画像更新保持部５に保存されているため、レイヤー処理部３は、合成画像更新保持部５から読み出した前回合成画像データに、ステップＦ１０７で生成したレイヤー合成画像を合成する。
図８の例で言えば、この時点で既存の合成画像データは、Ｃ領域＋Ａ領域までの各キーフレーム画像が合成された状態となっている。このような合成画像データに対して、Ａ＋Ｂ領域のレイヤー合成画像をコピーする。Ａ領域については、レイヤー合成画像によって上書きされることになる。これによって図８に示しているような状態の合成画像データが生成される。
【００６６】
このように生成された今回の合成画像データは、ステップＦ１０９でレイヤー処理部３から画像出力部４に転送される。画像出力部４は、この合成画像データを取り込んだ後、合成画像更新保持部５に供給する。
合成画像更新保持部５はステップＦ１１０で、供給された合成画像データを、次回の合成処理に用いる既存の合成画像データとして記憶保持する。つまり既存の合成画像データの内容を今回生成された合成画像データに更新する。
そして、ステップＦ１０１に戻り、次のフレーム画像データの入力に対する処理に移る。
【００６７】
なお、この図９の例ではステップＦ１０７でレイヤー合成を行い、ステップＦ１０８でレイヤー合成画像を既存の合成画像データに合成するとしたが、一番最初のキーフレームが入力された際の処理は、特に合成処理は不要であることは言うまでもない。当然この時点では既存の合成画像データも存在しない。
この場合は、ステップＦ１０７〜Ｆ１０８で、最初のキーフレームの画像の各画素が図８のようなサイズの合成画像データの右上部分の領域にコピーされて最初の合成画像データが生成され、ステップＦ１１０で合成画像更新保持部５に保存されることになる。
２番目のキーフレームが入力された以降は、前回キーフレームや、その時点で既存の合成画像データが存在することになるため、上記同様の処理が行われることになる。
【００６８】
また、合成画像データの生成処理は、ステップＦ１０７、Ｆ１０８の処理以外にも各種考えられる。例えば、Ｂ領域の画素については、既存の合成画像データに先にコピーしてしまい、その後、Ａ領域についてのレイヤー合成画像を生成し、当該レイヤー合成画像を、既存の合成画像データのＡ領域に上書きコピーするようにしてもよい。
【００６９】
以上のステップＦ１０１〜Ｆ１１０の処理が、キーフレーム入力毎に繰り返されることで、最終的に図２に示した状態の合成画像データが得られる。
この時点で、ステップＦ１０１で、全フレーム取込終了と判断される。すると処理はステップＦ１１１に進み、画像出力部４は、その時点で保持している合成画像データ（即ち図２の状態の合成画像データ）を、動作推移静止画データとして出力デバイス４０に出力する。
これにより本例の画像処理装置１によって、１枚の動作推移静止画データが生成され、出力されたことになる。
【００７０】
以上のように本実施の形態によれば、動作推移画像の自動生成において、動作可能範囲の拡大による動被写体の的確な表現と、多数の動被写体を並べることでの時間方向に精細な動作推移の表現の両立を実現することができる。
特にレイヤー合成により、各動被写体画像が、例えばゴルフクラブの先端等が欠けずに的確に表現され、しかも多数の動被写体画像を並べることができ、時間的に細かい間隔で動作推移を表現できる。
これにより、自己のスポーツのフォーメーションや、野生動物の複雑な動き、実験室における自然現象などを簡単に、かつ非常にわかりやすく確認することができるようになる。また画像データの切り貼りなどの手作業を必要としないのでユーザー負担も非常に軽く有用性が高い。
【００７１】
また本実施の形態の画像処理装置１は、連続静止画または動画像が撮像できる撮像装置によって撮像された複数のフレーム画像データを取得できるものであればよい。例えば撮像装置に内蔵してもよいし、撮像された複数のフレーム画像データを再生する再生装置に内蔵されてもよい。さらには撮像された複数のフレーム画像データを受信／転送入力される機器に内蔵されてもよい。
従って、例えば携帯電話機、ＰＤＡ（Personal Digital Assistant）、パーソナルコンピュータ、ビデオ再生装置、ビデオ編集装置などに広く適用できる。
【００７２】
［３．動作推移画像の第２の生成処理例］
続いて、同じく主に入力画選択部２、レイヤー処理部３、画像出力部４、合成画像更新保持部５により実行される動作推移画像の生成処理例として第２の生成処理例を説明していく。
ここでは、図１１〜図２０のような動作推移動画を生成する場合を例に挙げ、図２１〜図２７により具体的な処理例を説明する。
なお、上述した第１の生成処理例と、以下の第２の生成処理例とは、合成処理方式が異なる例であり、生成される動作推移画像が静止画であるか動画あるかの違いではない。
図３０，図３１で後述するが、第１の生成処理例に沿って、動作推移動画を生成することもできるし、以下に述べる第２の生成処理例に沿って、動作推移静止画を生成することもできる。
【００７３】
まず本例の画像処理装置１で生成される動作推移動画について説明する。
上述の静止画の場合は、キーフレームのみを用いたが、動画の場合はキーフレーム以外も用いる。但し、最終的にはキーフレームを合成画像に反映させ、キーフレーム以外は、動画の過程で一時的に出力画像に含めるものとなる。
なお、各フレーム画像データがキーフレームであるか否かは、図３の例によるものとする。
【００７４】
図１１は最初のフレーム画像データ（例えばキーフレーム）Ｆ１が入力された際の合成画像データを示している。なお、図１１〜図１７においては、キーフレームとされたフレーム画像データについては（Ｋ）を付している。
次に２番目の、キーフレームではないフレーム画像データＦ２（以下、キーフレームではないフレーム画像データを「非キーフレーム」という）が入力された際の合成画像データを図１２に示す。この場合、キーフレームＦ１に対して、所定量ずらした画素範囲に非キーフレームＦ２を合成する。なお、動被写体が重なった部分については、常に最新のフレームの動被写体画像が優先されることは、上述した第１の生成処理例と同様である。
合成は、既存の合成画像データに、入力されたフレーム画像データを合成するという手法を採る。この非キーフレームＦ２を合成する時点での既存の合成画像データとは、図１１のような合成画像データである。
【００７５】
次に３番目の非キーフレームＦ３が入力された際の合成画像データを図１３に示す。この場合、図１２の非キーフレームＦ２に対して、所定量ずらした画素範囲に非キーフレームＦ３を合成する。
ここで合成処理は、上記のように既存の合成画像データに、入力されたフレーム画像データを合成するという手法を採るが、非キーフレームが入力された際の合成画像データは、既存の合成画像データとして用いられない。
従って、この非キーフレームＦ３が入力された際も、既存の合成画像データとは図１１の合成画像データのままである。
つまり前回の非キーフレームＦ２は合成に用いられず、その時点での既存の合成画像データに対して非キーフレームＦ３が合成されるため、図のようにフレーム画像データＦ１，Ｆ３の動被写体が表現される画像となる。
【００７６】
図示しないが、４番目の非キーフレームＦ４が入力された際は、同様にしてキーフレームＦ１＋非キーフレームＦ４の合成画像データが生成され、また５番目の非キーフレームＦ５が入力された際は、同様にキーフレームＦ１＋非キーフレームＦ５の合成画像データが生成される。つまり、いずれも、その時点で既存の合成画像データに対して入力されたフレーム画像データが合成される。
【００７７】
キーフレームＦ６が入力された際も、既存の合成画像データに対して合成されることは同様である。
図１４は２つめのキーフレームＦ６が入力された際の合成画像データであるが、既存の合成画像データ（この場合はキーフレームＦ１のみ）に対してキーフレームＦ６が合成される。
但しこの時点で、この図１４の合成画像データも、既存の合成画像データとして保存される。
合成に用いる既存の合成画像データとしては、直前のキーフレーム入力の際の合成画像データ（前回合成画像データ）だけでなく、さらにその前のキーフレーム入力の際の合成画像データ（前々回合成画像データ）を用いても良い。
例えば後述する具体的な処理例では、前回合成画像データと前々回合成画像データを用いるため、ここでも前回合成画像データと前々回合成画像データを用いるものとして説明する。
なお、既存の合成画像データを用いるのは、上述したレイヤー合成のように、各画素について優先順位を付けて合成するためであるが、その意味で動被写体の重なり部分がどの程度の範囲になるかにより、過去に遡っての合成画像データの使用範囲を設定すればよい。例えば、前々々回合成画像データ、前々々々回合成画像データなどを合成処理に用いる例も考えられる。
【００７８】
この図１４の合成画像データが生成された後は、既存の合成画像データとして、前回合成画像データ（図１４の合成画像）と、前々回合成画像データ（図１１の合成画像）が保持され、その後の合成処理に用いられる。
【００７９】
次に非キーフレームＦ７が入力された際の合成画像データを図１５に示す。この場合も既存の合成画像データに非キーフレームＦ７の画像が合成されることで、図のようなキーフレームＦ１，Ｆ６の画像と非キーフレームＦ７の画像による合成画像が生成される。
さらに非キーフレームＦ８が入力された際の合成画像データを図１６に示す。この場合も既存の合成画像データに非キーフレームＦ８の画像が合成されることで、図のようなキーフレームＦ１，Ｆ６の画像と非キーフレームＦ８の画像による合成画像が生成される。
その後に非キーフレームＦ９、Ｆ１０が入力された際も同様である。
【００８０】
図１７は３つめのキーフレームＦ１１が入力された際の合成画像データであるが、既存の合成画像データに対してキーフレームＦ６が合成される。
但しこの時点で、この図１７の合成画像データも、既存の合成画像データとして保存される。そしてこの時点で、既存の合成画像データとして、前回合成画像データは図１７の合成画像に、前々回合成画像データは図１４の合成画像に更新されて保持される。
【００８１】
この図１１〜図１７のように、入力されるフレーム画像データ（キーフレーム及び非キーフレーム）について、順次合成処理がされていき、各時点で、それぞれ図示のような合成画像データが得られる。例えばこれらの合成画像データが、それぞれ動画を構成する１フレームとして出力されていく。さらに、以降同様にフレーム画像データの入力毎に合成画像データが生成され、図１８・・・図１９・・・図２０のように動画出力が進行していく。
つまり、各キーフレームの被写体画像を残しながら、非キーフレームを含めて各フレームの被写体画像が合成されていき、各時点でその合成画像データが出力される。
これにより、ゴルフスイング等の動作推移を表現する動画、即ち動作推移動画が出力されることになる。
【００８２】
このような動作推移動画を生成する処理を例に挙げて、動作推移画像の第２の生成処理例を図２１以降で説明していく。
図２１は、動作推移動画を生成する際の、入力画選択部２、レイヤー処理部３、画像出力部４、合成画像更新保持部５によって実行される処理を示している。
ステップＦ３０１〜Ｆ３０５は入力画選択部２の処理となる。
上述したように入力画選択部２には、画像入力部１０から時間的に連続するフレーム画像データが供給される。入力画選択部２は、１枚のフレーム画像データが供給されるたびにステップＦ３０２で、そのフレーム画像データと、動被写体情報生成部１１（又は動被写体情報入力部１２）からフレーム画像データに対応する動被写体情報を取り込む処理を行う。
なお、ステップＦ３０１の判断は、動作推移動画を生成する一連のフレーム画像データの取込、つまり画像入力部１０からの供給が終了したか否かの判断である。つまり動作推移動画として反映させる所定数のフレーム画像データの入力が完了するまでは、ステップＦ３０１からＦ３０２に進むことになる。
【００８３】
入力画選択部２は、ステップＦ３０２でフレーム画像データ及び動被写体情報を取り込んだら、ステップＦ３０３で、当該フレーム画像データをキーフレームとするか否かを選定する。例えば図３のようにキーフレーム選定を行うとすると、１番目、６番目、１１番目・・・という５フレーム置きのフレームをキーフレームとする。
【００８４】
入力されたフレーム画像データについてキーフレーム判定を行ったら、入力画選択部２はステップＦ３０４で、合成画像更新保持部５から、その時点で既存の前回合成画像データ及び前々回合成画像データを取り込む。
なお、最初のキーフレームとされたフレーム画像データについての合成処理が行われるまでは、前回合成画像データ、前々回合成画像データは存在しない。また、２番目のキーフレームとされたフレーム画像データについての合成処理が行われるまでは前々回合成画像データは存在しない。ステップＦ３０４では、その時点で前回合成画像データ、前々回合成画像データが合成画像更新保持部５に保存されていれば、それを取り込むという処理となる。
【００８５】
ステップＦ３０５では、入力画選択部２は、今回のフレーム画像データ（キーフレーム又は非キーフレーム）を合成画像に反映させる画素位置の座標計算処理を行う。即ち最終的な合成画像のサイズ（動作推移動画のサイズ）の中で、今回のフレーム画像データを当てはめる画素範囲の算出処理である。
入力画選択部２は、このステップＦ３０５で算出した座標と、今回のフレーム画像データ及び動被写体情報と、前回合成画像データと、前々回合成画像データとを、レイヤー処理部３に出力する。
【００８６】
レイヤー処理部３は、ステップＦ３０６でプロセス判定処理を行う。
プロセス判定とは、効率的な合成処理を行うために、合成処理を行う範囲での画素毎（或いは列毎、或いは行毎）に、どのような合成処理プロセスを実行するかを判定する処理である。
なお、上記図１１〜図２０のように、被写体画像が横方向に推移していく動作推移動画を生成する場合は、プロセス判定処理は、画素毎もしくは列毎に行えばよい。一方、図示しないが、被写体画像が上下方向に推移していくような動作推移動画を生成する場合は、プロセス判定処理は、画素毎もしくは行毎に行えばよい。以下では、図１１〜図２０の例に合わせて、列毎にプロセス判定を行うという例に基づいて説明する。
【００８７】
ステップＦ３０６で行われるプロセス判定処理を図２２に示す。
本例では、合成処理には、今回のフレーム画像データと、前回合成画像データと、前々回合成画像データを用いる。既存の２つの合成画像データを用いる場合、判定するプロセス数は６個（プロセスＰ１〜Ｐ６）となる。もし、前々々回合成画像データ等、使用する合成画像データが増える場合は、プロセス数は増加する。
また、合成処理では、前回合成画像データに含まれる前回キーフレームの範囲の情報及び動被写体情報や、前々回合成画像データに含まれる前々回キーフレームの範囲の情報及びその動被写体情報を用いる。これらについては、前回合成画像データ、前々回合成画像データに付随して合成画像更新保持部５に保存され、上記ステップＦ３０２で読み出されるものとすればよい。
【００８８】
図２２のプロセス判定処理は、注目列（上記のように行の場合もある）毎に行われる。
プロセス判定を行う各列とは、例えば図１８の時点で言えば、Ａ１〜Ａ７の範囲の各列となる。
この範囲で画素一列（図１８の場合は合成画像データの上段の画素一列）を、それぞれ注目列としてプロセス判定を行う。
レイヤー処理部３は、まずステップＦ４０１として、１列を注目列とし、その画素位置（合成画像データ内での座標位置）を取得する。
そしてステップＦ４０２では、注目列の位置が前回合成画像データの範囲内か否かを判別する。前回合成画像データの範囲とは、図１８のＡ３領域〜Ａ７領域の範囲である。
注目列が前回合成画像データの範囲内でなければ、レイヤー処理部３はステップＦ４０３に進み、注目列が今回の推移動作有効領域内であるか否かを判別する。今回の推移動作有効領域とは、今回入力されたフレーム画像データ（キーフレーム又は非キーフレーム）の推移動作有効領域（図６（ｂ）参照）のことであり、図１８のＡ２領域〜Ａ５領域の範囲である。
【００８９】
レイヤー処理部３は、ステップＦ４０３で、注目列が今回の推移動作有効領域内でないと判断した場合は、当該注目列については、プロセスＰ１を適用すると判定する。これは、注目列が図１８のＡ１領域内となる場合である。
またレイヤー処理部３は、ステップＦ４０３で、注目列が今回の推移動作有効領域内であると判断した場合は、当該注目列については、プロセスＰ２を適用すると判定する。これは、注目列が図１８のＡ２領域内となる場合である。
【００９０】
またステップＦ４０２で、注目列が前回合成画像データの範囲内であると判定したときはレイヤー処理部３はステップＦ４０４に進み、注目列が今回の推移動作有効領域内であるか否かを判別する。そして、このステップＦ４０４で、注目列が今回の推移動作有効領域内ではないと判別した場合は、当該注目列については、プロセスＰ３を適用すると判定する。これは、注目列が図１８のＡ６及びＡ７領域内となる場合である。
【００９１】
またステップＦ４０４で、注目列が今回の推移動作有効領域内であると判別した場合は、レイヤー処理部３はステップＦ４０５に進み、注目列が後領域の範囲内であるか否かを判別する。後領域とは、推移動作有効領域内で、図６（ｂ）に示すように、動作推移画像の進行方向Ａ（左から右に移行する場合）に対して、後側であって図６（ｃ）の残存背景領域に含まれない領域である。なお、動作推移が右から左に移行する画像の場合は、推移動作有効領域内での右側の領域となる。また、動作推移が上から下に移行する画像の場合は、推移動作有効領域内での上側の領域となる。
図１８の例で言えば、Ａ５領域内の列が、後領域内と判定される。
ステップＦ４０５で、注目列が後領域に該当すると判別した場合は、レイヤー処理部３は、当該注目列については、プロセスＰ４を適用すると判定する。これは、注目列が図１８のＡ５領域内となる場合である。
【００９２】
ステップＦ４０５で後領域の範囲ではないと判別した場合は、レイヤー処理部３はステップＦ４０６に進み、注目列が前々回合成画像データの範囲内であるか否かを判別する。前々回合成画像データの範囲内とは、図１８のＡ４領域〜Ａ７領域の範囲である。
注目列が前々回合成画像データの範囲内ではないと判定した場合、レイヤー処理部３は、当該注目列については、プロセスＰ５を適用すると判定する。これは、注目列が図１８のＡ３領域内となる場合である。
またステップＦ４０６で注目列が前々回合成画像データの範囲内であると判定した場合、レイヤー処理部３は、当該注目列については、プロセスＰ６を適用すると判定する。これは、注目列が図１８のＡ６領域内となる場合である。
【００９３】
レイヤー処理部３は、図２１のステップＦ３０６で、或る１列の注目列について、以上の図２２のプロセス判定を行うごとに、ステップＦ３０７の合成処理を行う。ステップＦ３０７は、プロセス判定結果に応じて、合成結果の画像として、当該注目列の画素の合成を行う処理となり、必要に応じてレイヤー分離・加工・合成が行われる。
そして、ステップＦ３０８，Ｆ３０９については後述するが、ステップＦ３１０で今回入力された現在のフレーム画像データについて処理が終了したと判断されるまで、ステップＦ３０６〜Ｆ３０９の処理を繰り返す。つまり、プロセス判定処理を列単位で行うとした場合、全列についてプロセス判定及び合成処理を行うまで繰り返すことになる。
【００９４】
プロセス判定結果に応じた注目列に対する合成処理をそれぞれ説明していく。
まず、図２３に合成処理に用いる画像データを示す。
図２３（ａ）は、ステップＦ３０２で今回入力された入力画像（フレーム画像データ）の推移動作有効領域を示している。
図２３（ｂ）は、今回の時点で既存の前回合成画像データを示している。
図２３（ｃ）は、今回の時点で既存の前々回合成画像データを示している。
なお、これらは図１８の時点における入力画像、前回合成画像データ、前々回合成画像データの例としている。
【００９５】
プロセスＰ１は、描画を行わない処理とされる。
従って注目列がプロセスＰ１と判定された場合は、ステップＦ３０７では、特に画素を合成結果に反映させるという合成処理は行わない。
プロセスＰ１が適用される列は、図１８のＡ１領域の各列であり、従ってＡ１領域は何も描画されない。
【００９６】
プロセスＰ２は、今回のフレーム画像データの推移動作有効領域から画素データをコピーする処理とされる。
プロセスＰ２が適用される列は、図１８のＡ２領域の各列である。このＡ２領域は、前回合成画像データ（及び前々回合成画像データ）とは重複しない領域となる。従って、今回の入力画像の画素をそのまま反映させればよい。
Ａ２領域に相当する画素とは、図２４（ａ）に示すように、入力画像の推移動作有効領域において斜線部で示す各列の画素となる。
この各列の画素については、そのまま図１８のＡ２領域の画素としてコピーする。
【００９７】
プロセスＰ３は、前回合成画像データから画素データをコピーする処理とされる。
プロセスＰ３が適用される列は、図１８のＡ６領域及びＡ７領域の各列である。このＡ６領域及びＡ７領域は、今回入力されたフレーム画像データの推移動作有効領域とは重複しない領域となる。従って、前回合成画像データの画素をそのまま反映させればよい。
Ａ６領域及びＡ７領域に相当する画素とは、図２４（ｂ）に示すように、前回合成画像データにおいて斜線部で示す各列の画素となる。
この前回合成画像データの各列の画素については、そのまま図１８のＡ６領域及びＡ７領域の画素としてコピーする。
【００９８】
プロセスＰ４は、前回合成画像データ上に今回のフレーム画像データの動被写体画像（動被写体レイヤー）の画素データをコピーする処理とされる。
プロセスＰ４が適用される列は、図１８のＡ５領域の各列である。このＡ５領域は、今回入力されたフレーム画像データの後領域となる。この領域は、今回のフレーム画像データの動被写体のみが、前回合成画像データに重なって表示されるようにする。
図２５の上段には、入力画像の動被写体画像を示している。これは入力されたフレーム画像データについて図４で説明したレイヤー分離を行った後の、動被写体レイヤーとなる。即ちレイヤー処理部３は、レイヤー分離部３１の機能により、今回入力されたフレーム画像データについて動被写体情報を用いてレイヤー分離を行い、図示する動被写体のみの画像（背景のない画像）を生成する。
そして、この図２５の動被写体画像のうちで、斜線部が、後領域に相当する。この後領域に該当する各列の画素において、動被写体画像を構成する画素のみを、図２５下段に示す前回合成画像データのＡ５領域相当部分（斜線部）に転写する。
このように前回合成画像データ上に、今回のフレーム画像データの後領域の動被写体画素が転写された状態が、図１８のＡ５領域の合成画像データとして反映される。
【００９９】
プロセスＰ５は、今回入力されたフレーム画像データの動被写体画像と、前回キーフレームの動被写体画像と、今回入力されたフレーム画像データの背景画像の３つのレイヤーを合成する処理となる。
プロセスＰ５が適用される列は、図１８のＡ３領域の各列である。このＡ３領域は、今回入力されたフレーム画像データの推移動作有効領域と、前回合成画像データとが重なる部分である。そのため、図２６に示す優先順位で３つのレイヤーを合成する。
図２６（ａ）は入力画像の動被写体画像（動被写体レイヤー）を示している。また図２６（ｃ）は入力画像の背景画像（残存背景レイヤー）を示している。
レイヤー処理部３は、レイヤー分離部３１の機能により、上記プロセスＰ４の場合と同じく、入力されたフレーム画像データについて図４で説明したレイヤー分離を行い、これら動被写体画像と背景画像を得る。
また図２６（ｂ）は、前回合成画像データが生成された際のキーフレーム、即ち前回キーフレームの動被写体画像（動被写体レイヤー）を示している。なお、前回キーフレーム画像は前回合成画像データに含まれるが、前回キーフレームの動被写体画像の抽出は、前回キーフレームに対応する動被写体情報を用いて抽出できる。
この図２６（ａ）（ｂ）（ｃ）において、図１８の合成後の画像上での領域Ａ３に相当する部分には斜線を付している。
プロセスＰ５の合成処理では、図２６（ａ）（ｂ）（ｃ）の斜線部の列の画素について、図示するように、入力画像の動被写体画像を第１優先、前回キーフレームの動被写体画像を第２優先、入力画像の背景画像を第３優先としてレイヤー合成する。
つまり、図２６（ａ）の斜線部で動被写体を構成する画素は、それが最優先される。図２６（ａ）の斜線部で動被写体を構成する画素以外の部分は、図２６（ｂ）の斜線部において、動被写体を構成する画素があれば、その画素が当てはめられる。これら以外の画素部分は、図２６（ｃ）の背景画像を構成する画素が当てはめられる。
そしてこのように３レイヤーの画素が合成された状態が、図１８のＡ３領域の合成画像データとして反映される。
【０１００】
プロセスＰ６は、今回入力されたフレーム画像データの動被写体画像と、前回キーフレームの動被写体画像と、前々回合成画像データの動被写体画像と、今回入力されたフレーム画像データの背景画像の４つのレイヤーを合成する処理となる。
プロセスＰ６が適用される列は、図１８のＡ４領域の各列である。このＡ４領域は、今回入力されたフレーム画像データの推移動作有効領域と、前回合成画像データ及び前々回合成画像データとが重なる部分である。そのため、図２７に示す優先順位で４つのレイヤーを合成する。
図２７（ａ）は入力画像の動被写体画像（動被写体レイヤー）を示している。また図２７（ｄ）は入力画像の背景画像（残存背景レイヤー）を示している。
また図２７（ｂ）は、前回合成画像データが生成された際のキーフレーム、即ち前回キーフレームの動被写体画像（動被写体レイヤー）を示している。
また図２７（ｃ）は、前々回合成画像データが生成された際のキーフレーム、即ち前々回キーフレームの動被写体画像（動被写体レイヤー）を示している。
レイヤー処理部３は、レイヤー分離部３１の機能により、上記プロセスＰ４の場合と同じく、入力されたフレーム画像データについて図４で説明したレイヤー分離を行い、これら動被写体画像と背景画像を得る。また、前回合成画像データ、前々回合成画像データから、それぞれ動被写体情報を用いて前回キーフレームの動被写体画像、前々回キーフレームの動被写体画像を抽出する。
この図２７（ａ）（ｂ）（ｃ）（ｄ）において、図１８の合成後の画像上での領域Ａ４に相当する部分には斜線を付している。
プロセスＰ６の合成処理では、図２７（ａ）（ｂ）（ｃ）（ｄ）の斜線部の列の画素について、図示するように、入力画像の動被写体画像を第１優先、前回キーフレームの動被写体画像を第２優先、前々回キーフレームの動被写体画像を第３優先、入力画像の背景画像を第４優先としてレイヤー合成する。
つまり、図２７（ａ）の斜線部で動被写体を構成する画素は、それが最優先される。図２７（ａ）の斜線部で動被写体を構成する画素以外の部分は、図２７（ｂ）の斜線部において、動被写体を構成する画素があれば、その画素が当てはめられる。さらに図２７（ａ）（ｂ）で動被写体を構成する画素がない部分であって図２７（ｃ）の斜線部において動被写体を構成する画素があれば、その画素が当てはめられる。これら以外の画素部分は、図２７（ｄ）の背景画像を構成する画素が当てはめられる。
そしてこのように４レイヤーの画素が合成された状態が、図１８のＡ４領域の合成画像データとして反映される。
【０１０１】
プロセスＰ１〜Ｐ６の合成処理は以上のように行われる。
図２１のステップＦ３０７では、ステップＦ３０６でのプロセス判定結果に応じて、注目列の処理として上記プロセスＰ１〜Ｐ６のいずれかが実行される。
なお、列単位ではなく、画素単位でステップＦ３０６〜Ｆ３０９の処理を繰り返しても良い。
そして、合成処理対象の全ての列（全ての画素）について、いずれかのプロセスの処理が行われた時点で、例えば図１８のような合成画像データが完成することになる。
その時点で図２１の処理はステップＦ３１０からＦ３１１に進む。
【０１０２】
ステップＦ３１１では、レイヤー処理部３は合成画像データを画像出力部４に供給する。画像出力部４は、供給された合成画像データを、動作推移動画を構成する１つのフレームとして出力デバイス４０に出力する。
なお、画像出力部４は、合成処理に要する時間や、画像入力部１０からのフレーム画像データの入力間隔などに応じて、或いはゆっくり推移する動画を表現するためなどに応じて、１枚の合成画像データを、動作推移動画を構成する複数のフレームとして連続して出力するようにしてもよい。
【０１０３】
ステップＦ３１２では、今回処理したフレーム画像データがキーフレームであったか否かで処理を分岐する。即ちステップＦ３０３での判定結果により処理を分岐する。
今回入力されたフレーム画像データがキーフレームであった場合は、ステップＦ３１３で、今回生成された合成画像データを、以降の処理で前回合成画像データとして使用するために、合成画像更新保持部５に保存する処理を行う。
合成画像更新保持部５は、その時点で保持している前回合成画像データを、前々回合成画像データとし、新たに今回画像出力部４から供給される合成画像データを前回合成画像データとして保持する。なお、キーフレームの動被写体情報なども付随して記憶する。
【０１０４】
そしてステップＦ３０１に戻り、次のフレーム画像データの処理に移る。
以上のステップＦ３０１〜Ｆ３１３の処理が、フレーム画像データ入力毎に繰り返される過程で、図１１〜図２０に示したような動作推移動画が出力される。
即ちフレーム画像データが入力され、画像合成が行われるたびにステップＦ３１１で合成画像データが動画を構成する１フレームとして出力されることで、例えば出力デバイス４０がモニタ表示装置であるとすると、動作推移動画が表示されることになる。
また例えば出力デバイス４０が画像記録装置であるとすると、動作推移動画を構成する各フレームが、動画データとして記録されていくことになる。
【０１０５】
ステップＦ３０１で、全フレーム取込終了と判断されると、処理はステップＦ３１４に進み、合成処理が終了されると共に、画像出力部４は、合成画像データの出力を終了する。或いは、出力デバイス４０がモニタ表示装置であるような場合、例えば図２０のような最終フレームの合成画像データを、継続して出力してもよい。その場合、モニタ表示装置上では、図１１〜図２０の動作推移動画が完了して最後の図２０の画像が継続される状態となる。
【０１０６】
以上のように本実施の形態によれば、動作推移動画を生成し、出力することができる。そしてこの動作推移動画は、各時点の合成画像データを動画として出力することで、視覚効果が高く、動作の推移をわかりやすく捕らえることのできるものとなる。
そして、特にこの第２の生成処理例では、上記のプロセス判定に基づいて合成処理を行うことで、効率的な処理が実現される。即ち３レイヤー、４レイヤーのレイヤー合成を伴うプロセスＰ５、Ｐ６での合成処理は、比較的処理負担が大きい処理となるが、これらが必要な画素領域のみで実行される。そしてレイヤー合成が不要な領域ではプロセスＰ１、Ｐ２、Ｐ３等の単純なコピー処理で対応できる。これにより処理の効率化、処理負担の低減が図られる。
もちろんこの第２の生成処理例の場合も、第１の生成処理例で述べた動作推移静止画の場合と同様に、被写体の動作可能範囲の拡大による動被写体の的確な表現と、多数の動被写体を並べることでの時間方向に精細な動作推移の表現の両立を実現することができる。例えばゴルフクラブの先端等が欠けずに的確に表現され、しかも多数の動被写体画像を並べることができ、時間的に細かい間隔で動作推移を表現できる。
またこのような動作推移動画を生成出力する画像処理装置１としては、各種多様な機器に適用できることは、第１の生成処理例と同様である。
【０１０７】
ここで図２１における、ステップＦ３０８，Ｆ３０９の処理について説明する。
ステップＦ３０９のコピー処理とは、例えば図１９の時点で、上段の最後の動被写体を下段の最初の動被写体としてコピーする処理のことである。
図１９に示すように、合成画像データの上段の右端（左から右へ移行する場合）の所定範囲を下段コピー範囲と設定しておく。
そして、レイヤー処理部３は、プロセス判定を行い、合成画像データに合成した各列について、ステップＦ３０８では、その列（又は画素）が、下段コピー範囲（即ち上段の最後の領域）に該当するか否かを判別する。下段コピー範囲に該当した場合は、ステップＦ３０９で、その列の画素を、下段の対応位置にコピーしていく。
この処理を行うことで、図１９のように、上段における下段コピー範囲の画像が合成される際には、同時に下段にも同じ画像が合成される。
動作推移動画の表示上では、図１９の上段の最後の動被写体と、下段の最初の動被写体は、同じ画像が同時に表れてくることになる。
【０１０８】
このような処理を行うことで、下段コピー範囲の動被写体も、一部が途切れることなく、的確に表現されるものとなる。即ち被写体の状態によっては、上段の最後の画像の位置が途切れてしまうこともあるが、そのような被写体も下段に適切に表示される。またこれにより、上段の動作推移と、下段の動作推移が、見やすく移行するものとなる。
【０１０９】
［４．動被写体情報］
上記のように、第１，第２の生成処理例では、レイヤー分離処理として、フレーム画像データを動被写体レイヤーと残存背景レイヤーに分離する処理を行う。このレイヤー分離の際には、動被写体情報生成部１１又は動被写体情報入力部１２からの動被写体情報を用いると述べた。
上記各例では、図４（ａ）に示したように動被写体情報は２値の例としたが、３値以上の多値の動被写体情報を用いるようにすることもできる。
例えば動被写体情報生成部１１又は動被写体情報入力部１２では、複数の動被写体の深度（画像上での奥行き方向の前後関係）に応じて異なる値とした動被写体情報を生成（又は取得）するようにしてもよい。
そのような場合は、レイヤー分離部３１は、動被写体の数＋背景の数のレイヤーに分離することができる。
【０１１０】
例えば図２８は、フレーム画像データ内に二人の人物（２つの動被写体画像）が存在する場合の例を示している。
図２８（ａ）は動被写体情報を２値、図２８（ｂ）は動被写体情報を多値（例えば３値）とする例を示している。
図２８（ａ）は、背景を「０」、動被写体を「１」とする例であるが、その場合、２つの動被写体は、共に「１」とされる。
一方、図２８（ｂ）のように多値とすると、背景を「０」、１つの動被写体Ａを「１」、他の動被写体Ｂを「２」などとして表現することができる。
【０１１１】
ここで図２９では、２つの動被写体が画面上の前後に重なった状態を示している。
この場合、図２９（ａ）のように２値の場合は、動被写体情報上では、２つの動被写体の深度の区別はできない。
ところが図２９（ｂ）のように多値とすると、動被写体情報において、複数の動被写体の前後関係も判別できる情報となる。
【０１１２】
このように多値の動被写体情報を用いるようにすると、複数の動被写体画像毎にレイヤー分離が可能となる。すると、一方の動被写体と他方の動被写体の優先順位を異なるようにして合成を行ったり、一方の動被写体のみを抽出して動作推移画像を生成することなども可能となる。
【０１１３】
［５．第１の生成処理例の動画への適用］
上述したように、第１の生成処理例によっても、図１１〜図２０のような動作推移動画を生成することもできる。
図３０は、図９に示した第１の生成処理例に準じて、動作推移動画を生成出力する場合の処理例を示したものである。
なお、図９と同一の処理については同一のステップ番号を付し、重複説明を避ける。この図３０では、「Ａ」を付したステップ番号であるステップＦ１０３Ａ、Ｆ１０９Ａ、Ｆ１１０Ａ、Ｆ１１１Ａ、Ｆ１１２Ａが、図９とは異なる処理となる。
【０１１４】
以下、図９の処理と異なる点を説明する。
図９の処理ではステップＦ１０３で、入力画選択部２はキーフレームのみを選択して画像合成処理に供するようにしていた。ところが動作推移動画の生成の場合は、上記第２の生成処理例でも述べたように、キーフレームと非キーフレームの両方を合成処理に用いることになる。そのためステップＦ１０３Ａは、入力されたフレーム画像データについてキーフレームか非キーフレームかの判定処理となる（図２１のステップＦ３０３と同様の処理）。
【０１１５】
そして図３０のステップＦ１０４〜Ｆ１０８では、入力されたフレーム画像データについて合成処理を行うが、ステップＦ１０９Ａでは、画像出力部４が、生成された合成画像データを、動作推移動画を構成する１フレームのデータとして、出力デバイス４０に出力する（図２１のステップＦ３１１と同様の処理）。
【０１１６】
またステップＦ１１２Ａ、Ｆ１１０Ａは、前回合成画像データの更新についての処理となる。即ちこれは、図２１のステップＦ３１２，Ｆ３１３と同様の意味の処理であり、今回入力されたフレーム画像データがキーフレームであれば、合成画像更新保持部５に保持する前回合成画像データを更新する処理である。
【０１１７】
このようなステップＦ３０１〜Ｆ１１０の処理が、フレーム画像データ入力毎に繰り返される過程で、画像合成が行われるたびにステップＦ１０９Ａで合成画像データが動画を構成する１フレームとして出力される。これにより例えば出力デバイス４０に図１１〜図２０に示したような動作推移動画が出力される。
例えば出力デバイス４０がモニタ表示装置であるとすると、動作推移動画が表示される。また例えば出力デバイス４０が画像記録装置であるとすると、動作推移動画を構成する各フレームが、動画データとして記録されていくことになる。
【０１１８】
ステップＦ１０１で、全フレーム取込終了と判断されると、処理はステップＦ１１１Ａに進み、合成処理が終了されると共に、画像出力部４は、合成画像データの出力を終了する。或いは、出力デバイス４０がモニタ表示装置であるような場合、例えば図２０のような最終フレームの合成画像データを、継続して出力してもよい。
以上の図３０の処理によれば、第１の生成処理例において動作推移動画が生成され、出力されることになる。
【０１１９】
［６．第２の生成処理例の静止画への適用］
上記第２の生成処理例に準じて、動作推移静止画を生成出力することもできる。
図３１は、図２１に示した第２の生成処理例に準じて、動作推移静止画を生成出力する場合の処理例を示したものである。
なお、図２１と同一の処理については同一のステップ番号を付し、重複説明を避ける。この図３１では、「Ａ」を付したステップ番号であるステップＦ３０３Ａ、Ｆ３１１Ａ、Ｆ３１３Ａ、Ｆ３１４Ａが、図２１とは異なる処理となる。
【０１２０】
以下、図２１の処理と異なる点を説明する。
図２１の動作推移動画の生成の場合は、上述のように、キーフレームと非キーフレームの両方を合成処理に用いることになる。ところが動作推移静止画の生成の場合は、上記第１の生成処理例で述べたように、入力画選択部２はキーフレームのみを選択して画像合成処理に供する。
このため図３１でも入力画選択部２は、ステップＦ３０３Ａでキーフレームのみを選択してレイヤー処理部３に供給することになる（図９のステップＦ１０３と同様の処理）。
そしてステップＦ３０４〜Ｆ３１０で、図２１で説明した合成処理が行われる。
【０１２１】
ステップＦ３１１Ａでは、画像出力部４は生成された合成画像データを保持する（図９のステップＦ１０９と同様の処理）。
そしてステップＦ３１３Ａで、画像出力部４は、合成画像データを合成画像更新保持部５に供給し、合成画像更新保持部５は前回合成画像データ及び前々回合成画像データを更新する（図９のステップＦ１１０と同様の意味の処理）。
【０１２２】
以上のステップＦ３０１〜Ｆ３１３Ａの処理が、キーフレーム入力毎に繰り返されることで、最終的に図２に示した状態の合成画像データが得られる。
この時点で、ステップＦ３０１からステップＦ３１４Ａに進み、画像出力部４は、その時点で保持している合成画像データ（即ち図２の状態の合成画像データ）を、動作推移静止画データとして出力デバイス４０に出力する。
このような図３１の処理によって、１枚の動作推移静止画データが生成され、出力されることになる。
【０１２３】
［７．プログラム］
以上の実施の形態は、画像処理装置１として説明したが、本発明の画像処理装置１は動作推移画像を生成する専用装置とする他、画像処理を行う各種機器に適用できる。例えば画像再生装置、撮像装置、通信装置、画像記録装置、ゲーム機器、ビデオ編集機、などが想定される。
さらに、汎用のパーソナルコンピュータその他の情報処理装置において、画像処理装置１を実現することも当然想定される。
例えば図９及び図１０，図２１及び図２２，図３０，図３１の各処理ブロックの動作を演算処理装置に実行させるプログラムを画像処理アプリケーションソフトウエアとして提供することで、パーソナルコンピュータ等において、適切な画像処理を実現できる。
【０１２４】
即ち画像処理装置１の画像処理を実現するプログラムとは次のレイヤー分離ステップ及び合成処理ステップを演算処理装置に実行させるプログラムである。
レイヤー分離ステップでは、フレーム画像データについて、画像内の動被写体レイヤーと背景レイヤーを分離する。
合成処理ステップでは、フレーム画像データが入力された時点において既存の合成画像データの一部領域に対し、入力された最新のフレーム画像データの動被写体レイヤーを第１に優先し、また前回以前の合成処理に係るフレーム画像データの動被写体レイヤーを第２に優先したレイヤー画像合成処理を含む画像合成処理を行う。
【０１２５】
このようなプログラムにより、本発明をパーソナルコンピュータ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、その他画像データを用いる多様な情報処理装置においても同様の画像処理を実行できるようにすることができる。
【０１２６】
なお、このようなプログラムは、パーソナルコンピュータ等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【符号の説明】
【０１２７】
１  画像処理装置、２  入力画選択部、３  レイヤー処理部、４  画像出力部、５  合成画像更新保持部、１０  画像入力部、１１  動被写体情報生成部、１２  動被写体情報入力部、２１  キーフレーム判定部、２２  座標計算部、３１  レイヤー分離部、３２  レイヤー加工部、３３  レイヤー合成部、４０  出力デバイス
【図１】
2011030244.tif 000003
【図２】
2011030244.tif 000004
【図３】
2011030244.tif 000005
【図４】
2011030244.tif 000006
【図５】
2011030244.tif 000007
【図６】
2011030244.tif 000008
【図７】
2011030244.tif 000009
【図８】
2011030244.tif 000010
【図９】
2011030244.tif 000011
【図１０】
2011030244.tif 000012
【図１１】
2011030244.tif 000013
【図１２】
2011030244.tif 000014
【図１３】
2011030244.tif 000015
【図１４】
2011030244.tif 000016
【図１５】
2011030244.tif 000017
【図１６】
2011030244.tif 000018
【図１７】
2011030244.tif 000019
【図１８】
2011030244.tif 000020
【図１９】
2011030244.tif 000021
【図２０】
2011030244.tif 000022
【図２１】
2011030244.tif 000023
【図２２】
2011030244.tif 000024
【図２３】
2011030244.tif 000025
【図２４】
2011030244.tif 000026
【図２５】
2011030244.tif 000027
【図２６】
2011030244.tif 000028
【図２７】
2011030244.tif 000029
【図２８】
2011030244.tif 000030
【図２９】
2011030244.tif 000031
【図３０】
2011030244.tif 000032
【図３１】
2011030244.tif 000033
【図３２】
2011030244.tif 000034
【図３３】
2011030244.tif 000035
【手続補正書】
【提出日】平成22年9月15日(2010.9.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動被写体レイヤーと背景レイヤーとに分離されたフレーム画像データの入力に応じて、既存の合成画像データに、上記入力された最新のフレーム画像データを合成することで、各フレーム画像データの上記背景レイヤーが、所定の順に所定の方向に並んで配置される合成画像データを生成する合成処理部を備え、
上記合成処理部は、上記動被写体レイヤーが、対応する背景レイヤー及び隣接する背景レイヤーと重なる部分を有する状態で合成するとともに、上記動被写体レイヤーを、上記対応する背景レイヤーに隣接する背景レイヤーより優先して合成する画像合成処理を行う画像処理装置。
【請求項２】
上記合成処理部は、上記最新のフレーム画像データの動被写体のレイヤーを上記既存の合成画像データの動被写体のレイヤーより優先して合成する請求項１に記載の画像処理装置。
【請求項３】
上記合成処理部で生成された上記合成画像データを、フレーム画像データとして出力する出力部を備える請求項２に記載の画像処理装置。
【請求項４】
上記合成処理部は、上記合成処理を行う際に、処理対象の画素の位置に応じて、
入力された最新のフレーム画像データの動被写体レイヤーの画素をあてはめる処理と、
既存の合成画像データからの抽出画素をあてはめる処理と、
新たなフレーム画像データと既存の合成画像データを用いた合成処理とを、
選択的に実行する請求項３に記載の画像処理装置。
【請求項５】
上記フレーム画像データから、キーフレームを選択するキーフレーム選択部を備え、
上記合成処理部は、上記キーフレームとして選択された上記フレーム画像データに基づいて、上記合成画像データを生成する請求項１に記載の画像処理装置。
【請求項６】
上記フレーム画像データから、キーフレームを選択するキーフレーム選択部を備え、
上記合成処理部は、キーフレームとして選択されたフレーム画像データの入力に応じて上記画像合成処理を行い、
上記出力部は、所定数のフレーム画像データについて上記合成処理部で上記画像合成処理が行われた結果として得られる合成画像データを、動作推移静止画データとして出力する請求項３に記載の画像処理装置。
【請求項７】
上記出力部は、フレーム画像データの入力毎に上記合成処理部で生成される合成画像データを、連続して、動作推移動画データとして出力する請求項３に記載の画像処理装置。
【請求項８】
上記合成処理部でフレーム画像データの入力に応じた合成処理で生成される合成画像データを、次回の合成処理で用いる上記既存の合成画像データとして保持する合成画像保持部をさらに備える請求項１に記載の画像処理装置。
【請求項９】
動被写体レイヤーと背景レイヤーとに分離されたフレーム画像データの入力に応じて、既存の合成画像データに、上記入力された最新のフレーム画像データを合成することで、各フレーム画像データの上記背景レイヤーが、所定の順に所定の方向に並んで配置される合成画像データを生成する際に、
上記動被写体レイヤーが、対応する背景レイヤー及び隣接する背景レイヤーと重なる部分を有する状態で合成するとともに、上記動被写体レイヤーを、上記対応する背景レイヤーに隣接する背景レイヤーより優先して合成する画像処理方法。
【請求項１０】
動被写体レイヤーと背景レイヤーとに分離されたフレーム画像データの入力に応じて、既存の合成画像データに、上記入力された最新のフレーム画像データを合成することで、各フレーム画像データの上記背景レイヤーが、所定の順に所定の方向に並んで配置される合成画像データを生成する際に、
上記動被写体レイヤーが、対応する背景レイヤー及び隣接する背景レイヤーと重なる部分を有する状態で合成するとともに、上記動被写体レイヤーを、上記対応する背景レイヤーに隣接する背景レイヤーより優先して合成する合成処理を演算処理装置に実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の画像処理装置は、動被写体レイヤーと背景レイヤーとに分離されたフレーム画像データの入力に応じて、既存の合成画像データに、上記入力された最新のフレーム画像データを合成することで、各フレーム画像データの上記背景レイヤーが、所定の順に所定の方向に並んで配置される合成画像データを生成する合成処理部を備える。この合成処理部は、上記動被写体レイヤーが、対応する背景レイヤー及び隣接する背景レイヤーと重なる部分を有する状態で合成するとともに、上記動被写体レイヤーを、上記対応する背景レイヤーに隣接する背景レイヤーより優先して合成する画像合成処理を行う。
また上記合成処理部は、上記最新のフレーム画像データの動被写体のレイヤーを上記既存の合成画像データの動被写体のレイヤーより優先して合成する。
また上記合成処理部で生成された上記合成画像データを、フレーム画像データとして出力する出力部を備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また上記合成処理部は、上記合成処理を行う際に、処理対象の画素の位置に応じて、入力された最新のフレーム画像データの動被写体レイヤーの画素をあてはめる処理と、既存の合成画像データからの抽出画素をあてはめる処理と、新たなフレーム画像データと既存の合成画像データを用いた合成処理とを選択的に実行する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
また上記フレーム画像データから、キーフレームを選択するキーフレーム選択部を備え、上記合成処理部は、上記キーフレームとして選択された上記フレーム画像データに基づいて、上記合成画像データを生成する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
また上記フレーム画像データから、キーフレームを選択するキーフレーム選択部を備え、上記合成処理部は、キーフレームとして選択されたフレーム画像データの入力に応じて上記画像合成処理を行い、上記出力部は、所定数のフレーム画像データについて上記合成処理部で上記画像合成処理が行われた結果として得られる合成画像データを、動作推移静止画データとして出力する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また上記出力部は、フレーム画像データの入力毎に上記合成処理部で生成される合成画像データを、連続して、動作推移動画データとして出力する。
また上記合成処理部でフレーム画像データの入力に応じた合成処理で生成される合成画像データを、次回の合成処理で用いる上記既存の合成画像データとして保持する合成画像保持部をさらに備える。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明の画像処理方法は、動被写体レイヤーと背景レイヤーとに分離されたフレーム画像データの入力に応じて、既存の合成画像データに、上記入力された最新のフレーム画像データを合成することで、各フレーム画像データの上記背景レイヤーが、所定の順に所定の方向に並んで配置される合成画像データを生成する際に、上記動被写体レイヤーが、対応する背景レイヤー及び隣接する背景レイヤーと重なる部分を有する状態で合成するとともに、上記動被写体レイヤーを、上記対応する背景レイヤーに隣接する背景レイヤーより優先して合成する画像処理方法である。
本発明のプログラムは、この画像処理方法を演算処理装置に実行させるプログラムである。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
即ち本発明では、入力される複数のフレーム画像データについて画像合成処理を行って動作推移画像を生成する。なおフレーム画像データとは、動画を構成する各フレームの１つであったり、例えば連写撮像された静止画の１枚１枚の画像などのことである。即ち１枚の画像を構成する画像データのことを広く示すものとする。
本発明では、入力される複数のフレーム画像データについて画像合成処理を行って動作推移画像を生成する際に、フレーム画像データについて、画像内の動被写体レイヤーと背景レイヤーを分離する処理を行う。そして、フレーム画像データが入力された各時点において、その時点で既存の合成画像データに、入力された最新のフレーム画像データを合成していく。このときに、１つのフレームについての幅を短くすることで、多数の動被写体画像を並べることができるが、その場合に最新のフレーム画像データの動被写体と、それ以前のフレーム画像データの動被写体が重なる部分が生ずる。そこで、動被写体レイヤーが、対応する背景レイヤー及び隣接する背景レイヤーと重なる部分を有する状態で合成するとともに、上記動被写体レイヤーを、上記対応する背景レイヤーに隣接する背景レイヤーより優先して合成する。これにより動被写体の一部が以前のフレームの動被写体の上に重なる状態で合成画像が生成される。
また、この手法を動画にも適用する。動画の場合は、順次入力される各フレーム画像データにいて画像合成処理を行っていきながら、各時点の合成処理結果を動画データ（動作推移動画）として出力すればよい。