(57)【要約】【課題】関節の動きに起因する被写体の変形を高精度に表現可能な画像を生成することができる画像列生成装置を提供する。【解決手段】第１の時系列画像から第２の時系列画像を生成する画像列生成装置であって、関節の動きに起因して変形する被写体を含む時系列に並んだ複数の画像である第１の時系列画像に含まれる各画像について、前記被写体の姿勢に関する特徴量ベクトルを抽出する特徴抽出部１０２と、前記第１の時系列画像より抽出される複数の特徴量ベクトルを用いて、前記第１の時系列画像の撮像時刻とは異なる時刻である中間時刻における画像を選択する画像選択部１０３と、前記第１の時系列画像と選択された前記中間時刻における画像とから第２の時系列画像を生成する表示・記録部１０４とを備える。【選択図】図１
2007199864.tif 000002
【特許請求の範囲】
【請求項１】
第１の時系列画像から第２の時系列画像を生成する画像列生成方法であって、
関節の動きに起因して変形する被写体を含む時系列に並んだ複数の画像である第１の時系列画像に含まれる各画像について、前記被写体の姿勢に関する特徴量ベクトルを抽出する特徴抽出ステップと、
前記第１の時系列画像より抽出される複数の特徴量ベクトルを用いて、前記第１の時系列画像の撮像時刻とは異なる時刻である中間時刻における画像を、所定の複数の画像の中から選択する画像選択ステップと、
前記第１の時系列画像と選択された前記中間時刻における画像とから第２の時系列画像を生成する時系列画像生成ステップとを含む画像列生成方法。
【請求項２】
前記特徴抽出ステップでは、画像中の前記被写体のシルエットの輪郭線上に設けられた複数の代表点における特徴量をもとに被写体形状を表現する特徴量ベクトルを抽出する
請求項１に記載の画像列生成方法。
【請求項３】
前記特徴抽出ステップでは、各時刻における画像において、所定の基準点と前記複数の代表点との間の距離より特徴量ベクトルを抽出する
請求項２に記載の画像列生成方法。
【請求項４】
前記特徴抽出ステップでは、各時刻における画像において、所定の基準点を原点としたときの、前記複数の代表点の相対座標値より特徴量ベクトルを抽出する
請求項２に記載の画像列生成方法。
【請求項５】
前記特徴抽出ステップでは、画像中の前記被写体の画像から、前記被写体の姿勢を表現する各関節の位置の座標を要素とする特徴量ベクトルを抽出する
請求項１に記載の画像列生成方法。
【請求項６】
前記特徴抽出ステップは、
前記第１の時系列画像に含まれる各時刻における画像において、前記シルエットの輪郭線上に設けられた複数の代表点における特徴量を要素とする第１の特徴量ベクトルを生成するステップと、
前記第１の特徴量ベクトルに基づいて、前記被写体の関節位置および関節間の角度を表す第２の特徴量ベクトルを推定するステップとを含む
請求項５に記載の画像列生成方法。
【請求項７】
前記画像選択ステップは、
時系列入力画像から抽出された２枚の画像に対する特徴量ベクトルを用いて、当該２枚の画像の撮像時刻の中間時刻の姿勢に関する特徴量ベクトルを推定する中間時刻姿勢推定ステップと、
推定された前記中間時刻の特徴量ベクトルに基づいて、当該特徴量ベクトルに対応する画像を前記中間時刻における画像として選択する中間時刻画像選択ステップとを含む
請求項１に記載の画像列生成方法。
【請求項８】
前記中間姿勢推定ステップは、時系列入力画像から抽出した特徴量ベクトル間の補間によって中間時刻の姿勢や被写体形状における特徴量ベクトルを推定する
請求項７に記載の画像列生成方法。
【請求項９】
前記被写体は動物または人間であり、
前記中間姿勢推定ステップでは、時系列入力画像から抽出した特徴量ベクトルのうち、胴体に接する関節位置および関節間の角度を表す特徴ベクトルについては直線補間を行い、その他の関節位置および関節間の角度を表す特徴ベクトルについては回転運動を仮定した補間を行うことによって、中間時刻の姿勢に関する特徴量ベクトルを推定する
請求項７に記載の画像列生成方法。
【請求項１０】
前記中間時刻画像選択ステップでは、
推定された前記中間時刻の特徴量ベクトルに基づいて、当該特徴量ベクトルに対応する画像を、あらかじめ画像と特徴量ベクトルとの組を保持している記憶部の中から選択する
請求項７に記載の画像列生成方法。
【請求項１１】
第１の時系列画像から第２の時系列画像を生成する画像列生成装置であって、
関節の動きに起因して変形する被写体を含む時系列に並んだ複数の画像である第１の時系列画像に含まれる各画像について、前記被写体の姿勢に関する特徴量ベクトルを抽出する特徴抽出手段と、
前記第１の時系列画像より抽出される複数の特徴量ベクトルを用いて、前記第１の時系列画像の撮像時刻とは異なる時刻である中間時刻における画像を選択する画像選択手段と、
前記第１の時系列画像と選択された前記中間時刻における画像とから第２の時系列画像を生成する時系列画像生成手段とを備える画像列生成装置。
【請求項１２】
第１の時系列画像から第２の時系列画像を生成するプログラムであって、
関節の動きに起因して変形する被写体を含む時系列に並んだ複数の画像である第１の時系列画像に含まれる各画像について、前記被写体の姿勢に関する特徴量ベクトルを抽出する特徴抽出ステップと、
前記第１の時系列画像より抽出される複数の特徴量ベクトルを用いて、前記第１の時系列画像の撮像時刻とは異なる時刻である中間時刻における画像を選択する画像選択ステップと、
前記第１の時系列画像と選択された前記中間時刻における画像とから第２の時系列画像を生成する時系列画像生成ステップとをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物等の被写体を含む複数の画像の中から、関節の動きに起因する姿勢または被写体形状の変化に基づいて画像列を生成する画像列生成方法および画像列生成装置に関し、特に、被写体の変形する過程を入力された画像よりも高い時間解像度で表現可能な画像列生成方法および画像列生成装置に関する。
【背景技術】
【０００２】
民生用デジタルスチルカメラ、民生用デジタルビデオカメラ、監視カメラなどの普及により、手軽に大量の画像および映像を撮影することができるようになった。また、ＤＶＤ（Digital Versatile Disc）の普及や放送の多チャネル化により、手軽に大量の画像および映像を入手、再生することができるようになった。これらの大量の映像をすべて記憶装置に記憶したり、他の機器に転送したりするためには、大容量の記憶装置、転送装置が必要となり効率が悪くコストがかかる。一方、効率やコストを重視して過度な圧縮処理や画像縮小を行うことが必要となり画質の低下を招く。そのため、大量の映像をどのように再生、転送、記憶するかは、効率、画質の点で非常に重要な課題である。
【０００３】
画質の点では、例えば民生用のデジタルスチルカメラの連写機能とデジタルビデオカメラの動画とを比較した場合、フレームレートが小さいデジタルスチルカメラの方が一般的に高画質で撮影可能である。しかしながら、特に被写体の動きが大きく、フレームレートが小さい場合、各画像の撮影時間間隔が大きいため、飛び飛びで不自然な映像となり、滑らかな動画を得ることができない。また、スポーツ等の映像において所望の姿勢の画像を撮影することが難しくなる。
【０００４】
所望の画像を撮影、選択するための方法の１つとして、特許文献１に以下のような技術が開示されている。異なる焦点位置で撮像した複数のパターン画像に対して、あらかじめ用意した輝度勾配を特徴量とする輪郭基準データをパターン画像上で走査する。そして、複数のパターン画像の各々と輪郭基準データとの相関値を計算することでパターン画像の合焦状態を判定し、撮影された複数のパターン画像の中から合焦しているパターン画像を選択する方法が開示されている。
【特許文献１】特開２００４−２９４１００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術に代表される代表画像の選択方法を用いても、被写体の変形する過程を高精度に表現可能な画像を代表画像として選択することができないため、監視やＤＶＤ等のＡＶ再生機器においては、被写体の動作をユーザが理解しにくく、被写体の動きが不自然となる。また、民生用カメラの撮影、再生においては、被写体の動きを正確に再現できない。
【０００６】
すなわち、特許文献１に代表される代表画像の選択方法では、あらかじめ用意した輝度勾配を特徴量とする基準データを用いて、所望のパターン画像を選択するものである。この方法の場合、輝度勾配を特徴量とする相関値計算のため、被写体の変形を考慮した画像の選択方法とはなっていない。そのため、動物や人物の動作における姿勢変化を表現可能な画像選択方法とは必ずしもなっておらず、このため、被写体の変形を高精度に表現可能な画像を代表画像として選択することが難しく、時間解像度の粗い画像列を補間するための画像をこの方法を用いて選択し、時間解像度が密な画像列を生成したとしても、被写体の動きを正確に再現することができない。特に、スポーツ映像等、動作を滑らかに再生することが要求される画像列を生成する場合に問題となる。
【０００７】
本発明は、上述の課題を解決するためになされたものであり、関節の動きに起因する被写体の変形を高精度に表現可能な画像を生成することができる画像列生成方法および画像列生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像列生成方法は、第１の時系列画像から第２の時系列画像を生成する画像列生成方法であって、関節の動きに起因して変形する被写体を含む時系列に並んだ複数の画像である第１の時系列画像に含まれる各画像について、前記被写体の姿勢に関する特徴量ベクトルを抽出する特徴抽出ステップと、前記第１の時系列画像より抽出される複数の特徴量ベクトルを用いて、前記第１の時系列画像の撮像時刻とは異なる時刻である中間時刻における画像を、所定の複数の画像の中から選択する画像選択ステップと、前記第１の時系列画像と選択された前記中間時刻における画像とから第２の時系列画像を生成する時系列画像生成ステップとを含む。
【０００９】
なお、本発明は、このような特徴的なステップを備える画像選択方法として実現することができるだけでなく、画像選択方法に含まれる特徴的なステップを手段とする画像選択装置として実現したり、画像選択方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
【発明の効果】
【００１０】
本発明によると、人物等の関節の動きに起因して変形する被写体を含む時系列画像から、それぞれの被写体の姿勢や形状を表現する特徴量ベクトルを抽出し、前記特徴量を用いて、特定の時刻における姿勢もしく姿勢に起因した所望の被写体形状を含む画像を選択することによって、被写体の変形を高精度に表現可能な画像を代表画像として選択することができる。これにより、入力画像よりも少ない枚数で人物等の動作を効率良く再生することが可能となる。また、特定の時刻における姿勢や被写体形状の画像を選択することによって、被写体の動作が滑らかな動画を再生することが可能となる。
【発明を実施するための最良の形態】
【００１１】
本発明に係る画像列生成方法は、第１の時系列画像から第２の時系列画像を生成する画像列生成方法であって、関節の動きに起因して変形する被写体を含む時系列に並んだ複数の画像である第１の時系列画像に含まれる各画像について、前記被写体の姿勢に関する特徴量ベクトルを抽出する特徴抽出ステップと、前記第１の時系列画像より抽出される複数の特徴量ベクトルを用いて、前記第１の時系列画像の撮像時刻とは異なる時刻である中間時刻における画像を、所定の複数の画像の中から選択する画像選択ステップと、前記第１の時系列画像と選択された前記中間時刻における画像とから第２の時系列画像を生成する時系列画像生成ステップとを含む。
【００１２】
この構成によると、人物等の関節の動きに起因して変形する被写体を含む時系列画像から、それぞれの被写体の姿勢や形状を表現する特徴量ベクトルを抽出し、前記特徴量を用いて、特定の時間における姿勢もしくその姿勢に起因した被写体形状を含む画像を選択することによって、被写体の変形を高精度に表現可能な画像を代表画像として選択することができる。これにより、入力画像よりも少ない枚数で人物等の動作を効率良く再生することが可能となる。また、特定の時刻における姿勢や被写体形状の画像を選択することによって、被写体の動作が滑らかな動画を再生することが可能となる。
【００１３】
好ましくは、前記特徴抽出ステップでは、画像中の前記被写体のシルエットの輪郭線上に設けられた複数の代表点における特徴量をもとに被写体形状を表現する特徴量ベクトルを抽出するようにしてもよい。
【００１４】
輪郭線上の代表点より特徴量ベクトルを求めることによって、シルエット内の画素値を用いる場合と比較して、関節の動きに起因して変形する被写体形状を効率的に表現することができる。
【００１５】
さらに好ましくは、前記特徴抽出ステップでは、各時刻における画像において、所定の基準点と前記複数の代表点との間の距離より特徴量ベクトルを抽出するようにしてもよい。また、前記特徴抽出ステップでは、各時刻における画像において、所定の基準点を原点としたときの、前記複数の代表点の相対座標値より特徴量ベクトルを抽出するようにしてもよい。
【００１６】
輪郭線上の代表点より特徴量ベクトルを求めることによって、シルエット内の画素値を用いる場合と比較して、被写体のシルエットの形状を効率的に表現することができる。
【００１７】
好ましくは、前記特徴抽出ステップでは、画像中の前記被写体の画像から、前記被写体の姿勢を表現する各関節の位置の座標を要素とする特徴量ベクトルを抽出する。
【００１８】
被写体画像から、被写体の姿勢を表現する関節の位置や角度を抽出することによって、時々刻々と変化する被写体の姿勢を効率的に表現することができる。
【００１９】
さらに好ましくは、前記特徴抽出ステップは、前記第１の時系列画像に含まれる各時刻における画像において、前記シルエットの輪郭線上に設けられた複数の代表点における特徴量を要素とする第１の特徴量ベクトルを生成するステップと、前記第１の特徴量ベクトルに基づいて、前記被写体の関節位置および関節間の角度を表す第２の特徴量ベクトルを推定するステップとを含む。
【００２０】
第１の特徴量ベクトルから第２の特徴量ベクトルを推定することによって、被写体の姿勢や被写体形状をより効率的に表現することが可能となる。
【００２１】
さらに好ましくは、前記画像選択ステップは、時系列入力画像から抽出された２枚の画像に対する特徴量ベクトルを用いて、当該２枚の画像の撮像時刻の中間時刻の姿勢に関する特徴量ベクトルを推定する中間時刻姿勢推定ステップと、推定された前記中間時刻の特徴量ベクトルに基づいて、当該特徴量ベクトルに対応する画像を前記中間時刻における画像として選択する中間時刻画像選択ステップとを含む。また、前記中間姿勢推定ステップは、時系列入力画像から抽出した特徴量ベクトル間の補間によって中間時刻の姿勢や被写体形状における特徴量ベクトルを推定する。
【００２２】
このように、撮影されていない中間時刻における姿勢や被写体形状を補間により推定することによって、滑らかな動画を再生することができる。
【００２３】
さらに好ましくは、前記被写体は動物または人間であり、前記中間姿勢推定ステップでは、時系列入力画像から抽出した特徴量ベクトルのうち、胴体に接する関節位置および関節間の角度を表す特徴ベクトルについては直線補間を行い、その他の関節位置および関節間の角度を表す特徴ベクトルについては回転運動を仮定した補間を行うことによって、中間時刻の姿勢に関する特徴量ベクトルを推定する。
【００２４】
特に人物等の関節の構成に基づいて中間時刻における姿勢や被写体形状を推定することによって、関節の運動をより滑らかな動画として再生することができる。
【００２５】
さらに好ましくは、前記中間時刻画像選択ステップでは、推定された前記中間時刻の特徴量ベクトルに基づいて、当該特徴量ベクトルに対応する画像を、あらかじめ画像と特徴量ベクトルとの組を保持している記憶部の中から選択する。
【００２６】
記憶部にさまざまな姿勢またはさまざまな姿勢に起因した被写体形状を含む画像を用意しておけば、被写体の動作をより滑らかに再生することが可能となる。
【００２７】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２８】
（実施の形態１）
まず、本発明の実施の形態１に係る画像選択装置について説明する。実施の形態１に係る画像選択装置は、入力された画像中より、相互に非類似の複数の画像を選択する装置である。
【００２９】
図１は、本発明の実施の形態に係る画像選択装置の構成を示す図である。図１の画像選択装置は、人物等の被写体を含む時系列画像の各々について、被写体の姿勢に関する特徴量を算出し、各画像に対応する特徴量ベクトルに基づいて、特定の姿勢を含む画像を選択することによって、被写体の姿勢や姿勢に起因した被写体の変形を高精度に表現可能な画像を代表画像として選択する装置であり、画像入力部１０１と、特徴抽出部１０２と、画像選択部１０３と、表示・記録部１０４とを備えている。
【００３０】
本実施の形態では特に、姿勢に起因した被写体形状を表す特徴量を算出し、当該特徴量の独立性を評価することによって、特に被写体の変形を効率良く、高精度に表現可能な画像を代表画像として選択する例について述べる。
【００３１】
画像入力部１０１は、人物等の被写体を含む時系列画像の入力を受け付ける処理部である。画像入力部１０１に入力される画像は、カメラ等により撮像された画像であってもよいし、予めハードディスク等の画像記録装置に記録された画像であってもよい。
【００３２】
特徴抽出部１０２は、画像入力部１０１より入力された画像から被写体の輪郭形状を表す輪郭特徴量を抽出する処理部である。
【００３３】
図２は、特徴抽出部１０２の詳細な構成を示す図である。
図２に示すように、特徴抽出部１０２は、人物領域抽出部１０２１と、シルエット抽出部１０２２と、輪郭特徴抽出部１０２３とから構成される。
【００３４】
人物領域抽出部１０２１は、画像入力部１０１より入力された画像から人物領域を抽出する処理部である。シルエット抽出部１０２２では、例えば、抽出した人物領域の画素値を「１」とし、それ以外の画素値を「０」とする２値化処理を行い、被写体シルエットを抽出する処理部である。輪郭特徴抽出部１０２３は、被写体シルエットに対して、被写体シルエットの輪郭に関する特徴量を抽出する処理部である。
【００３５】
画像選択部１０３は、特徴抽出部１０２で抽出した特徴量に基づいて、複数の画像の中から特定の時間における姿勢や姿勢に起因した特定の被写体形状を含む画像を選択する。本実施の形態においては、各時刻で入力された画像から抽出した輪郭特徴量を用いて、輪郭特徴量同士の独立性を評価することにより、独立性の高い輪郭特徴量が抽出された画像を少なくとも２枚以上選択する。選択された画像は、相互に異なる形状特徴を含む画像である。なお、輪郭特徴量の独立性は、各時刻において、被写体シルエットの輪郭形状を表す特徴量をそれぞれベクトルとして表現した時に、それぞれのベクトルの内積またはコサイン値を評価することで判定可能である。なお、ベクトル同士の正規化相互相関値を用いて判定を行ってもよい。
【００３６】
表示・記録部１０４は、画像選択部１０３で選択された画像をモニタ等に表示する処理部である。また、表示・記録部１０４は、画像選択部１０３で選択された画像を画像記録装置にも記録する。
【００３７】
これにより、画像中に含まれる被写体の変形を効率良く、高精度に表現可能な画像を代表画像として選択して、表示および記録することができる。
【００３８】
以下に、本発明の実施の形態１に係る映像選択装置による映像選択方法について、図３および図４を用いて詳細に説明する。
【００３９】
図３は、映像選択装置の実行する処理のフローチャートである。図４は、輪郭特徴量の抽出方法について説明するための図である。
【００４０】
まず、画像入力部１０１は、時系列画像４０１の入力を受け付ける（Ｓ３０１）。
次に、人物領域抽出部１０２１は、図４（ａ）に示すような入力された画像４０１に対して図４（ｂ）に示す背景画像４０２を用いて背景差分処理を行い、人物領域を抽出する（Ｓ３０２）。なお、ここでは、背景差分処理の代わりにフレーム間差分処理を行っても良いし、領域分割手法を用いて人物領域を抽出しても良い。さらに、人物検出処理を併用する場合には、M.Oren, C.Papageorgiou, P.Sinha, E.Osuna and T.Poggio, "Pedestrian Detection using wavelet templates", Proc.of CVPR97, pp.193-199, 1997に開示されている技術等を用いて、人物検出処理を行い、その結果を用いて人物領域を切り出しても良い。さらに、エッジ検出処理を併用しても良い。また、背景差分処理を行う場合は、人物の存在しない背景となる画像を事前に準備しておく。また、動画像から背景スプライト画像を生成し、背景差分処理のための背景画像として用いることもできる。
【００４１】
次に、シルエット抽出部１０２２は、Ｓ３０２で抽出した人物領域を含む画像に対して、抽出した人物領域の画素値をオンピクセル（１）とし、それ以外をオフピクセル（０）とするような２値化処理を行う（Ｓ３０３）。これによって、図４（ｃ）に示すような人物画像の被写体シルエット４０３が得られる。ここで、被写体シルエット４０３は、ハッチングを施しが部分がオンピクセルの部分であり、白色部分がオフピクセルの部分の例である。
【００４２】
なお、ここで、ノイズの影響により起こる輪郭の不要な凹凸を減らすために、被写体シルエットを平滑化することも有効である。
【００４３】
次に、輪郭特徴抽出部１０２３は、被写体シルエットの輪郭を抽出する（Ｓ３０４）。輪郭抽出は、オンピクセルとオフピクセルの境界点を輪郭点として抽出することにより可能である。また、Ｓ３０３にて、２値化処理を行わない場合は、被写体シルエットに対して空間微分フィルタを適用することで輪郭を抽出することができる。また、抽出した輪郭の細線化を行う場合は、Ｈｉｌｄｉｔｃｈの細線化アルゴリズムを用いて行うことができる。空間微分フィルタおよびＨｉｌｄｉｔｃｈの細線化アルゴリズムについては、C.J.Hilditch,"Linear Skeletones From Square Cupboards",Machine Intelligence 4, Eginburgh Univ.Press,p.403,1969に詳細が記述されている。
【００４４】
次に、輪郭特徴抽出部１０２３は、抽出した被写体シルエットの輪郭から被写体シルエットの輪郭形状を表現する輪郭特徴量を抽出する（Ｓ３０５）。輪郭特徴量の抽出方法の一例について図４および図５を用いて以下に説明する。なお、輪郭特徴量としては、被写体シルエットの輪郭形状を表現する特徴量であれば以下の例に限らない。
【００４５】
まず、輪郭特徴抽出部１０２３は、Ｓ３０４にて抽出した被写体シルエット４０３に対して、基準点を決定する。望ましい例としては、図４（ｄ）に示すように、被写体シルエットの重心位置ｇを基準点として求める。ここで、基準点は、被写体シルエットのすべての画素を用いずに、輪郭画素位置の重心としても構わないし、複数点の基準点を用いても構わない。
【００４６】
次に、輪郭特徴抽出部１０２３は、被写体シルエットの主軸４０５を算出する。被写体シルエットの主軸４０５は、被写体シルエット上の各輪郭点から垂線を下ろした時に、垂線の長さの2乗和が最小になる軸とすることで求めることができる。
【００４７】
具体的には、求めたい主軸４０５は、傾きｔａｎθの直線であり、重心（ｇx，ｇy）を通るため、以下の（数１）のように表せる。
【００４８】
【数１】
2007199864.tif 000003
【００４９】
次に、各輪郭点（ｘi，ｙi）から（数１）で表される直線に垂線を下ろすと、垂線の長さｄiは、
【数２】
2007199864.tif 000004
で表される。
【００５０】
そこで、最小化したい関数Ｊは、各輪郭点から引いた垂線の長さの2乗和をとったものであるため、（数１）と（数２）を用いて、次のように表される。
【００５１】
【数３】
2007199864.tif 000005
【００５２】
ここで、（数３）を最小化するためには
【数４】
2007199864.tif 000006
より、
【数５】
2007199864.tif 000007
となる。
【００５３】
（数５）より、直線の傾きは（数６）で表す事ができる。そして（数１）に直線の傾きを代入することで、主軸４０５を得ることができる。
【００５４】
【数６】
2007199864.tif 000008
【００５５】
次に、輪郭特徴抽出部１０２３は、輪郭特徴量の始点を決定するために、被写体シルエットの輪郭上の各点と主軸４０５との交点を求める。ここで、輪郭上の各点と求めた主軸との交点４０７が複数点存在する場合は、図４（ｅ）に示すように、輪郭点中で最上部に位置する輪郭点を輪郭特徴量の始点４０６とする。この時、始点４０６は、必ずしも最上部に位置する輪郭点を選択する必要は無い。ただし、特に対象が人物である場合は、主軸４０５と交差する最上部の輪郭点を始点４０６とすることが有効である。理由は、始点４０６が頭部に対応しやすくなるためである。具体的に、頭部は腕や足の領域と異なり変形が起きにくい。また、影の影響は、地面に対して出やすいために、その影響も受けにくいことが挙げられる。
【００５６】
次に、輪郭特徴抽出部１０２３は、始点４０６から、被写体シルエットの輪郭上の各点をトレースする。輪郭点のトレース方法は、「安居院猛、長尾智晴著、「画像の処理と認識」、７２ページ、昭晃堂、１９９２年発行」に詳細が記述されている。
【００５７】
次に、輪郭特徴抽出部１０２３は、図４（ｅ）に示すように、トレースした輪郭上の各点と重心ｇとの距離ｌを算出する。ここで、輪郭特徴量は、図５の輪郭特徴量５０３に示すように、被写体シルエットの輪郭上の各点と重心との距離ｌを要素とするベクトルとして表現する。なお、図５におけるＡ〜Ｉの記号は、それぞれ画像５０１および画像５０２に示した被写体シルエットの輪郭上の代表点の一部とその輪郭特徴量における対応点を示す。
【００５８】
ここで、図６（ａ）に示すように、被写体の姿勢や画像中での大きさによって、輪郭点の数が異なる場合について説明する。この場合、それぞれの被写体シルエットにおいて、輪郭点の数がｎの被写体シルエットと輪郭点の数がｍの被写体シルエットが得られたものとする。ここで、ｎ＜ｍである。
【００５９】
この例の場合、輪郭特徴量ベクトルの要素数がｎおよびｍとなる。そこで、輪郭特徴量のベクトル要素数が異なることを防ぐために、ベクトルの要素数はあらかじめ決定しておき、固定値Ｚとすることが望ましい。具体的には、任意の入力画像に対して、輪郭点数がＺとなるように、全輪郭点の中から輪郭特徴量として利用する輪郭点上の代表点を図６（ｂ）に示すように（ｎ／Ｚ）点ごとまたは（ｍ／Ｚ）点ごとに選択する。本実施の形態では、このように選択した輪郭点を代表点とした特徴量を輪郭特徴量とする。
【００６０】
ここで、輪郭特徴量の例について説明する。図５に示すように、時系列画像の入力に対して、それぞれ被写体シルエットを抽出した後、輪郭特徴量５０３を抽出する。輪郭特徴量ｌtは、時刻ｔで入力された画像から抽出した被写体シルエットの重心ｇと輪郭特徴量として利用する輪郭上の代表点との距離ｌを要素として持つベクトルで構成される。さらに、被写体の大きさの違いの影響を排除する場合は、被写体シルエットの面積（画素数）Ｓを計算し、次式のように、面積Ｓで正規化しても良い。
【００６１】
【数７】
2007199864.tif 000009
【００６２】
ここで、ｌt_zは、時刻ｔで入力された画像から得た被写体シルエットの重心ｇと輪郭線上の代表点ｚとの距離を示す。また、Ｓtは、時刻ｔで入力された画像から得た被写体シルエットの面積である。なお、このようにして得られた輪郭特徴量に対して、ローパスフィルタをかけることも有効である。これは、前述したように被写体シルエットに対して平滑化を行うことと同様の効果がある。
【００６３】
また、（数７）の代わりに次式で示す輪郭特徴量を用いても良い。
【００６４】
【数８】
2007199864.tif 000010
【００６５】
ここで、（ｘt_z，ｙt_z）は、図７に示すように時刻ｔで入力された被写体シルエットの重心ｇを原点とした時の輪郭上の代表点ｚの相対座標値を示す。また、Ｓtは、時刻ｔで入力された被写体シルエット１１０１の面積である。
【００６６】
次に、画像選択部１０３は、輪郭特徴抽出部１０２３で抽出した輪郭特徴量ｌtを用いて、輪郭特徴量ｌt間の独立性を評価し（Ｓ３０６）、独立性の高いＮ枚の画像を選択する（Ｓ３０７）。
【００６７】
ここでは、時系列に並んだＴ枚の画像の中から、Ｎ枚の画像を選択する場合について説明する。なお、ＴおよびＮは、設計者が事前に設定しても良いし、画像の転送レートや所望の圧縮率、ＡＶ機器の早送りのスピード等からＴとＮとの比を決めても良い。また、Ｔの自動的な決定方法およびＴが与えられた場合のＮの自動的な決定方法については後述する。
【００６８】
まず、画像選択部１０３は、時系列に並んだＴ枚の画像から抽出した輪郭特徴量ｌtを用いて、Ｔ個の輪郭特徴量の中からＮ個の輪郭特徴量を選ぶ組み合わせをTＣN個生成する。
【００６９】
すなわち、Ｎ個で構成される輪郭特徴量の組がTＣN個生成されることになる。そして、各輪郭特徴量の組ｉについて、次式のように、Ｎ個から２個を選ぶ組み合わせすべてについて、各輪郭特徴量間でコサインを計算することによって独立性を評価する。
【００７０】
【数９】
2007199864.tif 000011
【００７１】
そして、(数９)の独立性評価を輪郭特徴量のすべての組ｉについて行い、独立性評価値ｆiが最小となる輪郭特徴量の組ｉを決定する。もちろん、コサインの代わりに、各輪郭特徴量間で内積を計算することによって独立性を評価しても構わない。また、コサインの代わりに、正規化相互相関値を計算することによって独立性を評価しても構わない。
【００７２】
図８にＴ＝３，Ｎ＝２とした場合の例を示す。もちろんＴ，Ｎの値を制限するものでは無い。Ｔ＝３の場合、図８（ａ）〜図８（ｃ）に示すような３枚の時系列画像からそれぞれ抽出した輪郭特徴量ｌ1，ｌ2およびｌ3から、２つの輪郭特徴量を選ぶ組合わせを生成する。この組み合わせは、3Ｃ2＝３であることより、図８（ｄ）に示すように３種類の組が生成される。そして、Ｎ＝２より（数９）を用いて独立性評価を行う。そこで、図８（ｄ）に示す独立性評価値ｆiが最小となるときの、ｉの値は３である。このため、独立性評価値ｆiが最小となる輪郭特徴量の組み合わせは、ｌ2およびｌ3となる。この例の場合、３枚の入力画像から、ｔ＝２およびｔ＝３で得られた２枚の代表画像が選択されることになる。なお、（数９）を用いると、独立性評価値ｆiが小さいほど独立性が高くなる。
【００７３】
また、独立性評価値の計算は、（数９）の代わりに（数１０）を用いることができる。
【００７４】
【数１０】
2007199864.tif 000012
【００７５】
ここで、Ｗは、画像幅等の値を用いることができる。また、ｄsは、独立性評価に用いる２個の輪郭特徴量に対応する被写体シルエットの重心同士の距離である。αは、輪郭特徴量の独立性と被写体シルエットの画像上での移動量との重み付けをする係数であり、αが大きいほど輪郭特徴量の独立性を重要視することになる。なお、αは、設計者が与える。
【００７６】
これにより、輪郭特徴量の独立性の高さに加え、被写体シルエットの画像上での移動量の大きさを反映した代表画像の選択が可能となる。
【００７７】
また、同様に独立性評価値の計算は、（数９）、（数１０）の代わりに（数１１）を用いることができる。
【００７８】
【数１１】
2007199864.tif 000013
【００７９】
ここで、αは、設計者が与える係数、Ｔは、入力画像の枚数である。そして、ｔsは、独立性評価に用いる２個の輪郭特徴量に対応する入力画像の時間間隔である。αは、輪郭特徴量の独立性と入力画像の時間間隔との重み付けをする係数であり、αが大きいほど輪郭特徴量の独立性を重要視することになる。なお、αは、設計者が与える。
【００８０】
これにより、輪郭特徴量の独立性の高さに加え、画像間の時間幅、すなわち画像間の時間差を反映した代表画像の選択が可能になる。
【００８１】
次に、Ｓ３０７で選択された画像の表示処理（Ｓ３０８）について、図９の例を用いて説明する。ここでは、画像選択処理（Ｓ３０７）にて、図９（ａ）に示すようなＴ枚の時系列入力画像に対して、図９（ｂ）に示すように代表画像としてｔ＝１、４、５の３枚の画像が選択された例である。表示・記録部１０４は、図９（ｃ）に示すように、ｔ＝１の選択された画像をｔ＝３まで表示し、ｔ＝４では、選択されたｔ＝４の画像を表示する。このように、選択された画像の時間情報に応じて映像を切り替えて表示する。また、記録は、時間情報とともに画像を記録することで、上記のような表示が可能である。もちろん、画像の表示方法は、上記の例に限らず、選択された画像を一定時間間隔で表示しても構わない。
【００８２】
以上により、人物等の被写体を含む時系列画像から、それぞれの被写体シルエットの形状を表現する特徴量の独立性を評価することによって、被写体の変形を効率良く、高精度に表現可能な画像を代表画像として選択することができる。これにより、入力画像よりも少ない枚数、すなわち時系列入力画像よりも低い時間解像度で、人物等の動作をユーザが認識しやすい画像を提供することができ、ＤＶＤ等のＡＶ機器における早送りや巻き戻し時、や監視装置における画像転送時等、用途に応じた画像の選択が可能である。
【００８３】
（実施の形態１の変形例）
次に、被写体シルエットの輪郭点上の代表点を実施の形態１とは異なる方法で選択して輪郭特徴量を抽出する方法について説明する。
【００８４】
画像選択装置の構成は、図１および図２に示したものと同様である。また、画像選択装置の実行する処理は、図３に示したフローチャートと基本的には同一ではあるが、輪郭特徴量抽出処理（Ｓ３０５）における輪郭特徴量抽出方法が異なる。それに伴い、Ｓ３０６以降の処理で使用される輪郭特徴量も実施の形態１とは異なる。それ以外の処理については、実施の形態１で説明したものと同様である。
【００８５】
以下に、輪郭特徴量抽出処理（Ｓ３０５）について、図１０を用いて説明する。
輪郭特徴抽出部１０２３は、Ｓ３０３にて抽出した被写体シルエットに対して、重心を決定する。望ましい例としては、被写体シルエットの重心位置ｇを求める。ここで、重心ｇは、Ｓ３０４にて抽出した被写体シルエットの輪郭位置の重心としても構わない。
【００８６】
次に、輪郭特徴抽出部１０２３は、被写体シルエットの主軸９０２を算出する。主軸９０２については、前述のように（数１）〜（数６）を用いて算出可能である。
【００８７】
次に、輪郭特徴抽出部１０２３は、被写体シルエットの最上部９０３と最下部９０４を求める。ここでは、被写体シルエット中のｙ軸上で被写体シルエットの最上部９０３と被写体シルエットの最下部９０４に位置する画素を選択する。
【００８８】
次に、輪郭特徴抽出部１０２３は、被写体シルエットの最上部９０３と被写体シルエットの最下部９０４から主軸９０２に垂線を下ろし、その２点の交点を結ぶ主軸９０２上の点を等間隔にＹ点選択し基準点９０５とする。そして、図１０の矢印で示すように、Ｙ個の基準点９０５から、それぞれ２本の垂線を引き、垂線と輪郭点との交点を代表点９０６とする。そして、Ｙ個の基準点９０５から代表点９０６までの距離ｌを算出する。この時、１本の垂線に２点以上の交点がある場合は、基準点９０５から最も遠い位置に存在する交点のみを用いる。例えば、基準点９０５ｂからの図中左向きの垂線に対しては、３つの交点９０７ａ〜９０７ｃが存在するが、そのうち、基準点９０５ｂから最も遠い位置に存在する交点は、交点９０７ａである。そのため、代表点として交点９０７ａが選択され、基準点９０５ｂから交点（代表点）９０７ａまでの距離が算出される。
【００８９】
輪郭特徴量は、上記の手順で求めた基準点と代表点との距離９０７を用いて、（数７）の代わりに（数１２）のように定義できる。
【００９０】
【数１２】
2007199864.tif 000014
【００９１】
ここで、ｌt_yは、時刻ｔで入力された被写体シルエットの主軸９０２上に設定されたＹ個の基準点と代表点との距離を示す。また、各基準点から２本の垂線を引くため、１個の基準点から２個の代表点が得られる。すなわち、輪郭特徴量の要素数は２Ｙ個となる。なお、Ｓtは、時刻ｔで入力された被写体シルエットの面積である。
【００９２】
次に、独立性判定処理（図３のＳ３０６）については、（数７）の代わりに（数１２）を用いることで同様に実行可能であるため、説明は省略する。
【００９３】
本変形例で用いる輪郭特徴量は、主軸９０２に対する垂線方向のみの代表点を用いるため、図１１のように、足部に生じた影の影響を受けて、輪郭抽出した画像の足部が地面と繋がった場合においても、足部の繋がった部分の輪郭点が代表点として選択されにくいため、陰の影響を受けにくい利点がある。
【００９４】
また、さらに他の輪郭特徴量抽出処理（図３のＳ３０５）ついて、図１２を用いて説明する。
【００９５】
図１２は、輪郭特徴量を抽出する際の代表点の決定方法を説明するための図である。
被写体シルエットの重心ｇの決定方法および被写体シルエットの主軸１００２の求め方は、実施の形態１で説明したものと同様である。また、輪郭特徴量の始点１００３の求め方も実施の形態１で説明したものと同様である。
【００９６】
次に、輪郭特徴抽出部１０２３は、図１２の矢印のように、重心ｇを中心として一定角度ごとに時計方向または反時計方向に直線を引き、被写体シルエットの輪郭との交点を代表点１００４として求める。そして、重心ｇを基準点として、基準点と代表点との距離ｌを算出する。
【００９７】
この時、図１２の点Ａおよび点Ｂに示すように、重心ｇから一定角度ごとに引いた直線と被写体シルエットとの交点が２点以上存在する場合には、重心ｇからの距離が長い方の交点Ａを代表点として用いる。
【００９８】
輪郭特徴量は、上記の手順で求めた基準点と代表点との距離を用いて、（数７）の代わりに（数１３）のように定義することができる。
【００９９】
【数１３】
2007199864.tif 000015
【０１００】
ここで、ｌc_yは、被写体シルエットの主軸１００２上に設定された基準点（重心ｇ）と代表点１００４との距離を示す。なお、Ｓcは、被写体シルエットの面積である。
【０１０１】
なお、このようにして得られた輪郭特徴量に対して、ローパスフィルタをかけることも有効である。これは、前述したように被写体シルエットに対して平滑化を行うことと同様の効果がある。
【０１０２】
また、上記の手順で求めた重心位置ｇを原点とした代表点の相対座標値を求めることによって、輪郭特徴量を（数８）と同様に表現することも可能である。
【０１０３】
本変形例で用いる輪郭特徴量は、重心から引く直線の角度によって代表点を決定するため、輪郭点数が図６に示すように被写体シルエットの形状や大きさに依存しない。そのため、図１１のように、足部に生じた影の影響を受けて、輪郭抽出した画像の足部が地面と繋がった場合とそうでない場合においても、輪郭点の数に差異が生じないため、比較的、影の影響を受けにくい。
【０１０４】
（実施の形態２）
本発明の実施の形態２に係る画像列生成装置について説明する。実施の形態２に係る画像列生成装置は、時系列入力画像から、画像が入力された時刻の中間時刻に相当する画像を選択する装置である。
【０１０５】
本実施の形態では、特に、本発明の実施の形態に係る画像列生成装置の構成は図１と同様である。図１の画像列生成装置は、人物等の被写体を含む時系列画像の各々について、被写体の姿勢または姿勢に起因した被写体形状を表す特徴量を算出し、複数の画像に対応する前記特徴量ベクトルに基づいて特定の姿勢または姿勢に起因した特定の被写体形状を含む画像を選択することによって、被写体の姿勢や姿勢に起因した被写体の変形を高精度に表現可能な画像を代表画像として選択する装置であり、画像入力部１０１と、特徴抽出部１０２と、画像選択部１０３と、表示・記録部１０４とを備えている。
【０１０６】
特徴抽出部１０２は、本発明における特徴抽出手段に対応し、画像選択部１０３は、本発明における画像選択手段に対応し、表示・記録部１０４は、本発明における画像選択手段に対応する。
【０１０７】
本実施の形態では特に、姿勢に起因した被写体形状を表す特徴量を算出し、当該特徴量の中間時刻における特徴量を推定することによって、中間時刻における被写体の変形を高精度に表現可能な画像を代表画像として選択する例について述べる。
【０１０８】
本実施の形態では、画像選択部１０３の内部構成が実施の形態１と異なる。
図１３は、画像選択部１０３の内部構成を示すブロック図である。
【０１０９】
画像選択部１０３は、中間時刻特徴推定部２９０１と、中間時刻特徴探索部２９０２と、画像／特徴量セット記憶部２９０３とを備えている。
【０１１０】
中間時刻特徴推定部２９０１は、時系列入力画像から抽出した各時刻における輪郭特徴量から、中間時刻における輪郭特徴量を推定する。
【０１１１】
中間時刻特徴探索部２９０２は、中間時刻特徴推定部２９０１で推定した中間時刻における輪郭特徴量と最近傍にある輪郭特徴量を持つ画像を選択する。この時、中間時刻特徴探索部２９０２は、入力された画像の中から選択しても良いし、あらかじめ画像／特徴量セット記憶部２９０３に記憶された画像と特徴量とのセットの中から画像を選択しても良い。
【０１１２】
なお、本実施の形態では、画像／特徴量セット記憶部２９０３を用いた場合について説明するが、画像／特徴量セット記憶部２９０３は必ずしも必要は無い。
【０１１３】
表示・記録部１０４は、画像選択部１０３で選択された画像と入力画像とをモニタ等に表示する処理部である。また、表示・記録部１０４は、画像選択部１０３で選択された画像と入力画像とを画像記録装置にも記録する。
【０１１４】
以下に、本実施の形態に係る画像列生成装置による画像選択方法について説明する。図１４は、本実施の形態に係る画像列生成装置が実行する処理のフローチャートである。
【０１１５】
Ｓ３０１からＳ３０５までの処理は、実施の形態１と同様であるため、説明を省略する。
【０１１６】
次に、中間時刻特徴推定部２９０１は、Ｓ３０５で抽出された各時刻における輪郭特徴量を入力として、中間時刻における輪郭特徴量を推定する（Ｓ３００１）。
【０１１７】
ここでは、時刻ｔと時刻ｔ＋Ｎにおける輪郭特徴量を入力として、時刻ｔと時刻ｔ＋Ｎとの間の中間時刻ｔ＋ｎにおける輪郭特徴量を推定する方法について説明する。
【０１１８】
時刻ｔにおける輪郭特徴量を（数７）のようにｌtとし、時刻ｔ＋ｎにおける輪郭特徴量をｌt+Nとすると、中間時刻ｔ＋ｎにおける輪郭特徴量ｌt+nは、例えば以下のように記述することができる。
【０１１９】
【数１４】
2007199864.tif 000016
【０１２０】
もちろん、３枚以上の画像に対応する輪郭特徴量を入力として時刻ｔ＋ｎにおける輪郭特徴量を推定しても良いし、Ｎ次式やスプライン関数でフィッティングを行い、時刻ｔ＋ｎにおける輪郭特徴量を推定しても良い。
【０１２１】
次に、中間時刻特徴探索部２９０２は、推定した中間時刻ｔ＋ｎにおける輪郭特徴量ｌt+nと最近傍の輪郭特徴量を探索する（Ｓ３００２）。すなわち、中間時刻特徴探索部２９０２は、入力画像から抽出した輪郭特徴量または、画像／特徴量セット記憶部２９０３にあらかじめデータベースとして保持した各輪郭特徴量の中から、中間時刻ｔ＋ｎにおける輪郭特徴量ｌt+nとの距離が最小となる輪郭特徴量を探索する。
【０１２２】
例えば距離は、次のように計算することができる。
【０１２３】
【数１５】
2007199864.tif 000017
【０１２４】
ここで、ｚは輪郭特徴量における代表点を表す。Ｚは代表点数である。また、ｌdata（ｉ）は、入力画像から得た各々の輪郭特徴量または、画像／特徴量セット記憶部２９０３にあらかじめ記憶された輪郭特徴量を表す。
【０１２５】
なお、（数１５）において、
【数１６】
2007199864.tif 000018
とすることで輪郭特徴量ｌt+nと最近傍となる輪郭特徴量を計算することができる。
【０１２６】
もちろん、距離関数は（数１６）に限定されない。
さらに、Ｓ３００１とＳ３００２の処理を繰返し行うことも有効である。例えば、Ｓ３００２で得た最近傍となる輪郭特徴量とそれに対応する中間時刻ｔ＋ｎとを用いて、再度Ｓ３００１で中間時刻の輪郭特徴量を算出することもできる。これにより、ローパス効果を得ることができるため、より滑らかな形状変化を表現できる。
【０１２７】
次に、表示・記録部１０４は、入力画像と中間時刻特徴探索部２９０２で探索した輪郭特徴量を保持する画像とを用いて動画として画像を表示、記録する（Ｓ３００３）。
【０１２８】
以下、図１５に示すように、時刻Ｎごとに入力される画像列を例として説明する。
ここでは、入力画像３１０１に加えて、中間時刻特徴探索部２９０２で探索した輪郭特徴量を保持する画像を用いて画像を表示・記録する。Ｓ３００２で探索した中間時刻ｔ＋ｎにおける輪郭特徴量の最近傍となる輪郭特徴を含む画像を選択画像候補３１０３の中から選択する。選択画像候補は、画像／特徴量セット記憶部２９０３または他の時刻における入力画像である。そして、中間時刻ｔ＋ｎにおける画像３１０２を、選択画像候補３１０３の中から選択し、時間順に並べて表示・記録する。ここで、（数１４）におけるｎを微小に変化させて、それぞれの時間における画像を選択することにより、さらに時間解像度の高い画像列を生成することも可能である。
【０１２９】
以上の処理により、関節の動きに起因して変形する被写体を含む時系列画像から、被写体形状を表現する特徴量ベクトルを用いて、中間時刻における前記被写体形状を表す輪郭特徴量を推定し、推定した輪郭特徴量に対応する画像を選択することによって、入力時系列画像よりも高い時間解像度の動画を生成することができるため、被写体の動作を高精度かつ滑らかに再生することが可能となる。そのため、デジタルカメラやデジタルビデオカメラの時系列画像から、より時間解像度の高い動画を生成することができる。
【０１３０】
（実施の形態３）
本発明の実施の形態３に係る画像列生成装置について説明する。実施の形態３に係る画像列生成装置は、実施の形態２と同様に、時系列入力画像から画像が入力された時刻の中間時刻に相当する画像を選択する装置である。
【０１３１】
本実施の形態では、本発明の実施の形態に係る画像列生成装置の構成は図１と同様である。図１の画像列生成装置は、人物等の被写体を含む時系列画像の各々について、被写体の姿勢または姿勢に起因した被写体形状を表す特徴量を算出し、複数の画像に対応する前記特徴量ベクトルに基づいて、特定の姿勢または姿勢に起因した特定の被写体形状を含む画像を選択することによって、被写体の姿勢や姿勢に起因した被写体の変形を高精度に表現可能な画像を代表画像として選択する装置であり、画像入力部１０１と、特徴抽出部１０２と、画像選択部１０３と、表示・記録部１０４とを備えている。
【０１３２】
本実施の形態では特に、被写体の姿勢を表す特徴量を算出し、当該特徴量の中間時刻に相当する特徴量を推定することによって、中間時刻における被写体の姿勢変化を高精度に表現可能な画像を代表画像として選択する例について述べる。
【０１３３】
本実施の形態に係る画像列生成装置の構成は、実施の形態２に係る画像列生成装置と同様の構成であるため、以下、図１３を用いて説明するが、本実施の形態に係る画像列生成装置では、用いる特徴量が異なる。
【０１３４】
図１６は、特徴抽出部１０２の内部構成を示すブロック図である。
特徴抽出部１０２は、実施の形態１に示した人物領域抽出部１０２１と、シルエット抽出部１０２２と、輪郭特徴抽出部１０２３とに加えて、姿勢特徴推定部２５０１と相関情報２５０２とを備えている。
【０１３５】
姿勢特徴推定部２５０１は、輪郭特徴抽出部１０２３で抽出した第１の特徴量ベクトルである輪郭特徴量を入力として、相関情報記憶部２５０２に記憶された相関情報を用いて、人物の関節位置や関節角度に関する第２の特徴量ベクトルを推定する。すなわち、姿勢特徴量を推定することができる。姿勢特徴量については後述する。
【０１３６】
画像選択部１０３は、中間時刻特徴推定部２９０１と、中間時刻特徴探索部２９０２と、画像／特徴量セット記憶部２９０３とを備えている。
【０１３７】
中間時刻特徴推定部２９０１は、時系列入力画像から抽出した各時刻における姿勢特徴量から、中間時刻における姿勢特徴量を推定する。
【０１３８】
中間時刻特徴探索部２９０２は、中間時刻特徴推定部２９０１で推定した中間時刻における姿勢特徴量と最近傍にある姿勢特徴量を持つ画像を選択する。この時、中間時刻特徴探索部２９０２は、入力された画像の中から選択しても良いし、あらかじめ画像／特徴量セット記憶部２９０３に記憶された画像と特徴量のセットの中から画像を選択しても良い。
【０１３９】
なお、前者の例の場合は、画像／特徴量セット記憶部２９０３は必ずしも必要は無い。
表示・記録部１０４は、画像選択部１０３で選択された画像と入力画像とをモニタ等に表示する処理部である。また、表示・記録部１０４は、画像選択部１０３で選択された画像と入力画像とを画像記録装置にも記録する。
【０１４０】
以下に、本実施の形態に係る画像列生成装置による画像選択方法について説明する。図１７は、本実施の形態に係る画像列生成装置が実行する処理のフローチャートである。
【０１４１】
Ｓ３０１からＳ３０５までの処理は、実施の形態１と同様であるため、説明を省略する。
【０１４２】
次に、姿勢特徴推定部２５０１は、Ｓ３０５で抽出された輪郭特徴量を入力として、関節位置や角度を保持する姿勢特徴量を推定する（Ｓ２６０１）。
【０１４３】
ここでは、被写体の前記姿勢特徴量と前記輪郭特徴量との関係をあらかじめ学習しておいた相関情報記憶部２５０２に記憶されている相関情報を用いて、前記輪郭特徴量から前記姿勢特徴量を推定する例について説明する。そのため、本実施の形態では、学習と推定とは別々に行うことになる。そこで、前記姿勢特徴量と前記輪郭特徴量との相関情報を学習する方法について説明する。
【０１４４】
もちろん、人物等の被写体を含む画像から、姿勢特徴量として被写体の関節位置や関節角度を推定可能な手法であれば上記の手法に限らない。
【０１４５】
学習に用いる被写体画像とその画像における姿勢特徴量を表す関節データとのセットをＮセット用意する。Ｎ枚の被写体画像の各々に対して、Ｓ３０５にて抽出した輪郭特徴量を実施の形態１で説明した(数７)と同様にｌtとする。
【０１４６】
ここで、関節データには、関節位置のほかに関節角度でも良い。
学習に用いる輪郭特徴量の例について説明する。まず、図５に示すように、さまざまな姿勢を含むＮセット分の被写体画像のうち、姿勢（０）の画像５０１から姿勢（Ｎ−１）の画像５０２まで、それぞれシルエット画像を抽出した後、輪郭特徴量５０３を抽出する。学習に用いる被写体画像セットは、さまざまな体型、さまざまな姿勢を含むことが望ましい。
【０１４７】
次に、その時刻ｔに対応する関節データｐtについて、説明する。
ここで、姿勢特徴量を表す関節データは、図１８に示されるように、画像上の関節位置２７０１を手作業で指定して、画像上での関節ｉに対応する座標位置（ｘt_i，ｙt_i）をｐtとしても良い。または、モーションキャプチャシステム等を用いて、図１９に示すような３次元の関節データを取得できる場合は、関節ｉに対応する３次元位置（ｘt_i，ｙt_i，ｚt_i）をｐtとしても良い。
【０１４８】
具体的には、ｐtは、（数１７）で表すことができる。
【０１４９】
【数１７】
2007199864.tif 000019
【０１５０】
ここで、Ｍは、関節数を表す。
【０１５１】
ここで、学習に用いる関節データについて説明する。前記輪郭特徴量を抽出するために用いた被写体画像とその画像における関節データとのセットをＮセット用意する。ここで、図１８に示すような前記輪郭特徴量を抽出するために用いたさまざまな姿勢を含むＮセット分の被写体画像に対応する関節データをｐtとする。
【０１５２】
そして、Ｎセット分の前記輪郭特徴量ｌtと前記関節データｐtとを用いて、以下のように相関情報を学習する。相関情報とは、さまざまな体型や姿勢における前記輪郭特徴量と前記関節データとの写像関係を表すものである。
【０１５３】
次に、相関情報の学習方法について具体的に説明する。
【０１５４】
求めたい相関情報Ｃを
【数１８】
2007199864.tif 000020
とする。ここで、Ｃ*Lは、ＣLの逆行列または疑似逆行列であり、ＣLは、（数１９）のように表すことができる。
【０１５５】
【数１９】
2007199864.tif 000021
【０１５６】
ここで、ｍlは、Ｎ個の輪郭特徴量ｌtを平均したベクトルである。すなわち、さまざまな体型や姿勢における輪郭特徴量の平均ベクトルである。
【０１５７】
次に、（数１８）におけるＣLPは、（数２０）のように表すことができる。
【０１５８】
【数２０】
2007199864.tif 000022
【０１５９】
ここで、ｍpは、Ｎ個の関節データｐtを平均したベクトルである。すなわち、さまざまな体型や姿勢における関節データの平均ベクトルである。
【０１６０】
本実施の形態において、姿勢推定を行う時は、（数１８）〜（数２０）を用いて、あらかじめ相関情報を求めておき、図１６の相関情報記憶部２５０２には、ｍp，ｍl，Ｃを保持しておけばよい。
【０１６１】
次に、姿勢特徴量の推定処理（Ｓ２６０１）について説明する。具体的には、姿勢特徴推定部２５０１が、上記のようにあらかじめ学習した相関情報を用いて、Ｓ３０５にて抽出した輪郭特徴量を入力として、姿勢特徴量である関節位置および関節角度を推定する。
【０１６２】
Ｓ３０５にて抽出した輪郭特徴量をｌinputとすると、推定したい関節位置および関節角度ｐexpectedは、相関情報記憶部２５０２で保持しているｍp，ｍl，Ｃを用いて、次のように推定することができる。
【０１６３】
【数２１】
2007199864.tif 000023
【０１６４】
以上のように、ｍp，ｍl，Ｃをあらかじめ学習しておけば、平均ベクトルとの加減算および相関情報Ｃとの相関演算を行うだけで姿勢特徴量を推定可能である。具体的な推定結果を図１９に示す。ここでは、前記輪郭特徴量の代表点数を５０点とし、関節位置は、頭、胸、左右肩、左右肘、左右手先、左右腰、左右膝、左右足首の１４点とした。同図において、△印が実際にモーションキャプチャシステムにて取得した実際の３次元関節位置、□印が本実施の形態において推定した関節位置を示している。なお、図中の関節位置間の直線は関節位置を推定することができれば、姿勢を推定することが可能であることを示すために追記したものである。このように、△印と□印とがほぼ同位置に示されており、関節物体の姿勢特徴量を正確に推定することができることが示されている。
【０１６５】
また、ここでは、姿勢特徴量として関節位置を用いた例について説明したが、図１９に示した直線のなす角度、すなわち関節間のなす角度を用いて姿勢特徴量とすることも可能である。
【０１６６】
もちろん、上記に限られず、人物領域の画像から、関節位置や関節角を要素とする特徴量ベクトルとして関節位置を推定することが可能であれば他の手法を用いても構わない。
【０１６７】
次に、中間時刻特徴推定部２９０１は、Ｓ２６０１で抽出された各時刻における姿勢特徴量を入力として、中間時刻における姿勢特徴量を推定する（Ｓ３２０１）。
【０１６８】
ここでは、時刻ｔと時刻ｔ＋Ｎにおける姿勢特徴量を入力として、中間時刻ｔ＋ｎにおける姿勢特徴量を推定する方法について説明する。ここでｎは、必ずしも整数である必要は無い。
【０１６９】
時刻ｔにおける姿勢特徴量を（数２１）のようにｐtとし、時刻ｔ＋ｎにおける姿勢特徴量をｐt+Nとすると、中間時刻ｔ＋ｎにおける姿勢特徴量ｐt+nは例えば以下のように記述することができる。
【０１７０】
【数２２】
2007199864.tif 000024
【０１７１】
もちろん、３枚以上の画像に対応する姿勢特徴量を入力として時刻ｔ＋ｎにおける姿勢特徴量を推定しても良いし、Ｎ次式やスプライン関数でフィッティングを行い、時刻ｔ＋ｎにおける姿勢特徴量を推定しても良い。
【０１７２】
また、人物等の身体構造が既知の被写体である場合、胴体に付属する関節位置については（数２２）と同様に中間時刻における関節位置を推定し、肘、膝、足首、手首などの四肢に関する関節位置は、胴体と四肢とがなす角度を用いて、回転運動を仮定した中間時刻における角度を推定し、その角度に基づいて中間時刻における関節位置を算出することもできる。
【０１７３】
次に、中間時刻特徴探索部２９０２は、推定した中間時刻ｔ＋ｎにおける姿勢特徴量ｐt+nと最近傍の姿勢特徴量を探索する（Ｓ３２０２）。すなわち、中間時刻特徴探索部２９０２は、入力画像から抽出した姿勢特徴量または、画像／特徴量セット記憶部２９０３にあらかじめデータベースとして保持した各姿勢特徴量の中から、中間時刻ｔ＋ｎにおける姿勢特徴量ｐt+nとの距離が最小となる姿勢特徴量を探索する。
【０１７４】
例えば距離は、次のように計算することができる。
【０１７５】
【数２３】
2007199864.tif 000025
【０１７６】
ここで、ｍは姿勢特徴量における関節位置を表す。Ｍは関節数である。また、ｐdata（ｉ）は、入力画像から得た各々の姿勢特徴量または、画像／特徴量セット記憶部２９０３にあらかじめ記憶された姿勢特徴量を表す。
なお、（数２３）において、
【数２４】
2007199864.tif 000026
とすることで姿勢特徴量ｐt+nと最近傍となる姿勢特徴量を計算することができる。
【０１７７】
もちろん、距離関数は（数２４）に限定されない。また、ここでは、姿勢特徴量として画像上での関節位置を用いた例を説明したが、姿勢特徴量を３次元空間上での関節位置とすることも可能であるし、関節角度を用いても構わない。
【０１７８】
さらに、Ｓ３２０１とＳ３２０２の処理を繰返し行うことも有効である。例えば、Ｓ３２０２で得た最近傍となる姿勢特徴量とそれに対応する中間時刻ｔ＋ｎとを用いて、再度Ｓ３２０１で中間時刻の姿勢特徴量を算出することもできる。これにより、ローパス効果を得ることができるため、より滑らかな形状変化を表現できる。
【０１７９】
次に、表示・記録部１０４は、入力画像と中間時刻特徴探索部２９０２で探索した姿勢特徴量を保持する画像とを用いて動画として画像を表示、記録する（Ｓ３００３）。この処理については、実施の形態２と特徴量が異なるのみであるため、説明を省略する。
【０１８０】
以上の処理により、関節の動きに起因して変形する被写体を含む時系列画像から、前記被写体の姿勢を表現する特徴量ベクトルを用いて、中間時刻における姿勢を表す特徴量ベクトルを推定し、推定した特徴量ベクトルに対応する画像を選択することによって、入力時系列画像よりも高い時間解像度の動画を生成することができるため、被写体の動作を高精度かつ滑らかに再生することが可能となる。そのため、デジタルカメラやデジタルビデオカメラの時系列画像から、より時間解像度の高い動画を生成することができる。
【産業上の利用可能性】
【０１８１】
本発明は、入力画像よりも少ない枚数で、人物等の動作をユーザが認識しやすい画像を提供する装置に適用でき、特に、重要なシーンを見落とさずに早送りを行なうＡＶ機器や、カメラを用いた監視装置等に適用できる。
【図面の簡単な説明】
【０１８２】
【図１】本発明の実施の形態１による画像列生成装置の構成を示す図である。
【図２】本発明の実施の形態１による特徴抽出部の構成を示す図である。
【図３】本発明の実施の形態１によるフローチャートである。
【図４】本発明の実施の形態１による輪郭特徴量の抽出例を示す図である。
【図５】本発明の実施の形態１による輪郭特徴量の例を示す図である。
【図６】本発明の実施の形態１による輪郭特徴量の代表点を示す図である。
【図７】本発明の実施の形態１による輪郭特徴量の抽出例を示す図である。
【図８】本発明の実施の形態１による独立性評価の方法を示す図である。
【図９】本発明の実施の形態１による画像選択と表示の例を示す図である。
【図１０】本発明の実施の形態２による輪郭特徴量の抽出例を示す図である。
【図１１】本発明の実施の形態１の変形による被写体シルエットの例を示す図である。
【図１２】本発明の実施の形態１の変形による輪郭特徴量の抽出例を示す図である。
【図１３】本発明の実施の形態２による画像選択部の構成を示す図である。
【図１４】本発明の実施の形態２による画像選択部の構成を示す図である。
【図１５】本発明の実施の形態２による中間時刻画像選択の例を示す図である。
【図１６】本発明の実施の形態２による特徴抽出部の構成を示す図である。
【図１７】本発明の実施の形態３によるフローチャートである。
【図１８】本発明の実施の形態３による関節位置および身体部位位置を示す図である。
【図１９】本発明の実施の形態３による姿勢特徴量とその推定結果を示す図である。
【符号の説明】
【０１８３】
１０１  画像入力部
１０２  特徴抽出部
１０３  画像選択部
１０４  表示・記録部
１０２１  人物領域抽出部
１０２２  シルエット抽出部
１０２３  輪郭特徴抽出部
２５０１  姿勢特徴推定部
２５０２  相関情報記憶部
２７０１  関節位置
２９０１  中間時刻特徴推定部
２９０２  中間時刻特徴探索部
２９０３  画像／特徴量セット記憶部
３１０１  入力画像
３１０２  表示・記録画像
３１０３  選択画像候補
【図１】
2007199864.tif 000027
【図２】
2007199864.tif 000028
【図３】
2007199864.tif 000029
【図４】
2007199864.tif 000030
【図５】
2007199864.tif 000031
【図６】
2007199864.tif 000032
【図７】
2007199864.tif 000033
【図８】
2007199864.tif 000034
【図９】
2007199864.tif 000035
【図１０】
2007199864.tif 000036
【図１１】
2007199864.tif 000037
【図１２】
2007199864.tif 000038
【図１３】
2007199864.tif 000039
【図１４】
2007199864.tif 000040
【図１５】
2007199864.tif 000041
【図１６】
2007199864.tif 000042
【図１７】
2007199864.tif 000043
【図１８】
2007199864.tif 000044
【図１９】
2007199864.tif 000045