(57)【要約】【課題】被写体の変形を効率良く、高精度に表現可能な画像を代表画像として選択することができる画像選択方法を提供する。【解決手段】時系列に並んだ複数の画像から２枚以上の代表画像を選択する画像選択方法であって、変形する被写体を含む時系列に並べられた複数の画像の入力を受け付けるステップ（Ｓ３０１）と、各時刻における画像中の前記被写体のシルエットの輪郭線上に設けられた複数の代表点における特徴量をもとに特徴量ベクトルを抽出するステップ（Ｓ３０２〜Ｓ３０５）と、複数の画像に対応する特徴量ベクトルから、当該特徴量ベクトル同士の独立性を判断するステップ（Ｓ３０６）と、前記独立性に基づいて、前記複数の画像から２枚以上の代表画像を選択するステップ（Ｓ３０７）とを含む。【選択図】図３
2007133616.tif 000002
【特許請求の範囲】
【請求項１】
時系列に並んだ複数の画像から２枚以上の代表画像を選択する画像選択方法であって、
変形する被写体を含む時系列に並べられた複数の画像の入力を受け付ける画像入力ステップと、
各時刻における画像中の前記被写体のシルエットの輪郭線上に設けられた複数の代表点における特徴量をもとに特徴量ベクトルを抽出する特徴抽出ステップと、
複数の画像に対応する特徴量ベクトルから、当該特徴量ベクトル同士の独立性を判断する独立性判断ステップと、
前記独立性に基づいて、前記複数の画像から２枚以上の代表画像を選択する画像選択ステップとを含む画像選択方法。
【請求項２】
前記画像選択ステップでは、前記複数の画像から、前記独立性が高い２枚以上の代表画像を選択する
請求項１に記載の画像選択方法。
【請求項３】
前記独立性判断ステップでは、前記特徴量ベクトル間の内積値、コサイン値または正規化相互相関値を計算し、計算結果に基づいて独立性を判断する
請求項１または２に記載の画像選択方法。
【請求項４】
前記特徴抽出ステップでは、各時刻における画像において、所定の基準点と前記複数の代表点との間の距離より特徴量ベクトルを抽出する
請求項１〜３のいずれか１項に記載の画像選択方法。
【請求項５】
前記特徴抽出ステップでは、各時刻における画像において、所定の基準点を原点としたときの、前記複数の代表点の相対座標値より特徴量ベクトルを抽出する
請求項１〜３のいずれか１項に記載の画像選択方法。
【請求項６】
前記特徴抽出ステップは、
各時刻における画像において、前記シルエットの輪郭線上に設けられた複数の代表点における特徴量を連結することにより曲線を生成するステップと、
前記曲線における極大値を検出し、前記極大値を有する代表点における特徴量より特徴量ベクトルを抽出する抽出ステップとを含む
請求項１〜３のいずれか１項に記載の画像選択方法。
【請求項７】
前記特徴抽出ステップは、
各時刻における画像において、前記シルエットの輪郭線上に設けられた複数の代表点における特徴量を連結することにより曲線を生成するステップと、
前記曲線における極大値を検出し、極大値と極大値の数との関係から、各極大値に人物の手または足を対応付ける対応付けステップと、
対応付けの結果と極大値を有する代表点における特徴量とより特徴量ベクトルを抽出する抽出ステップとを含む
請求項１〜３のいずれか１項に記載の画像選択方法。
【請求項８】
前記独立性判断ステップでは、前記複数の画像に対応する特徴量ベクトルおよび前記シルエットの画像上での移動量の大きさに基づいて、前記独立性を判断する
請求項１〜７のいずれか１項に記載の画像選択方法。
【請求項９】
前記独立性判断ステップでは、前記複数の画像に対応する特徴量ベクトルおよび前記複数の画像間の時間差に基づいて、前記独立性を評価する
請求項１〜７のいずれか１項に記載の画像選択方法。
【請求項１０】
前記画像選択ステップは、
前記画像入力ステップで受け付けられた複数の画像より抽出される特徴量ベクトルを用いて、第１の分散・共分散行列を生成し、当該第１の分散・共分散行列のランク数を計算する第１の計算ステップと、
前記複数の画像より任意の枚数の画像を選択し、選択された画像より抽出される特徴量ベクトルを用いて、第２の分散・共分散行列を生成し、当該第２の分散・共分散行列のランク数を計算する第２の計算ステップと、
前記第１の分散・共分散行列のランク数と前記第２の分散・共分散行列のランク数とを比較し、２つのランク数が等しくなる際の前記第２の計算ステップにおける前記任意の枚数を前記代表画像の枚数と決定する枚数決定ステップとを含む
請求項１〜９のいずれか１項に記載の画像選択方法。
【請求項１１】
前記画像選択ステップでは、前記特徴量ベクトルの時間周期を検出し、少なくとも１周期分に対応する画像から代表画像を選択する
請求項１〜９のいずれか１項に記載の画像選択方法。
【請求項１２】
前記画像選択ステップでは、前記特徴量ベクトルから導出される前記シルエットの形状の複雑度合いを示す複雑度の自己相関値を算出し、当該自己相関値の極大値を検出することにより、前記特徴量ベクトルの時間周期を検出し、少なくとも１周期分に対応する画像から代表画像を選択する
請求項１１に記載の画像選択方法。
【請求項１３】
時系列に並んだ複数の画像から２枚以上の代表画像を選択する画像選択装置であって、
変形する被写体を含む時系列に並べられた複数の画像の入力を受け付ける画像入力手段と、
各時刻における画像中の前記被写体のシルエットの輪郭線上に設けられた複数の代表点における特徴量をもとに特徴量ベクトルを抽出する特徴抽出手段と、
複数の画像に対応する特徴量ベクトルから、当該特徴量ベクトル同士の独立性を判断する独立性判断手段と、
前記独立性に基づいて、前記複数の画像から２枚以上の代表画像を選択する選択手段とを備える画像選択装置。
【請求項１４】
時系列に並んだ複数の画像から２枚以上の代表画像を選択する画像選択方法のプログラムであって、
変形する被写体を含む時系列に並べられた複数の画像の入力を受け付ける画像入力ステップと、
各時刻における画像中の前記被写体のシルエットの輪郭線上に設けられた複数の代表点における特徴量をもとに特徴量ベクトルを抽出する特徴抽出ステップと、
複数の画像に対応する特徴量ベクトルから、当該特徴量ベクトル同士の独立性を判断する独立性判断ステップと、
前記独立性に基づいて、前記複数の画像から２枚以上の代表画像を選択する画像選択ステップとをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物等の被写体を含む時系列に並んだ複数の画像の中から、少なくとも２枚以上の画像を選択する画像選択方法および画像選択装置に関し、特に、被写体の変形する過程を効率良く、高精度に表現可能な画像を代表画像として選択する画像選択方法および画像選択装置に関する。
【背景技術】
【０００２】
監視装置等において、撮影した映像を監視センターに転送する場合には、転送する画像のデータ量をいかに減らすかが重要である。このため、従来、転送する画像のデータ量を削減するために、画像を圧縮するだけでなく、一定時間間隔で間引いた画像を代表画像として選択して転送したり、カメラで撮像された画像と予め用意された背景画像との差分画像を求め、差分値が閾値を超える画像を代表画像として選択して転送したりすることにより、転送される画像のデータ量を減少させている。差分画像を用いる方法によると、照明変動が起きた場合や撮影領域に物体が侵入した場合の画像が主に代表画像として選択される。
【０００３】
また、ＤＶＤ（Digital Versatile Disc）再生装置等のデジタルＡＶ（Audio Visual）機器を用いた早送り再生においては、一定時間間隔で間引いた画像を代表画像として選択することにより、早送り再生を行っている。
【０００４】
一方で、被写体を検出し、被写体の画像上でのずれ量に応じて時系列の画像から代表画像を選択する方法が開示されている。例えば、特許文献１には、以下のような技術が開示されている。すなわち、前時刻における物標の輪郭を抽出し、抽出した物標の輪郭の座標を特徴点としてメモリに記憶する。そして現時刻における特徴点の座標と記憶した特徴点の座標とのずれ量が所定値以下の時は、前時刻における画像をそのまま表示し、ずれ量が所定値よりも大きいときは、前時刻の画像に対して物標をずれ量だけずらして表示する。
【０００５】
また、特許文献２には、以下のような技術が開示されている。すなわち、異なる焦点位置で撮像した複数のパターン画像に対して、あらかじめ用意した輪郭基準データをパターン画像上で走査する。そして、複数のパターン画像の各々と輪郭基準データとの相関値を計算することでパターン画像の合焦状態を判定し、合焦しているパターン画像を選択する方法が開示されている。
【特許文献１】特開２０００−１８２１９６号公報
【特許文献２】特開２００４−２９４１００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来技術に代表される代表画像の選択方法を用いても、被写体の変形を効率良く、高精度に表現可能な画像を代表画像として選択することができないという問題がある。
【０００７】
すなわち、特許文献１に代表される代表画像の選択方法では、被写体の座標のずれ量を用いて、そのずれ量が所定の閾値を越えるか否かにもとづいて表示画像の選択を行っている。人物や動物等の動きや動作を少ない枚数で知るためには、異なる姿勢の被写体を含む画像をそれぞれ代表画像として選択することが望ましい。しかし、特許文献１に記載の手法を用いると、姿勢の変化ではなく、被写体の移動量にもとづいた代表画像が選択されることになり、選択された被写体の形状には依存することなく代表画像が選択される。さらに、変形を伴わない車や電車等の剛体の動きに対してもずれ量が前記閾値を超える可能性がある。このため、被写体の変形を効率良く、高精度に表現可能な画像を代表画像として選択することができない。
【０００８】
また、特許文献２に代表される代表画像の選択方法では、あらかじめ用意した基準データを用いて、所望のパターン画像を選択するものである。この方法の場合、特に人物や動物のように変形を伴う被写体の場合、さまざまな姿勢の被写体を表現する基準データが必要なため、膨大な基準データが必要となる。さらに、被写体の変形を考慮した画像の選択方法とはなっていない。そのため、動物や人物の動作における姿勢変化を表現可能な画像選択方法とは必ずしもなっておらず、このため、被写体の変形を効率良く、高精度に表現可能な画像を代表画像として選択することができない。
【０００９】
本発明は、上述の課題を解決するためになされたものであり、被写体の変形を効率良く、高精度に表現可能な画像を代表画像として選択することができる画像選択方法および画像選択装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る画像選択方法は、時系列に並んだ複数の画像から２枚以上の代表画像を選択する画像選択方法であって、変形する被写体を含む時系列に並べられた複数の画像の入力を受け付ける画像入力ステップと、各時刻における画像中の前記被写体のシルエットの輪郭線上に設けられた複数の代表点における特徴量をもとに特徴量ベクトルを抽出する特徴抽出ステップと、複数の画像に対応する特徴量ベクトルから、当該特徴量ベクトル同士の独立性を判断する独立性判断ステップと、前記独立性に基づいて、前記複数の画像から２枚以上の代表画像を選択する画像選択ステップとを含む。
【００１１】
なお、本発明は、このような特徴的なステップを備える画像選択方法として実現することができるだけでなく、画像選択方法に含まれる特徴的なステップを手段とする画像選択装置として実現したり、画像選択方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
【発明の効果】
【００１２】
本発明によると、人物等の変形する被写体を含む時系列に並んだ画像から、それぞれの被写体シルエットの形状を表現する特徴量ベクトルの独立性を評価することによって、被写体の変形を効率良く、高精度に表現可能な画像を代表画像として選択することができる画像選択方法を提供することができる。これにより、入力画像よりも少ない枚数で、人物等の動作をユーザが認識しやすい画像を提供することができる。
【発明を実施するための最良の形態】
【００１３】
本発明に係る画像選択方法は、時系列に並んだ複数の画像から２枚以上の代表画像を選択する画像選択方法であって、変形する被写体を含む時系列に並べられた複数の画像の入力を受け付ける画像入力ステップと、各時刻における画像中の前記被写体のシルエットの輪郭線上に設けられた複数の代表点における特徴量をもとに特徴量ベクトルを抽出する特徴抽出ステップと、複数の画像に対応する特徴量ベクトルから、当該特徴量ベクトル同士の独立性を判断する独立性判断ステップと、前記独立性に基づいて、前記複数の画像から２枚以上の代表画像を選択する画像選択ステップとを含む。
【００１４】
本発明によると、人物等の変形する被写体を含む時系列に並んだ画像から、それぞれの被写体シルエットの形状を表現する特徴量ベクトルの独立性を評価することによって、被写体の変形を効率良く、高精度に表現可能な画像を代表画像として選択することができる画像選択方法を提供することができる。
【００１５】
好ましくは、前記独立性判断ステップでは、前記特徴量ベクトル間の内積値、コサイン値または正規化相互相関値を計算し、計算結果に基づいて独立性を判断する。
【００１６】
特徴量ベクトル間の内積値、コサイン値および正規化相互相関値は、特徴量ベクトル同士が類似しているほど大きな値を示す。したがって、これらの値が小さいほど特徴量ベクトル同士の独立性が高くなる。
【００１７】
さらに好ましくは、前記特徴抽出ステップでは、各時刻における画像において、所定の基準点と前記複数の代表点との間の距離より特徴量ベクトルを抽出する。また、前記特徴抽出ステップでは、各時刻における画像において、所定の基準点を原点としたときの、前記複数の代表点の相対座標値より特徴量ベクトルを抽出してもよい。
【００１８】
輪郭線上の代表点より特徴量ベクトルを求めることによって、シルエット内の画素値を用いる場合と比較して、被写体のシルエットの形状を効率的に表現することができる。
【００１９】
さらに好ましくは、前記特徴抽出ステップは、各時刻における画像において、前記シルエットの輪郭線上に設けられた複数の代表点における特徴量を連結することにより曲線を生成するステップと、前記曲線における極大値を検出し、前記極大値を有する代表点における特徴量より特徴量ベクトルを抽出する抽出ステップとを含む。
【００２０】
前記代表点の中から極大値に関する情報を用いることによって、人物の四肢の姿勢を強く反映した被写体シルエットの形状を表現することが可能である。
【００２１】
さらに好ましくは、前記特徴抽出ステップは、各時刻における画像において、前記シルエットの輪郭線上に設けられた複数の代表点における特徴量を連結することにより曲線を生成するステップと、前記曲線における極大値を検出し、極大値と極大値の数との関係から、各極大値に人物の手または足を対応付ける対応付けステップと、対応付けの結果と極大値を有する代表点における特徴量とより特徴量ベクトルを抽出する抽出ステップとを含む。
【００２２】
四肢の対応付けを行うことによって、人物の四肢の姿勢を強く反映した被写体シルエットの形状を表現することが可能である。また、手や足など個別の身体パーツの形状変化を強く反映した被写体シルエットの形状を表現することが可能である。
【００２３】
さらに好ましくは、前記独立性判断ステップでは、前記複数の画像に対応する特徴量ベクトルおよび前記シルエットの画像上での移動量の大きさに基づいて、前記独立性を判断する。
【００２４】
この構成によると、被写体の変形と移動とを表現可能な画像を代表画像として選択することができる。
【００２５】
さらに好ましくは、前記独立性判断ステップでは、前記複数の画像に対応する特徴量ベクトルおよび前記複数の画像間の時間差に基づいて、前記独立性を評価する。
【００２６】
被写体の変形に加え、時間経過を表現可能な画像を代表画像として選択することができる。このため、例えば、人物が長時間動かないような場合であっても、複数の代表画像を選択することが可能である。
【００２７】
さらに好ましくは、前記画像選択ステップは、前記画像入力ステップで受け付けられた複数の画像より抽出される特徴量ベクトルを用いて、第１の分散・共分散行列を生成し、当該第１の分散・共分散行列のランク数を計算する第１の計算ステップと、前記複数の画像より任意の枚数の画像を選択し、選択された画像より抽出される特徴量ベクトルを用いて、第２の分散・共分散行列を生成し、当該第２の分散・共分散行列のランク数を計算する第２の計算ステップと、前記第１の分散・共分散行列のランク数と前記第２の分散・共分散行列のランク数とを比較し、２つのランク数が等しくなる際の前記第２の計算ステップにおける前記任意の枚数を前記代表画像の枚数と決定する枚数決定ステップとを含む。
【００２８】
入力された時系列の画像と代表画像とで、分散・共分散行列のランク数が等しくなるように代表画像の枚数を決定している。このため、時系列の画像と同等の表現能力を有する代表画像の枚数を決定することができる。
【００２９】
さらに好ましくは、前記画像選択ステップでは、前記特徴量ベクトルの時間周期を検出し、少なくとも１周期分に対応する画像から代表画像を選択する。
【００３０】
歩行や走行等の周期的動作に対して、効率的に代表画像を選択することができる。
以下、本発明の実施の形態について、図面を用いて説明する。
【００３１】
（実施の形態１）
まず、本発明の実施の形態１に係る画像選択装置について説明する。実施の形態１に係る画像選択装置は、入力された画像中より、相互に非類似の複数の画像を選択する装置である。
【００３２】
図１は、本発明の実施の形態に係る画像選択装置の構成を示す図である。図１の画像選択装置は、人物等の被写体を含む時系列に並んだ画像の各々について、被写体シルエットの形状を表す特徴量を算出し、当該特徴量の独立性を評価することによって、特に被写体の変形を効率良く、高精度に表現可能な画像を代表画像として選択する装置であり、画像入力部１０１と、特徴抽出部１０２と、画像選択部１０３と、表示・記録部１０４とを備えている。
【００３３】
画像入力部１０１は、本発明における画像入力手段に対応し、特徴抽出部１０２は、本発明における特徴抽出手段に対応し、画像選択部１０３は、本発明における独立性判断手段および選択手段に対応する。
【００３４】
画像入力部１０１は、人物等の被写体を含む時系列に並んだ画像の入力を受け付ける処理部である。画像入力部１０１に入力される画像は、カメラ等により撮像された画像であってもよいし、予めハードディスク等の画像記録装置に記録された画像であってもよい。
【００３５】
特徴抽出部１０２は、画像入力部１０１より入力された画像から被写体の輪郭形状を表す輪郭特徴量を抽出する処理部である。
【００３６】
図２は、特徴抽出部１０２の詳細な構成を示す図である。
図２に示すように、特徴抽出部１０２は、人物領域抽出部１０２１と、シルエット抽出部１０２２と、輪郭特徴抽出部１０２３とから構成される。
【００３７】
人物領域抽出部１０２１は、画像入力部１０１より入力された画像から人物領域を抽出する処理部である。シルエット抽出部１０２２では、例えば、抽出した人物領域の画素値を「１」とし、それ以外の画素値を「０」とする２値化処理を行い、被写体シルエットを抽出する処理部である。輪郭特徴抽出部１０２３は、被写体シルエットに対して、被写体シルエットの輪郭に関する特徴量を抽出する処理部である。
【００３８】
画像選択部１０３は、特徴抽出部１０２が各時刻で入力された画像から抽出した輪郭特徴量を用いて、輪郭特徴量同士の独立性を評価することにより、最も独立性の高い輪郭特徴量が抽出された画像を少なくとも２枚以上選択する処理部である。この方法により、選択された画像は、相互に異なる形状特徴を含む画像である。なお、輪郭特徴量の独立性は、各時刻において、被写体シルエットの輪郭形状を表す特徴量をそれぞれベクトルとして表現した時に、それぞれのベクトルの内積またはコサイン値を評価することで判定可能である。なお、ベクトル同士の正規化相互相関値を用いて判定を行ってもよい。
【００３９】
表示・記録部１０４は、画像選択部１０３で選択された画像をモニタ等に表示する処理部である。また、表示・記録部１０４は、画像選択部１０３で選択された画像を画像記録装置にも記録する。
【００４０】
これにより、画像中に含まれる被写体の変形を効率良く、高精度に表現可能な画像を代表画像として選択して、表示および記録することができる。
【００４１】
以下に、本発明の実施の形態１に係る映像選択装置による映像選択方法について、図３および図４を用いて詳細に説明する。
【００４２】
図３は、映像選択装置の実行する処理のフローチャートである。図４は、輪郭特徴量の抽出方法について説明するための図である。
【００４３】
まず、画像入力部１０１は、時系列に並んだ画像４０１の入力を受け付ける（Ｓ３０１）。
【００４４】
次に、人物領域抽出部１０２１は、図４（ａ）に示すような入力された画像４０１に対して図４（ｂ）に示す背景画像４０２を用いて背景差分処理を行い、人物領域を抽出する（Ｓ３０２）。なお、ここでは、背景差分処理の代わりにフレーム間差分処理を行っても良いし、領域分割手法を用いて人物領域を抽出しても良い。さらに、人物検出処理を併用する場合には、M.Oren, C.Papageorgiou, P.Sinha, E.Osuna and T.Poggio, "Pedestrian Detection using wavelet templates", Proc.of CVPR97, pp.193-199, 1997に開示されている技術等を用いて、人物検出処理を行い、その結果を用いて人物領域を切り出しても良い。さらに、エッジ検出処理を併用しても良い。また、背景差分処理を行う場合は、人物の存在しない背景となる画像を事前に準備しておく。また、動画像から背景スプライト画像を生成し、背景差分処理のための背景画像として用いることもできる。
【００４５】
次に、シルエット抽出部１０２２は、Ｓ３０２で抽出した人物領域を含む画像に対して、抽出した人物領域の画素値をオンピクセル（１）とし、それ以外をオフピクセル（０）とするような２値化処理を行う（Ｓ３０３）。これによって、図４（ｃ）に示すような人物画像の被写体シルエット４０３が得られる。ここで、被写体シルエット４０３は、ハッチングを施しが部分がオンピクセルの部分であり、白色部分がオフピクセルの部分の例である。
【００４６】
なお、ここで、ノイズの影響により起こる輪郭の不要な凹凸を減らすために、被写体シルエットを平滑化することも有効である。
【００４７】
次に、輪郭特徴抽出部１０２３は、被写体シルエットの輪郭を抽出する（Ｓ３０４）。輪郭抽出は、オンピクセルとオフピクセルの境界点を輪郭点として抽出することにより可能である。また、Ｓ３０３にて、２値化処理を行わない場合は、被写体シルエットに対して空間微分フィルタを適用することで輪郭を抽出することができる。また、抽出した輪郭の細線化を行う場合は、Ｈｉｌｄｉｔｃｈの細線化アルゴリズムを用いて行うことができる。空間微分フィルタおよびＨｉｌｄｉｔｃｈの細線化アルゴリズムについては、C.J.Hilditch,"Linear Skeletones From Square Cupboards",Machine Intelligence 4, Eginburgh Univ.Press,p.403,1969に詳細が記述されている。
【００４８】
次に、輪郭特徴抽出部１０２３は、抽出した被写体シルエットの輪郭から被写体シルエットの輪郭形状を表現する輪郭特徴量を抽出する（Ｓ３０５）。輪郭特徴量の抽出方法の一例について図４および図５を用いて以下に説明する。なお、輪郭特徴量としては、被写体シルエットの輪郭形状を表現する特徴量であれば以下の例に限らない。
【００４９】
まず、輪郭特徴抽出部１０２３は、Ｓ３０４にて抽出した被写体シルエット４０３に対して、基準点を決定する。望ましい例としては、図４（ｄ）に示すように、被写体シルエットの重心位置ｇを基準点として求める。ここで、基準点は、被写体シルエットのすべての画素を用いずに、輪郭画素位置の重心としても構わないし、複数点の基準点を用いても構わない。
【００５０】
次に、輪郭特徴抽出部１０２３は、被写体シルエットの主軸４０５を算出する。被写体シルエットの主軸４０５は、被写体シルエット上の各輪郭点から垂線を下ろした時に、垂線の長さの2乗和が最小になる軸とすることで求めることができる。
【００５１】
具体的には、求めたい主軸４０５は、傾きｔａｎθの直線であり、重心（ｇx，ｇy）を通るため、以下のように表せる。
【数１】
2007133616.tif 000003
【００５２】
次に、各輪郭点（ｘi，ｙi）から（数１）で表される直線に垂線を下ろすと、垂線の長さｄiは、
【数２】
2007133616.tif 000004
で表される。
【００５３】
そこで、最小化したい関数Ｊは、各輪郭点から引いた垂線の長さの2乗和をとったものであるため、（数１）と（数２）を用いて、次のように表される。
【数３】
2007133616.tif 000005
【００５４】
ここで、（数３）を最小化するためには
【数４】
2007133616.tif 000006
より、
【数５】
2007133616.tif 000007
となる。
【００５５】
（数５）より、直線の傾きは（数６）で表す事ができる。そして（数１）に直線の傾きを代入することで、主軸４０５を得ることができる。
【数６】
2007133616.tif 000008
【００５６】
次に、輪郭特徴抽出部１０２３は、輪郭特徴量の始点を決定するために、被写体シルエットの輪郭上の各点と主軸４０５との交点を求める。ここで、輪郭上の各点と求めた主軸との交点４０７が複数点存在する場合は、図４（ｅ）に示すように、輪郭点中で最上部に位置する輪郭点を輪郭特徴量の始点４０６とする。この時、始点４０６は、必ずしも最上部に位置する輪郭点を選択する必要は無い。ただし、特に対象が人物である場合は、主軸４０５と交差する最上部の輪郭点を始点４０６とすることが有効である。理由は、始点４０６が頭部に対応しやすくなるためである。具体的に、頭部は腕や足の領域と異なり変形が起きにくい。また、影の影響は、地面に対して出やすいために、その影響も受けにくいことが挙げられる。
【００５７】
次に、輪郭特徴抽出部１０２３は、始点４０６から、被写体シルエットの輪郭上の各点をトレースする。輪郭点のトレース方法は、「安居院猛、長尾智晴著、「画像の処理と認識」、７２ページ、昭晃堂、１９９２年発行」に詳細が記述されている。
【００５８】
次に、輪郭特徴抽出部１０２３は、図４（ｅ）に示すように、トレースした輪郭上の各点と重心ｇとの距離ｌを算出する。ここで、輪郭特徴量は、図５の輪郭特徴量５０３に示すように、被写体シルエットの輪郭上の各点と重心との距離ｌを要素とするベクトルとして表現する。なお、図５におけるＡ〜Ｉの記号は、それぞれ画像５０１および画像５０２に示した被写体シルエットの輪郭上の代表点の一部とその輪郭特徴量における対応点を示す。
【００５９】
ここで、図６（ａ）に示すように、被写体の姿勢や画像中での大きさによって、輪郭点の数が異なる場合について説明する。この場合、それぞれの被写体シルエットにおいて、輪郭点の数がｎの被写体シルエットと輪郭点の数がｍの被写体シルエットが得られたものとする。ここで、ｎ＜ｍである。
【００６０】
この例の場合、輪郭特徴量ベクトルの要素数がｎおよびｍとなる。そこで、輪郭特徴量のベクトル要素数が異なることを防ぐために、ベクトルの要素数はあらかじめ決定しておき、固定値Ｚとすることが望ましい。具体的には、任意の入力画像に対して、輪郭点数がＺとなるように、全輪郭点の中から輪郭特徴量として利用する輪郭点上の代表点を図６（ｂ）に示すように（ｎ／Ｚ）点ごとまたは（ｍ／Ｚ）点ごとに選択する。本実施の形態では、このように選択した輪郭点を代表点とした特徴量を輪郭特徴量とする。
【００６１】
ここで、輪郭特徴量の例について説明する。図５に示すように、時系列に並んだ画像の入力に対して、それぞれ被写体シルエットを抽出した後、輪郭特徴量５０３を抽出する。輪郭特徴量ｌtは、時刻ｔで入力された画像から抽出した被写体シルエットの重心ｇと輪郭特徴量として利用する輪郭上の代表点との距離ｌを要素として持つベクトルで構成される。さらに、被写体の大きさの違いの影響を排除する場合は、被写体シルエットの面積（画素数）Ｓを計算し、次式のように、面積Ｓで正規化しても良い。
【数７】
2007133616.tif 000009
【００６２】
ここで、ｌt_zは、時刻ｔで入力された画像から得た被写体シルエットの重心ｇと輪郭線上の代表点ｚとの距離を示す。また、Ｓtは、時刻ｔで入力された画像から得た被写体シルエットの面積である。なお、このようにして得られた輪郭特徴量に対して、ローパスフィルタをかけることも有効である。これは、前述したように被写体シルエットに対して平滑化を行うことと同様の効果がある。
【００６３】
また、（数７）の代わりに次式で示す輪郭特徴量を用いても良い。
【数８】
2007133616.tif 000010
【００６４】
ここで、（ｘt_z，ｙt_z）は、図７に示すように時刻ｔで入力された被写体シルエットの重心ｇを原点とした時の輪郭上の代表点ｚの相対座標値を示す。また、Ｓtは、時刻ｔで入力された被写体シルエット１１０１の面積である。
【００６５】
次に、画像選択部１０３は、輪郭特徴抽出部１０２３で抽出した輪郭特徴量ｌtを用いて、輪郭特徴量ｌt間の独立性を評価し（Ｓ３０６）、独立性の高いＮ枚の画像を選択する（Ｓ３０７）。
【００６６】
ここでは、時系列に並んだＴ枚の画像の中から、Ｎ枚の画像を選択する場合について説明する。なお、ＴおよびＮは、設計者が事前に設定しても良いし、画像の転送レートや所望の圧縮率、ＡＶ機器の早送りのスピード等からＴとＮとの比を決めても良い。また、Ｔの自動的な決定方法およびＴが与えられた場合のＮの自動的な決定方法については後述する。
【００６７】
まず、画像選択部１０３は、時系列に並んだＴ枚の画像から抽出した輪郭特徴量ｌtを用いて、Ｔ個の輪郭特徴量の中からＮ個の輪郭特徴量を選ぶ組み合わせをTＣN個生成する。
【００６８】
すなわち、Ｎ個で構成される輪郭特徴量の組がTＣN個生成されることになる。そして、各輪郭特徴量の組ｉについて、次式のように、Ｎ個から２個を選ぶ組み合わせすべてについて、各輪郭特徴量間でコサインを計算することによって独立性を評価する。
【数９】
2007133616.tif 000011
【００６９】
そして、(数９)の独立性評価を輪郭特徴量のすべての組ｉについて行い、独立性評価値ｆiが最小となる輪郭特徴量の組ｉを決定する。もちろん、コサインの代わりに、各輪郭特徴量間で内積を計算することによって独立性を評価しても構わない。また、コサインの代わりに、正規化相互相関値を計算することによって独立性を評価しても構わない。
【００７０】
図８にＴ＝３，Ｎ＝２とした場合の例を示す。もちろんＴ，Ｎの値を制限するものでは無い。Ｔ＝３の場合、図８（ａ）〜図８（ｃ）に示すような３枚の時系列画像からそれぞれ抽出した輪郭特徴量ｌ1，ｌ2およびｌ3から、２つの輪郭特徴量を選ぶ組合わせを生成する。この組み合わせは、3Ｃ2＝３であることより、図８（ｄ）に示すように３種類の組が生成される。そして、Ｎ＝２より（数９）を用いて独立性評価を行う。そこで、図８（ｄ）に示す独立性評価値ｆiが最小となるときの、ｉの値は３である。このため、独立性評価値ｆiが最小となる輪郭特徴量の組み合わせは、ｌ2およびｌ3となる。この例の場合、３枚の入力画像から、ｔ＝２およびｔ＝３で得られた２枚の代表画像が選択されることになる。なお、（数９）を用いると、独立性評価値ｆiが小さいほど独立性が高くなる。
【００７１】
また、独立性評価値の計算は、（数９）の代わりに（数１０）を用いることができる。
【数１０】
2007133616.tif 000012
【００７２】
ここで、Ｗは、画像幅等の値を用いることができる。また、ｄsは、独立性評価に用いる２個の輪郭特徴量に対応する被写体シルエットの重心どうしの距離である。αは、輪郭特徴量の独立性と被写体シルエットの画像上での移動量との重み付けをする係数であり、αが大きいほど輪郭特徴量の独立性を重要視することになる。なお、αは、設計者が与える。
【００７３】
これにより、輪郭特徴量の独立性の高さに加え、被写体シルエットの画像上での移動量の大きさを反映した代表画像の選択が可能となる。
【００７４】
また、同様に独立性評価値の計算は、（数９）、（数１０）の代わりに（数１１）を用いることができる。
【数１１】
2007133616.tif 000013
【００７５】
ここで、αは、設計者が与える係数、Ｔは、入力画像の枚数である。そして、ｔsは、独立性評価に用いる２個の輪郭特徴量に対応する入力画像の時間間隔である。αは、輪郭特徴量の独立性と入力画像の時間間隔との重み付けをする係数であり、αが大きいほど輪郭特徴量の独立性を重要視することになる。なお、αは、設計者が与える。
【００７６】
これにより、輪郭特徴量の独立性の高さに加え、画像間の時間幅、すなわち画像間の時間差を反映した代表画像の選択が可能になる。
【００７７】
次に、Ｓ３０７で選択された画像の表示処理（Ｓ３０８）について、図９の例を用いて説明する。ここでは、画像選択処理（Ｓ３０７）にて、図９（ａ）に示すようなＴ枚の時系列入力画像に対して、図９（ｂ）に示すように代表画像としてｔ＝１、４、５の３枚の画像が選択された例である。表示・記録部１０４は、図９（ｃ）に示すように、ｔ＝１の選択された画像をｔ＝３まで表示し、ｔ＝４では、選択されたｔ＝４の画像を表示する。このように、選択された画像の時間情報に応じて映像を切り替えて表示する。また、記録は、時間情報とともに画像を記録することで、上記のような表示が可能である。もちろん、画像の表示方法は、上記の例に限らず、選択された画像を一定時間間隔で表示しても構わない。
【００７８】
以上により、人物等の被写体を含む時系列に並んだ画像から、それぞれの被写体シルエットの形状を表現する特徴量の独立性を評価することによって、被写体の変形を効率良く、高精度に表現可能な画像を代表画像として選択することができる。これにより、入力画像よりも少ない枚数で、人物等の動作をユーザが認識しやすい画像を提供することができる。
【００７９】
（実施の形態１の変形例）
次に、被写体シルエットの輪郭点上の代表点を実施の形態１とは異なる方法で選択して輪郭特徴量を抽出する方法について説明する。
【００８０】
画像選択装置の構成は、図１および図２に示したものと同様である。また、画像選択装置の実行する処理は、図３に示したフローチャートと基本的には同一ではあるが、輪郭特徴量抽出処理（Ｓ３０５）における輪郭特徴量抽出方法が異なる。それに伴い、Ｓ３０６以降の処理で使用される輪郭特徴量も実施の形態１とは異なる。それ以外の処理については、実施の形態１で説明したものと同様である。
【００８１】
以下に、輪郭特徴量抽出処理（Ｓ３０５）について、図１０を用いて説明する。
輪郭特徴抽出部１０２３は、Ｓ３０３にて抽出した被写体シルエットに対して、重心を決定する。望ましい例としては、被写体シルエットの重心位置ｇを求める。ここで、重心ｇは、Ｓ３０４にて抽出した被写体シルエットの輪郭位置の重心としても構わない。
【００８２】
次に、輪郭特徴抽出部１０２３は、被写体シルエットの主軸９０２を算出する。主軸９０２については、前述のように（数１）〜（数６）を用いて算出可能である。
【００８３】
次に、輪郭特徴抽出部１０２３は、被写体シルエットの最上部９０３と最下部９０４を求める。ここでは、被写体シルエット中のｙ軸上で被写体シルエットの最上部９０３と被写体シルエットの最下部９０４に位置する画素を選択する。
【００８４】
次に、輪郭特徴抽出部１０２３は、被写体シルエットの最上部９０３と被写体シルエットの最下部９０４から主軸９０２に垂線を下ろし、その２点の交点を結ぶ主軸９０２上の点を等間隔にＹ点選択し基準点９０５とする。そして、図１０の矢印で示すように、Ｙ個の基準点９０５から、それぞれ２本の垂線を引き、垂線と輪郭点との交点を代表点９０６とする。そして、Ｙ個の基準点９０５から代表点９０６までの距離ｌを算出する。この時、１本の垂線に２点以上の交点がある場合は、基準点９０５から最も遠い位置に存在する交点のみを用いる。例えば、基準点９０５ｂからの図中左向きの垂線に対しては、３つの交点９０７ａ〜９０７ｃが存在するが、そのうち、基準点９０５ｂから最も遠い位置に存在する交点は、交点９０７ａである。そのため、代表点として交点９０７ａが選択され、基準点９０５ｂから交点（代表点）９０７ａまでの距離が算出される。
【００８５】
輪郭特徴量は、上記の手順で求めた基準点と代表点との距離９０７を用いて、（数７）の代わりに（数１２）のように定義できる。
【数１２】
2007133616.tif 000014
【００８６】
ここで、ｌt_yは、時刻ｔで入力された被写体シルエットの主軸９０２上に設定されたＹ個の基準点と代表点との距離を示す。また、各基準点から２本の垂線を引くため、１個の基準点から２個の代表点が得られる。すなわち、輪郭特徴量の要素数は２Ｙ個となる。なお、Ｓtは、時刻ｔで入力された被写体シルエットの面積である。
【００８７】
次に、独立性判定処理（図３のＳ３０６）については、（数７）の代わりに（数１２）を用いることで同様に実行可能であるため、説明は省略する。
【００８８】
本変形例で用いる輪郭特徴量は、主軸９０２に対する垂線方向のみの代表点を用いるため、図１１のように、足部に生じた影の影響を受けて、輪郭抽出した画像の足部が地面と繋がった場合においても、足部の繋がった部分の輪郭点が代表点として選択されにくいため、陰の影響を受けにくい利点がある。
【００８９】
また、さらに他の輪郭特徴量抽出処理（図３のＳ３０５）ついて、図１２を用いて説明する。
【００９０】
図１２は、輪郭特徴量を抽出する際の代表点の決定方法を説明するための図である。
被写体シルエットの重心ｇの決定方法および被写体シルエットの主軸１００２の求め方は、実施の形態１で説明したものと同様である。また、輪郭特徴量の始点１００３の求め方も実施の形態１で説明したものと同様である。
【００９１】
次に、輪郭特徴抽出部１０２３は、図１２の矢印のように、重心ｇを中心として一定角度ごとに時計方向または反時計方向に直線を引き、被写体シルエットの輪郭との交点を代表点１００４として求める。そして、重心ｇを基準点として、基準点と代表点との距離ｌを算出する。
【００９２】
この時、図１２の点Ａおよび点Ｂに示すように、重心ｇから一定角度ごとに引いた直線と被写体シルエットとの交点が２点以上存在する場合には、重心ｇからの距離が長い方の交点Ａを代表点として用いる。
【００９３】
輪郭特徴量は、上記の手順で求めた基準点と代表点との距離を用いて、（数７）の代わりに（数１３）のように定義することができる。
【数１３】
2007133616.tif 000015
【００９４】
ここで、ｌc_yは、被写体シルエットの主軸１００２上に設定された基準点（重心ｇ）と代表点１００４との距離を示す。なお、Ｓcは、被写体シルエットの面積である。
【００９５】
なお、このようにして得られた輪郭特徴量に対して、ローパスフィルタをかけることも有効である。これは、前述したように被写体シルエットに対して平滑化を行うことと同様の効果がある。
【００９６】
また、上記の手順で求めた重心位置ｇを原点とした代表点の相対座標値を求めることによって、輪郭特徴量を（数８）と同様に表現することも可能である。
【００９７】
本変形例で用いる輪郭特徴量は、重心から引く直線の角度によって代表点を決定するため、輪郭点数が図６に示すように被写体シルエットの形状や大きさに依存しない。そのため、図１１のように、足部に生じた影の影響を受けて、輪郭抽出した画像の足部が地面と繋がった場合とそうでない場合においても、輪郭点の数に差異が生じないため、比較的、影の影響を受けにくい。
【００９８】
（実施の形態２）
次に、本発明の実施の形態２に係る画像選択装置について説明する。
【００９９】
実施の形態２に係る画像選択装置は、画像選択部１０３における独立性評価値を実施の形態１とは異なる特徴量を用いて算出する。
【０１００】
実施の形態２に係る画像選択装置の構成は、図１に示したものと同様である。ただし、画像選択部１０３の内部構成が実施の形態１とは異なる。それ以外の画像入力部１０１、特徴抽出部１０２および表示・記録部１０４は、実施の形態１と同様であるので、それらの説明はここでは繰り返さない。
【０１０１】
図１３は、画像選択部１０３の内部構成を示すブロック図である。
画像選択部１０３は、各時刻で入力された画像から抽出したそれぞれの輪郭特徴量から、人物の四肢に関する情報を用いて新たな特徴量を抽出し、その特徴量の独立性を評価することで、最も独立性の高い特徴量を含む画像を少なくとも２枚以上選択する処理部であり、ピーク検出部１０３１と、四肢判定部１０３２と、独立性評価部１０３３とを備えている。
【０１０２】
ピーク検出部１０３１は、輪郭特徴抽出部１０２３で抽出された輪郭特徴量のピーク位置とピーク数を検出する処理部である。
【０１０３】
四肢判定部１０３２は、ピーク検出部１０３１で検出された輪郭特徴量のピーク位置に対して、手もしくは足の対応付けを行う処理部である。
【０１０４】
独立性評価部１０３３は、輪郭特徴量のピーク位置に対応付けられた手および足の情報を用いて、輪郭特徴量から新たな特徴量を抽出し、その特徴量の独立性を評価することで少なくとも２枚以上の画像を選択する処理部である。
【０１０５】
本実施の形態では、四肢判定部１０３２において、手もしくは足の情報を付加することによって新たな特徴量を抽出する例について説明するが、四肢判定部１０３２を通さずに、輪郭特徴量のピーク位置を用いて新たな特徴量を抽出しても良い。
【０１０６】
以下に、本実施の形態に係る画像選択装置による画像選択方法について説明する。図１４は、本実施の形態に係る画像選択装置が実行する処理のフローチャートである。
【０１０７】
Ｓ３０１からＳ３０５までの処理は、実施の形態１と同様であるため、説明を省略する。
【０１０８】
ピーク検出部１０３１は、図１５（ａ）に示すように、特徴抽出部１０２で抽出した輪郭特徴量のピーク位置を検出する（Ｓ１３０１）。具体的には、輪郭特徴量を輪郭点に沿って差分をとることで、極大値を持つ点を選択する。すなわち、差分値が正から負に変化した点をピーク位置とする。図１５の黒丸で示した部分は、輪郭特徴量におけるピーク検出結果１４０２とそれに対応する被写体シルエット１４０１の輪郭点上の代表点である。
【０１０９】
なお、Ｓ１３０１では、実施の形態１と同様、輪郭特徴量に対してローパスフィルタをかけた後にピーク位置を検出することで、不要なピークを無くす事ができる。
【０１１０】
次に、四肢判定部１０３２は、Ｓ１３０１で検出したそれぞれのピーク位置に手もしくは足のラベル付けを行う（Ｓ１３０２）。ここで、図１５（ｂ）に示すようにそれぞれのピーク位置に対応する輪郭特徴値１４０３をｌp1，ｌp2，…，ｌpMとする。
【０１１１】
具体的には、図１６に示すように、Ｓ１３０１で検出したピーク数に応じて場合分けを行い、手と足のラベル付け方法を決定することができる。
【０１１２】
ピーク数が１個の場合は、ピーク位置に足を対応付ける。
ピーク数が２個の場合は、ピーク位置のすべてに足を対応付ける場合と、ピーク位置にそれぞれ手と足を対応付ける場合とに分けることができる。
【０１１３】
ピーク数が３個の場合は、ピーク位置にそれぞれ、足を２個と手を１個対応付ける場合と、ピーク位置にそれぞれ足を１個と手を２個対応付ける場合とに分けることができる。
【０１１４】
ピーク数が４個の場合は、ピーク位置にそれぞれ、四肢のいずれかを対応付ける。
以上のように、ピーク数に応じて四肢のいずれを対応させるかを決定する。
【０１１５】
次に、各ピーク位置への四肢のラベル付け方法を説明する。
ピーク数が１個の場合は、図１６に示すように、頭を始点とすると終点も頭となる。そのため、ピークの存在する位置は足として一意に決定できる。なお、手に相当する位置にピークが存在する場合は、２個以上のピークが存在することになる。
【０１１６】
ピーク数が２個以上の場合は、ピーク位置の輪郭特徴値ｌp1，ｌp2，…，ｌpMを得る。ここでＭはピーク数である。以下、説明のため、ピーク位置の輪郭特徴値をｌp1＞ｌp2＞…＞ｌpMとする。
【０１１７】
ピーク数が２個の場合、ピーク位置の輪郭特徴値の比を用いて、
【数１４】
2007133616.tif 000016
のように、決定する。すなわち、ｌp1／ｌp2の値が所定の閾値αよりも大きい場合には、ｌp1を足の輪郭特徴量と判断し、ｌp2を手の輪郭特徴量と判断する。それ以外の場合には、ｌp1およびｌp2がともに足の輪郭特徴量であると判断する。
【０１１８】
ピーク数が３個の場合、ピーク位置における最大の輪郭特徴量ｌp1は、足の輪郭特徴量であると判断し、最小の輪郭特徴量ｌp3は手の輪郭特徴量であると判断する。また、輪郭特徴量の中間値ｌp2が、以下のいずれに対応するかは（数１５）に従い決定される。すなわち、最大輪郭特徴量ｌp1と輪郭特徴量の中間値ｌp2との比（ｌp1／ｌp2）が所定の閾値αよりも大きければ、ｌp2を足の輪郭特徴量と判断し、それ以外の場合には、ｌp2を手の輪郭特徴量と判断する。
【数１５】
2007133616.tif 000017
【０１１９】
ピーク数が４個の場合は、ｌp1およびｌp2を足の輪郭特徴量であると判断し、ｌp3およびｌp4を手の輪郭特徴量であると判断する。
【０１２０】
ここで、（数１４）、（数１５）において、実験的にα＝１．５とした。ただし、閾値αの値はこれに限定されるものではなく、対象とするシーン等によっても異なる。
【０１２１】
なお、輪郭特徴量のピーク位置への手足の対応付け方法は、上記の例に限らない。
例えば、ピーク位置の輪郭特徴値の大小にもとづいて、手および足を振り分けても良い。また、被写体が地面に立っている状況を仮定できる場合であれば、図５の例のように、輪郭特徴量の各ピーク位置について、被写体シルエットの輪郭点上の対応点を求め、その対応点が地面に近い場合は足、画像上の縦軸方向において、重心位置に近い場合は手としてラベル付けを行うことも可能である。
【０１２２】
次に、独立性評価部１０３３は、Ｓ１３０２で対応付けられたラベル情報を用いてＳ３０５で抽出した輪郭特徴量から、新たな特徴量を抽出する（Ｓ１３０３）。
【０１２３】
ここでは、Ｔ枚の画像からＮ枚の画像を選択する例について説明する。なお、ＴとＮは、設計者が事前に設定しても良いし、画像の転送レートや所望の圧縮率、ＡＶ機器の早送りのスピード等からＴとＮの比を決めても良い。また、Ｔの自動的な決定方法およびＴが与えられた場合のＮの自動的な決定方法については後述する。
【０１２４】
図１７に示すように、Ｔ枚（図１７ではＴ＝５）の画像それぞれから得た輪郭特徴量ｌt（ｔ＝１〜Ｔ）を時間方向に並べる。ここで、図中の黒い四角は、Ｓ１３０２にて手としてラベル付けされた代表点を示し、黒い丸は、Ｓ１３０２にて足としてラベル付けされた代表点を示す。
【０１２５】
そして、時刻ｔで抽出された輪郭特徴量ｌtにおいて、代表点が手もしくは足としてラベル付けされた場合、入力されたＴ枚全ての画像に対応する輪郭特徴量ｌtにおいて、図中の破線で示すように、他の時刻で抽出された輪郭特徴量ｌtにおいても、時刻ｔでラベル付けされた代表点の位置と同じ位置に存在する代表点を特徴量の要素として選択する。そして、各時刻において、選択された代表点を要素とするベクトルを新たな特徴量とする。すなわち、Ｓ３０５にて抽出されたＴ個の輪郭特徴量の中で、１つでもラベル付けされた代表点を新たな特徴量の要素とする。図１７の例では、９つの代表点において手または足と判定されているため、各時刻において９次元の特徴量のベクトルが生成される。
【０１２６】
ここでは、手のみにラベル付けされた代表点から輪郭特徴量を選択して、新たな特徴量を生成しても良いし、足のみにラベル付けされた代表点から輪郭特徴量を選択して、新たな特徴量を生成しても良い。
【０１２７】
このように、人物の四肢に対応する代表点を用いた特徴量を用いることで、人物の姿勢の中でも手足の姿勢の独立性を評価することが可能となる。また、手のみにラベル付けされた代表点を用いる場合は、立ち止まったまま行う万引き動作などの画像を選択する時に有効である。また、足のみにラベル付けされた代表点を用いる場合は、サッカーなどの足の動作に着目した画像を選択する時に有効である。
【０１２８】
上記のように得られた新たな特徴量を用いて、実施の形態１と同様にＳ３０７、Ｓ３０８を実行する。
【０１２９】
以上により、人物等の被写体を含む時系列に並んだ画像から、それぞれの被写体の四肢の姿勢や動作を表現する特徴量の独立性を評価することによって、被写体の変形を効率良く、高精度に表現可能な画像を代表画像として選択することができる。これにより、入力画像よりも少ない枚数で、人物等の動作をユーザが認識しやすい画像を提供することができ、スポーツ中継や監視等、用途に応じた画像の選択が可能である。
【０１３０】
（実施の形態３）
次に、本発明の実施の形態３に係る画像選択装置について説明する。
【０１３１】
本実施の形態では、画像選択部１０３において、実施の形態１および２で抽出した特徴量を用いて、代表画像数を自動的に決定して代表画像を選択する方法について説明する。ここでは、時系列に並んだＴ枚の画像の入力から選択画像数Ｎを決定しＮ枚の画像を選択する場合について説明する。
【０１３２】
実施の形態３に係る画像選択装置の構成は、図１に示したものと同様である。ただし、画像選択部１０３の内部構成が実施の形態１とは異なる。それ以外の画像入力部１０１、特徴抽出部１０２および表示・記録部１０４は、実施の形態１と同様であるので、それらの説明はここでは繰り返さない。
【０１３３】
図１８は、画像選択部１０３の内部構成を示すブロック図である。
画像選択部１０３は、Ｔ枚の入力画像に対して、代表画像数Ｎを決定してＮ枚の画像を選択する処理部であり、代表画像数決定部１７０１と、独立性評価部１７０２とを備えている。これにより、被写体シルエットの形状変化にもとづいて、Ｔ枚の入力画像から必要な代表画像の選択枚数Ｎを決定することができる。そして、実施の形態１と同様に輪郭特徴量の独立性を評価することによって、最も独立性の高い輪郭特徴量を含む画像をＮ枚選択する。
【０１３４】
代表画像数決定部１７０１は、輪郭特徴抽出部１０２３でＴ枚の画像から抽出した輪郭特徴量を用いて選択する代表画像数Ｎを決定する処理部である。
【０１３５】
独立性評価部１７０２は、代表画像数決定部１７０１で決定した代表画像数Ｎにもとづいて、輪郭特徴量の独立性を評価することでＮ枚の画像を選択する処理部である。もちろん、輪郭特徴量の代わりに、実施の形態３で説明した特徴量を用いても構わない。
【０１３６】
以下に、本実施の形態に係る画像選択装置による画像選択方法について説明する。図１９は、本実施の形態に係る画像選択装置が実行する処理のフローチャートである。
【０１３７】
Ｓ３０１からＳ３０５までの処理は、実施の形態１と同様であるため、説明を省略する。
【０１３８】
代表画像数決定部１７０１は、輪郭特徴抽出部１０２３でＴ枚の画像から抽出した輪郭特徴量を用いて選択する代表画像数Ｎを決定する（Ｓ１８０１）。まず、入力されたＴ枚の画像から抽出した輪郭特徴量を用いて、次式のように第１の分散・共分散行列ＭTを生成する。
【数１６】
2007133616.tif 000018
【０１３９】
ここで、
【数１７】
2007133616.tif 000019
は、Ｔ個の輪郭特徴量ｌtを入力画像枚数Ｔで平均した平均ベクトルである。
【０１４０】
次に、代表画像数決定部１７０１は、（数１６）で算出した第１の分散・共分散行列のランク数Ｒを計算する。ランク数については、William H. Press, Saul A Teukolsky, William T Vetterling, Brian P. Flannery,"Numerical Recipes in C"，技術評論社，ｐ．７５，１９９３に詳しく記載されている。
【０１４１】
そして、代表画像数決定部１７０１は、以下の処理をＮ＝２から順に行う。
まず、代表画像数決定部１７０１は、Ｔ個の輪郭特徴量の中からＮ個の輪郭特徴量を選ぶ組み合わせをTＣN個生成する。すなわち、Ｎごとに、Ｎ個で構成される輪郭特徴量の組がTＣN個生成されることになる。そして、代表画像数決定部１７０１は、各輪郭特徴量の組ｉごとに、（数１８）のように第２の分散・共分散行列ＭN_iを生成する。すなわち、代表画像数決定部１７０１は、各Ｎ、各輪郭特徴量の組ｉについて第２の分散・共分散行列を生成する。
【数１８】
2007133616.tif 000020
【０１４２】
ここで、ｌsは、輪郭特徴量の組ｉに含まれるＮ個の輪郭特徴量である。また、
【数１９】
2007133616.tif 000021
は、輪郭特徴量の組ｉに含まれるＮ個の輪郭特徴量をＮで平均した平均ベクトルである。
【０１４３】
次に、代表画像数決定部１７０１は、（数１６）、（数１８）で算出した第１および第２の分散・共分散行列それぞれのランク数ＲN_iを計算する。ここで、すべての輪郭特徴量の組ｉについて、ＲN_i＜Ｒの場合は、Ｎを１つインクリメントして、代表画像数決定部１７０１は、再度、上記の計算を行う。そして、代表画像数決定部１７０１は、ＲN_i＝Ｒとなる輪郭特徴量の組ｉが１つでも存在する場合の最小のＮを代表画像数とする。
【０１４４】
第１の分散・共分散行列のランク数と第２の分散・共分散行列のランク数とが等しいということは、Ｔ枚の画像による表現能力とＮ枚の代表画像による表現能力とが数学的に等しいことを示している。
【０１４５】
次に、独立性評価部１７０２は、独立性の高いＮ枚の画像を選択する（Ｓ１８０２）。以下に、Ｓ１８０２の処理について説明する。
【０１４６】
ＲN_i＝Ｒとなる最小のＮにおいて、輪郭特徴量の組ｉが１つしか存在しない場合は、独立性評価部１７０２は、輪郭特徴量の組ｉに含まれる輪郭特徴量に対応する画像を代表画像として選択する。また、ＲN_i＝Ｒとなる最小のＮにおいて、輪郭特徴量の組ｉが２つ以上存在する場合は、以下の処理を行う。
【０１４７】
ＲN_i＝Ｒとなる最小のＮにおいて、各輪郭特徴量の組ｉについて、独立性評価部１７０２は、（数９）に従って、Ｎ個から２個を選ぶ組み合わせすべてについて独立性を評価する。それ以降の処理は、実施の形態１と同様であるため説明を省略する。
【０１４８】
以上のように、本実施の形態によれば、実施の形態１および実施の形態３の効果に加え、代表画像数Ｎを自動的に決定することができる。
【０１４９】
（実施の形態４）
次に、本発明の実施の形態３に係る画像選択装置について説明する。
【０１５０】
本実施の形態では、画像選択部１０３において、実施の形態１および２で抽出した特徴量を用いて、代表画像を選択するための処理画像数Ｔを自動的に決定する方法について説明する。
【０１５１】
ここでは、時系列に並んだＴ枚の画像からＮ枚の代表画像を選択する場合におけるＴの自動決定方法について説明する。なお、混乱を避けるために、画像入力部１０１に入力される画像数をＴ´、代表画像を選択するために用いる処理画像数をＴとして説明する。
【０１５２】
実施の形態４に係る画像選択装置の構成は、図１に示したものと同様である。ただし、画像選択部１０３の内部構成が実施の形態１とは異なる。それ以外の画像入力部１０１、特徴抽出部１０２および表示・記録部１０４は、実施の形態１と同様であるので、それらの説明はここでは繰り返さない。
【０１５３】
図２０は、画像選択部１０３の内部構成を示すブロック図である。
画像選択部１０３では、Ｔ´枚の入力画像に対して抽出した輪郭特徴量から周期性を判定し、その周期にもとづいて処理画像数Ｔを決定する処理部であり、周期検出部１９０１と、処理画像数決定部１９０２と、独立性評価部１９０３とを備えている。画像選択部１０３は、決定したＴ枚の画像に対応する輪郭特徴量の独立性を評価することによって、最も独立性の高い輪郭特徴量を含む画像を２枚以上選択する。
【０１５４】
図２０は、本実施の形態における画像選択部１０３の内部構成を示すブロック図である。
【０１５５】
周期検出部１９０１は、輪郭特徴抽出部１０２３でＴ´枚の画像から抽出した輪郭特徴量の時間変化から周期を検出する処理部である。
【０１５６】
処理画像数決定部１９０２は、周期検出部１９０１で検出された周期にもとづいて処理画像数Ｔを決定する処理部である。
【０１５７】
独立性評価部１９０３は、処理画像数決定部１９０２で決定された処理画像数Ｔにもとづいて、Ｔ枚の画像から抽出した輪郭特徴量の独立性を評価することでＮ枚の画像を選択する処理部である。もちろん、輪郭特徴量の代わりに、実施の形態２で説明した特徴量を用いてもかまわない。また、Ｎは、実施の形態１と同様に、設計者が事前に設定しても良いし、画像の転送レートや所望の圧縮率、ＡＶ機器の早送りのスピード等から決定しても良い。さらに、実施の形態３で説明した方法で決定しても良い。
【０１５８】
以下に、本実施の形態に係る画像選択装置による画像選択方法について説明する。図２１は、本実施の形態に係る画像選択装置が実行する処理のフローチャートである。
【０１５９】
Ｓ３０１からＳ３０５までの処理は、実施の形態１と同様であるため、説明を省略する。
【０１６０】
周期検出部１９０１は、輪郭特徴抽出部１０２３でＴ´枚の画像から抽出した輪郭特徴量を用いて、（数２０）のように各時刻における輪郭特徴量の複雑度を算出する（Ｓ２００１）。
【数２０】
2007133616.tif 000022
【０１６１】
なお、絶対値の代わりに２乗値を用いても構わないし、１階差分の代わりに２階差分を行っても構わない。ここで、Ｚは輪郭特徴量の輪郭点の数を示す。また、ｌt_zは、時刻ｔにおける輪郭特徴量の輪郭点ｚにおける輪郭特徴値である。また、
【数２１】
2007133616.tif 000023
は、ｄtの時間平均である。
【０１６２】
図２２は、被写体が歩行する場合の時系列の入力画像に対する（数２０）の計算結果を示す図である。歩行や走行など、周期的な動作に関しては周期性を呈することが分かる。
【０１６３】
そこで、図２２のような（数２０）の計算結果から、（数２２）のように自己相関Ｃ（τ）を計算することによって、周期を計算する。もちろん、（数２０）の計算結果に対してフーリエ変換を行ってピーク周波数を検出し、それを周期としても構わない。
【数２２】
2007133616.tif 000024
【０１６４】
（数２２）を用いると、τ＝０以外にピークを持つτ＝τpが周期であると判定することができる。図２３は、図２２の計算結果を用いて（数２２）により自己相関Ｃ（τ）を算出した例を示す図である。ここでは、図中丸印で示すように、τp＝１８においてピークを検出することができる。
【０１６５】
処理画像数決定部１９０２は、Ｔ＝τpと決定する（Ｓ２００２）。これにより、１周期分（Ｔ枚）の画像からＮ枚の画像を選択することができる。もちろん、Ｔ＝２τpのように、１周期の整数倍の画像を処理対象としても良い。さらに、図２２におけるＮ個目のピークから、処理対象の画像枚数Ｔを決定しても良い。
【０１６６】
処理対象の枚数は、多いほど安定に独立性の評価を行うことが可能であるが、処理枚数Ｔが増えるほど処理時間が大きくなるため、必要な処理時間との関係によって処理枚数Ｔを決定することが望ましい。
【０１６７】
独立性評価部１９０３は、図２４に示すように時系列に並んだＴ´枚の入力画像２３０１をＴごとに区切る（Ｓ２００３）。そして、独立性評価部１９０３は、時系列に並んだＴ枚の画像に対応する輪郭特徴量を用いてＳ３０６と同様の独立性評価を行い、Ｓ３０７と同様の代表画像２３０２の選択を行う。
【０１６８】
以下は、実施の形態１と同様であるため説明を省略する。
以上のように、本実施の形態によれば、第１から実施の形態３の効果に加え、処理画像数Ｔを自動的に決定することができる。特に、歩行や走行など、周期的運動を行う被写体において有効である。
【産業上の利用可能性】
【０１６９】
上記の方法により、人物等の被写体を含む時系列に並んだ画像から、それぞれの被写体シルエットの形状を表現する特徴量の独立性を評価することによって、被写体の変形を効率良く、高精度に表現可能な画像を代表画像として選択することができる。これにより、本発明は、入力画像よりも少ない枚数で、人物等の動作をユーザが認識しやすい画像を提供する装置に適用でき、特に、重要なシーンを見落とさずに早送りを行なうＡＶ機器や、カメラを用いた監視装置等に適用できる。
【図面の簡単な説明】
【０１７０】
【図１】本発明の実施の形態１による画像選択装置の構成を示す図である。
【図２】本発明の実施の形態１による特徴抽出部の構成を示す図である。
【図３】本発明の実施の形態１によるフローチャートである。
【図４】本発明の実施の形態１による輪郭特徴量の抽出例を示す図である。
【図５】本発明の実施の形態１による輪郭特徴量の例を示す図である。
【図６】本発明の実施の形態１による輪郭特徴量の代表点を示す図である。
【図７】本発明の実施の形態１による輪郭特徴量の抽出例を示す図である。
【図８】本発明の実施の形態１による独立性評価の方法を示す図である。
【図９】本発明の実施の形態１による画像選択と表示の例を示す図である。
【図１０】本発明の実施の形態２による輪郭特徴量の抽出例を示す図である。
【図１１】本発明の実施の形態１の変形による被写体シルエットの例を示す図である。
【図１２】本発明の実施の形態１の変形による輪郭特徴量の抽出例を示す図である。
【図１３】本発明の実施の形態２による画像選択部の構成を示す図である。
【図１４】本発明の実施の形態２によるフローチャートである。
【図１５】本発明の実施の形態２による輪郭特徴量のピーク検出例を示す図である。
【図１６】本発明の実施の形態２による四肢の対応付けの例を示す図である。
【図１７】本発明の実施の形態３による特徴量の選択方法を示す図である。
【図１８】本発明の実施の形態３による画像選択部の構成を示す図である。
【図１９】本発明の実施の形態３によるフローチャートである。
【図２０】本発明の実施の形態４による画像選択部の構成を示す図である。
【図２１】本発明の実施の形態４によるフローチャートである。
【図２２】本発明の実施の形態４による輪郭特徴量の複雑度の時間変化の例を示す図である。
【図２３】本発明の実施の形態４による自己相関の計算結果の例を示す図である。
【図２４】本発明の実施の形態４による周期性も用いた画像選択の例を示す図である。
【符号の説明】
【０１７１】
１０１  画像入力部
１０２  特徴抽出部
１０３  画像選択部
１０４  表示・記録部
１０２１  人物領域抽出部
１０２２  シルエット抽出部
１０２３  輪郭特徴抽出部
１０３１  ピーク検出部
１０３２  四肢判定部
１０３３  独立性評価部
１７０１  代表画像数決定部
１７０２  独立性評価部
１９０１  周期検出部
１９０２  処理画像数決定部
１９０３  独立性評価部
【図１】
2007133616.tif 000025
【図２】
2007133616.tif 000026
【図３】
2007133616.tif 000027
【図４】
2007133616.tif 000028
【図５】
2007133616.tif 000029
【図６】
2007133616.tif 000030
【図７】
2007133616.tif 000031
【図８】
2007133616.tif 000032
【図９】
2007133616.tif 000033
【図１０】
2007133616.tif 000034
【図１１】
2007133616.tif 000035
【図１２】
2007133616.tif 000036
【図１３】
2007133616.tif 000037
【図１４】
2007133616.tif 000038
【図１５】
2007133616.tif 000039
【図１６】
2007133616.tif 000040
【図１７】
2007133616.tif 000041
【図１８】
2007133616.tif 000042
【図１９】
2007133616.tif 000043
【図２０】
2007133616.tif 000044
【図２１】
2007133616.tif 000045
【図２２】
2007133616.tif 000046
【図２３】
2007133616.tif 000047
【図２４】
2007133616.tif 000048