(57)【要約】【課題】複数のカメラ映像の中から、人物の四肢の動きや形状をユーザが認識しやすい映像を選択することができる映像選択方法を提供する。【解決手段】複数のカメラで撮像された複数の映像のうち、少なくとも１つの映像を選択する映像選択方法であって、複数のカメラで撮像された人物を含む複数の映像を取得するステップ（Ｓ３０１）と、前記複数の映像の各々に含まれる被写体シルエットの輪郭線上に設けられた複数の代表点より求められる特徴量を抽出するステップ（Ｓ３０２〜Ｓ３０５）と、前記複数の映像の各々について、前記特徴量から前記被写体シルエットの形状の凹凸度合いを示す凹凸度を判定する凹凸度判定ステップ（Ｓ３０６）と、前記複数の映像の前記被写体シルエットの形状の凹凸度に基づいて、前記複数の映像から前記人物の手または足の形状を認識するための少なくとも１つの映像を選択するステップ（Ｓ３０７）とを含む。【選択図】図３
2007134913.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラで撮像された複数の映像のうち、少なくとも１つの映像を選択する映像選択方法であって、
複数のカメラで撮像された人物を含む複数の映像を取得する映像取得ステップと、
前記複数の映像の各々に含まれる人物の被写体シルエットの輪郭線上に設けられた複数の代表点より求められる特徴量を抽出する特徴量抽出ステップと、
前記複数の映像の各々について、前記特徴量から前記被写体シルエットの形状の凹凸度合いを示す凹凸度を判定する凹凸度判定ステップと、
前記複数の映像の凹凸度に基づいて、前記複数の映像から前記人物の手または足の形状を認識するための少なくとも１つの映像を選択する映像選択ステップとを含む
映像選択方法。
【請求項２】
前記映像選択ステップでは、前記凹凸度が最大となる映像を選択する
請求項１に記載の映像選択方法。
【請求項３】
前記特徴量抽出ステップでは、所定の基準点と前記複数の代表点との間の距離を特徴量として抽出する
請求項１または２に記載の映像選択方法。
【請求項４】
前記凹凸度判定ステップは、
前記複数の代表点における複数の特徴量を連結することにより曲線を生成する曲線生成ステップと、
前記曲線における極大値を検出する極大値検出ステップと、
前記極大値に基づいて、前記凹凸度を算出する凹凸度算出ステップとを含む
請求項３に記載の映像選択方法。
【請求項５】
前記凹凸度判定ステップは、
前記複数の代表点における複数の特徴量を連結することにより曲線を生成する曲線生成ステップと、
前記曲線における極大値を検出する極大値検出ステップと、
前記極大値と前記極大値の数とに基づいて、前記極大値に人物の手または足を対応付ける対応付けステップと、
対応付けの結果と前記極大値とに基づいて、前記凹凸度を算出する凹凸度算出ステップとを含む
請求項３に記載の映像選択方法。
【請求項６】
前記凹凸度算出ステップでは、前記対応付けの結果に基づいて、手に対応付けられた極大値または足に対応付けられた極大値のいずれか一方に重み付けを行ない、前記凹凸度を算出する
請求項５に記載の映像選択方法。
【請求項７】
前記凹凸度判定ステップでは、さらに、前記複数の映像の各々について、時間的に連続する複数の映像の凹凸度の時間平均を算出し、算出結果を前記被写体シルエット形状の凹凸度とする
請求項１〜６のいずれか１項に記載の映像選択方法。
【請求項８】
前記凹凸度判定ステップでは、さらに、前記複数の映像の各々について、時間的に連続する複数の映像の凹凸度の時間方向の差分値を算出し、算出結果を前記被写体シルエット形状の凹凸度とする
請求項１〜６のいずれか１項に記載の映像選択方法。
【請求項９】
前記映像選択ステップでは、選択された映像を基準として、当該映像とは反対の方向から被写体を撮像している映像を同時に選択する
請求項１〜８のいずれか１項に記載の映像選択方法。
【請求項１０】
前記映像選択ステップでは、選択された映像を基準として、当該映像を撮像しているカメラの光軸方向と直交する方向から被写体を撮像している映像を同時に選択する
請求項１〜８のいずれか１項に記載の映像選択方法。
【請求項１１】
前記映像選択方法は、さらに、前記複数のカメラで撮像された前記複数の映像の中から、人物の顔画像を含む映像を検出する顔画像検出ステップを含み、
前記映像選択ステップでは、さらに、顔画像を含む映像の検出結果に基づいて、前記複数の映像から前記人物の顔を認識するための少なくとも１つの映像を選択する
請求項１〜１０のいずれか１項に記載の映像選択方法。
【請求項１２】
複数のカメラで撮像された複数の映像のうち、少なくとも１つの映像を選択する映像選択装置であって、
複数のカメラで撮像された人物を含む複数の映像を取得する映像取得手段と、
前記複数の映像の各々に含まれる人物の被写体シルエットの輪郭線上に設けられた複数の代表点より求められる特徴量を抽出する特徴量抽出手段と、
前記複数の映像の各々について、前記特徴量から前記被写体シルエットの形状の凹凸度合いを示す凹凸度を判定する凹凸度判定手段と、
前記複数の映像の凹凸度に基づいて、前記複数の映像から前記人物の手または足の形状を認識するための少なくとも１つの映像を選択する映像選択手段とを備える映像選択装置。
【請求項１３】
複数のカメラで撮像された複数の映像のうち、少なくとも１つの映像を選択する映像選択方法のプログラムであって、
複数のカメラで撮像された人物を含む複数の映像を取得する映像取得ステップと、
前記複数の映像の各々に含まれる人物の被写体シルエットの輪郭線上に設けられた複数の代表点より求められる特徴量を抽出する特徴量抽出ステップと、
前記複数の映像の各々について、前記特徴量から前記被写体シルエットの形状の凹凸度合いを示す凹凸度を判定する凹凸度判定ステップと、
前記複数の映像の凹凸度に基づいて、前記複数の映像から前記人物の手または足の形状を認識するための少なくとも１つの映像を選択する映像選択ステップとをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラで同時に撮像した映像の中から少なくとも１つの映像を選択する映像選択方法に関し、特に、人物を含むシーンを複数のカメラで同時に撮像した映像から、人物の四肢の動きや形状をユーザが認識しやすい映像を選択する映像選択方法に関する。
【背景技術】
【０００２】
従来、複数箇所に設置したカメラで店舗や街頭等を撮像し、監視する場合には、各カメラから得られた映像をモニタに表示し、その映像を監視員が監視していた。また、複数のカメラを用いて、広範囲を撮像する必要のあるサッカー等のスポーツ中継においても、放送に用いる映像の切り替えは、ディレクターの指示によって行われていた。このような場合、監視員やディレクターは、複数の映像を同時に注視する必要があり、負担が大きい。また、カメラの台数が増えると、複数の映像に同時に注意を払うことが難しくなる。
【０００３】
一方で、複数のカメラで同時に撮像した映像から、セレクタを用いてカメラ映像を自動的に選択する方法が提案されている（例えば、特許文献１および特許文献２参照。）。
【０００４】
特許文献１には、複数のカメラで撮像した映像から、それぞれの映像に対して動きベクトルを検出し、その動きベクトルの大きさが所定値以上の場合に、それに対応するカメラ映像をセレクタで選択する方法が開示されている。同様に、背景画像を事前に用意しておき、その背景画像と現在の映像との差分値の大きさに基づいて侵入物体の存否を判断し、侵入物体が存在すると判断した場合に、それに対応するカメラ映像を選択する方法もある。また、同様に人物検出方法を併用する事によって、人物を検出したカメラ映像を選択する方法もある。
【０００５】
また、特許文献２には、複数台の監視カメラ映像において、監視員が特定人物をマーキングし、マーキングされた特定人物の顔画像と複数台の監視カメラで撮像している人物の顔画像とを照合して、特定人物の映像を選択的に表示する方法が開示されている。
【特許文献１】特開平１−１７１０９７号公報
【特許文献２】特開２００４−１２８６１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来技術に代表されるカメラ映像の選択方法を用いても、人物の四肢の動きや形状をユーザが認識しやすい映像を選択し、表示することができない。
【０００７】
なぜならば、特許文献１に代表されるカメラ映像の選択方法では、動きベクトルを用いて、その動きベクトルの大きさが所定の閾値を越えるか否かに基づいてカメラ映像の選択を行っている。この場合、映像中に存在する移動物体が人物か否かに関わらず、映像に時間的な変化が起こった場合に、そのカメラ映像が選択されることになる。そのため、人物の四肢の動きや形状を認識しやすい映像とは必ずしもならない。
【０００８】
また、人物検出方法を用いて映像中に人物が存在するカメラ映像を選択する場合、および特許文献２に代表される顔検出技術を用いて映像中に人物の顔が存在するカメラ映像を選択する場合においては、人物が被写体となっているカメラ映像を選択することは可能であっても、人物の四肢の動きや形状を認識しやすい映像を選択できるとは限らない。
【０００９】
また、人物は多関節物体であるために、車や電車等の形状変化のない物体とは異なり、姿勢変化が問題となる。すなわち、姿勢によって四肢の動きや形状の認識のしやすさが異なる。このため、カメラと被写体との相対位置関係をあらかじめ一意に決定することが難しい。そのため、人物の四肢の動きや形状をユーザが認識しやすい映像を得るためには、姿勢や動作ごとにその都度、カメラと被写体との相対位置関係を決定する必要がある。
【００１０】
そして、人物の四肢の動きや形状を認識しやすい映像を得るためには、人物の四肢が胴体等の身体パーツによって隠されていない映像であることが望ましい。そのため、特に人物の四肢の見えを評価することが必要である。
【００１１】
本発明は、上述の課題を解決するためになされたものであり、複数のカメラ映像の中から、人物の四肢の動きや形状をユーザが認識しやすい映像を選択することができる映像選択方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明に係る映像選択方法は、複数のカメラで撮像された複数の映像のうち、少なくとも１つの映像を選択する映像選択方法であって、複数のカメラで撮像された人物を含む複数の映像を取得する映像取得ステップと、前記複数の映像の各々に含まれる人物の被写体シルエットの輪郭線上に設けられた複数の代表点より求められる特徴量を抽出する特徴量抽出ステップと、前記複数の映像の各々について、前記特徴量から前記被写体シルエットの形状の凹凸度合いを示す凹凸度を判定する凹凸度判定ステップと、前記複数の映像の凹凸度に基づいて、前記複数の映像から前記人物の手または足の形状を認識するための少なくとも１つの映像を選択する映像選択ステップとを含む。
【００１３】
なお、本発明は、このような特徴的なステップを備える映像選択方法として実現することができるだけでなく、映像選択方法に含まれる特徴的なステップを手段とする映像選択装置として実現したり、映像選択方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
【発明の効果】
【００１４】
本発明によると、複数のカメラ映像の中から、人物の四肢の動きや形状をユーザが認識しやすい映像を選択することができる映像選択方法を提供することができる。
【発明を実施するための最良の形態】
【００１５】
本発明に係る映像選択方法は、複数のカメラで撮像された複数の映像のうち、少なくとも１つの映像を選択する映像選択方法であって、複数のカメラで撮像された人物を含む複数の映像を取得する映像取得ステップと、前記複数の映像の各々に含まれる人物の被写体シルエットの輪郭線上に設けられた複数の代表点より求められる特徴量を抽出する特徴量抽出ステップと、前記複数の映像の各々について、前記特徴量から前記被写体シルエットの形状の凹凸度合いを示す凹凸度を判定する凹凸度判定ステップと、前記複数の映像の凹凸度に基づいて、前記複数の映像から前記人物の手または足の形状を認識するための少なくとも１つの映像を選択する映像選択ステップとを含む。より具体的には、前記映像選択ステップでは、前記凹凸度が最大となる映像を選択する。
【００１６】
この構成によると、人物を含む映像における被写体シルエットの形状の凹凸度を判定している。このため、人物の四肢の形状をユーザが認識しやすい映像を選択することができる。
【００１７】
好ましくは、前記特徴量抽出ステップでは、所定の基準点と前記複数の代表点との間の距離を特徴量として抽出する。
【００１８】
輪郭線上の代表点を用いることによって、被写体シルエットの画像のすべての画素値を用いる場合と比較して、被写体シルエットの形状を効率的に表現することができる。
【００１９】
さらに好ましくは、前記凹凸度判定ステップは、前記複数の代表点における複数の特徴量を連結することにより曲線を生成する曲線生成ステップと、前記曲線における極大値を検出する極大値検出ステップと、前記極大値に基づいて、前記凹凸度を算出する凹凸度算出ステップとを含む。
【００２０】
このように、曲線における極大値の数を用いることによって、人物の四肢の姿勢を強く反映した被写体シルエットの形状を表現することが可能である。
【００２１】
さらに好ましくは、前記凹凸度判定ステップは、前記複数の代表点における複数の特徴量を連結することにより曲線を生成する曲線生成ステップと、前記曲線における極大値を検出する極大値検出ステップと、前記極大値と前記極大値の数とに基づいて、前記極大値を人物の手または足に対応付ける対応付けステップと、対応付けの結果と前記極大値とに基づいて、前記凹凸度を算出する凹凸度算出ステップとを含む。より具体的には、前記凹凸度算出ステップでは、前記対応付けの結果に基づいて、手に対応付けられた極大値または足に対応付けられた極大値のいずれか一方に重み付けを行ない、前記凹凸度を算出する。
【００２２】
四肢の対応付けを行ない、極大値に重み付けを行なうことにより、手または足に着目して映像選択を行なうことができるようになる。例えば、手に着目した映像選択を行なうようにすれば、万引き現場の監視用途等に利用することができる。
【００２３】
さらに好ましくは、前記凹凸度判定ステップでは、さらに、前記複数の映像の各々について、時間的に連続する複数の映像の凹凸度の時間平均を算出し、算出結果を前記被写体シルエット形状の凹凸度とする。
【００２４】
このように凹凸度の時間平均を新たな凹凸度とすることにより、特に動作中の四肢の形状や動きをユーザが認識しやすい映像を選択することができる。
【００２５】
さらに好ましくは、前記映像選択ステップでは、選択された映像を基準として、当該映像とは反対の方向から被写体を撮像している映像を同時に選択する。また、前記映像選択ステップでは、選択された映像を基準として、当該映像を撮像しているカメラの光軸方向と直交する方向から被写体を撮像している映像を同時に選択するようにしてもよい。
【００２６】
他の方向から撮像された映像を選択することにより、一方の方向から撮像された映像を選択するよりも、四肢の形状や動きをユーザが認識しやすくなる。また、他の方向から撮像された映像を選択することにより、人間の顔が映った映像を選択することができる。
【００２７】
さらに好ましくは、前記映像選択方法は、さらに、前記複数のカメラで撮像された前記複数の映像の中から、人物の顔画像を含む映像を検出する顔画像検出ステップを含み、前記映像選択ステップでは、さらに、顔画像を含む映像の検出結果に基づいて、前記複数の映像から前記人物の顔を認識するための少なくとも１つの映像を選択する。
【００２８】
この方法によると、顔画像と人物の四肢の形状をユーザが同時に認識しやすい映像を選択することができる。
【００２９】
以下、本発明の実施の形態について、図面を用いて説明する。
【００３０】
（実施の形態１）
まず、本発明の実施の形態１に係る映像表示装置について説明する。実施の形態１に係る映像表示装置は、複数のカメラで撮像された映像の中から、人物の四肢の形状をユーザが認識しやすい映像を選択し、表示する。
【００３１】
図１は、本発明の実施の形態１に係る映像表示装置の構成を示す図である。図１の映像表示装置は、人物を含む映像における被写体シルエットの形状の凹凸度合いを示す凹凸度を判定することによって、人物の四肢の形状をユーザが認識しやすい映像を選択し、表示する装置であり、撮像部１０１と、画像保持部１０２と、特徴抽出部１０３と、形状判定部１０４と、カメラ選択部１０５とを備えている。
【００３２】
撮像部１０１は、複数台のカメラ１０１ａ〜１０１ｈにより構成され、複数の映像を撮像する処理部であり、映像取得手段の一例である。
【００３３】
画像保持部１０２は、撮像部１０１で撮像された複数の画像を保持する記憶装置である。ここで、画像保持部１０２が保持する画像は、時系列に並んだ画像であっても構わない。
【００３４】
特徴抽出部１０３は、画像保持部１０２に保持された画像から被写体の輪郭形状を表す輪郭特徴量を抽出する処理部であり、特徴量抽出手段の一例である。
【００３５】
図２は、特徴抽出部１０３の詳細な構成を示す図である。
図２に示すように、特徴抽出部１０３は、人物領域抽出部１０３１と、シルエット抽出部１０３２と、輪郭特徴抽出部１０３３とから構成される。
【００３６】
人物領域抽出部１０３１は、画像保持部１０２に保持された画像から人物領域を抽出する処理部である。シルエット抽出部１０３２は、抽出した人物領域の画素値を「１」とし、それ以外を「０」とするような２値化処理を行い、被写体シルエットを抽出する処理部である。輪郭特徴抽出部１０３３は、被写体シルエットに対して、被写体シルエットの輪郭に関する特徴量を抽出する処理部である。
【００３７】
形状判定部１０４は、輪郭特徴抽出部１０３３で抽出した輪郭特徴量からシルエット抽出部１０３２で得た被写体シルエットの形状の凹凸度を判定する処理部であり、凹凸度判定手段の一例である。この凹凸度は、人物の四肢の見えを大きく反映する値である。
【００３８】
カメラ選択部１０５は、複数台のカメラ１０１ａ〜１０１ｈの中から、形状判定部１０４で判定した被写体シルエットの形状の凹凸度に基づいて、複数のカメラ映像の中から、人物の四肢の形状をユーザが認識しやすいカメラ映像を選択する処理部であり、映像選択手段の一例である。
【００３９】
表示部１０６は、カメラ選択部１０５で選択された映像をモニタ等に表示する処理部である。
【００４０】
これにより、人物の四肢の形状をユーザが認識しやすい映像を選択し、表示することが可能である。
【００４１】
以下に、本実施の形態に係る映像表示装置による映像表示方法について、図３および図４を用いて詳細に説明する。
【００４２】
図３は、映像表示装置の実行する処理のフローチャートである。図４は、輪郭特徴量の抽出方法について説明するための図である。
【００４３】
まず、人物領域抽出部１０３１は、図４（ａ）に示すような入力画像４０１を画像保持部１０２から受け付ける（Ｓ３０１）。
【００４４】
次に、人物領域抽出部１０３１は、入力された画像４０１に対して図４（ｂ）に示すような背景画像４０２を用いて背景差分処理を行い、人物領域を抽出する（Ｓ３０２）。なお、ここでは、背景差分処理の代わりにフレーム間差分処理を行って人物領域を抽出しても良いし、領域分割手法を用いて人物領域を抽出しても良い。さらに、人物検出処理を併用する場合には、M.Oren, C.Papageorgiou, P.Sinha, E.Osuna and T.Poggio, "Pedestrian Detection using wavelet templates", Proc.of CVPR97, pp.193-199, 1997に開示されている技術等を用いて、人物検出処理を行い、その結果を用いて人物領域を切り出しても良い。さらに、エッジ検出処理を併用しても良い。また、背景差分処理を行う場合は、人物の存在しない背景となる画像を事前に準備して、画像保持部１０２に保持しておく必要がある。さらに、動画像から背景スプライト画像を生成し、背景差分処理のための背景画像として用いることもできる。
【００４５】
次に、シルエット抽出部１０３２は、Ｓ３０２で抽出した人物領域を含む画像に対して、抽出した人物領域の画素をオンピクセルとし、それ以外をオフピクセルとするような２値化処理を行う（Ｓ３０３）。これによって、図４（ｃ）に示すような人物画像の被写体シルエット４０３が得られる。ここで、被写体シルエット４０３は、ハッチングを施した部分がオンピクセルの部分であり、白色部分がオフピクセルの部分の例である。
【００４６】
なお、ここで、ノイズの影響により起こる輪郭の不要な凹凸を減らすために、被写体シルエットを平滑化することも有効である。
【００４７】
次に、輪郭特徴抽出部１０３３は、被写体シルエットの輪郭を抽出する（Ｓ３０４）。輪郭抽出は、オンピクセルとオフピクセルの境界点を抽出することにより可能である。また、Ｓ３０３にて、２値化処理を行わない場合は、被写体シルエットに対して空間微分フィルタを適用することで輪郭を抽出することができる。また、抽出した輪郭の細線化を行う場合は、Ｈｉｌｄｉｔｃｈの細線化アルゴリズムを用いて行うことができる。空間微分フィルタおよびＨｉｌｄｉｔｃｈの細線化アルゴリズムについては、C.J.Hilditch,"Linear Skeletones From Square Cupboards",Machine Intelligence 4, Eginburgh Univ.Press, p.403, 1969に詳細が記述されている。
【００４８】
次に、輪郭特徴抽出部１０３３は、抽出した被写体シルエットの輪郭から被写体シルエットの輪郭形状を表現する輪郭特徴量を抽出する（Ｓ３０５）。輪郭特徴量の抽出方法の一例について図４および図５を用いて以下に説明する。なお、輪郭特徴量としては、被写体シルエットの輪郭形状を表現する特徴量であれば以下の例に限らない。
【００４９】
まず、輪郭特徴抽出部１０３３は、Ｓ３０４にて抽出した被写体シルエット４０３に対して、基準点を決定する。望ましい例としては、図４（ｄ）に示すように、被写体シルエットの重心位置ｇを基準点として求める。ここで、基準点は、被写体シルエットのすべての画素を用いずに、被写体シルエットの輪郭画素位置の重心としても構わない。
【００５０】
次に、輪郭特徴抽出部１０３３は、被写体シルエットの主軸４０５を算出する。被写体シルエットの主軸４０５は、シルエット上の各輪郭点から垂線を下ろした時に、垂線の長さの2乗和が最小になる軸とすることで求めることができる。
【００５１】
具体的には、求めたい主軸４０５は、傾きｔａｎθの直線であり、重心（ｇx，ｇy）を通るため、以下のように表せる。
【数１】
2007134913.tif 000003
【００５２】
次に、各輪郭点（ｘi，ｙi）から（数１）で表される直線に垂線を下ろすと、垂線の長さｄiは、
【数２】
2007134913.tif 000004
で表される。
【００５３】
そこで、最小化したい関数Ｊは、各輪郭点から引いた垂線の長さの2乗和をとったものであるため、（数１）と（数２）を用いて、次のように表される。
【数３】
2007134913.tif 000005
【００５４】
ここで、（数３）を最小化するためには
【数４】
2007134913.tif 000006
より、
【数５】
2007134913.tif 000007
となる。
【００５５】
（数５）より、直線の傾きは（数６）で表す事ができる。そして（数１）に直線の傾きを代入することで、主軸４０５を得ることができる。
【数６】
2007134913.tif 000008
【００５６】
次に、輪郭特徴抽出部１０３３は、輪郭特徴量の始点を決定するために、被写体シルエットの輪郭上の各点と主軸４０５との交点を求める。ここで、輪郭上の各点と求めた主軸との交点４０７が複数点存在する場合は、図４（ｅ）に示すように、輪郭点中で最上部に位置する輪郭点を輪郭特徴量の始点４０６とする。この時、始点４０６は、必ずしも最上部に位置する輪郭点を選択する必要は無い。ただし、特に対象が人物である場合は、主軸４０５と交差する最上部の輪郭点を始点４０６とすることが有効である。理由は、始点４０６が頭部に対応しやすくなるためである。具体的には,頭部は、腕や足の領域と異なり変形が起きにくい。また、影の影響は、地面に対して出やすいために、その影響も受けにくいことが挙げられる。
【００５７】
次に、輪郭特徴抽出部１０３３は、始点４０６から、被写体シルエットの輪郭上の各点をトレースする。輪郭点のトレース方法は、「安居院猛、長尾智晴著、「画像の処理と認識」、７２ページ、昭晃堂、１９９２年発行」に詳細が記述されている。
【００５８】
次に、輪郭特徴抽出部１０３３は、図４（ｅ）に示すように、トレースした輪郭上の各点と重心ｇとの距離ｌを算出する。ここで、輪郭特徴量は、図５の輪郭特徴量５０３に示すように、被写体シルエットの輪郭上の各点と重心との距離ｌを要素とするベクトルとして表現する。なお、図５におけるＡ〜Ｉの記号は、それぞれ画像５０１および画像５０２に示した被写体シルエットの輪郭上の代表点の一部とその輪郭特徴量における対応点を示す。
【００５９】
ここで、図６（ａ）に示すように、被写体の姿勢や画像中での大きさによって、輪郭点の数が異なる場合について説明する。この場合、それぞれの被写体シルエットにおいて、輪郭点の数がｎの被写体シルエットと輪郭点の数がｍの被写体シルエットが得られたものとする。ここで、ｎ＜ｍである。
【００６０】
この例の場合、輪郭特徴量ベクトルの要素数がｎおよびｍとなる。そこで、輪郭特徴量のベクトル要素数が異なることを防ぐために、ベクトルの要素数はあらかじめ決定しておき、固定値Ｚとすることが望ましい。具体的には、任意の入力画像に対して、輪郭点数がＺとなるように、全輪郭点の中から輪郭特徴量として利用する輪郭点上の代表点を図６（ｂ）に示すように（ｎ／Ｚ）点ごとまたは（ｍ／Ｚ）点ごとに選択する。本実施の形態では、このように選択した輪郭点を代表点とした特徴量を輪郭特徴量とする。
【００６１】
ここで、輪郭特徴量の例について説明する。図５に示すように、複数台のカメラ１０１ａ〜１０１ｈで構成される撮像部１０１で得られた映像に対して、それぞれ被写体シルエットを抽出した後、輪郭特徴量５０３を抽出する。輪郭特徴量ｌcは、被写体シルエットの重心ｇと輪郭特徴量として利用する輪郭上の代表点との距離ｌを要素として持つベクトルで構成される。さらに、被写体の大きさの違いの影響を排除する場合は、被写体シルエットの面積（画素数）Ｓを計算し、次式のように、面積Ｓで正規化しても良い。
【数７】
2007134913.tif 000009
【００６２】
ここで、ｌc_zは、カメラｃで撮像された画像から得た被写体シルエットの重心ｇと輪郭上の代表点ｚとの距離を示す。また、Ｓcは、カメラｃで撮像された画像から得た被写体シルエットの面積である。なお、このようにして得られた輪郭特徴量に対して、ローパスフィルタをかけることも有効である。これは、前述したように被写体シルエットに対して平滑化を行うことと同様の効果がある。
【００６３】
次に、形状判定部１０４は、カメラｃで得られた画像ごとに輪郭特徴抽出部１０３３で抽出した輪郭特徴量ｌcからシルエット抽出部１０３２で得た被写体シルエット形状の凹凸度ｄcを計算する（Ｓ３０６）。具体的には、（数８）を用いて、図５に示すような輪郭特徴量ｌc（輪郭特徴量５０３）を輪郭点に沿って差分をとることで凹凸度を計算することができる。
【数８】
2007134913.tif 000010
【００６４】
なお、絶対値の代わりに２乗値を用いても構わないし、１階差分の代わりに２階差分を行っても構わない。これにより、例えば、図５（ａ）の場合は、ｄ＝４．１０となり、図５（ｂ）の場合は、ｄ＝５．８１となる。このように、シルエット中に人物の四肢が表現される場合は、そうでない場合と比較して、シルエット形状の凹凸度が大きくなる。
【００６５】
さらに、時系列画像から被写体シルエット形状の凹凸度を判定する場合は、カメラｃで得られたＴ枚の画像列に対して、凹凸度ｄcの時間平均Ｄcを計算することによって、時間平均Ｄcを新たな凹凸度としてもよい。
【数９】
2007134913.tif 000011
【００６６】
なお、ここで、ｄc（ｔ）は、カメラｃで撮像した時刻ｔの画像から得られた凹凸度である。
【００６７】
また、１つのカメラに複数の人物が撮像されている場合は、被写体シルエットごとに（数８）または（数９）に基づいて凹凸度を算出し、算出した値を被写体数で割ることにより、被写体シルエット１つ当たりの凹凸度の平均値を求め、その平均値を凹凸度としてもよい。また、複数の被写体シルエットから得られる複数の凹凸度の合計値を凹凸度としても良い。
【００６８】
次に、カメラ選択部１０５は、Ｓ３０６で算出した被写体シルエット形状の凹凸度に基づいて、カメラ映像を選択する（Ｓ３０７）。
【００６９】
ここでは、（数９）のように、被写体シルエット形状の凹凸度の時間平均を用いた場合について説明するが、（数８）の場合も同様である。
【００７０】
図７のように、複数台のカメラ１０１ａ〜１０１ｈによって一定の領域を撮像している例で説明する。もちろん、スポーツ中継のように、各カメラはカメラマンによって撮像されていても構わない。
【００７１】
人物の四肢の形状をユーザが認識しやすいカメラ映像を得るためには、（数９）におけるＤcが最大となるカメラ映像を選択することが有効である。また、Ｄcの値に基づいて、上位Ｎ個のカメラ映像を選択することも可能である。なお、ここでＮは、自然数でありカメラの台数以下とする。
【００７２】
また、本実施の形態では、被写体シルエットから輪郭特徴量を推定しているため、例えば被写体の胸側と背中側のように、被写体の前後の区別がつき難い場合がある。このような場合を回避するために、Ｄcの値に基づいて選択したカメラ映像を基準として、選択したカメラの撮像方向と対面する位置に設置され、撮像されたカメラ映像を選択することも有効である。さらに、選択したカメラの撮像方向と直交する方向のカメラ映像を選択することもできる。
【００７３】
また、全設置カメラの中から図８に示すように、複数のカメラの組をＡ〜Ｄのように事前に決定しておいて、一方のカメラ映像が選択された場合は、組となるもう一方のカメラ映像も選択されるようにしておいても良い。
【００７４】
次に、表示部１０６は、図９に示すようにＳ３０７で選択された映像をモニタ９０１に表示する（Ｓ３０８）。具体的には、モニタ９０１に、Ｓ３０７で被写体シルエット形状の凹凸度に基づいて選択された映像９０２を表示する。ここでは、凹凸度の高い順にＮ個の映像を表示しても構わない。
【００７５】
また、選択された映像９０２に加えて、そのカメラの撮像方向と対面する位置に設置、撮像されたカメラ映像９０３を表示する。この時さらに、カメラ配置９０６と共に、現在表示されている映像９０２を撮像しているカメラ９０４および当該カメラと対面する位置に設置されているカメラ９０５の設置位置を表示することも可能である。
【００７６】
なお、映像の表示方法は、Ｓ３０７で被写体シルエット形状の凹凸度に基づいて選択された映像が表示されていれば良く、上記の例に限らない。
【００７７】
以上により、人物を含むシーンを複数のカメラで同時に撮像した映像から、人物の四肢の形状をユーザが認識しやすい映像を自動的に選択することができる。そのため、監視員やディレクターは、複数のカメラから得られた映像すべてに注視する必要がなく、注視すべきカメラ映像の数を減らすことが可能となり、負担を軽減することができる。
【００７８】
（実施の形態１の変形例）
次に、被写体シルエットの輪郭点上の代表点を実施の形態１とは異なる方法で選択して輪郭特徴量を抽出する方法について説明する。
【００７９】
映像表示装置の構成は、図１および図２に示したものと同様である。また、映像表示装置の実行する処理は、図３に示したフローチャートと基本的には同一ではあるが、輪郭特徴量抽出処理（Ｓ３０５）における輪郭特徴量抽出方法が異なる。それに伴い、Ｓ３０６〜Ｓ３０８で使用される輪郭特徴量も実施の形態１とは異なる。それ以外の処理については、実施の形態１で説明したものと同様である。
【００８０】
以下に、輪郭特徴量抽出処理（Ｓ３０５）について、詳細に説明する。
図１０は、輪郭特徴量を抽出する際の代表点の決定方法を説明するための図である。
【００８１】
被写体シルエットの重心ｇの決定方法および被写体シルエットの主軸１００２の求め方は、実施の形態１で説明したものと同様である。また、輪郭特徴量の始点１００３の求め方も実施の形態１で説明したものと同様である。
【００８２】
次に、輪郭特徴抽出部１０３３は、図１０の矢印のように、重心ｇを中心として一定角度ごとに時計方向または反時計方向に直線を引き、被写体シルエットの輪郭との交点を代表点１００４として求める。そして、重心ｇを基準点として、基準点と代表点との距離ｌを算出する。
【００８３】
この時、図１０の点Ａおよび点Ｂに示すように、重心ｇから一定角度ごとに引いた直線と被写体シルエットとの交点が２点以上存在する場合には、重心ｇからの距離が長い方の交点Ａを代表点として用いる。
【００８４】
輪郭特徴量は、上記の手順で求めた基準点と代表点との距離を用いて、（数７）の代わりに次式のように定義することができる。
【数１０】
2007134913.tif 000012
【００８５】
ここで、ｌc_yは、カメラｃで得られた映像から抽出した被写体シルエットの主軸１００２上に設定された基準点（重心ｇ）と代表点１００４との距離を示す。なお、Ｓcは、カメラｃで得られた映像から抽出した被写体シルエットの面積である。
【００８６】
なお、このようにして得られた輪郭特徴量に対して、ローパスフィルタをかけることも有効である。これは、前述したように被写体シルエットに対して平滑化を行うことと同様の効果がある。
【００８７】
次に、Ｓ３０６からＳ３０８の処理は、（数７）の代わりに（数１０）を用いることで実現できるため、その詳細な説明は繰り返さない。
【００８８】
本変形例で用いられる輪郭特徴量は、重心から引く直線の角度によって代表点を決定するため、輪郭点数が図６に示すように被写体シルエットの形状や大きさに依存しない。そのため、図１１のように、足部に生じた影の影響を受けて、輪郭抽出した画像の足部が地面と繋がった場合とそうでない場合においても、輪郭点の数に差異が生じないため、比較的、影の影響を受けにくい。
【００８９】
（実施の形態２）
次に、本発明の実施の形態２に係る映像表示装置について説明する。
【００９０】
実施の形態２に係る映像表示装置は、形状判定部１０４における被写体シルエットの凹凸度を実施の形態１に示した方法とは異なる方法で算出する。
【００９１】
実施の形態２に係る映像表示装置の構成は、図１に示したものと同様である。ただし、形状判定部１０４の内部構成が実施の形態１とは異なる。それ以外の、撮像部１０１、画像保持部１０２、特徴抽出部１０３、カメラ選択部１０５および表示部１０６は、実施の形態１と同様であるので、それらの説明はここでは繰り返さない。
【００９２】
図１２は、形状判定部１０４の内部構成を示すブロック図である。
形状判定部１０４は、輪郭特徴抽出部１０３３で抽出された輪郭特徴量からシルエット抽出部１０３２で得られた被写体シルエット形状の凹凸度を判定する処理部であり、ピーク検出部１０４１と、四肢判定部１０４２と、凹凸度判定部１０４３とを備えている。この凹凸度は、人物の四肢の見えを大きく反映する。
【００９３】
ピーク検出部１０４１は、輪郭特徴抽出部１０３３で抽出した輪郭特徴量のピーク位置とピーク数を検出する。
【００９４】
四肢判定部１０４２は、ピーク検出部１０４１で検出した輪郭特徴量のピーク位置に対して手または足の対応付けを行う。
【００９５】
凹凸度判定部１０４３は、輪郭特徴量のピーク位置に対応付けられた手および足の情報を用いて、被写体シルエット形状の凹凸度を判定する。
【００９６】
なお、本実施の形態では、四肢判定部１０４２において、手または足の情報を付加することによって、凹凸度判定部１０４３において凹凸度を判定する例について説明するが、四肢判定部１０４２を用いずに、凹凸度判定部１０４３において輪郭特徴量のピーク数を被写体シルエットの凹凸度としても良い。
【００９７】
以下に、本実施の形態に係る映像表示装置による映像表示方法について説明する。図１３は、本実施の形態に係る映像表示装置が実行する処理のフローチャートである。
【００９８】
Ｓ３０１からＳ３０５までの処理は、実施の形態１と同様であるため、説明を省略する。
【００９９】
ピーク検出部１０４１は、図１４（ａ）に示すように、特徴抽出部１０３で抽出した輪郭特徴量のピーク位置を検出する（Ｓ１３０１）。具体的には、輪郭特徴量を輪郭点に沿って差分をとることで、極大値を持つ点を選択する。すなわち、差分値が正から負に変化した点をピーク位置とする。図１４の黒丸で示した部分は、輪郭特徴量におけるピーク検出結果１４０２とそれに対応する被写体シルエット１４０１の輪郭点上の代表点である。
【０１００】
なお、Ｓ１３０１では、実施の形態１と同様、輪郭特徴量に対してローパスフィルタをかけた後にピーク位置を検出することで、不要な凹凸を減らす事ができる。
【０１０１】
次に、四肢判定部１０４２は、Ｓ１３０１で検出したそれぞれのピーク位置に手または足のラベル付けを行う（Ｓ１３０２）。ここで、図１４（ｂ）に示すようにそれぞれのピーク位置に対応する輪郭特徴量１４０３をｌp1，ｌp2，…，ｌpMとする。
【０１０２】
具体的には、図１５に示すように、Ｓ１３０１で検出したピーク数に応じて場合分けを行い、手と足のラベル付け方法を決定することができる。
【０１０３】
ピーク数が１個の場合は、ピーク位置に足を対応付ける。
ピーク数が２個の場合は、ピーク位置のすべてに足を対応付ける場合と、ピーク位置にそれぞれ手と足を対応付ける場合とに分けることができる。
【０１０４】
ピーク数が３個の場合は、ピーク位置にそれぞれ、足を２個と手を１個対応付ける場合と、ピーク位置にそれぞれ足を１個と手を２個対応付ける場合とに分けることができる。
【０１０５】
ピーク数が４個の場合は、ピーク位置にそれぞれ、四肢のいずれかを対応付ける。
以上のように、ピーク数に応じて四肢のいずれを対応させるかを決定する。
【０１０６】
次に、各ピーク位置への四肢のラベル付け方法を説明する。
ピーク数が１個の場合は、図１５に示すように、頭を始点とすると終点も頭となる。そのため、ピークの存在する位置は足として一意に決定できる。なお、手に相当する位置にピークが存在する場合は、２個以上のピークが存在することになる。
【０１０７】
ピーク数が２個以上の場合は、ピーク位置の輪郭特徴量ｌp1，ｌp2，…，ｌpMを得る。ここでＭはピーク数である。以下、説明のため、ピーク位置の輪郭特徴量をｌp1＞ｌp2＞…＞ｌpMとする。
【０１０８】
ピーク数が２個の場合、ピーク位置の輪郭特徴量の比を用いて、
【数１１】
2007134913.tif 000013
のように、決定する。すなわち、ｌp1／ｌp2の値が所定の閾値αよりも大きい場合には、ｌp1を足の輪郭特徴量と判断し、ｌp2を手の輪郭特徴量と判断する。それ以外の場合には、ｌp1およびｌp2がともに足の輪郭特徴量であると判断する。
【０１０９】
ピーク数が３個の場合、ピーク位置における最大の輪郭特徴量ｌp1は、足の輪郭特徴量であると判断し、最小の輪郭特徴量ｌp3は手の輪郭特徴量であると判断する。また、輪郭特徴量の中間値ｌp2が、以下のいずれに対応するかは（数１２）に従い決定される。すなわち、最大輪郭特徴量ｌp1と輪郭特徴量の中間値ｌp2との比（ｌp1／ｌp2）が所定の閾値αよりも大きければ、ｌp2を足の輪郭特徴量と判断し、それ以外の場合には、ｌp2を手の輪郭特徴量と判断する。
【数１２】
2007134913.tif 000014
【０１１０】
ピーク数が４個の場合は、ｌp1およびｌp2を足の輪郭特徴量であると判断し、ｌp3およびｌp4を手の輪郭特徴量であると判断する。
【０１１１】
ここで、（数１１）、（数１２）において、実験的にα＝１．５とした。ただし、閾値αの値はこれに限定されるものではなく、カメラの設置位置や対象とするシーン等によっても異なる。
【０１１２】
また、輪郭特徴量のピーク位置への手足の対応付け方法は、上記の例に限られない。
例えば、ピーク位置の輪郭特徴量の大小に基づいて、手および足を振り分けても良い。また、被写体が地面に立っている状況を仮定できる場合であれば、図５の例のように、輪郭特徴量の各ピーク位置について、被写体シルエットの輪郭点上の対応点を求め、その対応点が地面に近い場合は足、画像上の縦軸方向において、重心位置に近い場合は手としてラベル付けを行うことも可能である。
【０１１３】
次に、凹凸度判定部１０４３は、Ｓ１３０２で対応付けられたラベル情報を用いて被写体シルエット形状の凹凸度を算出する（Ｓ１３０３）。
【０１１４】
すなわち、凹凸度判定部１０４３は、カメラｃで得られた画像ごとにラベル付けされたピーク位置の輪郭特徴量を用いて、数１３に従い被写体シルエット形状の凹凸度ｄcを計算する。
【数１３】
2007134913.tif 000015
【０１１５】
ここで、Ｍは輪郭特徴量のピーク数、すなわちラベル付けされた輪郭特徴量のピークの数に相当する。
【０１１６】
また、監視システムにおける万引き動作など、手の動作に着目する必要がある場合や、スポーツ中継等でも手の動きを重視する場合は、手としてラベル付けされた輪郭特徴量に重みをかけることによって、被写体シルエット形状のうち手を重要視した凹凸度ｄを定義することができる。
【数１４】
2007134913.tif 000016
【０１１７】
ここで、Ｋは手としてラベル付けされた輪郭特徴量のピーク数、Ｌは足としてラベル付けされた輪郭特徴量のピーク数を示す。また、
【数１５】
2007134913.tif 000017
は、手としてラベル付けされた輪郭特徴量であり、
【数１６】
2007134913.tif 000018
は足としてラベル付けされた輪郭特徴量である。このため、手の見えを重視した重み付け緒を行なうためには、１＞β＞０とすればよい。また、β＞１とすれば、足の見えを重視した凹凸度となる。
【０１１８】
このようなβの値をユーザが設定できるようなモードを、映像表示装置に用意しても良い。
【０１１９】
さらに、（数９）のように、カメラｃで得られたＴ枚の画像列に対して凹凸度の時間平均を計算することも有効である。
【０１２０】
上記のように得られた被写体シルエット形状の凹凸度を用いて、実施の形態１と同様にＳ３０７およびＳ３０８の処理が実行される。
【０１２１】
以上説明したように、本実施の形態に係る映像表示装置によると、人物を含むシーンを複数のカメラで同時に撮像した映像から、人物の四肢の形状をユーザが認識しやすい映像を自動的に選択することができる。そのため、監視員やディレクターは、複数のカメラから得られた映像すべてに注視する必要がなく、注視すべきカメラ映像の数を減らすことが可能となる。このため、監視員やディレクターの映像監視の負担を軽減することができる。
【０１２２】
さらに、実施の形態１に加えて、手または足の見えに重みをかけた映像選択が可能となるため、スポーツ中継や監視等、用途に応じたカメラ映像の選択が可能である。
【０１２３】
（実施の形態３）
次に、本発明の実施の形態３に係る映像表示装置について説明する。
【０１２４】
実施の形態３に係る映像表示装置は、実施の形態１および２に示した映像表示装置の映像表示方法に加えて、顔画像を含むカメラ映像を同時に表示させるものである。
【０１２５】
図１６は、実施の形態３に係る映像表示装置の構成を示すブロック図である。
映像表示装置は、人物を含む映像における被写体シルエットの形状の凹凸度を判定することによって、人物の四肢の形状をユーザが認識しやすい映像を選択すると共に、顔画像検出処理を行い、検出した顔画像を含むカメラ映像と前記選択したカメラ映像とを同時に表示する装置であり、撮像部１０１と、画像保持部１０２と、特徴抽出部１０３と、形状判定部１０４と、顔画像検出部１６０１と、カメラ選択部１６０２と、表示部１６０３とを備えている。
【０１２６】
撮像部１０１、画像保持部１０２、特徴抽出部１０３および形状判定部１０４は、実施の形態１または２で示したものと同様である。また、特徴抽出部１０３の詳細な構成は図２に示したものと同様である。
【０１２７】
顔画像検出部１６０１は、人物領域抽出部１０３１で抽出された映像から、顔画像の検出を行う。
【０１２８】
カメラ選択部１６０２は、複数台のカメラの中から形状判定部１０４で判定した被写体シルエットの形状の凹凸度に基づいて、人物の四肢の形状をユーザが認識しやすい映像を撮像しているカメラ映像を選択する。それとともに、カメラ選択部１６０２は、顔画像検出部１６０１での顔画像検出結果に従い、顔画像を含む映像を撮像しているカメラ映像を選択する。
【０１２９】
表示部１６０３は、カメラ選択部１６０２で選択された映像をモニタ等に表示する。
これにより、人物の四肢の形状と顔とをユーザが認識しやすい映像を選択し、表示することが可能である。もちろん、前記選択した映像を記録装置（図示せず）に記録することも可能である。
【０１３０】
以下に、本実施の形態に係る映像表示装置による映像表示方法について、図１７のフローチャートを用いて説明する。ここでは、人物の四肢の形状をユーザが認識しやすい映像の選択方法は、実施の形態２と同様であるものとして説明を行なうが、実施の形態１と同様にして、当該映像の選択を行うようにしてもよい。
【０１３１】
Ｓ３０１〜Ｓ３０５およびＳ１３０１〜Ｓ１３０３の処理は、実施の形態２と同様である。このため、その詳細な説明は繰り返さない。
【０１３２】
顔画像検出部１６０１は、Ｓ３０２で抽出された人物領域に対して、顔画像検出処理を行う（Ｓ１７０１）。顔画像検出処理は、K.K.Sung and T.Poggio, "Example-Based Learning for View-Based Human Face Detection",IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No.1, pp.39-51, 1998に開示されている技術等を用いることができる。この手法では、顔画像を予め学習させることにより、顔画像のモデルを構築する。
【０１３３】
ここでは、上記技術を用いた例について説明するが、他の顔画像検出手法を用いても構わない。なお、主に正面、または正面に近い顔画像を撮像しているカメラ映像を選択したい場合には、あらかじめ用意した正面から撮像した顔画像をモデル学習に用いる。
【０１３４】
次に、カメラ選択部１６０２は、Ｓ１３０３で算出された被写体シルエット形状の凹凸度とＳ１７０１で行った顔画像検出結果とに基づいて、カメラ映像を選択する（Ｓ１７０２）。
【０１３５】
ここでは、（数９）を用いて被写体シルエット形状の凹凸度の時間平均を算出する場合を想定して説明を行なうが、（数８）に基づいて凹凸度を算出する場合も同様である。
【０１３６】
実施の形態１と同様に、図７のように、複数台のカメラによって一定の領域を撮像している例を用いて説明する。
【０１３７】
人物の四肢の形状をユーザが認識しやすいカメラ映像を得るためには、（数９）におけるＤcが最大となるカメラ映像を選択することが有効である。また、Ｄcの値に基づいて、上位Ｎ個のカメラ映像を選択することも可能である。なお、ここでＮは、自然数でありカメラの台数以下とする。
【０１３８】
また、カメラ選択部１６０２は、顔画像を検出したカメラ映像も同時に選択する（Ｓ１７０２）。
【０１３９】
カメラ選択部１６０２は、Ｓ１３０３にて算出した被写体シルエット形状の凹凸度に基づいて選択されたカメラ映像とＳ１７０１にて行った顔画像検出結果に基づいて選択されたカメラ映像とが異なる場合には、両方の画像を選択する。もちろんこの例に限らず、顔画像が検出されたカメラ映像すべてを選択するようにしても良い。ただし、監視等において映像の通信容量等に限定がある場合に、複数の顔画像が検出された場合は、検出した顔画像の大きさでカメラ映像を選択することもできる。
【０１４０】
また、カメラ選択部１６０２は、被写体シルエット形状の凹凸度に基づいて選択されたカメラ映像と顔画像検出結果に基づいて選択されたカメラ映像とが同じであれば、両方を満たすカメラ映像を選択する。
【０１４１】
次に、表示部１６０３は、図１８に示すようにＳ１７０２で選択された映像を表示する（Ｓ１７０３）。具体的には、モニタ１８０１に、Ｓ１７０２で被写体シルエット形状の凹凸度に基づいて選択された映像１８０２と顔画像を検出したカメラ映像１８０３とを表示する。なお、顔検出結果に基づいて、顔位置を四角等で囲んで表示しても良いし、さらに、顔画像を拡大して表示しても良い。また、この時、設置されたカメラがズーム機能を持ったカメラであれば、顔画像をズームして撮像しても良い。
【０１４２】
ここでは、凹凸度の高い順にＮ個の映像を表示しても構わないし、顔画像検出された映像すべてを表示しても構わない。また、被写体シルエット形状の凹凸度に基づいて選択されたカメラ映像と顔画像検出結果に基づいて選択されたカメラ映像とが同じであれば、両方を満たすカメラ映像を表示しても良い。この時さらに、カメラ配置１８０６と共に、現在表示されているカメラである被写体シルエット画像の凹凸度に基づいて選択されたカメラ１８０４および顔画像を検出したカメラ１８０５の設置位置を表示することも可能である。
【０１４３】
また、上記のように選択、表示した映像を同時に記録装置（図示せず）に記録することも可能である。
【０１４４】
なお、映像の表示方法は、Ｓ１７０２で被写体シルエット形状の凹凸度と顔画像検出結果に基づいて選択された映像が表示されていれば良く、上記の例に限られない。
【０１４５】
以上説明したように、本実施の形態に係る映像表示装置によると、人物を含むシーンを複数のカメラで同時に撮像した映像から、人物の四肢の形状と人物の顔とをユーザが認識しやすい映像を自動的に選択することができる。そのため、監視員やディレクターは、複数のカメラから得られた映像すべてに注視する必要がなく、注視すべきカメラ映像の数を減らすことが可能となり、負担を軽減することができる。また、特に監視等の用途において、人物の動作と顔画像とを同時に把握することは、犯罪の立証においても有効である。
【０１４６】
以上、本発明の実施の形態に係る映像表示装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【０１４７】
例えば、上述の実施の形態では被写体のシルエット形状の凹凸度を（数８）または（数９）に従い計算を行なっているが、以下に示す（数１７）に従い凹凸度を計算するようにしても良い。
【数１７】
2007134913.tif 000019
【０１４８】
すなわち、カメラｃで得られたＴ枚の画像列に対して、凹凸度の時間方向の差分の絶対値を計算し、足し合わせた値を新たな凹凸度としても良い。図１９は、カメラｃで得られた５枚の画像列から、新たな凹凸度Ｄcを求める例を模式的に示した図である。図１９に示されているグラフは、時刻ｔ＝１から時刻ｔ＝５までの５枚の画像列から得られた凹凸度ｄc（ｔ）を示しており、隣接する２枚の画像列から得られる凹凸度ｄc（ｔ＋１）およびｄc（ｔ）の間で差分の絶対値を計算し、それらを合計したものが新たな凹凸度Ｄcとなる。
【産業上の利用可能性】
【０１４９】
本発明によると、人物の四肢の形状をユーザが認識しやすい映像を選択することができる。また、前記被写体シルエット形状の凹凸度の時間情報を用いることによって、人物の四肢の動きをユーザが認識しやすい映像を選択することができる。これにより、ユーザは、複数のカメラから得られた映像すべてに注視する必要がなくなり、注視すべきカメラ映像の数を減らすことができるため、ユーザの監視の負担を軽減することができる。よって、本発明は複数のカメラを用いた万引き現場の監視装置や、複数のカメラの中から適切なシーンを選択する際の映像選択装置等に適用できる。
【図面の簡単な説明】
【０１５０】
【図１】本発明の実施の形態１に係る映像表示装置の構成を示す図である。
【図２】本発明の実施の形態１に係る特徴抽出部の構成を示す図である。
【図３】本発明の実施の形態１に係る映像表示装置が実行する処理のフローチャートである。
【図４】本発明の実施の形態１に係る輪郭特徴量の抽出方法について説明するための図である。
【図５】本発明の実施の形態１に係る輪郭特徴量の抽出方法について説明するための図である。
【図６】本発明の実施の形態１に係る輪郭特徴量の代表点を示す図である。
【図７】本発明の実施の形態１に係る複数台のカメラの設置例を示す図である。
【図８】本発明の実施の形態１に係る複数台のカメラの組合わせ例を示す図である。
【図９】本発明の実施の形態１に係る映像表示の例を示す図である。
【図１０】本発明の実施の形態１の変形例に係る輪郭特徴量の抽出方法について説明するための図である。
【図１１】本発明の実施の形態１の変形例に係る輪郭抽出結果を示す図である。
【図１２】本発明の実施の形態２に係る形状判定部の構成を示す図である。
【図１３】本発明の実施の形態２に係る映像表示装置が実行する処理のフローチャートである。
【図１４】本発明の実施の形態２に係る輪郭特徴量のピーク検出例を示す図である。
【図１５】本発明の実施の形態２に係る四肢の対応付けの例を示す図である。
【図１６】本発明の実施の形態３に係る映像表示装置の構成を示す図である。
【図１７】本発明の実施の形態３に係る映像表示装置が実行する処理のフローチャートである。
【図１８】本発明の実施の形態３に係る映像表示の例を示す図である。
【図１９】本発明の実施の形態１〜３に係る凹凸度の他の算出方法を模式的に示す図である。
【符号の説明】
【０１５１】
１０１  撮像部
１０２  画像保持部
１０３  特徴抽出部
１０４  形状判定部
１０５，１６０２  カメラ選択部
１０６，１６０３  表示部
１０３１  人物領域抽出部
１０３２  シルエット抽出部
１０３３  輪郭特徴抽出部
１０４１  ピーク検出部
１０４２  四肢判定部
１０４３  凹凸度判定部
１６０１  顔画像検出部
【図１】
2007134913.tif 000020
【図２】
2007134913.tif 000021
【図３】
2007134913.tif 000022
【図４】
2007134913.tif 000023
【図５】
2007134913.tif 000024
【図６】
2007134913.tif 000025
【図７】
2007134913.tif 000026
【図８】
2007134913.tif 000027
【図９】
2007134913.tif 000028
【図１０】
2007134913.tif 000029
【図１１】
2007134913.tif 000030
【図１２】
2007134913.tif 000031
【図１３】
2007134913.tif 000032
【図１４】
2007134913.tif 000033
【図１５】
2007134913.tif 000034
【図１６】
2007134913.tif 000035
【図１７】
2007134913.tif 000036
【図１８】
2007134913.tif 000037
【図１９】
2007134913.tif 000038