(57)【要約】【課題】  複数人物が入る画角で撮影した映像から人物映像を切り出して表示する映像表示において、個人の画面からユーザーが選択する他の構成員もしくは全員の画面にすばやく切り替え、表示を行えるようにする。【解決手段】  フルサイズの画面［１］の表示状態で、リモコン、マウス２１０等を用いて選択用画面１２０に示されたサムネイルの中から画面［３］（特定の個人）を選択する操作が行われると、この指示を映像表示装置が受け付け、主画面１１０を画面［１］から画面［３］に遷移させる。選択用画面１２０には、選択対象の画面全部のサムネイルを常時表示しているので、画面［３］（特定の個人）から画面［２］（全員にフィット）もしくは画面［１］（フルサイズ）への遷移のようにサムネイルの選択によりどの画面でも直ちに遷移できる。【選択図】図２
2011055291.tif 000002
【特許請求の範囲】
【請求項１】
複数の人物が入る画角で動画カメラによって撮影した映像から人物候補を検出する人物検出手段と、
時系列の撮影映像から前記人物検出手段によって検出された人物候補の検出結果をもとに表示対象とする人物を判定する表示対象判定手段と、
前記表示対象判定手段によって判定された人物が納まる撮影映像上の領域を区分する領域区分手段と、
前記領域区分手段によって区分された領域の映像を撮影映像から切り出す映像切出手段と、
映像をもとに画面に画像を表示する画像表示手段と、
前記映像切出手段によって切り出された映像の全てを前記画像表示手段の選択用画面に用いるサムネイルとする処理、並びに前記映像切出手段によって切り出された映像を前記画像表示手段の主画面に用いる画像とする処理を行う表示用データ処理手段と、
前記画像表示手段の選択用画面のサムネイルに対する操作により領域の一部を選択する領域選択手段と、
前記領域選択手段により選択された領域の切り出し映像をもとに前記表示用データ処理手段が処理したデータを用いて前記画像表示手段における表示を制御する表示制御手段を
有したことを特徴とする映像表示装置。
【請求項２】
複数の人物が入る画角で動画カメラによって撮影した映像から人物候補を検出する人物検出手段と、
時系列の撮影映像から前記人物検出手段によって検出された人物候補の検出結果をもとに表示対象とする人物を判定する表示対象判定手段と、
前記表示対象判定手段によって判定された人物が納まる撮影映像上の領域を区分する領域区分手段と、
前記領域区分手段によって区分された領域の映像を撮影映像から切り出す映像切出手段と、
映像をもとに画面に画像を表示する画像表示手段と、
前記映像切出手段によって切り出された映像を前記画像表示手段の主画面に用いる画像とする処理、並びに前記画像表示手段への表示対象として前記領域区分手段によって区分された領域を選択するための表示要素を前記画像表示手段の主画面に用いる画像に埋め込む処理を行う表示用データ処理手段と、
前記画像表示手段の主画面に表示された画像に埋め込まれた前記表示要素に対する操作により領域を選択する領域選択手段と、
前記領域選択手段により選択された領域の切り出し映像をもとに前記表示用データ処理手段が処理したデータを用いて前記画像表示手段における表示を制御する表示制御手段を
有したことを特徴とする映像表示装置。
【請求項３】
請求項１又は２に記載された映像表示装置において、
前記領域区分手段は、人物全員が納まる領域及び個々の人物が納まる領域を区分することを特徴とする映像表示装置。
【請求項４】
請求項１又は３に記載された映像表示装置において、
前記表示用データ処理手段は、画面選択用表示領域に用いるデータとしてさらに全撮影映像を加え、かつ主画面に用いるデータとして該全撮影映像を処理することを特徴とする映像表示装置。
【請求項５】
請求項１乃至４のいずれかに記載された映像表示装置において、
前記人物検出手段は、撮影映像から顔及び動きを検知し、検知結果をもとに人物候補を検出することを特徴とする映像表示装置。
【請求項６】
請求項５に記載された映像表示装置において、
前記人物検出手段は、検知した動きが検知した顔の周囲一定範囲にある場合に該動き検知結果を破棄し、かつ破棄しなかった動き検知結果及び顔検知結果をまとめて撮影映像単位の人物候補の検出結果として提供することを特徴とする映像表示装置。
【請求項７】
請求項１乃至６のいずれかに記載された映像表示装置において、
前記表示対象判定手段は、今回検出結果として得られた人物候補と前回判定された表示対象の人物が同一人物であるとみなせるか否かを双方の検出結果をもとに所定の判定条件に従い判定することを特徴とする映像表示装置。
【請求項８】
請求項７に記載された映像表示装置において、
前記表示対象判定手段は、双方が予め定めた範囲内に位置することを所定の判定条件としたことを特徴とする映像表示装置。
【請求項９】
請求項１乃至８のいずれかに記載された映像表示装置において、
前記表示対象判定手段が判定に利用する、前回表示対象として判定した人物の検出データ、今回の撮影映像から前記人物検出手段によって検出された人物候補の検出データ及び判定基準データをそれぞれリスト化し、かつ双方に共通するデータに対して同一エントリで登録を行う形式で管理する手段を有したことを特徴とする映像表示装置。
【請求項１０】
請求項１に記載された映像表示装置における人物検出手段、表示対象判定手段、領域区分手段、映像切出手段、表示用データ処理手段、領域選択手段、表示制御手段の各手段としてコンピュータを機能させるためのプログラム。
【請求項１１】
請求項２に記載された映像表示装置における人物検出手段、表示対象判定手段、領域区分手段、映像切出手段、表示用データ処理手段、領域選択手段、表示制御手段の各手段としてコンピュータを機能させるためのプログラム。
【請求項１２】
請求項１０又は１１に記載されたプログラムを記録したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画カメラによって複数の人物が入る画角で撮影した映像から切り出された人物の映像を画面の主表示領域に表示する映像表示装置に関し、より詳しくは、個々の人物映像を表示する画面と全員の映像を表示する画面の間で相互にユーザーの意図に従い選択された画面に表示を切り替える機能を備えた映像表示装置及び映像表示装置のコンピュータに用いるプログラムに関する。
【背景技術】
【０００２】
従来から、例えば、テレビ会議等において参加者の映像を表示する際に、カメラで撮影した映像から人物がいる部分を抽出し、抽出した人物にズームして表示することや、人物の映像部分を切り出し表示することにより、会議の進行に必要な画面を作成する技術が知られている。
テレビ会議に適用される上記のような表示画面の作成、表示制御を行う従来技術として、特許文献１を例示することができる。特許文献１では、複数人（全員）を含む場面を撮影した映像を表示する画面で、マウスポインタ等を利用してユーザーによって選択された特定の１人を切り出し、切り出した特定の人物を表示する制御を行うことが記載されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ただ、特許文献１の映像表示では、特定の人物を表示した後、どのようなユーザーの操作によって表示画面を切り替えるかを示していない。従って、画面を全員の映像に戻したい、もしくは他の人物の映像に直接切り替えたい、というユーザーの要求に応えることができない、という問題が生じる。
本発明は、複数の人物が入る画角で撮影が可能な広角の動画カメラを用いることでリアルタイムに人物を検出し、検出した人物の映像を切り出して表示する映像表示装置における上記従来技術の問題に鑑みてなされたもので、その目的は、個人の映像を表示する画面からユーザーの意図に従い選択された他の構成員もしくは全員の映像を表示する画面にすばやく切り替え、表示を行えるようにすることにある。
【課題を解決するための手段】
【０００４】
本発明の映像表示装置は、複数の人物が入る画角で動画カメラによって撮影した映像から人物候補を検出する人物検出手段と、時系列の撮影映像から前記人物検出手段によって検出された人物候補の検出結果をもとに表示対象とする人物を判定する表示対象判定手段と、前記表示対象判定手段によって判定された人物が納まる撮影映像上の領域を区分する領域区分手段と、前記領域区分手段によって区分された領域の映像を撮影映像から切り出す映像切出手段と、映像をもとに画面に画像を表示する画像表示手段と、前記映像切出手段によって切り出された映像の全てを前記画像表示手段の選択用画面に用いるサムネイルとする処理、並びに前記映像切出手段によって切り出された映像を前記画像表示手段の主画面に用いる画像とする処理を行う表示用データ処理手段と、前記画像表示手段の選択用画面のサムネイルに対する操作により領域の一部を選択する領域選択手段と、前記領域選択手段により選択された領域の切り出し映像をもとに前記表示用データ処理手段が処理したデータを用いて前記画像表示手段における表示を制御する表示制御手段を有したことを特徴とする。
【発明の効果】
【０００５】
本発明によると、複数の人物が入る画角で撮影が可能な広角の動画カメラを用いることでリアルタイムに人物を検出し、検出した人物の映像を切り出して表示する映像表示において、個々の人物映像を表示する画面と全員の映像を表示する画面の間で相互にユーザーの意図に従い選択された画面に表示をすばやく切り替えることができる。
【図面の簡単な説明】
【０００６】
【図１】本発明の実施形態に係る映像表示装置において画面表示する映像領域の選択用画面の１構成例を示す図である。
【図２】選択用画面（図１）を介してユーザーが行う選択操作による画面の遷移を説明する図である。
【図３】本発明の実施形態に係る映像表示装置において画面表示する映像領域の選択用画面の他の構成例を示す図である。
【図４】本発明に係る映像表示装置の画像処理系の概略構成を示す機能ブロック図である。
【図５】顔検知及び動き検知の対象画像と検知概念の説明図（Ａ）、並びに顔検知及び動き検知のトラッキング方法の説明図（Ｂ）、（Ｃ）である。
【図６】顔もしくは動き検知結果をもとに人物候補の検出リストを作成する処理の手順を示すフロー図である。
【図７】検知リストを作成する処理の手順を示すフロー図である。
【図８】検知リストを作成する処理のフロー（図７）のステップＳ２０１で行うシーク処理の手順を示すフロー図である。
【図９】検知リストを作成する処理のフロー（図７）のステップＳ２０２で行う逆シーク処理の手順を示すフロー図である。
【図１０】シーク処理の手順を示すフロー（図８）のステップＳ３０２，Ｓ３０６で行うトラッキングの手順を示すフロー図である。
【図１１】検知リストを作成する際の撮影画像上の人物（人物候補）と検出リスト及び検知リストとの関係を説明する概念図である。
【図１２】表示用データの作成処理の手順を示すフロー図である。
【発明を実施するための形態】
【０００７】
以下に、本発明の映像表示装置に係る実施形態を説明する。
本発明は、動画カメラによって複数の人物が入る画角で撮影した映像から切り出された人物の映像を表示装置の主画面に表示する映像表示装置に係り、テレビ会議等において参加者の映像を表示する際に有効な手段となる。以下には、テレビ会議等の用途に適応する例を実施形態として示す。
本実施形態は、人物が納まる撮影映像として切り出される領域を、個人、複数人（２人、３人、・・等）及び全員の納まる領域とし、さらにフルサイズの撮影映像領域を含めて多様化し、その中から、ユーザーが表示対象として求める映像を選択し、画面表示を可能とする手段を特徴とする。
【０００８】
「表示映像の選択用画面」
表示対象となる多様な映像領域の中から求める映像領域をユーザーが選択するために、映像表示装置は、表示画面を介してユーザーに表示対象となる映像領域を示し、選択した映像領域を指示するユーザー操作を受け付ける。
表示画面を通してユーザーに表示対象となる映像領域を示し、選択する映像領域を指示できるようにする方法として、ここでは、２つの異なる方法で対応する実施形態を示す。
１つは、表示対象となる映像領域の画面のサムネイルを選択用画面として作成し、主画面（選択された映像領域の画面等を表示する画面）とは別にこの選択用画面を表示する方法によるものである（以下、この方法によって表示対象となる映像領域の選択を行う機能を「第１の選択機能」もしくは「サムネイル選択機能」という）。
もう１つは、主画面に表示される撮影映像（画像）中に表示対象となる映像領域を選択するための表示要素を埋め込むことにより、選択用画面を作成し、この選択用画面を表示する方法によるものである（以下、この方法によって表示対象となる映像領域の選択を行う機能を「第２の選択機能」もしくは「埋め込み要素選択機能」という）。
【０００９】
図１は、上記第１の選択機能（サムネイル選択機能）による映像領域選択用の画面の構成例を示す図である。
図１において、映像表示装置の画像表示部（後記図４、参照）の画面は、主画面１１０と、主画面１１０に表示する画面を選択する選択用画面１２０よりなる。同図の主画面１１０は、例えば広角のビデオカメラで撮影した映像をフルサイズで表示した画面であり、画面に３人の人物を撮った画像を表示している。
また、選択用画面１２０は、複数の選択対象の画面全部をサムネイルとして配列し、図１の実施形態では、主画面１１０に合成して常時表示する形態をとっている。
図１の例では、選択用画面１２０に配列されるサムネイルは、画面［１］としてフルサイズの画面、画面［２］として全員が納まる画面、画面［３］として「Ａさん」のみが納まる画面、画面［４］として「Ｂさん」のみが納まる画面、画面［５］として「Ｃさん」のみが納まる画面の各画面を表示する。なお、「Ａさん」、「Ｂさん」、「Ｃさん」は、各人の撮影映像上の並び順（左から順）で表示する。
なお、図１の例では、選択用画面１２０は、主画面１１０と同一画面を構成するが、外部からの操作（後記図２の操作手段２１０、参照）により主画面１１０の一部に一時的に合成してもよいし、又主画面と切り替えて選択用画面のみを表示してもよい。
【００１０】
画像表示部の画面に表示される映像領域の選択用画面を介してユーザーが行う選択操作による画面の遷移について、図２に示す動作例を参照して説明する。なお、図２は、図１に示した映像領域選択用の画面を例にする。
図２の（Ａ）、（Ｂ）及び（Ｃ）の各表示画面には、それぞれ主画面１１０にユーザーの操作により選択された画面を表示している。また、（Ａ）、（Ｂ）及び（Ｃ）の各表示画面の選択用画面１２０には、選択対象の画面全部のサムネイルを常時表示する。
図２の動作例では、映像表示装置が起動されると、初期画面として図２（Ａ）に示すフルサイズの画面［１］を現在の主画面として表示する。この表示状態で、リモコン、マウス等の操作手段２１０を用いて選択用画面１２０に選択対象として示されたサムネイルの中から画面［３］（特定の個人）を選択する操作が行われると、この指示を映像表示装置が受け付け、主画面１１０を画面［１］から画面［３］に遷移させる。この操作手段２１０の選択操作は、選択用画面１２０のサムネイルをポインタで指示する方法、選択用画面１２０に配列されるサムネイルに識別番号を付け番号で指示する方法、或いは１回の操作ごとに配列に従い順番にサムネイルを選択する、といった方法を採用することにより実施できる。
選択用画面１２０には、選択対象の画面全部のサムネイルを常時表示しているので、画面［３］（特定の個人）から画面［２］（全員にフィット）もしくは画面［１］（フルサイズ）への遷移のようにどのサムネイルでも選択可能な画面に直ちに遷移することができる。
【００１１】
図３は、上記第２の選択機能（埋め込み要素選択機能）による映像領域選択用の画面の構成例を示す図である。
図３において、映像表示装置の画像表示部の画面には、表示している撮影映像（画像）中に表示対象となる映像領域を選択するための表示要素を埋め込むことにより、選択用画面を構成し、選択用画面の選択表示要素に対する操作により、選択された画面への切り替えを行う。図３に例示する画面１１０は、例えば広角のビデオカメラで撮影した映像をフルサイズで表示した画面であり、画面に３人の人物を撮った画像を表示しているが、この画面で映像領域を選択するための表示要素として［１］〜［５］の各領域を示す枠を用いて、選択可能な領域を表すことにより選択用画面を構成する。
また、この選択用画面のユーザーへの提示の仕方は、表示中の画面に領域を示す表示要素を目立たない線で常時表示させることや、或いは必要時にユーザーの操作に応じて領域を示す表示要素を有する選択用画面への切り替え表示を行うようにすることができる。
【００１２】
画像表示部の画面に表示される図３の選択用画面を介してユーザーが行う選択操作による画面の遷移は、リモコン、マウス等の操作手段２１０を用いて選択領域を指示し、指示された領域の映像を主画面に表示するという点で、図２に示す動作例を参照して説明した第１の選択機能と基本的に同様な方法を採用することができる。
ただ、映像領域を選択するための表示要素を埋め込む第２の選択機能では、第１の選択機能の図２の例に示すように、常時、選択用画面１２０にフルサイズのサムネイルを表示し、フルサイズの画面を選択できる構成はとれないので、表示されている画面が個人の納まる領域等のフルサイズ以外の画面であっても、ユーザーの操作に応じて図３に示すフルサイズの表示画面に遷移できるように、フルサイズの表示画面への選択操作を常時行うために、別のキー入力手段を設ける等を付加することにより実施することができる。
【００１３】
「画像処理系の構成」
次に、撮影画像からこの映像表示装置の画像表示部で用いる表示用データ（上記「表示映像の選択用画面」に記載した画面を表示するためのデータ）を処理する画像処理系の構成について説明する。
図４は、本実施形態に係る画像処理系の概略構成を示す機能ブロック図である。
図４に示す本実施形態に係る画像処理系は、映像表示装置の制御部（不図示）の制御下で動作し、顔検知部２０１、動き検知部２０２、マージ部２０３、検知リスト作成部２０４、画像切り出し部２０５、画像表示部２０６及び画面選択指示部２０７を有する。
【００１４】
映像表示装置の制御部（不図示）は、画像処理装置全体を制御し、ビデオカメラで撮影された映像を取り込み、取り込んだ映像を表示用のデータとして処理し、処理した表示用のデータにより表示手段（ディスプレイ）を制御する手段として、ＣＰＵ（Central Processing Unit）、ＣＰＵの処理に必要なプログラムやデータ等を一時的に記憶しておくためのＲＡＭ（Random Access Memory）及びＣＰＵを駆動して演算や処理等を実行させるためのプログラム等を格納したＲＯＭ（Read Only Memory）等の記憶部よりなるコンピュータを備える。この実施形態では、映像表示装置の制御部を構成するコンピュータを図４に示す画像処理系の各処理部として機能させるためのプログラムを前記ＲＯＭ等の記憶部に記憶（記録）させ、ＣＰＵがＲＡＭをワークメモリに用いてこのプログラムを駆動することで、制御部のコンピュータによってこの該画像処理系を構成する形態で実施することができる。もちろん、この画像処理系は、専用の画像処理ＩＣで構成してもよい。
【００１５】
画像処理系（図４）が有する各機能部は、次の処理機能を持つ。
顔検知部２０１、動き検知部２０２は、撮影映像から人物とみなす特徴量の１つである顔、動きをそれぞれ検知する（詳細は図５を参照し後述）。
マージ部２０３は、顔検知部２０１及び動き検知部２０２の検知結果を所定の処理条件に従いマージし、人物とみなせる画像（以下「人物候補」という）を検出リストの形式でまとめ、検出結果とする（詳細は図６を参照し後述）。
検知リスト作成部２０４は、マージ部２０３から受け取る検出リストをもとに所定の判定条件に従い表示の対象とする人物を判定する処理部で、判定結果を検知リストの形式でまとめる（詳細は図７〜１０を参照し後述）。
画像切り出し部２０５は、検知リスト作成部２０４から受け取る検知リストをもとに検知した人物が納まる表示対象領域を撮影映像から切り出し、画像表示部２０６に渡す。
画像表示部２０６は、表示対象領域の撮影映像（フルサイズの映像及び切り出された映像）を主画面に用いる画像とする処理、選択用画面に用いる画像（サムネイルを作成する処理或いは映像領域を選択するための表示要素を埋め込む処理）を作成する処理等の表示用データ処理を行い、また、画面選択指示部２０７の指示に従い選択された画面の表示用データをディスプレイの表示制御信号として出力する。
画面選択指示部２０７は、ユーザーの画面選択操作を受け取り、選択された画面の表示を画像表示部２０６に指示する。
【００１６】
「画像処理系によるデータ処理」
次に、画像処理系（図４）が行う撮影映像のデータ処理の詳細を説明する。この処理は、表示対象となる、フルサイズの撮影映像及び撮影映像から切り出された人物領域の映像の中から主画面に表示する映像を選択するためにユーザーに示す選択用画面を作成し、ユーザーが選択した映像を主画面に表示する撮影映像のデータ処理である。
この処理では、先ず撮影映像から人物候補を検出する。この人物候補の検出は、人物を中心に画面表示を行うことを目的に、撮影映像に現れ、表示対象として選択される人物を捉える処理で、経時変化を伴う個々の人物を正しく捉える必要がある。
【００１７】
“顔及び動きの検知”
個々の人物を正しく捉えるために、撮影映像に現れる人物の特徴量である顔及び動きを検知する。この検知は、画像処理系（図４）の顔検知部２０１及び動き検知部２０２が入力された撮影映像（画像）に対して行う。
顔検知部２０１及び動き検知部２０２で行う顔検知及び動き検知について、図５を参照して説明する。
図５（Ａ）の画面１１０に示すようなフルサイズの撮影画像を対象とした場合、この画像に現れた３人の人物が検知対象になる。
顔検知は、図５（Ａ），（Ｂ）に示すように、正方形で囲んだ顔の領域が検知対象であり、撮影画像に含まれる顔の画像をパターン認識によって検知する。このパターン認識による検知は、例えば、パターンマッチングの手法として知られている、Ｈａａｒ−Ｌｉｋｅ特徴による特徴量検出とＡｄａｂｏｏｓｔ学習を組み合わせた識別器を用いた手法（www.2ken.no-ip.com/publication/2008/P-06026.pdf、参照）を採用することにより実施することができる。
また、動き検知は、図５（Ａ），（Ｃ）に示すように、白矢印で模式的に示した動きが検知対象であり、撮影画像に含まれる移動体の動きをオプティカルフロー（フレーム間の画面上での動きの情報をベクトルとして表したもの）を利用して検知する。このオプティカルフローを利用する動きの検知は、例えば、追跡人物の動きモデルと色モデルをつくり、それらを確率的に統合することで追跡人物に属する画素（人物候補領域）を割り出し、人物領域を決定する既存の手法（www-cv.mech.eng.osaka-u.ac.jp/~kubo/research/index-j.html、参照）を採用することにより実施することができる。
【００１８】
“検出リストの作成”
顔検知部２０１及び動き検知部２０２でそれぞれ検知した顔と動きは、これらの検知が行われる度に、検知結果が渡されるマージ部２０３によって所定の処理条件のもとにマージし、検知した人物候補を検出リストにまとめる。ここで作成する人物候補の検出リストは、人物候補ごとに少なくとも以下に例示するエントリ（１）〜（３）を持つものを用いる。
検出リスト：
エントリ（１）  検出位置（顔の外接矩形の頂点或いは動きの中心点の座標等）
エントリ（２）  検出サイズ（顔の外接矩形或いは動きの内接矩形の縦横サイズ等）
エントリ（３）  検出タイプ（検知対象の顔、動き等の種類）
この検出リストのデータは、あくまで現時点の撮影画像に現れた人物候補、即ち人物とみなされる画像を検出したデータであり、人物ではない可能性もある。よって、このマージ部２０３の処理結果は、後段の処理で人物候補が表示対象となる人物であると判定され、検知リスト（後記で詳述）に登録されるまで、一旦上記検出リストの形式で管理する。
なお、上記マージする際の処理条件は、人物とみなす特徴を顔と動きという２つの特徴で捉えるので、同一人物の顔と動きが同時に検知されると、検知結果が重複することがあるので、この重複を排除する条件とする（後述する図６の処理フローにおけるＳ１０１の説明、参照）。
【００１９】
マージ部２０３が行う検出リストの作成処理を図６に示すフロー図にもとづいて説明する。
マージ部２０３は、顔検知部２０１及び動き検知部２０２からそれぞれ顔、動きの検知結果を受け取ると、同一人物の検知結果と考えられる検知結果の重複を排除する。ここでは、動き検知で得られる検出位置（動きの中心点の座標）が顔検知で得られる検出位置（顔の外接矩形の頂点の座標）の周囲の一定範囲にある場合には、動き検知の結果を破棄する（ステップＳ１０１）。つまり、同一人物の顔、動きの検出位置の関係は一定の関係にあるので、予めこの条件を検証することにより得られる位置関係から重複排除の上記範囲を定め、定めた範囲内にある動きの検知結果を破棄し、顔の検知結果を残す。
次に、顔の検知結果と破棄しなかった動きの検知結果をマージする（ステップＳ１０２）。この処理は、人物候補として検出された顔、動きにそれぞれ識別子を付け、ラベリングすることにより、各検知単位で得られる検出結果としての人物候補をまとめる処理である。
この後、各検知単位でマージされた検出結果を検出リストに登録し（ステップＳ１０３）、検出リストの作成処理を終了する。検出リストの作成は、ラベリングした人物候補ごとに上記検出リストのエントリ（１）〜（３）にそれぞれデータを登録する処理である。
【００２０】
“検知リストの作成”
上記マージ部２０３で作成された検出リストに登録されたデータは、人物候補（人物とみなされるもの）の検出データであり、人物ではない可能性もある。
そこで、時系列にこれまで行ってきた人物検知で得た結果と今回（現時点で）得た検出結果との関係で人物らしいと判断される人物候補を今回の検知結果として求めることにより、人物の検知精度を保証し、安定した検知結果を得る。
手法としては、今回行おうとしていると同様の判断プロセスで前回までに行って得られた履歴を勘案して、検出された人物候補から新規に検出された人物候補を含め、人物らしいと判断される人物候補のみを選択し、今回の検知結果とする（詳細は図７〜１０を参照し後述）。
【００２１】
検知リスト作成部２０４は、マージ部２０３によって作成された今回の検出リスト（人物候補の検出結果）を受け取り、上記の人物検知を行う処理部であり、各回の処理により検知結果として得られる人物は、検知リストの形式でまとめられる。ここで作成する検知リストは、人物ごとに以下に例示するエントリ（１）〜（７）を持つものを用いる。
検出リスト：
エントリ（１）  検知位置（顔の外接矩形の頂点或いは動きの中心点の座標等）
エントリ（２）  検知サイズ（顔の外接矩形或いは動きの内接矩形の縦横サイズ等）
エントリ（３）  トラッキング対象範囲（原点に対し予め対象として定めたトラッキングの範囲、図１０の説明、参照）
エントリ（４）  トラッキング用ヒストグラム（ヒストグラムの要素、ヒストグラムが求められる対象領域等、図１０の説明、参照）
エントリ（５）  検知カウンタ（カウント値を画像切り出し部２０５が切り出し範囲を決めるファクタとして使用）
エントリ（６）  検知終了カウンタ（カウント値が０以下のエントリの削除に使用）
エントリ（７）  検出タイプ（検知対象の顔、動き等の種類）
この検知リストのデータは、人物候補が表示対象となる人物であると判定され結果と、表示画像として切り出される人物の画像領域を定めるためのであり、この検知リストの作成後に、画像表示部２０６に渡され、又次回の検知リストを作成するために用いることができるように管理される。
【００２２】
“検知リスト作成の処理フロー”
検知リスト作成部２０４が行う検知リストの作成処理を図７〜１０に示すフロー図にもとづいて詳細に説明する。
なお、以下の説明では、検知リストを作成する際の撮影画像上の人物（人物候補）と検出リスト及び検知リストとの関係を説明する図１１の概念図を参照する。図１１において、左側の画面１１０は、今回求めた検出リストに対応し、登録された各人物候補とそれぞれの検出リスト３０６，３０１〜３０３が矢印で結ばれている。また、右側の画面１１０は、前回の検知リスト作成時に対応し、登録された各人物とそれぞれの検知リスト４０１〜４０３，４０５が矢印で結ばれている。
【００２３】
図７の処理フローによると、検知リスト作成部２０４は、マージ部２０３によって作成された今回の検出リスト（人物候補の検出結果）を受け取ると、先ず、この検出リストに登録された人物候補と現在管理している（前回作成された）検知リストの人物との対応付けを検出結果（検知結果）にもとづいて行う（ステップＳ２０１）。このステップＳ２０１の処理は、このステップのサブシーケンスを示す図８のシーク処理を行う。このシーク処理は、検知リスト側から検出リスト側に対応する人物（人物候補）の検出データを探しにいく処理である。なお、図８のシーク処理の詳細は、後述する。
次に、ステップＳ２０１の処理とは逆に、検出リスト側から検知リスト側に対応する人物の検出データを探しにいき、現在検知リストにない人物候補のリストへの追加登録を行う（ステップＳ２０２）。このステップＳ２０２の処理は、このステップのサブシーケンスを示す図９の逆シーク処理を行う。なお、図９の逆シーク処理の詳細は、後述する。
この後、ステップＳ２０１及びＳ２０１の処理を行った結果、作成しようとしている検知リストのエントリである検知終了カウンタの値が「０以下」になる人物に関するデータを検知リストから削除する（ステップＳ２０３）。なお、ステップＳ２０１のシーク処理で対応付けができた人物のデータは、検知リストに登録し続ける。
上記の処理を行った後、検知リストの作成を終了する。
【００２４】
ここで、上記した図７の処理フローにおけるステップＳ２０１のシーク処理を、このステップのサブシーケンスを示す図８を参照して詳述する。
このシーク処理は、検知リスト側から検出リスト側に対応する人物（人物候補）の検出データを探しにいく処理である。図１１の例を参照すると、検知リスト４０１〜４０３，４０５それぞれが検出リスト３０６，３０１〜３０３中のいずれかと所定の対応関係を有することを確認する処理である。
図８のフローによると、始めに、検知リスト中の処理対象とする人物の検知位置から予め定めた一定の範囲内に検出リストの人物候補が存在するか否かを、それぞれのリストに登録された検知位置をもとに確認し、存在する場合にその個数を求め、求めた個数が「０個」「１個」「２個以上」によって、それぞれ処理を分岐する（ステップＳ３０１）。
【００２５】
検出リストの人物候補が存在しない場合（ステップＳ３０１−０個）、検知リスト中の処理対象とする人物のトラッキングを行い、トラッキング結果を得る（ステップＳ３０２）。なお、このステップＳ３０２のトラッキングは、このステップのサブシーケンスを示す図１０のフローによる（図１０のトラッキングの詳細は、後述）。
トラッキング結果を得た後、検知リストで管理している終了カウンタを所定値（−ｄ０）ダウンカウントし（ステップＳ３０３）、処理フローを終了する。
図１１の例を参照すると、上記ステップＳ３０２及びＳ３０３の処理は、検知リスト４０５に対する処理に相当し、この場合、検出リストの人物候補が対応しないので、終了カウンタを−１（：−ｄ０）ダウンカウントしている。なお、終了カウンタのカウント値は、図7でステップＳ２０３の処理として先に述べたように、０以下になると検知リストのエントリから削除され、画面に表示されなくなる。従って、終了カウンタに設定する所定値（−ｄ０）は、人物の検知漏れと誤検知との兼ね合いで適当な重みを付けるようにする。
【００２６】
検出リストの人物候補が１個だけ存在する場合（ステップＳ３０１−１個）、検出リストに登録されている検出位置を新規に作成する検知リストに登録する検出位置とする（ステップＳ３０４）。
この後、検知リストで管理している検知カウンタを所定値（＋ｄ１）アップカウントし（ステップＳ３０５）、処理フローを終了する。
図１１の例を参照すると、上記ステップＳ３０４及びＳ３０５の処理は、検知リスト４０２及び４０３に対する処理に相当し、この場合、それぞれ検出リストの３０２及び３０３のデータで管理する人物候補が対応するので、検知カウンタを＋２（：＋ｄ１）アップカウントしている。
【００２７】
検出リストの人物候補が２個以上存在する場合（ステップＳ３０１−２個以上）、検知リスト中の処理対象とする人物のトラッキングを行い、検出リストに２個以上存在する人物候補それぞれに対するトラッキング位置を求め、求めた中の尤もらしい位置（最も近い位置）をトラッキング結果として得る（ステップＳ３０６）。なお、このステップＳ３０６のトラッキングは、このステップのサブシーケンスを示す図１０のフローによる（図１０のトラッキングの詳細は、後述）。
この後、検知リストで管理している検知カウンタを所定値（＋ｄ２）アップカウントし（ステップＳ３０７）、処理フローを終了する。
図１１の例を参照すると、上記ステップＳ３０６及びＳ３０７の処理は、検知リスト４０１に対する処理に相当し、この場合、検出リストの３０１及び３０２のデータで管理する２人の人物候補が対応するが、その中の検出リスト３０１のトラッキング位置が近いので、検出リスト３０１の方を検知結果とし、検知カウンタを＋１（：＋ｄ２）アップカウントしている。
【００２８】
次いで、上記した図８の処理フローにおけるステップＳ３０２又はＳ３０６のトラッキングを、このステップのサブシーケンスを示す図１０を参照して詳述する。
このトラッキングは、検知タイプが顔検知か動き検知かによってトラッキング領域を異にする。顔検知の場合、図５（Ｂ）に示すように、顔がある領域の下の顔と同じ大きさの領域をトラッキング領域とする。また、動き検知の場合、図５（Ｃ）に示すように、検知された動き（フレーム間差分等）の中心を含む内接矩形をトラッキング領域とする。
顔検知、動き検知いずれの場合も、上記のようにして定められたトラッキング領域におけるヒストグラムを求める。求めるヒストグラムは、ここでは、領域内の画素ごとの色を検出し、色に対する画素数の分布を求めることにより得る。
図１０のフローによると、検知タイプによって処理を分岐するので、先ず、顔検知か動き検知かを確認する（ステップＳ５０１）。
【００２９】
検知タイプが顔の場合、顔がある領域の下の顔と同じ大きさの領域をトラッキング領域として設定し（ステップＳ５０２）、他方、検知タイプが動きの場合、動きの中心を含む内接矩形をトラッキング領域として設定して（ステップＳ５０３）、それぞれ設定した領域の画像を検知リストがもとにした撮影画像から取り出して、この領域の画素値のヒストグラム（本実施形態では画素値を色値とするので、色に対する画素数の分布）を求める（ステップＳ５０４）。
次いで、検出リストがもとにした撮影画像に対してトラッキングを実行する（ステップＳ５０５）。このトラッキングは、ステップＳ５０４でヒストグラムを求めた時の画像上の位置の周囲の一定範囲をトラッキング対象範囲とし、かつステップＳ５０４でヒストグラムを求めた時と同様の方法で検出リストがもとにした撮影画像を処理し、ヒストグラムを求める。
ステップＳ５０５では、トラッキング対象範囲内を走査してヒストグラムを求める。また、このトラッキングは、所定数のフレームについて各フレームで繰り返し実行される（ステップＳ５０５〜Ｓ５０７）。
トラッキングの結果は、ステップＳ５０５〜Ｓ５０７で得た検出リストのヒストグラム群の中からステップＳ５０４で得た検出リストのヒストグラムに最も近いヒストグラムを求め、そのヒストグラムのもとになった領域として得る（ステップＳ５０６）。
上記のようにして、トラッキングの結果として得た領域を、上記したシーク処理（図８）のステップＳ３０２及びステップＳ３０６のトラッキング位置に用いる。
【００３０】
ここで、上記した図７の処理フローにおけるステップＳ２０２の逆シーク処理を、このステップのサブシーケンスを示す図９を参照して詳述する。
この逆シーク処理は、検出リスト側から検知リスト側に対応する人物の検出データを探しにいく処理である。図１１の例を参照すると検出リスト３０６，３０１〜３０３それぞれが、検知リスト４０１〜４０３，４０５中のいずれかと所定の対応関係を有することを確認する処理である。ただ、この実施形態では、図８を参照して説明したように、既にシーク処理を行っているので、現在検知リストにない人物候補を探し、新規にリストへの追加登録を行うために行う。
【００３１】
図９のフローによると、検知リストにない人物候補が対象になるので、先ず、検出リスト中の人物候補で検知リストに対応しなかったものを探す（ステップＳ４０１）。
次に、ステップＳ４０１で得られる人物候補の検出位置が、全検知リストに登録されているトラッキング対象範囲の外側にあるか否かを確認する（ステップＳ４０２）。なお、この実施形態では、トラッキング対象範囲内にあれば、シーク処理の対象になることを前提にしている。
ステップＳ４０２でトラッキング対象範囲の外側にあれば（ステップＳ４０２-YES）、この人物候補がどの検知リストにもない人物であるとみなし、検知リストで管理している検知カウンタを所定値（＋ｄ３）アップカウントするとともに、終了カウンタを所定値（＋ｄ４）アップカウントする（ステップＳ４０３）。
図１１の例を参照すると、上記ステップＳ４０３の処理は、検出リスト３０６に対する処理に相当し、この場合、検知リストに対応する人物がないので、新規に検知リスト４０６を追加し、検知リストに登録する検知カウンタを＋１（：＋ｄ３）アップカウントし、かつ終了カウンタを＋３（：＋ｄ４）アップカウントしている。
他方、ステップＳ４０２でトラッキング対象範囲内にあれば（ステップＳ４０２-NO）、逆シークの対象外であるから、ステップＳ４０３の処理をパスする。
ステップＳ４０１〜Ｓ４０３は、全検出リスト中の人物候補で全検知リストに対応しなかったもの全部が終了するまで、１つずつ繰り返し行う。
全検出リスト中の全人物候補の逆シーク処理を済ませたことを確認した後、この処理フローを終了する。
【００３２】
“表示用データの処理”
画像切り出し部２０５は、検知リスト作成部２０４から受け取る検知リストをもとに検知した人物が納まる表示対象領域を撮影映像から切り出す。
検知リスト作成部２０４から受け取る新しい検知リストには、“検知リスト作成の処理フロー”で図１１を参照して説明したように、シーク処理（図８、参照）の結果として前回の検知リストから引き続き捉えられる人物及び逆シーク処理（図９、参照）の結果として新たに捉えられた人物が載せられ、これらが表示の対象になる。
新たに作成された検知リストに載った各人物が納まる領域を撮影映像から切り出す際、検知リストに載った各人物のエントリにある検知カウンタのカウント値が予め定めた一定の値（閾値）以上であることを条件に表示対象として、その領域の画像を切り出す。
なお、検知カウンタのカウント値は、シーク処理（図８）のステップＳ３０５及びＳ３０７、並びに逆シーク処理（図９）のＳ４０３で述べたように、それぞれの人物の検知状態によって加算する所定値（ｄ１〜ｄ３）を変えることを可能にしている．よって、表示対象とするか否かの判断を左右する検知カウンタに設定する所定値（ｄ１〜ｄ３）は、人物の検知漏れと誤検知との兼ね合いで適当な重みを付けるようにする。また、同様の観点で上記閾値も適当な値を設定することが必要になる。
【００３３】
画像切り出し部２０５及び画像表示部２０６が行う表示用データの作成処理を図１２に示すフロー図にもとづいて詳細に説明する。
図１２の処理フローによると、先ず、新たに作成された検知リストにある個々の人物の切り出し範囲をそれぞれ求める（ステップＳ６０１）。この切り出し範囲の求め方は、検知リストにある人物の中で、検知カウンタのカウント値が予め定めた一定値以上のエントリを持つ人物の検知リストを個々に取り出し、各人物の検知リストのエントリにある検知位置を中心にこの人物が納まる領域を切り出し範囲としてそれぞれ求める。
次に、同検知リストをもとに人物全員が納まる領域の切り出し範囲を求める（ステップＳ６０２）。この切り出し範囲の求め方は、検知リストにある人物の中で、検知カウンタのカウント値が予め定めた一定値以上のエントリを持つ人物全員の検知リストを取り出し、各人物の検知リストのエントリにある検知位置を中心にこの人物が納まる領域を求め、さらに求めた各領域を包含する最小の矩形に一定の余白を設けた領域を切り出し範囲として求める。
なお、この処理フローでは、個人と全員の切り出し範囲を求めたが、ステップＳ６０２と同様の方法によって、２人以上の任意の人数の切り出し範囲を求めるようにしてもよい。
【００３４】
次に、ステップＳ６０１及びＳ６０２で求めた撮影画像領域の切り出し範囲にもとづいて画像を切り出し、画面表示を行う（ステップＳ６０３）。
ここで行う画像の切り出しにおいては、少なくともステップＳ６０１及びＳ６０２で求めた切り出し範囲を含む領域の画像が、表示する画面のサイズとの関係で適切な画像として納まるように領域の切り出し範囲を調整する。
また、画像表示部２０６は、表示対象領域の撮影画像（フルサイズの映像及び切り出された画像）を表示画面に用いる画像とする処理を行う。この実施形態では、画面選択指示部２０７の指示に従い選択された画面を表示する主画面１１０に用いる画面もしくは図１の選択用画面１２０に用いる画像サムネイルに用いる画面に合わせた画像表示を行うための倍率変換等の処理を施す。また、図３を参照して説明した画面選択に用いる表示要素を埋め込む処理を行い、同図の選択用画面を作成する表示用データ処理を行う。
【符号の説明】
【００３５】
１１０・・主画面、１２０・・選択用画面、２０１・・顔検知部、２０２・・動き検知部、２０３・・マージ部、２０４・・検知リスト作成部、２０５・・画像切り出し部、２０６・・画像表示部、２０７・・画面選択指示部、２１０・・操作手段。
【先行技術文献】
【特許文献】
【００３６】
【特許文献１】特開平１０−５１７５５号公報
【図１】
2011055291.tif 000003
【図２】
2011055291.tif 000004
【図３】
2011055291.tif 000005
【図４】
2011055291.tif 000006
【図５】
2011055291.tif 000007
【図６】
2011055291.tif 000008
【図７】
2011055291.tif 000009
【図８】
2011055291.tif 000010
【図９】
2011055291.tif 000011
【図１０】
2011055291.tif 000012
【図１１】
2011055291.tif 000013
【図１２】
2011055291.tif 000014