(57)【要約】【課題】１つ以上の撮影装置によって記録された録画映像から、目的とする人物・物体の活動状況を把握するための短時間の映像を自動作成するダイジェスト映像生成装置を提供する。【解決手段】ダイジェスト映像生成装置１０は、目的とする人物・物体に装着された無線タグ２２１〜２２７と、ビデオカメラ２１１〜２１７の近くに設けられた無線タグ受信機２３１〜２３７から、当該人物・物体の大まかな位置を把握し、当該人物・物体がどの時間帯にどの撮影装置によって撮影されたかを判断する。また、録画映像から、当該人物・物体が撮影されている映像を取り出し、取り出した映像を一定の単位時間ごとに区切った単位映像ごとに、映像の特徴量を計算してどのような事象（出来事）が起きているかを識別する。さらに、ダイジェスト映像生成装置１０は、事象ごとに、単位映像を一定の基準で抽出して並べ、ダイジェスト映像を生成する。【選択図】図１
2012160880.tif 000002
【特許請求の範囲】
【請求項１】
１つ以上の撮影装置により記録された映像データを入力するための映像データ入力手段と、
解析対象物の位置情報を入力し、該入力した位置情報から解析対象物の位置を解析する位置情報解析手段と、
前記位置情報解析手段で解析した前記解析対象物の位置に基づいて、前記映像データ入力手段で入力した前記複数の映像データから前記解析対象物が撮影されている時間帯の映像データを取り出す映像選出手段と、
前記映像選出手段により取り出された前記映像データを一定の単位時間ごとに区切った単位映像ごとに、識別対象とする事象が有する視覚的な特徴を示す映像特徴量を計算する特徴計算手段と、
前記特徴計算手段で計算した前記単位映像ごとの特徴量に基づいて、前記単位映像が映している事象を識別するイベント識別手段と、
前記イベント識別手段により識別された事象ごとに、前記単位映像を抽出して並べることによりダイジェスト映像を生成するダイジェスト生成手段と
を備えることを特徴とするダイジェスト映像生成装置。
【請求項２】
前記位置情報解析手段は、
無線ＩＤタグからの情報を取得する無線ＩＤタグ情報取得手段を備え、
前記解析対象物の位置情報として、前記解析対象物に付した無線ＩＤタグからの位置情報を前記無線ＩＤタグ取得手段にて取得し、該取得した無線ＩＤタグからの位置情報に基づいて、前記無線ＩＤタグを付した解析対象物が、各撮影時刻にどの撮影装置に映っているかを識別することを特徴とする請求項１に記載のダイジェスト映像生成装置。
【請求項３】
前記イベント識別手段は、
学習用映像を入力するための学習用映像データ入力手段と、
学習用映像を正しくイベント識別した結果である教師信号を入力するための教師信号入力手段と、
前記学習用映像と前記教師信号から、イベント識別に使用する識別パラメータをあらかじめ学習する識別パラメータ学習手段と、
前記学習した識別パラメータを記憶する識別パラメータ記憶手段を備え、
前記識別パラメータ記憶手段により記憶された識別パラメータと、一定の単位映像について、前記特徴計算手段によって計算された特徴量を用いて、当該単位映像が２つ以上の事象のうち、いずれの事象に属するかを識別することを特徴とする請求項１〜請求項２のいずれか１項に記載のダイジェスト映像生成装置。
【請求項４】
前記イベント識別手段は、
学習用映像を入力するための学習用映像データ入力手段と、
前記学習用映像から、クラスタリング手法を用いてイベント識別に使用する識別パラメータを学習する識別パラメータ学習手段と、
前記学習した識別パラメータを記憶する識別パラメータ記憶手段を備え、
前記識別パラメータ記憶手段により記憶された識別パラメータと、一定の単位映像について、前記特徴計算手段によって計算された特徴量を用いて、当該単位映像が２つ以上の事象のうち、いずれの事象に属するかを識別することを特徴とする請求項１〜請求項２のいずれか１項に記載のダイジェスト映像生成装置。
【請求項５】
前記ダイジェスト生成手段は、
複数の前記単位映像を、時間的または空間的な一定の基準により選択し、
時間軸にそって並べることによってダイジェスト映像として出力することを特徴とする請求項１〜請求項４のいずれか１項に記載のダイジェスト映像生成装置。
【請求項６】
前記ダイジェスト生成手段は、
前記一定の基準として、単位映像における、視覚的な映像特徴量の大きさを用いて、前記複数の単位映像を選択することを特徴とする請求項５に記載のダイジェスト映像生成装置。
【請求項７】
前記ダイジェスト生成手段は、
前記一定の基準として、前記単位映像に付随する音声の大きさを用いて、前記複数の単位映像を選択することを特徴とする請求項５に記載のダイジェスト映像生成装置。
【請求項８】
前記ダイジェスト生成手段は、
複数の単位映像を選択し、時間軸にそって並べることによってダイジェスト映像とし、選択された単位映像に付随する音声データをクロスフェード処理することにより、映像の切れ目における音声をなめらかにつなぐことを特徴とする請求項１〜請求項７のいずれか１項に記載のダイジェスト映像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１つ以上のカメラから取得した画像を用いてダイジェスト映像を作成するダイジェスト映像生成装置に関するものである。
【背景技術】
【０００２】
従来、施設内に１つ以上の監視カメラ等の撮影装置を設置し、長時間にわたって録画することにより、大量の録画映像を保存しておく監視カメラシステムは、多く運用されている。
【０００３】
このような監視カメラシステムは、防犯用途、犯罪等があった場合の証拠資料といった用途においては、問題となる場所・時刻近辺の映像さえ見つけることができればよく、その前後の映像を素早く見るために、早送り再生・巻き戻しといった機能さえ備えていればよかったと考えられる。
【０００４】
近年は、カメラ等撮影機材や半導体メモリの低価格化により、保育園・保育園や老人ホーム等の施設に、多数の監視カメラを設置している例も増えている。
さらに、一部の保育園・保育園では、同システムの録画映像をもとに、園児の保護者に対し、園生活の録画映像を提供しているものも存在する。
【０００５】
この場合、保護者は、自分の子供が映っている映像を見たいという要望があるが、多くの映像の中から目的とする園児を容易に探す必要がある。
また、老人ホーム等の施設において、徘徊者等の行動を見守るために、特定の人物の映像を追跡するといったニーズが考えられる。
【０００６】
ほかにも、博物館、美術館、動物園等の施設において、施設を訪れた人が施設内をどのように観覧しているかについて統計的に調査して、よりよい展示に役立てるというニーズがあると見込まれる。
【０００７】
しかしながら、１つ以上のビデオカメラにより撮影された大量の録画映像から、手作業により特定の人物が写っている場面のみ探し出すのは多大な労力を要する。
この点、録画した番組や映画等の録画映像からダイジェスト映像を作成する方法として、例えば、特許文献１に示す映像ダイジェスト生成方法のようなスポーツ中継を対象としたダイジェスト生成方法が存在する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２ー３３０３９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に示す映像ダイジェスト生成方法のように、メタデータ（映像コンテンツに付加する、その映像の内容を表すインデックス）を付加して配信されたスポーツ中継の映像からダイジェスト映像を生成する方法は、ハイライトシーンを動的に抽出することについては優れているものの、メタデータを付加する作業には、手作業を要するという問題がある。
【００１０】
また、本発明で扱う監視映像等は、日常的場面を撮影したものであり、「ストーリー性」が存在するスポーツ中継映像等とは異なり、様々な映像が無秩序に並んでいるため、「ストーリー性」を利用したアプローチでは、有効なダイジェスト生成は困難である。
【００１１】
さらに、本発明の想定する用途においては、ダイジェスト映像の利用者によって、対象となる人物・物体が異なることから作成すべきダイジェスト映像が大きく異なることが想定される上、対象となる人物・物体が時系列に沿って複数の映像に分かれて映っているということも想定される。従来の映像ダイジェスト生成方法では、そのような個別的なダイジェスト映像の生成には対応できない。
【００１２】
本発明は、このような従来技術に存在する問題点に着目してなされたものであり、その目的は、メタデータを手作業で付加する必要がなく、また、様々な映像が無秩序に並んでいて「ストーリー性」が無い映像であっても、さらに、目的とする人物・物体がダイジェスト映像利用者によって異なっており、複数の映像に分かれて映っている場合であっても、有効なダイジェスト映像作成を可能とするダイジェスト映像生成装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、請求項１に記載の発明は、
１つ以上の撮影装置により記録された映像データを入力するための映像データ入力手段（２１１〜２１７）と、
解析対象物の位置情報を入力し、該入力した位置情報から解析対象物の位置を解析する位置情報解析手段（１２）と、
前記位置情報解析手段（１２）で解析した前記解析対象物の位置に基づいて、前記映像データ入力手段（２１１〜２１７）で入力した前記複数の映像データから前記解析対象物が撮影されている時間帯の映像データを取り出す映像選出手段（１３）と、
前記映像選出手段（１３）により取り出された前記映像データを一定の単位時間ごとに区切った単位映像ごとに、識別対象とする事象が有する視覚的な特徴を示す映像特徴量を計算する特徴計算手段（１５）と、
前記特徴計算手段（１５）で計算した前記単位映像ごとの特徴量に基づいて、前記単位映像が映している事象を識別するイベント識別手段（１６）と、
前記イベント識別手段（１６）により識別された事象ごとに、前記単位映像を抽出して並べることによりダイジェスト映像を生成するダイジェスト生成手段（１７）と
を備えたことを要旨とする。
【００１４】
この構成によれば、メタデータが存在しない映像や、ストーリー性が乏しい日常生活の映像であっても、各事象が有する視覚的な属性を用いることで各事象を識別でき、識別結果をもとに、有効なダイジェスト映像を生成することができる。
【００１５】
請求項２に記載の発明は、請求項１に記載の発明において、
前記位置情報解析手段（１２）は、
無線ＩＤタグからの情報を取得する無線ＩＤタグ情報取得手段（１１）を備え、
前記解析対象物の位置情報として、前記解析対象物に付した無線ＩＤタグからの位置情報を前記無線ＩＤタグ取得手段にて取得し、該取得した無線ＩＤタグからの位置情報に基づいて、前記無線ＩＤタグを付した解析対象物が、各撮影時刻にどの撮影装置に映っているかを識別できることを要旨とする。
【００１６】
この構成によれば、請求項１による効果に加え、目的とする人物・物体が複数の映像に分かれて映っている場合であっても、有効なダイジェスト映像を生成することができる。
請求項３に記載の発明は、請求項１に記載の発明において、
イベント識別手段（１６）は、
学習用映像を入力するための学習用映像データ入力手段（２１１〜２１７）と、
学習用映像を正しくイベント識別した結果である教師信号を入力するための教師信号入力手段と、
前記学習用映像と前記教師信号から、イベント識別に使用する識別パラメータをあらかじめ学習する識別パラメータ学習手段と、
前記学習した識別パラメータを記憶する識別パラメータ記憶手段を備え、
前記識別パラメータ記憶手段により記憶された識別パラメータと、一定の単位映像について、前記特徴計算手段（１５）によって計算された特徴量を用いて、当該単位映像が、２つ以上の事象のうち、いずれの事象に属するかを識別することができることを要旨とする。
【００１７】
この構成によれば、どの事象がどのような特徴を持っているか、あらかじめ正解のあるデータで識別器を訓練することから、新しい映像部分に含まれる事象を精度よく識別することができる。
【００１８】
請求項４に記載の発明は、請求項１に記載の発明において、
イベント識別手段（１６）は、
学習用映像を入力するための学習用映像データ入力手段（２１１〜２１７）と、
前記学習用映像から、クラスタリング手法を用いてイベント識別に使用する識別パラメータを学習する識別パラメータ学習手段と、
前記学習した識別パラメータを記憶する識別パラメータ記憶手段を備え、
前記識別パラメータ記憶手段により記憶された識別パラメータと、一定の単位映像について、前記特徴計算手段（１５）によって計算された特徴量を用いて、当該単位映像が２つ以上の事象のうち、いずれの事象に属するかを識別することができることを要旨とする。
【００１９】
この構成によれば、あらかじめ正解を与えなくても、各事象の代表的なパターンを見つけ、未知の映像について代表的なパターンとの距離でどの事象に属するかを識別するため、学習の手間を大きく削減できる。
【００２０】
請求項５に記載の発明は、請求項１に記載の発明において、
ダイジェスト生成手段（１７）は、複数の前記単位映像を、時間的または空間的な一定の基準により選択し、  時間軸にそって並べることによってダイジェスト映像として出力することを要旨とする。
【００２１】
この構成によれば、所要時間、ダイジェスト映像に含まれる映像の視覚的特徴などについて、ユーザの要望に応じたダイジェスト映像を生成することができる。
請求項６に記載の発明は、請求項５に記載の発明において、
一定の基準として、単位映像における、視覚的な映像特徴量の大きさを用いて、前記複数の単位映像を選択することを要旨とする。
【００２２】
この構成によれば、たとえば、対象とする人または物の動作状況に応じたダイジェスト映像を作成することができる。
請求項７に記載の発明は、請求項５に記載の発明において、
一定の基準として、単位映像に付随する音声の大きさを用いて、前記複数の単位映像を選択することを要旨とする。
【００２３】
この構成によれば、たとえば、対象とする人または物の数や、にぎやかさに応じたダイジェスト映像を作成することができる。
請求項８に記載の発明は、請求項１から請求項７に記載の発明において、
ダイジェスト生成手段（１７）は、複数の単位映像を選択し、時間軸にそって並べることによってダイジェスト映像とし、選択された単位映像に付随する音声データをクロスフェード処理することにより、映像の切れ目における音声をなめらかにつなぐことを要旨とする。
【００２４】
この構成によれば、映像を切り貼りした部分の雑音が少なく、聞きやすいダイジェスト映像を生成することができる。
【発明の効果】
【００２５】
本発明によれば、１つ以上の撮影装置によって記録された長時間の録画映像から、目的とする人物・物体の活動状況を容易に把握するための短時間の映像を容易に作成できる。
【図面の簡単な説明】
【００２６】
【図１】ダイジェスト映像生成装置の実施形態
【図２】実施形態における映像入力部等の配置の説明図
【図３】実施形態における単位映像の説明図
【図４】事象の映像例
【図５】ダイジェスト生成の流れ
【図６】無線タグの不確実性
【図７】フレーム間差分
【図８】背景差分
【図９】黒色検出
【図１０】イベント識別結果が付加された映像シーケンス
【発明を実施するための形態】
【００２７】
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
【００２８】
図１は、ダイジェスト映像生成装置１０の構成を示すブロック図である。
図１に示すように、ダイジェスト映像生成装置１０は、目的とする人物が身につけている無線タグ２２１〜２２７のＩＤを入力するＩＤ入力部１１と、位置情報解析手段（１２）としての無線タグ位置情報解析部１２と、映像選出手段（１３）としての映像選出部１３と、圧縮された映像データをフレーム展開するフレーム展開部１４と、特徴計算手段（１５）としての特徴計算部１５と、イベント識別手段（１６）としてのイベント識別部１６と、ダイジェスト生成手段（１７）としてのダイジェスト生成部１７から構成されている。
【００２９】
本実施形態においては、ダイジェスト映像生成装置１０を利用する施設として、保育園を想定して説明する。
図２は、保育園の見取り図と各設備の設置場所を表している。本実施形態では、計７台のビデオカメラ２１１〜２１７を、保育室等（保育室、庭園、休憩室、廊下、玄関など、園児が頻繁に使用する場所）２０１〜２０５に設置し、園生活を記録する。
【００３０】
７台のカメラ２１１〜２１７から膨大な量の映像が蓄積されることになるが、園児の保護者が希望するダイジェスト映像の生成に必要とされるのは、対象園児が映る映像のみである。そこで我々は、無線タグ２２１〜２２７を利用して各園児のおおまかな位置情報を得ることで、誰がいつどのカメラに写っているのかを把握する。
【００３１】
使用した無線タグ２２１〜２２７は、一定時間（１秒）間隔で信号を送信し続けるタイプのもので、園児たちは常に身に着けている状態で一日を過ごす。無線タグ２２１〜２２７が送信した信号を読み取る無線タグ受信機２３１〜２３７は、カメラ２１１〜２１７の隣にそれぞれ設置され、無線タグ２２１〜２２７の信号をキャッチする度に、ログファイルに適切な情報が記録される。
【００３２】
保護者にとって有益なダイジェストとは、子供が１日にどのようなことを行い、自宅での様子とどう違うのかが反映されているものであるが、具体的にどのシーンを入れるべきかは、人によって要求が異なると考えられる。
【００３３】
しかしながら、「１日にあった様々な出来事を反映したダイジェスト」であれば、ほとんどの保護者にとって、有益であるといえる。そこで我々は、保育園での１日の生活をいくつかの「事象」（イベント）に分け、各々の「事象」から適量ダイジェストに加えるというアプローチをとる。
【００３４】
ここでの「事象」とは、ある意味的まとまりを持つ一連の出来事を意味するものであり、本実施形態では以下の４種類を定義した。
・食事
・睡眠
・遊び
・集団行動
図４に、各事象映像の例を示す。「遊び」は少数の園児による事象であり、「集団行動」は園児全員が参加するものや、多数の園児による事象を示す。ただし、「人がいない」等、上記のどの事象にも当てはまらない映像も存在するが、ダイジェスト映像生成には使用しない映像であるため、特に事象として定義しない。
【００３５】
園生活における事象は多種多様で、分け方は無数に存在する。より小さな事象まで判別できることが理想であるが、事象の種類が多すぎると判別結果が保証できないため、上記４種類に限定した。
【００３６】
図５に、ダイジェスト生成までの流れを示す。処理対象は７台のビデオカメラ２１１〜２１７により撮影・蓄積された１日間の膨大な映像である。
ステップ１では、無線タグ２２１〜２２７の位置解析を行い、解析した位置に対象園児が映っている映像のみを取り出す。これにより、他の６台のビデオカメラ２１１〜２１６による映像は無視でき、ダイジェスト生成に使用する映像は元映像の約７分の１に削減されることになる。
【００３７】
ステップ２では、この映像に対して、機械学習により構成した識別器を使用して、４種類のイベント識別を行う。その際、単位時間ごとの映像（単位映像）に対して識別を行うことになるが、各事象は短くても数分連続して起こることから、処理を行う単位時間を「１分間」とした。これにより、すべての単位映像に対し、イベント識別結果が付加されることになる。
【００３８】
ステップ３では、その結果に応じて、各事象から数個の単位映像を取り出し並べることで、ダイジェスト映像が生成される。
ＩＤ入力部１１は、ダイジェスト映像生成の対象となる人物・物体が所持する無線タグ２２１〜２２７のＩＤを指定するために必要な処理を実行する。
【００３９】
具体的には、ダイジェスト映像生成装置１０を利用するユーザが、グラフィカル・ユーザ・インタフェース等によりダイジェスト映像生成装置１０に対象となる人物・物体が所持する無線タグ２２１〜２２７のＩＤを入力する。
【００４０】
無線タグ位置情報解析部１２は、無線タグ２２１〜２２７が送信した信号を読み取る無線タグ受信機２３１〜２３７の記録を解析して、どの人物がいつどの撮影装置に映っているのかを把握する。
【００４１】
図６に、特定の園児に対応したログファイルの内容を示す。同図の「ｘ」印は、無線タグ２２１〜２２７が１秒間隔で出す信号をキャッチした無線タグ受信機２３１〜２３７の位置を示している。
【００４２】
この図には、以下のような２種類の不確実性が存在する。１つ目は、信号がどの無線タグ受信機２３１〜２３７にも受信されないという「データの消失」である。無線タグ受信機２３１〜２３７の読み取り可能範囲は、周囲の障害物や人の配置、天気などに影響を受けるため、予期しないところに死角ができ、その結果、データの消失が生じる。また、室内の場合、周りに障害物がなくても読み取り可能範囲がいびつな形状となり、タグが至近距離に存在しても信号を読み取れない場合があるとされている。
【００４３】
２つ目は、短時間の間に複数の無線タグ受信機２３１〜２３７が受信する「データの振動」である。数秒間に園児が各部屋を何度も移動したと考えるのは不自然であり、複数の無線タグ受信機２３１〜２３７が信号を受信してしまう範囲が存在すると考えられる。
【００４４】
本実施形態では、イベント識別で用いる単位時間を１分間としているため、１分おきに対象園児が映っているビデオカメラ２１１〜２１７を特定する必要がある。また、２つの不確実性に対処する必要があることから、以下のようにいわゆる投票方式により、位置情報を決定する。
【００４５】
ある時間区間（１分間）において、最も多く信号をキャッチした無線タグ受信機２３１〜２３７の位置番号ＩＤを決定する。ただし、信号が１つもキャッチされなかった場合はエラーとする。
【００４６】
当該時間区間において、最も多く信号をキャッチするケースでは、ＩＤ番の無線タグ受信機２３１〜２３７が６０個全ての信号をキャッチする場合が考えられる。その場合、もちろん、その時間区間では、園児はＩＤ番のビデオカメラ２１１〜２１７に写っているといえる。
【００４７】
しかし、実際に、ある園児のログファイルを解析すると、そのような６０個すべての信号が１つの無線タグ受信機２３１によってキャッチされた時間区間は１つも存在せず、観測された総信号数はほとんどの時間区間で３０〜５０個程度という結果となった。
【００４８】
また、ほとんど信号がキャッチされない時間区間も２割程度存在し、特に睡眠の時間帯には多く見られた。睡眠時は布団の中に入り、周りに人や障害が多いことからデータの消失が頻繁に起こったことが原因として考えられる。
【００４９】
以上の問題に対しては、投票の結果がエラーまたは投票数が少ない時間区間の映像は、ダイジェストに使用しないようにすることで対処した。
「データの消失」「データの振動」については、各無線タグ受信機２３１〜２３７の読み取り可能範囲がより正確に把握できれば、さらに詳細な分析を行うことが可能となるが、本実施形態ではそのような処理は行っていない。
【００５０】
本実施形態においては、無線タグ２２１〜２２７は、園児が写るビデオカメラ２１１〜２１７を決定するためだけに使用され、正確な位置推定は必要ないという点、さらには前述の投票方式において位置推定が正しくなされているであろう映像のみ、ダイジェストに使用するという点で、このような技術的課題は、ダイジェストの優劣にはそれほど重要ではない。
【００５１】
そのほかに、無線タグ２２１〜２２７の個数増えると電波の干渉が起こり、安定性が低下するといった技術的課題がある。本実施形態では、最大８の無線タグ２２１〜２２７を園児に持たせてみたところ、電波の干渉により安定性が損なわれるといった傾向は確認できなかったが、数十人の園児全員に無線タグ２２１〜２２７を持たせた場合、このような問題が生じるおそれはある。
【００５２】
映像選出部１３は、無線タグ位置情報解析部１２の結果にもとづき、ビデオカメラ２１１〜２１７によって撮影された多数の映像データから、ダイジェスト映像生成に必要となる対象人物・物体が映る録画映像を取り出す。
【００５３】
本実施形態の場合、ビデオカメラ２１１〜２１７が７台あることから、前述のとおり、対象人物・物体が映っている映像は、全体の映像データの７分の１以下となることが見込まれる。
【００５４】
フレーム展開部１４は、映像データに含まれる画像データを所定の画像形式（例えば、ＢＭＰ（Ｂｉｔ  Ｍａｐ）形式）で入力し、フレーム展開して保存する。フレーム展開するとは、図３に示すように、画像データを、所定間隔毎にサンプリングして連続する画像フレーム３０（静止画像）の集合にするということである。
【００５５】
すなわち、ダイジェスト映像生成装置１０が画像フレーム３０を所定時間内で所定フレーム連続表示することにより、視聴者には映像が再生表示されることになる。
特徴計算部１５は、映像データを、たとえば１分ごとの単位に分けて単位映像とするとともに、その単位映像ごとに、特徴量を計算する。
【００５６】
特徴計算部１５は、フレーム展開部１４が単位映像に含まれる各画像をフレーム展開した後のフレームデータについて特徴量を計算し、単位映像に含まれる画像フレーム３０の特徴量を合計したものを、単位映像の特徴量とする。
【００５７】
本実施形態では、メタデータは存在せず、また、日常生活の中に利用可能なストーリー性が乏しいことから、イベント識別手法により事象を分類してダイジェスト映像を生成する。事象を正しく識別するために、各事象が有する視覚的な属性を用いる。
【００５８】
保育園で発生する事象は、参加する子供の数、使用する遊具、子供の運動の激しさ、および時間の属性等で識別することができる。これらの属性を反映する特徴は、それぞれ人数特徴、道具特徴、運動特徴、時間特徴である。
【００５９】
本実施形態では、黒画素の量で子供の数を、背景差分の量で遊具の数を、フレーム間差分の量で運動の激しさをそれぞれ識別できると考えている。時間情報も、一つの特徴量として考慮に入れることにした。
【００６０】
すなわち、本実施形態では、画像フレーム３０の特徴量として、フレーム間差分、背景差分、黒色画素という画像特徴と、時間特徴を想定している。
特徴計算部１５は、単位映像ごとにこれらの特徴量の一部または全部を計算して、当該単位映像の特徴量とする。単位映像ごとに、特徴量をまとめて特徴ベクトルで表す。本実施形態では４次元のベクトルとなる。
【００６１】
ただし、特徴量としてこれら以外のものも考えられ、本発明では、これらの特徴量だけに限定するものではない。
フレーム間差分とは、時間的に連続した２枚のフレーム画像の差分であり、物体の移動があった領域を抽出することができる。差分結果は、背景や静止物体の部分はゼロとなり、動いている部分は非ゼロとなることから、物体の移動を容易に抽出できるが、背景色に近い物体は抽出されにくいという短所もある。
【００６２】
イベント識別にフレーム間差分を用いたのは、園児の動きの激しさを抽出するためである。睡眠のような事象では園児の動きは小さく、集団行動のような事象ではたくさんの園児が激しく動くことから、このような特徴量がイベント識別に有効であると考えた。
【００６３】
しかし、フレーム間差分では、園児の面倒をみる保育士の動きも検出されてしまい、園児に比べ体も大きい保育士の存在は結果に大きな影響を与える。仮に、保育士と園児の動きが区別できれば解決できる問題ではあるが、このような処理は非常に複雑であり、本実施形態では、処理時間の観点から、特別な対処は行っていない。
【００６４】
図７に、フレーム間差分法による処理の様子を示す。特定のフレーム画像（ａ）と次のフレーム画像（ｂ）の差分をとり、濃淡画像（ｃ）を得る。得られた濃淡画像に対し、閾値処理による二値化を行い、二値画像（ｄ）を得る。
【００６５】
その後、画像の収縮・拡張によるノイズ除去を行った結果（ｅ）を最終結果とする。二値化の際は、クラス内分散とクラス間分散との比で定まる分離度を最大にするような閾値を選択する手法を用いる。最終結果が白となった画素数をフレーム間差分結果とし、単位時間映像の平均値を特徴量とする。
【００６６】
背景差分とは、あらかじめ取得しておいた背景画像と対象となるフレーム画像の差分である。その差分結果に対し、二値化処理を行うことで、背景に存在しない物体の領域を抽出することができる。
【００６７】
イベント識別に背景差分を用いたのは、園児と道具の出現量を抽出するためである。各事象の映像ごとに、映っている園児の人数や道具の種類、量は異なることから、イベント識別に有効であると考えた。
【００６８】
本手法は、単純な処理で、比較的高精度に対象物体領域を抽出できるが、フレーム間差分と同様に、背景色に近い物体は抽出されにくいという短所がある。また、時間ごとに背景が変化していく場合、抽出結果に影響を与えるという問題もある。
【００６９】
保育園の日常生活を記録した映像においても、時間ごとに背景の明度変化が存在するため、背景画像を動的に更新することにより、ロバストな対象物体の検出を実現する。
図８に、背景差分法による処理を示す。ある入力画像（ａ）と、あらかじめ撮影した背景画像（ｂ）の差分をとり、濃淡画像（ｃ）を得る。濃淡画像の閾値処理により得た二値画像（ｄ）に対し、画像の収縮・拡張によるノイズ除去を行った結果（ｅ）を最終結果とする。
【００７０】
実際の処理では、背景画像として、動的背景更新による処理を行った後のものを使用している。フレーム間差分と同様に、最終結果が白となった画素数を背景差分結果とし、単位時間映像の平均値を特徴量とする。
【００７１】
黒色画素とは、フレーム画像における黒い色の画素である。黒色検出は、園児の髪の毛の部分を抽出することを目的としている。
前述の背景差分による特徴量は、園児と道具の総出現量に比例して増加するのに対し、黒色検出による特徴量は、園児の人数のみに比例して増加する。しかし、ＲＧＢのしきい値処理によって検出を行うことから、髪の色が明るい場合にうまく抽出できない、園児が黒い服を着ていると抽出されてしまうといった問題も存在する。
【００７２】
図９は、黒色検出の様子を示している。ある入力画像（ａ）に対し黒色検出を行った結果（ｂ）では、背景部の黒い部分まで検出されてしまう。そこで、背景画像（ｃ）に対しても黒色検出（ｄ）を行い、（ｂ）から背景の黒色部分を取り除くことにより、結合結果（ｅ）を得る。その後、ノイズ除去を行った結果（ｆ）が白となった画素数を黒色検出結果とし、単位時間映像の平均値を特徴量とする。
【００７３】
以上の画像特徴に対し、時間特徴とは、各事象の時間的依存性を示すものである。
たとえば、保育園では、時間が決まっていない事象もあるが、「食事」や「睡眠」といった事象は、生起時間が大体決まっていることから、時間的な特徴量も利用することができる。また、「遊び」や「集団行動」は基本的にランダムに生起するが、食事や睡眠の時間帯には起こりにくいといったことが考えられる。
【００７４】
つまり、各事象には少なからず時間的依存性が存在し、時間特徴をイベント識別に利用できるはずである。そこで、「ｈ時ｍ分」の各単位時間映像の特徴量を、６０×ｈ＋ｍ  と定義する。
【００７５】
本実施形態では、これらの画像特徴、時間特徴を合わせてベクトル化し、単位映像に含まれる各フレーム画像の特徴量を合計したものを、その単位映像の特徴量とする。
イベント識別部１６は、特徴計算部１５によって得られた特徴量をもとに、各単位映像について、どの事象に属するかを識別する。
【００７６】
イベント識別の方法は、機械学習の手法により、あらかじめ用意された学習映像データを用いて、識別パラメータを学習させる。その上で、対象となる映像データを単位時間に区切った単位映像について、あらかじめ学習された識別パラメータに基づいて、当該単位映像が属する事象がいずれであるかを識別する。
【００７７】
この際に、どの事象に属するものであるかを正解データを図示しないキーボードなどで入力し、教師データとして用いる。
また、学習させた識別パラメータは、図示しない、ＲＡＭなどの内部メモリやＵＳＢメモリなどの外部メモリに一旦記憶させておく。その上で、対象となる映像データを単位時間に区切った単位映像について、当該記憶させておいた識別パラメータに基づいて当該単位映像が属する事象がいずれであるかを識別する。
【００７８】
本実施形態においては、学習手法として、複数の弱識別器から識別能力の高い識別器を構成することができるアダブースト識別法「Ｙ．Ｆｒｅｕｎｄ  ら、「Ａ  ｄｅｃｉｓｉｏｎ−ｔｈｅｏｒｅｔｉｃ  ｇｅｎｅｒａｌｉｚａｔｉｏｎ  ｏｆ  ｏｎ−ｌｉｎｅ  ｌｅａｒｎｉｎｇ  ａｎｄ  ａｎ  ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｂｏｏｓｔｉｎｇ」、Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｉｎｇ  Ｓｙｓｔｅｍｓ  ａｎｄ  Ｓｃｉｅｎｃｅ、第５５巻１番（１１９頁〜１３９頁）、１９９７年．」を用いる。
【００７９】
アダブースト識別法は、各弱識別器がランダムな識別器に比べ少しでも優れていれば、安定して良い結果が得られるという特徴がある。
同手法では、Ｎ個の学習パターンそれぞれに、重みパラメータが関連付けられ、その初期値として一様な重みが設定される。弱識別器は逐次的に構成されるが、以前の弱識別器で誤識別した学習パターンに対する重みを増加させ、正しく識別された学習パターンに対しては重みを変えないという処理を行うことで、誤識別された学習パターンが強調されることとなる。
【００８０】
全体としての識別結果は、構成されたＭ個の各弱識別器の信頼性を考慮して決定される。すなわち、学習の段階で、各学習データパターンに重みパラメータを関連づけ、誤認識した学習パターンに対応する重みを逐次的に増加させることで、安定した識別手法となる。そのため、安定してよい識別部を構成することができる。
【００８１】
ただし、そのほかの機械学習手法を用いてもかまわない。
以上に述べた方法により、任意の２クラスに対する識別器を構成した上で、対象となる映像データを単位時間に区切った単位映像について、当該単位映像が属する事象がいずれであるかを識別する。
【００８２】
２クラスに対する弱識別器がＭ個あるところ、単純な識別規則により、多クラスに拡張する。具体的には、任意の２クラス（Ｃi，Ｃj）に対する識別器をｙ(i,j)（ｘ）（＝｛ｉ，ｊ｝）で表すとき、多クラスを識別するための規則を以下のようにする。
【００８３】
∀j≠ｉ、ｙ(i、j)（ｘ）＝ｉ  ⇒  ｘ∈Ｃi
教師付き学習では、どの事象がどのような特徴を持っているか正解のあるデータで識別器を訓練するため、訓練した識別器で、新しい映像セグメントに含まれる事象を精度よく識別できる。
【００８４】
教師なし学習では、クラスタリングの手法で各事象の代表的なパターンを見つける。未知の特徴ベクトルは、代表的なパターンとの距離でどの事象に属するかを識別する。
そのほか、あらかじめ学習映像データによる学習をせずに、単位映像の事象を識別する方法もある。具体的には、単位映像の特徴量（実際には多次元のベクトルとなる）の動的クラスタリング処理により、識別対象となる映像データのみで、多次元空間上の近傍位置にある複数の単位映像を同じ事象に属するものと判別する方法である。
【００８５】
イベント識別部１６をこのように構成すれば、あらかじめ学習データを与えることなく、イベント識別が実現できる。
ダイジェスト生成部１７は、イベント識別部１６の結果にもとづいて、１つ以上の単位映像を抽出して並べることにより、ダイジェスト映像を生成する。
【００８６】
イベント識別部１６によって、１分間の単位映像は、それぞれどの事象に属するかのラベルが付与されている（なお、どの事象にも属さない単位映像もあり得る）。
ダイジェスト生成部１７が、単位映像を取り出す方法については、いろいろなものが考えられるが、簡単な一つの例として、事象ごとに、連続する単位映像を同じ数、たとえば５個ずつ取り出して並べる方法がある。こうすれば、本実施形態の場合、各事象が５分ずつで、５分×事象数（分）のダイジェスト映像が生成されることになる。
【００８７】
また、ユーザが合計１５分のダイジェスト映像を所望した場合、単位映像から取り出す数を（１５分÷事象数）と決定すれば、事象ごとに同じ時間の映像で、合計１５分のダイジェスト映像が生成されることになる。
【００８８】
本実施形態では、対象園児を映した１日間の映像は、図１０に示すように１分間の単位映像ごとにイベント識別結果が付加されたものとする。本実施形態では、ダイジェストに使用する数個の単位映像は、以下の規則によって選択した。
【００８９】
まず、図１０に示した単位映像のうち、時間的に孤立した映像（このような映像は、誤識別の可能性が高い）は、選択肢から除外した。
その上で、以下の２点を実現するよう映像を選択した。
【００９０】
・時間特徴量を利用して、１日の様々な時間帯から映像を選択する（時間に偏りのないダイジェストを生成する）。
・フレーム間差分が高い値をとる映像を選択する（動きが多く、変化に富んだダイジェストを生成する）。
【００９１】
また、例えば、各事象に属する単位映像のうち、時間特徴量としての特定時刻周辺に分布している単位映像を選ぶことにより、発生時刻がある程度決まっている事象の映像を多く含むダイジェスト映像とすることができる。すなわち、保育園の昼食やおやつの時間の映像を多く含むものとすることもできる。
【００９２】
さらに、本実施形態では利用していないが、各単位映像に含まれる音声を利用して、音声が大きく活発な活動が期待できるダイジェスト映像とすることや、特定の音声周波数範囲の音声を多く含むダイジェスト映像とすることもできる。
【００９３】
後者の例として、園児の歓声が多い場面を中心にダイジェスト映像を生成することが可能である。
本実施形態においては、実際にイベント識別実験及びダイジェスト生成実験を行い、本発明の有効性を確認しているので、以下に詳述する。
（１）  イベント識別実験
２日間分の映像データを用いて事象の学習を行い、その後、別の１日間の映像データを用いて識別テストを行った。
【００９４】
なお、各事象の学習に使用した単位映像の数は、食事、睡眠、遊び、集団行動の順にそれぞれ２１３、２９０、６００、４０３個、アダブーストの識別に用いた弱識別器は１０個である。ビデオカメラ２１１〜２１７は、テクノ・ワン製のＤＣＴ−３０１というＣＣＤ素４１万画素のもので、３２０×２４０ピクセル、１秒８フレームの映像を蓄積した。無線タグシステムは、ＭＥＧＲＡＳ社から提供されているもので、ＲＦＴ０３−０５という無線タグ２２１〜２２７を利用している。
【００９５】
表１は、３つの画像特徴のみを用いてイベント識別実験を行った結果である。認識率は、食事、睡眠、遊び、集団行動の順にそれぞれ７６．５％、７７．６％、８０．０％、７１．１％、全体としては７６．６％となった。この結果は、画像特徴のみで１日の事象の８割弱を認識できることを示しているが、集団行動に関しては、他の事象に比べ認識率が低くなっている。
【００９６】
【表１】
2012160880.tif 000003
【００９７】
表２は、画像特徴と時間特徴を併用してイベント識別実験を行った結果である。それぞれ認識率は、８０．４％、８３．２、８７．５％、７４．０％、全体としては８１．８％となった。
【００９８】
【表２】
2012160880.tif 000004
【００９９】
当然ながら、時間特徴を含めた方が認識率は高く、どの事象も５％前後向上した。この向上率は、対象とする保育施設によって変化すると考えられ、各事象の生起時間帯が明確に決まっている保育施設ほど、時間特徴はより強力な特徴となり得る。
【０１００】
さらに、この実験から、事象内での特徴値には、ある程度ばらつきがあることが分かった。その一つの要因として、保育士の存在が挙げられる。保育士は各事象とは異なる行動をとり、園児と比較して体も大きいことから、特徴量に大きな影響を与える。
【０１０１】
また、同じ事象の映像であっても、ビデオカメラ２１１〜２１７のすぐ近くで事象が行われる場合とそうでない場合とでは、特徴量に違いが生じる。このような特徴量の不安定性が誤識別を生んだと考えられるが、本実験では８０％程度の認識率が得られていることから、ダイジェスト映像の品質にはそれほど影響はないと考える。
（２）  ダイジェスト生成実験
特定の日に園児３名に無線タグ２２１〜２２３を常備してもらい、記録した１日間の映像データをもとに、３名の園児それぞれを対象とするダイジェスト生成を行った。ダイジェストは、４つの事象から各３個の単位映像を取り出した計１２分のものを生成した。
【０１０２】
表３は、生成したダイジェストにおける事象再現性を表している。事象再現性とは、各事象として取り出した３つの単位映像のうち、正しく選択できた割合を示す。
【０１０３】
【表３】
2012160880.tif 000005
【０１０４】
ダイジェストＡとダイジェストＣに関しては、１２個すべての単位映像が正しく選択できた。しかし、ダイジェストＢに関しては、「集団行動」として間違って取り出された映像が１個存在し、この映像は、実際には「遊び」の映像であった。その原因は、表２の実験結果からも読み取れるように、「集団行動」の映像を「遊び」と間違える可能性が比較的高いことにある。
【０１０５】
本実験では、事象再現率は１００％に近い結果となったが、生成したダイジェスト数が少ないため、本手法によるダイジェスト生成が非常に高精度だとは言い切れない。しかしながら、すでに述べたように、事象を誤識別した可能性の高い映像を選択しないようにしていることから、表２の各事象の識別率以上の確率で、事象を再現できるはずである。
【０１０６】
また、生成した３つのダイジェストＡ〜Ｃが、実際に優れているのかを評価するため、人手により作成したダイジェストとの比較実験を行った。人手でダイジェストを作成する際は、以下の点に注意した。
【０１０７】
・本実施形態と同じように、１２個の単位映像を取り出し１２分のダイジェストを作成する
・一日にあった出来事がよく分かるような１２個の単位映像を選択する
・なるべく変化に富んだ映像を選択する
ダイジェストＡ、Ｂ、Ｃそれぞれの実験に各８人ずつ、計２４人の保護者に、本手法で生成したダイジェストと人手で生成したダイジェストの２つを閲覧してもらった後、以下の２つの質問に回答してもらった。ただし、保護者には２つのダイジェストの詳細は伏せてある。（本発明手法によるダイジェストを「ア」、人手によるダイジェストを「イ」とした）
（Ｑ１）良かったダイジェストはどちらか？
（Ｑ２）一日の出来事がよく分かったのはどちらか？
（Ｑ１）により、ダイジェストの総合的な評価、（Ｑ２）により、一日の出来事をより反映しているかという点に限定した評価を得ることができる。これら２つの質問に対して、次の５段階で、理由を付けて回答してもらった。
【０１０８】
（ａ）「ア」の方、（ｂ）やや「ア」の方、（ｃ）どちらも同じ、（ｄ）やや「イ」の方、（ｅ）「イ」の方
表４に、回答結果の人数分布を示す。（Ｑ１）  、（Ｑ２）ともに（ａ）（ｂ）よりも（ｄ）（ｅ）と回答した人の方が多く、人手で作成したダイジェストの方が評価は高いが、（ａ）（ｂ）と回答した人も５人程存在し、本手法も、ある程度の評価を得ている。
【０１０９】
【表４】
2012160880.tif 000006
【０１１０】
（Ｑ１）、（Ｑ２）それぞれに着目した場合、ダイジェストＢでは人手で作成したダイジェストとの差は大きいが、ダイジェストＡ、Ｃではほとんど差がないことが読み取れる。
【０１１１】
（Ｑ１）と（Ｑ２）の関係を見てみると、ダイジェストＡ〜Ｃのどれも似たような分布にはなっているが、（Ｑ１）の方が本手法の評価が若干高くなっている。保護者がダイジェストの総合的な評価をする際には、「一日の出来事がよく分かったか」だけでなく、他にも種々の要因が影響していると考えられる。
【０１１２】
ダイジェストＢで（ｂ）と回答した少数派の人の理由にも、「こちらの方が１日の流れがよく分かった」といった意見もあり、１日の出来事が反映されているかという点での感じ方には、少なからず個人差があるということもいえる。
【０１１３】
ダイジェストＢの評価があまり良くなかった原因の一つとして、事象再現性が１００％でなかったため、事象に偏りができてしまったことが挙げられる。また、本手法では、各事象から映像を選択する際、多様な映像が選択されるか、似たような映像が選択されるかは偶然性に依存する部分が大きく、ダイジェストＢは、運悪く後者であったことも原因の一つである。
【０１１４】
比較アンケートに加えて、感想や意見を求めたところ、「園生活の大まかな様子が分かってよかった」、「普段見られない子供の行動を見ることができた」などのポジティブなフィードバックが得られた。
【０１１５】
その一方で、「睡眠の映像は特に必要ない」、「行事（集団行動）の映像がもっと欲しい」、「１分間の単位映像はもう少し短いほうがよい」といった意見も存在したことから、各事象から何分をダイジェストに加えるかを、保護者自身により選択する機能の必要性が感じられる。
【０１１６】
また、一部には「子供が叱られている場面は入れないでほしい」、「子供が楽しそうにしている映像でまとめて欲しい」といった意見も存在した。
以上、詳述したように、本実施形態は、以下の効果を奏する。
（１）複数の撮影装置によって同時記録された長時間の録画映像から、目的とする人物・物体の活動状況を容易に把握するための短時間の映像を容易に作成できる。
（２）また、目的とする人物・物体の動きが多い変化に富んだダイジェスト映像や、時間帯や音声等を考慮したダイジェスト映像を容易に作成できる。
（３）さらに、ユーザが指定した長さのダイジェスト映像を作成することができる。
【符号の説明】
【０１１７】
１０…ダイジェスト映像生成装置
１１…ＩＤ入力部
１２…無線タグ位置情報解析部
１３…映像選出部
１５…特徴計算部
１６…イベント識別部
１７…ダイジェスト生成部
２０１〜２０５…保育室等
２１１〜２１７…ビデオカメラ
２２１〜２２７…無線タグ
２３１〜２３７…無線タグ受信機
３０…画像フレーム
【図１】
2012160880.tif 000007
【図３】
2012160880.tif 000008
【図２】
2012160880.tif 000009
【図４】
2012160880.tif 000010
【図５】
2012160880.tif 000011
【図６】
2012160880.tif 000012
【図７】
2012160880.tif 000013
【図８】
2012160880.tif 000014
【図９】
2012160880.tif 000015
【図１０】
2012160880.tif 000016