(57)【要約】【課題】動画像に含まれる人物に応じて当該動画像を適切に処理する。【解決手段】動画像処理装置１００は、動画像から、当該動画像に含まれる複数の注目対象であって、少なくともそのうちの一の注目対象が人物である複数の注目対象を特定する。また、動画像処理装置１００は、動画像内において特定された複数の注目対象を互いに関連付ける関連要素を特定する。また、動画像処理装置１００は、特定された関連要素に応じて、所定の処理を実行する。【選択図】図１
2018157293.tif 000002
【特許請求の範囲】
【請求項１】
動画像から、当該動画像に含まれる複数の注目対象であって、少なくともそのうちの一の注目対象が人物である複数の注目対象を特定する注目対象特定手段と、
前記動画像内において前記注目対象特定手段により特定された前記複数の注目対象を互いに関連付ける関連要素を特定する関連要素特定手段と、
前記関連要素特定手段により特定された前記関連要素に応じて、所定の処理を実行する処理実行手段と、
を備えたことを特徴とする動画像処理装置。
【請求項２】
前記関連要素特定手段は、前記動画像内において前記注目対象特定手段により特定された前記複数の注目対象を互いに関連付ける要素であって、かつ時間的に変化する要素である関連要素を特定し、
前記処理実行手段は、前記関連要素特定手段により特定された前記関連要素の前記動画像内における時間的な変化に応じて、所定の処理を実行することを特徴とする請求項１に記載の動画像処理装置。
【請求項３】
前記注目対象特定手段により特定された前記複数の注目対象の各々の前記動画像内における時間的に変化する要素である注目要素を特定する注目要素特定手段を備え、
前記関連要素特定手段は、
前記注目要素特定手段によって特定された前記複数の注目対象の各々の前記注目要素に基づき、前記動画像内において当該複数の注目対象を互いに関連付ける関連要素を特定することを特徴とする請求項２に記載の動画像処理装置。
【請求項４】
前記動画像は、編集対象の動画像であって、
前記処理実行手段は、前記関連要素特定手段により特定された前記関連要素の前記動画像内における時間的な変化に応じて、前記所定の処理として、前記動画像を編集することを特徴とする請求項２又は３に記載の動画像処理装置。
【請求項５】
前記関連要素特定手段により特定された前記関連要素の前記動画像内における時間的な変化量を判別する判別手段を更に備え、
前記処理実行手段は、前記判別手段による判別結果に応じて、前記動画像を編集することを特徴とする請求項４に記載の動画像処理装置。
【請求項６】
前記動画像は、撮像手段により逐次撮像される動画像であることを特徴とする請求項１〜３のいずれか一項に記載の動画像処理装置。
【請求項７】
前記注目対象特定手段は、オブジェクト検出と、人物の状態の解析と、動画像内の特徴量の解析とのうちの少なくとも２つに基づき、前記複数の注目対象を特定することを特徴とする請求項１〜６のいずれか一項に記載の動画像処理装置。
【請求項８】
前記関連要素特定手段は、前記関連要素として、人物の心拍と、表情と、行動と、視線とのうちの少なくともいずれかの要素を特定することを特徴とする請求項１〜７のいずれか一項に記載の動画像処理装置。
【請求項９】
編集対象の動画像から、当該動画像に記録されている人物の状態の変化を検出する人物変化検出手段と、
前記人物変化検出手段により前記人物の状態に所定の変化が検出された際に、前記動画像内における当該所定の変化の要因を特定する特定手段と、
前記特定手段による特定結果に応じて、前記動画像を時間的に編集する編集手段と、
を備えることを特徴とする動画像処理装置。
【請求項１０】
前記特定手段は、
前記人物変化検出手段により前記人物の状態に所定の変化が検出された際の前記動画像内における当該所定の変化の要因となる対象を特定する対象特定手段と、
前記対象特定手段により特定される対象に基づき、前記動画像内における前記所定の変化の要因の時間的位置を特定する時間的位置特定手段と、を備え、
前記編集手段は、前記時間的位置特定手段により特定された時間的位置に応じて、前記動画像を時間的に編集することを特徴とする請求項９に記載の動画像処理装置。
【請求項１１】
前記特定手段は、前記対象特定手段により特定される対象の前記動画像内における状態の変化を検出する対象変化検出手段を、更に備え、
前記時間的位置特定手段は、前記対象変化検出手段により前記対象に所定の変化が検出された際の時間的位置を、前記動画像内における前記所定の変化の要因の時間的位置として特定することを特徴とする請求項１０に記載の動画像処理装置。
【請求項１２】
前記対象特定手段は、前記動画像の同一フレーム画像内の特徴量の状況と前記人物の視線のうちの少なくとも何れか一方に基づき、前記人物変化検出手段により前記人物の状態に所定の変化が検出された際の当該動画像内における所定の変化の要因となる対象を特定することを特徴とする請求項１０又は１１に記載の動画像処理装置。
【請求項１３】
前記特定手段は、前記所定の変化の種類毎に予め対応付けられている当該所定の変化の要因の特定方法を選択して、前記動画像内における当該所定の変化の要因を特定することを特徴とする請求項１０〜１２のいずれか一項に記載の動画像処理装置。
【請求項１４】
前記編集手段は、前記人物変化検出手段により検出される前記人物の状態の所定の変化の種類と大きさのうちの少なくともいずれか一方に応じて、前記動画像を時間的に編集することを特徴とする請求項１０〜１３のいずれか一項に記載の動画像処理装置。
【請求項１５】
前記編集手段は、前記対象変化検出手段により検出される前記対象の前記動画像内における状態の変化の種類に応じて、前記動画像を時間的に編集することを特徴とする請求項１０〜１４のいずれか一項に記載の動画像処理装置。
【請求項１６】
動画像から、当該動画像に含まれる複数の注目対象であって、少なくともそのうちの一の注目対象が人物である複数の注目対象を特定する注目対象特定処理と、
前記動画像内において前記注目対象特定処理により特定された前記複数の注目対象を互いに関連付ける関連要素を特定する関連要素特定処理と、
前記関連要素特定処理により特定された前記関連要素に応じて、所定の処理を実行する処理実行処理と、
を含むことを特徴とする動画像処理方法。
【請求項１７】
編集対象の動画像から、当該動画像に記録されている人物の状態の変化を検出する人物変化検出処理と、
前記人物変化検出処理により前記人物の状態に所定の変化が検出された際に、前記動画像内における当該所定の変化の要因を特定する特定処理と、
前記特定処理による特定結果に応じて、前記動画像を時間的に編集する編集処理と、
を含むことを特徴とする動画像処理方法。
【請求項１８】
コンピュータに、
動画像から、当該動画像に含まれる複数の注目対象であって、少なくともそのうちの一の注目対象が人物である複数の注目対象を特定する注目対象特定機能、
前記動画像内において前記注目対象特定機能により特定された前記複数の注目対象を互いに関連付ける関連要素を特定する関連要素特定機能、
前記関連要素特定機能により特定された前記関連要素に応じて、所定の処理を実行する処理実行機能、
を実現させることを特徴とするプログラム。
【請求項１９】
コンピュータに、
編集対象の動画像から、当該動画像に記録されている人物の状態の変化を検出する人物変化検出機能、
前記人物変化検出機能により前記人物の状態に所定の変化が検出された際に、前記動画像内における当該所定の変化の要因を特定する特定機能、
前記特定機能による特定結果に応じて、前記動画像を時間的に編集する編集機能、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像処理装置、動画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、動画像を再生する場合は、静止画を再生する場合と違い、一般の人が企図して撮影した動画像であっても単調になりがちで面白味に欠けるという問題があった。そして、このような問題を解消すべく、例えば、歌唱者と聞き手とを撮影したカラオケの映像から聞き手の感情を推定し、その感情に応じて元のカラオケの映像にテキストや画像を合成するという技術が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２８８４４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に開示されている技術は、予め歌唱者と聞き手が写っていることが前提となっており、人物がカラオケ以外のことを行っている映像には使用することができないという問題がある。
【０００５】
本発明は、このような問題に鑑みてなされたものであり、動画像に含まれる人物に応じて当該動画像を適切に処理することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る動画像処理装置は、
動画像から、当該動画像に含まれる複数の注目対象であって、少なくともそのうちの一の注目対象が人物である複数の注目対象を特定する注目対象特定手段と、
前記動画像内において前記注目対象特定手段により特定された前記複数の注目対象を互いに関連付ける関連要素を特定する関連要素特定手段と、
前記関連要素特定手段により特定された前記関連要素に応じて、所定の処理を実行する処理実行手段と、
を備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、動画像に含まれる人物に応じて当該動画像を適切に処理することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明を適用した実施形態１の動画像処理装置の概略構成を示す図である。
【図２】（ａ）は関連性テーブルの一例を示す図であり、（ｂ）は編集内容テーブルの一例を示す図である。
【図３】動画像編集処理に係る動作の一例を示すフローチャートである。
【図４】本発明を適用した実施形態２の動画像処理装置の概略構成を示す図である。
【図５】実施形態２における関連性テーブルの一例を示す図である。
【図６】実施形態２における動画像処理に係る動作の一例を示すフローチャートである。
【図７】本発明を適用した実施形態３の動画像処理装置の概略構成を示す図である。
【図８】実施形態３における要因特定テーブルの一例を示す図である。
【図９】実施形態３における編集内容テーブルの一例を示す図である。
【図１０】実施形態３における動画像編集処理に係る動作の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１０】
［実施形態１］
図１は、本発明を適用した実施形態１の動画像処理装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の動画像処理装置１００は、中央制御部１０１と、メモリ１０２と、記録部１０３と、表示部１０４と、操作入力部１０５と、通信制御部１０６と、動画像処理部１０７とを備えている。
また、中央制御部１０１、メモリ１０２、記録部１０３、表示部１０４、操作入力部１０５、通信制御部１０６及び動画像処理部１０７は、バスライン１０８を介して接続されている。
【００１１】
中央制御部１０１は、動画像処理装置１００の各部を制御するものである。具体的には、中央制御部１０１は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、動画像処理装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００１２】
メモリ１０２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１０１、動画像処理部１０７等によって処理されるデータ等を一時的に格納する。
【００１３】
記録部１０３は、例えば、ＳＳＤ（Solid State Drive）等から構成され、図示しない画像処理部により所定の圧縮形式（例えば、ＪＰＥＧ形式、ＭＰＥＧ形式等）で符号化された静止画像や動画像の画像データを記録する。なお、記録部１０３は、例えば、記録媒体（図示省略）が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。また、記録部１０３は、後述する通信制御部１０６を介してネットワークに接続されている状態で、所定のサーバ装置の記憶領域を含むものであってもよい。
【００１４】
表示部１０４は、表示パネル１０４ａの表示領域に画像を表示する。
すなわち、表示部１０４は、図示しない画像処理部により復号された所定サイズの画像データに基づいて、動画像や静止画像を表示パネル１０４ａの表示領域に表示する。
【００１５】
なお、表示パネル１０４ａは、例えば、液晶表示パネルや有機ＥＬ（Electro-Luminescence）表示パネル等から構成されているが、一例であってこれらに限られるものではない。
【００１６】
操作入力部１０５は、動画像処理装置１００の所定操作を行うためのものである。具体的には、操作入力部１０５は、電源のＯＮ／ＯＦＦ操作に係る電源ボタン、各種のモードや機能等の選択指示に係るボタン等（何れも図示略）を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部１０５は、操作されたボタンに応じた操作指示を中央制御部１０１に出力する。中央制御部１０１は、操作入力部１０５から出力され入力された操作指示に従って所定の動作（例えば、動画像の編集処理等）を各部に実行させる。
【００１７】
また、操作入力部１０５は、表示部１０４の表示パネル１０４ａと一体となって設けられたタッチパネル１０５ａを有している。
【００１８】
通信制御部１０６は、通信アンテナ１０６ａ及び通信ネットワークを介してデータの送受信を行う。
【００１９】
動画像処理部１０７は、関連性テーブル１０７ａと、編集内容テーブル１０７ｂと、注目対象特定部１０７ｃと、関連要素特定部１０７ｄと、編集処理部１０７ｅとを具備している。
なお、動画像処理部１０７の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
【００２０】
関連性テーブル１０７ａは、図２（ａ）に示すように、関連要素を識別するための「ＩＤ」Ｔ１１、具体的なシーンを示す「具体的なシーン」Ｔ１２、一の対象を示す「対象Ａ」Ｔ１３、他の対象を示す「対象Ｂ」Ｔ１４、関連要素を示す「関連要素」Ｔ１５の項目を有する。
【００２１】
編集内容テーブル１０７ｂは、図２（ｂ）に示すように、関連要素の変化の有無を示す「関連要素の変化」Ｔ２１、単位時間当たりの変化量を示す「単位時間あたりの変化量」Ｔ２２、編集内容を示す「編集内容」Ｔ２３の項目を有する。
【００２２】
注目対象特定部（注目対象特定手段）１０７ｃは、編集対象の動画像（例えば、全天球動画）から、当該動画像に含まれる複数の注目対象であって、少なくともそのうちの一の注目対象が人物である複数の注目対象を特定する。
具体的には、注目対象特定部１０７ｃは、編集対象の動画像を構成するフレーム画像ごとにオブジェクト検出、人物の状態の解析（例えば、視線解析、心拍解析、表情解析等）及び特徴量の解析（注目領域の推定）を行い、各フレーム画像に含まれる複数の注目対象であって、少なくともそのうちの一の注目対象が人物である対象Ａと対象Ｂを特定する。
【００２３】
関連要素特定部（関連要素特定手段）１０７ｄは、編集対象の動画像内において注目対象特定部１０７ｃにより特定された複数の注目対象を互いに関連付ける関連要素を特定する。また、この関連要素は、編集対象の動画像内において時間的に変化する要素でもある。
具体的には、注目対象特定部１０７ｃにより、編集対象の動画像を構成する一のフレーム画像において対象Ａと対象Ｂが特定された場合、関連要素特定部１０７ｄは、関連性テーブル１０７ａを用いて、当該対象Ａと当該対象Ｂが該当するＩＤの関連要素を特定する。
例えば、注目対象特定部１０７ｃにより、対象Ａとして「親」が特定されるとともに、対象Ｂとして「子供」が特定された場合、関連要素特定部１０７ｄは、関連性テーブル１０７ａを用いて、「対象Ａ」Ｔ１３の項目に「親」が挙げられるとともに「対象Ｂ」Ｔ１４の項目に「子供」が挙げられているＩＤ番号「２」の関連要素「対象Ａと対象Ｂの表情」を特定する。
【００２４】
編集処理部（処理実行手段手段、判別手段）１０７ｅは、関連要素特定部１０７ｄにより特定された関連要素の動画像内における変化に応じて、当該動画像を編集する。
具体的には、編集処理部１０７ｅは、関連要素特定部１０７ｄにより特定された関連要素の動画像内における変化の有無を判別する。ここで、関連要素の動画像内における変化の有無の判別は、例えば、関連要素特定部１０７ｄにより関連要素が特定されたフレーム画像を含む所定数のフレーム画像に基づき、単位時間あたりの変化量が所定の閾値以上であるか否かを判別することで行う。
【００２５】
そして、関連要素特定部１０７ｄにより特定された関連要素の動画像内における単位時間あたりの変化量が所定の閾値未満である、時間的な変化が無い、すなわち能動的要素であると判別された場合、編集処理部１０７ｅは、編集内容テーブル１０７ｂを用いて、編集内容「通常の時系列再生」を特定し、上記の判別対象となった所定数のフレーム画像に対して、通常の時系列再生処理（編集処理）を施す。
例えば、関連要素特定部１０７ｄによりＩＤ番号「２」の関連要素「対象Ａ（親）と対象Ｂ（子供）の表情」が特定されている場合において、対象Ａ（親）と対象Ｂ（子供）の表情に変化が無いと判別された場合、通常の時系列再生処理（編集処理）が施されることとなる。
一方、関連要素特定部１０７ｄにより特定された関連要素の動画像内における単位時間あたりの変化量が所定の閾値以上である、時間的な変化がある、すなわち受動的要素であると判別された場合、編集処理部１０７ｅは、更に、当該変化の変化量が「大」であるか「小」であるかを判別するため、当該変化に係る単位時間あたりの変化量が、変化量の大きさを判別する所定の閾値以上であるか否かを判別する。
【００２６】
そして、当該変化に係る単位時間あたりの変化量が変化量の大きさを判別する所定の閾値以上でない、すなわち「小」であると判別された場合、編集処理部１０７ｅは、編集内容テーブル１０７ｂを用いて、「画面を２分割し、対象Ａと対象Ｂを同時再生する」、「対象Ｂに注目し、ワイプに対象Ａを表示して再生する」、「対象Ｂから対象Ａに映像をスライドして再生する」の３種類のうちから一の編集内容を特定し、上記の判別対象となった所定数のフレーム画像に対して、特定された編集内容による編集処理を施す。なお、上記３種類のうちから一の編集内容を特定する方法は、例えば、関連要素の単位時間あたりの変化量に応じて特定しても良いし、ランダムに特定しても良い。
一方、当該変化に係る単位時間あたりの変化量が変化量の大きさを判別する所定の閾値以上、すなわち「大」であると判別された場合、編集処理部１０７ｅは、編集内容テーブル１０７ｂを用いて、「対象Ａに注目して再生した後に時間巻き戻しを行い、対象Ｂに注目して再生する」、「スローもしくは高速に対象Ａと対象Ｂを切り替えて再生する」、「対象Ａと対象Ｂが入る画角に変換して再生する（例えば、パノラマ編集やリトルプラネット編集（３６０°パノラマ編集））」の３種類のうちから一の編集内容を特定し、上記の判別対象となった所定数のフレーム画像に対して、特定された編集内容による編集処理を施す。例えば、関連要素特定部１０７ｄによりＩＤ番号「２」の関連要素「対象Ａ（親）と対象Ｂ（子供）の表情」が特定されている場合において、対象Ａ（親）と対象Ｂ（子供）の表情の変化が「大」であると判別され、編集内容として「対象Ａに注目して再生した後に時間巻き戻しを行い、対象Ｂに注目して再生する」が特定されると、対象Ａである親に注目して再生した後に時間巻き戻しを行い、対象Ｂである子供に注目して再生する処理（編集処理）が施されることとなる。なお、上記３種類のうちから一の編集内容を特定する方法は、例えば、関連要素の単位時間あたりの変化量に応じて特定しても良いし、ランダムに特定しても良い。
【００２７】
＜動画像編集処理＞
次に、動画像処理装置１００による動画像編集処理について、図３を参照して説明する。図３は、動画像編集処理に係る動作の一例を示すフローチャートである。このフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、通信制御部１０６によりネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体の他に、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。
【００２８】
図３に示すように、先ず、ユーザ操作に基づき記録部１０３に記録されている動画像から編集対象となる動画像の指定操作がなされ、操作入力部１０５より当該指定操作に係る指示が動画像処理部１０７に入力されると（ステップＳ１）、動画像処理部１０７は、指定された動画像を記録部１０３から読み出し、注目対象特定部１０７ｃによって、当該動画像を構成するフレーム画像ごとに順次、フレーム画像の内容の解析としてオブジェクト検出、人物の状態の解析（例えば、視線解析、心拍解析、表情解析等）及び特徴量の解析（注目領域の推定）が行われる（ステップＳ２）。
【００２９】
次いで、関連要素特定部１０７ｄは、注目対象特定部１０７ｃによってフレーム画像に含まれる複数の注目対象であって、少なくともそのうちの一の注目対象が人物である対象Ａと対象Ｂが特定されたか否かを判定する（ステップＳ３）。
ステップＳ３において、対象Ａと対象Ｂが特定されたと判定された場合（ステップＳ３；ＹＥＳ）、関連要素特定部１０７ｄは、関連性テーブル１０７ａを用いて、特定された対象Ａと対象Ｂが該当するＩＤ番号の関連要素を特定し（ステップＳ４）、ステップＳ５へ移行する。
一方、ステップＳ３において、対象Ａと対象Ｂが特定されていないと判定された場合（ステップＳ３；ＮＯ）、関連要素特定部１０７ｄは、ステップＳ４をスキップしてステップＳ５へ移行する。
【００３０】
次いで、動画像処理部１０７は、注目対象特定部１０７ｃによって当該動画像の最後のフレーム画像まで内容の解析が行われたか否かを判定する（ステップＳ５）。
ステップＳ５において、最後のフレーム画像まで内容の解析が行われていないと判定された場合（ステップＳ５；ＮＯ）、ステップＳ２へ戻り、それ以降の処理を繰り返し行う。
一方、ステップＳ５において、最後のフレーム画像まで内容の解析が行われたと判定された場合（ステップＳ５；ＹＥＳ）、編集処理部１０７ｅは、ステップＳ４で特定された各関連要素を対象として、当該各関連要素が特定されたフレーム画像を含む所定数のフレーム画像間での関連要素の変化に応じて編集内容を特定する（ステップＳ６）。
そして、編集処理部１０７ｅは、ステップＳ６で特定された編集内容に基づき、関連要素が特定されたフレーム画像を含む所定数のフレーム画像に対して編集処理を行い（ステップＳ７）、動画像編集処理を終了する。
【００３１】
以上のように、本実施形態の動画像処理装置１００は、動画像から、当該動画像に含まれる複数の注目対象であって、少なくともそのうちの一の注目対象が人物である複数の注目対象を特定したこととなる。また、動画像処理装置１００は、動画像内において特定された複数の注目対象を互いに関連付ける関連要素を特定したこととなる。また、動画像処理装置１００は、特定された関連要素に応じて、所定の処理を実行したこととなる。
このため、動画像に対して所定の処理を実行する際に、少なくとも一の注目対象が人物である複数の注目対象を互いに関連付ける関連要素に着目することができるようになるので、当該動画像に含まれる注目対象としての人物に応じて当該動画像を適切に処理することができる。
【００３２】
また、本実施形態の動画像処理装置１００は、動画像内において複数の注目対象を互いに関連付ける要素であって、かつ時間的に変化する要素である関連要素を特定し、特定された当該関連要素の当該動画像内における時間的な変化に応じて、所定の処理を実行するので、動画像に対して所定の処理を実行する際に、複数の注目対象にまつわる処理を適切に行うことができる。
【００３３】
また、本実施形態の動画像処理装置１００は、特定された関連要素の動画像内における時間的な変化に応じて、所定の処理として、動画像を編集したこととなるので、当該動画像を効果的に編集することができる。
【００３４】
また、本実施形態の動画像処理装置１００は、特定された関連要素の動画像内における変化量を判別し、判別結果に応じて、動画像を編集したこととなるので、当該動画像をより効果的に編集することができる。
【００３５】
また、本実施形態の動画像処理装置１００は、オブジェクト検出と、人物の状態の解析と、動画像内の特徴量の解析とのうちの少なくとも２つに基づき、複数の注目対象を特定したこととなるので、当該複数の注目対象を精度良く特定することができる。
【００３６】
また、本実施形態の動画像処理装置１００は、関連要素として、人物の心拍と、表情と、行動と、視線とのうちの少なくともいずれかの要素を特定したこととなるので、動画像を処理する際に、少なくとも一の注目対象が人物である複数の注目対象にまつわる処理をより適切に行うことができる。
【００３７】
［実施形態２］
次に、実施形態２の動画像処理装置２００について、図４〜図６を用いて説明する。なお、上記実施形態１と同様の構成要素には同一の符号を付し、その説明を省略する。
本実施形態の動画像処理装置２００は、リアルタイムの動画像に基づいて複数の注目対象（対象Ａと対象Ｂ）を特定するとともに当該複数の注目対象の各々の時間的に変化する要素である注目要素を特定し、特定された複数の注目対象の各々の注目要素に基づいて当該複数の注目対象を互いに関連付ける関連要素を特定する点を特徴としている。
【００３８】
図４に示すように、本実施形態の動画像処理部２０７は、関連性テーブル２０７ａと、注目対象特定部２０７ｂと、注目要素特定部２０７ｃと、関連要素特定部２０７ｄとを具備している。
なお、動画像処理部２０７の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
【００３９】
関連性テーブル２０７ａは、図５に示すように、関連要素を識別するための「ＩＤ」Ｔ３１、一の対象を示す「対象Ａ」Ｔ３２、対象Ａの注目すべき要素を示す「対象Ａの要素」Ｔ３３、他の対象を示す「対象Ｂ」Ｔ３４、対象Ｂの注目すべき要素を示す「対象Ｂの要素」Ｔ３５、関連要素を示す「関連要素」Ｔ３６、具体的なシーン内容を示す「具体的なシーン」Ｔ３７の項目を有する。
【００４０】
注目対象特定部（注目対象特定手段）２０７ｂは、リアルタイムの動画像（例えば、全天球動画）から、当該動画像に含まれる複数の注目対象であって、少なくともそのうちの一の注目対象が人物である複数の注目対象を特定する。
具体的には、注目対象特定部２０７ｂは、例えば、通信制御部１０６を介して取得されるライブカメラ（撮像手段）により逐次撮像される動画像を構成するフレーム画像ごとにオブジェクト検出、人物の状態の解析（例えば、視線解析、心拍解析、表情解析等）及び特徴量の解析（注目領域の推定）を行い、各フレーム画像に含まれる複数の注目対象であって、少なくともそのうちの一の注目対象が人物である複数の対象Ａと対象Ｂを特定する。
【００４１】
注目要素特定部（注目要素特定手段）２０７ｃは、注目対象特定部２０７ｂにより特定された複数の注目対象の各々の動画像内における時間的に変化する要素である注目要素を特定する。
具体的には、注目対象特定部２０７ｂにより、リアルタイムの動画像を構成する一のフレーム画像において対象Ａと対象Ｂが特定された場合、注目要素特定部２０７ｃは、上記のオブジェクト検出、人物の状態の解析及び特徴量の解析の結果を踏まえ、関連性テーブル２０７ａを用いて、当該対象Ａの注目要素（対象Ａの要素）を特定するとともに、当該対象Ｂの注目要素（対象Ｂの要素）を特定する。
【００４２】
関連要素特定部（関連要素特定手段）２０７ｄは、注目要素特定部２０７ｃによって特定された複数の注目対象の各々の注目要素に基づき、リアルタイムの動画像内において当該複数の注目対象を互いに関連付ける関連要素を特定する。
具体的には、注目対象特定部２０７ｂによりリアルタイムの動画像を構成する一のフレーム画像において対象Ａと対象Ｂが特定されるとともに、注目要素特定部２０７ｃにより当該対象Ａと当該対象Ｂの各々の注目要素が特定された場合、関連要素特定部２０７ｄは、関連性テーブル２０７ａを用いて、特定された対象Ａの注目要素と対象Ｂの注目要素が該当するＩＤの関連要素を特定する。
例えば、注目要素特定部２０７ｃにより一のフレーム画像において、対象Ａ「人」の注目要素として「対象Ｂに対する視線や表情」が特定されるとともに、対象Ｂ「車」の注目要素として「対象Ｂの進行方向」が特定されている場合、関連要素特定部２０７ｄは、関連性テーブル２０７ａを参照して、「対象Ａの要素」Ｔ３３の項目に「対象Ｂに対する視線や表情」が挙げられるとともに「対象Ｂの要素」Ｔ３５の項目に「対象Ｂの進行方向」が挙げられているＩＤ番号「４」の関連要素「視線先や表情の変化」を特定する。
【００４３】
＜動画像処理＞
次に、動画像処理装置２００による動画像処理について、図６を参照して説明する。図６は、動画像処理に係る動作の一例を示すフローチャートである。
【００４４】
図６に示すように、先ず、ユーザ操作に基づき動画像処理の対象となるリアルタイムの動画像の取得開始に係る操作がなされ、操作入力部１０５より当該操作に係る指示が動画像処理部２０７に入力されると、動画像処理部２０７は、通信制御部１０６を介してリアルタイムの動画像を逐次取得する（ステップＳ１１）。
【００４５】
次いで、注目対象特定部２０７ｂは、取得された動画像を構成するフレーム画像ごとに順次、フレーム画像の内容の解析としてオブジェクト検出、人物の状態の解析（例えば、視線解析、心拍解析、表情解析等）及び特徴量の解析（注目領域の推定）を行う（ステップＳ１２）。
【００４６】
次いで、関連要素特定部２０７ｄは、注目対象特定部２０７ｂによってフレーム画像に含まれる複数の注目対象であって、少なくともそのうちの一の注目対象が人物である対象Ａと対象Ｂが特定されたか否かを判定する（ステップＳ１３）。
ステップＳ１３において、対象Ａと対象Ｂが特定されたと判定された場合（ステップＳ３；ＹＥＳ）、関連要素特定部２０７ｄは、注目要素特定部２０７ｃによって対象Ａと対象Ｂの各々の注目要素が特定されたか否かを判定する（ステップＳ１４）。
【００４７】
ステップＳ１４において、対象Ａと対象Ｂの各々の注目要素が特定されたと判定された場合（ステップＳ１４；ＹＥＳ）、関連要素特定部２０７ｄは、関連性テーブル２０７ａを用いて、特定された対象Ａの注目要素と対象Ｂの注目要素が該当するＩＤ番号の関連要素を特定し（ステップＳ１５）、ステップＳ１６へ移行する。
一方、ステップＳ１３において、対象Ａと対象Ｂが特定されていないと判定された場合（ステップＳ１３；ＮＯ）、又は、ステップＳ１４において、対象Ａと対象Ｂの各々の注目要素が特定されていないと判定された場合（ステップＳ１４；ＮＯ）、ステップＳ１６へ移行する。
【００４８】
次いで、動画像処理部２０７は、リアルタイムの動画像の取得が終了したか否かを判定する（ステップＳ１６）。
ステップＳ１６において、リアルタイムの動画像の取得が終了していないと判定された場合（ステップＳ１６；ＮＯ）、ステップＳ１２へ戻り、それ以降の処理を繰り返し行う。
一方、ステップＳ１６において、リアルタイムの動画像の取得が終了したと判定された場合（ステップＳ１６；ＹＥＳ）、動画像処理を終了する。
【００４９】
以上のように、本実施形態の動画像処理装置２００は、リアルタイムの動画像から、当該動画像に含まれる複数の注目対象であって、少なくともそのうちの一の注目対象が人物である複数の注目対象を特定したこととなる。また、動画像処理装置２００は、動画像内において特定された複数の注目対象を互いに関連付ける関連要素を特定したこととなる。
このため、複数の注目対象を互いに関連付ける関連要素に着目することができるようになるので、リアルタイムの動画像を処理する際に、少なくとも一の注目対象が人物である複数の注目対象にまつわる処理を適切に行うことができる。
【００５０】
また、本実施形態の動画像処理装置２００は、特定された複数の注目対象の各々の動画像内における時間的に変化する要素である注目要素を特定し、特定された複数の注目対象の各々の注目要素に基づき、動画像内において当該複数の注目対象を互いに関連付ける関連要素を特定したこととなるので、当該関連要素を精度良く特定することができる。
【００５１】
また、本実施形態の動画像処理装置２００は、オブジェクト検出と、人物の状態の解析と、動画像内の特徴量の解析とのうちの少なくとも２つに基づき、複数の注目対象を特定したこととなるので、当該複数の注目対象を精度良く特定することができる。
【００５２】
また、本実施形態の動画像処理装置２００は、関連要素として、人物の心拍と、表情と、行動と、視線とのうちの少なくともいずれかの要素を特定したこととなるので、動画像を処理する際に、少なくとも一の注目対象が人物である複数の注目対象にまつわる処理をより適切に行うことができる。
【００５３】
［実施形態３］
次に、実施形態３の動画像処理装置３００について、図７〜図１０を用いて説明する。なお、上記実施形態１、２と同様の構成要素には同一の符号を付し、その説明を省略する。
本実施形態の動画像処理装置３００は、編集対象の動画像に記録されている人物の状態に所定の変化が検出された場合、当該変化の要因を特定し、特定された要因に応じて当該動画像を編集する点を特徴としている。
【００５４】
図７に示すように、本実施形態の動画像処理部３０７は、要因特定テーブル３０７ａと、編集内容テーブル３０７ｂと、人物変化検出部３０７ｃと、要因特定部３０７ｄと、編集処理部３０７ｅとを具備している。
なお、動画像処理部３０７の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
【００５５】
要因特定テーブル３０７ａは、図８に示すように、要因の特定方法を識別するための「ＩＤ」Ｔ４１、人物の状態の変化の種類を示す「変化の種類」Ｔ４２、対象の特定方法を示す「対象の特定」Ｔ４３、特定された対象の時間的位置の特定方法を示す「時間的位置の特定」Ｔ４４の項目を有する。
【００５６】
編集内容テーブル３０７ｂは、図９に示すように、対象の有意な変化の有無を示す「対象の有意な変化」Ｔ５１、単位時間当たりの変化量を示す「単位時間あたりの変化量」Ｔ５２、感情の種類を示す「感情」Ｔ５３、編集内容を示す「編集内容」Ｔ５４の項目を有する。
【００５７】
人物変化検出部（人物変化検出手段）３０７ｃは、編集対象の動画像（例えば、全天球動画）から、当該動画像に記録されている人物の状態の変化を検出する。
具体的には、人物変化検出部３０７ｃは、オブジェクト検出、人物の状態の解析（例えば、視線解析、心拍解析、表情解析等）及び特徴量の解析（注目領域の推定）を行うことによって、編集対象の動画像から、当該動画像に記録されている人物の状態の変化を検出する。
例えば、編集対象の動画像に、親の微笑ましい表情が突然、子供が転んだことにより、心配そうな表情に変わるシーンが記録されている場合、人物変化検出部３０７ｃは、この親（人物）の表情の変化を検出することとなる。
【００５８】
要因特定部（特定手段、対象特定手段、時間的位置特定手段、対象変化検出手段）３０７ｄは、人物変化検出部３０７ｃにより人物の状態に所定の変化が検出された際に、編集対象の動画像内における当該所定の変化の要因を特定する。
具体的には、要因特定部３０７ｄは、人物変化検出部３０７ｃによって動画像に記録されている人物の状態の変化が逐次検出されるごとに、要因特定テーブル３０７ａを用いて、検出された人物の状態の変化がＩＤ番号「１」の「視線の急激な変化」とＩＤ番号「２」の「心拍や表情の急激な変化」とのうちのいずれかに該当するか否かを判定する。
例えば、上述の例のように、人物変化検出部３０７ｃによって、親（人物）の表情の変化が検出されている場合、要因特定部３０７ｄは、検出された人物の状態の変化がＩＤ番号「２」の「心拍や表情の急激な変化」に該当するとの判定を行う。
【００５９】
そして、人物変化検出部３０７ｃにより検出された人物の状態の変化がＩＤ番号「１」の「視線の急激な変化」とＩＤ番号「２」の「心拍や表情の急激な変化」とのうちのいずれかに該当すると判定された場合、要因特定部３０７ｄは、該当するＩＤ番号に対応する「対象の特定」Ｔ４３の項目に示されている特定方法によって対象を特定する。具体的には、ＩＤ番号「１」の「視線の急激な変化」に該当すると判定された場合、要因特定部３０７ｄは、人物変化検出部３０７ｃにより人物の状態に所定の変化が検出されたフレーム画像と同一のフレーム画像内の当該人物の視線の先にあるオブジェクトを対象として特定する。一方、ＩＤ番号「２」の「心拍や表情の急激な変化」に該当すると判定された場合、要因特定部３０７ｄは、人物変化検出部３０７ｃにより人物の状態に所定の変化が検出されたフレーム画像と同一のフレーム画像内の特徴量の状況に基づき対象を特定する。
また、要因特定部３０７ｄは、「時間的位置の特定」Ｔ４４の項目に示されている特定方法によって対象が有意な変化を開始した時間的位置を遡って特定する。
なお、有意な変化とは、人物変化検出部３０７ｃにより人物の状態に所定の変化が検出されたフレーム画像と同一のフレーム画像内の当該人物の視線の先にあるオブジェクトを対象として特定した場合には、当該人物の視線の先にあるオブジェクトの時間的位置を遡った際に、例えば、人物であれば、走っていて急に転んだ、或いは、止まっていたが急に走り出した、机の上に置いてあった物が落ち始めた、といったように、当該人物の視線の先にあるオブジェクトの単位時間あたりの変化量が所定の閾値を超えた場合をいう。また、要因特定部３０７ｄは、人物変化検出部３０７ｃにより人物の状態に所定の変化が検出されたフレーム画像と同一のフレーム画像内の特徴量の状況に基づき対象を特定した場合には、フレーム画像全体の時間的位置を遡った際に、自動車等の移動物体が高速で進入してきた、或いは、日の出や日の入りのようにフレーム画像内の色味が急激に変化し始めた、といったように、フレーム画像内の特徴量の単位時間あたりの変化量が所定の閾値を超えた場合をいう。
【００６０】
例えば、上述の例のように、人物変化検出部３０７ｃにより検出された親（人物）の状態の変化が表情の急激な変化であり、ＩＤ番号「２」の「心拍や表情の急激な変化」に該当すると判定された場合、要因特定部３０７ｄは、該当するＩＤ番号「２」に対応する「対象の特定」Ｔ４３の項目に示されている１〜３番目の方法に従い、対象を特定する。具体的には、要因特定部３０７ｄは、１番目の方法に従い、オブジェクト検出で人を検出し、検出された人（子供）を対象として特定する。また、要因特定部３０７ｄは、２番目の方法に従い、オブジェクト検出で人以外のオブジェクトを検出し、検出された人以外のオブジェクトを対象として特定する。ここで、１番目の方法により人が対象として特定されるとともに、２番目の方法により人以外のオブジェクトが対象として特定された場合、オブジェクトの大きさによって対象を特定する。一方、１番目と２番目の方法によって対象を特定することができなかった場合、要因特定部３０７ｄは、３番目の方法に従い、周辺環境を対象として特定する。
そして、要因特定部３０７ｄは、上記の各方法により特定された対象（例えば、子供）が有意な変化を開始した時間的位置（例えば、転んだタイミング）を遡って特定する。ここで、例えば、上述のように１番目の方法により人が対象として特定されるとともに、２番目の方法により人以外のオブジェクトが対象として特定された場合、要因特定部３０７ｄは、先ず、より大きい方のオブジェクトを対象として、当該対象が有意な変化を開始した時間的位置を遡って特定し、特定することができなかった場合、小さい方のオブジェクトを対象として、当該対象が有意な変化を開始した時間的位置を遡って特定する。
【００６１】
編集処理部（編集手段）３０７ｅは、要因特定部３０７ｄによる特定結果に応じて、動画像を時間的に編集する。
具体的には、編集処理部３０７ｅは、要因特定部３０７ｄにより特定された対象に有意な変化があるか否かを判別する。
そして、要因特定部３０７ｄにより特定された対象に有意な変化が無いと判別された場合、編集処理部１０７ｅは、編集内容テーブル３０７ｂを用いて、編集内容「通常の時系列再生」を特定し、上記の判別対象となった所定数のフレーム画像に対して、通常の時系列再生処理（編集処理）を施す。
一方、要因特定部３０７ｄにより特定された対象に有意な変化があると判別された場合、編集処理部３０７ｅは、更に、当該変化に係る単位時間あたりの変化量が変化量の大きさを判別する所定の閾値以上であるか否かを判別する。
【００６２】
そして、当該変化に係る単位時間あたりの変化量が変化量の大きさを判別する所定の閾値以上でない、すなわち「小」であると判別された場合、編集処理部３０７ｅは、要因特定部３０７ｄにより特定された上記時間的位置での人物（人物変化検出部３０７ｃにより検出された人物）の感情を判別し、当該感情に応じた編集内容を特定し、特定された編集内容に基づき編集処理を施す。より具体的には、要因特定部３０７ｄにより特定された上記時間的位置での上記人物の感情が「ニュートラル（例えば「驚き」）」であると判別された場合、編集処理部３０７ｅは、編集内容テーブル３０７ｂを参照し、編集内容として「画面を２分割し、対象Ａ（人物変化検出部３０７ｃにより検出された人物、以下同様）と対象Ｂ（要因特定部３０７ｄにより特定された対象、以下同様）を同時再生する」を特定し、当該編集内容による編集処理を施す。また、要因特定部３０７ｄにより特定された上記時間的位置での上記人物の感情が「ネガティブ（例えば「哀しみ」、「恐怖」、「怒り」）」であると判別された場合、編集処理部３０７ｅは、編集内容テーブル３０７ｂを参照し、編集内容として「対象Ｂに注目し、ワイプに対象Ａを表示して再生する」を特定し、当該編集内容による編集処理を施す。また、要因特定部３０７ｄにより特定された上記時間的位置での上記人物の感情が「ポジティブ（例えば「喜び」、「好き」、「安らぎ」）」であると判別された場合、編集処理部３０７ｅは、編集内容テーブル３０７ｂを参照し、編集内容として「対象Ｂから対象Ａに映像をスライドして再生する」を特定し、当該編集内容による編集処理を施す。
【００６３】
一方、当該変化に係る単位時間あたりの変化量が変化量の大きさを判別する所定の閾値以上、すなわち「大」であると判別された場合も、編集処理部３０７ｅは、要因特定部３０７ｄにより特定された上記時間的位置での人物の感情を判別し、当該感情に応じた編集処理を施す。より具体的には、要因特定部３０７ｄにより特定された上記時間的位置での上記人物の感情が「ニュートラル」であると判別された場合、編集処理部３０７ｅは、編集内容テーブル３０７ｂを参照し、編集内容として「対象Ａに注目して再生した後に時間巻き戻しを行い、対象Ｂに注目して再生する」を特定し、当該編集内容による編集処理を施す。例えば、上述の例のように、要因特定部３０７ｄにより特定された上記時間的位置での上記人物（親）の感情が「驚き（ニュートラル）」であると判別された場合、編集処理部３０７ｅは、編集内容テーブル３０７ｂを参照し、編集内容として「親（対象Ａ）に注目して再生した後に時間巻き戻しを行い、子供（対象Ｂ）に注目して再生する」を特定し、当該編集内容による編集処理を施す。また、要因特定部３０７ｄにより特定された上記時間的位置での上記人物の感情が「ネガティブ」であると判別された場合、編集処理部３０７ｅは、編集内容テーブル３０７ｂを参照し、編集内容として「スローもしくは高速に対象Ａと対象Ｂを切り替えて再生する」を特定し、当該編集内容による編集処理を施す。また、要因特定部３０７ｄにより特定された上記時間的位置での上記人物の感情が「ポジティブ」であると判別された場合、編集処理部３０７ｅは、編集内容テーブル３０７ｂを参照し、編集内容として「対象Ａと対象Ｂが入る画角に変換して再生する（例えば、パノラマ編集やリトルプラネット編集（３６０°パノラマ編集））」を特定し、当該編集内容による編集処理を施す。
【００６４】
なお、上述した人物の感情である「ニュートラル（例えば「驚き」）」、「ネガティブ（例えば「哀しみ」、「恐怖」、「怒り」）」、「ポジティブ（例えば「喜び」、「好き」、「安らぎ」）」は、公知の音声解析技術を使用することにより判別可能である。
【００６５】
＜動画像編集処理＞
次に、動画像処理装置３００による動画像編集処理について、図１０を参照して説明する。図１０は、動画像編集処理に係る動作の一例を示すフローチャートである。
【００６６】
図１０に示すように、先ず、ユーザ操作に基づき記録部１０３に記録されている動画像から編集対象となる動画像の指定操作がなされ、操作入力部１０５より当該指定操作に係る指示が動画像処理部３０７に入力されると（ステップＳ２１）、動画像処理部３０７によって、指定された動画像が記録部１０３から読み出される。そして、人物変化検出部３０７ｃは、読み出された動画像を構成するフレーム画像ごとに順次、フレーム画像の内容の解析としてオブジェクト検出、人物の状態の解析（例えば、視線解析、心拍解析、表情解析等）及び特徴量の解析（注目領域の推定）を行うことによって、読み出された動画像から、当該動画像に記録されている人物の状態の変化を逐次検出する（ステップＳ２２）。
【００６７】
次いで、要因特定部３０７ｄは、人物変化検出部３０７ｃによって動画像に記録されている人物の状態の変化が逐次検出されるごとに、要因特定テーブル３０７ａを用いて、検出された人物の状態に所定の変化があるか、すなわち当該人物の状態の変化がＩＤ番号「１」の「視線の急激な変化」とＩＤ番号「２」の「心拍や表情の急激な変化」とのうちのいずれかに該当するか否かを判定する（ステップＳ２３）。
【００６８】
ステップＳ２３において、検出された人物の状態に所定の変化がない、すなわち当該人物の状態の変化がＩＤ番号「１」の「視線の急激な変化」とＩＤ番号「２」の「心拍や表情の急激な変化」のいずれにも該当しないと判定された場合（ステップＳ２３；ＮＯ）、ステップＳ２９へ移行する。
一方、ステップＳ２３において、検出された人物の状態に所定の変化がある、すなわち当該人物の状態の変化がＩＤ番号「１」の「視線の急激な変化」とＩＤ番号「２」の「心拍や表情の急激な変化」とのうちのいずれかに該当すると判定された場合（ステップＳ２３；ＹＥＳ）、要因特定部３０７ｄは、該当するＩＤ番号に対応する「対象の特定」Ｔ４３の項目に示されている特定方法によって所定の変化の要因となる対象を特定する（ステップＳ２４）。
【００６９】
次いで、要因特定部３０７ｄは、ステップＳ２４で特定された対象に有意な変化があるか否かを動画像の時間的位置を遡って判定する（ステップＳ２５）。
ステップＳ２５において、対象に有意な変化が無いと判定された場合（ステップＳ２５；ＮＯ）、ステップＳ２６をスキップして、ステップＳ２７へ移行する。
一方、ステップＳ２５において、対象に有意な変化があると判定された場合（ステップＳ２５；ＹＥＳ）、要因特定部３０７ｄは、当該対象が有意な変化を開始した時間的位置を特定し（ステップＳ２６）、ステップＳ２７へ移行する。
【００７０】
次いで、編集処理部３０７ｅは、編集内容テーブル３０７ｂを用いて、要因特定部３０７ｄにより特定されて対象に応じて編集内容を特定する（ステップＳ２７）。そして、編集処理部３０７ｅは、ステップＳ２７で特定された編集内容に基づき編集処理を行う（ステップＳ２８）。
【００７１】
次いで、動画像処理部３０７は、人物変化検出部３０７ｃによって最後のフレーム画像まで内容の解析が行われたか否かを判定する（ステップＳ２９）。
ステップＳ２９において、最後のフレーム画像まで内容の解析が行われていないと判定された場合（ステップＳ２９；ＮＯ）、ステップＳ２２へ戻り、それ以降の処理を繰り返し行う。
一方、ステップＳ２９において、最後のフレーム画像まで内容の解析が行われたと判定された場合（ステップＳ２９；ＹＥＳ）、動画像処理部３０７は、動画像編集処理を終了する。
【００７２】
以上のように、本実施形態の動画像処理装置３００は、編集対象の動画像から、当該動画像に記録されている人物の状態の変化を検出し、人物の状態に所定の変化が検出された際に、動画像内における当該所定の変化の要因を特定し、要因の特定結果に応じて、動画像を時間的に編集したこととなる。
このため、編集対象の動画像に記録されている人物の状態に所定の変化が検出された場合、当該動画像を編集する際に当該所定の変化の要因にまつわる編集処理を行うことができるので、当該動画像を効果的に編集することができる。
【００７３】
また、本実施形態の動画像処理装置３００は、人物の状態に所定の変化が検出された際の動画像内における当該所定の変化の要因となる対象を特定するとともに、特定される対象に基づき、動画像内における所定の変化の要因の時間的位置を特定し、特定された時間的位置に応じて、動画像を時間的に編集したこととなるので、当該動画像をより効果的に編集することができる。
【００７４】
また、本実施形態の動画像処理装置３００は、特定された対象の動画像内における状態の変化を検出し、当該対象に所定の変化が検出された際の時間的位置を、動画像内における所定の変化の要因の時間的位置として特定したこととなるので、当該動画像内における所定の変化の要因の時間的位置を精度良く特定することができるようになる。
【００７５】
また、本実施形態の動画像処理装置３００は、人物の状態に所定の変化が検出された際のフレーム画像と同一のフレーム画像内の特徴量の状況と人物の視線のうちの少なくとも何れか一方に基づき、当該人物の状態に所定の変化が検出された際の当該動画像内における所定の変化の要因となる対象を特定したこととなるので、当該動画像内における所定の変化の要因となる対象を精度良く特定することができるようになる。
【００７６】
また、本実施形態の動画像処理装置３００は、所定の変化の種類毎に予め対応付けられている当該所定の変化の要因の特定方法を選択して、動画像内における当該所定の変化の要因を特定するので、当該所定の変化の種類に応じて、当該所定の変化の要因を適切に特定することができるようになる。
【００７７】
また、本実施形態の動画像処理装置３００は、検出される人物の状態の所定の変化の種類と大きさに応じて、動画像を時間的に編集したこととなるので、当該動画像をより一層効果的に編集することができる。
【００７８】
また、本実施形態の動画像処理装置３００は、検出される対象の動画像内における状態の変化の種類に応じて、動画像を時間的に編集したこととなるので、当該動画像をより一層効果的に編集することができる。
【００７９】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
上記実施形態１〜３にあっては、動画像処理部により処理される動画像として、全天球動画を一例に挙げて説明を行ったが、当該動画像は、通常一般的に撮影される動画像であっても良い。
【００８０】
また、上記実施形態２にあっては、動画像処理部２０７が実施形態１と同様の編集内容テーブルと編集処理部とを具備するようにして、当該編集処理部が、関連要素特定部２０７ｄにより特定された関連要素の動画像（編集対象の動画像）内における変化に応じて、当該動画像を編集するようにしても良い。
【００８１】
本発明の実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
動画像から、当該動画像に含まれる複数の注目対象であって、少なくともそのうちの一の注目対象が人物である複数の注目対象を特定する注目対象特定手段と、
前記動画像内において前記注目対象特定手段により特定された前記複数の注目対象を互いに関連付ける関連要素を特定する関連要素特定手段と、
前記関連要素特定手段により特定された前記関連要素に応じて、所定の処理を実行する処理実行手段と、
を備えたことを特徴とする動画像処理装置。
＜請求項２＞
前記関連要素特定手段は、前記動画像内において前記注目対象特定手段により特定された前記複数の注目対象を互いに関連付ける要素であって、かつ時間的に変化する要素である関連要素を特定し、
前記処理実行手段は、前記関連要素特定手段により特定された前記関連要素の前記動画像内における時間的な変化に応じて、所定の処理を実行することを特徴とする請求項１に記載の動画像処理装置。
＜請求項３＞
前記注目対象特定手段により特定された前記複数の注目対象の各々の前記動画像内における時間的に変化する要素である注目要素を特定する注目要素特定手段を備え、
前記関連要素特定手段は、
前記注目要素特定手段によって特定された前記複数の注目対象の各々の前記注目要素に基づき、前記動画像内において当該複数の注目対象を互いに関連付ける関連要素を特定することを特徴とする請求項２に記載の動画像処理装置。
＜請求項４＞
前記動画像は、編集対象の動画像であって、
前記処理実行手段は、前記関連要素特定手段により特定された前記関連要素の前記動画像内における時間的な変化に応じて、前記所定の処理として、前記動画像を編集することを特徴とする請求項２又は３に記載の動画像処理装置。
＜請求項５＞
前記関連要素特定手段により特定された前記関連要素の前記動画像内における時間的な変化量を判別する判別手段を更に備え、
前記処理実行手段は、前記判別手段による判別結果に応じて、前記動画像を編集することを特徴とする請求項４に記載の動画像処理装置。
＜請求項６＞
前記動画像は、撮像手段により逐次撮像される動画像であることを特徴とする請求項１〜３のいずれか一項に記載の動画像処理装置。
＜請求項７＞
前記注目対象特定手段は、オブジェクト検出と、人物の状態の解析と、動画像内の特徴量の解析とのうちの少なくとも２つに基づき、前記複数の注目対象を特定することを特徴とする請求項１〜６のいずれか一項に記載の動画像処理装置。
＜請求項８＞
前記関連要素特定手段は、前記関連要素として、人物の心拍と、表情と、行動と、視線とのうちの少なくともいずれかの要素を特定することを特徴とする請求項１〜７のいずれか一項に記載の動画像処理装置。
＜請求項９＞
編集対象の動画像から、当該動画像に記録されている人物の状態の変化を検出する人物変化検出手段と、
前記人物変化検出手段により前記人物の状態に所定の変化が検出された際に、前記動画像内における当該所定の変化の要因を特定する特定手段と、
前記特定手段による特定結果に応じて、前記動画像を時間的に編集する編集手段と、
を備えることを特徴とする動画像処理装置。
＜請求項１０＞
前記特定手段は、
前記人物変化検出手段により前記人物の状態に所定の変化が検出された際の前記動画像内における当該所定の変化の要因となる対象を特定する対象特定手段と、
前記対象特定手段により特定される対象に基づき、前記動画像内における前記所定の変化の要因の時間的位置を特定する時間的位置特定手段と、を備え、
前記編集手段は、前記時間的位置特定手段により特定された時間的位置に応じて、前記動画像を時間的に編集することを特徴とする請求項９に記載の動画像処理装置。
＜請求項１１＞
前記特定手段は、前記対象特定手段により特定される対象の前記動画像内における状態の変化を検出する対象変化検出手段を、更に備え、
前記時間的位置特定手段は、前記対象変化検出手段により前記対象に所定の変化が検出された際の時間的位置を、前記動画像内における前記所定の変化の要因の時間的位置として特定することを特徴とする請求項１０に記載の動画像処理装置。
＜請求項１２＞
前記対象特定手段は、前記動画像の同一フレーム画像内の特徴量の状況と前記人物の視線のうちの少なくとも何れか一方に基づき、前記人物変化検出手段により前記人物の状態に所定の変化が検出された際の当該動画像内における所定の変化の要因となる対象を特定することを特徴とする請求項１０又は１１に記載の動画像処理装置。
＜請求項１３＞
前記特定手段は、前記所定の変化の種類毎に予め対応付けられている当該所定の変化の要因の特定方法を選択して、前記動画像内における当該所定の変化の要因を特定することを特徴とする請求項１０〜１２のいずれか一項に記載の動画像処理装置。
＜請求項１４＞
前記編集手段は、前記人物変化検出手段により検出される前記人物の状態の所定の変化の種類と大きさのうちの少なくともいずれか一方に応じて、前記動画像を時間的に編集することを特徴とする請求項１０〜１３のいずれか一項に記載の動画像処理装置。
＜請求項１５＞
前記編集手段は、前記対象変化検出手段により検出される前記対象の前記動画像内における状態の変化の種類に応じて、前記動画像を時間的に編集することを特徴とする請求項１０〜１４のいずれか一項に記載の動画像処理装置。
＜請求項１６＞
動画像から、当該動画像に含まれる複数の注目対象であって、少なくともそのうちの一の注目対象が人物である複数の注目対象を特定する注目対象特定処理と、
前記動画像内において前記注目対象特定処理により特定された前記複数の注目対象を互いに関連付ける関連要素を特定する関連要素特定処理と、
前記関連要素特定処理により特定された前記関連要素に応じて、所定の処理を実行する処理実行処理と、
を含むことを特徴とする動画像処理方法。
＜請求項１７＞
編集対象の動画像から、当該動画像に記録されている人物の状態の変化を検出する人物変化検出処理と、
前記人物変化検出処理により前記人物の状態に所定の変化が検出された際に、前記動画像内における当該所定の変化の要因を特定する特定処理と、
前記特定処理による特定結果に応じて、前記動画像を時間的に編集する編集処理と、
を含むことを特徴とする動画像処理方法。
＜請求項１８＞
コンピュータに、
動画像から、当該動画像に含まれる複数の注目対象であって、少なくともそのうちの一の注目対象が人物である複数の注目対象を特定する注目対象特定機能、
前記動画像内において前記注目対象特定機能により特定された前記複数の注目対象を互いに関連付ける関連要素を特定する関連要素特定機能、
前記関連要素特定機能により特定された前記関連要素に応じて、所定の処理を実行する処理実行機能、
を実現させることを特徴とするプログラム。
＜請求項１９＞
コンピュータに、
編集対象の動画像から、当該動画像に記録されている人物の状態の変化を検出する人物変化検出機能、
前記人物変化検出機能により前記人物の状態に所定の変化が検出された際に、前記動画像内における当該所定の変化の要因を特定する特定機能、
前記特定機能による特定結果に応じて、前記動画像を時間的に編集する編集機能、
を実現させることを特徴とするプログラム。
【符号の説明】
【００８２】
１００    動画像処理装置
１０１    中央制御部
１０２    メモリ
１０３    記録部
１０４    表示部
１０４ａ  表示パネル
１０５    操作入力部
１０５ａ  タッチパネル
１０６    通信制御部
１０６ａ  通信アンテナ
１０７    動画像処理部
１０７ａ  関連性テーブル
１０７ｂ  編集内容テーブル
１０７ｃ  注目対象特定部
１０７ｄ  関連要素特定部
１０７ｅ  編集処理部
２００    動画像処理装置
２０７    動画像処理部
２０７ａ  関連性テーブル
２０７ｂ  注目対象特定部
２０７ｃ  注目要素特定部
２０７ｄ  関連要素特定部
３００    動画像処理装置
３０７    動画像処理部
３０７ａ  要因特定テーブル
３０７ｂ  編集内容テーブル
３０７ｃ  人物変化検出部
３０７ｄ  要因特定部
３０７ｅ  編集処理部
【図１】
2018157293.tif 000003
【図２】
2018157293.tif 000004
【図３】
2018157293.tif 000005
【図４】
2018157293.tif 000006
【図５】
2018157293.tif 000007
【図６】
2018157293.tif 000008
【図７】
2018157293.tif 000009
【図８】
2018157293.tif 000010
【図９】
2018157293.tif 000011
【図１０】
2018157293.tif 000012
【手続補正書】
【提出日】平成30年1月31日(2018.1.31)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
前記目的を達成するため、本発明に係る動画像処理装置の一態様は、
動画像から、前記動画像に含まれる複数の注目対象であって、少なくとも一の注目対象が人物である前記複数の注目対象を特定する注目対象特定手段と、
前記動画像内において前記注目対象特定手段により特定された前記複数の注目対象を互いに関連付ける関連要素に応じて、所定の処理を実行する処理実行手段と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明に係る動画像処理装置の一態様は、
編集対象の動画像から、前記動画像に記録されている人物の状態の変化を検出する人物変化検出手段と、
前記人物変化検出手段により検出された、前記動画像内における前記人物の状態の所定の変化の要因に応じて、前記動画像を時間的に編集する編集手段と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明に係る動画像処理方法の一態様は、
動画像から、前記動画像に含まれる複数の注目対象であって、少なくとも一の注目対象が人物である前記複数の注目対象を特定する注目対象特定処理と、
前記動画像内において前記注目対象特定処理により特定された前記複数の注目対象を互いに関連付ける関連要素に応じて、所定の処理を実行する処理実行処理と、
を含む、
ことを特徴とする。
また、前記目的を達成するため、本発明に係る動画像処理方法の一態様は、
編集対象の動画像から、前記動画像に記録されている人物の状態の変化を検出する人物変化検出処理と、
前記人物変化検出処理により検出された、前記動画像内における前記人物の状態の所定の変化の要因に応じて、前記動画像を時間的に編集する編集処理と、
を含む、
ことを特徴とする。
また、前記目的を達成するため、本発明に係るプログラムの一態様は、
コンピュータに、
動画像から、前記動画像に含まれる複数の注目対象であって、少なくとも一の注目対象が人物である前記複数の注目対象を特定する注目対象特定機能、
前記動画像内において前記注目対象特定機能により特定された前記複数の注目対象を互いに関連付ける関連要素に応じて、所定の処理を実行する処理実行機能、
を実現させる、
ことを特徴とする。
また、前記目的を達成するため、本発明に係るプログラムの一態様は、
コンピュータに、
編集対象の動画像から、前記動画像に記録されている人物の状態の変化を検出する人物変化検出機能、
前記人物変化検出機能により検出された、前記動画像内における前記人物の状態の所定の変化の要因に応じて、前記動画像を時間的に編集する編集機能、
を実現させる、
ことを特徴とする。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画像から、前記動画像に含まれる複数の注目対象であって、少なくとも一の注目対象が人物である前記複数の注目対象を特定する注目対象特定手段と、
前記動画像内において前記注目対象特定手段により特定された前記複数の注目対象を互いに関連付ける関連要素に応じて、所定の処理を実行する処理実行手段と、
を備える、
ことを特徴とする動画像処理装置。
【請求項２】
前記動画像内において前記注目対象特定手段により特定された前記複数の注目対象を互いに関連付ける前記関連要素を特定する関連要素特定手段を更に備え、
前記処理実行手段は、前記関連要素特定手段により特定された前記関連要素に応じて、前記所定の処理を実行する、
ことを特徴とする請求項１に記載の動画像処理装置。
【請求項３】
前記関連要素特定手段は、前記動画像内において前記注目対象特定手段により特定された前記複数の注目対象を互いに関連付ける要素であって、且つ、時間的に変化する要素である前記関連要素を特定し、
前記処理実行手段は、前記関連要素特定手段により特定された前記関連要素の前記動画像内における時間的な変化に応じて、前記所定の処理を実行する、
ことを特徴とする請求項２に記載の動画像処理装置。
【請求項４】
前記注目対象特定手段により特定された前記複数の注目対象の各々の前記動画像内における時間的に変化する要素である注目要素を特定する注目要素特定手段を更に備え、
前記関連要素特定手段は、
前記注目要素特定手段によって特定された前記複数の注目対象の各々の前記注目要素に基づき、前記動画像内において前記複数の注目対象を互いに関連付ける前記関連要素を特定する、
ことを特徴とする請求項２又は３に記載の動画像処理装置。
【請求項５】
前記動画像は、編集対象の画像であって、
前記処理実行手段は、前記関連要素特定手段により特定された前記関連要素の前記動画像内における時間的な変化に応じて、前記所定の処理として、前記動画像を編集する、
ことを特徴とする請求項２乃至４のいずれか１項に記載の動画像処理装置。
【請求項６】
前記関連要素特定手段により特定された前記関連要素の前記動画像内における時間的な変化量を判別する判別手段を更に備え、
前記処理実行手段は、前記判別手段による判別結果に応じて、前記所定の処理として、前記動画像を編集する、
ことを特徴とする請求項２乃至５のいずれか１項に記載の動画像処理装置。
【請求項７】
前記動画像は、撮像手段により逐次撮像される画像である、
ことを特徴とする請求項１乃至６のいずれか１項に記載の動画像処理装置。
【請求項８】
前記注目対象特定手段は、オブジェクト検出と、前記人物の状態の解析と、動画像内の特徴量の解析と、のうちの少なくとも２つに基づき、前記複数の注目対象を特定する、
ことを特徴とする請求項１乃至７のいずれか１項に記載の動画像処理装置。
【請求項９】
前記関連要素特定手段は、前記関連要素として、前記人物の心拍と、表情と、行動と、視線と、のうちの少なくともいずれかの要素を特定する、
ことを特徴とする請求項２乃至６のいずれか１項に記載の動画像処理装置。
【請求項１０】
編集対象の動画像から、前記動画像に記録されている人物の状態の変化を検出する人物変化検出手段と、
前記人物変化検出手段により検出された、前記動画像内における前記人物の状態の所定の変化の要因に応じて、前記動画像を時間的に編集する編集手段と、
を備える、
ことを特徴とする動画像処理装置。
【請求項１１】
前記人物変化検出手段により検出された、前記動画像内における前記所定の変化の前記要因を特定する特定手段を更に備え、
前記編集手段は、前記特定手段により特定された特定結果に応じて、前記動画像を時間的に編集する、
ことを特徴とする請求項１０に記載の動画像処理装置。
【請求項１２】
前記特定手段は、
前記人物変化検出手段により検出された、前記動画像内における前記所定の変化の前記要因となる対象を特定する対象特定手段と、
前記対象特定手段により特定された前記対象に基づき、前記動画像内における前記所定の変化の前記要因の時間的位置を特定する時間的位置特定手段と、
を有し、
前記編集手段は、前記時間的位置特定手段により特定された前記時間的位置に応じて、前記動画像を時間的に編集する、
ことを特徴とする請求項１１に記載の動画像処理装置。
【請求項１３】
前記特定手段は、前記対象特定手段により特定された前記対象の前記動画像内における状態の変化を検出する対象変化検出手段を、
更に有し、
前記時間的位置特定手段は、前記対象変化検出手段により検出された、前記対象の前記所定の変化の時間的位置を、前記動画像内における前記所定の変化の前記要因の時間的位置として特定する、
ことを特徴とする請求項１２に記載の動画像処理装置。
【請求項１４】
前記対象特定手段は、前記動画像の同一フレーム画像内の特徴量の状況と前記人物の視線とのうちの少なくとも何れか一方に基づき、前記人物変化検出手段により検出された、前記動画像内における前記所定の変化の前記要因となる前記対象を特定する、
ことを特徴とする請求項１２又は１３に記載の動画像処理装置。
【請求項１５】
前記特定手段は、前記所定の変化の種類毎に予め対応付けられている前記所定の変化の前記要因の特定方法を選択して、前記動画像内における前記所定の変化の前記要因を特定する、
ことを特徴とする請求項１１乃至１４のいずれか１項に記載の動画像処理装置。
【請求項１６】
前記編集手段は、前記人物変化検出手段により検出される前記人物の状態の前記所定の変化の種類と大きさとのうちの少なくともいずれか一方に応じて、前記動画像を時間的に編集する、
ことを特徴とする請求項１０乃至１５のいずれか１項に記載の動画像処理装置。
【請求項１７】
前記編集手段は、前記対象変化検出手段により検出される前記対象の前記動画像内における状態の前記所定の変化の種類に応じて、前記動画像を時間的に編集する、
ことを特徴とする請求項１３に記載の動画像処理装置。
【請求項１８】
動画像から、前記動画像に含まれる複数の注目対象であって、少なくとも一の注目対象が人物である前記複数の注目対象を特定する注目対象特定処理と、
前記動画像内において前記注目対象特定処理により特定された前記複数の注目対象を互いに関連付ける関連要素に応じて、所定の処理を実行する処理実行処理と、
を含む、
ことを特徴とする動画像処理方法。
【請求項１９】
編集対象の動画像から、前記動画像に記録されている人物の状態の変化を検出する人物変化検出処理と、
前記人物変化検出処理により検出された、前記動画像内における前記人物の状態の所定の変化の要因に応じて、前記動画像を時間的に編集する編集処理と、
を含む、
ことを特徴とする動画像処理方法。
【請求項２０】
コンピュータに、
動画像から、前記動画像に含まれる複数の注目対象であって、少なくとも一の注目対象が人物である前記複数の注目対象を特定する注目対象特定機能、
前記動画像内において前記注目対象特定機能により特定された前記複数の注目対象を互いに関連付ける関連要素に応じて、所定の処理を実行する処理実行機能、
を実現させる、
ことを特徴とするプログラム。
【請求項２１】
コンピュータに、
編集対象の動画像から、前記動画像に記録されている人物の状態の変化を検出する人物変化検出機能、
前記人物変化検出機能により検出された、前記動画像内における前記人物の状態の所定の変化の要因に応じて、前記動画像を時間的に編集する編集機能、
を実現させる、
ことを特徴とするプログラム。