(57)【要約】      （修正有）【課題】取得した動画に対して、当該動画の処理単位の特性を示す情報の付加を可能とする動画処理装置、動画要約装置、動画処理方法、動画要約方法及びプログラムを提供する。【解決手段】１以上の処理単位を有する動画である撮影動画を受け付ける撮影動画受付部１２と、撮影動画が有する１以上の処理単位に対して、１以上の処理単位の特性を示す情報である１又は２種類以上のセンサー関連情報を取得するセンサー関連情報取得部１３と、センサー関連情報取得部が取得したセンサー関連情報を、対応する処理単位に対して付加するセンサー関連情報付加部とを備える動画処理装置１により、取得した動画に対して、当該動画の処理単位の特性を示す情報を付加する。【選択図】図１
2016119611.tif 000002
【特許請求の範囲】
【請求項１】
１以上の処理単位を有する動画である撮影動画を受け付ける撮影動画受付部と、
前記撮影動画が有する１以上の処理単位に対して、当該１以上の処理単位の特性を示す情報である１または２種類以上のセンサー関連情報を取得するセンサー関連情報取得部と、
前記センサー関連情報取得部が取得したセンサー関連情報を、対応する処理単位に対して付加するセンサー関連情報付加部とを備える動画処理装置。
【請求項２】
前記センサー関連情報取得部は、
前記１以上の処理単位に対して、ユーザの視線を検出するセンサーが取得する情報を用いて取得される情報であり、検出したユーザの視線に関するセンサー関連情報である視線関連情報を取得する視線関連情報取得手段を備える請求項１記載の動画処理装置。
【請求項３】
前記センサー関連情報取得部は、
前記１以上の処理単位に対して、特定の人物の顔を検出した結果に関するセンサー関連情報である顔関連情報を取得する顔関連情報取得手段を備える請求項１記載の動画処理装置。
【請求項４】
前記センサー関連情報取得部は、
前記１以上の処理単位に対して、マイクが取得する人物の声を用いて取得される情報であり、取得した人物の声に関するセンサー関連情報である声関連情報を取得する声関連情報取得手段を備える請求項１記載の動画処理装置。
【請求項５】
前記センサー関連情報取得部は、
前記１以上の処理単位に対して、三次元の加速度を検出するセンサーが取得する情報を用いて取得される情報であり、検出した三次元の加速度に関するセンサー関連情報である三次元加速度関連情報を取得する三次元加速度関連情報取得手段を備える請求項１記載の動画処理装置。
【請求項６】
前記センサー関連情報取得部は、
前記１以上の処理単位に対して、当該１以上の処理単位が取得された時刻および当該１以上の処理単位が取得された位置を示す情報を用いて取得される情報であり、当該時刻および位置に対応する事象に関するセンサー関連情報である事象関連情報を取得する事象関連情報取得手段を備える請求項１記載の動画処理装置。
【請求項７】
前記撮影動画受付部は、
撮影動画を構成する１以上の処理単位を、順次、受け付け、
前記センサー関連情報取得部は、
前記撮影動画受付部が１以上の処理単位を受け付けるたびに、当該１以上の処理単位に対して、前記１または２種類以上のセンサー関連情報を取得し、
前記センサー関連情報付加部は、
前記センサー関連情報取得部がセンサー関連情報を取得するたびに、当該センサー関連情報を、対応する処理単位に対して付加し、
撮影動画が格納される撮影動画格納部と、
前記センサー関連情報付加部により、対応する処理単位に対してセンサー関連情報が付加された撮影動画を、前記撮影動画格納部に蓄積する撮影動画蓄積部とをさらに備える請求項１から請求項６いずれか一項に記載の動画処理装置。
【請求項８】
前記撮影動画蓄積部は、
付加されたセンサー関連情報が予め決められた条件を満たす１以上の処理単位を、前記撮影動画格納部に蓄積しない請求項７記載の動画処理装置。
【請求項９】
撮影動画の一部を抽出するための条件であり、１または２種類以上のセンサー関連情報に関する条件である動画要約条件を受け付ける動画要約条件受付部と、
請求項１から請求項８いずれか一項に記載の動画処理装置により取得された撮影動画であり、センサー関連情報が付加された１以上の処理単位を有する撮影動画が格納されている撮影動画格納部から、前記動画要約条件を満たすセンサー関連情報が付加されている１または２以上の処理単位から構成される動画であり、当該撮影動画の一部である部分動画を取得する部分動画取得部と、
前記部分動画取得部が取得した部分動画を出力する出力部とを備える動画要約装置。
【請求項１０】
前記１以上の処理単位には、付加されている１または２種類以上のセンサー関連情報に応じたポイントが付加されており、
前記動画要約条件は、１または２種類以上のセンサー関連情報に応じたポイントが予め決められた条件を満たすほど大きいことであり、
前記部分動画取得部は、
前記撮影動画格納部から、前記動画要約条件を満たすセンサー関連情報が付加されている１または２以上の処理単位から構成される前記部分動画を取得する請求項９記載の動画要約装置。
【請求項１１】
撮影動画受付部と、センサー関連情報取得部と、センサー関連情報付加部とを用いて行われる動画処理方法であって、
前記撮影動画受付部が、
１以上の処理単位を有する動画である撮影動画を受け付ける撮影動画受付ステップと、
前記センサー関連情報取得部が、
前記撮影動画が有する１以上の処理単位に対して、当該１以上の処理単位の特性を示す情報である１または２種類以上のセンサー関連情報を取得するセンサー関連情報取得ステップと、
前記センサー関連情報付加部が、
前記センサー関連情報取得部が取得したセンサー関連情報を、対応する処理単位に対して付加するセンサー関連情報付加ステップとを備える動画処理方法。
【請求項１２】
動画要約条件受付部と、部分動画取得部と、出力部とを用いて行われる動画要約方法であって、
前記動画要約条件受付部が、
撮影動画の一部を抽出するための条件であり、１または２種類以上のセンサー関連情報に関する条件である動画要約条件を受け付ける動画要約条件受付ステップと、
前記部分動画取得部が、
請求項１１に記載の動画処理方法により取得された撮影動画であり、センサー関連情報が付加された１以上の処理単位を有する撮影動画が格納されている撮影動画格納部から、前記動画要約条件を満たすセンサー関連情報が付加されている１または２以上の処理単位から構成される動画であり、当該撮影動画の一部である部分動画を取得する部分動画取得ステップと、
前記出力部が、
前記部分動画取得部が取得した部分動画を出力する出力ステップとを備える動画要約方法。
【請求項１３】
コンピュータを、
１以上の処理単位を有する動画である撮影動画を受け付ける撮影動画受付部、
前記撮影動画が有する１以上の処理単位に対して、当該１以上の処理単位の特性を示す情報である１または２種類以上のセンサー関連情報を取得するセンサー関連情報取得部、
前記センサー関連情報取得部が取得したセンサー関連情報を、対応する処理単位に対して付加するセンサー関連情報付加部として機能させるためのプログラム。
【請求項１４】
コンピュータを、
撮影動画の一部を抽出するための条件であり、１または２種類以上のセンサー関連情報に関する条件である動画要約条件を受け付ける動画要約条件受付部、
請求項１３に記載のプログラムにより取得された撮影動画であり、センサー関連情報が付加された１以上の処理単位を有する撮影動画が格納されている撮影動画格納部から、前記動画要約条件を満たすセンサー関連情報が付加されている１または２以上の処理単位から構成される動画であり、当該撮影動画の一部である部分動画を取得する部分動画取得部、
前記部分動画取得部が取得した部分動画を出力する出力部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した動画を処理する動画処理装置等に関するものである。
【背景技術】
【０００２】
従来、動画の撮影が可能な眼鏡型のウェアラブル機器が開発されている（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】“モベリオ”、［online］、セイコーエプソン株式会社、［２０１４年１１月１３日検索］、インターネット［URL；http://www.epson.jp/products/moverio/］
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来のウェアラブル機器では、取得した動画に対して、当該動画のフレームやフィールドなどの処理単位の特性を示す情報を付加すること、および、当該付加した情報に基づき、取得した動画の一部を取得することができなかった。
【課題を解決するための手段】
【０００５】
本第一の発明の動画処理装置は、１以上の処理単位を有する動画である撮影動画を受け付ける撮影動画受付部と、撮影動画が有する１以上の処理単位に対して、１以上の処理単位の特性を示す情報である１または２種類以上のセンサー関連情報を取得するセンサー関連情報取得部と、センサー関連情報取得部が取得したセンサー関連情報を、対応する処理単位に対して付加するセンサー関連情報付加部とを備える動画処理装置である。
【０００６】
このような構成により、取得した動画に対して、当該動画の処理単位の特性を示す情報を付加することができる。
【０００７】
また、本第二の発明の動画処理装置は、第一の発明に対して、センサー関連情報取得部は、１以上の処理単位に対して、ユーザの視線を検出するセンサーが取得する情報を用いて取得される情報であり、検出したユーザの視線に関するセンサー関連情報である視線関連情報を取得する視線関連情報取得手段を備える動画処理装置である。
【０００８】
このような構成により、取得した動画に対して、ユーザの視線に関する情報を付加することができる。
【０００９】
また、本第三の発明の動画処理装置は、第一の発明に対して、センサー関連情報取得部は、１以上の処理単位に対して、特定の人物の顔を検出した結果に関するセンサー関連情報である顔関連情報を取得する顔関連情報取得手段を備える動画処理装置である。
【００１０】
このような構成により、取得した動画に対して、特定の人物の顔を検出した結果に関する情報を付加することができる。
【００１１】
また、本第四の発明の動画処理装置は、第一の発明に対して、センサー関連情報取得部は、１以上の処理単位に対して、マイクが取得する人物の声を用いて取得される情報であり、取得した人物の声に関するセンサー関連情報である声関連情報を取得する声関連情報取得手段を備える動画処理装置である。
【００１２】
このような構成により、取得した動画に対して、人物の声に関する情報を付加することができる。
【００１３】
また、本第五の発明の動画処理装置は、第一の発明に対して、センサー関連情報取得部は、１以上の処理単位に対して、三次元の加速度を検出するセンサーが取得する情報を用いて取得される情報であり、検出した三次元の加速度に関するセンサー関連情報である三次元加速度関連情報を取得する三次元加速度関連情報取得手段を備える動画処理装置である。
【００１４】
このような構成により、取得した動画に対して、三次元の加速度に関する情報を付加することができる。
【００１５】
また、本第六の発明の動画処理装置は、第一の発明に対して、センサー関連情報取得部は、１以上の処理単位に対して、１以上の処理単位が取得された時刻および１以上の処理単位が取得された位置を示す情報を用いて取得される情報であり、時刻および位置に対応する事象に関するセンサー関連情報である事象関連情報を取得する事象関連情報取得手段を備える動画処理装置である。
【００１６】
このような構成により、取得した動画に対して、当該動画が撮影された時刻および位置に対応する事象に関する情報を付加することができる。
【００１７】
また、本第七の発明の動画処理装置は、第一から第六いずれか１つの発明に対して、撮影動画受付部は、撮影動画を構成する１以上の処理単位を、順次、受け付け、センサー関連情報取得部は、撮影動画受付部が１以上の処理単位を受け付けるたびに、１以上の処理単位に対して、１または２種類以上のセンサー関連情報が取得可能であるか否かを判断し、取得可能である場合に、１または２種類以上のセンサー関連情報を取得し、センサー関連情報付加部は、センサー関連情報取得部がセンサー関連情報を取得するたびに、センサー関連情報を、対応する処理単位に対して付加し、撮影動画が格納される撮影動画格納部と、センサー関連情報付加部により、対応する処理単位に対してセンサー関連情報が付加された撮影動画を、撮影動画格納部に蓄積する撮影動画蓄積部とをさらに備える動画処理装置である。
【００１８】
このような構成により、リアルタイムなセンサー関連情報を処理単位に付加することができる。
【００１９】
また、本第八の発明の動画処理装置は、第七の発明に対して、撮影動画蓄積部は、センサー関連情報が付加されていない１以上の処理単位を、撮影動画格納部に蓄積しない動画処理装置である。
【００２０】
このような構成により、センサー関連情報が付加されていない動画を蓄積しないようにすることができる。
【００２１】
また、本第九の発明の動画処理装置は、第七の発明に対して、撮影動画蓄積部は、付加されたセンサー関連情報が予め決められた条件を満たす１以上の処理単位を、撮影動画格納部に蓄積しない動画処理装置である。
【００２２】
このような構成により、センサー関連情報に基づき、不要な動画を蓄積しないようにすることができる。
【００２３】
また、本第十の発明の動画要約装置は、撮影動画の一部を抽出するための条件であり、１または２種類以上のセンサー関連情報に関する条件である動画要約条件を受け付ける動画要約条件受付部と、動画処理装置により取得された撮影動画であり、センサー関連情報が付加された１以上の処理単位を有する撮影動画が格納されている撮影動画格納部から、動画要約条件を満たすセンサー関連情報が付加されている１または２以上の処理単位から構成される動画であり、撮影動画の一部である部分動画を取得する部分動画取得部と、部分動画取得部が取得した部分動画を出力する出力部とを備える動画要約装置である。
【００２４】
このような構成により、センサー関連情報に基づき、撮影動画の要約を作成することができる。
【００２５】
また、本第十一の発明の動画要約装置は、第十の発明に対して、１以上の処理単位には、付加されている１または２種類以上のセンサー関連情報に応じたポイントが付加されており、動画要約条件は、１または２種類以上のセンサー関連情報に応じたポイントが予め決められた条件を満たすほど大きいことであり、部分動画取得部は、撮影動画格納部から、動画要約条件を満たすセンサー関連情報が付加されている１または２以上の処理単位から構成される部分動画を取得する動画要約装置である。
【００２６】
このような構成により、センサー関連情報に応じたポイントに基づき、撮影した動画の一部を取得することができる。
【発明の効果】
【００２７】
本発明による動画処理装置によれば、取得した動画に対して、当該動画のフレームやフィールドなどの処理単位の特性を示す情報を付加することができる。また、本発明による動画要約装置によれば、当該付加した情報に基づき、取得した動画の一部を取得することができる。
【図面の簡単な説明】
【００２８】
【図１】実施の形態１における動画処理装置１のブロック図
【図２】同動画処理装置１の全体動作について説明するフローチャート
【図３】同視線関連情報の取得処理の例について説明するフローチャート
【図４】同顔関連情報の取得処理の例について説明するフローチャート
【図５】同声関連情報の取得処理の例について説明するフローチャート
【図６】同三次元加速度関連情報の取得処理の例について説明するフローチャート
【図７】同事象関連情報の取得処理の例について説明するフローチャート
【図８】同センサー素情報の例を示す図
【図９】同センサー加工情報の例
【図１０】実施の形態２における動画要約装置２のブロック図
【図１１】同動画要約装置２の全体動作について説明するフローチャート
【図１２】同撮影動画の例を示す図
【図１３】同動画要約条件の入力例を示す図
【図１４】同部分動画の例を示す図
【図１５】同撮影動画の例を示す図
【図１６】同動画要約装置２のブロック図
【図１７】上記実施の形態におけるコンピュータシステムの概観図
【図１８】上記実施の形態におけるコンピュータシステムのブロック図
【発明を実施するための形態】
【００２９】
以下、本発明による動画処理装置等の実施の形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。また、本実施の形態において説明する各情報の形式、内容などは、あくまで例示であり、各情報の持つ意味を示すことができれば、形式、内容などは問わない。
【００３０】
（実施の形態１）
本実施の形態において、受け付けた撮影動画が有する１以上の処理単位に対して、当該処理単位の特性を示す１または２種類以上のセンサー関連情報を取得し、当該取得したセンサー関連情報を、対応する処理単位に付加する動画処理装置１について説明する。
【００３１】
なお、本実施の形態における動画処理装置１は、例えば、動画を撮影することが可能なウェアラブル機器、動画を撮影することが可能な装置が設置されたウェアラブル機器、動画を撮影する装置が取得した動画を受信することが可能なウェアラブル機器などである。
【００３２】
図１は、本実施の形態における動画処理装置１のブロック図である。動画処理装置１は、撮影動画格納部１１、撮影動画受付部１２、センサー関連情報取得部１３、センサー関連情報付加部１４、撮影動画蓄積部１５を備える。また、センサー関連情報取得部１３は、視線関連情報取得手段１３１、顔関連情報取得手段１３２、声関連情報取得手段１３３、三次元加速度関連情報取得手段１３４、事象関連情報取得手段１３５を備える。
【００３３】
撮影動画格納部１１には、撮影動画が格納される。撮影動画とは、撮影された動画である。また、撮影動画は、１以上の処理単位を有する。言い換えると、撮影動画は、１以上の処理単位から構成される動画である。処理単位とは、処理が行われる単位である。当該処理の内容は、問わない。また、一の処理単位は、通常、一のフレームである。フレームは、例えば、静止画（いわゆる画像）であると考えてもよい。また、フレームは、例えば、フィールドであってもよい。また、一の処理単位は、例えば、２以上のフレームであってもよい。つまり、例えば、一の処理単位が一のフレームである場合、撮影動画は、通常、２以上の処理単位を有する。また、例えば、一の処理単位が２以上のフレームである場合、撮影動画は、通常、１以上の処理単位を有する。
【００３４】
また、撮影動画が有する１以上の各処理単位の大きさは、同一であってもよいし、異なっていてもよい。同一とは、つまりは、１以上の各処理単位の大きさが固定であることである。また、異なるとは、つまりは、１以上の各処理単位の大きさが変動することである。また、撮影動画のデータ形式は、問わない。
【００３５】
また、撮影動画は、通常、当該撮影動画が取得された時刻を示す情報、当該撮影動画が取得された位置を示す情報などを有する。当該時刻や位置などは、例えば、撮影動画の取得が開始された際、撮影動画の取得中、撮影動画の取得が完了された際、などの時刻や位置などである。つまり、当該時刻や位置などは、通常、撮影動画が有する１以上の各処理単位が取得された時刻や位置などである。言い換えると、撮影動画が有する１以上の各処理単位は、通常、当該処理単位が取得された時刻を示す情報、当該処理単位が取得された位置を示す情報などを有する。また、撮影動画または処理単位の取得とは、例えば、撮影による取得である。
【００３６】
また、撮影動画格納部１１には、通常、後述の撮影動画蓄積部１５により、撮影動画が蓄積される。また、当該蓄積される撮影動画には、１または２種類以上のセンサー関連情報が付加されている。センサー関連情報とは、１または２以上の処理単位の特性を示す情報である。従って、撮影動画に付加されているセンサー関連情報は、通常、撮影動画が有する１または２以上の処理単位に付加されているものである。センサー関連情報は、例えば、撮影動画が有するすべての処理単位に付加されていてもよい。また、センサー関連情報は、例えば、撮影動画が有するすべての処理単位のうちのいずれか１以上の処理単位に付加されていてもよい。なお、センサー関連情報の詳細については、後述する。
【００３７】
また、センサー関連情報が付加されているとは、例えば、センサー関連情報が埋め込まれていること、センサー関連情報が対応付いていること、センサー関連情報を有すること、処理単位を識別する情報とセンサー関連情報との対応情報が予め決められた記憶領域に格納されていることなどを含み、広く解する。また、当該記憶領域は、例えば、図示しない対応情報格納部であってもよいし、撮影動画格納部１１であってもよい。
【００３８】
また、センサー関連情報とは、１または２以上の処理単位の特性を示す情報である。また、センサー関連情報は、例えば、処理単位の取得に際してセンサーが取得する情報を用いて取得される情報である。また、センサーが取得する情報は、例えば、センサーがセンシングした結果を示す情報であるとも言える。センサー関連情報は、例えば、センサーが取得する情報そのもの、センサーが取得した情報を加工した情報などである。センサーが取得した情報を加工した情報は、例えば、センサーが取得した情報に基づき取得される情報、センサーが取得した情報に付帯して取得される情報などであるとも言える。また、センサーが取得する情報そのものを、以下、適宜、センサー素情報とする。また、センサーが取得した情報を加工した情報を、以下、適宜、センサー加工情報とする。
【００３９】
センサー素情報は、例えば、撮影動画または処理単位が取得されるたびに取得される情報である。言い換えると、センサー素情報は、例えば、撮影動画または処理単位の取得に同期してリアルタイムに取得される情報である。
【００４０】
また、センサー加工情報は、通常、１または２以上のセンサー素情報が取得された後に取得される情報である。言い換えると、センサー加工情報は、通常、１または２以上のセンサー素情報をバッチ処理して取得される情報である。また、センサー加工情報は、例えば、１または２以上のセンサー素情報が取得されるたびに取得される情報であってもよい。言い換えると、センサー加工情報は、例えば、１または２以上のセンサー素情報の取得に同期してリアルタイムに取得される情報であってもよい。
【００４１】
また、センサー関連情報は、例えば、（１）視線関連情報、（２）顔関連情報、（３）声関連情報、（４）三次元加速度関連情報、（５）事象関連情報などである。これらの各情報について、以下、順に説明する。
【００４２】
（１）視線関連情報とは、ユーザの視線を検出するセンサー（以下、適宜、視線検出センサーとする）が取得する情報を用いて取得される情報である。また、視線関連情報は、当該検出したユーザの視線に関する情報である。また、視線検出センサーが取得する情報を用いて取得される情報とは、例えば、当該センサーが取得した情報そのもの、当該センサーが取得した情報を加工した情報である。前者の情報は、センサー素情報である。また、後者の情報は、センサー加工情報である。センサー素情報である視線関連情報は、例えば、ユーザの視線の位置、ユーザの視線の変動（動き）、などを示す情報である。また、センサー加工情報である視線関連情報は、例えば、ユーザの視線の変動が予め決められた条件を満たすほど小さいこと、ユーザの視線の変動が予め決められた条件を満たすほど大きいこと、などを示す情報である。ユーザの視線の変動が予め決められた条件を満たすほど小さいことを示す視線関連情報は、例えば、ユーザがある場所を凝視していることを示す。当該場所は、例えば、点、位置、箇所、領域などであってもよい。また、ユーザの視線の変動が予め決められた条件を満たすほど大きいことを示す視線関連情報は、例えば、ユーザが落ち着いていないこと、ユーザの動悸が激しいことなどを示す。また、ユーザの視線の変動を示す情報は、例えば、センサー加工情報であってもよい。
【００４３】
ユーザの視線の位置は、例えば、撮影動画または処理対象の取得時のユーザの視線の位置である。また、当該位置は、撮影動画または処理対象におけるユーザの視線の位置である。つまり、当該位置は、例えば、座標である。また、当該位置は、例えば、領域であってもよい。また、ユーザの視線の変動は、例えば、撮影動画または処理対象の取得時のユーザの視線の変動である。また、当該変動は、撮影動画または処理対象におけるユーザの視線の変動である。つまり、当該変動は、例えば、ベクトルである。
【００４４】
（２）顔関連情報とは、人物の顔を検出した結果に関するセンサー関連情報である。また、顔関連情報は、例えば、撮影動画または処理単位から、当該撮影動画または処理単位に写っている人物の顔を検出した結果に関する情報である。また、顔関連情報は、例えば、撮影動画または処理単位から、当該撮影動画または処理単位に写っている人物の顔を認識した結果に関する情報である。顔関連情報は、例えば、センサー素情報であってもよいし、センサー加工情報であってもよい。顔関連情報は、例えば、特定の人物の顔を検出したこと（特定の人物の顔が写っていること）、特定の人物の笑っている顔を検出したこと、特定の人物の泣いている顔を検出したこと、不特定の人物の顔を検出したこと（不特定の人物の顔が写っていること）、検出した人物の顔の位置、検出した人物の顔の画像、検出した人物の顔に対応する人物の名称、などを示す情報である。特定の人物は、例えば、ユーザの家族（父親、母親、兄、姉、弟、妹、息子、娘など）、ユーザの知人などである。
【００４５】
検出した人物の顔の位置は、例えば、撮影動画または処理対象における人物の顔の位置である。つまり、当該位置は、例えば、座標である。また、当該位置は、例えば、領域であってもよい。
【００４６】
（３）声関連情報とは、マイクが取得する人物の声を用いて取得される情報である。また、声関連情報は、当該取得した人物の声に関する情報である。また、マイクが取得する人物の声を用いて取得される情報とは、例えば、当該取得した声が誰の声なのかを判断した結果（話者認識の結果）、当該取得した声を認識した結果（音声認識の結果）などを示す情報である。音関連情報は、例えば、センサー素情報であってもよいし、センサー加工情報であってもよい。声関連情報は、例えば、特定の人物の声を検出したこと、不特定の人物の声を検出したこと、音声認識により取得した文字列、当該文字列が予め決められた条件（パターン）に合致すること（予め決められた文字列を検知したこと）、取得した人物の声が予め決められた条件を満たすほど大きいこと、取得した人物の声が予め決められた条件を満たすほど大きいこと、などを示す情報である。取得した人物の声が予め決められた条件を満たすほど大きいことを示す声関連情報は、例えば、ユーザや撮影の被対象者（撮影されている人物）などが盛り上がっていることを示す。
【００４７】
（４）三次元加速度関連情報とは、三次元の加速度を検出するセンサー（以下、適宜、三次元加速度センサーとする）が取得する情報を用いて取得される情報である。また、三次元加速度関連情報は、当該検出した三次元の加速度に関する情報である。また、三次元加速度センサーが取得する情報を用いて取得される情報とは、例えば、当該センサーが取得した情報そのもの、当該センサーが取得した情報を加工した情報である。前者の情報は、センサー素情報である。また、後者の情報は、センサー加工情報である。センサー素情報である三次元加速度関連情報は、例えば、三次元の加速度を示す情報である。また、センサー加工情報である三次元加速度情報は、例えば、三次元の加速度が予め決められた条件を満たすほど大きいこと、三次元の加速度が予め決められた条件を満たすほど小さいこと、三次元の加速度の平均などを示す情報である。三次元の加速度が予め決められた条件を満たすほど大きいことを示す三次元加速度関連情報は、例えば、ユーザが激しく動いたこと、ユーザの動きが激しいことなどを示す。また、三次元の加速度が予め決められた条件を満たすほど小さいことを示す三次元加速度関連情報は、例えば、ユーザが立ち止まっていること、ユーザの動きが小さいことなどを示す。
【００４８】
三次元の加速度は、例えば、撮影動画または処理対象の取得時の、当該撮影動画または処理単位を取得した装置の三次元の加速度である。例えば、当該装置をユーザが身につけている場合、三次元の加速度は、当該ユーザの三次元の加速度となる。また、三次元の加速度とは、上下方向、左右方向、前後方向の加速度である。つまり、当該三次元の加速度を示す三次元加速度情報は、例えば、ベクトルである。
【００４９】
（５）事象関連情報とは、時刻または位置に対応する事象に関する情報である。当該「または」は、例えば、「および」であってもよい。また、当該時刻は、撮影動画または処理単位が取得された時刻である。また、当該位置は、撮影動画または処理単位が取得された位置である。また、事象とは、例えば、出来事、イベント、自然現象などである。なお、事象の内容や種類などは、問わない。つまり、事象関連情報は、撮影動画または処理単位が取得された時刻を示す情報、撮影動画または処理単位が取得された位置を示す情報を用いて取得される情報である。また、事象関連情報は、通常、センサー加工情報である。事象関連情報は、例えば、事象の名称、事象の種類、事象が発生したこと、特定の事象が発生したこと、事象が発生していたこと、特定の事象が発生していたこと、などを示す情報である。また、当該「発生」は、例えば、「存在」であってもよい。
【００５０】
また、後述の撮影動画蓄積部１５により撮影動画格納部１１に蓄積される撮影動画には、例えば、ポイントが付加されていてもよい。当該ポイントは、撮影動画に付加されているセンサー関連情報に基づくポイントである。また、当該ポイントは、例えば、撮影動画に付加されているセンサー関連情報の数、当該センサー関連情報が示す特性などに基づくポイントである。
【００５１】
また、撮影動画に付加されているセンサー関連情報およびポイントは、例えば、タグ、しるし、目印、見出しなどと称してもよい。
【００５２】
また、撮影動画格納部１１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。また、撮影動画格納部１１などに所定の情報が記憶される過程は、問わない。例えば、当該所定の情報は、記録媒体や、通信回線、入力デバイスなどを介して撮影動画格納部１１などに記憶されてもよい。
【００５３】
撮影動画受付部１２は、撮影動画を受け付ける。当該受け付けとは、例えば、光ディスク、磁気ディスク、半導体メモリなどの記録媒体に格納されている情報の読み出し、通信手段を用いた受信などを含む概念である。つまり、撮影動画受付部１２は、例えば、動画処理装置１に備えられている記録媒体から、撮影動画を取得する。当該記録媒体には、例えば、図示しない撮影部により、撮影動画が蓄積される。当該撮影部は、例えば、撮影動画を取得するたびに、当該撮影動画を当該記録媒体に蓄積する。また、当該撮影部は、例えば、撮影動画を構成する処理単位を取得するたびに、当該処理単位を当該記録媒体に蓄積する。また、撮影動画受付部１２は、例えば、撮影動画を取得した装置であり、動画処理装置１以外の外部の装置から、撮影動画を受信する。
【００５４】
また、撮影動画受付部１２は、例えば、撮影動画を構成する１以上の処理単位を、順次、受け付けてもよい。この場合、撮影動画受付部１２は、例えば、動画処理装置１に備えられている記録媒体に一の処理単位が蓄積されるたびに、当該処理単位を取得する。また、この場合、撮影動画受付部１２は、例えば、外部の装置から処理単位が送信されるたびに、当該処理単位を受信する。
【００５５】
なお、撮影動画受付部１２は、通常、有線または無線の通信手段で実現される。また、撮影動画受付部１２は、例えば、ＭＰＵやメモリなどで実現されてもよい。
【００５６】
センサー関連情報取得部１３は、撮影動画が有する処理単位に対して、１または２種類以上のセンサー関連情報を取得する。当該センサー関連情報を取得する対象は、通常、１以上の処理単位であるが、２以上の処理単位であってもよい。また、当該１以上の処理単位に対するセンサー関連情報の取得は、当該１以上の処理単位に対応するセンサー関連情報を取得することである。例えば、撮影動画受付部１２が一の撮影動画を受け付けた場合、センサー関連情報取得部１３は、例えば、当該一の撮影動画が有する１以上の処理単位に対して、センサー関連情報を取得する。また、例えば、撮影動画受付部１２が、順次、処理単位を受け付ける場合、センサー関連情報取得部１３は、例えば、撮影動画受付部１２が予め決められた数の処理単位（以下、適宜、処理単位集合とする）を受け付けるたびに、当該各処理単位集合に対して、センサー関連情報を取得する。例えば、撮影動画受付部１２が一の処理単位を順次受け付ける場合、センサー関連情報取得部１３は、例えば、撮影動画受付部１２が一の処理単位を受け付けるたびに、当該一の処理単位に対して、センサー関連情報を取得する。また、例えば、撮影動画受付部１２が一の処理単位を順次受け付ける場合、センサー関連情報取得部１３は、例えば、撮影動画受付部１２が２つの処理単位を受け付けるたびに、当該２つの処理単位または当該２つの各処理単位に対して、センサー関連情報を取得する。
【００５７】
また、センサー関連情報取得部１３は、例えば、取得したセンサー関連情報に基づくポイントを取得してもよい。この場合、センサー関連情報取得部１３は、例えば、ポイント条件とポイントとの対応表を予め保持している。ポイント条件とは、ポイントを取得する条件である。また、ポイント条件は、１または２種類以上のセンサー関連情報に関する条件である。そして、センサー関連情報取得部１３は、取得したセンサー関連情報が満たす１以上の各ポイント条件に対応するポイントを取得する。そして、センサー関連情報取得部１３は、取得した１以上のポイントの合計を算出する。
【００５８】
なお、上記、ポイントは、例えば、取得したセンサー関連情報の数に応じたポイント、取得したセンサー関連情報の種類に応じたポイント、取得したセンサー関連情報が示す処理対象の特性に応じたポイント、などである。
【００５９】
また、上記、ポイント条件は、例えば、センサー関連情報の数が予め決められた閾値以上であること、センサー関連情報の種類が予め決められた種類であること、センサー関連情報が示す処理対象の特性が予め決められた特性であること、などである。センサー関連情報が示す処理対象の特性が予め決められた特性であることとは、具体的には、例えば、視線の変動が予め決められた条件を満たすほど小さいこと、特定の人物の顔を検出したこと、特定の人物の声を検出したこと、三次元の加速度が予め決められた条件を満たすほど大きいこと、時刻および位置に対応する事象が存在すること、などである。また、ポイント条件は、例えば、センサー加工情報に関する条件であることが好適である。
【００６０】
また、センサー関連情報取得部１３は、通常、センサー関連情報取得部１３が備える後述の各手段により、各種センサー関連情報を取得する。
【００６１】
視線関連情報取得手段１３１は、１以上の処理単位に対して、視線関連情報を取得する。視線関連情報取得手段１３１は、例えば、１以上の各処理単位に対して、視線関連情報を取得する。また、視線関連情報取得手段１３１は、例えば、１以上の処理単位ごとに、視線関連情報を取得する。
【００６２】
例えば、視線関連情報取得手段１３１は、１以上の各処理単位に対して、センサー素情報である視線関連情報を取得する。また、視線関連情報取得手段１３１は、例えば、１以上の処理単位ごとに、センサー加工情報である視線関連情報を取得する。このとき、視線関連情報取得手段１３１は、通常、１以上の各処理単位に対して取得したセンサー素情報である視線関連情報を用いて、センサー加工情報である視線関連情報を取得する。
【００６３】
例えば、１以上の各処理単位に対して、ユーザの視線の位置を示す視線関連情報（以下、適宜、視線位置情報とする）を取得したとする。この場合、視線関連情報取得手段１３１は、例えば、当該１以上の各処理対象に対して取得した１以上の視線位置情報を用いて、ユーザの視線の変動を示す視線関連情報を取得する。具体的に、視線関連情報取得手段１３１は、例えば、当該１以上の処理単位における時間的に最初と最後の２つの各処理単位に対して取得した視線位置情報を有するベクトルを取得する。また、視線関連情報取得手段１３１は、例えば、当該２つの視線位置情報の差分を取得する。
【００６４】
また、例えば、１以上の処理単位に対して、ユーザの視線の変動を示す視線関連情報（以下、適宜、視線変動情報とする）を取得したとする。この場合、視線関連情報取得手段１３１は、例えば、視線変動情報が示すユーザの視線の変動が、予め決められた条件（以下、適宜、視線変動小条件とする）を満たすほど小さいか否かを判断する。そして、満たす場合、視線関連情報取得手段１３１は、ユーザの視線の変動が予め決められた条件を満たすほど小さいことを示す視線関連情報（以下、適宜、視線変動小情報とする）を取得する。当該視線関連情報は、例えば、いわゆるフラグである。
【００６５】
また、例えば、上記のように、視線変動小情報を取得したとする。この場合、視線関連情報取得手段１３１は、例えば、当該視線変動小情報を取得した時間的に連続する２以上の処理単位に対して、視線変動小情報を取得する。これは、つまり、当該２以上の視線変動小情報のうちのいずれか１つを取得すること、当該２以上の視線変動小情報をユニーク処理すること、などを意味する。
【００６６】
また、視線関連情報取得手段１３１は、例えば、ユーザの視線を検出するセンサーなどから、視線関連情報を取得する。この場合、視線関連情報取得手段１３１は、例えば、当該装置を有していてもよいし、当該装置で実現されてもよい。また、視線関連情報取得手段１３１は、例えば、ＭＰＵやメモリ等から実現されてもよい。また、視線関連情報取得手段１３１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。なお、視線関連情報取得手段１３１は、ハードウェア（専用回路）で実現されてもよい。
【００６７】
顔関連情報取得手段１３２は、１以上の処理単位に対して、顔関連情報を取得する。顔関連情報取得手段１３２は、例えば、１以上の各処理単位に対して、顔関連情報を取得する。また、顔関連情報取得手段１３２は、例えば、１以上の処理単位ごとに、顔関連情報を取得する。
【００６８】
例えば、顔関連情報取得手段１３２は、１以上の各処理単位から、人物の顔を検出する。そして、顔関連情報取得手段１３２は、当該１以上の各処理単位に対して、検出した人物の顔に関する顔関連情報を取得する。また、顔関連情報取得手段１３２は、例えば、１以上の処理単位ごとに、当該１以上の処理単位から、人物の顔を検出する。そして、顔関連情報取得手段１３２は、当該１以上の処理単位に対して、検出した人物の顔に関する顔関連情報を取得する。このとき、顔関連情報取得手段１３２は、例えば、１以上の各処理単位に対して取得した顔関連情報を用いて顔関連情報を取得してもよい。
【００６９】
例えば、時間的に連続する１００の各処理単位に、特定の人物（以下、適宜、人物Ａとする）の顔が写っているとする。これは、例えば、当該１００の各処理単位に、人物Ａの顔が記録されていることを意味する。この場合、顔関連情報取得手段１３２は、当該１００の各処理単位から、人物Ａの顔を検出する。そして、顔関連情報取得手段１３２は、当該１００の各処理単位に対して、人物Ａの顔を検出したことを示す顔関連情報を取得する。これは、つまり、時間的に連続する１００の各処理単位に対して、同一の顔関連情報を取得したことを意味する。
【００７０】
また、上記のように、時間的に連続する１００の各処理単位に対して、人物Ａの顔を検出したことを示す顔関連情報を取得したとする。これは、つまり、人物Ａの顔を検出したことを示す１００の顔関連情報を取得したことを意味する。この場合、顔関連情報取得手段１３２は、例えば、当該１００の処理単位に対して、人物Ａの顔を検出したことを示す一の顔関連情報を取得する。これは、つまり、人物Ａの顔を検出したことを示す１００の顔関連情報のうちのいずれか１つを取得すること、当該１００の顔関連情報をユニーク処理すること、などを意味する。
【００７１】
なお、一の処理単位から人物の顔を検出する方法や手順など、一の処理単位に対して顔関連情報を取得する方法や手順などは、公知であるので、詳細な説明を省略する。
【００７２】
声関連情報取得手段１３３は、１以上の処理単位に対して、声関連情報を取得する。声関連情報取得手段１３３は、例えば、１以上の各処理単位に対して、声関連情報を取得する。また、声関連情報取得手段１３３は、例えば、１以上の処理単位ごとに、声関連情報を取得する。
【００７３】
例えば、声関連情報取得手段１３３は、１以上の各処理単位から、人物の声を検出する。そして、声関連情報取得手段１３３は、当該１以上の各処理単位に対して、検出した人物の声に関する声関連情報を取得する。また、声関連情報取得手段１３３は、例えば、１以上の処理単位ごとに、当該１以上の処理単位から、人物の声を検出する。そして、声関連情報取得手段１３３は、当該１以上の処理単位に対して、検出した人物の声に関する声関連情報を取得する。このとき、声関連情報取得手段１３３は、例えば、１以上の各処理単位に対して取得した声関連情報を用いて声関連情報を取得してもよい。
【００７４】
例えば、時間的に連続する１００の各処理単位に、特定の人物（以下、適宜、人物Ａとする）の声が録音されているとする。これは、例えば、当該１００の各処理単位に、人物Ａの声が記録されていること、当該１００の各処理単位が、人物Ａの声を有すること、などを意味する。この場合、声関連情報取得手段１３３は、当該１００の処理単位から、人物Ａの声を検出する。そして、声関連情報取得手段１３３は、当該１００の処理単位に対して、人物Ａの声を検出したことを示す声関連情報を取得する。これは、つまり、時間的に連続する１００の処理単位に対して、一の声関連情報を取得したことを意味する。
【００７５】
また、例えば、時間的に連続する１００の処理単位に、不特定の人物が発した「楽しい」という声が記録されているとする。これは、例えば、当該１００の各処理単位に記録されている声により、当該「楽しい」という声が構成されることを意味する。この場合、声関連情報取得手段１３３は、当該１００の処理単位から、人物の声を検出する。そして、声関連情報取得手段１３３は、当該検出した人物の声に対して音声認識を行う。そして、声関連情報取得手段１３３は、当該音声認識の結果である文字列「楽しい」を取得する。
【００７６】
また、例えば、声関連情報取得手段１３３は、上記、音声認識により取得した文字列が、予め決められた条件（以下、適宜、特定キーワード条件とする）を満たすか否かを判断してもよい。特定キーワード条件とは、音声認識により取得した文字列が予め決められた文字列を含むか否かを判断するための条件である。また、特定キーワード条件は、例えば、文字列、文字列のパターンなどである。文字列のパターンは、例えば、正規表現である。そして、声関連情報取得手段１３３は、当該文字列が当該特定キーワード条件を満たす場合に、人物の声に対応する文字列が特定キーワード条件を満たすことを示す声関連情報（以下、適宜、特定キーワード検出情報とする）を取得する。特定キーワード検出情報は、例えば、人物の声から特定のキーワードを検出したことを示す情報であってもよい。
【００７７】
なお、一の処理単位から人物の声を検出する方法や手順など、一の処理単位に対して声関連情報を取得する方法や手順など（話者認識、音声認識の方法や手順など）は、公知であるので、詳細な説明を省略する。
【００７８】
また、声関連情報取得手段１３３は、例えば、マイクなどから、声関連情報を取得する。この場合、声関連情報取得手段１３３は、例えば、当該装置を有していてもよいし、当該装置で実現されてもよい。また、声関連情報取得手段１３３は、例えば、ＭＰＵやメモリ等から実現されてもよい。また、声関連情報取得手段１３３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。なお、声関連情報取得手段１３３は、ハードウェア（専用回路）で実現されてもよい。
【００７９】
三次元加速度関連情報取得手段１３４は、１以上の処理単位に対して、三次元加速度関連情報を取得する。三次元加速度関連情報取得手段１３４は、例えば、１以上の各処理単位に対して、三次元加速度関連情報を取得する。また、三次元加速度関連情報取得手段１３４は、例えば、１以上の処理単位ごとに、三次元加速度関連情報を取得する。
【００８０】
例えば、三次元加速度関連情報取得手段１３４は、１以上の各処理単位に対して、センサー素情報である三次元加速度関連情報を取得する。また、三次元加速度関連情報取得手段１３４は、例えば、１以上の処理単位ごとに、センサー加工情報である三次元加速度関連情報を取得する。このとき、三次元加速度関連情報取得手段１３４は、通常、１以上の各処理単位に対して取得したセンサー素情報である三次元加速度関連情報を用いて、センサー加工情報である三次元加速度関連情報を取得する。
【００８１】
例えば、１以上の各処理単位に対して、三次元の加速度を示す三次元加速度関連情報（以下、適宜、三次元加速度情報とする）を取得したとする。この場合、三次元加速度関連情報取得手段１３４は、例えば、当該１以上の各三次元加速度情報が示す三次元の加速度が、予め決められた条件（以下、適宜、三次元加速度大条件とする）を満たすほど大きいか否かを判断する。そして、満たす場合、三次元加速度関連情報取得手段１３４は、三次元の加速度が三次元加速度大条件を満たすほど大きいことを示す三次元加速度関連情報（以下、適宜、三次元加速度大情報とする）を取得する。当該三次元加速度大情報は、例えば、いわゆるフラグである。
【００８２】
また、例えば、上記のように、三次元加速度大情報を取得したとする。この場合、三次元加速度関連情報取得手段１３４は、例えば、当該三次元加速度大情報を取得した時間的に連続する２以上の処理単位に対して、三次元加速度大情報を取得する。これは、つまり、当該２以上の三次元加速度大情報のうちのいずれか１つを取得すること、当該２以上の三次元加速度大情報をユニーク処理すること、などを意味する。
【００８３】
また、例えば、時間的に連続する５０の各処理単位に対して、三次元加速度情報を取得したとする。この場合、三次元加速度関連情報取得手段１３４は、当該５０の処理単位に対し、当該５０の三次元加速度情報の平均を算出する。
【００８４】
また、三次元加速度関連情報取得手段１３４は、例えば、三次元加速度センサーなどから、三次元加速度関連情報を取得する。この場合、三次元加速度関連情報取得手段１３４は、例えば、当該装置を有していてもよいし、当該装置で実現されてもよい。また、三次元加速度関連情報取得手段１３４は、例えば、ＭＰＵやメモリ等から実現されてもよい。また、三次元加速度関連情報取得手段１３４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。なお、三次元加速度関連情報取得手段１３４は、ハードウェア（専用回路）で実現されてもよい。
【００８５】
事象関連情報取得手段１３５は、１以上の処理単位に対して、事象関連情報を取得する。事象関連情報取得手段１３５は、例えば、１以上の各処理単位に対して、事象関連情報を取得する。また、事象関連情報取得手段１３５は、例えば、１以上の処理単位ごとに、事象関連情報を取得する。
【００８６】
例えば、事象関連情報取得手段１３５は、１以上の各処理単位に対して、当該１以上の各処理単位が有する時刻や位置などを示す情報を用いて、当該時刻や位置などに対応する事象関連情報を取得する。また、事象関連情報取得手段１３５は、例えば、１以上の処理単位ごとに、当該１以上の処理単位に対して、当該１以上の処理単位が有する時刻や位置などを示す情報を用いて、当該時刻や位置などに対応する事象関連情報を取得する。
【００８７】
例えば、事象関連情報取得手段１３５は、処理単位が有する時刻や位置などを示す情報を用いて、Ｗｅｂ検索を行う。当該Ｗｅｂ検索は、例えば、事象を検索するためのものであってもよいし、いわゆるＷｅｂページを検索するためのものであってもよい。そして、事象関連情報取得手段１３５は、Ｗｅｂ検索により得られた情報を、事象関連情報として取得する。
【００８８】
また、例えば、撮影動画が有する処理単位のうちの１または２以上の処理単位に対して、事象の名称を示す情報（以下、適宜、事象名称情報とする）が取得できたとする。この場合、事象関連情報取得手段１３５は、例えば、時間的に連続する２以上の処理単位であり、事象名称情報が取得できた２以上の処理単位に対して、当該処理単位に対応する時刻や位置などに関連する事象が存在することを示す事象関連情報（以下、適宜、事象存在情報とする）を取得する。当該事象存在情報は、例えば、いわゆるフラグである。
【００８９】
なお、顔関連情報取得手段１３２、事象関連情報取得手段１３５は、通常、ＭＰＵやメモリ等から実現され得る。また、顔関連情報取得手段１３２などの処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。なお、事象関連情報取得手段１３５は、ハードウェア（専用回路）で実現されてもよい。
【００９０】
センサー関連情報付加部１４は、センサー関連情報を、対応する処理単位に対して付加する。当該センサー関連情報は、センサー関連情報取得部１３が取得したセンサー関連情報である。また、当該センサー関連情報を付加する対象となる処理単位は、センサー関連情報取得部１３がセンサー関連情報の取得の対象とした処理単位である。また、処理単位にセンサー関連情報を付加するとは、例えば、処理単位が有するメタデータにセンサー関連情報を追加すること、処理単位にセンサー関連情報を対応付けること、処理単位を示す情報とセンサー関連情報との対応情報を構成することなどを含み、広く解する。
【００９１】
例えば、センサー関連情報取得部１３が、一の処理単位に対して、センサー関連情報を取得したとする。この場合、センサー関連情報付加部１４は、当該センサー関連情報を、当該一の処理単位に付加する。
【００９２】
また、例えば、センサー関連情報取得部１３が、１以上の処理単位に対して、センサー関連情報を取得したとする。この場合、センサー関連情報付加部１４は、当該センサー関連情報を、当該１以上の処理単位に付加する。具体的に、センサー関連情報付加部１４は、例えば、当該１以上の各処理単位が有するメタデータに、当該センサー関連情報を追加する。また、センサー関連情報付加部１４は、例えば、当該１以上の各処理単位に、当該センサー関連情報を対応付ける。また、センサー関連情報付加部１４は、例えば、当該１以上の各処理単位を識別する情報と、当該センサー関連情報との対応情報を構成する。このとき、センサー関連情報付加部１４は、例えば、当該１以上の処理単位のうち、時間的に最初の処理単位を識別する情報と、時間的に最後の処理単位を識別する情報と、当該センサー関連情報との対応情報を構成してもよい。
【００９３】
また、センサー関連情報付加部１４は、例えば、センサー関連情報取得部１３がセンサー関連情報を取得するたびに、当該センサー関連情報を、対応する処理単位に対して付加してもよい。これは、例えば、撮影動画受付部１２が、撮影動画を構成する１以上の処理単位を、順次、受け付ける場合に行う。
【００９４】
また、センサー関連情報付加部１４は、例えば、センサー関連情報取得部１３が取得したポイントを、対応する処理単位に付加してもよい。また、センサー関連情報付加部１４は、例えば、センサー関連情報に代えて、ポイントを付加してもよい。
【００９５】
撮影動画蓄積部１５は、センサー関連情報が付加された撮影動画を撮影動画格納部１１に蓄積する。当該センサー関連情報は、センサー関連情報付加部１４により、対応する処理単位に対して付加されたセンサー関連情報である。例えば、センサー関連情報付加部１４により、処理単位が有するメタデータにセンサー関連情報が追加された場合、撮影動画蓄積部１５は、当該メタデータを有する撮影動画を蓄積する。また、例えば、センサー関連情報付加部１４により、処理単位にセンサー関連情報が対応付けられた場合、撮影動画蓄積部１５は、当該対応付けを維持したまま、撮影動画を、当該センサー関連情報と共に蓄積する。また、例えば、センサー関連情報付加部１４により、処理単位を識別する情報と、センサー関連情報との対応情報が構成された場合、撮影動画蓄積部１５は、撮影動画を、当該対応情報と共に蓄積する。
【００９６】
また、撮影動画蓄積部１５は、例えば、ポイントが付加された撮影動画を撮影動画格納部１１に蓄積してもよい。従って、撮影動画格納部１１には、例えば、ポイントが付加された撮影動画が格納されてもよい。
【００９７】
また、撮影動画蓄積部１５は、例えば、センサー関連情報が付加されていない１以上の処理単位を、撮影動画格納部１１に蓄積しなくてもよい。例えば、センサー関連情報取得部１３は、撮影動画受付部１２が受け付けた処理単位に対して、センサー関連情報が取得可能であるか否かを判断する。そして、取得可能である場合、センサー関連情報は、当該処理単位に対してセンサー関連情報を取得する。また、取得可能でない場合、センサー関連情報は、当該処理単位に対してセンサー関連情報を取得しない。また、当該センサー関連情報が取得されなかった処理単位には、センサー関連情報は付加されない。従って、撮影動画蓄積部１５は、例えば、撮影動画受付部１２が受け付けた処理単位に対して、センサー関連情報取得部１３がセンサー関連情報を取得したか否かを判断する。そして、撮影動画受付部１２は、センサー関連情報が取得されなかった処理単位を、撮影動画格納部１１に蓄積しない。
【００９８】
また、撮影動画蓄積部１５は、例えば、付加されたセンサー関連情報が予め決められた条件（以下、適宜、不蓄積条件とする）を満たす１以上の処理単位を、撮影動画格納部１１に蓄積しなくてもよい。不蓄積条件とは、処理単位を蓄積するか否かを判断するための条件である。また、不蓄積条件は、処理単位を蓄積しないための条件であるとも言える。また、不蓄積条件は、センサー関連情報に関する条件である。なお、不蓄積条件は、上記、ポイント条件と同様であるので、説明を省略する。
【００９９】
例えば、撮影動画蓄積部１５は、センサー関連情報付加部１４により、処理単位にセンサー関連情報が付加されるたびに、当該センサー関連情報が、不蓄積条件を満たすか否かを判断する。そして、満たす場合、撮影動画蓄積部１５は、当該処理単位を撮影動画格納部１１に蓄積しない。また、満たさない場合、撮影動画蓄積部１５は、当該処理単位を撮影動画格納部１１に蓄積する。
【０１００】
また、不蓄積条件は、例えば、蓄積条件であってもよい。蓄積条件とは、処理単位を蓄積するための条件である。また、蓄積条件は、センサー関連情報に関する条件である。この場合、撮影動画蓄積部１５は、センサー関連情報付加部１４により付加されたセンサー関連情報が蓄積条件を満たす処理単位を、撮影動画格納部１１に蓄積する。また、撮影動画蓄積部１５は、当該センサー関連情報が蓄積条件を満たさない処理単位を、撮影動画格納部１１に蓄積しない。
【０１０１】
また、不蓄積条件および蓄積条件は、例えば、処理単位に付加されたポイントに関する条件であってもよい。この場合、撮影動画蓄積部１５は、例えば、当該ポイントが閾値以上である処理単位を蓄積する。また、撮影動画蓄積部１５は、例えば、当該ポイントが閾値以下である処理単位を蓄積しない。また、当該「以上」は、例えば、「超過」であってもよい。また、当該「以下」は、例えば、「未満」であってもよい。
【０１０２】
また、不蓄積条件および蓄積条件がセンサー関連情報に関する条件である場合、不蓄積条件および蓄積条件は、例えば、センサー加工情報に関する条件であることが好適である。
【０１０３】
また、撮影動画蓄積部１５は、例えば、処理単位に対して取得されたセンサー関連情報に対して、不蓄積条件および蓄積条件を満たすか否かを判断してもよい。この場合、撮影動画蓄積部１５は、当該判断の結果に応じて、判断されたセンサー関連情報が取得された処理単位を、撮影動画格納部１１に蓄積しない、または、蓄積する。また、当該センサー関連情報は、センサー関連情報取得部１３により取得されたセンサー関連情報である。
【０１０４】
また、センサー関連情報取得部１３は、例えば、撮影動画蓄積部１５が撮影動画格納部１１に撮影動画を蓄積した後に、当該撮影動画に対して、センサー関連情報を取得してもよい。この場合、当該撮影動画には、例えば、センサー素情報が付加されている。従って、この場合、センサー関連情報取得部１３は、例えば、当該センサー素情報を用いて、センサー加工情報を取得する。そして、センサー関連情報付加部１４は、当該センサー加工情報を、対応する処理単位であり、撮影動画格納部１１に格納されている撮影動画が有する処理単位に対して付加する。
【０１０５】
なお、センサー関連情報付加部１４、撮影動画蓄積部１５は、通常、ＭＰＵやメモリ等から実現され得る。また、センサー関連情報付加部１４などの処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。なお、センサー関連情報付加部１４などは、ハードウェア（専用回路）で実現されてもよい。
【０１０６】
次に、動画処理装置１の全体動作について、フローチャートを用いて説明する。なお、所定の情報におけるｉ番目の情報は、「情報［ｉ］」と記載するものとする。図２は、動画処理装置１の全体動作を示すフローチャートである。
【０１０７】
（ステップＳ２０１）センサー関連情報取得部１３は、撮影動画受付部１２が、撮影動画を構成する処理単位の受け付けを開始したか否かを判断する。開始した場合は、ステップＳ２０２に進み、そうでない場合は、ステップＳ２０１に戻る。
【０１０８】
（ステップＳ２０２）センサー関連情報取得部１３は、撮影動画受付部１２が一の処理単位を受け付けたか否かを判断する。受け付けた場合は、ステップＳ２０３に進み、そうでない場合は、ステップＳ２０５に進む。
【０１０９】
（ステップＳ２０３）センサー関連情報取得部１３は、ステップＳ２０２で受け付けた一の処理単位に対して、１または２種類以上のセンサー素情報を取得する。このとき、具体的には、センサー関連情報取得部１３が備える手段のうちの１または２以上の手段により、当該一の処理単位に対して、１または２種類以上のセンサー素情報が取得される。
【０１１０】
（ステップＳ２０４）センサー関連情報付加部１４は、ステップＳ２０３で取得したセンサー素情報を、当該センサー素情報に対応する一の処理単位であり、ステップＳ２０２で受け付けた一の処理単位に対して付加する。
【０１１１】
（ステップＳ２０５）センサー関連情報取得部１３は、撮影動画受付部１２が、撮影動画を構成する処理単位の受け付けを終了したか否かを判断する。終了した場合は、ステップＳ２０６に進み、そうでない場合は、ステップＳ２０２に戻る。
【０１１２】
（ステップＳ２０６）センサー関連情報取得部１３は、ステップＳ２０３で１以上の処理単位に対して取得したセンサー素情報を用いて、１または２種類以上のセンサー加工情報を取得する。このとき、具体的には、センサー関連情報取得部１３が備える手段のうちの１または２以上の手段により、当該１以上の処理単位に対して、１または２種類以上のセンサー加工情報が取得される。
【０１１３】
（ステップＳ２０７）センサー関連情報付加部１４は、ステップＳ２０６で取得したセンサー加工情報を、当該センサー加工情報に対応する１以上の処理単位であり、当該センサー加工情報の取得に用いたセンサー素情報が対応する１以上の処理単位に対して付加する。
【０１１４】
（ステップＳ２０８）撮影動画蓄積部１５は、カウンタｉに１をセットする。ここで、センサー関連情報が付加された処理単位の数が、ｍであるものとする。
【０１１５】
（ステップＳ２０９）撮影動画蓄積部１５は、処理単位［ｉ］に付加されているセンサー関連情報が、不蓄積条件を満たすか否かを判断する。満たす場合は、ステップＳ２１１に進み、そうでない場合は、ステップＳ２１０に進む。
【０１１６】
（ステップＳ２１０）撮影動画蓄積部１５は、処理単位［ｉ］を、当該処理単位［ｉ］に付加されているセンサー関連情報と共に、撮影動画格納部１１に蓄積する。
【０１１７】
（ステップＳ２１１）撮影動画蓄積部１５は、ｉがｍであるか否かを判断する。ｍである場合は、ステップＳ２０１に戻り、そうでない場合は、ステップＳ２０９に戻る。
【０１１８】
なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理を終了してもよい。
【０１１９】
また、図２のフローチャートにおいて、センサー関連情報取得部１３は、例えば、ステップＳ２０７の処理の後に、１以上の処理単位に対してポイントを取得する処理を行ってもおい。この場合、センサー関連情報付加部１４は、例えば、当該ポイントを取得する処理の後に、当該取得したポイントを対応する処理単位に付加する処理を行う。
【０１２０】
図３は、視線関連情報の取得処理の例を示すフローチャートである。当該視線関連情報は、１以上の処理単位に対する視線変動小情報である。また、図３のフローチャートにおいて、１以上の各処理単位に対して、視線位置情報が取得済みであるものとする。また、図３のフローチャートにおいて、処理単位の数は、ｍであるものとする。また、図３のフローチャートにおいて、視線関連情報取得手段１３１は、視線変動小条件を予め保持しているものとする。
【０１２１】
（ステップＳ３０１）視線関連情報取得手段１３１は、変数ｓｔａｒｔに０をセットする。
【０１２２】
（ステップＳ３０２）視線関連情報取得手段１３１は、変数ｅｎｄに０をセットする。
【０１２３】
（ステップＳ３０３）視線関連情報取得手段１３１は、変数ｆｌａｇにｆａｌｓｅをセットする。
【０１２４】
（ステップＳ３０４）視線関連情報取得手段１３１は、カウンタｉに１をセットする。
【０１２５】
（ステップＳ３０５）視線関連情報取得手段１３１は、処理単位［ｉ］に対して取得された視線位置情報である視線位置情報［ｉ］と、処理単位［ｉ＋１］に対して取得された視線位置情報である視線位置情報［ｉ＋１］とを用いて、視線変動情報を取得する。
【０１２６】
（ステップＳ３０６）視線関連情報取得手段１３１は、ステップＳ３０５で取得した視線変動情報が、視線変動小条件を満たすか否かを判断する。満たす場合は、ステップＳ３０７に進み、そうでない場合は、ステップＳ３１２に進む。
【０１２７】
（ステップＳ３０７）視線関連情報取得手段１３１は、ｓｔａｒｔが０であるか否かを判断する。０である場合は、ステップＳ３０８に進み、そうでない場合は、ステップＳ３１０に進む。
【０１２８】
（ステップＳ３０８）視線関連情報取得手段１３１は、ｓｔａｒｔにｉをセットする。
【０１２９】
（ステップＳ３０９）視線関連情報取得手段１３１は、ｆｌａｇにｔｒｕｅをセットする。
【０１３０】
（ステップＳ３１０）視線関連情報取得手段１３１は、ｆｌａｇがｔｒｕｅであるか否かを判断する。ｔｒｕｅである場合は、ステップＳ３１１に進み、そうでない場合は、ステップＳ３１７に進む。
【０１３１】
（ステップＳ３１１）視線関連情報取得手段１３１は、ｅｎｄにｉ＋１をセットする。
【０１３２】
（ステップＳ３１２）視線関連情報取得手段１３１は、ｆｌａｇがｔｒｕｅであるか否かを判断する。ｔｒｕｅである場合は、ステップＳ３１３に進み、そうでない場合は、ステップＳ３１７に進む。
【０１３３】
（ステップＳ３１３）視線関連情報取得手段１３１は、処理単位［ｓｔａｒｔ］から処理単位［ｅｎｄ］までの処理単位に対して、視線変動小情報を取得する。
【０１３４】
（ステップＳ３１４）視線関連情報取得手段１３１は、ｆｌａｇにｆａｌｓｅをセットする。
【０１３５】
（ステップＳ３１５）視線関連情報取得手段１３１は、ｓｔａｒｔに０をセットする。
【０１３６】
（ステップＳ３１６）視線関連情報取得手段１３１は、ｅｎｄに０をセットする。
【０１３７】
（ステップＳ３１７）視線関連情報取得手段１３１は、ｉがｍ−１であるか否かを判断する。ｍ−１である場合は、上位処理にリターンし、そうでない場合は、ステップＳ３１８に進む。
【０１３８】
（ステップＳ３１８）視線関連情報取得手段１３１は、ｉを１インクリメントする。そして、ステップＳ３０５に戻る。
【０１３９】
以上、図３のフローチャートによれば、１以上の各処理単位に対して取得された視線位置情報を用いて、１以上の処理単位ごとに、当該１以上の処理単位に対して、視線変動小情報を取得することができる。具体的に、ｓｔａｒｔにより識別される処理単位から、ｅｎｄにより識別される処理単位までの１以上の処理単位ごとに、当該１以上の処理単位に対して、視線変動小情報を取得することができる。
【０１４０】
図４は、顔関連情報の取得処理の例を示すフローチャートである。当該顔関連情報は、１以上の処理単位に対する特定人物顔検出情報である。特定人物顔検出情報とは、特定の人物の顔を検出したことを示す情報である。また、図４のフローチャートにおいて、１以上の各処理単位に対して、検出人物顔画像が取得済みであるものとする。検出人物顔画像とは、処理単位から検出した人物の顔を示す画像である。また、一の処理単位に対する検出人物顔画像の数は、０以上であるものとする。また、図４のフローチャートにおいて、処理単位の数は、ｍであるものとする。また、図４のフローチャートにおいて、顔関連情報取得手段１３２は、特定人物顔画像を予め保持しているものとする。特定人物顔画像とは、特定の人物の顔を示す画像である。
【０１４１】
（ステップＳ４０１）顔関連情報取得手段１３２は、変数ｓｔａｒｔに０をセットする。
【０１４２】
（ステップＳ４０２）顔関連情報取得手段１３２は、変数ｅｎｄに０をセットする。
【０１４３】
（ステップＳ４０３）顔関連情報取得手段１３２は、変数ｆｌａｇにｆａｌｓｅをセットする。
【０１４４】
（ステップＳ４０４）顔関連情報取得手段１３２は、カウンタｉに１をセットする。
【０１４５】
（ステップＳ４０５）顔関連情報取得手段１３２は、処理単位［ｉ］に対して取得された検出人物顔画像である０以上の検出人物顔画像［ｉ］のいずれかが、特定人物顔画像と一致するか否かを判断する。このとき、顔関連情報取得手段１３２は、例えば、検出人物顔画像［ｉ］と特定人物顔画像とが、予め決められた条件を満たすほど類似するか否かを判断してもよい。そして、一致する場合（予め決められた条件を満たすほど類似する場合）は、ステップＳ４０６に進み、そうでない場合は、ステップＳ４１１に進む。
【０１４６】
（ステップＳ４０６）顔関連情報取得手段１３２は、ｓｔａｒｔが０であるか否かを判断する。０である場合は、ステップＳ４０７に進み、そうでない場合は、ステップＳ４０９に進む。
【０１４７】
（ステップＳ４０７）顔関連情報取得手段１３２は、ｓｔａｒｔにｉをセットする。
【０１４８】
（ステップＳ４０８）顔関連情報取得手段１３２は、ｆｌａｇにｔｒｕｅをセットする。
【０１４９】
（ステップＳ４０９）顔関連情報取得手段１３２は、ｆｌａｇがｔｒｕｅであるか否かを判断する。ｔｒｕｅである場合は、ステップＳ４１０に進み、そうでない場合は、ステップＳ４１６に進む。
【０１５０】
（ステップＳ４１０）顔関連情報取得手段１３２は、ｅｎｄにｉをセットする。
【０１５１】
（ステップＳ４１１）顔関連情報取得手段１３２は、ｆｌａｇがｔｒｕｅであるか否かを判断する。ｔｒｕｅである場合は、ステップＳ４１２に進み、そうでない場合は、ステップＳ４１６に進む。
【０１５２】
（ステップＳ４１２）顔関連情報取得手段１３２は、処理単位［ｓｔａｒｔ］から処理単位［ｅｎｄ］までの処理単位に対して、特定人物顔検出情報を取得する。
【０１５３】
（ステップＳ４１３）顔関連情報取得手段１３２は、ｆｌａｇにｆａｌｓｅをセットする。
【０１５４】
（ステップＳ４１４）顔関連情報取得手段１３２は、ｓｔａｒｔに０をセットする。
【０１５５】
（ステップＳ４１５）顔関連情報取得手段１３２は、ｅｎｄに０をセットする。
【０１５６】
（ステップＳ４１６）顔関連情報取得手段１３２は、ｉがｍであるか否かを判断する。ｍである場合は、上位処理にリターンし、そうでない場合は、ステップＳ４１７に進む。
【０１５７】
（ステップＳ４１７）顔関連情報取得手段１３２は、ｉを１インクリメントする。そして、ステップＳ４０５に戻る。
【０１５８】
以上、図４のフローチャートによれば、１以上の各処理単位に対して取得された検出人物顔画像を用いて、１以上の処理単位ごとに、当該１以上の処理単位に対して、特定人物顔検出情報を取得することができる。具体的に、ｓｔａｒｔにより識別される処理単位から、ｅｎｄにより識別される処理単位までの１以上の処理単位ごとに、当該１以上の処理単位に対して、特定人物顔検出情報を取得することができる。
【０１５９】
図５は、声関連情報の取得処理の例を示すフローチャートである。当該声関連情報は、１以上の処理単位に対する特定人物声検出情報および特定キーワード検出情報である。特定人物声検出情報とは、特定の人物の声を検出したことを示す情報である。また、図５のフローチャートにおいて、声関連情報取得手段１３３は、特定人物声を予め保持しているものとする。特定人物声とは、特定の人物の声である。また、特定人物声は、具体的には、いわゆる音声データである。また、図５のフローチャートにおいて、声関連情報取得手段１３３は、特定キーワード条件を予め保持しているものとする。
【０１６０】
（ステップＳ５０１）声関連情報取得手段１３３は、撮影動画受付部１２が受け付けた撮影動画から、人物の声を検出する。当該検出は、具体的には、例えば、撮影動画から、人物の声に関する１以上の音声データを取得することである。ここで、ｍ個の人物の声が取得できたものとする。
【０１６１】
（ステップＳ５０２）声関連情報取得手段１３３は、カウンタｉに１をセットする。
【０１６２】
（ステップＳ５０３）声関連情報取得手段１３３は、ステップＳ５０１で取得した人物の声［ｉ］が、特定人物声と一致するか否かを判断する。このとき、声関連情報取得手段１３３は、例えば、人物の声［ｉ］と特定人物声とが、予め決められた条件を満たすほど類似するか否かを判断してもよい。そして、一致する場合（予め決められた条件を満たすほど類似する場合）は、ステップＳ５０４に進み、そうでない場合は、ステップＳ５０５に進む。
【０１６３】
（ステップＳ５０４）声関連情報取得手段１３３は、人物の声［ｉ］が取得された１以上の処理単位に対して、特定人物声検出情報を取得する。
【０１６４】
（ステップＳ５０５）声関連情報取得手段１３３は、人物の声［ｉ］に対して音声認識を行い、当該人物の声［ｉ］に対応する文字列を取得する。
【０１６５】
（ステップＳ５０６）声関連情報取得手段１３３は、ステップＳ５０５で取得した文字列が特定キーワード条件を満たすか否かを判断する。満たす場合は、ステップＳ５０７に進み、そうでない場合は、ステップＳ５０８に進む。
【０１６６】
（ステップＳ５０７）声関連情報取得手段１３３は、人物の声［ｉ］が取得された１以上の処理単位に対して、特定キーワード検出情報を取得する。
【０１６７】
（ステップＳ５０８）声関連情報取得手段１３３は、ｉがｍであるか否かを判断する。ｍである場合は、上位処理にリターンし、そうでない場合は、ステップＳ５０９に進む。
【０１６８】
（ステップＳ５０９）声関連情報取得手段１３３は、ｉを１インクリメントする。そして、ステップＳ５０３に戻る。
【０１６９】
以上、図５のフローチャートによれば、撮影動画から検出した人物の声を用いて、当該人物の声が取得された１以上の処理単位ごとに、当該１以上の処理単位に対して、特定人物声検出情報および特定キーワード検出情報を取得することができる。
【０１７０】
図６は、三次元加速度関連情報の取得処理の例を示すフローチャートである。当該三次元加速度関連情報は、１以上の処理単位に対する三次元加速度大情報である。また、図３のフローチャートにおいて、１以上の各処理単位に対して、三次元加速度情報が取得済みであるものとする。また、図６のフローチャートにおいて、処理単位の数は、ｍであるものとする。また、図６のフローチャートにおいて、三次元加速度関連情報取得手段１３４は、三次元加速度大条件を予め保持しているものとする。
【０１７１】
（ステップＳ６０１）三次元加速度関連情報取得手段１３４は、変数ｓｔａｒｔに０をセットする。
【０１７２】
（ステップＳ６０２）三次元加速度関連情報取得手段１３４は、変数ｅｎｄに０をセットする。
【０１７３】
（ステップＳ６０３）三次元加速度関連情報取得手段１３４は、変数ｆｌａｇにｆａｌｓｅをセットする。
【０１７４】
（ステップＳ６０４）三次元加速度関連情報取得手段１３４は、カウンタｉに１をセットする。
【０１７５】
（ステップＳ６０５）三次元加速度関連情報取得手段１３４は、処理単位［ｉ］に対して取得された三次元加速度情報である三次元加速度情報［ｉ］が、三次元加速度大条件を満たすか否かを判断する。満たす場合は、ステップＳ６０６に進み、そうでない場合は、ステップＳ６１１に進む。
【０１７６】
（ステップＳ６０６）三次元加速度関連情報取得手段１３４は、ｓｔａｒｔが０であるか否かを判断する。０である場合は、ステップＳ６０７に進み、そうでない場合は、ステップＳ６０９に進む。
【０１７７】
（ステップＳ６０７）三次元加速度関連情報取得手段１３４は、ｓｔａｒｔにｉをセットする。
【０１７８】
（ステップＳ６０８）三次元加速度関連情報取得手段１３４は、ｆｌａｇにｔｒｕｅをセットする。
【０１７９】
（ステップＳ６０９）三次元加速度関連情報取得手段１３４は、ｆｌａｇがｔｒｕｅであるか否かを判断する。ｔｒｕｅである場合は、ステップＳ６１０に進み、そうでない場合は、ステップＳ６１６に進む。
【０１８０】
（ステップＳ６１０）三次元加速度関連情報取得手段１３４は、ｅｎｄにｉをセットする。
【０１８１】
（ステップＳ６１１）三次元加速度関連情報取得手段１３４は、ｆｌａｇがｔｒｕｅであるか否かを判断する。ｔｒｕｅである場合は、ステップＳ６１２に進み、そうでない場合は、ステップＳ６１６に進む。
【０１８２】
（ステップＳ６１２）三次元加速度関連情報取得手段１３４は、処理単位［ｓｔａｒｔ］から処理単位［ｅｎｄ］までの処理単位に対して、三次元加速度大情報を取得する。
【０１８３】
（ステップＳ６１３）三次元加速度関連情報取得手段１３４は、ｆｌａｇにｆａｌｓｅをセットする。
【０１８４】
（ステップＳ６１４）三次元加速度関連情報取得手段１３４は、ｓｔａｒｔに０をセットする。
【０１８５】
（ステップＳ６１５）三次元加速度関連情報取得手段１３４は、ｅｎｄに０をセットする。
【０１８６】
（ステップＳ６１６）三次元加速度関連情報取得手段１３４は、ｉがｍであるか否かを判断する。ｍである場合は、上位処理にリターンし、そうでない場合は、ステップＳ６１７に進む。
【０１８７】
（ステップＳ６１７）三次元加速度関連情報取得手段１３４は、ｉを１インクリメントする。そして、ステップＳ６０５に戻る。
【０１８８】
以上、図６のフローチャートによれば、１以上の各処理単位に対して取得された三次元加速度情報を用いて、１以上の処理単位ごとに、当該１以上の処理単位に対して、三次元加速度大情報を取得することができる。具体的に、ｓｔａｒｔにより識別される処理単位から、ｅｎｄにより識別される処理単位までの１以上の処理単位ごとに、当該１以上の処理単位に対して、三次元加速度大情報を取得することができる。
【０１８９】
図７は、事象関連情報の取得処理の例を示すフローチャートである。当該事象関連情報は、１以上の処理単位に対する事象存在情報である。また、図３のフローチャートにおいて、１以上の処理単位のうちのいずれか１以上の各処理単位に対して、事象名称情報が取得済みであるものとする。また、図７のフローチャートにおいて、処理単位の数は、ｍであるものとする。
【０１９０】
（ステップＳ７０１）事象関連情報取得手段１３５は、変数ｓｔａｒｔに０をセットする。
【０１９１】
（ステップＳ７０２）事象関連情報取得手段１３５は、変数ｅｎｄに０をセットする。
【０１９２】
（ステップＳ７０３）事象関連情報取得手段１３５は、変数ｆｌａｇにｆａｌｓｅをセットする。
【０１９３】
（ステップＳ７０４）事象関連情報取得手段１３５は、カウンタｉに１をセットする。
【０１９４】
（ステップＳ７０５）事象関連情報取得手段１３５は、処理単位［ｉ］に対して事象名称情報が取得済みであるか否かを判断する。言い換えると、事象関連情報取得手段１３５は、処理単位［ｉ］に対して事象名称情報が取得できているか否かを判断する。取得済みである場合は、ステップＳ７０６に進み、そうでない場合は、ステップＳ７１１に進む。
【０１９５】
（ステップＳ７０６）事象関連情報取得手段１３５は、ｓｔａｒｔが０であるか否かを判断する。０である場合は、ステップＳ７０７に進み、そうでない場合は、ステップＳ７０９に進む。
【０１９６】
（ステップＳ７０７）事象関連情報取得手段１３５は、ｓｔａｒｔにｉをセットする。
【０１９７】
（ステップＳ７０８）事象関連情報取得手段１３５は、ｆｌａｇにｔｒｕｅをセットする。
【０１９８】
（ステップＳ７０９）事象関連情報取得手段１３５は、ｆｌａｇがｔｒｕｅであるか否かを判断する。ｔｒｕｅである場合は、ステップＳ７１０に進み、そうでない場合は、ステップＳ７１６に進む。
【０１９９】
（ステップＳ７１０）事象関連情報取得手段１３５は、ｅｎｄにｉをセットする。
【０２００】
（ステップＳ７１１）事象関連情報取得手段１３５は、ｆｌａｇがｔｒｕｅであるか否かを判断する。ｔｒｕｅである場合は、ステップＳ７１２に進み、そうでない場合は、ステップＳ７１６に進む。
【０２０１】
（ステップＳ７１２）事象関連情報取得手段１３５は、処理単位［ｓｔａｒｔ］から処理単位［ｅｎｄ］までの処理単位に対して、事象存在情報を取得する。
【０２０２】
（ステップＳ７１３）事象関連情報取得手段１３５は、ｆｌａｇにｆａｌｓｅをセットする。
【０２０３】
（ステップＳ７１４）事象関連情報取得手段１３５は、ｓｔａｒｔに０をセットする。
【０２０４】
（ステップＳ７１５）事象関連情報取得手段１３５は、ｅｎｄに０をセットする。
【０２０５】
（ステップＳ７１６）事象関連情報取得手段１３５は、ｉがｍであるか否かを判断する。ｍである場合は、上位処理にリターンし、そうでない場合は、ステップＳ７１７に進む。
【０２０６】
（ステップＳ７１７）事象関連情報取得手段１３５は、ｉを１インクリメントする。そして、ステップＳ７０５に戻る。
【０２０７】
以上、図７のフローチャートによれば、１以上の各処理単位に対して取得された事象名称情報を用いて、１以上の処理単位ごとに、当該１以上の処理単位に対して、事象存在情報を取得することができる。具体的に、ｓｔａｒｔにより識別される処理単位から、ｅｎｄにより識別される処理単位までの１以上の処理単位ごとに、当該１以上の処理単位に対して、事象存在情報を取得することができる。
【０２０８】
なお、上記で説明した動画処理装置１の全体動作は、あくまで一例である。つまり、動画処理装置１の全体動作は、上記の説明に限定されるものではない。
【０２０９】
（具体例）
次に、動画処理装置１の動作の具体例について説明する。なお、本具体例において、動画処理装置１は、動画の撮影が可能なメガネ型のウェアラブル機器（以下、適宜、ウェアラブル端末とする）であるものとする。つまり、ウェアラブル端末は、ビデオカメラを備えるものとする。また、当該ビデオカメラは、１フレーム分の動画（処理単位）を撮影により取得するたびに、当該処理単位を、予め決められた記録媒体に蓄積するものとする。つまり、本具体例において、一の処理単位は、１フレームであるものとする。また、当該記録媒体は、いわゆるバッファである。そして、撮影動画受付部１２は、当該記録媒体に一の処理単位が蓄積されるたびに、当該一の処理単位を受け付けるものとする。
【０２１０】
（例１）
本例において、１以上の各処理対象に対して、センサー素情報を取得する例について説明する。本例において、センサー素情報は、例えば、１以上の各処理単位に対してリアルタイムで取得できる情報であるものとする。
【０２１１】
まず、ユーザがウェアラブル端末を装着し、当該ウェアラブル端末に対して、動画の撮影を開始するための操作を行ったとする。すると、当該ウェアラブル端末が備えるビデオカメラは、動画の撮影を開始する。そして、ビデオカメラは、上記のとおり、１フレーム分の動画を取得するたびに、当該フレームを、バッファに蓄積する。そして、撮影動画受付部１２は、当該バッファに１フレーム分の動画が蓄積されるたびに、当該フレームを取得する。そして、センサー関連情報取得部１３は、撮影動画受付部１２が１フレーム分の動画を取得するたびに、当該フレームに対してセンサー素情報を取得する。
【０２１２】
例えば、視線関連情報取得手段１３１は、撮影動画受付部１２が１フレーム分の動画を取得するたびに、当該フレームに対して、当該フレームが取得された時点のユーザの視線の位置を示す視線位置情報を取得する。例えば、視線関連情報取得手段１３１は、撮影動画受付部１２が１フレーム目を受け付けると、当該１フレーム目に対して、視線位置情報を取得する。また、視線関連情報取得手段１３１は、撮影動画受付部１２が１０フレーム目を受け付けると、当該１０フレーム目に対して、視線位置情報を取得する。また、当該視線位置情報は、例えば、フレーム内の位置を示す座標である。
【０２１３】
また、例えば、顔関連情報取得手段１３２は、撮影動画受付部１２が１フレーム分の動画を取得するたびに、当該フレームから、人物の顔を検出し、当該人物の顔を検出した領域の画像である検出人物顔画像を取得する。
【０２１４】
また、顔関連情報取得手段１３２は、例えば、撮影動画受付部１２が１フレーム分の動画を取得するたびに、当該フレームから取得した検出人物顔画像と、予め保持している特定人物顔画像とを用いて、当該フレームに対して、特定人物検出情報を取得する。このとき、顔関連情報取得手段１３２は、例えば、検出人物顔画像から、当該画像の特徴量を取得する。また、顔関連情報取得手段１３２は、例えば、特定人物顔画像から、当該画像の特徴量を取得する。そして、顔関連情報取得手段１３２は、取得した２つの特徴量の類似度を算出し、当該類似度が予め決められた閾値以上であれば、特定人物顔検出情報を取得する。また、当該類似度が予め決められた閾値未満であれば、顔関連情報取得手段１３２は、例えば、特定人物顔不検出情報を取得してもよい。特定人物不検出情報とは、特定の人物の顔が検出できなかったことを示す情報である。また、特定人物不検出情報は、例えば、いわゆるフラグである。
【０２１５】
また、例えば、三次元加速度関連情報取得手段１３４は、撮影動画受付部１２が１フレーム分の動画を取得するたびに、当該フレームに対して、当該フレームが取得された時点のウェアラブル端末の三次元の加速度を示す三次元加速度情報を取得する。例えば、三次元加速度関連情報取得手段１３４は、撮影動画受付部１２が１フレーム目を受け付けると、当該１フレーム目に対して、三次元加速度情報を取得する。また、三次元加速度関連情報取得手段１３４は、撮影動画受付部１２が１０フレーム目を受け付けると、当該１０フレーム目に対して、三次元加速度情報を取得する。また、当該三次元加速度情報は、例えば、上下方向、左右方向、前後方向のそれぞれの加速度を示す情報を有するベクトルである。
【０２１６】
以上のようにして１以上の各フレームに対して取得されたセンサー素情報の例は、例えば、図８である。図８に示すように、１以上の各フレームは、フレームＩＤにより識別される。当該フレームＩＤは、例えば、動画における当該フレームの番目を示す情報であると考えてもよい。また、図８に示すように、１以上の各フレームには、視線位置情報（項目名：視線位置）、特定人物顔検出情報（項目名：特定人物顔検出）、三次元加速度情報（項目名：三次元加速度）が取得されている。また、センサー関連情報付加部１４は、例えば、図８の情報を用いて、センサー素情報を対応するフレームに付加する。
【０２１７】
（例２）
本例において、１以上の処理単位に対して、センサー加工情報を取得する例について説明する。本例において、センサー加工情報は、例えば、２以上の処理単位ごとに、当該２以上の処理単位に対して取得できる情報であるものとする。
【０２１８】
まず、例１と同様に、ウェアラブル端末が備えるビデオカメラが、動画の撮影を開始したとする。すると、センサー関連情報取得部１３は、例１と同様に、センサー素情報を取得する。そして、センサー関連情報取得部１３は、例えば、センサー加工情報を取得するに必要な数のセンサー素情報を取得するたびに、センサー加工情報を取得する。または、センサー関連情報取得部１３は、例えば、撮影動画受付部１２が、センサー加工情報を取得するに必要な数のフレームを取得するたびに、センサー加工情報を取得する。
【０２１９】
例えば、視線関連情報取得手段１３１は、時間的に連続する２つの各フレームに対する視線位置情報を取得するたびに、当該２つの視線位置情報を用いて、当該２つのフレームに対する視線変動情報を取得する。例えば、視線関連情報取得手段１３１は、１フレーム目と２フレーム目の２つの各フレームに対する視線位置情報を取得すると、当該２つの視線位置情報を用いて、当該２つのフレームに対する視線変動情報を取得する。また、視線関連情報取得手段１３１は、続けて、３フレーム目に対する視線位置情報を取得すると、２フレーム目に対する視線位置情報と、３フレーム目に対する視線位置情報とを用いて、当該２フレーム目、３フレーム目に対する視線変動情報を取得する。
【０２２０】
また、視線関連情報取得手段１３１は、例えば、撮影動画受付部１２が撮影動画の受け付けを終了するたびに、当該撮影動画の受け付けの開始から、当該撮影動画の受け付けの終了までに取得した時間的に連続する２つの視線位置情報を用いて、当該２つの視線位置情報が取得された２つのフレームに対して、視線変動情報を取得してもよい。例えば、撮影動画受付部１２が、３００フレームを有する撮影動画の受け付けを終了したとする。この時点で、当該３００の各フレームに対しては、視線位置情報が取得されている。このような場合、視線関連情報取得手段１３１は、例えば、１フレーム目と２フレーム目、２フレーム目と３フレーム目、３フレーム目と４フレーム目、・・・という具合に、対象とするフレームを１つずつずらしながら、対象となる２つの各フレームに対する視線位置情報を用いて、当該２つのフレームに対する視線変動情報を取得する。
【０２２１】
また、視線関連情報取得手段１３１は、例えば、視線変動情報を取得するたびに、当該視線変動情報が視線変動小条件を満たすか否かを判断する。そして、視線関連情報取得手段１３１は、視線変動小条件を満たすと判断してから、視線変動小条件を満たさないと判断するまでに対応する２以上のフレームに対して、視線変動小情報を取得する。例えば、２フレーム目から１５フレーム目までに対する２以上の各視線変動情報のすべてに対して、視線変動小条件を満たすと判断し、１５フレーム目、１６フレーム目の２つのフレームに対する視線変動情報に対して、視線変動小条件を満たさないと判断したとする。このような場合、視線関連情報取得手段１３１は、当該２フレーム目から１５フレーム目までの２以上のフレームに対して、視線変動小情報を取得する。
【０２２２】
また、例えば、顔関連情報取得手段１３２は、時間的に連続する２以上の各フレームに対する特定人物顔検出情報の取得が終了するたびに、当該２以上のフレームに対して、特定人物顔情報を取得する。例えば、２フレーム目から１５フレーム目までの各フレームに対し、特定人物顔検出情報を取得し、１６フレーム目に対しては、特定人物顔検出情報を取得しなかったとする。このような場合、顔関連情報取得手段１３２は、当該２フレーム目から１５フレーム目までの２以上のフレームに対して、特定人物顔検出情報を取得する。
【０２２３】
また、例えば、声関連情報取得手段１３３は、撮影動画受付部１２が撮影動画の受け付けを終了するたびに、当該撮影動画から、人物の声を検出する。具体的に、声関連情報取得手段１３３は、撮影動画に記録されている音から、人物の声を検出する。そして、声関連情報取得手段１３３は、検出した人物の声と、特定人物声とを用いて、特定人物声検出情報を取得する。具体的に、声関連情報取得手段１３３は、検出した人物の声と、特定人物声とが、予め決められた条件を満たすほど類似する場合に、当該人物の声を検出した２以上のフレームに対して、特定人物声検出情報を取得する。例えば、１０フレーム目から４０フレーム目に記録されている音から、人物の声を検出し、当該検出した人物の声が、特定人物声と予め決められた条件を満たすほど類似する場合、声関連情報取得手段１３３は、当該１０フレーム目から４０フレーム目のフレームに対して、特定人物声検出情報を取得する。
【０２２４】
また、声関連情報取得手段１３３は、例えば、撮影動画受付部１２が予め決められた条件を満たすほど大きい音が記録されている２以上のフレームを受け付けるたびに、当該２以上のフレームから、人物の声を検出する。そして、声関連情報取得手段１３３は、検出した人物の声と、特定人物声とを用いて、特定人物声検出情報を取得する。例えば、１０フレーム目から５０フレーム目までの各フレームに対して、予め決められた条件を満たすほど大きい音が記録されていると判断し、５１フレーム目に対しては、当該音が記録されていないと判断したとする。このような場合、声関連情報取得手段１３３は、当該１０フレーム目から５０フレーム目までの２以上のフレームから、人物の声を検出する。当該人物の声は、検出できない場合もあるため、通常、０以上である。そして、声関連情報取得手段１３３は、検出した人物の声に対応する２以上のフレームに対して、特定人物声検出情報を取得する。例えば、１０フレーム目から３０フレーム目までのフレームから、人物の声を検出したとする。また、当該人物の声が、特定人物声と一致するとする。このような場合、声関連情報取得手段１３３は、当該１０フレーム目から３０フレーム目までのフレームに対して、特定人物声検出情報を取得する。
【０２２５】
また、例えば、三次元加速度関連情報取得手段１３４は、例えば、時間的に連続する２以上の各フレームに対する三次元加速度大情報の取得が終了するたびに、当該２以上のフレームに対して、三次元加速度大情報を取得する。三次元加速度関連情報取得手段１３４は、例えば、一のフレームに対する三次元加速度情報を取得するたびに、当該三次元加速度情報が、三次元加速度大条件を満たすか否かを判断する。そして、満たす場合、三次元加速度関連情報取得手段１３４は、当該一のフレームに対して、三次元加速度大情報を取得する。そして、例えば、５フレーム目から１０フレーム目までの２以上の各フレームに対して三次元加速度大情報を取得し、１１フレーム目に対しては、三次元加速度大情報を取得しなかったとする。このような場合、三次元加速度関連情報取得手段１３４は、当該５フレーム目から１０フレーム目までのフレームに対して、三次元加速度大情報を取得する。
【０２２６】
また、例えば、事象関連情報取得手段１３５は、例えば、撮影動画受付部１２が、予め決められた条件を満たすほど同一であると判断できる時刻および位置を示す情報を有する時間的に連続する２以上のフレームを取得するたびに、当該２以上のフレームに対して、事象存在情報を取得する。例えば、事象関連情報取得手段１３５は、撮影動画受付部１２が１フレーム分の動画を取得するたびに、当該フレームが有する時刻および位置を示す情報が、先に取得したフレームが有する時刻および位置を示す情報と同一であるか否かを判断する。このとき、事象関連情報取得手段１３５は、通常、予め決められた桁数における時刻および位置が同一であるか否かを判断する。例えば、時刻は、「時」、「分」、「秒」から構成される。従って、事象関連情報取得手段１３５は、例えば、撮影動画受付部１２が１フレーム分の動画を取得するたびに、当該フレームが有する時刻のうち、「時」、「分」が、先に取得したフレームが有する時刻の「時」、「分」と同一であるか否かを判断する。また、位置（経緯度）は、例えば、１０進数での表記の場合、「整数」と「小数」から構成される。従って、事象関連情報取得手段１３５は、例えば、撮影動画受付部１２が１フレーム分の動画を取得するたびに、当該フレームが有する位置のうち、小数第２位までが、先に取得したフレームが有する位置の小数第２位までと同一であるか否かを判断する。そして、事象関連情報取得手段１３５は、同一の時刻および位置を示す情報を有する２以上のフレームに対して、当該２以上のフレームが有する同一の時刻および位置を示す情報を用いて、Ｗｅｂ検索を行う。そして、当該Ｗｅｂ検索により、当該時刻および位置に対応する事象が検索できた場合、事象関連情報取得手段１３５は、当該２以上のフレームに対して、事象存在情報を取得する。例えば、１０フレーム目から５０フレーム目までの２以上のフレームが、同一の時刻および位置を示す情報を有するとする。このような場合、事象関連情報取得手段１３５は、当該時刻および位置を示す情報を用いて、事象存在情報を取得する。
【０２２７】
以上のようにして２以上のフレームごとに対して取得されたセンサー加工情報の例は、例えば、図９である。図９に示すように、１以上の各フレームは、フレームＩＤにより識別される。当該フレームＩＤは、例えば、動画における当該フレームの番目を示す情報であると考えてもよい。また、図９に示すように、１以上のフレームには、視線変動小情報（項目名：視線変動小）、特定人物顔検出情報（項目名：特定人物顔検出）、特定人物声検出情報（項目名：特定人物声検出）、三次元加速度大情報（項目名：三次元加速度大）、事象存在情報（項目名：事象存在）が取得されている。また、センサー関連情報付加部１４は、例えば、図９の情報を用いて、センサー加工情報を対応するフレームに付加する。
【０２２８】
（例３）
本例において、取得したセンサー関連情報を対応する処理単位に対して付加し、当該付加したセンサー関連情報に基づいて、１以上の処理単位を蓄積する例について説明する。なお、本例において、不蓄積条件は、「三次元加速度の大きさ≧２」であるものとする。当該不蓄積条件は、付加されている三次元加速度情報を用いて算出される三次元加速度の大きさが４以上であることを意味する。三次元加速度情報は、上下方向、左右方向、前後方向の各加速度を示す情報を有するベクトルである。従って、三次元加速度の大きさは、当該ベクトルの大きさを計算することにより算出できる。
【０２２９】
まず、例えば、撮影動画受付部１２が受け付けた１フレーム目のフレームに対して、センサー関連情報取得部１３が、三次元加速度情報「（２，２，２）ｍ／ｓ＾２」を取得し、センサー関連情報付加部１４が、当該三次元加速度情報を、当該フレームに付加したとする。当該三次元加速度情報は、上下方向、左右方向、前後方向の各加速度が「２ｍ／ｓ＾ｓ」であることを示す。この場合、三次元加速度の大きさは、「√（１２）＝３．４６４１・・・」であり、不蓄積条件を満たす。従って、撮影動画蓄積部１５は、当該三次元加速度情報が不蓄積条件を満たすと判断し、当該１フレーム目のフレームを、撮影動画格納部１１に蓄積しない。
【０２３０】
また、例えば、撮影動画受付部１２が受け付けた１１フレーム目のフレームに対して、センサー関連情報取得部１３が、三次元加速度情報「（０，１，０）ｍ／ｓ＾２」を取得し、センサー関連情報付加部１４が、当該三次元加速度情報を、当該フレームに付加したとする。当該三次元加速度情報は、上下方向の加速度が「０ｍ／ｓ＾２」、左右方向の加速度が「１ｍ／ｓ＾ｓ」、前後方向の加速度が「０ｍ／ｓ＾ｓ」であることを示す。この場合、三次元加速度の大きさは、「√（１）＝１」であり、不蓄積条件を満たさない。従って、撮影動画蓄積部１５は、当該三次元加速度情報が不蓄積条件を満たさないと判断し、当該１フレーム目のフレームを、撮影動画格納部１１に蓄積する。
【０２３１】
また、撮影動画蓄積部１５は、例えば、センサー関連情報取得部１３が、センサー加工情報を取得し、センサー関連情報付加部１４が、当該センサー加工情報を対応するフレームに付加した後に、当該センサー加工情報が、不蓄積条件を満たすか否かを判断することにより、１以上のフレームを撮影動画格納部１１に蓄積してもよい。
【０２３２】
以上、本実施の形態による動画処理装置１によれば、取得した動画に対して、当該動画の処理単位の特性を示す情報を付加することができる。例えば、動画の撮影時のユーザの視線の位置や、当該視線の変動の大きさ、特定の人物の顔が写っていること、特定の人物の声を検出すること、撮影した時刻および位置に対応する事象が存在することなどを示す情報を、取得した動画に対して付加することができる。また、これにより、ユーザは、例えば、当該付加された情報に基づき、動画を編集することができる。
【０２３３】
（実施の形態２）
本実施の形態において、撮影動画に付加されているセンサー関連情報（撮影動画が有する１以上の処理単位に付加されているセンサー関連情報）を用いて、撮影動画の一部である部分動画を取得する動画要約装置２について説明する。
【０２３４】
なお、本実施の形態における動画要約装置２は、例えば、撮影した動画を再生することが可能なウェアラブル機器、ウェアラブル機器にて撮影した動画を再生することが可能な携帯端末（例えば、スマートフォン、タブレット型ＰＣ、ＰＤＡなど）などである。また、動画要約装置２は、例えば、いわゆるサーバ装置であってもよい。
【０２３５】
図１０は、本実施の形態における動画要約装置２のブロック図である。動画要約装置２は、動画要約条件受付部２１、部分動画取得部２２、出力部２３を備える。
【０２３６】
動画要約条件受付部２１は、動画要約条件を受け付ける。当該受け付けとは、タッチパネルや、キーボードなどの入力デバイスから入力された情報の取得、光ディスクや磁気ディスク、半導体メモリなどの記録媒体に格納されている情報の読み出し、有線もしくは無線の通信回線を介して送信された情報の受信などを含む概念である。
【０２３７】
動画要約条件とは、撮影動画から部分動画を取得するための条件である。部分動画とは、撮影動画の一部である。また、部分動画は、少なくとも１以上の処理単位を有する動画である。取得した部分動画が有する１以上の処理単位には、例えば、センサー関連情報が付加されていてもよいし、そうでなくてもよい。また、動画要約条件は、処理単位に付加されている１または２種類以上のセンサー関連情報に関する条件である。また、動画要約条件により取得される部分動画は、例えば、動画要約条件を満たすセンサー関連情報が付加されている１または２以上の処理単位から構成される動画である。なお、動画要約条件は、例えば、実施の形態１で説明したポイント条件、不蓄積条件などと同様であので、説明を省略する。
【０２３８】
また、動画要約条件は、例えば、処理単位に付加されているポイントに関する条件であってもよい。この場合、動画要約条件は、例えば、当該ポイントが閾値以上であること、などである。当該「以上」は、例えば、「超過」であってもよい。
【０２３９】
また、動画要約条件がセンサー関連情報に関する条件である場合、動画要約条件は、例えば、センサー加工情報に関する条件であることが好適である。
【０２４０】
また、動画要約条件受付部２１における情報や指示などの入力手段は、メニュー画面によるものや、キーボードなど、何でもよい。動画要約条件受付部２１は、メニュー画面の制御ソフトウェアや、キーボード等の入力手段のデバイスドライバなどで実現され得る。
【０２４１】
部分動画取得部２２は、図示しない撮影動画格納部２０から、動画要約条件を用いて、部分動画を取得する。撮影動画格納部２０には、センサー関連情報が付加された１以上の処理単位を有する撮影動画が格納されている。また、当該撮影動画格納部２０には、例えば、ポイントが付加された１以上の処理単位を有する撮影動画が格納されていてもよい。
【０２４２】
例えば、部分動画取得部２２は、１または２種類以上のセンサー関連情報が付加されている１以上の処理単位ごとに、当該センサー関連情報が動画要約条件を満たすか否かを判断する。当該１以上の処理単位は、例えば、時間的に連続する２以上の処理単位であることが好適である。そして、部分動画取得部２２は、動画要約条件を満たす処理単位を取得する。そして、部分動画取得部２２は、取得した１または２以上の処理単位から構成される部分動画を取得する。また、処理単位にポイントが付加されている場合、部分動画取得部２２は、例えば、当該ポイントが動画要約条件を満たすか否かを判断してもよい。
【０２４３】
また、以上の処理により、部分動画取得部２２は、例えば、次のような部分動画を取得する。つまり、当該部分動画は、例えば、ユーザの視線の位置の変動が予め決められた条件を満たすほど小さい処理単位を有する部分動画、特定の人の顔を検出した処理単位を有する部分動画、特定の人物の声を検出した処理単位を有する部分動画、予め決められた条件を満たす文字列（当該文字列は、音声認識により取得した文字列）を検出した処理単位を有する部分動画、三次元の加速度が予め決められた条件を満たすほど大きい処理単位を有する部分動画、時刻および位置に対応する事象が存在する処理単位を有する部分動画、付加されているポイントが予め決められた条件を満たすほど大きい処理単位を有する部分動画、などである。
【０２４４】
なお、図示しない撮影動画格納部２０は、例えば、動画要約装置２が備える。また、当該撮影動画格納部２０は、例えば、外部の装置が備える。当該外部の装置は、例えば、サーバ装置である。つまり、部分動画取得部２２は、撮影動画格納部２０から部分動画を取得するが、動画要約装置２は、撮影動画格納部２０を備えている必要はなく、動画要約装置２の構成において、撮影動画格納部２０は、必須の構成ではない。
【０２４５】
また、撮影動画格納部２０に格納されている撮影動画は、例えば、実施の形態１の動画処理装置１が取得した撮影動画（撮影動画蓄積部１５が撮影動画格納部１１に蓄積した撮影動画）である。つまり、図示しない撮影動画格納部２０は、例えば、撮影動画格納部１１であってもよい。また、動画要約装置２は、例えば、動画処理装置１が備える各部を備えていてもよい。
【０２４６】
また、部分動画取得部２２は、通常、ＭＰＵやメモリ等から実現され得る。また、部分動画取得部２２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。なお、部分動画取得部２２などは、ハードウェア（専用回路）で実現されてもよい。
【０２４７】
出力部２３は、部分動画取得部２２が取得した部分動画を出力する。出力とは、ディスプレイへの表示、プロジェクターを用いた投影、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。なお、送信や蓄積、処理結果の引渡しについては、出力対象が最終的にユーザに提示されるものとする。
【０２４８】
また、出力部２３は、ディスプレイやスピーカーなどの出力デバイスを含むと考えてもよいし、含まないと考えてもよい。出力部２３は、出力デバイスのドライバソフトまたは、出力デバイスのドライバソフトと出力デバイスなどで実現され得る。
【０２４９】
次に、動画要約装置２の全体動作について、フローチャートを用いて説明する。なお、所定の情報におけるｉ番目の情報は、「情報［ｉ］」と記載するものとする。図１１は、動画要約装置２の全体動作を示すフローチャートである。なお、図１１のフローチャートにおいて、図示しない撮影動画格納部に格納されている１以上の処理単位の集合であり、センサー関連情報が付加されている１以上の処理単位の集合の数は、ｍであるものとする。
【０２５０】
（ステップＳ１１０１）部分動画取得部２２は、動画要約条件受付部２１が動画要約条件を受け付けたか否かを判断する。受け付けた場合は、ステップＳ１１０２に進み、そうでない場合は、ステップＳ１１０１に戻る。
【０２５１】
（ステップＳ１１０２）部分動画取得部２２は、変数ｓｔａｒｔに０をセットする。
【０２５２】
（ステップＳ１１０３）部分動画取得部２２は、変数ｅｎｄに０をセットする。
【０２５３】
（ステップＳ１１０４）部分動画取得部２２は、変数ｆｌａｇにｆａｌｓｅをセットする。
【０２５４】
（ステップＳ１１０５）部分動画取得部２２は、カウンタｉに１をセットする。
【０２５５】
（ステップＳ１１０６）部分動画取得部２２は、ｉ番目の１以上の処理単位の集合に付加されている１または２種類以上のセンサー関連情報であるセンサー関連情報［ｉ］が動画要約条件を満たすか否かを判断する。満たす場合は、ステップＳ１１０７に進み、そうでない場合は、ステップＳ１１１２に進む。
【０２５６】
（ステップＳ１１０７）部分動画取得部２２は、ｓｔａｒｔが０であるか否かを判断する。０である場合は、ステップＳ１１０８に進み、そうでない場合は、ステップＳ１１１０に進む。
【０２５７】
（ステップＳ１１０８）部分動画取得部２２は、ｓｔａｒｔにｉをセットする。
【０２５８】
（ステップＳ１１０９）部分動画取得部２２は、ｆｌａｇにｔｒｕｅをセットする。
【０２５９】
（ステップＳ１１１０）部分動画取得部２２は、ｆｌａｇがｔｒｕｅであるか否かを判断する。ｔｒｕｅである場合は、ステップＳ１１１１に進み、そうでない場合は、ステップＳ１１１７に進む。
【０２６０】
（ステップＳ１１１１）部分動画取得部２２は、ｅｎｄにｉをセットする。
【０２６１】
（ステップＳ１１１２）部分動画取得部２２は、ｆｌａｇがｔｒｕｅであるか否かを判断する。ｔｒｕｅである場合は、ステップＳ１１１３に進み、そうでない場合は、ステップＳ１１１７に進む。
【０２６２】
（ステップＳ１１１３）部分動画取得部２２は、処理単位［ｓｔａｒｔ］から処理単位［ｅｎｄ］までの処理単位を取得する。当該処理単位は、部分動画を構成する処理単位である。
【０２６３】
（ステップＳ１１１４）部分動画取得部２２は、ｆｌａｇにｆａｌｓｅをセットする。
【０２６４】
（ステップＳ１１１５）部分動画取得部２２は、ｓｔａｒｔに０をセットする。
【０２６５】
（ステップＳ１１１６）部分動画取得部２２は、ｅｎｄに０をセットする。
【０２６６】
（ステップＳ１１１７）部分動画取得部２２は、ｉがｍであるか否かを判断する。ｍである場合は、ステップＳ１１１７に進み、そうでない場合は、ステップＳ１１１８に進む。
【０２６７】
（ステップＳ１１１８）部分動画取得部２２は、ｉを１インクリメントする。そして、ステップＳ１１０６に戻る。
【０２６８】
（ステップＳ１１１９）出力部２３は、ステップＳ１１０５からステップＳ１１１８までの処理により取得された１以上の処理単位から構成される部分動画を出力する。そして、上位処理にリターンする。
【０２６９】
なお、図１１のフローチャートにおいて、電源オフや処理終了の割り込みにより処理を終了してもよい。
【０２７０】
なお、上記で説明した動画要約装置２の全体動作は、あくまで一例である。つまり、動画要約装置２の全体動作は、上記の説明に限定されるものではない。
【０２７１】
（具体例）
次に、動画要約装置２の動作の具体例について説明する。なお、本具体例において、動画要約装置２は、パソコンにインストールされているアプリケーション（以下、適宜、動画編集アプリとする）であるものとする。また、当該動画編集アプリは、ユーザにより指定された動画を読み込み、ユーザからの指示に従い、当該動画を編集するものとする。また、本具体例において、一の処理単位は、実施の形態１の具体例と同様に、１フレームであるものとする。
【０２７２】
まず、ユーザが、パソコンを操作し、動画編集アプリを起動したとする。そして、ユーザが、パソコンを操作し、パソコンに接続されているメモリーカードに保存されている動画を、編集の対象とする動画として選択したとする。ここで、当該メモリーカードは、図示しない撮影動画格納部２０に相当する。また、当該メモリーカードには、動画処理装置１が取得した動画（センサー関連情報が付加された動画）が保存されているものとする。つまり、当該メモリーカードは、撮影動画の取得時に動画処理装置１に挿入されていたものが取り外され、動画要約装置２に接続されたものである。また、当該メモリーカードには、図１２に示す撮影動画が格納されているものとする。当該撮影動画は、撮影動画を構成する１以上のフレームを有する。当該フレームは、フレームＩＤにより識別される。当該フレームＩＤは、例えば、動画における当該フレームの番目を示す情報であると考えてもよい。また、１以上のフレームには、センサー加工情報（項目名：視線変動小、特定人物顔検出、特定人物声検出、三次元加速度大、事象存在）が付加されている。また、図１２に示すように、撮影動画は、２以上のチャプターを有する。
【０２７３】
チャプターの区切りは、例えば、動画の撮影が終了するたびに、当該撮影された動画の末尾に追加される。つまり、例えば、動画の撮影開始ボタンが押され、動画の撮影が開始されてから、次に、動画の撮影終了ボタンが押され、動画の撮影が終了されるまでに撮影された動画が、１つのチャプターとなる。また、動画編集アプリは、一のチャプターが有する１以上のフレームに付加されているセンサー関連情報について、動画要約条件を満たすか否かを判断するものとする。
【０２７４】
次に、ユーザが、パソコンを操作し、当該動画編集アプリ内において、動画要約条件を入力するための画面を表示するための操作を行ったとする。すると、動画編集アプリは、当該動画を表示する。そして、ユーザが、当該画面において、動画要約条件を入力したとする。当該入力の様子は、例えば、図１３である。そして、ユーザが、図１３において「ＯＫ」ボタンをクリックすると、動画要約条件受付部２１は、図１３において選択されている項目に応じた動画要約条件を受け付ける。図１３において、「注視している」、「特定の人物の顔を検出」の２つの項目が選択されている。従って、動画要約条件受付部２１は、例えば、動画要約条件「（視線変動小＝ｔｒｕｅ）＆（特定人物顔検出＝ｔｒｕｅ）」を受け付ける。当該動画要約条件は、視線の変動が小さく、かつ、特定の人物の顔を検出したことを意味する。また、当該要約条件は、例えば、視線の変動が小さいことを示す情報と、特定の人物の顔を検出したことを示す情報とが付加されていることを意味する。
【０２７５】
次に、部分動画取得部２２は、撮影動画が有する２以上のチャプターごとに、当該チャプターが有するフレームに対して付加されているセンサー関連情報が、動画要約条件「（視線変動小＝ｔｒｕｅ）＆（特定人物顔検出＝ｔｒｕｅ）」を満たすか否かを判断する。
【０２７６】
例えば、図１２において、チャプター１は、視線変動小情報「ｔｒｕｅ」、特定人物顔検出情報「ｔｒｕｅ」が付加されているフレーム（例えば、「ＩＤ＝０１３」、「ＩＤ＝０１４」、「ＩＤ＝０１５」、「ＩＤ＝１１１」、「ＩＤ＝１１２」、「ＩＤ＝１１３」などのフレーム）を有する。従って、部分動画取得部２２は、当該チャプター１に付加されているセンサー関連情報が、動画要約条件を満たすと判断する。そして、部分動画取得部２２は、当該チャプター１を、部分動画を構成するチャプターとして取得する。
【０２７７】
また、例えば、図１２において、チャプター２は、視線変動小情報「ｔｒｕｅ」、特定人物顔検出情報「ｔｒｕｅ」が付加されているフレームを有さない。従って、部分動画取得部２２は、当該チャプター２に付加されているセンサー関連情報が、動画要約条件を満たさないと判断する。そして、部分動画取得部２２は、当該チャプター２を、部分動画を構成するチャプターとして取得しない。
【０２７８】
また、例えば、チャプター３が、視線変動小情報「ｔｒｕｅ」、特定人物顔検出情報「ｔｒｕｅ」が付加されているフレームを有するとする。すると、部分動画取得部２２は、当該チャプター１に付加されているセンサー関連情報が、動画要約条件を満たすと判断する。そして、部分動画取得部２２は、当該チャプター３を、部分動画を構成するチャプターとして取得する。
【０２７９】
以上のようにして取得された部分動画は、例えば、図１４である。
【０２８０】
次に、出力部２３は、部分動画取得部２２が取得した部分動画を出力する。このとき、出力部２３は、例えば、当該部分動画を、画面出力する。そして、ユーザは、例えば、当該部分動画が、自身が気に入るものであれば、例えば、パソコンのハードディスクなど所定の記録媒体に保存する。
【０２８１】
以上、本実施の形態による動画要約装置２によれば、撮影動画に付加されているセンサー関連情報に基づき、当該撮影動画の要約を作成することができる。これにより、ユーザは、例えば、ユーザが注視しているシーンを撮影した動画（ユーザの視線の変動が予め決められた条件を満たすほど小さい動画）、特定の人物の顔が写っている動画、特定の人物の声が記録されている動画、三次元の加速度の大きさが予め決められた条件を満たすほど大きいときに撮影された動画、事象が存在する時刻および位置で撮影された動画などを含む動画を取得することができる。また、これにより、ユーザが好むと考えられる動画の要約を、より効率的に取得することができる。
【０２８２】
なお、上記実施の形態２において、撮影動画格納部２０に格納されている撮影動画の概念図は、例えば、図１５である。図１５において、「映像区間」は、いわゆるチャプターに相当するものである。また、「クローズアップポイント」は、処理単位に付加されたセンサー関連情報に相当するものである。また、「映像区間ごとのポイント」は、付加されているセンサー関連情報に基づくポイントである。部分動画取得部２２は、例えば、図１５の撮影動画から、「映像区間ごとのポイント」が閾値以上である映像区間を取得する。ここで、当該閾値が「７」である場合、部分動画取得部２２は、図１５に示すように、「映像区間ごとのポイント」が７以上である２つの映像区間を取得する。そして、部分動画取得部２２は、当該２つの映像区間を有する部分動画を取得する。
【０２８３】
また、上記実施の形態２において、動画要約装置２が撮影動画格納部２０を備える場合のブロック図は、図１６である。
【０２８４】
また、上記各実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されてもよいことは言うまでもない。
【０２８５】
また、上記各実施の形態における動画処理装置は、例えば、スタンドアロンの装置であってもよいし、サーバ・クライアントシステムにおけるサーバ装置であってもよい。
【０２８６】
また、上記各実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよいし、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
【０２８７】
また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよいし、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。
【０２８８】
また、上記実施の形態における動画処理装置を実現するソフトウェアは、例えば、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、１以上の処理単位を有する動画である撮影動画を受け付ける撮影動画受付部、前記撮影動画が有する１以上の処理単位に対して、当該１以上の処理単位の特性を示す情報である１または２種類以上のセンサー関連情報を取得するセンサー関連情報取得部、前記センサー関連情報取得部が取得したセンサー関連情報を、対応する処理単位に対して付加するセンサー関連情報付加部として機能させるためのプログラムである。
【０２８９】
また、上記実施の形態における動画要約装置を実現するソフトウェアは、例えば、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、撮影動画の一部を抽出するための条件であり、１または２種類以上のセンサー関連情報に関する条件である動画要約条件を受け付ける動画要約条件受付部、請求項１３に記載のプログラムにより取得された撮影動画であり、センサー関連情報が付加された１以上の処理単位を有する撮影動画が格納されている撮影動画格納部から、前記動画要約条件を満たすセンサー関連情報が付加されている１または２以上の処理単位から構成される動画であり、当該撮影動画の一部である部分動画を取得する部分動画取得部、前記部分動画取得部が取得した部分動画を出力する出力部として機能させるためのプログラムである。
【０２９０】
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。
【０２９１】
また、上記プログラムは、サーバなどからダウンロードされることによって実行されてもよいし、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。
【０２９２】
また、上記プログラムを実行するコンピュータは、単数であってもよいし、複数であってもよい。つまり、集中処理を行ってもよいし、あるいは分散処理を行ってもよい。
【０２９３】
また、図１７は、前述のプログラムを実行して、前述の実施の形態の動画処理装置等を実現するコンピュータシステム９の概観図である。前述の実施の形態は、コンピュータハードウェア、およびその上で実行されるコンピュータプログラムで実現され得る。
【０２９４】
図１７において、コンピュータシステム９は、ＣＤ−ＲＯＭドライブ９０１１を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。
【０２９５】
図１８は、コンピュータシステム９のブロック図である。図１８において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０１１に加えて、ＭＰＵ９０１３と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９０１４と、ＭＰＵ９０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ９０１５と、アプリケーションプログラム、システムプログラム、およびデータを記憶するためのハードディスク９０１５と、ＣＤ−ＲＯＭドライブ９０１１、ＭＰＵ９０１２等を相互に接続するバス９０１６とを備える。ここでは図示しないが、コンピュータ９０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを備えていてもよい。
【０２９６】
コンピュータシステム９に、前述の実施の形態の動画処理装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９１０１に記憶されて、ＣＤ−ＲＯＭドライブ９０１１に挿入され、さらにハードディスク９０１５に転送されてもよい。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９０１５に記憶されてもよい。プログラムは実行の際にＲＡＭ９０１４にロードされる。プログラムは、ＣＤ−ＲＯＭ９１０１またはネットワークから直接、ロードされてもよい。
【０２９７】
プログラムは、コンピュータ９０１に、前述の実施の形態の動画処理装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいればよい。コンピュータシステム９がどのように動作するかは周知であり、詳細な説明は省略する。
【０２９８】
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０２９９】
以上のように、本発明にかかる動画処理装置は、取得した動画に対して、当該動画の処理単位の特性を示す情報を付加すること、および、当該付加した情報に基づき、取得した動画の一部を取得することができるという効果を有し、動画を撮影することが可能なウェアラブル機器等として有用である。
【符号の説明】
【０３００】
１  動画処理装置
２  動画要約装置
１１、２０  撮影動画格納部
１２  撮影動画受付部
１３  センサー関連情報取得部
１４  センサー関連情報付加部
１５  撮影動画蓄積部
２１  動画要約条件受付部
２２  部分動画取得部
２３  出力部
１３１  視線関連情報取得手段
１３２  顔関連情報取得手段
１３３  声関連情報取得手段
１３４  三次元加速度関連情報取得手段
１３５  事象関連情報取得手段
【図１】
2016119611.tif 000003
【図２】
2016119611.tif 000004
【図３】
2016119611.tif 000005
【図４】
2016119611.tif 000006
【図５】
2016119611.tif 000007
【図６】
2016119611.tif 000008
【図７】
2016119611.tif 000009
【図８】
2016119611.tif 000010
【図９】
2016119611.tif 000011
【図１０】
2016119611.tif 000012
【図１１】
2016119611.tif 000013
【図１２】
2016119611.tif 000014
【図１３】
2016119611.tif 000015
【図１４】
2016119611.tif 000016
【図１６】
2016119611.tif 000017
【図１７】
2016119611.tif 000018
【図１８】
2016119611.tif 000019
【図１５】
2016119611.tif 000020