(57)【特許請求の範囲】
【請求項１】
処理対象動画から部分動画を生成する情報処理装置であって、
前記処理対象動画を構成するフレームの注目領域を抽出する手段と、
前記注目領域に含まれる物体を検出する手段と、
前記物体を、物体クラスタとして、前記フレームの時間方向にクラスタリングする手段と、
前記物体クラスタの重要度を算出する手段と、
前記重要度に基づいて、前記物体クラスタを選択する手段と、
前記選択された前記物体クラスタの位置を、該物体クラスタを含むフレームの時間に前後するフレームについて追跡して、追跡パスを生成する手段と、
前記追跡パスを含んだ前記部分動画を生成する手段と
を含む情報処理装置。
【請求項２】
前記情報処理装置は、前記注目領域の抽出および前記重要度の算出に、顕著性マップを使用する
請求項１に記載の情報処理装置。
【請求項３】
前記情報処理装置は、前記注目領域の抽出および前記重要度の算出に、物体認識技術を使用する
請求項１に記載の情報処理装置。
【請求項４】
前記情報処理装置が生成する前記部分動画は、前記物体クラスタの重要度に基づいて、２以上の前記物体クラスタを含む
請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
前記部分動画に含まれる２以上の前記物体クラスタは、前記物体クラスタ間の時間的、空間的距離に基づいて選択される
請求項４に記載の情報処理装置。
【請求項６】
前記情報処理装置は、前記追跡パスの重要度を算出し、該重要度に基づいて、２以上の物体クラスタを含む前記部分動画を生成する
請求項４または５に記載の情報処理装置。
【請求項７】
前記処理対象動画は、全方位カメラによって撮影された動画である
請求項１〜６のいずれか１項に記載の情報処理装置。
【請求項８】
処理対象動画から部分動画を生成する方法であって、
前記処理対象動画を構成するフレームの注目領域を抽出するステップと、
前記注目領域に含まれる物体を検出するステップと、
前記物体を、物体クラスタとして、前記フレームの時間方向にクラスタリングするステップと、
前記物体クラスタの重要度を算出するステップと、
前記重要度に基づいて、前記物体クラスタを選択するステップと、
前記選択された前記物体クラスタの位置を、該物体クラスタを含むフレームの時間に前後するフレームについて追跡して、追跡パスを生成するステップと、
前記追跡パスを含んだ前記部分動画を生成するステップと
を含む方法。
【請求項９】
情報処理装置を、請求項８に記載の手段として機能させる、装置実行可能なプログラム。
【請求項１０】
請求項９に記載のプログラムを格納した、装置可読な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
動画に含まれる重要なシーンを判定して、ユーザが重要なシーンを視聴できるようにする技術が知られており、例えば、以下に示す特許文献１〜３のような技術が知られている。
【０００３】
特開２００８−０２２１０３号公報（特許文献１）では、テレビ番組の映像からハイライトシーンを抽出する技術が開示されている。特許文献１によれば、機械学習に基づいたシーン識別方法を用いるアルゴリズムにおいて、ユーザが所望するハイライト抽出結果を得られなかった場合に、対話的に学習データを追加する手段を提供することにより、ハイライト抽出精度を向上できる。
【０００４】
特許第４９２０３９５号公報（特許文献２）では、音声認識に基づいて、動画の要約を作成する技術が開示されている。特許文献２によれば、音声データをテキスト化したデータから重要語を抽出し、該重要語に基づいて抽出された代表画像および重要語を統合して、要約した動画を作成できる。
【０００５】
特許第５７３８０２８号公報（特許公報３）では、監視カメラが撮影した動画を要約する技術が開示されている。特許文献３によれば、フレームごとの重要度を判定し、重要度の低いフレームを間引くことで、要約した動画を作成できる。
【０００６】
しかしながら、これらの従来技術は、動画を時間的にフレームに区切って抽出するものであり、１つのフレーム内における空間的に重要な領域を抽出することはできない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記従来技術における課題に鑑みてなされたものであり、重要な領域の部分動画を時間的・空間的に抽出する情報処理装置、方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
すなわち、本発明によれば、処理対象動画から部分動画を生成する情報処理装置であって、
前記処理対象動画を構成するフレームの注目領域を抽出する手段と、
前記注目領域に含まれる物体を検出する手段と、
前記物体を、物体クラスタとして、前記フレームの時間方向にクラスタリングする手段と、
前記物体クラスタの重要度を算出する手段と、
前記重要度に基づいて、前記物体クラスタを選択する手段と、
前記選択された前記物体クラスタの位置を、該物体クラスタを含むフレームの時間に前後するフレームについて追跡して、追跡パスを生成する手段と、
前記追跡パスを含んだ前記部分動画を生成する手段と
を含む情報処理装置が提供される。
【発明の効果】
【０００９】
上述したように、本発明によれば、重要な領域の部分動画を時間的・空間的に抽出する情報処理装置、方法、プログラムおよび記録媒体が提供される。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態における情報処理装置のハードウェアの概略構成を示す図。
【図２】本実施形態の情報処理装置のソフトウェアブロック図。
【図３】第１の実施形態において動画処理部が実行する処理のフローチャート。
【図４】フレーム内の物体を検出するステップを示す図。
【図５】クラスタリングされた物体の例を示す図。
【図６】物体の追跡パスを生成する例を示す図。
【図７】追跡パスに基づいて部分動画を抽出する例を示す図。
【図８】第２の実施形態において動画処理部が実行する処理のフローチャート。
【図９】複数の部分動画を表示する例を示す図。
【図１０】追跡パス間の距離について説明する図。
【図１１】全方位動画の撮影単位球と正距円筒画像の例を示す図。
【図１２】全方位動画の撮影単位球面上および正距円筒画像上の距離の例を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜その説明を省略するものとする。
【００１２】
図１は、本発明の実施形態における情報処理装置１００のハードウェアの概略構成を示す図である。情報処理装置１００は、例として、パソコン、タブレット端末、スマートフォン端末、録画・再生装置などが挙げられるが、特に制限はない。情報処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４、モニタ１０５を含む。
【００１３】
ＣＰＵ１０１は、情報処理装置１００の動作を制御するプログラムを実行する装置である。ＲＡＭ１０２は、情報処理装置１００が実行するプログラムの実行空間を提供するための揮発性の記憶装置であり、プログラムやデータの格納用、展開用として使用される。ＲＯＭ１０３は、情報処理装置１００が実行するプログラムやデータ等を記憶するための不揮発性の記憶装置である。
【００１４】
ＨＤＤ１０４は、情報処理装置１００を機能させるＯＳ（Operating System）や、動画の映像情報などを記憶する装置である。モニタ１０５は、映像を表示することで、ユーザに対して動画を提供する装置である。
【００１５】
以上、情報処理装置１００に含まれるハードウェア構成について説明した。次に、情報処理装置１００の各ハードウェアによって実行される機能手段について、図２によって説明する。図２は、本実施形態の情報処理装置のソフトウェアブロック図である。
【００１６】
情報処理装置１００は、動画保存部２１０と、動画処理部２２０と、表示部２３０を含む。以下に、各ソフトウェアブロックの機能について説明する。
【００１７】
動画保存部２１０は、ユーザが取り込んだ動画や、動画処理部２２０によって生成された部分動画などをＨＤＤ１０４に保存する手段である。
【００１８】
動画処理部２２０は、動画保存部２１０に保存されている動画を処理する手段であり、動画入力部２２１と、注目領域抽出部２２２と、物体検出部２２３と、物体クラスタリング部２２４と、重要度算出部２２５と、物体クラスタ選択部２２６と、物体追跡部２２７と、部分動画生成部２２８を含む。
【００１９】
動画入力部２２１は、動画保存部２１０に保存されている動画のうち、処理を行う動画を取得する手段である。注目領域抽出部２２２は、処理対象動画内の各フレームから、注目領域を抽出する手段である。
【００２０】
物体検出部２２３は、注目領域抽出部２２２が抽出した注目領域に含まれる物体を検出する手段である。物体クラスタリング部２２４は、物体検出部２２３が検出した各フレームの物体を、時間方向にクラスタリングする手段である。
【００２１】
重要度算出部２２５は、物体クラスタリング部２２４によってクラスタリングされた各物体の重要度を算出する手段である。物体クラスタ選択部２２６は、重要度算出部２２５が算出した重要度に基づいて、重要度の大きい物体クラスタを選択する手段である。
【００２２】
物体追跡部２２７は、物体クラスタ選択部２２６が選択した物体クラスタについて、時間の前後方向に追跡する手段である。部分動画生成部２２８は、物体追跡部２２７が物体クラスタを追跡した結果に基づいて、処理対象動画から、部分動画を抽出、生成する手段である。
【００２３】
表示部２３０は、動画保存部２１０が保存した動画や部分動画などを、ＨＤＤ１０４から読み出し、モニタ１０５に表示する手段である。
【００２４】
なお、図２に示したソフトウェアブロックは、ＣＰＵ１０１が本実施形態のプログラムを実行することにより、各ハードウェアを機能させることにより、実現される機能手段に相当する。また、図３に示した機能手段は、全部がソフトウェア的に実現されても良いし、その一部または全部を同等の機能を提供するハードウェアとして実装することもできる。
【００２５】
ここまで、本発明の情報処理装置１００に含まれる、ハードウェアおよびソフトウェアについて説明した。以下では、より具体的な実施形態を以て本発明の説明を行う。本発明の第１の実施形態は、動画に含まれる１つの重要な物体についての部分動画を生成する技術である。図３は、第１の実施形態において動画処理部２２０が実行する処理のフローチャートである。
【００２６】
まず、動画処理部２２０は、ステップＳ１０００から処理を開始する。次に、ステップＳ１００１で、動画入力部２２１が、処理対象動画を動画保存部２１０から読み出す。
【００２７】
ステップＳ１００２で、注目領域抽出部２２２が、処理対象動画の各フレームの注目領域を抽出する。注目領域の抽出には、画像内における人間の視覚的注意を惹きやすい領域を計算するモデルである顕著性マップを使用して、抽出することができる。顕著性マップの作成には、例えば、非特許文献１および２に記載の方法を採用することができる。
【００２８】
さらに、顕著性マップに依らない注目領域の抽出方法を用いてもよい。例えば、物体認識技術を用いて、顔や人物などの特定の物体を重要度の大きい物体として設定することもできる。また、物体のカテゴリごとに重要度の序列を設定することができ、例えば、最も重要な物体を人物とし、次に重要な物体を動物として設定するといった方法を採用することができる。これらの物体認識技術は、既知のものを用いることができ、例えば、非特許文献３に記載の方法などが挙げられる。
【００２９】
また、注目する箇所を領域ではなく、点として得た場合であっても、当該点を中心とした矩形または円形の領域に拡張することで、注目領域として抽出することもできる。
【００３０】
このように、注目領域を抽出することによって、以後のステップにおける物体検出処理の範囲を小さくでき、処理速度を効率化することができる。したがって、物体検出処理の速度が充分に早い場合には、ステップＳ１００２の処理を省略することができる。
【００３１】
ステップＳ１００３では、物体検出部２２３が、各フレームにおいて抽出された注目領域から、物体を検出する。物体検出のアルゴリズムには、例えば、非特許文献４に記載の方法を採用することができる。
【００３２】
ここで、ステップＳ１００１〜Ｓ１００３の各処理によって物体を検出するイメージを図４で説明する。図４は、フレーム内の物体を検出するステップを示す図である。図４（ａ）は、時間方向に並んだフレームのイメージを示しており、これによって動画が構成される。
【００３３】
図４（ｂ）は、ステップＳ１００２の処理によって、図４（ａ）の動画を構成するフレームの１つから、注目領域を抽出したイメージを示している。ここでは、２つの注目領域が抽出された例を示している。
【００３４】
図４（ｃ）は、ステップＳ１００３の処理によって、図４（ｂ）の注目領域に含まれる物体を検出したイメージを示しており、２つの注目領域に物体１および物体２が検出された例を示している。
【００３５】
説明を図３に戻す。上述のようにして各フレームの物体を検出したあと、ステップＳ１００４で、物体クラスタリング部２２４が、検出した各物体を時間方向にクラスタリングする。物体のクラスタリング方法には、一例として、以下の方法が挙げられる。すなわち、色、エッジ、テクスチャなどの各物体領域の画像的な特徴を抽出し、ｋ−ｍｅａｎｓ法を用いて時間的・空間的距離と特徴空間での距離を尺度にしてクラスタリングする。
【００３６】
なお、クラスタリング方法については、特に限定するものではなく、ｋ−ｍｅａｎｓ法以外の方法であってもよい。例えば、物体の初期位置およびフレームを選び、該フレームの前後のフレームにおいて空間的な位置や特徴量が近い物体領域を、逐次統合することでクラスタリングすることもできる。
【００３７】
図５は、クラスタリングされた物体の例を示す図である。各フレームの物体１および物体２が、時間方向に紐付けられてクラスタリングされたイメージを示している。以下の説明では、クラスタリング処理によってまとめられた一連の物体を、「物体クラスタ」として参照する。このような物体クラスタを生成することで、以下のステップにおいて重要度が算出しやすくなり、効率的な部分動画の生成を行うことができる。
【００３８】
ステップＳ１００５では、重要度算出部２２５が、各物体クラスタの重要度を算出する。重要度の算出は、ステップＳ１００２と同様に、顕著性マップを用いることで、物体クラスタの顕著性の空間方向および時間方向での統計量（累計値、平均値、中央値、最大値など）を用いることができる。
【００３９】
次に、ステップＳ１００６で、物体クラスタ選択部２２６が、重要度の大きい物体クラスタを選択する。その後、ステップＳ１００７で、物体追跡部２２７は、選択した物体クラスタについて、時間の前後方向に追跡し、物体の追跡パスを生成する。ここで、物体の追跡について、図６を以て説明する。
【００４０】
図６は、物体の追跡パスを生成する例を示す図であり、濃い色で示された物体は、クラスタリングされていることを示している。追跡パスは、物体クラスタのうち時間的に一番前にあるフレームから時間を遡る方向と、時間的に一番後ろにあるフレームから時間の経過する方向へ追跡して生成する。例えば、図６（ａ）では、時刻ｔ２から時刻ｔ１へ遡る方向と、時刻ｔ４から時刻ｔ５へ進む方向へ追跡する。
【００４１】
また、物体クラスタの最小番号フレームと最大番号フレームの間に、物体が検出されていないフレームが存在する場合には、該フレームの前後のフレームから、物体の位置を推定することができる。例えば、図６（ｂ）では、ｔ３のフレームで物体が検出されていないことから、ｔ２およびｔ４のフレームの物体位置の平均から、ｔ３における物体の位置を推定できる。
【００４２】
物体を追跡するアルゴリズムは、任意の方法を採用することができ、例えば、非特許文献５に記載の方法などを用いることができる。このようにして、物体を見失うか、動画の最初または最後のフレームに到達するまで、物体の追跡パスを生成する。なお、物体の追跡は、物体クラスタリングの補完的な処理であって、物体クラスタリングの精度が充分に高い場合には、物体を追跡しないで追跡パスを生成することができる。
【００４３】
再び説明を図３に戻す。このようにして生成した追跡パスに基づいて、ステップＳ１００８では、部分動画生成部２２８は、物体クラスタの部分動画を抽出し、生成する。ステップＳ１００８の部分動画を抽出する方法について、図７を以て説明する。図７は、追跡パスに基づいて部分動画を抽出する例を示す図である。
【００４４】
図７（ａ）は、部分動画を抽出するイメージを示しており、ステップＳ１００７で生成された追跡パスを中心として、物体のサイズに合わせた領域をトリミングし、該トリミング領域を新たなフレームとした部分動画を抽出する。トリミングされた動画の例は、図７（ｂ）に示すものであり、各フレームの物体に注目した部分動画を生成することができる。
【００４５】
また、トリミング領域の設定方法は上述したものに限らず、例えば、自フレームの１つ先の時刻のフレームの追跡パスの位置を中心としてもよい。なお、１フレームごとにトリミング位置が変化すると、部分動画としての見やすさが低下することから、トリミング位置に対して時間方向の平滑化処理をしてもよい。さらに、別のトリミング領域の設定方法として、物体に対して充分に大きな領域をトリミングし、部分動画のフレームを固定してもよい。
【００４６】
以上の処理によって部分動画を生成し、その後、ステップＳ１００９で、動画処理部は、部分動画を生成する処理を終了する。なお、生成された部分動画は、表示部２３０によってモニタ１０５に表示され、または動画保存部２１０によってＨＤＤ１０４に保存される。
【００４７】
以上、説明した通り、第１の実施形態によれば、動画に含まれる重要度の高い物体を抽出した部分動画を生成することができ、ユーザが効率的に視聴できる動画を提供することができる。なお、注目領域抽出（Ｓ１００２）、物体検出（Ｓ１００３）、物体クラスタリング（Ｓ１００４）、重要度算出（Ｓ１００５）、物体追跡（Ｓ１００７）の各処理において、フレームの画像の特徴量を用いるが、いずれの処理で用いる特徴量を共通化することができる。例えば、あらかじめ算出した特徴量を記憶しておき、各処理の行うタイミングで特徴量を読み込むことで、効率的に処理を行うことができる。
【００４８】
次に、本発明の第２の実施形態について説明する。第２の実施形態は、動画に含まれる複数の重要な物体についての部分動画を生成する技術である。図８は、第２の実施形態において動画処理部２２０が実行する処理のフローチャートである。
【００４９】
図８のステップＳ２０００〜Ｓ２００５の処理は、図３のステップＳ１０００〜Ｓ１００５の処理と同じなので、詳細な説明は省略する。ステップＳ２００６では、物体クラスタ選択部２２６が、物体クラスタを選択する。第２の実施形態では、１つの処理対象動画から複数の部分動画を生成することができるので、重要度の大きい物体クラスタから順に選択する。
【００５０】
物体クラスタを選択した後、ステップＳ２００７、Ｓ２００８で、追跡パスの生成および部分動画の生成を行う。ステップＳ２００７およびＳ２００８についても、ステップＳ１００７およびＳ１００８と同じなので詳細な説明は省略する。
【００５１】
なお、物体のクラスタリング処理の不完全性によって、物体を追跡する際に、複数の物体クラスタが１つの追跡パスに含まれる場合がある。このような、追跡パスに含まれた物体クラスタを、選択された物体クラスタとして扱うことで、効率的な視聴が可能な部分動画を生成することができる。
【００５２】
また、上述したように、１つの追跡パスに複数の物体クラスタが含まれる場合には、追跡パスの重要度と、物体クラスタの重要度とが１対１に対応しないことになる。このような場合には、追跡パスを生成した段階で、該追跡パスの重要度を再度算出することで、追跡パスの重要度を適切に評価することができる。
【００５３】
追跡パスの重要度は、追跡パスに含まれる物体クラスタの重要度の和、平均値、最大値などとすることができる。または、追跡パスの空間的・時間的近傍の重要度の統計量としてもよい。例えば、時刻ｔにおけるフレームについて、位置（ｘ，ｙ）の重要度をＩ（ｔ，ｘ，ｙ）、追跡パスをｘ＝ｆ（ｔ）、ｙ＝ｇ（ｔ）とした場合の重要度を、下記式（１）で求めることができる。なお、式（１）のｔについて加算する範囲は、追跡パスの最初のフレームから最後のフレームまでである。
【００５４】
【数１】
0006642261.tif 000002
【００５５】
また、上記式（１）を変形した例として、下記式（２）のように、空間的にガウシアンで重みを付けることもできる。なお、式（２）中のαは、空間的な近傍を指定するパラメータである。
【００５６】
【数２】
0006642261.tif 000003
【００５７】
また、上述した式（１）、（２）のように、時間ｔについての総和によって重要度を算出する場合には、追跡パスの長さによって、重要度が決まることから、下記式（３）のように、追跡パスの中で最も重要度の大きい追跡パスの重要度を採用してもよい。
【００５８】
【数３】
0006642261.tif 000004
【００５９】
このように、追跡パスごとの重要度を算出することで、複数の物体クラスタを含む部分動画であっても、重要度の高さの順に部分動画をユーザに提供することができる。
【００６０】
部分動画を生成した後、ステップＳ２００９に進み、重要度の大きい物体クラスタを選択したかを判定する。ステップＳ２００９で、物体クラスタを特定個数選択したか、または全ての物体クラスタを選択した場合（ＹＥＳ）には、ステップＳ２０１０に進み、部分動画を生成する処理を終了する。ステップＳ２００９で、まだ選択すべき物体クラスタが残っている場合（ＮＯ）には、ステップＳ２００６に戻り、再度物体クラスタを選択する処理を行う。
【００６１】
上述した第２の実施形態によれば、動画に含まれる複数の重要な物体を抽出した部分動画を生成することができる。また、重要度の大きい物体が、時間的に重複する場合においても、別個の部分動画として生成することができる。
【００６２】
第２の実施形態において生成された複数の部分動画は、モニタ１０５上に表示することができる。図９は、複数の部分動画を表示する例を示す図である。
【００６３】
部分動画は、部分動画１のように複数の物体に注目したものや、注目物体ごとに生成されたものであってもよい。また、ユーザは、図９に例示した部分動画を選択することで、個別に視聴することができる。
【００６４】
以上、第２の実施形態について説明した。次に、本発明の第３の実施形態について説明する。第３の実施形態は、第２の実施形態と同様に、動画から複数の部分動画を生成するものであるが、物体クラスタ間の距離に応じて物体クラスタを選択することで、多様な部分動画を生成することができる。
【００６５】
第３の実施形態における処理は、図８の処理と同様であるので、説明を省略する。但し、ステップＳ２００６の物体クラスタを選択する方法が、第２の実施形態と異なるので、以下に説明する。
【００６６】
第３の実施形態では、物体クラスタの重要度および物体クラスタ間の距離に基づいて物体クラスタを選択する。なお、物体クラスタ間の距離とは、物体クラスタの位置（ｘ−ｙおよびフレーム位置）の距離である。物体クラスタの選択には、下記式（４）を用い、物体クラスタの選択数をＮ個とし、下記式（４）の評価関数Ｊが最大となるように、物体クラスタをＮ個選択する。
【００６７】
【数４】
0006642261.tif 000005
【００６８】
ここで、上記式（４）中の、Ｐｉは物体クラスタｉの重要度、Ｄｉｊは物体クラスタｉ−ｊ間の距離である。また、Ｓは選択された物体クラスタのインデックスの集合（Ｎ要素）、λは２つの評価基準（物体クラスタの重要度および距離）のバランスを決める係数である。
【００６９】
なお、評価関数Ｊを求める方法は上記式（４）に限らず、ＰｉおよびＤｉｊに対して、単調増加するような関数として構成することができる。
【００７０】
また、評価関数Ｊの最大値の算出は、組み合わせ最適化問題であるため、物体クラスタの数によって、適切な手法を用いることが好ましい。例えば、物体クラスタの数が少なく、計算負荷に余裕がある場合には、全探索を用い、物体クラスタの数が多く、計算負荷が大きい場合には、遺伝的アルゴリズム、模擬焼きなまし法、タブーサーチなどのメタヒューリスティクス最適化手法を用いることができる。
【００７１】
このようにして、物体クラスタ選択部２２６は、評価関数Ｊが最大となるＮ個の物体クラスタを決定することができ、当該Ｎ個の物体クラスタについて、１つずつ選択することができる。なお、上述したＮ個の選択された物体クラスタから１つを選択するには、下記式（５）によって求められる修正重要度Ｐ’ｉが最大となる物体クラスタを選択することができる。
【００７２】
【数５】
0006642261.tif 000006
【００７３】
なお、上述した物体クラスタ間の距離によって、選択する物体クラスタを決定する方法は、第２の実施形態に示した追跡パスの選択にも適用することができる。すなわち、図１０に示すような追跡パス間の距離に基づいて、選択する追跡パスを決定することができる。図１０は、追跡パス間の距離について説明する図である。
【００７４】
追跡パス間の距離とは、例えば、図１０（ａ）のように、追跡パスの３次元時空間での平均位置間のユークリッド距離とすることができる。または、図１０（ｂ）のように、３次元時空間上での最短のユークリッド距離とすることができる。さらに、図１０に示す例以外にも、相関を持つ多次元のデータ間の統計的な距離を表す、マハラノビス距離を使用することも有効である。例えば、追跡パスの時空間での平均と、共分散行列とを算出し、マハラノビス距離を追跡パス間の距離としてもよい。
【００７５】
以上、説明した通り、本発明の第３の実施形態によれば、動画から複数の部分動画を生成することができ、さらに、時間的・空間的に離れた物体クラスタを選択することで、多様な形態の部分動画を生成することができる。
【００７６】
次に、本発明の第４の実施形態について説明する。第４の実施形態では、第３の実施形態と同様に、動画から複数の部分動画を生成するものであるが、全方位カメラによって撮影された動画（以下、「全方位動画」として参照する）を処理対象動画として、該動画から複数の部分動画を生成する。なお、第４の実施形態における処理は、図８の処理と同様であるので、説明を省略する。
【００７７】
まず、第４の実施形態における全方位動画について説明する。図１１は、全方位動画の撮影単位球と正距円筒画像の例を示す図である。
【００７８】
全方位動画の撮影方向は、図１１（ａ）のような撮影単位球で表現され、撮影方向の経度を示す角度をθ、撮影方向の緯度を示す角度をφとして表す。このとき撮影された動画（または静止画）は、図１１（ｂ）に示すような、正距円筒画像のθ軸（０〜２π）とφ軸（−π／２〜π／２）上の座標に対応する。
【００７９】
全方位動画から、第３の実施形態のように物体クラスタ間の距離を求めるには、図１２で説明するように修正する必要がある。図１２は、全方位動画の撮影単位球および正距円筒画像上の距離の例を示す図である。なお、図１２中の点Ａ、Ｂは、物体の位置を表す点である。
【００８０】
図１２（ａ）のような正距円筒画像上の点Ａ−Ｂ間の距離を求める場合には、点Ａ、Ｂの座標を撮影単位球上に投影する。そして、図１２（ｂ）に示すように、撮影単位球面上での最短距離を、物体クラスタ間の距離として用いる。
【００８１】
ここまでで説明した通り、本発明の第４の実施形態によれば、全方位動画から複数の重要物体を抽出し、該重要物体が移動した軌跡を含む部分動画を生成することができ、ユーザにとって効率的な視聴が可能となる。
【００８２】
以上、説明した本発明の各実施形態によれば、重要な領域の部分動画を時間的・空間的に抽出する情報処理装置、方法、プログラムおよび記録媒体を提供することができる。
【００８３】
上述した本発明の実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）等で記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭ等の装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。
【００８４】
以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【００８５】
１００…情報処理装置、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…ＨＤＤ、１０５…モニタ、２１０…動画保存部、２２０…動画処理部、２２１…動画入力部、２２２…注目領域抽出部、２２３…物体検出部、２２４…物体クラスタリング部、２２５…重要度算出部、２２６…物体クラスタ選択部、２２７…物体追跡部、２２８…部分動画生成部、２３０…表示部
【先行技術文献】
【特許文献】
【００８６】
【特許文献１】特開２００８−０２２１０３号公報
【特許文献２】特許第４９２０３９５号公報
【特許文献３】特許第５７３８０２８号公報
【非特許文献】
【００８７】
【非特許文献１】L. Itti, et al.,  “A model of saliency-based visual attention for rapid scene analysis”, IEEE Transactions on Pattern Analysis & Machine Intelligence 11 pp. 1254-1259, 1998.
【非特許文献２】R. Zhao, et al., “Saliency detection by multi-context deep learning”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015.
【非特許文献３】C. Farabet, et al., “Learning hierarchical features for scene labeling”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 35, no. 8, pp. 1915-1929, (2013)
【非特許文献４】R. Girshick, “Fast R-CNN”, Proceedings of the IEEE International Conference on Computer Vision. 2015.
【非特許文献５】Y. Wu, et al., “Online object tracking: A benchmark”, Conference on Computer Vision and Pattern Recognition (CVPR), 2013.
【図１】
0006642261.tif 000007
【図２】
0006642261.tif 000008
【図３】
0006642261.tif 000009
【図４】
0006642261.tif 000010
【図５】
0006642261.tif 000011
【図６】
0006642261.tif 000012
【図７】
0006642261.tif 000013
【図８】
0006642261.tif 000014
【図９】
0006642261.tif 000015
【図１０】
0006642261.tif 000016
【図１１】
0006642261.tif 000017
【図１２】
0006642261.tif 000018