(57)【要約】【課題】入力動画から重要な被写体部分を適切に切出して表示可能とする。【解決手段】入力動画の各フレームから被写体毎の領域を切出して被写体動画320を生成する(b)。そして被写体動画ごとに、それぞれの被写体の動きの変化を示す特徴フレームα,β,γを検出し(c)、該特徴フレームを含む重要区間330を検出し(d)、該重要区間を含む切出区間330,340を設定する(f)。このとき、複数の被写体動画において重要区間が重複していれば、該重複している重複区間のそれぞれから切出区間を選択する。そして、全ての被写体動画における切出区間を、入力動画のフレーム番号に応じてつなぐことで編集動画を生成する。この編集動画を表示することにより、各被写体の重要な動作や状態を確実に表示できる。【選択図】図7
2015170973.tif 000002
【特許請求の範囲】
【請求項１】
入力動画の各フレームから被写体の領域を切出して被写体動画を生成する部分動画生成手段と、
前記被写体動画において被写体の動きの変化を示す特徴フレームを検出する検出手段と、
前記被写体動画において前記特徴フレームを含む複数のフレームからなる重要区間を検出し、該重要区間を含む切出区間を設定する設定手段と、
前記被写体動画から切出した前記切出区間を、対応する前記入力動画のフレーム番号に応じてつないで編集動画を生成する編集動画生成手段と、を有し、
前記設定手段は、前記入力動画から生成された複数の前記被写体動画において前記重要区間が重複している場合、該重複している区間のそれぞれにおいて前記切出区間を設定することを特徴とする画像処理装置。
【請求項２】
さらに、複数の表示サイズによる動画表示を可能とする表示手段と、
前記表示手段における表示サイズを取得する取得手段と、
前記表示サイズに応じて、前記表示手段への表示対象を前記入力動画と前記編集動画とで切り替える表示切替手段と、
を有することを特徴とする請求項1に記載の画像処理装置。
【請求項３】
前記表示手段はその姿勢に応じて表示画面の縦横比が変化し、
前記取得手段は、前記表示サイズとして前記表示画面の縦横比を取得することを特徴とする請求項2に記載の画像処理装置。
【請求項４】
前記表示切替手段は、前記表示画面の縦横比が前記入力動画の縦横比と同じであれば前記入力動画を表示対象とし、同じでなければ前記編集動画を表示対象とすることを特徴とする請求項3に記載の画像処理装置。
【請求項５】
前記設定手段は、前記複数の被写体動画において前記重要区間が重複している場合、該重複している区間の全部を前記切出区間として設定することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
【請求項６】
前記設定手段は、前記複数の被写体動画において前記重要区間が重複している場合、該重複している区間から選択的に1つを前記切出区間として設定することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
【請求項７】
前記設定手段は、前記重複している区間の全部または一部のいずれを前記切出区間として設定するかを前記入力動画に応じて判定することを特徴とする請求項5または6に記載の画像処理装置。
【請求項８】
前記部分動画生成手段は、被写体の領域として前記編集動画のフレームと縦横比の等しい矩形を切出すことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
【請求項９】
前記設定手段は、前記被写体動画において前記重要区間を前記切出区間として設定した後、全ての前記被写体動画において前記切出区間として設定されていない前記入力動画の区間を、全ての前記被写体動画に前記切出区間として割り振ることを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
【請求項１０】
前記検出手段は、前記被写体動画において、被写体の動きの開始および終了、他の被写体の出現、被写体の表情の変化、被写体による所定の語の発声、被写体の出現および消失、被写体の視線の変化、の少なくとも何れかを示すフレームを、前記特徴フレームとして検出することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
【請求項１１】
前記設定手段は、前記被写体動画の前記切出区間について、前記入力動画でのフレーム番号と前記編集動画でのフレーム番号、および前記重複している区間の情報を示す切出区間情報を作成し、
前記編集動画生成手段は、前記切出区間情報に基づいて前記切出区間をつなぐことを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
【請求項１２】
前記設定手段は、前記被写体動画の前記切出区間について、前記入力動画でのフレーム番号と前記編集動画でのフレーム番号、および前記重複している区間の情報を示す切出区間情報を作成し、
前記表示切替手段は、前記表示手段への表示対象を切り替える際に、前記切出区間情報に基づいて前記入力動画または前記編集動画の表示フレームを設定することを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。
【請求項１３】
入力動画の各フレームから被写体の領域を切出して被写体動画を生成する部分動画生成手段と、
前記被写体動画において被写体の動きの変化を示す特徴フレームを検出する検出手段と、
前記被写体動画において前記特徴フレームを含む複数のフレームからなる重要区間を検出し、該重要区間を含む切出区間を設定する設定手段と、
前記被写体動画における前記切出区間の情報を保存する切出情報保存手段と、を有し、
前記設定手段は、前記入力動画から生成された複数の前記被写体動画において前記重要区間が重複している場合、該重複している区間のそれぞれから前記切出区間を設定することを特徴とする画像処理装置。
【請求項１４】
さらに、動画表示を可能とし、その姿勢に応じて表示画面の縦横比が変化する表示手段と、
前記表示画面の縦横比を取得する取得手段と、
前記表示手段に対し、前記表示画面の縦横比が前記入力動画の縦横比と同じであれば前記入力動画におけるフレームを表示し、同じでなければ前記切出情報保存手段に保存された前記切出区間の情報に基づいて前記入力動画のフレームから被写体毎の領域を切出して表示するように制御する表示切替制御手段と、
を有することを特徴とする請求項13に記載の画像処理装置。
【請求項１５】
部分動画生成手段、検出手段、設定手段、編集動画生成手段を有する画像処理装置における画像処理方法であって、
前記部分動画生成手段が、入力動画の各フレームから被写体の領域を切出して被写体動画を生成し、
前記検出手段が、前記被写体動画において被写体の動きの変化を示す特徴フレームを検出し、
前記設定手段が、前記被写体動画において前記特徴フレームを含む複数のフレームからなる重要区間を検出し、該重要区間を含む切出区間を設定し、
前記編集動画生成手段が、前記被写体動画から切出した前記切出区間を、対応する前記入力動画のフレーム番号に応じてつないで編集動画を生成し、
前記設定手段は、前記入力動画から生成された複数の前記被写体動画において前記重要区間が重複している場合、該重複している区間のそれぞれにおいて前記切出区間を設定することを特徴とする画像処理方法。
【請求項１６】
前記画像処理装置はさらに、複数の表示サイズによる動画表示を可能とする表示手段と、取得手段および表示切替手段を有し、
前記取得手段が、前記表示手段における表示サイズを取得し、
前記表示切替手段が、前記表示サイズに応じて、前記表示手段への表示対象を前記入力動画と前記編集動画とで切り替えることを特徴とする請求項15に記載の画像処理方法。
【請求項１７】
部分動画生成手段、検出手段、設定手段、切出情報生成手段を有する画像処理装置における画像処理方法であって、
前記部分動画生成手段が、入力動画の各フレームから被写体の領域を切出して被写体動画を生成し、
前記検出手段が、前記被写体動画において被写体の動きの変化を示す特徴フレームを検出し、
前記設定手段が、前記被写体動画において前記特徴フレームを含む複数のフレームからなる重要区間を検出して該重要区間を含む切出区間を設定し、
前記切出情報生成手段が、前記被写体動画における前記切出区間の情報を生成し、
前記設定手段は、前記入力動画から生成された複数の前記被写体動画において前記重要区間が重複している場合、該重複している区間のそれぞれから前記切出区間を設定することを特徴とする画像処理方法。
【請求項１８】
前記画像処理装置はさらに、動画表示を可能とし、その姿勢に応じて表示画面の縦横比が変化する表示手段と、取得手段および表示切替制御手段を有し、
前記取得手段が、前記表示画面の縦横比を取得し、
前記表示切替制御手段が、前記表示手段に対し、前記表示画面の縦横比が前記入力動画の縦横比と同じであれば前記入力動画におけるフレームを表示し、同じでなければ前記切出情報生成手段で生成された前記切出区間の情報に基づいて前記入力動画のフレームから被写体毎の領域を切出して表示するように制御することを特徴とする請求項17に記載の画像処理方法。
【請求項１９】
コンピュータ装置で実行されることにより、該コンピュータ装置を請求項1乃至14のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項２０】
請求項19に記載のプログラムを記憶したことを特徴とするコンピュータ可読な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画を表示する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラやデジタルビデオカメラ、スマートフォンなどの携帯端末の普及により、動画を撮影する機会が増えている。これに伴い、撮影した動画を表示したり、例えば動画の一部を切り出して加工した編集済の動画を表示する機会も増えている。表示装置で動画を表示する際に、入力する動画の縦横比と、表示画面の縦横比とが異なる場合、該動画を表示画面の縦横比に合わせて表示する必要がある。
【０００３】
動画の縦横比を変更して表示する方法として、例えば特許文献1には、入力動画の上下または左右に黒帯を入れて表示する方法が記載されている。また特許文献2には、入力動画の特徴量から注目領域を設定し、その注目領域を含むように、表示画面の縦横比に合わせた領域を切り出して表示する方法が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2008-136057号公報
【特許文献２】特許04881282号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献1に記載された方法では、スマートフォンなどの携帯端末のように表示画面が小さい場合、動画表示の際に黒帯を挿入すると正味の動画部分がより小さくなってしまい、見づらくなる。
【０００６】
また、上記特許文献2に記載された方法では、表示画面の縦横比に合わせて領域を切り出すため、例えば入力動画に複数の被写体が写っている場合、削られて表示されなくなる被写体が発生してしまうことがある。特に、複数の被写体が重要な動作や状態にある場合に、そのうちの一つの被写体が削られて表示されなくなると、入力動画の内容が理解し難くなってしまう。
【０００７】
本発明は上述した問題を解決するためになされたものであり、入力動画から重要な被写体部分を適切に切出して表示可能とする画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。
【０００９】
すなわち、入力動画の各フレームから被写体の領域を切出して被写体動画を生成する部分動画生成手段と、前記被写体動画において被写体の動きの変化を示す特徴フレームを検出する検出手段と、前記被写体動画において前記特徴フレームを含む複数のフレームからなる重要区間を検出し、該重要区間を含む切出区間を設定する設定手段と、前記被写体動画から切出した前記切出区間を、対応する前記入力動画のフレーム番号に応じてつないで編集動画を生成する編集動画生成手段と、を有し、前記設定手段は、前記入力動画から生成された複数の前記被写体動画において前記重要区間が重複している場合、該重複している区間のそれぞれにおいて前記切出区間を設定することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、入力動画から重要な被写体部分を適切に切出して表示することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る画像処理装置のハードウェア構成を示すブロック図
【図２】第1実施形態における画像処理装置の機能構成を示すブロック図
【図３】第2実施形態における画像処理装置の機能構成を示すブロック図
【図４】表示画面例を示す図
【図５】動画選択画面例を示す図
【図６】第1実施形態における動画表示のメイン処理を示すフローチャート
【図７】入力動画からの切出領域および切出区間を説明するための図
【図８】画像処理装置において生成される各種情報例を示す図
【図９】重複区間での表示フレームを説明するための図
【図１０】第1実施形態における切出領域選択処理を示すフローチャート
【図１１】第1実施形態における特徴点検出処理を示すフローチャート
【図１２】第1実施形態における切出区間設定処理を示すフローチャート
【図１３】第1実施形態における表示処理を示すフローチャート
【図１４】第2実施形態における動画表示のメイン処理を示すフローチャート
【図１５】第2実施形態における表示処理を示すフローチャート
【図１６】第3実施形態における切出区間設定処理を示すフローチャート
【発明を実施するための形態】
【００１２】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１３】
＜第1実施形態＞
●装置構成
図1は、本実施形態の画像処理装置のハードウェア構成を示すブロック図である。図1に示すように本実施形態の画像処理装置は、CPU101、バス102、ROM103、RAM104、記録媒体105、入力装置106、表示装置107から構成される。
【００１４】
CPU101は、画像処理装置の起動プログラム、OS、制御プログラムを実行する演算器である。バス102は、CPU101が他のハードウェアブロックとの間でデータを読み書きするための制御モジュールである。ROM103は、画像処理装置を起動するためのプログラムが記録されている。画像処理装置に電源が投入されると、CPU101はROM103の制御プログラムを読出して実行し、各ハードウェアブロックの初期設定やOS(Operation System)の起動等を行う。RAM104は、CPU101が各種プログラムを実行する際に、データの一時保存を行う記録媒体である。記録媒体105は、動画データ、OS、本画像処理装置の制御プログラムを記録するものであり、具体的にはハードディスクドライブ、SSD(Solid State Disk)等である。尚、記録媒体105は、ネットワークを介して接続されたものであっても良い。入力装置106はタッチパネルであり、ユーザーがタッチして選択した入力はCPU101に伝えられる。表示装置107は動画の表示を行うものであり、具体的には液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイ等である。
【００１５】
本実施形態では、入力される動画(以下、入力動画)と表示画面の縦横比が異なる場合の表示に用いる動画として、入力動画を再構成した編集動画を予め保存しておく。そして表示の際に、入力動画と表示画面の縦横比に応じて入力動画と編集動画を切り替えて表示する。
【００１６】
●動画表示処理
図2は、本実施形態における画像処理装置の機能構成を示すブロック図である。以下、図2に示す構成によって実行される動画表示処理について、図4の表示画面例および図6のフローチャート等を用いて詳細に説明する。
【００１７】
図1に示す記録媒体105に、入力動画310が複数保存されている。入力動画310は、図4(a)に示す横長の表示画面1と同じ縦横比の動画である。表示画面1に入力動画310が表示されている際に、画像処理装置の姿勢が変わることによって画面の向きが変わり、図4(b)に示す縦長の表示画面2に入力動画310を表示する場合を考える。この場合、入力動画310と表示画面2の縦横比が異なるため、入力動画310を表示画面2への表示用に再構成した編集動画を作成する必要がある。したがって、記録媒体105に保存されている複数の入力動画310について、編集動画生成部40にて編集動画50を作成し、記録媒体105に保存しておく。
【００１８】
この編集動画生成部40における編集動画の生成・保存処理を、図6のS101〜S161にて行う。まずS101で、未だ編集動画の作成処理がなされていない動画を、入力動画310として選択する。そしてS102で被写体位置検出部202が、S101で選択された入力動画310について、その全フレームから被写体位置検出を行う。被写体の位置検出方法としては、顔検出などの周知の方法を適用すれば良い。ここで検出した被写体には被写体IDを付与し、フレーム内での被写体座標を、入力動画のフレーム番号ごとに例えばRAM104に保存する。図8(a)に、S102で検出・保存された被写体位置検出情報の例を示す。
【００１９】
●切出領域選択処理(S103)
次にS103で切出領域選択部203が、入力動画310の各フレームにおいて、切出領域の選択処理を行う。ここで切出領域とは、入力動画と表示動画の縦横比が異なる場合に表示される編集動画50のフレームとなる領域である。
【００２０】
S103の切出領域選択処理の詳細について、図10のフローチャートを用いて説明する。まずS1031で、図8(a)に示すような被写体位置検出情報から、フレーム内の被写体座標を読み出す。次にS1032で、被写体座標と、図4(b)に示す縦長の表示画面2の縦横比に基づき、被写体毎に、入力動画310の各フレームにおいて切出領域を選択する。すなわち、各フレームにおける切出領域の縦横比が、表示画面2の縦横比に等しくなるようにする。ここでは、ある1被写体についての切出し領域は、各フレームにおいて同一サイズが選択されるとする。なお、この縦横比は表示装置107の情報として予めRAM104や記録媒体105等に設定されているとする。
【００２１】
ここで図7を用いて切出領域について説明する。図7(a)は、入力動画310を時間に沿って示したものである。図7(b)のフレーム画像内の縦長の矩形321-A1は、時刻T1における被写体Aの切出領域を示し、縦長の矩形321-B1は、時刻T1における被写体Bの切出領域を示している。入力動画310から、時刻T1における被写体Aのフレーム内の被写体座標を用いて、縦長の表示画面2と縦横比が等しくなるように、被写体Aを含む切出領域321-A1を選択する。被写体Bについても同様に、切出領域321-B1を選択する。そしてS1033で、入力動画310の各フレームで選択された切出領域を、入力動画のフレーム番号、被写体ID、フレーム内の領域位置、の形式で、図8(b)に示す切出領域情報として例えばRAM104に保存する。ここでは、各フレームにおける切出領域が同サイズである例を示している。そしてS1034で、入力動画310の全てのフレームについて切出領域の選択処理が終了したか否かを判定する。具体的には、図8(a)の被写体位置検出情報における最終行まで、処理が終了したかを判定すれば良い。
【００２２】
S103ではこのように、入力動画310の各フレームで、各被写体について、切出領域選択を行う。
【００２３】
●領域切出処理(S104)
次にS104で領域切出部204が、被写体ごとの領域切出処理を行う。すなわち、切出領域選択部203で保存された図8(b)の切出領域情報に従い、入力動画310の各フレームから領域を切り出すことで、被写体毎の部分動画を生成する。以下、この被写体毎の部分動画を、被写体動画と称する。
【００２４】
ここで図7(b)を用いて、切出領域と被写体動画について説明する。図8(b)の切出領域情報において被写体IDがAである情報を用いて、入力動画310からフレーム毎に領域の切り出しを行うことで、被写体Aの部分動画320-Aを生成する。被写体B、被写体Cについても同様に、部分動画320-B、320-Cを生成する。
【００２５】
なお、図8(b)では被写体Aについて、フレーム内での切出領域の位置は変化するものの、領域サイズは一定である例を示した。上述したように、各切出領域は被写体を含み、表示画面2と縦横比が等しくなるように選択されるため、フレーム毎に必ずしも領域サイズが等しくなるとは限らない。このようにある被写体について、フレーム毎に切出領域のサイズが異なる場合には、補間や間引き等の補正処理によって、全ての切出領域について切出後のサイズが等しくなるように調整することが望ましい。このように調整された切出領域のサイズがすなわち、編集動画50のフレームサイズとなる。
【００２６】
以上説明した被写体位置の検出、切り出し領域の選択、および領域切出の各処理を行う被写体位置検出部202、切出領域選択部203、領域切出部204によって、被写体動画生成部20が構成される。すなわち被写体動画生成部20は入力動画310からの部分動画生成を行い、例えば被写体A,B,Cのそれぞれの被写体動画320-A,320-B,320-Cが生成される。
【００２７】
●特徴点検出処理(S105)
図6に戻り、次にS105で特徴点検出部205が、被写体動画320-A、320-B、320-Cについて、被写体の動きの変化を示す特徴フレームを検出する特徴点検出処理を行う。ここで検出された特徴フレームの情報は、特徴点情報として保持される。以下、この特徴点検出処理について、図11のフローチャートを用いて説明する。
【００２８】
まずS10501で、生成した被写体動画320-A、320-B、320-Cを順次取得する。そしてS10502で、被写体動画からフレームを順次読み出し、S10503でフレーム毎の動きベクトルを算出する。そしてS10504で、算出した動きベクトルが小から大に変化したかを判定し、Noの場合はそのままS10505に進むが、Yesの場合はS10524に進み、当該フレームを動き開始点として特徴点情報に追加した後、S10505に進む。S10505では、算出した動きベクトルが大から小に変化したかを判定し、Noの場合はそのままS10506に進むが、Yesの場合はS10525に進み、当該フレームを動き終了点として特徴点情報に追加した後、S10506に進む。なお、動きベクトルの大または小の判定は、所定の閾値に対する大小関係に基づいて行えば良い。
【００２９】
S10506では、フレーム毎の被写体の視線を算出する。なお、視線の算出方法としては周知の方法を用いれば良い。次にS10507で、S10506で算出した視線に変化があるか否かを判定し、Noの場合はそのままS10508に進むが、Yesの場合はS10527に進み、当該フレームを視線変化点として特徴点情報に追加した後、S10508に進む。
【００３０】
S10508では、フレーム毎の被写体の言葉すなわち音声情報を算出する。被写体の言葉の算出は、周知の音声認識、話者認識、人物認識等の各種技術を組み合せることによって対応可能である。具体的には、音声認識により被写体から発せられた言葉を認識し、更に、被写体の人物認識結果と発せられた言葉の話者認識結果が一致する場合に、被写体がその言葉を発したと認識する。次にS10509で、被写体の発した言葉の中に特徴語があるか否かを判定し、Noの場合はそのままS10510に進むが、Yesの場合はS10529に進み、当該フレームを特徴語点として特徴点情報に追加した後、S10510に進む。尚、特徴語は予め記録媒体105に記憶されているとする。
【００３１】
そしてS10510で、被写体動画の最終フレームまで、特徴点検出処理が終了したかを判定し、Yesの場合はS10511に進むが、Noの場合はS10502に戻って次のフレームの処理を行う。さらにS10511では、全ての被写体動画について、特徴点検出処理が終了したかを判定し、Yesの場合には処理を終了するが、Noの場合はS10501に戻って次の被写体動画の処理を行う。
【００３２】
以上のようにS105では、被写体動画から検出された各種特徴フレームの情報を、特徴点ID、特徴点の種別、被写体ID、入力動画のフレーム番号、の形式で、図8(c)に示す特徴点情報として例えばRAM104に保存する。図8(c)は、被写体動画320-A,320-B,320-Cについて、検出された特徴点α,β,γ、および入力動画310のフレーム番号、を示したものである。以下、特徴フレームを単に特徴点とも称する。
【００３３】
尚、本実施形態では特徴点として被写体の動きの開始点および終了点、視線の変化点、特徴語の発声点(特徴語点)を検出する例を示したが、被写体の出現点、消失点、複数の被写体の合流点等、被写体の動きを示す他の特徴点を検出するようにしても良い。
【００３４】
●切出区間設定処理(S106)
図6に戻り、次にS106で切出区間設定部206が、切出区間の設定処理を行う。ここで切出区間とは、入力動画と表示動画の縦横比が異なる場合に表示される編集動画50を構成する区間である。
【００３５】
S106の切出区間設定処理の詳細について、図12のフローチャートを用いて説明する。まずS10601で、S105で検出された、図8(c)に示す特徴点情報を順次取得し、S10602で、特徴点を含む所定幅の区間(所定期間)を重要区間として設定する。
【００３６】
ここで、重要区間の設定方法について説明する。図7(c)は、被写体動画320-A,320-B,320-Cと、検出された特徴点α,β,γ、および入力動画310のフレーム番号を示している。重要区間の設定に際し、特徴点のフレーム番号に対して、該特徴点を含む所定区間をどのように設定するかは、特徴点の種別に応じて予め決められている。例えば、特徴点の種別が、動き開始点、視線変化点、表情変化点のいずれかである場合は、特徴点のフレーム番号の29フレーム前から開始し、120フレーム後で終了する区間を、重要区間として設定する。図7(d)は、図7(c)に示す特徴点α,β,γのそれぞれに対して設定された重要区間330-1,330-2,330-3を示した図である。このように設定された重要区間には重要区間IDを付与し、図8(d)に示す形式で重要区間情報として例えばRAM104に保存する。なお、重要区間の設定方法として、ここでは1つの特徴点を含む所定区間を設定する例を示したが、2つの特徴点を開始点と終了点とする特徴区間を検出し、その特徴区間から重要区間を設定しても良い。
【００３７】
図7(d)によれば、被写体動画間において、重要区間の重複が発生していることが分かる。例えば、被写体Bの動画320-Bの重要区間330-2と、被写体Aの動画320-Aの重要区間330-3が、入力動画310のフレーム番号421〜480の区間で重複している。
【００３８】
次にS10604では、S10602で設定された重要区間をそのまま、すなわち重要区間の全部を切出区間として設定し、図8(e)に示す形式で、切出区間情報として例えばRAM104に保存する。このとき、切出区間IDには対応する重要区間IDの番号をそのまま用いることができる。図7(e)に、設定された切出区間の例を示す。図7(e)では重複区間があり、被写体Aの切出区間330-3と、被写体Bの切出区間330-2に、入力動画310のフレーム番号421〜480が重複区間として含まれている。
【００３９】
図8(e)に示すように切出区間情報には、後の表示処理のために、切出区間を接続して再構成した際に対応する編集動画のフレーム番号、入力動画のフレーム番号での重複区間、編集動画のフレーム番号での重複区間、の各情報を保存しておく。
【００４０】
次にS10605で、図8(c)に示す全ての特徴点情報に対する切出区間の設定処理が終了したか否かを判定し、Yesの場合はS10606に進むが、Noの場合はS10601に戻って次の特徴点情報の処理を行う。
【００４１】
S10606では、入力動画310の中に、切出区間として設定されていない未設定区間があるか否かを判定し、Noの場合はそのまま処理を終了するが、Yesの場合はS10621に進んで未設定区間の一つを処理対象区間として設定する。例えば図7(e)に示す切出区間例においては、入力動画310のフレーム番号151〜330は、これまでの処理で切出区間として設定されていない未設定区間であるので、処理対象区間に設定される。
【００４２】
次にS10622では、処理対象区間を分割する。この分割は、分割後の一区間のフレーム数が、所定のフレーム数の範囲内に収まるようにする。具体的には、下式を満たすNを決定すれば良い。
【００４３】
分割後の一区間のフレーム数＝処理対象区間のフレーム数/(被写体数*N)
例えば図7(e)において、処理対象区間であるフレーム番号151〜330のフレーム数は180であり、この処理対象区間の被写体は被写体Aと被写体Bで、被写体数は2である。このとき、分割後の一区間に対する所定のフレーム数の範囲を60以上150以下とすると、上式よりN=2が適切であると決定され、分割する一区間のフレーム数は90となる。なお、分割後の一区間のフレーム数が、所定のフレーム数の範囲より少なくなる場合(上記例であれば60未満になる場合)には、処理対象区間の被写体のうち、いずれか1つを切出区間として設定すれば良い。
【００４４】
次にS10623で、処理対象区間内の区間切出を行うが、このとき、被写体IDが交互に並ぶように設定する。上記例の処理対象区間ではN=2であり、直前のフレームでは被写体Aが切出区間として設定されているため、処理対象区間内での切出区間は、被写体B、被写体Aの順に並ぶように設定する。例えば図7(f)に示すように、フレーム番号151〜330の処理対象区間においたは、フレーム番号151〜240の切出区間が被写体B、フレーム番号241〜330の切出区間が被写体Aとして設定される。このように設定された処理対象区間内の切出区間についても、図8(e)に示す切出区間情報として保存する。
【００４５】
そして処理はS10606に戻り、入力動画310における未設定区間がなくなるまで、上記未設定区間の区間切出処理を繰り返す。S106における切出区間設定処理が終了した時点での切出しの状況を図7(f)に示す。図7(f)によれば、入力動画310の全区間が、いずれかの被写体用に切出されている。ただし、フレーム番号421〜480にまだ重複部分が残っている。
【００４６】
●区間切出処理(S107)
図6に戻り、次にS107で区間切出部207が、切出区間設定部206で保存された、図8(e)に示す切出区間情報に従って区間切出処理を行う。すなわち図7(f)に示すように、被写体動画320-A,320-B,320-Cから区間切り出しを行い、切出区間毎に、区間動画330-1,340-1,340-2,330-2,330-3,…を生成する。
【００４７】
以上、S105以降での特徴点検出、切出区間の設定、および区間切出の各処理を行う特徴点検出部205、切出区間設定部206、区間切出部207によって、区間動画生成部30が構成される。すなわち区間動画生成部30によって、被写体動画生成部20で生成された被写体A,B,Cのそれぞれの被写体動画320-A,320-B,320-Cから、切出区間毎の区間動画が生成される。
【００４８】
●編集動画作成(S108,S109)
S108で区間動画接続部208が、区間切出部207で切出された区間動画を、図8(e)に示す切出区間情報の順、すなわち入力動画310における区間の開始フレーム番号の順に接続して編集動画50を作成する。このように作成された編集動画50は、入力動画310に対し重複区間の分、フレーム数が増加している。
【００４９】
そしてS109で、編集動画50を記録媒体105に保存する。このとき、切出区間情報についても、編集動画50に添付する、または関連付けて記録媒体105等に保存しておく。
【００５０】
そしてS161で、編集動画を生成していない未処理の動画があるかを判定し、未処理の動画がなくなるまで、編集動画の生成処理を続ける。これにより、複数の動画についての編集動画が作成される。
【００５１】
以上説明したS101〜S161の処理によって、複数の入力動画についての編集動画が生成される。この生成処理はすなわち、図2の編集動画生成部40において行われる。
【００５２】
●表示処理(S180)
上記のように生成された編集動画は、表示処理部70に入力される。表示処理部70では、表示画面の縦横比に応じて、入力動画と編集動画を切り替えて表示することを特徴とする。
【００５３】
図6のS171で動画選択部271が、図5に示すように、表示装置107の表示画面1に、記録媒体105に保存されている複数の動画から、表示する動画をするための動画選択画面を表示する。表示画面1の表面には入力装置106であるタッチパネルが作り込まれており、ユーザーは所望の動画サムネイル3にタッチして、動画を選択する。ユーザーが動画を選択すると、該選択された動画を入力動画310として、S180の処理に進む。
【００５４】
S180では、入力動画310を表示画面の縦横比の変化に応じて表示する。この表示処理の詳細について、図13のフローチャートを用いて説明する。まずS1801で動画選択部271が、ユーザーが選択した入力動画310の縦横比を、記録媒体105に保存してある入力動画310から取得する。次にS1803で画面縦横比取得部272が、現在の表示画面1の縦横比を取得する。一般のスマートフォンなどの携帯端末と同様に、本実施形態の画像処理装置にも縦横センサーが内蔵されており(不図示)、該センサー出力と、表示画素数等の端末情報60に基づき、次のフレーム表示を行う前に表示画面の縦横比を取得する。
【００５５】
次にS1804で、S1801とS1803で取得した、入力動画310と表示画面とで縦横比が異なるか否かを判定する。例えば画像処理装置が図4(a)に示すように横長の表示画面1を提供している場合、入力動画310は表示画面と縦横比が同じであるため、この場合は表示用のフレームを入力動画310から読み出す処理に移行する。一方、画像処理装置が図4(b)に示すように縦長の表示画面2を提供している場合、入力動画310は表示画面2と縦横比が異なるため、この場合は表示用のフレームを編集動画50から読み出す処理に移行する。
【００５６】
●入力動画からのフレーム読み出し
以下、S1804で入力動画310と表示画面とで縦横比が同じであると判定された場合における、入力動画310からフレームを読み出す処理について説明する。
【００５７】
S1805で、直前に表示を行ったフレーム(表示フレーム)が、編集動画50から読み出したフレームであったか否かを判定する。編集動画50は、入力動画310と表示画面とで縦横比が異なる場合の表示用として作成されたものである。したがってS1805の判定はすなわち、画像処理装置の表示画面が、編集動画50を利用する向き(縦長向き)から入力動画310を利用する向き(横長向き)に変わったか否かを判定することになる。
【００５８】
S1805がNoの場合は、直前の表示フレームも入力動画310から読み出されているため、S1806で入力動画310から次のフレーム番号のフレームを読み出し、S1811でそのフレーム表示を行う。
【００５９】
一方、S1805がYesの場合は、直前の表示フレームは編集動画50から読み出されたものであり、表示画面が縦長→横長に切り替えられたことを示す。図8(e)に示すように、編集動画50のフレーム番号は、重複区間がある場合は入力動画310のフレーム番号と異なる。そのためS1807で、図8(e)の切出区間情報を読み出し、編集動画50において直前の表示フレームとして読み出されたフレームの次のフレームに対応する、入力動画310のフレーム番号を算出する。例えば図8(e)に示す切出区間情報において、直前の表示フレームとして、編集動画50のフレーム番号630が読み出されていた場合、次の編集動画50のフレーム番号631に対応する、入力動画310のフレーム番号は571となる。
【００６０】
次にS1808で、S1807で算出された次の表示フレームが重複区間に該当するか否かを判定する。例えば図8(e)の切出区間情報によれば、入力動画310のフレーム番号571は重複区間でないため、ここでの判定はNoとなる。Noの場合はS1806に進んで、記録媒体105に保存されている入力動画310から、S1807で算出されたフレーム番号のフレームを読み出し、S1811でそのフレーム表示を行う。
【００６１】
一方、S1808でYes、すなわち次の表示フレームが重複区間であると判定された場合には、S1809で入力動画310から、対応する重複区間の開始フレームを読み出す。以下、重複区間における開始フレームの読み出し処理について、図9を用いて説明する。
【００６２】
図9は、重複区間のある編集動画における表示フレームを説明するための図であり、図9(a)に示す編集動画について、重複区間で表示の縦横比を切り替えて表示する場合の表示フレームの対応例を図9(b),(c)に示す。なお図9(a)は、図8(e)に準じる編集動画50を示す。
【００６３】
図9(c)は、重複区間で表示画面が縦長→横長に切り換わった場合の表示フレーム例を示す図である。図9(c)において、直前のフレーム表示で、編集動画50のフレーム番号450を表示したとする。ここで図7(f)を参照すると、編集動画50のフレーム番号450は、被写体Bの切出区間330-2と、被写体Aの切出区間330-3との重複区間にある。このとき、編集動画50はフレーム番号450までしか表示していない。表示方向の切り替えに伴い、このまま編集動画50のフレーム番号451に対応する、入力動画310のフレーム番号451を表示すると、入力動画310のフレーム番号421〜450に写っている被写体Aの動画は表示されないことになってしまう。このような表示の欠落を防ぐため、S1809では図9(c)に示すように、入力動画310から重複区間の開始フレーム番号421のフレームを読み出し、S1811でそのフレーム表示を行う。これにより、入力動画310のフレーム番号421からの表示が確実に行われ、被写体Bについてはフレーム番号421〜450については2度表示されることになるが、被写体Aについての欠落はない。
【００６４】
●編集動画からのフレーム読み出し
以下、S1804で入力動画310と表示画面とで縦横比が異なると判定された場合における、編集動画50からフレームを読み出す処理について説明する。
【００６５】
S1825で、直前の表示フレームが、入力動画310から読み出したフレームであったか否かを判定する。この判定はすなわち、画像処理装置の表示画面が、入力動画310を利用する向き(横長向き)から、編集動画50を利用する向き(縦長向き)に変わったか否かを判定することになる。
【００６６】
S1825がNoの場合は、直前の表示フレームも編集動画50から読み出されているため、S1826で編集動画50から次のフレーム番号のフレームを読み出し、S1811でそのフレーム表示を行う。
【００６７】
一方、S1825がYesの場合は、直前の表示フレームは入力動画310から読み出されたものである。図8(e)に示すように、入力動画310のフレーム番号は、重複区間がある場合は編集動画50のフレーム番号と異なる。そのためS1827で、図8(e)の切出区間情報を読み出し、入力動画310において直前の表示フレームとして読み出されたフレームの次のフレームに対応する、編集動画50のフレーム番号を算出する。例えば図8(e)に示す切出区間情報において、直前の表示フレームとして、入力動画310のフレーム番号570が読み出されていた場合、次の入力動画310のフレーム番号571に対応する、編集動画50のフレーム番号は631となる。
【００６８】
ここで、上述した入力動画310からフレームを読み出す処理では、S1807で算出した次の表示フレームが、重複区間に該当するかを判定(S1808)するとして説明した。しかしながら、編集動画50からフレームを読み出す処理では、重複区間の判定は、以下の理由から必要ない。この理由を図9を用いて説明する。
【００６９】
図9(b)は、重複区間で表示画面が横長→縦長に切り換わった場合の表示フレーム例を示す図である。図9(b)において、直前のフレーム表示で、入力動画310のフレーム番号450を表示したとする。ここで図7(f)を参照すると、入力動画310のフレーム番号450は、被写体Bの切出区間330-2と、被写体Aの切出区間330-3との重複区間にある。入力動画310におけるフレーム番号421〜450の重複区間では、被写体Bだけでなく被写体Aも写っている。したがって、表示方向の切り替えに伴い、このまま入力動画310のフレーム番号451に対応する、編集動画50のフレーム番号451(被写体B)が表示されても、編集動画50のフレーム番号481からは被写体Aが表示される。編集動画50のフレーム番号481〜540の区間は、既に表示された入力動画310のフレーム番号421〜450に対応するため、当該区間において被写体Aは再度表示されることになり、すなわち被写体Aが表示されない区間が発生することはない。したがって、重複区間の判定は不要であり、S1827で算出した、対応する編集動画50のフレーム番号をそのまま用いて良い。すなわちS1826で、編集動画50から、S1827で算出された次のフレーム番号のフレームを読み出し、S1811でそのフレーム表示を行う。
【００７０】
そしてS1812で、入力動画310または編集動画50の最終フレームを表示したか否かを判定し、Yesの場合は表示処理を終了するが、Noの場合はS1803に戻って上述の表示処理をフレーム毎に繰り返す。
【００７１】
なお、上記S1804の入力画面と表示画面の縦横比の判定から、S1806またはS1826までの次のフレームの読み出し処理までが、図2の表示切替制御部274において行われ、S1811のフレーム表示処理は画像表示部281において行われる。
【００７２】
図6に戻り、S171でユーザーが選択した入力動画310を、S180で表示画面の縦横比に合わせて表示した後、S191の画像処理装置のシステム停止判定がYesになるまで、S171の動画選択待ち状態となる。
【００７３】
以上説明したように本実施形態によれば、複数の被写体が写っている入力動画310を再構成した編集動画50を装置内に保存しておき、表示画面の縦横比の変化に応じて表示対象を切り替える。これにより、重要な被写体の一部動作が削られることなく、確実に表示することが可能となる。
【００７４】
なお、本実施形態では入力動画310から作成する編集動画50として、フレームごとに、図4(b)に示す表示画面2と縦横比が等しい領域を切出す例を示したが、本発明はこの例に限定されない。例えば、入力動画がそのままでは視認困難となるような小さいサイズの表示画面への表示を行う場合等、編集動画50が入力動画の一部から構成される形態であれば、本発明は適用可能である。
【００７５】
また、本実施形態では表示の際に、表示画面の縦横比に応じて入力動画と編集動画を切り替えて表示する例を示したが、複数の表示サイズによる表示を可能とする装置であれば本発明は適用可能である。すなわち、大きい表示サイズであれば入力動画を表示し、小さい表示サイズであれば編集動画を表示するように制御すればよい。以上により、動画を縦横比の異なる表示画面やサイズの異なる表示画面で再生しても重要な部分が削られることなく動画を表示できる。
【００７６】
＜第2実施形態＞
以下、本発明にかかる第2実施形態について説明する。第2実施形態でも上述した第1実施形態と同様に、表示画面の縦横比の変化に応じて入力動画と編集動画とを切り替えて表示する。第2実施形態では、表示前に編集動画を予め作成して保存しておくことをせず、編集動画を作成するための情報(編集情報)のみを保存しておく。そして表示の際に、保存しておいた編集情報に基づいて、入力動画のフレームから領域を切出して表示することを特徴とする。
【００７７】
●動画表示処理
図3は、第2実施形態における画像処理装置の機能構成を示すブロック図である。以下、図3に示す構成によって実行される第2実施形態の動画表示処理について、図14のフローチャート等を用いて詳細に説明する。なお、第1実施形態と同様の処理を行う構成については、第1実施形態と同一の符号またはステップ番号を付してある。したがって、図14におけるS101〜S106、すなわち、入力動画310の選択から切出区間設定部206における切出区間設定までは、第1実施形態と同様であるため説明を省略する。
【００７８】
図14のS151で切出情報保存部209が、編集動画を作成するための切出情報51を、入力動画310に対応付けて記録媒体105に保存する。ここで切出情報51とは、S103の切出領域選択処理によって保存された図8(b)に示す切出領域情報と、S106の切出区間設定処理によって保存された図8(e)に示す切出区間情報からなる情報である。
【００７９】
第2実施形態ではS106の切出区間設定処理の後は、第1実施形態におけるS107〜S109のような編集動画の作成処理を行わないため、区間切出部207および区間動画接続部208の構成を有さない。図3に示す区間情報生成部31は、特徴点検出部205、切出区間設定部206からなり、切出情報51を生成する。
【００８０】
そしてS161で、切出情報51を生成していない未処理の入力動画310があるかを判定し、未処理の入力動画310がなくなるまで、切出情報51の生成処理を続ける。このように、S101〜S161の処理によって、入力動画310についての切出情報51が生成される。この生成処理はすなわち、図3の切出情報生成部41において行われる。
【００８１】
●表示処理
第2実施形態では表示処理部71において、表示画面の縦横比に合わせて、表示フレームを入力動画からそのまま読み出すか、切出情報51に基づく領域切出を行うかを切り替える。
【００８２】
図14のS171において、第1実施形態と同様にユーザーが入力動画310を選択すると、S181の表示処理に進む。S181では、選択された入力動画310を表示画面の縦横比に合わせて表示する。以下、第2実施形態における表示処理の詳細について、図15のフローチャートを用いて説明する。なお、図15において第1実施形態の図13と同様の処理については同一ステップ番号を付し、詳細な説明を省略する。
【００８３】
まずS1801で入力動画310の縦横比を取得した後、S1802で表示切替制御部274が、S151で記録媒体105に保存した切出情報51を読み出す。そしてS1803で表示画面の縦横比を取得した後、S1804で、入力動画310と表示画面とで縦横比が異なるか否かを判定する。この判定がNoの場合、入力動画310と表示画面とで縦横比が同じであるため、表示用のフレームを入力動画310から読み出す処理に移行する。一方、この判定がYesの場合、入力動画310は表示画面と縦横比が異なるため、切出情報51に基づいて入力動画310から領域切出を行って、表示用のフレームを作成する処理に移行する。なお、切出情報51に基づく表示用フレームの作成は、第1実施形態における編集動画50と同様の方法によって行われる。したがって第2実施形態においても、領域切出によって作成された表示用フレームを編集動画と称する。
【００８４】
●入力動画からのフレーム読み出し
以下、S1804で入力動画310と表示画面とで縦横比が同じであると判定された場合における、入力動画310からフレームを読み出す処理について説明する。
【００８５】
S1805で、直前の表示フレームとして、編集動画を用いたか否かを判定する。Noの場合は、直前の表示フレームも入力動画310から読み出されているため、S1806で入力動画310から次のフレーム番号のフレームを読み出し、S1811でそのフレーム表示を行う。
【００８６】
一方、S1805がYesの場合は、直前の表示フレームは領域切出によって作成された編集動画を用いている。第1実施形態と同様に、編集動画のフレーム番号は図8(e)に示すように、重複区間がある場合は入力動画310のフレーム番号と異なる。そのため第1実施形態と同様に、S1807で、切出情報51から図8(e)の切出区間情報を読み出し、編集動画において直前の表示フレームとして読み出されたフレームの次のフレームに対応する、入力動画310のフレーム番号を算出する。そしてS1808以降は第1実施形態と同様に、次の表示フレームが重複区間に該当するか否かに応じて、入力動画310から表示フレームを読み出し、表示する。
【００８７】
●領域切出によるフレーム作成
以下、S1804で入力動画310と表示画面とで縦横比が異なると判定された場合における、入力動画310からの領域切出によって作成された編集動画の表示処理について説明する。
【００８８】
S1825で、直前の表示フレームが、入力動画310から読み出したフレームであったか否かを判定する。Noの場合は、直前の表示フレームにも領域切出によって作成した編集動画を用いているため、S1828で上記S1807と同様に切出情報51の切出区間情報を参照して、次の表示フレームとなる入力動画310のフレーム番号を算出する。
そしてS1830で、入力動画310から、S1828で算出されたフレーム番号のフレームを読み出す。次にS1831で、S1830で読み出したフレームから、切出情報51に基づいて編集動画のフレームを作成する。S1831ではまず、切出情報51の切出区間情報(図8(e))から、当該フレームが対応する被写体を特定する。そしてさらに、切出領域情報(図8(b))に基づいて該特定された被写体の領域切出処理を行い、該切出した領域により編集動画としての表示フレームを作成する。なお、当該フレームが重複区間に該当する場合には、対応する被写体が複数特定されるが、切出区間情報を参照すれば、直前の表示フレームであった編集動画のフレーム番号から、当該フレームにおいて表示すべき被写体を特定することができる。
【００８９】
一方、S1825がYesの場合は、直前の表示フレームは入力動画310から読み出されたものであるから、S1829で、入力動画310において直前の表示フレームとして読み出されたフレームの次のフレーム番号を算出する。そしてS1830で、入力動画310から、S1829で算出されたフレーム番号のフレームを読み出し、S1831で上記と同様に、切出情報51に基づく領域切出処理を行って編集動画としての表示フレームを作成する。そしてS1811で、該作成したフレームを表示する。第1実施形態と同様に、編集動画のフレームを表示する場合には重複区間の判定は不要である。
【００９０】
そしてS1812で、入力動画310または編集動画の最終フレームを表示したと判定されるまで、フレーム毎の表示処理を繰り返す。
【００９１】
なお、上記S1804の入力画面と表示画面の縦横比の判定から、S1806またはS1830までのフレームの読み出し処理までが、図3の表示切替制御部274において行われる。また、S1831の切出情報51に基づく領域切出処理が、表示処理部71内の領域切出部275において行われる。なお、領域切出部275における領域切り出し処理は、被写体動画生成部20内の領域切出部204と同様である。また、S1811のフレーム表示処理は画像表示部281において行われる。
【００９２】
図6に戻り、S171でユーザーが選択した入力動画310を、S181で表示画面の縦横比に合わせて表示した後、S191の画像処理装置のシステム停止判定がYesになるまで、S171の動画選択待ち状態となる。
【００９３】
以上説明したように第2実施形態によれば、入力動画310の表示を代替する編集動画のそのものを保存するのでなく、その構成を示す切出情報51のみを装置内に保存しておく。そして編集動画のフレームを表示する際に、入力動画から切出情報51に応じた領域切出を行って表示フレームを作成する。これにより、画像処理装置における処理の負荷を低減しつつ、第1実施形態と同様に重要な被写体を確実に表示することが可能となる。
【００９４】
＜第3実施形態＞
以下、本発明にかかる第3実施形態について説明する。第3実施形態でも上述した第1実施形態と同様に、表示画面の縦横比の変化に応じて入力動画と編集動画とを切り替えて表示する。第3実施形態では、切出区間設定の際に、重複区間の発生を許可するか否かを制御することを特徴とする。
【００９５】
例えば、ミュージカルの動画で、登場人物が二人いるシーンにおいて、その二人の動作が重要区間に設定され、その重要区間に重複区間があるとする。このようなシーンに対し、上述した第1実施形態では、重複区間で削られて表示されない登場人物が無いよう、重複区間を発生させ、再構成した編集動画を作成する例を示した。しかしながら、ミュージカルのような動画の場合、音楽に合わせて時間が推移する。したがって、第1実施形態における重複区間の利用方法では、被写体動作の連続性が重視されるが、音楽については同じ箇所が2度繰り返されてしまうため、演奏の連続性が損なわれる。すなわち、ミュージカルのような動画の場合には、表示時に被写体の削れが発生することよりも、時間的な連続性を保つことの方が優先される。したがって第3実施形態では、時間的な連続性を優先させるべき動画であれば、編集動画における重複箇所を発生させないようにする。
【００９６】
●切出区間設定処理動画表示処理
第3実施形態における画像処理装置の機能構成は第1実施形態の図2と同様であり、また、第3実施形態の動画表示処理についても図6のフローチャートと同様であるが、S106の切出区間設定処理のみが第1の実施形態と異なる。したがって第3実施形態では、S106における切出区間設定処理のみについて詳細に説明し、それ以外の部分については説明を省略する。
【００９７】
図16は、第3実施形態における切出区間設定処理を示すフローチャートである。同図において、第1実施形態の図12と同様の処理を行うステップには同一ステップ番号を付してある。まず第1実施形態と同様に、S10601で図8(c)に示す特徴点情報を順次取得し、S10602で特徴点を含む所定区間である重要区間を設定する。
【００９８】
そしてS10603で、設定した重要区間に、重複区間があるか否かを判定する。該判定がNoの場合はS10604に進んで、以降は第1実施形態と同様に、図8(e)に示すような重複区間を含む切出区間情報を作成する。S10603の判定がYesの場合はS10611に進み、第3実施形態の特徴である重複区間の許可/不許可を設定する。
【００９９】
ここで図7(d)は、被写体動画における重要区間の例を示す図である。同図において、被写体Bの動画320-Bの重要区間330-2と、被写体Aの動画320-Aの重要区間330-3が、入力動画310のフレーム番号421〜480の区間で重複している。S10611では、このような被写体動画間における重複区間の発生を許可するか否かを、入力動画310の特性に基づいて判定する。例えば、入力動画310が重複区間を許可しても良い動画であるか否かを、入力動画310を記録媒体105へ保存するに先立ち、ユーザーが例えば所定のフラグ等を設定しておけば良い。そしてS10611では該フラグに基づき、許可または不許可の判定を行えば良い。
【０１００】
重複区間を許可する場合はS10604に進む。重複区間が許可された場合、例えば図7(e)に示すように、図7(d)の重要区間の全部が切出区間となり、被写体Aの切出区間330-3と、被写体Bの切出区間330-2に、入力動画310のフレーム番号421〜480が重複区間として含まれている。そして以降は第1実施形態と同様に、図8(e)に示すような重複区間を含む切出区間情報が作成される。
【０１０１】
一方、重複区間を許可しない場合はS10614に進み、編集動画において時間的な重複区間が発生しないように、切出区間を設定する。詳細には、重複区間を含む複数の重要区間から選択的に1つを選択して切出区間とする。そして、重複区間内の他の重要区間については、該重複区間を除いた区間を切出区間とする。このように重複区間が許可されない場合の切出区間例を図7(g)に示す。図7(g)において、入力動画310のフレーム番号421〜480が重複区間であり、被写体Aの重要区間330-3と、被写体Bの重要区間330-2が、該重複区間を含んでいる。この2つの重要区間の内、開始フレーム番号が小さい方である被写体Bの重要区間330-2を選択し、そのまま切出区間330-2とする。そして、被写体Aの重要区間330-3については、重複区間のフレーム番号421〜480を除いた区間であるフレーム番号481〜570を、切出区間350-3とする。このように設定された切出区間情報の例を図8(f)に示す。図8(f)は図8(e)と同形式であるが、重複領域が含まれないため、入力動画310と編集動画50とで同じフレーム番号が対応しており、すなわち、時間的な重複区間がなく、表示の際に時間的な連続性が保たれる。
【０１０２】
ここでは、重複区間を含む重要区間として、開始フレーム番号が小さい方の被写体の重要区間を選択する例を示したが、逆に開始フレーム番号が大きい方の被写体の重要区間を選択してもよい。また、この選択をランダムに行っても良いし、被写体毎に予め定められた優先順位にしたがっても良い。
【０１０３】
以上のようにS10604またはS10614で切出区間の設定がなされると、以降は第1実施形態と同様に、未設定区間の切出処理を行う。全ての区間切出処理が終了した時点での切出し状況は、重複区間を許可した場合であれば図7(f)、重複区間を不許可の場合であれば図7(h)に示すようになる。また、重複区間が許可された場合であれば図8(e)のように切出区間情報が生成され、重複区間が不許可の場合であれば図8(f)のように切出区間情報が生成される。
【０１０４】
以上説明したように第3実施形態によれば、切出区間設定処理において重複区間を許可するか否かを制御可能とすることで、入力動画310における被写体動作の欠落よりも、時間的な連続性を優先した表示を行うことが可能となる。
【０１０５】
＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１０６】
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ可読な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【図１】
2015170973.tif 000003
【図２】
2015170973.tif 000004
【図３】
2015170973.tif 000005
【図４】
2015170973.tif 000006
【図５】
2015170973.tif 000007
【図６】
2015170973.tif 000008
【図７】
2015170973.tif 000009
【図８】
2015170973.tif 000010
【図９】
2015170973.tif 000011
【図１０】
2015170973.tif 000012
【図１１】
2015170973.tif 000013
【図１２】
2015170973.tif 000014
【図１３】
2015170973.tif 000015
【図１４】
2015170973.tif 000016
【図１５】
2015170973.tif 000017
【図１６】
2015170973.tif 000018