(57)【要約】【課題】  時間的に重複して撮影された複数の動画を同じ画面内に表示する場合に、注目すべき方を目立つように表示する。【解決手段】  優先順位決定手段（２０１）が、表示すべき複数の動画の優先度を決定する。表示位置設定手段（２０２）は、決定された優先度に従い、各動画の画面上での表示位置を設定する。【選択図】  図２
2014068160.tif 000002
【特許請求の範囲】
【請求項１】
時間的に重複して記録された複数の動画を一画面で同時に再生する動画再生装置であって、
前記複数の動画の優先度を決定する優先順位決定手段と、
前記優先度に従い前記複数の動画の表示位置を設定する表示位置設定手段
とを備えることを特徴とする動画再生装置。
【請求項２】
前記優先順位決定手段は、前記複数の動画のそれぞれの撮影時間の長さに従い前記優先度を決定することを特徴とする請求項１に記載の動画再生装置。
【請求項３】
前記優先順位決定手段は、前記動画に同一の被写体を含む被写体時間に従い前記優先度を決定することを特徴とする請求項１に記載の動画再生装置。
【請求項４】
前記表示位置設定手段は、前記優先度及び前記動画を撮影する撮像装置の撮影位置に従い、前記表示位置を設定することを特徴とする請求項１に記載の動画再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画再生装置に関する。
【背景技術】
【０００２】
昨今のデジタルビデオカメラ及びデジタルカメラ等の動画撮影装置の普及により、一つの場面を複数の動画撮影装置で同時に撮影する機会が増えている。例えば、運動会で子供が出場している競技を父親が正面から撮影し、母親が左側から撮影し、兄が右側から撮影する場合などである。
【０００３】
これらの同時刻に撮影された複数の動画が存在する場合、撮影時間を同期させ、同一タイムラインに揃えて一画面で同時再生することで、様々な角度から撮影した子供の動画を楽しめる。
【０００４】
このような、いわゆるマルチアングル再生を実現する方法が特許文献１に記載されている。具体的には、複数の動画の各撮影時刻情報を参照して複数の動画を時系列順に再生し、撮影時刻が重複する動画が存在する時間帯では、その重複する動画を再生画面上の異なる表示領域に同期して表示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１２０２７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示された従来技術では、再生画像を視聴する視聴者は、臨場感を得るのが難しかった。例えば、同時刻の画像を同一画面内の固定位置に均等な画面サイズで一様に表示するので、視聴者は、どの画像に注目すべきかの判別が難しかった。
【０００７】
また、同時刻の動画を同時再生する場合にそれぞれの撮影時のアングルを示す情報が得られないので、同時再生される動画間の関係を理解することが困難であった。
【０００８】
本発明は、このような状況に鑑み、同時刻に撮影された複数の動画を同時再生する場合に注目すべき動画を見やすく再生する動画再生装置を提示することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係る動画再生装置は、時間的に重複して記録された複数の動画を一画面で同時に再生する動画再生装置であって、前記複数の動画の優先度を決定する優先順位決定手段と、前記優先度に従い前記複数の動画の表示位置を設定する表示位置設定手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、同時表示する複数の動画の表示位置を、各動画の優先度に応じて決定するので、注目すべき動画を見やすく再生表示することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施例の概略構成ブロック図である。
【図２】本実施例の動画再生を実現する処理モジュールと記憶手段のブロック図である。
【図３】動画ファイルから動画再生情報を作成し動画再生情報記憶部に格納する手順を示すフローチャートである。
【図４】動画再生期間と重複期間との関係の説明図である。
【図５】動画再生スケジュールの説明表である。
【図６】各動画の撮影時間の例である。
【図７】各区間の優先度の決定例である。
【図８】被写体時間により優先度を決定する手順のフローチャートである。
【図９】顔認識の説明例である。
【図１０】動画ごとの撮影時間と被写体合計時間の一例の表である。
【図１１】被写体合計時間から優先度を決定した場合の例である。
【図１２】画面に１つの動画を表示する場合の表示位置例である。
【図１３】画面に２つの動画を同時表示する場合の表示位置例である。
【図１４】画面に３つの動画を同時表示する場合の表示位置例である。
【図１５】撮影位置と方向の例である。
【図１６】画面の中央に優先度１の１つの動画を表示する場合の表示位置例である。
【図１７】画面に２つの動画を同時表示する場合の表示位置例である。
【図１８】画面に３つの動画を同時表示する場合の表示位置例である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１３】
図１は、本発明の一実施例を組み込んだ情報処理装置の概略構成ブロック図を示す。
【００１４】
図１に示す情報処理装置１００で、１０１は情報処理装置１００の演算・制御を司る中央演算装置（ＣＰＵ）である。１０２はランダムアクセスメモリ（ＲＡＭ）であり、ＣＰＵ１０１の主メモリとして、及び実行プログラムの領域や該プログラムの実行エリアならびにデータエリアとして機能する。
【００１５】
１０３はＣＰＵ１０１の動作処理手順を記憶しているリードオンリーメモリ（ＲＯＭ）である。ＲＯＭ１０３には、情報処理装置１００の機器制御を行うシステムプログラムである基本ソフト（ＯＳ）を記録したプログラムＲＯＭと、システムを稼働するために必要な情報等が記録されているデータＲＯＭがある。また、ＲＯＭ１０３に記憶すべきプログラム又はデータをＨＤＤ１０９に格納することもある。
【００１６】
１０４はネットワークインターフェース（ＮＥＴ  ＩＦ）であり、ネットワークを介して外部装置との間でのデータ転送を行うための制御や接続状況の診断を行う。１０５は情報処理装置１００の稼働状態を示す表示装置、例えば液晶表示装置２０６に表示させる画像データを一時保持するビデオＲＡＭ（ＶＲＡＭ）である。
【００１７】
１０７はキーボード及びマウス等の外部入力装置１０８からの入力信号を受け付けるキーボードコントローラ（ＫＢＣ）である。ユーザは、外部入力装置１０８を使って、種々の指示を情報処理装置１００のＣＰＵ１０１に入力する。
【００１８】
１０９はハードディスクドライブ（ＨＤＤ）であり、アプリケーションプログラムや各種データの保存に用いられる。アプリケーションプログラムには、本実施例の各種処理手段を実現するソフトウエアプログラム（モジュール）等が含まれる。
【００１９】
１１０は外部記憶装置１１３へのデータ入出力を管理するディスクインターフェースである。外部記憶装置１１３は、半導体メモリ、光ディスク、光磁気ディスク又は磁気ディスク等からなる。ＨＤＤ１０９に格納すべきアプリケーションプログラムやデータを外部記憶装置１１３に格納してもよい。
【００２０】
１１１は、プリンタ１１２を接続するためのプリンタコントローラ（ＰＲＴＣ）であり、プリンタ１１２への印刷データの供給と制御を担当する。プリンタ１１２は、例えば、ページプリンタ又はラインプリンタである。
【００２１】
１１４は、上述した各ユニット間を接続する伝送バスであり、アドレスバス、データバス、入出力バス及び制御バスからなる。
【００２２】
図２は、本実施例における動画再生に関連する機能ブロックを説明するブロック図である。優先順位決定手段２０１と表示位置設定手段２０２は、動作再生プログラムの処理モジュールであり、ＣＰＵ１０１上で実行される。動画ファイル記憶部２０３及び動画再生情報記憶部２０４は、ＲＡＭ１０２又はＨＤＤ１０９に設定される。優先順位決定手段２０１と表示位置設定手段２０２を実現する処理モジュールは、ＲＯＭ１０３、ＨＤＤ１０９又は外部記憶装置１１３に格納されている。動画ファイル記憶部２０３には動画ファイルが格納され、動画再生情報記憶部２０４には動画再生情報が格納されている。
【００２３】
ＣＰＵ１０１は、情報処理装置１００の起動により又はユーザの指示により、動画再生プログラムをＲＡＭ１０２に展開して実行する。動画姿勢プログラムは、動画ファイル記憶部２０３及び動画再生情報記憶部２０４に記憶される情報をＲＡＭ１０２に読み込んで動画再生を実行し、所定の演算結果を動画ファイル記憶部２０３及び動画再生情報記憶部２０４に書き込む。ＣＰＵ１０１はまた、必要な情報をＶＲＡＭ１０５に書き込み、ＬＣＤ１０６に表示させる。
【００２４】
図３を参照して、動画ファイルから動画再生情報を作成し、動画再生情報を動画再生情報記憶部２０４に格納する手順を説明する。図３はこの手順のフローチャートを示す。
【００２５】
ＣＰＵ１０１（上の動画再生プログラム）は、動画ファイル記憶部２０３から動画ファイルを取得する（Ｓ３０１）。ＣＰＵ１０１は、取得した動画ファイルから動画の撮影日時（記録日時）情報を取得し（Ｓ３０２）、取得した記録日時情報に基づいて複数の動画の記録日時が重複している重複期間を抽出する（Ｓ３０３）。ＣＰＵ１０１は、動画記録日時と重複期間とから動画再生スケジュールを作成する（Ｓ３０４）。重複期間の抽出と動画再生スケジュールの作成の詳細は、図４を参照して後述する。
【００２６】
ＣＰＵ１０１は、重複期間に同時再生される動画について、優先順位を決定し（Ｓ３０５）、同一画面内の表示位置を設定する（Ｓ３０６）。優先順位の決定方法は、図７から図１１を参照して詳細に説明し、表示位置の設定方法は、図１２から図１８を参照して詳細に説明する。
【００２７】
ＣＰＵ１０１は、こうして得られた動画再生スケジュール、重複期間情報、優先順位情報及び表示位置情報を動画再生制御情報として動画再生情報記憶部２０４に保存する（Ｓ３０７）。
【００２８】
動画再生時には、ＣＰＵ１０１は、動画ファイル記憶部２０３から動画ファイルを取得し、動画再生情報記憶部２０４から動画再生情報を取得し、これらの情報をもとに動画再生を行う。
【００２９】
重複期間情報の抽出と動画再生スケジュールの作成の動作を詳細に説明する。図４は、動画記録日時（開始日時及び終了日時）から、時間的に重複する重複期間を抽出する動作の説明例を示す。図４に示す例では、父の撮影した動画Ｆ０１，Ｆ０２，Ｆ０３と、母の撮影した動画Ｍ０１，Ｍ０２，Ｍ０３と、兄の撮影した動画Ｂ０１，Ｂ０２，Ｂ０３があるとする。図４では、これらの動画を動画記録日時情報に従い同一タイムライン上に表記している。
【００３０】
ＣＰＵ１０１は、各動画の記録日時を検索し、記録のあった日時と重複期間を以下のように分類し、判別する。すなわち、ＣＰＵ１０１は、タイムラインの先頭から順番に、何れかの動画の撮影開始時点と終了時点で区切りを設定し、この時間帯を区間として番号付けする。図４に示す例では、動画Ｆ０１の撮影が開始された時刻９：００から動画Ｍ０２の撮影が始まる時刻９：０２までを区間１とし、動画Ｂ０２の撮影が開始された時刻９：０４までを区間２とする。以下、同様に各区間の番号付けを行う。こうして区間で分けられた時間帯ごとに、どの動画が記録されたのかを抽出する。区間１では、動画Ｆ０１のみが記録され、区間２では、２つの動画Ｆ０１，Ｍ０１が同時に記録されている。
【００３１】
このように区間ごとに各動画を分割して動画再生期間と再生動画のスケジュールを作成する。図５は、図４に示す動画に対して作成された動画再生スケジュールを示す。この動画再生スケジュールは、ステップＳ３０４で示す処理で生成される。ＣＰＵ１０１は、重複期間の抽出結果から、全区間について、記録日時（撮影開始時間〜撮影終了時間）、再生期間（再生開始時刻〜再生終了時刻）及び同時再生される再生動画を導き出す。例えば、区間１から再生が開始されるので、区間１の再生時間は０：００から０：０２の計２分で、再生動画は動画Ｆ０１である。区間２の再生時間は０：０２から０：０４の計２分で、再生動画は動画Ｆ０１，Ｍ０１である。区間３の再生時間は０：０４から０：０８の計４分で、再生動画は動画Ｆ０１，Ｍ０１，Ｂ０１である。また、区間６と区間１２のように再生動画が存在しない区間については、再生を行わずにスキップする。
【００３２】
本実施例の優先順位決定手段の一つとして、撮影時間の長さで優先度を決定する方法を説明する。優先順位は、図３のステップＳ３０５で決定される。この優先順位決定方法は、撮影時間の長い動画ファイルは撮影者がより注目している動画であるとの想定に基づく。
【００３３】
図６は、各動画ファイルの撮影時間の一例を示す表である。例えば、動画Ｆ０１の撮影時間は１２分、動画Ｍ０１の撮影時間は８分、動画Ｂ０１の撮影時間は４分となっている。同一区間内で複数の動画が同時に再生される場合、この撮影時間が大きい順に優先度を設定する。
【００３４】
図５に示す動画再生スケジュールに対し、撮影時間の長さ順に再生動画に優先度を付けた結果を図７に示す。例えば、区間２では動画Ｆ０１（１２分）、Ｍ０１（８分）の順に優先度が付けられる。区間３では、動画Ｆ０１（１２分）、Ｍ０１（８分）、Ｂ０１（４分）の順に優先度が付けられている。
【００３５】
優先順位を決定する方法として、動画に含まれる被写体で優先度を決定してもよい。顔認識処理により被写体を識別できる。
【００３６】
図８は、被写体で優先度を決定する方法の手順を示すフローチャートである。ＣＰＵ１０１上の優先順位決定手段２０１は、動画ファイルから動画の被写体情報を取得する（Ｓ８０１）。優先順位決定手段２０１は、被写体情報から動画に一定のしきい値以上の被写体が含まれている被写体時間を計算する（Ｓ８０２）。最後に、優先順位決定手段２０１は、各動画の被写体時間を比較して、被写体時間の長いものから順に優先度を決定する（Ｓ８０３）。
【００３７】
被写体情報について、図９を用いて詳細に説明する。９０１は、動画のある時間を切り取った一画面を示す。９０２が被写体として撮影された人物である。顔認識フレーム９０３は、被写体の顔認識をした際の顔として判定した場所又は領域を示す。優先順位決定手段２０１は、動画のすべての時間について、この顔認識フレーム９０３の辺の長さまたは面積が一定のしきい値以上になる時間の合計を計算する。ここでは例として顔認識をあげたが、ある物体の焦点認識フレームのように顔や人物以外の被写体であっても構わない。さらに、認識フレームは四角形でなくてもよく、円形、楕円形、物体の形状認識した形のように、他の形であっても構わない。
【００３８】
図１０は、各動画について計算された被写体合計時間の例を示す。例えば、動画Ｆ０１の被写体合計時間は４分、動画Ｍ０１のそれは２分、動画Ｂ０１のそれは１分となっている。この被写体合計時間に基づいて各区間の優先度を決定した結果を図１１に示す。例えば、区間３では、動画Ｆ０１（４分）、Ｍ０１（２分）、Ｂ０１（１分）の順に優先度が付けられる。区間１４では、動画ファイルＭ０３（６分）、Ｆ０３（２分）、Ｂ０３（１分）の順に優先度が付けられている。
【００３９】
優先度に基づいて動画の表示位置を設定する表示位置設定手段２０２の動作を詳細に説明する。表示位置設定手段２０２は、同一画面に複数の動画を再生する場合に、同時再生動画数に応じて画面上のどの領域に動画を表示するかの表示パターンを予め決定している。予め決定している表示パターンは、動画のアスペクト比を変更するパターン、及び、動画の一部の画面領域を切り出して表示するパターンを含む。
【００４０】
表示位置設定手段２０２は、優先順位決定手段２０１により決定された優先度に従い、以下に説明するように１又は複数の再生動画の表示位置を決定する。
【００４１】
図１２は、同時再生される動画が一つの場合の表示位置の設定例を示す。この場合、画面１２０１の全面に優先度１の動画１２０２が表示される。
【００４２】
図１３は、同時再生される動画が二つの場合の表示位置の例を示す。この場合、画面１２０１上に優先度１の動画１３０１と、優先度２の動画１３０２が同時に表示される。ただし、優先度１の動画に対して、優先度２の動画が半分程度のサイズに設定される。
【００４３】
図１４は、同時再生される動画が三つの場合の表示位置の設定例を示す。画面１２０１上に優先度１の動画１４０１と、優先度２の動画１４０２と、優先度３の動画１４０３が同時に表示される。優先度１の動画を画面上部に表示する。優先度１の動画に対して、優先度２の動画と優先度３の動画を半分程度のサイズで画面下部に表示する。
【００４４】
同時再生される動画が四つ以上の場合も、同時再生される動画数に応じた表示位置のパターンを予め決めておき、優先度に応じたパターンで各動画の表示位置を決定する。
【００４５】
表示位置設定手段２０２はまた、各動画の撮影時のカメラ位置（撮影位置）と優先度に従い、再生動画の表示位置を決定するようにしてもよい。
【００４６】
図１５は、３台の撮像装置を使用する場合の配置例を示す。被写体１５０１をそれぞれ父の撮像装置１５０２、母の撮像装置１５０３、兄の撮像装置１５０４が同時に撮影し録画している。各撮像装置１５０２，１５０３，１５０４は、録画した動画に、撮像装置１５０２〜１５０４の所在地（緯度及び経度）と撮影方向の情報を付加している。表示位置設定手段２０２は、優先順位決定手段２０１で決定された優先度に基づいて優先度１の動画の表示位置を先ず決定し、他の動画の表示位置を、優先度１の動画の撮像装置に対する位置関係で決定する。例えば、優先順位決定手段２０１で決定された優先度に基づいて優先度１の動画の表示位置を中央とした場合、その優先度１の動画の撮影方向に対して左側に位置する動画を画面の左側に配置し、右側に位置する動画を画面の右側に配置する。
【００４７】
例えば、図７の区間３では、父の撮像装置で撮影された動画Ｆ０１が優先度１で、このときの撮影開始時の撮影位置が北緯３５．６７８１３９度、東経１３９．７１４８８９度で、撮影方向が北であるとする。母の撮像装置で撮影された動画Ｆ０２は優先度２で、撮影位置が北緯３５．６７８１６２度、東経１３９．７１５４１７度、撮影方向が北西であるとする。兄の撮像装置で撮影された動画Ｆ０３は優先度３で、撮影位置が北緯３５．６７８５９１度、東経１３９．７１４６１１度で、撮影方向が東であるとする。これらの撮影状況において、父の撮影による優先度１の動画を表示画面の中央に配置したとする。このとき、父の撮像装置の撮影方向は北でるので、それより東に位置する母の撮像装置による動画を画面上、右に配置する。父の撮像装置より西にある兄の撮像装置による動画を画面上、左に配置する。よって、区間３の動画の画面表示位置は、動画Ｆ０１が画面の中央、動画Ｆ０２が画面の右、動画Ｆ０３が画面の左となる。
【００４８】
図１６は、図７の区間１に対する画面表示位置の説明図である。再生動画が動画Ｆ０１のみであるので、画面１６０１の全画面１６０２に優先度１の動画Ｆ０１が表示される。
【００４９】
図１７は、図７の区間２に対する画面表示位置を説明図である。再生動画は動画Ｆ０１，Ｆ０２であり、画面１６０１の領域１７０１に優先度１の動画Ｆ０１が大きく表示され、優先度２の動画Ｍ０１が領域１７０１の下側の右半分の領域１７０２に表示される。このとき、動画Ｆ０１に対して動画Ｍ０１の画面表示位置が左側であれば、動画Ｍ０１は領域１７０３に表示される。
【００５０】
図１８は、図７の区間３に対する画面表示位置の説明図を示す。再生動画は動画Ｆ０１、Ｆ０２、Ｆ０３である。画面１６０１上の領域１８０１に優先度１の動画Ｆ０１が大きく表示される。領域１８０１の下側の右半分の領域１８０２に優先度２の動画Ｍ０１が表示され、左半分の領域１８０３に優先度３の動画Ｂ０１が表示される。このパターンでは、優先度２の動画と優先度３の動画の表示位置は、撮影位置と優先度に従い決定される。
【００５１】
なお、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施例の機能を実現するプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。
【００５２】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施例の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５３】
プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フレキシブルディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードを、ネットワークを介してダウンロードしてもよい。
【００５４】
コンピュータが読み出したプログラムコードを実行することにより、上記実施例の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって上述した実例の機能が実現される場合も含まれる。
【００５５】
更に、上述した実施例の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。
【００５６】
以上、本発明の好ましい実施例を説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
2014068160.tif 000003
【図２】
2014068160.tif 000004
【図３】
2014068160.tif 000005
【図４】
2014068160.tif 000006
【図５】
2014068160.tif 000007
【図６】
2014068160.tif 000008
【図７】
2014068160.tif 000009
【図８】
2014068160.tif 000010
【図９】
2014068160.tif 000011
【図１０】
2014068160.tif 000012
【図１１】
2014068160.tif 000013
【図１２】
2014068160.tif 000014
【図１３】
2014068160.tif 000015
【図１４】
2014068160.tif 000016
【図１５】
2014068160.tif 000017
【図１６】
2014068160.tif 000018
【図１７】
2014068160.tif 000019
【図１８】
2014068160.tif 000020