(57)【要約】【課題】視点方向を変更可能な動画において、過去に視聴したシーンの探索を容易化ないし支援するための技術を提供する。【解決手段】本発明は、視点方向を変更可能な動画を再生する再生手段と、前記再生手段による前記動画の再生時に用いられた視点方向の記録である視点情報を保持する管理手段と、ユーザーによる、通常速度での再生の指示とは異なる操作であって、前記動画の再生または前記動画の再生位置の指定に関する所定の操作に応じて、前記管理手段に保持されている前記視点情報に基づき、前記動画のうち、以前に再生したときと同じ視点方向を含む範囲を切り出して表示するように制御する制御手段と、を有することを特徴とする電子機器を提供する。【選択図】図６
2019180060.tif 000002
【特許請求の範囲】
【請求項１】
視点方向を変更可能な動画を再生する再生手段と、
前記再生手段による前記動画の再生時に用いられた視点方向の記録である視点情報を保持する管理手段と、
ユーザーによる、通常速度での再生の指示とは異なる操作であって、前記動画の再生または前記動画の再生位置の指定に関する所定の操作に応じて、前記管理手段に保持されている前記視点情報に基づき、前記動画のうち、以前に再生したときと同じ視点方向を含む範囲を切り出して表示するように制御する制御手段と、
を有することを特徴とする電子機器。
【請求項２】
前記制御手段は、前記通常速度での再生の指示に応じては前記視点情報に基づいた範囲での表示は行わないことを特徴とする請求項１に記載の電子機器。
【請求項３】
前記所定の操作は、前記通常速度よりも速い速度での前記動画の再生を指示する操作を含むことを特徴とする請求項１または２に記載の電子機器。
【請求項４】
前記所定の操作は、シークバーに対する操作を含むことを特徴とする請求項１乃至３のいずれか１項に記載の電子機器。
【請求項５】
前記制御手段は、前記シークバーに対する操作に応じた再生位置の変更後の所定の期間のあいだ前記視点情報に基づいた範囲で表示する制御を行うことを特徴とする請求項４に記載の電子機器。
【請求項６】
前記所定の操作は、前記再生手段により再生中の前記動画に対して現在の再生位置とは異なる再生位置を指定する操作を含むことを特徴とする請求項１乃至５のいずれか１項に記載の電子機器。
【請求項７】
前記制御手段は、前記視点情報に基づいた範囲での表示を、前記動画のうち、前記視点情報に基づかずに切り出した現在再生中の表示範囲とともに表示するように制御する
ことを特徴とする請求項１乃至６のいずれか１項に記載の電子機器。
【請求項８】
視点方向を変更可能な動画を再生する再生手段と、
前記再生手段による前記動画の再生時に用いられた視点方向の記録である視点情報を保持する管理手段と、
前記動画の再生中に、現在の再生位置における、前記視点情報に基づかずに切り出した表示範囲の第１の映像と、前記管理手段に保持されている前記視点情報に基づいて以前に再生したときと同じ視点方向を含む範囲を切り出した表示範囲の第２の映像とを共に表示するように制御する制御手段と、
を有することを特徴とする電子機器。
【請求項９】
前記制御手段は、前記動画の再生の状況が第１の条件を満たす場合に前記第２の映像を表示し、前記第１の条件を満たさない場合には前記動画の再生中に前記第２の映像を表示しないように制御することを特徴とする請求項８に記載の電子機器。
【請求項１０】
前記第１の条件は、前記動画の再生を開始してからの経過時間が閾値未満であることを含むことを特徴とする請求項９に記載の電子機器。
【請求項１１】
前記制御手段は、現在の再生位置に対応する前記視点情報が第２の条件を満たす場合に前記第２の映像を表示し、前記第２の条件を満たさない場合には前記動画の再生中に前記
第２の映像を表示しないように制御することを特徴とする請求項８乃至１０のいずれか１項に記載の電子機器。
【請求項１２】
前記管理手段は、ユーザーに対応付けて前記視点情報を保持しており、
前記制御手段は、前記管理手段に保持されている前記視点情報のうち、前記所定の操作を入力したユーザーに対応付けられている視点情報を用いることにより、前記所定の操作を入力したユーザーが前記動画を以前に再生したときと同じ視点方向を含む範囲を切り出して表示する制御を行う
ことを特徴とする請求項１乃至１１のいずれか１項に記載の電子機器。
【請求項１３】
前記管理手段は、前記動画の再生中に所定の時間間隔で視点方向を記録する
ことを特徴とする請求項１乃至１２のいずれか１項に記載の電子機器。
【請求項１４】
前記管理手段は、前記動画の再生位置に対応付けて前記視点情報を保持しており、
前記制御手段は、前記管理手段に保持されている前記視点情報のうち、現在再生中の前記動画の再生位置に対応付けられている視点情報を用いることにより、前記動画を以前に再生したときと同じ視点方向を含む範囲を切り出して表示する制御を行う
ことを特徴とする請求項１乃至１３のいずれか１項に記載の電子機器。
【請求項１５】
前記管理手段は、前記再生手段による再生の対象となる動画が変わった場合に、保持している視点情報を削除する
ことを特徴とする請求項１乃至１４のいずれか１項に記載の電子機器。
【請求項１６】
前記管理手段は、当該電子機器を操作するユーザーが変わった場合に、保持している視点情報を削除する
ことを特徴とする請求項１乃至１５のいずれか１項に記載の電子機器。
【請求項１７】
前記管理手段は、前記再生手段による動画の再生が終了した場合に、保持している視点情報を削除する
ことを特徴とする請求項１乃至１６のいずれか１項に記載の電子機器。
【請求項１８】
視点方向を変更可能な動画を再生するステップと、
前記動画の再生時に用いられた視点方向を記録し、視点情報として記憶部に保持するステップと、
ユーザーによる、通常速度での再生の指示とは異なる操作であって、前記動画の再生または前記動画の再生位置の指定に関する所定の操作に応じて、前記記憶部に保持されている前記視点情報に基づき、前記動画のうち、以前に再生したときと同じ視点方向を含む範囲を切り出して表示するように制御するステップと、
を有することを特徴とする電子機器の制御方法。
【請求項１９】
視点方向を変更可能な動画を再生するステップと、
前記動画の再生時に用いられた視点方向を記録し、視点情報として記憶部に保持するステップと、
前記動画の再生中に、現在の再生位置における、前記視点情報に基づかずに切り出した表示範囲の第１の映像と、前記記憶部に保持されている前記視点情報に基づいて以前に再生したときと同じ視点方向を含む範囲を切り出した表示範囲の第２の映像とを共に表示するように制御するステップと、
を有することを特徴とする電子機器の制御方法。
【請求項２０】
コンピュータを、請求項１乃至１７のいずれか１項に記載された電子機器の各手段とし
て機能させるためのプログラム。
【請求項２１】
コンピュータを、請求項１乃至１７のいずれか１項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器及びその制御方法に関し、特に、視点方向を変更可能な動画の表示に関する。
【背景技術】
【０００２】
近年、動画再生技術の発展により、視点方向を任意に変更可能な動画が普及しはじめている。このような動画再生技術を利用することにより、ユーザーはスマートフォンあるいはヘッドマウントディスプレイ等の表示制御装置の向きを変えるだけで、直感的に様々な角度からの動画を視聴することができる。
特許文献１には、全天球カメラにより撮像された映像をヘッドマウントディスプレイ（ＨＭＤ）において見る際に、ユーザの視線方向を検出し、視線方向に合わせた所定範囲の映像データを表示する映像表示システムが提案されている。
特許文献２には、全天球動画において３６０度全方位の中から任意に切り出し領域を指定して表示する場合に、設定された再生速度が速いほど、動画から切り出して表示する表示領域を広くするすることで、動画の内容を把握しやすくすることが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−２２６６５号公報
【特許文献２】特開２０１７−４１８４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような動画の場合、ユーザーが後から同じシーンをもう一度見たいと思っても、動画の中から該当するシーンを探し出すのは容易ではない。例えばユーザーがシークバーやサーチ再生を利用して動画の再生位置を変えながら所望のシーンを探そうとしても、過去の視聴時と視点方向が違っていたら、表示される画像が同じにならないため、所望のシーンを見過ごす可能性が高いからである。
【０００５】
本発明は上記実情に鑑みなされたものであって、視点方向を変更可能な動画において、過去に視聴したシーンの探索を容易化ないし支援するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、視点方向を変更可能な動画を再生する再生手段と、前記再生手段による前記動画の再生時に用いられた視点方向の記録である視点情報を保持する管理手段と、ユーザーによる、通常速度での再生の指示とは異なる操作であって、前記動画の再生または前記動画の再生位置の指定に関する所定の操作に応じて、前記管理手段に保持されている前記視点情報に基づき、前記動画のうち、以前に再生したときと同じ視点方向を含む範囲を切り出して表示するように制御する制御手段と、を有することを特徴とする電子機器を提供する。
【発明の効果】
【０００７】
本発明によれば、視点方向を変更可能な動画において、過去に視聴したシーンの探索を容易化ないし支援することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施例に係る電子機器（再生装置）の構成図。
【図２】ユーザー情報管理部に記録されている視点情報の例を示す図。
【図３】再生装置のユーザーインターフェイスの例を示す図。
【図４】再生装置全体の処理手順を示すフローチャート。
【図５】実施例１の通常再生の処理手順を示すフローチャート。
【図６】通常再生とサーチ再生の例を示す図。
【図７】実施例１のサーチ再生の処理手順を示すフローチャート。
【図８】視点情報の例を示す図。
【図９】視点情報の更新の処理手順の変形例を示すフローチャート。
【図１０】実施例２の通常再生の処理手順を示すフローチャート。
【図１１】実施例３のシークバーのタッチ時の処理手順を示すフローチャート。
【図１２】実施例３のシークバーのタッチ時の表示例を示す図。
【発明を実施するための形態】
【０００９】
以下、図面を参照しつつ本発明の好適な実施例を例示する。本発明は、視点方向を任意に切り替え可能な動画を再生する動画再生機能を有する電子機器、及び、その制御方法、並びに、その動画再生機能を実現するためのプログラムに関する。
【００１０】
「視点方向を任意に切り替え可能な動画」は、同時刻における複数の方向のビューが記録された動画であって、再生時にユーザーが視点方向（ｖｉｅｗｉｎｇ  ｄｉｒｅｃｔｉｏｎ）を指定することで任意の方向のビューに対応する画像を表示可能な動画である。例えば、３６０度動画（３６０−ｄｅｇｒｅｅ  ｖｉｄｅｏ）、全天球動画（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ  ｖｉｄｅｏ）、ＶＲ動画（ｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ  ｖｉｄｅｏ）、自由視点動画（ｆｒｅｅ  ｖｉｅｗｐｏｉｎｔ  ｖｉｄｅｏ）等がある。本明細書では、このような動画を総称して「複数視点動画」（ｍｕｌｔｉ−ｖｉｅｗｐｏｉｎｔ  ｖｉｄｅｏ）と呼ぶ。複数視点動画は、例えば、複数台のカメラで同時に撮影された複数方向のビューの動画データをコンピュータにより合成する方法や、魚眼レンズのような特殊な光学系を用いて超広角のビューを撮影する方法などで、生成される。
【００１１】
（実施例１）
実施例１では、複数視点動画のサーチ再生が行われた場合に、現在の視点方向の画像と、以前再生したときの視点方向の画像を併せて表示する例を述べる。
【００１２】
図１は本発明の各実施例を適用可能な電子機器の一例である、再生装置の構成の一例を示した図である。再生装置１００は、制御部１０１と、操作部１０２と、表示部１０３と、ＲＡＭ１０４と、記録媒体１０５と、ユーザー情報管理部１０６と、姿勢検出部１０７と、バス１０８を備えている。バス１０８に接続される各部は、バス１０８を介して互いにデータのやりとりを行うことができるようにされている。
【００１３】
図１の再生装置１００の各構成について説明する。
制御部１０１は、再生装置１００全体の制御、各種の演算処理や画像処理を行う。制御部１０１は、プログラムを実行するためのＣＰＵ（プロセッサ）を有しており、必要に応じて、キャッシュメモリや画像処理用のプロセッサ（ＧＰＵ、ＤＳＰなど）を有してもよい。
【００１４】
操作部１０２は、ユーザーから受け付けた操作を制御部１０１に通知する。ユーザー操作は以下のような操作を含む。
・再生装置１００の電源のＯＮ／ＯＦＦ（電源ＯＮボタン、電源ＯＦＦボタンの押下）
・動画ファイルの選択
・通常再生の開始の指示（再生ボタンの押下）
・サーチ再生の開始の指示（サーチボタンの押下）
・再生中の動画に対し、再生位置の変更（シークバー上のボタンの移動）
・再生中の動画に対し、現在の再生位置とは異なる再生位置の指定（シークバーへのタッチ）
・視点方向の変更（十字ボタンの押下）
【００１５】
表示部１０３は、制御部１０１の指示に基づいて画像を表示する。ユーザーは表示部１０３を介して動画を視聴することができる。表示部１０３としては、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどを用いることができ、タッチ操作を入力可能なタッチパネルディスプレイを用いてもよい。タッチパネルディスプレイは、表示部１０３の機能と操作部１０２の機能を兼ねることができる。表示部１０３は、制御部１０１から複数の画像データの表示を指示された場合、指示された画像データを重畳（合成）し、又は、並べて表示することができる。
【００１６】
ＲＡＭ１０４は、一時的に情報を格納するメモリである。ＲＡＭ１０４上には、例えば、再生する動画データ、再生時に使用する連続再生時間情報、視点情報（再生位置、視点方向）が保持される。ＲＡＭ１０４は、制御部１０１がプログラムを実行する際のワークメモリとしても利用される。
【００１７】
記録媒体１０５は、大容量の不揮発性の記憶手段である。記録媒体１０５としては、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリなどを用いることができる。記録媒体１０５には、例えば、複数視点動画データ、制御部１０１で実行されるプログラム、当該プログラムが利用する各種データなどが格納される。記録媒体１０５からのデータの読み出し、及び、記録媒体１０５へのデータの書き込みは、制御部１０１の指示に基づいて行われる。
【００１８】
姿勢検出部１０７は、重力方向に対する再生装置１００の姿勢を検知する。姿勢検出部１０７で検知された姿勢に基づいて、再生装置１００が横に保持されているか、縦に保持されているか、上に向けられたか、下に向けられたか、斜めの姿勢になったかなどを判別可能である。姿勢検出部１０７としては、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサーなどのうち少なくとも１つを用いることができ、複数を組み合わせて用いることも可能である。
【００１９】
再生装置１００は、ＶＲゴーグルに装着することで、ヘッドマウントディスプレイとして使用することも可能である。表示部１０３の表示面を、ＶＲゴーグルをユーザーの頭部に固定するためのヘッドバンド側（すなわちユーザー側）に向けて再生装置１００の全体をＶＲゴーグル差し込むことができる。こうして再生装置１００が装着されたＶＲゴーグルを装着することにより、ユーザーはＶＲゴーグルを頭部に装着した状態で、ユーザーが手で再生装置１００を保持することなく、再生装置１００の表示部１０３を視認することができる。この場合、ユーザーが頭部または体全体を動かすと、再生装置１００の姿勢も変化する。姿勢検出部１０７はこの時の再生装置１００の姿勢の変化を検出し、この姿勢の変化に基づいて制御部１０１が後述するＶＲ表示処理を行う。この場合に姿勢検出部１０７が再生装置１００の姿勢を検出することは、ユーザーの頭部の姿勢（ユーザーの視線が向いている方向）を検出することと同等である。
【００２０】
再生装置１００は、ＶＲ画像（ＶＲコンテンツ）を表示部１０３においてＶＲ表示することが可能である。ＶＲ画像は、前述した複数視点動画の一例である。
【００２１】
ＶＲ画像とは、ＶＲ表示をすることのできる画像であるものとする。ＶＲ画像には、全方位カメラ（全天球カメラ）で撮像した全方位画像（全天球画像）や、表示手段に一度に
表示できる表示範囲より広い映像範囲（有効映像範囲）を持つパノラマ画像などが含まれるものとする。また、カメラで撮影した画像に限らず、コンピュータグラフィックス（ＣＧ）を用いて作成した画像であっても、ＶＲ表示可能なものはＶＲ画像（ＶＲコンテンツ）に含まれるものとする。ＶＲ画像には、静止画だけでなく、動画やライブビュー画像（カメラからほぼリアルタイムで取得した画像）も含まれる。ＶＲ画像は、最大で上下方向（垂直角度、天頂からの角度、仰角、俯角、高度角）３６０度、左右方向（水平角度、方位角度）３６０度の視野分の映像範囲（有効映像範囲）を持つ。また、ＶＲ画像は、上下３６０度未満、左右３６０度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角（視野範囲）、あるいは、表示手段に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つ画像も含むものとする。例えば、左右方向（水平角度、方位角度）３６０度、天頂（ｚｅｎｉｔｈ）を中心とした垂直角度２１０度の視野分（画角分）の被写体を撮影可能な全天球カメラで撮影された画像はＶＲ画像の一種である。すなわち、上下方向と左右方向にそれぞれ１８０度（±９０度）以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はＶＲ画像の一種である。このＶＲ画像をＶＲ表示すると、左右回転方向に姿勢を変化させることで、左右方向（水平回転方向）には継ぎ目のない全方位の映像を視聴することができる。上下方向（垂直回転方向）には、真上（天頂）から見て±１０５度の範囲では継ぎ目のない全方位の映像を視聴することができるが、真上から１０５度を超える範囲は映像が存在しないブランク領域となる。ＶＲ画像は、「映像範囲が仮想空間（ＶＲ空間）の少なくとも一部である画像」とも言える。
【００２２】
ＶＲ表示とは、ＶＲ画像のうち、姿勢検出部１０７で検出した再生装置１００の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法である。再生装置１００をＶＲゴーグルに装着して視聴する場合には、ユーザーの顔の向きに応じた視野範囲の映像を表示することになる。例えば、ＶＲ画像のうち、ある時点で左右方向に０度（特定の方位、例えば北）、上下方向に９０度（天頂から９０度、すなわち水平）を中心とした視野角（画角）の映像を表示しているものとする。この状態から、再生装置１００の姿勢を表裏反転させると（例えば、表示面を南向きから北向きに変更すると）、同じＶＲ画像のうち、左右方向に１８０度（逆の方位、例えば南）、上下方向に９０度（水平）を中心とした視野角の映像に、表示範囲が変更される。ユーザーがＶＲゴーグルに装着した再生装置１００を視聴している場合で言えば、ユーザーが顔を北から南に向ければ（すなわち後ろを向けば）、再生装置１００に表示される映像も北の映像から南の映像に変わるということである。このようなＶＲ表示によって、ユーザーに、視覚的にあたかもＶＲ画像内（ＶＲ空間内）のその場にいるような感覚を提供することができる。
【００２３】
ユーザー情報管理部１０６は、記録媒体１０５内に設けられるデータベースであって、複数視点動画の再生時における視点方向の変化を、ユーザーごとに記録する手段である。図２Ａは、ユーザー情報管理部１０６に記録されているユーザー情報のデータ構造の概念図である。本実施例では、ユーザー情報管理部１０６は「ユーザーＩＤ」、「視点方向」、「再生位置」の３つの情報を管理する。「ユーザーＩＤ」は、複数視点動画を再生（視聴）するユーザーを特定するための情報である。「視点方向」は、複数視点動画の再生時に用いられた視点方向の記録であり、例えば、仰角φと方位角θを用いて表される。仰角φは、図２Ｂに示されるように、視線と水平面とがなす角度である。なお、視線が水平面より下を向く場合（φ＜０）は、厳密には俯角と呼ぶが、本明細書ではφ＜０の場合も「仰角」と表記する。方位角θは、図２Ｂに示されるように、視点位置を中心とする天球を考えたときに、水平面内における視線の方向を表すものであり、基準の方位と視線の方位のあいだの角度である。基準の方位については、例えば、北が０度となるように決められてもよいし、撮影時のカメラの姿勢や向きに基づき決められてもよい。「再生位置」は、ユーザー情報管理部１０６に視点位置が記録された時点の複数視点動画の再生位置であり、動画の先頭からの時間で表される。
【００２４】
以下、「視点方向」と「再生位置」を併せて「視点情報」と呼ぶ。視点情報は、動画の再生時（視聴時）に用いられた視点方向を記録した履歴情報である。図２Ａに示されるように、ユーザーＩＤに対応付けられて視点方向が記録されることで、各ユーザーが動画視聴時に行った視点切り替えの履歴を後から参照（再現）できるようになる。以後の説明において、ユーザー情報管理部１０６に記録されている視点情報を削除する処理があるが、その場合、視点情報のみが削除され、ユーザーＩＤは削除されないものとする。
【００２５】
＜再生装置全体の処理手順＞
図３は、本実施例の再生装置１００のユーザーインターフェイス（ＵＩ）の例を示す図である。再生装置１００のＵＩ３００は、再生ボタン３０１と、サーチボタン３０２と、停止ボタン３０３と、シークバー３０４と、十字ボタン３０５と、電源ＯＮボタン３０６と、電源ＯＦＦボタン３０７を備えている。本実施例の再生装置１００では、タッチパネルディスプレイの画面上にＵＩ３００が表示される構成を想定しているが、ＵＩ３００のうちの一部を物理的なスイッチなどで構成してもよい。
【００２６】
再生ボタン３０１は、動画の通常再生の開始を指示するためのボタンである。サーチボタン３０２は、動画のサーチ再生の開始を指示するためのボタンである。通常再生は、通常の再生速度（動画のフレームレートどおりの速度）で動画を再生するモード（第１の再生モード）であり、通常の視聴において利用される。一方、サーチ再生は、通常再生よりも速い速度（例えば、１．５倍速〜１００倍速など）で動画を再生するモード（第２の再生モード）であり、見たいシーンを探索する目的などに利用される。本実施例では、順方向のサーチ再生（「早送り」と呼ばれる）と逆方向のサーチ再生（「早戻し」と呼ばれる）が可能である。停止ボタン３０３は、動画の通常再生の停止及びサーチ再生の停止を指示するためのボタンである。シークバー３０４は、動画の再生の進捗状況を表示する。シークバー３０４上のボタンを左右に移動させることで再生位置を変更することもできる。十字ボタン３０５は、ユーザーが動画の視点方向を変えるときや、再生する動画ファイルを選択するときに使用される。電源ＯＮボタン３０６と電源ＯＦＦボタン３０７は、再生装置１００の電源をＯＮ／ＯＦＦするボタンである。
【００２７】
ＵＩ３００がユーザーにより操作されると、操作内容に応じた信号を操作部１０２が受け取り、制御部１０１に通知する。ユーザーはＵＩ３００における上記したボタン（タッチボタン）を操作（タッチ操作）することで動画の再生やサーチを指示する。
【００２８】
図４は、本実施例の再生装置全体の処理手順を示すフローチャートである。図４の処理は、制御部１０１（ＣＰＵ）が、記録媒体１０５に格納されているプログラムをＲＡＭ１０４に展開し、当該プログラムを実行することによって実現される。すなわち、本実施例では、制御部１０１が本発明における再生手段及び制御手段の機能を提供する。なお、ユーザーが電源ＯＮボタン３０６を介して再生装置１００の電源をＯＮすると、図４の処理が自動的に開始される。
【００２９】
Ｓ４００において、制御部１０１は、ユーザー認識処理を行う。ユーザーは図示されていないインターフェースを介して、ユーザーＩＤを再生装置１００に入力する。ユーザーＩＤは予めユーザー毎に付与されているものとする。制御部１０１は、入力されたユーザーＩＤを操作部１０２から受け取り、ユーザーＩＤをユーザー情報管理部１０６に記録する。また、制御部１０１は、通知されたユーザーＩＤを、カレントユーザー（現在、再生装置１００を操作（動画を視聴）しているユーザー）のユーザーＩＤとして、ＲＡＭ１０４に保持する。本実施例では、ユーザーを識別するための情報としてユーザーＩＤを入力させているが、ユーザーを識別できるなら他の手段を用いても良い。例えば、ユーザーＩＤの代わりに、生体認証（例えば、顔、指紋、静脈、虹彩、声などによる認証）を利用し
てもよい。
【００３０】
Ｓ４０１において、制御部１０１は、ユーザーがＵＩ３００を介して操作を行ったかを判定する。ユーザーからの操作がなければ、Ｓ４０１を再度実行する。ユーザーからの操作があれば、制御部１０１は、操作部１０２からユーザー操作情報を受信し、Ｓ４０２に進む。ユーザー操作情報は、モード指示（動画通常再生かサーチ再生か電源ＯＦＦ）の選択と再生する動画ファイルの選択を含む。モード指示が電源ＯＦＦ以外の場合は、ユーザーは必ず再生する動画ファイルを選択するものとする。
【００３１】
Ｓ４０２及びＳ４０３において、制御部１０１は、ユーザー情報管理部１０６に記録されている視点情報の更新処理を行う。視点情報の更新処理は、記録済みの視点情報をそのまま使用するのか、削除するのかを判定する処理である。
具体的には、Ｓ４０２において、制御部１０１は、電源ＯＮされてから初めて更新処理が実行されたかを判定する。電源ＯＮされてから初めて更新処理が実行された場合は、Ｓ４０３に進む。電源ＯＮされてから初めてでない場合は、更新処理を終了する。Ｓ４０３において、制御部１０１は、ユーザー情報管理部１０６に記録されている視点情報を全て削除する。
以上の処理の結果、電源ＯＮ状態であれば、記録された視点情報が削除されることはない。なお、ユーザー情報管理部１０６に視点情報が一つも記録されていない場合は、Ｓ４０２及びＳ４０３の処理をスキップし、Ｓ４０４に進めばよい。
【００３２】
Ｓ４０４において、制御部１０１は、Ｓ４０１で受け付けた操作が通常再生かどうかを判定する。Ｓ４０１で受け付けた操作が通常再生（再生ボタン３０１）の場合、Ｓ４０５に進む。Ｓ４０１で受け付けた操作が通常再生ではない場合、Ｓ４０６に進む。
Ｓ４０５において、制御部１０１は、Ｓ４０１で指定された動画ファイルを再生する。Ｓ４０５の詳細な処理手順については図５を用いて後述する。
Ｓ４０６において、制御部１０１は、Ｓ４０１で受け付けた操作がサーチ再生かどうかを判定する。Ｓ４０１で受け付けた操作がサーチ再生（サーチボタン３０２）の場合、Ｓ４０７に進む。Ｓ４０１で受け付けた操作がサーチ再生ではない場合、Ｓ４０８に進む。
【００３３】
Ｓ４０７において、制御部１０１は、Ｓ４０１で指定された動画ファイルをサーチ再生する。Ｓ４０７の詳細な処理手順については図７を用いて後述する。
Ｓ４０８において、制御部１０１は、Ｓ４０１で受け付けた操作が再生装置の電源ＯＦＦかどうかを判定する。Ｓ４０１で受け付けた操作が電源ＯＦＦ（電源ＯＦＦボタン３０７）の場合、制御部１０１は再生装置の電源をＯＦＦする。Ｓ４０１で受け付けた操作が電源ＯＦＦではない場合、Ｓ４０１に戻り、制御部１０１は再度ユーザーからの操作の有無を判定する。
以上で再生装置全体の処理手順の説明を終了する。
【００３４】
＜通常再生と視点情報登録の処理手順＞
以下、図５を用いて通常再生の処理手順と視点情報を登録する処理手順について説明する。
図５は、通常再生の処理手順である。本実施例では通常再生時に視点情報を登録する処理（Ｓ５０９とＳ５１０）を併せて行う。
Ｓ５０１において、制御部１０１は、連続再生時間と登録経過時間と再生位置を０に初期化する。
【００３５】
連続再生時間と登録経過時間は以下のような特徴を持つ。
・連続再生時間は、通常再生をどれくらい続けて実行しているかを表す指標である。
・登録経過時間は、視点情報を登録してから経過した時間を示す。
・本実施例では連続再生時間と登録経過時間を秒数で管理する。動画のフレームレートが３０ｆｐｓのときは、再生装置が３０枚の画像を表示したら１加算される。
・ユーザーの操作によって再生位置が時間的に離れた場所に変更された場合、連続再生時間と登録経過時間を０に再初期化する。再生位置の変更とは、シークバー３０４によって時間的に離れた場所から再生させようとする操作を指す。再生位置も連続再生時間と同様に秒数で管理される。
【００３６】
Ｓ５０２において、制御部１０１は、操作部１０２からユーザー操作情報を受信し、そのユーザー操作に対応する処理を実行する。Ｓ５０２で行えるユーザー操作には例えば以下のようなものがある。
・通常再生の停止（停止ボタン３０３）
・シークバーの操作（シークバー３０４）
・視点方向の変更（十字ボタン３０５）
【００３７】
Ｓ５０３において、制御部１０１は、Ｓ５０２で受信した情報から通常再生を継続するか否かを判定する。Ｓ５０２で受信した情報から、通常再生の停止操作（停止ボタン３０３）があった場合には、通常再生を継続しないと判定して通常再生を停止し、処理を終了する。通常再生の継続を停止するような操作が無かった場合にはＳ５０４に進む。
Ｓ５０４において、制御部１０１は、現在の視点方向を取得する。制御部１０１は、取得した視点方向をＲＡＭ１０４に書き込む。視点方向は、上述のように、十字ボタン３０５に対する操作で変更することが可能である。Ｓ５０２で十字ボタン３０５に対する操作を受け付けていれば、受け付けた操作に応じて視点方向が更新されている。また、上述のＶＲ表示中（通常再生速度でのＶＲ動画のＶＲ表示中も、Ｓ４０５で行われる通常再生の処理が行われるものとする）であれば、姿勢検出部１０７で検出された姿勢に応じた視点方向に更新されている。なお、ＶＲ表示ではない通常再生においても、姿勢検出部１０７で検出された姿勢に応じた視点方向の変更はしないものの、操作部に対するユーザー操作（十字ボタン３０５に対する操作）に基づいて視点を変更することが可能である。Ｓ５０４では、更新があった場合は更新を反映した視点方向であり、更新が無かった場合には前フレームと同じ視点方向である、最新の視点方向（現在の視点方向）を取得する。
Ｓ５０５において、制御部１０１は、現在の再生位置を取得する。制御部１０１は、取得した現在の再生位置をＲＡＭ１０４に書き込む。通常再生中であるため、シークバー３０４に対する操作がなければ、現在の再生位置は通常再生の再生速度で、時間の経過に伴って更新される。Ｓ５０５では、更新された最新の再生位置（現在の再生位置）を取得する。
【００３８】
Ｓ５０６において、制御部１０１は、Ｓ５０５で取得した現在の再生位置に基づき、Ｓ５０２でユーザーによって再生位置の変更操作が行われたか否かを判定する。再生位置は、ユーザーによる操作がなければ、連続的に増加する。よって、制御部１０１は、Ｓ５０５で取得した再生位置と取得前の再生位置の差を閾値と比較し、差が閾値以上であれば再生位置の変更操作が行われたと判定する。例えば、閾値を１０秒に設定し、取得前の再生位置が０秒、Ｓ５０５で取得した再生位置が２０秒の場合、閾値（１０秒）より再生位置の差（２０秒）が大きいため、再生位置が変更されたと判定する。なお、再生位置に基づかずとも、Ｓ５０２でシークバー３０４に対する操作があった場合にＳ５０６でＹｅｓと判定するようにしても良い。
【００３９】
再生位置が変更されていない場合は、Ｓ５０７において連続再生時間と登録経過時間を更新する。動画のフレームレートが３０ｆｐｓのときは、１／３０を連続再生時間と登録経過時間に加算する。再生位置が変更された場合は、Ｓ５０８において、連続再生時間と登録経過時間を０に初期化する。
【００４０】
Ｓ５０９において、制御部１０１は、連続再生時間が閾値Ｎ秒を超えていて、かつ、登録経過時間が閾値Ｍ秒を超えているかを判定する。上記条件を満たしていない場合は、Ｓ５１１に進む。上記条件を満たしている場合は、Ｓ５１０に進む。
Ｓ５１０において、制御部１０１は、ＲＡＭ１０４に保持されているユーザーＩＤ（図４のＳ４００で取得したもの）と、Ｓ５０４で取得した視点方向とＳ５０５で取得した現在の再生位置に基づいて、ユーザー情報管理部１０６の該当するユーザーＩＤに、視点情報（視点方向と再生位置）を記録する。
【００４１】
Ｓ５０９とＳ５１０の視点情報を記録する処理について図６Ａを用いて具体的に説明する。図６Ａは、通常再生時の動画のフレームの遷移とそのときの視点方向を時間軸で示した図である。
符号６００〜６０３は、表示部１０３に表示される表示例を示している。符号６０４〜６０７は表示例６００〜６０３が表示されているときの視点方向を天球座標系に点線枠で図示したものである。表示例６００は、動画の元画像のうち、再生位置２７秒での視点方向６０４の点線枠で示す表示範囲（視野範囲）を切り出して表示部１０３に表示した例である。同様に、表示例６０１は、再生位置２８秒での視点方向６０５の表示範囲を切り出して表示した例であり、表示例６０２は、再生位置２９秒での視点方向６０６の表示範囲を切り出して表示した例である。表示例６０３は、再生位置３０秒での視点方向６０７の表示範囲を切り出して表示した例である。
【００４２】
例えば、Ｓ５０９で用いる閾値Ｎを２９秒、閾値Ｍを１０秒とし、連続再生時間と再生位置が３０秒、登録経過時間を１１秒とした場合、
「閾値Ｎ  ＜  連続再生時間」かつ
「閾値Ｍ  ＜  登録経過時間」、
の関係になるため、Ｓ５１０において制御部１０１がユーザー情報管理部１０６に視点情報を記録する。Ｓ５１０では、再生位置３０秒という情報とそのときの視点方向６０７の仰角φ＝３０度、方位角θ＝６０度の情報が記録される。同じ再生位置の視点情報が既に登録されている場合は、視点情報を上書き処理する。また登録経過時間を０に初期化する。
上記した処理を実行することで、Ｍ秒ごとに視点情報（視点方向と再生位置）を記録することができる。
【００４３】
Ｓ５１１において、制御部１０１は、Ｓ５０５で取得しＲＡＭ１０４に保持されている再生位置情報に基づき復号する画像フレームを決定し、記録媒体１０５から、決定したフレームの画像（元画像）を読み出し、復号してＲＡＭ１０４に書きこむ。
【００４４】
Ｓ５１２において、制御部１０１は、ＲＡＭ１０４に書き込まれた画像のうち、ＲＡＭ１０４に保持されている現在の視点方向（Ｓ５０４で取得されたもの）の仰角φと方位角θに基づき、表示する画像範囲を決定する。例えば、再生する動画の元画像（画像データ）が正距円筒図法を用いた画像である場合、元画像は実世界の映像に対して歪んだ画像である。この正距円筒図法を用いた画像は、各画素の位置が球体の表面の座標と対応づけることが可能な形式の画像である。Ｓ５１２ではこの元画像を球体にマッピングし、一部を切り出して表示する。すなわち、Ｓ５１２で表示される画像は元画像の一部を切り出して拡大した画像であり、かつ、元画像の歪みを除去（あるいは低減）した画像である。制御部１０１は、決定した画像範囲を表示部１０３に表示するように指示する。表示部１０３が画像を表示した後、Ｓ５０２に戻り、制御部１０１は再度ユーザー操作を受け付ける。Ｓ５０２〜Ｓ５１２の処理は、動画のフレームレート毎に行われる。すなわち、３０ｆｐｓである場合には、１／３０秒に一度、Ｓ５１２の表示の更新処理が行われる。
【００４５】
＜サーチ再生の処理手順＞
以下、図７を用いてサーチ再生の処理手順を説明する。
Ｓ７０１において、制御部１０１は、操作部１０２からユーザー操作情報を受信し、そのユーザー操作に応じた処理を実行する。Ｓ７０１で行えるユーザー操作には例えば以下のようなものがある。
・サーチ再生の停止（停止ボタン３０３）
・シークバーの操作（シークバー３０４）
・視点方向の変更（十字ボタン３０５）
【００４６】
Ｓ７０２において、制御部１０１は、図５のＳ５０２で受信した情報に基づいて、サーチ再生を継続するか否かを判定する。サーチ再生の停止操作（停止ボタン３０３の操作）があった場合、通常再生に切り替える操作（再生ボタン３０１の操作）などがあった場合はサーチ再生を終了し、図７の処理を終了する。サーチ再生を終了させるような操作が無かった場合にはＳ７０３に進む。なお、サーチ再生する動画の視点方向は、ユーザーが十字ボタン３０５を用いて任意に設定することができる。
Ｓ７０３、Ｓ７０４、Ｓ７０５の処理は、図５のＳ５０４、Ｓ５０５、Ｓ５１１の処理と同様のため、説明を省略する。なお、Ｓ７０４の再生位置は、シークバー３０４に対する操作に基づく更新ではなく、時間経過に基づく更新である場合には、通常再生と同じ再生速度ではなく、サーチ再生での再生速度に基づく再生位置となる。例えば、３０ｆｐｓでの通常再生では１／３０秒毎に再生位置が１フレーム分進むが、５倍速のサーチ再生である場合には、１／３０秒毎に再生位置が５フレーム分進む。
【００４７】
Ｓ７０６において、制御部１０１は、Ｓ７０４で取得した現在の再生位置に対応する視点情報がユーザー情報管理部１０６に保持されているかを判定する。具体的には、制御部１０１は、ＲＡＭ１０４に保持されているカレントユーザーのユーザーＩＤに基づいて、カレントユーザーのすべての視点情報をＲＡＭ１０４に読み込む。そして、制御部１０１は、ＲＡＭ１０４に書き込まれたカレントユーザーの視点情報のうちから、Ｓ７０４で取得した現在の再生位置に対応する視点情報があるかを判定する。本実施例では、制御部１０１は、現在の再生位置と完全に一致する再生位置の視点情報が存在する場合に「対応する視点情報あり」と判定する。ただし、このような判定方法に限定されず、例えば、再生位置が実質的に等しい（再生位置の差が閾値（例えば０．５秒）より小さいなど）視点情報を「対応する視点情報」として選んでもよい。
【００４８】
対応する視点情報がある場合は、Ｓ７０７に進む。Ｓ７０７において、制御部１０１は、対応する視点情報に含まれる視点方向の画像を、Ｓ７０３で取得した現在の視点方向の画像に重畳して表示するよう、表示部１０３に指示する。一方、対応する視点情報がない場合は、Ｓ７０８に進む。Ｓ７０８の処理は、図５のＳ５１２の処理と同様のため、説明を省略する。
【００４９】
Ｓ７０６〜Ｓ７０８の処理について、図６Ｂを用いて具体的に説明する。図６Ｂは、サーチ再生時の動画のフレームの遷移とそのときの視点方向を時間軸で示した図である。
符号６１０〜６１３は、表示部１０３に表示される表示例を示している。符号６１４〜６１７は表示例６１０〜６１３が表示されているときの視点方向を天球座標系に点線枠で図示したものである。表示例６１０は、動画の元画像のうち、再生位置１５秒での視点方向６１４の点線枠で示す表示範囲（視野範囲）を切り出して表示部１０３に表示した例である。なお、この１５秒は、「通常再生の再生速度で再生した場合に先頭から１５秒で表示される」という再生位置を示すタイムコードであり、サーチ再生で先頭から再生した場合に当該フレームの画像が表示されるまでにかかる時間とは異なる。
同様に、表示例６１１は、再生位置２０秒での視点方向６１５の表示範囲を切り出して表示した例であり、表示例６１２は、再生位置２５秒での視点方向６１６の表示範囲を切り出して表示した例である。表示例６１３は、表示位置３０秒での視点方向６１７の表示
範囲を切り出して表示した例である。
図６Ｂは、サーチ再生中に視点方向が変化していない場合を図示している。すなわち、再生位置１５秒〜３０秒のあいだは、視点方向が（φ＝８０度、θ＝７０度）のまま変化せず、同一の視野の画像が表示される。対応する視点情報がない場合（Ｓ７０６のＮＯ）は、Ｓ７０８において、表示例６１０〜６１２のように現在の視点方向の画像が表示部１０３に表示される。これに対し、対応する視点情報がある場合（Ｓ７０６のＹＥＳ）は、Ｓ７０７において、表示例６１８のように、視点情報に含まれる視点方向６０７の表示範囲の画像（図６Ａの６０３参照）を現在の視点方向の画像に重畳した画像が生成され、表示される。このように、サーチ再生において現在再生中の動画の視点方向は、当該動画を前に再生したときに用いられた視点方向とは独立して設定できるため、表示例６０３と表示例６１３のごとく、同じ再生位置であっても異なる画像が表示される。
【００５０】
以下の具体例を用いて、Ｓ７０６とＳ７０７の処理をさらに詳しく説明する。
・カレントユーザーのユーザーＩＤを「ａａａ」とする。
・ユーザー情報管理部１０６は、ユーザーＩＤ：ａａａの視点情報として、図６Ａの視点方向６０７（φ＝３０度、θ＝６０度）とそのときの再生位置（３０秒）を保持している（図８）。
・サーチ再生において、Ｓ７０３で取得した現在の視点方向が（φ＝８０度、θ＝７０度）であり、Ｓ７０４で取得した現在の再生位置が３０秒である。
【００５１】
Ｓ７０６において、制御部１０１は、カレントユーザーの再生位置３０秒の視点情報がユーザー情報管理部１０６に記録されているか否かを判定する。具体的には、制御部１０１は、ユーザー情報管理部１０６から、ユーザーＩＤ：ａａａに関連付けられているすべての視点情報をＲＡＭ１０４に読み込む。そして、制御部１０１は、ＲＡＭ１０４に書き込まれたユーザーＩＤ：ａａａの視点情報のうちから、再生位置３０秒に該当する視点情報があるかを判定する。図８の視点情報は再生位置３０秒の視点情報なので、Ｓ７０７に進む。
【００５２】
Ｓ７０７において、制御部１０１は、記録媒体１０５から再生位置３０秒のフレームの画像を読み出し、復号してＲＡＭ１０４に書き込む。制御部１０１は、ＲＡＭ１０４に書き込まれた画像から、視点情報に含まれる視点方向（φ＝３０度、θ＝６０度）に対応する表示範囲の画像と、Ｓ７０３で取得した現在の視点方向（φ＝８０度、θ＝７０度）に対応する表示範囲の画像を取得する。そして、制御部１０１は、視点情報に含まれる視点方向（つまり過去の再生時の視点方向）に対応する表示範囲の画像を、現在の視点方向に対応する表示範囲の画像に重畳し、表示部１０３に表示する。このとき、過去の再生時の視点方向に対応する表示範囲の画像を縮小して、現在の視点方向に対応する表示範囲の画像に重畳するとよい。結果、表示部１０３に図６Ｂの表示例６１８に示すような合成画像が表示される。表示例６１８では、現在の視点方向に対応する表示範囲の画像の右下に、過去の再生時の視点方向に対応する表示範囲の画像がピクチャーインピクチャーで表示されている。
【００５３】
複数視点動画の場合、ユーザーが動画視聴中に視点方向を任意に切り替えることが可能である。それゆえ、ユーザーが後から同じシーンをもう一度見たいと思っても、動画の中から該当するシーン（再生位置と視点方向の組み合わせ）を見つけ出すのは容易ではない。なぜなら、図６Ａと図６Ｂに示されるように、複数視点動画の場合は同じ再生位置（３０秒）でも、視点方向が異なると、全く異なる画像（６０３と６１３）が表示され得るため、ユーザーは所望のシーンを見過ごしてしまう可能性が高いからである。特に、過去の視聴時にユーザーが頻繁に視点方向を切り替えていた場合は、ユーザー自身の記憶だけを頼りに過去の視聴シーンを見つけ出すのは不可能に近い。
【００５４】
これに対し、本実施例のような表示制御によれば、ユーザーが過去の動画再生時に見ていた表示範囲の画像を、自動的に当該ユーザーに提示することができる。したがって、ユーザーは、自身が過去に視聴したシーンを効率的かつ容易に探すことが可能となる。また、本実施例では、現在の視点方向の画像の一部に過去の再生時の視点方向の画像を重畳表示する方法をとることで、現在の視点方向の画像の視聴を妨げずに、過去の再生時の視点方向をユーザーに通知できるという利点もある。
【００５５】
本実施例では、図４のＳ４０２及びＳ４０３に示すように電源ＯＮ直後か否かで視点情報の更新の要否を判定したが、これに限らず他の処理手順で視点情報の削除を実施してもよい。以下、視点情報更新処理の他の処理手順を図９Ａ〜図９Ｃを用いて説明する。図９Ａ〜図９Ｃの処理手順はいずれも図４のＳ４０２及びＳ４０３の代替処理である。
【００５６】
＜動画ファイルの切り替わりで削除＞
図９Ａを用いて、再生の対象となる動画ファイルが変わった場合に、記録されている視点情報を削除する方法について説明する。図４のＳ４０１においてユーザー操作を受け付けた場合に、Ｓ９０１に進む。Ｓ９０１において、制御部１０１は、図４のＳ４０１で受け付けた操作が動画ファイルの選択であるか否かを判定する。Ｓ４０１で受け付けた操作が動画ファイルの選択である場合はＳ９０２に進む。Ｓ４０１で受け付けた操作が動画ファイルの選択でない場合は、図４のＳ４０４へ進む。
Ｓ９０２において、制御部１０１は、図４のＳ４０１で選択された動画ファイルが前回再生された動画ファイルと異なるかどうかを判定する。Ｓ４０１で選択された動画ファイルが前回再生された動画ファイルと異なる場合は、Ｓ９０３に進む。Ｓ４０１で選択された動画ファイルが前回再生された動画ファイルと同じ場合は、図４のＳ４０４へ進む。Ｓ９０３において、制御部１０１は、ユーザー情報管理部１０６に記録されている視点情報を削除する。Ｓ９０３の処理は、図４のＳ４０３の処理と同じため説明は省略する。
以上の処理の結果、再生するファイルの切り替わりのタイミングで視点情報が自動的に削除される。
【００５７】
＜ユーザーの切り替わりで削除＞
図９Ｂを用いて、再生装置１００を操作するユーザーが変わった場合に、記録されている視点情報を削除する方法について説明する。図４のＳ４０１においてユーザー操作を受け付けた場合に、Ｓ９１０に進む。Ｓ９１０において、制御部１０１は、図４のＳ４００で設定されたユーザーＩＤが前回設定されたユーザーＩＤと異なるかを判定する。ユーザーＩＤが異なっている場合は、Ｓ９１１に進む。ユーザーが同じであれば図４のＳ４０４へ進む。
Ｓ９１１において、制御部１０１は、ユーザー情報管理部１０６に記録されている視点情報を削除する。Ｓ９１１の処理は、図４のＳ４０３の処理と同じため説明は省略する。以上の処理の結果、ユーザーの切り替わりのタイミングで視点情報が自動的に削除される。
【００５８】
＜ユーザー操作毎に削除＞
図９Ｃを用いて、ユーザー操作を受け付けるたびに視点情報を削除する方法について説明する。図４のＳ４０１においてユーザー操作を受け付けた場合に、Ｓ９２０に進む。Ｓ９２０において、制御部１０１が、ユーザー情報管理部１０６に記録されている視点情報を削除する（ただし、サーチ再生のユーザー操作の場合は視点情報の削除は行わない。）。以上の処理の結果、再生中の動画の停止（動作の再生終了）、再生する動画ファイルの変更、通常再生の指示、シークバーの操作などのユーザー操作を受け付けるたび視点情報が自動的に削除される。
【００５９】
（実施例２）
実施例２では、複数視点動画の再生において、連続再生時間が所定時間未満のとき、現在の視点方向の画像と、過去に再生したときの視点方向の画像を併せて表示する例を述べる。再生装置の構成及び再生装置全体の処理手順は実施例１のもの（図１、図４参照）と同じであるため説明を省略し、以下では、実施例２に特有の構成を主に説明する。
【００６０】
図１０は、本実施例の通常再生の処理手順の一部を示すフローチャートである。図１０の処理手順は図５のＳ５１２の代替処理である。本実施例においても図５のＳ５０１〜Ｓ５１１の処理が行われ、Ｓ５１１の次に図１０のＳ１００１に進む。Ｓ１００１において、制御部１０１は、Ｓ５０４で取得した現在の再生位置に対応する視点情報がユーザー情報管理部１０６に記録されているか否かを判定する。Ｓ１００１の具体的な処理は、図７のＳ７０６の処理と同様である。対応する視点情報がある場合は、Ｓ１００２に進む。対応する視点情報がない場合は、Ｓ１００４に進む。Ｓ１００４の処理は、図７のＳ７０８の処理と同様のため、説明を省略する。
【００６１】
Ｓ１００２において、制御部１０１は、連続再生時間（動画の再生を開始してからの経過時間）が閾値Ｍ未満かどうかを判定する。連続再生時間が閾値Ｍ未満の場合は、Ｓ１００３に進む。連続再生時間が閾値Ｍ以上の場合は、Ｓ１００４に進む。Ｓ１００３では、制御部１０１は、対応する視点情報に含まれる視点方向の画像を、Ｓ５０４で取得した現在の視点方向の画像に重畳して表示するよう、表示部１０３に指示する。Ｓ１００３の具体的な処理は、図７のＳ７０７の処理と同様である。
【００６２】
以上述べた本実施例の表示制御によれば、通常再生時において、連続再生時間が閾値Ｍ未満という条件を満たす期間は、過去に視聴した視点方向の画像（第２の映像）が現在の視点方向の画像（第１の映像）に重畳されて表示される。例えば、閾値Ｍを１１秒とした場合、シークバー操作などにより再生位置が変更されると、変更後の約１０秒間は（対応する視点情報が存在すれば）過去に視聴した視点方向の画像が重畳表示されることとなる。
【００６３】
シークバーで再生位置がジャンプした場合、ジャンプした直後は、ユーザーは現在の再生シーンがどのシーンなのかが判断しにくい。本実施例では、シークバーの操作で再生位置が変更された直後の状態、つまり連続再生時間が閾値未満のときに、過去に視聴した視点方向の画像を併せて表示することで、ユーザーが現在のシーンの再生位置を把握しやすいようにしている。
なお、連続再生時間が閾値Ｍ未満という条件（第１の条件）を満たさない場合でも、過去に視聴した視点方向の画像（第２の映像）と現在の視点方向の画像（第１の映像）とを共に表示してもよい。現在の視点方向の画像（第１の映像）は、ユーザー情報管理部１０６で管理された以前の視点方向の情報に基づかずに切り出した映像である。第１の映像と第２の映像を共に表示する方法も重畳表示に限るものではなく、同じ再生位置に対する映像として、同時に別の表示領域に表示するようにしても良い。
また、連続再生時間が前述の第１の条件を満たさない場合でも、あるいは、第１の条件を満たす場合に、ユーザー情報管理部１０６で管理された以前の視点方向の情報が特定の条件（第２の条件）を満たす場合に第２の映像を表示し、そうでない場合には表示しないようにしてもよい。例えば、現在の再生時間に対応する、ユーザー情報管理部１０６で管理された以前の視点方向の情報に、お気に入りの視点方向や、コメントを付与した視点方向であるといった特定の属性情報が付与されている場合に、第１の映像とともに第２の映像を表示するようにする。そうでない場合には第１の映像を表示するが第２の映像は表示しないようにする。
【００６４】
（実施例３）
実施例３では、複数視点動画の再生において、シークバーをタッチするユーザー操作が
行われた場合に、タッチされた再生位置の現在の視点方向の画像と、以前再生したときの視点方向の画像を併せて表示する例を述べる。再生装置の構成及び再生装置全体の処理手順は実施例１のもの（図１、図４参照）と同じであるため説明を省略し、以下では、実施例３に特有の構成を主に説明する。
【００６５】
図１１は、実施例１で説明した図５のＳ５０２又は図７のＳ７０１のユーザー操作受付処理において、シークバーをタッチするユーザー操作を受け付けたときに実行される処理手順である。以下、動画全体の長さが６０秒であり、再生位置３０秒・視点方向（φ＝３０度、θ＝６０度）が視点情報として記録されている例を用いて、図１１の処理手順を説明する。
Ｓ１１０１において、制御部１０１は、シークバー３０４をタッチする操作が行われたかどうかを判定する。シークバーをタッチする操作を受け付けた場合は、Ｓ１１０２に進む。シークバーをタッチする操作が行われていない場合は、処理を終了する。
Ｓ１１０２において、制御部１０１は、操作部１０２から、ユーザーによりタッチされたシークバー上の位置の情報を受信する。シークバー上の位置の情報は、動画中の何秒の位置に該当するかを指す。
【００６６】
図１２はシークバーがタッチされた状態を図示したものである。本実施例では、ユーザーがシークバー３０４のちょうど真ん中の位置をタッチしたものとする。よって、本例の場合、Ｓ１１０２で取得されるシークバー上の位置情報は３０秒（動画全体の半分の位置）となる。
【００６７】
Ｓ１１０３において、制御部１０１は、Ｓ１１０２で取得した位置（本例では３０秒）に対応する視点情報がユーザー情報管理部１０６に記録されているかを判定する。Ｓ１１０３の具体的な処理は、図７のＳ７０６と同様のため説明を省略する。対応する視点情報がある場合は、Ｓ１１０４に進む。対応する視点情報がない場合は、Ｓ１１０５に進む。
【００６８】
Ｓ１１０２で取得した位置は３０秒であり、再生位置３０秒の視点情報は記録されているので、本例ではＳ１１０４が実行される。Ｓ１１０４において、制御部１０１は、対応する視点情報に含まれる視点方向の画像を表示する。具体的には、制御部１０１は、現在の視点方向（つまり、表示する視点方向の設定値）を、シークバーの操作前に視聴されていた視点方向から、Ｓ１１０３で取得した視点情報に含まれる視点方向へと変更する。その後、制御部１０１が、図５のＳ５１１及びＳ５１２と同様の処理を行う。その結果、過去の視聴において再生位置３０秒のときにユーザーが見ていたのと同じ視点方向の画像が表示されることとなる。このとき、表示部１０３のメインの表示領域に画像を表示してもよいし、図１２に示すように、ユーザーのタッチ位置の近傍に縮小画像１２００を表示してもよい。後者の場合、ユーザーがタッチ操作を終了し、変更後の再生位置が確定した後に、現在の視点方向の変更とメインの表示領域の画像の変更を行えばよい。
【００６９】
Ｓ１１０３において、対応する視点情報がないと判定された場合は、Ｓ１１０５において、制御部１０１が、現在の視点方向を維持したまま、再生位置３０秒の画像を表示する。画像の表示手順については、図５のＳ５１１及びＳ５１２と同様であるため説明は省略する。
【００７０】
以上述べた本実施例の表示制御によれば、通常再生時にユーザーがシークバーをタッチした場合に、（対応する視点情報が存在すれば）過去に視聴した視点方向の画像が表示されることとなる。
例えば、ユーザーが過去に視聴したシーンをもう一度見たいと思い、シークバー上をタッチして所望のシーンを探すことが想定される。視点方向が変わらない動画（つまり再生位置が決まれば表示される画像も決まる動画）であれば過去に視聴したシーンを探すこと
は比較的容易である。しかし、本実施例のような複数視点動画の場合は、再生位置が決まっても、視点方向の設定によって、表示される画像が異なる。それゆえ、シークバーで再生位置を変更しようとした場合に、過去に視聴したときと異なる視点方向の画像が表示されると、ユーザーはジャンプ先が所望のシーンなのかどうかを判断することが難しい。
【００７１】
そこで本実施例では、シークバーのタッチ操作が行われた場合に、そのタッチ位置に対応する再生位置においてユーザーが過去に視聴した視点方向の画像を表示する。これにより、ユーザーが再生位置を変更する前に、変更後のシーンを把握したり、所望のシーンを見つけることを容易にしている。なお、本実施例では、Ｓ１１０４で過去の視点方向の画像のみを表示する形式にしたが、実施例１と同じように現在の視点方向の画像と過去の視点方向の画像の両方を表示してもよい。
【００７２】
＜変形例＞
上記実施例では、複数視点動画の再生中に所定の時間間隔で（Ｍ秒ごとに）視点情報を記録したが、視点情報の記録のタイミングはこれに限定されない。例えば、視点方向を変えるユーザー操作を受け付けるたびに視点情報を記録してもよいし、動画のシーンチェンジやチャプターの区切りのタイミングで視点情報を記録してもよい。また上記実施例では、視点情報として、視点方向（仰角、方位角）と再生位置（動画先頭からの時間）を記録したが、視点情報として記録する情報はこれに限定されない。ユーザーが過去に動画を視聴したときの視点方向が再現できるのであればどのような情報を記録してもよい。例えば、視点方向を天球座標系以外の座標系で指定してもよいし、「再生位置（１つのフレームの時刻）」の代わりに「同じ視点方向のままで再生された区間（例えば開始フレームの時刻と終了フレームの時刻）」と紐づけて視点方向を記録してもよい。
【００７３】
上記実施例では、動画を視聴（ないし装置を操作）しているユーザーの識別を行い、ユーザー毎に視点情報を記録する構成を採用したが、ユーザーの識別やユーザー別の視点の制御は必須ではない。電子機器を利用するユーザーが限られている場合（例えばスマートフォンや家庭用の機器などは一人又は数人のユーザーに限られる）などには、視点情報とユーザーの紐づけは行わなくてもよい。
なお、制御部１０１が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。
【００７４】
また、本発明をその好適な実施例に基づいて詳述してきたが、本発明はこれら特定の実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施例は本発明の一実施例を示すものにすぎず、各実施例を適宜組み合わせることも可能である。
【００７５】
また、上述した実施形態においては、本発明を再生装置に適用した場合を例にして説明したが、これはこの例に限定されず、複数視点動画を再生する機能を有する電子機器であれば本発明を適用可能である。すなわち、本発明は、パーソナルコンピュータ、ＰＤＡ、携帯電話端末、携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。また、本発明は、動画再生機能を有するディスプレイ、動画プレーヤー、デジタルカメラ、デジタルビデオカメラ、動画編集装置、スマートフォン、タブレットＰＣなどにも適用可能である。また、本発明が適用される電子機器は、ディスプレイを備えていない装置でもよい。例えば、電子機器が、複数視点動画の読み込み及び表示用データの生成、視点情報の記録などの処理を行い、外部のディスプレイに表示用データを出力してもよい。
【００７６】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の
機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを非一時的に記憶したコンピュータ読取可能な記憶媒体は本発明を構成することになる。
【符号の説明】
【００７７】
１００：再生装置、１０１：制御部、１０２：操作部、１０３：表示部、１０６：ユーザー情報管理部
【図１】
2019180060.tif 000003
【図２】
2019180060.tif 000004
【図３】
2019180060.tif 000005
【図４】
2019180060.tif 000006
【図５】
2019180060.tif 000007
【図６】
2019180060.tif 000008
【図７】
2019180060.tif 000009
【図８】
2019180060.tif 000010
【図９】
2019180060.tif 000011
【図１０】
2019180060.tif 000012
【図１１】
2019180060.tif 000013
【図１２】
2019180060.tif 000014