(57)【要約】【課題】広角で記録された映像を、観察者にとってより見やすく再生する。【解決手段】動画ファイル記憶部３３は、表示部３５の表示範囲よりも広い範囲の映像を記憶する。再生処理部３４は、所定の再生映像条件に基づいて、表示部３５の表示範囲に表示させる映像の、動画ファイル記憶部３３に記憶された広い範囲の映像における位置を設定する。再生処理部３４は、再生開始時に、設定された位置の映像を、広い範囲の映像からトリミングして表示部３５に表示させるよう制御する。制御部３７は、表示中に外部からの操作を検出する。再生処理部３４は、外部からの操作が検出されると、表示制御されている映像を、外部からの操作に基づいて表示させるよう制御する。【選択図】図４
2017063276.tif 000002
【特許請求の範囲】
【請求項１】
表示手段と、
所定範囲の映像を記憶する記憶手段と、
所定の再生映像条件に基づいて、前記表示手段の表示範囲に表示させる映像の、前記記憶手段に記憶された映像における位置を設定する設定手段と、
再生開始時に、前記設定手段によって設定された位置の映像を、前記記憶手段に記憶された映像からトリミングして前記表示手段に表示させるよう制御する第１の表示制御手段と、
この第１の表示制御手段による表示中に外部からの操作を検出する検出手段と、
この検出手段によって前記外部からの操作が検出されると、前記第１の表示制御手段により表示制御されている映像を、前記外部からの操作に基づいて前記表示手段に表示させるよう制御する第２の表示制御手段と、
を備えたことを特徴とする映像表示装置。
【請求項２】
前記記憶手段に記憶された映像には、撮影方向を示す情報が付加されており、
前記設定手段は、この撮影方向を示す情報に基づいて、前記表示手段の表示範囲に表示させる映像の、前記映像における位置を設定する、
ことを特徴とする請求項１に記載の映像表示装置。
【請求項３】
前記記憶手段に記憶された映像には、撮影時における撮影機器の移動方向を示す情報が付加されており、
前記設定手段は、この移動方向を示す情報に基づいて、前記表示手段の表示範囲に表示させる映像の、前記映像における位置を設定する、
ことを特徴とする請求項１に記載の映像表示装置。
【請求項４】
前記記憶手段に記憶された映像から、所定の条件を満たす被写体を検出する被写体検出手段と、
この被写体検出手段によって検出された被写体の、前記映像における位置を取得する位置取得手段と、
を更に備え、
前記設定手段は、この位置取得手段によって取得された位置に基づいて、前記表示手段の表示範囲に表示させる映像の、前記映像における位置を設定する、
ことを特徴とする請求項１に記載の映像表示装置。
【請求項５】
前記所定の条件を満たす被写体とは、正面方向の顔である、
ことを特徴とする請求項４に記載の映像表示装置。
【請求項６】
前記所定の条件を満たす被写体とは、移動物体である、
ことを特徴とする請求項４に記載の映像表示装置。
【請求項７】
前記記憶手段に記憶された映像には、前記映像の撮影時において発生した音声情報の発生方向を示す情報が付加されており、
前記設定手段は、この音声情報の発生方向を示す情報に基づいて、前記表示手段の表示範囲に表示させる映像の、前記映像における位置を設定する、
ことを特徴とする請求項１に記載の映像表示装置。
【請求項８】
前記映像は、動画である、
ことを特徴とする請求項１乃至７のいずれか一項に記載の映像表示装置。
【請求項９】
前記第１の表示制御手段は、動画における再生開始位置として、前記トリミングした箇所から再生する、
ことを特徴とする請求項１乃至８のいずれか一項に記載の映像表示装置。
【請求項１０】
所定の映像から表示手段の表示範囲に表示するための映像をトリミングして前記表示手段に表示させる映像表示方法であって、
所定の再生映像条件に基づいて、前記表示手段の表示範囲に表示する映像の、前記所定の映像における位置を設定するステップと、
再生開始時に、前記設定された位置の映像を、前記所定の映像からトリミングして前記表示手段に表示させるよう制御するステップと、
前記表示手段での映像表示中に外部からの操作を検出するステップと、
前記外部からの操作が検出されると、前記表示制御されている映像を、前記外部からの操作に基づいて前記表示手段に表示させるよう制御するステップと、
を含むことを特徴とする映像表示方法。
【請求項１１】
所定の映像から表示部の表示範囲に表示するための映像をトリミングして前記表示部に表示させる映像表示装置のコンピュータを、
所定の再生映像条件に基づいて、前記表示部の表示範囲に表示させる映像の、前記所定の映像における位置を設定する設定手段、
再生開始時に、前記設定手段によって設定された位置の映像を、前記所定の映像からトリミングして前記表示部に表示させるよう制御する第１の表示制御手段、
この第１の表示制御手段による表示中に外部からの操作を検出する検出手段、
この検出手段によって前記外部からの操作が検出されると、前記第１の表示制御手段により表示制御されている映像を、前記外部からの操作に基づいて前記表示部に表示させるよう制御する第２の表示制御手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示装置、映像表示方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、超広角、若しくはそれ以上の半天周、全天周の画角で映像を記録する撮影機器が登場している（例えば特許文献１参照）。
【０００３】
このような撮影機器は、記録時において、撮影可能な全範囲をキャプチャーすることが可能であるものの、映像再生機器が超広角、若しくはそれ以上の半天周、全天周で記録された映像の表示に対応できないことを考慮し、一部の領域をトリミングして記録するようになっている。
【０００４】
上述した特許文献１においても、決定のオブジェクトを含む範囲や、ユーザーの視線方向の先にある領域をトリミングする技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−１２６４５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来技術では、超広角、若しくはそれ以上の半天周、全天周でキャプチャーしているにも拘わらず、記録時においてトリミングしてしまうため、記録されない映像が存在してしまうという問題があった。
【０００７】
そこで本発明は、広角で記録された映像を、ユーザにとってより見やすく再生することを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る映像表示装置は、表示手段と、所定範囲の映像を記憶する記憶手段と、所定の再生映像条件に基づいて、前記表示手段の表示範囲に表示させる映像の、前記記憶手段に記憶された映像における位置を設定する設定手段と、再生開始時に、前記設定手段によって設定された位置の映像を、前記記憶手段に記憶された映像からトリミングして前記表示手段に表示させるよう制御する第１の表示制御手段と、この第１の表示制御手段による表示中に外部からの操作を検出する検出手段と、この検出手段によって前記外部からの操作が検出されると、前記第１の表示制御手段により表示制御されている映像を、前記外部からの操作に基づいて前記表示手段に表示させるよう制御する第２の表示制御手段と、を備えたことを特徴とする。
【０００９】
この発明に係る映像表示方法は、所定の映像から表示手段の表示範囲に表示するための映像をトリミングして前記表示手段に表示させる映像表示方法であって、所定の再生映像条件に基づいて、前記表示手段の表示範囲に表示する映像の、前記所定の映像における位置を設定するステップと、再生開始時に、前記設定された位置の映像を、前記所定の映像からトリミングして前記表示手段に表示させるよう制御するステップと、前記表示手段での映像表示中に外部からの操作を検出するステップと、前記外部からの操作が検出されると、前記表示制御されている映像を、前記外部からの操作に基づいて前記表示手段に表示させるよう制御するステップと、を含むことを特徴とする。
【００１０】
この発明に係るプログラムは、所定の映像から表示部の表示範囲に表示するための映像をトリミングして前記表示部に表示させる映像表示装置のコンピュータを、所定の再生映像条件に基づいて、前記表示部の表示範囲に表示させる映像の、前記所定の映像における位置を設定する設定手段、再生開始時に、前記設定手段によって設定された位置の映像を、前記所定の映像からトリミングして前記表示部に表示させるよう制御する第１の表示制御手段、この第１の表示制御手段による表示中に外部からの操作を検出する検出手段、この検出手段によって前記外部からの操作が検出されると、前記第１の表示制御手段により表示制御されている映像を、前記外部からの操作に基づいて前記表示部に表示させるよう制御する第２の表示制御手段、として機能させることを特徴とする。
【発明の効果】
【００１１】
この発明によれば、広角で記録された映像を、ユーザにとってより見やすく再生することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態による映像録画再生システム１の構成を示すブロック図である。
【図２】本第１実施形態による頭部装着装置１０の構成を示すブロック図である。
【図３】本第１実施形態によるカメラ装置２０ａ、２０ｂの構成を示すブロック図である。
【図４】本第１実施形態による再生装置３０の構成を示すブロック図である。
【図５】本第１実施形態による映像録画再生システム１における頭部装着装置１０とカメラ装置２０ａ、２０ｂとの調整処理を説明するための概念図である。
【図６】本第１実施形態による再生装置３０の動作を説明するためのフローチャートである。
【図７】本第１実施形態による所定の再生映像条件毎の再生時に表示すべき映像領域（トリミング位置）を決定するフレーム解析処理例を説明するためのフローチャートである。
【図８】本第２実施形態による再生装置３０の構成を示すブロック図である。
【図９】本第２実施形態による再生装置３０の一部動作を説明するためのフローチャートである。
【図１０】本第２実施形態において、被写体の顔の位置に基づいて再生時に表示すべき映像領域（トリミング位置）を決定する際の全天周画像とトリミング位置との関係を説明するための概念図である。
【図１１】本第３実施形態による再生装置３０の一部動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態を、図面を参照して説明する。
【００１４】
Ａ．第１実施形態
図１は、本発明の第１実施形態による映像録画再生システム１の構成を示すブロック図である。図において、映像録画再生システム１は、頭部装着装置１０と、カメラ装置２０ａ、２０ｂと、再生装置３０とからなる。頭部装着装置１０は、直接、頭部に、あるいはヘッドバンドや、帽子、メガネフレームなどを介して頭部に装着され、全天周映像（広角映像も含む）の撮影中、撮影者の動き（移動方向）、撮影者の頭部の動き（顔の向き＝視線方向）や、環境音の音源方向などを検出し、付加情報として再生装置３０に送信する。
【００１５】
カメラ装置２０ａ、２０ｂは、各々、広角な画角（例えば、１８０°以上）で撮像可能である。カメラ装置２０ａ、２０ｂは、各々、撮影者の体や、服、バックなどに装着され、カメラ装置２０ａは、撮影者の正面半天周映像を撮像するよう撮影者の正面に装着され、カメラ装置２０ｂは、撮影者の背面半天周映像を撮像するよう撮影者の背面に装着される。カメラ装置２０ａ、２０ｂは、各々、撮像後、正面半天周映像、及び背面半天周映像を再生装置３０に転送する。
【００１６】
再生装置３０は、例えば、スマートフォンや、専用端末からなる。再生装置３０は、カメラ装置２０ａから正面半天周映像を受信し、カメラ装置２０ｂから背面半天周映像を受信し、それぞれのタイムラインに基づいて、１つの同期した全天周映像を生成する。また、再生装置３０は、全天周映像を生成する際に、頭部装着装置１０から受信した付加情報をメタデータとして、撮像している全天周映像のフレームのタイムコードに従って埋め込んで記録し、所定のフォーマットの動画ファイルにファイル化する。また、再生装置３０は、生成した全天周映像（動画ファイル）を、後述する所定の再生映像条件に基づいて画像処理（トリミング処理、歪曲補正処理など）を施すことによって通常の映像（再生装置３０の表示手段で表示可能な映像）として再生表示する。
【００１７】
図２は、本第１実施形態による頭部装着装置１０の構成を示すブロック図である。頭部装着装置１０は、センサ類１１、無指向性マイク＆指向性マイク１２、音声信号処理部１３、信号処理部１４、無線通信部１５、及び制御部１６を備えている。
【００１８】
センサ類１１は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）ユニット１１−１、方位・気圧センサ１１−２、及びモーションセンサ１１−３を備えている。ＧＰＳユニット１１−１は、人工衛星を利用して現在の位置情報（緯度・経度・高度など）を割り出す。方位・気圧センサ１１−２は、東西南北のどの方位（方角）を向いているか、並びに気圧を検出する。モーションセンサ１１−３は、重力に対する撮影者の（頭部）の方向（傾き）を検出する。
【００１９】
無指向性マイク＆指向性マイク１２は、記録開始からの周囲の環境音を集音する。音声信号処理部１３は、無指向性マイク＆指向性マイク１２で集音された音声信号を処理（レベル調整、ノイズ除去など）を施す。信号処理部１４は、センサ類１１によって検知された位置情報、方位・気圧情報、動き情報、無指向性マイク＆指向性マイク１２によって集音された音声信号に対して信号処理して所定のデータフォーマットの付加情報に変換する。該付加情報には、カメラ装置２０ａ、２０ｂの各々による半天周映像の撮影開始からのタイムコードが付帯されている。すなわち、付加情報とカメラ装置２０ａ、２０ｂの各々で撮像される半天周映像データとや、タイムコードによって同期可能となっている。
【００２０】
無線通信部１５は、信号処理部１４によって信号処理された付加情報を、所定の無線方式（無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）を用いて再生装置３０に送信する。なお、本第１実施形態では、再生装置３０に送信するものとするが、最終的な動画ファイルをカメラ装置２０ａ、２０ｂ、又は再生装置３０のどちらで行うか、ソフトウェア次第であるので再生装置３０に限定されるものではない。制御部１６は、上述した各部の動作を統合的に制御する。
【００２１】
図３は、本第１実施形態によるカメラ装置２０ａ、２０ｂの構成を示すブロック図である。カメラ装置２０ａ、２０ｂは、同一のスペックを有している。カメラ装置２０ａ、２０ｂは、光学系（広角レンズ）２１ａ、２１ｂ、撮像部２２ａ、２２ｂ、画像処理部２３ａ、２３ｂ、圧縮符号化（ファイル化）処理部２４ａ、２４ｂ、記憶部２５ａ、２５ｂ、無線通信部２６ａ、２６ｂ、操作部２７ａ、２７ｂ、及び制御部２８ａ、２８ｂを備えている。
【００２２】
光学系（広角レンズ）２１ａ、２１ｂは、各々、光軸に対して超広角（１８０°以上）で撮影可能とするレンズである。光学系２１ａは、撮影者の正面半天周画像を撮影し、光学系２１ｂは、撮影者の背面半天周画像を撮影する。撮像部２２ａ、２２ｂは、各々、撮像素子等からなり、光学系（広角レンズ）２１ａ、２１ｂを通して結像した正面半天周画像、背面半天周画像を電気信号に変換する。
【００２３】
画像処理部２３ａ、２３ｂは、各々、正面半天周画像データ、背面半天周画像データに対する画像処理（画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理やフィルタ処理等）を行う。圧縮符号化（ファイル化）処理部２４ａ、２４ｂは、各々、正面半天周画像データ、背面半天周画像データの圧縮・伸張（例えば、ＪＰＥＧ形式やＭ−ＪＰＥＧ形式又はＭＰＥＧ形式の圧縮・伸張）の処理を行う。
【００２４】
記憶部２５ａ、２５ｂは、各々、撮像部２２ａ、２２ｂによって撮像された正面半天周画像データ、背面半天周画像データを一時記憶するバッファメモリや、各部の制御に必要なプログラム、及び各部の制御に必要なデータを記憶するワーキングメモリとして用いられる。無線通信部２６ａ、２６ｂは、各々、圧縮ファイル化された、正面半天周画像データ、背面半天周画像データを所定の無線方式（無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）を用いて再生装置３０に転送する。操作部２７ａ、２７ｂは、各々、電源スイッチや、撮像開始スイッチ（シャッタースイッチ）などからなる。制御部２８ａ、２８ｂは、各々、上述した各部の動作を統合的に制御する。
【００２５】
図４は、本第１実施形態による再生装置３０の構成を示すブロック図である。再生装置３０は、無線通信部３１、画像処理部（動画ファイル生成部）３２、動画ファイル記憶部３３、再生処理部３４、表示部３５、操作部３６、及び制御部３７を備えている。
【００２６】
無線通信部３１は、頭部装着装置１０から付加情報を受信するとともに、カメラ装置２０ａ、２０ｂの各々から圧縮された正面半天周画像データと背面半天周画像データとを受信する。画像処理部（動画ファイル生成）３２は、正面半天周画像データと背面半天周画像データとについて、一方の画像データの周辺部（端部）と他方の画像データの周辺部（端部）とで一致する画像領域を検出し、その領域で重なるように双方の画像データをフレーム毎で合成し、全天周映像データ（動画ファイル）を生成する。このとき、画像処理部（動画ファイル生成部）３２は、生成した全天周映像データ（動画ファイル）に付加情報をタイムコードに基づいてメタデータとして埋め込む。動画ファイル記憶部３３は、画像処理部（動画ファイル生成）３２で生成された動画ファイルを記憶する。
【００２７】
このようにして生成された全天周映像データを再生表示した場合、それは撮影者を中心にした全球状の空間を投影したものになるので、平面的な表示サイズからなる表示装置にそのまま表示することは一般的に不可能である。そこで、再生装置３０の表示部３５のサイズ（以下、表示範囲ともいう）に合せて、この全天周映像データに基づいて再生表示される全天周映像の一部を所定のトリミング範囲でトリミングし、超広角による歪みを補正する歪曲補正を行った後、該トリミングした映像を表示部３５に表示することになる。問題となるのは、再生開始時に全天周映像のどの部分をトリミングして表示するかである。通常、撮影時の撮影者の見ている方向（一般に撮影者の前方）から所定のトリミング範囲でトリミングして再生時に表示すべき映像とすることが考えられる。
【００２８】
しかしながら、全天周映像には、撮影者を中心に上下左右、３６０°の映像が記録さているので、撮影者が撮影時には見ていないが、後から興味を引く何か、人や、移動体、あるいは何か大きな音を発生するものが記録されている可能性がある。そこで、本第１実施形態では、全天周映像の再生を開始するのに際して、所定の再生映像条件に基づいて、全天周映像データのフレームにおける再生表示すべき映像領域（トリミング位置）を決定する。
【００２９】
所定の再生映像条件としては、以下の５つ条件を想定する。
（１）撮影者が向いている方向（方角）
（２）撮影者が移動している方向（方角）
（３）声のする方向（方角）
（４）カメラ装置２０ａ、２０ｂを向いている被写体の顔、すなわち正面顔が検出された方向（方角）
（５）移動体（動き）が検出された方向（方角）
【００３０】
（１）〜（３）については、撮影時に頭部装着装置１０で検知した、視線方向、移動方向、及び音源方向のいずれかに基づいて、全天周映像データのフレームにおける再生表示すべき映像領域（トリミング位置）を決定する。（４）、（５）については、最終的に得られる全天周映像データに対する画像処理（解析処理）を行えばよく、頭部装着装置１０からの付加情報（メタデータ）を用いる必要はない。ゆえに、（１）〜（３）については、本第１実施形態で説明し、（４）、（５）については、それぞれ後述する第２、第３実施形態で説明する。
【００３１】
再生処理部３４は、動画ファイル記憶部３３に記憶されている全天周映像データ（動画ファイル）を読み出し、全天周映像データ（動画ファイル）の１フレーム目に埋め込まれた付加情報（メタデータ）を解析し、撮影者の視線方向（顔の向き）、撮影者の移動方向、あるいは音源方向を取得し、これら撮影者の視線方向（顔の向き）、撮影者の移動方向、あるいは音源方向に基づいて、全天周映像データにおける再生時に表示すべきトリミング位置を決定する。また、再生処理部３４は、決定したトリミング位置に従って全天周映像データからフレーム毎に所定のトリミング範囲でトリミングし、該トリミングした映像を表示部３５で再生表示する。
【００３２】
表示部３５は、カラー液晶表示器とその駆動回路を含み、全天周映像データからトリミングした映像を表示する。なお、該表示部３５は、タッチパネルを備えていてもよく、タッチパネルでのタッチ操作により各種コマンドを実行するようにしてもよい。具体的には、本第１実施形態では、ユーザ操作として、一時停止操作、移動指示操作、再生開始操作などがあるが、これらユーザ操作は、例えば画面上（の所定位置、所定アイコン）に対するタップ、タブルタップ、スワイプ、又は指によるジェスチャーなどで行う。但し、操作部３６のキースイッチによる操作であってもよい。操作部３６は、電源スイッチ、音量調整ボタン等の操作キーを含み、ユーザのキー操作に応じた操作信号を制御部３７に出力する。制御部３７は、上述した各部の動作を統合的に制御する。
【００３３】
図５は、本第１実施形態による映像録画再生システム１における頭部装着装置１０とカメラ装置２０ａ、２０ｂとの調整処理を説明するための概念図である。図５において、正面半天周画像４０がカメラ装置２０ａによる撮影画角であり、背面半天周画像５０がカメラ装置２０ｂによる撮影画角である。上述したように、本第１実施形態では、撮影者の顔の向き（視線方向）や、移動方向、音源方向に関連付けて再生すべき映像領域（トリミング位置）を決定するため、全天周映像データの撮影開始時に、撮影者の頭部に装着された頭部装着装置１０によって検知される撮影者の顔の向き（すなわち、頭部装着装置１０の「前方の中心」）と、カメラ装置２０ａ、２０ｂの撮影方向、すなわち撮影画角の中心とのずれを把握しておく必要がある。そこで、図５に示すように、撮影開始時に、頭部装着装置１０の前方の中心４１と、カメラ装置２０ａ、２０ｂの撮影画角の中心４２とのずれを検知しておき、全天周映像データの動画ファイルに記録しておく。そして、再生時には、再生すべき映像領域の位置（トリミング位置）を決定するために、上記検知したずれに基づいて再生すべき映像領域の位置（トリミング位置）を補正する。
【００３４】
次に、上述した第１実施形態の動作について説明する。
図６は、本第１実施形態による再生装置３０の動作を説明するためのフローチャートである。再生装置３０において、再生処理部３４は、全天周映像データ（動画ファイル）の先頭フレームに対する解析処理を実行する（ステップＳ１０）。この解析処理では、上述した所定の再生映像条件に基づいて、先頭フレームに埋め込まれた付加情報（メタデータ）を解析し、全天周映像データの中から所定の再生映像条件に従って再生時に表示すべきトリミング位置をフレーム毎に決定する。なお、所定の再生映像条件、並びに所定の再生映像条件毎の再生時に表示すべきトリミング位置の決定方法については後述する。
【００３５】
次に、再生処理部３４は、決定した再生時に表示すべきトリミング位置に基づいて、全天周映像データをフレーム毎にトリミングするとともに、トリミングした映像に対して歪曲補正処理を実行する。全天周映像データは、特に画角周辺部（端部）に行くほど映像が歪んで記録されている。そこで、歪曲補正処理を実行することによってトリミング処理した映像の歪みを補正する。
【００３６】
次に、再生処理部３４は、トリミングされた映像を再生開始位置として、再生を開始する。次に、再生処理部３４は、後続するフレームについて、上述した解析処理を逐次実行して再生時に表示すべきトリミング位置を決定する（ステップＳ１６）。再生処理部３４は、決定されたトリミング位置に基づいて、全天周映像データから表示範囲の映像をトリミングするとともに、歪曲補正を実行し、逐次トリミングされる映像を更新しながら再生表示する。
【００３７】
このように、本第１実施形態では、全天周映像データに基づく映像のどの部分から再生するかを、上述した所定の再生映像条件に従って決定し、その部分から映像の再生を開始することで、ユーザにとってより効果的に、かつより見やすく、全天周映像を再生することが可能となる。また、全天周映像データの記録時には、再生時を考慮して映像を記録しないということもなく、全天周の全ての映像データを記録しているので、所望する部分をいつでも再生表示することが可能である。
【００３８】
次に、全天周映像の再生中、制御部３７は、タッチパネルを含む操作部３６からユーザによる一時停止操作を検知したか否かを判断する（ステップＳ２０）。つまり、全天周映像の再生開始後、再生されている映像以外（表示範囲の外）を見たい場合に、ユーザは、タッチパネルを含む操作部３６を（タッチ）操作する。そして、ユーザによる一時停止操作が検知されなかった場合には（ステップＳ２０のＮＯ）、制御部３７は、全天周映像の再生が終了したか否かを判断する（ステップＳ２２）。
【００３９】
そして、再生が終了していない場合には（ステップＳ２２のＮＯ）、ステップＳ１６に戻り、上述した処理を繰り返す。すなわち、所定の再生映像条件に合致するトリミング位置での再生を継続する。一方、ユーザによる一時停止操作が検出されないまま、再生が終了した場合には（ステップＳ２２のＹＥＳ）、当該処理を終了する。
【００４０】
一方、全天周映像の再生中に、ユーザによる一時停止操作が検知された場合には（ステップＳ２０のＹＥＳ）、再生処理部３４は、再生を一時停止し（ステップＳ２４）、制御部３７は、一時停止操作に続いてユーザによる移動指示操作が検知されたか否かを判断する（ステップＳ２６）。すなわち、ユーザは、再生されている映像以外（表示範囲の外）を見たい場合、再生を一時停止させた後、トリミング位置をリアルタイムで変更するために、例えばタッチパネル（操作部３６）上で指をスライドする操作（スワイプという）を行う。
【００４１】
再生装置３０では、ユーザによる移動指示操作が検知された場合には（ステップＳ２６のＹＥＳ）、再生処理部３４は、ユーザ操作に基づいて再生時に表示すべきトリミング位置を変更して再生する（ステップＳ２８）。この時点では、全天周映像データの１フレーム内で、ユーザ操作に基づいて再生時に表示すべきトリミング位置を変更しつつ表示しており、再生される映像は静止画である。
【００４２】
一方、ユーザによる移動指示操作が検知されない場合には（ステップＳ２６のＮＯ）、再生時に表示すべきトリミング位置を変更することなく、次のステップＳ３０に進む。
【００４３】
次に、制御部３７は、ユーザによる再生開始操作が検知されたか否かを判断する（ステップＳ３０）。そして、ユーザによる再生開始操作が検知されない場合には（ステップＳ３０のＮＯ）、ステップＳ２６に戻り、新たな再生時に表示すべきトリミング位置が決めって再生開始操作が検知されるまで、ステップＳ２６〜Ｓ３０を繰り返し実行する。
【００４４】
つまり、ステップＳ２６〜Ｓ３０では、ユーザが一時停止している映像に対して例えばスワイプ（カーソルによる移動指示操作であってもよい）すると、その操作方向、操作量、及び操作速度に応じて、全天周映像データの１フレームからトリミング位置を現在位置からリアルタイムで移動させながらトリミングして静止画として再生する。ユーザは、指定した方向の映像が表示されると、映像の再生を指示するために再生開始操作を行う。
【００４５】
制御部３７は、ユーザによる再生開始操作が検知された場合には（ステップＳ３０のＹＥＳ）、移動指示操作で指定された再生時に表示すべきトリミング位置でトリミングした映像の再生を開始する（ステップＳ３２）。次に、制御部３７は、ユーザによる一時停止操作を検知したか否かを判断する（ステップＳ３４）。そして、ユーザによる一時停止操作が検知されない場合には（ステップＳ３４のＮＯ）、動画ファイルが終了したか、再生終了の指示操作があったか否かを判断する（ステップＳ３６）。そして、動画ファイルが終了していない、あるいは再生終了の指示操作もない場合には（ステップＳ３６のＮＯ）、ステップＳ３２に戻り、移動操作指示に指定された再生時に表示すべきトリミング位置でトリミングされた映像の再生を継続する。
【００４６】
一方、移動操作指示に指定された位置での映像再生中に、ユーザによる一時停止操作が再び検知された場合には（ステップＳ３４のＹＥＳ）、ステップＳ２４に戻り、上述したステップＳ２４〜Ｓ３４の処理を繰り返す。すなわち、再生中の映像を一時停止した後、再び、ユーザによる移動指示操作に基づいて再生時に表示すべきトリミング位置を変更し、ユーザによる再生開始操作で、変更したトリミング位置でトリミングした映像の再生を繰り返す。したがって、ユーザは、所望するタイミングで、見たい方向を変更しながら、全天周映像を再生させることができる。
【００４７】
そして、動画ファイルが終了するか、再生終了の指示操作があると（ステップＳ３６のＹＥＳ）、全天周映像の再生を終了する。
【００４８】
図７（ａ）〜（ｃ）は、本第１実施形態による所定の再生映像条件毎の再生時に表示すべき映像領域（トリミング位置）を決定するフレーム解析処理例を説明するためのフローチャートである。
【００４９】
図７（ａ）には、撮影時における撮影者の視線方向（顔を向けていた方向）に基づいて再生時に表示すべき映像領域（トリミング位置）を決定する処理を示している。この場合、再生処理部３４は、動画ファイル（全天周映像データ）の先頭フレームに付加情報（メタデータ）として埋め込まれた撮影者の視線方向（顔を向けていた方向）を取得する（ステップＳ４０）。そして、再生処理部３４は、取得した撮影者の視線方向（顔を向けていた方向）に一致する全天周映像データのフレーム内における再生時に表示すべき映像領域（トリミング位置）を決定する（ステップＳ４２）。これにより、全天周映像の再生を開始すると、撮影者の視線方向（顔を向けていた方向）の映像が表示されるようにトリミング処理、及び歪曲補正処理が実行され、表示部３５に再生表示される。このように、再生開始時には、撮影時の撮影者の視線方向（顔を向けていた方向）の映像が優先的に再生表示されるので、無作為に再生表示されることなく、ユーザにとってより見やすく再生することができる。
【００５０】
図７（ｂ）には、撮影時における撮影者の移動方向に基づいて再生時に表示すべき映像領域（トリミング位置）を決定する場合の処理を示している。この場合、再生処理部３４は、動画ファイル（全天周映像データ）の先頭フレームに付加情報（メタデータ）として埋め込まれた撮影者の移動方向を取得する（ステップＳ５０）。そして、再生処理部３４は、取得した撮影者の移動方向に一致する全天周映像データのフレーム内における再生時に表示すべき映像領域（トリミング位置）を決定する（ステップＳ５２）。これにより、全天周映像の再生を開始すると、撮影者の移動方向の映像が表示されるようにトリミング処理、及び歪曲補正処理が実行され、表示部３５に再生表示される。このように、再生開始時には、撮影時の撮影者の移動方向の映像が優先的に再生表示されるので、無作為に再生表示されることなく、ユーザにとってより見やすく再生することができる。
【００５１】
図７（ｃ）には、撮影時における環境音の音源方向に基づいて再生時に表示すべき映像領域（トリミング位置）を決定する処理を示している。この場合、再生処理部３４は、動画ファイル（全天周映像データ）の先頭から数フレーム〜数十フレームを解析し、記録されている音声の音量レベルが所定の閾値以上である音源がある場合に、動画ファイル（全天周映像データ）にメタデータとして埋め込まれたその環境音の音源方向を取得する（ステップＳ６０）。
【００５２】
そして、再生処理部３４は、取得した環境音の音源方向に一致する全天周映像データのフレーム内における再生時に表示すべき映像領域（トリミング位置）を決定する（ステップＳ６２）。これにより、全天周映像の再生を開始すると、音量レベルが所定の閾値以上の音源方向の映像が表示されるようにトリミング処理、及び歪曲補正処理され、表示部３５に再生表示される。
【００５３】
例えば、所定の閾値以上の音量レベルを発する音源として、鳥や、動物、あるいは子供、車両など、何らかの興味を引くものが撮影（記録）されている可能性がある。本第１実施形態によれば、単純に撮影者の進行方向を再生表示するのに比べ、仮に撮影者の背後であっても全天周記録映像のうち、何らかの大きな音を発生する音源方向の映像から再生が開始されるので見逃すことがない。
【００５４】
なお、上述した撮影者の視線方向で決定する方法と、撮影者の移動方向で決定する方法と、音源方向で決定する方法とのうち、どの方法を用いるかは、ユーザが予め設定しておけばよい。あるいは、例えば、最初に音源方向をチェックし、音量レベルが所定の閾値以上ない場合には、移動方向をチェックし、撮影者が移動していない場合には、視線方向を用いるというように、音源方向、移動方向、視線方向の順に優先順位を設定してもよい。
【００５５】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態では、全天周映像のどの部分から再生開始するかを、撮影された全天周映像データに含まれている被写体の正面顔を検出し、その被写体の正面顔を表示範囲の略中心となるよう、全天周映像データのフレーム内における再生時に表示すべき映像領域（トリミング位置）を決定する。したがって、本第２実施形態では、全天周映像データに対する画像処理（顔認識処理）を行えばよく、頭部装着装置１０からの付加情報（メタデータ）を用いる必要はない。ゆえに、本第２実施形態は、図１に示す頭部装着装置１０を装着することなく撮影された全天周映像データであっても適用可能である。
【００５６】
図８は、本第２実施形態による再生装置３０の構成を示すブロック図である。なお、図４に対応する部分には同一の符号を付けて説明を省略する。本第２実施形態による再生装置３０は、画像解析部３８を備えている。該画像解析部３８は、全天周映像データ（動画ファイル）の１フレーム目を解析して被写体の顔（正面顔）を検知したり、全天周映像データ（動画ファイル）の先頭フレームから数フレーム分を解析して移動体を検知したりする。再生処理部３４は、動画ファイル記憶部３３に記憶されている動画ファイルを読み出し、画像解析部３８で検知された被写体の正面顔に基づいて、全天周映像における再生時に表示すべきトリミング位置を決定し、該トリミング位置に従って全天周映像データからトリミングした映像を表示部３５に表示する。
【００５７】
図９は、本第２実施形態による再生装置３０の一部動作を説明するためのフローチャートである。なお、本第２実施形態では、図６に示すステップＳ１０、Ｓ１６における、再生時に表示すべき映像領域（トリミング位置）を決定するための処理が異なるだけで、図６に示すメインルーチンについては同じであるので、共通するステップについては説明を省略する。
【００５８】
本第２実施形態では、撮影された映像に写っている被写体の正面顔の位置に基づいて映像領域（トリミング位置（方向））を決定する。この場合、画像解析部３８は、動画ファイル（全天周映像データ）の先頭から数フレーム〜数十フレーム（あるいは数秒〜数十秒分）を読み出し、所定の顔条件に合致する被写体の顔を検出する（ステップＳ７０）。ここで、所定の顔条件とは、例えば、笑顔、決定の人物の顔、フレーム占有率（顔がより大きく写っている）などが考えられる。
【００５９】
そして、画像解析部３８は、検出した被写体（の正面顔）が表示範囲の略中心となるよう、全天周映像データのフレーム内における再生時に表示すべき映像領域（トリミング位置）を決定する（ステップＳ７２）。これにより、全天周映像の再生を開始すると、写っている被写体が表示部３５の表示範囲の略中央に表示されるようにトリミング処理、及び歪曲補正処理され、表示部３５に再生表示される。
【００６０】
図１０は、本第２実施形態において、被写体の顔の位置に基づいて再生時に表示すべき映像領域（トリミング位置）を決定する際の全天周画像とトリミング位置との関係を説明するための概念図である。なお、後述する移動体の位置に基づいて再生時に表示すべき映像領域（トリミング位置）を決定する場合も同様である。上述したように、動画ファイル（全天周映像データ）の先頭フレーム、もしくは先頭フレームから数フレーム〜数十フレーム（あるいは数秒〜数十秒分）を読み出し、所定の顔条件に合致する被写体の顔を検出する。
【００６１】
例えば、図１０に示すように、全天周映像の正面半天周画像４０内に被写体（の顔）がなく、背面半天周画像５０内に被写体の顔６０を検出した場合であっても、再生開始時には、その被写体が表示部３５の表示範囲の略中央に表示されるようにトリミング位置７０を決定し、該トリミング位置７０に従ってトリミング処理、及び歪曲補正処理を行い、トリミングされた映像を表示部３５に再生表示する。
【００６２】
したがって、撮影時には、後方に誰かいたとは気が付かなかった場合であっても、再生時には、後方にいた人物が優先的に再生表示されるので、何もない風景（正面半天周）が無作為に再生表示されることなく、ユーザにとってより見やすく再生することができる。また、上述したように、再生開始後、ユーザが一時停止させて表示方向を変えるまでは、被写体の顔６０を追尾するので、一瞬で表示部３５の表示範囲から外れてしまうということなく、最初に決定した被写体を逃すことなく再生表示することができる。
【００６３】
Ｃ．第３実施形態
次に、本発明の第３実施形態に付いて説明する。
本第３実施形態では、全天周映像のどの部分から再生開始するかを、撮影された全天周映像データに含まれている移動体を検出し、その移動体を表示範囲の略中心となるよう、全天周映像データのフレーム内における再生表示すべき映像領域（トリミング位置）を決定する。したがって、本第３実施形態では、全天周映像データに対する画像処理（移動体検出処理）を行えばよく、頭部装着装置１０からの付加情報を用いる必要はない。ゆえに、本第３実施形態は、上記第２実施形態と同様に、図１に示す頭部装着装置１０を装着することなく撮影された全天周映像データであっても適用可能である。
【００６４】
なお、本第３実施形態よるカメラ装置２０ａ、２０ｂの構成、並びに再生装置３０の構成は、上述した第２実施形態、と同じであるので説明を省略する。但し、本第３実施形態による画像解析部３８は、全天周映像データ（動画ファイル）の先頭フレームから数フレーム分を解析し、フレーム間の差分に基づいて移動体を検知する。再生処理部３４は、動画ファイル記憶部３３に記憶されている動画ファイルを読み出し、画像解析部３８で検知された、移動体の方向に基づいて、全天周映像データにおける再生時に表示すべきトリミング位置を決定し、該トリミング位置に従って全天周映像データからトリミングした映像を表示部３５に表示する。
【００６５】
図１１は、本第３実施形態による再生装置３０の一部動作を説明するためのフローチャートである。なお、本第３実施形態では、図６に示すステップＳ１０、Ｓ１６における、再生表示すべき映像領域（トリミング位置）を決定するための処理が異なるだけで、図６に示すメインルーチンについては同じであるので、共通するステップについては説明を省略する。
【００６６】
本第３実施形態では、撮影された映像に写っている移動体の位置に基づいて再生時に表示すべき映像領域（トリミング位置）を決定する。この場合、画像解析部３８は、動画ファイル（全天周映像データ）の先頭から数フレーム〜数十フレーム（あるいは数秒〜数十秒分）を解析し、フレーム間の差分から移動体を検出する（ステップＳ８０）。ここで、移動体とは、例えば、鳥や、動物、あるいは人、車両など、何らかの興味を引くものなどが考えられる。
【００６７】
そして、画像解析部３８は、検出した移動体が画角の略中心となるよう、全天周映像データのフレーム内における再生表示すべき映像領域（トリミング位置）を決定する（ステップＳ８２）。これにより、全天周映像の再生を開始すると、写っている移動体が表示されるようにトリミング処理、及び歪曲補正処理され、表示部３５に再生表示される。
【００６８】
したがって、被写体の顔の有無を所定の条件とした場合と同様に、撮影時には、何か移動体がいたとは気が付かなかった場合であっても、再生時には、撮影された移動体が優先的に再生表示されるので、何もない風景（正面半天周）が無作為に再生表示されることなく、ユーザにとってより見やすく再生することができる。また、上述したように、再生開始後、ユーザが一時停止させて表示方向を変えるまでは、移動体を追尾するので、一瞬で表示部３５の表示範囲から外れてしまうということなく、最初に決定した移動体を逃すことなく再生表示することができる。
【００６９】
なお、上述した実施形態においては、再生中の映像を一時停止した際、例えばピンチイン（タッチ画面上で二本の指を摘まむように狭める動作）で縮小（ズームアウト）し、ピンチアウト（タッチ画面上で二本の指を広げる動作）で拡大（ズームイン）するようにしてもよい。この場合、拡大（ズームイン）、縮小（ズームアウト）は、トリミング範囲を拡縮することで実現される。再生が再開されると、ズームイン、ズームアウトした状態（トリミング範囲を拡縮した状態；デジタルズーミング）で再生してもよいし、標準のトリミング範囲に戻して再生するようにしてもよい。
【００７０】
また、上述した第１実施形態では、無指向性マイク＆指向性マイク１２、及び音声信号処理部１３を頭部装着装置１０に設ける例を示したが、これに限らず、カメラ装置２０ａ、２０ｂに設けるようしてもよい。また、無指向性マイク＆指向性マイク１２や、音声信号処理部１３に限らず、動画ファイルを生成する画像処理部３２をカメラ装置２０ａ、２０ｂに設けたり、様々な変形が可能である。
【００７１】
以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。
【００７２】
（付記１）
付記１に記載の発明は、表示手段と、所定範囲の映像を記憶する記憶手段と、所定の再生映像条件に基づいて、前記表示手段の表示範囲に表示させる映像の、前記記憶手段に記憶された映像における位置を設定する設定手段と、再生開始時に、前記設定手段によって設定された位置の映像を、前記記憶手段に記憶された映像からトリミングして前記表示手段に表示させるよう制御する第１の表示制御手段と、この第１の表示制御手段による表示中に外部からの操作を検出する検出手段と、この検出手段によって前記外部からの操作が検出されると、前記第１の表示制御手段により表示制御されている映像を、前記外部からの操作に基づいて前記表示手段に表示させるよう制御する第２の表示制御手段と、を備えたことを特徴とする映像表示装置である。
【００７３】
（付記２）
付記２に記載の発明は、前記記憶手段に記憶された映像には、撮影方向を示す情報が付加されており、前記設定手段は、この撮影方向を示す情報に基づいて、前記表示手段の表示範囲に表示させる映像の、前記映像における位置を設定する、ことを特徴とする付記１に記載の映像表示装置である。
【００７４】
（付記３）
付記３に記載の発明は、前記記憶手段に記憶された映像には、撮影時における撮影機器の移動方向を示す情報が付加されており、前記設定手段は、この移動方向を示す情報に基づいて、前記表示手段の表示範囲に表示させる映像の、前記映像における位置を設定する、ことを特徴とする付記１に記載の映像表示装置である。
【００７５】
（付記４）
付記４に記載の発明は、前記記憶手段に記憶された映像から、所定の条件を満たす被写体を検出する被写体検出手段と、この被写体検出手段によって検出された被写体の、前記映像における位置を取得する位置取得手段と、を更に備え、前記設定手段は、この位置取得手段によって取得された位置に基づいて、前記表示手段の表示範囲に表示させる映像の、前記映像における位置を設定する、ことを特徴とする付記１に記載の映像表示装置である。
【００７６】
（付記５）
付記５に記載の発明は、前記所定の条件を満たす被写体とは、正面方向の顔である、ことを特徴とする付記４に記載の映像表示装置である。
【００７７】
（付記６）
付記６に記載の発明は、前記所定の条件を満たす被写体とは、移動物体である、ことを特徴とする付記４に記載の映像表示装置である。
【００７８】
（付記７）
付記７に記載の発明は、前記記憶手段に記憶された映像には、前記映像の撮影時において発生した音声情報の発生方向を示す情報が付加されており、前記設定手段は、この音声情報の発生方向を示す情報に基づいて、前記表示手段の表示範囲に表示させる映像の、前記映像における位置を設定する、ことを特徴とする付記１に記載の映像表示装置である。
【００７９】
（付記８）
付記８に記載の発明は、前記映像は、動画である、ことを特徴とする付記１乃至７のいずれか一つに記載の映像表示装置である。
【００８０】
（付記９）
付記９に記載の発明は、前記第１の表示制御手段は、動画における再生開始位置として、前記トリミングした箇所から再生する、ことを特徴とする付記１乃至８のいずれか一つに記載の映像表示装置である。
【００８１】
（付記１０）
付記１０に記載の発明は、所定の映像から表示手段の表示範囲に表示するための映像をトリミングして前記表示手段に表示させる映像表示方法であって、所定の再生映像条件に基づいて、前記表示手段の表示範囲に表示する映像の、前記所定の映像における位置を設定するステップと、再生開始時に、前記設定された位置の映像を、前記所定の映像からトリミングして前記表示手段に表示させるよう制御するステップと、前記表示手段での映像表示中に外部からの操作を検出するステップと、前記外部からの操作が検出されると、前記表示制御されている映像を、前記外部からの操作に基づいて前記表示手段に表示させるよう制御するステップと、を含むことを特徴とする映像表示方法である。
【００８２】
（付記１１）
付記１１に記載の発明は、所定の映像から表示部の表示範囲に表示するための映像をトリミングして前記表示部に表示させる映像表示装置のコンピュータを、所定の再生映像条件に基づいて、前記表示部の表示範囲に表示させる映像の、前記所定の映像における位置を設定する設定手段、再生開始時に、前記設定手段によって設定された位置の映像を、前記所定の映像からトリミングして前記表示部に表示させるよう制御する第１の表示制御手段、この第１の表示制御手段による表示中に外部からの操作を検出する検出手段、この検出手段によって前記外部からの操作が検出されると、前記第１の表示制御手段により表示制御されている映像を、前記外部からの操作に基づいて前記表示部に表示させるよう制御する第２の表示制御手段、として機能させることを特徴とするプログラムである。
【符号の説明】
【００８３】
１  映像録画再生システム
１０  頭部装着装置
１１  センサ類
１１−１  ＧＰＳユニット
１１−２  方位・気圧センサ
１１−３  モーションセンサ
１２  無指向性＆指向性マイク
１３  音声信号処理部
１４  信号処理部
１５  無線通信部
１６  制御部
２０ａ、２０ｂ  カメラ装置
２１ａ、２１ｂ  光学系（広角レンズ）
２２ａ、２２ｂ  撮像部
２３ａ、２３ｂ  画像処理部
２４ａ、２４ｂ  圧縮符号化（ファイル化）処理部
２５ａ、２５ｂ  記憶部
２６ａ、２６ｂ  無線通信部
２７ａ、２７ｂ  操作部
２８ａ、２８ｂ  制御部
３０  再生装置
３１  無線通信部
３２  画像処理部
３３  動画ファイル記憶部
３４  再生処理部
３５  表示部
３６  操作部
３７  制御部
３８  画像解析部
４０  正面半天周画像
４１、４２  中心
５０  背面半天周画像
６０  被写体の顔
７０  トリミング位置
【図１】
2017063276.tif 000003
【図２】
2017063276.tif 000004
【図３】
2017063276.tif 000005
【図４】
2017063276.tif 000006
【図５】
2017063276.tif 000007
【図６】
2017063276.tif 000008
【図７】
2017063276.tif 000009
【図８】
2017063276.tif 000010
【図９】
2017063276.tif 000011
【図１０】
2017063276.tif 000012
【図１１】
2017063276.tif 000013