(57)【要約】【課題】記録時に意図した領域の映像を、再生時に表示させる。【解決手段】指定情報は、全方位映像の全画角から切り出す一部の画角に関する情報であり、指定位置と、当該指定位置を基準とした一部の画角を規定する情報とを含む。撮像装置１００は、ライブビュー表示をさせつつ全方位映像を記録する記録処理時には、表示装置２００は指定情報を生成して撮像装置１００へ送信し、撮像装置１００は、表示装置２００から受信した指定情報を当該全方位映像と対応付けて記録媒体１２１に記録する。また、撮像装置１００は、記録媒体１２１に記録された全方位映像を表示装置２００で再生させる再生処理時には、全方位映像を、対応する指定情報とともに表示装置２００へ送信する。【選択図】図５
2020025186.tif 000002
【特許請求の範囲】
【請求項１】
通信先の装置と通信しながら全方位映像を撮影する撮影手段と、
前記撮影された全方位映像の記録時に、前記通信先の装置から、前記全方位映像の全画角から切り出す一部の画角に関する指定情報を受信する受信手段と、
前記全方位映像の記録時に、前記受信手段により受信された指定情報を前記全方位映像と対応付けて記録媒体に記録する記録手段と、
前記記録媒体に記録された全方位映像を前記通信先の装置で再生させる再生時に、前記記録媒体に記録された全方位映像を、対応する指定情報とともに前記通信先の装置へ送信する送信手段と、を有することを特徴とする撮像装置。
【請求項２】
前記指定情報は、指定位置と、当該指定位置を基準とした前記一部の画角を規定する情報とを含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記一部の画角は、前記指定位置を中心とする画角であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記記録時において前記受信手段により受信された指定情報における前記指定位置の変化が第１の閾値未満の場合は、前記記録手段は、変化前の指定情報を、前記全方位映像と対応付けて記録する指定情報として採用することを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記受信手段は、前記再生時においても前記通信先の装置から前記指定情報を受信可能であり、
前記送信手段は、前記記録された全方位映像及び前記対応する指定情報の送信中に前記指定情報が受信された場合は、前記記録された全方位映像の送信を継続すると共に前記対応する指定情報の送信を停止することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記送信手段は、前記対応する指定情報の送信を停止した後、前記指定情報が所定時間継続して受信されない場合は、前記対応する指定情報の送信を再開することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記送信手段は、前記記録手段が前記全方位映像の記録を開始するに際し、前記通信先の装置における前記指定情報の変更速度を制限するための情報を前記通信先の装置へ送信することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記記録手段は、前記記録時に、前記全方位映像のフレームごとに、前記指定情報を対応付けることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記指定情報は、当該指定情報が指定された時刻の情報を含み、
前記記録手段は、前記記録時に、前記受信手段により受信された指定情報に含まれる時刻の情報と、当該受信された指定情報が前記受信手段により受信された時刻とに基づいて、前記受信された指定情報を対応付けるフレームを特定することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記記録手段は、前記指定情報を、前記全方位映像の各フレームのメタデータに記録する請求項８または９に記載の撮像装置。
【請求項１１】
前記通信先の装置は、前記送信手段により送信された全方位映像及び前記全方位映像に対応する指定情報を受信する機能と、前記受信した全方位映像を、前記受信した指定情報に基づいて切り出した映像を表示する機能と、を有することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記送信手段は、前記全方位映像の記録時に、ライブビュー用の映像を前記通信先の装置へ送信し、
前記通信先の装置は、少なくとも前記ライブビュー用の映像を表示しながら前記指定情報を指定する機能を有することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１３】
前記送信手段は、前記全方位映像の記録時に、ライブビュー用の映像を前記通信先の装置へ送信し、
前記通信先の装置は、少なくとも前記ライブビュー用の映像を表示しながら前記指定情報を指定する機能を有し、
前記通信先の装置は、前記ライブビュー用の映像の表示画角の中心位置を、前記指定位置として指定することを特徴とする請求項２に記載の撮像装置。
【請求項１４】
コンピュータを、請求項１乃至１３のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【請求項１５】
撮像装置の制御方法であって、
通信先の装置と通信しながら全方位映像を撮影し、
前記撮影された全方位映像の記録時に、前記通信先の装置から、前記全方位映像の全画角から切り出す一部の画角に関する指定情報を受信し、
前記全方位映像の記録時に、前記受信された指定情報を前記全方位映像と対応付けて記録媒体に記録し、
前記記録媒体に記録された全方位映像を前記通信先の装置で再生させる再生時に、前記記録された全方位映像を、対応する指定情報とともに前記通信先の装置へ送信する、ことを特徴とする撮像装置の制御方法。
【請求項１６】
撮像装置と、前記撮像装置と通信可能な表示装置と、を有する撮像システムであって、
前記撮像装置は、
前記表示装置と通信しながら全方位映像を撮影する撮影手段と、
前記撮影された全方位映像の記録時に、前記表示装置から、前記全方位映像の全画角から切り出す一部の画角に関する指定情報を受信する受信手段と、
前記全方位映像の記録時に、前記受信手段により受信された指定情報を前記全方位映像と対応付けて記録媒体に記録する記録手段と、
前記記録媒体に記録された全方位映像を前記表示装置で再生させる再生時に、前記記録媒体に記録された全方位映像を、対応する指定情報とともに前記表示装置へ送信する送信手段と、を有し、
前記表示装置は、
前記送信手段により送信された全方位映像、及び前記全方位映像に対応する指定情報を受信する機能と、前記受信した全方位映像を、前記受信した指定情報に基づいて切り出した映像を表示する機能と、を有することを特徴とする撮像システム。
【請求項１７】
前記指定情報は、指定位置と、当該指定位置を基準とした前記一部の画角を規定する情報とを含み、
前記表示装置は、前記受信した全方位映像における現在のフレームを切り出して表示する際、１つ前のフレームと前記現在のフレームとの間の前記受信した指定情報における指定位置の変化量及び該指定位置の変化方向を算出し、該算出した変化量が第２の閾値以上である場合は、前記１つ前のフレームに対応する指定位置に対する前記現在のフレームに対応する指定位置の変化方向として、前記算出した変化方向を採用し、且つ、前記現在のフレームに対応する指定情報として、前記１つ前のフレームに対応する指定位置に対する前記現在のフレームに対応する指定位置の変化量が前記第２の閾値となるような指定情報を採用することを特徴とする請求項１６に記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全方位映像（全天球映像）を撮影する撮像装置及びその制御方法、プログラム、撮像システムに関する。
【背景技術】
【０００２】
従来、複数の撮像素子、もしくは複数の撮像装置から得られた映像を合成して全方位映像を記録する装置が知られている。全方位映像は、テレビやスマートフォンといった平面のディスプレイにそのまま表示すると歪んでしまうため、全方位映像の一部を切り出し、歪みを補正したうえで再生する必要がある。しかし、視聴者が全方位映像を視聴する際に、切り出し位置を映像の変化に合わせてその都度指定する操作を要すると煩雑である。そのため、全方位映像を記録する際に、視聴者に注目してほしい領域を予め指定する方法が提案されている。
【０００３】
特許文献１では、２台のカメラで広い画角と狭い画角の動画像を同時に撮影し、広い画角の動画像内から狭い画角の動画像が注視している方向を算出し、算出された方向情報を広い画角の動画像に関連して記録する手法が提案されている。また、特許文献２では、全方位映像を記録する撮像装置の移動方向や撮影者の視点や被写体の方向などを検出し、それらの情報に基づいて全方位映像の切り出し位置を算出し、算出された位置情報を全方位映像に関連して記録する手法が提案されている。
【０００４】
特許文献１、２のいずれにおいても、再生時には映像に関連して記録された情報に基づいて映像の一部が切り出して再生されるため、切り出し位置を視聴者が指定する必要はない。また、視聴者が表示装置を操作することで切り出し位置を変更することも可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１７−１１４６４号公報
【特許文献２】特開２０１７−６３２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１、２では、切り出し位置を撮像装置が算出して決定するため、全方位映像に関連して記録される切り出し位置や画角が、視聴者に注目させたいと撮影者が意図するものと一致するとは限らない。従って、記録映像の再生時には、撮影者が意図するのとは異なる領域が視聴者に対して表示される場合があるという問題があった。
【０００７】
本発明は、記録時に意図した領域の映像を、再生時に表示させることを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明は、通信先の装置と通信しながら全方位映像を撮影する撮影手段と、前記撮影された全方位映像の記録時に、前記通信先の装置から、前記全方位映像の全画角から切り出す一部の画角に関する指定情報を受信する受信手段と、前記全方位映像の記録時に、前記受信手段により受信された指定情報を前記全方位映像と対応付けて記録媒体に記録する記録手段と、前記記録媒体に記録された全方位映像を前記通信先の装置で再生させる再生時に、前記記録媒体に記録された全方位映像を、対応する指定情報とともに前記通信先の装置へ送信する送信手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、記録時に意図した領域の映像を、再生時に表示させることができる。
【図面の簡単な説明】
【００１０】
【図１】撮像装置のブロック図である。
【図２】撮影システムの模式図である。
【図３】撮像システムの機能ブロック図である。
【図４】記録処理のフローチャートである。
【図５】再生処理のフローチャートである。
【図６】再生処理のフローチャートである。
【図７】記録処理のフローチャートである。
【図８】記録処理のフローチャートである。
【図９】表示装置における表示処理のフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施の形態を説明する。
【００１２】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像装置のブロック図である。本撮像装置１００として、２眼のデジタルビデオカメラを例示する。なお、本発明が適用される撮像装置はこれに限定されるものではなく、２眼より多くの撮像機構を備えた多眼のデジタルビデオカメラや、１眼のデジタルビデオカメラを複数台接続したシステムに本発明を適用してもよい。
【００１３】
なお、図１に示す各機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）等のハードウェアに実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。もしくは、ハードウェアとソフトウェアが組み合わされて実現されてもよい。したがって、以下の説明において異なる機能ブロックが動作の主体として記載されている場合であっても、同じハードウェアが主体として実現される場合がある。
【００１４】
撮影レンズ１０１、１０２は、複数のレンズ群からなる撮影レンズであり、ズームレンズやフォーカスレンズ、シフトレンズを内部に備えている。シャッタ１０３、１０４は、絞り機能を備えるシャッタであり、それぞれ撮像素子１０５、１０６に光を通す時間を調節する。撮像素子１０５、１０６は、光電変換素子を有する画素が複数、二次元上に配列された構成を有する撮像手段である。撮像素子１０５は撮影レンズ１０１により結像された被写体光学像を、撮像素子１０６は撮影レンズ１０２により結像された被写体光学像を、それぞれ各画素の電気信号に光電変換する。
【００１５】
Ａ／Ｄ変換器１０７は、撮像素子１０５、１０６から出力されるアナログ信号をデジタル信号に変換し、画素単位の画像データを出力する。画像処理部１０８は、画像データに対して、所定の画素補完、拡縮といったリサイズ処理や、ＡＷＢといった色変換処理、画像データの符号化処理、２つの画像を１つの画像に合成する合成処理を行う。Ａ／Ｄ変換器１０７から出力された画像データは、画像処理部１０８及び、記録手段としてのメモリ制御部１０９を介してメモリ１１２に書き込まれる。そのため、メモリ１１２は動画像及び音声を格納するのに十分な記憶容量を備えている。
【００１６】
通信用Ｉ／Ｆ部１１０は、画像処理部１０８で合成されメモリ制御部１０９を介して送られた画像データ及び、メモリ１１２に記録されている画像に関連したデータを、通信部１１１（受信手段、送信手段）から外部に出力できる形式に変換する。また、通信用Ｉ／Ｆ部１１０は、外部から通信部１１１を介して送られてきたデータをシステム制御部１１３で扱える形式に変換して、メモリ制御部１０９に送信する。通信部１１１は、通信用Ｉ／Ｆ部１１０で変換されたデータを外部に送信する。また通信部１１１は、外部から送られたデータを受信し、通信用Ｉ／Ｆ部１１０に出力する。
【００１７】
不揮発性メモリ１１４は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭで構成される。不揮発性メモリ１１４には、システム制御部１１３の動作用定数やプログラムが記録される。システム制御部１１３は、撮像装置１００の全体を制御する。システム制御部１１３の機能は主としてＣＰＵ１３１により実現される。ＣＰＵ１３１は、不揮発性メモリ１１４に記録されたプログラムを実行することで、撮像装置１００における各処理を実現する。また、システム制御部１１３は、メモリ１１２、通信用Ｉ／Ｆ部１１０、通信部１１１を制御することによりデータの送受信を行う。操作部１１５は、ユーザ操作を受け付け、システム制御部１１３に各種動作指示を入力する。なお、システム制御部１１３に対する動作指示は通信部１１１を介して外部からも行われる。
【００１８】
電源制御部１１６は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路などで構成され、電池の装着の有無、電池の種類、電池の残量の検出を行う。また、電源制御部１１６は、それらの検出結果及びシステム制御部１１３の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、各部へ提供する。電源部１１７は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプタを備える。
【００１９】
システムタイマ１１８は、各種制御に用いる時間や、内蔵された時計の時間を計測する。システムメモリ１１９は、システム制御部１１３の動作用の定数、変数、不揮発性メモリ１１４から読み出したプログラムを展開するためのメモリであり、ＲＡＭ等で構成される。記録媒体Ｉ／Ｆ部１２０は、記録媒体１２１と撮像装置１００とを接続するインターフェースである。記録媒体１２１は、撮影された映像を記録するためのメモリーカードやハードディスク、ＵＳＢメモリ等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００２０】
図２は、撮像装置１００と表示装置２００とが通信可能に接続されて成る撮影システムの模式図である。この撮影システムは、撮像装置１００と、通信先の装置としての表示装置２００とが通信可能に接続されて成る。両者の通信方法は問わないが、例えば、無線ＬＡＮ等が採用される。撮像装置１００は全方位映像（全天球映像）を撮影する機能を有する。図２では、全方位映像の一部を切り出して表示装置２００に表示させる様子を概念的に示している。
【００２１】
撮像装置１００は、撮影した全方位映像を表示装置２００に送信する。表示装置２００は、受信した全方位映像をディスプレイ部３１４（図３）に表示できる画角に切り出して表示する。その際、初期設定の切り出し領域（切り出し画角）を撮像装置１００の正面画角２０１と仮定する。表示装置２００は、全方位映像から正面画角２０１を切り出して映像のひずみを補正し、ディスプレイ部３１４に表示させる。ディスプレイ部３１４はタッチパネル機能を備える。
【００２２】
また、表示装置２００において、全方位映像の切り出し領域は変更可能である。例えば、撮像装置１００の正面画角２０１から側面画角２０２を表示するように変更する場合、表示装置２００を操作するユーザは、表示装置２００のタッチパネル部３１５（図３）をスワイプするか、または方向を示すボタンをタッチして表示画角をずらす。そしてユーザは、所望の表示画角にして、例えば側面画角２０２を表示装置２００に表示させることができる。
【００２３】
図３は、撮像システムの機能ブロック図である。図３で、データ通信処理、及び通信で得られたデータの処理を説明する。図３に示す撮像装置１００における各機能部の機能は、ＣＰＵ１３１、不揮発性メモリ１１４及びシステムメモリ１１９等の協働により実現される。
【００２４】
撮像装置１００において、映像送信部３０１は、画像処理部１０８（図１）で合成された全方位映像を表示装置２００へ送信する。全方位映像の送信は表示装置２００との通信が確立している状態であれば、記録待機時、記録時及び再生時のいずれにおいても可能である。
【００２５】
位置通信部３０２は、記録待機時及び記録時に表示装置２００で指定された「指定情報」を受信する。また、位置通信部３０２は、再生時には、全方位映像に関連して記録されている指定情報を表示装置２００に送信する。ここで、指定情報は、全方位映像の全画角から切り出す一部の画角に関する情報である。指定情報は、指定位置と、当該指定位置を基準とした上記一部の画角を規定する情報とを含む。指定情報はさらに、当該指定情報が生成（指定）された時刻の情報を含む。上記切り出す一部の画角は、全方位映像の全画角から切り出される「切り出し領域」のことであり、全画角のうち表示装置２００で表示される表示範囲（いわゆるトリミング領域）に該当する。指定位置は、一例として切り出し領域の中心座標とする。なお、指定位置は、切り出し領域の中心座標でなくてもよく、例えば、矩形領域の所定の頂部の座標であってもよい。
【００２６】
操作通信部３０３は、操作部１１５（図１）によって操作された撮像装置１００の情報を表示装置２００に送信する。また、操作通信部３０３は、表示装置２００によって入力された撮像装置１００の操作情報を受信する。操作通信部３０３は、受信した操作情報をメモリ制御部１０９（図１）を介してシステム制御部１１３へ送信する。
【００２７】
位置記録部３０６は、位置通信部３０２が受信した指定情報を全方位映像に対応付けて記録媒体１２１に記録する。指定情報を全方位映像に関連付ける（対応付ける）方法としては、例えば全方位映像のフレーム毎のメタデータに指定情報を記録する方法が考えられる。位置再生部３０７は、全方位映像に対応して記録された指定情報を読み出し、位置通信部３０２へ出力する。映像記録部３０８は、画像処理部１０８で合成された全方位映像を記録媒体１２１に記録する。映像再生部３０９は、記録媒体１２１に記録された全方位映像を読み出し、映像送信部３０１へ出力する。なお、指定情報と全方位映像とを対応付けて記録する記録先として記録媒体１２１を例示するが、これらの記録先は外部装置でも内蔵装置でもよい。
【００２８】
遅延時間算出部３０４は、撮像装置１００と表示装置２００とのデータの送受信から、通信の遅延時間を算出する。遅延時間算出部３０４は、例えば、指定情報を受信した時の撮像装置１００の時刻と、受信した指定情報に含まれる時刻の情報（生成時刻）との差分を２倍した値を、遅延時間として算出する。位置記録部３０６は、受信された指定情報に基づき算出された遅延時間分だけ遡った時刻に生成されたフレームを特定し、特定したフレームに、上記受信された指定情報を対応付ける。これにより、指定情報を適切なフレームに関連付けることができる。変化量算出部３０５は、位置通信部３０２で受信したあるフレームに対応する指定情報とその直前のフレームに対応する指定情報とから、指定情報における指定位置の変化量を算出する。なお、本実施の形態においては、変化量算出部３０５を設けることは必須でない。
【００２９】
表示装置２００において、システム制御部３１７は、表示装置２００の全体を制御する。システム制御部３１７の機能は主としてＣＰＵ３２０により実現される。システム制御部３１７は、変化量算出部３１８、変更方向算出部３１９を有する。ＣＰＵ３２０は、ＲＯＭ（不図示）に記録されたプログラムを実行することで、表示装置２００における各処理を実現する。図３に示す表示装置２００における各機能部の機能は、ＣＰＵ３２０とＲＯＭ、ＲＡＭ（いずれも不図示）との協働より実現される。
【００３０】
変化量算出部３１８は、位置通信部３１２もしくは表示部３１６で取得された、指定情報における指定位置の変化量を算出する。変更方向算出部３１９は、取得された指定情報における指定位置の変更方向を算出する。なお、本実施の形態においては、変化量算出部３１８、変更方向算出部３１９を設けることは必須でない。
【００３１】
通信部３１０は、データを外部に送信すると共に、外部から送られたデータを受信してディスプレイ部３１４やシステム制御部３１７へ出力する。映像受信部３１１は、撮像装置１００から送信された全方位映像を受信する。位置通信部３１２は、撮像装置１００における記録時及び記録待機時に、タッチパネル部３１５等で指定された指定情報を撮像装置１００へ送信する。また、位置通信部３１２は、撮像装置１００における全方位映像の再生時に撮像装置１００から送信されてくる全方位映像に対応付けられている指定情報を受信する。操作通信部３１３は、タッチパネル部３１５によって入力された撮像装置１００に対する操作情報を撮像装置１００に送信する。また、操作通信部３１３は、操作部１１５（図１）によって入力された撮像装置１００の操作情報を受信する。
【００３２】
ディスプレイ部３１４は、ユーザ操作を受け付けるタッチパネル部３１５と、映像を表示する表示部３１６とを有する。タッチパネル部３１５と表示部３１６は一体的に構成されてもよい。タッチパネル部３１５における入力座標と表示部３１６の表示座標を対応付けることで、表示部３１６に表示された画面をユーザがあたかも直接操作可能であるかのようなＧＵＩを実現することができる。表示部３１６には、受信した全方位映像の一部の画角が切り出されて表示する。
【００３３】
ここで、表示部３１６での映像の表示モードには大別して２つある。そのうち第１のモードは、撮像装置１００における撮影された全方位映像が記録される記録時に、リアルタイムでライブビュー表示するモードである。第２のモードは、撮像装置１００で記録された全方位映像（指定情報が対応付けられたもの）を、指定情報に基づく画角で表示するモードである。
【００３４】
第１のモードでは、表示装置２００を操作する操作者は、タッチパネル部３１５のスワイプまたはボタン操作によりライブビューの表示方向（視線方向）を所望に調節する。システム制御部３１７は、ライブビューで表示されているときの表示中心の座標情報と表示範囲とをフレームごとに取得する。そして、フレームごとに、表示中心の座標情報を「指定位置」とし、表示範囲を「一部の画角を規定する情報」として取得する。なお、指定位置は、全天球映像を平面とした場合の座標として取得される。そしてシステム制御部３１７は、これらの情報に、指定位置を生成した時刻の情報を含めた「指定情報」を生成する。このようにしたのは、操作者が所望に切り出してライブビュー表示している画角が、記録後に視聴者に見せたい注目画角であると考えられるからである。なお、表示装置２００は、少なくともライブビュー用の映像を表示しながら指定情報を指定する機能を有すればよく、指定情報の指定の手法は例示に限定されない。
【００３５】
第２のモードでは、システム制御部３１７は、映像受信部３１１で受信された全方位映像を、当該全方位映像に対応付けられている指定情報（位置通信部３１２で受信されたもの）に基づいて切り出した映像を、表示部３１６に表示させる。すなわち、システム制御部３１７は、指定情報に含まれる指定位置を中心座標とした切り出し領域を、全方位映像の全画角から切り出して、表示部３１６に表示させる。切り出し領域はフレームごとに変化する。
【００３６】
なお、撮像装置１００と表示装置２００とを独立したものとしているが、必ずしも別々である必要はなく、撮像装置１００の内部に表示装置２００に相当するものが組み込まれていてもよい。その場合、通信部１１１及び通信部３１０は不要となり、システム制御部３１７はシステム制御部１１３に組み込まれる。システム制御部１１３がディスプレイ部３１４を制御する。
【００３７】
次に、撮像装置１００が、撮影した全方位映像を記録する記録処理と、記録媒体１２１に記録された全方位映像を表示装置２００で再生させる再生処理とを説明する。表示部３１６における表示モードは、記録処理時には第１のモードとなり、再生処理時には第２のモードとなる。
【００３８】
図４は、撮像装置１００における記録処理のフローチャートである。この処理は、システム制御部１１３のＣＰＵ１３１が、不揮発性メモリ１１４に格納されたプログラムをシステムメモリ１１９に展開して実行することにより実現される。この処理は、操作部１１５へのユーザ操作、あるいは通信部１１１を介した外部からの指示によって開始される。
【００３９】
ステップＳ４０１において、ＣＰＵ１３１は、全方位映像の撮影及び記録の処理を開始する。すなわち、ＣＰＵ１３１は、映像送信部３０１により、ライブビュー用に全方位映像を送信する処理を開始する。ステップＳ４０２において、ＣＰＵ１３１は、表示装置２００との通信が確立し、接続されているか否かを判別する。そしてＣＰＵ１３１は、表示装置２００と接続されていると判別した場合は、処理をステップＳ４０３に進め、表示装置２００と接続されていないと判別した場合は、処理をステップＳ４０５に進める。ステップＳ４０３において、ＣＰＵ１３１は、表示装置２００から指定情報を位置通信部３０２によって受信する。ステップＳ４０４において、ＣＰＵ１３１は、ステップＳ４０３で取得した指定情報を、撮影した全方位映像にフレームごとに対応付け、これら映像及び指定情報を記録媒体１２１に記録する。
【００４０】
ステップＳ４０５において、ＣＰＵ１３１は、記録終了の指示があったか否かを判別する。記録終了の指示は、操作部１１５へのユーザ操作から取得されるか、あるいは通信部１１１を介して外部から取得される。そしてＣＰＵ１３１は、記録終了の指示がないと判別した場合は、処理をステップＳ４０２に戻し、記録終了の指示があったと判別した場合は、図４の一連の処理を終了する。
【００４１】
図５は、再生処理のフローチャートである。この処理は、ＣＰＵ１３１が、不揮発性メモリ１１４に格納されたプログラムをシステムメモリ１１９に展開して実行することにより実現される。この処理は、操作部１１５へのユーザ操作、あるいは通信部１１１を介した外部からの指示によって開始される。
【００４２】
ステップＳ５０１において、ＣＰＵ１３１は、記録媒体１２１に記録されている全方位映像を読み出して再生の処理を開始する。ステップＳ５０２において、ＣＰＵ１３１は、読み出した全方位映像に、関連したデータとして指定情報が対応付けられて記録されているかどうかを判別する。そしてＣＰＵ１３１は、読み出した全方位映像に対応する指定情報が記録されていると判別した場合は、処理をステップＳ５０３に進め、読み出した全方位映像に対応する指定情報が記録されていないと判別した場合は、処理をステップＳ５０４に進める。
【００４３】
ステップＳ５０３において、ＣＰＵ１３１は、表示装置２００に対し、映像送信部３０１により全方位映像を送信すると共に、位置通信部３０２により全方位映像に対応する指定情報を送信する。ステップＳ５０４において、ＣＰＵ１３１は、映像送信部３０１により全方位映像を表示装置２００に送信する。ステップＳ５０３、５０４の後、ＣＰＵ１３１は、処理をステップＳ５０５に進める。ステップＳ５０５において、ＣＰＵ１３１は、再生終了の指示があったか否かを判別する。再生終了の指示は、操作部１１５へのユーザ操作から取得されるか、あるいは通信部１１１を介した外部から取得される。そしてＣＰＵ１３１は、再生終了の指示がないと判別した場合は処理をステップＳ５０２に戻し、再生終了の指示があったと判別した場合は図５の一連の処理を終了する。
【００４４】
本実施の形態によれば、撮像装置１００は、ライブビュー表示をさせつつ全方位映像を記録する記録処理時には、表示装置２００から受信した指定情報を当該全方位映像と対応付けて記録する。また、撮像装置１００は、記録された全方位映像を表示装置２００で再生させる再生処理時には、全方位映像を、対応する指定情報とともに表示装置２００へ送信する。すると、表示装置２００は、受信した全方位映像を、対応する指定情報に基づく切り出し領域に切り出して表示する。ライブビュー表示中に表示装置２００で表示された画角は、撮影者が記録後に視聴者に見せたいと所望する画角と考えられる。よって、記録時に意図した領域の映像を、再生時に表示させることができる。
【００４５】
また、指定情報には、当該指定情報が指定された時刻の情報が含まれる。そして、撮像装置１００は、指定情報を受信した時刻と、受信した指定情報に含まれる時刻の情報とに基づき、指定情報を対応付けるフレームを特定するので、再生時における映像と画角の切り出しとの時間的なずれの発生を抑制することができる。
【００４６】
（第２の実施の形態）
本発明の第２の実施の形態では、第１の実施の形態に対して再生処理が異なり、その他の構成は同様である。従って、図５に代えて図６を用いて本実施の形態を説明する。
【００４７】
図６は、再生処理のフローチャートである。この処理の実行主体や実行条件は図５の再生処理と同様である。本実施の形態では、記録映像の再生中に、表示装置２００の操作者から画角変更操作があった場合に、送信中の指定情報よりも新たに指定された指定情報を優先して、表示装置２００における切り出し領域が定まるようにする。
【００４８】
ステップＳ６０１、Ｓ６０２の処理は、図５のステップＳ５０１、Ｓ５０２と同様である。ステップＳ６０２で、ＣＰＵ１３１は、読み出した全方位映像に対応する指定情報が記録されていると判別した場合は、処理をステップＳ６０３に進め、全方位映像に対応する指定情報が記録されていないと判別した場合は処理をステップＳ６０６に進める。
【００４９】
ステップＳ６０３において、ＣＰＵ１３１は、タッチパネル部３１５で入力された操作情報があればそれを操作通信部３０３により受信し、受信した操作情報に基づき、表示装置２００で指定情報が操作されたか否かを判別する。ここで、撮像装置１００は、再生時においても表示装置２００から指定情報を受信可能である。指定情報が操作された場合は、再生のための全方位映像及び対応する指定情報の送信中に、表示装置２００で新たに生成された指定情報が受信されたことになる。ＣＰＵ１３１は、表示装置２００で指定情報が操作された判別した場合は、処理をステップＳ６０６に進め、表示装置２００で指定情報が操作されていないと判別した場合は、処理をステップＳ６０４に進める。
【００５０】
ステップＳ６０４において、ＣＰＵ１３１は、タッチパネル部３１５で入力された操作情報があればそれを操作通信部３０３により受信する。そしてＣＰＵ１３１は、受信した操作情報に基づき、表示装置２００における新たな指定情報の操作が一定期間以上（所定時間以上）無いか否かを判別する。そしてＣＰＵ１３１は、表示装置２００における新たな指定情報の操作が一定期間以上ないと判別した場合は処理をステップＳ６０５に進める。一方、ＣＰＵ１３１は、表示装置２００における新たな指定情報の操作が一定期間の経過前にあったと判別した場合は、処理をステップＳ６０６に進める。
【００５１】
ステップＳ６０５では、ＣＰＵ１３１は、図５のステップＳ５０３と同様に、表示装置２００に対し、映像送信部３０１により全方位映像を送信すると共に、位置通信部３０２により全方位映像に対応する指定情報を送信する。ステップＳ６０６では、ＣＰＵ１３１は、記録された全方位映像を送信する。ステップＳ６０２からステップＳ６０６に移行した場合、指定情報が対応付けられていない全方位映像が送信される。
【００５２】
ステップＳ６０３からステップＳ６０６に移行したとき、全方位映像及び対応する指定情報を送信中であったならば、ステップＳ６０６では、記録された全方位映像の送信が継続されると共に、対応する指定情報の送信が停止される。この場合、表示装置２００は、自身が新たに指定した指定情報に基づいて切り出し領域を切り出して表示する。すなわち、表示装置２００側での指定情報が優先される。ステップＳ６０４からステップＳ６０６に移行した場合、対応する指定情報の送信が停止されたまま、記録された全方位映像の送信が継続される。
【００５３】
一方、ステップＳ６０３→Ｓ６０６と移行した後に、ステップＳ６０５に移行した場合は、対応する指定情報の送信が停止された後、新たな指定情報が一定期間継続して受信されない場合である。すなわち、表示装置２００において新たな指定情報が指定された後、一定期間以上指定されなくなった場合である。従って、この場合のステップＳ６０５では、送信を停止していた対応する指定情報の送信が再開されることになる。
【００５４】
ステップＳ６０５、Ｓ６０６の後、ステップＳ６０７において、ＣＰＵ１３１は、図５のステップＳ５０５と同様の処理を実行する。そしてＣＰＵ１３１は、再生終了の指示がないと判別した場合は処理をステップＳ６０２に戻し、再生終了の指示があったと判別した場合は図６の一連の処理を終了する。
【００５５】
本実施の形態によれば、記録時に意図した領域の映像を、再生時に表示させることに関し、第１の実施の形態と同様の効果を奏することができる。また、ＣＰＵ１３１は、全方位映像及び対応する指定情報の送信中に指定情報が受信された場合は、記録された全方位映像の送信を継続すると共に対応する指定情報の送信を停止する。これにより、表示装置側では再生中に新たに指定した指定情報を優先して切り出し領域が設定されるので、使い勝手がよい。また、ＣＰＵ１３１は、対応する指定情報の送信を停止した後、指定情報が所定時間継続して受信されない場合は、対応する指定情報の送信を再開する。これにより、表示装置側での新たな指定情報の指定がされなくなると元の指定情報に基づく切り出し領域を表示させることができる。
【００５６】
（第３の実施の形態）
本発明の第３の実施の形態では、第１の実施の形態に対し記録処理が異なり、その他の構成は同様である。従って、図４に代えて図７を用いて本実施の形態を説明する。
【００５７】
撮影時に記録する指定情報における指定位置の時間当たりの変化量が大き過ぎると、再生処理時に映像が急激に変化し、視聴者が映像酔いを引き起こす恐れがある。そこで本実施の形態では、記録処理時に指定情報における指定位置が過大とならないように制限を設ける。
【００５８】
図７は、記録処理のフローチャートである。この処理の実行主体や実行条件は図４の記録処理と同様である。ステップＳ７０１、Ｓ７０２の処理は、図４のステップＳ４０１、Ｓ４０２と同様である。ステップＳ７０３において、ＣＰＵ１３１は、操作通信部３０３により表示装置２００に対して、指定情報における指定位置の変更速度を制限する情報（制限情報と呼称する）を送信する。表示装置２００は、制限情報を操作通信部３１３で受信すると、指定位置の変更速度が閾値を超えないように、操作に対する応答速度や操作に対する変化量を通常時より小さくする。例えば、表示装置２００は、タッチパネル部３１５に対して操作者が表示方向を変化させる操作（スワイプやボタンタッチ）をした場合の表示方向の変化の速度を通常時より遅くする。
【００５９】
ステップＳ７０４、Ｓ７０５、Ｓ７０６の処理は、図４のステップＳ４０３、Ｓ４０４、Ｓ４０５と同様である。ステップＳ７０６において、ＣＰＵ１３１は、記録終了の指示がないと判別した場合は、処理をステップＳ７０２に戻し、記録終了の指示があったと判別した場合は、処理をステップＳ７０７に進める。ステップＳ７０７において、ＣＰＵ１３１は、表示装置２００に対する操作通信部３０３からの上記制限情報の送信を停止した後、図７の一連の処理を終了する。
【００６０】
本実施の形態によれば、記録時に意図した領域の映像を、再生時に表示させることに関し、第１の実施の形態と同様の効果を奏することができる。また、ＣＰＵ１３１は、記録処理を開始するに際し、制限情報を表示装置２００へ送信するので、記録する全方位映像に対応付ける指定情報に含まれる指定位置の変化量が過大とならずに済む。これにより、映像酔いとなるような指定情報の記録を回避することができ、記録映像の再生処理時に視聴者が映像酔いするおそれが少なくなる。
【００６１】
なお、本実施の形態は、第２の実施の形態と組み合わせてもよい。
【００６２】
（第４の実施の形態）
本発明の第４の実施の形態では、第１の実施の形態に対し記録処理が異なり、その他の構成は同様である。従って、図４に代えて図８を用いて本実施の形態を説明する。
【００６３】
撮影時に記録する指定情報における指定位置の時間当たりの変化量が小さ過ぎると、再生処理時に映像が細かく揺れているように映り、視聴者が映像酔いを引き起こす恐れがある。そこで本実施の形態では、指定情報が記録される際、指定位置の変化が過小である場合は、記録に反映させない。
【００６４】
図８は、記録処理のフローチャートである。この処理の実行主体や実行条件は図４の記録処理と同様である。ステップＳ８０１、Ｓ８０２、Ｓ８０３の処理は、図４のステップＳ４０１、Ｓ４０２、Ｓ４０３と同様である。
【００６５】
ステップＳ８０４において、ＣＰＵ１３１は、変化量算出部３０５により、今回記録すべき現在のフレームに対応する指定情報における指定位置と、１つ前に記録したフレームに対応する指定情報における指定位置との差分を求める。フレームと指定情報との対応関係は、上記したように遅延時間算出部３０４で算出された遅延時間に基づき特定できる。ＣＰＵ１３１は、求めた差分からフレーム間の指定位置の変化量を算出する。そしてＣＰＵ１３１は、算出された指定位置の変化量が第１の閾値ＴＨ１以上であるか否かを判別する。そしてＣＰＵ１３１は、指定位置の変化量が第１の閾値ＴＨ１以上であると判別した場合は、処理をステップＳ８０５に進め、指定位置の変化量が第１の閾値ＴＨ１未満（第１の閾値未満）であると判別した場合は、処理をステップＳ８０６に進める。
【００６６】
ステップＳ８０５において、ＣＰＵ１３１は、今回受信した指定情報を、現在のフレームに対応付ける指定情報として採用し、記録媒体１２１に記録する。一方、ステップＳ８０６において、ＣＰＵ１３１は、１つ前のフレームの指定情報を、現在のフレームに対応付ける指定情報として採用し、記録媒体１２１に記録する。仮に今回受信した指定情報を採用したとすると、再生処理時に映像が細かく揺れて視聴者が映像酔いを引き起こすおそれがあるからである。
【００６７】
ステップＳ８０５、Ｓ８０６の後、ＣＰＵ１３１は、ステップＳ８０７において、図４のステップＳ４０５と同様の処理を実行する。そしてＣＰＵ１３１は、記録終了の指示がないと判別した場合は、処理をステップＳ８０２に戻し、記録終了の指示があったと判別した場合は、図８の一連の処理を終了する。
【００６８】
本実施の形態によれば、記録時に意図した領域の映像を、再生時に表示させることに関し、第１の実施の形態と同様の効果を奏することができる。また、ＣＰＵ１３１は、受信された指定情報における指定位置の変化が第１の閾値ＴＨ１未満の場合は、変化前の指定情報を全方位映像と対応付けて記録する指定情報として採用する。これにより、映像酔いとなるような指定情報の記録を回避することができ、記録映像の再生処理時に視聴者が映像酔いするおそれが少なくなる。
【００６９】
なお、本実施の形態は、第２の実施の形態と組み合わせてもよいし、第２及び第３の実施の形態と組み合わせてもよい。なお、本実施の形態を第３の実施の形態に適用する場合、ＣＰＵ１３１は、図７のステップＳ７０３、Ｓ７０７を図８に加えた処理を実行すればよい。
【００７０】
（第５の実施の形態）
本発明の第５の実施の形態では、第１の実施の形態に対し、再生処理時における表示装置２００での処理が異なり、その他の構成は同様である。従って、第１の実施の形態に対して図９を加えて本実施の形態を説明する。
【００７１】
図９は、表示装置２００における表示処理のフローチャートである。この処理は、表示装置２００における、ＣＰＵ３２０がＲＯＭ等に格納されたプログラムをＲＡＭ等（いずれも不図示）に展開して実行することにより実現される。この処理は、タッチパネル部３１５へのユーザ操作、あるいは通信部３１０を介した撮像装置１００からの指示によって開始される。
【００７２】
ちなみに、第１の実施の形態で説明した表示装置２００における表示処理には、図９の各ステップからステップＳ９０３〜Ｓ９０５を廃止した処理が相当する。
【００７３】
上述のように、撮影時に記録された指定情報における指定位置の時間当たりの変化量が大き過ぎると、表示装置２００での再生処理時に映像が急激に変化し、視聴者が映像酔いを引き起こす恐れがある。そこで本実施の形態では、表示装置２００において受信された指定情報における指定位置の変化が過大である場合は、表示に反映させない。
【００７４】
ステップＳ９０１において、ＣＰＵ３２０は、全方位映像の再生（表示）の処理を開始する。ステップＳ９０２において、ＣＰＵ３２０は、撮像装置１００から、映像受信部３１１により全方位映像を受信すると共に位置通信部３１２により指定情報を受信する。
【００７５】
ステップＳ９０３において、ＣＰＵ３２０は、変化量算出部３１８により、現在のフレームに対応する指定情報における指定位置と１つ前のフレームに対応する指定情報における指定位置とから、指定位置の変化量を算出する。さらに、ＣＰＵ３２０は、変更方向算出部３１９により、現在のフレームに対応する指定情報における指定位置の、１つ前のフレームに対応する指定情報における指定位置からの変更方向を算出する。
【００７６】
ステップＳ９０４において、ＣＰＵ３２０は、算出された指定情報の変化量が第２の閾値ＴＨ２以上（第２の閾値以上）であるか否かを判別する。そしてＣＰＵ３２０は、指定情報の変化量が第２の閾値ＴＨ２以上であると判別した場合は、処理をステップＳ９０５に進め、指定情報の変化量が第２の閾値ＴＨ２未満であると判別した場合は、処理をステップＳ９０６に進める。
【００７７】
ステップＳ９０５において、ＣＰＵ３２０は、指定情報の変化方向をそのままとしつつ、指定情報の変化量が第２の閾値ＴＨ２となる指定位置となるように、現在のフレームの指定情報の指定位置を置き換える。すなわち、ＣＰＵ３２０は、１つ前のフレームから現在のフレームまでの指定位置の変化量が第２の閾値ＴＨ２となるような指定情報を、現在のフレームに対応する指定情報として採用する。これにより、映像の急激な変化が抑制され、視聴者の映像酔いが回避される。ステップＳ９０５の後、ＣＰＵ３２０は、処理をステップＳ９０６に進める。
【００７８】
ステップＳ９０６において、ＣＰＵ３２０は、今回のフレームに対応するものとして採用されている指定情報における指定位置を中心位置として、全方位映像から切り出し領域を切り出して、表示部３１６に表示させる。従って、ステップＳ９０４からステップＳ９０６に移行した場合は、指定位置の置き換えはされないので、表示態様は第１の実施の形態と同様となる。
【００７９】
ステップＳ９０７において、ＣＰＵ３２０は、再生終了の指示があったか否かを判別する。再生終了の指示は、タッチパネル部３１５へのユーザ操作から取得されるか、あるいは通信部３１０を介した撮像装置１００から取得される。そしてＣＰＵ３２０は、再生終了の指示がないと判別した場合は処理をステップＳ９０２に戻し、再生終了の指示があったと判別した場合は図９の一連の処理を終了する。
【００８０】
本実施の形態によれば、記録時に意図した領域の映像を、再生時に表示させることに関し、第１の実施の形態と同様の効果を奏することができる。また、ＣＰＵ３２０は、表示の際に、フレーム間の指定位置の変化量が第２の閾値ＴＨ２以上となる場合は、変化量が第２の閾値ＴＨ２となるように、現在のフレームに対応する指定情報の指定位置を置き換える。従って、撮像装置１００から、映像酔いとなるような指定情報が受信されても、記録映像の再生処理時に視聴者が映像酔いするおそれが少なくなる。
【００８１】
なお、本実施の形態は、第１の実施の形態だけでなく、第２〜第４の実施の形態のいずれとも組み合わせ可能である。
【００８２】
なお、上記各実施の形態において、記録された全方位映像を表示装置２００で再生させる再生時に、全方位映像と共に送信する指定情報には、指定位置を基準とした一部の画角（トリミング領域）を規定する情報が含まれるとした。しかし、トリミング領域を規定する情報を含むことは必須でなく、表示装置２００は、受信した指定位置を基準として、表示装置２００の操作者が指定するサイズの画角を切り出し領域として切り出してもよい。
【００８３】
なお、上述のように、ＣＰＵ１３１またはＣＰＵ３２０が行うものとして説明した上述の各種制御は、１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
【００８４】
また、本発明が適用される撮像装置１００は、カメラと呼称される装置に限定されず、全方位映像を撮影する機能を有する装置であればよい。また、通信先の装置として表示装置２００を例示したが、全方位映像を切り出して表示する機能を有する装置であれば本発明を適用可能である。
【００８５】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【００８６】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【符号の説明】
【００８７】
１００  撮像装置
１０５、１０６  撮像素子
１０９  メモリ制御部
１１１  通信部
１２１  記録媒体
２００  表示装置
【図１】
2020025186.tif 000003
【図２】
2020025186.tif 000004
【図３】
2020025186.tif 000005
【図４】
2020025186.tif 000006
【図５】
2020025186.tif 000007
【図６】
2020025186.tif 000008
【図７】
2020025186.tif 000009
【図８】
2020025186.tif 000010
【図９】
2020025186.tif 000011