(57)【特許請求の範囲】
【請求項１】
球面全方位カメラにより撮像された球面全方位動画を、画像編集装置により各フレームごとに平面にマッピングされた状態で編集する画像編集方法であって、
前記各フレームごとに平面にマッピングされた状態の前記球面全方位動画を、前記画像編集装置に備わる表示部に表示しつつ前記画像編集装置により編集する第一ステップと、
前記画像編集装置に接続された、ジャイロセンサを備える映像出力機器が、前記画像編集装置における画像編集プログラムが前記映像出力機器への動画の出力に対応していない場合であっても、前記第一ステップによる任意の量の編集の後、編集された前記球面全方位動画を入力し、前記映像出力機器において、前記映像出力機器の向きに応じて、前記球面全方位動画の任意の方向の画像を見ることにより、前記任意の量の編集の正否を確認する第二ステップと、を備え、
前記第二ステップにおいて、前記映像出力機器に再生される動画を見ながら、不本意な編集箇所があった場合に、その時点で、前記画像編集装置は、再生を止めるように指示され、前記第一ステップに戻って前記球面全方位動画の修正を行うというように、前記第一ステップ及び前記第二ステップを巡廻的に繰り返すことにより、前記球面全方位動画を所望の状態にまで編集することを特徴とする画像編集方法。
【請求項２】
前記映像出力機器は、前記表示部に表示された画像をスクリーンキャプチャすることにより得られた情報を入力することを特徴とする請求項１に記載の画像編集方法。
【請求項３】
前記映像出力機器は、前記画像編集装置に備わるＨＤＭＩインターフェースから出力された映像信号をキャプチャすることにより前記球面全方位動画の情報を入力することを特徴とする請求項１に記載の画像編集方法。
【請求項４】
前記映像出力機器は、ヘッドマウントディスプレイ装置であることを特徴とする請求項１乃至３のいずれかに記載の画像編集方法。
【請求項５】
前記映像出力機器は、スマートフォンであることを特徴とする請求項１乃至３のいずれかに記載の画像編集方法。
【請求項６】
球面全方位カメラにより撮像された球面全方位動画を、各フレームごとに平面にマッピングされた状態で編集する画像編集装置と、
前記画像編集装置と接続された、ジャイロセンサを備えることにより入力される前記球面全方位動画の任意の方向の画像を見ることができる映像出力機器と、
を備える画像編集システムであって、
前記画像編集装置は、
表示部と、
前記各フレームごとに平面にマッピングされた状態の前記球面全方位動画を、前記表示部に表示しつつ、外部から入力される指示に応じて編集する編集制御手段と、
前記表示部に表示された画像と同一の画像を、外部からの指示に応じて、前記映像出力機器に出力する出力制御手段と、を有し、
前記映像出力機器は、
前記画像編集装置における画像編集プログラムが前記映像出力機器への動画の出力に対応していない場合であっても、前記編集された前記球面全方位動画を入力し、前記ジャイロセンサの検知による前記映像出力機器の向きに応じて、前記画像編集装置から入力した前記編集された前記球面全方位動画の任意の方向の画像を出力する出力制御手段を有し、
前記映像出力機器に出力された画像により前記画像編集装置の編集制御手段による編集の正否を確認し、不本意な編集箇所があった場合に、その時点で、前記画像編集装置は、再生を止めるように指示され、前記画像編集装置の編集制御手段による編集に戻るというように、前記画像編集装置の編集制御手段による編集と前記映像出力機器による編集正否の確認とを巡廻的に繰り返すことにより、前記球面全方位動画を所望の状態にまで編集することを特徴とする画像編集システム。
【請求項７】
球面全方位カメラにより撮像された球面全方位動画を、各フレームごとに平面にマッピングされた状態で編集する画像編集装置と、
前記画像編集装置と接続された、ジャイロセンサを備えることにより入力される前記球面全方位動画の任意の方向の画像を見ることができる映像出力機器と、に画像を編集させる画像編集プログラムであって、
前記画像編集装置には、
前記各フレームごとに平面にマッピングされた状態の前記球面全方位動画を、前記表示部に表示しつつ、外部から入力される指示に応じて編集する編集制御ステップと、
前記表示部に表示された画像と同一の画像を、外部からの指示に応じて、前記映像出力機器に出力する出力制御ステップと、が含まれ、
前記映像出力機器には、
前記画像編集装置における画像編集プログラムが前記映像出力機器への動画の出力に対応していない場合であっても、前記編集された前記球面全方位動画を入力し、前記ジャイロセンサの検知による前記映像出力機器の向きに応じて、前記画像編集装置から入力した前記編集された前記球面全方位動画の任意の方向の画像を出力する出力制御ステップが含まれ、
前記映像出力機器に出力された画像により前記画像編集装置における編集制御ステップによる編集の正否が確認され、不本意な編集箇所があった場合に、その時点で、前記画像編集装置の前記編集制御ステップに対し、再生を止めるような指示がなされ、前記編集制御ステップによる編集に戻るというように、前記画像編集装置における編集制御ステップによる編集と前記映像出力機器における出力制御ステップに基づく編集正否の確認とを巡廻的に繰り返すことにより、前記球面全方位動画を所望の状態にまで編集することを特徴とする画像編集プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像編集方法、画像編集システム、及び画像編集プログラムに関し、特に、球面全方位カメラにより撮像された球面全方位動画を編集する画像編集方法、画像編集システム、及び画像編集プログラムに関する。
【背景技術】
【０００２】
最近では、仰角０度のパノラマ画像が撮像できる全方位カメラのみならず、鉛直方向、すなわち天空に向けたカメラを備え、仰角９０度までを含めた画像、すなわち少なくとも半球面の範囲の画像（以下、「球面全方位画像」と称す）、を撮像することができる球面全方位カメラも普及し始めている。また、それらの全方位カメラは、動画としても撮像できる。
【０００３】
このような複数のカメラを備えた全方位カメラにより動画が撮像された場合、時系列に係る各フレームごとに、各カメラで得られた画像情報は、球面変換されたうえで合成されてフレーム単位では１つの球面全方位画像として構成され、更にそれらの球面全方位画像がフレームごとに平面にマッピングされ、例えばＪＰＥＧ（Joint Photographic Expert Group）等の手法により圧縮符号化されて記憶部に記憶される。
【０００４】
静止画としての球面全方位画像や、それらをフレームとして時系列に並べることにより構成される動画像（以下、「球面全方位動画」と称す）の情報は、例えば、ジャイロセンサを備えたヘッドマウントディスプレイ（Head Mount Display）（以下、「ＨＭＤ」と称す）に供給してやれば、それを装着したユーザは、頭の動き（向き）に応じて見る方向が変わる球面全方位画像又は動画を観賞することが可能となる。また、所定の処理により、立体視観賞も可能となる。
【０００５】
ところで、昨今、動画を編集できる汎用ソフトウェアも各種提供されている（例えば、アドビシステムズ社製Adobe Premier、アップル社製Final Cut Pro等や、特許文献１参照）。かかる画像編集ソフトウェアにより、不要なシーンをカットしたり、あるシーンと他のシーンを直接連結する等の処理を行うことができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２２３４１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、旧来の仰角０度の複数のパノラマ画像で構成された動画や球面全方位動画を上述のような画像編集ソフトウェアにより編集する場合、各フレームごとに、平面にマッピングした状態で行われる（特許文献１の図８参照）。従って、行っている編集作業により所望の動画が構成できているか正確に確認が困難である。特に、球面全方位動画にあっては、パノラマ形式（矩形にマッピングする形式）やドーム形式（図３参照）のマッピング形式が可能であるが、いずれにしても異様に湾曲した表示となるので、極めて困難である。
【０００８】
かかる環境において、実際の球面全方位を確認しようとする場合、現状では、編集した動画情報を一旦ファイルに落とし、通常の再生と同様に、専用の再生ソフトウェアによりジャイロセンサを備えたヘッドマウントディスプレイや携帯端末等に再生するしか方策がなく、非常に手数がかかる。かかる課題を解決するためには、球面全方位動画をマッピング平面上で編集しつつ、実際の動画を逐次確認できることが望ましい。
【０００９】
本発明は上述のような事情から為されたものであり、本発明の目的は、効率よく球面全方位動画を編集できる画像編集方法、画像編集システム、及び画像編集プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明の画像編集方法は、球面全方位カメラにより撮像された球面全方位動画を、画像編集装置により各フレームごとに平面にマッピングされた状態で編集する画像編集方法であって、前記各フレームごとに平面にマッピングされた状態の前記球面全方位動画を、前記画像編集装置に備わる表示部に表示しつつ前記画像編集装置により編集する第一ステップと、前記画像編集装置に接続された、ジャイロセンサを備える映像出力機器が、前記画像編集装置における画像編集プログラムが前記映像出力機器への動画の出力に対応していない場合であっても、前記第一ステップによる任意の量の編集の後、編集された前記球面全方位動画を入力し、前記映像出力機器において、前記映像出力機器の向きに応じて、前記球面全方位動画の任意の方向の画像を見ることにより、前記任意の量の編集の正否を確認する第二ステップと、を備え、前記第二ステップにおいて、前記映像出力機器に再生される動画を見ながら、不本意な編集箇所があった場合に、その時点で、前記画像編集装置は、再生を止めるように指示され、前記第一ステップに戻って前記球面全方位動画の修正を行うというように、前記第一ステップ及び前記第二ステップを巡廻的に繰り返すことにより、前記球面全方位動画を所望の状態にまで編集することを要旨とする。
【００１２】
例えば、前記映像出力機器は、前記表示部に表示された画像をスクリーンキャプチャすることにより得られた情報を入力したり、前記画像編集装置に備わるＨＤＭＩインターフェースから出力された映像信号をキャプチャすることにより前記球面全方位動画の情報を入力する。
【００１３】
また、例えば、前記映像出力機器は、ヘッドマウントディスプレイ装置であったり、スマートフォンである。
【００１４】
また、上記目的を達成するため、本発明の画像編集システムは、球面全方位カメラにより撮像された球面全方位動画を、各フレームごとに平面にマッピングされた状態で編集する画像編集装置と、前記画像編集装置と接続された、ジャイロセンサを備えることにより入力される前記球面全方位動画の任意の方向の画像を見ることができる映像出力機器と、を備える画像編集システムであって、前記画像編集装置は、表示部と、前記各フレームごとに平面にマッピングされた状態の前記球面全方位動画を、前記表示部に表示しつつ、外部から入力される指示に応じて編集する編集制御手段と、前記表示部に表示された画像と同一の画像を、外部からの指示に応じて、前記映像出力機器に出力する出力制御手段と、を有し、前記映像出力機器は、前記画像編集装置における画像編集プログラムが前記映像出力機器への動画の出力に対応していない場合であっても、前記編集された前記球面全方位動画を入力し、前記ジャイロセンサの検知による前記映像出力機器の向きに応じて、前記画像編集装置から入力した前記編集された前記球面全方位動画の任意の方向の画像を出力する出力制御手段を有し、前記映像出力機器に出力された画像により前記画像編集装置の編集制御手段による編集の正否を確認し、不本意な編集箇所があった場合に、その時点で、前記画像編集装置は、再生を止めるように指示され、前記画像編集装置の編集制御手段による編集に戻るというように、前記画像編集装置の編集制御手段による編集と前記映像出力機器による編集正否の確認とを巡廻的に繰り返すことにより、前記球面全方位動画を所望の状態にまで編集することを要旨とする。
【００１５】
また、上記目的を達成するため、本発明の画像編集プログラムは、球面全方位カメラにより撮像された球面全方位動画を、各フレームごとに平面にマッピングされた状態で編集する画像編集装置と、前記画像編集装置と接続された、ジャイロセンサを備えることにより入力される前記球面全方位動画の任意の方向の画像を見ることができる映像出力機器と、に画像を編集させる画像編集プログラムであって、前記画像編集装置には、前記各フレームごとに平面にマッピングされた状態の前記球面全方位動画を、前記表示部に表示しつつ、外部から入力される指示に応じて編集する編集制御ステップと、前記表示部に表示された画像と同一の画像を、外部からの指示に応じて、前記映像出力機器に出力する出力制御ステップと、が含まれ、前記映像出力機器には、前記画像編集装置における画像編集プログラムが前記映像出力機器への動画の出力に対応していない場合であっても、前記編集された前記球面全方位動画を入力し、前記ジャイロセンサの検知による前記映像出力機器の向きに応じて、前記画像編集装置から入力した前記編集された前記球面全方位動画の任意の方向の画像を出力する出力制御ステップが含まれ、前記映像出力機器に出力された画像により前記画像編集装置における編集制御ステップによる編集の正否が確認され、不本意な編集箇所があった場合に、その時点で、前記画像編集装置の前記編集制御ステップに対し、再生を止めるような指示がなされ、前記編集制御ステップによる編集に戻るというように、前記画像編集装置における編集制御ステップによる編集と前記映像出力機器における出力制御ステップに基づく編集正否の確認とを巡廻的に繰り返すことにより、前記球面全方位動画を所望の状態にまで編集することを要旨とする。
【発明の効果】
【００１６】
本発明の画像編集方法、画像編集システム、及び画像編集プログラムによれば、球面全方位動画をマッピング平面上で編集しつつ、ヘッドマウントディスプレイのようなジャイロセンサを備えた表示機器により、逐次実際の球面全方位動画を確認することができるので、効率よく球面全方位動画を編集できる。
【図面の簡単な説明】
【００１７】
【図１】本発明の画像編集システムにおける一実施形態のハードウェア構成ブロック図である。
【図２】本発明の画像処理プログラムの一実施形態の主要処理手順を示すフローチャートである。
【図３】球面全方位画像をドーム方式により平面にマッピングした画像を示す図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。  
図１は、本発明の画像編集システムにおける一実施形態のハードウェア構成ブロック図である。同図に示す一実施形態たる画像編集システムは、画像編集装置１と、それに接続されたＨＭＤ装置２とで構成されている。
【００１９】
そのうち、画像編集装置１は、概して、ＣＰＵ（Central Processing Unit）１１、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory）１３、ＨＤＤ（Hard Disk Drive）１４、キーボード１５、表示部１６、ＵＳＢ（Universal Serial Bus）インターフェース（Ｉ／Ｆ）１７を少なくとも備えている。本発明たる画像編集プログラムは、ＨＤＤ１４に格納されており、起動されると、ＲＡＭ１２に展開されつつ実行される。そして、操作者からのキーボード１５及び／又はマウス（図示せず）からの指示に応じて、表示部１６に表示されつつ実行される。なお、当該画像編集装置１は、典型的には汎用パーソナルコンピュータであるが、それに一般的に備わっている他の構成は省略している。
【００２０】
また、ＨＭＤ装置２は、制御装置２１と、ＨＭＤ２２とを備えている。ここでは、単体で動作可能なように、制御装置２１を含むＨＭＤ装置２として接続している。しかしながら、ＨＭＤと制御装置が別体で分離可能であるならば、画像編集装置１とのインターフェースに応じて、ＨＭＤ１を直接画像編集装置１に接続させるようにしてもよい。つまり、ここでは、ＵＳＢインターフェース１７を介して、画像編集装置１とＨＭＤ装置２とを接続しているが、他のインターフェースであってもよい。
【００２１】
図２は、本発明の画像処理プログラムの一実施形態の主要処理手順を示すフローチャートである。  
まず、編集処理対象である球面全方位動画は、球面全方位動画を撮影可能な全方向カメラから直接入力してもよいし、一旦サーバに格納したものをダウンロードするような方法で入力してもよい。いずれにしても、典型的には、球面全方位動画は、時系列の各球面全方位画像がＪＰＥＧ（Joint Photographic Expert Group）方式により圧縮符号化されて構成されているので、まず、復号化の必要がある。
【００２２】
そこで、図２の処理であるが、目的に応じて、編集を進めていく（ステップＳ１）。前述のように、ここでは、マッピング平面上での編集作業となる。そして、一段落の編集が終了したら確認するか否かを判断し（ステップＳ２）、確認しないのであれば、次の編集へ移行する（ステップＳ６，Ｓ１）。
【００２３】
一方、確認するのであれば（ステップＳ２において肯定判定）、表示部１６に表示されたプレビューウィンドウで再生表示させるとともに、ＵＳＢインターフェース１７を介してＨＭＤ装置２にも出力する（ステップＳ３）。なお、プレビューウィンドウに表示される動画は、前述のパノラマ形式又はドーム形式の動画である。そして、ＨＭＤ装置２の制御装置２１は、表示部１６のプレビューウィンドウに表示された表示情報と同一の情報を、三次元空間の球面（ポリゴン）に張り付ける処理を行うことにより、ＨＭＤ２２に表示するように制御を行う。従って、ＨＭＤ２２を装着した操作者（動画編集者）は、備わるジャイロセンサ（図示せず）により、頭の動き（向き）に応じて移行する球面全方位動画、すなわち仮想動画、をチェックすることができる。
【００２４】
具体的な編集操作としては、例えば、ＨＭＤ装置２で流れる動画を見ながら、不本意な編集箇所のある時点で、再生を止めるようにキーボード１５等を介して画像編集装置１に指示し、そしてその時点での動画の編集を画像編集装置１で動作している画像編集プログラム（ソフトウェア）を介して行い、修正後再度ＨＭＤ２２でチェックを行い、所望の動画が構成されるまでそれを繰りかえす、というような具合である。
【００２５】
つまり、図２に示すように、ＨＭＤ２２による確認によりＯＫと判断されなければ（ステップＳ４）、ステップＳ１に戻り、編集作業をやり直し、一方、ステップＳ４でＯＫと判断されれば、次に、編集全終了か否かを判断し、終了していなければ、次の一連の編集のために（ステップＳ６）、ステップＳ１に戻る。一方、編集全終了と判断すれば、処理を終了する。
【００２６】
なお、上述のステップＳ３においては、画像編集プログラム自体が、プレビューウィンドウでの再生表示と同時に、ＨＭＤ装置２への出力を行ってＨＭＤ装置２を直接制御しているので好適であるが、画像編集プログラムとは独立して、いわゆるスクリーンキャプチャ又はＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）キャプチャすること等によっても、編集環境を構築することができる。すなわち、ＨＭＤ装置に対応するように作られていない画像編集プログラムでもそのまま利用することが可能である。
【００２７】
例えば、スクリーンキャプチャする場合、画像編集プログラムとは独立したプログラムにより、プレビュー画像をキャプチャしてＲＡＭ１２に格納し、ＨＭＤ装置２の制御装置２１に送信することができる。
【００２８】
また、例えば、ＨＤＭＩからキャプチャする場合、制御装置２１は、マルチメディア情報用のＡＰＩ（Application Programming Interface）であるDirectShow（Microsoft社の登録商標）などを利用して、ＵＳＢインターフェースを介して接続された汎用のビデオキャプチャ装置から、ＨＤＭＩに出力されたプレビュー画像を取得することができる。
【００２９】
なお、このように、狭義の画像編集プログラムとは独立したプログラムによりＨＭＤ装置２が動画情報を取得する場合においても、本明細書においては、便宜上、その狭義の画像編集プログラムと独立プログラムを併せて広義の画像編集プログラムと称する。
【００３０】
また、上述した実施形態においては、ＨＭＤ装置２を採用しているが、その代わりに、ジャイロセンサを備えたスマートフォン等の携帯端末であってもよい。
【００３１】
以上のように、本発明の画像編集方法、画像編集システム、及び画像編集プログラムにおける一実施形態によれば、球面全方位動画の編集であっても、ＨＭＤ装置２により実際に見られるべき動画としてチェック可能であるので、効率よく球面全方位動画を編集することができる。
【産業上の利用可能性】
【００３２】
本発明の画像編集方法、画像編集システム、及び画像編集プログラムは、例えば、バーチャルカメラで見ることができる仮想３次元空間に係る動画の編集に採用できる。
【符号の説明】
【００３３】
１  画像編集装置
１１  ＣＰＵ
１２  ＲＡＭ
１３  ＲＯＭ
１４  ＨＤＤ
１５  キーボード
１６  表示部
１７  ＵＳＢインターフェース
２  ＨＭＤ装置
２１  制御装置
２２  ＨＭＤ
【図１】
0005927515.tif 000002
【図２】
0005927515.tif 000003
【図３】
0005927515.tif 000004