(57)【要約】  本発明は、映像処理分野に関し、パノラマ映像の手振れ補正方法、装置及び携帯端末を提供する。本発明による方法は、携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得し、拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定し、ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させ、ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得し、現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成する。本発明によれば、より正確な回転行列を得て、現在の回転行例によってパノラマ画像を回転させて安定した映像フレームを生成することができる。これにより、最終的に振れる映像フレームを安定させて、ＶＲ酔いを低減することができ、ノイズの多い場面やほとんどのスポーツシーンに対し非常に強いロバスト性をもたらす。
2020536460.tif 000002
【特許請求の範囲】
【請求項１】
携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得し、
拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定し、
ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させ、
ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得し、
現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成する
ことを特徴とするパノラマ映像の手振れ補正方法。
【請求項２】
携帯端末におけるジャイロスコープの加速度カウント値をリアルタイムで取得することは、加速度センサーを利用して３軸加速度カウント値を読み込むことであり、
携帯端末におけるジャイロスコープの角速度値をリアルタイムで取得することは、ジャイロセンサーを利用して３軸角速度カウント値を読み込むことである
ことを特徴とする請求項１に記載のパノラマ映像の手振れ補正方法。
【請求項３】
携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得した後、更に、
ローパスフィルタリングを利用して加速度カウント値に対し雑音低減処理を行い、
2020536460.tif 000021
に基づいて加速度カウント値に対し、ローパスフィルタリングによる雑音低減処理を行い、ここで、d’iは第i時点のローパスフィルタリング後の加速度カウント値であり、diは第i時点の加速度カウント値であり、Riはジャイロスコープの第iフレーム映像の相対回転量で、Ri=exp[-ωi・Δt]xであり、ωiは第i時点の角速度値であり、d’i-1は第i−１時点のフィルタリング後の加速度カウント値であり、αはスムージング因子で、
2020536460.tif 000022
であり、fcはローパスフィルタリングの遮断周波数であり、Rcは時定数であり、Δtはジャイロスコープデータのサンプリング時間の間隔である
ことを特徴とする請求項１に記載のパノラマ映像の手振れ補正方法。
【請求項４】
前記拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定することは、
Ｓ１０２１：状態回転量を初期化し、
2020536460.tif 000023
ここで、d0は初期に測定した加速度値であり、gはワールド座標系の重力ベクトルであり、
過程共分散を初期化し、
2020536460.tif 000024
Ｓ１０２２：角速度値ωkを使用して第ｋ時点の状態遷移行列Φ(ωk)を計算し、
2020536460.tif 000025
ここで、ωkは第ｋ時点の角速度値であり、Δtはジャイロスコープデータのサンプリング時間の間隔であり、
2020536460.tif 000026
2020536460.tif 000027
Ｓ１０２４：加速度値dkにより観測量の雑音分散行列を更新し、観測遷移ヤコビ行列Hkを計算し、現在の観測量と推定観測量誤差ekを計算し、
2020536460.tif 000028
ここで、
2020536460.tif 000029
2020536460.tif 000030
ここで、ｈは観察関数であり、
2020536460.tif 000031
ここで、ｇはワールド座標系の重力ベクトルであり、ｑは状態量、即ちワールド座標系からジャイロスコープ座標系までの回転量であり、vkは測定雑音であり、
2020536460.tif 000032
2020536460.tif 000033
ことを特徴とする請求項１又は３に記載のパノラマ映像の手振れ補正方法。
【請求項５】
前記ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させることは、
Tk≧tj≧tk-1になるように前記ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させることであり、
ここで、tjはパノラマ映像のタイムスタンプであり、tkはジャイロスコープの第ｋフレームのタイムスタンプであり、tk-1はジャイロスコープの第ｋ-1フレームのタイムスタンプである
ことを特徴とする請求項４に記載のパノラマ映像の手振れ補正方法。
【請求項６】
前記ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得することは、
隣接するジャイロスコープのタイムスタンプの相対回転量を計算し、
2020536460.tif 000034
クォータニオン補間を行って、パノラマ映像フレームから第ｋフレームまでの相対回転量を取得し、
2020536460.tif 000035
パノラマ映像フレーム中の第ｊフレームの映像の回転行列を計算する
2020536460.tif 000036
ことを特徴とする請求項５に記載のパノラマ映像の手振れ補正方法。
【請求項７】
前記現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成することは、
経緯度二次元画像における格子点を球面座標系にマッピングし、
単位球上のすべての点をトラバースして、現在の回転行列を利用して単位球上のすべての点に対し回転を行って、安定した映像フレームを生成し、
ここで、下記式により前記現在の回転行列を利用して単位球上のすべての点に対し回転を行って、安定した映像フレームを生成し、
2020536460.tif 000037
ここで、[x,y,z]Tは単位円の回転前の球面座標であり、[xnew,ynew,znew]Tは回転後の球面座標であり、Qjは現在の回転行列であり、ｔは変位ベクトルで、t=[0,0,0]Tである
ことを特徴とする請求項６に記載のパノラマ映像の手振れ補正方法。
【請求項８】
携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得する取得モジュールと、
拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定する推定モジュールと、
ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させる同期モジュールと、
ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得する補間モジュールと、
現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成する回転モジュールとを備える
ことを特徴とするパノラマ映像の手振れ補正装置。
【請求項９】
コンピュータープログラムが記憶されており、
処理装置により前記コンピュータープログラムを実行する際、前記請求項１乃至７のいずれか一項に記載のパノラマ映像の手振れ補正方法を実現する
ことを特徴とするコンピューター可読記憶媒体。
【請求項１０】
一つ又は複数の処理装置と、
記憶装置と、
一つ又は複数のコンピュータープログラムとを備え、
前記一つ又は複数のコンピュータープログラムは、前記記憶装置に記憶され、前記一つ又は複数の処理装置により実行されるように配置され、
前記処理装置により前記コンピュータープログラムを実行する際、前記請求項１乃至７のいずれか一項に記載のパノラマ映像の手振れ補正方法を実現する
ことを特徴とする携帯端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理の分野に関し、特に、パノラマ映像の手振れ補正方法、装置及び携帯端末に関する。
【背景技術】
【０００２】
従来技術によるパノラマ映像は、ＶＲゴーグルを掛けて見ると、吐き気、めまいなどの違和感を生じ、ＶＲ酔いは、未だあまり解決されてない問題である。ハードウェア面でブレークスルーできていないことに加えて、ソフトウェア面での原因もある。特に、ＶＲパノラマ映像は、例えば、手持ち式パノラマカメラを使用して撮影する場合、画面の手振れによるＶＲ酔いの発生が更に加速される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、パノラマ映像の手振れ補正方法、装置、コンピューター可読記憶媒体及び携帯端末を提供し、画面の手振れがＶＲ酔いの発生を加速させる問題を解決することである。
【課題を解決するための手段】
【０００４】
本発明によるパノラマ映像の手振れ補正方法は、携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得し、拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定し、ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させ、ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得し；現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成する。
【０００５】
また、本発明によるパノラマ映像の手振れ補正装置は、携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得する取得モジュールと、拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定する推定モジュールと、ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させる同期モジュールと、ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得する補間モジュールと、現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成する回転モジュールとを備える。
【０００６】
また、本発明によるコンピューター可読記憶媒体は、コンピュータープログラムが記憶されており、処理装置により前記コンピュータープログラムを実行する際、本発明による前記パノラマ映像の手振れ補正方法を実現する。
【０００７】
また、本発明による携帯端末は、一つ又は複数の処理装置と、記憶装置と、一つ又は複数のコンピュータープログラムとを備え、前記一つ又は複数のコンピュータープログラムは、前記記憶装置に記憶され、前記一つ又は複数の処理装置により実行されるように配置され、前記処理装置により前記コンピュータープログラムを実行する際、本発明による前記パノラマ映像の手振れ補正方法を実現する。
【発明の効果】
【０００８】
本発明によれば、ジャイロスコープの状態に対しクォータニオン補間を行ってパノラマ映像フレームに対応する回転行列を取得するため、より正確な回転行列を得ることができる。そして、現在の回転行例によってパノラマ画像を回転させて安定した映像フレームを生成する。これにより、最終的に振れる映像フレームを安定させて、ＶＲ酔いを低減することができ、ノイズの多い場面やほとんどのスポーツシーンに対し非常に強いロバスト性をもたらす。
【図面の簡単な説明】
【０００９】
【図１】本発明の第一の実施形態によるパノラマ映像の手振れ補正方法を説明するためのフローチャートである。
【図２】本発明の第一の実施形態によるパノラマ映像の手振れ補正方法のステップＳ１０２のフローチャートである。
【図３】本発明の第一の実施形態によるパノラマ映像の手振れ補正装置の構成図である。
【図４】本発明の第一の実施形態による携帯端末の構成図である。
【発明を実施するための形態】
【００１０】
本発明の目的、技術的手段及び有益な効果をより明確に説明するために、以下、図面、実施形態に基づいて具体的に説明する。当然のことであるが、下記実施形態は本発明を説明するためのものであり、本発明を限定するものではない。
【００１１】
[第一の実施形態]
図１に示すように、本実施形態によるパノラマ映像の手振れ補正方法は以下のステップを含む。
【００１２】
Ｓ１０１：携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得する。
ここで、携帯端末におけるジャイロスコープの加速度カウント値をリアルタイムで取得することは、加速度センサーを利用して３軸加速度カウント値を読み込むことである。
また、携帯端末におけるジャイロスコープの角速度値をリアルタイムで取得することは、ジャイロセンサーを利用して３軸角速度カウント値を読み込むことである。
【００１３】
ステップＳ１０１を行った後、下記のようなステップを行ってもよい。即ち、ローパスフィルタリングを利用して、加速度カウント値に対し雑音低減処理を行う。
【００１４】
具体的には、下記式に基づいて加速度カウント値に対し、ローパスフィルタリングによる雑音低減処理を行う。
2020536460.tif 000003
ここで、d’iは第i時点のローパスフィルタリング後の加速度カウント値であり、diは第i時点の加速度カウント値であり、Riはジャイロスコープの第iフレーム映像の相対回転量で、Ri=exp[-ωi・Δt]xであり、ωiは第i時点の角速度値であり、d’i-1は第i−１時点のフィルタリング後の加速度カウント値であり、αはスムージング因子で、
2020536460.tif 000004
であり、fcはローパスフィルタリングの遮断周波数であり、Rcは時定数であり、Δtはジャイロスコープデータのサンプリング時間の間隔である。
【００１５】
Ｓ１０２：拡張カルマンフィルター（Extended Kalman Filtering）を使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定する。
【００１６】
拡張カルマンフィルターは、非線形システムを線形化してからカルマンフィルタリングを行う、高効率の再帰形フィルターであって、雑音を完全に含んでいない一連のテストから、動的システムの状態を推定することができる。
【００１７】
図２に示すように、本実施形態においてＳ１０２は具体的に下記ステップを含んでもよい。
【００１８】
Ｓ１０２１：状態の回転量を初期化する。
2020536460.tif 000005
ここで、d0は初期に測定した加速度値であり、gはワールド座標系の重力ベクトルであり、
そして、過程共分散を初期化する。
2020536460.tif 000006
【００１９】
Ｓ１０２２：角速度値ωkを使用して第ｋ時点の状態遷移行列Φ(ωk)を計算する。
2020536460.tif 000007
ここで、ωkは第ｋ時点の角速度値であり、Δtはジャイロスコープデータのサンプリング時間の間隔である。
【００２０】
2020536460.tif 000008
ここで、Ｑkは状態雑音の共分散行列である。
2020536460.tif 000009
【００２１】
Ｓ１０２４：加速度値dkにより観測量の雑音分散行列を更新し、観測遷移ヤコビ行列Hkを計算し、現在の観測量と推定観測量誤差ekを計算する。
2020536460.tif 000010
ここで、αは加速度変化量のスムージング因子であり、βは加速度大きさの影響因子であり、
2020536460.tif 000011
ここで、ｈは観察関数であり、
2020536460.tif 000012
ここで、ｇはワールド座標系の重力ベクトルであり、ｑは状態量、即ちワールド座標系からジャイロスコープ座標系までの回転量であり、vkは測定雑音である。
2020536460.tif 000013
【００２２】
Ｓ１０２５：第ｋ時点の最適カルマン利得行列Kkを更新する。
2020536460.tif 000014
【００２３】
2020536460.tif 000015
【００２４】
Ｓ１０３：ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させる。
【００２５】
ステップＳ１０３は具体的には、tk≧tj＞tk-1になるようジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させる。ここで、tjはパノラマ映像のタイムスタンプであり、tkはジャイロスコープの第ｋフレームのタイムスタンプであり、tk-1はジャイロスコープの第ｋ-1フレームのタイムスタンプである。
【００２６】
Ｓ１０４：ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得する。
【００２７】
本実施形態において、Ｓ１０４は具体的に下記ステップを含んでもよい。まず、隣接するジャイロスコープのタイムスタンプの相対回転量を計算する。
2020536460.tif 000016
また、クォータニオン補間を行って、パノラマ映像フレームから第ｋフレームまでの相対回転量を取得する。
2020536460.tif 000017
ここで、Rjは第ｋフレームの相対回転量である。
2020536460.tif 000018
また、パノラマ映像フレーム中の第ｊフレームの映像の回転行列を計算する。
2020536460.tif 000019
【００２８】
Ｓ１０５：現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成する。
【００２９】
本実施形態において、Ｓ１０５は具体的に下記ステップを含んでもよい。即ち、経緯度二次元画像における格子点を球面座標系にマッピングし、単位球上のすべての点をトラバースして、現在の回転行列を使用して単位球上のすべての点に対し回転を行って、安定した映像フレームを生成する。
具体的には、下記式により現在の回転行列を使用して単位球上のすべての点に対し回転を行って、安定した映像フレームを生成する。
2020536460.tif 000020
ここで、[x,y,z]Tは単位円の回転前の球面座標であり、[xnew,ynew,znew]Tは回転後の球面座標であり、Qjは現在の回転行列であり、ｔは変位ベクトルで、t=[0,0,0]Tである。
【００３０】
[第二の実施形態]
図３に示すように、本実施形態によるパノラマ映像の手振れ補正装置は、携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得する取得モジュール１１と、拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定する推定モジュール１２と、ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させる同期モジュール１３と、ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得する補間モジュール１４と、現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成する回転モジュール１４とを備える。
【００３１】
本発明の第二の実施形態によるパノラマ映像の手振れ補正装置と第一の実施形態によるパノラマ映像の手振れ補正方法は、同一の概念に属し、詳しい実現については本明細書に記載されているので、ここでは改めて言及しない。
【００３２】
［第三の実施形態］
本実施形態よるコンピューター可読記憶媒体は、コンピュータープログラムが記憶されており、処理装置によりコンピュータープログラムを実行する際、上記第一の実施形態によるパノラマ映像の手振れ補正方法のステップを実現する。
【００３３】
［第四の実施形態］
図４には本実施形態による携帯端末の構成ブロック図が示され、携帯端末１００は、一つ又は複数の処理装置１０１と、記憶装置１０２と、一つ又は複数のコンピュータープログラムとを備える。処理装置１０１と記憶装置１０２は、バス（bus）により接続されており、一つ又は複数のコンピュータープログラムは記憶装置１０２に記憶され、一つ又は複数の処理装置１０１により実行されるように配置されている。処理装置１０１によりコンピュータープログラムを実行する際、上記第一の実施形態によるパノラマ映像の手振れ補正方法のステップを実現する。
【００３４】
本発明の実施形態において、ジャイロスコープの状態に対しクォータニオン補間を行ってパノラマ映像フレームに対応する回転行列を取得するため、より正確な回転行列を得ることができる。そして、現在の回転行例によってパノラマ画像を回転させて安定した映像フレームを生成する。これにより、最終的に振れる映像フレームを安定させて、ＶＲ酔いを低減することができ、ノイズの多い場面やほとんどのスポーツシーンに対し非常に強いロバスト性をもたらす。
【００３５】
当然のことであるが、上述した方法におけるすべて又は一部のステップは、プログラムで関連のハードウェアに指令を出して完了することができ、そのプログラムをコンピューター可読記憶媒体に記憶することができる。ここで、記憶媒体としては、例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスクなどがある。
【００３６】
以上のように、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、本発明の趣旨及びその範囲から逸脱しない限り、その趣旨に基づいて変更、同等代替又は改善することができ、いずれも本発明の保護範囲に含まれる。
【図１】
2020536460.tif 000038
【図２】
2020536460.tif 000039
【図３】
2020536460.tif 000040
【図４】
2020536460.tif 000041
【国際調査報告】
2020536460.tif 000042
2020536460.tif 000043
2020536460.tif 000044
2020536460.tif 000045