(57)【特許請求の範囲】
【請求項１】
パノラマビデオジッター補正の方法であって、前記方法は、
携帯端末の現在の状態のタイムスタンプと、加速度計数値と角速度数値をリアルタイムで取得する工程と、
拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定する工程と、
現在の状態の回転ベクトルに基づいて、ロドリゲスの回転公式により、現在の回転行列を計算する工程と、
現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成する工程と、を含む、
ことを特徴とする方法。
【請求項２】
前記携帯端末の加速度計数値をリアルタイムで取得する工程は、具体的に、重力センサーを用いて三軸の加速度計数値を読み取り、
前記携帯端末の角速度数値をリアルタイムで取得する工程は、具体的に、角速度センサーを用いて三軸の角速度数値を読み取る、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記携帯端末の現在の状態のタイムスタンプと、加速度計数値と角速度数値をリアルタイムで取得の後、前記方法は、
ローパスフィルタにより加速度計数値と角速度数値をノイズ低減処理する工程、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記ローパスフィルタにより加速度計数値と角速度数値をノイズ低減処理する工程は、具体的に、
公式ｄ’ｉ＝α・ｄｉ＋（１−α）・ｄ’ｉ−１によって、それぞれ加速度計数値と角速度数値をローパスフィルタノイズ低減処理し、ここで、ｄｉは第ｉ時刻の加速度計数値或いは角速度数値を表し、ｄ’ｉは第ｉ時刻におけるローパスフィルタ後の加速度計数値或いは角速度数値を表し、ｄ’ｉ−１は第ｉ−１時刻におけるローパスフィルタ後の加速度計数値或いは角速度数値を表し、αは平滑因子を表し、
0006941687.tif 000014
ここで、ｆｃはローパスフィルタの遮断周波数を表し、Ｒｃは時定数を表し、Δｔはサンプリング時間間隔を表す工程、を含む、
ことを特徴とする請求項３に記載の方法。
【請求項５】
前記拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定する工程は、具体的に、
0006941687.tif 000015
直前の状態の観測共分散行列Ｐｋ−１｜ｋ−１と、現在の状態の状態遷移行列Ｆｋと、プロセスノイズＱを利用して、現在の状態の観測共分散行列Ｐｋ｜ｋ−１を推定する工程と、
推定した現在の状態の観測共分散行列Ｐｋ｜ｋ−１と、観測行列Ｈｋと、ノイズ分散行列Ｒを利用して、現在の状態の最適カルマン利得行列Ｋｋを計算する工程と、
0006941687.tif 000016
【請求項６】
0006941687.tif 000017
0006941687.tif 000018
0006941687.tif 000019
前記直前の状態の観測共分散行列Ｐｋ−１｜ｋ−１と、現在の状態の状態遷移行列Ｆｋと、プロセスノイズＱを利用して、現在の状態の観測共分散行列Ｐｋ｜ｋ−１を推定する工程は、具体的に、
0006941687.tif 000020
前記推定した現在の状態の観測共分散行列Ｐｋ｜ｋ−１と、観測行列Ｈｋと、ノイズ分散行列Ｒを利用して、現在の状態の最適カルマン利得行列Ｋｋを計算する工程は、具体的に、
0006941687.tif 000021
【請求項７】
前記現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成する工程は、具体的に、
経緯画像上のポイントを球形画像上のポイントにマッピングする工程と、
単位球上のすべてのポイントをトラバースし、現在の回転行列に従って単位球上のすべてのポイントを回転させ、安定したビデオフレームを生成する工程と、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項８】
前記現在の回転行列に従って単位球上のすべてのポイントを回転させ、安定したビデオフレームを生成する工程は、具体的に、以下の公式を採用することを特徴とする請求項７に記載の方法。
0006941687.tif 000022
ここで、ｘ，ｙ，ｚは単位円が回転する前の球面座標を表し、ｘｎｅｗ，ｙｎｅｗ，ｚｎｅｗは回転後の球面座標を表し、Ｍｋは現在の回転行列を表し、ｔは変位ベクトルｔ＝［０，０，０］Ｔを表す。
【請求項９】
パノラマビデオジッター補正のシステムであって、前記システムは、
携帯端末の現在の状態のタイムスタンプと、加速度計数値と角速度数値をリアルタイムで取得するための取得モジュールと、
拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定するための推定モジュールと、
現在の状態の回転ベクトルに基づいて、ロドリゲスの回転公式により、現在の回転行列を計算するための計算モジュールと、
現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成するためのビデオフレーム生成モジュールと、を含む、
ことを特徴とするシステム。
【請求項１０】
前記システムは、ローパスフィルタにより加速度計数値と角速度数値をノイズ低減処理するためのノイズ低減モジュールを含む、
ことを特徴とする請求項９に記載のシステム。
【請求項１１】
前記推定モジュールは、具体的に、
0006941687.tif 000023
直前の状態の観測共分散行列Ｐｋ−１｜ｋ−１と、現在の状態の状態遷移行列Ｆｋと、プロセスノイズＱを利用して、現在の状態の観測共分散行列Ｐｋ｜ｋ−１を推定するための観測共分散行列推定モジュールと、
推定した現在の状態の観測共分散行列Ｐｋ｜ｋ−１と、観測行列Ｈｋと、ノイズ分散行列Ｒを利用して、現在の状態の最適カルマン利得行列Ｋｋを計算するための最適カルマン利得行列モジュールと、
0006941687.tif 000024
ことを特徴とする請求項９又は請求項１０に記載のシステム。
【請求項１２】
前記ビデオフレーム生成モジュールは、具体的に、
経緯画像上のポイントを球形画像上のポイントにマッピングするためのマッピングモジュールと、
単位球上の全モジュールのポイントをトラバースし、現在の回転行列に従って単位球上の全モジュールのポイントを回転させ、安定したビデオフレームを生成するための回転モジュールと、を含む、
ことを特徴とする請求項9に記載のシステム。
【請求項１３】
携帯端末であって、
メモリと、プロセッサとを含み、
前記プロセッサと前記メモリとは、バスにより電気的に接続され、
前記メモリは、ソフトウェアプログラム及びモジュールを記憶することに用いられ、
前記プロセッサは、メモリに記憶されたプログラムコードを呼び出すことに用いられ、
携帯端末の現在の状態のタイムスタンプと、加速度計数値と角速度数値をリアルタイムで取得する工程と、
拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定する工程と、
現在の状態の回転ベクトルに基づいて、ロドリゲスの回転公式により、現在の回転ベクトルを計算する工程と、
現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成する工程と、を実行する、
ことを特徴とする携帯端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオの分野に属し、より具体的には、パノラマビデオジッター補正の方法、システム及び携帯端末に関する。
【背景技術】
【０００２】
従来技術によって提供されるパノラマビデオ（ｐａｎｏｒａｍａ  ｖｉｄｅｏ）は、ＶＲ眼鏡をかけて見る場合に、吐気と眩暈とを感じさせる。ＶＲ動揺病（ｍｏｔｉｏｎ  ｓｉｃｋｎｅｓｓ）は、あまりよく解決されていない問題であり、ハードウェア部分でブレークスルーできていない上に、ソフトウェア部分も一因である。特に、ＶＲパノラマビデオは、携帯式のパノラマカメラを用いて撮像すると、画像のジッター（ｊｉｔｔｅｒ）のため、ＶＲ動揺病の発生が更に加速される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、パノラマビデオジッター補正の方法、システム及び携帯端末を提供し、画像のジッターがＶＲ動揺病の発生を更に加速させる問題を解決しようとすることにある。
【課題を解決するための手段】
【０００４】
第１の態様では、本発明は、パノラマビデオジッター補正の方法を提供し、前記方法は、
携帯端末の現在の状態のタイムスタンプと、加速度計数値と角速度数値をリアルタイムで取得する工程と、
拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定する工程と、
現在の状態の回転ベクトルに基づいて、ロドリゲスの回転公式により、現在の回転行列を計算する工程と、
現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成する工程と、を含む。
【０００５】
第２の態様では、本発明は、パノラマビデオジッター補正のシステムを提供し、前記システムは、
携帯端末の現在の状態のタイムスタンプと、加速度計数値と角速度数値をリアルタイムで取得するための取得モジュールと、
拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定するための推定モジュールと、
現在の状態の回転ベクトルに基づいて、ロドリゲスの回転公式により、現在の回転行列を計算するための計算モジュールと、
現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成するためのビデオフレーム生成モジュールと、を含む。
【０００６】
第３の態様では、本発明は、携帯端末を提供し、
メモリと、プロセッサとを含み、
前記プロセッサと前記メモリとは、バスにより電気的に接続され、
前記メモリは、ソフトウェアプログラム及びモジュールを記憶することに用いられ、
前記プロセッサは、メモリに記憶されたプログラムコードを呼び出すことに用いられ、
携帯端末の現在の状態のタイムスタンプと、加速度計数値と角速度数値をリアルタイムで取得する工程と、
拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定する工程と、
現在の状態の回転ベクトルに基づいて、ロドリゲスの回転公式により、現在の回転行列を計算する工程と、
現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成する工程と、を実行する。
【発明の効果】
【０００７】
加速度計数値から推定された角度は、干渉（例えば、ウォーキング、ハイキング、ランニングなど）を受け易く、時間の累積により、角速度の累積誤差がますます増大する。本発明において、拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせることによって、現在の状態の回転ベクトルを推定し、現在の状態の回転ベクトルをロドリゲスの回転公式（Ｒｏｄｒｉｇｕｅｓ'  ｒｏｔａｔｉｏｎ  ｆｏｒｍｕｌａ）により、現在の回転行列を計算し、次に、パノラマ画像を回転させ、最終的に、ジッターのビデオフレームを安定させ、ＶＲ動揺病を軽減できる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の第１の実施形態が提供するパノラマビデオジッター補正の方法を示すフローチャートである。
【図２】図２は、本発明の第１の実施形態が提供するパノラマビデオジッター補正の方法においての工程Ｓ１０２を示すフローチャートである。
【図３】図３は、本発明の第２の実施形態が提供するパノラマビデオジッター補正のシステムを示す概略図である。
【図４】図４は、本発明の第３の実施形態が提供する携帯端末の構成を示す概略図である。
【発明を実施するための形態】
【０００９】
本発明の目的、技術方案及び有益効果を明らかにするために、以下、図面と実施形態を参照して本発明を詳細に説明する。当然のことながら、ここで説明する具体的な実施形態は、本発明を解釈するためにのみ用い、本発明の保護範囲を限定するものではない。
【００１０】
本発明に記載された技術方案を説明するため、以下、具体的な実施形態により説明する。
【００１１】
＜第１の実施形態＞
【００１２】
図１を参照すると、本発明の第１の実施形態が提供するパノラマビデオジッター補正の方法は、以下の工程を含む。
【００１３】
Ｓ１０１、携帯端末の現在の状態のタイムスタンプ（ｔｉｍｅ  ｓｔａｍｐ）と、加速度計数値と角速度数値をリアルタイムで取得する。
【００１４】
本発明の第１の実施形態では、
携帯端末の加速度計数値をリアルタイムで取得するため、具体的には、重力センサーを用いて三軸の加速度計数値を読み取ることができる。
携帯端末の角速度数値をリアルタイムで取得するため、具体的には、角速度センサーを用いて三軸の角速度数値を読み取ることができる。
【００１５】
本発明の第１の実施形態では、Ｓ１０１の後に以下の工程を含むこともできる。
ローパスフィルタ（ｌｏｗ−ｐａｓｓ  ｆｉｌｔｅｒ）により加速度計数値と角速度数値をノイズ低減処理する。具体的には、以下の工程を含むことができる。
公式ｄ’ｉ＝α・ｄｉ＋（１−α）・ｄ’ｉ−１によって、それぞれ加速度計数値と角速度数値をローパスフィルタによりノイズ低減処理する。ここで、ｄｉは第ｉ時刻の加速度計数値又は角速度数値を表し、ｄ’ｉは第ｉ時刻におけるローパスフィルタ後の加速度計数値又は角速度数値を表し、ｄ’ｉ−１は第ｉ−１時刻におけるローパスフィルタ後の加速度計数値又は角速度数値を表す。αは平滑因子を表し、
0006941687.tif 000002
ここで、ｆｃはローパスフィルタの遮断周波数を表し、Ｒｃは時定数を表し、Δｔはサンプリング時間間隔を表す。
【００１６】
Ｓ１０２、拡張カルマンフィルタ（ｅｘｔｅｎｄｅｄ  ｋａｌｍａｎ  ｆｉｌｔｅｒ）により加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定する。
【００１７】
拡張カルマンフィルタは、非線形（ｎｏｎ  ｌｉｎｅａｒ）システムを線形化してから、カルマンフィルタにする。カルマンフィルタは効率的な再帰的フィルタ（ｒｅｃｕｒｓｉｖｅ  ｆｉｌｔｅｒ）であり、ノイズを完全には含まない一連の測量から動態システムの状態を推定することができる。
【００１８】
図２を参照すると、本発明の第１の実施形態では、Ｓ１０２は、具体的に、以下の工程を含むことができる。
【００１９】
0006941687.tif 000003
【００２０】
本発明の第１の実施形態では、Ｓ１０２１は、具体的に、以下の工程を含むことができる。
【００２１】
0006941687.tif 000004
【００２２】
0006941687.tif 000005
【００２３】
0006941687.tif 000006
【００２４】
Ｓ１０２２、直前の状態の観測共分散行列Ｐｋ−１｜ｋ−１と、現在の状態の状態遷移行列Ｆｋと、プロセスノイズＱを利用して、現在の状態の観測共分散行列Ｐｋ｜ｋ−１を推定する。
0006941687.tif 000007
【００２５】
Ｓ１０２３、推定した現在の状態の観測共分散行列Ｐｋ｜ｋ−１と、観測行列Ｈｋと、ノイズ分散行列Ｒを利用して、現在の状態の最適カルマン利得行列Ｋｋを計算する。
【００２６】
本発明の第１の実施形態では、Ｓ１０２３は、具体的に、以下の工程を含むことができる。
【００２７】
0006941687.tif 000008
【００２８】
0006941687.tif 000009
【００２９】
本発明の第１の実施形態では、Ｓ１０２４は、具体的に、以下の工程を含むことができる。
【００３０】
0006941687.tif 000010
【００３１】
Ｓ１０３、現在の状態の回転ベクトルに基づいて、ロドリゲスの回転公式により、現在の回転行列を計算する。
【００３２】
ロドリゲスの回転公式は、３次元空間において、１つのベクトルが回転軸回りに所定の角度を回転させて得られる新ベクトルの計算式である。当該式は、元のベクトルと、回転軸と、それらのクロス積をフレームとして回転後のベクトルを表す。
【００３３】
Ｓ１０４、現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成する。
【００３４】
本発明の第１の実施形態では、Ｓ１０４は、具体的に、以下の工程を含むことができる。
【００３５】
経緯画像上のポイントを球形画像上のポイントにマッピングする。
【００３６】
単位球上のすべてのポイントをトラバースし、現在の回転行列に従って単位球上のすべてのポイントを回転させ、安定したビデオフレームを生成する。
【００３７】
ここで、現在の回転行列に従って単位球上のすべてのポイントを回転させる場合、具体的に、以下の公式を採用できる。
0006941687.tif 000011
ここで、ｘ，ｙ，ｚは単位円が回転する前の球面座標を表し、ｘｎｅｗ，ｙｎｅｗ，ｚｎｅｗは回転後の球面座標を表し、Ｍｋは現在の回転行列を表し、ｔは変位ベクトルｔ＝［０，０，０］Ｔを表す。
【００３８】
＜第２の実施形態＞
【００３９】
図３を参照すると、本発明の第２の実施形態によって提供されるパノラマビデオジッター補正のシステムは、
携帯端末の現在の状態のタイムスタンプと、加速度計数値と角速度数値をリアルタイムで取得するための取得モジュール１１と、
拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定するための推定モジュール１２と、
現在の状態の回転ベクトルに基づいて、ロドリゲスの回転公式により、現在の回転行列を計算するための計算モジュール１３と、
現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成するためのビデオフレーム生成モジュール１４と、を含む。
【００４０】
本発明の第２の実施形態では、前記システムは、
ローパスフィルタにより加速度計数値と角速度数値をノイズ低減処理するためのノイズ低減モジュールを含むこともできる。
【００４１】
前記推定モジュールは、具体的に、
0006941687.tif 000012
直前の状態の観測共分散行列Ｐｋ−１｜ｋ−１と、現在の状態の状態遷移行列Ｆｋと、プロセスノイズＱを利用して、現在の状態の観測共分散行列Ｐｋ｜ｋ−１を推定するための観測共分散行列モジュールと、
推定した現在の状態の観測共分散行列Ｐｋ｜ｋ−１と、観測行列Ｈｋと、ノイズ分散行列Ｒを利用して、現在の状態の最適カルマン利得行列Ｋｋを計算するための最適カルマン利得行列モジュールと、
0006941687.tif 000013
【００４２】
前記ビデオフレーム生成モジュールは、具体的に、
経緯画像上のポイントを球形画像上のポイントにマッピングするためのマッピングモジュールと、
単位球上の全モジュールのポイントをトラバースし、現在の回転行列に従って単位球上の全モジュールのポイントを回転させ、安定したビデオフレームを生成するための回転モジュールと、を含むことができる。
【００４３】
＜第３の実施形態＞
【００４４】
図４は、本発明の第３の実施形態によって提供される携帯端末の具体的な構造図を示す。当該携帯端末１００は、上記の実施形態によって提供されるパノラマビデオジッター補正の方法とシステムを実施することに用いられる。
【００４５】
図４を参照すると、本発明の第３の実施形態によって提供される携帯端末１００は、１つ以上（図には１つだけ示す）のコンピュータ読み取り可能な記録媒体を有するメモリ１０１と、１つ以上（図には１つだけ示す）の処理コアを有するプロセッサ１０２と、表示モジュール１０３と、電源１０４などの部品とを含むことができる。当業者は、図４に示すような携帯端末が携帯端末の限定を構成せず、図に示すより多い又はより少ない部品を含むことができ、又は特定の部品を組み合わせ、又は異なる部品配置を含むことができることを理解できる。ここで、プロセッサ１０２とメモリ１０１はバスにより電気的に接続される。メモリ１０１は、ソフトウェアプログラム及びモジュールを記憶することに用いられ、例えば、上記の実施形態におけるパノラマビデオジッター補正に対応した方法やシステムなどのプログラム指令又はモジュールを記憶することに用いられる。プロセッサ１０２は、メモリ１０１に記憶されたプログラムコードを呼び出すことに用いられ、且つ以下の操作を実行する。
【００４６】
携帯端末の現在の状態のタイムスタンプと、加速度計数値と角速度数値をリアルタイムで取得する工程と、
拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせて、現在の状態の回転ベクトルを推定する工程と、
現在の状態の回転ベクトルに基づいて、ロドリゲスの回転公式により、現在の回転行列を計算する工程と、
現在の回転行列に従ってパノラマ画像を回転させ、安定したビデオフレームを生成する工程と、を実行する。
【００４７】
加速度計数値から推定された角度は、干渉（例えば、ウォーキング、ハイキング、ランニングなど）を受け易く、時間の累積により、角速度の累積誤差がますます増大する。本発明において、拡張カルマンフィルタを用いて加速度計数値と角速度数値を組み合わせることによって、現在の状態の回転ベクトルを推定し、現在の状態の回転ベクトルをロドリゲスの回転公式により、現在の回転行列を計算し、次に、パノラマ画像を回転させ、最終的に、ジッターのビデオフレームを安定させ、ＶＲ動揺病を軽減できる。
【００４８】
当業者は、上記の実施形態に記載された方法の全部又は一部が、プログラムにより関連するハードウェアを制御することによって実現できることを理解できる。前記プログラムは、１つのコンピュータ読み取り可能な記録媒体に記載されることができる。前記記録媒体は、例えば、ＲＯＭ、ＲＡＭ、ディスク、光ディスクなどである。
【００４９】
なお、上記の実施形態は、本発明の好ましい実施形態にすぎず、本発明の保護範囲を制限するものではなく、本発明の趣旨及び原則内で行われたいかなる修正、等価な置換及び改善なども、本発明の保護範囲を逸脱しない。
【図１】
0006941687.tif 000025
【図２】
0006941687.tif 000026
【図３】
0006941687.tif 000027
【図４】
0006941687.tif 000028