(57)【特許請求の範囲】
【請求項１】
撮影方向が逆の２台のカメラによって結像された２つの円の画像または映像フレームを受信するステップと、
撮影時の水平較正マトリックスを取得するステップと、
水平較正マトリックスに基づいて、２つの円の画像または映像フレームを、ＵＶマッピング方法により球面パノラマ数学モデルの左半球面と右半球面にそれぞれ貼り付けて、球面パノラマ数学モデルに貼り付けられたパノラマ画像または映像フレームを水平にするステップとを含み、
前記撮影時の水平較正マトリックスは、ジャイロスコープによって取得することができ、
前記ジャイロスコープによる撮影時の水平較正マトリックスの取得は、
撮影時に、ジャイロスコープの重力ベクトルと基準絶対水平重力ベクトルにより水平方向に較正されたクォータニオンを取得する、
ここで、v1からv2に回転変化する水平方向に較正されたクォータニオンqは、次のように計算され、
0006901580.tif 000012
0006901580.tif 000013
0006901580.tif 000014
0006901580.tif 000015
ここで、v1はジャイロスコープの重力ベクトル、v2は基準絶対水平重力ベクトル、angleは軸を中心に回転した角度、V3はV1とV2のマトリックスを乗算して得られるベクトルであり、
前記水平方向に較正されたクォータニオンは水平較正マトリックスに変換され、
具体的には、以下のように、前記水平方向に較正されたクォータニオンは４×４の水平較正マトリックスＭ０に変換される、
0006901580.tif 000016
ことを特徴とするパノラマ画像または映像の水平較正方法。
【請求項２】
前記撮影時の水平較正マトリックスは、ユーザーの手動較正によって取得することができ、
前記ユーザーの手動較正による撮影時の水平較正マトリックスの取得は、
ユーザーが手動で較正する前の初期のクォータニオンq1を取得すること、
0006901580.tif 000017
画面上のユーザーのジェスチャ操作指示を受け取り、初期のクォータニオンq1の式と、回転軸axisと当該軸を中心に回転させた角度angleから構成されるクォータニオンｑ2の式に基づいて、ジェスチャ操作後のクォータニオンｑ3を算出すること、
ことを特徴とする請求項１に記載のパノラマ画像または映像の水平較正方法。
ここで、回転軸axisと当該軸を中心に回転させた角度angleから構成されるクォータニオンｑ2の式は以下の通りであり、
0006901580.tif 000018
画面上のユーザーのジェスチャ操作指示は、ワールド座標系のＸ，Ｙ，Ｚ軸を中心にそれぞれ角度angle回転させることであり、
0006901580.tif 000019
ここで、dxはユーザーが画面を水平方向にスライドする際の成分値、dyはユーザーが画面を垂直方向にスライドする際の成分値、deltaSlopeはユーザーが2本指操作でスライドする際の勾配変化角度であり、
0006901580.tif 000020
最初の点の座標はＰ２（ｘ２,ｙ２）、2番目の点の座標はＰ２（ｘ２,ｙ２）、preslopeは前回の2本指操作でスライドしたときの勾配変化角度を指し、
ジェスチャ操作後のクォータニオンｑ3は下記式により得られ、
0006901580.tif 000021
ジェスチャ操作後のクォータニオンｑ3は水平較正マトリックスに変換され、
具体的には、以下のように、水平方向に較正されたクォータニオンを４×４の水平較正マトリックスＭ０に変換される。
0006901580.tif 000022
【請求項３】
前記水平較正マトリックスに基づいて、２つの円の画像または映像フレームをＵＶマッピング方法により球面パノラマ数学モデルの左半球面と右半球面にそれぞれ貼り付けるのは、
水平較正マトリックスと緯度および経度の球面パノラマ数学モデルを乗算して、相対回転の球面パノラマ数学モデルを得ること、
２つの円の画像または映像フレームを、ＵＶマッピング方法により相対回転した球面パノラマ数学モデルの左半球面と右半球面にそれぞれ貼り付けることを含む、
ことを特徴とする請求項２に記載のパノラマ画像または映像の水平較正方法。
【請求項４】
前記水平較正マトリックスと緯度および経度の球面パノラマ数学モデルを乗算して、相対回転した球面パノラマ数学モデルを得るのは、
ＵＶマッピングのデータを生成する際、緯度および経度の球面パノラマ数学モデルに基づいて、次式により各球面パノラマ数学モデルの頂点Ｖを取得すること、
0006901580.tif 000023
ここで、経度φの範囲は0-180度、緯度θの範囲は0〜360度であり、
次式により、頂点に水平較正マトリックスを乗算すること、
0006901580.tif 000024
水平較正マトリックスを乗算した頂点Ｖを緯度および経度に逆変換してＵＶ座標を計算することを含む、
ことを特徴とする請求項３に記載のパノラマ画像または映像の水平較正方法。
【請求項５】
前記２つの円の画像または映像フレームを、ＵＶマッピング方法により相対回転した球面パノラマ数学モデルの左半球面と右半球面にそれぞれ貼り付けるのは、
ＵＶ座標に基づいて、２つの円の画像または映像フレームをＵＶマッピング方法により相対回転した球面パノラマ数学モデルの左半球面と右半球面にそれぞれ貼り付けることである、
ことを特徴とする請求項４に記載のパノラマ画像または映像の水平較正方法。
【請求項６】
前記撮影時の水平較正マトリックスをジャイロスコープおよびユーザーの手動較正により取得した場合、水平較正マトリックスを乗算した頂点Ｖは、
頂点Ｖに、ユーザーの手動較正により取得した水平較正マトリックスを乗算して、中間マトリックスを取得し、前記中間マトリックスに、ジャイロスコープにより取得した撮影時の水平較正マトリックスを乗算することで取得する、
ことを特徴とする請求項４に記載のパノラマ画像または映像の水平較正方法。
【請求項７】
撮影方向が逆の２台のカメラによって結像された２つの円の画像または映像フレームを受信するための受信モジュールと、
撮影時の水平較正マトリックスを取得するための取得モジュールと、
水平較正マトリックスに基づいて、２つの円の画像または映像フレームをＵＶマッピング方法により球面パノラマ数学モデルの左半球面と右半球面にそれぞれ貼り付けて、球面パノラマ数学モデルに貼り付けられたパノラマ画像または映像フレームを水平にするためのマッピングモジュールとを含み、
前記撮影時の水平較正マトリックスは、ジャイロスコープによって取得することができ、
前記ジャイロスコープによる撮影時の水平較正マトリックスの取得は、
撮影時に、ジャイロスコープの重力ベクトルと基準絶対水平重力ベクトルにより水平方向に較正されたクォータニオンを取得する、
ここで、v1からv2に回転変化する水平方向に較正されたクォータニオンqは、次のように計算され、
0006901580.tif 000025
0006901580.tif 000026
0006901580.tif 000027
0006901580.tif 000028
ここで、v1はジャイロスコープの重力ベクトル、v2は基準絶対水平重力ベクトル、angleは軸を中心に回転した角度、V3はV1とV2のマトリックスを乗算して得られるベクトルであり、
前記水平方向に較正されたクォータニオンは水平較正マトリックスに変換され、
具体的には、以下のように、前記水平方向に較正されたクォータニオンは４×４の水平較正マトリックスＭ０に変換される、
0006901580.tif 000029
ことを特徴とするパノラマ画像または映像の水平較正システム。
【請求項８】
前記取得モジュールは、ジャイロスコープおよび／またはユーザーによる手動較正によって撮影時の水平較正マトリックスを取得する、
ことを特徴とする請求項７に記載のパノラマ画像または映像の水平較正システム。
【請求項９】
前記マッピングモジュールは、
水平較正マトリックスと緯度および経度の球面パノラマ数学モデルを乗算して、相対回転して球面パノラマ数学モデルを得る乗算モジュールと、
前記２つの円の画像または映像フレームを、ＵＶマッピング方法により相対回転した球面パノラマ数学モデルの左半球面と右半球面にそれぞれ貼り付けるマッピングサブモジュールとを含む、
ことを特徴とする請求項８に記載のパノラマ画像または映像の水平較正システム。
【請求項１０】
請求項７から９のいずれか一項に記載のパノラマ画像または映像の水平較正システムを備えることを特徴とする携帯端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の分野に属し、特に、パノラマ画像または映像の水平較正方法、システムおよび携帯端末に関する。
【背景技術】
【０００２】
従来技術には、双魚眼の広角レンズを用いて画像または映像を撮影するパノラマカメラがあり、結像後は２つの円の画像または映像フレームが形成されるが、球面パノラマ数学モデルとＵＶマッピング方法を利用し、２つの円の画像をＵＶマッピング方法により球面パノラマ数学モデルの左半球面と右半球面にそれぞれに貼り付ける。パノラマカメラを垂直にして撮影するとき、ＵＶマッピング方法を利用することで再生、レンダリング効果を水平にする。ＵＶマッピング法とは、１つの表面にＵＶsを作成する過程であって、この過程には作成と編集が含まれるので、画像が3Dモデル上にどのように表示されるかを明確に決めることができる。ＵＶsは、ポリゴンメッシュの頂点に常駐している2次元のテクスチャ座標点であり、ＵＶテクスチャ空間と呼ばれる2次元のテクスチャ座標システムを定義する。この空間は、UとVの２つの文字で座標軸を定義し、１つのテクスチャ画像をどのように3Dモデルの表面に配置するかを決める。
【０００３】
球面パノラマ数学モデルは、緯度と経度で構成される球体であり、ＵＶマッピング方法によって左側の画像を左半球面に貼り付け、右側の画像を右半球面に貼り付ける。しかし、パノラマカメラで撮影して得られた画像または映像フレームが水平でない場合、像を球面パノラマ数学モデルに貼り付けても水平にならず、パノラマカメラによってレンダリングされた画像または映像が歪むことになる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、パノラマ画像または映像の水平較正方法、システムおよび携帯端末を提供することであり、これにより、従来のパノラマカメラで撮影された画像または映像フレームが水平でない場合、像を球面パノラマ数学モデルに貼り付けても水平にならず、パノラマカメラによってレンダリングされた画像または映像が歪んでしまうという問題を解決することである。
【課題を解決するための手段】
【０００５】
本発明の実施形態によるパノラマ画像または映像の水平較正方法は、撮影方向が逆の２台のカメラによって結像された２つの円の画像または映像フレームを受信するステップと、撮影時の水平較正マトリックスを取得するステップと、水平較正マトリックスに基づいて、２つの円の画像または映像フレームを、ＵＶマッピング方法により球面パノラマ数学モデルの左半球面と右半球面にそれぞれ貼り付けて、球面パノラマ数学モデルに貼り付けられたパノラマ画像または映像フレームを水平にするステップとを含む。
【０００６】
本発明の実施形態によるパノラマ画像または映像の水平較正システムは、撮影方向が逆の２台のカメラによって結像された２つの円の画像または映像フレームを受信するための受信モジュールと、撮影時の水平較正マトリックスを取得するための取得モジュールと、水平較正マトリックスに基づいて、２つの円の画像または映像フレームをＵＶマッピング方法により球面パノラマ数学モデルの左半球面と右半球面にそれぞれ貼り付けて、球面パノラマ数学モデルに貼り付けられたパノラマ画像または映像フレームを水平にするためのマッピングモジュールとを含む。
【０００７】
本発明の実施形態による携帯端末は、上記のパノラマ画像または映像の水平較正システムを備える。
【発明の効果】
【０００８】
本発明によれば、撮影時の水平較正マトリックスを取得するため、水平較正マトリックスに基づいて、撮影方向が逆のカメラで撮像された２つの円の画像または映像フレームを、ＵＶマッピングにより球面パノラマ数学モデルの左半球面と右半球面にそれぞれ貼り付ける。したがって、パノラマカメラによって撮影された画像または映像フレームが水平でない場合でも、球面パノラマ数学モデルに取り付けられたパノラマ画像または映像フレームは依然として水平である。
【図面の簡単な説明】
【０００９】
【図１】本発明の第一の実施形態に係る画像または映像の水平較正方法を説明するためのフローチャートである。
【図２】本発明の第二の実施形態に係る画像または映像の水平較正システムの概略構成図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照し、実施形態に基づいて、本発明を分かりやすく詳細に説明する。もちろん、以下の実施形態は本発明を詳しく説明するためであり、本発明を限定するものではない。
【００１１】
以下、具体的な実施形態に基づいて、上記の本発明の解決手段を詳しく説明する。
【００１２】
第一の実施形態：
図１を参照すると、本発明の第一の実施形態によるパノラマ画像または映像の水平較正方法は、以下のステップを含む。
Ｓ１０１：撮影方向が逆の２台のカメラによって結像された２つの円の画像または映像フレームを受信する；
Ｓ１０２：撮影時の水平較正マトリックスを取得する；
Ｓ１０３：水平較正マトリックスに基づいて、２つの円の画像または映像フレームを、ＵＶマッピング方法により球面パノラマ数学モデルの左半球面と右半球面にそれぞれ貼り付けて、球面パノラマ数学モデルに貼り付けられたパノラマ画像または映像フレームを水平にする。
【００１３】
本実施形態では、Ｓ１０１とＳ１０２の順序を入れ替えてもよい。
【００１４】
従来のＵＶマッピング方法によれば、球面パノラマ数学モデルの頂点とＵＶマッピングが一対一に対応するため、ＵＶマッピングの際、球面パノラマ数学モデルと水平較正マトリックスを乗算することで、球面パノラマ数学モデルの頂点は変更されず、ＵＶマッピングの位置が変更され、マッピング位置が水平になる。
【００１５】
Ｓ１０２において、具体的には、ジャイロスコープおよび／またはユーザーによる手動較正によって撮影時の水平較正マトリックスを取得する。
【００１６】
本実施形態では、ジャイロスコープによる前記撮影時の水平較正マトリックスの取得は、
撮影時に、ジャイロスコープの重力ベクトルと基準絶対水平重力ベクトル（０，０，−１）により水平方向に較正されたクォータニオンが取得される。
具体的には、v1からv2に回転変化する水平方向に較正されたクォータニオンqは、次のように計算される。
0006901580.tif 000002
ここで、v1はジャイロスコープの重力ベクトル、v2は基準絶対水平重力ベクトル、angleは軸を中心に回転した角度、V3はV1とV2のマトリックスを乗算して得られるベクトルである；
前記水平方向に較正されたクォータニオンは水平較正マトリックスに変換され、
具体的には、以下のように、前記水平方向に較正されたクォータニオンは４×４の水平較正マトリックスＭ０に変換される。
0006901580.tif 000003
【００１７】
本発明の第一の実施形態では、ユーザーの手動較正によって撮影時の水平較正マトリックスを取得することは、具体的には以下のステップを含むことができる。
【００１８】
ユーザーが手動で較正する前に、最初のクォータニオンq1を取得する。
0006901580.tif 000004
画面上のユーザーのジェスチャ操作指示を受け取り、回転軸axisと当該軸を中心に回転させた角度angleとから構成されるクォータニオンｑ2の式に基づいて、ジェスチャ操作後のクォータニオンｑ3を算出する。ここで、回転軸axisと当該軸を中心に回転させた角度angleから構成されるクォータニオンｑ2の式は、以下の通りである。
0006901580.tif 000005
【００１９】
画面上のユーザーのジェスチャ操作指示は、具体的には、ワールド座標系のＸ，Ｙ，Ｚ軸を中心に以下の角度angle回転する。
【００２０】
0006901580.tif 000006
ここで、dxはユーザーが画面を水平方向にスライドする際の成分値、dyはユーザーが画面を垂直方向にスライドする際の成分値、deltaSlopeはユーザーが2本指操作でスライドする際の勾配変化角度である。
0006901580.tif 000007
最初の点の座標はＰ２（ｘ２,ｙ２）、2番目の点の座標はＰ２（ｘ２,ｙ２）、preslopeは前回の2本指操作でスライドしたときの勾配変化角度を指し、
ジェスチャ操作後のクォータニオンｑ3は下記式により得られる。
0006901580.tif 000008
【００２１】
ジェスチャ操作後のクォータニオンｑ3は水平較正マトリックスに変換され、具体的には、以下のように、水平方向に較正されたクォータニオンは４×４の水平較正マトリックスＭ０に変換される。
0006901580.tif 000009
【００２２】
本発明の第一の実施形態では、Ｓ１０３には以下のステップが含まれる。詳しくは、水平較正マトリックスと緯度および経度の球面パノラマ数学モデルを乗算して、相対回転の球面パノラマ数学モデルを得ること、２つの円の画像または映像フレームを、ＵＶマッピング方法により相対回転した球面パノラマ数学モデルの左半球面と右半球面にそれぞれ貼り付けることが含まれる。
【００２３】
水平較正マトリックスと緯度および経度の球面パノラマ数学モデルを乗算して、相対回転した球面パノラマ数学モデルを得ることには、以下のステップが含まれる。すなわち、
ＵＶマッピングのデータを生成する際、緯度および経度の球面パノラマ数学モデルに基づいて、次式により各球面パノラマ数学モデルの頂点Ｖを取得すること：
0006901580.tif 000010
ここで、経度φの範囲は0-180度、緯度θの範囲は0〜360度である。
次式により、頂点に水平較正マトリックスを乗算すること：
0006901580.tif 000011
水平較正マトリックスを乗算した頂点Ｖを緯度および経度に逆変換してＵＶ座標を計算する。詳しくは、緯度および経度と目標マップの２つの円に対し、マッピング関係を確立することが含まれる。
【００２４】
２つの円の画像または映像フレームを、ＵＶマッピング方法により相対回転した球面パノラマ数学モデルの左半球面と右半球面にそれぞれ貼り付けるとは、詳しくは、ＵＶ座標に基づいて、２つの円の画像または映像フレームをＵＶマッピング方法により相対回転した球面パノラマ数学モデルの左半球面と右半球面にそれぞれ貼り付けることである。
【００２５】
本発明の第一の実施形態では、Ｓ１０２をジャイロスコープおよびユーザーの手動較正により取得した場合、水平較正マトリックスを乗算した頂点Ｖは、以下のように得られる。すなわち、頂点Ｖに、ユーザーの手動較正により取得した水平較正マトリックスを乗算して、中間マトリックスを取得し、前記中間マトリックスに、ジャイロスコープにより取得した撮影時の水平較正マトリックスを乗算することで取得する。
【００２６】
第二の実施形態
図２を参照すると、本発明の第二の実施形態によるパノラマ画像または映像の水平較正システムは、撮影方向が逆の２台のカメラによって結像された２つの円の画像または映像フレームを受信するための受信モジュール１１と、撮影時の水平較正マトリックスを取得するための取得モジュール１２と、水平較正マトリックスに基づいて、２つの円の画像または映像フレームを、ＵＶマッピング方法により球面パノラマ数学モデルの左半球面と右半球面にそれぞれ貼り付けて、球面パノラマ数学モデルに貼り付けられたパノラマ画像または映像フレームを水平にするためのマッピングモジュール１３とを含む。
【００２７】
本発明の第二の実施形態では、取得モジュールは、ジャイロスコープおよび／またはユーザーによる手動較正によって、撮影時の水平較正マトリックスを取得する。
【００２８】
本発明の第二の実施形態では、マッピングモジュールは、水平較正マトリックスと緯度および経度の球面パノラマ数学モデルを乗算して、相対回転して球面パノラマ数学モデルを得る乗算モジュールと、２つの円の画像または映像フレームを、ＵＶマッピング方法により相対回転した球面パノラマ数学モデルの左半球面と右半球面にそれぞれ貼り付けるマッピングサブモジュールとを含む。
【００２９】
本発明の他の実施形態では携帯端末をさらに提供し、その携帯端末は、本発明の第二の実施形態２により提供されるパノラマ画像または映像の水平較正システムを備える。
【００３０】
本発明によれば、撮影時の水平較正マトリックスを取得するため、水平較正マトリックスに基づいて、撮影方向が逆の２台のカメラによって結像された２つの円の画像または映像フレームを、ＵＶマッピング方法により球面パノラマ数学モデルの左半球面と右半球面にそれぞれ貼り付ける。このため、パノラマカメラで撮影して得られた画像または映像フレームが水平でない場合でも、球面パノラマ数学モデルに貼り付けられたパノラマ画像または映像フレームは依然として水平である。
【００３１】
当然、当業者であれば理解できることであるが、上記実施形態による方法の全部または一部のステップは、プログラムにより関連ハードウェアに命令することで完了し、そのプログラムを、ROM/RAM、ディスク、CDなどのコンピュータの読み取り可能な記憶媒体に記憶することができる。
【００３２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、本発明の趣旨およびその範囲から逸脱しない限り、その趣旨に基づいて変更、均等置換または改善することができ、いずれも本発明の保護範囲に含まれる。
【図１】
0006901580.tif 000030
【図２】
0006901580.tif 000031