(57)【特許請求の範囲】
【請求項１】
マルチパスの球面画像を取得し、前記マルチパスの球面画像は、パノラマ画像を接合するために使われるマルチパスの画像がそれぞれ単位球上にマッピングされたマルチパスの球面画像であり、
各パスの球面画像の中央部分を切り取って、それぞれ各パスの球面画像の中央部分に基づいて各パスの球面画像及び隣接する球面画像中の中央部分の回転オイラー角を計算し、各パスの球面画像の左部分を切り取って、それぞれ各パスの球面画像の左部分に基づいて各パスの球面画像及び隣接する球面画像中の左部分の回転オイラー角を計算して、第一の左部分回転マトリックスを取得し、各パスの球面画像の右部分を切り取って、それぞれ各パスの球面画像の右部分に基づいて各パスの球面画像及び隣接する球面画像中の右部分の回転オイラー角を計算して、第一の右部分回転マトリックスを取得し、
全パスの画像の中央部分の回転オイラー角を使って左部分の画像を接合して、第一の左パノラマ画像を取得し、全パスの画像の中央部分の回転オイラー角を使って右部分の画像を接合して、第一の右パノラマ画像を取得し；全パスの画像の左部分の回転オイラー角を使って左部分の画像を接合して、第二の左パノラマ画像を取得し、全パスの画像の右部分の回転オイラー角を使って右部分の画像を接合して、第二の右パノラマ画像を取得し、
前記第二の左パノラマ画像を前記第一の左パノラマ画像にアライメントして、第二の左部分回転マトリックスを計算して取得し、ここで、左パノラマ画像の回転マトリックスは、第一の左部分回転マトリックスと第二の左部分回転マトリックスとを掛け合わせて得るため、左パノラマ画像のアライメント後の回転オイラー角を取得し、前記第二の右パノラマ画像を前記第一の右パノラマ画像にアライメントして、第二の右部分回転マトリックスを計算して取得し、ここで、右パノラマ画像の回転マトリックスは、第一の右部分回転マトリックスと第二の右部分回転マトリックスとを掛け合わせて得るため、右パノラマ画像のアライメント後の回転オイラー角を取得する、
ことを特徴とするマルチパスの画像に基づくパノラマ画像のアライメント方法。
【請求項２】
前記の各パスの球面画像の中央部分を切り取って、それぞれ各パスの球面画像の中央部分に基づいて各パスの球面画像及び隣接する球面画像の中央部分中の回転オイラー角を計算することは、
前記各パスの球面画像の中央部分を切り取ることと、
前記各パスの球面画像の中央部分に対し複数の特徴点を抽出することと、
前記各パスの球面画像の中央部分の複数の特徴点を、隣接する球面画像の中央部分の特徴点とそれぞれマッピングして、複数対の特徴点対を取得することと、
前記各パスの球面画像に対し、当該パスの球面画像の回転中に、特徴点対の距離総和の最小時に対応する回転オイラー角を複数対取得して、各パスの球面画像及び隣接する球面画像中の中央部分の回転オイラー角とすることを含み、
前記各パスの球面画像の左部分を切り取って、それぞれ各パスの球面画像の左部分に基づいて各パスの球面画像及び隣接する球面画像中の左部分の回転オイラー角を計算することは、
前記各パスの球面画像の左部分を切り取ることと、
前記各パスの球面画像の左部分に対し複数の特徴点を抽出することと、
前記各パスの球面画像の左部分の複数の特徴点を、隣接する球面画像の左部分の特徴点とそれぞれマッピングして、複数対の特徴点対を取得することと、
前記各パスの球面画像に対し、当該パスの球面画像の回転中に、特徴点対の距離総和の最小時に対応する回転オイラー角を複数対取得して、各パスの球面画像及び隣接する球面画像中の左部分の回転オイラー角とすることを含み、
前記の各パスの球面画像の右部分を切り取って、それぞれ各パスの球面画像の右部分に基づいて各パスの球面画像及び隣接する球面画像中の右部分の回転オイラー角を計算することは、
前記各パスの球面画像の右部分を切り取ることと、
前記各パスの球面画像の右部分に対し複数の特徴点を抽出することと、
前記各パスの球面画像の右部分の複数の特徴点を、隣接する球面画像の右部分の特徴点とそれぞれマッピングして、複数対の特徴点対を取得することと、
前記各パスの球面画像に対し、当該パスの球面画像の回転中に、特徴点対の距離総和の最小時に対応する回転オイラー角を複数対取得して、各パスの球面画像及び隣接する球面画像中の右部分の回転オイラー角とすることを含む、
ことを特徴とする請求項１に記載のマルチパスの画像に基づくパノラマ画像のアライメント方法。
【請求項３】
前記第二の左パノラマ画像を前記第一の左パノラマ画像にアライメントして、第二の左部分回転マトリックスを計算して取得することは、
前記第一の左パノラマ画像を第一の立方体にマッピングし、前記第二の左パノラマ画像を第二の立方体にマッピングすることと、
前記第一の立方体と前記第二の立方体の各面上の特徴点対をそれぞれ抽出することと、
前記特徴点対の距離総和が最小になるよう、最適な前記第二の左部分回転マトリックスを計算することを含み、
前記第二の右パノラマ画像を前記第一の右パノラマ画像にアライメントして、第二の右部分回転マトリックスを計算して取得することは、
前記第一の右パノラマ画像を第三の立方体にマッピングし、前記第二の右パノラマ画像を第四の立方体にマッピングすることと、
前記第三の立方体と前記第四の立方体の各面上の特徴点対をそれぞれ抽出することと、
前記特徴点対の距離総和が最小になるよう、最適な前記第二の右部分回転マトリックスを計算することを含む、
ことを特徴とする請求項１に記載のマルチパスの画像に基づくパノラマ画像のアライメント方法。
【請求項４】
取得モジュールと、計算モジュールと、接合モジュールと、アライメントモジュールとを備えるマルチパスの画像に基づくパノラマ画像のアライメント装置であって、
前記取得モジュールは、マルチパスの球面画像を取得するものであり、前記マルチパスの画像は、パノラマ画像を接合するために使われるマルチパスの画像がそれぞれ単位球上にマッピングされたマルチパスの球面画像であり、
前記計算モジュールは、各パスの球面画像の中央部分を切り取って、それぞれ各パスの球面画像の中央部分に基づいて各パスの球面画像及び隣接する球面画像中の中央部分の回転オイラー角を計算し、各パスの球面画像の左部分を切り取って、それぞれ各パスの球面画像の左部分に基づいて各パスの球面画像及び隣接する球面画像中の左部分の回転オイラー角を計算して、第一の左部分回転マトリックスを取得し、各パスの球面画像の右部分を切り取って、それぞれ各パスの球面画像の右部分に基づいて各パスの球面画像及び隣接する球面画像中の右部分の回転オイラー角を計算して、第一の右部分回転マトリックスを取得するものであり、
前記接合モジュールは、全パスの画像の中央部分の回転オイラー角を使って左部分の画像を接合して、第一の左パノラマ画像を取得し、全パスの画像の中央部分の回転オイラー角を使って右部分の画像を接合して、第一の右パノラマ画像を取得し、全パスの画像の左部分の回転オイラー角を使って左部分の画像を接合して、第二の左パノラマ画像を取得し、全パスの画像の右部分の回転オイラー角を使って右部分の画像を接合して、第二の右パノラマ画像を取得するものであり、
前記アライメントモジュールは、前記第二の左パノラマ画像を前記第一の左パノラマ画像にアライメントして、第二の左部分回転マトリックスを計算して取得し、ここで、左パノラマ画像の回転マトリックスは、第一の左部分回転マトリックスと第二の左部分回転マトリックスとを掛け合わせて得るため、左パノラマ画像のアライメント後の回転オイラー角を取得し、前記第二の右パノラマ画像を前記第一の右パノラマ画像にアライメントして、第二の右部分回転マトリックスを計算して取得し、ここで、右パノラマ画像の回転マトリックスは、第一の右部分回転マトリックスと第二の右部分回転マトリックスとを掛け合わせて得るため、右パノラマ画像のアライメント後の回転オイラー角を取得するものである、
ことを特徴とするマルチパスの画像に基づくパノラマ画像のアライメント装置。
【請求項５】
前記各パスの球面画像の中央部分を切り取って、それぞれ各パスの球面画像の中央部分に基づいて各パスの球面画像及び隣接する球面画像中の中央部分の回転オイラー角を計算することは、
各パスの球面画像の中央部分を切り取ることと、
前記各パスの球面画像の中央部分に対し複数の特徴点を抽出することと、
前記各パスの球面画像の中央部分の複数の特徴点を、隣接する球面画像の中央部分の特徴点とそれぞれマッピングして、複数対の特徴点対を取得することと、
前記各パスの球面画像に対し、当該パスの球面画像の回転中に、特徴点対の距離総和の最小時に対応する回転オイラー角を複数対取得して、各パスの球面画像及び隣接する球面画像中の中央部分の回転オイラー角とすることを含み、
前記各パスの球面画像の左部分を切り取って、それぞれ各パスの球面画像の左部分に基づいて各パスの球面画像及び隣接する球面画像中の左部分の回転オイラー角を計算することは、
前記各パスの球面画像の左部分を切り取ることと、
前記各パスの球面画像の左部分に対し複数の特徴点を抽出することと、
前記各パスの球面画像の左部分の複数の特徴点を、隣接する球面画像の左部分の特徴点とそれぞれマッピングして、複数対の特徴点対を取得することと、
前記各パスの球面画像に対し、当該パスの球面画像の回転中に、特徴点対の距離総和の最小時に対応する回転オイラー角を複数対取得して、各パスの球面画像及び隣接する球面画像中の左部分の回転オイラー角とすることを含み、
前記の各パスの球面画像の右部分を切り取って、それぞれ各パスの球面画像の右部分に基づいて各パスの球面画像及び隣接する球面画像中の右部分の回転オイラー角を計算することは、
前記各パスの球面画像の右部分を切り取ることと、
前記各パスの球面画像の右部分に対し複数の特徴点を抽出することと、
前記各パスの球面画像の右部分の複数の特徴点を、隣接する球面画像の右部分の特徴点とそれぞれマッピングして、複数対の特徴点対を取得することと、
前記各パスの球面画像に対し、当該パスの球面画像の回転中に、特徴点対の距離総和の最小時に対応する回転オイラー角を複数対取得して、各パスの球面画像及び隣接する球面画像中の右部分の回転オイラー角とすることを含む、
ことを特徴とする請求項４に記載のマルチパスの画像に基づくパノラマ画像のアライメント装置。
【請求項６】
前記第二の左パノラマ画像を前記第一の左パノラマ画像にアライメントして、第二の左部分回転マトリックスを計算して取得することは、
前記第一の左パノラマ画像を第一の立方体にマッピングし、前記第二の左パノラマ画像を第二の立方体にマッピングすることと、
前記第一の立方体と前記第二の立方体の各面上の特徴点対をそれぞれ抽出することと、
前記特徴点対の距離総和が最小になるよう、最適な前記第二の左部分回転マトリックスを計算することを含み、
前記第二の右パノラマ画像を前記第一の右パノラマ画像にアライメントして、第二の右部分回転マトリックスを計算して取得することは、
前記第一の右パノラマ画像を第三の立方体にマッピングし、前記第二の右パノラマ画像を第四の立方体にマッピングすることと、
前記第三の立方体と前記第四の立方体の各面上の特徴点対をそれぞれ抽出することと、
前記特徴点対の距離総和が最小になるよう、最適な前記第二の右部分回転マトリックスを計算することを含む、
ことを特徴とする請求項４に記載のマルチパスの画像に基づくパノラマ画像のアライメント装置。
【請求項７】
電子データ交換用のコンピュータープログラムを記憶するために使われるコンピューター記憶媒体であって、
前記コンピュータープログラムによって、コンピューターが前記請求項１乃至３のいずれか一項に記載のマルチパスの画像に基づくパノラマ画像のアライメント方法を実行するようにする、
ことを特徴とするコンピューター記憶媒体。
【請求項８】
一つ又は複数のプロセッサと、
記憶装置と、
一つ又は複数のプログラムとを備える携帯端末であって、
前記一つ又は複数のプログラムは、前記記憶装置に記憶され、且つ、前記一つ又は複数のプロセッサにより実行できるように配置され、
前記プログラムには、
マルチパスの球面画像を取得するステップであって、前記マルチパスの球面画像は、パノラマ画像を接合するために使われるマルチパスの画像がそれぞれ単位球上にマッピングされたマルチパスの球面画像であるステップと、
各パスの球面画像の中央部分を切り取って、それぞれ各パスの球面画像の中央部分に基づいて各パスの球面画像及び隣接する球面画像中の中央部分の回転オイラー角を計算し、各パスの球面画像の左部分を切り取って、それぞれ各パスの球面画像の左部分に基づいて各パスの球面画像及び隣接する球面画像中の左部分の回転オイラー角を計算して、第一の左部分回転マトリックスを取得し、各パスの球面画像の右部分を切り取って、それぞれ各パスの球面画像の右部分に基づいて各パスの球面画像及び隣接する球面画像中の右部分の回転オイラー角を計算して、第一の右部分回転マトリックスを取得するステップと、
全パスの画像の中央部分の回転オイラー角を使って左部分の画像を接合して、第一の左パノラマ画像を取得し、全パスの画像の中央部分の回転オイラー角を使って右部分の画像を接合して、第一の右パノラマ画像を取得し、全パスの画像の左部分の回転オイラー角を使って左部分の画像を接合して、第二の左パノラマ画像を取得し、全パスの画像の右部分の回転オイラー角を使って右部分の画像を接合して、第二の右パノラマ画像を取得するステップと、
前記第二の左パノラマ画像を前記第一の左パノラマ画像にアライメントして、第二の左部分回転マトリックスを計算して取得し、ここで、左パノラマ画像の回転マトリックスは、第一の左部分回転マトリックスと第二の左部分回転マトリックスとを掛け合わせて得るため、左パノラマ画像のアライメント後の回転オイラー角を取得し、前記第二の右パノラマ画像を前記第一の右パノラマ画像にアライメントして、第二の右部分回転マトリックスを計算して取得し、ここで、右パノラマ画像の回転マトリックスは、第一の右部分回転マトリックスと第二の右部分回転マトリックスとを掛け合わせて得るため、右パノラマ画像のアライメント後の回転オイラー角を取得するステップとを実行ための指令が含まれる、
ことを特徴とする携帯端末。
【請求項９】
前記各パスの球面画像の中央部分を切り取って、それぞれ各パスの球面画像の中央部分に基づいて各パスの球面画像及び隣接する球面画像中の中央部分の回転オイラー角を計算することは、
各パスの球面画像の中央部分を切り取ることと、
前記各パスの球面画像の中央部分に対し複数の特徴点を抽出することと、
前記各パスの球面画像の中央部分の複数の特徴点を、隣接する球面画像の中央部分の特徴点とそれぞれマッピングして、複数対の特徴点対を取得することと、
前記各パスの球面画像に対し、当該パスの球面画像の回転中に、特徴点対の距離総和の最小時に対応する回転オイラー角を複数対取得して、各パスの球面画像及び隣接する球面画像中の中央部分の回転オイラー角とすることを含み、
前記各パスの球面画像の左部分を切り取って、それぞれ各パスの球面画像の左部分に基づいて各パスの球面画像及び隣接する球面画像中の左部分の回転オイラー角を計算することは、
前記各パスの球面画像の左部分を切り取ることと、
前記各パスの球面画像の左部分に対し複数の特徴点を抽出することと、
前記各パスの球面画像の左部分の複数の特徴点を、隣接する球面画像の左部分の特徴点とそれぞれマッピングして、複数対の特徴点対を取得することと、
前記各パスの球面画像に対し、当該パスの球面画像の回転中に、特徴点対の距離総和の最小時に対応する回転オイラー角を複数対取得して、各パスの球面画像及び隣接する球面画像中の左部分の回転オイラー角とすることを含み、
前記の各パスの球面画像の右部分を切り取って、それぞれ各パスの球面画像の右部分に基づいて各パスの球面画像及び隣接する球面画像中の右部分の回転オイラー角を計算することは、
前記各パスの球面画像の右部分を切り取ることと、
前記各パスの球面画像の右部分に対し複数の特徴点を抽出することと、
前記各パスの球面画像の右部分の複数の特徴点を、隣接する球面画像の右部分の特徴点とそれぞれマッピングして、複数対の特徴点対を取得することと、
前記各パスの球面画像に対し、当該パスの球面画像の回転中に、特徴点対の距離総和の最小時に対応する回転オイラー角を複数対取得して、各パスの球面画像及び隣接する球面画像中の右部分の回転オイラー角とすることを含む、
ことを特徴とする請求項８に記載の携帯端末。
【請求項１０】
前記第二の左パノラマ画像を前記第一の左パノラマ画像にアライメントして、第二の左部分回転マトリックスを計算して取得することは、
前記第一の左パノラマ画像を第一の立方体にマッピングし、前記第二の左パノラマ画像を第二の立方体にマッピングすることと、
前記第一の立方体と前記第二の立方体の各面上の特徴点対をそれぞれ抽出することと、
前記特徴点対の距離総和が最小になるよう、最適な前記第二の左部分回転マトリックスを計算することを含み、
前記第二の右パノラマ画像を前記第一の右パノラマ画像にアライメントして、第二の右部分回転マトリックスを計算して取得することは、
前記第一の右パノラマ画像を第三の立方体にマッピングし、前記第二の右パノラマ画像を第四の立方体にマッピングすることと、
前記第三の立方体と前記第四の立方体の各面上の特徴点対をそれぞれ抽出することと、
前記特徴点対の距離総和が最小になるよう、最適な前記第二の右部分回転マトリックスを計算することを含む、
ことを特徴とする請求項８に記載の携帯端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の分野に属し、特に、マルチパスの画像に基づくパノラマ画像のアライメント方法、装置および携帯端末に関する。
【背景技術】
【０００２】
従来、パノラマ画像を接合するとき、左画像および右画像について、通常同じ回転マトリックスを使って接合したが、左画像と右画像との接合隙間が比較的大きい問題がある。同一の回転マトリックスを使って接合したとき起こる接合隙間が比較的大きいという問題を解決するために、現在は、左画像及び右画像の接合を別々に行う技術を使っている。しかし、この技術によれば、左画像と右画像として、パノラマ画像の中において視差が小さいのもあるし、視差が大きいのもあるため、パノラマ画像の立体感に影響を与えてしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、マルチパスの画像に基づくパノラマ画像のアライメント方法、装置および携帯端末を提供して、左画像と右画像を別々に接合することにより発生する、左画像と右画像として、パノラマ画像の中に視差の小さいものと視差の大きいものがあるこが、パノラマ画像の立体感に影響する、という問題を解決することである。
【課題を解決するための手段】
【０００４】
まず、本発明によるマルチパスの画像に基づくパノラマ画像のアライメント方法は、
マルチパスの球面画像を取得すること、前記マルチパスの画像は、パノラマ画像を接合するために使われるマルチパスの画像がそれぞれ単位球上にマッピングされたマルチパスの球面画像であり、
各パスの球面画像の中央部分を切り取って、それぞれ各パスの球面画像の中央部分に基づいて各パスの球面画像及び隣接する球面画像中の中央部分の回転オイラー角を計算し、各パスの球面画像の左部分を切り取って、それぞれ各パスの球面画像の左部分に基づいて各パスの球面画像及び隣接する球面画像中の左部分の回転オイラー角を計算して、第一の左部分回転マトリックスを取得し、各パスの球面画像の右部分を切り取って、それぞれ各パスの球面画像の右部分に基づいて各パスの球面画像及び隣接する球面画像中の右部分の回転オイラー角を計算して、第一の右部分回転マトリックスを取得すること、
全パスの画像の中央部分の回転オイラー角を使って左部分の画像を接合して、第一の左パノラマ画像を取得し、全パスの画像の中央部分の回転オイラー角を使って右部分の画像を接合して、第一の右パノラマ画像を取得し、全パスの画像の左部分の回転オイラー角を使って左部分の画像を接合して、第二の左パノラマ画像を取得し、全パスの画像の右部分の回転オイラー角を使って右部分の画像を接合して、第二の右パノラマ画像を取得すること、
前記第二の左パノラマ画像を前記第一の左パノラマ画像にアライメントして、第二の左部分回転マトリックスを計算して取得し、ここで、左パノラマ画像の回転マトリックスは、第一の左部分回転マトリックスと第二の左部分回転マトリックスとを掛け合わせて得るため、左パノラマ画像のアライメント後の回転オイラー角を取得し、前記第二の右パノラマ画像を前記第一の右パノラマ画像にアライメントして、第二の右部分回転マトリックスを計算して取得し、ここで、右パノラマ画像の回転マトリックスは、第一の右部分回転マトリックスと第二の右部分回転マトリックスとを掛け合わせて得るため、右パノラマ画像のアライメント後の回転オイラー角を取得することを含む。
【０００５】
また、本発明によるマルチパスの画像に基づくパノラマ画像のアライメント装置は、取得モジュールと、計算モジュールと、接合モジュールと、アライメントモジュールとを備えるマルチパスの画像に基づくパノラマ画像のアライメント装置であって、
前記取得モジュールは、マルチパスの球面画像を取得するものであり、前記マルチパスの画像は、パノラマ画像を接合するために使われるマルチパスの画像がそれぞれ単位球上にマッピングされたマルチパスの球面画像であり、
前記計算モジュールは、各パスの球面画像の中央部分を切り取って、それぞれ各パスの球面画像の中央部分に基づいて各パスの球面画像及び隣接する球面画像中の中央部分の回転オイラー角を計算し、各パスの球面画像の左部分を切り取って、それぞれ各パスの球面画像の左部分に基づいて各パスの球面画像及び隣接する球面画像中の左部分の回転オイラー角を計算して、第一の左部分回転マトリックスを取得し、各パスの球面画像の右部分を切り取って、それぞれ各パスの球面画像の右部分に基づいて各パスの球面画像及び隣接する球面画像中の右部分の回転オイラー角を計算して、第一の右部分回転マトリックスを取得するものであり、
前記接合モジュールは、全パスの画像の中央部分の回転オイラー角を使って左部分の画像を接合して、第一の左パノラマ画像を取得し、全パスの画像の中央部分の回転オイラー角を使って右部分の画像を接合して、第一の右パノラマ画像を取得し、全パスの画像の左部分の回転オイラー角を使って左部分の画像を接合して、第二の左パノラマ画像を取得し、全パスの画像の右部分の回転オイラー角を使って右部分の画像を接合して、第二の右パノラマ画像を取得するものであり、
前記アライメントモジュールは、前記第二の左パノラマ画像を前記第一の左パノラマ画像にアライメントして、第二の左部分回転マトリックスを計算して取得し、ここで、左パノラマ画像の回転マトリックスは、第一の左部分回転マトリックスと第二の左部分回転マトリックスとを掛け合わせて得るため、左パノラマ画像のアライメント後の回転オイラー角を取得し、前記第二の右パノラマ画像を前記第一の右パノラマ画像にアライメントして、第二の右部分回転マトリックスを計算して取得し、ここで、右パノラマ画像の回転マトリックスは、第一の右部分回転マトリックスと第二の右部分回転マトリックスとを掛け合わせて得るため、右パノラマ画像のアライメント後の回転オイラー角を取得するものである。
【０００６】
次に、本発明による記憶媒体は、電子データ交換用のコンピュータープログラムを記憶するために使われるコンピューター記憶媒体であって、前記コンピュータープログラムによって、前記コンピューターが上述した記マルチパスの画像に基づくパノラマ画像のアライメント方法を実行するようにする。
【０００７】
また次に、本発明による携帯端末は、一つ又は複数のプロセッサと、記憶装置と、一つ又は複数のプログラムとを備える携帯端末であって、
前記一つ又は複数のプログラムは、前記記憶装置に記憶され、且つ、前記一つ又は複数のプロセッサにより実行できるように配置され、
前記プログラムは、
マルチパスの球面画像を取得するステップと、前記マルチパスの画像は、パノラマ画像を接合するために使われるマルチパスの画像がそれぞれ単位球上にマッピングされたマルチパスの球面画像であり、
各パスの球面画像の中央部分を切り取って、それぞれ各パスの球面画像の中央部分に基づいて各パスの球面画像及び隣接する球面画像中の中央部分の回転オイラー角を計算し、各パスの球面画像の左部分を切り取って、それぞれ各パスの球面画像の左部分に基づいて各パスの球面画像及び隣接する球面画像中の左部分の回転オイラー角を計算して、第一の左部分回転マトリックスを取得し、各パスの球面画像の右部分を切り取って、それぞれ各パスの球面画像の右部分に基づいて各パスの球面画像及び隣接する球面画像中の右部分の回転オイラー角を計算して、第一の右部分回転マトリックスを取得するステップと、
全パスの画像の中央部分の回転オイラー角を使って左部分の画像を接合して、第一の左パノラマ画像を取得し、全パスの画像の中央部分の回転オイラー角を使って右部分の画像を接合して、第一の右パノラマ画像を取得し、全パスの画像の左部分の回転オイラー角を使って左部分の画像を接合して、第二の左パノラマ画像を取得し、全パスの画像の右部分の回転オイラー角を使って右部分の画像を接合して、第二の右パノラマ画像を取得するステップと、
前記第二の左パノラマ画像を前記第一の左パノラマ画像にアライメントして、第二の左部分回転マトリックスを計算して取得し、ここで、左パノラマ画像の回転マトリックスは、第一の左部分回転マトリックスと第二の左部分回転マトリックスとを掛け合わせて得るため、左パノラマ画像のアライメント後の回転オイラー角を取得し、前記第二の右パノラマ画像を前記第一の右パノラマ画像にアライメントして、第二の右部分回転マトリックスを計算して取得し、ここで、右パノラマ画像の回転マトリックスは、第一の右部分回転マトリックスと第二の右部分回転マトリックスとを掛け合わせて得るため、右パノラマ画像のアライメント後の回転オイラー角を取得するステップとを実行ための指令を含む。
【発明の効果】
【０００８】
本発明によれば、第二の左パノラマ画像を第一の左パノラマ画像にアライメントして、第二の左部分回転マトリックスを計算して取得し、左パノラマ画像の回転マトリックスは、第一の左部分回転マトリックスと第二の左部分回転マトリックスとを掛け合わせて得るため、左パノラマ画像のアライメント後の回転オイラー角が取得でき、第二の右パノラマ画像を第一の右パノラマ画像にアライメントして、第二の右部分回転マトリックスを計算して取得し、ここで、右パノラマ画像の回転マトリックスは、第一の右部分回転マトリックスと第二の右部分回転マトリックスとを掛け合わせて得るため、右パノラマ画像のアライメント後の回転オイラー角が取得できる。これにより、マルチパスの画像に基づくパノラマ画像のアライメントが実現できて、パノラマ画像の立体感がよくなる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第一の実施形態によるマルチパスの画像に基づくパノラマ画像のアライメント方法のフローチャートである。
【図２】本発明の第二の実施形態によるマルチパスの画像に基づくパノラマ画像のアライメント装置の概略図である。
【図３】本発明の第四の実施形態による携帯端末の構成を示す概略図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照し、実施形態に基づいて、本発明を分かりやすく詳細に説明する。もちろん、以下の実施形態は本発明を詳しく説明するためであり、本発明を限定するものではない。
【００１１】
［第一の実施形態］
図１に示すように、本発明の第一の実施形態はマルチパスの画像に基づくパノラマ画像のアライメント方法を提供し、当該方法は下記ステップを含む。
【００１２】
S101：マルチパスの球面画像を取得する。
ここで、前記マルチパスの画像は、パノラマ画像を接合するために使われるマルチパスの画像がそれぞれ単位球上にマッピングされたマルチパスの球面画像である。
【００１３】
0006961717.tif 000002
【００１４】
0006961717.tif 000003
【００１５】
0006961717.tif 000004
【００１６】
0006961717.tif 000005
【００１７】
0006961717.tif 000006
【００１８】
ここで、接合方法に関しては、特許文献CN106023070A（公開日：2016年10月12日公開）に開示されたリアルタイムのパノラマ接合方法、又は従来技術として常用の接合方法などを使うことができ、ここでは詳しい説明を省略する。
【００１９】
0006961717.tif 000007
【００２０】
0006961717.tif 000008
0006961717.tif 000009
【００２１】
［第二の実施形態］
図２に示すように、本発明の第二の実施形態はマルチパスの画像に基づくパノラマ画像のアライメント装置を提供し、当該装置は、取得モジュール11と、計算モジュール12と、接合モジュール13と、アライメントモジュール14とを備えている。
【００２２】
取得モジュール11は、マルチパスの球面画像を取得するものであり、ここで、マルチパスの画像は、パノラマ画像を接合するために使われるマルチパスの画像がそれぞれ単位球上にマッピングされたマルチパスの球面画像である。
【００２３】
計算モジュール12は、各パスの球面画像の中央部分を切り取って、それぞれ各パスの球面画像の中央部分に基づいて各パスの球面画像及び隣接する球面画像中の中央部分の回転オイラー角を計算し；各パスの球面画像の左部分を切り取って、それぞれ各パスの球面画像の左部分に基づいて各パスの球面画像及び隣接する球面画像中の左部分の回転オイラー角を計算して、第一の左部分回転マトリックスを取得し；各パスの球面画像の右部分を切り取って、それぞれ各パスの球面画像の右部分に基づいて各パスの球面画像及び隣接する球面画像中の右部分の回転オイラー角を計算して、第一の右部分回転マトリックスを取得するものである。
【００２４】
接合モジュール13は、全パスの画像の中央部分の回転オイラー角を使って左部分の画像を接合して、第一の左パノラマ画像を取得し；全パスの画像の中央部分の回転オイラー角を使って右部分の画像を接合して、第一の右パノラマ画像を取得し；全パスの画像の左部分の回転オイラー角を使って左部分の画像を接合して、第二の左パノラマ画像を取得し；全パスの画像の右部分の回転オイラー角を使って右部分の画像を接合して、第二の右パノラマ画像を取得するものである。
【００２５】
アライメントモジュール14は、第二の左パノラマ画像を第一の左パノラマ画像にアライメントして、第二の左部分回転マトリックスを計算して取得し、ここで、左パノラマ画像の回転マトリックスは、第一の左部分回転マトリックスと第二の左部分回転マトリックスとの掛け合わせであり、これにより左パノラマ画像のアライメント後の回転オイラー角を取得し；第二の右パノラマ画像を第一の右パノラマ画像にアライメントして、第二の右部分回転マトリックスを計算して取得し、ここで、右パノラマ画像の回転マトリックスは、第一の右部分回転マトリックスと第二の右部分回転マトリックスとの掛け合わせであり、これにより右パノラマ画像のアライメント後の回転オイラー角を取得するものである。
【００２６】
本発明の第二の実施形態において、それぞれ各パスの球面画像の中央部分に基づいて各パスの球面画像及び隣接する球面画像中の中央部分の回転オイラー角を計算することは、
各パスの球面画像の中央部分を切り取ることと、
各パスの球面画像の中央部分に対し複数の特徴点を抽出することと、
各パスの球面画像の中央部分の複数の特徴点を、隣接する球面画像の中央部分の特徴点とそれぞれマッピングして、複数対の特徴点対を取得することと、
各パスの球面画像に対し、当該パスの球面画像の回転中に、特徴点対の距離総和の最小時に対応する回転オイラー角を複数対取得して、各パスの球面画像及び隣接する球面画像中の中央部分の回転オイラー角とすることを含み；
それぞれ各パスの球面画像の左部分に基づいて各パスの球面画像及び隣接する球面画像中の左部分の回転オイラー角を計算することは、
各パスの球面画像の左部分を切り取ることと、
各パスの球面画像の左部分に対し複数の特徴点を抽出することと、
各パスの球面画像の左部分の複数の特徴点を、隣接する球面画像の左部分の特徴点とそれぞれマッピングして、複数対の特徴点対を取得することと、
各パスの球面画像に対し、当該パスの球面画像の回転中に、特徴点対の距離総和の最小時に対応する回転オイラー角を複数対取得して、各パスの球面画像及び隣接する球面画像中の左部分の回転オイラー角とすることを含み；
それぞれ各パスの球面画像の右部分に基づいて各パスの球面画像及び隣接する球面画像中の右部分の回転オイラー角を計算することは、
各パスの球面画像の右部分を切り取ることと、
各パスの球面画像の右部分に対し複数の特徴点を抽出することと、
各パスの球面画像の右部分の複数の特徴点を、隣接する球面画像の右部分の特徴点とそれぞれマッピングして、複数対の特徴点対を取得することと、
各パスの球面画像に対し、当該パスの球面画像の回転中に、特徴点対の距離総和の最小時に対応する回転オイラー角を複数対取得して、各パスの球面画像及び隣接する球面画像中の右部分の回転オイラー角とすることを含む。
【００２７】
本発明の第二の実施形態において、第二の左パノラマ画像を第一の左パノラマ画像にアライメントして、第二の左部分回転マトリックスを計算して取得することは、
第一の左パノラマ画像を第一の立方体にマッピングし、第二の左パノラマ画像を第二の立方体にマッピングすることと、
第一の立方体と第二の立方体の各面上の特徴点対をそれぞれ抽出することと、
特徴点対の距離総和が最小になるよう、最適な前記第二の左部分回転マトリックスを計算することを含み；
第二の右パノラマ画像を第一の右パノラマ画像にアライメントして、第二の右部分回転マトリックスを計算して取得することは、
第一の右パノラマ画像を第三の立方体にマッピングし、第二の右パノラマ画像を第四の立方体にマッピングすることと、
第三の立方体と第四の立方体の各面上の特徴点対をそれぞれ抽出することと、
特徴点対の距離総和が最小になるよう、最適な前記第二の右部分回転マトリックスを計算することを含む。
【００２８】
［第三の実施形態］
本発明の第三の実施形態は、電子データ交換用のコンピュータープログラムを記憶するために使われるコンピューター記憶媒体を提供し、コンピュータープログラムによって、コンピューターが本発明の第一の実施形態で説明したマルチパスの画像に基づくパノラマ画像のアライメント方法を実行するようにする。
【００２９】
［第四の実施形態］
図３は、本発明の第四の実施形態による携帯端末の構造ブロック図であり、当該携帯端末100は、一つ又は複数のプロセッサ102と、記憶装置101と、一つ又は複数のプログラムとを備えている。
【００３０】
一つ又は複数のプログラムは、記憶装置101に記憶され、且つ、一つ又は複数のプロセッサ102により実行できるように配置され、下記ステップを実行する指令を含んでいる。すなわち、
マルチパスの球面画像を取得するステップと、ここで、マルチパスの球面画像は、パノラマ画像を接合するために使われるマルチパスの画像がそれぞれ単位球上にマッピングされたマルチパスの球面画像であり、
各パスの球面画像の中央部分を切り取って、それぞれ各パスの球面画像の中央部分に基づいて各パスの球面画像及び隣接する球面画像中の中央部分の回転オイラー角を計算し；各パスの球面画像の左部分を切り取って、それぞれ各パスの球面画像の左部分に基づいて各パスの球面画像及び隣接する球面画像中の左部分の回転オイラー角を計算して、第一の左部分回転マトリックスを取得し；各パスの球面画像の右部分を切り取って、それぞれ各パスの球面画像の右部分に基づいて各パスの球面画像及び隣接する球面画像中の右部分の回転オイラー角を計算して、第一の右部分回転マトリックスを取得するステップと、
全パスの画像の中央部分の回転オイラー角を使って左部分の画像を接合して、第一の左パノラマ画像を取得し；全パスの画像の中央部分の回転オイラー角を使って右部分の画像を接合して、第一の右パノラマ画像を取得し；全パスの画像の左部分の回転オイラー角を使って左部分の画像を接合して、第二の左パノラマ画像を取得し；全パスの画像の右部分の回転オイラー角を使って右部分の画像を接合して、第二の右パノラマ画像を取得するステップと、
第二の左パノラマ画像を第一の左パノラマ画像にアライメントして、第二の左部分回転マトリックスを計算して取得し、ここで、左パノラマ画像の回転マトリックスは、第一の左部分回転マトリックスと第二の左部分回転マトリックスとの掛け合わせと等しく、これにより、左パノラマ画像のアライメント後の回転オイラー角を取得し；第二の右パノラマ画像を第一の右パノラマ画像にアライメントして、第二の右部分回転マトリックスを計算して取得し、ここで、右パノラマ画像の回転マトリックスは、第一の右部分回転マトリックスと第二の右部分回転マトリックスとの掛け合わせと等しく、これにより、右パノラマ画像のアライメント後の回転オイラー角を取得するステップと、を実行ための指令を含んでいる。
【００３１】
本発明の第四の実施形態において、各パスの球面画像の中央部分を切り取って、それぞれ各パスの球面画像の中央部分に基づいて各パスの球面画像及び隣接する球面画像中の中央部分の回転オイラー角を計算することは、
各パスの球面画像の中央部分を切り取るステップと、
各パスの球面画像の中央部分に対し複数の特徴点を抽出するステップと、
各パスの球面画像の中央部分の複数の特徴点を、隣接する球面画像の中央部分の特徴点とそれぞれマッピングして、複数対の特徴点対を取得するステップと、
各パスの球面画像に対し、当該パスの球面画像の回転中に、特徴点対の距離総和の最小時に対応する回転オイラー角を複数対取得して、各パスの球面画像及び隣接する球面画像中の中央部分の回転オイラー角とするステップを含み；
各パスの球面画像の左部分を切り取って、それぞれ各パスの球面画像の左部分に基づいて各パスの球面画像及び隣接する球面画像中の左部分の回転オイラー角を計算することは、
各パスの球面画像の左部分を切り取るステップと、
各パスの球面画像の左部分に対し複数の特徴点を抽出するステップと、
各パスの球面画像の左部分の複数の特徴点を、隣接する球面画像の左部分の特徴点とそれぞれマッピングして、複数対の特徴点対を取得するステップと、
各パスの球面画像に対し、当該パスの球面画像の回転中に、特徴点対の距離総和の最小時に対応する回転オイラー角を複数対取得して、各パスの球面画像及び隣接する球面画像中の左部分の回転オイラー角とするステップを含み；
各パスの球面画像の右部分を切り取って、それぞれ各パスの球面画像の右部分に基づいて各パスの球面画像及び隣接する球面画像中の右部分の回転オイラー角を計算することは、
各パスの球面画像の右部分を切り取るステップと、
各パスの球面画像の右部分に対し複数の特徴点を抽出するステップと、
各パスの球面画像の右部分の複数の特徴点を、隣接する球面画像の右部分の特徴点とそれぞれマッピングして、複数対の特徴点対を取得するステップと、
各パスの球面画像に対し、当該パスの球面画像の回転中に、特徴点対の距離総和の最小時に対応する回転オイラー角を複数対取得して、各パスの球面画像及び隣接する球面画像中の右部分の回転オイラー角とするステップを含む。
【００３２】
本発明の第四の実施形態において、第二の左パノラマ画像を第一の左パノラマ画像にアライメントして、第二の左部分回転マトリックスを計算して取得することは、
第一の左パノラマ画像を第一の立方体にマッピングし、前記第二の左パノラマ画像を第二の立方体にマッピングするステップと、
第一の立方体と第二の立方体の各面上の特徴点対をそれぞれ抽出するステップと、
特徴点対の距離総和が最小になるよう、最適な前記第二の左部分回転マトリックスを計算するステップを含み；
第二の右パノラマ画像を第一の右パノラマ画像にアライメントして、第二の右部分回転マトリックスを計算して取得するステップは、
第一の右パノラマ画像を第三の立方体にマッピングし、第二の右パノラマ画像を第四の立方体にマッピングするステップと、
第三の立方体と第四の立方体の各面上の特徴点対をそれぞれ抽出するステップと、
特徴点対の距離総和が最小になるよう、最適な前記第二の右部分回転マトリックスを計算するステップを含む。
【００３３】
本発明の実施形態において、第二の左パノラマ画像を第一の左パノラマ画像にアライメントして、第二の左部分回転マトリックスを計算して取得し、したがって、左パノラマ画像の回転マトリックスは、第一の左部分回転マトリックスと第二の左部分回転マトリックスとの掛け合わせとなるため、左パノラマ画像のアライメント後の回転オイラー角が取得でき、第二の右パノラマ画像を第一の右パノラマ画像にアライメントして、第二の右部分回転マトリックスを計算して取得し、したがって、右パノラマ画像の回転マトリックスは、第一の右部分回転マトリックスと第二の右部分回転マトリックスとの掛け合わせとなるため、右パノラマ画像のアライメント後の回転オイラー角が取得できる。これにより、マルチパスの画像に基づくパノラマ画像のアライメントが実現できて、パノラマ画像の立体感がよくなる。
【００３４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、本発明の趣旨およびその範囲から逸脱しない限り、その趣旨に基づいて変更、均等置換または改善することができ、いずれも本発明の保護範囲に含まれる。
【図１】
0006961717.tif 000010
【図２】
0006961717.tif 000011
【図３】
0006961717.tif 000012