(57)【要約】  本願は、球面パノラマ画像上に画像貼付けするための方法及び装置を開示する。方法は、第１球面パノラマ画像に対する球面座標系を確立し、第１球面パノラマ画像を球面上にマッピングして、第１球面パノラマ画像の球面投影画像を取得し、ユーザの選択に従って、球面投影画像内の第１画像貼付領域を決定し、対応する画像を平面画像に変換し、貼付対象の画像の形状を平面画像の形状に変換し、形状が変換された貼付対象の画像を球面座標系にマッピングし、球面座標系にマッピングされた貼付対象の画像を、第１画像貼付領域と画像とが重なる位置まで回転させ、第２球面パノラマ画像に変換された後に貼付対象の画像を変換し、第１画像貼付領域に対応する第２画像貼付領域を決定し、第２球面パノラマ画像を第２画像貼付領域に補間して、第１球面パノラマ画像に貼付対象の画像の貼り付けを完了する。【選択図】図１
2019526874.tif 000002
【特許請求の範囲】
【請求項１】
球面パノラマ画像に画像貼付けを実行するための方法であって、
第１球面パノラマ画像に対する球面座標系を確立し、
前記第１球面パノラマ画像を前記球面座標系に対応する球面上にマッピングして、前記第１球面パノラマ画像の球面投影画像を取得し、
前記球面投影画像に対するユーザの選択操作に従って、前記球面投影画像への貼付対象の画像の第１画像貼付領域を決定し、
前記第１画像貼付領域に対応する前記画像を平面画像に変換し、
貼付対象の前記画像の形状を前記平面画像の形状に変換し、
形状変換された貼付対象の前記画像を前記球面座標系にマッピングし、
前記球面座標系にマッピングされた貼付対象の前記画像を、前記第１画像貼付領域と前記画像とが重なる位置まで回転させ、
前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を第２球面パノラマ画像に変換し、
前記第１球面パノラマ画像における前記第１画像貼付領域に対応する第２画像貼付領域を決定し、
前記第２球面パノラマ画像を第２画像貼付領域に補間して、前記第１球面パノラマ画像に貼付対象の前記画像の貼付けを完了する
ことを含む、方法。
【請求項２】
請求項１に記載の方法であって、
前記第１画像貼付領域に対応する前記画像を前記平面画像に変換することは、
前記第１画像貼付領域の中心点座標を決定し、
前記中心点座標に従って前記球面投影画像を回転させ、
座標が経度及び緯度で表される場合、回転された前記球面投影画像内の前記中心点座標は（０、０）であり、
回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像を次の式、
【数３１】
2019526874.tif 000033
に従って前記平面画像に変換することを含む。
ここで、（λ’、φ’）は回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像内の点の前記球面座標系内の座標であり、λ’、φ’はそれぞれ回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像内の点の経度及び緯度であり、（ｕ、ｖ）は（λ’、φ’）の座標の点の平面直角座標系における対応座標であり、ｒ＝ｎ／２π、ｒは前記球面投影画像の半径であり、ｎは前記第１球面パノラマ画像の幅である。
【請求項３】
請求項１に記載の方法であって、
貼付対象の前記画像の形状を前記平面画像の形状に変換することは、
前記平面画像と貼付対象の前記画像とに従ってホモグラフィ行列を決定し、
前記ホモグラフィ行列に従って貼付対象の前記画像に平面透視変換を実行して、貼付対象の前記画像の形状を前記平面画像の形状に変換することを含む。
【請求項４】
請求項１に記載の方法であって、
形状変換された貼付対象の前記画像を前記球面座標系にマッピングすることは、
次の式、
【数３２】
2019526874.tif 000034
に従って、前記球面座標系への形状変換された貼付対象の前記画像をマッピングすることを含む。
ここで、（ｕ、ｖ）は形状変換された貼付対象の前記画像内の点の平面座標系における座標であり、（λ、φ）は前記球面座標系にマッピングされた（ｕ、ｖ）の座標の点の座標であり、ｒ＝ｎ／２π、ｒは前記球面投影画像の半径であり、ｎは前記第１球面パノラマ画像の幅である。
【請求項５】
請求項１に記載の方法であって、
前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を前記第２球面パノラマ画像に変換することは、
次の式、
【数３３】
2019526874.tif 000035
に従って、前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を前記第２球面パノラマ画像に変換することを含む。
ここで、（λ’、φ’）は前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像内の点の前記球面座標系における座標であり、λ’、φ’はそれぞれ前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像内の点の経度及び緯度であり、（ｘ、ｙ）は平面座標系にマッピングされた（λ’、φ’）の座標の点の座標であり、ｍ及びｎはそれぞれ前記第１球面パノラマ画像の高さ及び幅である。
【請求項６】
球面パノラマ画像に画像貼付けを実行するための装置であって、
確立モジュール、第１マッピングモジュール、第１決定モジュール、第１変換モジュール、第２変換モジュール、第２マッピングモジュール、回転モジュール、第３変換モジュール、第２決定モジュール、及び補間モジュールを含み、
前記確立モジュールは、第１球面パノラマ画像に対する球面座標系を確立するのに用いられ、
前記第１マッピングモジュールは、前記第１球面パノラマ画像を前記球面座標系に対応する球面上にマッピングして、前記第１球面パノラマ画像の球面投影画像を取得するのに用いられ、
前記第１決定モジュールは、前記球面投影画像に対するユーザの選択操作に従って、前記球面投影画像への貼付対象の画像の第１画像貼付領域を決定するのに用いられ、
前記第１変換モジュールは、前記第１画像貼付領域に対応する前記画像を平面画像に変換するのに用いられ、
前記第２変換モジュールは、貼付対象の前記画像の形状を前記平面画像の形状に変換するのに用いられ、
前記第２マッピングモジュールは、形状変換された貼付対象の前記画像を前記球面座標系にマッピングするのに用いられ、
前記回転モジュールは、前記球面座標系にマッピングされた貼付対象の前記画像を、前記第１画像貼付領域と前記画像とが重なる位置まで回転させるのに用いられ、
前記第３変換モジュールは、前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を第２球面パノラマ画像に変換するのに用いられ、
前記第２決定モジュールは、前記第１球面パノラマ画像における前記第１画像貼付領域に対応する第２画像貼付領域を決定するのに用いられ、
前記補間モジュールは、前記第２球面パノラマ画像を第２画像貼付領域に補間して、前記第１球面パノラマ画像に貼付対象の前記画像の貼付けを完了するのに用いられる、
装置。
【請求項７】
請求項６に記載の装置であって、
前記第１変換モジュールは、
前記第１画像貼付領域の中心点座標を決定し、
前記中心点座標に従って前記球面投影画像を回転させ、
座標が経度及び緯度で表される場合、回転された前記球面投影画像内の前記中心点座標は（０、０）であり、
回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像を次の式、
【数３４】
2019526874.tif 000036
に従って前記平面画像に変換するのに用いられる。
ここで、（λ’、φ’）は回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像内の点の前記球面座標系内の座標であり、λ’、φ’はそれぞれ回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像内の点の経度及び緯度であり、（ｕ、ｖ）は（λ’、φ’）の座標の点の平面直角座標系における対応座標であり、ｒ＝ｎ／２π、ｒは前記球面投影画像の半径であり、ｎは前記第１球面パノラマ画像の幅である。
【請求項８】
請求項６に記載の装置であって、
前記第２変換モジュールは、
前記平面画像と貼付対象の前記画像とに従ってホモグラフィ行列を決定し、
前記ホモグラフィ行列に従って貼付対象の前記画像に平面透視変換を実行して、貼付対象の前記画像の形状を前記平面画像の形状に変換するのに用いられる。
【請求項９】
請求項６に記載の装置であって、
前記第２マッピングモジュールは、
次の式、
【数３５】
2019526874.tif 000037
に従って、前記球面座標系への形状変換された貼付対象の前記画像をマッピングするのに用いられる。
ここで、（ｕ、ｖ）は形状変換された貼付対象の前記画像内の点の平面座標系における座標であり、（λ、φ）は前記球面座標系にマッピングされた（ｕ、ｖ）の座標の点の座標であり、ｒ＝ｎ／２π、ｒは前記球面投影画像の半径であり、ｎは前記第１球面パノラマ画像の幅である。
【請求項１０】
請求項６に記載の装置であって、
前記第３変換モジュールは、
次の式、
【数３６】
2019526874.tif 000038
に従って、前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を前記第２球面パノラマ画像に変換するのに用いられる。
ここで、（λ’、φ’）は前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像内の点の前記球面座標系における座標であり、λ’、φ’はそれぞれ前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像内の点の経度及び緯度であり、（ｘ、ｙ）は平面座標系にマッピングされた（λ’、φ’）の座標の点の座標であり、ｍ及びｎはそれぞれ前記第１球面パノラマ画像の高さ及び幅である。
【請求項１１】
プロセッサと、通信インタフェースと、メモリと、通信バスとを含み、前記プロセッサ、前記通信インタフェース、前記メモリは、前記通信バスを介して互いに通信する電子機器であって、
前記メモリは、コンピュータプログラムを格納するのに用いられ、
前記プロセッサは、前記メモリに格納されたコンピュータプログラムを実行するときに、請求項１〜５のいずれか一項に記載の方法を実行するのに用いられる。
【請求項１２】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体は、プロセッサによって実行されると、前記プロセッサに請求項１〜５のいずれか一項に記載の方法を実行させるコンピュータプログラムを格納する。
【請求項１３】
コンピュータプログラムであって、前記コンピュータプログラムは、実行されると請求項１〜５のいずれか一項に記載の方法を実行することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、パノラマ画像処理の分野に関し、特に、球面パノラマ画像上に画像を貼り付けるための方法及び装置に関する。
【背景技術】
【０００２】
社会の進歩に伴い、人々は写真の所与の位置又は写真上に表示されている特定の平面上に画像を貼り付ける必要がある。
【０００３】
既存の画像貼付け技術は、単眼画像化原理（monocular imaging principle）に準拠する２Ｄ画像（平面画像）上に画像をマッピングする。
【０００４】
パノラマ画像コレクター（collector）及びパノラマ画像接合技術の発展に伴い、現在ではパノラマ画像を容易に得ることができ、特に水平方向３６０度及び垂直方向９０度をカバーする球面パノラマ画像が仮想現実の分野で広く用いられている。しかしながら、球面パノラマ画像は単眼画像化原理ともはや一致しないため、先行技術を用いて球面パノラマ画像上に貼り付ける画像は画像の歪みを引き起こす。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従って、球面パノラマ画像上に歪みのない画像貼付けを実現することが、解決されるべき緊急の問題である。
【課題を解決するための手段】
【０００６】
本願の実施形態の目的は、球面パノラマ画像上に歪みのない画像貼付けを実現するために、球面パノラマ画像上に画像を貼り付けるための方法及び装置を提供することである。
【０００７】
上記目的を達成するために、本願の実施の形態は、球面パノラマ画像に画像貼付けを実行する方法を開示する。
該方法は、
第１球面パノラマ画像に対する球面座標系を確立し、
前記第１球面パノラマ画像を前記球面座標系に対応する球面上にマッピングして、前記第１球面パノラマ画像の球面投影画像を取得し、
前記球面投影画像に対するユーザの選択操作に従って、前記球面投影画像への貼付対象の画像の第１画像貼付領域を決定し、
前記第１画像貼付領域に対応する前記画像を平面画像に変換し、
貼付対象の前記画像の形状を前記平面画像の形状に変換し、
形状が変換された貼付対象の前記画像を前記球面座標系にマッピングし、
前記球面座標系にマッピングされた貼付対象の前記画像を、前記第１画像貼付領域と前記画像とが重なる位置まで回転させ、
前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を第２球面パノラマ画像に変換し、
前記第１球面パノラマ画像における前記第１画像貼付領域に対応する第２画像貼付領域を決定し、
前記第２球面パノラマ画像を第２画像貼付領域に補間して、前記第１球面パノラマ画像に貼付対象の前記画像の貼付けを完了する
ことを含む。
【０００８】
このましくは、前記第１画像貼付領域に対応する前記画像を前記平面画像に変換することは、
前記第１画像貼付領域の中心点座標を決定し、
前記中心点座標に従って前記球面投影画像を回転させ、
座標が経度及び緯度で表される場合、回転された前記球面投影画像内の前記中心点座標は（０、０）であり、
回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像を次の式、
【数１】
2019526874.tif 000003
に従って前記平面画像に変換することを含み得る。
ここで、（λ’、φ’）は回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像内の点の前記球面座標系内の座標であり、λ’、φ’はそれぞれ回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像内の点の経度及び緯度であり、（ｕ、ｖ）は（λ’、φ’）の座標の点の平面直角座標系における対応座標であり、ｒ＝ｎ／２π、ｒは前記球面投影画像の半径であり、ｎは前記第１球面パノラマ画像の幅である。
【０００９】
好ましくは、貼付対象の前記画像の形状を前記平面画像の形状に変換することは、
前記平面画像と貼付対象の前記画像とに従ってホモグラフィ行列を決定し、
前記ホモグラフィ行列に従って貼付対象の前記画像に平面透視変換を実行して、貼付対象の前記画像の形状を前記平面画像の形状に変換することを含み得る。
【００１０】
好ましくは、形状変換された貼付対象の前記画像を前記球面座標系にマッピングすることは、
次の式、
【数２】
2019526874.tif 000004
に従って、前記球面座標系への形状変換された貼付対象の前記画像をマッピングすることを含み得る。
ここで、（ｕ、ｖ）は形状変換された貼付対象の前記画像内の点の平面座標系における座標であり、（λ、φ）は前記球面座標系にマッピングされた（ｕ、ｖ）座標点の座量であり、ｒ＝ｎ／２π、ｒは前記球面投影画像の半径であり、ｎは前記第１球面パノラマ画像の幅である。
【００１１】
好ましくは、前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を前記第２球面パノラマ画像に変換することは、
次の式、
【数３】
2019526874.tif 000005
に従って、前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を前記第２球面パノラマ画像に変換することを含み得る。
ここで、（λ’、φ’）は前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像内の点の前記球面座標系における座標であり、λ’、φ’はそれぞれ前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像内の点の経度及び緯度であり、（ｘ、ｙ）は平面座標系にマッピングされた（λ’、φ’）の座標の点の座標であり、ｍ及びｎはそれぞれ前記第１球面パノラマ画像の高さ及び幅である。
【００１２】
上記目的を達成するために、本願の実施の形態は、また、球面パノラマ画像に画像貼付けを実行するための装置を開示する。該装置は、確立モジュール、第１マッピングモジュール、第１決定モジュール、第１変換モジュール、第２変換モジュール、第２マッピングモジュール、回転モジュール、第３変換モジュール、第２決定モジュール、及び補間モジュールを含み得る。
前記確立モジュールは、第１球面パノラマ画像に対する球面座標系を確立するのに用いられ、
前記第１マッピングモジュールは、前記第１球面パノラマ画像を前記球面座標系に対応する球面上にマッピングして、前記第１球面パノラマ画像の球面投影画像を取得するのに用いられ、
前記第１決定モジュールは、前記球面投影画像に対するユーザの選択操作に従って、前記球面投影画像への貼付対象の画像の第１画像貼付領域を決定するのに用いられ、
前記第１変換モジュールは、前記第１画像貼付領域に対応する前記画像を平面画像に変換するのに用いられ、
前記第２変換モジュールは、貼付対象の前記画像の形状を前記平面画像の形状に変換するのに用いられ、
前記第２マッピングモジュールは、形状変換された貼付対象の前記画像を前記球面座標系にマッピングするのに用いられ、
前記回転モジュールは、前記球面座標系にマッピングされた貼付対象の前記画像を、前記第１画像貼付領域と前記画像とが重なる位置まで回転させるのに用いられ、
前記第３変換モジュールは、前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を第２球面パノラマ画像に変換するのに用いられ、
前記第２決定モジュールは、前記第１球面パノラマ画像における前記第１画像貼付領域に対応する第２画像貼付領域を決定するのに用いられ、
前記補間モジュールは、前記第２球面パノラマ画像を第２画像貼付領域に補間して、前記第１球面パノラマ画像に貼付対象の前記画像の貼付けを完了するのに用いられる。
【００１３】
好ましくは、前記第１変換モジュールは、
前記第１画像貼付領域の中心点座標を決定し、
前記中心点座標に従って前記球面投影画像を回転させ、
座標が経度及び緯度で表される場合、回転された前記球面投影画像内の前記中心点座標は（０、０）であり、
回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像を次の式、
【数４】
2019526874.tif 000006
に従って前記平面画像に変換するのに用いられ得る。
ここで、（λ’、φ’）は回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像内の点の前記球面座標系内の座標であり、λ’、φ’はそれぞれ回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像内の点の経度及び緯度であり、（ｕ、ｖ）は（λ’、φ’）の座標の点の平面直角座標系における対応座標であり、ｒ＝ｎ／２π、ｒは前記球面投影画像の半径であり、ｎは前記第１球面パノラマ画像の幅である。
【００１４】
好ましくは、前記第２変換モジュールは、
前記平面画像と貼付対象の前記画像とに従ってホモグラフィ行列を決定し、
前記ホモグラフィ行列に従って貼付対象の前記画像に平面透視変換を実行して、貼付対象の前記画像の形状を前記平面画像の形状に変換するのに用いられ得る。
【００１５】
好ましくは、前記第２マッピングモジュールは、
次の式
【数５】
2019526874.tif 000007
に従って、前記球面座標系への形状変換された貼付対象の前記画像をマッピングするのに用いられ得る。
ここで、（ｕ、ｖ）は形状変換された貼付対象の前記画像内の点の平面座標系における座標であり、（λ、φ）は前記球面座標系にマッピングされた（ｕ、ｖ）の座標の点の座標であり、ｒ＝ｎ／２π、ｒは前記球面投影画像の半径であり、ｎは前記第１球面パノラマ画像の幅である。
【００１６】
好ましくは、前記第３変換モジュールは、
次の式、
【数６】
2019526874.tif 000008
に従って、前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を前記第２球面パノラマ画像に変換するのに用いられ得る。
ここで、（λ’、φ’）は前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像内の点の前記球面座標系における座標であり、λ’、φ’はそれぞれ前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像内の点の経度及び緯度であり、（ｘ、ｙ）は平面座標系にマッピングされた（λ’、φ’）の座標の点の座標であり、ｍ及びｎはそれぞれ前記第１球面パノラマ画像の高さ及び幅である。
【００１７】
上記目的を達成するために、本願の実施の形態は、また、電子機器を開示する。該電子機器は、プロセッサと、通信インタフェースと、メモリと、通信バスとを含み、前記プロセッサ、前記通信インタフェース、前記メモリは、前記通信バスを介して互いに通信する。
前記メモリは、コンピュータプログラムを格納するのに用いられ、
前記プロセッサは、前記メモリに格納されたコンピュータプログラムを実行するときに、請求項１〜５のいずれか一項に記載の方法を実行するのに用いられる。
【００１８】
上記目的を達成するために、本願の実施の形態は、また、コンピュータ可読記憶媒体を開示する。該コンピュータ可読記憶媒体は、プロセッサによって実行されると、前記プロセッサに上記方法のいずれか一つを実行させるコンピュータプログラムを格納する。
【００１９】
上記目的を達成するために、本願の実施の形態は、また、コンピュータプログラムを開示する。該コンピュータプログラムは、実行されると上記方法のいずれか一つを実行することができる。
【００２０】
本願は、球面パノラマ画像上に画像を貼り付けるための方法を提供する。該方法は、第１球面パノラマ画像に対する球面座標系を確立し、前記第１球面パノラマ画像を前記球面座標系に対応する球面上にマッピングして、前記第１球面パノラマ画像の球面投影画像を取得し、前記球面投影画像に対するユーザの選択操作に従って、前記球面投影画像への貼付対象の画像の第１画像貼付領域を決定し、前記第１画像貼付領域に対応する前記画像を平面画像に変換し、貼付対象の前記画像の形状を前記平面画像の形状に変換し、形状が変換された貼付対象の前記画像を前記球面座標系にマッピングし、前記球面座標系にマッピングされた貼付対象の前記画像を、前記第１画像貼付領域と前記画像とが重なる位置まで回転させ、前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を第２球面パノラマ画像に変換し、前記第１球面パノラマ画像における前記第１画像貼付領域に対応する第２画像貼付領域を決定し、前記第２球面パノラマ画像を第２画像貼付領域に補間して、前記第１球面パノラマ画像に貼付対象の前記画像の貼付けを完了することを含む。
【００２１】
本願の実施形態では、第１画像貼付領域に対応する画像は、単眼透視画像化原理（monocular perspective imaging principle）に準拠した平面画像である平面画像に変換される。従って、平面画像に従って形状変換された後の貼付対象の画像も単眼透視画像化原理に従う。すなわち、形状が球面座標系に変換された貼付対象の画像をマッピングした後に、マッピング後の貼付対象の画像に歪みが生じず、球面パノラマ画像に歪みのない画像貼り付けを実施することができる。
【００２２】
なお、本願を実施するいかなる製品又は方法も、同時に上記の利点すべてを達成するために必ずしも必要ではない。
【００２３】
本願の実施形態又は従来技術における技術的解決策をより明確に説明するために、実施形態又は従来技術の説明において用いられる以下の図面について以下に簡単に説明する。
【図面の簡単な説明】
【００２４】
【図１】本願の実施形態において提供される球面パノラマ画像上に画像を貼り付けるための方法のフロー図である。
【図２ａ】本願の実施形態において提供される第１球面パノラマ画像の概略図である。
【図２ｂ】本願の実施形態において提供される貼付対象の画像の概略図である。
【図２ｃ】本願の実施形態において提供される球面パノラマ画像上に貼付対象の画像をマッピングした第１結果の概略図である。
【図２ｄ】本願の実施形態において提供される球面パノラマ画像上に貼付対象の画像をマッピングした第２結果の概略図である。
【図３】本願の実施形態において提供される球面パノラマ画像上に画像を貼り付けるための装置の概略構造図である。
【図４】本願の実施形態において提供される電子機器の概略構造図である。
【発明を実施するための形態】
【００２５】
本願の実施形態における技術的解決策を、本願の実施形態の添付の図面を参照して以下に説明する。
【００２６】
図１は、本願の実施形態において提供される球面パノラマ画像上に画像を貼り付けるための方法の概略フロー図であり、以下を含むことができる。
Ｓ１０１：第１球面パノラマ画像に対する球面座標系を確立する。
【００２７】
具体的には、第１球面パノラマ画像Ａに対する球面座標系Ｍが確立される。第１球面パノラマ画像Ａは、水平方向に３６０度の視野をカバーし、垂直方向に１８０度の視野をカバーする画像であり、アスペクト比は２：１である。
【００２８】
例示的に、図２ａは、本願の実施形態において提供される第１球面パノラマ画像の概略図である。
【００２９】
典型的には、球面パノラマ画像は、エクイレクタングラー画像とも呼ばれ得る。
【００３０】
Ｓ１０２：第１球面パノラマ画像を球面座標系に対応する球面上にマッピングして、第１球面パノラマ画像の球面投影画像を取得する。
【００３１】
具体的には、第１球面パノラマ画像Ａの座標と球面座標系Ｍの座標とは一対一に対応しているため、第１球面パノラマ画像Ａは球面座標系Ｍの球面上に投影され、球面パノラマ画像Ａに対応する球面投影画像Ｂが得られる。
【００３２】
本願の実施形態では、球面パノラマ画像は平面画像（単眼画像化原理に準拠した２Ｄ画像）として理解することができる。この球面パノラマ画像は幅と高さを有し、球面パノラマ画像の座標系はｘｙ座標系である。また、球面投影画像は、正の球面曲面画像、楕円曲面画像などの曲面画像と理解することができる。球面投影画像は半径を有していてもよく、球面投影画像の座標系は経度及び緯度（λ、φ）座標系であってもよい。
【００３３】
具体的には、第１球面パノラマ画像Ａは、
式
【数７】
2019526874.tif 000009
に従って、球面座標系Ｍ内の球面上にマッピングすることができる。
ここで、（ｘ、ｙ）は第１球面パノラマ画像Ａ上の点の座標であり、（λ、φ）は球面座標系Ｍに投影される（ｘ、ｙ）の座標を有する点の座標であり、λ、φはそれぞれ球面座標系Ｍの球面上の点の経度及び緯度であり、ｒ＝ｎ／２π、ｒは球面投影画像の半径であり、ｎは第１球面パノラマ画像の幅である。
【００３４】
Ｓ１０３：球面投影画像に対するユーザの選択操作に従って、球面投影画像への貼付対象の画像の第１画像貼付領域を決定する。
【００３５】
貼付対象の画像は予め取得しておいてもよい。具体的には、貼付対象の画像は、ユーザにより指定されてもよいし、他の装置から送信されてもよい。例えば、貼付対象の画像は、図２ｂに示す通りであり得る。
【００３６】
図２ａに対応する球面投影画像において、ユーザによって選択された画像貼付領域がビルボードであると仮定すると、第１画像貼付領域はビルボードに基づいて決定され得る。通常、ユーザは、所望の画像貼付領域の頂点に基づいて第１画像貼付領域を決定したい。ユーザが複数の頂点を選択することができ、これらの頂点からなる第１画像貼付領域が選択された頂点に基づいて決定され得ることを理解されたい。
【００３７】
実用的な用途では、ユーザは球面投影画像Ｂ上の点を選択することもでき、それから、第１画像貼付領域をその点に基づいて決定することができる。例えば、ユーザが選択した点が各点の画素値が互いに類似している領域内の点である場合、その領域を第１画像貼付領域等とすることができるが、この特定の方法に限られない。
【００３８】
Ｓ１０４：第１画像貼付領域に対応する画像を平面画像に変換して、平面画像の形状を取得する。
【００３９】
以上の説明によれば、球面投影画像は曲面画像であり、第１画像貼付領域は球面投影画像内の領域である。従って、第１画像貼付領域に対応する画像も曲面画像であり、Ｓ１０４では、第１画像貼付領域に対応する曲面画像が平面画像に変換される。
【００４０】
平面画像は球面投影画像の一部の領域（第１画像貼付領域）内の画像を変形することにより得られ、平面画像は正規の大きさの完全画像ではない。例えば、球面投影画像がビルボードを含み、ビルボードが配置されている領域内の画像が平面画像に変換された後、平面画像は台形又は他の非長方形の形状であり得、画像化原理は近大遠小（near-large and far-small）である。
【００４１】
具体的には、第１画像貼付領域の中心点座標を求めることができる。球面投影画像は中心点座標に従って回転させることができる。座標が経度及び緯度で表される場合、回転された球面投影画像における中心点座標の座標は（０、０）である。そして、回転された球面投影画像の第１画像貼付領域に対応する画像は、
式
【数８】
2019526874.tif 000010
に従って平面画像に変換される。
ここで、（λ’、φ’）は回転された球面投影画像内の第１画像貼付領域に対応する画像内の点の球面座標系内の座標であり、λ’、φ’はそれぞれ回転された球面投影画像内の前１画像貼付領域に対応する画像内の点の経度及び緯度であり、（ｕ、ｖ）は（λ’、φ’）の座標の点の平面直角座標系における対応座標であり、ｒ＝ｎ／２π、ｒは球面投影画像の半径であり、ｎは第１球面パノラマ画像の幅である。
【００４２】
実際の用途では、第１画像貼付領域の中心点は、式
【数９】
2019526874.tif 000011
に従って決定され得る。
ここで、λ０、φ０はそれぞれ、球面座標系Ｍにおける第１画像貼付領域の中心点の経度及び緯度であり、ｓはユーザが選択したポイント数であり、λｉ、φｉは、それぞれ、第１画像貼付領域内のｓ個の選択された点のうちのｉ番目の点の経度及び緯度である。
【００４３】
球面投影画像Ｂは、決定された中心点の座標（λ０、φ０）に従って回転される。座標が経度及び緯度で表される場合、（λ０、φ０）座標を有する中心点の回転された球面投影画像における座標は（０、０）である。
【００４４】
球面投影画像Ｂを回転させた後に得られる第１画像貼付領域内の点のステレオ直角座標系における座標は、
式
【数１０】
2019526874.tif 000012
に従って決定される。
ここで、ｘ、ｙ、ｚはそれぞれステレオ直角座標系のｘ軸、ｙ軸、ｚ軸上の第１画像貼付領域内の各点の座標の値であり、（λ０、φ０）は第１画像貼付領域の中心点の座標であり、λ０、φ０は、第１画像貼付領域の中心点の経度及び緯度であり、λ、φは第１画像貼付領域内の点に対応する経度及び緯度である。
【００４５】
ｘ、ｙ、ｚによれば、球面座標系Ｍにおける第１画像貼付領域内の点の座標は、
式
【数１１】
2019526874.tif 000013
により決定される。
ここで、（ｘ、ｙ）はｘ軸の値とｙ軸の値で表される第１画像貼付領域内の点の座標であり、ｘ、ｙはそれぞれｘ軸とｙ軸上の第１画像貼付領域内の点の値であり、（λ’、φ’）は球面座標系Ｍにおける第１画像貼付領域内の点の座標であり、λ’、φ’はそれぞれ第１画像貼付領域内の点の経度及び緯度である。
【００４６】
第１画像貼付領域に対応する画像は、
式
【数１２】
2019526874.tif 000014
に従って平面画像に変換される。
ここで、（λ’、φ’）は回転された球面投影画像内にあり、第１画像貼付領域に対応する画像内の点の球面座標系での座標であり、λ’、φ’はそれぞれ回転された球面投影画像内にあり、第１画像貼付領域に対応する画像内の点の経度及び緯度であり、（ｕ、ｖ）は平面直角座標系において座標が（λ’、φ’）である対応する点の座標であり、ｒ＝ｎ／２π、ｒは球面投影画像の半径であり、ｎは第１球面パノラマ画像の幅である。
【００４７】
Ｓ１０５：貼付対象の画像の形状を平面画像の形状に変換する。
【００４８】
上記の説明によれば、第１画像貼付領域の画像を平面画像に変換する場合、近大遠小の画像化原理に起因して、平面画像は台形又は他の非長方形の形状であり得る。ここでは平面画像の形状が台形であると仮定する。図２ｂに示すように、貼付対象の画像の形状は長方形であり、その長方形は台形に変換される。
【００４９】
具体的には、平面画像と貼付対象の画像とに従ってホモグラフィ行列を決定することができる。ホモグラフィ行列に従って貼付対象の画像に平面透視変換が実行され、貼付け対象の画像の形状が平面画像の形状に変換される。
【００５０】
実際の用途では、決定された第１画像貼付領域をＣとし、Ｓ１０４でＣに従って得られた平面画像をＤとする。平面画像Ｄの各頂点と貼付対象の画像Ｐの各頂点との対応関係に従って、ホモグラフィ行列Ｈが決定される。そして、Ｈと、
式
【数１３】
2019526874.tif 000015
に従って、貼付対象の画像Ｐを平面透視変換して貼付対象の画像Ｐを平面画像Ｄの形状に変換し、変換された貼付対象の画像Ｐ’を得る。
【００５１】
Ｓ１０３でユーザが球面投影画像Ｂ上の点を選択した場合、平面画像Ｄと貼付対象の画像Ｐとの間のホモグラフィ行列Ｈは、
【数１４】
2019526874.tif 000016
のようになる。そして、
【数１５】
2019526874.tif 000017
に従って、貼付対象の画像Ｐに平面透視変換が実行される。
典型的には、行列
【数１６】
2019526874.tif 000018
で貼付対象の画像Ｐに平面透視変換を実行した後に得られる画像の形状と、貼付対象の画像Ｐに変化はない。
【００５２】
Ｓ１０６：形状が変換された貼付対象の画像を球面座標系にマッピングする。
【００５３】
具体的には、形状が変換された貼付対象の画像は、
式
【数１７】
2019526874.tif 000019
に従って、球面座標系にマッピングすることができる。
ここで、（ｕ、ｖ）は形状変換された貼付対象の画像内の点の平面座標系における座標であり、（λ、φ）は球面座標系にマッピングされた（ｕ、ｖ）の座標の点の座標であり、ｒ＝ｎ／２π、ｒは球面投影画像の半径であり、ｎは第１球面パノラマ画像の幅である。
【００５４】
通常、形状が変換された貼付対象の画像は、割り当てられた視野角で球面座標系にマッピングされる（視野角の中心点の経度及び緯度はいずれもゼロである）。
【００５５】
Ｓ１０７：球面座標系にマッピングされた貼付対象の画像を、第１画像貼付領域と画像とが重なる位置まで回転させる。
【００５６】
なお、貼付対象の画像は予め取得されており、貼付対象の画像を球面座標系にマッピングした後は、貼付対象の画像と球面投影画像との位置関係は固定されていない。そのため、貼付対象の画像を球面投影画像内で第１画像貼付領域と一致する位置まで回転させる必要がある。
【００５７】
具体的には、球面座標系Ｍにマッピングされた貼付対象の画像をＰ”とし、貼付対象の画像Ｐ”を第１画像貼付領域と一致する位置まで回転させたとする。
【００５８】
実際の用途では、回転後の貼付対象の画像Ｐ”内の点の、ステレオ直角座標系における座標は、
式
【数１８】
2019526874.tif 000020
に従って決定される。
ここで、ｘ’、ｙ’、ｚ’は回転された後の貼付対象の画像Ｐ”内の点のステレオ直角座標系におけるｘ軸、ｙ軸、ｚ軸の対応する値であり、λ０、φ０は、第１画像貼付領域の中心点の経度及び緯度であり、λ、φは回転された後の貼付対象の画像Ｐ”内の点に対応する経度及び緯度である。
【００５９】
ｘ’、ｙ’、ｚ’に従って、回転された後の貼付対象の画像Ｐ”内の点の球面座標系Ｍにおける座標は、
式
【数１９】
2019526874.tif 000021
によって決定される。
ここで、（ｘ’、ｙ’）はｘ軸の値とｙ軸の値で表される回転された後の貼付対象の画像Ｐ”内の点の座標であり、ｘ’、ｙ’はそれぞれｘ軸とｙ軸上の回転された後の貼付対象の画像内の点の値であり、（λ’、φ’）は球面座標系Ｍにおける座標が（ｘ’、ｙ’）である点の座標であり、λ’、φ’はそれぞれ回転された後の貼付対象の画像内の点の経度及び緯度である。
【００６０】
Ｓ１０８：第１画像貼付領域が画像と重なる位置まで回転させた貼付対象の画像を第２球面パノラマ画像に変換する。
【００６１】
上記の説明によれば、球面パノラマ画像は、平面画像（単眼画像化原理に準拠した２Ｄ画像）として理解することができる。球面パノラマ画像は幅と高さを有し、球面パノラマ画像の座標系はｘｙ座標系とすることができる。ここで貼付対象の画像はＳ１０６でマッピングされた後に曲面画像に変換されている。Ｓ１０８では、曲面画像に変換された貼付対象の画像を、再び平面画像（第２球面パノラマ画像）に変換する必要がある。
【００６２】
具体的には、第１画像貼付領域と画像とが重なる位置まで回転された貼付対象の画像を、
式
【数２０】
2019526874.tif 000022
に従って、第２球面パノラマ画像に変換することができる。
ここで、（λ’、φ’）は第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像内の点の球面座標系における座標であり、λ’、φ’はそれぞれ第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像内の点の経度及び緯度であり、（ｘ、ｙ）は平面座標系にマッピングされた（λ’、φ’）の座標の点の座標であり、ｍ及びｎはそれぞれ前記第１球面パノラマ画像の高さ及び幅である。
【００６３】
実際の用途では、Ｓ１０７で取得した、第１画像貼付領域と一致する位置まで回転された貼付対象の画像内の点の座標（λ’、φ’）に従って、回転させた後の貼付対象の画像Ｐ”を、以下の式
【数２１】
2019526874.tif 000023
で第２球面パノラマ画像に変換する。
ここで、（λ’、φ’）は回転された後の貼付対象の画像Ｐ”内の点の球面座標系における座標であり、λ’、φ’はそれぞれ回転された後の貼付対象の画像Ｐ”内の点の経度及び緯度であり、（ｘ、ｙ）は（λ’、φ’）の座標の点の平面直角座標系における座標であり、ｍ及びｎはそれぞれ第１球面パノラマ画像の長さ及び幅である。
【００６４】
Ｓ１０９：第１球面パノラマ画像における第１画像貼付領域に対応する第２画像貼付領域を決定する。
【００６５】
具体的には、第１球面パノラマ画像Ａにおける第１画像貼付領域に対応する第２画像貼付領域である。
【００６６】
説明を区別するために、ここでは、第１球面パノラマ画像における画像貼付領域を第２画像貼付領域と呼び、球面投影画像における画像貼付領域を第１画像貼付領域と呼ぶ。
【００６７】
Ｓ１０１０：第２球面パノラマ画像を第２画像貼付領域に補間して、第１球面パノラマ画像に貼付対象の画像の貼付けを完了する。
【００６８】
具体的には、Ｓ１０９で決定された第２画像貼付領域に基づいて、第２球面パノラマ画像を第２画像貼付領域に補間して、第１パノラマ画像に貼付対象の画像のマッピングを完了する。なお、ここでいう第２球面パノラマ画像は貼付対象の画像から変換され、貼付対象の画像を第１球面パノラマ画像にマッピングすることは、第２球面パノラマ画像を第１球面パノラマ画像内の画像貼付領域（第２画像貼付領域）に補間することにより完了することに留意されたい。
【００６９】
第２球面パノラマ画像を第２画像貼付領域に補間することは従来技術であり、ここでは説明しないことに留意されたい。
【００７０】
ユーザが球面投影画像内の点を選択した場合、例示的に、図２ｃは、本願の実施形態において提供される球面パノラマ画像上に貼付対象の画像をマッピングした結果の概略図である。
【００７１】
ユーザが球面投影画像内のビルボードの４つの頂点を選択した場合、例示的に、図２ｄは、本願の実施形態において提供される球面パノラマ画像上に貼付対象の画像をマッピングした結果の概略図である。
【００７２】
本願の実施形態を実施することにより、第１画像貼付領域に対応する画像は、単眼透視画像化原理に準拠した平面画像である平面画像に変換される。従って、平面画像に基づいてその形状が変換された後の貼付対象の画像も単眼透視画像化原理に従う。すなわち、形状が球面座標系に変換された貼付対象の画像をマッピングした後に、マッピング後の貼付対象の画像に歪みが生じず、球面パノラマ画像に歪みのない画像貼り付けを実施することができる。
【００７３】
図１に示す方法の実施形態に対応して、図３は、本願の実施形態において提供される球面パノラマ画像上に画像を貼り付けるための装置の概略構造図であり、確立モジュール３０１、第１マッピングモジュール３０２、第１決定モジュール３０３、第１変換モジュール３０４、第２変換モジュール３０５、第２マッピングモジュール３０６、回転モジュール３０７、第３変換モジュール３０８、第２決定モジュール３０９及び補間モジュール３０１０を含み得る。
確立モジュール３０１は、第１球面パノラマ画像に対する球面座標系を確立するのに用いられ、
第１マッピングモジュール３０２は、第１球面パノラマ画像を球面座標系に対応する球面上にマッピングして、第１球面パノラマ画像の球面投影画像を取得するのに用いられ、
第１決定モジュール３０３は、球面投影画像に対するユーザの選択操作に従って、球面投影画像への貼付対象の画像の第１画像貼付領域を決定するのに用いられ、
第１変換モジュール３０４は、第１画像貼付領域に対応する画像を平面画像に変換するのに用いられる。
【００７４】
具体的には、第１変換モジュール３０４は特に、
第１画像貼付領域の中心点座標を決定し、
中心点座標に従って球面投影画像を回転させ、
座標が経度及び緯度で表される場合、回転された球面投影画像内の中心点座標は（０、０）であり、
回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像を次の式、
【数２２】
2019526874.tif 000024
に従って平面画像に変換するのに用いられる。
ここで、（λ’、φ’）は回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像内の点の前記球面座標系内の座標であり、λ’、φ’はそれぞれ回転された前記球面投影画像内の前記第１画像貼付領域に対応する前記画像内の点の経度及び緯度であり、（ｕ、ｖ）は（λ’、φ’）の座標の点の平面直角座標系における対応座標であり、ｒ＝ｎ／２π、ｒは前記球面投影画像の半径であり、ｎは前記第１球面パノラマ画像の幅である。
【００７５】
第２変換モジュール３０５は、貼付対象の画像の形状を平面画像の形状に変換するために用いられる。
【００７６】
具体的には、第２変換モジュール３０５は、特に、
平面画像と貼付対象の画像とに従ってホモグラフィ行列を決定し、
ホモグラフィ行列に従って貼付対象の画像に平面透視変換を実行して、貼付対象の画像の形状を平面画像の形状に変換するのに用いられる。
【００７７】
第２マッピングモジュール３０６は、形状変換された貼付対象の画像を球面座標系にマッピングするのに用いられる。
【００７８】
具体的には、第２マッピングモジュール３０６は、特に、
次の式、
【数２３】
2019526874.tif 000025
に従って、球面座標系への形状変換された貼付対象の画像をマッピングするのに用いられる。
ここで、（ｕ、ｖ）は形状変換された貼付対象の画像内の点の平面座標系における座標であり、（λ、φ）は球面座標系にマッピングされた（ｕ、ｖ）の座標の点の座標であり、ｒ＝ｎ／２π、ｒは球面投影画像の半径であり、ｎは第１球面パノラマ画像の幅である。
【００７９】
回転モジュール３０７は、球面座標系にマッピングされた貼付対象の画像を、第１画像貼付領域と画像とが重なる位置まで回転させるのに用いられる。
【００８０】
第３変換モジュール３０８は、第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像を第２球面パノラマ画像に変換するのに用いられる。
【００８１】
具体的には、第３変換モジュール３０８は、特に
次の式、
【数２４】
2019526874.tif 000026
に従って、第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像を第２球面パノラマ画像に変換するのに用いられる。
ここで、（λ’、φ’）は第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像内の点の球面座標系における座標であり、λ’、φ’はそれぞれ第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像内の点の経度及び緯度であり、（ｘ、ｙ）は平面座標系にマッピングされた（λ’、φ’）の座標の点の座標であり、ｍ及びｎはそれぞれ第１球面パノラマ画像の高さ及び幅である。
【００８２】
第２決定モジュール３０９は、第１球面パノラマ画像における第１画像貼付領域に対応する第２画像貼付領域を決定するために用いられる。
【００８３】
補間モジュール３０１０は、第２球面パノラマ画像を第２画像貼付領域に補間して、第１球面パノラマ画像に貼付対象の画像の貼付けを完了するのに用いられる。
【００８４】
本願の実施形態では、第１画像貼付領域に対応する画像は、単眼透視画像化原理に準拠した平面画像である平面画像に変換される。従って、平面画像に従って形状変換された後の貼付対象の画像も単眼透視画像化原理に従う。すなわち、形状が球面座標系に変換された貼付対象の画像をマッピングした後に、マッピング後の貼付対象の画像に歪みが生じず、球面パノラマ画像に歪みのない画像貼り付けを実施することができる。
【００８５】
本実施形態はまた、プロセッサ４０１、通信インタフェース４０２、メモリ４０３及び通信バス４０４を含む、図４に示されるような電子機器を提供する。プロセッサ４０１、通信インタフェース４０２、メモリ４０３間の相互の通信は、通信バス４０４を介して達成される。
メモリ４０３は、コンピュータプログラムを格納するのに用いられる。
プロセッサ４０１は、メモリ４０３に格納されたプログラムが実行されるときに以下のステップを実行するのに用いられる。
第１球面パノラマ画像に対する球面座標系を確立し、
第１球面パノラマ画像を球面座標系に対応する球面上にマッピングして、第１球面パノラマ画像の球面投影画像を取得し、
球面投影画像に対するユーザの選択操作に従って、球面投影画像への貼付対象の画像の第１画像貼付領域を決定し、
第１画像貼付領域に対応する画像を平面画像に変換し、
貼付対象の画像の形状を平面画像の形状に変換し、
形状が変換された貼付対象の画像を球面座標系にマッピングし、
球面座標系にマッピングされた貼付対象の画像を、第１画像貼付領域と画像とが重なる位置まで回転させ、
第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像を第２球面パノラマ画像に変換し、
第１球面パノラマ画像における第１画像貼付領域に対応する第２画像貼付領域を決定し、
第２球面パノラマ画像を第２画像貼付領域に補間して、第１球面パノラマ画像に貼付対象の画像の貼付けを完了する。
【００８６】
一実施例では、プロセッサ４０１は、メモリ４０３に格納されたプログラムが実行されるときに、以下のステップを実行するのにも用いられる。
第１画像貼付領域の中心点座標を決定し、
中心点座標に従って球面投影画像を回転させ、
座標が経度及び緯度で表される場合、回転された球面投影画像内の中心点座標は（０、０）であり、
回転された球面投影画像内の第１画像貼付領域に対応する画像を次の式、
【数２５】
2019526874.tif 000027
に従って平面画像に変換する。
ここで、（λ’、φ’）は回転された球面投影画像内の第１画像貼付領域に対応する画像内の点の球面座標系内の座標であり、λ’、φ’はそれぞれ回転された球面投影画像内の第１画像貼付領域に対応する画像内の点の経度及び緯度であり、（ｕ、ｖ）は（λ’、φ’）の座標の点の平面直角座標系における対応座標であり、ｒ＝ｎ／２π、ｒは球面投影画像の半径であり、ｎは第１球面パノラマ画像の幅である。
【００８７】
一実施例では、プロセッサ４０１は、メモリ４０３に格納されたプログラムが実行されるときに、以下のステップを実行するのにも用いられる。
平面画像と貼付対象の画像とに従ってホモグラフィ行列を決定し、
ホモグラフィ行列に従って貼付対象の画像に平面透視変換を実行して、貼付対象の画像の形状を前記平面画像の形状に変換する。
【００８８】
一実施例では、プロセッサ４０１は、メモリ４０３に格納されたプログラムが実行されるときに、以下のステップを実行するのにも用いられる。
次の式、
【数２６】
2019526874.tif 000028
に従って、球面座標系への形状変換された貼付対象の画像をマッピングする。
ここで、（ｕ、ｖ）は形状変換された貼付対象の画像内の点の平面座標系における座標であり、（λ、φ）は球面座標系にマッピングされた（ｕ、ｖ）の座標の点の座標であり、ｒ＝ｎ／２π、ｒは球面投影画像の半径であり、ｎは第１球面パノラマ画像の幅である。
【００８９】
一実施例では、プロセッサ４０１は、メモリ４０３に格納されたプログラムが実行されるときに、以下のステップを実行するのにも用いられる。
次の式、
【数２７】
2019526874.tif 000029
に従って、第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像を第２球面パノラマ画像に変換する。
ここで、（λ’、φ’）は第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像内の点の球面座標系における座標であり、λ’、φ’はそれぞれ第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像内の点の経度及び緯度であり、（ｘ、ｙ）は平面座標系にマッピングされた（λ’、φ’）の座標の点の座標であり、ｍ及びｎはそれぞれ第１球面パノラマ画像の高さ及び幅である。
【００９０】
上述の電子機器で言及される通信バスは、Peripheral Component Interconnect（ＰＣＩ）バス又はExtended Industry Standard Architecture（ＥＩＳＡ）バスなどであり得る。通信バスは、アドレスバス、データバス、コントロールバスなどに分けられる。表現を容易にするために、図は１本の太線でのみ表されているが、これはバスが１本のみであること又は１種類のバスであることを表すものではない。
【００９１】
通信インタフェースは、上記電子機器及び他の機器との間の通信に用いられる。
【００９２】
メモリは、ランダムアクセスメモリ（ＲＡＭ）を含んでもよく、又は少なくとも１つのディスクメモリなどの不揮発性メモリ（ＮＶＭ）を含んでもよい。任意に、メモリは、前述のプロセッサから離れて配置されている少なくとも１つの記憶装置とすることもできる。
【００９３】
上記プロセッサは、中央処理装置（ＣＰＵ）、ネットワークプロセッサ（ＮＰ）などを含む一般的なプロセッサとすることができる。それはまた、デジタル信号処理（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントであり得る。
【００９４】
図４に示すように本願の実施形態を実施することにより、第１画像貼付領域に対応する画像は、単眼透視画像化原理に準拠した平面画像である平面画像に変換される。従って、平面画像に従って形状変換された後の貼付対象の画像も単眼透視画像化原理に従う。すなわち、形状が球面座標系に変換された貼付対象の画像をマッピングした後に、マッピング後の貼付対象の画像に歪みが生じず、球面パノラマ画像に歪みのない画像貼り付けを実施することができる。
【００９５】
本願の実施形態はまた、コンピュータプログラムを格納するコンピュータ可読記憶媒体を提供する。プロセッサによって実行されると、コンピュータプログラムは以下のステップを実行することができる。
第１球面パノラマ画像に対する球面座標系を確立し、
前記第１球面パノラマ画像を前記球面座標系に対応する球面上にマッピングして、前記第１球面パノラマ画像の球面投影画像を取得し、
前記球面投影画像に対するユーザの選択操作に従って、前記球面投影画像への貼付対象の画像の第１画像貼付領域を決定し、
前記第１画像貼付領域に対応する前記画像を平面画像に変換し、
貼付対象の前記画像の形状を前記平面画像の形状に変換し、
形状が変換された貼付対象の前記画像を前記球面座標系にマッピングし、
前記球面座標系にマッピングされた貼付対象の前記画像を、前記第１画像貼付領域と前記画像とが重なる位置まで回転させ、
前記第１画像貼付領域が前記画像と重なる位置まで回転された貼付対象の前記画像を第２球面パノラマ画像に変換し、
前記第１球面パノラマ画像における前記第１画像貼付領域に対応する第２画像貼付領域を決定し、
前記第２球面パノラマ画像を第２画像貼付領域に補間して、前記第１球面パノラマ画像に貼付対象の前記画像の貼付けを完了する。
【００９６】
一実施例では、コンピュータプログラムがプロセッサによって実行されているときに、以下のステップを実行することができる。
第１画像貼付領域の中心点座標を決定し、
中心点座標に従って球面投影画像を回転させ、
座標が経度及び緯度で表される場合、回転された球面投影画像内の中心点座標は（０、０）であり、
回転された球面投影画像内の第１画像貼付領域に対応する画像を次の式、
【数２８】
2019526874.tif 000030
に従って前記平面画像に変換する。
ここで、（λ’、φ’）は回転された球面投影画像内の第１画像貼付領域に対応する画像内の点の球面座標系内の座標であり、λ’、φ’はそれぞれ回転された球面投影画像内の第１画像貼付領域に対応する画像内の点の経度及び緯度であり、（ｕ、ｖ）は（λ’、φ’）の座標の点の平面直角座標系における対応座標であり、ｒ＝ｎ／２π、ｒは球面投影画像の半径であり、ｎは第１球面パノラマ画像の幅である。
【００９７】
一実施例では、コンピュータプログラムがプロセッサによって実行されるときに、以下のステップを実行することができる。
平面画像と貼付対象の画像とに従ってホモグラフィ行列を決定し、
ホモグラフィ行列に従って貼付対象の画像に平面透視変換を実行して、貼付対象の画像の形状を平面画像の形状に変換する。
【００９８】
一実施例では、プロセッサ４０１は、メモリ４０３に格納されたプログラムが実行されるときに、以下のステップを実行するのにも用いられる。
形状変換された貼付対象の前記画像を前記球面座標系にマッピングすることは、
次の式、
【数２９】
2019526874.tif 000031
に従って、球面座標系への形状変換された貼付対象の画像をマッピングする。
ここで、（ｕ、ｖ）は形状変換された貼付対象の画像内の点の平面座標系における座標であり、（λ、φ）は球面座標系にマッピングされた（ｕ、ｖ）の座標の点の座標であり、ｒ＝ｎ／２π、ｒは球面投影画像の半径であり、ｎは第１球面パノラマ画像の幅である。
【００９９】
一実施例では、コンピュータプログラムがプロセッサによって実行されるときに、以下のステップを実行することができる。
次の式、
【数３０】
2019526874.tif 000032
に従って、第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像を第２球面パノラマ画像に変換する。
ここで、（λ’、φ’）は第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像内の点の球面座標系における座標であり、λ’、φ’はそれぞれ第１画像貼付領域が画像と重なる位置まで回転された貼付対象の画像内の点の経度及び緯度であり、（ｘ、ｙ）は平面座標系にマッピングされた（λ’、φ’）の座標の点の座標であり、ｍ及びｎはそれぞれ第１球面パノラマ画像の高さ及び幅である。
【０１００】
本願の実施形態はまた、実行されると球面パノラマ画像上に画像を貼り付けるための上記方法のうちのいずれか１つを実行することができるコンピュータプログラムを提供する。
【０１０１】
上記の実施形態では、ソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組み合わせによって全体的に又は部分的に実施され得る。ソフトウェアを用いて実施される場合、全体として又は部分的にコンピュータプログラム製品の形で実施することができる。コンピュータプログラム製品は、１つ又は複数のコンピュータ命令を含む。コンピュータプログラム命令がコンピュータにアップロードされ実行されると、本願の実施形態に記載されたプロセス又は機能が全体的に又は部分的に生成される。コンピュータは、一般的なコンピュータ、専用のコンピュータ、コンピュータネットワーク又は他のプログラム可能な装置とすることができる。コンピュータ命令は、コンピュータ可読記憶媒体に格納することができ、又はコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信することができる。例えば、コンピュータ命令は、ウェブサイト、コンピュータ、サーバ又はデータセンタから他のウェブサイト、コンピュータ、サーバ又はデータセンタに有線方式（例えば、同軸ケーブル、光ファイバ、デジタル加入者線（ＤＳＬ））、又は、無線方式（例えば、赤外線、無線、マイクロ波など）で送信することができる。コンピュータ可読記憶媒体は、コンピュータによってアクセスすることができる任意の利用可能な媒体又は１つ又は複数の利用可能な媒体を含む、サーバ、データセンタなどのデータ記憶装置とすることができる。利用可能な媒体は、磁気媒体（例えばフロッピーディスク、ハードディスク、磁気テープ）、光学媒体（例えばＤＶＤ）又は半導体媒体（例えばソリッドステートディスク（ＳＳＤ）等であり得る。
【０１０２】
本明細書における「第１」、「第２」などの関係用語は、ある物又は動作を別の物又は動作と区別するために使用されているのみであり、必ずしもこれらの間の実際の関係又は順序があることを要求又は示唆するものではない。さらに、用語「include」、「comprise」又はそれらの他の変形は、非排他的な包含をカバーすることを意図しており、一連の要素を含むプロセス、方法、物品又は装置は、列挙された要素だけでなく、特に列挙されていないもの、又は、プロセス、方法、物品又は装置に固有の要素も含む。さらに限定することなく、文「comprise(s) a…」又は「include(s) a...」によって定義される要素は、これらの要素から構成されるプロセス、方法、物品又は装置に他の同一の要素があることを排除するものではない。
【０１０３】
本明細書における様々な実施形態は相互に連関して記載されており、様々な実施形態における同一又は類似の部分は互いに参照することができ、各実施形態に対する説明は全て他の実施形態との相違点に焦点を合わせている。特に、装置の実施形態、機器の実施形態、コンピュータ可読媒体の実施形態、コンピュータプログラムの実施形態は、それらが方法の実施形態と実質的に類似しているため、その説明は簡略化されており、その関連する内容は方法の実施形態の部分説明を参照することができる。
【０１０４】
上述の方法の実施形態を実施する際のステップの全部又は一部の実施は、関連するハードウェアに命令するためのプログラムによって達成することができ、そのプログラムはコンピュータ可読記憶媒体に格納することができることを当業者は理解するであろう。ここで言及される記憶媒体は、例えば、ＲＯＭ／ＲＡＭ、ディスク、ＣＤなどである。
【０１０５】
上記説明は、本願の好ましい実施形態にすぎず、本願を限定することを意図するものではない。本願の精神及び原理内の任意の変更、等価の置換、改良などは、本願の範囲内に含まれることが意図されている。
【０１０６】
本願は、２０１６年９月２９日に中国国家知的財産権局に提出された「球面パノラマ画像にマッピングを行うための方法及び装置」という名称の中国特許出願第２０１６１０８６８０６０．４号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
【図１】
2019526874.tif 000039
【図２ａ】
2019526874.tif 000040
【図２ｂ】
2019526874.tif 000041
【図２ｃ】
2019526874.tif 000042
【図２ｄ】
2019526874.tif 000043
【図３】
2019526874.tif 000044
【図４】
2019526874.tif 000045
【国際調査報告】
2019526874.tif 000046
2019526874.tif 000047
2019526874.tif 000048
2019526874.tif 000049