(57)【要約】  本願は、投影画像を構築するための方法及び装置を提供する。投影画像を構築する方法は、円筒面正積投影モデルを用いて正距円筒パノラマ画像上に投影を行って円筒面正積投影画像を取得し、円筒面正積投影画像における各画素の２次元座標を取得し、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像の２次元座標を取得し、正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において取得された２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成する。パノラマ画像又はビデオの解像度及びビットレートは、本願の方法によって低減することができる。【選択図】図１
2019526875.tif 000002
【特許請求の範囲】
【請求項１】
投影画像を構築する方法であって、
円筒面正積投影モデル（cylindrical surface equal-area projection model）を用いて正距円筒パノラマ画像（equirectangular panoramic image）上に投影を行って円筒面正積投影画像（cylindrical surface equal-area projection image）を取得し、
前記円筒面正積投影画像における各画素の２次元座標を取得し、
前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得し、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える、
方法。
【請求項２】
請求項１に記載の方法であって、前記円筒面正積投影画像の各画素の前記２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像内の２次元座標を取得することは、
前記円筒面正積投影画像の各画素の取得された２次元座標に対して式
【数３８】
2019526875.tif 000040
を用いて座標変換を行い、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の前記２次元座標を取得することを含む。
ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。
【請求項３】
請求項１に記載の方法であって、前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することは、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、バイリニア補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することを含む。
【請求項４】
請求項１に記載の方法であって、前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することは、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、スプライン補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することを含む。
【請求項５】
投影画像を構築する装置であって、
円筒面正積投影モデルを用いて正距円筒パノラマ画像上に投影を行って円筒面正積投影画像を取得するのに用いられる、投影モジュールと、
前記円筒面正積投影画像における各画素の２次元座標を取得するのに用いられる、第１取得モジュールと、
前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得するのに用いられる、変換モジュールと、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第１生成モジュールと、
を備える、
装置。
【請求項６】
請求項５に記載の装置であって、
前記変換モジュールは、
前記円筒面正積投影画像の各画素の取得された２次元座標に対して式
【数３９】
2019526875.tif 000041
を用いて座標変換を行い、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の前記２次元座標を取得するのに用いられる、変換ユニットを含む。
ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。
【請求項７】
請求項５に記載の装置であって、
前記第１生成モジュールは、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、バイリニア補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第１生成ユニットを含む。
【請求項８】
請求項５に記載の装置であって、
前記第１生成モジュールは、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、スプライン補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第２生成ユニットを含む。
【請求項９】
プロセッサと、通信インターフェースと、メモリと、通信バスとを備え、前記プロセッサ、前記通信インターフェース、前記メモリは、前記通信バスを介して互いに通信する電子機器であって、
前記メモリは、コンピュータプログラムを格納するのに用いられ、
前記プロセッサは、前記メモリに格納されたコンピュータプログラムを実行するときに、請求項１〜４のいずれか一項に記載の方法のステップを実行するのに用いられる、
電子機器。
【請求項１０】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体は、プロセッサによって実行されると、前記プロセッサに請求項１〜４のいずれか一項に記載の方法のステップを実行させるコンピュータプログラムを格納する、
コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、画像処理の分野に関し、より詳細には投影画像を構築するための方法及び装置に関する。
【背景技術】
【０００２】
近年、パノラマカメラ（Ｇｏｏｇｌｅジャンプ、ＯＺＯ、Ｅｙｅｓｉｒ、Ｔｅｃｈｅ、Ｕｐａｎｏなど）や高度なバーチャルリアリティ（ＶＲ）ディスプレイデバイス（Ｏｃｕｌｕｓ  ＶＲ、Ｓａｍｓｕｎｇ  Ｇｅａｒ  ＶＲ、ＨＴＣ  ｖｉｖｅなど）の出現により、パノラマビデオは、技術の研究開発及び製品コンテンツの革新に多くの注目を集めており、ＶＲ映画館、パノラマゲーム、パノラマ教育、パノラマ医療、パノラマツーリズムなどの様々な分野で広く用いられている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ユーザが視聴するローカルビューコンテンツをプレーヤに明確に表示するには、通常、４Ｋ以上の超高解像度でパノラマビデオを撮影する必要がある。４Ｋ以上（３８４０ｐｘ ＊１９２０ｐｘ以上）の超高解像度ビデオは、大量の画素を有しているため、パノラマビデオの保存、圧縮、転送、デコード、レンダリングに大きなデータチャレンジをもたらす。大きなデータチャレンジでは、パノラマビデオの解像度とビットレートをどのように下げるかが、パノラマビデオで解決しなければならない重要な問題の１つとなっている。
【課題を解決するための手段】
【０００４】
上述の技術的問題を解決するために、本願の実施形態は、パノラマ画像又はビデオの解像度及びビットレートを低減するために投影画像を構築するための方法及び装置を提供する。技術的解決策を以下に説明する。
【０００５】
投影画像を構築する方法は、
円筒面正積投影モデル（cylindrical surface equal-area projection model）を用いて正距円筒パノラマ画像（equirectangular panoramic image）上に投影を行って円筒面正積投影画像（cylindrical surface equal-area projection image）を取得し、
前記円筒面正積投影画像における各画素の２次元座標を取得し、
前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得し、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える。
【０００６】
選択的に、前記円筒面正積投影画像の各画素の前記２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像内の２次元座標を取得することは、
前記円筒面正積投影画像の各画素の取得された２次元座標に対して式
【数１】
2019526875.tif 000003
を用いて座標変換を行い、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の前記２次元座標を取得することを含む。
ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。
【０００７】
選択的に、前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することは、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、バイリニア補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することを含む。
【０００８】
選択的に、前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することは、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、スプライン補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成することを含む。
【０００９】
投影画像を構築する装置は、
円筒面正積投影モデルを用いて正距円筒パノラマ画像上に投影を行って円筒面正積投影画像を取得するのに用いられる、投影モジュールと、
前記円筒面正積投影画像における各画素の２次元座標を取得するのに用いられる、第１取得モジュールと、
前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得するのに用いられる、変換モジュールと、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第１生成モジュールと、
を備える。
【００１０】
選択的に、前記変換モジュールは、
前記円筒面正積投影画像の各画素の取得された２次元座標に対して式
【数２】
2019526875.tif 000004
を用いて座標変換を行い、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の前記２次元座標を取得するのに用いられる、変換ユニットを含む。
ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。
【００１１】
選択的に、前記第１生成モジュールは、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、バイリニア補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第１生成ユニットを含む。
【００１２】
選択的に、前記第１生成モジュールは、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、スプライン補間アルゴリズムを用いて、前記円筒面正積投影画像に対して画素補間を行い、前記円筒面正積投影変換されたパノラマ画像を生成するのに用いられる、第２生成ユニットを含む。
【００１３】
プロセッサと、通信インターフェースと、メモリと、通信バスとを備え、前記プロセッサ、前記通信インターフェース、前記メモリは、前記通信バスを介して互いに通信する電子機器であって、
前記メモリは、コンピュータプログラムを格納するのに用いられ、
前記プロセッサは、前記メモリに格納されたコンピュータプログラムを実行するときに、本願の実施の形態に係る投影画像を構築する方法のステップを実行するのに用いられる。投影画像を構築する方法は、
円筒面正積投影モデルを用いて正距円筒パノラマ画像上に投影を行って円筒面正積投影画像を取得し、
前記円筒面正積投影画像における各画素の２次元座標を取得し、
前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得し、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える。
【００１４】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体は、プロセッサによって実行されると、本願の実施の形態に係る投影画像を構築する方法のステップを実行させるコンピュータプログラムを格納する。投影画像を構築する方法は、
円筒面正積投影モデルを用いて正距円筒パノラマ画像上に投影を行って円筒面正積投影画像を取得し、
前記円筒面正積投影画像における各画素の２次元座標を取得し、
前記円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の２次元座標を取得し、
前記正距円筒パノラマ画像における各画素の色情報と、前記円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、前記円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える。
【００１５】
従来技術と比較して、本願には以下の利点がある。
【００１６】
パノラマ画像又はパノラマビデオのストレージフォーマットとしての正距円筒パノラマ画像は、現在、パノラマ画像又はパノラマビデオのより高い解像度及びより大きなビットレートの原因となる。これは、正距円筒パノラマ画像の同じテクスチャに対して、極付近でそれが占める面積は、赤道付近でそれが占める面積よりも大きいためである。本願では、パノラマ画像又はパノラマ動画の解像度及びビットレートを低減するために、パノラマ画像のストレージフォーマットとして、正距円筒パノラマ画像の代わりに円筒面正積投影変換されたパノラマ画像を用いる。
【００１７】
パノラマ画像又はパノラマビデオのストレージフォーマットとして、円筒面正積投影変換されたパノラマ画像を用いることにより、パノラマ画像又はビデオの解像度及びビットレートを低減することができる。これは、正距円筒パノラマ画像を円筒面正積投影モデルで投影することで、赤道付近のテクスチャに変形や小さな変形がないことが保証されるため、パノラマ画像又はパノラマビデオの精細度が保証され、正距円筒パノラマ画像と比較して、投影によって得られた円筒面正積投影画像の２つの極のテクスチャは、ｙ軸方向にさらに圧縮され、それによって、２つの極のテクスチャ面積及び赤道付近のテクスチャ面積とが等しくなることが保証されるからである。従って、画素補間後に得られる円筒面正積投影変換されたパノラマ画像によって、パノラマ画像又はパノラマビデオの解像度及びビットレートを低減させることができる。
【００１８】
本願の実施形態の技術的解決策を説明するために、実施形態の説明に必要とされる図面の簡単な紹介が与えられる。明らかに、以下の説明における図面は本願のいくつかの実施形態を示すに過ぎず、当業者は創造的な努力なしにこれらの図面から他の図面を導き出すことができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、本願に係る投影画像を構築するための方法のフロー図である。
【図２】図２は、本願に係る正距円筒パノラマ画像の概略図である。
【図３】図３は、本願による円筒面正積投影画像の概略図である。
【図４（ａ）】図４（ａ）は、正距円筒パノラマ画像の座標系を示す。
【図４（ｂ）】図４（ｂ）は、緯度及び経度で表される球面パノラマ画像の球面座標系を示す。
【図５】図５は、本願に係る投影画像を構築するための装置の論理構造の概略図である。
【発明を実施するための形態】
【００２０】
本願の実施形態の図面を参照して、本願の実施形態の技術的解決策を以下に明確かつ完全に説明する。明らかに、記載された実施形態は、本願の全ての実施形態の代わりのいくつかの実施形態にすぎない。いかなる創造的な努力なしに本願の実施形態に基づいて当業者によって得られる他のすべての実施形態は、本願の範囲内である。
【００２１】
実施の形態１
図１は、本願に係る投影画像を構築するための方法のフロー図を示しており、この方法は以下のステップＳ１１〜Ｓ１４を含み得る。
【００２２】
ステップＳ１１では、円筒面正積投影モデルを用いて正距円筒パノラマ画像に投影を行い、円筒面正積投影画像を取得する。
【００２３】
正距円筒パノラマ画像は、球面パノラマ画像、すなわちパノラマ画像又はパノラマビデオ用のストレージフォーマットである。正距円筒パノラマ画像と球面パノラマ画像との間の対応は、以下の通りである。
【数３】
2019526875.tif 000005
（λ、φ）は球面パノラマ画像の球面座標を表し、（ｘ、ｙ）は正距円筒パノラマ画像の画像座標を表す。
【００２４】
図２は、球面パノラマ画像を正距円筒パノラマ画像のフォーマットで格納したときに得られる正距円筒パノラマ画像を示す。図２に示すように、正距円筒パノラマ画像の変形則は、２つの極の円が水平方向に楕円に引き伸ばされるということである。つまり、正距円筒のサンプリングによって極付近のテクスチャが水平方向に引き伸ばされる。すなわち、同じテクスチャに対して、極付近でそれが占める面積は、赤道付近でそれが占める面積よりも大きい。図２に示すように、正距円筒パノラマ画像の変形則は、球面パノラマ画像（すなわち、パノラマ画像又はパノラマビデオ）の高解像度及びより大きいビットレートをもたらす。
【００２５】
極での変形を減らして補正し、それによって球面パノラマ画像（すなわち、パノラマ画像又はパノラマビデオ）の解像度及びビットレートを低減するために、実施形態における円筒面正積投影モデルを用いて、正距投影パノラマ画像への投影が実行される。
【００２６】
円筒面正積投影モデルを用いて正距円筒パノラマ画像に投影することにより、球面パノラマ画像（すなわち、パノラマ画像又はパノラマビデオ）の解像度及びビットレートを低減させることができる原理は、以下の通りである。
【００２７】
図３は、円筒面正積投影モデルを用いて正距円筒パノラマ画像に投影して得られた円筒面正積投影画像を示している。図３に示すように、円筒面正積投影画像の変形則は、正距円筒パノラマ画像における２つの極の円がさらにｙ軸方向に圧縮されていることである。円筒面正積投影画像の変形則は、球面パノラマ画像における２次元サンプリング（球面ラジアンサンプリング）の均一性を保証し、その結果、極の円の面積は赤道の中心の円の面積と等しくなる。従って、球面パノラマ画像（すなわち、パノラマ画像又はパノラマビデオ）の解像度及びビットレートが低減する。
【００２８】
具体的には、円筒面正積投影モデルを用いて正距円筒パノラマ画像に投影することは、
円筒面正積投影式
【数４】
2019526875.tif 000006
を使用して正距円筒パノラマ画像に投影を実行する。
【００２９】
式
【数５】
2019526875.tif 000007
において、
ｘは円筒面正積投影画像の横座標、ｙは円筒面正積投影画像の縦座標、λは球面パノラマ画像における球面座標の横座標、φは球面パノラマ画像における球面座標の縦座標、φ０は、円筒面正積投影画像のアスペクト比を指定するための入力パラメータである。
【００３０】
φ０の値を設定することで、円筒面正積投影画像のアスペクト比を変えることができるため、円筒面正積投影画像の大きさをカスタマイズすることができる。
【００３１】
このステップでは、投影により得られた円筒面正積投影画像には、各画素の２次元座標が存在するが、各画素に対する画素値は存在しない。
【００３２】
ステップＳ１２では、円筒面正積投影画像の各画素の２次元座標が取得される。
【００３３】
円筒面正積投影画像が取得された後、円筒面正積投影変換された完全なパノラマ画像を得るためには、円筒面正積投影画像を画素で埋める必要がある。円筒面正積投影画像を画素で埋めるためには、まず、円筒面正積投影画像の座標系を正距円筒パノラマ画像の座標系に変換する必要があり、それにより、円筒面正積投影画像の各座標に対応する画素値を、正距円筒パノラマ画像に対応する元の球面パノラマ画像中に見つけることができる。具体的な処理は、ステップＳ１２〜Ｓ１４を含む。
【００３４】
ステップＳ１３では、円筒面正積投影画像における各画素の取得された２次元座標を座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像における２次元座標を取得する。
【００３５】
ステップＳ１４では、正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において得られた２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成する。
【００３６】
パノラマ画像又はパノラマビデオのストレージフォーマットとしての正距円筒パノラマ画像は、現在、パノラマ画像又はパノラマビデオのより高い解像度及びより大きなビットレートの原因となる。これは、正距円筒パノラマ画像の同じテクスチャに対して、極付近でそれが占める面積は、赤道付近でそれが占める面積よりも大きいためである。本願では、パノラマ画像又はパノラマ動画の解像度及びビットレートを低減するために、パノラマ画像のストレージフォーマットとして、正距円筒パノラマ画像の代わりに円筒面正積投影変換されたパノラマ画像を用いる。
【００３７】
パノラマ画像又はパノラマビデオのストレージフォーマットとして、円筒面正積投影変換されたパノラマ画像を用いることにより、パノラマ画像又はビデオの解像度及びビットレートを低減することができる。これは、正距円筒パノラマ画像を円筒面正積投影モデルで投影することで、赤道付近のテクスチャに変形や小さな変形がないことが保証されるため、パノラマ画像又はパノラマビデオの精細度が保証され、正距円筒パノラマ画像と比較して、投影によって得られた円筒面正積投影画像の２つの極のテクスチャは、ｙ軸方向にさらに圧縮され、それによって、２つの極のテクスチャ面積及び赤道付近のテクスチャ面積とが等しくなることが保証されるからである。従って、画素補間後に得られる円筒面正積投影変換されたパノラマ画像によって、パノラマ画像又はパノラマビデオの解像度及びビットレートを低減させることができる。
【００３８】
円筒面正積投影モデルを用いて正距円筒パノラマ画像に投影することで、２つの極のテクスチャをさらにｙ軸方向に圧縮する。これは、極付近の画像の精細度の低下につながるが、ほとんどの場合、注意は、パノラマ画像又はパノラマビデオの赤道付近の領域に集中している。従って、多くの用途において、極付近の画像の精細度の低減は表示効果に与える影響が少ない。
【００３９】
本願では、円筒面正積投影画像における各画素の取得された２次元座標を座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像における２次元座標を取得する処理は、具体的には、
円筒面等面積投影画像における各画素の取得された２次元座標に対して、式
【数６】
2019526875.tif 000008
を用いて座標変換を行い、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像における２次元座標を取得する。
【００４０】
式
【数７】
2019526875.tif 000009
において、ｘは正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは円筒面正積投影画像の画素の横座標を表し、ｖは円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。
【００４１】
式
【数８】
2019526875.tif 000010
を生成するプロセスは、具体的には以下を含む。
球形パノラマ画像を円筒面等面積投影画像に投影するための式
【数９】
2019526875.tif 000011
を取得し、
ここで、式
【数１０】
2019526875.tif 000012
において、ｘは円筒面正積投影画像の横座標、ｙは円筒面正積投影画像の縦座標、λは球面パノラマ画像における球面座標の横座標、φは球面パノラマ画像における球面座標の縦座標、φ０は、円筒面正積投影画像のアスペクト比を指定するための入力パラメータであり、
正距円筒パノラマ画像から球状パノラマ画像への座標変換関係
【数１１】
2019526875.tif 000013
を取得し、
ここで、
【数１２】
2019526875.tif 000014
において、ｍ、ｎはそれぞれ正距円筒パノラマ画像の高さ、幅を表し、ｘは正距円筒パノラマ画像内の画素の横座標を表し、ｙは正距円筒パノラマ画像の画素の縦座標を表す。
【００４２】
正距円筒パノラマ画像から球面パノラマ画像への座標変換関係は、図４（ａ）及び図４（ｂ）に見ることができる。図４（ａ）は、正距円筒パノラマ画像の座標系を示し、図４（ｂ）は、緯度経度で表した球面パノラマ画像の球面座標系を示している。
【００４３】
式
【数１３】
2019526875.tif 000015
は、
球面パノラマ画像を円筒面正積投影画像に投影するための式
【数１４】
2019526875.tif 000016
と正距円筒パノラマ画像から球面パノラマ画像への座標変換関係
【数１５】
2019526875.tif 000017
とを数学的に組み合わせることによって得られる。
【００４４】
正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において取得された２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成する処理は、
正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において取得された２次元座標とに基づいて、保管アルゴリズム（バイリニア補間アルゴリズム又はスプライン補間アルゴリズムなどの任意の既存の補間鳴子リズムであり得る）を用いて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを含む。
【００４５】
具体的には、バイリニア補間アルゴリズムを用いて円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することは、
正距円筒パノラマ画像の各画素の色情報と、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像において取得された２次元座標とをバイリニア補間モデルに入力し、
バイリニア補間モデルにより出力される円筒面正積投影変換されたパノラマパノラマ画像の各画素の画素値を取得する。
【００４６】
バイリニア補間モデルは、バイリニア補間アルゴリズムによって作成されたモデルである。
【００４７】
スプライン補間アルゴリズムを用いて円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することは、
正距円筒パノラマ画像の各画素の色情報と、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像において取得された２次元座標とをバイリニア補間モデルに入力し、
バイリニア補間モデルにより出力される円筒面正積投影変換されたパノラマパノラマ画像の各画素の画素値を取得する。
【００４８】
スプライン補間モデルは、スプライン補間アルゴリズムによって作成されたモデルである。
【００４９】
以上説明した実施形態について、具体例を参照しつつ説明する。
【００５０】
ステップ１：円筒面正積投影モデルを用いて正距円筒パノラマ画像に投影を行って円筒面正積投影画像を取得する。
【００５１】
例えば、円筒面正積投影画像の幅ｗ及び高さｈを予め設定することができる。
【００５２】
このステップでは、投影により得られた円筒面正積投影画像には、各画素の２次元座標ｕ、ｖが存在するが、各画素について画素値は存在しない。
【００５３】
ステップ２：円筒面正積投影画像における各画素の２次元座標（ｕ、ｖ）を取得する。
【００５４】
ステップ３：円筒面正積投影画像における各画素の取得された２次元座標を座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像における２次元座標を取得することは、具体的には、
円筒面正積投影画像における各画素の取得された２次元座標を式
【数１６】
2019526875.tif 000018
を用いて、
座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像における２次元座標を取得するプロセスを含む。
ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。ｕの値は０からｗ−１の範囲、すなわち［０、ｗ−１］であり、ｖの値は０からｈ−１の範囲、すなわち［０、ｈ−１］である。ｗは円筒面正積投影画像の幅、ｈは円筒面正積投影画像の高さを表す。
【００５５】
式
【数１７】
2019526875.tif 000019
を生成するプロセスは、具体的には、以下を含む。
球面パノラマ画像を円筒面正積投影画像に投影するための式
【数１８】
2019526875.tif 000020
を取得し、
ここで、式
【数１９】
2019526875.tif 000021
において、ｕは円筒面正積投影画像の横座標、ｖは円筒面正積投影画像の縦座標、λは球面パノラマ画像における球面座標の横座標、φは球面パノラマ画像における球面座標の縦座標を表し、φ０は、円筒面正積投影画像のアスペクト比を指定するための入力パラメータであり、
正距円筒パノラマ画像から球状パノラマ画像への座標変換関係
【数２０】
2019526875.tif 000022
を取得し、
ここで、
【数２１】
2019526875.tif 000023
において、ｍ、ｎはそれぞれ正距円筒パノラマ画像の高さ、幅を表し、ｘは正距円筒パノラマ画像内の画素の横座標を表し、ｙは正距円筒パノラマ画像の画素の縦座標を表す。
【００５６】
正距円筒パノラマ画像から球面パノラマ画像への座標変換関係は、図４（ａ）及び図４（ｂ）に見ることができる。図４（ａ）は、正距円筒パノラマ画像の座標系を示し、図４（ｂ）は、緯度経度で表した球面パノラマ画像の球面座標系を示している。
【００５７】
正距円筒パノラマ画像と円筒面正積投影画像との間の変換式
【数２２】
2019526875.tif 000024
は、球面パノラマ画像を円筒面正積投影画像に投影するための式
【数２３】
2019526875.tif 000025
と正距円筒パノラマ画像から球面パノラマ画像への座標変換関係
【数２４】
2019526875.tif 000026
とを数学的に組み合わせることによって得られる。
【００５８】
ステップ４：正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において得られた２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成する。
【００５９】
実施の形態２
上述した方法の実施形態によれば、この実施形態は、図５に示すように、投影画像を構築するための装置を提供する。投影画像を構築するための装置は、投影モジュール５１、第１取得モジュール５２、変換モジュール５３、第１生成モジュール５４を含む。
【００６０】
投影モジュール５１は、円筒面正積投影モデルを用いて正距円筒パノラマ画像上に投影を行って円筒面正積投影画像を取得するのに用いられる。
【００６１】
第１取得モジュール５２は、円筒面正積投影画像における各画素の２次元座標を取得するのに用いられる。
【００６２】
変換モジュール５３は、円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像の２次元座標を取得するのに用いられる。
【００６３】
第１生成モジュール５４は、正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において取得された２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成するのに用いられる。
【００６４】
本実施形態では、変換モジュール５３は、具体的には、
円筒面正積投影画像の各画素の取得された２次元座標に対して式
【数２５】
2019526875.tif 000027
を用いて座標変換を行い、前記円筒面正積投影画像の各画素に対応する前記正距円筒パノラマ画像の前記２次元座標を取得するのに用いられる、変換ユニットを含む。
ここで、ｘは前記正距円筒パノラマ画像における画素の２次元座標の横座標を表し、ｙは前記正距円筒パノラマ画像における画素の２次元座標の縦座標を表し、ｕは前記円筒面正積投影画像の画素の横座標を表し、ｖは前記円筒面正積投影画像の画素の縦座標を表し、ｍ、ｎはそれぞれ前記正距円筒パノラマ画像の高さ、幅を表し、πはＰＩを表す。
【００６５】
この実施形態では、投影画像を構築するための装置は、第２取得モジュール、第３取得モジュール、第２生成モジュールをさらに備える。
【００６６】
第２取得モジュール、第３取得モジュール、第２生成モジュールは、式
【数２６】
2019526875.tif 000028
を生成するのに用いられる。
【００６７】
第２取得モジュールは、球面パノラマ画像を円筒面正積投影画像に投影するための式
【数２７】
2019526875.tif 000029
を取得するために用いられる。ここで、ｘは円筒面正積投影画像の横座標、ｙは円筒面正積投影画像の縦座標、λは球面パノラマ画像における球面座標の横座標、φは球面パノラマ画像における球面座標の縦座標、φ０は、円筒面正積投影画像のアスペクト比を指定するための入力パラメータである。
【００６８】
第３取得モジュールは、正距円筒パノラマ画像から球面パノラマ画像への座標変換関係
【数２８】
2019526875.tif 000030
を取得するために用いられ、
ここで、ｍ、ｎはそれぞれ正距円筒パノラマ画像の高さ、幅を表し、ｘは正距円筒パノラマ画像内の画素の横座標を表し、ｙは正距円筒パノラマ画像の画素の縦座標を表す。
【００６９】
第２生成モジュールは、球面パノラマ画像を円筒面正積投影画像に投影するための式
【数２９】
2019526875.tif 000031
と、正距円筒パノラマ画像から球面パノラマ画像への座標変換関係
【数３０】
2019526875.tif 000032
とを数学的に組み合わせることによって、
式
【数３１】
2019526875.tif 000033
を得るために用いられる。
【００７０】
実施形態において、第１生成モジュール５４は、具体的には、第１生成ユニット又は第２生成ユニットを含み得る。
【００７１】
第１生成ユニットは、正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、バイリニア補間アルゴリズムを用いて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成するように構成されている。
【００７２】
第２生成ユニットは、正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する前記正距円筒パノラマ画像において取得された２次元座標とに基づいて、スプライン補間アルゴリズムを用いて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成するのに用いられる。
【００７３】
上記実施形態の他の実施形態では、投影画像を構築するための装置は、第２取得モジュールと、第３取得モジュールと、第２生成モジュールとをさらに備える。
【００７４】
第２取得モジュール、第３取得モジュール、第２生成モジュールは、式
【数３２】
2019526875.tif 000034
を生成するのに用いられる。
【００７５】
第２取得モジュールは、球面パノラマ画像を円筒面正積投影画像に投影するための式
【数３３】
2019526875.tif 000035
を取得するために用いられる。ここで、ｘは円筒面正積投影画像の横座標、ｙは円筒面正積投影画像の縦座標、λは球面パノラマ画像における球面座標の横座標、φは球面パノラマ画像における球面座標の縦座標、φ０は、円筒面正積投影画像のアスペクト比を指定するための入力パラメータである。
ｕの値は０からｗ−１の範囲、すなわち［０、ｗ−１］であり、ｖの値は０からｈ−１の範囲、すなわち［０、ｈ−１］である。ｗは円筒面正積投影画像の幅、ｈは円筒面正積投影画像の高さを表す。
【００７６】
第３取得モジュールは、正距円筒パノラマ画像から球面パノラマ画像への座標変換関係
【数３４】
2019526875.tif 000036
を取得するために用いられる。
ここで、ｍ、ｎはそれぞれ正距円筒パノラマ画像の高さ、幅を表し、ｘは正距円筒パノラマ画像内の画素の横座標を表し、ｙは正距円筒パノラマ画像の画素の縦座標を表す。
【００７７】
第２生成モジュールは、球面パノラマ画像を円筒面正積投影画像に投影するための式
【数３５】
2019526875.tif 000037
と、正距円筒パノラマ画像から球面パノラマ画像への座標変換関係
【数３６】
2019526875.tif 000038
とを数学的に組み合わせることによって、
式
【数３７】
2019526875.tif 000039
を得るために用いられる。
【００７８】
実施の形態３
上述の方法の実施形態によれば、実施形態は、プロセッサと、通信インターフェースと、メモリと、通信バスとを備える電子機器を提供し、プロセッサ、通信インターフェース、メモリは、通信バスを介して互いに通信する。
【００７９】
メモリはコンピュータプログラムを格納するのに用いられる。
【００８０】
プロセッサは、メモリに格納されたプログラムを実行するときに、本願の実施形態に係る投影画像を構築するための方法を実行するのに用いられる。投影画像を構築するための方法は、
円筒面正積投影モデルを用いて正距円筒パノラマ画像上に投影を行って円筒面正積投影画像を取得し、
円筒面正積投影画像における各画素の２次元座標を取得し、
円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像の２次元座標を取得し、
正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において取得された２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える。
【００８１】
パノラマ画像又はパノラマビデオのストレージフォーマットとしての正距円筒パノラマ画像は、現在、パノラマ画像又はパノラマビデオのより高い解像度及びより大きなビットレートの原因となる。これは、正距円筒パノラマ画像の同じテクスチャに対して、極付近でそれが占める面積は、赤道付近でそれが占める面積よりも大きいためである。本願では、パノラマ画像又はパノラマ動画の解像度及びビットレートを低減するために、パノラマ画像のストレージフォーマットとして、正距円筒パノラマ画像の代わりに円筒面正積投影変換されたパノラマ画像を用いる。
【００８２】
パノラマ画像又はパノラマビデオのストレージフォーマットとして、円筒面正積投影変換されたパノラマ画像を用いることにより、パノラマ画像又はビデオの解像度及びビットレートを低減することができる。これは、正距円筒パノラマ画像を円筒面正積投影モデルで投影することで、赤道付近のテクスチャに変形や小さな変形がないことが保証されるため、パノラマ画像又はパノラマビデオの精細度が保証され、正距円筒パノラマ画像と比較して、投影によって得られた円筒面正積投影画像の２つの極のテクスチャは、ｙ軸方向にさらに圧縮され、それによって、２つの極のテクスチャ面積及び赤道付近のテクスチャ面積とが等しくなることが保証されるからである。従って、画素補間後に得られる円筒面正積投影変換されたパノラマ画像によって、パノラマ画像又はパノラマビデオの解像度及びビットレートを低減させることができる。
【００８３】
実施の形態２
上述の方法の実施形態によれば、この実施形態は、プロセッサによって実行されると、プロセッサに、本発明の実施形態に係る投影画像を構築する方法を実行させるコンピュータプログラムを格納するコンピュータ可読記憶媒体を提供する。投影画像を構築するための方法は、
円筒面正積投影モデルを用いて正距円筒パノラマ画像上に投影を行って円筒面正積投影画像を取得し、
円筒面正積投影画像における各画素の２次元座標を取得し、
円筒面正積投影画像の各画素の取得された２次元座標を座標変換して、円筒面正積投影画像の各画素に対応する正距円筒パノラマ画像の２次元座標を取得し、
正距円筒パノラマ画像における各画素の色情報と、円筒面正積投影画像における各画素に対応する正距円筒パノラマ画像において取得された２次元座標とに基づいて、円筒面正積投影画像に対して画素補間を行い、円筒面正積投影変換されたパノラマ画像を生成することを備える。
【００８４】
パノラマ画像又はパノラマビデオのストレージフォーマットとしての正距円筒パノラマ画像は、現在、パノラマ画像又はパノラマビデオのより高い解像度及びより大きなビットレートの原因となる。これは、正距円筒パノラマ画像の同じテクスチャに対して、極付近でそれが占める面積は、赤道付近でそれが占める面積よりも大きいためである。本願では、パノラマ画像又はパノラマ動画の解像度及びビットレートを低減するために、パノラマ画像のストレージフォーマットとして、正距円筒パノラマ画像の代わりに円筒面正積投影変換されたパノラマ画像を用いる。
【００８５】
パノラマ画像又はパノラマビデオのストレージフォーマットとして、円筒面正積投影変換されたパノラマ画像を用いることにより、パノラマ画像又はビデオの解像度及びビットレートを低減することができる。これは、正距円筒パノラマ画像を円筒面正積投影モデルで投影することで、赤道付近のテクスチャに変形や小さな変形がないことが保証されるため、パノラマ画像又はパノラマビデオの精細度が保証され、正距円筒パノラマ画像と比較して、投影によって得られた円筒面正積投影画像の２つの極のテクスチャは、ｙ軸方向にさらに圧縮され、それによって、２つの極のテクスチャ面積及び赤道付近のテクスチャ面積とが等しくなることが保証されるからである。従って、画素補間後に得られる円筒面正積投影変換されたパノラマ画像によって、パノラマ画像又はパノラマビデオの解像度及びビットレートを低減させることができる。
【００８６】
本明細書における様々な実施形態は、説明のために対応する方法を採用することに留意されたい。様々な実施形態における同一又は類似の部分は互いに参照することができ、各実施形態は他の実施形態との相違点に焦点を合わせている。装置の実施形態については、それらは方法の実施形態に類似しているため、その説明は比較的簡略である。関連部分は、方法の実施形態の説明の部分を参照することができる。
【００８７】
本明細書における「第１」、「第２」などの関係用語は、ある物又は動作を別の物又は動作と区別するために使用されているのみであり、必ずしもこれらの間の実際の関係又は順序があることを要求又は示唆するものではない。さらに、用語「include」、「comprise」又はそれらの他の変形は、非排他的な包含をカバーすることを意図しており、一連の要素を含むプロセス、方法、物品又は装置は、列挙された要素だけでなく、特に列挙されていないもの、又は、プロセス、方法、物品又は装置に固有の要素も含む。さらに限定することなく、文「comprise(s) a...」又は「include(s) a...」によって定義される要素は、これらの要素から構成されるプロセス、方法、物品又は装置に他の同一の要素があることを排除するものではない。
【００８８】
本願によって提供される投影画像を構築するための方法及び装置は、本明細書において詳細に説明されている。本願の原理及び実施形態は、特定の例を参照して説明された。上記の実施形態の説明は、単に本願の方法及びその中核的概念を理解するのを助けるためのものである。本願の教示に従って、実施形態及び適用範囲に変更があってもよいことが当業者には明らかであろう。従って、本明細書の明細書は本願を限定するものとして解釈されるべきではない。
【００８９】
本願は、２０１６年１２月２０日に中国国家知的財産権局に提出された「投影画像を構築するための方法及び装置」という名称の中国特許出願第２０１６１１１８７１３８．２号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
【図１】
2019526875.tif 000042
【図２】
2019526875.tif 000043
【図３】
2019526875.tif 000044
【図４（ａ）】
2019526875.tif 000045
【図４（ｂ）】
2019526875.tif 000046
【図５】
2019526875.tif 000047
【国際調査報告】
2019526875.tif 000048
2019526875.tif 000049
2019526875.tif 000050
2019526875.tif 000051