(57)【要約】      （修正有）【課題】リファレンススクリーンの中心位置がユーザの正面の位置とならない場合でも、適切なリマッピングを行う情報処理装置及び方法並びにプログラムを提供する。【解決手段】情報処理装置１１は、オフセット角算出部２１、位置情報補正部２２及びオブジェクトリマッピング部２３を有する。オフセット角算出部２１は、ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量を算出する。位置情報補正部２２は、オフセット量に基づいて、基準位置を基準としたオーディオオブジェクトの位置を、リファレンススクリーンの位置に合わせて補正する。オブジェクトリマッピング部２３は、補正されたオーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせてオーディオオブジェクトの位置をリマッピングする。【選択図】図８
2020171047.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量を算出するオフセット算出部と、
前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置を、前記リファレンススクリーンの位置に合わせて補正する位置補正部と、
補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置をリマッピングするリマッピング部と
を備える情報処理装置。
【請求項２】
前記オフセット算出部は、前記リファレンススクリーンが前記ユーザの背面方向に位置する場合、所定の補正値で前記オフセット量を補正する
請求項１に記載の情報処理装置。
【請求項３】
前記位置補正部は、前記オーディオオブジェクトの位置を示す情報の値域が所定範囲の値域となるように定められている場合、前記オーディオオブジェクトの位置の補正時の補正値を調整する
請求項１に記載の情報処理装置。
【請求項４】
前記位置補正部は、前記オフセット量に基づいて、前記リファレンススクリーンの位置を補正し、
前記リマッピング部は、補正された前記リファレンススクリーンの位置、および補正された前記オーディオオブジェクトの位置に基づいて、前記オーディオオブジェクトの位置をリマッピングする
請求項１に記載の情報処理装置。
【請求項５】
ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量を算出し、
前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置を、前記リファレンススクリーンの位置に合わせて補正し、
補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置をリマッピングする
ステップを含む情報処理方法。
【請求項６】
ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量を算出し、
前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置を、前記リファレンススクリーンの位置に合わせて補正し、
補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置をリマッピングする
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は情報処理装置および方法、並びにプログラムに関し、特に、適切なリマッピングを行うことができるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、ISO/IEC 23008-3 “3D Audio”規格において、Screen-Related Object Element Remapping技術が採用されている（例えば、非特許文献１参照）。
【０００３】
この技術では、オブジェクトオーディオのレンダリング再生において、基準となるリファレンススクリーンの位置および大きさを示すリファレンススクリーン情報と、実際に再生する再生スクリーンの位置および大きさを示す再生スクリーン情報とに応じて、オーディオオブジェクトの位置がリマッピング（再配置）される。これにより、例えばリファレンススクリーン上のオブジェクトが同じ位置関係で再生スクリーン上に表示される映像再生を行う場合に、再生スクリーン上のオブジェクトと同じ位置に、それらのオブジェクトの音像を定位させることができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ISO/IEC DIS 23008-3 “Information technology-High efficiency coding and media delivery in heterogeneous environments-Part 3: 3D audio”
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述した技術ではリファレンススクリーンの中心位置が再生空間のユーザの正面に位置していることが前提となっている。しかしながら、例えば３６０°の全方位の画像を表示する全天球画像を再生するときや、画像全体の一部分をズーム再生するときなど、場合によってはリファレンススクリーンの中心位置が必ずしもユーザの正面の位置とはならないこともある。
【０００６】
そのような場合、上述した技術によりオーディオオブジェクトの位置をリマッピングすると、リマッピング後の位置に歪みが生じてしまう。すなわち、再生スクリーン外にあるオーディオオブジェクトの位置関係に歪みが生じてしまい、適切なリマッピングを実現することができなくなってしまう。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、適切なリマッピングを行うことができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の情報処理装置は、ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量を算出するオフセット算出部と、前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置を、前記リファレンススクリーンの位置に合わせて補正する位置補正部と、補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置をリマッピングするリマッピング部とを備える。
【０００９】
前記オフセット算出部には、前記リファレンススクリーンが前記ユーザの背面方向に位置する場合、所定の補正値で前記オフセット量を補正させることができる。
【００１０】
前記位置補正部には、前記オーディオオブジェクトの位置を示す情報の値域が所定範囲の値域となるように定められている場合、前記オーディオオブジェクトの位置の補正時の補正値を調整させることができる。
【００１１】
前記位置補正部には、前記オフセット量に基づいて、前記リファレンススクリーンの位置を補正させ、前記リマッピング部には、補正された前記リファレンススクリーンの位置、および補正された前記オーディオオブジェクトの位置に基づいて、前記オーディオオブジェクトの位置をリマッピングさせることができる。
【００１２】
本技術の一側面の情報処理方法またはプログラムは、ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量を算出し、前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置を、前記リファレンススクリーンの位置に合わせて補正し、補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置をリマッピングするステップを含む。
【００１３】
本技術の一側面においては、ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量が算出され、前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置が、前記リファレンススクリーンの位置に合わせて補正され、補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置がリマッピングされる。
【発明の効果】
【００１４】
本技術の一側面によれば、適切なリマッピングを行うことができる。
【００１５】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
【図面の簡単な説明】
【００１６】
【図１】リマッピング前後のオブジェクトの位置関係を示す図である。
【図２】リファレンススクリーン情報、オブジェクト位置情報、および再生スクリーン情報の例を示す図である。
【図３】リマッピングによる水平方向位置の変化について説明する図である。
【図４】リマッピング後のオブジェクト位置情報の例を示す図である。
【図５】リファレンススクリーン情報、オブジェクト位置情報、および再生スクリーン情報の例を示す図である。
【図６】リマッピング後のオブジェクト位置情報の例を示す図である。
【図７】リマッピング前後のオブジェクトの位置関係を示す図である。
【図８】情報処理装置の構成例を示す図である。
【図９】リマッピング後のオブジェクト位置情報の例を示す図である。
【図１０】リマッピング前後のオブジェクトの位置関係を示す図である。
【図１１】リマッピング処理を説明するフローチャートである。
【図１２】リファレンススクリーン情報、オブジェクト位置情報、および再生スクリーン情報の例を示す図である。
【図１３】リマッピング後のオブジェクト位置情報の例を示す図である。
【図１４】リマッピング前後のオブジェクトの位置関係を示す図である。
【図１５】リファレンススクリーン情報、オブジェクト位置情報、および再生スクリーン情報の例を示す図である。
【図１６】リマッピング後のオブジェクト位置情報の例を示す図である。
【図１７】リマッピング前後のオブジェクトの位置関係を示す図である。
【図１８】情報処理装置の構成例を示す図である。
【図１９】リマッピング処理を説明するフローチャートである。
【図２０】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００１８】
〈第１の実施の形態〉
〈リマッピングについて〉
本技術は、オーディオオブジェクトのオーディオ信号と、そのオーディオオブジェクトの位置を示すオブジェクト位置情報などのメタデータとを取得してオーディオ再生を行う場合に、適切なリマッピングを行うことができるようにするものである。なお、以下では、オーディオオブジェクトを単にオブジェクトとも称することとする。
【００１９】
例えばコンテンツを再生する場合、コンテンツ再生側には、動画像と、その動画像に付随する音声とからなるコンテンツを再生するためのビットストリームが入力される。このビットストリームは、例えば動画像を再生するためのビデオ信号と、各オブジェクトの音声を再生するためのオーディオ信号と、各オブジェクトのメタデータや、基準となるリファレンススクリーンの位置および大きさを示すリファレンススクリーン情報などの各種の情報とを多重化して得られたものとなっている。また、メタデータには、少なくとも再生空間におけるオブジェクトの位置を示すオブジェクト位置情報が含まれている。
【００２０】
さらに、コンテンツ再生側に対しては、実際にコンテンツの再生に用いるスクリーンである再生スクリーン（表示画面）の再生空間における位置および大きさを示す再生スクリーン情報が与えられる。そして、コンテンツ再生時には、リファレンススクリーン情報と再生スクリーン情報とに基づいて、オブジェクト位置情報により示されるオブジェクトの位置のリマッピングが行われる。
【００２１】
具体的には、例えば図１に示すようにオブジェクト位置のリマッピングが行われる。
【００２２】
矢印Ａ１１に示すように、再生空間の原点Ｏの位置にいる仮想的なユーザＵ１１を囲むように６個のオブジェクトOBJ1乃至オブジェクトOBJ6が配置されているとする。ここで、オブジェクトOBJ1乃至オブジェクトOBJ6は、メタデータに含まれるオブジェクト位置情報により示される再生空間上の位置に配置されている。
【００２３】
また、基準となるスクリーンとしてリファレンススクリーンRSC11がリファレンススクリーン情報により定義されており、この例ではリファレンススクリーンRSC11は、ユーザＵ１１の正面方向に位置している。なお、ユーザＵ１１はリファレンススクリーンRSC11のある方向、つまり正面方向を向いているとする。
【００２４】
これらのオブジェクトOBJ1乃至オブジェクトOBJ6や、リファレンススクリーンRSC11の配置位置は、矢印Ａ１１に示す図における図中、上から下方向に見ると、矢印Ａ１２に示す配置となっている。
【００２５】
この例では、特にオブジェクトOBJ1とオブジェクトOBJ2がリファレンススクリーンRSC11内に位置している。また、ユーザＵ１１から見てオブジェクトOBJ1、オブジェクトOBJ3、およびオブジェクトOBJ5と、オブジェクトOBJ2、オブジェクトOBJ4、およびオブジェクトOBJ6とが水平方向において左右対称に配置されている。
【００２６】
したがって、仮にリファレンススクリーンRSC11でコンテンツを構成する動画像を再生する場合には、リファレンススクリーンRSC11上には６つのオブジェクトのうち、オブジェクトOBJ1とオブジェクトOBJ2のみが表示されることになる。
【００２７】
いま、矢印Ａ１２に示す図において、ユーザＵ１１から見て正面方向、つまり図中、上方向をｘ軸の正の方向とし、ユーザＵ１１から見て右方向をｙ軸の正の方向とし、ユーザＵ１１から見て真上方向、つまり図中、手前側の方向をｚ軸の正の方向とする。
【００２８】
また、原点Ｏを原点とし、これらのｘ軸、ｙ軸、およびｚ軸からなる３次元座標系をｘｙｚ座標系とする。さらに、原点Ｏを中心とし、原点Ｏからの所定の距離ｒ（以下、半径ｒとも称する）を半径とする単位球面上に各オブジェクトやリファレンススクリーンRSC11が配置されているとする。ここで、例えば半径ｒは１などとされる。
【００２９】
このような場合に、オブジェクト位置情報やリファレンススクリーン情報により示される位置は、ｘｙ平面におけるｘ軸とのなす角度である水平方向角度Azimuth、およびｘｚ平面におけるｘ軸とのなす角度である垂直方向角度Elevationにより表されるとする。なお、より詳細には、垂直方向角度Elevationは、オブジェクト等の対象となる位置および原点Ｏを結ぶ直線とｘｙ平面とのなす角度である。また、再生スクリーン情報により示される位置も、水平方向角度Azimuth、および垂直方向角度Elevationにより表されるとする。
【００３０】
ここで、水平方向角度Azimuthは、ｘ軸の正の方向が水平方向角度Azimuth＝0°とされ、矢印Ａ１２に示す図において時計回りの方向が水平方向角度Azimuthの負の方向とされ、反時計回りの方向が水平方向角度Azimuthの正の方向とされている。また、-180°≦Azimuth≦180°である。
【００３１】
したがって、例えばｙ軸の正の方向が水平方向角度Azimuth＝-90°となり、ｘ軸の負の方向が水平方向角度Azimuth＝-180°＝180°となる。
【００３２】
垂直方向角度Elevationは、ｘ軸の方向、つまりｘｙ平面の位置が垂直方向角度Elevation＝0°とされ、ｘｙ平面からｚ軸の正の方向へと向かう回転方向が垂直方向角度Elevationの正の方向とされ、ｚ軸の負の方向へと向かう回転方向が垂直方向角度Elevationの負の方向とされる。また、-90°≦Elevation≦90°である。
【００３３】
したがって、例えばｚ軸の正の方向が垂直方向角度Elevation＝90°となり、ｚ軸の負の方向が垂直方向角度Elevation＝-90°となる。
【００３４】
さらに、以下ではｘ軸の正の方向側における単位球とｘ軸との交点位置を、再生空間における基準位置と称することとする。つまり、基準位置は水平方向角度Azimuth＝0°、垂直方向角度Elevation＝0°、および半径ｒ＝１となる位置であり、再生空間に位置するユーザＵ１１の真正面の方向の位置である。
【００３５】
このようにオブジェクト位置情報、リファレンススクリーン情報、および再生スクリーン情報が、水平方向角度Azimuthおよび垂直方向角度Elevationにより記述されるものとする。この場合、これらのオブジェクト位置情報、リファレンススクリーン情報、および再生スクリーン情報に基づいてリマッピングが行われると、例えば矢印Ａ１３および矢印Ａ１４に示すように再生空間における各オブジェクトの配置位置が変更される。
【００３６】
この例では、オブジェクトOBJ1乃至オブジェクトOBJ6が、実際に再生に用いられる再生スクリーンPSC11に合わせて再配置されている。
【００３７】
すなわち、再生スクリーンPSC11上には、リファレンススクリーンRSC11上に位置していたオブジェクトOBJ1とオブジェクトOBJ2が、リファレンススクリーンRSC11上における場合と同じ位置関係で配置されている。
【００３８】
なお、この例では、リファレンススクリーンRSC11および再生スクリーンPSC11の中心位置は、ともに基準位置に位置している。
【００３９】
また、各オブジェクトは、リマッピング前と相対的に略同じ位置関係で配置されており、ユーザＵ１１から見てオブジェクトOBJ1、オブジェクトOBJ3、およびオブジェクトOBJ5と、オブジェクトOBJ2、オブジェクトOBJ4、およびオブジェクトOBJ6とが水平方向において左右対称に配置されている。
【００４０】
このようなリマッピングによれば、リファレンススクリーンRSC11に合わせて配置されていた各オブジェクトを、実際に再生に用いる再生スクリーンPSC11に合わせた位置に再配置することができる。その結果、例えばコンテンツ再生時において、再生スクリーンPSC11上に表示されたオブジェクトの方向から、そのオブジェクトの音声が聞こえてくるようにすることができる。また、再生スクリーンPSC11上に表示されていないオブジェクトについても、適切な方向からそのオブジェクトの音声が聞こえてくるようにすることができる。これにより、適切なオーディオ再生を実現することができる。
【００４１】
ここで、一般的なScreen-Related Object Element Remapping技術により行われるリマッピングについて、図１に示した６つのオブジェクトを例としてさらに詳細に説明する。
【００４２】
例えばリファレンススクリーンRSC11のリファレンススクリーン情報、オブジェクトOBJ1乃至オブジェクトOBJ6のオブジェクト位置情報、および再生スクリーンPSC11の再生スクリーン情報として図２に示す情報が与えられたとする。
【００４３】
図２では、矢印Ｑ１１により示される部分には、リファレンススクリーン情報およびオブジェクト位置情報が示されており、矢印Ｑ１２により示される部分には再生スクリーン情報が示されている。また、各情報の図中、右側の欄には、水平方向角度Azimuthまたは垂直方向角度Elevationの数値が記載されている。
【００４４】
この例では、リファレンススクリーン情報は、リファレンススクリーンRSC11の位置および大きさ、つまりリファレンススクリーンRSC11の上下左右の端の位置を示す情報となっている。
【００４５】
具体的には、リファレンススクリーン情報の欄における文字「Azimuth左端」および「Azimuth右端」は、それぞれリファレンススクリーンRSC11の図１中、左側の端および右側の端の位置を示しており、それらの位置を示す水平方向角度Azimuthは「29.0」および「-29.0」とされている。以下では、リファレンススクリーンRSC11の図１中、左側の端および右側の端を、リファレンススクリーンRSC11の左端および右端とも称することとする。
【００４６】
また、リファレンススクリーン情報の欄における文字「Elevation上端」および「Elevation下端」は、それぞれリファレンススクリーンRSC11の図１中、上側の端および下側の端の位置を示しており、それらの位置を示す垂直方向角度Elevationは「17.5」および「-17.5」とされている。以下では、リファレンススクリーンRSC11の図１中、上側の端および下側の端を、リファレンススクリーンRSC11の上端および下端とも称することとする。
【００４７】
また、矢印Ｑ１１により示す部分にはオブジェクトOBJ1乃至オブジェクトOBJ6の各オブジェクトのオブジェクト位置情報が示されている。具体的には、「OBJ1」乃至「OBJ6」のそれぞれの欄には、オブジェクトOBJ1乃至オブジェクトOBJ6のそれぞれの位置が記されている。
【００４８】
例えば文字「OBJ1」が記されたオブジェクトOBJ1の欄では、文字「Azimuth」および「Elevation」は、それぞれオブジェクトOBJ1の水平方向および垂直方向の位置を示しており、それらの位置を示す水平方向角度Azimuthおよび垂直方向角度Elevationは、それぞれ「20.0」および「10.0」とされている。
【００４９】
さらに、矢印Ｑ１２により示す部分には再生スクリーン情報が示されている。
【００５０】
この例では、再生スクリーン情報は、再生スクリーンPSC11の位置および大きさ、つまり再生スクリーンPSC11の上下左右の端の位置を示す情報となっている。
【００５１】
具体的には、再生スクリーン情報の欄における文字「Azimuth左端」および「Azimuth右端」は、それぞれ再生スクリーンPSC11の図１中、左側の端および右側の端の位置を示しており、それらの位置を示す水平方向角度Azimuthは「14.5」および「-14.5」とされている。以下では、再生スクリーンPSC11の図１中、左側の端および右側の端を、再生スクリーンPSC11の左端および右端とも称することとする。
【００５２】
また、再生スクリーン情報の欄における文字「Elevation上端」および「Elevation下端」は、それぞれ再生スクリーンPSC11の図１中、上側の端および下側の端の位置を示しており、それらの位置を示す垂直方向角度Elevationは「8.5」および「-8.5」とされている。以下では、再生スクリーンPSC11の図１中、上側の端および下側の端を、再生スクリーンPSC11の上端および下端とも称することとする。
【００５３】
矢印Ｑ１２に示す再生スクリーン情報から、再生スクリーンPSC11は、リファレンススクリーンRSC11の略半分の大きさのスクリーン（表示画面）であることが分かる。
【００５４】
このようなリファレンススクリーン情報、オブジェクト位置情報、および再生スクリーン情報が与えられると、一般的なScreen-Related Object Element Remapping技術では、次式（１）および式（２）の計算が行われ、リマッピング後の各オブジェクトの位置が算出される。
【００５５】
【数１】
2020171047.tif 000003
【００５６】
【数２】
2020171047.tif 000004
【００５７】
なお、式（１）において、φはオブジェクトのリマッピング前の水平方向位置、つまりオブジェクト位置情報に含まれる水平方向角度Azimuthを示しており、φ’はオブジェクトのリマッピング後の水平方向位置を示す水平方向角度Azimuthを示している。
【００５８】
また、式（１）においてφleftnominalおよびφrightnominalは、リファレンススクリーンRSC11の左端および右端の水平方向位置を示す水平方向角度Azimuthを示しており、φleftreproおよびφrightreproは、再生スクリーンPSC11の左端および右端の水平方向位置を示す水平方向角度Azimuthを示している。
【００５９】
式（２）において、θはオブジェクトのリマッピング前の垂直方向位置、つまりオブジェクト位置情報に含まれる垂直方向角度Elevationを示しており、θ’はオブジェクトのリマッピング後の垂直方向位置を示す垂直方向角度Elevationを示している。
【００６０】
また、式（２）においてθtopnominalおよびθbottomnominalは、リファレンススクリーンRSC11の上端および下端の垂直方向位置を示す垂直方向角度Elevationを示しており、θtopreproおよびθbottomreproは、再生スクリーンPSC11の上端および下端の垂直方向位置を示す垂直方向角度Elevationを示している。
【００６１】
上記の式（１）により、オブジェクトのリマッピング後の水平方向位置を示す水平方向角度Azimuthが算出され、式（２）により、オブジェクトのリマッピング後の垂直方向位置を示す垂直方向角度Elevationが算出される。
【００６２】
式（１）および式（２）の計算によるリマッピングでは、リファレンススクリーンRSC11内のオブジェクトは、それらのオブジェクトの位置関係が維持されたまま、丁度それらのオブジェクトが再生スクリーンPSC11内に収まるようにリマッピングされる。また、リファレンススクリーンRSC11外のオブジェクトは、リファレンススクリーンRSC11と再生スクリーンPSC11の端の位置関係に応じてリマッピングされる。
【００６３】
例えば式（１）の計算では、図３に示すように水平方向位置がリマッピングされる。なお、図３において、横軸はオブジェクトのリマッピング前の水平方向角度φを示しており、縦軸はオブジェクトのリマッピング後の水平方向角度φ’を示している。
【００６４】
この例では、水平方向角度φrightnominalの位置が水平方向角度φrightreproの位置へとリマッピングされる。また、水平方向角度φleftnominalの位置が水平方向角度φleftreproの位置へとリマッピングされ、それらの水平方向角度φrightnominalの位置と、水平方向角度φleftnominalの位置の間にある位置は線形にリマッピングされる。
【００６５】
水平方向角度φ＝-180°の位置は、リマッピング後も水平方向角度φ’＝-180°の位置のままとされ、水平方向角度φ＝-180°の位置と、水平方向角度φrightnominalの位置の間の位置は線形にリマッピングされる。
【００６６】
同様に、水平方向角度φ＝180°の位置は、リマッピング後も水平方向角度φ’＝180°の位置のままとされ、水平方向角度φleftnominalの位置と水平方向角度φ＝180°の位置の間の位置は線形にリマッピングされる。
【００６７】
したがって、図２に示したリファレンススクリーン情報、オブジェクト位置情報、および再生スクリーン情報に基づいて式（１）および式（２）の計算を行うと、リマッピング後の各オブジェクトの位置として、図４に示す位置が得られる。換言すれば、リマッピングにより、図４に示すオブジェクト位置情報が得られる。
【００６８】
図４では、オブジェクトOBJ1乃至オブジェクトOBJ6のリマッピング後のオブジェクト位置情報が示されている。具体的には、「OBJ1」乃至「OBJ6」のそれぞれの欄には、オブジェクトOBJ1乃至オブジェクトOBJ6のそれぞれの位置が記されている。
【００６９】
例えば文字「OBJ1」が記されたオブジェクトOBJ1の欄では、文字「Azimuth」および「Elevation」は、それぞれリマッピング後のオブジェクトOBJ1の水平方向および垂直方向の位置を示しており、それらの位置を示す水平方向角度Azimuthおよび垂直方向角度Elevationは、それぞれ「10.0」および「4.9」とされている。
【００７０】
このオブジェクトOBJ1の水平方向角度Azimuth「10.0」および垂直方向角度Elevation「4.9」が、それぞれリマッピング後のオブジェクトOBJ1の水平方向角度φ’および垂直方向角度θ’を示している。
【００７１】
図４に示される各オブジェクトの位置から分かるように、リマッピング後においてもユーザＵ１１から見てオブジェクトOBJ1、オブジェクトOBJ3、およびオブジェクトOBJ5と、オブジェクトOBJ2、オブジェクトOBJ4、およびオブジェクトOBJ6とは水平方向において左右対称に配置されていることが分かる。つまり、適切にリマッピングが行われていることが分かる。
【００７２】
ところで、一般的なScreen-Related Object Element Remapping技術では、リファレンススクリーンRSC11はユーザＵ１１の正面に位置していること、つまりリファレンススクリーンRSC11の中心位置は基準位置にあることが前提となっている。換言すれば、リファレンススクリーンRSC11の中心位置が基準位置以外の位置にあることは想定されていない。
【００７３】
そのため、リファレンススクリーンRSC11の中心位置が基準位置以外の位置にある場合には、通常通りリマッピングを行うと、リファレンススクリーンRSC11外のオブジェクトの位置関係に歪みが生じてしまう。
【００７４】
具体的には、例えば図５に示すリファレンススクリーン情報、オブジェクト位置情報、および再生スクリーン情報が与えられた場合に、式（１）および式（２）の計算によりリマッピングを行うと、リマッピング後の各オブジェクトのオブジェクト位置情報は図６に示すようになる。なお、図５および図６は、図２および図４に対応しており、図５および図６において図２や図４と同様の部分については適宜説明を省略する。
【００７５】
図５では、矢印Ｑ２１により示す部分には、リファレンススクリーンRSC11のリファレンススクリーン情報、およびオブジェクトOBJ1乃至オブジェクトOBJ6のオブジェクト位置情報が示されている。
【００７６】
この例では、リファレンススクリーン情報により示されるリファレンススクリーンRSC11の位置は、図２の例で示した位置を、水平方向角度Azimuthの正の方向に３０°だけ回転させた位置となっている。つまり、図２の例では、リファレンススクリーンRSC11の中心位置が基準位置であったのに対して、図５に示す例では、リファレンススクリーンRSC11の中心位置が水平方向角度Azimuth＝３０°および垂直方向角度Elevation＝０°の位置となっている。
【００７７】
同様に、図５に示す例では、オブジェクト位置情報により示される各オブジェクトの位置も、図２の例で示した同じオブジェクトの位置を、水平方向角度Azimuthの正の方向に３０°だけ回転させた位置となっている。
【００７８】
したがって、図２に示した例と図５に示す例では、ともにリファレンススクリーンRSC11および各オブジェクトの相対的な位置関係は同じとなっている。
【００７９】
また、矢印Ｑ２２により示す部分には再生スクリーン情報が示されており、この再生スクリーン情報は、図２に示した再生スクリーン情報と同じとなっている。
【００８０】
このようなリファレンススクリーン情報、オブジェクト位置情報、および再生スクリーン情報に基づくリマッピングにより、図６に示すオブジェクト位置情報が得られるが、このオブジェクト位置情報からオブジェクトの位置関係が非対称となっていることが分かる。
【００８１】
なお、図６では「OBJ1」乃至「OBJ6」のそれぞれの欄には、オブジェクトOBJ1乃至オブジェクトOBJ6のそれぞれの位置が記されている。
【００８２】
リマッピング前においては、原点ＯとリファレンススクリーンRSC11の中心位置とを結ぶ線分に対してオブジェクトOBJ1、オブジェクトOBJ3、およびオブジェクトOBJ5と、オブジェクトOBJ2、オブジェクトOBJ4、およびオブジェクトOBJ6とは水平方向において左右対称に配置されている。
【００８３】
一方で図６に示す例では、リファレンススクリーンRSC11内に配置されていたオブジェクトOBJ1とオブジェクトOBJ2については、水平方向角度Azimuthから、リマッピング後においてもそれらのオブジェクトが原点Ｏと再生スクリーンPSC11の中心位置とを結ぶ線分に対して水平方向において左右対称であることが分かる。
【００８４】
しかし、リファレンススクリーンRSC11外に配置されているオブジェクトOBJ3とオブジェクトOBJ4、およびオブジェクトOBJ5とオブジェクトOBJ6については、それらのオブジェクトが原点Ｏと再生スクリーンPSC11の中心位置とを結ぶ線分に対して水平方向において左右対称でなくなっていることが分かる。つまり、リマッピング後のオブジェクトの位置が適切な位置とはなっておらず、オブジェクトの位置関係が歪んでしまっていることが分かる。
【００８５】
この例におけるリマッピング前とリマッピング後の各オブジェクトの位置関係を模式図で示すと、図７に示すようになる。なお、図７において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００８６】
図７では、矢印Ａ２１および矢印Ａ２２により示す部分に、リファレンススクリーンRSC11とリマッピング前のオブジェクトOBJ1乃至オブジェクトOBJ6が示されている。これに対して、矢印Ａ２３および矢印Ａ２４により示す部分に、再生スクリーンPSC11とリマッピング後のオブジェクトOBJ1乃至オブジェクトOBJ6が示されている。
【００８７】
リマッピングにおいては、再生スクリーンPSC11から見た各オブジェクトの位置関係が、リファレンススクリーンRSC11から見たリマッピング前の各オブジェクトの位置関係と略同じ位置関係となるように各オブジェクトがリマッピングされることが期待される。
【００８８】
この例では、リマッピング前のオブジェクトOBJ1乃至オブジェクトOBJ6の相対的な位置関係は、図１に示した例と同じであり、再生スクリーンPSC11の位置も図１に示した例と同じ位置にある。したがって、リマッピング後のオブジェクトOBJ1乃至オブジェクトOBJ6の位置は、図１に示したそれらのオブジェクトと同じ位置に再配置されることが期待される。
【００８９】
しかし、図７から分かるようにリマッピング前にリファレンススクリーンRSC11外に位置していたオブジェクトOBJ3乃至オブジェクトOBJ6については、リマッピング前とリマッピング後とで相対的な位置関係が大きく変化している。特に、オブジェクトOBJ5とオブジェクトOBJ6については、オブジェクト位置が大きくずれている。
【００９０】
そのため、リマッピングにより得られたオブジェクト位置情報に基づいて、各オブジェクトのオーディオ信号のレンダリングを行うと、再生スクリーンPSC11外のオブジェクトについては、音声再生時に本来オブジェクトがあるべき位置とは異なる位置に音像が定位してしまうことになる。
【００９１】
そこで、本技術では、オブジェクト位置情報とリファレンススクリーン情報を適切に補正することで、リファレンススクリーンRSC11の中心位置が基準位置とは異なる場合であっても適切なリマッピングを行うことができるようにした。
【００９２】
〈情報処理装置の構成例〉
図８は、本技術を適用した情報処理装置の一実施の形態の構成例を示す図である。
【００９３】
図８に示す情報処理装置１１は、オフセット角算出部２１、位置情報補正部２２、およびオブジェクトリマッピング部２３を有している。
【００９４】
この情報処理装置１１には、外部からリファレンススクリーン情報、各オブジェクトのオブジェクト位置情報、および再生スクリーン情報が供給される。
【００９５】
ここでは、例えばリファレンススクリーン情報は、リファレンススクリーンRSC11の左端および右端の各位置を示す水平方向角度のそれぞれと、リファレンススクリーンRSC11の上端および下端の各位置を示す垂直方向角度のそれぞれとからなるものとする。リファレンススクリーン情報は、ユーザＵ１１の正面方向にある基準位置を基準としたリファレンススクリーンRSC11の位置および大きさを示す情報となっている。
【００９６】
同様に、再生スクリーン情報は、再生スクリーンPSC11の左端および右端の各位置を示す水平方向角度のそれぞれと、再生スクリーンPSC11の上端および下端の各位置を示す垂直方向角度のそれぞれとからなるものとする。この再生スクリーン情報も基準位置を基準とした再生スクリーンPSC11の位置および大きさを示す情報となっている。
【００９７】
また、各オブジェクトのオブジェクト位置情報は、オブジェクトの位置を示す水平方向角度と垂直方向角度とからなるものとする。オブジェクト位置情報は、ユーザＵ１１の正面方向にある基準位置を基準としたオブジェクトの位置を示す情報である。
【００９８】
オフセット角算出部２１は、供給されたリファレンススクリーン情報に基づいて、再生空間にいるユーザＵ１１の正面方向、つまり原点Ｏから基準位置へと向かう方向と、原点ＯからリファレンススクリーンRSC11の中心位置へと向かう方向とのなす水平方向の角度をオフセット角として算出し、位置情報補正部２２に供給する。
【００９９】
リファレンススクリーンRSC11のオフセット角は、水平方向角度Azimuth方向における、基準位置からのリファレンススクリーンRSC11の中心位置のずれ量を示す水平方向角度Azimuthである。すなわち、オフセット角は、ユーザＵ１１の正面方向にある基準位置からのリファレンススクリーンRSC11のオフセット量を示す情報である。なお、ここではオフセット量を示す情報の例として、水平方向角度であるオフセット角について説明したが、オフセット量を示す情報は、その他どのような情報とされてもよい。
【０１００】
位置情報補正部２２は、オフセット角算出部２１から供給されたオフセット角に基づいて、外部から供給されたリファレンススクリーン情報およびオブジェクト位置情報を補正し、その結果得られた補正リファレンススクリーン情報および補正オブジェクト位置情報を、オブジェクトリマッピング部２３に供給する。
【０１０１】
オブジェクトリマッピング部２３は、外部から供給された再生スクリーン情報と、位置情報補正部２２から供給された補正リファレンススクリーン情報および補正オブジェクト位置情報とに基づいて、オブジェクト位置情報、つまりオブジェクト位置のリマッピングを行い、その結果得られたオブジェクト位置情報を出力する。
【０１０２】
〈各部の処理について〉
ここで、情報処理装置１１を構成する各部の処理について、より具体的に説明する。
【０１０３】
まず、オフセット角算出部２１は、供給されたリファレンススクリーン情報に基づいて、例えば次式（３）を計算することで、オフセット角φoffset_valueを算出する。
【０１０４】
【数３】
2020171047.tif 000005
【０１０５】
なお、式（３）において、φleftnominalおよびφrightnominalは、リファレンススクリーンRSC11の左端の位置および右端の位置の水平方向角度Azimuthを示している。これらのφleftnominalおよびφrightnominalはリファレンススクリーン情報に含まれる情報である。
【０１０６】
また、位置情報補正部２２では、オフセット角φoffset_valueに基づいて、リファレンススクリーンRSC11の中心位置が基準位置となるように、リファレンススクリーン情報が補正される。すなわち、次式（４）および式（５）の計算により、補正リファレンススクリーン情報が算出される。
【０１０７】
【数４】
2020171047.tif 000006
【０１０８】
【数５】
2020171047.tif 000007
【０１０９】
なお、式（４）において、φleftnominalはリファレンススクリーンRSC11の左端の位置の水平方向角度Azimuthを示しており、φoffset_leftnominalは水平方向角度φleftnominalのオフセット角φoffset_valueによる補正後の水平方向角度Azimuthを示している。すなわち、φoffset_leftnominalは、補正後のリファレンススクリーンRSC11の左端の位置の水平方向角度Azimuthを示している。
【０１１０】
また、式（５）において、φrightnominalはリファレンススクリーンRSC11の右端の位置の水平方向角度Azimuthを示しており、φoffset_rightnominalは、水平方向角度φrightnominalのオフセット角φoffset_valueによる補正後の水平方向角度Azimuthを示している。すなわち、φoffset_rightnominalは、補正後のリファレンススクリーンRSC11の右端の位置の水平方向角度Azimuthを示している。
【０１１１】
したがって、式（４）の計算により、リファレンススクリーン情報に含まれる水平方向角度φleftnominalが補正され、式（５）の計算により、リファレンススクリーン情報に含まれる水平方向角度φrightnominalが補正されることになる。
【０１１２】
リファレンススクリーン情報の補正時には、これらの水平方向角度φleftnominalおよび水平方向角度φrightnominalのみが補正され、リファレンススクリーンRSC11の上端および下端の各位置を示す垂直方向角度の補正は行われない。
【０１１３】
このような補正リファレンススクリーン情報を算出する処理は、オフセット角φoffset_valueの分だけ、つまり基準位置に対するリファレンススクリーンRSC11の中心位置のずれの分だけリファレンススクリーンRSC11を回転させる処理である。これにより、リファレンススクリーンRSC11の中心位置が基準位置となるようにリファレンススクリーン情報が補正される。
【０１１４】
さらに位置情報補正部２２では、オフセット角φoffset_valueに基づいて、リファレンススクリーンRSC11の位置の補正（移動）、つまりリファレンススクリーン情報の補正に合わせて、各オブジェクトの位置も補正（移動）されるように、オブジェクト位置情報が補正される。すなわち、次式（６）の計算により、補正オブジェクト位置情報が算出される。
【０１１５】
【数６】
2020171047.tif 000008
【０１１６】
なお、式（６）において、φはオブジェクト位置情報に含まれるオブジェクトの水平方向角度Azimuthを示しており、φoffsetは水平方向角度φのオフセット角φoffset_valueによる補正後の水平方向角度Azimuthを示している。すなわち、φoffsetは、補正後のオブジェクト位置の水平方向角度Azimuthを示している。
【０１１７】
したがって、式（６）の計算により、オブジェクト位置情報に含まれる水平方向角度φが補正されることになる。オブジェクト位置情報の補正時には、水平方向角度φのみが補正され、オブジェクトの垂直方向位置を示す垂直方向角度の補正は行われない。
【０１１８】
このような補正オブジェクト位置情報を算出する処理は、オフセット角φoffset_valueの分だけオブジェクトの位置を回転させる処理である。
【０１１９】
これにより、リファレンススクリーンRSC11の位置に合わせて各オブジェクトの位置が補正される。より詳細には、リファレンススクリーンRSC11の中心位置の補正に合わせて各オブジェクトの位置も補正される。そのため、リファレンススクリーン情報およびオブジェクト位置情報の補正の前後において、リファレンススクリーンRSC11に対する各オブジェクトの相対的な位置は変化しない。
【０１２０】
以上のようにして補正リファレンススクリーン情報および補正オブジェクト位置情報が得られると、オブジェクトリマッピング部２３においてリマッピングが行われる。すなわち、再生スクリーンPSC11の位置に合わせて各オブジェクトの位置がリマッピングされる。
【０１２１】
この時点でリファレンススクリーンRSC11と各オブジェクトの位置関係を示す補正リファレンススクリーン情報と補正オブジェクト位置情報は、基準位置をリファレンススクリーンRSC11の中心位置としたときの位置関係を示す情報となっている。
【０１２２】
したがって、補正リファレンススクリーン情報および補正オブジェクト位置情報を用いれば、上述した一般的なScreen-Related Object Element Remapping技術における場合と同様の計算によりオブジェクト位置のリマッピングを行ってもオブジェクト位置の歪みは生じない。つまり、適切なリマッピングを実現することができる。
【０１２３】
具体的には、オブジェクトリマッピング部２３は、補正リファレンススクリーン情報、再生スクリーン情報、および補正オブジェクト位置情報に基づいて次式（７）を計算することで、リマッピング後のオブジェクト位置情報を算出する。
【０１２４】
【数７】
2020171047.tif 000009
【０１２５】
なお、式（７）において、φ’はオブジェクトのリマッピング後の水平方向位置を示す水平方向角度Azimuthを示しており、φoffsetはオブジェクトのリマッピング前の水平方向位置、つまり補正オブジェクト位置情報に含まれる水平方向角度Azimuthを示している。
【０１２６】
また、式（７）においてφoffset_leftnominalおよびφoffset_rightnominalは、補正されたリファレンススクリーンRSC11の左端および右端の水平方向位置を示す水平方向角度Azimuthを示している。すなわち、φoffset_leftnominalおよびφoffset_rightnominalは、補正リファレンススクリーン情報に含まれる、リファレンススクリーンRSC11の左端および右端の水平方向角度Azimuthを示している。
【０１２７】
さらに、式（７）においてφleftreproおよびφrightreproは、再生スクリーンPSC11の左端および右端の水平方向位置を示す水平方向角度Azimuthを示している。
【０１２８】
また、より詳細には、リマッピングされたオブジェクトのオブジェクト位置情報を求めるにあたっては、オブジェクトリマッピング部２３は、補正リファレンススクリーン情報、再生スクリーン情報、および補正オブジェクト位置情報に基づいて上述した式（２）の計算も行う。これにより、リマッピング後のオブジェクト位置情報に含まれる、リマッピングされたオブジェクトの垂直方向位置を示す垂直方向角度θ’が得られる。
【０１２９】
以上のような処理を行うことで、情報処理装置１１では適切なリマッピングを行うことができる。
【０１３０】
具体的には、例えば図５に示したリファレンススクリーン情報、オブジェクト位置情報、および再生スクリーン情報が与えられた場合に、情報処理装置１１でリマッピングが行われると、リマッピング後のオブジェクト位置情報として図９に示すオブジェクト位置情報が得られる。
【０１３１】
なお、図９では、「OBJ1」乃至「OBJ6」のそれぞれの欄には、オブジェクトOBJ1乃至オブジェクトOBJ6のそれぞれのリマッピングされたオブジェクト位置情報、すなわち各オブジェクトのリマッピング後の位置の水平方向角度Azimuthおよび垂直方向角度Elevationが示されている。
【０１３２】
例えば文字「OBJ1」が記されたオブジェクトOBJ1の欄では、文字「Azimuth」および「Elevation」は、それぞれリマッピング後のオブジェクトOBJ1の水平方向および垂直方向の位置を示しており、それらの位置を示す水平方向角度Azimuthおよび垂直方向角度Elevationは、それぞれ「10.0」および「4.9」とされている。これらの水平方向角度Azimuth「10.0」および垂直方向角度Elevation「4.9」は、式（７）により算出された水平方向角度φ’、および式（２）により算出された垂直方向角度θ’である。
【０１３３】
図９に示す例では、全てのオブジェクトOBJ1乃至オブジェクトOBJ6の相対的な位置関係が、リマッピング前とリマッピング後とで略同じとなっている。
【０１３４】
すなわち、リファレンススクリーンRSC11内に配置されていたオブジェクトOBJ1とオブジェクトOBJ2については、リマッピング後においてもそれらのオブジェクトが原点Ｏと再生スクリーンPSC11の中心位置とを結ぶ線分に対して、水平方向において左右対称であることが分かる。
【０１３５】
また、リファレンススクリーンRSC11外に配置されているオブジェクトOBJ3とオブジェクトOBJ4、およびオブジェクトOBJ5とオブジェクトOBJ6についても、それらのオブジェクトが原点Ｏと再生スクリーンPSC11の中心位置とを結ぶ線分に対して、水平方向において左右対称となっていることが分かる。つまり、リマッピング後の全てのオブジェクトの位置が適切な位置となっていることが分かる。
【０１３６】
この例におけるリマッピング前とリマッピング後の各オブジェクトの位置関係を模式図で示すと、図１０に示すようになる。なお、図１０において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１３７】
図１０では、矢印Ａ３１および矢印Ａ３２により示される部分に、リファレンススクリーンRSC11とリマッピング前のオブジェクトOBJ1乃至オブジェクトOBJ6が示されている。より詳細には、リファレンススクリーンRSC11は補正前のリファレンススクリーン情報により示される位置に配置されたものであり、オブジェクトOBJ1乃至オブジェクトOBJ6は、補正前のオブジェクト位置情報により示される位置に配置されたものである。
【０１３８】
これに対して、矢印Ａ３３および矢印Ａ３４により示される部分に、再生スクリーンPSC11とリマッピング後のオブジェクトOBJ1乃至オブジェクトOBJ6が示されている。
【０１３９】
この例では、矢印Ａ３１および矢印Ａ３２に示されるリファレンススクリーンRSC11とリマッピング前のオブジェクトOBJ1乃至オブジェクトOBJ6の位置は、図７に示した例と同じ配置となっている。
【０１４０】
また、矢印Ａ３３および矢印Ａ３４に示される部分では、リマッピング後のオブジェクトOBJ1、オブジェクトOBJ3、およびオブジェクトOBJ5と、オブジェクトOBJ2、オブジェクトOBJ4、およびオブジェクトOBJ6とが、原点Ｏと再生スクリーンPSC11の中心位置とを結ぶ線分に対して、水平方向において左右対称であることが分かる。つまり、リマッピング前後において、スクリーンの中心位置から見た各オブジェクトの位置関係が略同じであり、適切にリマッピングが行われていることが分かる。
【０１４１】
〈リマッピング処理の説明〉
次に、図１１のフローチャートを参照して、情報処理装置１１により行われるリマッピング処理について説明する。
【０１４２】
ステップＳ１１においてオフセット角算出部２１は、供給されたリファレンススクリーン情報に基づいてオフセット角φoffset_valueを算出し、位置情報補正部２２に供給する。
【０１４３】
具体的には、オフセット角算出部２１は式（３）を計算することで、オフセット角φoffset_valueを算出する。
【０１４４】
ステップＳ１２において位置情報補正部２２は、オフセット角算出部２１から供給されたオフセット角φoffset_valueに基づいて、外部から供給されたリファレンススクリーン情報およびオブジェクト位置情報を補正する。
【０１４５】
例えば位置情報補正部２２は、オフセット角φoffset_valueとリファレンススクリーン情報から式（４）および式（５）の計算を行うことでリファレンススクリーン情報を補正し、その結果得られた補正リファレンススクリーン情報をオブジェクトリマッピング部２３に供給する。
【０１４６】
また、位置情報補正部２２は、オフセット角φoffset_valueとオブジェクト位置情報から式（６）の計算を行うことでオブジェクト位置情報を補正し、その結果得られた補正オブジェクト位置情報をオブジェクトリマッピング部２３に供給する。
【０１４７】
ステップＳ１３においてオブジェクトリマッピング部２３は、外部から供給された再生スクリーン情報と、位置情報補正部２２から供給された補正リファレンススクリーン情報および補正オブジェクト位置情報とに基づいて、オブジェクト位置のリマッピングを行う。
【０１４８】
例えばオブジェクトリマッピング部２３は、補正リファレンススクリーン情報、再生スクリーン情報、および補正オブジェクト位置情報に基づいて式（２）および式（７）を計算することで、リマッピングされたオブジェクトの位置を示すオブジェクト位置情報を算出する。そして、オブジェクトリマッピング部２３は、このようにして得られたオブジェクト位置情報を後段に出力し、リマッピング処理は終了する。
【０１４９】
以上のようにして、情報処理装置１１はリファレンススクリーン情報およびオブジェクト位置情報を補正してからリマッピングを行う。このようにすることで、リファレンススクリーンRSC11の配置位置によらず、適切なリマッピングを行うことができる。
【０１５０】
〈第１の実施の形態の変形例１〉
〈リマッピングについて〉
ところで、ISO/IEC 23008-3 “3D Audio”規格のように、リファレンススクリーンRSC11の左端の水平方向角度φleftnominalや右端の水平方向角度φrightnominal、オブジェクトの水平方向角度φの各角度の値域が-180°以上、180°以下と規定されていることもある。
【０１５１】
そのような場合、補正リファレンススクリーン情報および補正オブジェクト位置情報の算出時に、水平方向角度が予め定められた値域内の値、つまり-180°以上、180°以下の値となるように、適宜補正を行う必要がある。
【０１５２】
また、水平方向角度φleftnominalや水平方向角度φrightnominal、水平方向角度φの各角度の値域が-180°以上、180°以下と規定されている場合、リファレンススクリーンRSC11が上述したユーザＵ１１の背面方向、つまりユーザＵ１１から見てｘ軸の負の方向に配置されているときには、水平方向角度φleftnominal<水平方向角度φrightnominalとなることがある。そのような場合、オフセット角φoffset_valueの算出時に、適宜、適切な補正値で補正を行う必要がある。
【０１５３】
なお、以下では、特に断りがない場合、リファレンススクリーンRSC11がユーザＵ１１の背面方向に位置しているというときには、水平方向角度φleftnominal<水平方向角度φrightnominalとなっている状態であるものとする。
【０１５４】
水平方向角度φleftnominalや水平方向角度φrightnominal、水平方向角度φの各角度の値域が-180°以上、180°以下の範囲の値域となるように予め定められている場合には、以下のようにリマッピングを行うようにすればよい。
【０１５５】
なお、以下では、具体的に図１２に示すリファレンススクリーン情報、オブジェクト位置情報、および再生スクリーン情報が与えられた場合を例として説明を続ける。また、図１２は図２に対応しており、図１２において図２と同様の部分については適宜説明を省略する。
【０１５６】
図１２では、矢印Ｑ３１により示す部分には、リファレンススクリーンRSC11のリファレンススクリーン情報、およびオブジェクトOBJ1乃至オブジェクトOBJ6のオブジェクト位置情報が示されている。
【０１５７】
この例では、リファレンススクリーン情報により示されるリファレンススクリーンRSC11の位置は、図２の例で示した位置を、水平方向角度Azimuthの方向に１８０°だけ回転させた位置となっている。つまり、図２の例では、リファレンススクリーンRSC11の中心位置が基準位置であったのに対して、図１２に示す例では、リファレンススクリーンRSC11の中心位置が水平方向角度Azimuth＝１８０°および垂直方向角度Elevation＝０°の位置となっている。
【０１５８】
同様に、図１２に示す例では、オブジェクト位置情報により示される各オブジェクトの位置も、図２の例で示した同じオブジェクトの位置を、水平方向角度Azimuthの方向に１８０°だけ回転させた位置となっている。
【０１５９】
したがって、図２に示した例と図１２に示す例では、ともにリファレンススクリーンRSC11および各オブジェクトの相対的な位置関係は同じとなっている。
【０１６０】
また、矢印Ｑ３２により示す部分には再生スクリーン情報が示されており、この再生スクリーン情報は、図２に示した再生スクリーン情報と同じとなっている。
【０１６１】
このようなリファレンススクリーン情報、オブジェクト位置情報、および再生スクリーン情報が与えられ得る場合、オフセット角算出部２１では上述した式（３）に代えて次式（８）によりオフセット角φoffset_valueを算出すればよい。
【０１６２】
【数８】
2020171047.tif 000010
【０１６３】
なお、式（８）において、φleftnominalおよびφrightnominalは、リファレンススクリーンRSC11の左端の位置および右端の位置の水平方向角度Azimuthを示している。
【０１６４】
式（８）では、水平方向角度φleftnominal<水平方向角度φrightnominalである場合、つまりリファレンススクリーンRSC11が背面方向にある場合には、式（３）により求まる角度に補正値として180°が加算され、最終的なオフセット角φoffset_valueとされる。
【０１６５】
これは、リファレンススクリーンRSC11が背面方向にある場合、式（３）によりオフセット角φoffset_valueを算出すると、リファレンススクリーンRSC11が正面方向にあるときと同じ角度がオフセット角φoffset_valueとして得られてしまうので、補正値として180°を加算してオフセット角を正しく補正する必要があるためである。
【０１６６】
また、式（８）では、水平方向角度φleftnominal<水平方向角度φrightnominalでない場合、つまりリファレンススクリーンRSC11が背面方向にないときには、上述した式（３）と同様にしてオフセット角φoffset_valueが算出される。
【０１６７】
式（８）によりオフセット角φoffset_valueが算出されると、位置情報補正部２２では、式（４）および式（５）に代えて、次式（９）および式（１０）により補正リファレンススクリーン情報が算出されるようにすればよい。同様に、位置情報補正部２２において、式（６）に代えて式（１１）により補正オブジェクト位置情報が算出されるようにすればよい。
【０１６８】
【数９】
2020171047.tif 000011
【０１６９】
【数１０】
2020171047.tif 000012
【０１７０】
【数１１】
2020171047.tif 000013
【０１７１】
なお、式（９）乃至式（１１）において、φoffset_valueはオフセット角φoffset_valueを示している。また、式（９）において、φleftnominalはリファレンススクリーンRSC11の左端の位置の水平方向角度Azimuthを示しており、φoffset_leftnominalは水平方向角度φleftnominalのオフセット角φoffset_valueによる補正後の水平方向角度Azimuthを示している。
【０１７２】
式（１０）において、φrightnominalはリファレンススクリーンRSC11の右端の位置の水平方向角度Azimuthを示しており、φoffset_rightnominalは水平方向角度φrightnominalのオフセット角φoffset_valueによる補正後の水平方向角度Azimuthを示している。
【０１７３】
さらに式（１１）において、φはオブジェクト位置情報に含まれるオブジェクトの水平方向位置の水平方向角度Azimuthを示しており、φoffsetは水平方向角度φのオフセット角φoffset_valueによる補正後の水平方向角度Azimuthを示している。
【０１７４】
例えば式（９）では、φleftnominal<φoffset_value-180°である場合、すなわちφleftnominal-φoffset_value<-180°である場合、上述した式（４）により求まる水平方向角度に360°が加算され、最終的な水平方向角度φoffset_leftnominalとされている。
【０１７５】
このような状況では、式（４）により水平方向角度φoffset_leftnominalを求めると、本来、-180°以上108°以下となるべき水平方向角度φoffset_leftnominalの値が-180°未満となってしまう。そこで、式（９）の計算では、φleftnominal<φoffset_value-180°である場合には、式（４）により求まる水平方向角度に360°が補正値として加算されて水平方向角度φoffset_leftnominalが正しく補正される。
【０１７６】
また、式（９）では、φoffset_value-180°≦φleftnominal≦φoffset_value+180°である場合、すなわち-180°≦φleftnominal-φoffset_value≦180°である場合には、式（４）と同様の計算が行われる。さらに式（９）では、φoffset_value+180°<φleftnominalである場合、すなわちφleftnominal-φoffset_value>180°である場合には、水平方向角度φoffset_leftnominalの値が180°より大きくなってしまうので、φleftnominal<φoffset_value-180°である場合と同様に、-360°が補正値として加算されて水平方向角度φoffset_leftnominalが正しく補正される。
【０１７７】
さらに、式（９）だけでなく式（１０）や式（１１）においても、式（９）における場合と同様に、必要に応じて補正が行われる。
【０１７８】
このように、リファレンススクリーン情報やオブジェクト位置情報の補正時に、φleftnominal-φoffset_valueなど、各情報のオフセット角φoffset_valueによる補正後の水平方向角度に応じて、つまり必要に応じて360°や-360°を補正値として加算することは、リファレンススクリーンRSC11やオブジェクトの位置の補正時における補正値を調整する処理であるということができる。
【０１７９】
以上のようにして補正リファレンススクリーン情報および補正オブジェクト位置情報が算出されると、オブジェクトリマッピング部２３では、式（２）および式（７）により、リマッピング後のオブジェクト位置情報が算出される。
【０１８０】
例えば図１２に示したリファレンススクリーン情報、オブジェクト位置情報、および再生スクリーン情報が与えられた場合に、以上において説明したリマッピングが行われると、リマッピング後のオブジェクト位置情報として図１３に示すオブジェクト位置情報が得られる。
【０１８１】
なお、図１３では、「OBJ1」乃至「OBJ6」のそれぞれの欄には、オブジェクトOBJ1乃至オブジェクトOBJ6のそれぞれのリマッピングされたオブジェクト位置情報、すなわち各オブジェクトのリマッピング後の位置の水平方向角度Azimuthおよび垂直方向角度Elevationが示されている。
【０１８２】
例えば文字「OBJ1」が記されたオブジェクトOBJ1の欄では、文字「Azimuth」および「Elevation」は、それぞれリマッピング後のオブジェクトOBJ1の水平方向および垂直方向の位置を示しており、それらの位置を示す水平方向角度Azimuthおよび垂直方向角度Elevationは、それぞれ「10.0」および「4.9」とされている。これらの水平方向角度Azimuth「10.0」および垂直方向角度Elevation「4.9」は、式（７）により算出された水平方向角度φ’、および式（２）により算出された垂直方向角度θ’である。
【０１８３】
図１３に示す例では、全てのオブジェクトOBJ1乃至オブジェクトOBJ6の相対的な位置関係が、リマッピング前とリマッピング後とで略同じとなっている。
【０１８４】
すなわち、オブジェクトOBJ1とオブジェクトOBJ2、オブジェクトOBJ3とオブジェクトOBJ4、およびオブジェクトOBJ5とオブジェクトOBJ6は、リマッピング後においてもそれらのオブジェクトが原点Ｏと再生スクリーンPSC11の中心位置とを結ぶ線分に対して、水平方向において左右対称となっていることが分かる。
【０１８５】
この例におけるリマッピング前とリマッピング後の各オブジェクトの位置関係を模式図で示すと、図１４に示すようになる。なお、図１４において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１８６】
図１４では、矢印Ａ４１および矢印Ａ４２により示される部分に、リファレンススクリーンRSC11とリマッピング前のオブジェクトOBJ1乃至オブジェクトOBJ6が示されている。より詳細には、リファレンススクリーンRSC11は補正前のリファレンススクリーン情報により示される位置に配置されたものであり、オブジェクトOBJ1乃至オブジェクトOBJ6は、補正前のオブジェクト位置情報により示される位置に配置されたものである。
【０１８７】
これに対して、矢印Ａ４３および矢印Ａ４４により示される部分に、再生スクリーンPSC11とリマッピング後のオブジェクトOBJ1乃至オブジェクトOBJ6が示されている。
【０１８８】
この例では、矢印Ａ４１および矢印Ａ４２に示されるリファレンススクリーンRSC11の位置は、ユーザＵ１１の背面方向に位置している。
【０１８９】
また、矢印Ａ４３および矢印Ａ４４に示される部分では、リマッピング後のオブジェクトOBJ1、オブジェクトOBJ3、およびオブジェクトOBJ5と、オブジェクトOBJ2、オブジェクトOBJ4、およびオブジェクトOBJ6とが、原点Ｏと再生スクリーンPSC11の中心位置とを結ぶ線分に対して、水平方向において左右対称であることが分かる。つまり、リマッピング前後において、スクリーンの中心位置から見た各オブジェクトの位置関係が略同じであり、適切にリマッピングが行われていることが分かる。
【０１９０】
以上のように水平方向角度φleftnominalや水平方向角度φrightnominal、水平方向角度φの各角度の値域が-180°以上180°以下と規定されている場合には、図１１を参照して説明したリマッピング処理のステップＳ１１では、オフセット角算出部２１は式（８）を計算することでオフセット角φoffset_valueを算出する。
【０１９１】
また、ステップＳ１２では、位置情報補正部２２は、式（９）および式（１０）の計算を行うことでリファレンススクリーン情報を補正し、式（１１）の計算を行うことでオブジェクト位置情報を補正する。そしてステップＳ１３では、オブジェクトリマッピング部２３は、式（２）および式（７）を計算することで、リマッピングされたオブジェクトの位置を示すオブジェクト位置情報を算出する。
【０１９２】
このように情報処理装置１１によれば、水平方向角度φleftnominalや水平方向角度φrightnominal、水平方向角度φの各角度の値域が-180°以上、180°以下と規定されている場合においても、適切なリマッピングを行うことができる。
【０１９３】
〈第１の実施の形態の変形例２〉
〈リマッピングについて〉
なお、以上においては具体的な例として、再生スクリーンPSC11の中心位置が基準位置である例について説明したが、再生スクリーンPSC11の中心位置が基準位置にない場合にも、以下のように再生スクリーンのオフセット角を用いた補正を加えることで、適切なリマッピングを行うことができる。
【０１９４】
なお、以下では、具体的に図１５に示すリファレンススクリーン情報、オブジェクト位置情報、および再生スクリーン情報が与えられた場合を例として説明を続ける。また、図１５は図５に対応しており、図１５において図５における場合と同様の部分については、適宜説明を省略する。
【０１９５】
図１５では、矢印Ｑ４１により示す部分には、リファレンススクリーンRSC11のリファレンススクリーン情報、およびオブジェクトOBJ1乃至オブジェクトOBJ6のオブジェクト位置情報が示されており、このリファレンススクリーン情報、およびオブジェクトOBJ1乃至オブジェクトOBJ6のオブジェクト位置情報は、図５に示したリファレンススクリーン情報、およびオブジェクトOBJ1乃至オブジェクトOBJ6のオブジェクト位置情報と同じとなっている。
【０１９６】
また、矢印Ｑ４２により示す部分には再生スクリーン情報が示されている。
【０１９７】
この例では、再生スクリーン情報により示される再生スクリーンPSC11の位置は、図２の例で示した位置を、水平方向角度Azimuthの方向に１８０°だけ回転させた位置となっている。つまり、図２の例では、再生スクリーンPSC11の中心位置が基準位置であったのに対して、図１５に示す例では、再生スクリーンPSC11の中心位置が水平方向角度Azimuth＝１８０°および垂直方向角度Elevation＝０°の位置となっている。
【０１９８】
このようなリファレンススクリーン情報、オブジェクト位置情報、および再生スクリーン情報が与えられ得る場合、オフセット角算出部２１においてオフセット角φoffset_valueと共に、例えば次式（１２）を計算することで、再生スクリーンオフセット角φrepro_offset_valueが算出される。
【０１９９】
【数１２】
2020171047.tif 000014
【０２００】
なお、式（１２）においてφleftreproおよびφrightreproは、再生スクリーンPSC11の左端の位置および右端の位置の水平方向角度Azimuthを示している。これらのφleftreproとφrightreproは再生スクリーン情報に含まれる情報である。
【０２０１】
また、位置情報補正部２２において、上述のリファレンススクリーン情報の補正とオブジェクト位置情報の補正に加えて、再生スクリーンオフセット角φrepro_offset_valueに基づいて、再生スクリーンPSC11の中心位置が基準位置となるように、再生スクリーン情報が補正される。すなわち、次式（１３）および式（１４）の計算により、補正再生スクリーン情報が算出される。
【０２０２】
【数１３】
2020171047.tif 000015
【０２０３】
【数１４】
2020171047.tif 000016
【０２０４】
なお、式（１３）において、φleftreproは再生スクリーンPSC11の左端の位置の水平方向角度Azimuthを示しており、φoffset_leftreproは水平方向角度φleftreproの再生スクリーンオフセット角φrepro_offset_valueによる補正後の水平方向角度Azimuthを示している。すなわち、φoffset_leftreproは、補正後の再生スクリーンPSC11の左端の位置の水平方向角度Azimuthを示している。
【０２０５】
また、式（１４）において、φrightreproは再生スクリーンPSC11の右端の位置の水平方向角度Azimuthを示しており、φoffset_rightreproは水平方向角度φrightreproの再生スクリーンオフセット角φrepro_offset_valueによる補正後の水平方向角度Azimuthを示している。すなわち、φoffset_rightreproは、補正後の再生スクリーンPSC11の右端の位置の水平方向角度Azimuthを示している。
【０２０６】
したがって、式（１３）の計算により、再生スクリーン情報に含まれる水平方向角度φleftreproが補正され、式（１４）の計算により、再生スクリーン情報に含まれる水平方向角度φrightreproが補正されることになる。
【０２０７】
このような補正再生スクリーン情報を算出する処理は、再生スクリーンオフセット角φrepro_offset_valueの分だけ、つまり基準位置に対する再生スクリーンPSC11の中心位置のずれの分だけ再生スクリーンPSC11を回転させる処理である。これにより、再生スクリーンPSC11の中心位置が基準位置となるように再生スクリーン情報が補正される。
【０２０８】
なお、以下では、中心位置が基準位置となるように位置が補正された再生スクリーンPSC11を、特に補正再生スクリーンPSC11’とも称することとする。
【０２０９】
以上のように、補正リファレンススクリーン情報および補正オブジェクト位置情報に加えて、補正再生スクリーン情報が得られると、オブジェクトリマッピング部２３においてリマッピングが行われる。すなわち、補正再生スクリーンPSC11’の位置に合せて各オブジェクトの位置がリマッピングされる。
【０２１０】
具体的には、オブジェクトリマッピング部２３は、補正リファレンススクリーン情報、補正再生スクリーン情報、および補正オブジェクト位置情報に基づいて次式（１５）を計算することで、リマッピング後のオブジェクト位置情報を算出する。
【０２１１】
【数１５】
2020171047.tif 000017
【０２１２】
なお、式（１５）において、φ’はオブジェクトのリマッピング後の水平方向位置を示す水平方向角度Azimuthを示しており、φoffsetはオブジェクトのリマッピング前の水平方向位置、つまり補正オブジェクト位置情報に含まれる水平方向角度Azimuthを示している。
【０２１３】
また、式（１５）において、φoffset_leftnominalおよびφoffset_rightnominalは、補正されたリファレンススクリーンRSC11の左端および右端の水平方向位置を示す水平方向角度Azimuthを示している。すなわち、φoffset_leftnominalおよびφoffset_rightnominalは、補正リファレンススクリーン情報に含まれる、リファレンススクリーンRSC11の左端および右端の水平方向角度Azimuthを示している。
【０２１４】
そして、式（１５）において、φoffset_leftreproおよびφoffset_rightreproは、補正再生スクリーンPSC11’の左端および右端の水平方向位置を示す水平方向角度Azimuthを示している。
【０２１５】
ここで得られたリマッピング後のオブジェクト位置情報は、補正再生スクリーンPSC11’に対するものとなっている。すなわち、再生スクリーンPSC11の中心位置を基準位置とした場合のオブジェクト位置情報となる。しかし、実際には再生スクリーンPSC11は再生スクリーン情報に含まれるφleftreproおよびφrightreproで示される位置にあり、再生スクリーンオフセット角φrepro_offset_valueだけ回転している。そこで、次式（１６）の計算が行われて、リマッピング後のオブジェクト位置情報が、実際の再生スクリーンPSC11に対するものに補正される。
【０２１６】
【数１６】
2020171047.tif 000018
【０２１７】
なお、式（１６）において、φ’は補正再生スクリーンPSC11’に対して算出されたオブジェクトのリマッピング後のオブジェクト位置情報に含まれる水平方向角度Azimuthを示しており、φ’’は水平方向角度φ’の再生スクリーンオフセット角φrepro_offset_valueによる補正後の水平方向角度Azimuthを示している。すなわち、φ’’は、補正後のリマッピング後のオブジェクト位置情報に含まれる水平方向角度Azimuthを示している。
【０２１８】
これにより、リマッピング後のオブジェクト位置が再生スクリーンPSC11の位置に合せて補正される。
【０２１９】
例えば図１５に示したリファレンススクリーン情報、オブジェクト位置情報、および再生スクリーン情報が与えられた場合に、以上において説明したリマッピングが行われると、リマッピング後のオブジェクト位置情報として図１６に示すオブジェクト位置情報が得られる。
【０２２０】
なお、図１６では、「OBJ1」乃至「OBJ6」のそれぞれの欄には、オブジェクトOBJ1乃至オブジェクトOBJ6のそれぞれのリマッピングされたオブジェクト位置情報、すなわち各オブジェクトのリマッピング後の位置の水平方向角度Azimuthおよび垂直方向角度Elevationが示されている。
【０２２１】
例えば文字「OBJ1」が記されたオブジェクトOBJ1の欄では、文字「Azimuth」および「Elevation」は、それぞれリマッピング後のオブジェクトOBJ1の水平方向および垂直方向の位置を示しており、それらの位置を示す水平方向角度Azimuthおよび垂直方向角度Elevationは、それぞれ「-170.0」および「4.9」とされている。これらの水平方向角度Azimuth「-170.0」および垂直方向角度Elevation「4.9」は、式（１６）により算出された水平方向角度φ’’、および式（２）により算出された垂直方向角度θ’である。
【０２２２】
図１６に示す例では、全てのオブジェクトOBJ1乃至オブジェクトOBJ6の相対的な位置関係が、リマッピング前とリマッピング後とで略同じとなっている。
【０２２３】
すなわち、オブジェクトOBJ1とオブジェクトOBJ2、オブジェクトOBJ3とオブジェクトOBJ4、およびオブジェクトOBJ5とオブジェクトOBJ6は、リマッピング後においてもそれらのオブジェクトが原点Ｏと再生スクリーンPSC11の中心位置とを結ぶ線分に対して、水平方向において左右対称となっていることが分かる。
【０２２４】
この例におけるリマッピング前とリマッピング後の各オブジェクトの位置関係を模式図で示すと、図１７に示すようになる。なお、図１７において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２２５】
図１７では、矢印Ａ５１および矢印Ａ５２により示される部分に、リファレンススクリーンRSC11とリマッピング前のオブジェクトOBJ1乃至オブジェクトOBJ6が示されている。より詳細には、リファレンススクリーンRSC11は補正前のリファレンススクリーン情報により示される位置に配置されたものであり、オブジェクトOBJ1乃至オブジェクトOBJ6は、補正前のオブジェクト位置情報により示される位置に配置されたものである。
【０２２６】
これに対して、矢印Ａ５３および矢印Ａ５４により示される部分に、再生スクリーンPSC11とリマッピング後のオブジェクトOBJ1乃至オブジェクトOBJ6が示されている。
【０２２７】
この例では、矢印Ａ５１および矢印Ａ５２に示されるリファレンススクリーンRSC11とリマッピング前のオブジェクトOBJ1乃至オブジェクトOBJ6の位置は、図７に示した例と同じ配置となっている。
【０２２８】
また、矢印Ａ５３および矢印Ａ５４に示される部分では、リマッピング後のオブジェクトOBJ1、オブジェクトOBJ3、およびオブジェクトOBJ5と、オブジェクトOBJ2、オブジェクトOBJ4、およびオブジェクトOBJ6とが、原点Ｏと再生スクリーンPSC11の中心位置とを結ぶ線分に対して、水平方向において左右対称であることが分かる。つまり、リマッピング前後において、スクリーンの中心位置から見た各オブジェクトの位置関係が略同じであり、適切にリマッピングが行われていることが分かる。
【０２２９】
〈情報処理装置の構成例〉
以上のような処理が行われる場合、情報処理装置１１は、例えば図１８に示すような構成とされる。なお、図１８において図８における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２３０】
図１８に示す情報処理装置１１は、オフセット角算出部２１、位置情報補正部２２、およびオブジェクトリマッピング部２３を有している。
【０２３１】
この例では、再生スクリーン情報がオフセット角算出部２１および位置情報補正部２２に供給される。
【０２３２】
オフセット角算出部２１は、オフセット角φoffset_valueを算出する他、供給された再生スクリーン情報に基づいて、再生空間にいるユーザＵ１１の正面方向、つまり原点Ｏから基準位置へと向かう方向と、原点Ｏから再生スクリーンPSC11の中心位置へと向かう方向とのなす水平方向の角度を再生スクリーンオフセット角φrepro_offset_valueとして算出する。オフセット角算出部２１から位置情報補正部２２へは、これらのオフセット角φoffset_valueおよび再生スクリーンオフセット角φrepro_offset_valueが供給される。
【０２３３】
再生スクリーンオフセット角φrepro_offset_valueは、水平方向角度Azimuth方向における、基準位置からの再生スクリーンPSC11の中心位置のずれ量を示す水平方向角度Azimuthである。すなわち、再生スクリーンオフセット角φrepro_offset_valueは、ユーザＵ１１の正面方向にある基準位置からの再生スクリーンPSC11のオフセット量を示す情報である。なお、再生スクリーンPSC11のオフセット量を示す情報は、再生スクリーンオフセット角φrepro_offset_valueに限らず、どのような情報であってもよい。
【０２３４】
位置情報補正部２２は、補正により補正リファレンススクリーン情報および補正オブジェクト位置情報を求める他、補正再生スクリーン情報も求め、補正リファレンススクリーン情報、補正オブジェクト位置情報、補正再生スクリーン情報、および再生スクリーンオフセット角φrepro_offset_valueをオブジェクトリマッピング部２３に供給する。
【０２３５】
すなわち、位置情報補正部２２は、オフセット角算出部２１から供給された再生スクリーンオフセット角φrepro_offset_valueに基づいて、外部から供給された再生スクリーン情報を補正し、補正再生スクリーン情報を得る。
【０２３６】
オブジェクトリマッピング部２３は、位置情報補正部２２から供給された補正リファレンススクリーン情報、補正オブジェクト位置情報、補正再生スクリーン情報、および再生スクリーンオフセット角φrepro_offset_valueに基づいて、オブジェクト位置情報、つまりオブジェクト位置のリマッピングを行い、その結果得られたオブジェクト位置情報を出力する。
【０２３７】
〈リマッピング処理の説明〉
次に、図１９のフローチャートを参照して、図１８に示した情報処理装置１１により行われるリマッピング処理について説明する。
【０２３８】
ステップＳ４１においてオフセット角算出部２１は、供給されたリファレンススクリーン情報および再生スクリーン情報に基づいてオフセット角φoffset_valueおよび再生スクリーンオフセット角φrepro_offset_valueを算出し、位置情報補正部２２に供給する。
【０２３９】
具体的には、オフセット角算出部２１は式（３）を計算することで、オフセット角φoffset_valueを算出する。また、オフセット角算出部２１は式（１２）を計算することで、再生スクリーンオフセット角φrepro_offset_valueを算出する。
【０２４０】
ステップＳ４２において位置情報補正部２２は、オフセット角算出部２１から供給されたオフセット角φoffset_valueおよび再生スクリーンオフセット角φrepro_offset_valueに基づいて、外部から供給されたリファレンススクリーン情報、オブジェクト位置情報、および再生スクリーン情報を補正する。
【０２４１】
例えば位置情報補正部２２は、図１１のステップＳ１２の処理と同様の処理を行ってリファレンススクリーン情報およびオブジェクト位置情報を補正し、補正リファレンススクリーン情報および補正オブジェクト位置情報を得る。
【０２４２】
また、例えば位置情報補正部２２は、再生スクリーンオフセット角φrepro_offset_valueに基づいて式（１３）および式（１４）の計算を行うことで再生スクリーン情報を補正し、補正再生スクリーン情報を得る。
【０２４３】
位置情報補正部２２は、このようにして得られた補正リファレンススクリーン情報、補正オブジェクト位置情報、および補正再生スクリーン情報と、再生スクリーンオフセット角φrepro_offset_valueとをオブジェクトリマッピング部２３に供給する。
【０２４４】
ステップＳ４３においてオブジェクトリマッピング部２３は、位置情報補正部２２から供給された補正リファレンススクリーン情報、補正オブジェクト位置情報、補正再生スクリーン情報、および再生スクリーンオフセット角φrepro_offset_valueに基づいて、オブジェクト位置のリマッピングを行う。
【０２４５】
例えばオブジェクトリマッピング部２３は、式（２）、式（１５）、および式（１６）を計算することで、リマッピングされたオブジェクトの位置を示すオブジェクト位置情報を算出する。そして、オブジェクトリマッピング部２３は、このようにして得られたオブジェクト位置情報を後段に出力し、リマッピング処理は終了する。
【０２４６】
以上のようにして、情報処理装置１１はリファレンススクリーン情報、オブジェクト位置情報、および再生スクリーン情報を補正してからリマッピングを行った後、再生スクリーン情報の補正分だけオブジェクト位置情報を補正する。このようにすることで、リファレンススクリーンRSC11や再生スクリーンPSC11の配置位置によらず、適切なリマッピングを行うことができる。
【０２４７】
なお、第１の実施の形態と第１の実施の形態の変形例１では、水平方向角度についてオフセット角を算出し、そのオフセット角に基づいてリファレンススクリーン情報およびオブジェクト位置情報の各情報の水平方向角度を補正する例について説明した。しかし、水平方向角度だけでなく、垂直方向角度についても同様の処理を行って、リファレンススクリーン情報およびオブジェクト位置情報の各情報の垂直方向角度を補正するようにしてもよい。
【０２４８】
そのような場合には、水平方向角度と同様にして垂直方向角度についてもオフセット角が算出され、算出されたオフセット角に基づいて、リファレンススクリーン情報およびオブジェクト位置情報の垂直方向角度が補正された後、リマッピングが行われる。
【０２４９】
また、第１の実施の形態の変形例２においても同様にして、リファレンススクリーン情報やオブジェクト位置情報、再生スクリーン情報の各情報の垂直方向角度を補正するようにしてもよい。さらに第１の実施の形態の変形例２と第１の実施の形態の変形例１とを組み合わせるようにしてもよい。
【０２５０】
さらに、以上においてはリファレンススクリーンRSC11に合わせてリファレンススクリーン情報およびオブジェクト位置情報を補正した後、その補正により得られた補正リファレンススクリーン情報および補正オブジェクト位置情報を用いてリマッピング後のオブジェクトの位置を示すオブジェクト位置情報を算出すると説明した。しかし、リファレンススクリーンRSC11に合わせてオブジェクト位置情報、つまりオブジェクトの位置のみを補正するようにしてもよい。
【０２５１】
そのような場合、オフセット角が算出された後、そのオフセット角に基づいてオブジェクト位置情報が補正され、補正オブジェクト位置情報とされる。そして、その後、補正オブジェクト位置情報と、リファレンススクリーン情報と、再生スクリーン情報とに基づいて、オブジェクト位置のリマッピングが行われる。すなわち、リマッピング後のオブジェクトの位置を示すオブジェクト位置情報が算出される。
【０２５２】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２５３】
図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２５４】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０２５５】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０２５６】
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
【０２５７】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０２５８】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２５９】
コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０２６０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２６１】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２６２】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２６３】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２６４】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２６５】
さらに、本技術は、以下の構成とすることも可能である。
【０２６６】
（１）
ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量を算出するオフセット算出部と、
前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置を、前記リファレンススクリーンの位置に合わせて補正する位置補正部と、
補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置をリマッピングするリマッピング部と
を備える情報処理装置。
（２）
前記オフセット算出部は、前記リファレンススクリーンが前記ユーザの背面方向に位置する場合、所定の補正値で前記オフセット量を補正する
（１）に記載の情報処理装置。
（３）
前記位置補正部は、前記オーディオオブジェクトの位置を示す情報の値域が所定範囲の値域となるように定められている場合、前記オーディオオブジェクトの位置の補正時の補正値を調整する
（１）または（２）に記載の情報処理装置。
（４）
前記位置補正部は、前記オフセット量に基づいて、前記リファレンススクリーンの位置を補正し、
前記リマッピング部は、補正された前記リファレンススクリーンの位置、および補正された前記オーディオオブジェクトの位置に基づいて、前記オーディオオブジェクトの位置をリマッピングする
（１）乃至（３）の何れか一項に記載の情報処理装置。
（５）
ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量を算出し、
前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置を、前記リファレンススクリーンの位置に合わせて補正し、
補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置をリマッピングする
ステップを含む情報処理方法。
（６）
ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量を算出し、
前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置を、前記リファレンススクリーンの位置に合わせて補正し、
補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置をリマッピングする
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０２６７】
１１  情報処理装置，  ２１  オフセット角算出部，  ２２  位置情報補正部，  ２３  オブジェクトリマッピング部
【図１】
2020171047.tif 000019
【図２】
2020171047.tif 000020
【図３】
2020171047.tif 000021
【図４】
2020171047.tif 000022
【図５】
2020171047.tif 000023
【図６】
2020171047.tif 000024
【図７】
2020171047.tif 000025
【図８】
2020171047.tif 000026
【図９】
2020171047.tif 000027
【図１０】
2020171047.tif 000028
【図１１】
2020171047.tif 000029
【図１２】
2020171047.tif 000030
【図１３】
2020171047.tif 000031
【図１４】
2020171047.tif 000032
【図１５】
2020171047.tif 000033
【図１６】
2020171047.tif 000034
【図１７】
2020171047.tif 000035
【図１８】
2020171047.tif 000036
【図１９】
2020171047.tif 000037
【図２０】
2020171047.tif 000038
【手続補正書】
【提出日】令和2年7月28日(2020.7.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量を算出するオフセット算出部と、
前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置を、前記リファレンススクリーンの位置に合わせて補正するとともに、前記オフセット量に基づいて、前記リファレンススクリーンの位置を補正する位置補正部と、
補正された前記リファレンススクリーンの位置、および補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置をリマッピングするリマッピング部と
を備える情報処理装置。
【請求項２】
前記オフセット算出部は、前記リファレンススクリーンが前記ユーザの背面方向に位置する場合、所定の補正値で前記オフセット量を補正する
請求項１に記載の情報処理装置。
【請求項３】
前記位置補正部は、前記オーディオオブジェクトの位置を示す情報の値域が所定範囲の値域となるように定められている場合、前記オーディオオブジェクトの位置の補正時の補正値を調整する
請求項１に記載の情報処理装置。
【請求項４】
ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量を算出し、
前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置を、前記リファレンススクリーンの位置に合わせて補正するとともに、前記オフセット量に基づいて、前記リファレンススクリーンの位置を補正し、
補正された前記リファレンススクリーンの位置、および補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置をリマッピングする
ステップを含む情報処理方法。
【請求項５】
ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量を算出し、
前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置を、前記リファレンススクリーンの位置に合わせて補正するとともに、前記オフセット量に基づいて、前記リファレンススクリーンの位置を補正し、
補正された前記リファレンススクリーンの位置、および補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置をリマッピングする
ステップを含む処理をコンピュータに実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本技術の一側面の情報処理装置は、ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量を算出するオフセット算出部と、前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置を、前記リファレンススクリーンの位置に合わせて補正するとともに、前記オフセット量に基づいて、前記リファレンススクリーンの位置を補正する位置補正部と、補正された前記リファレンススクリーンの位置、および補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置をリマッピングするリマッピング部とを備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本技術の一側面の情報処理方法またはプログラムは、ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量を算出し、前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置を、前記リファレンススクリーンの位置に合わせて補正するとともに、前記オフセット量に基づいて、前記リファレンススクリーンの位置を補正し、補正された前記リファレンススクリーンの位置、および補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置をリマッピングするステップを含む。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本技術の一側面においては、ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量が算出され、前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置が、前記リファレンススクリーンの位置に合わせて補正されるとともに、前記オフセット量に基づいて、前記リファレンススクリーンの位置が補正され、補正された前記リファレンススクリーンの位置、および補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置がリマッピングされる。