(57)【要約】【課題】コンテンツを体験するユーザの違和感の増大を抑制することができるようにする。【解決手段】現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、その現実コンテンツ及び拡張現実コンテンツが同時に出力される時の現実コンテンツ又は拡張現実コンテンツの出力に用いられるパラメータを調整する。本開示は、例えば、情報処理装置、コンテンツ出力装置、画像表示装置、音声出力装置、画像処理装置、または情報処理システム等に適用することができる。【選択図】図２
2019125986.tif 000002
【特許請求の範囲】
【請求項１】
現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する調整部
を備える情報処理装置。
【請求項２】
前記パラメータは、出力中の前記現実コンテンツ又は前記拡張現実コンテンツの現在性能に関するパラメータである
請求項１に記載の情報処理装置。
【請求項３】
前記調整部は、前記現実コンテンツ又は前記拡張現実コンテンツの現在性能を、前記現実コンテンツを出力する機器の最大性能、前記拡張現実コンテンツを出力する機器の最大性能、前記現実コンテンツの最大性能、および、前記拡張現実コンテンツの最大性能の内の最も低いものに合わせるように、前記パラメータを調整する
請求項２に記載の情報処理装置。
【請求項４】
前記調整部は、前記現実コンテンツ又は前記拡張現実コンテンツの現在性能を、前記現実コンテンツの現在性能および前記拡張現実コンテンツの現在性能の内の低い方に合わせるように、前記パラメータを調整する
請求項２に記載の情報処理装置。
【請求項５】
前記調整部は、さらに、出力中の前記拡張現実コンテンツと前記現実コンテンツとの相対位置に応じて、前記パラメータを調整する
請求項１に記載の情報処理装置。
【請求項６】
前記調整部は、前記拡張現実コンテンツの位置と前記現実コンテンツの位置との角度差に応じて、前記パラメータを調整する
請求項５に記載の情報処理装置。
【請求項７】
前記調整部は、前記現実コンテンツ又は前記拡張現実コンテンツの現在性能を、前記拡張現実コンテンツの位置と前記現実コンテンツの位置との角度変化速度に応じた前記現実コンテンツの知覚強度、および、前記拡張現実コンテンツの位置と前記現実コンテンツの位置との角度変化速度に応じた前記拡張現実コンテンツの知覚強度の内の低い方に合わせるように、前記パラメータを調整する
請求項５に記載の情報処理装置。
【請求項８】
前記相対位置を検出する相対位置検出部をさらに備え、
前記調整部は、前記相対位置検出部により検出された前記相対位置に応じて、前記パラメータを調整する
請求項５に記載の情報処理装置。
【請求項９】
前記拡張現実コンテンツおよび前記現実コンテンツは画像を含み、
前記調整部は、前記拡張現実コンテンツの画像又は前記現実コンテンツの画像を、前記画像の色数が少ない方に合わせるように、減色する
請求項１に記載の情報処理装置。
【請求項１０】
前記拡張現実コンテンツおよび前記現実コンテンツは画像を含み、
前記調整部は、
前記拡張現実コンテンツの画像又は前記現実コンテンツの画像の解像度を、前記解像度が低い方に合わせるように調整し、
さらに、前記拡張現実コンテンツの画像又は前記現実コンテンツの画像の色域を、前記色域が狭い方に合わせるように調整する
請求項１に記載の情報処理装置。
【請求項１１】
前記拡張現実コンテンツおよび前記現実コンテンツは画像を含み、
前記調整部は、前記拡張現実コンテンツの画像と前記現実コンテンツの画像との境界に基づく所定の領域の性能を調整する
請求項１に記載の情報処理装置。
【請求項１２】
前記拡張現実コンテンツおよび前記現実コンテンツは音声を含み、
前記調整部は、前記拡張現実コンテンツの音声又は前記現実コンテンツの音声の音質を、前記音質が低い方に合わせるように調整する
請求項１に記載の情報処理装置。
【請求項１３】
前記調整部は、前記拡張現実コンテンツの現在性能と前記現実コンテンツの現在性能との差が拡大するように、前記パラメータを調整する
請求項１に記載の情報処理装置。
【請求項１４】
前記調整部は、前記拡張現実コンテンツの出力に用いられるパラメータを調整する
請求項１に記載の情報処理装置。
【請求項１５】
前記調整部は、前記現実コンテンツの出力に用いられるパラメータを調整する
請求項１に記載の情報処理装置。
【請求項１６】
前記調整部は、前記拡張現実コンテンツ若しくは前記現実コンテンツ、またはその両方の出力に用いられるパラメータを調整する
請求項１に記載の情報処理装置。
【請求項１７】
前記拡張現実出力部をさらに備え、
前記拡張現実出力部は、前記調整部により調整されたパラメータを用いて前記拡張現実コンテンツを出力する
請求項１に記載の情報処理装置。
【請求項１８】
前記出力部をさらに備え、
前記出力部は、前記調整部により調整されたパラメータを用いて前記現実コンテンツを出力する
請求項１に記載の情報処理装置。
【請求項１９】
現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する
情報処理方法。
【請求項２０】
コンピュータを、
現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する調整部と
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置および方法、並びにプログラムに関し、特に、コンテンツを体験するユーザの違和感の増大を抑制することができるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、ユーザが仮想現実（AR（Augmented Reality））体験をすることができるデバイスが考えられた（例えば特許文献１参照）。例えば、ユーザが装着して使用する眼鏡型のARグラス等が考えられた。近年、複数のデバイスを同時に併用して、複数の空間を同時に視聴することが増えると考えられている。例えば、ARグラスを着用したまま、3Dプロジェクタなどで投影された3D空間を視聴する等のケースが考えられる。このような構成により、ユーザは、バーチャルな3D空間に対して仮想物体が重畳されるような体験をすることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１１２１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、このように重畳される、ARグラスのモニタに表示される仮想物体と、3Dプロジェクタにより投影される3D空間との間に性能差がある場合（たとえば、解像度、映像のフレッシュレート、音のサンプリングレート等に差がある場合）、それらを同時に体験するユーザがその性能差によって違和感を覚え、没入感が低下する等、ユーザの満足度が低減してしまうおそれがあった。
【０００５】
本開示は、このような状況に鑑みてなされたものであり、コンテンツを体験するユーザの違和感の増大を抑制することができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の一側面の情報処理装置は、現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する調整部を備える情報処理装置である。
【０００７】
本技術の一側面の情報処理方法は、現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する情報処理方法である。
【０００８】
本技術の一側面のプログラムは、コンピュータを、現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する調整部として機能させるプログラムである。
【０００９】
本技術の一側面の情報処理装置および方法、並びにプログラムにおいては、現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、現実コンテンツ及び拡張現実コンテンツが同時に出力される時のその現実コンテンツ又は拡張現実コンテンツの出力に用いられるパラメータが調整される。
【発明の効果】
【００１０】
本開示によれば、情報を処理することができる。特に、コンテンツを体験するユーザの違和感の増大を抑制することができる。
【図面の簡単な説明】
【００１１】
【図１】仮想現実体験の様子の例を説明する図である。
【図２】性能調整の様子の例を説明する図である。
【図３】コンテンツ出力システムの主な構成例を示すブロック図である。
【図４】AR表示装置の主な構成例を示すブロック図である。
【図５】表示装置の主な構成例を示すブロック図である。
【図６】性能調整処理の流れの例を説明するフローチャートである。
【図７】性能調整処理の流れの例を説明するフローチャートである。
【図８】角度差に応じた性能調整の様子の例を説明する図である。
【図９】角度変化速度に応じた性能調整の様子の例を説明する図である。
【図１０】コンテンツ出力システムの主な構成例を示すブロック図である。
【図１１】サーバの主な構成例を示すブロック図である。
【図１２】性能調整処理の流れの例を説明するフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．仮想現実体験
２．第１の実施の形態（コンテンツ出力システム）
３．第２の実施の形態（コンテンツ出力システム（サーバ有））
４．付記
【００１３】
＜１．仮想現実体験＞
＜本明細書における「性能」＞
本明細書における「性能」には、例えば「コンテンツの出力に関する性能」の意味が含まれる。そして、この「コンテンツの出力に関する性能」には、例えば、「機器の最大性能」、「コンテンツの最大性能」、「コンテンツの現在性能」、および「コンテンツの知覚強度」等の意味が含まれる。
【００１４】
「機器の最大性能」とは、コンテンツを出力する機器が持つコンテンツの出力に関する能力（ケイパビリティ）を表すパラメータである。この「機器の最大性能」は、ハードウエアが持つ機能に依存しており、経年劣化等を除き基本的に変化することのないものである。具体的にはどのような指標についての能力を含むこともできるが、例えば、表示可能な画像の最大解像度、最大描画レート、明暗ダイナミックレンジ等の能力が含まれるようにしてもよい。また、出力可能な音声の周波数レンジ、ダイナミックレンジ等の能力が含まれるようにしてもよい。また、例えば、匂いの種類、触覚提示部の周波数レンジ、触覚提示部のダイナミックレンジ等、その他の能力が含まれるようにしてもよい。
【００１５】
「コンテンツの最大性能」とは、コンテンツのデータ自体の品質を表すパラメータである。具体的にはどのような指標についての品質を含むこともできるが、例えば、映像コンテンツの最大解像度、映像コンテンツのフレームレート、音響コンテンツのサンプリングレート、音響コンテンツのビット深度等の品質が含まれるようにしてもよい。また、例えば、匂いカテゴリの種類、触覚コンテンツのサンプリングレート、触覚コンテンツのビット深度等、その他の品質が含まれるようにしてもよい。
【００１６】
「コンテンツの現在性能」とは、コンテンツの出力時の品質を表すパラメータである。この「コンテンツの現在性能」は、設定値や処理能力の低下、ネットワークの速度低下等、ハードウエア自体の性能やコンテンツ自体が持っている情報量以外の要因で決定される。具体的にはどのような指標についての品質を含むこともできるが、例えば、映像コンテンツの最大解像度、映像コンテンツのフレームレート、音響コンテンツのサンプリングレート、音響コンテンツのビット深度等の品質が含まれるようにしてもよい。また、例えば、匂いカテゴリの種類、触覚コンテンツのサンプリングレート、触覚コンテンツのビット深度等、その他の品質が含まれるようにしてもよい。
【００１７】
「コンテンツの知覚強度」とは、出力されたコンテンツをユーザが知覚する強度（品質）を表すパラメータである。つまり、「コンテンツの知覚強度」の値は、出力されたコンテンツを、実際に、ユーザがどのくらいの強度で知覚しているか、どのくらい正確に認知できているか等を表す。例えば、映像の場合、注視点に対する映像の表示位置の相対速度に応じて、主に解像度に関する知覚強度が低下する。また、注視点からの距離（周辺視野側に移動）が大きくなるほど、主に解像度に関する知覚強度が低下する。「コンテンツの知覚強度」は、これらの影響を反映させたコンテンツの品質（ユーザが知覚する品質）を表す。具体的にはどのような指標についての品質を含むこともできる。
【００１８】
＜仮想現実体験＞
従来、ユーザが仮想現実（AR（Augmented Reality））体験をすることができるARデバイスが考えられた（例えば特許文献１参照）。例えば、ユーザが装着して使用する眼鏡型のARグラス等が考えられた。
【００１９】
近年、複数のデバイスを同時に併用して、複数の空間を同時に視聴することが増えると考えられている。例えば、ARグラスを着用したまま、3D（３次元）プロジェクタなどにより現実空間に投影された3D空間（仮想現実空間）の画像を視聴する等のケースが考えられる。このような構成にすることにより、ユーザは、例えば、3Dプロジェクタ等により投影された仮想現実空間に対して、ARグラスにおいて表示される仮想物体が重畳されて見えるような体験をすることができる。
【００２０】
このような重畳は仮想現実空間に限らない。例えば図１に示されるように、ユーザがARグラスを装着したまま現実空間に表示（投影を含む）されるあらゆる画像を見ることにより、ARグラスは、その現実空間の画像に仮想物体が重畳されるように表現することができる。
【００２１】
現実空間の画像はARグラスを装着していない人にも見ることができるが、ARグラスに表示される仮想物体は、ARグラスを装着しているユーザにしか見えない。したがって、例えば、ユーザ毎の仮想物体を用いることにより、ユーザ毎に異なる体験をさせる等、より複雑な表現が可能になる。
【００２２】
しかしながら、このように重畳される、ARグラスのモニタに表示される仮想物体と、現実空間に表示される画像（仮想現実空間等）との間に性能差がある場合（たとえば、解像度、映像のフレッシュレート、音のサンプリングレート等に差がある場合）、それらを重畳して同時に体験するユーザがその性能差によって違和感を覚え、没入感が低下する等、ユーザの満足度が低減してしまうおそれがあった。
【００２３】
例えば図２のように、ユーザが現実空間に表示される映像１１とARグラスに表示されるAR映像１２とを重畳させて体験する際に、AR映像１２の解像度が映像１１に比べて高い場合、重畳画像１３のようにAR映像１２が映像１１の中で浮き立って見えてしまうおそれがあった。このように映像１１とAR映像１２との画質等の差（性能差）が顕著になる現象が生じると、ユーザは、映像１１とAR映像１２とを１つの世界として体験することが困難になり、画像に違和感を覚え、リアリティが低減し、没入感が低減するおそれがあった。
【００２４】
このような現象は、画像だけでなく、例えば音声等の任意のコンテンツについても同様に生じるおそれがある。ユーザがARデバイスから出力される音声と、現実空間に出力される音声とが重なった状態で聞く（体験する）場合に、両音声の音質が異なると、それぞれが全く無関係の音として聞こえたり、一方しか聞こえなかったりして、ユーザの没入感が低減し、満足度が低減するおそれがあった。
【００２５】
なお、ARデバイスより出力されるコンテンツの内容と、現実空間に出力されるコンテンツの内容は、互いに連携しているものであってもよいし、互いに独立した全く異なるものであってもよい。例えば、図２の映像１１とAR映像１２とが互いに独立したコンテンツであるとし、それらが偶然に重畳されてしまった場合であっても（つまり、意図的に重畳された場合でなくても）、映像１１とAR映像１２との画質等の差（性能差）が顕著であれば互いの画像が影響し合い、両画像が本来意図されたように見えなくなるおそれがあった。例えば、重畳画像１３のように両画像の見え方が互いに異なるものとなり、両画像ともに見えづらくなったり、一方のみが見やすくなって他方が見えにくくなったりする等の現象が生じるおそれがあった。
【００２６】
＜２．第１の実施の形態＞
＜性能調整＞
そこで、現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、現実コンテンツ及び拡張現実コンテンツが同時に出力される時のその現実コンテンツ又は拡張現実コンテンツの出力に用いられるパラメータを調整するようにする。
【００２７】
例えば、情報処理装置において、現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、現実コンテンツ及び拡張現実コンテンツが同時に出力される時のその現実コンテンツ又は拡張現実コンテンツの出力に用いられるパラメータを調整する調整部を設けるようにする。
【００２８】
または、例えば、プログラムにより、コンピュータを、現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、現実コンテンツ及び拡張現実コンテンツが同時に出力される時のその現実コンテンツ又は拡張現実コンテンツの出力に用いられるパラメータを調整する調整部として機能させるようにする。
【００２９】
例えば、図２の重畳画像１４のように、3Dプロジェクタ等のような現実空間のコンテンツ出力デバイスの性能（例えば解像度、描画フレームレート、輝度、色調等）と、ARコンテンツ出力デバイスの性能とを、機器間またはサーバ経由で通信・管理し、性能の高いほうの機器が、互いの性能差を補完するように、出力を調整する。映像だけでなく、音響やその他のモーダル提示機能に関しても、同様の補完を行う。
【００３０】
このようにすることにより、出力されるコンテンツ間の性能差の増大を抑制することができ、コンテンツを体験するユーザの違和感の増大を抑制することができる。例えば、プロジェクタなどで現実空間に投影された仮想現実空間をARグラス越しに体験する等、２つ以上のデバイスを併用して空間を行き来したり、同時に体験したりする場合、デバイス間の解像度の差やフレームレートの差、色調の差を補間し、シームレスに移行することで、ユーザ体験の違和感を低減することができ、ユーザの満足度の低減を抑制することができる。
【００３１】
＜コンテンツ出力システム＞
図３は、本技術を適用した情報処理システムの一態様であるコンテンツ出力システムの主な構成の一例を示すブロック図である。図３に示されるコンテンツ出力システム１００は、ユーザが拡張現実を体験することができるARデバイスを含む複数のコンテンツ出力装置を有し、それぞれのコンテンツ出力装置においてコンテンツを出力するシステムである。
【００３２】
図３に示されるように、コンテンツ出力システム１００は、AR表示装置１０１および表示装置１０２を有する。なお、図３においては、AR表示装置１０１および表示装置１０２がそれぞれ１台ずつ示されているが、コンテンツ出力システム１００を構成するAR表示装置１０１および表示装置１０２の数は、それぞれ任意である。つまり、例えば、コンテンツ出力システム１００が、AR表示装置１０１を複数台有していてもよいし、表示装置１０２を複数台有していてもよいし、AR表示装置１０１および表示装置１０２を複数台有していてもよい。また、AR表示装置１０１の台数と表示装置１０２の台数とが互いに一致していてもよいし、一致していなくてもよい。また、コンテンツ出力システム１００が、AR表示装置１０１および表示装置１０２以外の装置を有していてもよい。
【００３３】
AR表示装置１０１は、ユーザが拡張現実を体験することができるARデバイスであり、拡張現実に関する処理を行う。例えば、AR表示装置１０１は、ユーザが拡張現実を体験することができるように、画像や音声等のコンテンツ（拡張現実コンテンツとも称する）を、現実空間の画像や音声に重畳した状態で出力する。
【００３４】
AR表示装置１０１は、どのような装置であってもよい。例えば、AR表示装置１０１は、所謂ARグラスのような、ユーザが頭部に装着して使用する眼鏡型のデバイスであってもよいし、ユーザと離れた状態で駆動する装置であってもよい。例えば、モニタのように表示部を備えるデバイスであってもよいし、画像を投影するプロジェクタ等であってもよい。
【００３５】
例えば、AR表示装置１０１が、透明の表示部を有し、仮想物体の画像をその表示部に表示させるようにしてもよい。この場合、ユーザは、その仮想物体の画像を、表示部の奥側（ユーザと反対側）の現実空間に重畳した状態でその仮想物体を体験する（見る）ことができる。
【００３６】
また、例えば、AR表示装置１０１が、所謂カメラスルーヘッドマウントディスプレイのように、表示部のユーザと反対側の現実空間を撮像し、その現実空間の撮像画像に仮想物体を重畳させて表示するようにしてもよい。この場合も、ユーザは、その仮想物体の画像を、表示部の奥側の現実空間の画像に重畳した状態で体験することができる。
【００３７】
表示装置１０２は、現実空間に設置された画像表示（投影）デバイスであり、現実空間におけるコンテンツの出力に関する処理を行う。例えば、表示装置１０２は、モニタやプロジェクタ等よりなり、画像や音声等のコンテンツ（現実コンテンツとも称する）を現実空間において出力する。表示装置１０２は、例えば仮想現実空間の画像や通常の２次元の画像等、任意の画像を、現実空間に表示（投影）することができる。図３において画像１０２Ａは、表示装置１０２により表示（投影）された画像である。
【００３８】
なお、AR表示装置１０１や表示装置１０２は、それぞれ、１つの装置（１つの筐体）として構成されるようにしてもよいし、複数の装置（複数の筐体）により構成されるようにしてもよい。
【００３９】
AR表示装置１０１と表示装置１０２とは、互いに通信を行い、情報を授受することができる。例えば機器やコンテンツの性能を互いに授受することができる。例えば、AR表示装置１０１において、AR表示装置１０１により出力されるコンテンツと表示装置１０２により出力されるコンテンツとが重なる場合、AR表示装置１０１および表示装置１０２は、それらの性能（拡張現実コンテンツの出力に関する性能と現実コンテンツの出力に関する性能と）に基づいて、コンテンツの出力に用いられるパラメータを調整する。
【００４０】
このようにすることにより、ユーザ体験の違和感を低減することができ、ユーザの満足度の低減を抑制することができる。
【００４１】
＜AR表示装置＞
図４は、本技術を適用した情報処理装置の一態様であるAR表示装置１０１の主な構成の一例を示すブロック図である。図４に示されるように、AR表示装置１０１は、制御部１３１、動作解析部１３２、性能処理部１３３、表示処理部１３４、音声処理部１３５、表示部１５１、音声出力部１５２、動き姿勢検出部１５３、周辺環境センサ１５４、通信部１５５、入力部１５６、出力部１５７、記憶部１５８、およびドライブ１５９を有する。
【００４２】
制御部１３１、動作解析部１３２、性能処理部１３３、表示処理部１３４、音声処理部１３５、表示部１５１、音声出力部１５２、動き姿勢検出部１５３、周辺環境センサ１５４、通信部１５５、入力部１５６、出力部１５７、記憶部１５８、およびドライブ１５９は、それぞれバス１４１に接続されており、そのバス１４１を介して互いに情報を授受することができる。
【００４３】
制御部１３１は、AR表示装置１０１の制御に関する処理を行う。例えば、制御部１３１は、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、そのCPU等を用いてプログラムを実行することにより、上述の処理を行う。
【００４４】
動作解析部１３２は、動作、位置、姿勢等の解析に関する処理を行う。例えば、動作解析部１３２は、AR表示装置１０１（または、表示部１５１および音声出力部１５２等）の動き、姿勢、位置等の解析に関する処理を行うことができる。また、例えば、動作解析部１３２は、AR表示装置１０１（または、表示部１５１および音声出力部１５２等）と表示装置１０２（または表示装置１０２により表示された画像）との相対位置や相対姿勢の解析に関する処理を行うこともできる。例えば、動作解析部１３２は、動き姿勢検出部１５３により検出された動きや姿勢に関する情報に基づいて、それらの処理を行うことができる。また、例えば、動作解析部１３２は、CPU、ROM、RAM等を有し、そのCPU等を用いてプログラムを実行することにより、上述の処理を行う。
【００４５】
性能処理部１３３は、性能に関する処理を行う。例えば、性能処理部１３３は、AR表示装置１０１の性能（機器の能力）、表示装置１０２の性能（機器の能力）、それらより出力されるコンテンツの性能（コンテンツの品質）等の管理に関する処理を行うことができる。また、例えば、性能処理部１３３は、それらの性能の比較に関する処理を行うこともできる。さらに、例えば、性能処理部１３３は、その比較結果に基づくコンテンツの出力に用いられるパラメータの調整に関する処理等も行うことができる。例えば、性能処理部１３３は、CPU、ROM、RAM等を有し、そのCPU等を用いてプログラムを実行することにより、上述の処理を行う。
【００４６】
表示処理部１３４は、表示する画像に関する処理を行う。例えば、表示処理部１３４は、コンテンツに含まれる画像の表示制御に関する処理を行うことができる。また、例えば、表示処理部１３４は、その画像に対する画像処理を行うことができる。例えば、表示処理部１３４は、性能処理部１３３により調整されたパラメータを用いて、コンテンツに含まれる画像を処理して表示部１５１に表示させることができる。例えば、表示処理部１３４は、CPU、ROM、RAM等を有し、そのCPU等を用いてプログラムを実行することにより、上述の処理を行う。
【００４７】
音声処理部１３５は、音声に関する処理を行う。例えば、音声処理部１３５は、コンテンツに含まれる音声の出力制御に関する処理を行うことができる。また、例えば、音声処理部１３５は、その音声に対する信号処理を行うことができる。例えば、音声処理部１３５は、性能処理部１３３により調整されたパラメータを用いて、コンテンツに含まれる音声を処理して音声出力部１５２より出力させることができる。例えば、音声処理部１３５は、CPU、ROM、RAM等を有し、そのCPU等を用いてプログラムを実行することにより、上述の処理を行う。
【００４８】
表示部１５１は、画像表示に関する処理を行う。表示部１５１（拡張現実出力部）は、例えば、モニタやプロジェクタ等の表示（投影）デバイスを有し、拡張現実としての画像表示（拡張現実コンテンツの出力）に関する処理を行う。この表示デバイスは、拡張現実としての表示が可能なものであればどのようなものであってもよい。表示部１５１が有する表示デバイスの数も任意である。
【００４９】
例えば、表示デバイスが、画像を表示する部分が透明のモニタであってもよい。その場合、表示部１５１が画像（仮想物体等）をそのモニタに表示することにより、ユーザは、その仮想物体等の画像を、そのモニタの奥側（ユーザと反対側）の現実空間と重畳した状態で見ることができ、あたかも現実空間内にその仮想物体が存在しているかのような拡張現実を体験することができる。
【００５０】
また、例えば、表示デバイスが、画像を透明板に投影するプロジェクタ等であってもよい。その場合、表示部１５１が画像（仮想物体等）をそのプロジェクタにより透明板に投影させることにより、ユーザは、その仮想物体等の画像を、その透明板の奥側（ユーザと反対側）の現実空間と重畳した状態で見ることができ、あたかも現実空間内にその仮想物体が存在しているかのような拡張現実を体験することができる。
【００５１】
なお、重畳される現実空間は、撮像画像であってもよい。例えば、後述する周辺環境センサ等に含まれるカメラ（撮像部）によって撮像した現実空間の画像が、上述の仮想物体等の画像と重畳されるようにしてもよい。
【００５２】
その場合、例えば、表示デバイスは、画像を表示する一般的なモニタであってもよい。その場合、表示部１５１が、仮想物体等の画像と、撮像部によって撮像された現実空間の撮像画像との重畳画像をモニタに表示することにより、ユーザは、その仮想物体等の画像を現実空間（の撮像画像）と重畳した状態で見ることができ、あたかも現実空間内にその仮想物体が存在しているかのような拡張現実を体験することができる。
【００５３】
また、例えば、表示デバイスが、画像を一般的な投影面に投影するプロジェクタ等であってもよい。その場合、表示部１５１が、仮想物体等の画像と、撮像部によって撮像された現実空間の撮像画像との重畳画像をそのプロジェクタにより投影面に投影させることにより、ユーザは、その仮想物体等の画像を現実空間（の撮像画像）と重畳した状態で見ることができ、あたかも現実空間内にその仮想物体が存在しているかのような拡張現実を体験することができる。
【００５４】
音声出力部１５２（拡張現実出力部）は、例えばスピーカ等の音声出力デバイスを有し、拡張現実としての音声出力（拡張現実コンテンツの出力）に関する処理を行う。この音声出力デバイスは、どのようなものであってもよい。音声出力部１５２が有する音声出力デバイスの数も任意である。
【００５５】
動き姿勢検出部１５３は、AR表示装置１０１の動きや姿勢の検出に関する処理を行う。例えば、動き姿勢検出部１５３は、AR表示装置１０１の３軸の角速度や加速度を計測するセンサを有し、それらを計測する。なお、動き姿勢検出部１５３が、表示部１５１や音声出力部１５２の動きや姿勢（またはそれらが出力したコンテンツの動きや姿勢）を計測するようにしてもよい。
【００５６】
周辺環境センサ１５４は、周辺環境に関する情報の検出に関する処理を行う。例えば、周辺環境センサ１５４は、カメラ（撮像部）、マイクロホン、光センサ、温度センサ、湿度センサ等の、周辺環境に関する情報を検出可能な任意のセンサを有する。例えば、周辺環境センサ１５４は、それらのセンサを用いて、AR表示装置１０１の周辺環境に関する情報を検出することができる。周辺環境に関する情報は、任意である。例えば、AR表示装置１０１の周辺を撮像した撮像画像であってもよいし、周辺を集音した音声であってもよい。また、光、温度、湿度等であってもよい。また、周辺環境センサ１５４が、表示装置１０２から送信される無線信号や光信号等を受信するようにしてもよい。
【００５７】
さらに、例えば、周辺環境センサ１５４は、それらの情報から所望の情報を得るようにしてもよい。例えば、周辺環境センサ１５４が、周辺の撮像画像に含まれる表示装置１０２を検出し、動作解析部１３２が、その情報を用いて表示装置１０２との相対位置を求めるようにしてもよい。
【００５８】
通信部１５５は、他の装置との通信に関する処理を行う。例えば、通信部１５５は、有線通信若しくは無線通信、またはその両方のネットワークインタフェースを有し、そのネットワークインタフェースを介して、所定の通信規格に準拠した方法で他の装置と通信を行うことができる。
【００５９】
入力部１５６は、入力される情報の受け付けに関する処理を行う。例えば、入力部１５６は、情報の入力を受け付けるデバイス（入力デバイス）を有し、その入力デバイスを介してユーザが他の装置等から入力される情報を受け付けることができる。なお、入力部１５６が有する入力デバイスは任意である。例えば、キーボード、マウス、マイクロホン、タッチパネル、ボタン、入力端子等であってもよい。
【００６０】
また、入力部１５６を介して入力される情報は任意である。例えばAR表示装置１０１の制御に関する情報であってもよいし、性能に関する情報であってもよいし、コンテンツのデータであってもよい。
【００６１】
出力部１５７は、情報の出力に関する処理を行う。例えば、出力部１５７は、情報を出力する出力デバイス（出力デバイス）を有し、その出力デバイスを介して情報をAR表示装置１０１の外部に出力する。なお、出力部１５７が有する出力デバイスは任意である。例えば、ディスプレイ、スピーカ、出力端子等であってもよい。
【００６２】
また、出力部１５７を介して出力される情報は任意である。例えば、制御に関する情報であってもよいし、性能に関する情報であってもよい。また、例えば、コンテンツのデータであってもよいし、コンテンツの出力に用いられるパラメータ（調整後のパラメータ）であってもよい。
【００６３】
記憶部１５８は、情報の記憶（または記憶された情報の読み出し）に関する処理を行う。例えば、記憶部１５８は、情報を記憶するデバイス（記憶デバイス）を有し、その記憶デバイスに情報を記憶する。なお、その情報の記憶の際に、記憶部１５８が、情報を圧縮して記憶デバイスに記憶させるようにしてもよい。その場合、記憶部１５８は、記憶デバイスから情報を読み出す際には、その圧縮された情報を伸長する。なお、記憶部１５８が有する記憶デバイスは任意である。例えば、ハードディスク、RAMディスク、不揮発性のメモリ等であってもよい。
【００６４】
また、記憶部１５８に記憶される情報は任意である。例えば、制御に関する情報であってもよいし、性能に関する情報であってもよいし、コンテンツのデータであってもよいし、コンテンツの出力に用いられるパラメータ（調整後のパラメータ）であってもよい。
【００６５】
ドライブ１５９は、リムーバブルメディア１６１への情報の書き込みや読み出しに関する処理を行う。例えば、ドライブ１５９は、自身に装着されたリムーバブルメディア１６１に情報を書き込んだり、そのリムーバブルメディア１６１から情報を読み出したりすることができる。リムーバブルメディア１６１は、どのようなメディアであってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリであってもよい。
【００６６】
また、そのドライブ１５９により読み書きされる情報は任意である。例えば、制御に関する情報であってもよいし、性能に関する情報であってもよいし、コンテンツのデータであってもよいし、コンテンツの出力に用いられるパラメータ（調整後のパラメータ）であってもよい。
【００６７】
＜表示装置＞
図５は、本技術を適用した情報処理装置の一態様である表示装置１０２の主な構成の一例を示すブロック図である。図５に示されるように、表示装置１０２は、CPU２０１、ROM２０２、RAM２０３、バス２０４、入出力インタフェース２１０、入力部２１１、出力部２１２、記憶部２１３、通信部２１４、およびドライブ２１５を有する。
【００６８】
図５に示される表示装置１０２において、CPU２０１、ROM２０２、RAM（Random Access Memory）２０３は、バス２０４を介して相互に接続されている。
【００６９】
バス２０４にはまた、入出力インタフェース２１０も接続されている。入出力インタフェース２１０には、入力部２１１、出力部２１２、記憶部２１３、通信部２１４、およびドライブ２１５が接続されている。
【００７０】
入力部２１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。また、入力部２１１は、例えば、動き姿勢検出部１５３や周辺環境センサ１５４が有するのと同様のセンサを有するようにしてもよい。
【００７１】
出力部２１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。例えば、出力部２１２は、拡張現実出力部の後方の現実空間に設けられた出力部として、現実コンテンツの出力（画像表示や音声出力等）に関する処理を行う。
【００７２】
記憶部２１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部２１４は、例えば、ネットワークインタフェースよりなる。ドライブ２１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア２２１を駆動する。
【００７３】
以上のように構成される表示装置１０２では、CPU２０１が、例えば、記憶部２１３に記憶されているプログラムを、入出力インタフェース２１０およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００７４】
以上のようにCPU２０１は、プログラムを実行することにより、例えば、上述したAR表示装置１０１と同様の処理を行うことができる。例えば、CPU２０１は、制御部１３１乃至音声処理部１３５と同様の処理を行うことができる。
【００７５】
＜性能調整処理の流れ＞
次に、図６のフローチャートを参照して、AR表示装置１０１において実行される性能調整処理について説明する。
【００７６】
性能調整処理が開始されると、通信部１５５は、ステップＳ１０１において、表示装置１０２との通信を確立する。
【００７７】
ステップＳ１０２において、通信部１５５は、互いの描画機能や音響機能等の性能に関する情報（出力に関する性能）を表示装置１０２と授受する（交換する）。
【００７８】
例えば、通信部１５５は、機器の最大性能に関する情報を表示装置１０２と授受する。機器の最大性能とは、例えばAR表示装置１０１または表示装置１０２等の機器が持つコンテンツの出力に関する性能（ケイパビリティ）を表すパラメータである。この機器の最大性能は、ハードウエアが持つ機能に依存しており、経年劣化等を除き基本的に変化することのない性能である。
【００７９】
機器の最大性能は、どのような内容であってもよい。例えば、AR表示装置１０１の最大性能の場合、表示部１５１の最大解像度、表示部１５１の最大描画レート、表示部１５１の明暗ダイナミックレンジ、音声出力部１５２の出力可能な周波数レンジ、音声出力部１５２の出力可能なダイナミックレンジ等が、この機器の最大性能に含まれるようにしてもよい。また、例えば、匂いの種類、触覚提示部の周波数レンジ、触覚提示部のダイナミックレンジ等、その他の性能が含まれるようにしてもよい。
【００８０】
また、例えば、通信部１５５は、コンテンツの最大性能に関する情報を表示装置１０２と授受する。コンテンツの最大性能とは、例えばAR表示装置１０１または表示装置１０２等により出力されるコンテンツのデータ自体が持つ性能（データ自体の品質）を表すパラメータである。このコンテンツの最大性能は、どのような内容であってもよい。例えば、映像コンテンツの最大解像度、映像コンテンツのフレームレート、音響コンテンツのサンプリングレート、音響コンテンツのビット深度等が、このコンテンツの最大性能に含まれるようにしてもよい。また、例えば、匂いカテゴリの種類、触覚コンテンツのサンプリングレート、触覚コンテンツのビット深度等、その他の性能が含まれるようにしてもよい。
【００８１】
また、例えば、通信部１５５は、コンテンツの現在性能に関する情報を表示装置１０２と授受する。コンテンツの現在性能とは、例えばAR表示装置１０１または表示装置１０２等により現在出力されているコンテンツの性能（出力時の品質）を表すパラメータである。このコンテンツの現在性能は、どのような内容であってもよい。このコンテンツの現在性能は、設定値や処理能力の低下、ネットワークの速度低下等、ハードウエア自体の性能やコンテンツ自体が持っている情報量以外の要因で決定される性能である。
【００８２】
また、例えば、通信部１５５は、コンテンツの知覚強度に関する情報を表示装置１０２と授受する。コンテンツの知覚強度とは、例えばAR表示装置１０１または表示装置１０２等により出力されたコンテンツをユーザが知覚する強度を表すパラメータである。出力されたコンテンツを、実際に、ユーザがどのくらいの強度で知覚しているか、どのくらい正確に認知できているか等を表すことができる。例えば、映像の場合、注視点に対する映像の表示位置の相対速度に応じて、主に解像度に関する知覚強度が低下する。また、注視点からの距離（周辺視野側に移動）が大きくなるほど、主に解像度に関する知覚強度が低下する。コンテンツの知覚強度は、これらの影響を反映させたコンテンツの品質（ユーザが知覚する品質）を表す。
【００８３】
通信部１５５は、これらの情報の内、少なくとも１つ以上を表示装置１０２と授受する（交換する）。
【００８４】
なお、この情報の交換は、任意のタイミングにおいて行うことができる。例えば、AR表示装置１０１および表示装置１０２の間でWifi（登録商標）やBluetooth（登録商標）などの通信が確立したときに、この情報の交換が行われるようにしてもよい。また、例えば、AR表示装置１０１に搭載されたカメラよって表示装置１０２が認識されたときに、この情報の交換が行われるようにしてもよい。
【００８５】
例えば、機器の最大解像度・描画レート、スピーカの周波数レンジ・ダイナミックレンジ、出力可能な匂いの種類、出力可能な触覚の周波数レンジ・ダイナミックレンジ等、機器に依存した、変化することのない機器最大性能は、通信確立時や、機器同士が互いに認識したときに１度のみ交換するようにしてもよい。
【００８６】
また、例えば、AR表示装置１０１および表示装置１０２のどちらかが出力するコンテンツ（映像・音響等）が切り替わったときに、この情報の交換が行われるようにしてもよい。また、例えば、AR表示装置１０１または表示装置１０２のどちらかの設定（例えば、画質設定や音質設定等）が変更されたときに、この情報の交換が行われるようにしてもよい。
【００８７】
例えば、コンテンツに依存する、現在の解像度・描画レート、音響の周波数レンジ・ダイナミックレンジ、出力中の匂いの種類、出力中の触覚の周波数レンジ・ダイナミックレンジなどのコンテンツ現在性能およびコンテンツ最大性能は、どちらかの、コンテンツの切り替えタイミングや、再生タイミングにおいて交換するようにしてもよい。
【００８８】
さらに、例えば、AR表示装置１０１または表示装置１０２のどちらかのファームウエアのバージョンがアップデート（Update）されたことを検出したときに、この情報の交換が行われるようにしてもよい。さらに、例えば、AR表示装置１０１または表示装置１０２のどちらかの設置状態に変化（例えば設置向きの変更や動作開始等）が生じたときに、接続相手へ変化が起こったことを通知するとともに、この情報の交換が行われるようにしてもよい。
【００８９】
ステップＳ１０３において、性能処理部１３３は、以上のように交換した性能を比較し、性能差があるか否かを判定する。性能差があると判定された場合、処理はステップＳ１０４に進む。
【００９０】
ステップＳ１０４において、動作解析部１３２は、自身が描画した画像と表示装置１０２が描画した画像との重なりを算出または予測する。
【００９１】
例えば、動作解析部１３２は、AR表示装置１０１（または表示部１５１等）の位置および姿勢と、表示装置１０２（または出力部２１２等）の位置および姿勢とに基づいて、それらの重なりを算出または予測する。
【００９２】
AR表示装置１０１（または表示部１５１等）の位置および姿勢の求め方は任意である。例えば、動作解析部１３２が、動き姿勢検出部１５３により検出されたAR表示装置１０１（または表示部１５１等）の動きや姿勢に関する情報（例えば３軸の角速度や加速度）に基づいて、AR表示装置１０１（または表示部１５１等）の位置および姿勢を算出または予測するようにしてもよい。また、例えば、AR表示装置１０１（または表示部１５１等）の位置および姿勢に関する情報（位置や姿勢の検出結果または予測値等）が、他の装置において検出され、通信部１５５を介して動作解析部１３２に供給されるようにしてもよい。
【００９３】
表示装置１０２（または出力部２１２等）の位置および姿勢の求め方も任意である。例えば、表示装置１０２（または出力部２１２等）の位置および姿勢に関する情報（位置や姿勢の検出結果または予測値等）が、表示装置１０２から通信部１５５を介して動作解析部１３２に供給されるようにしてもよい。また、例えば、その表示装置１０２（または出力部２１２等）の位置および姿勢に関する情報（位置や姿勢の検出結果または予測値等）が、その他の装置から通信部１５５を介して動作解析部１３２に供給されるようにしてもよい。さらに、例えば、動作解析部１３２が、周辺環境センサ１５４により検出された表示装置１０２（または出力部２１２等）の相対位置や相対姿勢に関する情報を取得したり、それを基に将来の相対位置や相対姿勢を予測したりするようにしてもよい。
【００９４】
ステップＳ１０５において、動作解析部１３２は、重なりがあるまたは重なりが予測されるか否かを判定する。重なりがある、または、重なりが予測されると判定された場合、処理はステップＳ１０６に進む。
【００９５】
ステップＳ１０６において、性能処理部１３３は、性能差や重なりに応じて性能を調整する。
【００９６】
例えば、性能処理部１３３は、表示装置１０２が画角内に入ったりAR表示装置１０１や表示装置１０２の動きを検知したりしたとき等の、所定のタイミングにおいて、互いの最大能力を加味し、どちらが調整可能なのかを判断し、性能を調整する。例えば、性能処理部１３３は、AR表示装置１０１が出力中のコンテンツの現在性能に関するパラメータ（拡張現実コンテンツの出力に用いられるパラメータ）を調整したり、表示装置１０２が出力中のコンテンツの現在性能に関するパラメータ（現実コンテンツの出力に用いられるパラメータ）を調整したりする。
【００９７】
この性能の調整方法は任意である。例えば、機器Ａで再生中のコンテンツＸの現在性能が機器Ｂで再生中のコンテンツＹの現在性能と差がある場合、性能処理部１３３が、機器Ａの最大性能、コンテンツＸの最大性能、機器Ｂの最大性能、コンテンツＹの最大性能のうち最も性能の低いものに合わせるように、コンテンツＸおよび（または）コンテンツＹの現在性能（コンテンツの出力に用いられるパラメータ）を調整するようにしてもよい（なるべく性能を高める方法）。
【００９８】
つまり、性能処理部１３３が、現実コンテンツ又は拡張現実コンテンツの現在性能を、その現実コンテンツを出力する機器の最大性能、その拡張現実コンテンツを出力する機器の最大性能、その現実コンテンツの最大性能、および、その拡張現実コンテンツの最大性能の内の最も低いものに合わせるように、パラメータを調整するようにしてもよい。
【００９９】
例えば、性能処理部１３３は、AR表示装置１０１の最大解像度、表示装置１０２の最大解像度、AR表示装置１０１が出力する拡張現実コンテンツの画像の解像度、および、表示装置１０２が出力する現実コンテンツの画像の解像度を比較し、出力時の拡張現実コンテンツおよび現実コンテンツの画像の解像度（現在性能）を、それらの内の最も低い解像度（最低解像度）に合わせるように調整する。なお、出力時の拡張現実コンテンツの画像の解像度および出力時の現実コンテンツの画像の解像度のいずれか一方が、その最低解像度に既に合っている場合、性能処理部１３３は、他方のコンテンツの画像の解像度のみを最低解像度に合わせるように調整する。また、出力時の拡張現実コンテンツの画像の解像度および出力時の現実コンテンツの画像の解像度の両方が、その最低解像度に既に合っている場合、性能処理部１３３は、この調整を省略することができる。
【０１００】
また、例えば、性能処理部１３３は、AR表示装置１０１の最大描画レート、表示装置１０２の最大描画レート、AR表示装置１０１が出力する拡張現実コンテンツの画像のフレームレート、および、表示装置１０２が出力する現実コンテンツの画像のフレームレートを比較し、出力時の拡張現実コンテンツおよび現実コンテンツの画像のフレームレート（現在性能）を、それらの内の最も低いフレームレート（最低フレームレート）に合わせるように調整する。なお、出力時の拡張現実コンテンツの画像のフレームレートおよび出力時の現実コンテンツの画像のフレームレートのいずれか一方が、その最低フレームレートに既に合っている場合、性能処理部１３３は、他方のコンテンツの画像のフレームレートのみを最低フレームレートに合わせるように調整する。また、出力時の拡張現実コンテンツの画像のフレームレートおよび出力時の現実コンテンツの画像のフレームレートの両方が、その最低フレームレートに既に合っている場合、性能処理部１３３は、この調整を省略することができる。
【０１０１】
また、例えば、性能処理部１３３は、AR表示装置１０１が表示可能な最大明暗ダイナミックレンジ、表示装置１０２が表示可能な最大明暗ダイナミックレンジ、AR表示装置１０１が出力する拡張現実コンテンツの画像の明暗ダイナミックレンジ、および、表示装置１０２が出力する現実コンテンツの画像の明暗ダイナミックレンジを比較し、出力時の拡張現実コンテンツおよび現実コンテンツの画像の明暗ダイナミックレンジ（現在性能）を、それらの内の最も小さい明暗ダイナミックレンジ（最小明暗ダイナミックレンジ）に合わせるように調整する。なお、出力時の拡張現実コンテンツの画像の明暗ダイナミックレンジおよび出力時の現実コンテンツの画像の明暗ダイナミックレンジのいずれか一方が、その最小明暗ダイナミックレンジに既に合っている場合、性能処理部１３３は、他方のコンテンツの画像の明暗ダイナミックレンジのみを最小明暗ダイナミックレンジに合わせるように調整する。また、出力時の拡張現実コンテンツの画像の明暗ダイナミックレンジおよび出力時の現実コンテンツの画像の明暗ダイナミックレンジの両方が、その最小明暗ダイナミックレンジに既に合っている場合、性能処理部１３３は、この調整を省略することができる。
【０１０２】
また、例えば、性能処理部１３３は、AR表示装置１０１が出力可能な音声の周波数レンジ、表示装置１０２が出力可能な音声の周波数レンジ、AR表示装置１０１が出力する拡張現実コンテンツの音声の周波数レンジ、および、表示装置１０２が出力する現実コンテンツの音声の周波数レンジを比較し、出力時の拡張現実コンテンツおよび現実コンテンツの音声の周波数レンジ（現在性能）を、それらの内の最も小さい周波数レンジ（最小周波数レンジ）に合わせるように調整する。なお、出力時の拡張現実コンテンツの音声の周波数レンジおよび出力時の現実コンテンツの音声の周波数レンジのいずれか一方が、その最小周波数レンジに既に合っている場合、性能処理部１３３は、他方のコンテンツの音声の周波数レンジのみを最小周波数レンジに合わせるように調整する。また、出力時の拡張現実コンテンツの音声の周波数レンジおよび出力時の現実コンテンツの音声の周波数レンジの両方が、その最小周波数レンジに既に合っている場合、性能処理部１３３は、この調整を省略することができる。
【０１０３】
また、例えば、性能処理部１３３は、AR表示装置１０１が出力可能な音声のダイナミックレンジ、表示装置１０２が出力可能な音声のダイナミックレンジ、AR表示装置１０１が出力する拡張現実コンテンツの音声のダイナミックレンジ、および、表示装置１０２が出力する現実コンテンツの音声のダイナミックレンジを比較し、出力時の拡張現実コンテンツおよび現実コンテンツの音声のダイナミックレンジ（現在性能）を、それらの内の最も小さいダイナミックレンジ（最小ダイナミックレンジ）に合わせるように調整する。なお、出力時の拡張現実コンテンツの音声のダイナミックレンジおよび出力時の現実コンテンツの音声のダイナミックレンジのいずれか一方が、その最小ダイナミックレンジに既に合っている場合、性能処理部１３３は、他方のコンテンツの音声のダイナミックレンジのみを最小ダイナミックレンジに合わせるように調整する。また、出力時の拡張現実コンテンツの音声のダイナミックレンジおよび出力時の現実コンテンツの音声のダイナミックレンジの両方が、その最小ダイナミックレンジに既に合っている場合、性能処理部１３３は、この調整を省略することができる。
【０１０４】
また、例えば、性能処理部１３３は、AR表示装置１０１が出力可能な匂いの種類数、表示装置１０２が出力可能な匂いの種類数、AR表示装置１０１が出力する拡張現実コンテンツの匂いの種類数、および、表示装置１０２が出力する現実コンテンツの匂いの種類数を比較し、出力時の拡張現実コンテンツおよび現実コンテンツの匂いの種類数（現在性能）を、それらの内の最も少ない種類数（最少種類数）に合わせるように調整する。なお、出力時の拡張現実コンテンツの匂いの種類数および出力時の現実コンテンツの匂いの種類数のいずれか一方が、その最少種類数に既に合っている場合、性能処理部１３３は、他方のコンテンツの匂いの種類数のみを最少種類数に合わせるように調整する。また、出力時の拡張現実コンテンツの匂いの種類数および出力時の現実コンテンツの匂いの種類数の両方が、その最少種類数に既に合っている場合、性能処理部１３３は、この調整を省略することができる。
【０１０５】
また、例えば、性能処理部１３３は、AR表示装置１０１の触覚提示部が出力可能な触覚の周波数レンジ、表示装置１０２の触覚提示部が出力可能な触覚の周波数レンジ、AR表示装置１０１が出力する拡張現実コンテンツの触覚の周波数レンジ、および、表示装置１０２が出力する現実コンテンツの触覚の周波数レンジを比較し、出力時の拡張現実コンテンツおよび現実コンテンツの触覚の周波数レンジ（現在性能）を、それらの内の最も小さい周波数レンジ（最小周波数レンジ）に合わせるように調整する。なお、出力時の拡張現実コンテンツの触覚の周波数レンジおよび出力時の現実コンテンツの触覚の周波数レンジのいずれか一方が、その最小周波数レンジに既に合っている場合、性能処理部１３３は、他方のコンテンツの触覚の周波数レンジのみを最小周波数レンジに合わせるように調整する。また、出力時の拡張現実コンテンツの触覚の周波数レンジおよび出力時の現実コンテンツの触覚の周波数レンジの両方が、その最小周波数レンジに既に合っている場合、性能処理部１３３は、この調整を省略することができる。
【０１０６】
また、例えば、性能処理部１３３は、AR表示装置１０１の触覚提示部が出力可能な触覚のダイナミックレンジ、表示装置１０２の触覚提示部が出力可能な触覚のダイナミックレンジ、AR表示装置１０１が出力する拡張現実コンテンツの触覚のダイナミックレンジ、および、表示装置１０２が出力する現実コンテンツの触覚のダイナミックレンジを比較し、出力時の拡張現実コンテンツおよび現実コンテンツの触覚のダイナミックレンジ（現在性能）を、それらの内の最も小さいダイナミックレンジ（最小ダイナミックレンジ）に合わせるように調整する。なお、出力時の拡張現実コンテンツの触覚のダイナミックレンジおよび出力時の現実コンテンツの触覚のダイナミックレンジのいずれか一方が、その最小ダイナミックレンジに既に合っている場合、性能処理部１３３は、他方のコンテンツの触覚のダイナミックレンジのみを最小ダイナミックレンジに合わせるように調整する。また、出力時の拡張現実コンテンツの触覚のダイナミックレンジおよび出力時の現実コンテンツの触覚のダイナミックレンジの両方が、その最小ダイナミックレンジに既に合っている場合、性能処理部１３３は、この調整を省略することができる。
【０１０７】
また、例えば、性能処理部１３３が、コンテンツＸとコンテンツＹのうち、現在性能の高いほうが低いほうへ合わせるように、コンテンツＸおよびコンテンツＹの現在性能（コンテンツの出力に用いられるパラメータ）を調整するようにしてもよい（性能が低いほうへ合わせる方法）。
【０１０８】
つまり、性能処理部１３３が、現実コンテンツ又は拡張現実コンテンツの現在性能を、その現実コンテンツの現在性能およびその拡張現実コンテンツの現在性能の内の低い方に合わせるように、パラメータを調整するようにしてもよい。
【０１０９】
例えば、性能処理部１３３は、AR表示装置１０１が出力中の拡張現実コンテンツの画像の解像度（現在性能）と、表示装置１０２が出力中の現実コンテンツの画像の解像度（現在性能）とを比較し、高い方の解像度を低い方に合わせるように、その解像度が高い方のコンテンツの画像の解像度（現在性能）を調整する。なお、両者の解像度が既に一致している場合、性能処理部１３３は、この調整を省略することができる。
【０１１０】
また、例えば、性能処理部１３３は、AR表示装置１０１が出力中の拡張現実コンテンツの画像のフレームレート（現在性能）と、表示装置１０２が出力中の現実コンテンツの画像のフレームレート（現在性能）とを比較し、高い方のフレームレートを低い方に合わせるように、そのフレームレートが高い方のコンテンツの画像のフレームレートを調整する。なお、両者のフレームレートが既に一致している場合、性能処理部１３３は、この調整を省略することができる。
【０１１１】
また、例えば、性能処理部１３３は、AR表示装置１０１が出力中の拡張現実コンテンツの画像の明暗ダイナミックレンジ（現在性能）と、表示装置１０２が出力中の現実コンテンツの画像の明暗ダイナミックレンジ（現在性能）とを比較し、大きい方の明暗ダイナミックレンジを小さい方に合わせるように、その明暗ダイナミックレンジが大きい方のコンテンツの画像の明暗ダイナミックレンジを調整する。なお、両者の明暗ダイナミックレンジが既に一致している場合、性能処理部１３３は、この調整を省略することができる。
【０１１２】
また、例えば、性能処理部１３３は、AR表示装置１０１が出力中の拡張現実コンテンツの音声の周波数レンジ（現在性能）と、表示装置１０２が出力中の現実コンテンツの画像の音声の周波数レンジ（現在性能）とを比較し、大きい方の周波数レンジを小さい方に合わせるように、その周波数レンジが大きい方のコンテンツの音声の周波数レンジを調整する。なお、両者の周波数レンジが既に一致している場合、性能処理部１３３は、この調整を省略することができる。
【０１１３】
また、例えば、性能処理部１３３は、AR表示装置１０１が出力中の拡張現実コンテンツの音声のダイナミックレンジ（現在性能）と、表示装置１０２が出力中の現実コンテンツの画像の音声のダイナミックレンジ（現在性能）とを比較し、大きい方のダイナミックレンジを小さい方に合わせるように、そのダイナミックレンジが大きい方のコンテンツの音声のダイナミックレンジを調整する。なお、両者のダイナミックレンジが既に一致している場合、性能処理部１３３は、この調整を省略することができる。
【０１１４】
また、例えば、性能処理部１３３は、AR表示装置１０１が出力中の拡張現実コンテンツの匂いの種類数（現在性能）と、表示装置１０２が出力中の現実コンテンツの画像の匂いの種類数（現在性能）とを比較し、多い方の種類数を少ない方に合わせるように、その種類数が多い方のコンテンツの匂いの種類数を調整する。なお、両者の種類数が既に一致している場合、性能処理部１３３は、この調整を省略することができる。
【０１１５】
また、例えば、性能処理部１３３は、AR表示装置１０１が出力中の拡張現実コンテンツの触覚の周波数レンジ（現在性能）と、表示装置１０２が出力中の現実コンテンツの画像の触覚の周波数レンジ（現在性能）とを比較し、大きい方の周波数レンジを小さい方に合わせるように、その周波数レンジが大きい方のコンテンツの触覚の周波数レンジを調整する。なお、両者の周波数レンジが既に一致している場合、性能処理部１３３は、この調整を省略することができる。
【０１１６】
また、例えば、性能処理部１３３は、AR表示装置１０１が出力中の拡張現実コンテンツの触覚のダイナミックレンジ（現在性能）と、表示装置１０２が出力中の現実コンテンツの画像の触覚のダイナミックレンジ（現在性能）とを比較し、大きい方のダイナミックレンジを小さい方に合わせるように、そのダイナミックレンジが大きい方のコンテンツの触覚のダイナミックレンジを調整する。なお、両者のダイナミックレンジが既に一致している場合、性能処理部１３３は、この調整を省略することができる。
【０１１７】
また、その他の方法であってもよい。
【０１１８】
ステップＳ１０７において、表示処理部１３４および音声処理部１３５は、調整された性能で画像表示や音声出力を行う。
【０１１９】
ステップＳ１０７の処理が終了すると、性能調整処理が終了する。また、ステップＳ１０３において、性能差が無いと判定された場合、性能調整処理が終了する。さらに、ステップＳ１０５において、重なりが無く、かつ、重なりが予測されないと判定された場合、性能調整処理が終了する。
【０１２０】
＜性能調整処理の流れ＞
次に、図７のフローチャートを参照して、表示装置１０２において実行される性能調整処理について説明する。この処理は、AR表示装置１０１による性能調整処理（図６）に対応する処理として実行される。
【０１２１】
性能調整処理が開始されると、通信部２１４は、ステップＳ１２１において、AR表示装置１０１との通信を確立する。この処理は、ステップＳ１０１の処理に対応して行われる。つまり、この処理はステップＳ１０１の場合と同様に行われる。
【０１２２】
ステップＳ１２２において、通信部２１４は、互いの描画機能や音響機能等の性能に関する情報をAR表示装置１０１と授受する（交換する）。この処理は、ステップＳ１０２の処理に対応して行われる。つまり、この処理はステップＳ１０２の場合と同様に行われる。
【０１２３】
ステップＳ１２３において、CPU２０１は、性能差があるか否かを判定する。この処理は、ステップＳ１０３の処理に対応して行われる。つまり、この処理はステップＳ１０３の場合と同様に行われる。性能差があると判定された場合、処理はステップＳ１２４に進む。
【０１２４】
ステップＳ１２４において、CPU２０１は、自身が描画した画像とAR表示装置１０１が描画した画像との重なりを算出または予測する。この処理は、ステップＳ１０４の処理に対応して行われる。つまり、この処理はステップＳ１０４の場合と同様に行われる。
【０１２５】
ステップＳ１２５において、CPU２０１は、重なりがあるまたは重なりが予測されるか否かを判定する。この処理は、ステップＳ１０５の処理に対応して行われる。つまり、この処理はステップＳ１０５の場合と同様に行われる。重なりがある、または、重なりが予測されると判定された場合、処理はステップＳ１２６に進む。
【０１２６】
ステップＳ１２６において、CPU２０１は、性能差や重なりに応じて性能を調整する。この処理は、ステップＳ１０６の処理に対応して行われる。つまり、この処理はステップＳ１０６の場合と同様に行われる。したがって、上述したステップＳ１０６についての説明をこの処理にも適用することができるので、その詳細についての説明は省略する。例えば、CPU２０１は、表示装置１０２が出力中のコンテンツの現在性能に関するパラメータ（現実コンテンツの出力に用いられるパラメータ）を調整する。
【０１２７】
ステップＳ１２７において、出力部２１２は、調整された性能で画像表示や音声出力を行う。この処理は、ステップＳ１０７の処理に対応して行われる。つまり、この処理はステップＳ１０７の場合と同様に行われる。
【０１２８】
ステップＳ１２７の処理が終了すると、性能調整処理が終了する。また、ステップＳ１２３において、性能差が無いと判定された場合、性能調整処理が終了する。さらに、ステップＳ１２５において、重なりが無く、かつ、重なりが予測されないと判定された場合、性能調整処理が終了する。
【０１２９】
以上のように各処理を行うことにより、コンテンツ出力システム１００（AR表示装置１０１および表示装置１０２）は、AR表示装置１０１越しに、表示装置１０２により表示された画像（例えば３次元仮想空間等）を体験する等、２つ以上のデバイスを併用して空間を行き来したり、同時に体験したりする場合、それらのデバイス間の解像度の差やフレームレートの差、色調の差を補間し、シームレスに移行することができ、コンテンツを体験するユーザの違和感の増大を抑制することができる。つまり、ユーザの満足度を向上させることができる。
【０１３０】
＜角度差に応じた調整＞
なお、性能調整の際に、重なるコンテンツ（またはそのコンテンツを出力する機器）のいずれか一方の性能を選択するようにしてもよいが、両者のパラメータの値を用いて新たな値を算出するようにしてもよい。例えば、両者の性能を状況に応じて重み付けして混ぜる（MIXする）ようにしてもよい。このようにすることにより、例えば、コンテンツ同士が近づくに連れて、性能（パラメータの値）が徐々に一方から他方へ移行するようにする等、性能の多様な変化を実現することができる。
【０１３１】
例えば、性能処理部１３３が、さらに、出力中の拡張現実コンテンツと現実コンテンツとの相対位置に応じて、パラメータを調整するようにしてもよい。例えば、図８に示されるように、ユーザからみた両コンテンツの角度の差に応じて性能（パラメータの値）を調整するようにしてもよい。
【０１３２】
図８の例において、ユーザ３０１が装着したAR表示装置１０１の奥側の現実空間において、表示装置１０２は画像３１１を表示している。その解像度性能はh1であり、描画レートはf1である。また、AR表示装置１０１は画像３１２を表示している。その解像度性能はh2であり、描画レートはf2である。なお、h1 < h2であり、f1 < f2であるとする。つまり、AR表示装置１０１の方が表示装置１０２よりも高性能にコンテンツを出力しているとする。ユーザ３０１から見て画像３１１と画像３１２とは角度差θだけ離れている。
【０１３３】
この場合に、性能処理部１３３が、AR表示装置１０１を装着したユーザ３０１の正面方向（つまり画像３１２の方向）と、表示装置１０２が表示した画像３１１の方向との角度の差に応じて、例えば、以下の式（１）および式（２）のように、AR表示装置１０１（性能の高い方のデバイス）の性能（解像度および描画レート）を調整するようにしてもよい。
【０１３４】
【数１】
2019125986.tif 000003
【数２】
2019125986.tif 000004
【０１３５】
関数G（・,・,θ）は、θが小さくなる程第１引数の値に近づき、θが大きくなる程第２引数の値に近づく関数である。例えば、以下の式（３）および式（４）のような関数であってもよい。
【０１３６】
定数：ａ（< 0）
【数３】
2019125986.tif 000005
【数４】
2019125986.tif 000006
【０１３７】
このようにすることにより、コンテンツ同士が近づくに連れて、性能（パラメータの値）が徐々に一方から他方へ移行するようにすることができる。
【０１３８】
＜角度変化速度に応じた調整＞
また、例えば、図９に示されるように、ユーザからみた両コンテンツの角度変化の速度に応じて性能（パラメータの値）を調整するようにしてもよい。
【０１３９】
例えば図９において、ユーザ３０１が図中の矢印方向に顔を動かすと画像３１１がユーザの正面に近づくように移動する。この顔の動きが激しい程（速い程）、画像３１１の移動速度（速度ｖ）は速くなる。一般的に、画像の移動の動きが速い場合、ユーザの知覚可能な解像度が低減する。つまり、動きが速い程、解像度の変化は気にならなくなりやすい。このような現象を利用して、例えば、ユーザ３０１が顔を激しく（速く）動かす程、解像度を落とすようにしてもよい。
【０１４０】
つまり、この場合、コンテンツの現在性能に加えて、コンテンツの知覚強度というパラメータも考慮する。視野角度に変化がない場合、コンテンツの現在性能とコンテンツの知覚強度は等しくなる。これに対して視野角度に変化がある場合、一般的に、その変化の速度に応じてコンテンツの知覚強度（主に解像度に関する知覚強度）が低下する傾向がある。このような傾向を利用して、２つの機器から出力されたコンテンツの知覚強度が一致するように調整するようにしてもよい。例えば、知覚強度の高いほうを低いほうへ合わせるように、解像度を落とすなどの調整をするようにしてもよい。
【０１４１】
つまり、性能処理部１３３が、現実コンテンツ又は拡張現実コンテンツの現在性能を、拡張現実コンテンツの位置と現実コンテンツの位置との角度変化速度に応じた現実コンテンツの知覚強度、および、拡張現実コンテンツの位置と現実コンテンツの位置との角度変化速度に応じた拡張現実コンテンツの知覚強度の内の低い方に合わせるように、パラメータを調整するようにしてもよい。
【０１４２】
なお、上述の「知覚強度」は、動きが速いほど低下する。そのため、６軸センサなどから取得された速度情報を基に現在の知覚強度を推定することができる。例えば、動作解析部１３２が、動き姿勢検出部１５３により検出された速度情報に基づいて、この知覚強度を推定するようにしてもよい。そして、性能処理部１３３が、その動作解析部１３２により推定された知覚強度に基づいて解像度を調整するようにしてもよい。
【０１４３】
例えば、表示される映像の解像度をh1とし、映像の移動速度をvとすると、ユーザが知覚する解像度（認知解像度）h'1は、定数a（< 0）を用いて以下の式（５）のように表すことができる。
【０１４４】
【数５】
2019125986.tif 000007
【０１４５】
このようにすることにより、画像の動きの速さに応じて（ユーザの知覚強度に応じて）性能を調整することができる。
【０１４６】
＜その他調整＞
調整する性能（パラメータ）は、コンテンツの出力に用いられるものである限り、任意である。例えば、拡張現実コンテンツおよび前記現実コンテンツが画像を含み、その画像の色数を調整するようにしてもよい。例えば、拡張現実コンテンツの画像又は現実コンテンツの画像を、それらの画像の内の色数が少ない方に合わせるように減色するようにしてもよい。また、例えば、AR表示装置１０１が単色の画像しか表示することができない場合に、表示装置１０２により表示される画像からその色を削除するようにしてもよい。
【０１４７】
なお、現在性能や知覚強度を調整するコンテンツは任意であり、画像以外であってもよい。例えば、音声であってもよい。つまり、音声についても現在性能や知覚強度（つまりコンテンツの出力に用いられるパラメータ）を調整するようにしてもよい。例えば、拡張現実コンテンツおよび現実コンテンツが音声を含み、AR表示装置１０１により出力される拡張現実コンテンツの音声又は表示装置１０２により出力される現実コンテンツの音声の音質（例えばBit数や周波数レンジ等）を、その音質が低い方に合わせるように調整する（例えば、Bit数を少ない方に合わせる、周波数レンジを狭い方に合わせる等のパラメータの調整を行う）ようにしてもよい。
【０１４８】
また、あらかじめ使う機器同士がそれぞれの解像度や色域をネゴシエーションしてもよい。そして、拡張現実コンテンツおよび現実コンテンツが画像を含み、性能処理部１３３が、その拡張現実コンテンツの画像又は現実コンテンツの画像の解像度を、解像度が低い方に合わせるように調整し、さらに、拡張現実コンテンツの画像又は現実コンテンツの画像の色域を、色域が狭い方に合わせるように調整するようにしてもよい。
【０１４９】
また、AR表示装置１０１のカメラ等のセンサで外部環境をセンシングするようにしてもよい。
【０１５０】
また、ユーザがAR表示装置１０１を外す直前の映像を保持しておき、ユーザがAR表示装置１０１を外したときに、例えば表示装置１０２等の別のデバイス（例えばプロジェクタ等）によりその映像（またはそれに準ずる映像）を提示するようにしてもよい。このようにすることにより、ユーザは、現実世界へシームレスに移行することができる（違和感を低減させることができる）。
【０１５１】
また、AR表示装置１０１において表示するコンテンツがビデオチャット等の映像のように低画質である場合、環境画質（例えば表示装置１０２が表示する画像や、現実空間の画像等）を劣化させる（画質を低減させる）ようにしてもよい。
【０１５２】
なお、画質を調整する場合、重なり合う画像の境界近傍（例えば、AR表示装置１０１において表示される画像の輪郭（つまり重なり合う画像の境界）から所定の距離範囲内である近傍領域やその輪郭に隣接する領域）の性能を調整する（例えば劣化させる）ようにしてもよい。
【０１５３】
また、逆に、重なり合う画像の性能差を拡大するように性能（パラメータ）を調整するようにしてもよい。このようにすることにより、高画質な画像が低画質な画像に対してより浮き立つ（より目立つ）ようにすることができる。例えば、ユーザの視線を一方のコンテンツに注目させたい場合等に、このようにすることにより、より容易に所望のコンテンツに注目させることができる。
【０１５４】
＜３．第２の実施の形態＞
＜調整処理を行うデバイス＞
第１の実施の形態においては、性能（パラメータ）の調整をAR表示装置１０１および表示装置１０２において行うように説明したが、この処理は任意の装置において行うようにしてもよい。例えば、AR表示装置１０１において、拡張現実コンテンツの性能の調整と現実コンテンツの性能の調整との両方を行い、調整された現実コンテンツに関するパラメータを表示装置１０２に供給するようにしてもよい。また、例えば、表示装置１０２において、拡張現実コンテンツの性能の調整と現実コンテンツの性能の調整との両方を行い、調整された拡張現実コンテンツに関するパラメータをAR表示装置１０１に供給するようにしてもよい。
【０１５５】
さらに、拡張現実コンテンツの性能の調整や現実コンテンツの性能の調整を、その他の装置において行うようにしてもよい。
【０１５６】
＜コンテンツ出力システム＞
図１０は、本技術を適用した情報処理システムの一態様であるコンテンツ出力システムの主な構成の一例を示すブロック図である。図１０に示されるコンテンツ出力システム４００は、図３のコンテンツ出力システム１００と同様のシステムである。ただし、コンテンツ出力システム４００は、コンテンツ出力システム１００のAR表示装置１０１と表示装置１０２の他に、サーバ４０１を有する。
【０１５７】
このサーバ４０１は、AR表示装置１０１および表示装置１０２と通信を行い、拡張現実コンテンツの出力に関する性能や、現実コンテンツの出力に関する性能を取得し、それらを用いて、コンテンツ（拡張現実コンテンツ若しくは現実コンテンツ、またはその両方）の出力に用いられるパラメータを調整する。
【０１５８】
＜サーバ＞
図１１は、本技術を適用した情報処理装置の一態様であるサーバ４０１の主な構成の一例を示すブロック図である。図１１に示されるように、サーバ４０１は、CPU４２１、ROM４２２、RAM４２３、バス４２４、入出力インタフェース４３０、入力部４３１、出力部４３２、記憶部４３３、通信部４３４、およびドライブ４３５を有する。
【０１５９】
図１１に示されるサーバ４０１において、CPU４２１、ROM４２２、RAM４２３は、バス４２４を介して相互に接続されている。
【０１６０】
バス４２４にはまた、入出力インタフェース４３０も接続されている。入出力インタフェース４３０には、入力部４３１、出力部４３２、記憶部４３３、通信部４３４、およびドライブ４３５が接続されている。
【０１６１】
入力部４３１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部４３２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部４３３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部４３４は、例えば、ネットワークインタフェースよりなる。ドライブ４３５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア４４１を駆動する。
【０１６２】
以上のように構成されるサーバ４０１では、CPU４２１が、例えば、記憶部４３３に記憶されているプログラムを、入出力インタフェース４３０およびバス４２４を介して、RAM４２３にロードして実行することにより、上述した一連の処理が行われる。RAM４２３にはまた、CPU４２１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１６３】
以上のようにCPU４２１は、プログラムを実行することにより、例えば、上述したAR表示装置１０１や表示装置１０２と同様の調整処理を行うことができる。
【０１６４】
＜性能調整処理の流れ＞
この場合のコンテンツ出力システム４００の各装置において実行される性能調整処理について、図１２のフローチャートを参照して説明する。
【０１６５】
性能調整処理が開始されると、AR表示装置１０１の通信部１５５は、ステップＳ２０１において、サーバ４０１との通信を確立する。その処理に対応して、サーバ４０１の通信部４３４は、ステップＳ２２１において、AR表示装置１０１との通信を確立する。
【０１６６】
また、表示装置１０２の通信部２１４は、ステップＳ２１１において、サーバ４０１との通信を確立する。その処理に対応して、サーバ４０１の通信部４３４は、ステップＳ２２２において、表示装置１０２との通信を確立する。
【０１６７】
通信が確立すると、ステップＳ２０２において、AR表示装置１０１の性能処理部１３３は、拡張現実コンテンツの出力に関する性能（AR表示装置１０１の最大性能や拡張現実コンテンツの最大性能等）に関する情報（性能情報）を、通信部１５５を介してサーバ４０１に供給する。この処理に対応してサーバ４０１のCPU４２１は、ステップＳ２２３において、通信部４３４を介してその情報を取得する。
【０１６８】
また、通信が確立すると、ステップＳ２１２において、表示装置１０２のCPU２０１は、現実コンテンツの出力に関する性能（表示装置１０２の最大性能や現実コンテンツの最大性能等）に関する情報（性能情報）を、通信部２１４を介してサーバ４０１に供給する。この処理に対応してサーバ４０１のCPU４２１は、ステップＳ２２４において、通信部４３４を介してその情報を取得する。
【０１６９】
ステップＳ２２５において、サーバ４０１のCPU４２１は、拡張現実コンテンツの出力に関する性能と現実コンテンツの出力に関する性能とを比較してその性能差を求める。つまり、CPU４２１は、AR表示装置１０１の最大性能、AR表示装置１０１が出力する拡張現実コンテンツの最大性能、表示装置１０２の最大性能、表示装置１０２が出力する現実コンテンツの最大性能等を比較して、装置やコンテンツの性能差を求める。
【０１７０】
ステップＳ２０３において、AR表示装置１０１の動作解析部１３２は、AR表示装置１０１の動き情報を、通信部１５５を介してサーバ４０１に供給する。この処理に対応してサーバ４０１のCPU４２１は、ステップＳ２２６において、通信部４３４を介してその情報を取得する。
【０１７１】
また、ステップＳ２１３において、表示装置１０２のCPU２０１は、表示装置１０２の動き情報を、通信部１５５を介してサーバ４０１に供給する。この処理に対応してサーバ４０１のCPU４２１は、ステップＳ２２７において、通信部４３４を介してその情報を取得する。
【０１７２】
ステップＳ２２８において、サーバ４０１のCPU４２１は、得られた動き情報に基づいて、AR表示装置１０１により出力される拡張現実コンテンツと、表示装置１０２により出力される現実コンテンツとの重なり（または相対位置や相対姿勢）を検出する。
【０１７３】
ステップＳ２２９において、サーバ４０１のCPU４２１は、ステップＳ２２５において求めた性能差（装置やコンテンツの性能差）や、ステップＳ２２８において検出した重なりに応じて、拡張現実コンテンツ若しくは現実コンテンツ、またはその両方の現在性能（コンテンツの出力に用いられるパラメータ）を調整する。
【０１７４】
なお、性能差に基づく調整は、図６のステップＳ１０６の場合と同様に行うことができる。したがって、上述したステップＳ１０６についての説明をこの処理にも適用することができるので、その詳細についての説明は省略する。また、重なりに応じた調整は、図８や図９を参照して説明した場合と同様に行うことができる。したがって、それらの図を参照して行った説明をこの処理にも適用することができるので、その詳細についての説明は省略する。
【０１７５】
サーバ４０１のCPU４２１は、その調整後のパラメータを、通信部４３４を介してAR表示装置１０１若しくは表示装置１０２、またはその両方に供給する。この処理に対応して、AR表示装置１０１の性能処理部１３３は、ステップＳ２０４において、通信部１５５を介してそのパラメータを取得する。また、表示装置１０２のCPU２０１は、ステップＳ２１４において、通信部２１４を介してそのパラメータを取得する。
【０１７６】
ステップＳ２０５において、表示処理部１３４および音声処理部１３５は、表示部１５１および音声出力部１５２を制御して、調整された性能で拡張現実コンテンツの画像表示や音声出力を行う。
【０１７７】
ステップＳ２１５において、CPU２０１は、出力部２１２を制御して、調整された性能で現実コンテンツの画像表示や音声出力を行う。
【０１７８】
これらの処理が終了すると、性能調整処理が終了する。
【０１７９】
以上のように、拡張現実コンテンツの性能の調整や現実コンテンツの性能の調整を、サーバ４０１において行うこともできる。この場合も、第１の実施の形態の場合と同様に、コンテンツを体験するユーザの違和感の増大を抑制することができる。
【０１８０】
＜４．付記＞
＜ソフトウエア＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。
【０１８１】
一連の処理をソフトウエアにより実行する場合、その装置（例えば、AR表示装置１０１、表示装置１０２、またはサーバ４０１）が、そのソフトウエアを実行することができるコンピュータとしての構成を有するようにすればよい。
【０１８２】
例えば、AR表示装置１０１の場合、制御部１３１乃至音声処理部１３５（図４）が、記憶部１５８等からプログラムを読み出して実行することにより、上述した一連の処理をソフトウエアにより実行するようにすればよい。また、例えば、表示装置１０２の場合、CPU２０１（図５）が、記憶部２１３等からプログラムを読み出してRAM２０３にロードして実行することにより、上述した一連の処理をソフトウエアにより実行するようにしてもよい。さらに、例えば、サーバ４０１の場合、CPU４２１（図１１）が、記憶部４３３等からプログラムを読み出してRAM４２３にロードして実行することにより、上述した一連の処理をソフトウエアにより実行するようにしてもよい。
【０１８３】
上述した一連の処理をソフトウエアにより実行させる場合、そのソフトウエアを構成するプログラム等は、例えば、記録媒体からインストールされるようにしてもよい。
【０１８４】
例えばAR表示装置１０１の場合、この記録媒体は、装置本体とは別に、ユーザにプログラム等を配信するために配布される、プログラム等が記録されているリムーバブルメディア１６１により構成されるようにしてもよい。例えば、制御部１３１が、ドライブ１５９に装着されたリムーバブルメディア１６１に記憶されているプログラム等を読み出し、それを記憶部１５８等にインストールさせるようにしてもよい。
【０１８５】
また、例えば表示装置１０２の場合、この記録媒体は、装置本体とは別に、ユーザにプログラム等を配信するために配布される、プログラム等が記録されているリムーバブルメディア２２１により構成されるようにしてもよい。例えば、CPU２０１が、ドライブ２１５に装着されたリムーバブルメディア２２１に記憶されているプログラム等を読み出し、それを記憶部２１３等にインストールさせるようにしてもよい。
【０１８６】
さらに、例えばサーバ４０１の場合、この記録媒体は、装置本体とは別に、ユーザにプログラム等を配信するために配布される、プログラム等が記録されているリムーバブルメディア４４１により構成されるようにしてもよい。例えば、CPU４２１が、ドライブ４３５に装着されたリムーバブルメディア４４１に記憶されているプログラム等を読み出し、それを記憶部４３３等にインストールさせるようにしてもよい。
【０１８７】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。
【０１８８】
例えばAR表示装置１０１の場合、制御部１３１が、通信部１５５を制御して伝送媒体を介して提供されるプログラムを受信し、それを記憶部１５８等にインストールさせるようにしてもよい。また、例えば表示装置１０２の場合、CPU２０１が、通信部２１４を制御して伝送媒体を介して提供されるプログラムを受信し、それを記憶部２１３等にインストールさせるようにしてもよい。さらに、例えばサーバ４０１の場合、CPU４２１が、通信部４３４を制御して伝送媒体を介して提供されるプログラムを受信し、それを記憶部４３３等にインストールさせるようにしてもよい。
【０１８９】
その他、このプログラムは、予めインストールしておくこともできる。例えばAR表示装置１０１の場合、プログラムが、記憶部１５８や制御部１３１に内蔵されるROM等に予めインストールされているようにしてもよい。また、例えば表示装置１０２の場合、プログラムが、記憶部２１３やROM２０２等に予めインストールされているようにしてもよい。さらに、例えばサーバ４０１の場合、プログラムが、記憶部４３３やROM４２２等に予めインストールされているようにしてもよい。
【０１９０】
＜本技術の適用対象＞
なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
【０１９１】
例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
【０１９２】
＜その他＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９３】
例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。
【０１９４】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１９５】
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０１９６】
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、撮像画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。
【０１９７】
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【０１９８】
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
【０１９９】
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【０２００】
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
【０２０１】
なお、本技術は以下のような構成も取ることができる。
（１）  現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する調整部
を備える情報処理装置。
（２）  前記パラメータは、出力中の前記現実コンテンツ又は前記拡張現実コンテンツの現在性能に関するパラメータである
（１）に記載の情報処理装置。
（３）  前記調整部は、前記現実コンテンツ又は前記拡張現実コンテンツの現在性能を、前記現実コンテンツを出力する機器の最大性能、前記拡張現実コンテンツを出力する機器の最大性能、前記現実コンテンツの最大性能、および、前記拡張現実コンテンツの最大性能の内の最も低いものに合わせるように、前記パラメータを調整する
（２）に記載の情報処理装置。
（４）  前記調整部は、前記現実コンテンツ又は前記拡張現実コンテンツの現在性能を、前記現実コンテンツの現在性能および前記拡張現実コンテンツの現在性能の内の低い方に合わせるように、前記パラメータを調整する
（２）または（３）に記載の情報処理装置。
（５）  前記調整部は、さらに、出力中の前記拡張現実コンテンツと前記現実コンテンツとの相対位置に応じて、前記パラメータを調整する
（１）乃至（４）のいずれかに記載の情報処理装置。
（６）  前記調整部は、前記拡張現実コンテンツの位置と前記現実コンテンツの位置との角度差に応じて、前記パラメータを調整する
（５）に記載の情報処理装置。
（７）  前記調整部は、前記現実コンテンツ又は前記拡張現実コンテンツの現在性能を、前記拡張現実コンテンツの位置と前記現実コンテンツの位置との角度変化速度に応じた前記現実コンテンツの知覚強度、および、前記拡張現実コンテンツの位置と前記現実コンテンツの位置との角度変化速度に応じた前記拡張現実コンテンツの知覚強度の内の低い方に合わせるように、前記パラメータを調整する
（５）または（６）に記載の情報処理装置。
（８）  前記相対位置を検出する相対位置検出部をさらに備え、
前記調整部は、前記相対位置検出部により検出された前記相対位置に応じて、前記パラメータを調整する
（５）乃至（７）のいずれかに記載の情報処理装置。
（９）  前記情報処理装置の動きおよび姿勢を検出する動き姿勢検出部をさらに備え、
前記相対位置検出部は、前記動き姿勢検出部により検出される前記情報処理装置の動きおよび姿勢に基づいて、前記相対位置を検出する
（８）に記載の情報処理装置。
（１０）  前記情報処理装置の動きおよび姿勢に関する情報を取得する動き姿勢情報取得部をさらに備え、
前記相対位置検出部は、前記動き姿勢情報取得部により取得される前記情報処理装置の動きおよび姿勢に基づいて、前記相対位置を検出する
（８）または（９）に記載の情報処理装置。
（１１）  相手機器の動きおよび姿勢に関する情報を取得する動き姿勢情報取得部をさらに備え、
前記相対位置検出部は、前記動き姿勢情報取得部により取得される前記相手機器の動きおよび姿勢に基づいて、前記相対位置を検出する
（８）乃至（１０）のいずれかに記載の情報処理装置。
（１２）  相手機器を検出する相手機器検出部をさらに備え、
前記相対位置検出部は、前記相手機器検出部により検出される前記相手機器の位置および姿勢に基づいて、前記相対位置を検出する
（８）乃至（１１）のいずれかに記載の情報処理装置。
（１３）  前記拡張現実コンテンツおよび前記現実コンテンツは画像を含み、
前記調整部は、前記拡張現実コンテンツの画像又は前記現実コンテンツの画像を、前記画像の色数が少ない方に合わせるように、減色する
（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）  前記拡張現実コンテンツおよび前記現実コンテンツは画像を含み、
前記調整部は、
前記拡張現実コンテンツの画像又は前記現実コンテンツの画像の解像度を、前記解像度が低い方に合わせるように調整し、
さらに、前記拡張現実コンテンツの画像又は前記現実コンテンツの画像の色域を、前記色域が狭い方に合わせるように調整する
（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）  前記拡張現実コンテンツおよび前記現実コンテンツは画像を含み、
前記調整部は、前記拡張現実コンテンツの画像と前記現実コンテンツの画像との境界に基づく所定の領域の性能を調整する
（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）  前記拡張現実コンテンツおよび前記現実コンテンツは音声を含み、
前記調整部は、前記拡張現実コンテンツの音声又は前記現実コンテンツの音声の音質を、前記音質が低い方に合わせるように調整する
（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）  前記調整部は、前記拡張現実コンテンツの現在性能と前記現実コンテンツの現在性能との差が拡大するように、前記パラメータを調整する
（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）  他の装置と通信を行い、前記出力に関する性能を授受する通信部をさらに備える
（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）  前記調整部は、前記拡張現実コンテンツの出力に用いられるパラメータを調整する
（１）乃至（１８）のいずれかに記載の情報処理装置。
（２０）  前記調整部は、前記現実コンテンツの出力に用いられるパラメータを調整する
（１）乃至（１９）のいずれかに記載の情報処理装置。
（２１）  前記調整部は、前記拡張現実コンテンツ若しくは前記現実コンテンツ、またはその両方の出力に用いられるパラメータを調整する
（１）乃至（２０）のいずれかに記載の情報処理装置。
（２２）  前記調整部は、調整後の前記パラメータを、前記拡張現実出力部を有する装置または前記出力部を有する装置に供給する
（１）乃至（２１）のいずれかに記載の情報処理装置。
（２３）  前記拡張現実出力部をさらに備え、
前記拡張現実出力部は、前記調整部により調整されたパラメータを用いて前記拡張現実コンテンツを出力する
（１）乃至（２２）のいずれかに記載の情報処理装置。
（２４）  前記出力部をさらに備え、
前記出力部は、前記調整部により調整されたパラメータを用いて前記現実コンテンツを出力する
（１）乃至（２３）のいずれかに記載の情報処理装置。
（２５）  現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する
情報処理方法。
（２６）  コンピュータを、
現実空間に設けられた出力部により出力される現実コンテンツの出力に関する性能と、拡張現実出力部により前記現実空間に重畳して出力される拡張現実コンテンツの出力に関する性能に基づいて、前記現実コンテンツ及び前記拡張現実コンテンツが同時に出力される時の前記現実コンテンツ又は前記拡張現実コンテンツの出力に用いられるパラメータを調整する調整部と
して機能させるプログラム。
【符号の説明】
【０２０２】
１００  コンテンツ出力システム，  １０１  AR表示装置，  １０２  表示装置，  １３１  制御部,  １３２  動作解析部，  １３３  性能処理部，  １３４  表示処理部，  １３５  音声処理部，  １４１  バス，  １５１  表示部，  １５２  音声出力部，  １５３  動き姿勢検出部，  １５４  周辺環境センサ，  １５５  通信部，  １５６  入力部，  １５７  出力部，  １５８  記憶部，  １５９  ドライブ，  １６１  リムーバブルメディア，  ２０１  CPU，  ２０２  ROM，  ２０３  RAM，  ２１４  通信部，  ４００  コンテンツ出力システム，  ４０１  サーバ，  ４２１  CPU，  ４２２  ROM，  ４２３  RAM，  ４３４  通信部
【図１】
2019125986.tif 000008
【図２】
2019125986.tif 000009
【図３】
2019125986.tif 000010
【図４】
2019125986.tif 000011
【図５】
2019125986.tif 000012
【図６】
2019125986.tif 000013
【図７】
2019125986.tif 000014
【図８】
2019125986.tif 000015
【図９】
2019125986.tif 000016
【図１０】
2019125986.tif 000017
【図１１】
2019125986.tif 000018
【図１２】
2019125986.tif 000019