(57)【要約】  本技術は、最適な位置に文字列を表示することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。制御部は、表示領域に表示されるコンテンツ画像に含まれるオブジェクトに関連するテキスト情報で表される文字列の表示を制御する。制御部は、表示領域に対するオブジェクトの位置に基づいて、表示領域において文字列が配置される配置領域を決定する。本技術は、例えばＶＲ用の表示装置に適用することができる。
2019181488.tif 000002
【特許請求の範囲】
【請求項１】
表示領域に表示されるコンテンツ画像に含まれるオブジェクトに関連するテキスト情報で表される文字列の表示を制御する制御部
を備え、
前記制御部は、前記表示領域に対する前記オブジェクトの位置に基づいて、前記表示領域において前記文字列が配置される配置領域を決定する
情報処理装置。
【請求項２】
前記制御部は、前記オブジェクトの領域を避けるように、前記配置領域を決定する
請求項１に記載の情報処理装置。
【請求項３】
前記制御部は、前記表示領域におけるユーザの中心視野近傍に、前記配置領域を決定する
請求項１に記載の情報処理装置。
【請求項４】
前記制御部は、前記表示領域内における前記オブジェクトの移動に応じて、前記配置領域の位置を移動する
請求項１に記載の情報処理装置。
【請求項５】
前記制御部は、ユーザの頭の向きの変化に応じて、前記配置領域の位置を移動する
請求項４に記載の情報処理装置。
【請求項６】
前記制御部は、前記表示領域内において、前記オブジェクトの移動方向とは逆方向に、前記オブジェクトに対する前記配置領域の位置を移動する
請求項４に記載の情報処理装置。
【請求項７】
前記制御部は、前記表示領域内を移動する前記オブジェクトの位置に応じて、前記配置領域の形状を変える
請求項４に記載の情報処理装置。
【請求項８】
前記制御部は、前記オブジェクトが前記表示領域におけるユーザの中心視野近傍に位置した場合、前記オブジェクトの領域を避けるように、前記配置領域の形状を変える
請求項７に記載の情報処理装置。
【請求項９】
前記制御部は、前記配置領域の形状に応じて、前記配置領域に配置される前記文字列の行数を変える
請求項７に記載の情報処理装置。
【請求項１０】
前記制御部は、前記表示領域内における第１のオブジェクトの移動に応じて、第２のオブジェクトについての前記配置領域の位置を移動する
請求項４に記載の情報処理装置。
【請求項１１】
前記制御部は、前記第１のオブジェクトが人物の場合、前記人物の少なくとも顔の領域を避けるように、前記第２のオブジェクトについての前記配置領域の位置を移動する
請求項１０に記載の情報処理装置。
【請求項１２】
前記制御部は、前記コンテンツ画像のサイズが、前記表示領域のサイズより大きい場合、前記表示領域内に前記配置領域を移動する
請求項４に記載の情報処理装置。
【請求項１３】
前記制御部は、前記表示領域外に前記オブジェクトが位置する場合、前記表示領域内に前記配置領域を移動する
請求項１２に記載の情報処理装置。
【請求項１４】
前記制御部は、前記表示領域内に決定された前記配置領域の近傍に、前記表示領域外に位置する前記オブジェクトを縮小した縮小オブジェクトを表示する
請求項１３に記載の情報処理装置。
【請求項１５】
前記制御部は、前記表示領域外から前記表示領域内への前記オブジェクトの移動に伴って、前記表示領域内での前記配置領域の位置の移動をアニメーション表示する
請求項１３に記載の情報処理装置。
【請求項１６】
前記制御部は、前記配置領域に、前記文字列が表示される吹き出しを表示する
請求項１に記載の情報処理装置。
【請求項１７】
前記テキスト情報は、前記表示領域において前記配置領域に決定することが可能な位置を示す位置情報を含み、
前記制御部は、前記位置情報を用いて、前記配置領域を決定する
請求項１に記載の情報処理装置。
【請求項１８】
前記テキスト情報は、前記配置領域に決定することが可能な位置の優先度を示す優先度情報をさらに含み、
前記制御部は、前記位置情報と前記優先度情報を用いて、前記配置領域を決定する
請求項１７に記載の情報処理装置。
【請求項１９】
情報処理装置が、
表示領域に表示されるコンテンツ画像に含まれるオブジェクトに関連するテキスト情報で表される文字列の表示を制御し、
前記表示領域に対する前記オブジェクトの位置に基づいて、前記表示領域において前記文字列が配置される配置領域を決定する
情報処理方法。
【請求項２０】
コンピュータに、
表示領域に表示されるコンテンツ画像に含まれるオブジェクトに関連するテキスト情報で表される文字列の表示を制御し、
前記表示領域に対する前記オブジェクトの位置に基づいて、前記表示領域において前記文字列が配置される配置領域を決定する
処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、最適な位置に文字列を表示することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
仮想空間上に情報を表示してユーザに提示するＶＲ（Virtual Reality）技術や、実空間上に付加的な情報を重畳表示してユーザに提示するＡＲ（Augmented Reality）技術が知られている。【０００３】
近年、ＶＲ技術やＡＲ技術を利用した表示装置として、ＨＭＤ（Head-Mounted Display）やＨＵＤ（Head-Up Display）などが普及している。このような表示装置において、ユーザは、視点を自由に変えて映像などのコンテンツを視聴することができる。【０００４】
一方で、例えば特許文献１には、表示領域の中で、ユーザの視線位置に合わせて文字情報を配置する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−２１５６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えばＶＲ用のＨＭＤにおいて、ユーザが、字幕などの文字列を含む映像を視聴する場合、その文字列の配置によっては、映像中のオブジェクトが文字で隠れてしまうおそれがあった。【０００７】
本技術は、このような状況に鑑みてなされたものであり、最適な位置に文字列を表示することができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の情報処理装置は、表示領域に表示されるコンテンツ画像に含まれるオブジェクトに関連するテキスト情報で表される文字列の表示を制御する制御部を備え、前記制御部は、前記表示領域に対する前記オブジェクトの位置に基づいて、前記表示領域において前記文字列が配置される配置領域を決定する。【０００９】
本技術の情報処理方法は、情報処理装置が、表示領域に表示されるコンテンツ画像に含まれるオブジェクトに関連するテキスト情報で表される文字列の表示を制御し、前記表示領域に対する前記オブジェクトの位置に基づいて、前記表示領域において前記文字列が配置される配置領域を決定する情報処理方法である。【００１０】
本技術のプログラムは、コンピュータに、表示領域に表示されるコンテンツ画像に含まれるオブジェクトに関連するテキスト情報で表される文字列の表示を制御し、前記表示領域に対する前記オブジェクトの位置に基づいて、前記表示領域において前記文字列が配置される配置領域を決定する処理を実行させるプログラムである。【００１１】
本技術においては、表示領域に表示されるコンテンツ画像に含まれるオブジェクトに関連するテキスト情報で表される文字列の表示が制御され、前記表示領域に対する前記オブジェクトの位置に基づいて、前記表示領域において前記文字列が配置される配置領域が決定される。
【発明の効果】
【００１２】
本技術によれば、最適な位置に文字列を表示することが可能となる。【００１３】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１４】
【図１】本開示に係る技術を適用したＨＭＤの外観構成を示す図である。
【図２】情報処理装置としてのＨＭＤの構成例を示すブロック図である。
【図３】ＨＭＤの機能構成例を示すブロック図である。
【図４】文字列配置処理について説明するフローチャートである。
【図５】表示領域における文字列の配置について説明する図である。
【図６】表示領域における文字列の配置について説明する図である。
【図７】第１の表示例について説明する図である。
【図８】第１の表示例について説明する図である。
【図９】第１の表示例について説明する図である。
【図１０】第２の表示例について説明する図である。
【図１１】第２の表示例について説明する図である。
【図１２】第３の表示例について説明する図である。
【図１３】第３の表示例について説明する図である。
【図１４】第４の表示例について説明する図である。
【図１５】第４の表示例について説明する図である。
【図１６】ＨＭＤの他の機能構成例を示すブロック図である。
【図１７】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
【００１６】
１．本開示に係る技術を適用したＨＭＤの構成と動作
２．第１の表示例（視野の移動に応じた表示例）
３．第２の表示例（オブジェクトの移動に応じた表示例）
４．第３の表示例（表示領域外に位置するオブジェクトに応じた表示例）
５．第４の表示例（表示の切り替わり方の例）
６．その他
【００１７】
＜１．本開示に係る技術を適用したＨＭＤの構成と動作＞
（ＨＭＤの外観構成）
図１は、本開示に係る技術を適用したＨＭＤの外観構成を示す図である。
【００１８】
図１には、ユーザＵ１の頭部に装着されているＨＭＤ１０が示されている。
【００１９】
ＨＭＤ１０は、ＶＲ用の表示装置として構成され、非透過型のディスプレイ１１を備える。ディスプレイ１１には、ユーザにより視聴することが選択された映像（以下、コンテンツ画像ともいう）が表示される。
【００２０】
コンテンツ画像が静止画像の場合、コンテンツ画像に含まれるオブジェクト（物や人物など）は、ユーザＵ１が視野を移動することによってディスプレイ１１の表示領域に対する位置を変える。
【００２１】
コンテンツ画像が動画像の場合、コンテンツ画像に含まれるオブジェクトは、時間に応じて表示領域に対する位置を変えたり、ユーザＵ１が視野を移動することによってディスプレイ１１の表示領域に対する位置を変える。
【００２２】
ＶＲ空間内でのユーザＵ１の視野（目に見える範囲）は、ＨＭＤ１０を頭部に装着したユーザＵ１が、頭部の向きを変えることで移動する。一方、ユーザＵ１が、頭部の向きを変えることなく、その視線を移動させただけでは、ＶＲ空間内でのユーザＵ１の視野は移動しない。
【００２３】
図１の例では、ディスプレイ１１に、オブジェクトとして「山」を含むコンテンツ画像が表示されている。
【００２４】
このコンテンツ画像に、「山」に関連する文字列として、「山」について説明する字幕（キャプション）が重畳表示される場合、その読みやすさから、表示領域の中心付近に字幕が配置されることが好ましい。しかしながら、表示領域の中心に「山」が位置する場合、その「山」が文字で隠れてしまうおそれがある。
【００２５】
そこで、コンテンツ画像の「山」に対して、字幕が表示される領域の位置やサイズを固定することもできる。しかしながら、ユーザが視野を移動したり、字幕としてリアルタイムで表示される文字の数が変化するなどした場合、字幕が表示される領域の位置やサイズが固定されていると、必要な情報がユーザに伝わらない可能性がある。
【００２６】
これに対して、本開示に係る技術を適用したＨＭＤ１０は、コンテンツ画像において、最適な位置に文字列を表示するように構成される。
【００２７】
（情報処理装置としてのＨＭＤの構成例）
図２は、本開示に係る技術を適用した情報処理装置としてのＨＭＤ１０の構成例を示すブロック図である。
【００２８】
図２のＨＭＤ１０は、ＣＰＵ（Central Processor Unit）２１、メモリ２２、センサ部２３、入力部２４、出力部２５、および通信部２６を備えている。これらは、バス２７を介して相互に接続されている。
【００２９】
ＣＰＵ２１は、メモリ２２に記憶されているプログラムやデータなどに従って、ＨＭＤ１０が備える各種の機能を実現するための処理を実行する。
【００３０】
メモリ２２は、半導体メモリまたはハードディスクなどの記憶媒体によって構成され、ＣＰＵ２１による処理のためのプログラムやデータを格納する。
【００３１】
センサ部２３は、イメージセンサ、マイクロフォン、ジャイロセンサ、加速度センサなどの各種のセンサ類から構成される。センサ部２３により取得された各種のセンサ情報もまた、ＣＰＵ２１による処理に用いられる。
【００３２】
入力部２４は、ボタンやキー、タッチパネルなどから構成される。出力部２５は、図１のディスプレイ１１やスピーカなどから構成される。通信部２６は、各種の通信を仲介する通信インタフェースとして構成される。
【００３３】
（ＨＭＤの機能構成例）
図３は、ＨＭＤ１０の機能構成例を示すブロック図である。
【００３４】
図３のＨＭＤ１０は、制御部５１と表示部５２を備えている。
【００３５】
制御部５１は、映像情報６１を取得し、その映像情報６１で表される映像（コンテンツ画像）を、図１のディスプレイ１１に対応する表示部５２に表示する。映像情報６１は、図２のメモリ２２に記録されているものとするが、通信部２６を介して、ネットワーク上のサーバなどから取得されるようにしてもよい。
【００３６】
また、制御部５１は、テキスト情報６２を取得し、そのテキスト情報６２で表される文字列を、表示部５２の表示領域に表示されるコンテンツ画像に重畳表示する。このとき、制御部５１は、表示領域に対する、コンテンツ画像に含まれるオブジェクトの位置に基づいて、その表示領域において文字列が配置される配置領域を決定する。
【００３７】
テキスト情報６２は、その映像情報６１で表されるコンテンツ画像に含まれるオブジェクトに関連する情報とされ、映像情報６１と対応付けられてメモリ２２に記録されている。例えば、オブジェクトが物体である場合、テキスト情報６２で表される文字列は、その物体を説明するような文章とされる。オブジェクトが人物である場合、テキスト情報６２で表される文字列は、その人物の会話（発話内容）を示す文章とされる。これ以外にも、テキスト情報６２で表される文字列は、字幕として表示される、コンテンツ画像のタイトルやテロップ、ナレーションを示す文字列であってもよい。
【００３８】
さらに、制御部５１は、図２のセンサ部２３により、センサ情報として取得されたヘッドトラッキング情報に基づいて、表示部５２の表示領域へのコンテンツ画像と文字列の表示を制御する。ヘッドトラッキング情報は、ＨＭＤ１０を装着しているユーザＵ１の頭部の向きを表す情報である。
【００３９】
制御部５１は、ユーザインタフェース制御部７１、配置領域決定部７２、再生制御部７３、およびレンダリング部７４から構成される。
【００４０】
制御部５１を構成する各機能ブロックは、ハードウエア的には、ＨＭＤ１０が有するＣＰＵ２１、メモリ２２、図示せぬその他のＬＳＩ（Large Scale Integration）で構成することができる。また、これらの機能ブロックは、ソフトウエア的には、メモリ２２にロードされたプログラムなどによって実現することもできる。
【００４１】
ユーザインタフェース制御部７１は、センサ部２３からのヘッドトラッキング情報に基づいて、表示領域に表示されるコンテンツ画像の画角を表す画角情報を生成する。コンテンツ画像の画角は、ＶＲ空間内でのユーザＵ１の視野を決めるものであり、ユーザＵ１の頭部の向き（角度）に応じて変化する。生成された画角情報は、配置領域決定部７２と再生制御部７３に供給される。
【００４２】
配置領域決定部７２は、映像情報６１、テキスト情報６２、そしてユーザインタフェース制御部７１からの画角情報に基づいて、表示領域において、テキスト情報６２で表される文字列が配置される配置領域の位置と形状を決定する。
【００４３】
テキスト情報６２には、表示領域に表示される文字列を示す情報や、文字のフォントを示す情報の他、表示領域において配置領域に決定することが可能な位置を示す位置情報が含まれている。さらに、テキスト情報６２には、位置情報（配置領域に決定することが可能な位置）の優先度を示す優先度情報が含まれている。
【００４４】
すなわち、配置領域決定部７２は、テキスト情報６２に含まれる位置情報と優先度情報を用いて、映像情報６１で表されるコンテンツ画像においてより最適な配置領域の位置を求める。
【００４５】
ここでいう、より最適な配置領域の位置とは、例えば、コンテンツ画像の中で隠したくない対象（オブジェクト）を避けた位置や、会話（発話）をしている人物の近くの位置、表示領域においてユーザが文字列を視認できる（文字を読める）位置などとされる。
【００４６】
さらに、配置領域決定部７２は、表示領域における、決定された配置領域の位置とオブジェクトとの位置関係に基づいて、配置領域の形状を決定する。
【００４７】
以上のようにして位置と形状が決定された配置領域を示す情報は、文字列を示す情報とともに、再生制御部７３に供給される。
【００４８】
再生制御部７３は、映像情報６１で表されるコンテンツ画像をデコードする。デコードされたコンテンツ画像は、レンダリング部７４に供給される。
【００４９】
ここで、コンテンツ画像のサイズが、表示領域のサイズより大きい場合、再生制御部７３は、ユーザインタフェース制御部７１からの画角情報に基づいて、デコードされたコンテンツ画像から、表示部５２の表示領域に表示される範囲の画像を切り出す。
【００５０】
また、再生制御部７３は、デコードされたコンテンツ画像をレンダリング部７４に供給する際、そのコンテンツ画像と、配置領域決定部７２からの配置領域を示す情報および文字列を示す情報とを同期させる。
【００５１】
レンダリング部７４は、再生制御部７３からのコンテンツ画像と、配置領域を示す情報および文字列を示す情報とに基づいて、配置領域に文字列が配置（重畳表示）されたコンテンツ画像を生成して、表示部５２の表示領域に表示させる。
【００５２】
このような構成により、コンテンツ画像において、最適な位置に文字列が表示されるようになる。
【００５３】
（文字列配置処理）
ここで、図４のフローチャートを参照して、ＨＭＤ１０による文字列配置処理について説明する。図４の処理は、コンテンツ画像が表示されている間、繰り返し実行される。コンテンツ画像においては、ユーザが視野を移動することによって、また、時間に応じて、表示部５２の表示領域に対するオブジェクトの位置が変化するものとする。
【００５４】
ステップＳ１１において、配置領域決定部７２は、コンテンツ画像におけるメインオブジェクトを説明する文字列（例えば字幕）が、メインオブジェクトに重ならないか否かを判定する。メインオブジェクトは、コンテンツ画像に含まれるオブジェクトの中で最も注目するべきオブジェクトとされる。
【００５５】
ステップＳ１１において、文字列とメインオブジェクトが重ならないと判定された場合、処理はステップＳ１２に進み、配置領域決定部７２は、その文字列が、表示領域における中心視野近傍に配置されるか否かを判定する。
【００５６】
一般に、人間の目は、その視野全体の周辺ほど分解能が低く、文字などの細かい情報を認識できない。したがって、表示部５２の表示領域においては、文字などの細かい情報を、ユーザの視野中心を基準とした一定の範囲に配置する必要がある。そこで、表示領域の中心を基準とした一定の範囲を、ユーザが文字を読むことができる中心視野と定めることとする。また、表示領域における中心視野の外側の範囲を、周辺視野と定めることとする。
【００５７】
ステップＳ１２において、文字列が中心視野近傍に配置されると判定された場合、ステップＳ１３はスキップされ、処理はステップＳ１４に進む。
【００５８】
ステップＳ１４において、再生制御部７３およびレンダリング部７４は、表示領域に表示されるコンテンツ画像において、中心視野近傍を配置領域として文字列を配置する。
【００５９】
一方、ステップＳ１１において、文字列とメインオブジェクトが重なると判定された場合、処理はステップＳ１３に進み、配置領域決定部７２は、文字列がメインオブジェクトと重ならないように、配置領域を決定する。
【００６０】
さらに、ステップＳ１２において、字幕が中心視野近傍に配置されないと判定された場合にも、処理はステップＳ１３に進み、配置領域決定部７２は、文字列が中心視野近傍に配置されるように、配置領域を決定する。ここでは、配置領域は、中心視野の内側に配置されるようにしてもよいし、配置領域の一部が中心視野にかかるように配置されてもよい。
【００６１】
ステップＳ１３の後、処理はステップＳ１４に進み、再生制御部７３およびレンダリング部７４は、表示領域に表示されるコンテンツ画像において、決定された配置領域に文字列を配置する。
【００６２】
これにより、例えば図５に示されるように、表示領域ＤＡ内でのオブジェクト９０の移動により、オブジェクト９０に、文字列が表示される吹き出し９１（配置領域）が重なるような場合、オブジェクト９０を避けるように、吹き出し９１が移動して表示される。
【００６３】
また、図６に示されるように、表示領域ＤＡ内でのオブジェクト９０の移動により、吹き出し９１が、表示領域ＤＡにおける中心視野ＶＡから外れた位置に配置されるような場合、中心視野ＶＡ近傍に、吹き出し９１が移動して表示される。
【００６４】
以上の処理によれば、表示領域に対するオブジェクトの位置に基づいて、配置領域が決定されるので、そのオブジェクトが文字で隠れたり、必要な情報がユーザに伝わらなかったりすることなく、最適な位置に文字列を表示することが可能となる。
【００６５】
以下においては、上述したＨＭＤ１０におけるコンテンツ画像の具体的な表示例について説明する。
【００６６】
＜２．第１の表示例＞
ＨＭＤ１０を装着したユーザが、コンテンツ画像に対して視野を移動するべく、頭部の向きを変えた場合、表示領域内においてオブジェクトが移動する。この場合の表示例について説明する。
【００６７】
（従来例１）
図７は、従来のＨＭＤでのコンテンツ画像の表示例について説明する図である。
【００６８】
図７のＡには、表示領域ＤＡに、オブジェクトとして「山」を含むコンテンツ画像が表示されている様子が示されている。
【００６９】
図７のＡにおいては、表示領域ＤＡの中心視野ＶＡと、オブジェクトが存在する領域（以下、オブジェクト領域という）ＯＡが、それぞれ破線で示されている。オブジェクト領域ＯＡは、字幕などの文字列を重ねたくない領域となる。オブジェクト領域ＯＡ（オブジェクトである「山」）は、表示領域ＤＡ内で、その中心より右側に表示されている。
【００７０】
また、図７のＡにおいては、表示領域ＤＡにおいて、オブジェクト領域ＯＡのオブジェクトを説明する文字列「富士山は、静岡県と山梨県に跨る活火山である」が表示された吹き出し１１１が表示されている。吹き出し１１１は、オブジェクト領域ＯＡの左側で、オブジェクト領域ＯＡを避けた位置で、かつ、中心視野ＶＡにかかる位置に配置されている。
【００７１】
図７の例では、吹き出し１１１の位置は、表示領域ＤＡ内で固定されているものとする。
【００７２】
図７のＡの状態から、ユーザが視野を移動するべく、頭部を右方向に回転させると、オブジェクト領域ＯＡは、表示領域ＤＡ内で左方向に移動し、図７のＢに示されるように、表示領域ＤＡの中心に位置する。
【００７３】
このとき、吹き出し１１１の位置は固定されているので、吹き出し１１１が、オブジェクト領域ＯＡに重なってしまい、オブジェクトである「山」が吹き出し１１１に隠れてしまう。
【００７４】
（従来例２）
図８もまた、従来のＨＭＤでのコンテンツ画像の表示例について説明する図である。
【００７５】
図８のＡは、図７のＡと同様の状態を示している。
【００７６】
図８の例では、吹き出し１１１の位置は、表示領域ＤＡ内でユーザの視野の移動に合わせて移動するものとする。
【００７７】
図８のＡの状態から、ユーザが視野を移動するべく、頭部を右方向に回転させると、オブジェクト領域ＯＡは、表示領域ＤＡ内で左方向に移動し、図８のＢに示されるように、表示領域ＤＡの中心に位置する。
【００７８】
このとき、吹き出し１１１の位置は、表示領域ＤＡ内でユーザの視野の移動に合わせて移動することで、表示領域ＤＡの左端に寄ってしまう。すなわち、吹き出し１１１がユーザの周辺視野に位置するようになり、文字が読み難くなる。
【００７９】
（本技術の例）
図９は、本技術のＨＭＤ１０でのコンテンツ画像の表示例について説明する図である。
【００８０】
図９のＡは、図７のＡと同様の状態を示している。
【００８１】
図９のＡの状態から、ユーザが視野を移動するべく、頭部を右方向に回転させると、オブジェクト領域ＯＡは、表示領域ＤＡ内で左方向に移動し、図９のＢに示されるように、表示領域ＤＡの中心に位置する。
【００８２】
このとき、吹き出し１１１（配置領域）は、オブジェクト領域ＯＡを避けるように、かつ、ユーザの中心視野により近接するように、オブジェクト領域ＯＡの下側に配置されるように移動する。
【００８３】
また、吹き出し１１１の形状は、オブジェクト領域ＯＡの位置に応じて変わるようになされている。例えば、オブジェクト領域ＯＡが、ユーザの中心視野近傍に位置した場合、オブジェクト領域ＯＡを避けるように、吹き出し１１１の形状が変わるようになされている。
【００８４】
図９のＢにおいては、吹き出し１１１の形状は、図９のＡの状態より横長の矩形状に変化しており、その形状に応じて、吹き出し１１１に表示される文章（配置領域に配置される文字列）の行数も３行から２行に変わっている。
【００８５】
図９のＢの状態から、ユーザが視野を移動するべく、頭部を右方向にさらに回転させると、オブジェクト領域ＯＡは、表示領域ＤＡ内でさらに左方向に移動し、図９のＣに示されるように、表示領域ＤＡ内の中心より左側に位置する。
【００８６】
このとき、吹き出し１１１は、オブジェクト領域ＯＡの右側で、オブジェクト領域ＯＡを避けた位置で、かつ、中心視野ＶＡにかかる位置に配置されるように移動する。
【００８７】
また、吹き出し１１１の形状は、図９のＢの状態からＡの状態と同様の形状に変化しており、その形状に応じて、吹き出し１１１に表示される文章の行数も２行から３行に変わっている。
【００８８】
すなわち、図９の例では、表示領域ＤＡ内において、オブジェクト領域ＯＡが右から左へと移動する方向とは逆方向、すなわち、左から右へ、オブジェクト領域ＯＡに対する吹き出し１１１の位置が移動する。
【００８９】
このように、ユーザが頭部の向きを変えることで、表示領域内においてオブジェクトが移動するような場合であっても、オブジェクトが文字で隠れたり、必要な情報がユーザに伝わらなかったりすることなく、最適な位置に文字列を表示することが可能となる。
【００９０】
なお、図９の例に限らず、オブジェクト領域ＯＡの移動方向とは逆方向に、吹き出し１１１（配置領域）の位置を移動させることができる。例えば、表示領域ＤＡ内において、オブジェクト領域ＯＡが左から右へ移動する場合には、配置領域の位置を、右から左へ移動させるようにする。また、表示領域ＤＡ内において、オブジェクト領域ＯＡが上から下へ移動する場合には、配置領域の位置を、下から上へ移動させるようにしてもよい。
【００９１】
＜３．第２の表示例＞
コンテンツ画像（映像）が、出演する人物がオブジェクトとなるドラマなどである場合には、表示領域内においてオブジェクトが移動する。この場合の表示例について説明する。
【００９２】
（従来例）
図１０は、従来のＨＭＤでのコンテンツ画像の表示例について説明する図である。
【００９３】
図１０のＡには、表示領域ＤＡに、コンテンツ画像として、オブジェクトとして２人の人物Ｍ１，Ｍ２が登場するドラマの１シーンが表示されている様子が示されている。
【００９４】
図１０のＡにおいては、表示領域ＤＡの中心付近に人物Ｍ１が表示され、その人物Ｍ１の左側に人物Ｍ２が表示される。
【００９５】
また、図１０のＡにおいては、表示領域ＤＡにおいて、人物Ｍ１の会話を表す文章「彼女はいつも遅刻するんだ」が表示された吹き出し１３１が表示されている。吹き出し１３１は、人物Ｍ１の右側に配置されている。
【００９６】
図１０の例では、吹き出し１３１の位置は、表示領域ＤＡ内で固定されているものとする。
【００９７】
図１０のＡの状態から、表示領域ＤＡ外から表示領域ＤＡ内へ、オブジェクトとしての人物Ｆ１が人物Ｍ１に近づくようにして移動した場合、図１０のＢに示されるように、人物Ｆ１が人物Ｍ１の右側に位置する。
【００９８】
このとき、吹き出し１３１の位置は固定されているので、吹き出し１３１が、人物Ｆ１に重なってしまい、オブジェクトである人物Ｆ１の顔が吹き出し１３１に隠れてしまう。その結果、人物Ｆ１の顔の表情が見えなくなってしまう。
【００９９】
（本技術の例）
図１１は、本技術のＨＭＤ１０でのコンテンツ画像の表示例について説明する図である。
【０１００】
図１１のＡは、図１０のＡと同様の状態を示している。
【０１０１】
図１１のＡの状態から、表示領域ＤＡ外から表示領域ＤＡ内へ、オブジェクトとしての人物Ｆ１が人物Ｍ１に近づくようにして移動した場合、図１１のＢに示されるように、人物Ｆ１が人物Ｍ１の右側に位置する。
【０１０２】
このとき、吹き出し１３１は、人物Ｆ１の領域（オブジェクト領域ＯＡ）、特に人物Ｆ１の顔を避けるように、かつ、ユーザの中心視野ＶＡにかかるように、人物Ｍ１の上側に配置されるように移動する。
【０１０３】
このように、表示領域外から表示領域内へオブジェクト（人物）が移動してくるような場合であっても、オブジェクトが文字で隠れることなく、最適な位置に文字列を表示することが可能となる。
【０１０４】
＜４．第３の表示例＞
コンテンツ画像（映像）が、出演する人物がオブジェクトとなるドラマなどである場合、ユーザの視野によっては、一部の人物が表示領域の外側に位置する可能性がある。この場合の表示例について説明する。
【０１０５】
（従来例）
図１２は、従来のＨＭＤでのコンテンツ画像の表示例について説明する図である。
【０１０６】
図１２のＡには、テレビジョン受像機の画面に、３人の人物Ｍ１，Ｍ２，Ｆ１が登場するドラマの１シーンが表示されている様子が示されている。
【０１０７】
図１２のＡにおいては、画面の中心付近に人物Ｍ１が表示され、その人物Ｍ１の左側に人物Ｍ２が表示される。さらに、人物Ｍ１の右側の離れた位置に、人物Ｆ１が表示される。
【０１０８】
図１２のＡにおいては、人物Ｍ１が「彼女はいつも遅刻するんだ」という発話をし、人物Ｆ１が「そんなことないわ！ないわよ・・・」という発話をしている。
【０１０９】
図１２のＢは、図１２のＡに示されるシーンが、ＨＭＤの表示領域に表示される様子を示している。
【０１１０】
このような映像をＨＭＤで視聴する際、映像のサイズがＨＭＤの表示領域のサイズより大きい場合、ユーザの視野（頭部の向き）によっては、図１２のＢに示されるように、人物Ｆ１が表示領域ＤＡの外側に位置することになる。
【０１１１】
図１２のＢにおいては、表示領域ＤＡにおいて、人物Ｍ１の会話を表す文章「彼女はいつも遅刻するんだ」が表示された吹き出し１５１が、人物Ｍ１の右上に表示されている。また、本来であれば、表示領域ＤＡにおいて、人物Ｆ１の会話を表す文章「そんなことないわ！ないわよ・・・」が表示された吹き出し１５２が表示されるはずであるが、人物Ｆ１が表示領域ＤＡの外側に位置しているため、吹き出し１５２は表示されない。
【０１１２】
このように、ユーザの視野によっては、一部の人物やその会話が見えなくなり、ドラマの展開が理解し難くなるおそれがある。
【０１１３】
（本技術の例）
図１３は、本技術のＨＭＤ１０でのコンテンツ画像の表示例について説明する図である。
【０１１４】
図１３のＡは、図１２のＡと同様のドラマの１シーンを示している。
【０１１５】
図１３のＢは、図１３のＡに示されるシーンが、本技術のＨＭＤ１０の表示領域ＤＡに表示される様子を示している。
【０１１６】
図１３のＢにおいても、ユーザの視野（頭部の向き）によって、人物Ｆ１が表示領域ＤＡの外側に位置することになる。
【０１１７】
しかしながら、図１３の例では、表示領域ＤＡにおいて、人物Ｆ１の会話を表す吹き出し１５２と、人物Ｆ１を含む領域を円形状に切り出して縮小した縮小オブジェクト１６１とが表示される。このとき、表示領域ＤＡにおいて、人物Ｍ１の会話を表す吹き出し１５１は、吹き出し１５２が表示される領域を確保するように、人物Ｍ１の真上に移動して表示されるようにする。
【０１１８】
これにより、表示領域外に位置する人物やその会話を見逃すことなく、ドラマの展開を理解しやすくすることができる。
【０１１９】
このように、ユーザの視野によって、一部のオブジェクトが表示領域外に位置するような場合であっても、必要な情報がユーザに伝わらなくなることなく、最適な位置に文字列を表示することが可能となる。
【０１２０】
また、図１３の例によれば、ユーザに、表示領域ＤＡの右側に人物Ｆ１がいることを把握させ、視野を右側に移動させる（頭部を右方向に回転させる）ように誘導することができる。
【０１２１】
＜５．第４の表示例＞
上述したように、表示領域外にオブジェクトが位置するような場合には、そのオブジェクトについての文字列や縮小オブジェクトを、表示領域内に表示することで、ユーザの視野を誘導することができる。
【０１２２】
図１４は、表示領域外のオブジェクトに視野を誘導する例を示している。
【０１２３】
図１４のＡは、図１３のＢと同様の状態を示している。
【０１２４】
図１４のＡの状態から、ユーザが視野を移動するべく、頭部を右方向に回転させると、人物Ｍ１，Ｍ２は、表示領域ＤＡ内で左方向に移動し、図１４のＢに示されるように、人物Ｍ１は表示領域ＤＡの左端に、人物Ｍ２はその外側（左側）に位置する。また、図１４のＢにおいては、吹き出し１５２および縮小オブジェクト１６１とともに、図１４のＡでは表示領域ＤＡの外側（右側）に位置していた人物Ｆ１が、表示領域ＤＡの中心付近に位置する。
【０１２５】
その後、表示領域ＤＡの表示は、図１４のＢの状態からＣの状態へと一瞬で切り替わる。
【０１２６】
具体的には、表示領域ＤＡ内での人物Ｍ１の移動に伴い、図１４のＢの状態では表示領域ＤＡから外れかけていた吹き出し１５１が、表示領域ＤＡ内で右方向に移動する。また、図１４のＢの状態で表示されていた縮小オブジェクト１６１は消え、人物Ｆ１の会話を表す吹き出し１５２が、表示領域ＤＡ内で右方向に移動する。
【０１２７】
また、表示領域ＤＡの表示が、図１４のＢの状態からＣの状態へと徐々に切り替わるようにしてもよい。
【０１２８】
図１５は、図１４のＢの状態からＣの状態への切り替わり方の例を示している。
【０１２９】
図１５のＡの状態は、図１４のＢの状態に対応し、図１５のＣの状態は、図１４のＣの状態に対応する。
【０１３０】
すなわち、図１５のＡの状態からＣの状態へ切り替わる際、Ｂの状態に示されるように、吹き出し１５１および吹き出し１５２が、表示領域ＤＡ内で右方向に移動する様子が、アニメーション表示されるようにする。また、縮小オブジェクト１６１が、そのサイズを小さくしながら、人物Ｆ１の背景へと隠れる様子がアニメーション表示されるようにする。
【０１３１】
このような表示の切り替わり方によれば、ユーザが視野を急に変えた場合であっても、表示内容がどのように変化したかを理解することが容易になる。
【０１３２】
＜６．その他＞
（ＨＭＤの他の機能構成例）
図１６は、上述したＨＭＤ１０の他の機能構成例を示すブロック図である。
【０１３３】
図１６のＨＭＤ１０は、図３のＨＭＤ１０の構成に加えて、制御部５１に映像解析部２１１が設けられている。
【０１３４】
映像解析部２１１は、映像情報６１を解析することで、人物などの、文字列で隠したくない対象（オブジェクト）を検出し、検出されたオブジェクトを示すオブジェクト情報を、配置領域決定部７２に供給する。
【０１３５】
この場合、配置領域決定部７２は、テキスト情報６２、ユーザインタフェース制御部７１からの画角情報、そして映像解析部２１１からのオブジェクト情報に基づいて、表示領域における配置領域の位置と形状を決定する。
【０１３６】
このような構成によっても、コンテンツ画像において、最適な位置に文字列が表示されるようになる。
【０１３７】
以上においては、テキスト情報６２は、映像情報６１に対応付けられて用意されるものとして説明してきたが、それぞれ別個に用意されるようにしてもよい。
【０１３８】
この場合、テキスト情報６２で表される文字列を、リアルタイムな映像に重畳表示するときには、テキスト情報６２とオブジェクトとの紐づけをあらかじめ行うようにする。これにより、文字列が配置される配置領域の決定に要する時間を短縮することができる。
【０１３９】
また、以上においては、本技術をＶＲ用の表示装置に適用した例について説明してきたが、本技術をＡＲ用の表示装置に適用してもよい。具体的には、表示領域に対する、実空間上の実オブジェクトの位置に基づいて、表示領域における配置領域を決定するようにしてもよい。
【０１４０】
（コンピュータの構成例）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１４１】
図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１４２】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１４３】
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、およびドライブ５１０が接続されている。
【０１４４】
入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０１４５】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５およびバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４６】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１４７】
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
【０１４８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４９】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５０】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１５１】
さらに、本技術は以下のような構成をとることができる。
（１）
表示領域に表示されるコンテンツ画像に含まれるオブジェクトに関連するテキスト情報で表される文字列の表示を制御する制御部
を備え、
前記制御部は、前記表示領域に対する前記オブジェクトの位置に基づいて、前記表示領域において前記文字列が配置される配置領域を決定する
情報処理装置。
（２）
前記制御部は、前記オブジェクトの領域を避けるように、前記配置領域を決定する
（１）に記載の情報処理装置。
（３）
前記制御部は、前記表示領域におけるユーザの中心視野近傍に、前記配置領域を決定する
（１）または（２）に記載の情報処理装置。
（４）
前記制御部は、前記表示領域内における前記オブジェクトの移動に応じて、前記配置領域の位置を移動する
（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記制御部は、ユーザの頭の向きの変化に応じて、前記配置領域の位置を移動する
（４）に記載の情報処理装置。
（６）
前記制御部は、前記表示領域内において、前記オブジェクトの移動方向とは逆方向に、前記オブジェクトに対する前記配置領域の位置を移動する
（４）または（５）に記載の情報処理装置。
（７）
前記制御部は、前記表示領域内を移動する前記オブジェクトの位置に応じて、前記配置領域の形状を変える
（４）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記制御部は、前記オブジェクトが前記表示領域におけるユーザの中心視野近傍に位置した場合、前記オブジェクトの領域を避けるように、前記配置領域の形状を変える
（７）に記載の情報処理装置。
（９）
前記制御部は、前記配置領域の形状に応じて、前記配置領域に配置される前記文字列の行数を変える
（７）または（８）に記載の情報処理装置。
（１０）
前記制御部は、前記表示領域内における第１のオブジェクトの移動に応じて、第２のオブジェクトについての前記配置領域の位置を移動する
（４）に記載の情報処理装置。
（１１）
前記制御部は、前記第１のオブジェクトが人物の場合、前記人物の少なくとも顔の領域を避けるように、前記第２のオブジェクトについての前記配置領域の位置を移動する
（１０）に記載の情報処理装置。
（１２）
前記制御部は、前記コンテンツ画像のサイズが、前記表示領域のサイズより大きい場合、前記表示領域内に前記配置領域を移動する
（４）に記載の情報処理装置。
（１３）
前記制御部は、前記表示領域外に前記オブジェクトが位置する場合、前記表示領域内に前記配置領域を移動する
（１２）に記載の情報処理装置。
（１４）
前記制御部は、前記表示領域内に決定された前記配置領域の近傍に、前記表示領域外に位置する前記オブジェクトを縮小した縮小オブジェクトを表示する
（１３）に記載の情報処理装置。
（１５）
前記制御部は、前記表示領域外から前記表示領域内への前記オブジェクトの移動に伴って、前記表示領域内での前記配置領域の位置の移動をアニメーション表示する
（１３）または（１４）に記載の情報処理装置。
（１６）
前記制御部は、前記配置領域に、前記文字列が表示される吹き出しを表示する
（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
前記テキスト情報は、前記表示領域において前記配置領域に決定することが可能な位置を示す位置情報を含み、
前記制御部は、前記位置情報を用いて、前記配置領域を決定する
（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
前記テキスト情報は、前記配置領域に決定することが可能な位置の優先度を示す優先度情報をさらに含み、
前記制御部は、前記位置情報と前記優先度情報を用いて、前記配置領域を決定する
（１７）に記載の情報処理装置。
（１９）
情報処理装置が、
表示領域に表示されるコンテンツ画像に含まれるオブジェクトに関連するテキスト情報で表される文字列の表示を制御し、
前記表示領域に対する前記オブジェクトの位置に基づいて、前記表示領域において前記文字列が配置される配置領域を決定する
情報処理方法。
（２０）
コンピュータに、
表示領域に表示されるコンテンツ画像に含まれるオブジェクトに関連するテキスト情報で表される文字列の表示を制御し、
前記表示領域に対する前記オブジェクトの位置に基づいて、前記表示領域において前記文字列が配置される配置領域を決定する
処理を実行させるプログラム。
【符号の説明】
【０１５２】
１０  ＨＭＤ，  ５１  制御部，  ５２  表示部，  ６１  映像情報，  ６２  テキスト情報，  ７１  ユーザインタフェース制御部，  ７２  配置領域決定部，  ７３  再生制御部，  ７４  レンダリング部，  ２１１  映像解析部
【図１】
2019181488.tif 000003
【図２】
2019181488.tif 000004
【図３】
2019181488.tif 000005
【図４】
2019181488.tif 000006
【図５】
2019181488.tif 000007
【図６】
2019181488.tif 000008
【図７】
2019181488.tif 000009
【図８】
2019181488.tif 000010
【図９】
2019181488.tif 000011
【図１０】
2019181488.tif 000012
【図１１】
2019181488.tif 000013
【図１２】
2019181488.tif 000014
【図１３】
2019181488.tif 000015
【図１４】
2019181488.tif 000016
【図１５】
2019181488.tif 000017
【図１６】
2019181488.tif 000018
【図１７】
2019181488.tif 000019
【国際調査報告】
2019181488.tif 000020
2019181488.tif 000021
2019181488.tif 000022
2019181488.tif 000023