(57)【要約】複数の表示装置に映像を表示させる場合に、状況に応じて表示モードを切り替えることができる情報処理装置を提供する。第１ユーザーが閲覧する第１表示装置、及び第２ユーザーが閲覧する第２表示装置のそれぞれに表示させる映像を描画するプログラムを実行し、両方の表示装置に表示させる共通映像を描画する共通表示モードと、第１表示装置に表示させる第１映像、及び第２表示装置に表示させる第２映像の二つの映像を描画する個別表示モードとを、当該プログラムの処理内容に応じて切り替え、描画される映像を第１表示装置、及び第２表示装置に表示させる情報処理装置である。
2017056597.tif 000002
【特許請求の範囲】
【請求項１】
第１ユーザーが閲覧する第１表示装置、及び、第２ユーザーが閲覧する第２表示装置と接続される情報処理装置であって、
前記第１表示装置、及び前記第２表示装置のそれぞれに表示させる映像を描画するプログラムを実行し、前記第１表示装置、及び前記第２表示装置の両方に表示させる共通映像を描画する共通表示モードと、前記第１表示装置に表示させる第１映像、及び前記第２表示装置に表示させる第２映像の二つの映像を描画する個別表示モードとを、前記プログラムの処理内容に応じて切り替えるプログラム実行部と、
前記プログラム実行部が描画する映像を前記第１表示装置、及び前記第２表示装置に表示させる表示制御部と、
を含むことを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
前記プログラム実行部が描画する映像とは別の追加映像を描画する追加映像描画部をさらに含み、
前記表示制御部は、前記共通表示モードでは、前記共通映像と前記追加映像とを合成した合成映像を前記第１表示装置及び前記第２表示装置の両方に表示させ、前記個別表示モードでは、前記第１映像と前記追加映像とを合成した合成映像を前記第１表示装置に表示させるとともに、前記第２映像を前記第２表示装置に表示させる
ことを特徴とする情報処理装置。
【請求項３】
請求項２に記載の情報処理装置において、
前記追加映像描画部は、前記追加映像を描画する際に、前記プログラム実行部とは独立に前記個別表示モードから前記共通表示モードへの切り替えを行い、
前記表示制御部は、前記プログラム実行部が前記第１映像及び前記第２映像の二つの映像を描画中に前記追加映像描画部が前記共通表示モードへの切り替えを行った場合、前記第１映像と前記追加映像とを合成した合成映像を前記第１表示装置及び前記第２表示装置の両方に表示させる
ことを特徴とする情報処理装置。
【請求項４】
請求項３に記載の情報処理装置において、
前記追加映像描画部は、前記第１ユーザー及び前記第２ユーザーのいずれかからの要求に応じて前記追加映像を描画し、前記第２ユーザーからの要求に応じて前記追加映像を描画する場合に、前記共通表示モードへの切り替えを行う
ことを特徴とする情報処理装置。
【請求項５】
請求項４に記載の情報処理装置において、
前記追加映像描画部は、前記第１ユーザーからの要求に応じて前記追加映像を描画する場合、背景領域が透明な追加映像を描画し、前記第２ユーザーからの要求に応じて前記追加映像を描画する場合、背景領域が塗りつぶされた追加映像を描画する
ことを特徴とする情報処理装置。
【請求項６】
請求項４に記載の情報処理装置において、
前記第１表示装置は、ユーザーが頭部に装着して使用する表示装置であって、
前記表示制御部は、前記第１表示装置の姿勢の変化に応じて当該第１表示装置に表示させる映像を変化させるヘッドトラッキング制御を実行し、前記追加映像描画部が前記第２ユーザーからの要求に応じて前記共通表示モードへの切り替えを行う場合には、前記ヘッドトラッキング制御を中断する
ことを特徴とする情報処理装置。
【請求項７】
第１ユーザーが閲覧する第１表示装置、及び、第２ユーザーが閲覧する第２表示装置に映像を表示させる情報処理方法であって、
前記第１表示装置、及び前記第２表示装置のそれぞれに表示させる映像を描画するプログラムを実行し、前記第１表示装置、及び前記第２表示装置の両方に表示させる共通映像を描画する共通表示モードと、前記第１表示装置に表示させる第１映像、及び前記第２表示装置に表示させる第２映像の二つの映像を描画する個別表示モードとを、前記プログラムの処理内容に応じて切り替えるステップと、
前記プログラムにより描画される映像を前記第１表示装置、及び前記第２表示装置に表示させるステップと、
を含むことを特徴とする情報処理方法。
【請求項８】
第１ユーザーが閲覧する第１表示装置、及び、第２ユーザーが閲覧する第２表示装置と接続されるコンピュータを、
前記第１表示装置、及び前記第２表示装置のそれぞれに表示させる映像を描画する処理を実行し、前記第１表示装置、及び前記第２表示装置の両方に表示させる共通映像を描画する共通表示モードと、前記第１表示装置に表示させる第１映像、及び前記第２表示装置に表示させる第２映像の二つの映像を描画する個別表示モードとを、前記処理の内容に応じて切り替える描画手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の表示装置に映像を表示させる情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
複数の表示装置と接続され、そのそれぞれに映像を表示させる情報処理装置がある。複数の表示装置に映像を表示させることで、例えば複数のユーザーが同時に別の画面を見ながらゲームをプレイしたりすることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上記情報処理装置においては、表示すべき内容に応じて、多様な方法で各表示装置に映像を表示できるようにすることが望まれている。【０００４】
本発明は上記実情を考慮してなされたものであって、その目的の一つは、複数の映像表示装置に映像を表示させる場合に、状況に応じて表示モードを切り替えることができる情報処理装置、情報処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
本発明に係る情報処理装置は、第１ユーザーが閲覧する第１表示装置、及び、第２ユーザーが閲覧する第２表示装置と接続される情報処理装置であって、前記第１表示装置、及び前記第２表示装置のそれぞれに表示させる映像を描画するプログラムを実行し、前記第１表示装置、及び前記第２表示装置の両方に表示させる共通映像を描画する共通表示モードと、前記第１表示装置に表示させる第１映像、及び前記第２表示装置に表示させる第２映像の二つの映像を描画する個別表示モードとを、前記プログラムの処理内容に応じて切り替えるプログラム実行部と、前記プログラム実行部が描画する映像を前記第１表示装置、及び前記第２表示装置に表示させる表示制御部と、を含むことを特徴とする。【０００６】
また、本発明に係る情報処理方法は、第１ユーザーが閲覧する第１表示装置、及び、第２ユーザーが閲覧する第２表示装置に映像を表示させる情報処理方法であって、前記第１表示装置、及び前記第２表示装置のそれぞれに表示させる映像を描画するプログラムを実行し、前記第１表示装置、及び前記第２表示装置の両方に表示させる共通映像を描画する共通表示モードと、前記第１表示装置に表示させる第１映像、及び前記第２表示装置に表示させる第２映像の二つの映像を描画する個別表示モードとを、前記プログラムの処理内容に応じて切り替えるステップと、前記プログラムにより描画される映像を前記第１表示装置、及び前記第２表示装置に表示させるステップと、を含むことを特徴とする。【０００７】
また、本発明に係るプログラムは、第１ユーザーが閲覧する第１表示装置、及び、第２ユーザーが閲覧する第２表示装置と接続されるコンピュータを、前記第１表示装置、及び前記第２表示装置のそれぞれに表示させる映像を描画する処理を実行し、前記第１表示装置、及び前記第２表示装置の両方に表示させる共通映像を描画する共通表示モードと、前記第１表示装置に表示させる第１映像、及び前記第２表示装置に表示させる第２映像の二つの映像を描画する個別表示モードとを、前記処理の内容に応じて切り替える描画手段、として機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態に係る情報処理装置を含んだ映像表示システムの構成を示す構成ブロック図である。
【図２】本実施形態に係る情報処理装置の機能を示す機能ブロック図である。
【図３】共通映像の一例を示す図である。
【図４】追加映像の一例を示す図である。
【図５】合成映像の一例を示す図である。
【図６】合成映像の別の例を示す図である。
【図７】ヘッドトラッキング制御の実現方法の具体例を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面に基づき詳細に説明する。
【００１０】
図１は、本発明の一実施形態に係る情報処理装置１０を含む映像表示システム１の構成を示す構成ブロック図である。同図に示されるように、映像表示システム１は、情報処理装置１０と、第１操作デバイス２０ａと、第２操作デバイス２０ｂと、中継装置３０と、第１表示装置４０ａと、第２表示装置４０ｂと、を含んで構成されている。なお、以下では第１操作デバイス２０ａ及び第２操作デバイス２０ｂを総称して操作デバイス２０という。また、第１表示装置４０ａ及び第２表示装置４０ｂを総称して表示装置４０という。
【００１１】
情報処理装置１０は、表示装置４０が表示する映像を供給する装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等であってよい。図１に示されるように、情報処理装置１０は、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成される。
【００１２】
制御部１１は、ＣＰＵ等のプロセッサーを少なくとも一つ含み、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。
【００１３】
インタフェース部１３は、有線又は無線のいずれかによって第１操作デバイス２０ａ、第２操作デバイス２０ｂ、及び中継装置３０のそれぞれとの間でデータ通信を行う。情報処理装置１０は、インタフェース部１３を介して、第１操作デバイス２０ａ及び第２操作デバイス２０ｂに対するユーザーの操作入力の内容を示す信号を受信したり、第１表示装置４０ａ、及び第２表示装置４０ｂが表示すべき映像の映像信号を送信したりする。
【００１４】
特に本実施形態では、インタフェース部１３は互いに異なる通信規格に基づいてデータ通信を行う第１インタフェース１３ａ、及び第２インタフェース１３ｂを含んでいる。第１インタフェース１３ａ、及び第２インタフェース１３ｂは、いずれも中継装置３０との間でデータ通信を行う。ここでは、第１インタフェース１３ａは、ＨＤＭＩ（High-Definition Multimedia Interface：登録商標）などのように映像や音声の送信に用いられるマルチメディアインタフェースであることとする。また、第２インタフェース１３ｂは、ＵＳＢなどのように、各種のデータの送受信が可能な汎用データ通信インタフェースであることとする。
【００１５】
第１操作デバイス２０ａ及び第２操作デバイス２０ｂは、家庭用ゲーム機のコントローラ等であって、ユーザーが情報処理装置１０に対して各種の指示操作を行うために使用される。本実施形態では、第１ユーザーＵ１、及び第２ユーザーＵ２の二人が情報処理装置１０を同時に利用することとし、第１ユーザーＵ１が第１操作デバイス２０ａを、第２ユーザーＵ２が第２操作デバイス２０ｂを、それぞれ使用することとする。各操作デバイス２０に対するユーザーの操作入力の内容は、有線又は無線のいずれかにより情報処理装置１０に送信される。なお、各操作デバイス２０は情報処理装置１０の筐体表面に配置された操作ボタンやタッチパネル等を含んでもよい。
【００１６】
中継装置３０は、情報処理装置１０から供給される映像のデータを受け付けて、受け付けたデータに応じた映像信号を第１表示装置４０ａ、及び第２表示装置４０ｂのそれぞれに対して出力する。このとき中継装置３０は、供給された映像データに対して、出力先の表示装置４０の光学系によって生じる歪みを打ち消す補正処理などを実行し、補正された映像信号を出力してもよい。また、中継装置３０は、映像データ以外にも、音声データや制御信号など、情報処理装置１０と表示装置４０との間で送受信される各種の情報を中継する。
【００１７】
第１表示装置４０ａ及び第２表示装置４０ｂは、映像の送信が可能な通信インタフェースによって中継装置３０と接続されており、中継装置３０から入力される映像信号に応じた映像を表示し、ユーザーに閲覧させる。本実施形態では、第１ユーザーＵ１は第１表示装置４０ａが表示する映像を閲覧し、第２ユーザーＵ２は第２表示装置４０ｂが表示する映像を閲覧する。
【００１８】
第１表示装置４０ａと第２表示装置４０ｂは、互いに異なる方式で映像を表示するものとする。具体例として、第１表示装置４０ａは、ヘッドマウントディスプレイなどのようにユーザーが頭部に装着して使用するタイプの映像表示装置であり、第２表示装置４０ｂは、液晶表示装置などのように平板状のスクリーンに映像を表示する据え置き型の表示装置であることとする。第１表示装置４０ａは、第１ユーザーＵ１が頭部に装着した状態において、第１ユーザーＵ１の目の前に映像を表示する。これにより、第１ユーザーＵ１だけが第１表示装置４０ａの表示する映像を閲覧できる。また、第１表示装置４０ａは、装着した第１ユーザーＵ１が外界を視認できない非透過型の表示装置とする。そのため、第１ユーザーＵ１は第１表示装置４０ａの使用中には第２表示装置４０ｂの表示する映像を閲覧することはできず、第２ユーザーＵ２だけが第２表示装置４０ｂの表示する映像を閲覧できる。
【００１９】
さらに本実施形態において、情報処理装置１０は、後述するヘッドトラッキング制御を実現するために、第１表示装置４０ａの姿勢を特定するための手段を備えることとする。具体的に、例えば第１表示装置４０ａは、自身の位置や向き、動きに関する情報を計測するモーションセンサーを備える。モーションセンサーは、例えば加速度センサー、ジャイロスコープ、地磁気センサーなどであってよい。モーションセンサーの測定結果は、中継装置３０を経由して情報処理装置１０に送信される。情報処理装置１０は、モーションセンサーの測定結果を用いることで、第１表示装置４０ａの平行移動や向きの変化を計測することができる。また、第１表示装置４０ａは、このようなモーションセンサーに代えて、またはこれに加えて、第１表示装置４０ａの位置や傾きをトラッキングするための発光素子を備えてもよい。この発光素子の発する光をカメラで撮影し、その位置を解析することで、情報処理装置１０は第１表示装置４０ａの位置や傾きの変化を特定することができる。
【００２０】
以下、情報処理装置１０が実現する機能について図２を用いて説明する。図２に示すように、情報処理装置１０は、機能的に、アプリケーション実行部５１と、追加映像描画部５２と、表示制御部５３と、を含む。これらの機能は、制御部１１が記憶部１２に記憶された複数のプログラムを実行することにより実現される。これらのプログラムは、インターネット等の通信ネットワークを介して情報処理装置１０に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
【００２１】
アプリケーション実行部５１は、制御部１１がアプリケーションプログラムを実行することにより実現され、各表示装置４０が表示すべき映像の描画処理を実行する。具体的に、例えばアプリケーション実行部５１は、制御部１１がゲームのアプリケーションプログラムを実行することによって実現されてよい。この場合、アプリケーション実行部５１は、ゲームの進行状況を示すゲーム画像を描画することになる。さらに本実施形態では、アプリケーション実行部５１は、二つの表示モードのいずれかを選択し、選択した表示モードで各表示装置４０に表示させるための映像を描画することとする。二つの表示モードとは、共通表示モードと個別表示モードである。
【００２２】
共通表示モードは、二つの表示装置４０に共通の映像を表示させる表示モードである。共通表示モードの場合、アプリケーション実行部５１は一つの映像を描画すればよい。以下、共通表示モードでアプリケーション実行部５１が描画する映像を、共通映像Ｍｃという。描画された共通映像Ｍｃは、後述する表示制御部５３によって中継装置３０に送信される。中継装置３０は、必要に応じて、それぞれの表示装置４０の表示特性に合わせて第１映像Ｍ１に対して歪み補正や色補正などを行い、補正された共通映像Ｍｃの映像信号を各表示装置４０に対して出力する。これにより、第１表示装置４０ａと第２表示装置４０ｂが同じ内容の映像を表示し、第１ユーザーＵ１と第２ユーザーＵ２は同じ映像を閲覧することができる。
【００２３】
特に本実施形態では、第１表示装置４０ａは頭部装着型の表示装置なので、第１表示装置４０ａが最終的に表示するフレーム画像は、左目用画像と右目用画像とを含んでいる必要がある。そのため、例えばアプリケーション実行部５１は、共通映像Ｍｃのフレーム画像として、左目用画像と右目用画像とを含んだ画像を描画する。この場合中継装置３０は、情報処理装置１０から受信した共通映像Ｍｃのフレーム画像から、一部分を抽出することによって、第２表示装置４０ｂに表示させるフレーム画像を生成する。こうすれば、アプリケーション実行部５１が一つの共通映像Ｍｃを描画するだけで、二つの表示装置４０に互いに共通する映像を表示させることができる。また、それとは逆に、アプリケーション実行部５１は共通映像Ｍｃのフレーム画像として、第２表示装置４０ｂが表示可能な一つの画像だけを描画してもよい。この場合中継装置３０は、一つのフレーム画像に基づいて左目用画像及び右目用画像を生成し、第１表示装置４０ａに表示させる。いずれにせよ、表示特性の違いにより、共通表示モードにおいても、第１表示装置４０ａと第２表示装置４０ｂとが完全に同一の映像を表示するとは限らない。しかしながら、アプリケーション実行部５１が描画する一つのフレーム画像に基づいて各表示装置４０向けの表示用画像が生成されることで、二つの表示装置４０は内容がほぼ共通する映像を表示することになる。
【００２４】
個別表示モードは、二つの表示装置４０に互いに異なる映像を表示させる表示モードである。個別表示モードの場合、アプリケーション実行部５１は互いに異なる二つの映像を描画する。以下では、アプリケーション実行部５１が第１表示装置４０ａの表示用に描画する映像を第１映像Ｍ１といい、第２表示装置４０ｂの表示用に描画する映像を第２映像Ｍ２という。例えばアプリケーション実行部５１がマルチプレイのゲームを実現する場合、第１映像Ｍ１は第１ユーザーＵ１向けのゲーム映像であって、第２映像Ｍ２は第２ユーザーＵ２向けのゲーム映像である。ここで、第１映像Ｍ１は共通映像Ｍｃと同じ規格に基づく映像であることとする。すなわち、第１映像Ｍ１と共通映像Ｍｃとは、解像度やフレームレートなどが共通する映像となっている。一方、第２映像Ｍ２は第１映像Ｍ１とは異なる規格の映像であることとする。例えば第２映像Ｍ２は、第１映像Ｍ１よりも解像度やフレームレートの低い映像であってよい。これにより、第２映像Ｍ２の送信に必要なデータ転送量を低減することができる。
【００２５】
本実施形態では、アプリケーション実行部５１が描画する映像のフレーム画像を格納するために、第１フレームバッファＦ１、及び第２フレームバッファＦ２が記憶部１２内に確保される。共通映像Ｍｃ、及び第１映像Ｍ１のフレーム画像は、第１フレームバッファＦ１に書き込まれ、第２映像Ｍ２のフレーム画像は、第２フレームバッファＦ２に書き込まれる。前述したように、共通映像Ｍｃと第１映像Ｍ１とは同じ規格の映像であって、同時に描画されることはないので、同じ第１フレームバッファＦ１を使用できる。
【００２６】
アプリケーション実行部５１は、実行中の処理内容に応じて、共通表示モードと個別表示モードを随時切り替える。例えば複数のユーザーに共通するゲームの結果画面などを表示する際には共通表示モードを選択し、ゲームプレイ中の状況を各ユーザーに示すプレイ画面を表示する際には個別表示モードを選択する。前述したように、第１ユーザーＵ１と第２ユーザーＵ２は、自分が使用している表示装置４０に表示される映像しか閲覧できず、相手方の表示装置４０の表示内容を閲覧することはできない。そのため、例えばカードゲームにおける手札の内容のように対戦相手に見せることが好ましくない映像は、個別表示モードで表示することとする。このようにアプリケーション実行部５１が処理の実行中に処理内容に応じて表示モードを切り替えることによって、表示される映像の内容に適した態様で各ユーザーに映像を提示することができる。
【００２７】
追加映像描画部５２は、アプリケーション実行部５１が実行するアプリケーションプログラムとは別のプログラム（システムプログラム等）によって実現され、アプリケーションプログラムとは独立に、表示装置４０に表示させる別の映像を描画する。以下では追加映像描画部５２が描画する映像を追加映像Ｍａという。例えば追加映像Ｍａは、ユーザーに通知するメッセージや警告情報、メニュー画面など、情報処理装置１０の使用に関してユーザーに提示すべき各種の情報を表すシステム映像であってよい。追加映像描画部５２は、アプリケーション実行部５１による処理が実行されている間、常に追加映像Ｍａを描画するのではなく、必要に応じて追加映像Ｍａの描画を開始する。例えば追加映像描画部５２は、ユーザーに通知すべきイベント（例えば外部からのメッセージの着信など）が発生した場合や、ユーザーからシステムメニューを表示するよう要求する操作を受け付けた場合などに、追加映像Ｍａを描画する。
【００２８】
なお、本実施形態において追加映像描画部５２は、共通映像Ｍｃ及び第１映像Ｍ１と同様の規格に基づいて追加映像Ｍａを描画するものとする。追加映像Ｍａのフレーム画像は、第１フレームバッファＦ１、及び第２フレームバッファＦ２とは別の第３フレームバッファＦ３に書き込まれる。また、追加映像描画部５２は、追加映像Ｍａを描画領域の全体ではなく一部領域のみに描画する場合、それ以外の背景領域を透明にすることとする。これにより、後述するように共通映像Ｍｃや第１映像Ｍ１の前面に追加映像Ｍａを重ねて一つの映像とする合成処理が可能になる。
【００２９】
表示制御部５３は、アプリケーション実行部５１、及び追加映像描画部５２が描画した映像を表す映像信号を中継装置３０に対して出力することによって、映像を第１表示装置４０ａ、及び第２表示装置４０ｂに表示させる。なお、表示制御部５３は、追加映像描画部５２と同様に制御部１１がシステムプログラム等を実行することで実現されてよい。ここで表示制御部５３は、表示モードに応じて処理の内容を変化させる。まず表示制御部５３は、アプリケーション実行部５１からの指示を受け付けることによって、それ以降に共通表示モードと個別表示モードのどちらの表示モードで映像を表示させるかを決定する。そして、決定した表示モードを中継装置３０に通知する。その後、決定した表示モードに応じた態様で、映像信号を生成し、出力する。
【００３０】
具体的に、共通表示モードの場合、表示制御部５３は、共通映像Ｍｃと追加映像Ｍａとを合成した合成映像を生成する。そして、生成した合成映像の映像信号を第１インタフェース１３ａ経由で中継装置３０に送信する。この映像信号に基づいて、中継装置３０は第１表示装置４０ａと第２表示装置４０ｂの双方に合成映像を表示させる。これにより第１ユーザーＵ１及び第２ユーザーＵ２の双方は、共通表示モードの表示中には、共通映像Ｍｃとこれに重ねて表示される追加映像Ｍａを閲覧することができる。なお、表示制御部５３は、第３フレームバッファＦ３に描画されたフレーム画像が第１フレームバッファＦ１に描画されたフレーム画像の手前側に配置されるように両者を重ねて、合成映像のフレーム画像を生成する。図３〜図５はこの映像の合成処理を説明する図であって、図３が共通映像Ｍｃのフレーム画像の一例を、図４が追加映像Ｍａのフレーム画像の一例を、それぞれ示している。また、図５は図３のフレーム画像の前面に図４のフレーム画像が重ねられた合成映像のフレーム画像を示しており、各ユーザーにはこのような画像が提示される。
【００３１】
これに対して個別表示モードの場合、表示制御部５３は、共通表示モードの場合と同様の処理によって第１映像Ｍ１と追加映像Ｍａを合成した合成映像の映像信号を、第１インタフェース１３ａ経由で中継装置３０に送信する。それと並行して、第２フレームバッファＦ２に描画された第２映像Ｍ２の映像信号を第２インタフェース１３ｂ経由で中継装置３０に送信する。中継装置３０は、第１インタフェース１３ａ経由で送信された合成映像を第１表示装置４０ａに表示させ、第２インタフェース１３ｂ経由で送信された第２映像Ｍ２を第２表示装置４０ｂに表示させる。これにより情報処理装置１０は、互いに異なる二つの映像を並行して送信し、二つの表示装置４０に表示させることができる。
【００３２】
以上説明したように、いずれの表示モードにおいても、追加映像Ｍａは第１フレームバッファＦ１に描画される映像と合成される。前述したように、追加映像Ｍａは共通映像Ｍｃ及び第１映像Ｍ１と同じ規格の映像として描画されるので、このようなフレーム画像ごとの合成が可能となる。一方で、本実施形態では第１映像Ｍ１と第２映像Ｍ２とは互いに異なる規格の映像としている。そのため、追加映像Ｍａをそのまま第２映像Ｍ２と合成することは困難である。共通映像Ｍｃと第１映像Ｍ１の映像規格を一致させるとともに、個別表示モードでは追加映像Ｍａが第１映像Ｍ１と合成され、第２映像Ｍ２とは合成されないようにすることで、追加映像描画部５２は、複数の映像規格に対応した複数種類の追加映像Ｍａを描画する必要がなくなっている。
【００３３】
ただし、このような制御によると、個別表示モードにおいて、第１表示装置４０ａは追加映像Ｍａを合成した合成映像を表示するが、第２表示装置４０ｂは第２映像Ｍ２のみを表示することになる。そのため、個別表示モードでは第２ユーザーＵ２は追加映像Ｍａの内容を閲覧できない。そこで本実施形態では、アプリケーション実行部５１だけでなく、追加映像描画部５２も、必要に応じて表示モードを切り替えることとする。以下では、追加映像描画部５２が表示モードを切り替える制御のいくつかの具体例について、説明する。
【００３４】
第１の例として、追加映像描画部５２は、アプリケーション実行部５１が個別表示モードで二つの映像を描画している間に追加映像Ｍａを描画する場合、常に表示モードを共通表示モードに切り替えてもよい。このとき、表示制御部５３は、アプリケーション実行部５１が第１表示装置４０ａの表示用に描画している第１映像Ｍ１に追加映像Ｍａを合成して合成映像を生成し、第１表示装置４０ａ、及び第２表示装置４０ｂ双方に表示させる。つまり、追加映像描画部５２からの指示によって個別表示モードから共通表示モードへの切り替えが行われる場合、アプリケーション実行部５１はこのような切り替えと無関係に、個別表示モードでの動作を前提とした第１映像Ｍ１と第２映像Ｍ２の描画を継続する。アプリケーション実行部５１は共通映像Ｍｃと第１映像Ｍ１をいずれも同じ第１フレームバッファＦ１に書き込むため、表示制御部５３はアプリケーション実行部５１が共通映像Ｍｃと第１映像Ｍ１のどちらを描画しているのかを考慮せずに、単に第１フレームバッファＦ１に書き込まれた映像と追加映像Ｍａとを合成することで、二つの表示装置４０に共通して表示させる合成映像を生成することができる。このような制御によれば、追加映像Ｍａを確実に二人のユーザーの双方に閲覧させることができるようになる。
【００３５】
次に第２の例として、追加映像描画部５２は、ユーザーの要求に応じて追加映像Ｍａを描画する場合において、要求元のユーザーがどちらかに応じて表示モードを切り替えるか否か決定してもよい。例えば第１ユーザーＵ１が第１操作デバイス２０ａを操作してシステムメニューの表示を要求した場合、追加映像Ｍａは第１ユーザーＵ１が閲覧できればよい。そのため追加映像描画部５２は、個別表示モードから共通表示モードへの切り替えは行わずに、そのままシステムメニューを含んだ追加映像Ｍａを描画する。描画された追加映像Ｍａは、表示制御部５３によって第１映像Ｍ１と合成され、合成映像として第１表示装置４０ａに表示される。この場合第２表示装置４０ｂは、そのまま第２映像Ｍ２を表示し続ける。これに対して、個別表示モードによる表示中に第２ユーザーＵ２が第２操作デバイス２０ｂを操作してシステムメニューの表示を要求した場合、追加映像描画部５２は表示モードを共通表示モードに切り替えてから追加映像Ｍａを描画する。これにより、第１映像Ｍ１に合成された追加映像Ｍａが第２表示装置４０ｂにも表示されるようになり、第２ユーザーＵ２がシステムメニューを閲覧することができる。
【００３６】
第３の例として、追加映像描画部５２は、ユーザー向けの通知を含んだ追加映像Ｍａを描画する場合において、表示する通知の種別に応じて表示モードを切り替えるか否かを決定してもよい。例えば追加映像描画部５２は、重要度の高い通知内容を表示する場合、個別表示モードから共通表示モードへの切り替えを行ったうえでその通知内容を含んだ追加映像Ｍａを描画する。一方で重要度の低い通知内容を表示する場合、切り替えを行わずに追加映像Ｍａを描画する。これにより、重要度の高い通知は二人のユーザー双方に提示し、重要度の低い通知は個別表示モードを妨げずに第１ユーザーＵ１だけに提示することができる。また、追加映像描画部５２は、通知の宛先に応じて表示モードを切り替えるか否かを決定してもよい。具体的には、第２ユーザーＵ２向けの通知を表示する場合には共通表示モードへの切り替えを行い、第１ユーザーＵ１向けの通知を表示する場合には切り替えを行わずに追加映像Ｍａを描画する。これにより、通知を提示すべき相手にその内容を閲覧させることができる。なお、以上説明した第２の例と第３の例は、組み合わせて用いられてもよい。
【００３７】
以上説明したような例においては、アプリケーション実行部５１が個別表示モードでの表示を前提として二つの映像を描画している間に、追加映像描画部５２によって表示モードが共通表示モードに切り替えられる。そのため、共通表示モードに切り替えられている間は、アプリケーション実行部５１が描画する第２映像Ｍ２は第２ユーザーＵ２に提示されず無視されることになる。そこで追加映像描画部５２は、ユーザーの操作や時間経過などに応じて追加映像Ｍａの描画を終了する場合、そのタイミングで表示モードを個別表示モードに戻す切り替えを行う。これにより、追加映像Ｍａの表示が終了した後は、元通りアプリケーション実行部５１が描画する第１映像Ｍ１及び第２映像Ｍ２がそれぞれのユーザーに提示されるようになる。
【００３８】
また、以上の例において、アプリケーション実行部５１は第１ユーザーＵ１のみに閲覧させたい映像を第１映像Ｍ１として描画している可能性がある。その場合、追加映像描画部５２がアプリケーション実行部５１と独立に表示モードを共通表示モードに切り替えてしまうと、第２ユーザーＵ２に閲覧させることが不都合な第１映像Ｍ１の内容を、第２ユーザーＵ２も閲覧できてしまうおそれがある。そこで追加映像描画部５２は、アプリケーション実行部５１とは独立に個別表示モードから共通表示モードへの切り替えを行う場合、描画領域の全体を覆うように追加映像Ｍａを描画してもよい。具体的には、例えばシステムメニューの外側の背景領域を、黒などの特定の色で塗りつぶしたフレーム画像を描画することとする。これにより、第１映像Ｍ１に追加映像Ｍａを合成する際に、第１映像Ｍ１の全体がマスクされ、いずれの表示装置４０にも表示されなくなる。図６は、このような描画が行われた例を示しており、塗りつぶされた背景領域は斜線のハッチングにより示されている。なお、表示モードの切り替えを伴わずに追加映像Ｍａを描画する場合（第１ユーザーＵ１の要求に応じて追加映像Ｍａを描画する場合など）には、このようなマスクの必要はないので、追加映像描画部５２は通常通り背景領域が透明な追加映像Ｍａを描画すればよい。
【００３９】
また、本実施形態において、第１表示装置４０ａに表示される映像は、ヘッドトラッキング制御に基づいて更新される映像であってよい。ここでヘッドトラッキング制御とは、第１ユーザーＵ１が頭部に装着した第１表示装置４０ａの姿勢の変化に基づいて、表示される映像を変化させる制御をいう。以下、ヘッドトラッキング制御の具体例について、説明する。
【００４０】
図７は、ヘッドトラッキング制御の具体例を説明するための図である。この図は、仮想スクリーンＶＳと二つの視点カメラＣ１及びＣ２とが配置された仮想空間を上方から見た様子を示している。同図に示すように、表示制御部５３は、仮想空間内に仮想スクリーンＶＳを配置し、この仮想スクリーンＶＳに相対する位置に二つの視点カメラＣ１及びＣ２を配置する。二つの視点カメラＣ１及びＣ２は、左右方向に沿って所定距離離れて並んでいる。そして、仮想スクリーンＶＳの表面に、表示対象となる画像をテクスチャーとして貼り付ける。ここでは表示対象の画像は、第１フレームバッファＦ１に書き込まれたフレーム画像に対して、第３フレームバッファＦ３のフレーム画像を合成して得られるフレーム画像である。この状態において表示制御部５３は、視点カメラＣ１から仮想空間内を見た様子を示す画像を描画して左目用映像を生成する。また、視点カメラＣ２から仮想空間内を見た様子を示す画像を描画して右目用映像を生成する。表示制御部５３は、このような処理をフレーム画像が更新されるごとに繰り返すことによって、合成映像を生成する。このようにして生成された合成映像を第１表示装置４０ａが表示することで、ユーザーは、自分の前方の離れた位置に存在する仮想スクリーンＶＳに合成映像が映っている様子を立体的に閲覧することできる。
【００４１】
さらに、表示制御部５３は、第１表示装置４０ａの向きの変化に応じて、二つの視点カメラＣ１及びＣ２の向き（視線方向）を変化させる。また、第１表示装置４０ａの平行移動に応じて、二つの視点カメラＣ１及びＣ２の位置を変化させる。具体的に、表示制御部５３は、第１表示装置４０ａの向きが変化した場合、その回転と同じ回転方向、及び回転量だけ視点カメラＣ１及びＣ２を回転させる。このとき、視点カメラＣ１及びＣ２は、両者の中心位置を回転中心として、互いの距離を保ったまま仮想空間内で回転する。また、第１表示装置４０ａが基準位置から平行移動した場合、表示制御部５３は、その移動方向及び移動量に応じて視点カメラＣ１及びＣ２の双方を仮想空間内で移動させる。そして、位置及び向きの変化した視点カメラＣ１及びＣ２のそれぞれから仮想スクリーンＶＳを見た様子を描画することによって、左目用映像、及び右目用映像を生成する。これにより第１ユーザーＵ１は、あたかも空中に固定されたスクリーンに合成映像が映っているかのような感覚で、表示される映像を閲覧することができる。さらにユーザーは、例えば表示されている映像の外周近傍が視界の中心に来るように顔の向きや位置を変化させることで、初期状態では視認しにくい外周近傍の表示内容に注目して映像を閲覧することができる。
【００４２】
共通表示モードにおいては、以上説明したような制御に基づいて生成された映像信号が、第１表示装置４０ａ、及び第２表示装置４０ｂの双方の表示に使用される。そのため、共通表示モードによる表示中にヘッドトラッキング制御を実行すると、第２表示装置４０ｂに表示される映像も第１ユーザーＵ１の頭の動きに連動して変化することになる。そこで表示制御部５３は、個別表示モードから共通表示モードへの切り替えが行われた場合、所定の条件に基づいてヘッドトラッキング制御を中断してもよい。具体的に、例えば表示制御部５３は、第２ユーザーＵ２の要求に応じて追加映像描画部５２が共通表示モードへの切り替えを行った場合に、ヘッドトラッキング制御を中断することとする。このような状況においては、第２ユーザーＵ２が見やすいように追加映像Ｍａを第２表示装置４０ｂに表示させる必要がある。そのため、ヘッドトラッキング制御を中断して表示領域の略中央に追加映像Ｍａが表示されるように制御することで、第２ユーザーＵ２が追加映像Ｍａの内容を閲覧しやすくなる。
【００４３】
さらに、表示制御部５３は、ヘッドトラッキング制御を中断している状態において、追加映像描画部５２が共通表示モードを終了させて個別表示モードへの切り替えを行った場合には、中断していたヘッドトラッキング制御を再開させることとする。ヘッドトラッキング制御を再開する場合、表示制御部５３は、再開時点における第１表示装置４０ａの位置や向きに応じて視点カメラＣ１及びＣ２の位置を更新してから、表示する画像を生成することが望ましい。これにより、ヘッドトラッキング制御の中断前後でスクリーンＶＳの仮想的な位置が変化しないようにすることができる。ただし、このような制御によると、ヘッドトラッキング制御の再開時にスクリーンＶＳが瞬間的に大きく移動したように感じられ、第１ユーザーＵ１に違和感を与える可能性がある。そこで表示制御部５３は、ヘッドトラッキング制御の再開時には、映像を徐々に表示させるフェードイン制御を実行してもよい。
【００４４】
以上説明した本実施形態に係る情報処理装置１０によれば、アプリケーション実行部５１及び追加映像描画部５２のそれぞれが個別表示モードと共通表示モードとを切り替えることによって、表示内容に適した態様で第１表示装置４０ａ及び第２表示装置４０ｂに映像を表示させることができる。
【００４５】
なお、本発明の実施の形態は、以上説明したものに限られない。例えば以上の説明では、追加映像Ｍａは共通映像Ｍｃや第１映像Ｍ１と同じ規格の映像であることとしたが、追加映像Ｍａは必ずしも共通映像Ｍｃや第１映像Ｍ１と同じ規格に基づいて描画されずともよい。この場合、表示制御部５３は、共通映像Ｍｃまたは第１映像Ｍ１と合成する前に追加映像Ｍａを拡大または縮小するなど、合成のために必要な画像処理を実行してもよい。また、第１映像Ｍ１と第２映像Ｍ２とは互いに同じ規格の映像であってもよい。これらの場合にも、追加映像Ｍａを第２映像Ｍ２とは合成せず、共通映像Ｍｃ及び第１映像Ｍ１とだけ合成するように制限することで、画像処理の複雑化を避けることができる。
【００４６】
また、以上の説明において中継装置３０が実行することとした処理の一部、又は全部は、情報処理装置１０によって実現されてもよい。さらに、中継装置３０の処理が情報処理装置１０によって実現される場合、中継装置３０はなくともよい。この場合、第１表示装置４０ａ及び第２表示装置４０ｂは情報処理装置１０に直接接続される。また、以上の説明では第１表示装置４０ａは頭部装着型の表示装置であることとし、第２表示装置４０ｂは据え置き型の表示装置であることとしたが、それぞれの表示装置４０は別のタイプの表示装置であってもよい。
【００４７】
また、以上の説明では第１インタフェース１３ａと第２インタフェース１３ｂは互いに異なる通信規格に基づいて映像信号を送信することとしたが、両者は同じ通信規格に基づいて映像信号を送信してもよい。また、各映像は同じインタフェース経由で送信されてもよい。
【符号の説明】
【００４８】
１  映像表示システム、１０  情報処理装置、１１  制御部、１２  記憶部、１３  インタフェース部、１３ａ  第１インタフェース、１３ｂ  第２インタフェース、２０ａ  第１操作デバイス、２０ｂ  第２操作デバイス、３０  中継装置、４０ａ  第１表示装置、４０ｂ  第２表示装置、５１  アプリケーション実行部、５２  追加映像描画部、５３  表示制御部。
【図１】
2017056597.tif 000003
【図２】
2017056597.tif 000004
【図３】
2017056597.tif 000005
【図４】
2017056597.tif 000006
【図５】
2017056597.tif 000007
【図６】
2017056597.tif 000008
【図７】
2017056597.tif 000009
【手続補正書】
【提出日】平成28年11月30日(2016.11.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１ユーザーが閲覧する第１表示装置、及び、第２ユーザーが閲覧する第２表示装置と接続される情報処理装置であって、
前記第１表示装置、及び前記第２表示装置のそれぞれに表示させる映像を描画するプログラムを実行し、前記第１表示装置、及び前記第２表示装置の両方に表示させる共通映像を描画する共通表示モードと、前記第１表示装置に表示させる第１映像、及び前記第２表示装置に表示させる第２映像の二つの映像を描画する個別表示モードとを、前記プログラムの処理内容に応じて切り替えるプログラム実行部と、
前記プログラム実行部が描画する映像とは別の追加映像を描画する追加映像描画部と、
前記プログラム実行部が描画する映像を前記第１表示装置、及び前記第２表示装置に表示させる表示制御部であって、前記共通表示モードでは、前記共通映像と前記追加映像とを合成した合成映像を前記第１表示装置及び前記第２表示装置の両方に表示させ、前記個別表示モードでは、前記第１映像と前記追加映像とを合成した合成映像を前記第１表示装置に表示させるとともに、前記第２映像を前記第２表示装置に表示させる表示制御部と、
を含むことを特徴とする情報処理装置。
【請求項２】
（削除）
【請求項３】
請求項１に記載の情報処理装置において、
前記追加映像描画部は、前記追加映像を描画する際に、前記プログラム実行部とは独立に前記個別表示モードから前記共通表示モードへの切り替えを行い、
前記表示制御部は、前記プログラム実行部が前記第１映像及び前記第２映像の二つの映像を描画中に前記追加映像描画部が前記共通表示モードへの切り替えを行った場合、前記第１映像と前記追加映像とを合成した合成映像を前記第１表示装置及び前記第２表示装置の両方に表示させる
ことを特徴とする情報処理装置。
【請求項４】
請求項３に記載の情報処理装置において、
前記追加映像描画部は、前記第１ユーザー及び前記第２ユーザーのいずれかからの要求に応じて前記追加映像を描画し、前記第２ユーザーからの要求に応じて前記追加映像を描画する場合に、前記共通表示モードへの切り替えを行う
ことを特徴とする情報処理装置。
【請求項５】
請求項４に記載の情報処理装置において、
前記追加映像描画部は、前記第１ユーザーからの要求に応じて前記追加映像を描画する場合、背景領域が透明な追加映像を描画し、前記第２ユーザーからの要求に応じて前記追加映像を描画する場合、背景領域が塗りつぶされた追加映像を描画する
ことを特徴とする情報処理装置。
【請求項６】
請求項４に記載の情報処理装置において、
前記第１表示装置は、ユーザーが頭部に装着して使用する表示装置であって、
前記表示制御部は、前記第１表示装置の姿勢の変化に応じて当該第１表示装置に表示させる映像を変化させるヘッドトラッキング制御を実行し、前記追加映像描画部が前記第２ユーザーからの要求に応じて前記共通表示モードへの切り替えを行う場合には、前記ヘッドトラッキング制御を中断する
ことを特徴とする情報処理装置。
【請求項７】
第１ユーザーが閲覧する第１表示装置、及び、第２ユーザーが閲覧する第２表示装置に映像を表示させる情報処理方法であって、
前記第１表示装置、及び前記第２表示装置のそれぞれに表示させる映像を描画するプログラムを実行し、前記第１表示装置、及び前記第２表示装置の両方に表示させる共通映像を描画する共通表示モードと、前記第１表示装置に表示させる第１映像、及び前記第２表示装置に表示させる第２映像の二つの映像を描画する個別表示モードとを、前記プログラムの処理内容に応じて切り替えるステップと、
前記プログラム実行部が描画する映像とは別の追加映像を描画するステップと、
前記プログラムにより描画される映像を前記第１表示装置、及び前記第２表示装置に表示させるステップであって、前記共通表示モードでは、前記共通映像と前記追加映像とを合成した合成映像を前記第１表示装置及び前記第２表示装置の両方に表示させ、前記個別表示モードでは、前記第１映像と前記追加映像とを合成した合成映像を前記第１表示装置に表示させるとともに、前記第２映像を前記第２表示装置に表示させるステップと、
を含むことを特徴とする情報処理方法。
【請求項８】
第１ユーザーが閲覧する第１表示装置、及び、第２ユーザーが閲覧する第２表示装置と接続されるコンピュータを、
前記第１表示装置、及び前記第２表示装置のそれぞれに表示させる映像を描画する処理を実行し、前記第１表示装置、及び前記第２表示装置の両方に表示させる共通映像を描画する共通表示モードと、前記第１表示装置に表示させる第１映像、及び前記第２表示装置に表示させる第２映像の二つの映像を描画する個別表示モードとを、前記処理の内容に応じて切り替える描画手段、
前記プログラム実行部が描画する映像とは別の追加映像を描画する追加映像描画手段、及び、
前記プログラム実行部が描画する映像を前記第１表示装置、及び前記第２表示装置に表示させる手段であって、前記共通表示モードでは、前記共通映像と前記追加映像とを合成した合成映像を前記第１表示装置及び前記第２表示装置の両方に表示させ、前記個別表示モードでは、前記第１映像と前記追加映像とを合成した合成映像を前記第１表示装置に表示させるとともに、前記第２映像を前記第２表示装置に表示させる表示制御手段、
として機能させるためのプログラム。
【国際調査報告】
2017056597.tif 000010
2017056597.tif 000011
2017056597.tif 000012
2017056597.tif 000013