(57)【要約】      （修正有）【課題】情報処理装置を用いた仮想現実システムにおける視線装置を用いたコンテンツ管理方法およびプログラム並びに仮想現実システム装置を提供する。【解決手段】視線検出を用いコンテンツ内容の変化に合わせたコンテンツ表現を視線検出情報によって管理する方法であって、視線検出状態をパラメータテーブルで管理し、利用者に提供する情報を変化させる。【選択図】図９
2018163617.tif 000002
【特許請求の範囲】
【請求項１】
表示部と頭部方向検出部とを具備し、
前記具備された、視線検出部と頭部方向検出部から得られる表示内容に対する頭部方向に加え、利用者の表示内容に対する視線を検出するＶＲシステムにおいて、
コンテンツ内容に基づいた表示内容から得られた情報に基づいて、注視された対象を検出するステップと、
検出された注視対象によって前記注視対象がコンテンツ内容に影響するかを評価するステップと、
前記評価ステップによってコンテンツ内容に影響すると判断された場合に評価状況を記録する評価状況記録ステップと、
によって、
複数の評価状況記録を記憶部に記憶するステップを備え
前記記憶部に記憶されたコンテンツ内容の進行に関する前記複数の注視対象に基づいた前記評価状況記録を用いてコンテンツ内容の変化に必要な条件が整ったかを評価する進捗評価ステップと、
が実施され、
前記進捗評価ステップによって評価された結果に基づいてコンテンツ内容を変化させるステップを実施することを特徴とする
視線検出型ＶＲシステムに用いるプログラム
【請求項２】
請求項１のプログラムを用いることを特徴とするコンテンツ内容管理方法
【請求項３】
請求項１のプログラムを情報処理装置の記憶部に記憶していることを特徴とする視線検出型ＶＲシステムに用いる情報処理装置
【請求項４】
請求項１のプログラムを複数の情報処理装置が関連付けられた複数の情報処理装置の記憶部に記憶していることを特徴とするコンテンツ内容管理方法によって動作する視線検出型ＶＲシステムを構成することを特徴とする情報処理装置群
【発明の詳細な説明】
【技術分野】
【０００１】
情報処理装置を用いた仮想現実システムにおける方法およびプログラムに関する
【背景技術】
【０００２】
旧来の情報処理装置を用いた仮想現実システム（以下ＶＲ（バーチャル・リアリティ）システムと記す）はＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔ  Ｄｉｓｐｌａｙ）に加速度センサーやジャイロセンサーを付加し利用者の視線方向の画像が任意に見られる用に構成されている。近年はそれらに加え、視線検出技術により頭の向いている方向の中から、どこに注視しているかを判定する視線検出技術を組み合わせたものが存在する。
【０００３】
これらの視線検出型ＶＲシステム用ＨＭＤは利用者の視線によって表示されているキャラクターが利用者の興味を推定し、発話するセリフや態度、表情を切り替えるという実装がなされている。
【０００４】
これらの視線検出技術は眼球に赤外線を投射してその反射から黒目と白目の境の位置を検出し、その検出された位置に基づいて視線を特定する技術が一般的に用いられており、今後の改良などによって他の任意の方法が構成されるようになることが考えられる。
【非特許文献１】Ｗｅｂサイト記事：視線検出型ＨＭＤのＦＯＶＥ（登録商標）サイト(2017.03.12)https://www.getfove.com/
【非特許文献２】Ｗｅｂサイト記事：VRでアスナに会える！SAO×FOVEのコラボ詳細が公開(2017.03.12)http://www.moguravr.com/sao-fove/
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述の通り、従来の視線検出技術を用いたプログラムや方法では直近の利用者の視線から利用者の意識を推定し、単純に反応するだけのコンテンツ演出やコンテンツ上のリアクションの演出をするだけに留まり、コンテンツ全体が複数の多層化された視線検出の影響を受けシナリオ（ストーリー）などの流れが変化し、利用者がコンテンツをより深く楽しむためのコンテンツ内容の変化を実施することはできないという課題がある。
【課題を解決するための手段】
【０００６】
本発明によれば、視線検出を用いコンテンツ内容の変化に合わせたコンテンツ表現を視線検出情報によって管理する方法として視線検出状態を単なる条件分岐ではなく、パラメータテーブルで管理し、利用者に提供する情報を変化させることで課題を解決する。
【発明の効果】
【０００７】
コンテンツの内容の変化に関し、前述のように視線検出パラメータをシナリオ進行に合わせた方法とプログラムにより管理し、シナリオ進行自体に影響を与えることで視線検出によるより柔軟でより深いシナリオへの影響を含んだ従来にない映像体験を伴ったコンテンツの作成が可能となり、そのコンテンツを出力するための装置が実現できる。
さらには、コンテンツ上で出現するキャラクターの挙動や発言内容を管理しより充実したコンテンツの実現を可能とする。
【産業上の利用可能性】
【０００８】
視線検出技術を用いたコンテンツ管理型のＶＲシステムに関する。
【符号の説明】
【０００９】
１０１  ＨＭＤ（表示部、センサー部内蔵）頭部装着部，１０２  表示部，１０３  撮像部，１０４  頭部固定部，１０５  ＰＣ（パーソナル・コンピュータ：通信部、情報処理部内蔵）もしくはコンソールゲーム機，１０６  制御装置，２０１スマートフォン（撮像部、表示部、センサー部、通信部、情報処理部などを内蔵），２０２  頭部装着部，３０１  演算部，３０２  記憶部，３０３  出力部，３０４  入力部，３０５  通信部，４０１  被害者．４０２  視線位置マーカ，４０３  凶器，６０１  加害者の手の痣，７０１  加害者，８０１  出演キャラクターの瞳，９００  シーン表示，９０１  視線検出，９０２  視線評価，  ９０３  評価記録，９０４  評価状況の評価，９０５  評価状況に基づくシナリオ進行処理，１１０１  コンテンツ演出対象注視評価，１１０２  注視評価情報記録  １１０３  コンテンツ演出条件評価，  １１０４  コンテンツ演出実施処理
【図面の簡単な説明】
【００１０】
【図１】情報処理装置分離型ＨＭＤの例を示す。
【図２】情報処理装置一体型ＨＭＤの例を示す。
【図３】情報処理装置の例を示す。
【図４】コンテンツのシーンの例を示す。
【図５】コンテンツのシーンの例を示す。
【図６】コンテンツのシーンの例を示す。
【図７】コンテンツのシーンの例を示す。
【図８】コンテンツのシーンの例を示す。
【図９】複数条件によるコンテンツ内容の変化を実現するフロチャートを示す。
【図１０】パラメータテーブルの例を示す
【図１１】複数条件によるコンテンツ内容の変化を実現するフロチャートを示す。
【発明を実施するための形態】
【００１１】
本発明によれば、まず、ＶＲシステムの視線検出部で取得した表示範囲内の視線位置とジャイロセンサーや加速度センサーなどを用いて検出した頭部方向とに基づいて、利用者がどの方向のどの対象を見ているかを検出する。検出された対象は、視線の変化に基づいて利用者の視線状況管理テーブル（図１０）に記録処理が実施される。
【００１２】
この際、利用者がコンテンツ内容に影響のある対象から所定の時間以上視線をそらさない場合、及びもしくは特定の表示物体を目で追いかけるように頭や視線を動かした場合において、本発明によるＶＲシステムはその対象を利用者が注視したとして、そのコンテンツのシナリオ（ストーリー）進行状況に影響のある対象であるか否かを評価する処理（１１０１、９０２）を行う。
【００１３】
この評価の結果としてシナリオ進行に影響のある対象を利用者が注視したと評価される場合、シナリオ進行状況に関連するパラメータテーブルに利用者が注視した対象を記録する処理が実施（１１０２、９０３）される。
【００１４】
このような処理が複数回行われた結果として所定の条件を満たした場合（１１０３、９０４）、コンテンツ中のシナリオ進行がより次の段階へと更新される処理（１１０４、９０５）が実施されコンテンツのシナリオの内容に関する表現内容が次の段階へと変化していく。なお、これらの所定の条件が整うまではコンテンツ中のシナリオ進行は一定の条件下から次の段階のシナリオ状況への更新はなされない。
【００１５】
また、利用者が特定の対象に対する注視の頻度が高いと判断された場合、シナリオ進行上選択されるコンテンツの表現内容が変化するようにしてもよい。
【００１６】
なお、ここでいう表現内容とは、映像なり音声なりによってＶＲシステムから利用者に提供される情報を指す。
【００１７】
ＶＲシステム自体は従来から知られる情報処理装置とＶＲ用表示装置から構成され、情報処理装置は具体的にはパソコンやゲーム機、グリッドコンピューティングシステムやクラスターシステム、クラウドシステムといった規模の大小を問わない情報処理装置であり、概念的には記憶部、演算部、入力部、出力部によって構成され、より具体的には、記憶部は各種半導体記憶部品や磁性や光学的な記憶装置、演算部は半導体によるＣＰＵやＧＰＵ、出力部は映像や音声、ハプテクス関連の出力、入力部は各種センサー（例えば加速度やジャイロ、電子コンパス、電子圧力検出などのセンサー）類や映像音声の入力により構成される。情報処理装置は無線有線を問わず通信部を備えていてもよく、この通信部によって情報を交換することで他の関連付けられた情報処理装置と連携してコンテンツの進捗、シナリオ進行、出演キャラクターなどの挙動や言動を管理してもよく、サーバ・クライアント連携であれば、管理に必要なフラグやパラメータをサーバー上で管理し、コンテンツ利用に必要な表示系の情報をクライアントサイドのローカル記憶領域やサーバーの記憶領域から通信回線を用いての読込みによってクライアントサイドでＨＭＤに出力してもよい。
【実施例１】
【００１８】
例えば以下のようなシナリオ進行において、
【００１９】
主人公は、喫茶店で新聞を読んでいる。夜の喫茶店は薄暗く、窓から見える風景もぼんやりとした雰囲気を醸し出している。店の中に客の数はそれ程多くない。突然、店の灯が消えた。停電だ。店も外も漆黒の闇に包まれる。
誰かの悲鳴、叫び声が上がり、物が壊れる音が響く。灯が点いた時、店の床には一人の男が倒れていた。その背中にはサバイバルナイフの柄が生えているように見えた（図４）。女性客が悲鳴を上げる。何人かの客が出口に向かう。
それを一人の男が押しとどめた。
「ここは殺人現場だ！誰もこの店から出るな。俺は刑事だ！」
バッジを掲げてその男が叫んでいた。
【００２０】
主人公は被害者の男の背中に刺さっているサバイバルナイフの柄を見つめた。
ナイフの柄が視界いっぱいに広がる（図５）。その奥から闇が広がって行く。闇が晴れた時、主人公は自分が金物店にいる事に気が付いた。だが、視界だけで、自分の体がそこに無い、そう感じた。誰かが店に入ってくる。フードを被りサングラスをして、その顔形は定かでない男性客。その客は、サバイバルナイフを買い求める。その柄を見つめると、視界に喫茶店で倒れていた男の背中のサバイバルナイフの柄が広がる。同じ柄だ、と主人公は思う。すぐに主人公の視界は元の金物店に戻った。男性客が店を出て行くところだった。その右手に、星形の痣が有る事に気付く（図６）。
再び、主人公の視界に闇が広がって行く。気が付くと、主人公の視界は、喫茶店に戻っていた。だが、床に倒れている男は無く、主人公は自分が新聞を広げている事に気付いた。そして、入ってきた男性客の右手に同じ星形の痣を見つけた（図７）。
主人公がその男を見つめると男はなにか抵抗を感じたのか喫茶店から出て行った。この結果さっき発生したはずの殺人事件は発生しなくなった。
【００２１】
という流れであったとする。
図９を用いて説明すると、利用者がＨＭＤにシーン１３５が出力されるステップ９００が実施される。そして、視線検出（９０１）によって、シーン１３５（（図１０）参照以下同じ）においてナイフの柄を注視する（９０２）ことにより、第一の視線検（図４）が注視回数情報（（図１０）以下同じ）として記録される。この時、注視対象を示すカーソルのようなものがあってもよい。なお、この時点ではすべての条件が整っていないのでステップ９０４における大きなシナリオの進行はシーン内の内容部だけしか変化しないことになる。
【００２２】
そして、コンテンツ利用者の注視状況情報としてのことで注視回数情報に基づいて表示内容が変化しシーン１３６へと遷移することでシーン内の情報を利用者に出力するステップ９００が実施される。そして、シーン１３６にてナイフの柄を注視（９０１、９０２）することで第二の視線検出（図５）がなされ、以降ステップ９００から９０４までの繰り返しによりシーン１３７へ遷移し星形の痣を注視する第三の視線検出（図６）がなされることで注視回数情報が更新されることによりシーン１３８へと遷移する。
【００２３】
そして、シーン１３８において喫茶店に入ってくる男の手の星形の痣に気が付き男を注視することによって第四の視線検出（図７）がなされることで注視回数情報が更新され、これら複数の視線検出の記録に基づいて、事件が発生するというシナリオから事件が発生しないというシナリオにコンテンツの流れが変化し、シナリオを次の段階へと進ませるステップ９０５が実施される処理がなされる。
【００２４】
このように任意の数の注視する対象を利用者が見つけることによってシナリオ進行することでコンテンツの流れが変化する視線検出技術を用いた独特のコンテンツを実施することが可能となる。
【００２５】
さらには、ナイフの柄を見るという利用者の視線検出により、第一のシーンが実施され、同じ柄のナイフを手に星形の痣のある人物が購入する様子が見える第二のシーンが実施され時間の戻る演出により、過去に戻って喫茶店に手に星形の痣のある人物が入ってくるのを注視するという利用者の視線検出により、第三のシーンが実施され、第一のシーンと第二のシーンと第三のシーンが実施された結果、手に星形の痣のある男を喫茶店で見つけるために再度、第一のシーンが表示される。この際、最初の第一のシーンでナイフの柄を注視しなかったり、二回目の第一のシーンで手に星形の痣のある男を注視しなかったりした場合、第一のシーンも第二のシーンも第三のシーンも実施されないためシナリオに変化は生じず最初に記載された事件（図３）が起こるシーンが実施され、前述の手に星形の痣のある男が事件を起こさずに店から出ていくという第四のシーンは実施されないままシナリオの大きな進行は起こらないという状態になる。
【実施例２】
【００２６】
また、例えば異性とコミュニケーションするようなシナリオを主体とするコンテンツにおいて、利用者が異性のキャラクターの目を注視している時間の長い異性キャラクターから、「よく私のことを見ているけれど、私に興味あるんですか？」といった問いかけを受けるようなシナリオ構成を実施することもできる。より具体的には図８のようにＣＧ （コンピュータ・グラフィック）の人物と視線を合わせるなどの形をとっている時間を計測してもよい。この際、注視頻度が低くなると、注視対象であることがリセットされるように構成してもよく、注視頻度は所定の単位時間当たりの注視回数及び平均注視時間から算出するといった方法が考えられる。
【００２７】
より具体的に図１１を用いて説明すると、利用者の視線方向と頭部方向とから特定される注視対象において注視時間を計測し注視情報として記録する処理や計測した時間が所定の時間を超えたかを検出し、所定の時間を超えた場合、対象注視情報として記憶部に記録する処理のステップ１１０２が実施され、その回数が所定の回数を超えた場合や注視時間が所定の間隔を超えたかどうかを評価するステップ１１０３が実施され、超えた場合などに場合にキャラクターの挙動を変えるステップ１１０４に従ってコンテンツ内のキャラクターの発言する内容や行動を動的に変化させるステップが実施されるように構成する。
【００２８】
例えば図８のように、キャラクターの視線と利用者の視線８０１が重なるような状態が所定の回数を注視回数情報（図１０）の評価に基づいて超えた場合や、利用者の注視にともなう注視時間が注視時間情報（図１０）に基づいて超えた場合に、出演しているキャラクターが利用者の視線の存在を意識し始め、出演キャラクターの表情が明るくなるような演出を用いた対話表現を実施することで、コンテンツにおける出演キャラクターの対話内容や表情演出などに変化を与え、より新しい表現手法による視線検出技術を用いた独特のコンテンツの開発を実現することができる。
【００２９】
図１０の評価対象は１シーン当たり一つのものを対象とするように例示されているが、これが複数の対象であってもよく、複数の対象のすべてではなく１０個のうち３個などの部分的な必要条件であってもよく、これらの条件設定は任意の構成によって、シナリオの進行に影響するように構成されていることが好ましく、これらの視線注視時間及びもしくは視線注視回数及びもしくは視線注視頻度（単位時間当たりの注視回数）などを含めた任意回数の任意の組み合わせによって、コンテンツ進捗（シナリオ進行）にかかわるフラグ管理などを行ってもよい。
【実施例３】
【００３０】
まず、図１の構成で説明すると情報処理装置１０５の記憶部３０２に図９、１０、１１のプログラムとデータが記憶され演算部３０１と記憶部３０３の連携により情報処理装置１０５内において図９、１１にかかる方法を用いたプログラムが実施される。
より具体てきには、利用者の視線方向や頭部方向をＨＭＤ図１、２の１０１や２０１において各種センサー類によって検出し情報処理装置１０５の入力部３０４から情報として情報処理装置１０５は取得するステップ９０１を実施し、それらの情報に基づいて視線方向や頭部方向を検出することで注視対象に視線が衝突しているかを検出するステップ９０２、１１０１が実施される。
【００３１】
この結果、周囲の表示対象から視線情報に衝突する表示対象がシナリオの進行にかかわる対象であるかが評価され、評価された対象がシナリオ進行に影響する対象である場合は評価結果を記録するステップ９０３、１１０２が実施されるシナリオ進行に必要な注視対象が必要なだけ注視されているかを評価するステップ９０４、１１０３が実施され、必要な注視対象が必要なだけ注視された場合にシナリオを次の状態に遷移させるステップ９０５やキャラクターの挙動を変えるステップ１１０４が実施されるように情報処理装置内の記憶部３０２にある情報図１０を例とする各内容を変更・記録する。
【００３２】
この際「必要なだけ」と設定される条件の情報は注視時間や注視回数、注視順序といった利用者の注視に伴い変化する各種情報に基づいて構成されてもよいし、利用者の視線の移動（注視移動含む）の仕方を検出し、視線移動や移動速度から利用者の感情を推定するような方法を取るようにプログラムを構成してもよく、推定された感情によってプログラムのシナリオ進行や出演キャラクターの挙動に変化を持たせてもよい。
【００３３】
この結果、利用者の複数の注視状況を反映したコンテンツの進捗やシナリオの進行管理を可能とするＶＲシステムを構成することができる。なお、図２の場合は外部に置かれている情報処理装置１０５がＨＭＤ２０１内に取り込まれていると判断してもよい。
【００３４】
さらに、本発明は視線の衝突する表示対象が表示範囲内を移動する場合、その視線衝突対象の移動に合わせて頭部と眼球の動きによって視線が追従するように動く視線移動に対応してもよい。
【００３５】
このように、これらのプログラムや方法が実施される装置は図１や図２に例示されるようなＶＲシステムであってもよく、図１であればＨＭＤと情報処理装置１０５としてのパソコンの構成によって実現されており、図２であればＨＭＤ一体型の情報処理装置１０５と表示装置であったり、ＨＭＤ用のケースとスマートフォンによって構成されていたりしていると考えてもよい。
【００３６】
そして、図１であれ、図２であれ、ＨＭＤ部分１０３、２０１にはもちろん表示部を含み、更に加速度・ジャイロ・磁気コンパスなどのセンサー類を含んでいてもよく、本発明に関しては特に視線検出部を含んでいる必要がある。
【００３７】
そして、実施例１から３にあるようにシナリオの進行を変化させたり、出演キャラクターの挙動を変化させたりするといった方法によりコンテンツ内容の心境や変化を演出することが可能なＶＲシステムを構成することができる。
【００３８】
また、これらの注視に関し、注視可能な対象に視線が衝突した場合に対象の視覚上の表現が変化する演出や聴覚上の演出などがあってもよい。より具体的に視覚的には、発光するように見えたり、色が変わったり、拡大気味の表示になったり、聴覚的にはノイズが聞こえたりアラームが鳴ったりするなどの多様な演出表現が容易に考えられる。
【００３９】
また、これらのコンテンツ内容の変化は複数の層構造をもってなされ、本実施例の条件を満たした場合であっても他の条件の充足状況によってコンテンツ内容の進行に変化を与えるより深い層構造のコンテンツとして構成されてもよい。
【００４０】
また、長い時間注視しなくても、複数回にわたり同じ対象を短時間見ているなどの挙動を利用者が行った場合に、チラチラ見ているという注視評価条件を実施してもよいし、他の出演キャラクターが利用者に視線を向けると利用者が視線を逸らすなどの挙動を検出し、その挙動の検出によってコンテンツのシナリオ進行やコンテンツ出演者の挙動を変化させてもよい。この検出は、注視回数と注視時間の平均や注視状態における注視対象の挙動の変化に対して短い時間で利用者がそれまでの注視対象から視線を逸らすのを検出するなどの任意の方法が考えられる。
【００４１】
そして、これらの視線注視時間及びもしくは視線注視回数及びもしくは視線注視頻度（単位時間当たりの視線注視回数）及びもしくは特定の対象の移動に合わせた視線移動に対する注視などを本発明では「視線挙動」と呼称し、これらの視線挙動に基づいた利用者のコンテンツ利用状況を観測し、観測された視線挙動の任意回数の任意の組み合わせによって、コンテンツ進捗、シナリオ進行及びもしくはキャラクターの挙動や発話内容の変化にかかわるフラグのオン・オフやパラメータの変化の管理などを行ってもよい。
【実施例４】
【００４２】
任意の複数の関連付けられた情報処理装置群を用いた場合、プログラムをサーバ・クライアント連携であれば、例えば、図９のステップ９００、９０１、９０２ないしは図１１の９００、９０１、１１０１をＰＣやＨＭＤといったクライアントサイドで実施し、実施によりクライアントサイドで得られた情報をサーバーに送信し、受信したサーバサイドが図９のステップ９０３、９０４、９０５や１１０２、１１０３、１１０４を実施することにより実現できる。なお、必ずしもこのような前述のサーバ・クライアント間の機能の分離に限られるものではなく適切な実施を行う方法を任意に適応させることができる。
【図１】
2018163617.tif 000003
【図２】
2018163617.tif 000004
【図３】
2018163617.tif 000005
【図４】
2018163617.tif 000006
【図５】
2018163617.tif 000007
【図６】
2018163617.tif 000008
【図７】
2018163617.tif 000009
【図８】
2018163617.tif 000010
【図９】
2018163617.tif 000011
【図１０】
2018163617.tif 000012
【図１１】
2018163617.tif 000013