(57)【要約】【課題】仮想現実や拡張現実の世界を体験しているユーザの状態に応じて、適切に仮想現実や拡張現実の世界と現実世界とを認識させる情報処理装置を提供する。【解決手段】少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて、ユーザに対するフィードバックを決定するフィードバック決定部を備える、情報処理装置が提供される。【選択図】図１
2017006640.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて、前記ユーザに対するフィードバックを決定するフィードバック決定部を備える、情報処理装置。
【請求項２】
前記フィードバック決定部は、前記ユーザが体験している前記世界の連続性を保持可能なフィードバックを決定する、請求項１に記載の情報処理装置。
【請求項３】
前記フィードバック決定部は、前記ユーザ状態に基づいて、予め設定されたフィードバック候補から前記ユーザに対するフィードバックを決定する、請求項１に記載の情報処理装置。
【請求項４】
前記フィードバック決定部は、前記ユーザへのフィードバックの緊急度に基づいて、予め設定されたフィードバック候補から前記ユーザに対するフィードバックを決定する、請求項３に記載の情報処理装置。
【請求項５】
前記ユーザ状態を判定する状態判定部を備え、
前記状態判定部は、ユーザから取得されるモニタリング情報に基づいて、ユーザへのフィードバックの要否を学習し、前記ユーザ状態を判定する、請求項１に記載の情報処理装置。
【請求項６】
前記ユーザ状態を判定する状態判定部を備え、
前記状態判定部は、ユーザから取得されるモニタリング情報の値が所定の閾値を超えたか否かに基づいて、前記ユーザ状態を判定する、請求項１に記載の情報処理装置。
【請求項７】
前記モニタリング情報は、ユーザの生体情報または心理情報のうち少なくともいずれか１つである、請求項５に記載の情報処理装置。
【請求項８】
前記状態判定部は、前記モニタリング情報を提供するデバイスのデバイス状態に基づいて、前記モニタリング情報の測定タイミング及び測定対象を決定する、請求項５に記載の情報処理装置。
【請求項９】
前記ユーザ状態を判定する状態判定部を備え、
前記状態判定部は、ユーザまたは第三者から入力されるフィードバック要求情報に基づいて、前記ユーザ状態を判定する、請求項１に記載の情報処理装置。
【請求項１０】
前記フィードバック決定部は、決定したフィードバックに関する情報を、前記ユーザまたは当該ユーザに対するアクションを実行可能な第三者に通知可能なデバイスに送信する、請求項１に記載の情報処理装置。
【請求項１１】
前記フィードバックに関する情報は、前記ユーザの位置情報、プロファイル情報、またはフードバックを行う緊急度のうち、少なくともいずれか１つを含む、請求項１０に記載の情報処理装置。
【請求項１２】
少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて決定された、前記ユーザに対するフィードバックに関する情報に基づいて、前記ユーザに対して視覚的にフィードバックするための視覚フィードバック情報を生成するフィードバック処理部と、
前記視覚フィードバック情報を表示する表示部と、
を備える、表示装置。
【請求項１３】
前記フィードバック処理部は、前記ユーザへの警告情報を前記視覚フィードバック情報として生成する、請求項１２に記載の表示装置。
【請求項１４】
前記フィードバック処理部は、前記仮想オブジェクトの精細度を低下させたオブジェクトを前記視覚フィードバック情報として生成する、請求項１２に記載の表示装置。
【請求項１５】
プロセッサにより、少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて、前記ユーザに対するフィードバックを決定することを含む、情報処理方法。
【請求項１６】
コンピュータを、少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて、前記ユーザに対するフィードバックを決定するフィードバック決定部を備える、情報処理装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、表示装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
仮想現実（Virtual Reality；ＶＲ）や拡張現実（Augmented Reality；ＡＲ）の技術の発展により、ユーザは、仮想的なオブジェクトを含む情報が提供される世界において、現実世界と錯覚するような深い没入感を得ることが可能となってきた。一方で、深い没入感により、ユーザが仮想現実や拡張現実の世界と現実世界との判別ができなくなる可能性もある。そこで、例えば特許文献１には、ユーザが仮想現実と現実との境界に錯誤を生じた場合に、ユーザが体験した仮想現実の世界を明示的に再度提示することで、仮想現実の世界を認識させることが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１８７５５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記特許文献１は、ユーザが仮想現実の世界を体験している際に仮想現実と現実との境界を認識させるものではない。このため、例えば仮想現実の世界を体験しているユーザの行動や発言等から、早急に仮想現実と現実との境界をユーザに認識させたい場合には対応することができなかった。【０００５】
そこで、本開示では、仮想現実や拡張現実の世界を体験しているユーザの状態に応じて、適切に仮想現実や拡張現実の世界と現実世界とを認識させることが可能な、新規かつ改良された情報処理装置、表示装置、情報処理方法及びプログラムを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて、ユーザに対するフィードバックを決定するフィードバック決定部を備える、情報処理装置が提供される。【０００７】
また、本開示によれば、少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて決定された、ユーザに対するフィードバックに関する情報に基づいて、ユーザに対して視覚的にフィードバックするための視覚フィードバック情報を生成するフィードバック処理部と、視覚フィードバック情報を表示する表示部と、を備える、表示装置が提供される。【０００８】
さらに、本開示によれば、プロセッサにより、少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて、ユーザに対するフィードバックを決定することを含む、情報処理方法が提供される。【０００９】
また、本開示によれば、コンピュータを、少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて、ユーザに対するフィードバックを決定するフィードバック決定部を備える、情報処理装置として機能させるプログラムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、仮想現実や拡張現実の世界を体験しているユーザの状態に応じて、適切に仮想現実や拡張現実の世界と現実世界とを認識させることが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態に係る情報処理システムの概略構成を示す説明図である。
【図２】同実施形態に係る情報処理システムの機能構成を示す機能ブロック図である。
【図３】ユースケースＡにおける情報処理装置の処理を示すフローチャートである。
【図４】Pre-configureの場合におけるメジャメントタイミングの設定を示すフローチャートである。
【図５】Configurableの場合におけるメジャメントタイミングの設定を示すフローチャートである。
【図６】ユースケースＢにおける学習型判定の処理を示すフローチャートである。
【図７】ユースケースＢにおけるフィードバック処理を示すフローチャートである。
【図８】ユースケースＣにおけるフィードバック処理を示すフローチャートであり、ユーザからフィードバック完了報告が行われる場合を示す。
【図９】ユースケースＣにおけるフィードバック処理を示すフローチャートであり、第三者からフィードバック完了報告が行われる場合を示す。
【図１０】ユースケースＤにおけるフィードバック処理を示すフローチャートである。
【図１１】ポリゴン数の違いによる表示変化を示す説明図である。
【図１２】ポリゴンモデルのＬＯＤ制御におけるカメラからの距離とモデルとの対応表である。
【図１３】ポリゴンモデルのＬＯＤ制御を行う機能部の機能ブロック図である。
【図１４】同実施形態に係る情報処理装置のハードウェア構成を示すハードウェア構成図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．概要
２．情報処理システムの構成
２．１．状態通知装置
２．２．サーバ
２．３．フィードバック装置
３．ユースケース
３．１．ユースケースＡ（能動的なアクションを受けてユーザ本人にフィードバックを行う）
３．２．ユースケースＢ（受動的なアクションを用いてユーザをモニタリングし、ユーザ本人にフィードバックを行う）
３．３．ユースケースＣ（ユーザ以外の第三者が能動的なアクションを行い、ユーザ本人にフィードバックを行う）
３．４．ユースケースＤ（受動的なアクションを用いて、ユーザをモニタリングし、第三者にフィードバックを行う）
４．表示変更によるフィードバック例
５．ハードウェア構成例
【００１４】
＜１．概要＞
まず、図１を参照して、本開示の一実施形態に係る情報処理システム１の概略構成について説明する。なお、図１は、本実施形態に係る情報処理システム１の概略構成を示す説明図である。
【００１５】
情報処理システム１は、仮想現実や拡張現実の世界のように仮想的なオブジェクトを含む情報が提供される世界（以下、「仮想世界」と称する。）を体験しているユーザに対し、ユーザ状態に応じて仮想世界と現実世界とを区別させるシステムである。情報処理システム１では、図１に示すように、仮想世界を体験しているユーザの状態を検出し、ユーザの状態から仮想世界と現実世界とを区別させるフィードバックの必要性をサーバにて判断し、ユーザへのフィードバックを行う。
【００１６】
例えば、仮想世界を体験しているユーザＰＡを考える。このとき、ユーザＰＡの身体状態や心理状態の測定やモニタリングが行われている。モニタリングは、例えば、ユーザＰＡの保持するスマートフォン１００Ａやリストバンド型活動量計１００Ｂのデバイス等を用いたり、監視カメラ等の環境設置型デバイスを用いたりして行われる。モニタリングにより取得された情報（以下、「モニタリング情報」ともいう。）は、所定のタイミングでサーバ２００に送信される。また、ユーザＰＡ自身や第三者ＰＢが能動的にユーザＰＡへのフィードバックをサーバ２００へ要求することも可能である。
【００１７】
モニタリング情報を受けたサーバ２００は、モニタリング情報に基づいて、ユーザＰＡのユーザ状態を判定し、ユーザＰＡへのフィードバックが必要か否かを判定する。ユーザＰＡへのフィードバックが必要と判定すると、サーバ２００はユーザＰＡの保持するデバイスに対して振動を発生させたり音声を出力させたりし、ユーザＰＡへのフィードバックを行う。あるいは、サーバ２００は、ユーザＰＡにアクション可能な第三者ＰＢの保持するスマートフォン３００Ａや音声プレーヤー３００Ｂ等のデバイスに対して振動を発生させたり音声を出力させたりし、第三者ＰＢからユーザＰＡへフィードバックしてもよい。また、ユーザＰＡ自身や第三者ＰＢからフィードバックの要請を受けた場合にも、サーバ２００はユーザＰＡへのフィードバックが必要と判定し、同様の処理を行ってもよい。
【００１８】
このように、本実施形態に係る情報処理システム１では、仮想世界を体験しているユーザに対して、仮想世界と現実世界とを区別させることが必要なときやユーザが知りたいと思ったときにフィードバックが行われるようにすることができる。これにより、仮想世界を体験しているユーザが仮想世界に没頭しすぎて現実で実行してよいことと仮想世界で実行してよいこととの区別がつかなくなることを防止することができ、ユーザの安全を確保することができる。以下、本実施形態に係る情報処理システム１の構成とその機能について、詳細に説明していく。
【００１９】
＜２．情報処理システムの構成＞
図２に基づいて、本実施形態に係る情報処理システム１の機能構成を説明する。なお、図２は、本実施形態に係る情報処理システム１の機能構成を示す機能ブロック図である。本実施形態に係る情報処理システム１は、図２に示すように、状態通知装置１００と、サーバ２００と、フィードバック装置３００とからなる。なお、図２では、情報処理システム１の処理の流れと関連付けて説明するため、各機能部を３つのデバイスに分けて示している。したがって、本開示における情報処理システム１の構成はかかる例に限定されず、例えば、状態通知装置１００とフィードバック装置３００とは同一デバイスであってもよい。
【００２０】
［２．１．状態通知装置］
（ａ）機能
状態通知装置１００は、仮想世界を体験しているユーザのモニタリング情報や、ユーザ自身あるいは第三者からのフィードバック要求情報を、サーバ２００へ送信する。状態通知装置１００がサーバ２００への通知を行うアクションは、「受動的なアクション」と「能動的なアクション」とに分類される。
【００２１】
（受動的なアクション）
「受動的なアクション」は、ユーザ状態を特定するために用いられる情報の計測やモニタリングを、情報処理システム１を構成する各種デバイスにて行い、サーバ２００へ送信することが挙げられる。モニタリングは主に生体状態や心理状態を対象とする。すなわち、状態通知装置１００は、仮想世界を体験しているユーザの身体状態や心理状態の測定やモニタリングを実施し、サーバ２００に対してユーザへのフィードバックの実施を判定させるための情報を取得する。
【００２２】
状態通知装置１００によるモニタリングとは、ユーザの身体状態や心理状態を計測することを意味する。モニタリングは、連続的なモニタリングと離散的なモニタリングに分類できる。離散的なモニタリングにおいては、ある一定の間隔でユーザの身体状態や心理状態の測定が行われる。測定の頻度や間隔については、当該システム１において予め設定してもよく、システム１内の特定のパラメータ等に準じて設定されるようにしてもよい。
【００２３】
計測やモニタリングされる項目としては、例えば、眼(視点、瞳孔、網膜)、三半規管、心拍数、血圧、発汗、脳波、位置情報、声色、発言内容等がある。発言内容については、例えば、ゲームをしているユーザが他のプレイヤーに対して意思・状態確認等の問い掛けをしているか等の情報が取得される。
【００２４】
状態通知装置１００は、計測やモニタリングを効率的に実施するために、予めモニタリング条件を設定しておくPre-configurationだけでなく、適応的にConfigurationを変更できるConfigurableなモニタリングを実施してもよい。すなわち、Pre-configureされた計測やモニタリングは、予めサーバにて設定された、ユーザを計測、モニタリングする測定タイミングに基づいて行われる。測定タイミングは、例えば、Ｄｕｒａｔｉｏｎ／Ｐｅｒｉｏｄ／Ｏｆｆｓｅｔの値を用いて規定してもよい。
【００２５】
一方、Configurableな計測やモニタリングは、サーバ側で、ユーザを計測、モニタリングする測定タイミングを、当該システム１の機能状況に応じて動的に設定してもよい。システム１の機能状況としては、例えば、計測・モニタリングしている項目の状況、ネットワーク状況、通信品質、輻輳状況、バッテリー状況等のデバイス状況等がある。状態通知装置１００は、このようなシステム１の機能状況を、例えば測定タイミングを規定するＤｕｒａｔｉｏｎ／Ｐｅｒｉｏｄ／Ｏｆｆｓｅｔの値に反映することで、Configurableな計測やモニタリングを行うことができる。
【００２６】
（能動的なアクション）
「能動的なアクション」は、例えば、仮想世界を体験しているユーザ自身または第三者から、ユーザに対して仮想世界と現実世界とを区別させるフィードバックの要求を行うことが挙げられる。
【００２７】
ユーザ自身がフィードバックを要求する状況としては、例えば、体験している世界が現実世界であるか仮想世界であるか判別できなくなり、体験している世界がどちらの世界であるかを知りたいと思った場合等がある。ユーザ自身によるフィードバック要求は、例えば、サーバ２００へフィードバック要求を送信するボタンを押下することにより行うようにしてもよい。このボタンは、現実世界に存在する物理的なボタンであってもよく、仮想世界に仮想オブジェクトとして存在するボタンであってもよい。
【００２８】
また、例えば、ユーザが所定のキーワードを発言したときに、サーバ２００へフィードバック要求を送信するようにしてもよい。このとき、状態通知装置１００は、ユーザの発言を音声認識し、キーワードを検出する。当該キーワードは、例えば、ユーザ自身が予め設定してもよく、当該システム１において予め設定されてもよい。具体的には、「現状認識要求」といったキーワードを設定してもよい。さらに、ユーザが所定のジェスチャを行ったときに、サーバ２００へフィードバック要求を送信するようにしてもよい。
【００２９】
一方、第三者がフィードバック要求をする状況としては、例えば、ユーザ自身は気付いていないが、意識が朦朧としている等、ユーザ自身で仮想世界と現実世界とを区別できなくなっていると思われる場合等がある。すなわち、第三者は、仮想世界と現実世界とを区別できなくなったユーザを助けるために、サーバ２００へユーザに対するフィードバックを要求することが可能である。ここで、第三者は、現実世界または仮想世界において、ユーザに対するアクションを実行可能な人物である。例えば、ユーザが仮想世界で提供されるゲームを行っている場合、当該ユーザに対するフィードバックを要求する第三者は、現実世界においてユーザの周囲にいる人であってもよく、仮想世界においてプレイヤーであるユーザに仮想的に接している人であってもよい。
【００３０】
第三者によるフィードバック要求は、例えば、ゲームのコントローラ等のデバイスを用いてボタン押下やコマンド入力を行ったり、所定のジェスチャをしたり、第三者が保持するスマートフォン等の通信装置からフィードバック要求情報を送信することで行ってもよい。
【００３１】
（ｂ）装置構成例
このような状態通知装置１００は、例えば図２に示すように、各種センサ１１０と、送信処理部１２０と、入力部１３０と、通信部１４０とから構成してもよい。具体的には、状態通知装置１００は、例えばユーザが保持するスマートフォン、リストバンド型活動量計やアイウェア端末等のウェアラブル端末等であってもよい。あるいは、監視カメラ等の環境設置型デバイスであってもよい。
【００３２】
各種センサ１１０は、ユーザ状態を特定するために用いられる情報の計測やモニタリングを行う機能部である。各種センサ１１０は、例えば、加速度センサや角速度センサ、気圧センサ、心拍センサ等の、生体情報を取得するためのセンサや、ＧＰＳ、マイクロフォン、撮像素子等である。各種センサ１１０は、所定の測定タイミングでユーザ状態を取得し、送信処理部１２０へ出力する。
【００３３】
送信処理部１２０は、各種センサ１１０により取得されたユーザ状態を特定するための情報を、通信部１４０を介してサーバ２００へ送信する処理を行う。送信処理部１２０は、各種センサ１１０により取得された情報を、所定のタイミングでサーバ２００へ送信するようにする。
【００３４】
入力部１３０は、ユーザが操作入力を行うための機能部である。本実施形態では、特に、ユーザがフィードバック要求を行う際に利用される。入力部１３０は、例えば、ボタンやキーボード、レバー、スイッチ、タッチセンサ等の操作入力部や、音声を取得するマイクロフォン、画像を取得する撮像素子等の情報取得部により構成される。入力部１３０が取得した情報は、ユーザのフィードバック要求に対応し、通信部１４０を介してサーバ２００へ送信される。通信部１４０は、サーバ２００と情報の送受信を可能にするための機能部である。
【００３５】
なお、図２に示す状態通知装置１００は、受動的なアクションを検出するための各種センサ１１０及び送信処理部１２０と、能動的なアクションを検出するための入力部１３０とが同一装置に設けられているが、本開示はかかる例に限定されない。例えば、各種センサ１１０及び送信処理部１２０と入力部１３０とを異なる装置に設けて、複数の状態通知装置１００からサーバ２００に対して情報が送信されるようにしてもよい。
【００３６】
［２．２．サーバ］
（ａ）機能
（フィードバックの要否判定）
サーバ２００は、状態通知装置１００から受信した情報に基づいて、ユーザに対してフィードバックを行うか否かを判定する。ユーザへのフィードバックの要否判定は、例えば、測定値が所定の閾値を超えたか否かにより判定する瞬時型判定であってもよく、状態通知装置１００にて取得された各種データを用いて学習することでフィードバックの要否を判定する学習型判定であってもよい。
【００３７】
瞬時型判定は、状態通知装置１００から送信される能動的なアクション及び受動的なアクションの両方に適用可能である。なお、受動的なアクションを判定する場合、瞬時的な判断が必ずしも適切ではないケースもある。例えば、ユーザが仮想世界で提供されるゲームを行っているときにユーザの緊張状態を計測する場合、サーバ２００は、ユーザがゲームの内容に応じて一時的にユーザが緊張状態になっているのか否かを適切に判定する必要がある。瞬時型判定ではこのような判定は難しいため、統計的な緊張状態の判定には学習型判定を利用するのがよい。
【００３８】
一方、学習型判定は、蓄積された受動的なアクションにより取得された各種センサ１１０の測定結果を学習し、学習結果からフィードバックの要否を決定する判定基準を設定する。そして、サーバ２００は、学習結果から設定された判定基準に基づいて、現在のユーザ状態が、フィードバックが必要な状態であるか否かを判定する。なお、学習型判定の詳細については、後述する。
【００３９】
（フィードバック手段）
サーバ２００にてユーザへのフィードバックを行うことが決定されると、どのようにフィードバックを行うかを決定する。フィードバックのパターンは、大別すると、ユーザ本人に直接行う場合と、第三者に通知して、通知を受けた第三者からユーザへフィードバックする場合とがある。サーバ２００からフィードバックや通知を受ける手段は１つ以上あり、複数の手段を組み合わせて用いてもよい。
【００４０】
まず、ユーザ本人に直接フィードバックを行う場合には、ユーザが保持、装着しているデバイスや、ユーザが体験している仮想世界を介して行うことができる。
【００４１】
例えば、スマートフォンやウェアラブル端末等のデバイスにより、ユーザにフィードバックしてもよい。フィードバックは、例えば、デバイスの電源をオフにしたり、スピーカから現実世界と仮想世界とを区別させるための音声を出力したり、デバイスを振動させたりしてもよい。また、ユーザに対して、痛み、かゆみ、眼圧、匂い等のように知覚を刺激する情報を提示したり、麻酔薬や睡眠薬等のユーザの動きを抑制する薬類を利用したりすることで、フィードバックしてもよい。さらに、仮想オブジェクトを非表示にしたり、仮想世界の表示をカメラのシースルー画像に切り替えて現実世界のみをユーザに提示したりして、フィードバックしてもよい。
【００４２】
どのようにフィードバックするかは、フィードバックを行うデバイスが備える機能に応じてサーバ２００にて決定してもよく、サーバ２００はフィードバックの実行指示のみを送信し、当該指示を受けたデバイス側で決定してもよい。
【００４３】
また、ユーザが仮想世界で提供されるゲームを行っている等、ユーザが体験している仮想世界を介して行う場合には、視覚や聴覚等によりフィードバックを行ってもよい。例えば、仮想世界であることを示すテキストや特定の物体を仮想オブジェクトとして表示させたり、仮想世界であることを音声により通知したりしてもよい。また、仮想世界を構成する仮想オブジェクトのポリゴン数が高く、現実世界のものとの区別がつきにくい場合には、仮想オブジェクトのポリゴン数を少なくして表示を変更させることで、現実世界と仮想世界とを区別できるようにしてもよい。あるいは、仮想世界の仮想オブジェクトに枠を付けて表示させることによっても、ユーザに現実世界と仮想世界とを区別させることが可能である。また、仮想世界として提供されるコンテンツのストーリーを変化させることで、ユーザに現実世界と仮想世界とを区別させてもよい。
【００４４】
一方、ユーザ以外の第三者からユーザに対してフィードバックを行う場合には、第三者の保持、装着しているデバイスに対してユーザへのフィードバック指示が送信された後、第三者がユーザに接触することで、ユーザへのフィードバックが行われる。ここで、第三者としては、例えば、ユーザの保護者、家族等の近親者や友人、現実世界においてユーザの周囲にいる人々、ゲーム運営会社、保険会社等の法人、警察、救急等の公的機関、仮想世界において仮想的にユーザに接しているプレイヤー等が想定される。
【００４５】
例えば、ユーザの保護者、家族等の近親者や友人へフィードバック指示を行う場合には、サーバ２００は、ユーザが事前に登録したデバイスに対して、フィードバックに関する情報を送信する。フィードバックに関する情報には、例えば、ユーザへの警告情報、ユーザの位置情報、フィードバックの緊急度等が含まれる。あるいは、ユーザ本人が装着しているデバイスに周囲の人が視認できるディスプレイ等の通知部が設けられている場合には、当該通知部に、周囲の人に対してフィードバックを要求するテキストや画像等を表示させてもよい。ユーザの保護者、家族等の近親者や友人が、ユーザが装着するデバイスが、フィードバックを要求する通知を行っていることに気付くことで、ユーザに対してフィードバックを行うことができる。
【００４６】
また、例えば、現実世界においてユーザの周囲にいる人々へフィードバック指示を行う場合には、サーバ２００は、ユーザの位置情報に基づいてユーザの周囲にいる人を特定し、特定した人が保持しているデバイスに対してフィードバックに関する情報を送信する。フィードバックに関する情報には、例えば、ユーザへの警告情報、ユーザの位置情報、フィードバックの緊急度、ユーザの顔や性別等のユーザを識別するためユーザプロファイル情報等が含まれる。また、この場合にも、ユーザ本人が装着しているデバイスに周囲の人が視認できるディスプレイ等の通知部が設けられている場合には、当該通知部に、周囲の人に対してフィードバックを要求するテキストや画像等を表示させてもよい。
【００４７】
さらに、例えば、ゲーム運営会社、保険会社等の法人に対してフィードバック指示を行う場合には、サーバ２００は、これらの法人のサーバを経由してフィードバックに関する情報を送信する。フィードバックに関する情報には、例えば、例えば、ユーザへの警告情報、ユーザの位置情報、フィードバックの緊急度、ユーザの顔や性別等のユーザを識別するためユーザプロファイル情報等が含まれる。また、サーバ２００は、仮想世界を介してユーザにフィードバックすることを要求し、仮想世界に、現実世界と仮想世界とを区別させるためのテキストや音声、物体を表示させたり、仮想世界として提供されるコンテンツの設定やストーリーを変更させたりしてもよい。
【００４８】
また、例えば、警察、救急等の公的機関へフィードバック指示を行う場合にも、サーバ２００は、これらの公的機関のサーバを経由してフィードバックに関する情報を送信する。フィードバックに関する情報には、例えば、例えば、ユーザへの警告情報、ユーザの位置情報、フィードバックの緊急度、ユーザの顔や性別等のユーザを識別するためユーザプロファイル情報等が含まれる。
【００４９】
さらに、例えば、仮想世界において仮想的にユーザに接しているプレイヤーへフィードバック指示を行う場合には、サーバ２００は、例えば仮想世界を介してユーザにフィードバックさせるように指示する。これを受けたプレイヤーは、仮想世界でユーザに接し、テキストや音声、表示変更等により、ユーザに対してフィードバックを行う。また、プレイヤーは、現実世界を通してユーザへフィードバックしてもよい。例えば、警告内容を表す音声をユーザの装着物から出力させたり、ユーザが体験している仮想世界の仮想オブジェクトの表示を変更させたりして、ユーザへフィードバックする。このとき、例えば、仮想オブジェクトのポリゴン数を少なくする処理を行ったり、仮想オブジェクトに枠を付けて表示させたりすることで、対応する現実世界のオブジェクトと明確に違いが判るようにしてもよい。
【００５０】
（ｂ）装置構成例
このようなサーバ２００は、例えば図２に示すように、通信部２１０と、状態判定部２２０と、フィードバック決定部２３０と、設定記憶部２４０とからなる。
【００５１】
通信部２１０は、状態通知装置１００や後述するフィードバック装置３００との情報の送受信を行う。通信部２１０は、状態通知装置１００から受信した情報を状態判定部２２０へ出力し、フィードバック決定部２３０から入力された情報をフィードバック装置３００へ送信する。
【００５２】
状態判定部２２０は、状態通知装置１００から受信した情報に基づいて、ユーザへのフィードバックが必要か否かを判定するためのユーザ状態を判定する。状態判定部２２０は、例えば、受動的なアクションとして状態通知装置１００が取得した各種センサ１１０の測定結果に基づいて、学習によりユーザ状態を判定する学習型判定あるいは所定の測定値が閾値を超えたか否かによりユーザ状態を判定する瞬時型判定を行う。また、状態判定部２２０は、状態通知装置１００からユーザ自身または第三者からのフィードバック要求情報を受信したか否かにより、ユーザへのフィードバックの要否を瞬時に判定してもよい。
【００５３】
状態判定部２２０の判定方法は、情報処理システム１の構成により、状態通知装置１００から受信する情報に応じて設定される。したがって、状態判定部２２０は、必ずしも瞬時型判定と学習型判定との機能を両方備える必要はなく、少なくともいずれか１つの判定方法により、ユーザへのフィードバックの要否判定が可能に構成されていればよい。状態判定部２２０によりユーザへのフィードバックが必要と判定されると、フィードバック決定部２３０にその旨が通知される。
【００５４】
フィードバック決定部２３０は、少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて、ユーザに対するフィードバックを決定する。フィードバック決定部２３０は、ユーザへのフィードバックを行うことが決定されると、どのようにフィードバックを行うかを決定する。フィードバックのパターンは、大別すると、ユーザ本人に直接行う場合と、第三者に通知して、通知を受けた第三者からユーザへフィードバックする場合とがある。サーバ２００からフィードバックや通知を受ける手段は１つ以上あり、複数の手段を組み合わせて用いてもよい。どのようにフィードバックするかは、フィードバックを行うデバイスが備える機能に応じてフィードバック決定部２３０にて決定してもよい。あるいは、フィードバック決定部２３０はフィードバックの実行指示のみを送信し、当該指示を受けたデバイス（後述するフィードバック装置３００）側で決定してもよい。
【００５５】
フィードバック決定部２３０は、通信部２１０を介して、ユーザまたは第三者のデバイス（フィードバック装置３００）等へ、フィードバックを行うために必要なフィードバック情報を送信する。
【００５６】
設定記憶部２４０は、サーバ２００にて行われるユーザへのフィードバック要否判定時に利用する閾値情報や、ユーザへのフィードバックを行う際にユーザ本人あるいは第三者に送信されるフィードバックに関する情報を保持する。状態判定部２２０及びフィードバック決定部２３０は、設定記憶部２４０を参照し、それぞれの処理を実行する。
【００５７】
［２．３．フィードバック装置］
（ａ）機能
フィードバック装置３００は、サーバ２００から受信したフィードバックに関する情報に基づいて、ユーザに対して直接フィードバックを行ったり、第三者からユーザへフィードバックするように行動させたりする。フィードバック装置３００は、ユーザ本人へ直接フィードバックが行われる場合には、状態通知装置１００と同一デバイスであってもよい。また、第三者に対してユーザへのフィードバックを指示する場合には、フィードバック装置３００は、例えば、第三者が保持、装着するデバイスであったり、法人のサーバであったりする。
【００５８】
（ｂ）装置構成例
フィードバック装置３００は、例えば図２に示すように、通信部３１０と、フィードバック処理部３２０と、出力部３３０とからなる。
【００５９】
通信部３１０は、サーバ２００との情報の送受信を行う。通信部３１０は、サーバ２００から受信したフィードバックに関する情報をフィードバック処理部３２０へ出力する。
【００６０】
フィードバック処理部３２０は、フィードバックに関する情報を受信した当該フィードバック装置３００から、ユーザあるいは第三者に対してフィードバックするための情報処理を行う。フィードバックは、現実世界において行ってもよく、仮想世界において行ってもよい。
【００６１】
例えば、フィードバック処理部３２０は、仮想世界を体験しているユーザに直接フィードバックを行う場合には、現実世界において、デバイスの電源をオフにしたり、スピーカから音声を出力したり、デバイスを振動させたりする処理を行う。また、フィードバック処理部３２０は、ユーザの知覚を刺激する情報を提示したり、麻酔薬や睡眠薬等のユーザの動きを抑制する薬類をユーザに与えたりする処理を行ってもよい。さらに、フィードバック処理部３２０は、仮想オブジェクトを非表示にしたり、仮想世界の表示をカメラのシースルー画像に切り替えて現実世界のみをユーザに提示したりする処理を行ってもよい。フィードバック処理部３２０の処理の結果を受けて、出力部３３０からユーザに対するフィードバックが出力される。
【００６２】
また、フィードバック処理部３２０は、仮想世界を介してユーザにフィードバックする場合には、仮想世界でユーザに接し、テキストや音声、表示変更等により、ユーザに対してフィードバックを行う処理を行う。このとき、フィードバック処理部３２０は、例えば、仮想オブジェクトのポリゴン数を少なくする処理を行ったり、仮想オブジェクトに枠を付けて表示させたりすることで、対応する現実世界のオブジェクトと明確に違いが判るようにしてもよい。
【００６３】
一方、第三者に対してユーザへのフィードバックを指示する場合、フィードバック処理部３２０は、サーバ２００から受信したフィードバックに関する情報に基づいて、ユーザを特定するための情報と緊急度を第三者に通知する処理を行う。フィードバックに関する情報には、ユーザへの警告情報、ユーザの位置情報、フィードバックの緊急度が含まれる。また、フィードバックに関する情報には、第三者がユーザを知らない人である場合には、ユーザの顔や性別等のユーザを識別するためユーザプロファイル情報等が含まれる。
【００６４】
なお、第三者にユーザへのフィードバックを行わせる場合、ユーザ本人が装着しているデバイスに周囲の人が視認できる通知部が設けられている場合には、当該通知部に、周囲の人に対してフィードバックを要求するテキストや画像等を表示されることもある。この場合、周囲の人が、ユーザが装着するデバイスからフィードバックを要求する通知がされていることを早期に気付かせるため、第三者に対して周囲への注意を促すアラームや振動等を提示するようにしてもよい。
【００６５】
出力部３３０は、フィードバック処理部３２０による処理結果に基づいて、情報の出力を行う。出力部３３０は、例えばディスプレイやスピーカ、ランプ等である。ユーザ本人へフィードバックが直接行われる場合には、出力部３３０からの出力情報がユーザへのフィードバックとなる。また、第三者に対してユーザへのフィードバックを指示した場合には、出力部３３０から通知された情報に基づいて、第三者はユーザを特定し、フィードバックを行う。
【００６６】
＜３．ユースケース＞
以下、本実施形態に係る情報処理システム１の構成例を示す。以下では代表的な構成例を示しており、本開示は、かかる構成例に限定されず、状態通知装置１００、サーバ２００、フィードバック装置３００それぞれが実現できる機能を組み合わせて情報処理システムを構築することが可能である。これにより、本実施形態に係る情報処理システム１では、仮想世界に浸る没入感と現実感のバランスを取りつつ、本当に必要な時やユーザが知りたいときに現実世界と仮想世界とを区別させることが可能となり、仮想世界に没入しすぎている状態のユーザを危険から守るサービスを提供することを可能とする。
【００６７】
［３．１．ユースケースＡ（能動的なアクションを受けてユーザ本人にフィードバックを行う）］
まず、図３に基づいて、ユーザ自身が能動的に仮想世界と現実世界とを判別するためのフィードバック要求（以下、本ユースケースでは「判別要求トリガ」と称する。）を行った場合に、サーバ２００が判別要求トリガを瞬時に判定し、ユーザ本人に警告等のフィードバックを行うユースケースについて説明する。なお、図３は、本ユースケースにおける情報処理システム１の処理を示すフローチャートである。図３において「ユーザ」の処理は、状態通知装置１００及びフィードバック装置３００の処理を示している。
【００６８】
本ユースケースでは、ユーザが、仮想現実型・拡張現実型等のゲームやネットワークサービスなどに没頭している際に、仮想世界と現実世界との区別がつかなくなってしまった状況を想定する。
【００６９】
まず、状態通知装置１００の入力部１３０は、ユーザからの判別要求トリガの入力を常に待ち受けている状態にある。ユーザからの判別要求トリガとしては、例えば下記のようなインタラクションを想定する。
・物理インタフェースを介した操作入力：
物理コントローラに割り当てられた現実世界の物理的なボタンや、仮想世界におけるユーザインタフェース等の仮想オブジェクトであるボタンの押下
・音声入力・音声認識によりユーザの発したキーワードの検出：
予めユーザが登録したキーワードや、システム上で予め設定されたキーワードを検出
・ユーザのジェスチャの取得：
予めユーザが登録したジェスチャパターンや、システム上で予め設定されたジェスチャパターンを検出
【００７０】
状態通知装置１００の入力部１３０は、情報の入力を受けると（Ｓ１００）、通信部１４０を介して当該情報入力データとしてサーバ２００へ送信する（Ｓ１１０）。入力データを受信したサーバ２００は（Ｓ１２０）、状態判定部２２０により、その入力データが予め設定されている判別要求トリガデータと一致するか否かの瞬時型判定を行う（Ｓ１３０）。
【００７１】
なお、判別要求トリガデータは複数のパターンがあってもよく、各パターンにはそれぞれ様々なレベルのフィードバック情報が割り当てられていてもよい。この場合、入力データが一致する判別要求トリガデータに応じて、ユーザへのフィードバック内容が相違するようにしてもよい。また、本ユースケースでは能動的なアクションのみに基づき、フィードバックの実施を判定する例を説明しているが、本開示はかかる例に限定されず、能動的なアクションと受動的なアクションとを組み合わせて判定してもよい。例えば、能動的なアクションが行われたときに受動的なアクションとして計測した心拍数情報も取得する。そして、能動的なアクション行われたときに心拍数が所定値以上である場合と心拍数が所定値未満である場合とでフィードバック方法を変えるようにしてもよい。
【００７２】
図３の説明に戻り、サーバ２００は、ユーザから仮想世界と現実世界との判別要求があったと判断した場合、フィードバック決定部２３０によりユーザへのフィードバック内容を示すフィードバック情報を生成し（Ｓ１４０）、フィードバックを行う（Ｓ１５０）。ユーザへのフィードバックとしては、例えば、下記のような内容が想定される。
・付加情報型フィードバック：
仮想世界の仮想オブジェクトに枠を付ける等、ユーザ自身が仮想世界と現実世界とを判別するための付加情報を与える
・情報削減型フィードバック：
仮想世界の仮想オブジェクト表示を消去し、現実世界の画面のみに切り替える
・強制終了型フィードバック：
強制的に仮想世界のコンテンツ（ゲーム・アプリケーション）をシャットダウンさせる
【００７３】
このように、フィードバック方法は様々に設定することができるが、付加情報型フィードバック、情報削減型フィードバック、強制終了型フィードバックの順に、ユーザに対してより強いフィードバックが行われる。どのフィードバック方法を用いるかは、例えばフードバックの緊急度に応じて決定してもよい。緊急度が高いほど、より強いフィードバックを行うことで、仮想世界に没頭するユーザの安全を確実に確保することができる。一方で、フィードバックの緊急度が高くない場合には、仮想世界を楽しんでいるユーザの状態を妨げないように、例えば付加情報型フィードバックによって仮想世界を楽しみながらユーザに自然と認識してもらうようにするようにしてもよい。フィードバックの緊急度は、例えば状態通知装置１００の各種センサ１１０にて測定される、ユーザの心拍数や血圧等に基づき判断してもよい、
【００７４】
サーバ２００からフィードバック装置３００へフィードバックが行われた後、図３に示すように、ユーザにフィードバックを認識したことを表すフィードバック完了通知をサーバ２００へ送信してもよい（Ｓ１６０）。フィードバック完了通知は、状態通知装置１００の入力部１３０から、判別要求トリガと同様に入力してもよい。フィードバック完了通知は、例えば、フィードバック結果をリセットする、等の完了通知処理要求を含んでもよい。これにより、今回の処理を通してユーザが仮想世界と現実世界とを判別できた場合に、ユーザが再度仮想世界に戻り、拡張現実・仮想現実空間を楽しむことができるようにすることができる。サーバ２００は、その要求内容に応じてフィードバック完了動作を行う（Ｓ１７０）。
【００７５】
［３．２．ユースケースＢ（受動的なアクションを用いてユーザをモニタリングし、ユーザ本人にフィードバックを行う）］
次に、図４〜図７に基づいて、ユーザの状態の定期的にモニタリングし、サーバ２００による学習型判定に基づいて、ユーザ本人にフィードバックを行うユースケースについて説明する。なお、図４は、Pre-configureの場合におけるメジャメントタイミングの設定を示すフローチャートである。図５は、Configurableの場合におけるメジャメントタイミングの設定を示すフローチャートである。図６は、本ユースケースにおける学習型判定の処理を示すフローチャートである。図７は、本ユースケースにおけるフィードバック処理を示すフローチャートである。図６及び図７において、「ユーザ」の処理は、状態通知装置１００及びフィードバック装置３００の処理を示している。
【００７６】
本ユースケースでは、ユーザが仮想世界への没入型のゲームをプレイしている際に、例えば仮想世界と現実世界との区別がつかなくなっている状態等、ユーザが危険な状態になっている状況を想定する。なお、本ユースケースとしては、ゲーム以外であってもよく、例えばＩｏＴ（Internet of Things）やＭ２Ｍ等のユースケースも想定されうる。
【００７７】
まず、ユーザの状態の測定を行うために、情報処理システム１においてユーザ状態の測定タイミングの設定が行われる。本ユースケースでは、この測定タイミングを「メジャメントタイミング」と呼ぶ。一般的にメジャメントタイミングは、以下のトレードオフがある。
・短い間隔に設定するほど、ユーザの状態をより正確に測定できるが、デバイスにおけるメジャメント時間は増加し、ＣＰＵ／メモリ消費や、電力消費が増大する。
・長い間隔に設定するほど、メジャメント時間は減り、デバイスの負担は減るが、ユーザの状態測定精度は低下する。
【００７８】
このため、メジャメントタイミングを適切に設定する必要がある。そこで、メジャメントタイミングをPre-configureしたり、Configurableに設定可能にしたりしてもよい。例えば、Pre-configureの場合では、図４に示すように、システムにおいて事前にパラメータを設定しておく（Ｓ２０１）。パラメータは、例えば、どの程度の周期でどの期間測定を行うか（Period/Duration/Offset）といったものがある。システムスペシフィックに設定を行うことで、シグナリングオーバーヘッドの低減が可能となる。
【００７９】
一方、Configurableなケースでは、システムにおいて、デバイス（状態通知装置１００）でのメジャメントタイミングが動的または準静的に設定される。メジャメントタイミングを具体的に決定するためのパラメータとしては、例えば、デバイスのバッテリー状況が挙げられる。例えば図５に示すように、システム１にて初期設定が実施された後（Ｓ２１１）、バッテリー容量を表すバッテリー情報がデバイスからサーバ２００に提供される（Ｓ２１３）。サーバ２００は、受信したバッテリー情報に基づき、デバイスのバッテリー容量が閾値以下であるか否か判定し（Ｓ２１５）、バッテリー容量が閾値以下であり、少ないことを認識すると、メジャメントタイミングの周期及び期間を減らす（Ｓ２１７）。これにより、デバイスのバッテリー消費を抑えることが可能になる。その他、Configurableなケースでは、通信状況や、測定対象(心拍を測定するのか、血圧を測定するのか等)に応じて適応的にメジャメントタイミングを変更するとこが可能である。
【００８０】
メジャメントタイミング設定後、デバイス（状態通知装置１００）は確定されたタイミングで測定を行う。ここでの測定対象は、例えば、心拍数や血圧などが挙げられる。デバイスは測定した結果を随時サーバ２００へ通知する。
【００８１】
デバイスからデータを受信したサーバ２００は、本ユースケースでは学習型判定によりユーザ状態を判定する。図６に示すように、デバイスからデータを受信したサーバ２００は（Ｓ２２１）、受信したデータを蓄積し、状態判定部２２０により、当該データを統計的な情報へと変換する（Ｓ２２２）。例えば、状態判定部２２０は、受信したデータを、平均値、分散値等の統計的な情報に変換する。そして、状態判定部２２０は、統計的な情報に基づき、ユーザの「通常状態」を設定する（Ｓ２２３）。「通常状態」は、例えば、「ある規定された時間、平均値から±ｘ以下である」等と設定してもよい。
【００８２】
次いで、状態判定部２２０は、「異常状態」の判定基準を設定する（Ｓ２２４）。「異常状態」の判定基準は、予め設定されたものでもよく、動的に設定されたものでもよい。例えば、「異常状態」は、「ある一定期間に、ある一定以上の変化があった」状態等と設定してもよい。
【００８３】
その後、サーバ２００がデバイスからデータを受信し（Ｓ２２５）、ユーザ状態を上記判定基準に基づき判定したとき、ユーザが「異常状態」にあると判定したとする（Ｓ２２６）。このとき、サーバ２００は、デバイスへフィードバックを行う。ここで、仮に、ステップＳ２２６では「異常状態」と判定されたが、実際は、ユーザ状態は「異常状態」ではなかったとする。この場合、デバイスは、サーバ２００に対してフィードバックを行うことができる（Ｓ２２７）。デバイスからユーザ状態判定の誤りのフィードバックを受けたサーバ２００は、このフィードバック情報に応じて、適応的に判定基準の設定を変更することができる（Ｓ２２８）。このように、サーバ２００は、統計的なデータ変換を用いて、ユーザの「通常状態」を認識し、ユーザからのユーザ状態判定についてのフィードバック情報に基づいて判定基準を学習していく。
【００８４】
このような情報処理システム１では、図７に示すように、サーバ２００がデバイスからデータを受信し（Ｓ２３１）、ユーザ状態を上記判定基準に基づき判定する。その結果、ユーザが「異常状態」と判定すると（Ｓ２３２）、サーバ２００は、ユーザに対してフィードバックを行う（Ｓ２３３）。ユーザへのフィードバックは、例えば、ユーザが使用しているデバイスを通じて音を鳴らしたり振動させたりすることが考えられる。フィードバック後、ユーザはサーバ２００に対してフィードバック完了通知を実施する（Ｓ２３４）。
【００８５】
［３．３．ユースケースＣ（ユーザ以外の第三者が能動的なアクションを行い、ユーザ本人にフィードバックを行う）］
次に、図８及び図９に基づいて、仮想世界を体験しているユーザ以外の第三者がユーザのメジャメントを要求し、サーバ２００によりユーザ状態を判定して、ユーザ本人にフィードバックを行うユースケースについて説明する。なお、図８は、本ユースケースにおけるフィードバック処理を示すフローチャートであり、ユーザからフィードバック完了報告が行われる場合を示す。図９は、本ユースケースにおけるフィードバック処理を示すフローチャートであり、第三者からフィードバック完了報告が行われる場合を示す。図８及び図９において、「ユーザ」及び「第三者」の処理は、状態通知装置１００及びフィードバック装置３００の処理を示している。
【００８６】
本ユースケースでは、ユーザが仮想世界への没入型のゲームをプレイしている際に、第三者がユーザの行動の異常を検知し、サーバ２００へ通報を行う状況を想定する。第三者から通報を受けたサーバ２００は、対象のユーザのモニタリングを開始し、異常があればユーザ本人または第三者へフィードバックを行う。
【００８７】
（ユーザからフィードバック完了報告を行う場合）
まず、図８に示すように、本ユースケースでは、第三者は、仮想世界を体験しているユーザの行動の異常を感じ、ユーザ状態の確認が必要と判断したとき、ユーザの状態を目視等により確認する（Ｓ３０１）。ここでの「通常状態」であるか否かの判断は、例えば以下の「異常状態」の判定基準に基づいて行ってもよい。
・同じゲーム内でプレイしている他のプレイヤーからゲームキャラクタを通じて話しかけた時、一定時間返答がない、あるいは、明らかに会話に違和感がある
・現実世界におけるプレイヤーの行動が明らかに常識を逸する
【００８８】
そして、ユーザの状態が「通常状態」ではないと判断した場合、第三者はサーバ２００にメジャメントリクエストを通知する（Ｓ３０２、Ｎｏ）。
【００８９】
第三者からリクエストを受け取ったサーバ２００は、ユーザのメジャメントを実施する（Ｓ３０３）。本ユースケースにおけるメジャメントの対象としては、例えば血圧や心拍等が考えられる。サーバ２００から指示を受けたユーザのデバイスは、メジャメントを実施し、測定値をサーバ２００へレポートする（Ｓ３０４）。
【００９０】
そして、サーバ２００は、ユーザのデバイスからレポートされた値が、閾値を超えているかどうかの判断を行い（Ｓ３０５）、レポートされた値が閾値を超えている場合には、ユーザ本人に対してフィードバックを行う（Ｓ３０６、Ｓ３０７）。ユーザへのフィードバックは、例えばユーザに提供されている仮想世界のコンテンツを消去したり、ユーザに提示する映像を仮想オブジェクトが提示されるコンテンツ画面からシースルー画面にして現実世界に切り替えたりする方法が挙げられる。また、例えば、セーフティボタン等のように、外部から強制的に仮想世界の提供を停止させる機能を起動させ、強制的に仮想世界のゲームをシャットダウンさせる方法なども考えられる。フィードバックを実施後、ユーザのデバイスは、フィードバックの完了レポートをサーバ２００に返信する（Ｓ３０８）。
【００９１】
（第三者からフィードバック完了報告を行う場合）
次に、図９に基づいて、第三者からフィードバック完了報告を行う場合について説明する。図９のステップＳ３１１〜Ｓ３１５までの処理は、図８のステップＳ３０１〜Ｓ３０５と同一である。図９に示すように、第三者は、仮想世界を体験しているユーザの行動の異常を感じ、ユーザ状態の確認が必要と判断したとき、ユーザの状態を確認する（Ｓ３１１）。そして、ユーザの状態が「通常状態」ではないと判断した場合、第三者はサーバ２００にメジャメントリクエストを通知する（Ｓ３１２、Ｎｏ）。
【００９２】
第三者からリクエストを受け取ったサーバ２００は、ユーザのメジャメントを実施する（Ｓ３１３）。サーバ２００から指示を受けたユーザのデバイスは、メジャメントを実施し、測定値をサーバ２００へレポートする（Ｓ３１４）。そして、サーバ２００は、ユーザのデバイスからレポートされた値が閾値を超えているかどうかの判断を行う（Ｓ３１５）。
【００９３】
ステップＳ３１５にてレポートされた値が閾値を超えている場合には、サーバ２００は、ユーザ本人に対してフィードバックを行うとともに（Ｓ３１７）、第三者に対してユーザへフィードバックを行った旨を通知する（Ｓ３１８）。フィードバックの実施の通知を受けた第三者は、ユーザの状態を再び確認し、フィードバックの完了レポートをサーバ２００に返信する（Ｓ３１９）。
【００９４】
［３．４．ユースケースＤ（受動的なアクションを用いて、ユーザをモニタリングし、第三者にフィードバックを行う）］
次に、図１０に基づいて、仮想世界を体験しているユーザの状態を定期的にモニタリングし、サーバ２００による学習型判定の結果、ユーザ状態の異常が確認された場合、第三者にフィードバックを行うユースケースについて説明する。なお、図１０は、本ユースケースにおけるフィードバック処理を示すフローチャートである。なお、図１０において、「ユーザ」及び「第三者」の処理は、それぞれ状態通知装置１００及びフィードバック装置３００での処理を示している。
【００９５】
（概要）
本ユースケースでは、ユーザが仮想世界への没入型のゲームをプレイしている際に、ユーザの意識が朦朧としてしまい、自身では判断が行えないような状況に陥っている状況を想定する。このような状況においては、ユーザ本人にフィードバックを行っても改善が見込めないため、第三者を通じてユーザに警告するようにする。なお、本ユースケースでは、ユーザの状態を行うために行うメジャメントや、サーバ２００での学習型判定処理はユースケースＢと同様のため詳細な説明を割愛し、第三者へのフィードバック処理について主として説明する。
【００９６】
図１０に示すように、ユーザの状態が定期的に測定され、測定データがサーバへ送信されているとする（Ｓ４０１）。ここで、サーバ２００が受信したデータについて学習型判定し、ユーザの状態が「異常状態」であると判定したとする（Ｓ４０２）。このとき、ユーザは、ユーザにフィードバック可能なユーザを特定する（Ｓ４０３）。ここでの第三者は、例えば現実世界においてユーザの周囲にいる人々が挙げられる。第三者の特定は、ユーザの位置情報に基づき行われる。
【００９７】
ユーザ周辺にいる第三者が特定されると、サーバ２００は、ユーザへのフィードバックを依頼するフィードバック情報を生成し、第三者のデバイスに送信する（Ｓ４０４）。第三者へのフィードバック情報には、例えば、フィードバック対象のユーザに警告を依頼する依頼情報と、ユーザの詳細情報とが含まれる。ここで、ユーザの詳細情報には、例えば、ユーザへの警告情報、ユーザの位置情報、緊急度、ユーザプロファイル情報等が含まれる。警告情報とは、ユーザに行うフィードバック内容であり、例えば、ユーザの意識をはっきりさせるといった内容である。ユーザ位置情報は、ユーザの詳細位置を特定するために使用される。緊急度は、ユーザが現在どのような状況にあり、どの程度の緊急度でフィードバックを行う必要があるかを示す。ユーザプロファイル情報は、ユーザに関するプロファイルの情報であり、ユーザの性別や顔情報、過去のフィードバック歴、持病等の情報を含んでいる。
【００９８】
第三者は、これらの詳細情報に基づいて、ターゲットのユーザを発見し（Ｓ４０５）、フィードバックを行う（Ｓ４０６）。フィードバック完了後、ユーザもしくは第三者より、サーバ２００に対してフィードバック完了通知が行われる（Ｓ４０７、Ｓ４０８）。
【００９９】
＜４．表示変更によるフィードバック例＞
本実施形態に係る情報処理システム１においては、ユーザ本人にフィードバックを行う際、ユーザが体感している仮想世界の提供を完全に停止させることなく、ユーザに仮想世界と現実世界とを区別させることができる。すなわち、ユーザの仮想世界への没入感を妨げないように、ユーザに仮想世界と現実世界とを区別させる。
【０１００】
以下、かかる処理の一例として、図１１〜図１３に基づいて、仮想世界の仮想オブジェクトの表示の精細度を変化させることで、ユーザにフィードバックを行う場合について説明する。なお、図１１は、ポリゴン数の違いによる表示変化を示す説明図である。図１２は、ポリゴンモデルのＬＯＤ制御におけるカメラからの距離とモデルとの対応表である。図１３は、ポリゴンモデルのＬＯＤ制御を行う機能部の機能ブロック図である。
【０１０１】
通常、ユーザに仮想世界に没入してもらうためにゲームは高性能なＧＰＵ、ＣＰＵを用いて高精細な３次元グラフィックスを描画している。高精細であることによってより現実世界に近い感覚をユーザにもたらしているが、逆に意図的に精細さを減らすことによってユーザに仮想世界であることを認知させることが可能である。例えば図１１に示すように、右側のポリゴン数の多いモデルと比較して、左側のポリゴン数の少ないモデルでは、現実世界に存在するオブジェクトから離れるものとなるため、仮想世界である感覚を強く出すことができる。
【０１０２】
このように３次元グラフィクスにおいてより現実的、写実的な表現をするための手段として、より高精細なポリゴンモデル、テクスチャが描画に用いられている。しかしゲーム世界中のすべてのポリゴンモデルとテクスチャを一度に高精細にするとＧＰＵやメモリバンドへの負荷が増大する。このため通常ゲームにおいては同じモデルに対してポリゴンの数の多いモデル（多ポリゴンモデル）と少ないモデル（少ポリゴンモデル）を多段階に用意し、ＬＯＤ（Level Of Detail）と呼ばれる値を用いて描画に用いるポリゴンモデルを切り替えることによって負荷を下げている。通常は描画のカメラ位置に近いモデルは多ポリゴンモデル、遠いモデルは少ポリゴンモデルを描画するようにカメラの距離とＬＯＤの値を連動させる。テクスチャについても同様の手法が取られている。
【０１０３】
ここで、意図的に精細さを落とすには、距離とＬＯＤとの値を連動させるための閾値を変更すればよい。図１２に、ポリゴンモデルのＬＯＤ制御におけるカメラからの距離とモデルとの対応表を例示する。ｄ１、ｄ２、ｄ３はカメラからの距離を示し、この順に値が大きくなるものとする（ｄ１＜ｄ２＜ｄ３）。ｍ１、ｍ２、ｍ３はポリゴンモデルのインデックスを示しており、それぞれポリゴン数が異なるモデルであるとする。ここで、ポリゴン数はｍ１、ｍ２、ｍ３の順に小さくなるものとする（ｍ１＞ｍ２＞ｍ３）。
【０１０４】
図１２に示すように、通常時においては、より近い距離ｄ１のときに最もポリゴン数の多いｍ１モデルを用い、より遠い距離ｄ３以上のときにポリゴン数が最も少ないｍ３モデルを用いている。一方、ユーザへのフィードバックを行う警告時には、どの距離に置いても最もポリゴン数の少ないｍ３モデルを用いるようにする。これにより、仮想世界で提供される仮想オブジェクトは、ポリゴン数の少ない、すなわち、精細度の低いモデルが提示されるようになる。
【０１０５】
表示変更処理は、例えば図２のフィードバック装置３００のフィードバック処理部３２０にて行われる。その詳細を図１３に示す。表示変更処理を行う機能部は、図１３に示すように、制御部３２１と、描画制御部３２３と、ＬＯＤ制御データ記憶部３２５と、３次元モデルデータ記憶部３２７とからなる。
【０１０６】
制御部３２１は、通信部３１０より、サーバ２００から受信したフィードバックに関する情報に基づいて、ユーザへのフィードバック処理を行う。表示変更によるフィードバックを行う場合、制御部３２１は、描画制御部３２３に対して表示変更の指示を行う。
【０１０７】
描画制御部３２３は、制御部３２１からの表示変更の指示に基づいて、仮想オブジェクトの表示を変更する。描画制御部３２３は、ＬＯＤ制御データ記憶部３２５に記憶された図１２に示したＬＯＤ対応表を参照し、警告時の設定に基づいて、描画に用いる３次元モデルデータを選択する。３次元モデルデータは、３次元モデルデータ記憶部３２７に記憶されている。３次元モデルデータ記憶部３２７は、ポリゴンモデル、テクスチャなどの３次元描画に必要なデータを３次元モデルデータとして記憶している。描画制御部３２３により変更された仮想オブジェクトは、出力部３３０を介して、ヘッドマウントディスプレイ等のユーザが利用している映像表示機器へ出力される。
【０１０８】
以上の処理を、同様にテクスチャについても適用することで更に精細さを落とすことが可能である。すなわち、高ポリゴンモデルを高解像度のテクスチャ、低ポリゴンモデルを低解像度のテクスチャと置き換えることで、上記と同様の処理にてテクスチャのＬＯＤ制御を変更することが可能である。
【０１０９】
＜５．ハードウェア構成例＞
最後に、上記実施形態に係る状態通知装置１００、サーバ２００、フィードバック装置３００のハードウェア構成例について説明する。これらの機器は同様に構成することができるため、以下では、サーバ２００を例として説明する。図１４は、上実施形態に係るサーバ２００のハードウェア構成を示すハードウェア構成図である。
【０１１０】
本実施形態に係るサーバ２００は、上述したように、コンピュータ等の処理装置により実現することができる。サーバ２００は、図１４に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３と、ホストバス９０４ａとを備える。また、サーバ２００は、ブリッジ９０４と、外部バス９０４ｂと、インタフェース９０５と、入力装置９０６と、出力装置９０７と、ストレージ装置９０８と、ドライブ９０９と、接続ポート９１１と、通信装置９１３とを備える。
【０１１１】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ２００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４ａにより相互に接続されている。
【０１１２】
ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【０１１３】
入力装置９０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。出力装置９０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。
【０１１４】
ストレージ装置９０８は、サーバ２００の記憶部の一例であり、データ格納用の装置である。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。
【０１１５】
ドライブ９０９は、記憶媒体用リーダライタであり、サーバ２００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。
【０１１６】
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置９１３は、例えば、通信網５に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１３は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【０１１７】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１８】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１１９】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて、前記ユーザに対するフィードバックを決定するフィードバック決定部を備える、情報処理装置。
（２）
前記フィードバック決定部は、前記ユーザが体験している前記世界の連続性を保持可能なフィードバックを決定する、前記（１）に記載の情報処理装置。
（３）
前記フィードバック決定部は、前記ユーザ状態に基づいて、予め設定されたフィードバック候補から前記ユーザに対するフィードバックを決定する、前記（１）または（２）に記載の情報処理装置。
（４）
前記フィードバック決定部は、前記ユーザへのフィードバックの緊急度に基づいて、予め設定されたフィードバック候補から前記ユーザに対するフィードバックを決定する、前記（３）に記載の情報処理装置。
（５）
前記ユーザ状態を判定する状態判定部を備え、
前記状態判定部は、ユーザから取得されるモニタリング情報に基づいて、ユーザへのフィードバックの要否を学習し、前記ユーザ状態を判定する、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記ユーザ状態を判定する状態判定部を備え、
前記状態判定部は、ユーザから取得されるモニタリング情報の値が所定の閾値を超えたか否かに基づいて、前記ユーザ状態を判定する、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記モニタリング情報は、ユーザの生体情報または心理情報のうち少なくともいずれか１つである、前記（５）または（６）に記載の情報処理装置。
（８）
前記状態判定部は、前記モニタリング情報を提供するデバイスのデバイス状態に基づいて、前記モニタリング情報の測定タイミング及び測定対象を決定する、前記（５）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記ユーザ状態を判定する状態判定部を備え、
前記状態判定部は、ユーザまたは第三者から入力されるフィードバック要求情報に基づいて、前記ユーザ状態を判定する、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記フィードバック決定部は、決定したフィードバックに関する情報を、前記ユーザまたは当該ユーザに対するアクションを実行可能な第三者に通知可能なデバイスに送信する、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記フィードバックに関する情報は、前記ユーザの位置情報、プロファイル情報、またはフードバックを行う緊急度のうち、少なくともいずれか１つを含む、前記（１０）に記載の情報処理装置。
（１２）
少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて決定された、前記ユーザに対するフィードバックに関する情報に基づいて、前記ユーザに対して視覚的にフィードバックするための視覚フィードバック情報を生成するフィードバック処理部と、
前記視覚フィードバック情報を表示する表示部と、
を備える、表示装置。
（１３）
前記フィードバック処理部は、前記ユーザへの警告情報を前記視覚フィードバック情報として生成する、前記（１２）に記載の表示装置。
（１４）
前記フィードバック処理部は、前記仮想オブジェクトの精細度を低下させたオブジェクトを前記視覚フィードバック情報として生成する、前記（１２）または（１３）に記載の表示装置。
（１５）
プロセッサにより、少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて、前記ユーザに対するフィードバックを決定することを含む、情報処理方法。
（１６）
コンピュータを、少なくとも一部に仮想オブジェクトを含む情報が提供される世界を体験しているユーザのユーザ状態に基づいて、前記ユーザに対するフィードバックを決定するフィードバック決定部を備える、情報処理装置として機能させるプログラム。
【符号の説明】
【０１２０】
１      情報処理システム
１００  状態通知装置
１１０  各種センサ
１２０  送信処理部
１３０  入力部
１４０  通信部
２００  サーバ
２１０  通信部
２２０  状態判定部
２３０  フィードバック決定部
２４０  設定記憶部
３００  フィードバック装置
３１０  通信部
３２０  フィードバック処理部
３２１  制御部
３２３  描画制御部
３２５  制御データ記憶部
３２７  次元モデルデータ記憶部
【図１】
2017006640.tif 000003
【図２】
2017006640.tif 000004
【図３】
2017006640.tif 000005
【図４】
2017006640.tif 000006
【図５】
2017006640.tif 000007
【図６】
2017006640.tif 000008
【図７】
2017006640.tif 000009
【図８】
2017006640.tif 000010
【図９】
2017006640.tif 000011
【図１０】
2017006640.tif 000012
【図１１】
2017006640.tif 000013
【図１２】
2017006640.tif 000014
【図１３】
2017006640.tif 000015
【図１４】
2017006640.tif 000016
【国際調査報告】
2017006640.tif 000017
2017006640.tif 000018
2017006640.tif 000019
2017006640.tif 000020