(57)【要約】【課題】通知情報を出力明示レベルに応じた出力形式で出力することでユーザビリティを向上させることが可能な情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】ユーザへの通知情報の出力明示レベルを判断する判断部と、前記判断した出力明示レベルに応じた出力方式で前記通知情報を出力するよう制御する出力制御部と、を備え、前記出力制御部は、前記出力明示レベルに応じて、前記通知情報を表示環境に同化させる表示方式で出力制御する、情報処理装置。【選択図】図１
2017138212.tif 000002
【特許請求の範囲】
【請求項１】
ユーザへの通知情報の出力明示レベルを判断する判断部と、
前記判断した出力明示レベルに応じた出力方式で前記通知情報を出力するよう制御する出力制御部と、
を備え、
前記出力制御部は、前記出力明示レベルに応じて、前記通知情報を表示環境に同化させる表示方式で出力制御する、情報処理装置。
【請求項２】
前記情報処理装置は、前記出力明示レベルに応じて、前記通知情報の出力方式を変換する変換部をさらに備える、請求項１に記載の情報処理装置。
【請求項３】
前記変換部は、前記出力明示レベルが所定の閾値を上回る場合は、前記通知情報を明示的に通知する表示方式に変換し、前記出力明示レベルが所定の閾値を下回る場合は、前記通知情報を表示環境に同化させる表示方式に変換する、請求項２に記載の情報処理装置。
【請求項４】
前記出力明示レベルは、前記通知情報の重要度または緊急度の少なくともいずれかに基づく、請求項１に記載の情報処理装置。
【請求項５】
前記出力明示レベルは、前記ユーザの状態または前記ユーザの周辺環境の少なくともいずれかに基づく、請求項１に記載の情報処理装置。
【請求項６】
前記判断部は、前記通知情報の重要度、緊急度、前記ユーザの状態、前記ユーザの周辺環境、またはデバイス状況のうち、少なくともいずれか１以上に基づいて前記出力明示レベルを判断する、請求項１に記載の情報処理装置。
【請求項７】
前記判断部は、ユーザ毎の重み付けを考慮して前記出力明示レベルを判断する、請求項４に記載の情報処理装置。
【請求項８】
前記表示方式は、表示形式、表示位置、および表示タイミングを含む、請求項２に記載の情報処理装置。
【請求項９】
前記表示形式は、表示の透過度、表示の色、または表示サイズの制御、若しくはキャラクター表示の利用、アイコン表示の利用である、請求項８に記載の情報処理装置。
【請求項１０】
前記変換部は、前記通知情報の重要度に応じて表示形式を決定し、前記通知情報の緊急度に応じて表示位置を決定する、請求項８に記載の情報処理装置。
【請求項１１】
前記出力制御部は、前記変換した通知情報をメガネ型ウェアラブル端末の透過ディスプレイに出力するよう制御する、請求項２に記載の情報処理装置。
【請求項１２】
前記変換部は、前記透過ディスプレイを介して見える実物体の位置に応じて前記通知情報を配置することで表示環境に同化させる、請求項１１に記載の情報処理装置。
【請求項１３】
前記判断部は、前記出力明示レベルとして前記通知情報の重要度および緊急度を判断し、
前記変換部は、前記重要度が第１の閾値を上回り、かつ前記緊急度が第２の閾値を上回る場合、実行中アプリケーションの表示画像を非表示にし、前記通知情報を音声で通知する明示的な出力方式に変換する、請求項１１に記載の情報処理装置。
【請求項１４】
前記判断部は、前記出力明示レベルとして前記通知情報の重要度および緊急度を判断し、
前記変換部は、前記重要度が第１の閾値を上回り、かつ前記緊急度が第２の閾値を下回る場合、前記ユーザの周辺における実物体の平面上に前記通知情報を表示する明示的な出力方式に変換する、請求項１１に記載の情報処理装置。
【請求項１５】
前記判断部は、前記出力明示レベルとして前記通知情報の重要度および緊急度を判断し、
前記変換部は、前記重要度が第１の閾値を下回り、かつ前記緊急度が第２の閾値を上回る場合、実行中アプリケーションに基づく仮想物体により前記通知情報をユーザに表示または音声で通知する表示環境に同化した出力方式に変換する、請求項１１に記載の情報処理装置。
【請求項１６】
前記判断部は、前記出力明示レベルとして前記通知情報の重要度および緊急度を判断し、
前記変換部は、前記重要度が第１の閾値を下回り、かつ前記緊急度が第２の閾値と当該第２の閾値より低い第３の閾値の間の場合、前記透過ディスプレイを介して見える景色内に仮想物体を配置し、当該仮想物体がユーザにより選択された場合に前記通知情報をユーザに表示または音声で通知する、表示環境に同化した出力方式に変換する、請求項１１に記載の情報処理装置。
【請求項１７】
前記判断部は、前記出力明示レベルとして前記通知情報の重要度および緊急度を判断し、
前記変換部は、前記重要度が第１の閾値を下回り、かつ前記緊急度が第３の閾値を下回る場合、前記ユーザの周辺の実物体に対応した位置に前記通知情報を表示した仮想物体を配置する、表示環境に同化した出力方式に変換する、請求項１１に記載の情報処理装置。
【請求項１８】
プロセッサが、
ユーザへの通知情報の出力明示レベルを判断することと、
前記判断した出力明示レベルに応じた出力方式で前記通知情報を出力するよう制御することと、
を含み、
前記制御は、前記通知情報を表示環境に同化させる表示方式で出力制御することを含む、情報処理方法。
【請求項１９】
コンピュータを、
ユーザへの通知情報の出力明示レベルを判断する判断部と、
前記判断した出力明示レベルに応じた出力方式で前記通知情報を出力するよう制御する出力制御部と、
として機能させ、
前記出力制御部は、前記出力明示レベルに応じて、前記通知情報を表示環境に同化させる表示方式で出力制御する、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、操作デバイスを備えたヘッドマウントディスプレイ（Head Mounted Display：以下、「ＨＭＤ」とも称する）が開発されている。ＨＭＤは、ユーザの頭部に装着された際にユーザの眼前に位置するディスプレイを有し、ユーザの前方に表示オブジェクトを表示する。このようなＨＭＤには、ディスプレイが非透過型のタイプと透過型のタイプがある。【０００３】
ディスプレイが透過型タイプの場合、ディスプレイを介して視認し得る実空間に重なって上記表示オブジェクトが重畳表示される。例えば下記特許文献１のＨＭＤでは、ユーザの現在位置に対応する映画等のコンテンツをディスプレイを介して通知（コンテンツのサムネイル画像の表示）する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−９０３８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、情報処理装置におけるプッシュ通知の方法は、ダイアログボックスやステータスバーなどのＧＵＩ（Graphical
User Interface）で表現されることが多かった。しかしながら、透過型タイプのディスプレイにおいてこのような表現方法を用いると、ユーザの眼前や視界の中心に情報が表示されて目の前が覆われ、ユーザの行動が阻害されたり、表示情報が周囲の環境となじまず、また、実行中のアプリケーションの世界観を損ねる可能性があった。【０００６】
そこで、本開示では、通知情報を出力明示レベルに応じた出力形式で出力することでユーザビリティを向上させることが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、ユーザへの通知情報の出力明示レベルを判断する判断部と、前記判断した出力明示レベルに応じた出力方式で前記通知情報を出力するよう制御する出力制御部と、を備え、前記出力制御部は、前記出力明示レベルに応じて、前記通知情報を表示環境に同化させる表示方式で出力する、情報処理装置を提案する。【０００８】
本開示によれば、プロセッサが、ユーザへの通知情報の出力明示レベルを判断することと、前記判断した出力明示レベルに応じた出力方式で前記通知情報を出力するよう制御することと、を含み、前記制御は、前記通知情報を表示環境に同化させる表示方式で出力制御することを含む、情報処理方法を提案する。【０００９】
本開示によれば、コンピュータを、ユーザへの通知情報の出力明示レベルを判断する判断部と、前記判断した出力明示レベルに応じた出力方式で前記通知情報を出力するよう制御する出力制御部と、として機能させ、前記出力制御部は、前記出力明示レベルに応じて、前記通知情報を表示環境に同化させる表示方式で出力制御する、プログラムを提案する。
【発明の効果】
【００１０】
以上説明したように本開示によれば、通知情報を出力明示レベルに応じた出力形式で出力することでユーザビリティを向上させることが可能となる。【００１１】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本実施形態による情報処理装置の概要を説明する図である。
【図２】本実施形態による情報処理装置の構成の一例を示すブロック図である。
【図３】本実施形態による出力制御処理を示すフローチャートである。
【図４】本実施形態による第２の出力方式を説明する図である。
【図５】本実施形態による第３の出力方式を説明する図である。
【図６】本実施形態による第４の出力方式を説明する図である。
【図７】本実施形態による第５の出力方式を説明する図である。
【図８】本実施形態による第６の出力方式を説明する図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理装置の概要
２．情報処理装置の構成
３．動作処理
４．通知情報の出力例
４−１．明示的な出力例
４−２．環境に同化する出力例
５．まとめ
【００１５】
＜＜１．本開示の一実施形態による情報処理装置の概要＞＞
まず、本開示の一実施形態による情報処理装置の概要について説明する。図１は、本実施形態による情報処理装置１の概要を説明する図である。図１に示すように、本実施形態による情報処理装置１は、例えばユーザの頭部に装着されるメガネ型のヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）により実現される。装着時にユーザの眼前に位置するメガネレンズ部分に相当する表示部１３は、シースルータイプまたは非シースルータイプであってもよい。情報処理装置１は、表示部１３に表示オブジェクトを表示することで、ユーザの視線の前方に表示オブジェクトを提示することができる。また、情報処理装置１の一例であるＨＭＤは、両眼に映像を提示するものに限定されず、片眼のみに映像を表示するものであってもよい。例えばＨＭＤは、片方の眼に映像を表示する表示部１３が設けられた片目タイプのものであってもよい。
【００１６】
また、情報処理装置１には、装着時にユーザの視線方向、すなわち外方向を撮影する外向きカメラ１１０が設けられている。さらに、図１に図示しないが、情報処理装置１には、装着時にユーザの眼を撮影する内向きカメラやマイクロホン（以下、「マイク」と示す。）等の各種センサが設けられている。外向きカメラ１１０、および内向きカメラは、それぞれ複数設けられていてもよい。なお外向きカメラ１１０が複数設けられている場合、視差情報によりデプス画像（距離画像）を得ることができ、周囲の環境をセンシングすることが可能である。
【００１７】
なお情報処理装置１の形状は図１に示す例に限定されない。例えば情報処理装置１は、ヘッドバンド型（頭部の全周を回るバンドで装着されるタイプ。また、側頭部だけでなく頭頂部を通るバンドが設ける場合もある）のＨＭＤや、ヘルメットタイプ（ヘルメットのバイザー部分がディスプレイに相当する）のＨＭＤであってもよい。また、情報処理装置１は、リストバンド型（例えばスマートウォッチ。ディスプレイがある場合または無い場合を含む）、ヘッドフォン型（ディスプレイなし）、またはネックフォン型（首掛けタイプ。ディスプレイがある場合または無い場合を含む）等のウェアラブル装置により実現されてもよい。
【００１８】
また、本実施形態による情報処理装置１は、上述したようなウェアラブル装置により実現され、ユーザに装着され得るため、停止時の他、例えば歩行、走行、または自転車等の乗り物に乗っている時など様々な状態において操作入力が行われることが想定される。したがって、情報処理装置１は、ボタンやスイッチ等（操作部材の一例）の他、音声入力や、手または頭部によるジェスチャ入力、視線入力等の様々な入力方式を備える。
【００１９】
ここで、プッシュ通知等のユーザへの通知情報を、ダイアログボックスやステータスバーなどのＧＵＩで表示する従来の表示方法で通知すると、ユーザの眼前や視界の中心に情報が表示されて目の前が覆われてしまい、ユーザの行動が阻害されたり、表示情報が周囲の環境となじまず、また、実行中のアプリケーションの世界観を損ねる可能性があった。
【００２０】
そこで、本実施形態による情報処理装置１は、通知情報を出力明示レベルに応じた出力形式で出力することでユーザビリティを向上させることを可能とする。具体的には、情報処理装置１は、通知情報の特性に応じて、通知の出力方法（表示、音声）、表示形式、および配置場所（表示位置）といった出力方式を切り替える。
【００２１】
以上、本実施形態による情報処理装置１の概要について説明した。続いて、本実施形態による情報処理装置１の構成について図２を参照して説明する。
【００２２】
＜＜２．情報処理装置の構成＞＞
図２は、本実施形態による情報処理装置１の構成の一例を示すブロック図である。図２に示すように、情報処理装置１は、センサ部１１、制御部１２、表示部１３、スピーカ１４、通信部１５、操作入力部１６、および記憶部１７を有する。
【００２３】
（制御部１２）
制御部１２は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。制御部１２は、例えばＣＰＵ（Central  Processing  Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１２は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read  Only  Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random  Access  Memory）を含んでいてもよい。
【００２４】
また、本実施形態による制御部１２は、図２に示すように、通知情報取得部１２０、明示レベル判断部１２１、情報変換部１２２、および出力制御部１２３として機能する。
【００２５】
通知情報取得部１２０は、ユーザへの通知情報、いわゆるプッシュ通知情報を取得する。
【００２６】
明示レベル判断部１２１は、通知情報取得部１２０により取得された通知情報の特性、すなわち明示レベル（出力明示レベル）を判断し、判断結果を情報変換部１２２に出力する。本実施形態において、明示レベルは、例えば通知情報の重要度や緊急度を明示レベルとして用いてもよいし、重要度および緊急度に基づいて明示レベルを算出してもよい。
【００２７】
通知情報の重要度としては、例えば下記表１に示すようなものが想定される。
【００２８】
【表１】
2017138212.tif 000003
【００２９】
また、通知情報の緊急度（伝えたいタイミング、時間に関する要求）としては、例えば下記表２に示すようなものが想定される。
【００３０】
【表２】
2017138212.tif 000004
【００３１】
情報変換部１２２は、明示レベル判断部１２１により判断された明示レベル（具体的には、例えば重要度、緊急度、ユーザの状態、ユーザの周辺環境、デバイス状況等）に応じて、通知情報の出力方式を決定し、当該出力方式に通知情報を変換する機能を有する。「出力方式」には、出力方法（表示、音声、振動等）、表示形式（明示的な表示、環境に溶け込んだ（同化）した表示等）、配置位置（ユーザの目の前、周辺、景色内等）といった出力に関する各種パラメータが含まれる。なお出力方式が「表示出力」である場合、表示に関する各種パラメータは表示方式と称し、出力方式が「音声出力」である場合の音声出力に関する各種パラメータは音声出力方式と称する。情報変換部１２２は、出力明示レベルが所定の閾値を上回る場合は明示的な出力方式に変換し、所定の閾値を下回る場合は表示環境に同化させる出力方式に変換してもよい。
【００３２】
より具体的には、情報変換部１２２は、重要度に応じて出力方法、表示形式を決定し、緊急度に応じて配置位置を決定してもよい。例えば情報変換部１２２は、重要度が第１の閾値よりも高い場合、情報を確実にユーザに伝える必要があるため、ユーザの視界内へのプッシュ通知（ダイアログ、アノテーション）などの明示的な表示形式に変換する。一方、重要度が低い場合、情報変換部１２２は、ユーザの行動や視界を遮らないことを優先し、例えばメッセージ通知であれば実際の手紙の形式を模した仮想物体でユーザの机の上に自然に表示しておくなど、ユーザの周囲の環境やアプリが提示する世界観に溶け込んだ表示形式に変換する。
【００３３】
また、情報変換部１２２は、緊急度が第２の閾値より高い場合、ユーザの行動や現在の状態によらず情報の発見が容易となる場所（ユーザの目の前、ユーザの近くなど）に配置する。この際、情報変換部１２２は、音を併せて用いたり、表示のビジュアルでユーザがすぐに気付くようにしてもよい。一方、緊急度が低い場合、情報変換部１２２は、環境（景色）の中に溶け込む（同化する）ような配置や表示形式に変換する。これによりユーザの行動を邪魔せずにユーザが気付くのを待つような通知を行うことができる。
【００３４】
情報の配置を決定する際は、ユーザの注視点を参照しうる。ユーザの注視点とは、視線方向であって、焦点距離も計測可能な場合は奥行き位置も含まれる。情報処理装置１の制御部１２は、例えば内向きカメラ１１１により撮像したユーザの眼の画像を解析してユーザの注視点を算出しうる。情報変換部１２２は、緊急度が高い通知情報はユーザが短時間で発見することが可能な位置、すなわち注視点の近くに配置する。
【００３５】
出力制御部１２３は、情報変換部１２２により変換された情報を、決定されたパラメータに従って、表示部１３やスピーカ１４から出力するよう制御する。
【００３６】
（センサ部１１）
センサ部１１は、ユーザまたは周辺環境に関する各種情報を取得する機能を有する。例えばセンサ部１１は、外向きカメラ１１０、内向きカメラ１１１、マイク１１２、ジャイロセンサ１１３、加速度センサ１１４、方位センサ１１５、位置測位部１１６、および生体センサ１１７を含む。なおここで挙げるセンサ部１１の具体例は一例であって、本実施形態はこれに限定されない。また、各センサはそれぞれ複数であってもよい。
【００３７】
外向きカメラ１１０および内向きカメラ１１１は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を各々有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
【００３８】
マイク１１２は、ユーザの音声や周囲の環境音を収音し、音声データとして制御部１２に出力する。
【００３９】
ジャイロセンサ１１３は、例えば３軸ジャイロセンサにより実現され、角速度（回転速度）を検出する。
【００４０】
加速度センサ１１４は、例えば３軸加速度センサ（Ｇセンサとも称す）により実現され、移動時の加速度を検出する。
【００４１】
方位センサ１１５は、例えば３軸地磁気センサ（コンパス）により実現され、絶対方向（方位）を検出する。
【００４２】
位置測位部１１６は、外部からの取得信号に基づいて情報処理装置１の現在位置を検知する機能を有する。具体的には、例えば位置測位部１１６は、ＧＰＳ（Global  Positioning  System）測位部により実現され、ＧＰＳ衛星からの電波を受信して、情報処理装置１が存在している位置を検知し、検知した位置情報を制御部１２に出力する。また、位置測位部１１６は、ＧＰＳの他、例えばＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
【００４３】
生体センサ１１７は、ユーザの生体情報を検知する。具体的には、例えば心拍、体温、発汗、血圧、発汗、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、またはＳＰＯ２（血中酸素飽和度））などを検知しうる。
【００４４】
（表示部１３）
表示部１３は、例えばホログラム光学技術を用いて表示を行うレンズ部（透過型表示部の一例）、液晶ディスプレイ（LCD）装置、ＯＬＥＤ（Organic  Light  Emitting  Diode）装置等により実現される。また、表示部１３は、透過型、半透過型、または非透過型であってもよい。
【００４５】
（スピーカ１４）
スピーカ１４は、制御部１２の制御に従って、音声信号を再生する。
【００４６】
（通信部１５）
通信部１５は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１５は、例えば有線ＬＡＮ（Local  Area  Network）、無線ＬＡＮ、Ｗｉ−Ｆｉ（Wireless  Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。
【００４７】
（記憶部１７）
記憶部１７は、上述した制御部１２が各機能を実行するためのプログラムやパラメータを格納する。例えば記憶部１７には、明示レベル判断部１２１による判断処理に用いられる各種閾値、明示レベルに応じた出力方式のパラメータ等が記憶されている。
【００４８】
（操作入力部１６）
操作入力部１６は、スイッチ、ボタン、またはレバー等の物理的な構造を有する操作部材により実現される。
【００４９】
以上、本実施形態による情報処理装置１の構成について具体的に説明したが、本実施形態による情報処理装置１の構成は図２に示す例に限定されない。例えば情報処理装置１の制御部１２の少なくとも一部の処理が、通信部１５を介して接続するクラウド上のサーバで行われるようにしてもよい。
【００５０】
＜＜３．動作処理＞＞
図３は、本実施形態による出力制御処理を示すフローチャートである。図３に示すように、まず、情報処理装置１の制御部１２は、通知情報取得部１２０により通知情報を取得する（ステップＳ１０３）。通知情報の出力元は、例えばネットワークを介して情報処理装置１と接続するサーバや、情報処理装置１で動作するアプリケーションを想定する。
【００５１】
次に、制御部１２は、明示レベル判断部１２１により、通知情報の重要度、緊急度を取得し（ステップＳ１０６）、明示レベルを判断する（ステップＳ１０９）。明示レベル判断部１２１は、通知情報の重要度または緊急度の少なくともいずれかを明示レベルとしてもよいし、所定の重み付けが設定されている場合はこれを考慮して明示レベルを算出してもよい。通知情報の重要度、緊急度は、例えば当該通知情報の出力元により予め設定され、メタデータとして通知情報に埋め込まれていてもよい。
【００５２】
明示レベルの算出例について以下説明する。
【００５３】
予め通知情報の重要度の種別毎に、出力元またはユーザにより重みが設定されている場合、例えばある種別Ａの通知情報の明示レベルSAは、下記式１により算出されうる。ここで、重要度の種別とは、上記表１に示す「エラー」、「警告」、「通知」、「参考情報」、「記録」である。種別Ａの重みをwA、種別Ｂの重みをwBとする。また、下記式１において、ａは任意の定数である。
【００５４】
【数１】
2017138212.tif 000005
【００５５】
また、通知情報の緊急度の種別毎（「緊急通知」、「定常通知、継続的状態通知」、「定期的な通知、参考情報通知」、「場所、物体に関する通知」）にも、同様に出力元またはユーザにより重みが設定されている場合、当該重みを考慮して同様に明示レベルが算出されうる。
【００５６】
さらに、明示レベル判断部１２１は、重要度に基づいて算出された明示レベルS1、緊急度に基づいて算出された明示レベルS2を用いて、下記式２により最終的な明示レベルを算出することも可能である。下記式２において、各明示レベルの重みはw1、w2（任意の定数）とする。
【００５７】
【数２】
2017138212.tif 000006
【００５８】
また、明示レベル判断部１２１は、上記式２により重要度および緊急度に基づいて単一の明示レベルを算出したが、本実施形態はこれに限定されず、重要度および緊急度をそれぞれ別の明示レベルとして扱い、後述する情報変換部１２２において複数の明示レベル（重要度、緊急度）に応じて出力方式が決定されるようにしてもよい。この場合、例えば情報変換部１２２は、重要度から表示形式（明示的な表示形式、環境に同化させる表示形式）を決定し、緊急度から表示位置（ユーザが容易に発見できる位置、ユーザから離れた場所等、ユーザの視界を邪魔しない位置）を決定する。
【００５９】
以上、重要度および緊急度に基づく明示レベルの判断処理について詳述した。
【００６０】
なお、通知情報の重要度、緊急度が予め設定されていない場合、明示レベル判断部１２１は、ユーザの現在の状態、ユーザの周囲の環境、デバイス状況、または通知情報のジャンル等に基づいて明示レベル（重要度、緊急度）を判断することも可能である。
【００６１】
ユーザの現在の状態は、センサ部１１の各種センサにより検知された情報に基づいて解析されうる。ユーザの状態としては、例えば下記のようなものが想定される。
【００６２】
・行動認識結果（静止、歩く、走る、階段昇降、自動車運転）、移動速度（ユーザの移動状態または移動速度）：明示レベル判断部１２１は、ユーザが高速で移動中の場合やユーザの運動量が多い場合は、通知によってユーザの行動を阻害しないよう、明示レベル（重要度、緊急度）を低く判断する。これにより、ユーザの目の前や視界の邪魔になる位置ではなく、ユーザから離れた位置や環境に同化させた表示形式で出力することができ、ユーザの行動を阻害しないようにすることができる。
・生体情報（心拍、体温、発汗、血圧）：生体情報の解析によりユーザの緊張状態や運動量が計測されうる。明示レベル判断部１２１は、緊張度や運動量が多い場合は、明示レベル（重要度、緊急度）を低く判断する。これにより、ユーザの目の前や視界の邪魔になる位置ではなく、ユーザから離れた位置や環境に同化させた表示形式で出力することができ、ユーザの行動を阻害しないようにすることができる。
【００６３】
ユーザの周囲の環境は、センサ部１１の各種センサにより検知された情報に基づいて解析されうる。周囲の環境としては、例えば下記のようなものが想定される。
【００６４】
・景色（ユーザの視界に見える実空間）：外向きカメラ１１０により撮像あれた画像の解析により、実空間の物体抽出が行われうる。明示レベル判断部１２１は、例えば景色内に重要な情報がある場合、明示レベルを低く判断する。これにより、ユーザの目の前や視界の邪魔になる位置ではなく、ユーザから離れた位置や環境に同化させた表示形式で出力することができ、ユーザの行動を阻害しないようにすることができる。
・場所（屋内、外）、周辺状況（他者、車などの有無、密度）：ユーザが屋外にいる場合やユーザの周辺に他者や車などがある場合、明示レベル判断部１２１は、明示レベルを低く判断する。これにより、ユーザの目の前や視界の邪魔になる位置ではなく、ユーザから離れた位置や環境に同化させた表示形式で出力することができ、ユーザの行動を阻害しないようにすることができる。
【００６５】
デバイス状況は、バッテリーの残量や画面の大きさなど、情報通知を行うデバイス（ここでは、情報処理装置１）の状況である。
【００６６】
通知情報のジャンルは、通知情報のメタデータから解析されうる。通知情報のジャンルとしては、例えばニュース、天気、メッセージ、警告、お知らせ等が想定される。明示レベル判断部１２１は、通知情報のジャンル、またはジャンルとユーザの現在の行動との関連性に応じて、明示レベルを判断する。どのようなジャンルの場合に明示レベルを高く／低くするかは、例えば予めシステム側またはユーザが設定したジャンル毎の重み付けに基づいてもよい。また、ジャンルとユーザの現在の行動との関連性では、例えばユーザが屋外に居る場合は「天気」のジャンルの重要度を高く、電車に乗っている（静止している）場合は「メッセージ」や「ニュース」のジャンルの重要度を高く（メッセージを読む時間があると想定されるので）するようにしてもよい。
【００６７】
以上、本実施形態による明示レベルの判断について説明した。なお本実施形態による明示レベル判断部１２１は、通知情報の重要度、緊急度、ジャンル、ユーザの状態、ユーザの周辺環境のうち、少なくともいずれか１以上に基づいて出力明示レベルを算出してもよい。
【００６８】
続いて、情報変換部１２２は、明示レベル判断部１２１により判断された明示レベルに応じて、通知情報の変換処理を行う。具体的には、例えば情報変換部１２２は、明示レベルが任意の閾値を超えているか否かで表示形式を決定する（ステップＳ１１２）。
【００６９】
次に、明示レベルが閾値Ｔ以上である場合（ステップＳ１１２／Ｙｅｓ）、情報変換部１２２は、通知情報を表示形式Ａに変換する（ステップＳ１１５）。一方、明示レベルが閾値Ｔ未満である場合（ステップＳ１１２／Ｎｏ）、情報変換部１２２は、通知情報を表示形式Ｂに変換する（ステップＳ１１８）。
【００７０】
なお、閾値は複数設定してもよい。例えば情報変換部１２２は、明示レベルとしての重要度が閾値Ｔ１を超えている否か、および明示レベルとしての緊急度が閾値Ｔ２を超えている否かといった複数の判断基準に基づいて変換する表示形式を決定してもよい。
【００７１】
また、情報変換部１２２は、さらにユーザの現在の状態やユーザの周囲の環境を考慮して表示形式の各種パラメータを調整してもよい。
【００７２】
そして、出力制御部１２３は、情報変換部１２２に変換された情報を、対応する出力方法（例えば表示部１３からの表示出力、スピーカ１４からの音声出力）で出力するよう制御する（ステップＳ１２１）。なお図２には図示していないが、出力制御は、バイブレーターなどの振動部からの触覚提示制御であってもよい。
【００７３】
＜＜４．通知情報の出力例＞＞
続いて、本実施形態による通知情報の出力例について図４〜図８を参照して説明する。ここでは、一例として、複数の明示レベル、すなわち重要度と緊急度に基づいて決定された出力形式による出力例について説明する。情報変換部１２２は、重要度の高低および緊急度の高低に基づいて、下記表３に示すように出力形式を決定しうる。
【００７４】
【表３】
2017138212.tif 000007
【００７５】
＜４−１．明示的な出力例＞
（４−１−１．第１の出力方式）
例えば、情報変換部１２２は、重要度が第１の閾値より高く、緊急度が第２の閾値より高い場合、明示的な出力を行う第１の出力方式に決定する。第１の出力方式では、例えばダイアログ、アノテーションなどの従来のＵＩを踏襲した通知を行う。
【００７６】
（４−１−２．第２の出力方式）
また、情報変換部１２２は、重要度が第１の閾値より高く、緊急度が第２の閾値と第３の閾値の間の場合（第２の閾値＞緊急度＞第３の閾値）、明示的な出力の他の例である第２の出力方式に決定する。第２の出力方式では、音声とビジュアルを組み合わせた強制通知が行われる。
【００７７】
具体的には、第２の出力方式とは、「実行中のアプリケーションによるＵＩを非表示にして音声による情報通知を行う方式」、「実行中のアプリケーションによるＵＩを半透過にして通知のダイアログ等をオーバーレイ表示すると共に、音声による情報通知を行う方式」、または「実行中のアプリケーションによるＵＩはそのままで通知のダイアログ等をオーバーレイ表示すると共に、音声による情報通知を行う方式」である。オーバーレイ表示する通知情報は、ダイアログなどの従来のＵＩの他、ドローンや空中に浮かぶキャラクターなど視界内に浮遊可能なバーチャルオブジェクト（仮想物体）を用いてもよい。バーチャルオブジェクトは、システムとして共通のオブジェクトを用意してもよいし、実行中のアプリケーションで設定されているキャラクターを用いてもよい。また、実行中のアプリケーションによるＵＩの処理（非表示、半透過、そのまま表示）は、情報の重要度に応じて使い分けてもよい。また、通知情報はテキストおよび音声を含むことが望まれるが、テキストのみの場合は情報変換部１２２によりテキスト解析を行って音声変換（音声合成）を行う。
【００７８】
ここで、図４に、本実施形態による第２の出力方式を説明する図を示す。図４に示す例は、上述した第２の出力方式のうち「実行中のアプリケーションによるＵＩを非表示にして音声による情報通知を行う方式」に相当する。また、図４に示す例では、ユーザが装着するメガネ型ウェアラブル装置のレンズ部分に設けられる透過ディスプレイである表示部１３を介した視界が図示されている。視界には、自転車のハンドル２０が見えている。
【００７９】
図４の上段に示すように、例えば現在実行中のアプリケーション（例えば自転車アプリケーション）によるＵＩである仮想キャラクター３０が前方にＡＲ（Augmented Reality）表示されている際に、通知情報が取得されると、図４の下段に示すように、仮想キャラクター３０が非表示となり、音声５０により情報通知（「Ｙさんからメッセージです」）が行われうる。
【００８０】
これにより、ユーザが何をしていても通知情報に気付かせることが可能な強制力を持った通知を実現することができる。
【００８１】
（４−１−３．第３の出力方式）
次に、情報変換部１２２は、重要度が第１の閾値より高く、緊急度が第３の閾値より低い場合、明示的な出力を行う第３の出力方式に決定する。第３の出力方式では、周囲の環境の空きスペースに情報を配置する通知を行う。
【００８２】
具体的には、情報変換部１２２は、ユーザの周囲にある壁面や机上、路面等の平面スペースに通知情報を展開して（通知情報の内容であるテキストや画像を）配置する。これにより、ユーザは特別な操作を行わずに通知情報の内容を把握することができる。平面スペースは、複数の外向きカメラ１１０により取得された撮像画像の解析により得られたＤｅｐｔｈ情報や画像認識により検出され得る。
【００８３】
緊急度は低いため、ユーザがどのタイミングで見てもいいような情報となる。ユーザは、情報の内容を目視した後、時間がある時に詳細閲覧や返信等のインタラクションを行い得る。
【００８４】
ここで、図５に、本実施形態による第３の出力方式を説明する図を示す。第３の出力方式によれば、図５に示すように、例えばユーザがＰＣ（Personal Computer）を操作している際に、机２２（実物体）の平面スペースに通知情報３２がＡＲ表示される。通知情報３２は机２２の平面スペースに沿って重畳表示される。ユーザはＰＣを注視しているため通知情報３２にはすぐには気付かないが、時間に余裕ができた場合にふと机２２の上に展開されている通知情報３２に気付くことができる。重要度は高いため、ユーザが操作しなくとも内容が確認できる状態の通知情報３２となっている。
【００８５】
＜４−２．環境に同化する出力例＞
続いて、重要度が第１の閾値より低い場合における、環境に同化した出力例（第４〜第６の出力例）について説明する。環境に同化させる出力方法は、例えば下記のポイントを考慮して設定されうる。
【００８６】
（１）アプリケーション依存（世界観の踏襲を実現）
（２）実物体の位置に応じた配置（机の上や、壁に貼り付いて見えるメモ画像など）
（３）環境（景色、色合い）に応じた通知情報画像の色、大きさ、動き
（４）通知情報画像（仮想物体）が実空間において異質ではないこと（例えば、文字等のテキスト情報やアイコンのみが景色の中にあることは異質である）
【００８７】
以下、図６〜図８を参照して具体的に説明する。
【００８８】
（４−２−１．第４の出力方式）
情報変換部１２２は、重要度が第１の閾値より低く、緊急度が第２の閾値より高い場合、環境に同化した出力を行う第４の出力方式に決定する。第４の出力方式では、実行中のアプリケーションの世界観を崩さずに情報をユーザに通知する。例えば、自転車アプリケーションが実行中の場合は自転車に乗ったメッセンジャーが登場してユーザに音声で情報を通知、ゲーム中であればゲームで設定されたキャラクター（アバター）が登場してユーザに音声で情報を通知、文書作業中であれば回覧メモを登場させるなど、アプリケーションの世界観に応じた通知役を設定して、アプリケーションの雰囲気を壊さずに情報を通知する。この場合、制御部１２は、通知情報をアプリケーション側に出力し、アプリケーションの処理としてアプリケーション内の適切なタイミングで独自のキャラクター等を用いてユーザへの情報通知を行うようにしてもよい。
【００８９】
ここで、図６に、本実施形態による第４の出力方式を説明する図を示す。図６上段に示すように、例えば現在実行中の自転車アプリケーションによるＵＩである仮想キャラクター３０が前方にＡＲ（Augmented Reality）表示されている際に、図６中段に示すように、自転車に乗ったメッセンジャー３４を登場させる。次いで、図６下段に示すように、メッセンジャー３４が音声５２により情報通知を行うよう制御する。ここで通知される情報は、緊急度が高いため、図６に示すように、「Ｙさんからのメッセージを読み上げます。『明日の予定ですが・・・』」と、情報の内容も展開されうる。
【００９０】
（４−２−２．第５の出力方式）
次に、情報変換部１２２は、重要度が第１の閾値より低く、緊急度が第２の閾値と第３の閾値の間の場合（第２の閾値＞緊急度＞第３の閾値）、環境に同化した出力を行う第５の出力方式に決定する。第５の出力方式では、環境内に通知を表すアイコニックな物体を配置する。具体的には、例えば光るクリスタルや宝箱、時空の裂け目など、インタラクション可能な仮想物体を環境の中に置き、ユーザが当該仮想物体に対してインタラクションを行った場合に（クリスタル等を触るジェスチャーをする、置かれた場所に移動する、時空の裂け目を覗く等）、通知情報の内容が展開されるようにする。ここでは、重要度は低いため環境に同化した表示方法とするが、通知情報は中程度であるため、多少ユーザの気を引く形状の仮想物体にして通知を強調する。これらの仮想物体はアプリケーションによらず本システム側で共通の仮想物体として設定し得る。
【００９１】
ここで、図７に、本実施形態による第５の出力方式を説明する図を示す。図７上段に示すように、例えば周辺環境の中に光るクリスタル３６を配置し、ユーザがクリスタル３６に対し何らかのインタラクションを行った場合、図７下段に示すように、情報内容が展開された画像３８を表示する。ここで通知される情報は、緊急度が中程度であるため、図７上段に示すように、情報内容が分からない状態でユーザに通知され、ユーザがインタラクションを行った場合に情報内容が展開される。
【００９２】
（４−２−３．第６の出力方式）
次いで、情報変換部１２２は、重要度が第１の閾値より低く、緊急度が第３の閾値より低い場合、環境に同化した出力を行う第６の出力方式に決定する。第６の出力方式では、実空間に存在し得る物の形状を用いて通知情報を環境内に溶け込ませる。具体的には、例えば付箋やメモ、手紙などの現実の物の形の仮想物体を使って通知の内容を空間上に展開するよう制御する。ユーザは、特別な操作なしで情報内容を把握できる。どのような仮想物体を用いるかは、例えば通知情報のジャンルに応じて決定され得る。例えば通知情報のジャンルが「メッセージ」であれば、付箋、メモ用紙、手紙等、また、ジャンルが「スケジュール情報」であればカレンダー、ジャンルが「ニュース」であれば、新聞紙、チラシが用いられる。
【００９３】
ここで、図８に、本実施形態による第６の出力方式を説明する図を示す。第６の出力方式によれば、図８に示すように、例えばユーザがＰＣ（Personal Computer）を操作している際に、ＰＣ（実物体）に付箋４０（仮想物体）が貼り付けたり、机２２（実物体）の上にペーパー４２（仮想物体）が置いたりするＡＲ表示を行う。
【００９４】
本実施例で扱う通知情報は、ユーザがどのタイミングで見ても問題がない緊急度が低い通知情報である。ユーザは、情報が提示されていることにふと気づき、時間に余裕ができた時に詳細閲覧や返信等のインタラクションを行うことができる。これらの表示は、ユーザの行動量が少ない場合や、オフィスなど決められた空間を想定している。
【００９５】
なお、何らかのアプリケーションが実行中であっても、同様に付箋やメモなどの形式で情報通知が行われ得る。通知件数が多い場合は、最新の所定数の通知のみ提示するようにしてもよい。また、制御部１２は、ユーザの手の動きを認識し、付箋４０やペーパー４２をユーザが手に取って確認できるよう表示制御してもよい。また、制御部１２は、付箋４０やペーパー４２をユーザが手に取って確認したこと、一定時間注視されたことを検知すると、返信可能モード（返信は例えばマイク１１２による音声入力により実現）になってユーザからの変換を受け付けたり、確認後一定時間経過すると消えるようにしてもよい。
【００９６】
＜＜５．まとめ＞＞
上述したように、本開示の実施形態による情報処理装置１では、通知情報の出力形式を変換することでユーザビリティを向上させることを可能とする。
【００９７】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００９８】
例えば、上述した情報処理装置１に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【００９９】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１００】
なお、本技術は以下のような構成も取ることができる。
（１）
ユーザへの通知情報の出力明示レベルを判断する判断部と、
前記判断した出力明示レベルに応じた出力方式で前記通知情報を出力するよう制御する出力制御部と、
を備え、
前記出力制御部は、前記出力明示レベルに応じて、前記通知情報を表示環境に同化させる表示方式で出力制御する、情報処理装置。
（２）
前記情報処理装置は、前記出力明示レベルに応じて、前記通知情報の出力方式を変換する変換部をさらに備える、前記（１）に記載の情報処理装置。
（３）
前記変換部は、前記出力明示レベルが所定の閾値を上回る場合は、前記通知情報を明示的に通知する表示方式に変換し、前記出力明示レベルが所定の閾値を下回る場合は、前記通知情報を表示環境に同化させる表示方式に変換する、前記（２）に記載の情報処理装置。
（４）
前記出力明示レベルは、前記通知情報の重要度または緊急度の少なくともいずれかに基づく、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記出力明示レベルは、前記ユーザの状態または前記ユーザの周辺環境の少なくともいずれかに基づく、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記判断部は、前記通知情報の重要度、緊急度、前記ユーザの状態、前記ユーザの周辺環境、またはデバイス状況のうち、少なくともいずれか１以上に基づいて前記出力明示レベルを判断する、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記判断部は、ユーザ毎の重み付けを考慮して前記出力明示レベルを判断する、前記（４）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記表示方式は、表示形式、表示位置、および表示タイミングを含む、前記（２）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記表示形式は、表示の透過度、表示の色、または表示サイズの制御、若しくはキャラクター表示の利用、アイコン表示の利用である、前記（８）に記載の情報処理装置。
（１０）
前記変換部は、前記通知情報の重要度に応じて表示形式を決定し、前記通知情報の緊急度に応じて表示位置を決定する、前記（８）に記載の情報処理装置。
（１１）
前記出力制御部は、前記変換した通知情報をメガネ型ウェアラブル端末の透過ディスプレイに出力するよう制御する、前記（２）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記変換部は、前記透過ディスプレイを介して見える実物体の位置に応じて前記通知情報を配置することで表示環境に同化させる、前記（１１）に記載の情報処理装置。
（１３）
前記判断部は、前記出力明示レベルとして前記通知情報の重要度および緊急度を判断し、
前記変換部は、前記重要度が第１の閾値を上回り、かつ前記緊急度が第２の閾値を上回る場合、実行中アプリケーションの表示画像を非表示にし、前記通知情報を音声で通知する明示的な出力方式に変換する、前記（１１）に記載の情報処理装置。
（１４）
前記判断部は、前記出力明示レベルとして前記通知情報の重要度および緊急度を判断し、
前記変換部は、前記重要度が第１の閾値を上回り、かつ前記緊急度が第２の閾値を下回る場合、前記ユーザの周辺における実物体の平面上に前記通知情報を表示する明示的な出力方式に変換する、前記（１１）に記載の情報処理装置。
（１５）
前記判断部は、前記出力明示レベルとして前記通知情報の重要度および緊急度を判断し、
前記変換部は、前記重要度が第１の閾値を下回り、かつ前記緊急度が第２の閾値を上回る場合、実行中アプリケーションに基づく仮想物体により前記通知情報をユーザに表示または音声で通知する表示環境に同化した出力方式に変換する、前記（１１）に記載の情報処理装置。
（１６）
前記判断部は、前記出力明示レベルとして前記通知情報の重要度および緊急度を判断し、
前記変換部は、前記重要度が第１の閾値を下回り、かつ前記緊急度が第２の閾値と当該第２の閾値より低い第３の閾値の間の場合、前記透過ディスプレイを介して見える景色内に仮想物体を配置し、当該仮想物体がユーザにより選択された場合に前記通知情報をユーザに表示または音声で通知する、表示環境に同化した出力方式に変換する、前記（１１）に記載の情報処理装置。
（１７）
前記判断部は、前記出力明示レベルとして前記通知情報の重要度および緊急度を判断し、
前記変換部は、前記重要度が第１の閾値を下回り、かつ前記緊急度が第３の閾値を下回る場合、前記ユーザの周辺の実物体に対応した位置に前記通知情報を表示した仮想物体を配置する、表示環境に同化した出力方式に変換する、前記（１１）に記載の情報処理装置。
（１８）
プロセッサが、
ユーザへの通知情報の出力明示レベルを判断することと、
前記判断した出力明示レベルに応じた出力方式で前記通知情報を出力するよう制御することと、
を含み、
前記制御は、前記通知情報を表示環境に同化させる表示方式で出力制御することを含む、情報処理方法。
（１９）
コンピュータを、
ユーザへの通知情報の出力明示レベルを判断する判断部と、
前記判断した出力明示レベルに応じた出力方式に前記通知情報で前記通知情報を出力するよう制御する出力制御部と、
として機能させ、
前記出力制御部は、前記出力明示レベルに応じて、前記通知情報を表示環境に同化させる表示方式で出力制御する、プログラム。
【符号の説明】
【０１０１】
１    情報処理装置
１２    制御部
１２０    通知情報取得部
１２１    明示レベル判断部
１２２    情報変換部
１２３    出力制御部
１１    センサ部
１１０    外向きカメラ
１１１    内向きカメラ
１１２    マイク
１１３    ジャイロセンサ
１１４    加速度センサ
１１５    方位センサ
１１６    位置測位部
１１７    生体センサ
１３    表示部
１４    スピーカ
１５    通信部
１６    操作入力部
１７    記憶部
【図１】
2017138212.tif 000008
【図２】
2017138212.tif 000009
【図３】
2017138212.tif 000010
【図４】
2017138212.tif 000011
【図５】
2017138212.tif 000012
【図６】
2017138212.tif 000013
【図７】
2017138212.tif 000014
【図８】
2017138212.tif 000015
【国際調査報告】
2017138212.tif 000016
2017138212.tif 000017
2017138212.tif 000018