(57)【要約】【課題】投影光の経路の状況に応じてより適切な表示制御を行うことが可能な情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】投影部から照射される投影光の経路において検出された実オブジェクトによる前記投影光への影響に基づいて生成された表示制御信号を取得する取得部と、前記取得部により取得された前記表示制御信号に基づいて、表示オブジェクトを表示するよう前記投影部を制御する表示制御部と、を備える情報処理装置。【選択図】図１
2016189163.tif 000002
【特許請求の範囲】
【請求項１】
投影部から照射される投影光の経路において検出された実オブジェクトによる前記投影光への影響に基づいて生成された表示制御信号を取得する取得部と、
前記取得部により取得された前記表示制御信号に基づいて、表示オブジェクトを表示するよう前記投影部を制御する表示制御部と、
を備える情報処理装置。
【請求項２】
前記表示制御部は、前記経路における前記実オブジェクトの配置の変更を指示する指示情報を前記表示オブジェクトとして表示する、請求項１に記載の情報処理装置。
【請求項３】
前記指示情報は、前記経路において検出された前記実オブジェクトの配置の変更を指示する情報を含む、請求項２に記載の情報処理装置。
【請求項４】
前記指示情報は、前記経路に前記実オブジェクトを新たに配置するよう指示する情報を含む、請求項２に記載の情報処理装置。
【請求項５】
前記指示情報は、表示面に表示された前記表示オブジェクトが予め設定された目標を満たすための情報である、請求項２に記載の情報処理装置。
【請求項６】
前記目標は、サイズ、解像度、前記表示面における位置、反転の有無、又は色の少なくともいずれかに関する、請求項５に記載の情報処理装置。
【請求項７】
前記表示オブジェクトは、前記実オブジェクトの表面又は前記実オブジェクトが配置される物体の表面を表示面として表示される、請求項１に記載の情報処理装置。
【請求項８】
前記表示面は、前記経路において検出された前記実オブジェクトに基づいて選択される、請求項７に記載の情報処理装置。
【請求項９】
前記表示制御部は、検出された前記実オブジェクトによる前記投影光への影響に応じて補正された前記表示オブジェクトを表示する、請求項１に記載の情報処理装置。
【請求項１０】
前記実オブジェクトは、光学部品である、請求項１に記載の情報処理装置。
【請求項１１】
投影部から照射される投影光の経路において検出された実オブジェクトによる前記投影光への影響に基づいて生成された表示制御信号を取得することと、
取得された前記表示制御信号に基づいて、表示オブジェクトを表示するよう前記投影部をプロセッサにより制御することと、
を含む情報処理方法。
【請求項１２】
コンピュータを、
投影部から照射される投影光の経路において検出された実オブジェクトによる前記投影光への影響に基づいて生成された表示制御信号を取得する取得部と、
前記取得部により取得された前記表示制御信号に基づいて、表示オブジェクトを表示するよう前記投影部を制御する表示制御部と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
スマートフォンやタブレット端末などの、タッチパネルに対する操作によって様々な情報を表示する装置が、広く普及している。タブレット端末については、画面サイズの大型化も図られるようになり、複数のユーザが同時に操作する使われ方も考慮されるようになりつつある。また、情報を表示する装置としては、従来からプロジェクタが用いられている。
【０００３】
プロジェクタのように投影光を照射することで情報を表示する装置では、投影光の経路上に存在する物体によって、表示面に表示される内容は左右される。そのため、投影光の経路上に存在する物体による影響を加味した処理を行うための技術が開発されている。
【０００４】
例えば、下記特許文献１では、オフィス向け複合機に関し、振動などにより光学部品に偏心が生じた場合に対処するために、複合機内部に設けられた光学部品のレイアウトに基づいて光線追跡を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−８６７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１においては、オフィス向け複合機の内部に設けられる光学部品のレイアウトは既知であった。しかし、情報が表示される際の装置の周囲の環境は、常に一定であるとは限らない。例えば、投影光の経路上に物体が追加されたり、経路上に存在していた物体が取り除かれたりし得る。そのような状況下においても、経路の状況に応じて適切な表示制御が行われることが望ましい。
【０００７】
そこで、本開示では、投影光の経路の状況に応じてより適切な表示制御を行うことが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、投影部から照射される投影光の経路において検出された実オブジェクトによる前記投影光への影響に基づいて生成された表示制御信号を取得する取得部と、前記取得部により取得された前記表示制御信号に基づいて、表示オブジェクトを表示するよう前記投影部を制御する表示制御部と、を備える情報処理装置が提供される。
【０００９】
また、本開示によれば、投影部から照射される投影光の経路において検出された実オブジェクトによる前記投影光への影響に基づいて生成された表示制御信号を取得することと、取得された前記表示制御信号に基づいて、表示オブジェクトを表示するよう前記投影部をプロセッサにより制御することと、を含む情報処理方法が提供される。
【００１０】
また、本開示によれば、コンピュータを、投影部から照射される投影光の経路において検出された実オブジェクトによる前記投影光への影響に基づいて生成された表示制御信号を取得する取得部と、前記取得部により取得された前記表示制御信号に基づいて、表示オブジェクトを表示するよう前記投影部を制御する表示制御部と、として機能させるためのプログラムが提供される。
【発明の効果】
【００１１】
以上説明したように本開示によれば、投影光の経路の状況に応じてより適切な表示制御を行うことが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る情報処理システムの外観構成例を示す図である。
【図２】本実施形態に係る情報処理システムの論理的な構成の一例を示すブロック図である。
【図３】本実施形態に係る投影光の経路予測処理の一例を説明するための図である。
【図４】本実施形態に係る投影光の経路予測処理の一例を説明するための図である。
【図５】本実施形態に係る投影光の経路予測処理の一例を説明するための図である。
【図６】光学部品による投影光への影響の一例を説明するための図である。
【図７】光学部品による投影光への影響の一例を説明するための図である。
【図８】光学部品による投影光への影響の一例を説明するための図である。
【図９】光学部品による投影光への影響の一例を説明するための図である。
【図１０】本実施形態に係る投影内容補正処理の一例を説明するための図である。
【図１１】本実施形態に係る投影内容補正処理の一例を説明するための図である。
【図１２】本実施形態に係る投影内容補正処理の一例を説明するための図である。
【図１３】本実施形態に係る投影内容補正処理の一例を説明するための図である。
【図１４】本実施形態に係る実オブジェクト配置演算処理の一例を説明するための図である。
【図１５】本実施形態に係る実オブジェクト配置演算処理の一例を説明するための図である。
【図１６】本実施形態に係る実オブジェクト配置演算処理の一例を説明するための図である。
【図１７】本実施形態に係る実オブジェクト配置演算処理の一例を説明するための図である。
【図１８】本実施形態に係る情報処理システムにおいて実行される表示制御処理の流れの一例を示すフローチャートである。
【図１９】本実施形態に係る情報処理システムにおいて実行される投影内容補正処理の流れの一例を示すフローチャートである。
【図２０】本実施形態に係る情報処理システムにおいて実行される実オブジェクト配置演算処理の流れの一例を示すフローチャートである。
【図２１】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図２２】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図２３】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図２４】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図２５】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図２６】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図２７】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図２８】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図２９】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図３０】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図３１】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図３２】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図３３】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図３４】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図３５】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図３６】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図３７】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図３８】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図３９】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図４０】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図４１】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図４２】本実施形態に係る情報処理システムによる表示制御処理の具体例を説明するための図である。
【図４３】本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、本明細書及び図面において、実質的に同一の機能構成を有する要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の要素を、必要に応じて投影光の経路２４６Ａ、２４６Ｂ、２４６Ｃ、２４６Ｄ及び２４６Ｅのように区別する。ただし、実質的に同一の機能構成を有する複数の要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、投影光の経路２４６Ａ、２４６Ｂ、２４６Ｃ、２４６Ｄ及び２４６Ｅを特に区別する必要が無い場合には、単に投影光の経路２４６と称する。
【００１５】
なお、説明は以下の順序で行うものとする。
１．構成例
１．１．外観構成例
１．２．機能構成例
２．機能詳細
３．動作処理例
４．具体例
５．ハードウェア構成例
６．まとめ
【００１６】
＜＜１．構成例＞＞
＜１．１．外観構成例＞
まず、本開示の一実施形態に係る情報処理システム１００の外観構成について説明する。
【００１７】
図１は、本実施形態に係る情報処理システム１００の外観構成例を示す図である。図１に示したように、本実施形態に係る情報処理システム１００は、入力部１１０と、出力部１３０と、を含んで形成される。図１に示した情報処理システム１００は、テーブル１４０の天面に情報を表示し、テーブル１４０に表示した情報に対して情報処理システム１００を使用するユーザに操作をさせるシステムである。図１のようにテーブル１４０の天面に情報を表示する方式を「プロジェクション型」とも称する。
【００１８】
入力部１１０は、情報処理システム１００を使用するユーザの操作内容や、テーブル１４０に置かれている物体の形状や模様などを入力する装置である。図１に示した例では、入力部１１０は、テーブル１４０の上方に、例えば天井から吊り下げられた状態で設けられる。すなわち、入力部１１０は、情報が表示される対象となるテーブル１４０とは離隔して設けられる。入力部１１０としては、例えば１つのレンズでテーブル１４０を撮像するカメラや、２つのレンズでテーブル１４０を撮像して奥行き方向の情報（深度情報）を記録することが可能なステレオカメラ等が用いられ得る。
【００１９】
入力部１１０として、１つのレンズでテーブル１４０を撮像するカメラが用いられる場合、情報処理システム１００は、そのカメラが撮像した画像を解析することで、テーブル１４０に置かれた物体を検出することが出来る。また入力部１１０としてステレオカメラが用いられる場合、入力部１１０は、深度情報を取得することが可能となる。入力部１１０が、深度情報を取得することで、情報処理システム１００は、例えばテーブル１４０の上に置かれた手や物体等の検出が可能になる。また入力部１１０が、深度情報を取得することで、情報処理システム１００は、テーブル１４０へのユーザの手の接触、近接の検出やテーブル１４０からの手の離脱の検出が可能となる。なお、以下の説明では、ユーザが情報の表示面に手等の操作体を接触または近接させることを、まとめて単に「接触」とも称する。このように、入力部１１０は、テーブル１４０を撮像する画像センサ、テーブル１４０上の深度情報を取得する深度センサ、及びテーブル１４０への接触を検出するタッチセンサとしての機能を有する。
【００２０】
以下では、ユーザの操作が、入力部１１０によって撮像された画像から検出される場合を主に説明するが、本開示は係る例に限定されるものではない。ユーザの操作は、ユーザの指等の接触を検出するタッチパネルによって検出されてもよい。また入力部１１０が取得できるユーザ操作としては、この他にも、例えば情報の表示面に対するスタイラス操作、カメラに対するジェスチャ操作等が含まれ得る。
【００２１】
出力部１３０は、入力部１１０によって入力された、情報処理システム１００を使用するユーザの操作内容や、出力部１３０が出力している情報の内容、テーブル１４０に置かれている物体の形状や模様等の情報に応じて、テーブル１４０に情報を表示したり、音声を出力したりする装置である。出力部１３０としては、例えばプロジェクタやスピーカ等が用いられる。図１に示した例では、出力部１３０は、テーブル１４０の上方に、例えば天井から吊り下げられた状態で設けられる。出力部１３０がプロジェクタで形成される場合、出力部１３０は、例えばテーブル１４０の天面に情報を投影する。
【００２２】
情報処理システム１００を使用するユーザは、出力部１３０がテーブル１４０に表示する情報に対して、指などをテーブル１４０に置いて操作することが出来る。また情報処理システム１００を使用するユーザは、テーブル１４０に物体を置いて入力部１１０に認識させることで、その認識させた物体に関する種々の操作を実行することが出来る。
【００２３】
なお、図１には図示しないが、情報処理システム１００には他の装置が接続されていても良い。例えば情報処理システム１００には、テーブル１４０を照らすための照明機器が接続されていても良い。情報処理システム１００にテーブル１４０を照らすための照明機器が接続されていることで、情報処理システム１００は、情報の表示面の状態に応じて照明機器の点灯状態を制御することが可能となる。
【００２４】
本開示の一実施形態に係る情報処理システム１００の形態は、図１に示したものに限定されるものではない。情報処理システム１００は、他の任意の形態により実現されてもよい。
【００２５】
以下の説明では、図１に示したようなプロジェクション型の情報処理システム１００を例にして説明する。また、アプリケーションウィンドウや画像、映像等の、出力部１３０により表示される情報を、表示オブジェクトとも称する。以下では、表示オブジェクトはアプリケーションウィンドウであるものとして説明する。また、テーブル１４０の天面に置かれたりかざされたりする等、情報処理システム１００の周囲に存在する物体を、実オブジェクトとも称する。ユーザの体も、実オブジェクトとして捉えてもよい。表示オブジェクトは、多様な物体表面上に表示され得る。例えば、表示オブジェクトは、テーブル１４０上に配置されたスクリーン等の実オブジェクトの表面に表示されてもよいし、実オブジェクトが配置される物体、即ちテーブル１４０の表面（天面）に表示されてもよい。本明細書では、表示オブジェクトが表示される物体表面を、単に表示面とも称する。
【００２６】
また、以降図では同一の座標軸を用いるものとする。例えば、投影光はＺ軸方向からＸＹ平面に向けて投影されるものとする。
【００２７】
＜１．２．機能構成例＞
続いて、本実施形態に係る情報処理システム１００の機能構成について説明する。
【００２８】
図２は、本実施形態に係る情報処理システム１００の論理的な構成の一例を示すブロック図である。図２に示すように、本実施形態に係る情報処理システム１００は、入力部１１０、制御部１２０、出力部１３０及び記憶部１５０を含む。
【００２９】
（１）入力部１１０
入力部１１０は、入力部１１０への各種情報の入力を受け付ける機能を有する。例えば、入力部１１０は、上述したようにテーブル１４０を撮像する画像センサ、テーブル１４０上の深度情報を取得する深度センサ、及びテーブル１４０への接触を検出するタッチセンサとしての機能を有する。出力部１３０により情報が表示される範囲と入力部１１０が情報の入力を受け付ける範囲とは、同一であってもよいし互いに相違していてもよい。例えば、入力部１１０は、出力部１３０による表示範囲より広い範囲を対象とした画像データ、深度情報、接触情報を取得し得る。
【００３０】
画像センサとしては、入力部１１０は、例えば可視光カメラ、又は赤外線カメラにより形成され得る。深度センサとしては、入力部１１０は、例えばステレオカメラ、time  of  flight方式の測距センサ、又はstructured  light方式の測距センサにより形成され得る。タッチセンサとしては、入力部１１０は、タッチパネルにより形成されてもよいし、深度情報により接触を検出してもよい。
【００３１】
（２）制御部１２０
制御部１２０は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理システム１００内の動作全般を制御する。例えば制御部１２０は、入力部１１０が入力した情報を用いて、出力部１３０から出力する情報を生成する。図２に示すように、制御部１２０は、検出部１２２、生成部１２４、取得部１２６及び表示制御部１２８として機能する。
【００３２】
（２．１）検出部１２２
検出部１２２は、情報処理システム１００周辺の実オブジェクトを検出する機能を有する。例えば、検出部１２２は、出力部１３０から照射される投影光の経路上に存在する実オブジェクトを検出する。検出部１２２は、入力部１１０により入力された画像情報及び深度情報に基づいて、実オブジェクトの形状や模様等を検出し得る。
【００３３】
また、検出部１２２は、表示面に表示された表示オブジェクトを検出してもよい。例えば、検出部１２２は、出力部１３０により投影された表示オブジェクトが、表示面上に適切に表示されているか否かを検出する。
【００３４】
なお、情報処理システム１００が図１に示したプロジェクション型の場合、情報の表示面の座標と、ユーザの手等の操作体の表示面への接触座標とが一致するように予め校正されることで、検出部１２２は、ユーザの手等の操作体が、ＧＵＩのどの部分に接触したかを検出することが可能になる。
【００３５】
（２．２）生成部１２４
生成部１２４は、出力部１３０により投影される投影内容を制御するための表示制御信号を生成する機能を有する。例えば、生成部１２４は、出力部１３０から照射される投影光の経路において検出された実オブジェクトによる投影光への影響に基づいて、表示オブジェクトの表示制御を行うための表示制御信号を生成する。ここで、出力部１３０により投影される元の表示オブジェクトを「投影内容」とも称し、経路上に存在する光学部品等による影響を受けて実際に表示面に表示された表示オブジェクトを「投影結果」とも称する。
【００３６】
（２．３）取得部１２６
取得部１２６は、生成部１２４により生成された表示制御信号を取得する機能を有する。生成部１２４は、取得部１２６が含まれる装置とは異なる装置に設けられてもよく、その場合、取得部１２６はネットワーク等を介して生成部１２４から表示制御信号を取得することが可能な通信装置として形成され得る。
【００３７】
（２．４）表示制御部１２８
表示制御部１２８は、出力部１３０を制御して情報を出力させる機能を有する。
【００３８】
例えば、表示制御部１２８は、取得部１２６により取得された表示制御信号に基づいて、表示オブジェクト表示するよう出力部１３０を制御する。具体的には、表示制御部１２８は、表示制御信号に基づいて、投影内容を拡大／縮小したり、反転させたりする。
【００３９】
（３）出力部１３０
出力部１３０は、表示制御部１２８による制御に基づいて、情報を出力する機能を有する。例えば、出力部１３０は、投影光を照射して表示面に表示オブジェクトを表示する投影部として機能する。出力部１３０は、例えばプロジェクタ等により形成され得る。
【００４０】
（４）記憶部１５０
記憶部１５０は、所定の記録媒体に対してデータの記録再生を行う部位である。記憶部１５０は、後述する投影目標ＤＢ（ＤａｔａＢａｓｅ）及び処理ルールＤＢを記憶し得る。
【００４１】
図２に示した情報処理システム１００は、単独の装置として形成されてもよく、一部または全部が別々の装置で形成されても良い。例えば、図２に示した情報処理システム１００の機能構成例の内、制御部１２０が、入力部１１０及び出力部１３０とネットワーク等で接続されたサーバ等の装置に備えられていても良い。制御部１２０がサーバ等の装置に備えられる場合は、入力部１１０からの情報がネットワーク等を通じて当該サーバ等の装置に送信され、制御部１２０が入力部１１０からの情報に対して処理を行って、当該サーバ等の装置から、出力部１３０が出力するための情報がネットワーク等を通じて出力部１３０に送られる。
【００４２】
以上、本実施形態に係る情報処理システム１００の機能構成例について説明した。続いて、図３〜図１７を参照して、本実施形態に係る情報処理システム１００が有する機能の詳細について説明する。
【００４３】
＜＜２．機能詳細＞＞
（実オブジェクト情報取得機能）
制御部１２０（例えば、検出部１２２）は、情報処理システム１００周辺の実オブジェクトに関する情報を取得する機能を有する。例えば、制御部１２０は、入力部１１０により入力された画像情報及び深度情報により、テーブル１４０上に存在する実オブジェクトを検出する。そして、制御部１２０は、実オブジェクトの位置や姿勢といった配置を示す配置情報を取得する。また、制御部１２０は、検出した実オブジェクトがどのような光学部品であるかを示す属性情報を取得する。属性情報には、光学部品の種別を示す情報、大きさを示す情報、反射率や屈折率、透過率等といった光学特性を示す情報が含まれ得る。実オブジェクトは、マーカー、二次元コード、ＲＦＩＤタグ、又はＩＣチップ等の媒体を含んでいてもよい。制御部１２０は、当該媒体に格納された識別情報を用いて、実オブジェクトに関する情報が登録されたＤＢを参照等することで、実オブジェクトの属性情報を取得し得る。他の例として、当該媒体に属性情報が含まれていてもよい。
【００４４】
実オブジェクトは、光学部品であってもよい。光学部品は、照射された光を屈折又は反射等させる物体である。そのような光学部品としては、例えばミラー、プリズム、レンズ、ハーフミラー等が挙げられる。他にも、実オブジェクトは、表示面として利用可能なスクリーンや障害物等であってもよい。
【００４５】
（経路予測機能）
制御部１２０（例えば、生成部１２４）は、出力部１３０から照射される投影光の経路を予測する機能を有する。
【００４６】
投影光の経路を予測する技術は多様に考えられる。例えば、制御部１２０は、上記特許文献１に開示された技術を用いて投影光の経路を予測してもよい。上記特許文献１に開示された技術では、ひとつの光線について予測が行われる。これに対し、本実施形態に係る制御部１２０は、投影内容の全体を走査することで、元の表示オブジェクトが経路を経た先で実際にどのような投影結果として表示されるかを予測する。例えば、制御部１２０は、投影内容の一領域ごとに、出力部１３０から照射された投影光がどのような経路を通ってどの表示面にどのように表示されるかを予測することを、投影内容の全体に渡って繰り返す。ここで、図３〜図５を参照して、具体例を挙げて経路予測処理を説明する。
【００４７】
図３〜図５は、本実施形態に係る投影光の経路予測処理の一例を説明するための図である。図３は、元の表示オブジェクトの一例を示している。図４は、元の表示オブジェクトをそのまま投影内容とする場合の走査順序の一例を示している。制御部１２０は、まず領域２０１について予測し、次いで領域２０２、その後領域２０３、というようにＸ方向に走査する。その後、制御部１２０は、Ｙ方向に走査対象を進めながら、投影内容の全領域について予測を行う。図５は、元の表示オブジェクトを上下反転させて投影内容とする場合の走査順序の一例を示している。図４に示した例と同様に、制御部１２０は、まず領域２１１について予測し、次いで領域２１２、その後領域２１３、というようにＸ方向に走査する。その後、制御部１２０は、−Ｙ方向に走査対象を進めながら、投影内容の全領域について予測を行う。
【００４８】
制御部１２０は、投影光の経路上に存在する実オブジェクトによる投影光への影響を加味して、経路の予測を行ってもよい。例えば、制御部１２０は、実オブジェクト情報取得機能により取得された実オブジェクトの配置情報及び属性情報に基づいて、経路上に存在する実オブジェクトによる投影光への影響を計算して経路の予測を行う。ここで、図６〜図１０を参照して、代表的な光学部品による投影光への影響の一例を説明する。
【００４９】
図６は、光学部品による投影光への影響の一例を説明するための図である。図６では、テーブル１４０上に上下反転ミラー２２５を置き、図３に示した元の表示オブジェクトをそのまま投影内容として投影した場合の例を示している。符号２２１は、上下反転ミラー２２５に照射された投影光の経路２２６を、Ｚ軸方向から見た図である。符号２２２は、上下反転ミラー２２５に照射された投影光の経路２２６を、Ｘ軸方向から見た図である。符号２２３は、投影光の経路２２６上に存在するスクリーンへの投影結果を示しており、投影結果は投影内容を上下反転させたものである。符号２２４は、上下反転ミラー２２５の外観構成例を示している。
【００５０】
図７は、光学部品による投影光への影響の一例を説明するための図である。図７では、テーブル１４０上に左右反転ミラー２３５を置き、図３に示した元の表示オブジェクトをそのまま投影内容として投影した場合の例を示している。符号２３１は、左右反転ミラー２３５に照射された投影光の経路２３６を、Ｚ軸方向から見た図である。符号２３２は、左右反転ミラー２３５に照射された投影光の経路２３６を、Ｙ軸方向から見た図である。符号２３３は、投影光の経路２３６上に存在するスクリーンへの投影結果を示しており、投影結果は投影内容を左右反転させたものである。符号２３４は、左右反転ミラー２３５の外観構成例を示している。
【００５１】
図８は、光学部品による投影光への影響の一例を説明するための図である。図８では、テーブル１４０上にプリズム２４５を置き、図３に示した元の表示オブジェクトをそのまま投影内容として投影した場合の例を示している。符号２４１は、プリズム２４５に照射された投影光の経路２４６を、Ｚ軸方向から見た図である。符号２４２は、プリズム２４５に照射された投影光の経路２４６を、Ｙ軸方向から見た図である。符号２４３は、投影光の経路２４６上に存在するスクリーンへの投影結果を示しており、投影結果は投影内容を色分解されたものである。表示オブジェクト２４７Ａ〜２４７Ｅは、それぞれ経路２４６Ａ〜２４６Ｅを通る投影光により投影される表示オブジェクトであり、例えば順に赤色、黄色、緑色、青色、紫色である。符号２４４は、プリズム２４５の外観構成例を示している。
【００５２】
図９は、光学部品による投影光への影響の一例を説明するための図である。図９では、テーブル１４０上に平凹レンズ２５５を置き、図３に示した元の表示オブジェクトをそのまま投影内容として投影した場合の例を示している。符号２５１は、平凹レンズ２５５に照射された投影光の経路２５６を、Ｚ軸方向から見た図である。符号２５１に示すように、投影光の経路２５６は、平凹レンズ２５５を介して経路２５６Ａ〜２５６Ｅに発散する。符号２５２は、平凹レンズ２５５に照射された投影光の経路２４６を、Ｙ軸方向から見た図である。符号２５３は、投影光の経路２４６上に存在するスクリーンへの投影結果を示しており、投影結果は投影内容を全体的に分散させたものである。符号２５４は、平凹レンズ２５５の外観構成例を示している。
【００５３】
（投影内容補正機能）
制御部１２０（例えば、生成部１２４又は表示制御部１２８）は、投影内容の表示オブジェクトを補正する機能を有する。
【００５４】
例えば、制御部１２０は、検出された実オブジェクトによる投影光への影響に応じて補正された表示オブジェクトを表示する。具体的には、制御部１２０は、経路予測機能により予測された投影結果が適切ではない場合、投影内容の表示オブジェクトの大きさを拡大／縮小したり、投影内容全面における表示オブジェクトの位置を移動させたり、反転させたりといった補正を行う。制御部１２０は、どのような投影結果であれば適切であるか、即ち投影目標を示す投影目標情報を参照して、投影結果が投影目標を満たす適切なものであるか否かを判定し得る。投影目標情報は、記憶部１５０に格納された投影目標ＤＢに記憶され得る。投影目標情報は、表示オブジェクトのサイズ、解像度、表示面における位置、反転の有無、又は色の少なくともいずれかに関する投影目標を示す情報であってもよい。このような多面的な投影目標が設定されることで、情報処理システム１００は、投影結果を細やかに調節することが可能となる。下記の表１に、投影目標情報の一例を示す。
【００５５】
【表１】
2016189163.tif 000003
【００５６】
なお、識別情報は、投影目標情報を識別するための情報である。表示オブジェクトごとに、どの投影目標情報を用いるべきかが識別情報を用いて設定され得る。サイズ範囲は、投影結果の表示オブジェクトのサイズの下限又は上限の少なくともいずれかを示す情報である。解像度範囲は、投影結果の表示オブジェクトの解像度の下限又は上限の少なくともいずれかを示す情報である。重心範囲は、投影結果の表示オブジェクトの中心が表示面の中心から離れてもよい範囲を示す情報である。左右反転は、投影内容を左右反転させたものを投影結果とするか否かを示す情報である。上下反転は、投影内容を上下反転させたものを投影結果とするか否かを示す情報である。色分解は、投影内容を色分解させたものを投影結果とするか否か、また色分解させたものとする場合に目標とする色を示す情報である。
【００５７】
ここで、制御部１２０による投影内容補正処理の一例を、図１０〜図１３を参照して説明する。
【００５８】
図１０は、本実施形態に係る投影内容補正処理の一例を説明するための図である。図１０に示すように、テーブル１４０上に上下反転ミラー２６０及びスクリーン２６１が置かれている。Ｚ軸方向から照射された投影光が上下反転ミラー２６０を経由してスクリーン２６１に到達し、スクリーン２６１を表示面として表示オブジェクトが投影される例を想定する。また、投影目標情報として、上下反転しないこと、及び重心範囲が指定されているものとする。
【００５９】
図１１は、本実施形態に係る投影内容補正処理の一例を説明するための図である。符号２７１は投影内容を示し、符号２７２は投影結果を示している。符号２７１に示したように、投影内容の全面のうち一領域に表示オブジェクトが位置している。上下反転ミラー２６０により上下が反転することから、符号２７１に示すように予め上下反転させておくと、符号２７２に示すように上下反転しない投影結果となる。また、符号２７２に示すように投影結果の中心位置２６２が重心範囲２６３に収まっている。このように、図１１に示した例では投影目標が満たされている。
【００６０】
図１２は、本実施形態に係る投影内容補正処理の一例を説明するための図である。符号２７３は投影内容を示し、符号２７４は投影結果を示している。符号２７４に示すように投影結果の中心位置２６２が重心範囲２６３に収まっている。一方で、上下反転ミラー２６０により上下が反転することから、符号２７３に示すように予めの上下反転が行われていない場合、符号２７４に示すように上下反転した投影結果となる。このように、図１２に示した例では上下反転に係る投影目標が満たされていない。そのため、制御部１２０は、投影内容を上下反転させる補正を行う。
【００６１】
図１３は、本実施形態に係る投影内容補正処理の一例を説明するための図である。符号２７５は投影内容を示し、符号２７６は投影結果を示している。上下反転ミラー２６０により上下が反転することから、符号２７５に示すように予め上下反転させておくと、符号２７６に示すように上下反転しない投影結果となる。一方で、符号２７５に示すように表示オブジェクトが−Ｘ方向にずれていることから、符号２７６に示すように投影結果の中心位置２６２が重心範囲２６３から−Ｘ方向にずれている。このように、図１３に示した例では重心範囲に係る投影目標が満たされていない。そのため、制御部１２０は、投影内容の−Ｘ方向のずれを直す補正を行う。
【００６２】
（実オブジェクト配置演算機能）
制御部１２０（例えば、生成部１２４）は、適切な実オブジェクトの配置を演算する機能を有する。
【００６３】
例えば、制御部１２０は、投影光の経路上に実オブジェクトが追加されたり、経路上に存在していた実オブジェクトが取り除かれたり、移動されたり、回転されたり、といった配置の変更が仮に行われた場合の投影結果を演算する。具体的には、制御部１２０は、テーブル１４０上のある座標にある姿勢である光学部品を配置した場合の投影結果を経路予測機能により予測する処理を、各座標、各姿勢及び各光学部品について行う。なお、複数の光学部品が組み合わされてもよい。制御部１２０は、投影結果の演算結果が投影目標を満たすか否かを判定してもよく、投影目標を満たすための配置内容（位置範囲、姿勢等を含む）を演算してもよい。実オブジェクトは立体的に配置されてもよく、例えばテーブル１４０の上方にアームにより離隔して光学部品が配置されてもよい。そのため、制御部１２０は、テーブル１４０上の平面的な配置（Ｘ座標及びＹ座標）に加えて、高さ方向の立体的な配置（Ｚ座標）に関しても演算し得る。表示オブジェクトごとに、使用可能な実オブジェクトや配置可能な範囲等が制限されていてもよい。
【００６４】
制御部１２０は、投影光の経路において検出された実オブジェクトに基づいて表示面を選択してもよい。例えば、制御部１２０は、テーブル１４０を表示面として選択してもよい。その場合、制御部１２０は、テーブル１４０から障害物となる実オブジェクトを取り除いて表示可能な範囲を広げることが適切であると演算し得る。例えば、制御部１２０は、テーブル１４０以外の実オブジェクトを表示面として選択してもよい。その場合、制御部１２０は、例えばスクリーンを配置するよう演算し得る。
【００６５】
なお、制御部１２０は、投影内容補正機能及び実オブジェクト配置演算機能のいずれか一方を用いてもよいし、組み合わせて用いてもよい。例えば、制御部１２０は、投影内容補正機能によって投影内容を補正しても投影目標を満たすことが困難な場合に、実オブジェクト配置演算機能を用いて、投影目標を満たすことが可能な実オブジェクトの配置を演算し得る。
【００６６】
ここで、制御部１２０による実オブジェクト配置演算処理の一例を、図１４〜図１７を参照して説明する。
【００６７】
図１４は、本実施形態に係る実オブジェクト配置演算処理の一例を説明するための図である。符号２８１は投影内容を示し、符号２８２はテーブル１４０上の実オブジェクトの配置を示している。符号２８２に示すように、テーブル１４０上にスクリーン２９１が置かれている。制御部１２０は、実オブジェクト配置演算処理により、投影目標を満たすためには、正面をＹ軸方向に向けた上下反転ミラーを範囲２９２に配置すべきであると演算した場合を想定する。以下では、上下反転ミラーの配置を変えながら、符号２８１に示した表示オブジェクトを投影した場合の投影結果の例を説明する。なお、投影目標情報として、上下反転しないこと、及び重心範囲が指定されているものとする。
【００６８】
図１５は、本実施形態に係る実オブジェクト配置演算処理の一例を説明するための図である。符号２８３はテーブル１４０上の実オブジェクトの配置を示し、符号２８４は、投影結果を示している。符号２８３に示すように、上下反転ミラー２９３は範囲２９２内に正面をＹ軸方向に向けて配置されている。このため、符号２８４に示すように、投影結果の中心位置２９４が重心範囲２９５に収まっている。このように、図１５に示した例では投影目標が満たされている。
【００６９】
図１６は、本実施形態に係る実オブジェクト配置演算処理の一例を説明するための図である。符号２８５はテーブル１４０上の実オブジェクトの配置を示し、符号２８６は、投影結果を示している。符号２８５に示すように、上下反転ミラー２９５は範囲２９２内に正面をＹ軸方向に向けて配置されている。このため、符号２８６に示すように、投影結果の中心位置２９４が重心範囲２９５に収まっている。このように、図１６に示した例では投影目標が満たされている。
【００７０】
図１７は、本実施形態に係る実オブジェクト配置演算処理の一例を説明するための図である。符号２８７はテーブル１４０上の実オブジェクトの配置を示し、符号２８８は、投影結果を示している。符号２８７示すように、上下反転ミラー２９５は正面をＹ軸方向に向けているものの、範囲２９２外にＸ方向にずれて配置されている。このため、符号２８８に示すように、投影結果の中心位置２９４が重心範囲２９５からＸ方向にずれている。このように、図１７に示した例では投影目標が満たされていない。
【００７１】
（フィードバック機能）
制御部１２０（例えば、表示制御部１２８）は、ユーザへのフィードバックを行う機能を有する。
【００７２】
例えば、制御部１２０は、投影光の経路における実オブジェクトの配置の変更を指示する指示情報を表示オブジェクトとして表示する。例えば、制御部１２０は、実オブジェクト配置演算機能により適切な実オブジェクトの配置を演算した結果が現在の配置と異なる場合に、配置の変更をユーザに行わせるための指示情報を表示する。この指示情報は、表示面に表示された表示オブジェクトが予め設定された投影目標を満たすための情報である。従って、指定情報に従ってユーザが実オブジェクトの配置を変更することで、実オブジェクト配置演算機能により演算された適切な配置が実現され、投影目標を満たすことが可能となる。
【００７３】
指示情報は、投影光の経路において検出された実オブジェクトの配置の変更を指示する情報を含んでいてもよい。例えば、指示情報は、投影光の経路上に存在していた光学部品やスクリーン等を取り除く、移動させる又は回転させる等をユーザに指示する情報を含み得る。ユーザがこの指示に従って実オブジェクトの配置を変更することで、適切な配置が実現され、投影目標を満たすことが可能となる。
【００７４】
指示情報は、投影光の経路に実オブジェクトを新たに配置するよう指示する情報を含んでいてもよい。例えば、指示情報は、投影光の経路上に光学部品やスクリーン等を指定した位置（Ｘ座標、Ｙ座標及びＺ座標）及び姿勢で配置するようユーザに指示する情報を含み得る。ユーザがこの指示に従って実オブジェクトの配置を変更することで、適切な配置が実現され、投影目標を満たすことが可能となる。
【００７５】
例えば、制御部１２０は、表示オブジェクトに関する処理内容を規定した処理ルール情報を参照して、フィードバックを行い得る。処理ルール情報は、記憶部１５０に格納された処理ルールＤＢに記憶され得る。下記の表２に、処理ルール情報の一例を示す。
【００７６】
【表２】
2016189163.tif 000004
【００７７】
なお、識別情報は、処理ルール情報を識別するための情報である。表示オブジェクトごとに、どの処理ルール情報を用いるべきかが識別情報を用いて設定され得る。初期処理は、アプリケーション起動時などの表示オブジェクトの表示開始の際に行うべき処理を示す情報である。目標未達成時のフィードバック処理は、投影目標がまだ満たされていない場合にフィードバックすべき内容を示す情報である。目標達成時の処理は、投影目標が満たされた場合に行うべき処理を示す情報である。目標達成状態維持の必要性とは、投影目標が満たされた後、満たされた状態が維持されるべきか否かを示す情報である。終了条件とは、表示オブジェクトの表示を終了する条件を示す情報である。目標達成状態非継続時の処理とは、投影目標が満たされた後、満たされた状態が継続されなかった場合にフィードバックすべき内容を示す情報である。
【００７８】
以上、本実施形態に係る情報処理システム１００が有する機能の詳細について説明した。続いて、図１８〜図２０を参照して、本実施形態に係る情報処理システム１００の動作処理例について説明する。
【００７９】
＜＜３．動作処理例＞＞
（表示制御処理）
図１８は、本実施形態に係る情報処理システム１００において実行される表示制御処理の流れの一例を示すフローチャートである。
【００８０】
まず、ステップＳ１０２で、情報処理システム１００は、初期処理を行う。例えば、制御部１２０は、上記表２に示した処理ルール情報を参照して、初期処理を行う。
【００８１】
次いで、ステップＳ１０４で、情報処理システム１００は、投影内容補正処理を行う。例えば、制御部１２０は、経路予測機能により予測された投影結果が適切ではない場合、投影内容の表示オブジェクトの大きさを拡大／縮小したり、位置を移動させたり、反転させたりといった補正を行う。ここでの処理については図１９を参照して後に詳細に説明する。
【００８２】
次に、ステップＳ１０６で、情報処理システム１００は、投影目標は満たされたか否かを判定する。
【００８３】
投影内容補正処理を経ても投影目標が満たされないと判定された場合（Ｓ１０６／ＮＯ）、ステップＳ１０８で、情報処理システム１００は、実オブジェクト配置演算処理を行う。例えば、制御部１２０は、投影光の経路上に実オブジェクトが追加されたり、経路上に存在していた実オブジェクトが取り除かれたり、移動されたり、回転されたり、といった配置の変更が仮に行われた場合の投影結果を演算する。ここでの処理については図２０を参照して後に詳細に説明する。
【００８４】
次いで、ステップＳ１１０で、情報処理システム１００は、目標未達成時のフィードバック処理を行う。例えば、制御部１２０は、上記表２に示した処理ルール情報を参照して、目標未達成時のフィードバック処理を行う。具体的には、制御部１２０は、上記ステップＳ１０８での演算結果に従い、実オブジェクトの配置の変更をユーザに指示する指示情報を表示する。本フィードバックを経てユーザが実オブジェクトの配置を変更した後、処理は再度ステップＳ１０４へ戻る。
【００８５】
投影内容補正処理を経て、又は投影内容補正処理及びユーザによる実オブジェクトの配置の変更を経て投影目標が満たされたと判定された場合（Ｓ１０６／ＹＥＳ）、ステップＳ１１２で、情報処理システム１００は、目標達成時の処理を行う。例えば、制御部１２０は、上記表２に示した処理ルール情報を参照して、目標達成時の処理を行う。なお、ステップＳ１０４〜Ｓ１１０に係る処理は複数回繰り返されてもよい。また、繰り返しの上限回数が設定されたり、繰り返しに伴い投影目標が緩和されたりしてもよい。
【００８６】
次に、ステップＳ１１４で、情報処理システム１００は、実オブジェクトの配置を記録する。例えば、情報処理システム１００は、目標達成時のテーブル１４０上の深度情報を記憶する。これにより、情報処理システム１００は、この後新しく検出された実オブジェクトを、目標達成状態を乱す障害物として扱うことが可能となる。
【００８７】
次いで、ステップＳ１１６で、情報処理システム１００は、目標達成状態を維持する必要があるか否かを判定する。例えば、制御部１２０は、上記表２に示した処理ルール情報を参照して、目標達成状態を維持する必要があるか否かを判定する。
【００８８】
維持する必要が無いと判定された場合（Ｓ１１６／ＮＯ）、処理は終了する。一方で、維持する必要があると判定された場合（Ｓ１１６／ＹＥＳ）、情報処理システム１００は、次に説明するようにテーブル１４０上の状態を継続して監視する。
【００８９】
まず、ステップＳ１１８で、情報処理システム１００は、終了条件を満たしたか否かを判定する。例えば、制御部１２０は、上記表２に示した処理ルール情報を参照して、終了条件を満たしたか否かを判定する。
【００９０】
満たしたと判定された場合（Ｓ１１８／ＹＥＳ）、処理は終了する。一方で、満たしていないと判定された場合（Ｓ１１８／ＮＯ）、ステップＳ１２０で、情報処理システム１００は、投影目標は満たされているか否かを判定する。
【００９１】
満たされていると判定された場合（Ｓ１２０／ＹＥＳ）、処理は再度ステップＳ１１８に戻る。一方で、満たされていないと判定された場合（Ｓ１２０／ＮＯ）、ステップＳ１２２で、情報処理システム１００は、目標達成状態非継続時のフィードバック処理を行う。例えば、制御部１２０は、上記表２に示した処理ルール情報を参照して、目標達成状態非継続時のフィードバック処理を行う。具体的には、制御部１２０は、テーブル１４０上の実オブジェクトの配置を、上記ステップＳ１１４で記録した元の配置に戻すよう指示する指示情報を表示する。本フィードバックを経てユーザが実オブジェクトの配置を元に戻した後、処理は再度ステップＳ１１８へ戻る。
【００９２】
（投影内容補正処理）
図１９は、本実施形態に係る情報処理システム１００において実行される投影内容補正処理の流れの一例を示すフローチャートである。
【００９３】
図１９に示すように、まず、ステップＳ２０２で、情報処理システム１００は、経路予測処理を行う。例えば、制御部１２０は、経路予測機能により投影結果を予測する。情報処理システム１００は、続く処理において、投影目標を満たすための投影内容の補正を試みる。
【００９４】
例えば、ステップＳ２０４で、制御部１２０は、左右反転の設定を行う。例えば、予測した投影結果が左右反転に係る投影目標を満たさない場合に、表示オブジェクトを左右反転させるよう設定する。
【００９５】
次いで、ステップＳ２０６で、制御部１２０は、上下反転の設定を行う。例えば、予測した投影結果が上下反転に係る投影目標を満たさない場合に、表示オブジェクトを上下反転させるよう設定する。
【００９６】
次に、ステップＳ２０８で、制御部１２０は、サイズの設定を行う。例えば、予測した投影結果がサイズ範囲に係る投影目標を満たさない場合に、サイズ範囲に係る投影目標を満たすよう表示オブジェクトを拡大又は縮小するよう設定する。
【００９７】
次いで、ステップＳ２１０で、制御部１２０は、投影位置の設定を行う。例えば、予測した投影結果が、重心範囲に係る投影目標を満たさない場合に、重心範囲に収まるよう投影位置を移動させるよう設定する。
【００９８】
次に、ステップＳ２１２で、制御部１２０は、以上説明した補正を試みた結果、投影目標が満たされるか否かを判定する。なお、本フローチャートでは、ステップＳ２０２〜Ｓ２１２に係る処理が直列的に一括で行われる例を説明したが、本技術はかかる例に限定されない。例えば、あるひとつの補正（例えば、ステップＳ２０４に係る処理）が試みられる度に経路予測処理及び投影目標が満たされるか否かの判定が行われてもよい。その場合、情報処理システム１００は、徐々に補正を試みる、逐次的な補正を行うことが可能である。
【００９９】
満たされると判定された場合（Ｓ２１２／ＹＥＳ）、ステップＳ２１４で制御部１２０は補正に成功したと判定し、ステップＳ２１６で補正内容を記憶する。これにより、制御部１２０は、記憶した補正内容に基づいて補正した表示オブジェクトを投影内容として採用することで、投影目標を満たすことが可能となる。
【０１００】
満たされないと判定された場合（Ｓ２１２／ＮＯ）、ステップＳ２１８で、制御部１２０は補正に失敗したと判定する。制御部１２０は、このときの補正内容を一旦記憶してもよいし、記憶しなくてもよい。いずれにしろ、制御部１２０は、図１８を参照して上記説明したように、実オブジェクト配置演算処理及びフィードバック処理（Ｓ１０８及びＳ１１０）により実オブジェクトの配置の変更された後に、再度補正を試みることとなる。
【０１０１】
（実オブジェクト配置演算処理）
図２０は、本実施形態に係る情報処理システム１００において実行される実オブジェクト配置演算処理の流れの一例を示すフローチャートである。
【０１０２】
情報処理システム１００は、ステップＳ３０２〜Ｓ３０８に係る処理を、想定される配置候補のひとつを処理対象として、処理対象の配置候補ごとに繰り返す。例えば、情報処理システム１００は、配置する実オブジェクトの種別、位置（Ｘ座標、Ｙ座標及びＺ座標）及び姿勢等を変えながら、ステップＳ３０２〜Ｓ３０８に係る処理を行う。
【０１０３】
まず、ステップＳ３０２で、制御部１２０は、処理対象の配置候補が実現された場合を想定した経路予測処理を行い、投影結果を予測する。次いで、ステップＳ３０４で、制御部１２０は、投影目標は満たされるか否かを判定する。そして、満たされると判定された場合（Ｓ３０４／ＹＥＳ）、制御部１２０は、処理対象の配置候補を、ユーザによる配置変更を経て実現すべき配置内容として記録する。満たされないと判定された場合（Ｓ３０４／ＮＯ）、制御部１２０は、配置内容を記録しない。
【０１０４】
その後、未処理の配置候補がある場合（Ｓ３０８／ＹＥＳ）、処理はステップＳ３０２へ戻り、次の配置候補を処理対象として上記処理が繰り返される。未処理の配置候補がない場合（Ｓ３０８／ＮＯ）、処理は終了する。
【０１０５】
＜＜４．具体例＞＞
続いて、本実施形態に係る情報処理システム１００により実現される機能の具体例を説明する。
【０１０６】
（ＤＢの具体例）
まず、記憶部１５０に記憶されるＤＢの具体例を示す。
【０１０７】
表３は、本実施形態に係る投影目標ＤＢに記憶される投影目標情報の具体例を示す表である。表４は、本実施形態に係る処理ルールＤＢに記憶される処理ルール情報の具体例を示す表である。なお、下記ではＤＢの内容を表で示したが、例えばリレーショナルデータベース等の形式で実現されてもよい。
【０１０８】
【表３】
2016189163.tif 000005
【０１０９】
【表４】
2016189163.tif 000006
【０１１０】
（表示制御処理の具体例１）
まず、図２１〜図２３を参照して、経路が投影結果に与える影響を説明する。図２１〜図２３は、本実施形態に係る情報処理システム１００による表示制御処理の具体例を説明するための図である。
【０１１１】
図２１では、テーブル１４０上に置かれたスクリーン３１１を表示面として、直接的に投影光を照射して表示オブジェクトを表示する例を示している。符号３０１は、Ｚ軸方向からテーブル１４０を見た図である。符号３０２は、Ｘ軸方向からスクリーン３１１を見た図である。符号３０１に示すように、スクリーン３１１は、Ｚ軸方向に略平行な急な角度で配置されており、Ｚ軸方向から照射される投影光に正対しない。このように、表示面が投影光に正対せず急な角度で配置される場合、符号３０２に示すように表示オブジェクトの縦方向（Ｚ軸方向）に十分な解像度が確保されず、見にくい投影結果となってしまう。
【０１１２】
図２２では、スクリーン３１１に直接的に投影光が照射される場合の投影光の経路３１２及び投影内容を示している。詳しくは、符号３０３ではテーブル１４０上の様子及び投影光の経路３１２を示し、符号３０４では投影内容を示している。図２３では、上下反転ミラー３１３を経由してスクリーン３１１に間接的に投影光が照射される場合の投影光の経路３１４及び投影内容を示している。詳しくは、符号３０５ではテーブル１４０上の様子及び投影光の経路３１４を示し、符号３０６では投影内容を示している。符号３０４と符号３０６とを比較すると、間接的に照射する方が表示オブジェクトの縦方向（符号３０４及び符号３０６におけるＸ方向）の長さが長い。そのため、符号３０６の方が、投影結果において表示オブジェクトの縦方向の解像度が大きくなる。このように、情報処理システム１００は、上下反転ミラー３１３を一度経由することにより無理のない角度から表示オブジェクトを投影することが可能となり、表示オブジェクトの縦方向にも十分な解像度を確保して、見やすい投影結果を実現することができる。なお、上下反転ミラー３１３を介すべきことは、上述した実オブジェクト配置演算機能により演算され得る。
【０１１３】
（表示制御処理の具体例２）
続いて、図２４〜図２９を参照して、表３に示した投影目標情報Ａ及び表４に示した処理ルール情報Ａを設定されたアプリケーションに関する例を説明する。図２４〜図２９は、本実施形態に係る情報処理システム１００による表示制御処理の具体例を説明するための図である。
【０１１４】
図２４に示すように、テーブル１４０上に置かれたスクリーン３２１がユーザによりタップされたものとする。この場合、情報処理システム１００は、処理ルール情報Ａに従い、初期処理として、タップされたスクリーン３２１を表示面に設定する。次いで、情報処理システム１００は、投影目標補正処理を行う。しかし、図２１〜図２３を参照して上記説明したように、表示面が投影光に正対せず急な角度で配置されているため、投影目標Ａに係る解像度下限を満たすことが困難な場合がある。その場合、情報処理システム１００は、実オブジェクト配置演算処理により、例えば上下反転ミラーを配置すべき範囲を演算する。
【０１１５】
次いで、図２５に示すように、情報処理システム１００は、処理ルール情報Ａに従い、目標未達成時のフィードバック処理として、範囲３２２内に上下反転ミラーを置くよう指示するメッセージ３２３を表示する。メッセージ３２３の内容は、例えば「ここにミラーを置いて下さい」であってもよい。
【０１１６】
このフィードバックに従い、図２６に示すように、ユーザが範囲３２２内に上下反転ミラー３２４を置く。すると、情報処理システム１００は、再度の投影内容補正処理を行う。
【０１１７】
再度の投影内容補正処理により投影目標が満たされると判定された場合、図２７に示すように、情報処理システム１００は、処理ルール情報Ａに従い、目標達成時の処理として、アプリケーションを起動して、スクリーン３２１にアプリケーションを表示する。
【０１１８】
ここで、処理ルール情報Ａを参照すると、目標達成状態維持の必要性がある。そのため、情報処理システム１００は、目標達成時の実オブジェクトの配置を記録する。例えば、情報処理システム１００は、図２７に示したテーブル１４０上のスクリーン３２１及び上下反転ミラー３２４の配置（深度情報）を記憶し、また他に実オブジェクトが存在しないことを記録する。これにより、情報処理システム１００は、テーブル１４０上の深度情報の変化を監視することで、記録した配置から変化があった場合に変化を正すようフィードバックすることが可能となる。これにより、目標達成状態の維持が実現される。
【０１１９】
例えば、図２８に示すように、上下反転ミラー３２４が移動されて範囲３２２から外れる場合がある。その場合、情報処理システム１００は、処理ルール情報Ａに従い、目標達成状態非継続時のフィードバック処理として、上下反転ミラー３２４を範囲３２２内に戻すよう指示するメッセージ３２５Ａ及び３２５Ｂを表示する。メッセージ３２５Ａの内容は、例えば「ここにミラーを置いて下さい」であってもよい。メッセージ３２５Ｂの内容は、例えば「ここは範囲外です」であってもよい。
【０１２０】
例えば、図２９に示すように、障害物３２６が投影光の経路上に置かれて、スクリーン３２１に投影光が到達しなくなる場合ある。その場合、情報処理システム１００は、処理ルール情報Ａに従い、目標達成状態非継続時のフィードバック処理として、障害物３２６をどかすよう指示するメッセージ３２７を表示する。メッセージ３２７の内容は、例えば「この物体をどかして下さい」であってもよい。
【０１２１】
（表示制御処理の具体例３）
続いて、図３０〜図３３を参照して、表３に示した投影目標情報Ｂ及び表４に示した処理ルール情報Ｂを設定されたアプリケーションに関する例を説明する。図３０〜図３３は、本実施形態に係る情報処理システム１００による表示制御処理の具体例を説明するための図である。
【０１２２】
図３０に示すように、テーブル１４０上に置かれたスクリーン３３１がユーザによりタップされたものとする。この場合、情報処理システム１００は、処理ルール情報Ｂに従い、初期処理として、タップされたスクリーン３３１を表示面に設定する。次いで、情報処理システム１００は、投影目標補正処理を行う。しかし、図２１〜図２３を参照して上記説明したように、表示面が投影光に正対せず急な角度で配置されているため、投影目標Ｂに係る解像度下限を満たすことが困難な場合がある。その場合、情報処理システム１００は、実オブジェクト配置演算処理により、例えばスクリーン３３１よりも大きなスクリーン３３２を表示面として設定すべきことを演算する。
【０１２３】
次いで、図３１に示すように、情報処理システム１００は、処理ルール情報Ｂに従い、目標未達成時のフィードバック処理として、新たに利用可能な表示面の候補としてスクリーン３３２を提案するメッセージ３３３を表示する。メッセージ３３３の内容は、例えば「こちらの平面の方が綺麗に投影できます」であってもよい。
【０１２４】
このフィードバックに従い、図３２に示すように、ユーザがＯＫボタン３３４をタップして提案を受け入れる。すると、情報処理システム１００は、スクリーン３３２を表示面として再度の投影内容補正処理を行う。
【０１２５】
再度の投影内容補正処理により投影目標が満たされると判定された場合、図３３に示すように、情報処理システム１００は、処理ルール情報Ｂに従い、目標達成時の処理として、アプリケーションを起動して、スクリーン３３２にアプリケーションを表示する。
【０１２６】
そして、情報処理システム１００は、目標達成時の実オブジェクトの配置を記録する。ただし、処理ルール情報Ｂを参照すると、目標達成状態維持の必要性がないため、情報処理システム１００は、深度情報の変化を監視することなく処理を終了する。もちろん、情報処理システム１００は、アプリケーションの表示を継続してもよい。
【０１２７】
（表示制御処理の具体例４）
続いて、図３４〜図３７を参照して、表３に示した投影目標情報Ｃ及び表４に示した処理ルール情報Ｃを設定されたアプリケーションに関する例を説明する。なお、本アプリケーションは、プリズムの役割を勉強するための教材である。図３４〜図３７は、本実施形態に係る情報処理システム１００による表示制御処理の具体例を説明するための図である。
【０１２８】
まず、ユーザはアプリケーションを起動する。すると、情報処理システム１００は、処理ルールＣに従い、初期処理として、アプリケーションの説明を表示する。この説明は、例えば、所定の位置に上下反転ミラー及びスクリーンを置くよう指示するものであるとする。図３４に示すように、ユーザはこの説明に従い、テーブル１４０上の指示された位置に上下反転ミラー３４１及びスクリーン３４２を配置する。次いで、情報処理システム１００は、投影目標補正処理を行う。ここでは、投影目標Ｃに係る重心範囲を満たすことが困難であるものとする。なお、色分解に係る投影目標があるため、プリズム等の光学部品を使用しない限り、投影目標Ｃを満たすことが困難である。そこで、情報処理システム１００は、実オブジェクト配置演算処理により、例えばプリズムを配置すべき範囲を演算する。
【０１２９】
次いで、図３５に示すように、情報処理システム１００は、処理ルール情報Ｃに従い、目標未達成時のフィードバック処理として、範囲３４３Ａ内にプリズムを置くよう指示するメッセージ３４３Ｂを表示する。さらに、情報処理システム１００は、アプリケーションの詳細な説明を行うメッセージ３４３Ｃ及び３４３Ｄを表示してもよい。メッセージ３４３Ｂの内容は、例えば「この範囲でプリズムを動かしてみよう」であってもよい。メッセージ３４３Ｃの内容は、例えば「ここに左手を挙げたカラフルなキャラクターが投影されるよ」であってもよい。メッセージ３４３Ｄの内容は、例えば「ここに右手を挙げた赤いキャラクターを投影しよう」であってもよい。
【０１３０】
このフィードバックに従い、図３６に示すように、ユーザが範囲３４３Ａ内にプリズム３４４を置く。すると、情報処理システム１００は、再度の投影内容補正処理を行う。
【０１３１】
再度の投影内容補正処理により投影目標が満たされると判定された場合、図３７に示すように、情報処理システム１００は、処理ルール情報Ｃに従い、目標達成時の処理として、正解である旨のメッセージ３４５を表示する。メッセージ３４５の内容は、例えば「よくできました。プリズムは光を分解するよ」であってもよい。
【０１３２】
そして、情報処理システム１００は、目標達成時の実オブジェクトの配置を記録する。ただし、処理ルール情報Ｃを参照すると、目標達成状態維持の必要性がないため、情報処理システム１００は、深度情報の変化を監視することなく処理を終了する。もちろん、情報処理システム１００は、アプリケーションの表示を継続してもよい。
【０１３３】
（表示制御処理の具体例５）
続いて、図３８〜図４２を参照して、表３に示した投影目標情報Ｄ及び表４に示した処理ルール情報Ｄを設定されたアプリケーションに関する例を説明する。なお、本アプリケーションは、月の満ち欠けを勉強するための教材である。図３８〜図４２は、本実施形態に係る情報処理システム１００による表示制御処理の具体例を説明するための図である。
【０１３４】
まず、ユーザはアプリケーションを起動する。すると、情報処理システム１００は、処理ルールＤに従い、初期処理として、アプリケーションの説明を表示する。この説明は、例えば、所定の位置に上下反転ミラー及び平凹レンズを置くよう指示するものであるとする。図３８に示すように、ユーザはこの説明に従い、テーブル１４０上の指示された位置に上下反転ミラー３５１及び平凹レンズ３５２を配置する。次いで、情報処理システム１００は、投影目標補正処理を行う。しかし、まだスクリーンが配置されていないので、投影目標Ｄを満たすことが困難である。そこで、情報処理システム１００は、実オブジェクト配置演算処理により、例えば球状のスクリーンを配置すべき範囲を演算する。なお、この球状のスクリーンは月を表し、球状のスクリーン上に満ち欠けする月の様子が投影される。
【０１３５】
次いで、図３９に示すように、情報処理システム１００は、処理ルール情報Ｄに従い、目標未達成時のフィードバック処理として、範囲３５３Ａ内に球状のスクリーンを置くよう指示するメッセージ３５３Ｂを表示する。さらに、情報処理システム１００は、アプリケーションの詳細な説明を行うための情報として、地球３５３Ｃ及びメッセージ３５３Ｄを表示してもよい。範囲３５３Ａ内には、図３９に示すように、月の満ち欠けに関する説明が表示されてもよい。メッセージ３５３Ｂの内容は、例えば「この範囲で月を動かしてみよう」であってもよい。メッセージ３５３Ｄの内容は、例えば「地球側から月の満ち欠けを見てみよう」であってもよい。
【０１３６】
このフィードバックに従い、図４０に示すように、ユーザが範囲３５３Ａ内に球状のスクリーン３５４を置く。すると、情報処理システム１００は、再度の投影内容補正処理を行う。
【０１３７】
再度の投影内容補正処理により投影目標が満たされると判定された場合、図４１に示すように、情報処理システム１００は、処理ルール情報Ｄに従い、目標達成時の処理として、球状のスクリーン３５４への投影を開始する。ユーザは、球状のスクリーン３５４を範囲３５３Ａ内で動かすことで、月が満ち欠けする様子を観察することができる。
【０１３８】
ここで、処理ルール情報Ｄを参照すると、目標達成状態維持の必要性がある。そのため、情報処理システム１００は、目標達成時の実オブジェクトの配置を記録する。例えば、情報処理システム１００は、図４１に示した、テーブル１４０上の上下反転ミラー３５１、平凹レンズ３５２、及び球状のスクリーン３５４の配置（深度情報）を記憶し、また他に実オブジェクトが存在しないことを記録する。これにより、情報処理システム１００は、テーブル１４０上の深度情報の変化を監視することで、記録した配置から変化があった場合に変化を正すようフィードバックすることが可能となる。これにより、目標達成状態の維持が実現される。
【０１３９】
例えば、図４２に示すように、球状のスクリーン３５４が移動されて範囲３５３Ａから外れる場合がある。その場合、情報処理システム１００は、処理ルール情報Ｄに従い、目標達成状態非継続時のフィードバック処理として、球状のスクリーン３５４の位置が範囲３５３Ａ外である旨を示すメッセージ３５５を表示する。メッセージ３５５の内容は、例えば「ここは範囲外です」であってもよい。
【０１４０】
＜＜５．ハードウェア構成例＞＞
最後に、図４３を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図４３は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図４３に示す情報処理装置９００は、例えば、図２に示した情報処理システム１００を実現し得る。本実施形態に係る情報処理システム１００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
【０１４１】
図４３に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
【０１４２】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図２に示す検出部１２２、生成部１２４、取得部１２６及び表示制御部１２８を形成し得る。
【０１４３】
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【０１４４】
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。他にも、入力装置９０６は、可視光カメラ、赤外線カメラ、ステレオカメラ、time  of  flight方式の測距センサ、structured  light方式の測距センサ等であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０６は、例えば、図２に示す入力部１１０を形成し得る。
【０１４５】
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記表示装置及び上記音声出力装置は、例えば、図２に示す出力部１３０を形成し得る。
【０１４６】
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図２に示す記憶部１５０を形成し得る。
【０１４７】
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
【０１４８】
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
【０１４９】
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
【０１５０】
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【０１５１】
以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１５２】
なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０１５３】
＜＜６．まとめ＞＞
以上、図１〜図４３を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理システム１００は、出力部１３０から照射される投影光の経路において検出された実オブジェクトによる投影光への影響に基づいて生成された表示制御信号に基づいて、表示オブジェクトを表示するよう出力部１３０を制御する。これにより、投影光の経路上の状況に応じた適切な表示制御が行われた表示オブジェクトが投影されることとなる。上記に関し、上記特許文献１に開示された技術では、光線が到達するか否かの判定のみが行われており、どのような投影結果（画像）がユーザに提示されるかは考慮されていない。
【０１５４】
例えば、情報処理システム１００は、検出された実オブジェクトによる投影光への影響に応じて補正された表示オブジェクトを表示してもよい。情報処理システム１００は、検出された光学部品や障害物等に応じて補正された投影内容を投影することで、投影目標を満たした投影結果を実現することができる。
【０１５５】
また、情報処理システム１００は、投影光の経路における実オブジェクトの配置の変更を指示する指示情報を表示してもよい。例えば、情報処理システム１００は、テーブル１４０上の光学部品や障害物等を検出して、投影目標が満たされていないことをユーザに可視化して、実オブジェクトの配置を変更するようフィードバックすることが可能である。このフィードバックに従ってユーザが実オブジェクトの配置を変更すれば、投影目標を満たすことが可能となる。上記に関し、上記特許文献１に開示された技術では、光学部品を機械的に制御可能であることが前提となっており、ユーザが実オブジェクトを動かすためのフィードバックに関しては考慮されていない。
【０１５６】
また、情報処理システム１００は、投影光の経路において検出された実オブジェクトに基づいて、表示オブジェクトを表示する表示面を選択してもよい。これにより、情報処理システム１００は、ユーザが表示オブジェクトを閲覧するために十分なサイズや解像度等を確保することができる。例えば、情報処理システム１００は、テーブル１４０上から表示面に適した平面を自動的に検出することが可能である。さらに、情報処理システム１００は、直接的な投影光の照射では十分な解像度を確保することが困難な角度の平面であっても、上下反転ミラー等の光学部品を経由させることで、十分な解像度を確保することが可能である。
【０１５７】
また、情報処理システム１００は、プリズムの役割や月の満ち欠けを学習する、といった教育目的で使用されてもよい。例えば、情報処理システム１００は、上記具体例でも説明したように、見た目からは予想できない光の動きを可視化して、ユーザに学習させることが可能である
【０１５８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１５９】
また、本明細書においてフローチャートを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。また、上記フローチャートは繰り返し実行されてもよく、終了割り込みによって随時処理が終了してもよい。
【０１６０】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１６１】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
投影部から照射される投影光の経路において検出された実オブジェクトによる前記投影光への影響に基づいて生成された表示制御信号を取得する取得部と、
前記取得部により取得された前記表示制御信号に基づいて、表示オブジェクトを表示するよう前記投影部を制御する表示制御部と、
を備える情報処理装置。
（２）
前記表示制御部は、前記経路における前記実オブジェクトの配置の変更を指示する指示情報を前記表示オブジェクトとして表示する、前記（１）に記載の情報処理装置。
（３）
前記指示情報は、前記経路において検出された前記実オブジェクトの配置の変更を指示する情報を含む、前記（２）に記載の情報処理装置。
（４）
前記指示情報は、前記経路に前記実オブジェクトを新たに配置するよう指示する情報を含む、前記（２）又は（３）に記載の情報処理装置。
（５）
前記指示情報は、表示面に表示された前記表示オブジェクトが予め設定された目標を満たすための情報である、前記（２）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記目標は、サイズ、解像度、前記表示面における位置、反転の有無、又は色の少なくともいずれかに関する、前記（５）に記載の情報処理装置。
（７）
前記表示オブジェクトは、前記実オブジェクトの表面又は前記実オブジェクトが配置される物体の表面を表示面として表示される、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記表示面は、前記経路において検出された前記実オブジェクトに基づいて選択される、前記（７）に記載の情報処理装置。
（９）
前記表示制御部は、検出された前記実オブジェクトによる前記投影光への影響に応じて補正された前記表示オブジェクトを表示する、前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記実オブジェクトは、光学部品である、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
投影部から照射される投影光の経路において検出された実オブジェクトによる前記投影光への影響に基づいて生成された表示制御信号を取得することと、
取得された前記表示制御信号に基づいて、表示オブジェクトを表示するよう前記投影部をプロセッサにより制御することと、
を含む情報処理方法。
（１２）
コンピュータを、
投影部から照射される投影光の経路において検出された実オブジェクトによる前記投影光への影響に基づいて生成された表示制御信号を取得する取得部と、
前記取得部により取得された前記表示制御信号に基づいて、表示オブジェクトを表示するよう前記投影部を制御する表示制御部と、
として機能させるためのプログラム。
【符号の説明】
【０１６２】
１００    情報処理システム
１１０    入力部
１２０    制御部
１２２    検出部
１２４    生成部
１２６    取得部
１２８    表示制御部
１３０    出力部
１４０    テーブル
１５０    記憶部
【図１】
2016189163.tif 000007
【図２】
2016189163.tif 000008
【図３】
2016189163.tif 000009
【図４】
2016189163.tif 000010
【図５】
2016189163.tif 000011
【図６】
2016189163.tif 000012
【図７】
2016189163.tif 000013
【図８】
2016189163.tif 000014
【図９】
2016189163.tif 000015
【図１０】
2016189163.tif 000016
【図１１】
2016189163.tif 000017
【図１２】
2016189163.tif 000018
【図１３】
2016189163.tif 000019
【図１４】
2016189163.tif 000020
【図１５】
2016189163.tif 000021
【図１６】
2016189163.tif 000022
【図１７】
2016189163.tif 000023
【図１８】
2016189163.tif 000024
【図１９】
2016189163.tif 000025
【図２０】
2016189163.tif 000026
【図２１】
2016189163.tif 000027
【図２２】
2016189163.tif 000028
【図２３】
2016189163.tif 000029
【図２４】
2016189163.tif 000030
【図２５】
2016189163.tif 000031
【図２６】
2016189163.tif 000032
【図２７】
2016189163.tif 000033
【図２８】
2016189163.tif 000034
【図２９】
2016189163.tif 000035
【図３０】
2016189163.tif 000036
【図３１】
2016189163.tif 000037
【図３２】
2016189163.tif 000038
【図３３】
2016189163.tif 000039
【図３４】
2016189163.tif 000040
【図３５】
2016189163.tif 000041
【図３６】
2016189163.tif 000042
【図３７】
2016189163.tif 000043
【図３８】
2016189163.tif 000044
【図３９】
2016189163.tif 000045
【図４０】
2016189163.tif 000046
【図４１】
2016189163.tif 000047
【図４２】
2016189163.tif 000048
【図４３】
2016189163.tif 000049