(57)【要約】【課題】複数ユーザによるタイミングを合わせた所定の操作に応じて表示画像に特定のフィードバックを与えることが可能な情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】複数のユーザを認識し、画像が表示されている表示面に対する各ユーザによる操作を検出し、前記検出した複数ユーザの操作のタイミングに応じて前記表示面に表示される画像に対するフィードバックを出力する制御部を備える、情報処理装置。【選択図】図１
2019058788.tif 000002
【特許請求の範囲】
【請求項１】
複数のユーザを認識し、
画像が表示されている表示面に対する各ユーザによる操作を検出し、
前記検出した複数ユーザの操作のタイミングに応じて前記表示面に表示される画像に対するフィードバックを出力する制御を行う制御部を備える、情報処理装置。
【請求項２】
制御部は、前記検出した複数ユーザの操作が全て同じであり、かつ、同時に行われた場合、前記表示面に表示される全ての画像に作用する所定のフィードバックを出力する、請求項１に記載の情報処理装置。
【請求項３】
前記表示面に表示される全ての画像には、表示オブジェクトおよび背景画像が含まれる、請求項２に記載の情報処理装置。
【請求項４】
前記操作は、非表示オブジェクト領域への操作である、請求項３に記載の情報処理装置。
【請求項５】
前記複数ユーザは、前記表示面の周辺に存在する全てのユーザである、請求項２に記載の情報処理装置。
【請求項６】
前記複数ユーザは、前記表示面への操作を行っている全てのユーザである、請求項２に記載の情報処理装置。
【請求項７】
前記複数ユーザは、前記表示面の周辺に存在し、かつ所定の条件を満たす全ての操作ユーザである、請求項２に記載の情報処理装置。
【請求項８】
前記制御部は、前記表示面に表示される全ての画像に作用する所定のフィードバックとして、前記表示面の中心を軸として前記全ての画像を回転させる表示制御を行う、請求項２に記載の情報処理装置。
【請求項９】
前記回転の角度は、前記複数ユーザの人数または配置に応じて変更される、請求項８に記載の情報処理装置。
【請求項１０】
前記回転の角度は、前記表示面の形状に応じて変更される、請求項８に記載の情報処理装置。
【請求項１１】
前記制御部は、前記表示面に表示される全ての画像に作用する所定のフィードバックとして、前記全ての画像を消去する表示制御を行う、請求項２に記載の情報処理装置。
【請求項１２】
前記制御部は、前記表示面に表示される全ての画像に作用する所定のフィードバックとして、前記全ての画像を一時的に動かす表示制御を行う、請求項２に記載の情報処理装置。
【請求項１３】
前記制御部は、前記表示面上に水面の波紋が広がりまたは水流を表示し、水面の波紋または水流により前記全ての画像が揺れる表示制御を行う、請求項１２に記載の情報処理装置。
【請求項１４】
前記制御部は、前記表示面上に広がる水面の波紋または水流が前記表示面に置かれた実オブジェクトを避ける表示制御を行う、請求項１３に記載の情報処理装置。
【請求項１５】
前記制御部は、前記検出した複数ユーザの操作タイミングが合っていない場合、前記全ての画像を、前記表示面の中心を軸として一旦回転し掛けてから戻す表示制御を行う、請求項２に記載の情報処理装置。
【請求項１６】
前記制御部は、前記複数ユーザにより同時に行われる所定の同じ操作が、再生する音楽に対応する所定のタイミングで行われた場合、前記表示面に表示される全ての画像に作用する所定のフィードバックを出力する、請求項２に記載の情報処理装置。
【請求項１７】
制御部は、前記複数ユーザのうち少なくとも一人の操作タイミングが前記音楽に対応する所定のタイミングではなかった場合、操作が失敗したと判断し、前記複数のユーザに操作失敗の旨を通知する表示を前記表示面に出力する、請求項１６に記載の情報処理装置。
【請求項１８】
プロセッサが、
複数のユーザを認識することと、
画像が表示されている表示面に対する各ユーザによる操作を検出することと、
前記検出した複数ユーザの操作のタイミングに応じて前記表示面に表示される画像に対するフィードバックを出力することと、
を含む、情報処理方法。
【請求項１９】
コンピュータを、
複数のユーザを認識し、
画像が表示されている表示面に対する各ユーザによる操作を検出し、
前記検出した複数ユーザの操作のタイミングに応じて前記表示面に表示される画像に対するフィードバックを出力する制御を行う制御部として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、スマートフォン、タブレット端末、及びデジタルサイネージ等の情報処理装置が広く普及しており、このような複雑な処理及び表現が可能な情報処理装置における表示オブジェクト（即ち、ＵＩ：User  Interface）に関する開発が、様々な観点で行われている。例えば、ユーザがより直観的に操作可能なＵＩ、複雑な操作を簡易に実現可能なＵＩ、ユーザの利便性を向上させるＵＩ等が開発されている。その一例として、下記特許文献１に、テーブル上にＵＩを表示して、かかるＵＩとユーザとのインタラクションを実現する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−９０５２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような装置では、典型的には、ひとりのユーザとのインタラクションに基づいて、当該ひとりのユーザへのサービスが提供されていた。複数ユーザへの拡張に関しては、上記特許文献１で、利用形態の一例として、装置が複数のユーザに共用されてもよい旨が記載されているが、具体的には複数ユーザによる各操作が個々のインタラクションとして認識されており、複数ユーザによる同時操作は認識されていなかった。【０００５】
そこで、本開示では、複数ユーザによるタイミングを合わせた所定の操作に応じて表示画像に特定のフィードバックを与えることが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、複数のユーザを認識し、画像が表示されている表示面に対する各ユーザによる操作を検出し、前記検出した複数ユーザの操作のタイミングに応じて前記表示面に表示される画像に対するフィードバックを出力する制御を行う制御部を備える、情報処理装置を提案する。【０００７】
本開示によれば、プロセッサが、複数のユーザを認識することと、画像が表示されている表示面に対する各ユーザによる操作を検出することと、前記検出した複数ユーザの操作のタイミングに応じて前記表示面に表示される画像に対するフィードバックを出力することと、を含む、情報処理方法を提案する。【０００８】
本開示によれば、コンピュータを、複数のユーザを認識し、画像が表示されている表示面に対する各ユーザによる操作を検出し、前記検出した複数ユーザの操作のタイミングに応じて前記表示面に表示される画像に対するフィードバックを出力する制御を行う制御部として機能させるための、プログラムを提案する。
【発明の効果】
【０００９】
以上説明したように本開示によれば、複数ユーザによるタイミングを合わせた所定の操作に応じて表示画像に特定のフィードバックを与えることが可能となる。【００１０】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態に係る情報処理システムの一構成例を示す図である。
【図２】本実施形態に係る情報処理システムの他の構成例を示す図である。
【図３】本実施形態に係る情報処理システムの他の構成例を示す図である。
【図４】本実施形態に係る情報処理システムの機能構成の一例を示すブロック図である。
【図５】本実施形態に係る情報処理システムにより実行される情報処理の流れの一例を示すフローチャートである。
【図６】本実施形態に係る情報処理システムにより実行される第１の具体例による動作処理の一例を示すフローチャートである。
【図７】第１の具体例における全ユーザにより行われる同時操作の一例について説明する図である。
【図８】第１の具体例における全ユーザにより行われる同時操作に応じたインタラクションの一例について説明する図である。
【図９】第１の具体例における同時操作に応じたインタラクションの応用例について説明する図である。
【図１０】第１の具体例における同時操作が失敗した際の表示制御の一例を示す図である。
【図１１】第１の具体例における他の同時操作に応じたインタラクションの一例について説明する図である。
【図１２】本実施形態に係る情報処理システムにより実行される第２の具体例による動作処理の一例を示すフローチャートである。
【図１３】第２の具体例による全ての表示オブジェクトに作用する波紋表現の一例を示す図である。
【図１４】第２の具体例による全ての表示オブジェクトと実オブジェクトに作用する水が流れる表現の一例を示す図である。
【図１５】本実施形態に係る情報処理システムにより実行される第３の具体例による動作処理の一例を示すフローチャートである。
【図１６】第３の具体例による音楽体験時にテーブルに表示される画面の一例を示す図である。
【図１７】第３の具体例による全ユーザにより行われる同時操作に応じたインタラクションの一例を示す図である。
【図１８】図１６に示す表示画面に含まれる操作部におけるインタラクションの一例を示す図である。
【図１９】第３の具体例による全ユーザにより行われる同時操作が失敗した際のフィードバックの一例を示す図である。
【図２０】本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．機能構成
３．動作処理
４．具体例
４−１．第１の具体例
４−２．第２の具体例
４−３．第３の具体例
５．ハードウェア構成例
６．まとめ
【００１４】
＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
図１を参照して、本開示の一実施形態に係る情報処理システムの構成について説明する。図１は、本開示の一実施形態に係る情報処理システムの一構成例を示す図である。なお、本明細書において、システムとは、所定の処理を実行するための構成のことを意味していてよく、システム全体として１つの装置とみなすこともできるし、複数の装置によってシステムが構成されているとみなすこともできる。図１に示す本実施形態に係る情報処理システムも、情報処理システム全体として所定の処理（例えば図４に示す機能構成によって実現される処理）を実行可能に構成されていればよく、情報処理システム内のどの構成を１つの装置とみなすかは任意であってよい。
【００１５】
図１を参照すると、本開示の一実施形態に係る情報処理システム１００ａは、入力部１１０ａと、出力部１３０ａと、を備える。
【００１６】
出力部１３０ａは、各種の情報をテーブル１４０ａに表示することにより、当該情報をユーザに対して視覚的に通知する。出力部１３０ａとしては、例えばプロジェクタが用いられる。図示するように、出力部１３０ａは、テーブル１４０ａの上方に、例えば天井から吊り下げられた状態でテーブル１４０ａと所定の距離離隔して配置され、テーブル１４０ａの天面に情報を投影する。このように上方からテーブル１４０ａの天面に情報を表示する方式を、「プロジェクション型」とも呼称する。
【００１７】
なお、以下の説明では、出力部１３０ａによって情報が表示される領域全体のことを表示画面（または表示面）とも呼称する。例えば、出力部１３０ａは、表示画面に、情報処理システム１００ａによるアプリケーションの実行に伴いユーザに対して提示される情報を表示する。
【００１８】
ここで、情報処理システム１００ａがプロジェクション型である場合には、出力部１３０ａは照明機器を含んでもよい。出力部１３０ａに照明機器が含まれる場合、情報処理システム１００ａは、入力部１１０ａによって入力された情報の内容及び／又は出力部１３０ａによって表示される情報の内容に基づいて、当該照明機器の点灯、消灯等の状態を制御してもよい。
【００１９】
また、出力部１３０ａは、スピーカを含んでもよく、各種の情報を音声として出力してもよい。出力部１３０ａがスピーカで構成される場合、スピーカの数は１つであってもよく、複数であってもよい。出力部１３０ａが複数のスピーカで構成される場合、情報処理システム１００ａは、音声を出力するスピーカを限定したり、音声を出力する方向を調整したりしてもよい。
【００２０】
入力部１１０ａは、情報処理システム１００ａを使用するユーザの操作内容を入力する装置である。図１に示す例では、入力部１１０ａは、テーブル１４０ａの上方に、例えば天井から吊り下げられた状態で設けられる。このように、入力部１１０ａは、情報が表示される対象となるテーブル１４０ａと離隔して設けられる。入力部１１０ａは、テーブル１４０ａの天面、すなわち、表示画面を撮影し得る撮像装置によって構成され得る。入力部１１０ａとしては、例えば１つのレンズでテーブル１４０ａを撮像するカメラや、２つのレンズでテーブル１４０ａを撮像して奥行き方向の情報を記録することが可能なステレオカメラ等が用いられ得る。入力部１１０ａがステレオカメラである場合には、例えば可視光カメラや赤外線カメラ等が用いられ得る。
【００２１】
入力部１１０ａとして、１つのレンズでテーブル１４０ａを撮像するカメラが用いられる場合、情報処理システム１００ａは、そのカメラが撮像した画像（撮像画像）を解析することで、テーブル１４０ａ上に位置する物理的な物体（以下、実オブジェクトとも称する）、例えばユーザの手の位置を検出することができる。また、入力部１１０ａとしてステレオカメラが用いられる場合には、情報処理システム１００ａは、当該ステレオカメラによる撮像画像を解析することで、テーブル１４０ａ上に位置する物体の位置情報に加えて、当該物体の深度情報（換言すると、三次元情報）を取得することができる。情報処理システム１００ａは、当該深度情報に基づいて、高さ方向におけるテーブル１４０ａへのユーザの手の接触若しくは近接、及びテーブル１４０ａからの手の離脱を検出することが可能となる。なお、以下の説明では、ユーザが情報に表示画面に手等の操作体を接触又は近接させることを、まとめて単に「接触」とも称する。
【００２２】
本実施形態では、入力部１１０ａによる撮像画像に基づいて、表示画面上（すなわちテーブル１４０ａの天面上）における操作体、例えばユーザの手の位置が検出され、検出された操作体の位置に基づいて各種の情報が入力される。つまり、ユーザは、表示画面上で操作体を動かすことにより、各種の操作入力を行うことができる。例えば、表示オブジェクトに対するユーザの手の接触が検出されることにより、当該表示オブジェクトに対する操作入力が行われることになる。なお、以下の説明では、一例として、操作体としてユーザの手が用いられる場合について説明するが、本実施形態はかかる例に限定されず、操作体としてはスタイラス等の各種の操作部材が用いられてもよい。
【００２３】
また、入力部１１０ａが撮像装置によって構成される場合には、入力部１１０ａは、テーブル１４０ａの天面を撮影するだけでなく、テーブル１４０ａの周囲に存在するユーザを撮影してもよい。例えば、情報処理システム１００ａは、撮像画像に基づいて、テーブル１４０ａの周囲におけるユーザの位置を検出することができる。また、例えば、情報処理システム１００ａは、撮像画像に含まれるユーザの顔や体の大きさ等、ユーザ個人を特定し得る身体的な特徴を抽出することにより、ユーザの個人認識を行ってもよい。
【００２４】
ここで、本実施形態はかかる例に限定されず、他の方法によりユーザの操作入力が実行されてもよい。例えば、入力部１１０ａがテーブル１４０ａの天面にタッチパネルとして設けられてもよく、ユーザの操作入力は、当該タッチパネルに対するユーザの指等の接触によって検出されてもよい。また、入力部１１０ａを構成する撮像装置に対するジェスチャによってユーザの操作入力が検出されてもよい。あるいは、入力部１１０ａは、ユーザが発する音声や、周囲の環境の環境音を収音するマイクロフォン等の音声入力装置を含んでもよい。当該音声入力装置としては、特定の方向の音声を収音するためのマイクアレイが好適に用いられ得る。また、当該マイクアレイは、その収音方向を任意の方向に調整可能に構成され得る。入力部１１０ａとして音声入力装置が用いられる場合には、収音された音声により操作入力が行われてもよい。また、情報処理システム１００ａは、収音された音声を解析することにより、当該音声に基づいて個人認識を行ってもよい。あるいは、入力部１１０ａは、リモートコントロール装置（いわゆるリモコン）によって構成されてもよい。当該リモコンは、リモコンに配置された所定のボタンを操作することにより、所定の指示が入力されるものであってもよいし、リモコンに搭載される加速度センサやジャイロセンサ等のセンサによってリモコンの動きや姿勢が検出されることにより、ユーザが当該リモコンを動かす操作によって、所定の指示が入力されるものであってもよい。更に、情報処理システム１００ａは、図示しないマウス、キーボード、ボタン、スイッチ及びレバー等、他の入力装置を入力部１１０ａとして備えてもよく、ユーザによる操作は、これらの入力装置を介して入力されてもよい。
【００２５】
以上、図１を参照して、本実施形態に係る情報処理システム１００ａの構成について説明した。なお、図１には図示しないが、情報処理システム１００ａには他の装置が接続されていてもよい。例えば、情報処理システム１００ａには、テーブル１４０ａを照らすための照明機器が接続されていてもよい。情報処理システム１００ａは、表示画面の状態に応じて当該照明機器の点灯状態を制御してもよい。
【００２６】
ここで、本実施形態では、情報処理システムの構成は図１に示すものに限定されない。本実施形態に係る情報処理システムは、各種の情報を表示画面に表示する出力部と、表示された情報に対する操作入力を少なくとも受け付けることが可能な入力部を備えればよく、その具体的な構成は限定されない。図２及び図３を参照して、本実施形態に係る情報処理システムの他の構成例について説明する。図２及び図３は、本実施形態に係る情報処理システムの他の構成例を示す図である。
【００２７】
図２に示す情報処理システム１００ｂでは、テーブル１４０ｂの下方に出力部１３０ａが設けられる。出力部１３０ａは、例えばプロジェクタであり、当該テーブル１４０ｂの天板に向かって下側から情報を投影する。テーブル１４０ｂの天板は、例えばガラス板や透明プラスチック板等の透明な材質で形成されており、出力部１３０ａによって投影された情報は、テーブル１４０ｂの天面に表示されることとなる。このようにテーブル１４０ｂの下から情報を出力部１３０ａに投影して、テーブル１４０ｂの天面に情報を表示する方式を、「リアプロジェクション型」とも称する。
【００２８】
図２に示す例では、テーブル１４０ｂの天面（表面）に入力部１１０ｂが設けられる。入力部１１０ｂは、例えばタッチパネルによって構成され、テーブル１４０ｂの天面の表示画面（表示面）への操作体の接触が当該タッチパネルによって検出されることにより、ユーザによる操作入力が行われる。なお、入力部１１０ｂの構成はかかる例に限定されず、図１に示す情報処理システム１００ａと同様に、入力部１１０ｂは、テーブル１４０ｂの下方にテーブル１４０ｂと離隔して設けられてもよい。この場合、入力部１１０ｂは、例えば撮像装置によって構成され、透明な材質によって形成される天板越しに、テーブル１４０ｂの天面上での操作体の位置を検出し得る。
【００２９】
図３に示す情報処理システム１００ｃでは、タッチパネル式のディスプレイが、その表示画面（表示面）を上方に向けた状態でテーブル上に設置される。情報処理システム１００ｃでは、入力部１１０ｃ及び出力部１３０ｃは、当該タッチパネル式のディスプレイとして一体的に構成され得る。つまり、ディスプレイの表示画面に各種の情報が表示され、当該ディスプレイの表示画面に対する操作体の接触がタッチパネルによって検出されることにより、ユーザによる操作入力が行われる。なお、情報処理システム１００ｃにおいても、図１に示す情報処理システム１００ａと同様に、入力部１１０ｃとして、タッチパネル式のディスプレイの上方に撮像装置が設けられてもよい。当該撮像装置により、テーブルの周囲のユーザの位置等が検出され得る。
【００３０】
以上、図２及び図３を参照して、本実施形態に係る情報処理システムの他の構成例について説明した。以上説明したように、本実施形態に係る情報処理システムは、多様な構成によって実現され得る。ここで、以下では、図１に示す、テーブル１４０ａの上方に入力部１１０ａ及び出力部１３０ａが設けられる情報処理システム１００ａの構成を例に挙げて、本実施形態についての説明を行う。ただし、上述した図２又は図３に示す構成等、本実施形態に係る情報処理システムを実現し得る他の構成であっても、以下に説明する機能と同様の機能を実現することが可能である。以下の説明では、簡単のため、情報処理システム１００ａ、入力部１１０ａ、出力部１３０ａを、単に情報処理システム１００、入力部１１０、出力部１３０とも呼称することとする。
【００３１】
＜＜２．構成＞＞
以下、図４を参照して、以上説明した本実施形態に係る情報処理システム１００を実現し得る機能構成について説明する。図４は、本実施形態に係る情報処理システム１００の機能構成の一例を示すブロック図である。
【００３２】
図４を参照すると、本実施形態に係る情報処理システム１００は、その機能として、入力部１１０、制御部１２０、出力部１３０、および記憶部１５０を含む。
【００３３】
（１）入力部１１０
入力部１１０は、情報処理システム１００に対して各種の情報を入力するための入力インタフェースである。ユーザは、入力部１１０を介して、各種の情報を情報処理システム１００に入力することができる。入力部１１０は、図１〜図３に示す入力部１１０ａ〜１１０ｃに対応するものである。本実施形態では、入力部１１０は、出力部１３０によって表示される表示オブジェクトに対するユーザの操作入力を少なくとも受け付けることができるように構成される。
【００３４】
例えば、入力部１１０は、撮像装置によって構成され、表示画面上のユーザの手、及び表示画面上に位置する物体等を含む撮像画像を撮影する。入力部１１０を介して入力された情報（例えば当該撮像画像についての情報等）は、後述する制御部１２０に提供され、ユーザの操作入力が検出されたり、物体が検出されたりする。撮像装置は、例えば可視光カメラ又は赤外線カメラであってもよい。また、上述したように、入力部１１０は、ステレオカメラ等の深度情報を取得可能な深度センサとしての機能を含む撮像装置として構成されてもよい。他方、深度センサは、time  of  flight方式、又はstructured  light方式等の任意の方式によるセンサとして、撮像装置とは別個に構成されてもよい。また、入力部１１０は、タッチセンサを含んで構成されてもよい。その場合、タッチセンサは表示画面へのタッチを検出する。そして、表示画面上のタッチしていないユーザの手及び表示画面上の物体の検出機能は、深度センサ及び／又は表示画面を上方から撮像する撮像装置により担保されてもよい。
【００３５】
例えば、入力部１１０は、表示画面（表示面）に表示された表示オブジェクト又は実オブジェクトへのタッチ、タップ、ダブルタップ、ドラッグ、フリック、スワイプ等の操作を検出し得る。なお、本明細書において、表示画面（表示面）は、図１〜図３を参照して説明したように、例えば、テーブル１４０ａやテーブル１４０ｂの天面等のスクリーンに相当する平面領域や、タッチパネル式のディスプレイ等、出力部１３０によって情報が表示される領域全体のことである。また、入力部１１０は、表示画面に表示された表示オブジェクト又は実オブジェクトの上空に手をかざす操作も検出し得る。このような操作を、ホバーとも称する。ホバーの検出は、表示オブジェクト又は実オブジェクトに対してユーザが操作しようとする意図を、実際に操作される前に（例えば、タップされる前に）検出するために有効である。また、入力部１１０は、表示面の非表示オブジェクト領域、すなわち、表示面において表示オブジェクトが表示されていない領域へのタッチ、タップ、ダブルタップ、ドラッグ、フリック、スワイプ等の操作も検出し得る。
【００３６】
（２）制御部１２０
制御部１２０は、例えばＣＰＵ又はＤＳＰ等の各種のプロセッサによって構成され、各種の演算処理を実行することにより、情報処理システム１００の動作を制御する。例えば、制御部１２０は、記憶部１５０又は他の記憶装置に記憶されるプログラムに従って動作する。制御部１２０は、各種の情報を処理する情報処理装置とみなすことができる。図示するように、制御部１２０は、その機能として、ユーザ認識部１２１、複数ユーザ操作検出部１２３、及び表示制御部１２５を含む。なお、制御部１２０は、これらの機能以外の機能を有していてもよい。また、制御部１２０の各機能は、制御部１２０を構成するプロセッサが所定のプログラムに従って動作することにより実現される。
【００３７】
（２−１）ユーザ認識部１２１
ユーザ認識部１２１は、本システムを利用するユーザ、すなわち表示オブジェクトが表示される表示面（具体的には、図１に示すテーブル１４０ａ、図２に示すテーブル１４０ｂ、図３に示す入力部１１０ｃ及び出力部１３０ｃにより構成されるタッチパネル式のディスプレイ）周辺に存在する１以上のユーザを認識する。例えば、ユーザ認識部１２１は、入力部１１０により撮影された撮像画像を解析し、ユーザの位置および人数を把握する。
【００３８】
また、ユーザ認識部１２１は、登録された顔画像と照合して顔解析を行い、登録ユーザであるか否かを認識することも可能である。また、ユーザ認識部１２１は、ユーザが立っているか座っているか等、ユーザの状態を認識することも可能である。
【００３９】
（２−２）複数ユーザ操作検出部１２３
複数ユーザ操作検出部１２３は、複数ユーザが操作タイミングを合わせて行った所定の操作（すなわち、複数ユーザが協力して行った協働操作）を検出する。所定の操作とは、例えば表示面における非表示オブジェクト領域（表示オブジェクトが表示されていない表示面領域）へのタッチ、タップ、ダブルタップ、フリック等の操作が想定される。表示面に表示された表示オブジェクト又は実オブジェクトへのタッチ、タップ、ダブルタップ等の操作等に関しては、各ユーザの個々の操作として認識され、個々のインタラクションが発生する。
【００４０】
また、「操作タイミングを合わせて」とは、略同時に行うことを意味する。例えば、一のユーザにより所定操作が行われてから一定時間内の他ユーザによる所定操作（最初の所定操作が開始されてから一定時間内のディレイで入ってきた他の所定操作）を、同時に行われた操作として認識してもよい。若しくは、ユーザによる所定の掛け声をトリガとして、入力部１１０に含まれる音声入力装置により当該掛け声が検出されてから一定時間内に行われた操作を、同時に行われた操作として認識してもよい。
【００４１】
複数ユーザ操作検出部１２３は、このように複数ユーザが同時に行った操作であって、かつ、その操作が全て同じである場合に、複数ユーザによる同時操作として検出する。複数ユーザ操作検出部１２３は、操作タイミングが同時でなかった場合や、同時であっても全員の操作が同じでなかった場合、また、全員による操作でなかった場合は、失敗とみなす。ここで、「全員」とは、基本的には、ユーザ認識部１２１により認識された、表示面周辺に存在する全てのユーザを想定するが、より詳細については後述する。
【００４２】
複数ユーザ操作検出部１２３は、検出結果を表示制御部１２５に出力する。
【００４３】
（２−３）表示制御部１２５
表示制御部１２５は、表示画面における表示を制御する機能を有する。
【００４４】
例えば、表示制御部１２５は、表示画面に情報を表示させるための表示情報を生成して、生成した表示情報を出力部１３０へ出力することで、出力部１３０に情報を出力させる。このように、情報処理システム１００が表示制御部１２５による制御に基づいて情報を表示することを、単に情報処理システム１００が情報を表示する、又は表示制御部１２５が情報を表示するとも称する。表示制御部１２５による制御は多様に考えられる。
【００４５】
例えば、表示制御部１２５は、ユーザ入力に対するアプリケーションからのインタラクションを示す表示オブジェクトの表示を制御してもよい。その場合、表示制御部１２５は、アプリケーションを表示するマルチコンテンツの描画制御、及び各コンテンツに対してタッチなどのイベント配信を行う、一般的なＯＳの制御レイヤーとして機能し得る。
【００４６】
また、本実施形態による表示制御部１２５は、ユーザ全員がタイミングを合わせて同時に行った同じ所定の操作に応じて、表示されている全ての画像に対し一のフィードバックを出力するインタラクションも行い得る。詳細については後述するが、例えば表示面に表示されている画像（全ての表示オブジェクトや背景画像）を表示面の中心を軸として回転させたり、全ての表示オブジェクトを浮き上がらせたり、全ての表示オブジェクトを非表示にしたり（消去したり）等の表示制御を行う。本実施形態では、このような表示面に表示されている全ての表示画像へのフィードバックを、個々のユーザ操作ではなく、全ユーザが合意して行った全員による同時操作に応じて実行する。全ての表示オブジェクトに作用するフィードバックは全ユーザに影響するが、本実施形態では、全員による同時操作に応じて実行するため、誰か一人のユーザによる勝手な操作で作業が中断させられたり邪魔されたりといったことを回避することができる。また、全員による簡易な操作で、全表示オブジェクトを操作することができるため、作業スピードや操作効率の向上が図れる。
【００４７】
ここで、「ユーザ全員」とは、基本的には、ユーザ認識部１２１により認識された、表示面周辺に存在する全てのユーザを想定する。具体的には、例えばユーザ認識部１２１により認識されたユーザ全員（表示面周辺を撮像した撮像画像または音声情報等に基づいて認識された全ての人物）、表示画面（具体的に、図１に示すテーブル１４０ａ、図２に示すテーブル１４０ｂ、図３に示す入力部１１０ｃ及び出力部１３０ｃにより構成されるタッチパネル式のディスプレイ）周辺に位置するユーザ全員であってもよい。または、表示面に対してタッチ等の操作を行っている全てのユーザ（より具体的には、同時操作が検出された時刻の所定時間前から操作を行っていたユーザ全員）であってもよい。
【００４８】
また、情報処理システム１００の利用形態として、操作を行っているユーザの周りに閲覧しているだけのユーザが存在することも想定される。この場合、複数ユーザ操作検出部１２３は、操作ユーザ（オペレータ）と閲覧ユーザ（オーディエンス）を区別し、操作ユーザ全員の同時操作を検出するようにしてもよい。
【００４９】
操作ユーザと閲覧ユーザの区別は、例えば顔画像等が登録済みの所定のユーザであるか否か、表示面の近く（表示面に手が届くと推定される所定の範囲内）に居るか否か、座っているか否か等に基づいて判断してもよい。
【００５０】
（３）出力部１３０
出力部１３０は、情報処理システム１００によって処理される各種の情報をユーザに対して通知するための出力インタフェースである。出力部１３０は、例えば、ディスプレイ、タッチパネル又はプロジェクタ等の表示装置によって構成され、表示制御部１２５からの制御により、表示画面に各種の情報を表示する。出力部１３０は、図１〜図３に示す出力部１３０ａ〜１３０ｃに対応するものであり、上述したように、表示画面に表示オブジェクトを表示する。なお、本実施形態はかかる例に限定されず、出力部１３０は、スピーカ等の音声出力装置を更に含んでもよく、各種の情報を音声として出力してもよい。
【００５１】
（４）記憶部１５０
記憶部１５０は、例えばＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等の各種の記憶装置によって構成され、情報処理システム１００によって処理される各種の情報を記憶する。
【００５２】
以上、本実施形態による情報処理システム１００の構成について具体的に説明した。なお、上述したように、本明細書において、システムとは、所定の処理を実行するための構成のことを意味していてよく、システム全体として１つの装置とみなすこともできるし、複数の装置によってシステムが構成されているとみなすこともできる。すなわち、図４に示す情報処理システム１００の構成が、１つの装置で行われてもよいし、複数の装置によって行われてもよい。
【００５３】
また、情報処理システム１００の構成が複数の装置により実現される場合、情報処理システム１００を構成する各装置は、有線／無線により接続され、データの出入力が適宜行われ得る。また、データの出入力は、インターネットを介して行われてもよい。また、制御部１２０および記憶部１５０は、例えばネットワーク上の１または複数のサーバに設けられてもよい。または、制御部１２０および記憶部１５０は、ネットワーク上のサーバと、当該サーバよりも入力部１１０および出力部１３０に通信距離が比較的近い中間サーバやエッジサーバとに設けられていてもよい。各構成を適宜分散することで、処理負担の軽減、リアルタイム性の向上、さらにはセキュリティを担保することが可能もなる。
【００５４】
＜＜３．動作処理＞＞
続いて、本実施形態による情報処理システムの動作処理について、図５を用いて具体的に説明する。図５は、本実施形態に係る情報処理システム１００により実行される情報処理の流れの一例を示すフローチャートである。
【００５５】
図５に示すように、まず、情報処理システム１００は、表示面の形状を特定する（ステップＳ１０３）。情報処理システム１００は、入力部１１０から取得した撮像画像、または設定情報等に基づいて、表示面の形状を特定し得る。
【００５６】
次に、情報処理システム１００は、ユーザ認識部１２１により表示面周辺のユーザを認識する（ステップＳ１０６）。具体的には、ユーザ認識部１２１は、ユーザの人数や配置を認識する。
【００５７】
次いで、情報処理システム１００は、新たなユーザを特定する（ステップＳ１０９）。例えば、情報処理システム１００は、入力部１１０により入力された撮像画像、音声情報、または操作情報に基づいて、表示面周辺に存在する新たなユーザを特定する。情報処理システム１００は、常に表示面周辺のユーザ認識を行い、ユーザの人数や配置の変化を認識する。
【００５８】
次に、新たなユーザを特定した場合（ステップＳ１０９／Ｙｅｓ）、情報処理システム１００は、ユーザを特定したことを通知する（ステップＳ１１２）。通知方法は特に限定しないが、出力部１３０から画像表示または音声出力等により、新たなユーザを特定したことを通知し得る。これにより、ユーザは、システム側に認識されたことを把握することができる。
【００５９】
次いで、情報処理システム１００は、本システムを利用する総ユーザ（すなわち、操作を行うユーザ）が１人であるか、または複数であるかを判断する（ステップＳ１１５）。情報処理システム１００は、表示面周辺に１人のユーザしか存在しない場合は総ユーザは１人と判断し、複数のユーザが存在する場合は複数と判断する。また、ここで判断する総ユーザは、上述したように操作ユーザと閲覧ユーザとが区別できる場合であれば、操作ユーザのみを対象としてもよい。
【００６０】
次に、総ユーザが１人の場合、情報処理システム１００は、１人向けのインタラクションを起こす動作モードに移行する（ステップＳ１１８）。
【００６１】
一方、総ユーザが複数の場合、情報処理システム１００は、複数人向けのインタラクションを起こす動作モードに移行する（ステップＳ１２１）。複数人向けの動作モードでは、全ユーザにより同時に行われる所定の操作を検出し、全ての表示オブジェクトに対する所定の表示制御を行う。なお、複数人向けの動作モードであっても、表示オブジェクトまたは実オブジェクトに対する各ユーザの個々のインタラクションに関しては、個々に認識し、対応する表示制御を行い得る。
【００６２】
以上、本実施形態による動作処理の一例を説明した。なお図５に示す動作処理は一例であって、本開示は図５に示す例に限定されない。例えば、本開示は、図５に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。例えば、ステップＳ１０３の処理とステップＳ１０６〜Ｓ１２１の処理は並列に処理されてもよいし、逆の順番で処理されてもよい。
【００６３】
また、図５に示す全ての処理が必ずしも実行されてなくともよい。例えば、ステップＳ１１２に示す通知処理がスキップされてもよい。
【００６４】
図５に示す各処理が必ずしも時間的に順次行われなくともよい。例えば、ステップＳ１０３に示す処理がシステム起動時に行われ、ステップＳ１０６〜Ｓ１１５が所定時間毎に行われ、総ユーザが複数から１人に変化した場合にステップＳ１１８が行われ、総ユーザが１人から複数に変化した場合にステップＳ１２１が行われるようにしてもよい。
【００６５】
また、情報処理システム１００は、ステップＳ１１５〜ステップＳ１２１に示す動作モードの移行といった制御を行わず、常に、１以上の各ユーザの個々のインタラクションを認識して表示制御を行うと共に、全ユーザによる同時操作を検出した場合には、全ての表示オブジェクトに対する所定の表示制御を行うようにしてもよい。
【００６６】
＜＜４．具体例＞＞
以下では、本実施形態に係る情報処理システム１００の適用例を具体的に説明する。
【００６７】
＜４−１．第１の具体例＞
本具体例は、全員が同時に同じ操作を行った場合の例である。以下、図６〜図１１を参照しながら説明する。
【００６８】
図６は、本実施形態に係る情報処理システムにより実行される第１の具体例による動作処理の一例を示すフローチャートである。
【００６９】
図６に示すように、まず、情報処理システム１００は、各ユーザの操作を検出する（ステップＳ２１３）。
【００７０】
次に、情報処理システム１００は、全員が同時に同じ操作を行ったか否かを判断する（ステップＳ２１６）。
【００７１】
次いで、全員が同時に同じ操作を行ったと判断された場合（ステップＳ２１６／Ｙｅｓ）、情報処理システム１００は、所定の同時操作に対応する１のインタラクションを発生させる（ステップＳ２１９）。
【００７２】
一方、全員が同時に同じ操作を行っていない場合（ステップＳ２１６／Ｎｏ）、情報処理システム１００は、各ユーザの操作に対応するインタラクションを個々に発生させる（ステップＳ２２１）。
【００７３】
（同時操作に対応するインタラクション例）
ここで、全ユーザにより行われる同時操作に応じたインタラクション例について説明する。
【００７４】
図７は、第１の具体例における全ユーザにより行われる同時操作の一例について説明する図である。ここでは、図７に示すように、テーブル１４０を、ユーザＡ、ユーザＢ、ユーザＣ、およびユーザＤが取り囲み、これら４人のユーザがシステム側に認識されている場合を想定する。
【００７５】
テーブル１４０には、表示画像として、多数の表示オブジェクト２０（２０ａ〜２０ｋ）と、背景画像３０とが表示されている。各ユーザは、各表示オブジェクト２０に対して、個々にタッチ、タップ、ダブルタップ、ドラッグ、フリック、スワイプ等の操作を行うことができる。
【００７６】
ここで、同時操作の一例として、例えば図７に示すようにユーザ全員がテーブル１４０上で同時に各ユーザから見て同方向へのフリック操作を行うことで、図８に示すように、表示面（テーブル１４０）の全ての表示画像（表示オブジェクト２０および背景画像３０）を、表示面の中心を軸としてフリック操作の方向に９０度回転させることができる。これにより、テーブルゲームなどで手元の全ての表示オブジェクトを隣のユーザに渡す必要がある場合等、一つ一つの表示オブジェクトを操作する必要なく、全てを一括操作で移動することができ、作業スピードや作業効率が向上する。また、このような全ての表示オブジェクトの移動という全ユーザに影響のある表示制御を、全員の同時操作により行うようにすることで、全員の合意を得ずに一人で勝手に操作してしまうことを防止することができる。なおここでは、情報処理システム１００は各ユーザから見て同方向へのフリック操作を回転のトリガとなる操作として検出しているが、フリック操作の代わりにドラッグ操作や、スワイプ操作を検出してもよい。また情報処理システム１００は、フリック操作以外に各ユーザから見て同方向へ円弧を描くようなタッチ操作（例えば各ユーザが時計回りに円弧を描くタッチ操作）を検出してもよい。
【００７７】
なお、図７に示すフリック操作は、テーブル１４０上の、より具体的には、非表示オブジェクト領域３５における操作の場合に有効になるよう処理してもよい。また、ここでは一例として背景画像３０が表示され、表示オブジェクト２０と共に回転しているが、設定によっては背景画像３０は回転しないようにしてもよい。
【００７８】
また、かかる同時操作に対応する回転インタラクションは、テーブル１４０（表示面）の形状が正円、または正方形等の正偶数角形に準ずる形状の際にのみ発生するようにしてもよい。
【００７９】
また、情報処理システム１００は、回転後の表示面の縦横比をテーブル１４０の形状に合わせて適宜制御（拡大、縮小）し、表示画像がテーブル１４０の範囲内に表示されるようにしてもよい。また、情報処理システム１００は、表示オブジェクトの配置を多少変更し（中央に寄せる等）、全ての表示オブジェクトがテーブル１４０の範囲内に表示されるようにしてもよい。
【００８０】
また、回転角度は９０度に限定されず、テーブル１４０（表示面）の形状やユーザの配置等に応じて適宜設定され得る。
【００８１】
例えば、図９左に示すように、正方形のテーブル１４０においてユーザ２人が対面に位置している場合、情報処理システム１００は、両ユーザが同時にフリック操作した場合に、図９右に示すように、フリック操作した方向に表示画像（表示オブジェクト２０および背景画像３０）を１８０度回転させる表示制御を行う。これにより、各ユーザの手元にあった表示オブジェクトを相手側に渡すことが可能となる。
【００８２】
また、情報処理システム１００は、全員の操作が揃わなかった場合や、全員で操作が行われなかった場合は、同時操作の失敗とみなし、上述したような表示画像の回転制御を行わないようにする。この場合、情報処理システム１００は、例えば図１０に示すように、表示画像を回転しかけて戻すといった表示制御を行ってもよい。
【００８３】
図１０は、第１の具体例における同時操作が失敗した際の表示制御の一例を示す図である。図１０左に示すように、テーブル１４０を４人のユーザが取り囲んでいる際に、ユーザＡ、ユーザＢ、およびユーザＣが同時にフリック操作を行ったが、ユーザＤは行わなかった場合、図１０右上および図１０右下に示すように、表示画像（表示オブジェクト２０および背景画像３０）をフリック操作方向に一度少し回転させてから戻すアニメーション表示を行うようにしてもよい。これにより、協力が足りずに回転出来なかったことをユーザに直感的に伝えることが可能となる。
【００８４】
以上、ユーザ全員が行う同じ同時操作の一例としてフリック操作を示し、また、対応するインタラクションとして表示画像の回転について説明した。なお、同時操作および対応するインタラクションは、当然、上述した例に限定されず、他の操作により表示画像の回転制御を行ってもよいし、他のインタラクションを行ってもよい。例えば、両手の手のひらでテーブルを叩く、片手の手のひらで同じタイミングで２回叩く等の操作であってもよい。以下、図１１を参照して他の例について具体的に説明する。
【００８５】
図１１は、第１の具体例における他の同時操作に応じたインタラクションの一例について説明する図である。例えば図１１左に示すように、テーブル１４０を４人のユーザが取り囲んだ状態において、テーブル１４０上に表示オブジェクト２０（２０ａ〜２０ｈ）が表示されている。この場合に、全ユーザが同時に両手でテーブル１４０を叩く操作を行うと、情報処理システム１００は、全ての表示オブジェクト２０に対して作用するインタラクションを発生させたあと（例えば一度浮き上がらせる、揺らす等）、図１１右に示すように、全ての表示オブジェクト２０を消去してもよい。
【００８６】
複数人がテーブル１４０で作業をしている場合、多くの表示オブジェクトが表示される場合がある。この際、全てを消去したい場合、一つ一つ消す操作を行うと時間がかかってしまう。そこで、図１１に示すように、同時操作により発生するインタラクションとして、表示オブジェクトの一掃を行えるようにすることで、ユーザの作業スピードや効率を向上させることができる。また、表示オブジェクトの一斉消去は誤操作の際のリスクが大きいが、本実施形態ではユーザ全員による同時の同じ操作を条件とし、ユーザ全員の同意がない限り実現できないため、誰か一人による誤操作を防ぐ、簡便かつ効率的な方法と言える。
【００８７】
＜４−２．第２の具体例＞
以上、複数ユーザによる同時操作について説明したが、本実施形態による情報処理システム１００は、一人のユーザが操作している場合にも、全ての表示オブジェクトに作用する表示制御を行うことで、表示オブジェクトを識別できるようにすることが可能である。
【００８８】
表示画像の品質が向上すると、本システムを使用している際、テーブルに置かれた実物体（実オブジェクト）と表示オブジェクトとの区別がつかなくなる場合がある。そこで、本実施形態では、単純な操作により全ての表示オブジェクトに作用する表示制御を行うことで、表示オブジェクトであるのか実オブジェクトであるのかを、実際に対象物に触れることなくユーザに直感的に把握させることが可能となる。特に多数の対象物がテーブルの上に散在している場合は、１つ１つ確かめるのに時間がかかるため、本実施形態による表示制御により作業スピードや効率が向上する。
【００８９】
以下、図１２〜図１４を参照して具体的に説明する。
【００９０】
図１２は、第２の具体例による動作処理の一例を示すフローチャートである。図１２に示すように、まず、情報処理システム１００は、各ユーザの操作を検出する（ステップＳ２３３）。
【００９１】
次に、情報処理システム１００は、両手でテーブル（表示面）を叩く操作が認識された場合（ステップＳ２１６／Ｙｅｓ）、叩いた音の大きさも認識し（ステップＳ２３９）、全ての表示オブジェクトに作用する１のインタラクションを発生させる（ステップＳ２４２）。インタラクションとしては、例えば全ての表示オブジェクトが一度浮き上がる表現、揺らす表現、または波紋をユーザの手元から発生させ、表示オブジェクトを上下させる（揺らす）表現等が想定される。
【００９２】
また、情報処理システム１００は、音の大きさに応じて表示オブジェクトに作用するインタラクションの強度を制御してもよい。例えば、音が大きさに応じて表示オブジェクトの揺れの大きさを制御してもよい。ここでは一例として音の大きさをセンシングする例を示しているが、本実施形態はこれに限定されず、例えば入力部１１０は、深度情報を取得可能な深度センサとしての機能も含み得る。これにより、テーブル上でのユーザの手の動きや速さをセンシングすることも可能であり、情報処理システム１００は、テーブルを叩くユーザの手の動きや速さに応じて、表示オブジェクトに作用するインタラクションの強度を制御してもよい。
【００９３】
一方、両手でテーブルを叩く操作ではなかった場合（ステップＳ２１６／Ｎｏ）、情報処理システム１００は、各操作に対応するインタラクションを個々に（個々の表示オブジェクトに）発生させる（ステップＳ２４５）。具体的には、個々の表示オブジェクトの移動、拡大／縮小、削除等の通常のインタラクションである。
【００９４】
（インタラクション例）
ここで、図１３に、波紋を発生させるインタラクションを示す。図１３は、第２の具体例による全ての表示オブジェクトに作用する波紋表現の一例を示す図である。
【００９５】
図１３左に示すように、例えばテーブル１４０の周辺に１人のユーザＡがいて操作を行っており、テーブル１４０上には表示オブジェクト２０と背景画像３０が表示され、さらに実オブジェクト４０（４０ａ、４０ｂ、４０ｃ）が置かれている。
【００９６】
この場合に、図１３右に示すように、ユーザＡが両手でテーブル１４０を叩くと、ユーザＡの手元から波紋表示５０（アニメーション）が発生し、全ての表示オブジェクト２０と背景画像３０が波紋表示５０により揺れるインタラクションが発生する。この際、実オブジェクト４０ａ〜４０ｃは動かないため、ユーザＡは、表示オブジェクト２０と実オブジェクト４０とを直感的に区別することが可能となる。
【００９７】
また、システム側では、実オブジェクトの存在も把握しているため、実オブジェクトにも作用するインタラクションを発生させることも可能である。図１４は、第２の具体例による全ての表示オブジェクトと実オブジェクトに作用する水が流れる表現の一例を示す図である。
【００９８】
図１４左に示すように、例えばテーブル１４０の周辺に１人のユーザＡがいて操作を行っており、テーブル１４０上には表示オブジェクト２０と背景画像３０が表示され、さらに実オブジェクト４０（４０ａ、４０ｂ、４０ｃ）が置かれている。
【００９９】
この場合に、図１４右に示すように、ユーザＡが両手でテーブル１４０を叩くと、ユーザＡの手元から水流表示５２（アニメーション）が発生し、全ての表示オブジェクト２０と背景画像３０が揺れる。また、実オブジェクト４０ａ〜４０ｃは動かずに、水流表示５２における水の流れのアニメーションが実オブジェクト４０ａ〜４０ｃを避けるため、ユーザＡは、より明確に、表示オブジェクト２０と実オブジェクト４０とを直感的に区別することができる。
【０１００】
以上、第２の具体例について説明した。なお、本具体例によるインタラクションは、複数ユーザが全員で同じタイミングでテーブル１４０を両手で叩く等の所定の同時操作を行った場合に発生させるようにしてもよい。
【０１０１】
＜４−３．第３の具体例＞
続いて、第３の具体例について図１５〜図１９を参照して説明する。本実施形態による情報処理システム１００は、音楽ゲーム等において、複数ユーザによる同時操作のタイミングが音楽のリズムに合っていた場合に特定のインタラクションを発生させる。これにより、音楽体験の楽しさを提供することが可能となる。
【０１０２】
図１５は、第３の具体例による動作処理の一例を示すフローチャートである。図１５に示すように、まず、情報処理システム１００は、各ユーザの操作を検出する（ステップＳ３０３）。
【０１０３】
次に、タイミングを取るための音が再生されている場合（ステップＳ３０６／Ｙｅｓ）、情報処理システム１００は、全員が音に合わせて同時にテーブルを叩いたか否かを判断する（ステップＳ３０９）。情報処理システム１００は、例えば音楽ゲーム等において、出力部１３０から音楽を再生すると共に、入力部１１０から入力された撮像画像等に基づいて各ユーザの操作を検出し、制御部１２０により、所定の音のタイミングと同時にテーブルを叩く等の所定の操作をユーザ全員が行った否かを判断する。
【０１０４】
次いで、全員が音に合わせて同時にテーブルを叩いたと判断された場合（ステップＳ３０９／Ｙｅｓ）、情報処理システム１００は、再生している音のリズムに同期した所定のインタラクションを発生させる（ステップＳ３１２）。インタラクション例については図１７を参照して後述する。
【０１０５】
一方、全員が音に合わせて同時にテーブルを叩いていない（すなわち失敗）と判断された場合（ステップＳ３０９／Ｎｏ）、情報処理システム１００は、失敗したことを全ユーザにフィードバックするインタラクションを発生させる（ステップＳ３１５）。フィードバック例については、図１９を参照して後述する。なお、一例として失敗したことを全ユーザにフィードバックするインタラクションを発生させる旨を説明したが、本実施形態はこれに限定されず、失敗した場合には何らインタラクションを起こさないようにしてもよい。
【０１０６】
また、検出したユーザ操作が、両手でテーブルを叩く操作ではなかった場合（ステップＳ３０６／Ｎｏ）、情報処理システム１００は、各操作に対応するインタラクションを個々に（個々の表示オブジェクトに）発生させる（ステップＳ３１８）。具体的には、個々の表示オブジェクトの移動、拡大／縮小、削除等の通常のインタラクションである。
【０１０７】
（インタラクション例）
ここで、図１６〜図１９を参照して、音楽再生時のインタラクションの一例について説明する。図１６は、音楽体験時にテーブル１４０に表示される画面の一例を示す図である。
【０１０８】
図１６に示すように、例えばテーブル１４０には、フィードバック表示領域６０と、操作部６１と、タイミングガイド６２とが表示されている。フィードバック表示領域６０では、ユーザ操作に応じて様々なフィードバックが表示される。操作部６１は、ユーザがテーブル１４０を叩く場所を示す表示である。タイミングガイド６２は、リズムを取るタイミングをユーザに明示する表示であって、例えば音楽に合わせて目印が左から右へ流れ、目印が所定の場所に到達した際に叩くようにしてもよい。図１６に示す表示例やレイアウトは一例であって、本実施形態はこれに限定されない。例えば、操作部６１がなくてもよいし、フィードバック表示領域６０は表示面全体であってもよい。
【０１０９】
図１７は、第３の具体例による全ユーザにより行われる同時操作に応じたインタラクションの一例を示す図である。図１７左に示すように、例えばテーブル１４０をユーザＡ、ユーザＢ、ユーザＣ、およびユーザＤが取り囲んでいる際に、図１７右に示すように、再生されている音のリズムに合わせて全ユーザが両手で同時に操作部６１を叩く操作を行うと、フィードバック表示領域６０内に表示された多数のボールが動き出したり、動く速度が速まる表示制御が行われる。これにより、全員で叩くリズムの精度の正しさや、同席しているユーザの一体感を盛り上げることが可能となる。
【０１１０】
なお、図１７に示すユーザ操作と対応するインタラクションは一例であって、本実施形態はこれに限定されない。また、ユーザ操作に対応するインタラクションは、操作部６１に反映させてもよい。以下、図１８を参照して説明する。
【０１１１】
図１８は、テーブル１４０に表示される操作部６１におけるインタラクションの一例を示す図である。例えば「通常状態」では、図１８の表示６１１に示すように二重丸で示す。この状態では、叩く等しても何もインタラクションは生じない。また、叩くと何かしらの反応がある状態である「待機状態」の場合は、図１８の表示６１２に示すように、色付きの二重丸で示してもよい。
【０１１２】
また、叩く操作が成功した場合（リズムに合わせて正しく叩けた場合）、図１８の表示６１３に示すように、波紋が広がるインタラクションを表示し、システムが成功とみなしたことをユーザに通知してもよい。一方、叩く操作が失敗した場合（リズムに合わせて正しく叩けなかった場合）、図１８の表示６１４に示すように、二重丸の表示が左右に揺れるインタラクションを表示し、システムが失敗とみなしたことをユーザに通知してもよい。
【０１１３】
また、図１８の表示６１５に示すように、片側が成功、片側が失敗、のように、復号状態を示すことも可能である。これによりユーザはどちらの手がタイミングに合わなかったのかを把握することができる。
【０１１４】
図１９は、本具体例による全ユーザにより行われる同時操作が失敗した際のフィードバックの一例を示す図である。図１９左に示すように、例えばテーブル１４０をユーザＡ、ユーザＢ、ユーザＣ、およびユーザＤが取り囲み、音楽に合わせて全員でテーブル１４０を両手で叩く操作を行う際に、ユーザＤだけが音楽とタイミングがずれた場合、情報処理システム１００は「失敗」とみなす。この時、図１９右に示すように、誰のタイミングが合っていなかったのを、マル、バツ等の表示でユーザにフィードバックしてもよい。図１９右に示す例では、タイミングが合っていたユーザＡ、ユーザＢ、およびユーザＤの手元には、マル表示６３ａ、６３ｂ、６３ｄが表示され、タイミングが合っていなかったユーザＣの手元には、バツ表示６３ｃが表示されている。
【０１１５】
若しくは、情報処理システム１００は、タイミングが合っていなかったユーザの手元だけ特定の色で（例えば赤など）表示するようにしてもよい。
【０１１６】
以上、音楽に合わせて所定のタイミングで全員で同じ操作を行った場合のインタラクションの一例について説明した。なお、本具体例による表示画面例は、図１６に示す例に限定されず、例えばテーブル１４０上で多数の表示オブジェクトを表示させた状態で多数のユーザが作業している際に流れている音楽のリズムに合わせて全員が所定の同じ操作を同じタイミングで行った場合に、情報処理システム１００は、全ての表示オブジェクトに作用する何らかのインタラクションを発生させてもよい。
【０１１７】
また、本具体例によるインタラクションは、ユーザが一人の場合でも発生するようにしてもよい。
【０１１８】
また、以上説明した第１〜第３の具体例を適宜組み合わせた実施例も当然に本開示の範囲に含まれる。例えば、第１の具体例において、全員の操作タイミングが合わず、情報処理システム側が失敗とみなした場合に、第２の具体例において図１９を参照して説明したような、失敗とみなしたことをユーザにフィードバックするインタラクションを発生させてもよい。
【０１１９】
＜＜５．ハードウェア構成例＞＞
最後に、図２０を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図２０は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図２０に示す情報処理装置９００は、例えば、図１〜図４に示した情報処理システム１００を実現し得る。本実施形態に係る情報処理システム１００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
【０１２０】
図２０に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、電気回路、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
【０１２１】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図４に示す制御部１２０を形成し得る。例えば、ＣＰＵ９０１は、入力装置９０６から入力された情報に基づいて、全ユーザによる同じタイミングでの同じ所定操作を検出した場合、全ての表示オブジェクトに作用する１のインタラクションを発生させるよう出力装置９０７を制御する。
【０１２２】
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【０１２３】
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。他にも、入力装置９０６は、ユーザに関する情報を検知する装置により形成され得る。例えば、入力装置９０６は、画像センサ（例えば、カメラ）、深度センサ（例えば、ステレオカメラ）、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含み得る。また、入力装置９０６は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得してもよい。また、入力装置９０６は、ＧＮＳＳ（Global  Navigation  Satellite  System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global  Positioning  System）衛星からのＧＰＳ信号）を受信して装置の緯度、経度及び高度を含む位置情報を測定するＧＮＳＳモジュールを含んでもよい。また、位置情報に関しては、入力装置９０６は、Ｗｉ−Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。入力装置９０６は、例えば、図１〜図４に示す入力部１１０を形成し得る。本実施形態では、入力装置９０６は、ユーザの配置、人数、ユーザ操作、及び表示画面上の実オブジェクトに関する情報を受け付ける。
【０１２４】
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば、図１〜図４に示す出力部１３０を形成し得る。本実施形態では、出力装置９０７は、ＣＰＵ９０１による制御に基づき、全ての表示オブジェクトを回転させる表示や、浮き上がらせる表示等を行う。
【０１２５】
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図４に示す記憶部１５０を形成し得る。
【０１２６】
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
【０１２７】
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
【０１２８】
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
【０１２９】
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【０１３０】
以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１３１】
なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０１３２】
＜＜６．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、複数ユーザによるタイミングを合わせた所定の操作に対して表示画像に特定のフィードバックを与えることが可能となる。
【０１３３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１３４】
例えば、上述した情報処理システム１００に含まれる各構成に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理システム１００に含まれる各構成の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【０１３５】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１３６】
なお、本技術は以下のような構成も取ることができる。
（１）
複数のユーザを認識し、
画像が表示されている表示面に対する各ユーザによる操作を検出し、
前記検出した複数ユーザの操作のタイミングに応じて前記表示面に表示される画像に対するフィードバックを出力する制御を行う制御部を備える、情報処理装置。
（２）
制御部は、前記検出した複数ユーザの操作が全て同じであり、かつ、同時に行われた場合、前記表示面に表示される全ての画像に作用する所定のフィードバックを出力する、前記（１）に記載の情報処理装置。
（３）
前記表示面に表示される全ての画像には、表示オブジェクトおよび背景画像が含まれる、前記（２）に記載の情報処理装置。
（４）
前記操作は、非表示オブジェクト領域への操作である、前記（３）に記載の情報処理装置。
（５）
前記複数ユーザは、前記表示面の周辺に存在する全てのユーザである、前記（２）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記複数ユーザは、前記表示面への操作を行っている全てのユーザである、前記（２）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記複数ユーザは、前記表示面の周辺に存在し、かつ所定の条件を満たす全ての操作ユーザである、前記（２）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記制御部は、前記表示面に表示される全ての画像に作用する所定のフィードバックとして、前記表示面の中心を軸として前記全ての画像を回転させる表示制御を行う、前記（２）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記回転の角度は、前記複数ユーザの人数または配置に応じて変更される、前記（８）に記載の情報処理装置。
（１０）
前記回転の角度は、前記表示面の形状に応じて変更される、前記（８）または（９）に記載の情報処理装置。
（１１）
前記制御部は、前記表示面に表示される全ての画像に作用する所定のフィードバックとして、前記全ての画像を消去する表示制御を行う、前記（２）〜（７）のいずれか１項に記載の情報処理装置。
（１２）
前記制御部は、前記表示面に表示される全ての画像に作用する所定のフィードバックとして、前記全ての画像を一時的に動かす表示制御を行う、前記（２）〜（７）のいずれか１項に記載の情報処理装置。
（１３）
前記制御部は、前記表示面上に水面の波紋が広がりまたは水流を表示し、水面の波紋または水流により前記全ての画像が揺れる表示制御を行う、前記（１２）に記載の情報処理装置。
（１４）
前記制御部は、前記表示面上に広がる水面の波紋または水流が前記表示面に置かれた実オブジェクトを避ける表示制御を行う、前記（１３）に記載の情報処理装置。
（１５）
前記制御部は、前記検出した複数ユーザの操作タイミングが合っていない場合、前記全ての画像を、前記表示面の中心を軸として一旦回転し掛けてから戻す表示制御を行う、前記（２）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）
前記制御部は、前記複数ユーザにより同時に行われる所定の同じ操作が、再生する音楽に対応する所定のタイミングで行われた場合、前記表示面に表示される全ての画像に作用する所定のフィードバックを出力する、前記（２）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）
制御部は、前記複数ユーザのうち少なくとも一人の操作タイミングが前記音楽に対応する所定のタイミングではなかった場合、操作が失敗したと判断し、前記複数のユーザに操作失敗の旨を通知する表示を前記表示面に出力する、前記（１６）に記載の情報処理装置。
（１８）
プロセッサが、
複数のユーザを認識することと、
画像が表示されている表示面に対する各ユーザによる操作を検出することと、
前記検出した複数ユーザの操作のタイミングに応じて前記表示面に表示される画像に対するフィードバックを出力することと、
を含む、情報処理方法。
（１９）
コンピュータを、
複数のユーザを認識し、
画像が表示されている表示面に対する各ユーザによる操作を検出し、
前記検出した複数ユーザの操作のタイミングに応じて前記表示面に表示される画像に対するフィードバックを出力する制御を行う制御部として機能させるための、プログラム。
【符号の説明】
【０１３７】
１００    情報処理システム
１００ａ  情報処理システム
１００ｂ  情報処理システム
１００ｃ  情報処理システム
１１０  入力部
１１０ａ  入力部
１１０ｂ  入力部
１１０ｃ  入力部
１２０  制御部
１２１  ユーザ認識部
１２３  複数ユーザ操作検出部
１２５  表示制御部
１３０  出力部
１３０ａ  出力部
１３０ｂ  出力部
１３０ｃ  出力部
１４０  テーブル
１４０ａ  テーブル
１４０ｂ  テーブル
１５０  記憶部
【図１】
2019058788.tif 000003
【図２】
2019058788.tif 000004
【図３】
2019058788.tif 000005
【図４】
2019058788.tif 000006
【図５】
2019058788.tif 000007
【図６】
2019058788.tif 000008
【図７】
2019058788.tif 000009
【図８】
2019058788.tif 000010
【図９】
2019058788.tif 000011
【図１０】
2019058788.tif 000012
【図１１】
2019058788.tif 000013
【図１２】
2019058788.tif 000014
【図１３】
2019058788.tif 000015
【図１４】
2019058788.tif 000016
【図１５】
2019058788.tif 000017
【図１６】
2019058788.tif 000018
【図１７】
2019058788.tif 000019
【図１８】
2019058788.tif 000020
【図１９】
2019058788.tif 000021
【図２０】
2019058788.tif 000022
【国際調査報告】
2019058788.tif 000023
2019058788.tif 000024