(57)【要約】【課題】操作画像と操作部とが対応付けられる場面において、操作画像と操作部との対応関係をユーザに分かりやすく提示することが可能な、情報処理装置、情報処理方法、およびプログラムを提案する。【解決手段】操作画像を表示画面に表示させる第１表示制御と、前記操作画像と操作部との対応関係を示す第１の表示を、前記操作部に関連する位置に表示させる第２表示制御とを実行する表示制御部、を備える、情報処理装置。【選択図】図１１
2016162132.tif 000002
【特許請求の範囲】
【請求項１】
操作画像を表示画面に表示させる第１表示制御と、
前記操作画像と操作部との対応関係を示す第１の表示を、前記操作部に関連する位置に表示させる第２表示制御とを実行する表示制御部、
を備える、情報処理装置。
【請求項２】
前記表示制御部は、前記第１の表示を前記操作部に関連する位置に投影部に投影させる、請求項１に記載の情報処理装置。
【請求項３】
前記第１の表示は、前記操作部に対応づけられた操作画像の機能に関連するパラメータを含む、請求項２に記載の情報処理装置。
【請求項４】
前記情報処理装置は、さらに、前記操作部に対応づけられた前記操作画像の機能に関連するパラメータの値を、前記操作部に対するユーザの操作に基づいて調整する機能制御部をさらに備える、請求項３に記載の情報処理装置。
【請求項５】
前記表示制御部は、前記機能制御部により前記パラメータの値が調整される度に、調整後のパラメータの値に応じた態様で前記第１の表示を表示させる、請求項４に記載の情報処理装置。
【請求項６】
前記第１の表示は、前記操作部に対応づけられた操作画像の一部を含む、請求項２に記載の情報処理装置。
【請求項７】
前記表示制御部は、さらに、前記操作画像と前記操作部との対応関係を示す第２の表示を前記表示画面における前記操作画像に関連する位置に表示させる、請求項１に記載の情報処理装置。
【請求項８】
前記操作部に関連する位置は、前記操作部の表面である、請求項１に記載の情報処理装置。
【請求項９】
前記操作部の表面には、マーカーが設置されており、
前記マーカーの動きの検出結果に基づいてユーザの操作内容が認識される、請求項８に記載の情報処理装置。
【請求項１０】
前記情報処理装置は、さらに、前記操作部から前記マーカーを検出するマーカー検出部と、
前記操作部に対する前記ユーザの操作が検出され、かつ、前記マーカーが検出されない場合に、前記ユーザに警告を通知する警告部をさらに備える、請求項９に記載の情報処理装置。
【請求項１１】
前記操作部に関連する位置は、前記操作部の近傍である、請求項１に記載の情報処理装置。
【請求項１２】
前記情報処理装置は、前記操作部に対する所定の操作、および前記表示画面に表示される操作画像のユーザによる選択に基づいて、選択された操作画像と前記操作部とを対応づける対応付け部をさらに備える、請求項１に記載の情報処理装置。
【請求項１３】
前記表示画面には、複数の種類の操作画像が表示されており、
前記対応付け部は、前記複数の種類の操作画像の中からユーザにより選択された操作画像と前記操作部とを対応づける、請求項１２に記載の情報処理装置。
【請求項１４】
前記情報処理装置は、前記表示画面を表示する表示部の上にユーザにより前記操作部が配置された場合に、前記操作部が配置された表示領域に表示されている操作画像と前記操作部とを対応づける対応付け部をさらに備える、請求項１に記載の情報処理装置。
【請求項１５】
前記表示制御部は、さらに、前記表示部において前記操作部が配置された表示領域に表示されている画像を前記操作部の上に投影部に投影させる、請求項１４に記載の情報処理装置。
【請求項１６】
前記操作部は複数あり、
前記複数の操作部は、組み合わされた形状を有する、請求項１に記載の情報処理装置。
【請求項１７】
前記操作画像は、前記操作画像に対応する機能を調整するための画像である、請求項１に記載の情報処理装置。
【請求項１８】
前記情報処理装置は、前記対応付け部による対応付けを示す対応情報を前記表示画面に対応づけて記憶部に格納するデータ管理部をさらに備える、請求項１に記載の情報処理装置。
【請求項１９】
操作画像を表示画面に表示させる第１表示制御と、
前記操作画像と操作部との対応関係を示す第１の表示を、前記操作部に関連する位置に表示させる第２表示制御とを実行すること、
を備える、情報処理方法。
【請求項２０】
コンピュータを、
操作画像を表示画面に表示させる第１表示制御と、
前記操作画像と操作部との対応関係を示す第１の表示を、前記操作部に関連する位置に表示させる第２表示制御とを実行する表示制御部、
として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、例えばＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）などの情報処理装置を直感的に操作可能とすることを目的として、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）に関する研究が行われている。このＧＵＩでは、例えば、ユーザは表示画面に表示されているアイコンなどのオブジェクトをポインティングデバイスを用いて選択することにより、選択したオブジェクトに対応する処理をコンピュータに実行させることができる。
【０００３】
例えば、特許文献１または特許文献２には、テーブル表面上において、デジタルオブジェクトに対応づけられたデバイスの近くに当該デジタルオブジェクトを表示する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２０９３８４号公報
【特許文献２】特開２０１４−２０９３８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１または特許文献２に記載の技術では、デジタルオブジェクトとデバイスとの対応関係をユーザが理解し辛い場合がある。例えば、上記の技術では、デバイスの近くにデジタルオブジェクトのみを表示する。このため、例えば、複数のデバイスが狭い範囲内に位置する場合には、表示されている各デジタルオブジェクトがいずれのデバイスに対応付けられているかをユーザが理解し辛い。
【０００６】
そこで、本開示では、操作画像と操作部とが対応付けられる場面において、操作画像と操作部との対応関係をユーザに分かりやすく提示することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本開示のある観点によれば、操作画像を表示画面に表示させる第１表示制御と、前記操作画像と操作部との対応関係を示す第１の表示を、前記操作部に関連する位置に表示させる第２表示制御とを実行する表示制御部、を備える、情報処理装置が提供される。
【０００８】
また、上記課題を解決するために、本開示の別の観点によれば、操作画像を表示画面に表示させる第１表示制御と、前記操作画像と操作部との対応関係を示す第１の表示を、前記操作部に関連する位置に表示させる第２表示制御とを実行すること、を備える、情報処理方法が提供される。
【０００９】
また、上記課題を解決するために、本開示の別の観点によれば、コンピュータを、操作画像を表示画面に表示させる第１表示制御と、前記操作画像と操作部との対応関係を示す第１の表示を、前記操作部に関連する位置に表示させる第２表示制御とを実行する表示制御部、として機能させるための、プログラムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、操作画像と操作部とが対応付けられる場面において、操作画像と操作部との対応関係をユーザに分かりやすく提示することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の実施形態による情報処理システムの構成例を示した説明図である。
【図２】同実施形態によるアプリケーション画面の表示例を示した説明図である。
【図３】同実施形態によるツール２２‐１の外観の例を示した説明図である。
【図４】同実施形態によるツール２２‐１の操作の例を示した説明図である。
【図５】同実施形態によるツール２２‐２の外観の例を示した説明図である。
【図６】同実施形態によるツール２２‐２の外観の例を示した説明図である。
【図７】同実施形態によるツール２２‐２の表面の外観の例を示した説明図である。
【図８】同実施形態によるツール２２‐２の裏面の外観の例を示した説明図である。
【図９】同実施形態によるサーバ１０の構成例を示した機能ブロック図である。
【図１０】同実施形態によるＧＵＩとツール２２との対応付け時における操作例を示した説明図である。
【図１１】同実施形態によるＧＵＩとツール２２との対応関係を示す表示の表示例を示した説明図である。
【図１２】同実施形態によるＧＵＩとツール２２との対応関係を示す表示の表示例を示した説明図である。
【図１３】同実施形態によるＧＵＩとツール２２との対応関係を示す表示の表示例を示した説明図である。
【図１４】同実施形態によるＧＵＩとツール２２との対応関係を示す表示の表示例を示した説明図である。
【図１５】同実施形態によるＧＵＩとツール２２との対応関係を示す表示の表示例を示した説明図である。
【図１６】同実施形態による動作を示したフローチャートである。
【図１７】同実施形態の応用例によるＧＵＩとツール２２との対応付け時における操作例を示した説明図である。
【図１８】同応用例によるＧＵＩとツール２２との対応関係を示す表示の表示例を示した説明図である。
【図１９】同応用例によるＧＵＩと対応付けられたツール２２の発光例を示した説明図である。
【図２０】同応用例による動作を示したフローチャートである。
【図２１】同応用例の適用例によるアプリケーション画面の表示例を示した説明図である。
【図２２】同適用例によるＧＵＩとツール２２との対応付けの一例を示した説明図である。
【図２３】同実施形態によるサーバ１０のハードウェア構成を示した説明図である。
【図２４】本開示の変形例１によるアプリケーション画面の表示例を示した説明図である。
【図２５】同変形例１による音楽キーボードの鍵盤に対する音色アサイン情報の投影例を示した説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じてツール２２ａおよびツール２２ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、ツール２２ａおよびツール２２ｂを特に区別する必要が無い場合には、単にツール２２と称する。
【００１４】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．情報処理システムの基本構成
２．実施形態の詳細な説明
３．応用例
４．ハードウェア構成
５．変形例
【００１５】
＜＜１．情報処理システムの基本構成＞＞
＜１−１．基本構成＞
本開示は、一例として「２．実施形態の詳細な説明」において詳細に説明するように、多様な形態で実施され得る。最初に、本実施形態による情報処理システムの基本構成について、図１を参照して説明する。
【００１６】
図１に示したように、本実施形態による情報処理システムは、サーバ１０、表示装置２０、ツール２２、およびプロジェクタ２４を有する。
【００１７】
［１−１−１．サーバ１０］
サーバ１０は、本開示における情報処理装置の一例である。サーバ１０は、後述する表示装置２０、および、プロジェクタ２４の動作を制御するための装置である。
【００１８】
また、サーバ１０は、有線通信または無線通信より、表示装置２０、ツール２２、およびプロジェクタ２４との間で情報の送受信を行うことが可能である。
【００１９】
［１−１−２．表示装置２０］
表示装置２０は、表示画面を表示する表示部２００を有する装置である。この表示装置２０は、例えば、図１に示したようなテーブル板型の装置であってもよい。または、例えばデスクトップＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）用のモニタなどの、ディスプレイが水平方向を向いた装置であってもよいし、または、スクリーンの背面から内蔵プロジェクターで投影するリアプロジェクション型のディスプレイであってもよい。なお、以下では、表示装置２０がテーブル板型の装置である例を中心として説明を行う。
【００２０】
表示装置２０は、例えば、サーバ１０から受信される画像情報を表示部２００に表示させる。ここで、画像情報は、例えば、アプリケーションの画面の情報である。
【００２１】
表示部２００は、基本的には大型の、例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）や、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）などの発光型ディスプレイにより構成される。また、表示部２００は、タッチパネルを有することも可能である。
【００２２】
図２は、表示部２００に表示されるアプリケーション画面の表示例（アプリケーション画面３０）を示した説明図である。図２に示したように、アプリケーション画面３０は、例えば、ドロップダウンメニュー３００、リボン３０２、ダイヤル３０４、および、ボタン３０６などのＧＵＩを含む。ここで、ＧＵＩは、本開示における操作画像の一例である。ＧＵＩは、例えば、ＧＵＩに対応する機能をユーザが操作するための画像である。ユーザは、アプリケーション画面３０に表示されている複数のＧＵＩの中からいずれかのＧＵＩを選択し、そして、選択したＧＵＩを操作することにより、所望の処理を例えばサーバ１０に実行させることができる。
【００２３】
なお、アプリケーション画面３０は、一種類のＧＵＩだけを含んでもよいし、複数の種類のＧＵＩを含んでもよい。なお、以下では、アプリケーション画面３０が複数の種類のＧＵＩを含む例を中心として説明を行う。
【００２４】
［１−１−３．プロジェクタ２４］
プロジェクタ２４は、本開示における投影部の一例である。プロジェクタ２４は、発光により画像情報を投影する装置である。例えば、プロジェクタ２４は、サーバ１０から受信される画像情報を投影する。
【００２５】
また、プロジェクタ２４は、サーバ１０から受信される制御信号に従って、投影の方向を変化させる。
【００２６】
なお、プロジェクタ２４は、位置および投影方向をユーザが手動で変化させることが可能なように構成されてもよい。また、図１では、プロジェクタ２４が一台のみ設置されている例を記載しているが、かかる例に限定されず、複数台設置されてもよい。そして、複数のプロジェクタ２４からの投影により一つのコンテンツが表示されるように投影させることも可能である。
【００２７】
［１−１−４．ツール２２］
ツール２２は、本開示における操作部の一例である。ツール２２は、ユーザがアプリケーションに対して入力を行うための装置である。また、ツール２２は、基本的には、ユーザが手で持ち運び可能なサイズおよび重さを有する装置である。また、後述するように、ツール２２は様々な形状で構成され得る。
【００２８】
このツール２２は、例えばサーバ１０との間で有線通信または無線通信を行うことにより、ツール２２に対するユーザの操作情報をサーバ１０へ送信することが可能である。なお、変形例として、ツール２２は、表面上にディスプレイを有し、そして、画像情報をディスプレイに表示可能であってもよい。
【００２９】
（１−１−４−１．ツール２２‐１）
ここで、図３〜図８を参照して、ツール２２の形状の例について説明する。図３は、ツール２２の形状の一例であるツール２２‐１の外観を示した説明図である。ツール２２‐１は、ユーザが操作を行うためのスティック２２２を有する。なお、ツール２２‐１は、図３の左図に示したツール２２‐１ａのように一個の操作系だけを有する形状であってもよい。または、図３の中央図に示したツール２２‐１ｂのように、ツール２２‐１ａと同じ形状の操作系２２０が例えば４個など複数個組み合わされた形状であってもよい。または、図３の右図に示したツール２２‐１ｃのように、例えば４個などの複数の操作系２２０が一体化された形状であってもよい。
【００３０】
このツール２２‐１では、例えば図４に示したような操作方法で、ユーザはスティック２２２を操作することが可能である。例えば、図４の左図において矢印で示したように、ツール２２‐１のスティック２２２はユーザが半時計回り回転可能であってもよいし、および／または、時計回りに回転可能であってもよい。また、図４の中央図において８個の矢印で示したように、前後左右斜めの８方向にスティック２２２を倒す操作が可能であってもよい。また、図４の右図において下方向の矢印で示したように、スティック２２２を下方向へ押し込む操作が可能であってもよい。または、ユーザがスティック２２２をつまんで引っ張り上げる操作が可能であってもよい。
【００３１】
なお、図４に示した、スティック２２２の回転、押倒し、または押下の検出は、例えば、ツール２２‐１に含まれる電子デバイスにより検出可能であってもよい。または、表示部２００がタッチパネルを有し、かつ、ツール２２‐１が表示部２００上に配置される場合には、スティック２２２の上記の操作の検出は、ツール２２‐１に対する操作時の圧力を表示部２００が検出することにより行われてもよい。なお、表示部２００がタッチパネルを有する場合には、さらに、表示装置２０は、表示部２００に配置されたツール２２の位置を自動で認識し、そして、ツール２２が配置されている表示領域のタッチセンサーを無効化してもよい。これにより、タッチの誤作動を防止することが可能となる。
【００３２】
（１−１−４−２．ツール２２‐２）
また、図５は、ツール２２の別の形状の一例であるツール２２‐２の外観の例（ツール２２‐２ａ、およびツール２２‐２ｂ）を示した説明図である。このツール２２‐２は、例えばツール２２‐２の表面にインビジブルマーカー２２４を有する。インビジブルマーカー２２４は、例えば赤外線カメラにより撮影される画像などに基づいて工学的に読み取り可能であり、かつ、ユーザが視認不能なマーカーである。なお、詳細については後述するが、ツール２２‐２では、インビジブルマーカー２２４の例えば回転などの動作の検出結果に基づいて、ツール２２‐２に対するユーザの操作内容が認識可能である。
【００３３】
このツール２２‐２は、図５の左図に示したツール２２‐２ａのように一段構成であってもよいし、または、図５の右図に示したツール２２‐２ｂのように二段構成であってもよい。また、このツール２２‐２ｂは、図５に示したように内部にスティック２２２を有してもよい。そして、ユーザがツール２２‐２ｂを上から押下した場合に、スティック２２２が押下されることによりクリック感をユーザに与えるように実装されてもよい。また、ツール２２‐２ｂでは、例えば、ユーザがツール２２−２ｂを手で回転させる際に、回転時の重みをユーザに与えるように実装されてもよい。
【００３４】
また、図６は、ツール２２‐２の別の形状の例（ツール２２‐２ｃ、およびツール２２‐２ｄ）を示した説明図である。図６に示したように、ツール２２‐２ｃおよびツール２２‐２ｄは、ユーザが回転操作や決定操作を行うためのダイヤル部２２６を有し、かつ、ダイヤル部２２６とインビジブルマーカー２２４とが離れて配置される。このツール２２‐２ｃおよびツール２２‐２ｄでは、基本的には、ユーザはダイヤル部２２６に対してのみ操作を行う。このため、インビジブルマーカー２２４がユーザの手で塞がれてしまう（隠れてしまう）ことを回避することができる。
【００３５】
また、図７および図８は、ツール２２‐２のさらに別の形状の例（ツール２２‐２ｅ）を示した説明図である。なお、図７は、ツール２２‐２ｅの表面の外観を示した説明図であり、また、図８は、ツール２２‐２ｅの裏面の外観を示した説明図である。
【００３６】
図７に示したように、ツール２２‐２ｅは、図６に示したツール２２‐２ｃと同じ形状である操作系２２０が例えば４個など複数個組み合わされた形状である。
【００３７】
また、図８に示したように、ツール２２‐２ｅは、個々のダイヤル部２２６の裏に導体２２８を有する。例えば、表示部２００がタッチパネルを有し、ツール２２‐２ｅが表示部２００上に配置され、かつ、ダイヤル部２２６がユーザにより押下された場合には、例えば表示装置２０は、導体２２８を介して、ダイヤル部２２６が押下されたことを認識することが可能である。
【００３８】
また、図８に示したように、ツール２２‐２ｅは、ツール２２‐２ｅの裏面における個々のインビジブルマーカー２２４に対応する位置に例えば３点などの複数の突起２２４０を有してもよい。かかる構成によれば、例えば、表示部２００がタッチパネルを有し、ツール２２‐２ｅが表示部２００上に配置され、かつ、いずれかのダイヤル部２２６がユーザにより回転された場合には、例えば表示装置２０は、当該ダイヤル部２２６に対応するインビジブルマーカー２２４が回転していることを（インビジブルマーカー２２４を検出しなくても）認識することが可能となる。
【００３９】
また、図８に示したように、ツール２２‐２ｅの裏面の例えば四隅には、滑り止め２３０が設けられてもよい。
【００４０】
なお、図５および図６に示したツール２２‐２ａ〜ツール２２‐２ｄに関しても、ツール２２‐２ｅと同様に、導体２２８、複数の突起２２４０、および、滑り止め２３０を有することが可能である。また、図３に示したツール２２‐１に関しても、導体２２８、および、滑り止め２３０を有することが可能である。
【００４１】
‐変形例
なお、変形例として、ツール２２‐２は、インビジブルマーカー２２４の代わりに、人間が視認可能なマーカー（以下、ビジブルマーカーと称する）を有してもよい。そして、このビジブルマーカーは、例えば可視光をセンシング可能なカメラにより撮影された画像に基づいて読み取り可能である。さらに、撮影された画像に基づいて、ビジブルマーカーの空間的な位置、姿勢、およびＩＤが画像認識され、そして、認識された情報はユーザの操作情報として利用可能であってもよい。
【００４２】
以上、ツール２２について説明した。なお、以下では、図３〜図８に示したツール２２‐１およびツール２２‐２を特に区別する必要が無い場合には、単にツール２２と称することとする。
【００４３】
なお、本実施形態による情報処理システムは、上述した構成に限定されない。例えば、図１では、プロジェクタ２４が表示部２００（またはツール２２）上に画像を投影する例を示しているが、かかる例に限定されない。例えば、プロジェクタ２４は、例えばプロジェクタ２４が配置されている机（図示省略）上に画像を投影することも可能である。この変形例では、ツール２２は当該机上に配置される。また、表示装置２０は、当該机上に配置されたデスクトップ型のモニターであってもよい。
【００４４】
また、本情報処理システムは、さらに１以上のカメラを有してもよい。そして、例えば、サーバ１０は、カメラの画像認識（デプスセンシング）技術を利用して、プロジェクタ２４により投影がなされる投影面や投影対象物体と、操作体（例えば指、スタイラスなど）との間の距離を検出することも可能である。そして、この距離の検出結果に基づいて、プロジェクタ２４により投影されるＧＵＩに対するユーザのタッチインタラクションを可能としてもよい。
【００４５】
＜１−２．課題の整理＞
ところで、大型のディスプレイに表示されているＧＵＩをマウスにより操作しようとする場合には、マウスポインタの移動距離を大きくする必要がある。このため、ユーザの操作の手間が大きく、また、操作の効率が低くなる。
【００４６】
また、多くのアプリケーション画面では、図２に示したアプリケーション画面３０のように、通常、複数の種類のＧＵＩが配置されており、かつ、個々のＧＵＩが画面中の様々な場所に散らばって配置されている場合が多い。例えば、図２に示した例では、ドロップダウンメニュー３００はアプリケーション画面３０における左上に配置されており、また、ボタン３０６は右下に配置されている。これらの複数のＧＵＩをマウスで操作しようとする場合には、ユーザは、アプリケーション画面３０における左上と右下の間でマウスポインタを大きく移動させなければならない。また、ユーザは、アプリケーション画面３０に表示されるマウスポインタの位置を確認するために視線を大きく移動させなければならない。
【００４７】
なお、ディスプレイがタッチパネルを有する場合には、マウスと比べて、表示画面中の所望の場所をユーザが直接タッチすることができるというメリットがある。一方で、ユーザから遠くに位置する場所を操作しようとする場合、ユーザは手を大きく移動させなければならず、操作の手間が大きい。そして、ディスプレイが大きいほど、指（および腕）および視線を動かす距離が増えるので、操作にかかる時間が長くなる。
【００４８】
そこで、上記事情を一着眼点にして、本実施形態によるサーバ１０を創作するに至った。本実施形態によるサーバ１０は、複数のＧＵＩ機能を一つのツール２２に対応付けることにより、ユーザが手元でまとめて所望の操作を行うことを可能とする。また、サーバ１０は、ＧＵＩとツール２２との対応関係をユーザに分かりやすく表示させることが可能である。以下、このような本実施形態について順次詳細に説明する。
【００４９】
＜＜２．実施形態の詳細な説明＞＞
＜２−１．構成＞
まず、本実施形態による構成について詳細に説明する。図９は、本実施形態によるサーバ１０の構成を示した機能ブロック図である。図９に示したように、サーバ１０は、制御部１００、通信部１２０、および記憶部１２２を有する。
【００５０】
［２−１−１．制御部１００］
制御部１００は、サーバ１０に内蔵される、後述するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１５０、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１５４などのハードウェアを用いて、サーバ１０の動作を全般的に制御する。また、図９に示したように、制御部１００は、対応付け部１０２、表示制御部１０４、機能制御部１１０、ツール制御部１１２、マーカー検出部１１４、警告部１１６、および、データ管理部１１８を有する。また、表示制御部１０４は、ツール表示制御部１０６、および、画面表示制御部１０８を有する。
【００５１】
［２−１−２．対応付け部１０２］
対応付け部１０２は、ツール２２に対する所定の操作、および表示画面に表示されているＧＵＩのユーザによる選択に基づいて、ユーザにより選択されたＧＵＩとツール２２とを対応づける。例えば、対応付け部１０２は、ツール２２に対してユーザが所定の操作を行っている間に、表示画面に表示されている複数のＧＵＩのうちのいずれかがユーザにより選択された場合に、選択されたＧＵＩとツール２２とを対応付ける。
【００５２】
ここで、図１０を参照して、上記の機能についてより詳細に説明する。図１０は、図２に示したアプリケーション画面３０が表示部２００に表示されており、かつ、ツール２２が、表示部２００上（例えば、図１０における左下の位置）にユーザにより配置されている例を示している。なお、図１０に示した例では、ツール２２は、例えば４個などの複数の操作系２２０が組み合わされた形状であることを前提としている。また、図１０では、リボン３０２に含まれる特定のボタン３０２０ｂと操作系２２０ｄとを対応付けることをユーザが希望している場面を前提としている。
【００５３】
例えば、後述する決定機構をツール２２が有する場合には、図１０に示したように、まず、操作系２２０ｄの決定機構がユーザにより動作され、そして、当該動作がされている間に、アプリケーション画面３０においてユーザによりボタン３０２０ｂが選択された場合には、対応付け部１０２は、ボタン３０２０ｂと操作系２２０ｄとを対応付ける。これにより、ユーザは、以後、ボタン３０２０ｂに対応する機能を、操作系２２０ｄにより操作することが可能となる。
【００５４】
ここで、ツール２２の決定機構は、例えばツール２２がスティック２２２を有する場合では、図４の左図に示したようなスティック２２２を左右に素早く回転させることであってもよいし、または、図４の右図に示したようなスティック２２２を押し込むことであってもよい。
【００５５】
また、ツール２２が決定機構を有しない場合には、アプリケーションが有するマッピングモードの起動中において、対応付け部１０２は、ユーザの操作に基づいて、ボタン３０２０ｂと操作系２２０ｄとを対応付ける。例えば、マッピングモードの起動中において、アプリケーション画面に表示されている複数のＧＵＩがユーザにより例えば順々に選択された場合には、対応付け部１０２は、順々に選択されたＧＵＩと各操作系２２０とをそれぞれ対応づける。
【００５６】
なお、アプリケーション画面３０におけるＧＵＩの選択方法の例は、表示されているＧＵＩをユーザが指またはスタイラスでタッチすることや、（マウスポインタをＧＵＩの位置に移動させた後に）マウスをクリックすることなどである。
【００５７】
［２−１−３．ツール表示制御部１０６］
（２−１−３−１．ツール表示制御例１）
ツール表示制御部１０６は、本開示における表示制御部の一例である。ツール表示制御部１０６は、対応付け部１０２によりＧＵＩとツール２２とが対応付けられた場合に、ＧＵＩとツール２２との対応関係を示す表示をツール２２に関連する位置に表示させる。例えば、ツール表示制御部１０６は、上記の場合には、ＧＵＩとツール２２との対応関係を示す表示をツール２２に関連する位置にプロジェクタ２４に投影させる。または、ツール表示制御部１０６は、上記の場合には、当該対応関係を示す表示をツール２２（が有するディスプレイ）に表示させる。
【００５８】
ここで、ツール２２に関連する位置は、例えば、ツール２２の上隣や、横などの近傍であってもよいし、または、ツール２２の表面上であってもよい。また、ＧＵＩとツール２２との対応関係を示す表示は、ツール２２に対応づけられたＧＵＩの画像の一部を含んでもよい。
【００５９】
ここで、図１１および図１２を参照して、上記の内容についてより詳細に説明する。図１１は、図１０に示した操作が行われた後における、ＧＵＩとツール２２との対応関係を示す表示の投影例を示した説明図である。図１１に示したように、例えば、ツール表示制御部１０６は、表示画面における、操作系２２０ｄの上隣に、ボタン３０２０ｂと操作系２２０ｄとの対応付けを示すマッピングＧＵＩ表示４０をプロジェクタ２４に投影させる。このマッピングＧＵＩ表示４０は、図１１に示したような、例えば、表示画面におけるボタン３０２０ｂを含む領域の画像がそのまま切り出された画像であってもよい。または、マッピングＧＵＩ表示４０は、ボタン３０２０ｂの画像の形状やサイズが任意に変更された画像であってもよい。例えば、ボタン３０２０ｂの画像が拡大されて投影されることにより、マッピングＧＵＩ表示４０の視認性を向上させることができる。
【００６０】
また、図１２は、ツール２２に含まれる全ての操作系２２０に関して、図１１に示したアプリケーション画面３０におけるＧＵＩとの対応付けがなされた場合における投影例を示した説明図である。例えば、操作系２２０ａとドロップダウンメニュー３００とが対応付け部１０２により対応付けられた場合には、図１２に示したように、ツール表示制御部１０６は、表示部２００における操作系２２０ａの配置位置の上隣に、ドロップダウンメニュー３００と操作系２２０ａとの対応付けを示すマッピングＧＵＩ表示４０ａをプロジェクタ２４に投影させる。同様に、ツール表示制御部１０６は、表示部２００における操作系２２０ｂの配置位置の上隣に、ダイヤル３０４０ａと操作系２２０ｂとの対応付けを示すマッピングＧＵＩ表示４０ｂをプロジェクタ２４に投影させる。なお、操作系２２０ｃに関しても同様である。
【００６１】
ここで、マッピングＧＵＩ表示４０が投影される位置は、固定であってもよい。または、例えばアプリケーションに対するユーザの入力や、該当の操作系２２０に対するユーザの操作などに応じて、マッピングＧＵＩ表示４０が投影される位置をユーザが自由に変更可能であってもよい。
【００６２】
また、投影されるマッピングＧＵＩ表示４０の形状およびサイズはユーザが自由に設定または変更可能であってもよい。また、ユーザが頻繁に利用するＧＵＩに関しては、マッピングＧＵＩ表示４０の形状およびサイズが予め設定されていてもよい。
【００６３】
‐変形例‐
なお、変形例として、ツール表示制御部１０６は、ユーザが操作していない間には、マッピングＧＵＩ表示４０を暗めにプロジェクタ２４に投影させてもよい。さらに、ツール表示制御部１０６は、ユーザが操作を再開した場合には、マッピングＧＵＩ表示４０をより明るくしてプロジェクタ２４に投影させてもよい。
【００６４】
（２−１−３−２．ツール表示制御例２）
また、ツール表示制御部１０６は、ＧＵＩとツール２２とが対応付け部１０２により対応付けられた場合には、後述する画面表示制御部１０８によりＧＵＩの例えば周囲に表示されるラインの色と同じ色の表示を、ツール２２に関連する位置にプロジェクタ２４に投影させたり、または、ツール２２に表示させることも可能である。
【００６５】
ここで、図１３を参照して、上記の内容についてより詳細に説明する。図１３は、ツール２２に含まれる全ての操作系２２０と、図１１に示したアプリケーション画面３０におけるＧＵＩとの対応付けがなされた場合における別の表示例を示した説明図である。図１３に示したように、ツール表示制御部１０６は、例えば、（操作系２２０ａと対応づけられている）ドロップダウンメニュー３００の周囲に表示されるライン４４ａの色と同じ色のマッピング関係表示４２ａを操作系２２０ａの表面にプロジェクタ２４に投影させたり、または、操作系２２０ａに自発光させる。同様に、ツール表示制御部１０６は、（操作系２２０ｂと対応づけられている）ダイヤル３０４０ａの周囲に表示されるライン４４ｂの色と同じ色のマッピング関係表示４２ｂを操作系２２０ｂの表面に投影させたり、または、操作系２２０ｂに表示させる。なお、操作系２２０ｃおよび操作系２２０ｄについても同様である。
【００６６】
（２−１−３−３．ツール表示制御例３）
また、ツール表示制御部１０６は、ツール２２に対応づけられたＧＵＩの画像が、後述する画面表示制御部１０８により変化される度に、変化後のＧＵＩの画像に応じたマッピングＧＵＩ表示４０をプロジェクタ２４に投影させることが可能である。
【００６７】
さらに、ツール表示制御部１０６は、ツール２２に対応付けられたＧＵＩの機能に関連するパラメータの値が、後述する機能制御部１１０により調整される度に、調整後のパラメータの値に応じた態様でマッピングＧＵＩ表示４０をプロジェクタ２４に投影させることも可能である。例えば、ツール表示制御部１０６は、当該パラメータの値が調整される度に、マッピングＧＵＩ表示４０に含まれているパラメータの値を調整後の値に変更し、そして、変更後のマッピングＧＵＩ表示４０をプロジェクタ２４に投影させる。
【００６８】
ここで、図１４および図１５を参照して、上記の内容についてより詳細に説明する。図１４は、別のアプリケーション画面（アプリケーション画面３２）が表示部２００に表示されている例を示した説明図である。このアプリケーション画面３２は、例えば、音楽関係のアプリケーション画面である。また、図１４に示したように、アプリケーション画面３２は、複数のダイヤル３２０を含むウィンドウ３２２を有する。ここで、ダイヤル３２０は、例えば「音量」などの、ダイヤル３２０に予め対応付けられているパラメータの値をユーザが調節するためのＧＵＩである。また、図１４に示したように、ダイヤル３２０は、ダイヤル３２０に対応付けられているパラメータの値の表示領域を含む。例えば、「ＶＯＬＵＭＥ」という名称のダイヤル３２０ｂには、ダイヤル３２０ｂに対応付けられているパラメータの値として「１０」が表示されている。
【００６９】
また、図１４では、ツール２２に含まれる例えば操作系２２０ａと、「ＣＵＴＯＦＦ」という名称のダイヤル３２０ａとが対応づけられているように、各操作系２２０と、各ダイヤル３２０とが対応付け部１０２により対応付けられていることを前提としている。また、図１４では、ツール２２は、表示部２００におけるウィンドウ３２２の表示領域と一部重複する位置に配置されている例を示している。
【００７０】
図１４に示したように、ツール表示制御部１０６は、例えば、操作系２２０ａの表面上に、操作系２２０ａに対応づけられたダイヤル３２０ａの画像４６ａをプロジェクタ２４に投影させる。例えば、ツール表示制御部１０６は、操作系２２０ａのインビジブルマーカー２２４上に、ダイヤル３２０ａの画像４６ａをプロジェクタ２４に投影させる。ここで、図１４に示したように、ダイヤル３２０ａの画像４６ａは、ダイヤル３２０ａの機能に関連するパラメータの値（図１４に示した例では「１．０」）を含む。
【００７１】
同様に、ツール表示制御部１０６は、操作系２２０ｂに対応づけられた（「ＶＯＬＵＭＥ」という名称の）ダイヤル３２０ｂの画像４６ｂを操作系２２０ｂの表面上にプロジェクタ２４に投影させる。そして、ダイヤル３２０ｂの画像４６ｂは、ダイヤル３２０ｂの機能に関連するパラメータの値（図１４に示した例では「１０」）を含む。なお、操作系２２０ｃおよび操作系２２０ｄについても同様である。
【００７２】
なお、変形例として、図１４に示したように、ツール表示制御部１０６は、さらに、表示部２００上に配置されたツール２２の下に表示されている画像（図１４に示した例ではウィンドウ３２２とツール２２との重複領域の画像）をツール２２の表面にプロジェクタ２４に投影させることも可能である。かかる構成によれば、ツール２２が透明であるかのようにユーザに知覚させる演出を実現することができる。特に、ツール２２の表面の色が例えば白基調の色である場合には、投影される画像がより綺麗に見えるので、より透明であるかのようにユーザに知覚させることができる。
【００７３】
また、図１５は、さらに別のアプリケーション画面（アプリケーション画面３４）が表示部２００に表示されている例を示した説明図である。図１５に示したように、アプリケーション画面３４は、複数のツールバーや、ドロップダウンメニューなどのＧＵＩ３４０を含む。
【００７４】
また、図１５に示したように、ツール２２は、表示部２００上の任意の位置にユーザにより配置されていることを前提としている。また、図１５では、ツール２２に含まれる各操作系２２０と、アプリケーション画面３４に表示されている各ＧＵＩ３４０とが対応付け部１０２により対応付けられていることを前提としている。
【００７５】
図１５に示したように、ツール表示制御部１０６は、操作系２２０ｂに対応づけられたドロップダウンメニュー３４０ｂの一部の画像４８ｂを操作系２２０ｂの表面上にプロジェクタ２４に投影させる。ここで、画像４８ｂは、図１５に示したように、ドロップダウンメニュー３４０ｂに表示されている複数の選択候補のうち、例えば現在カーソルが位置する選択候補（図１５に示した例では「１／８」）を含む所定の数の選択候補の画像領域が切り出された画像であってもよい。
【００７６】
なお、操作系２２０ｂに含まれるスティック２２２を例えば前後方向に倒す操作や、ダイヤル部２２６を回転させる操作などが検出された場合には、ツール表示制御部１０６は、ドロップダウンメニュー３４０ｂにおけるカーソルの位置を移動させ、そして、カーソルの移動後の画像４８ｂを操作系２２０ｂの表面上にプロジェクタ２４に投影させることが可能である。なお、投影後において、例えば操作系２２０ｂに含まれるスティック２２２またはダイヤル部２２６を押下するなどの決定操作が検出された場合には、サーバ１０は、ドロップダウンメニュー３４０ｂに表示されている複数の選択候補のうち現在カーソルが位置する選択候補がユーザにより選択されたと判断することが可能である。
【００７７】
‐変形例
なお、変形例として、例えば操作系２２０にツールバーが対応づけられており、かつ、操作系２２０をユーザが操作していない場合において、操作系２２０に対するユーザの操作が新たに検出された際には、ツール表示制御部１０６は、操作系２２０に対応付けられているツールバーが選択された際にアプリケーション画面３４に新たに表示される画像の全部または一部を該当の操作系２２０の表面上にプロジェクタ２４に投影させてもよい。例えば、図１５に示した例では、操作系２２０ａに含まれるダイヤル部２２６に対するユーザの操作が検出された際には、ツール表示制御部１０６は、操作系２２０ａに対応付けられているツールバー３４０ａが選択された際にアプリケーション画面３４に新たに表示される画像を、（画像４８ａの代わりに）操作系２２０ａの表面上にプロジェクタ２４に投影させてもよい。
【００７８】
さらに、この変形例において、後述する画面表示制御部１０８は、上記のツールバーが選択された際に新たに表示される画像をアプリケーション画面３４に同時に表示させることが可能である。
【００７９】
［２−１−４．画面表示制御部１０８］
（２−１−４−１．画面表示例１）
画面表示制御部１０８は、本開示における表示制御部の一例である。画面表示制御部１０８は、例えば図２に示したアプリケーション画面３０のような、１以上のＧＵＩを含む表示画面を表示部２００に表示させる。
【００８０】
（２−１−４−２．画面表示例２）
また、画面表示制御部１０８は、表示画面に表示されているＧＵＩとツール２２とが対応付け部１０２により対応付けられた場合には、さらに、ＧＵＩとツール２２との対応関係を示す表示を表示画面における当該ＧＵＩに関連する位置に表示させることが可能である。
【００８１】
例えば、画面表示制御部１０８は、上記の場合には、図１３に示したように、ツール２２と対応付けられたＧＵＩの周囲に所定の色のライン４４を表示部２００に表示させる。より具体的には、画面表示制御部１０８は、例えばツール２２に含まれる個々の操作系２２０がＧＵＩと対応付けられる度に、すでに対応付けられているＧＵＩのライン４４の色とは異なる色のライン４４を、新たに対応付けられたＧＵＩの周囲に表示部２００に表示させる。
【００８２】
‐変形例
なお、変形例として、ツール２２が表示部２００上に配置されており、かつ、アプリケーション画面３０に表示されているＧＵＩとツール２２とが対応付け部１０２により対応付けられた場合には、画面表示制御部１０８は、表示部２００におけるツール２２の配置領域の近傍の領域を、ツール２２に対応付けられているＧＵＩの周囲に表示されるラインの色と同じ色で表示部２００に発光させてもよい。
【００８３】
（２−１−４−３．画面表示例３）
また、画面表示制御部１０８は、ＧＵＩとツール２２とが対応付け部１０２により対応付けられた場合において、ツール２２に対するユーザの操作態様に基づいて、表示画面に表示されているＧＵＩの画像を変化させることが可能である。
【００８４】
例えば、図１２に示した例において、ダイヤル３０４０ｂが対応付けられている操作系２２０ｂが速い速度でユーザにより回転され、かつ、操作系２２０ｂから手を離されたことが検出された場合には、画面表示制御部１０８は、表示画面においてダイヤル３０４０ｂが慣性で回り続けるようにダイヤル３０４０ｂの画像を表示させてもよい。
【００８５】
また、図１５に示した例において、ドロップダウンメニュー３４０ｂに対応付けられている操作系２２０ｂが、図３に示したツール２２‐１ａのようにスティック２２２を有し、かつ、操作系２２０ｂのスティック２２２に対する所定の操作が検出された場合には、画面表示制御部１０８は、ドロップダウンメニュー３４０ｂにおけるカーソルの位置をより高速に移動させて表示させてもよい。なお、スティック２２２に対する所定の操作の例は、例えば、スティック２２２を下方向へより深く押下する操作、またはスティック２２２を強めの力で前方もしくは後方へ倒す操作などである。かかる構成によれば、ユーザの操作効率が高まることが期待できる。
【００８６】
（２−１−４−４．画面表示例４）
なお、変形例として、表示装置２０がデスクトップＰＣ用のモニタである場合には、操作対象のツール２２がユーザにより例えば机上に置かれたことが検出された際に、画面表示制御部１０８は、表示画面における所定の位置にツール２２の画像を表示させることも可能である。なお、ツール２２が机上に置かれたことの検出方法は、例えば、ツール２２の裏面に設置されたタッチセンサにより検出することである。
【００８７】
［２−１−５．機能制御部１１０］
機能制御部１１０は、ツール２２に対応づけられたＧＵＩに対応する機能を、ツール２２に対するユーザの操作に基づいて制御する。例えば、機能制御部１１０は、ツール２２に対応づけられたＧＵＩに関連するパラメータの値を、ツール２２に対するユーザの操作に基づいて調整する。例えば、図１４に示した例では、操作系２２０ｂのダイヤル部２２６がユーザにより右回りに回転された場合には、操作系２２０ｂに対応付けられている「ＶＯＬＵＭＥ」という名称のダイヤル３２０ｂの機能に関連するパラメータ（例えば「音量」）の値を増加させる。
【００８８】
［２−１−６．ツール制御部１１２］
ツール制御部１１２は、例えばサーバ１０が通信可能なツール２２の動作を制御する。例えば、ツール制御部１１２は、ユーザがツール２２を操作する際に、所定のタイミングで物理的なフィードバックをユーザに与えるようにツール２２を動作させる。一例として、例えば時計のＧＵＩとツール２２とが対応づけられており、かつ、ユーザがツール２２を回転させる場合には、ツール制御部１１２は、例えば時計のＧＵＩが示す時刻が「１２時」に達した際に、軽くクリックするような感覚をユーザに与えるようにツール２２に動作させる。または、あるＧＵＩと対応づけられたツール２２をユーザが回転させ、かつ、ＧＵＩの機能に関連するパラメータの値が最大値または最小値に達した場合には、回転が重くなるような感覚をユーザに与えるようにツール２２に動作させてもよいし、または、回転を停止させてもよい。かかる構成によれば、ユーザは、表示画面におけるＧＵＩをほとんど見なくても所望の操作を行うことが可能となる。
【００８９】
または、ツール制御部１１２は、ツール２２の回転操作時の重みを、ツール２２に対応付けられたＧＵＩの種類に応じて変化させてもよい。これにより、ツール２２の回転操作時に、実物のダイヤルに類似した質感をユーザに与えることが可能となる。
【００９０】
または、ツール制御部１１２は、ユーザがツール２２を回転させる際に、ツール２２に対応付けられたＧＵＩの機能に関連するパラメータの値が例えば所定の値に達するごとに、クリック感をユーザに与えるようにツール２２を動作させることも可能である。かかる構成によれば、値の変化とユーザに与えるクリック感とを同期させることが可能となる。
【００９１】
または、ツール制御部１１２は、例えばリボンに含まれる複数のボタンのうち選択中のボタンが切り替わる度や、ドロップダウンメニューにおけるカーソルの位置が移動する度に、ツール２２を振動させてもよい。または、ツール制御部１１２は、ユーザによるツール２２を用いた決定操作が検出された場合に、ツール２２を振動させてもよい。これらの構成によれば、ＧＵＩに対応づけられたツール２２を操作する際に、当該ＧＵＩへ視線を向ける回数を減らしてもユーザは所望の操作を行うことが可能となる。そして、操作効率の向上が期待できる。
【００９２】
［２−１−７．マーカー検出部１１４］
マーカー検出部１１４は、ツール２２がインビジブルマーカー２２４を含む場合には、例えば赤外線カメラによるツール２２の撮影画像などに基づいて、ツール２２からインビジブルマーカー２２４を認識する。
【００９３】
また、マーカー検出部１１４は、インビジブルマーカー２２４の動きの検出結果に基づいて、ユーザの操作内容を認識する。例えば、マーカー検出部１１４は、インビジブルマーカー２２４が回転していることが検出された場合には、ユーザがツール２２に対して回転操作を行っていることを認識する。
【００９４】
［２−１−８．警告部１１６］
警告部１１６は、ツール２２に対するユーザの操作が検出され、かつ、マーカー検出部１１４によりインビジブルマーカー２２４が検出されない場合には、ユーザに警告を通知する。例えば、警告部１１６は、上記の場合には、ツール２２の操作エラーであること（インビジブルマーカーの検出エラーであること）を通知するエラー表示を表示部２００に表示させたり、プロジェクタ２４に投影させる。一例として、警告部１１６は、該当のインビジブルマーカー２２４を有するツール２２の近傍に当該エラー表示をプロジェクタ２４に投影させる。
【００９５】
または、警告部１１６は、上記の場合には、ツール２２を所定の振動パターンで振動させてもよいし、または、サーバ１０と通信可能なスピーカー（図示省略）にブザーを出力させてもよい。
【００９６】
なお、ツール２２をユーザが操作していることの検出方法は、例えば、ユーザの手がツール２２に接触していることをツール２２が検出することである。
【００９７】
［２−１−９．データ管理部１１８］
データ管理部１１８は、対応付け部による対応付けの結果を示すマッピング情報を、表示部２００に表示されているアプリケーション画面と対応づけて、後述するマッピング情報ＤＢ１２４に格納する。ここで、マッピング情報は、例えば、ツール２２に含まれる個々の操作系２２０と、アプリケーション画面に含まれるＧＵＩとの対応関係を示す情報である。
【００９８】
かかる構成によれば、現在表示中のアプリケーション画面から他の画面に表示が切り替えられた後に、再度同じアプリケーション画面が表示された場合に、ユーザは、同じマッピング操作を再度行うことを省略することができる。そして、操作効率の向上につながる。
【００９９】
（２−１−９−１．マッピング情報ＤＢ１２４）
マッピング情報ＤＢ１２４は、マッピング情報と、マッピング情報の生成時に表示されているアプリケーション画面とが対応付けて登録されるデータベースである。なお、マッピング情報ＤＢ１２４には、さらに、ユーザＩＤ、および操作日時などが対応づけて登録されてもよい。
【０１００】
［２−１−１０．通信部１２０］
通信部１２０は、サーバ１０と通信可能な他の装置との間で情報の送受信を行う。例えば、通信部１２０は、画面表示制御部１０８の制御に従って、アプリケーション画面の画面情報を表示装置２０に送信する。また、通信部１２０は、ツール表示制御部１０６の制御に従って、ＧＵＩとツール２２との対応関係を示す画像情報をプロジェクタ２４に送信する。また、通信部１２０は、ツール２２に対するユーザの操作の検出結果をツール２２から受信する。
【０１０１】
［２−１−１１．記憶部１２２］
記憶部１２２は、例えば、マッピング情報ＤＢ１２４などの各種のデータやソフトウェアを記憶することが可能である。
【０１０２】
なお、本実施形態によるサーバ１０の構成は、上述した構成に限定されない。例えば、マッピング情報ＤＢ１２４は、記憶部１２２に記憶される代わりに、サーバ１０と通信可能な他の装置（図示省略）に記憶されることも可能である。
【０１０３】
＜２−２．動作＞
以上、本実施形態による構成について説明した。続いて、本実施形態による動作について、図１６を参照して説明する。なお、ここでは、上述した決定機構をツール２２が有していることを前提とする。また、ツール２２にＧＵＩがマッピングされていない場面における動作例について説明する。
【０１０４】
図１６は、本実施形態による動作を示したフローチャートである。図１６に示したように、まず、サーバ１０の画面表示制御部１０８は、アプリケーション画面を表示部２００に表示させる（Ｓ１０１）。
【０１０５】
その後、対応付け部１０２は、ツール２２の決定機構がユーザにより動作されたことの検出結果がツール２２から受信されるまで待機する（Ｓ１０３）。ツール２２の決定機構がユーザにより動作された場合には（Ｓ１０３：Ｙｅｓ）、対応付け部１０２は、ツール２２がマッピング設定状態になったと判定する。そして、対応付け部１０２は、ツール２２の決定機構がユーザにより動作されている間に、アプリケーション画面に表示されているＧＵＩのうちいずれかがユーザのタッチやマウスのクリックなどにより選択されたか否かを判定する（Ｓ１０５）。いずれのＧＵＩも選択されないうちに、ツール２２の決定機構に対するユーザの動作が中止された場合には（Ｓ１０５：Ｎｏ）、サーバ１０は、ツール２２のマッピング設定状態を解除し、再びＳ１０３の動作を行う。
【０１０６】
一方、表示されているＧＵＩのうちいずれかが所定時間内にユーザにより選択された場合には（Ｓ１０５：Ｙｅｓ）、対応付け部１０２は、選択されたＧＵＩをツール２２にマッピングする（Ｓ１０７）。
【０１０７】
続いて、ツール表示制御部１０６は、Ｓ１０７でマッピングされたＧＵＩの画像の一部を、ツール２２の表面上またはツール２２の近傍にプロジェクタ２４に投影させる（Ｓ１０９）。
【０１０８】
その後、画面表示制御部１０８は、Ｓ１０７でマッピングされたＧＵＩとツール２２とのマッピング関係を示す例えば所定の色のラインを、アプリケーション画面における該当のＧＵＩの周囲に表示部２００に表示させる（Ｓ１１１）。
【０１０９】
［２−２−１．変形例］
なお、上述した動作の変形例として、ツール２２に予め何らかのＧＵＩがマッピングされている場合で、かつ、例えばツール２２のスティック２２２がユーザに長押しされた場合には、対応付け部１０２は、ツール２２を再度マッピングし直すモード（つまり、マッピング設定状態）に移行させてもよい。また、ツール２２に予めＧＵＩがマッピングされている場合で、かつ、ツール２２のスティック２２２がユーザに短く押された場合には、サーバ１０は、ツール２２に現在マッピングされているＧＵＩに対する決定操作がユーザにより行われたと認識してもよい。
【０１１０】
また、ツール２２がマッピング設定状態になっている間は、ツール表示制御部１０６は、ツール２２のスティック２２２（またはツール２２全体）が点滅するようにプロジェクタ２４に照射させたり、ツール２２に自発光させてもよい。この表示例によれば、ツール２２がマッピング設定状態にあるか否かをユーザが容易に理解することができる。
【０１１１】
＜２−３．効果＞
［２−３−１．効果１］
以上、例えば図９、図１６等を参照して説明したように、本実施形態によれば、アプリケーション画面において様々な場所に配置されている複数のＧＵＩの中から所望のＧＵＩと、一つのツール２２（に含まれる個々の操作系２２０）とをユーザは簡単な操作により対応付けることが可能である。
【０１１２】
［２−３−２．効果２］
また、複数のＧＵＩの各々と、一つのツール２２が有する個々の操作系２２０とが対応付けられることにより、ユーザは複数のＧＵＩを手元でまとめて操作することができる。このため、例えばタッチ操作やマウスを用いた操作と比較して、ＧＵＩを操作するためのユーザの手の移動距離を小さくさせることができ、ユーザの手間を減少させることができる。また、一つのツール２２により複数のＧＵＩ機能を同時に操作することができるので、操作効率を向上させることができる。
【０１１３】
［２−３−３．効果３］
また、サーバ１０は、複数のＧＵＩの各々とツール２２に含まれる個々の操作系２２０とが対応付けられた場合に、操作系２２０ごとに、ＧＵＩと当該操作系２２０との対応関係を示す表示を当該操作系２２０の表面上または当該操作系２２０の近傍に投影させたり、当該操作系２２０に表示させる。このため、ユーザは、いずれの操作系２２０にいずれのＧＵＩが対応付けられているかを一目で理解することができる。
【０１１４】
また、例えば一つのツール２２に対応付けられた複数のＧＵＩの画像がツール２２上またはツール２２の近傍に表示させることも可能であるので、ＧＵＩを操作するためのユーザの視線の移動距離を小さくさせることができる。
【０１１５】
［２−３−４．効果４］
また、操作内容によっては左右の手で作業分担させることにより、さらに操作効率を向上させることができる。例えば、ユーザは、左手を常にツール２２に置いて操作しながら、かつ、右手でタッチ操作、またはマウスやスタイラスを用いた操作を同時に行うことができる。
【０１１６】
＜＜３．応用例＞＞
以上、本実施形態について説明した。続いて、本実施形態の応用例について説明する。なお、本実施形態の応用例による情報処理システムの構成は、図１に示した本実施形態と概略同様である。
【０１１７】
＜３−１．構成＞
まず、本応用例によるサーバ１０の構成について説明する。なお、本応用例によるサーバ１０に含まれる構成要素は、本実施形態と同様である。以下では、上述した実施形態と異なる機能を有する構成要素についてのみ説明を行う。
【０１１８】
［３−１−１．対応付け部１０２］
（３−１−１−１．対応付け）
本応用例による対応付け部１０２は、表示部２００の上にユーザによりツール２２が配置された場合に、ツール２２が配置された表示領域に表示されているＧＵＩとツール２２とを自動的に対応づける。
【０１１９】
ここで、図１７を参照して、上記の機能についてより詳細に説明する。図１７は、表示部２００に表示されているＧＵＩの表示領域上にツール２２‐２がユーザにより配置されている場面を示した説明図である。図１７に示したように、表示部２００における（「ＹＹＹ」という名称の）ダイヤル３２０の表示領域上にツール２２‐２がユーザにより配置された際には、対応付け部１０２は、ダイヤル３２０とツール２２‐２とを対応付ける。
【０１２０】
なお、本応用例において利用されるツール２２の種類は、基本的にはツール２２‐２、つまり、インビジブルマーカー２２４を有するツール２２である。さらに、本応用例では、基本的には、図５に示したツール２２‐２ａのような、１個の操作系２２０だけを有するツール２２‐２が利用される。
【０１２１】
（３−１−１−２．対応付けの解除）
また、対応付け部１０２は、ＧＵＩとツール２２とが対応づけられた後に、表示部２００からツール２２がユーザにより外された場合には、ＧＵＩとツール２２との対応付けを自動的に解除する。
【０１２２】
‐変形例
なお、変形例として、表示部２００からツール２２が外された場合であっても、ＧＵＩとツール２２との対応付けを維持させることも可能である。例えば、対応付け部１０２は、表示部２００からツール２２が外された時から所定の時間が経過するまでの間は、ＧＵＩとツール２２との対応付けを維持させてもよい。
【０１２３】
［３−１−２．ツール表示制御部１０６］
本応用例によるツール表示制御部１０６は、対応付け部１０２によりＧＵＩとツール２２とが対応付けられた場合には、ツール２２に対応付けられたＧＵＩの画像をツール２２の表面上に表示させる。例えば、ツール表示制御部１０６は、上記の場合には、当該ＧＵＩの画像をツール２２の表面上にプロジェクタ２４に投影させたり、ツール２２（が有するディスプレイ）に表示させる。
【０１２４】
ここで、図１８を参照して、上記の機能についてより詳細に説明する。図１８は、図２に示したアプリケーション画面３０が表示部２００に表示されており、かつ、表示部２００上にユーザによりツール２２‐２が配置された場合における投影例を示した説明図である。なお、図１８では、表示部２００におけるダイヤル３０４０ａの表示領域上にツール２２が配置され、そして、ダイヤル３０４０ａとツール２２とが対応付け部１０２により対応付けられていることを前提とする。
【０１２５】
図１８に示したように、ツール表示制御部１０６は、ダイヤル３０４０ａの画像をツール２２‐２の表面上にプロジェクタ２４に投影させる。この投影例によれば、ツール２２‐２の表面に投影されているＧＵＩの画像を見ながらユーザはツール２２‐２を操作しようとするので、通常、ツール２２‐２の表面を手で覆わないようにツール２２‐２を操作する。このため、インビジブルマーカー２２‐２がユーザの手で覆われることを間接的に防止することができ、そして、インビジブルマーカー２２‐２が読み取り不能になることを大きく減少させることができる。
【０１２６】
なお、変形例として、ツール２２の表面にＧＵＩの画像が投影された後に、ツール２２の表面がユーザによりピンチされたり、指で叩かれること等が検出された場合には、ツール表示制御部１０６は、ツール２２に対応づけられたＧＵＩの画像を拡大または縮小して、ツール２２の表面上に投影させたり、ツール２２に表示させることも可能である。
【０１２７】
［３−１−３．画面表示制御部１０８］
（３−１−３−１．画面表示例１）
本応用例による画面表示制御部１０８は、対応付け部１０２によりＧＵＩとツール２２とが対応付けられた場合には、表示部２００におけるツール２２の配置領域の周囲を例えば表示部２００に発光させるなどにより、明るく表示させる。
【０１２８】
ここで、図１９を参照して、上記の機能についてより詳細に説明する。図１９は、図１８と同様に、表示部２００におけるダイヤル３０４０ａの表示領域上にツール２２‐２が配置された状態を示している。
【０１２９】
図１９に示した発光５２のように、画面表示制御部１０８は、表示部２００におけるツール２２‐２の配置領域の周囲を例えば発光させるなどにより、明るく表示させる。かかる構成によれば、ＧＵＩとツール２２‐２との対応付けが完了していることをユーザに知らせることができる。従って、対応付けが完了しているか否かを確認するために、ユーザは、ツール２２‐２を操作する必要がない。
【０１３０】
（３−１−３−２．画面表示例２）
なお、変形例として、画面表示制御部１０８は、対応付け部１０２によりＧＵＩとツール２２とが対応付けられた後において、表示部２００上でユーザによりツール２２が平行移動された場合には、ツール２２に対応付けられたＧＵＩを含むウィンドウの表示位置を、ツール２２の移動に追随させて移動させることも可能である。
【０１３１】
例えば、図１７に示した例において、ツール２２‐２とダイヤル３２０とが対応付けられた後において、表示部２００上で、図１７における左の方向へユーザによりツール２２‐２が平行移動された場合には、画面表示制御部１０８は、ツール２２‐２の移動に追随させて、ツール２２‐２と同じ移動方向で、かつ同じ移動距離だけウィンドウ３２２の表示位置を移動させて表示させる。
【０１３２】
かかる構成によれば、ユーザは、例えば、表示部２００上でツール２２をユーザの近くに平行移動させることにより、ツール２２に対応付けられたＧＵＩを含むウィンドウをユーザの近くに移動させることができる。このため、ユーザは手元でＧＵＩを操作したり、ＧＵＩを含むウィンドウを見ることができるので、操作がより容易になる。
【０１３３】
なお、他の構成要素の機能については、本実施形態と同様である。
【０１３４】
＜３−２．動作＞
以上、本応用例による構成について説明した。続いて、本応用例による動作について、図２０を参照して説明する。なお、ここでは、ツール２２の種類としてツール２２‐２が利用されることを前提とする。
【０１３５】
図２０に示したＳ２０１の動作は、本実施形態によるＳ１０１と同様である。
【０１３６】
Ｓ２０１の後に、対応付け部１０２は、ツール２２‐２が表示部２００上に配置されたことの検出結果が例えば表示装置２０から受信されるまで待機する（Ｓ２０３）。
【０１３７】
そして、ツール２２‐２が表示部２００上に配置された場合には（Ｓ２０３：Ｙｅｓ）、対応付け部１０２は、ツール２２‐２が配置された表示領域に表示されているＧＵＩをツール２２‐２にマッピングする（Ｓ２０５）。
【０１３８】
続いて、ツール表示制御部１０６は、Ｓ２０５でマッピングされたＧＵＩの画像をツール２２‐２の表面上にプロジェクタ２４に投影させる（Ｓ２０７）。
【０１３９】
続いて、画面表示制御部１０８は、表示部２００におけるツール２２の配置領域の周囲を発光させるなどにより、明るく表示させる（Ｓ２０９）。
【０１４０】
その後、対応付け部１０２は、ツール２２‐２が表示部２００から外されるまで待機する（Ｓ２１１）。
【０１４１】
そして、ツール２２‐２が表示部２００から外された場合には（Ｓ２１１：Ｙｅｓ）、対応付け部１０２は、該当のＧＵＩとツール２２との対応付けを解除する（Ｓ２１３）。
【０１４２】
＜３−３．効果＞
［３−３−１．効果１］
以上、例えば図２０等を参照して説明したように、本応用例によるサーバ１０は、表示部２００上にツール２２がユーザにより配置された際に、ツール２２が配置された表示領域に表示されているＧＵＩとツール２２とを自動的に対応づける。そして、サーバ１０は、ツール２２に対応付けられたＧＵＩの画像をツール２２の表面上に投影させたり、ツール２２に表示させる。
【０１４３】
このため、ユーザは、ツール２２の表面に表示されたＧＵＩを見ながら、さらに直感的、かつ効率的にＧＵＩを操作することができる。
【０１４４】
［３−３−２．効果２］
また、本応用例によれば、アプリケーション画面上にユーザがツール２２を直接置いて操作する。このため、例えば、アプリケーション画面に対して複数のユーザが同時に操作を行うような場面において、どのユーザがどのような意思を持って操作しようとしているかを他のユーザが一目で理解することができる。このため、複数のユーザの操作時における操作効率の向上が期待できる。
【０１４５】
＜３−４．適用例＞
次に、本応用例の適用例について、図２１〜図２２を参照して説明する。なお、以下では、上述した説明と重複する内容については説明を省略する。
【０１４６】
図２１は、本適用例によるアプリケーション画面（アプリケーション画面３６）の表示例を示した説明図である。図２１に示したように、アプリケーション画面３６は、複数のスライダーＧＵＩ３６０を含む。このスライダーＧＵＩ３６０は、スライダーＧＵＩ３６０に含まれるつまみをユーザが上下方向に移動させることにより、例えば、スライダーＧＵＩ３６０に対応する機能のパラメータの値を増減させることが可能なＧＵＩである。
【０１４７】
［３−４−１．対応付け部１０２］
本適用例による対応付け部１０２は、例えば図２２に示したように、表示部２００におけるスライダーＧＵＩ３６０のつまみの表示領域上にユーザによりツール２２が配置された場合に、ツール２２が配置された領域に表示されているスライダーＧＵＩ３６０とツール２２とを対応づける。
【０１４８】
この対応付けによれば、ユーザは、表示部２００上でツール２２を移動させることにより、スライダーＧＵＩ３６０のつまみを移動させることが可能となる。このため、ユーザは、スライダーＧＵＩ３６０をより直感的に操作することが可能となる。
【０１４９】
（３−４−１−１．変形例）
なお、変形例として、アプリケーション画面３６におけるスライダーＧＵＩ３６０のうちツール２２とまだ対応付けられていないスライダーＧＵＩ３６０に関しては、例えばマウス操作やタッチ操作を受け付けないように自動的に設定することも可能である。かかる構成によれば、ユーザは、原則として、ツール２２を用いてのみスライダーＧＵＩ３６０を操作可能となるので、ユーザは、ツール２２の操作に集中することができる。また、ユーザは複数の操作方法を使用せず、ツール２２だけを操作するようになるので、ユーザの操作エラーが減少することが期待できる。
【０１５０】
なお、本適用例に採用されるツール２２の形状は、図２２に示したような、スライダーＧＵＩ３６０のつまみと同一または類似の形状であってもよい。このような形状を採用することにより、ユーザは、実物のスライダーを操作するような感覚で、表示部２００上でスライダーＧＵＩ３６０を操作することができる。
【０１５１】
＜＜４．ハードウェア構成＞＞
次に、本実施形態によるサーバ１０のハードウェア構成について、図２３を参照して説明する。図２３に示したように、サーバ１０は、ＣＰＵ１５０、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１５２、ＲＡＭ１５４、内部バス１５６、インターフェース１５８、ストレージ装置１６０、および通信装置１６２を備える。
【０１５２】
＜４−１．ＣＰＵ１５０＞
ＣＰＵ１５０は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ１０内の動作全般を制御する。また、ＣＰＵ１５０は、サーバ１０において制御部１００の機能を実現する。なお、ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成される。
【０１５３】
＜４−２．ＲＯＭ１５２＞
ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
【０１５４】
＜４−３．ＲＡＭ１５４＞
ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
【０１５５】
＜４−４．内部バス１５６＞
内部バス１５６は、ＣＰＵバスなどから構成される。この内部バス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４を相互に接続する。
【０１５６】
＜４−５．インターフェース１５８＞
インターフェース１５８は、ストレージ装置１６０、および通信装置１６２を、内部バス１５６と接続する。例えばストレージ装置１６０は、このインターフェース１５８および内部バス１５６を介して、ＣＰＵ１５０との間でデータをやり取りする。
【０１５７】
＜４−６．ストレージ装置１６０＞
ストレージ装置１６０は、記憶部１２２として機能する、データ格納用の装置である。ストレージ装置１６０は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
【０１５８】
＜４−７．通信装置１６２＞
通信装置１６２は、例えば公衆網やインターネットなどの通信網に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置１６２は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置１６２は、通信部１２０として機能する。
【０１５９】
＜＜５．変形例＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１６０】
＜５−１．変形例１＞
例えば、上述した実施形態では、アプリケーション画面に表示されているＧＵＩとツール２２とを対応付ける例について説明したが、本開示はかかる例に限定されない。変形例１として、音色アサイン情報と音楽キーボードの鍵盤とを対応付けることも可能である。
【０１６１】
ここで、変形例１を創作するに至った背景について説明する。従来、音楽キーボードの鍵盤に音色アサイン情報を割り当てる方法が提案されている。しかしながら、公知の技術では、割り当てられた音色アサイン情報が例えば所定のモニターなど、鍵盤から離れた位置に表示される。このため、ユーザが音楽キーボードの演奏時に、音色アサイン情報を確認し辛く、また、操作効率が低い。
【０１６２】
後述するように、変形例１によれば、鍵盤に対応付けられている音色アサイン情報を見ながら、ユーザは容易に鍵盤を操作することができる。
【０１６３】
［５−１−１．構成］
次に、変形例１による構成について、図２４〜図２５を参照して説明する。図２４は、変形例１による音色アサイン画面の表示例（音色アサイン画面３８）の表示例を示した説明図である。また、図２５は、音楽キーボードの例（音楽キーボード６０）を示した説明図である。
【０１６４】
なお、変形例１によるサーバ１０に含まれる構成要素は、本実施形態と同様である。以下では、上述した実施形態と異なる機能を有する構成要素についてのみ説明を行う。
【０１６５】
（５−１−１−１．対応付け部１０２）
変形例１による対応付け部１０２は、音楽キーボードに含まれるいずれかの鍵盤がユーザにより押下されている間に、例えば音色アサイン画面に表示されている複数の音色選択ボタンのうちいずれかがユーザにより選択された場合には、ユーザにより押下されている鍵盤と、ユーザにより選択された音色選択ボタンに対応する音色アサイン情報とを対応付ける。
【０１６６】
例えば、図２４および図２５に示した例では、鍵盤６００ａがユーザにより押下されている間に、音色アサイン画面３８における音色選択ボタン３８０ａがユーザにより選択された場合には、対応付け部１０２は、鍵盤６００ａと、音色選択ボタン３８０ａに対応する音色アサイン情報（つまり「Ｂａｓｓ  Ｄｒｕｍ  １」）とを対応付ける。
【０１６７】
なお、変形例として、音色アサイン画面３８は、例えば「ドラムセット」のような複数の音源の集合（組み合わせ）を選択するための選択ボタン３８２を含んでもよい。そして、対応付け部１０２は、例えば鍵盤６００ａがユーザにより押下されている間に、この選択ボタン３８２がユーザに選択された場合には、当該選択ボタン３８２に対応する複数の音色アサイン情報（例えば「Ｂａｓｓ  Ｄｒｕｍ」、「Ｓｎａｒｅ  Ｄｒｕｍ」、「Ｏｐｅｎ  Ｈｉ‐Ｈａｔ」、および「Ｃｌｏｓｅｄ  Ｈｉ‐Ｈａｔ」など）の各々を音楽キーボード６０における個々の鍵盤６００に自動的に対応付けてもよい。
【０１６８】
あるいは、対応付け部１０２は、音色アサイン画面３８において選択ボタン３８２がユーザにより選択されただけで（つまり、鍵盤６００がユーザにより全く操作されない場合であっても）、当該選択ボタン３８２に対応する複数の音色アサイン情報の各々を音楽キーボード６０における個々の鍵盤６００に自動的に対応付けてもよい。
【０１６９】
（５−１−１−２．ツール表示制御部１０６）
変形例１によるツール表示制御部１０６は、対応付け部１０２により鍵盤と音色アサイン情報とが対応付けられた場合には、当該鍵盤の表面または近傍に、当該鍵盤に対応付けられた音色アサイン情報をプロジェクタ２４に投影させる。例えば、図２５に示したように、ツール表示制御部１０６は、鍵盤６００ａの表面に、鍵盤６００ａに対応付けられた音色アサイン情報である「Ｂａｓｓ  Ｄｒｕｍ  １」という文字列をプロジェクタ２４に投影させる。なお、鍵盤６００がディスプレイを有する場合には、ツール表示制御部１０６は、鍵盤６００に対応付けられた音色アサイン情報を鍵盤６００自体に表示させてもよい。
【０１７０】
また、ツール表示制御部１０６は、さらに、鍵盤６００に対応づけられている演奏情報の数値を鍵盤６００の表面または近傍にプロジェクタ２４に投影させることも可能である。
【０１７１】
［５−１−２．効果］
以上、図２４〜図２５を参照して説明したように、変形例１によれば、ユーザは、音楽キーボードにおける鍵盤に所望の音色アサイン情報を容易に対応付けることが可能である。
【０１７２】
また、変形例１によるサーバ１０は、鍵盤に対応付けられている音色アサイン情報を鍵盤の表面または近傍に投影させる。このため、ユーザは、対応付けられている音色アサイン情報を見ながら鍵盤を操作することができる。そして、操作効率を向上させることができる。
【０１７３】
また、鍵盤に対応付けられている演奏情報に関しても、ユーザは鍵盤を見ることにより容易に確認することができる。そして、ユーザは、確認結果をリアルタイムに演奏にフィードバックさせることができる。
【０１７４】
＜５−２．変形例２＞
また、上述した実施形態では、本開示による情報処理装置が、サーバ１０である例について説明したが、本開示はかかる例に限定されない。例えば、本開示による情報処理装置は、ＰＣ、スマートフォンなどの携帯電話、または、ゲーム機などであってもよい。
【０１７５】
または、当該情報処理装置は、上述したサーバ１０の機能と表示装置２０とが一体的に構成された装置であってもよい。例えば、上述した制御部１００に含まれる構成要素の全てを表示装置２０が有する場合には、当該情報処理装置は、表示装置２０であってもよい。なお、この変形例では、サーバ１０は設けられなくてもよい。
【０１７６】
＜５−３．変形例３＞
また、本実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、上述したサーバ１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。
【０１７７】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
操作画像を表示画面に表示させる第１表示制御と、
前記操作画像と操作部との対応関係を示す第１の表示を、前記操作部に関連する位置に表示させる第２表示制御とを実行する表示制御部、
を備える、情報処理装置。
（２）
前記表示制御部は、前記第１の表示を前記操作部に関連する位置に投影部に投影させる、前記（１）に記載の情報処理装置。
（３）
前記第１の表示は、前記操作部に対応づけられた操作画像の機能に関連するパラメータを含む、前記（２）に記載の情報処理装置。
（４）
前記情報処理装置は、さらに、前記操作部に対応づけられた前記操作画像の機能に関連するパラメータの値を、前記操作部に対するユーザの操作に基づいて調整する機能制御部をさらに備える、前記（３）に記載の情報処理装置。
（５）
前記表示制御部は、前記機能制御部により前記パラメータの値が調整される度に、調整後のパラメータの値に応じた態様で前記第１の表示を表示させる、前記（４）に記載の情報処理装置。
（６）
前記第１の表示は、前記操作部に対応づけられた操作画像の一部を含む、前記（２）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記表示制御部は、さらに、前記操作画像と前記操作部との対応関係を示す第２の表示を前記表示画面における前記操作画像に関連する位置に表示させる、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記操作部に関連する位置は、前記操作部の表面である、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記操作部の表面には、マーカーが設置されており、
前記マーカーの動きの検出結果に基づいてユーザの操作内容が認識される、前記（８）に記載の情報処理装置。
（１０）
前記情報処理装置は、さらに、前記操作部から前記マーカーを検出するマーカー検出部と、
前記操作部に対する前記ユーザの操作が検出され、かつ、前記マーカーが検出されない場合に、前記ユーザに警告を通知する警告部をさらに備える、前記（９）に記載の情報処理装置。
（１１）
前記操作部に関連する位置は、前記操作部の近傍である、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（１２）
前記情報処理装置は、前記操作部に対する所定の操作、および前記表示画面に表示される操作画像のユーザによる選択に基づいて、選択された操作画像と前記操作部とを対応づける対応付け部をさらに備える、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記表示画面には、複数の種類の操作画像が表示されており、
前記対応付け部は、前記複数の種類の操作画像の中からユーザにより選択された操作画像と前記操作部とを対応づける、前記（１２）に記載の情報処理装置。
（１４）
前記情報処理装置は、前記表示画面を表示する表示部の上にユーザにより前記操作部が配置された場合に、前記操作部が配置された表示領域に表示されている操作画像と前記操作部とを対応づける対応付け部をさらに備える、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１５）
前記表示制御部は、さらに、前記表示部において前記操作部が配置された表示領域に表示されている画像を前記操作部の上に投影部に投影させる、前記（１４）に記載の情報処理装置。
（１６）
前記操作部は複数あり、
前記複数の操作部は、組み合わされた形状を有する、前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記操作画像は、前記操作画像に対応する機能を調整するための画像である、前記（１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記情報処理装置は、前記対応付け部による対応付けを示す対応情報を前記表示画面に対応づけて記憶部に格納するデータ管理部をさらに備える、前記（１）〜（１７）のいずれか一項に記載の情報処理装置。
（１９）
操作画像を表示画面に表示させる第１表示制御と、
前記操作画像と操作部との対応関係を示す第１の表示を、前記操作部に関連する位置に表示させる第２表示制御とを実行すること、
を備える、情報処理方法。
（２０）
コンピュータを、
操作画像を表示画面に表示させる第１表示制御と、
前記操作画像と操作部との対応関係を示す第１の表示を、前記操作部に関連する位置に表示させる第２表示制御とを実行する表示制御部、
として機能させるための、プログラム。
【符号の説明】
【０１７８】
１０  サーバ
２０  表示装置
２２  単にツール
２２  ツール
２４  プロジェクタ
１００  制御部
１０２  対応付け部
１０４  表示制御部
１０６  ツール表示制御部
１０８  画面表示制御部
１１０  機能制御部
１１２  ツール制御部
１１４  マーカー検出部
１１６  警告部
１１８  データ管理部
１２０  通信部
１２２  記憶部
１２４  マッピング情報ＤＢ
２００  表示部
２２０  操作系
【図１】
2016162132.tif 000003
【図２】
2016162132.tif 000004
【図３】
2016162132.tif 000005
【図４】
2016162132.tif 000006
【図５】
2016162132.tif 000007
【図６】
2016162132.tif 000008
【図７】
2016162132.tif 000009
【図８】
2016162132.tif 000010
【図９】
2016162132.tif 000011
【図１０】
2016162132.tif 000012
【図１１】
2016162132.tif 000013
【図１２】
2016162132.tif 000014
【図１３】
2016162132.tif 000015
【図１４】
2016162132.tif 000016
【図１５】
2016162132.tif 000017
【図１６】
2016162132.tif 000018
【図１７】
2016162132.tif 000019
【図１８】
2016162132.tif 000020
【図１９】
2016162132.tif 000021
【図２０】
2016162132.tif 000022
【図２１】
2016162132.tif 000023
【図２２】
2016162132.tif 000024
【図２３】
2016162132.tif 000025
【図２４】
2016162132.tif 000026
【図２５】
2016162132.tif 000027