(57)【要約】【課題】リモートコントローラにおいて操作が行われた操作デバイスと、当該操作に応じて当該リモートコントローラから送信される操作信号とを対応付けることが可能な、情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】操作デバイスを有するリモートコントローラが撮像された撮像画像と、操作デバイスに対する操作に応じてリモートコントローラから送信される操作信号とに基づいて、操作が行われた操作デバイスと操作信号とを対応付ける処理部を備える、情報処理装置が、提供される。【選択図】図５
2017151894.tif 000002
【特許請求の範囲】
【請求項１】
操作デバイスを有するリモートコントローラが撮像された撮像画像と、前記操作デバイスに対する操作に応じて前記リモートコントローラから送信される操作信号とに基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付ける処理部を備える、情報処理装置。
【請求項２】
前記処理部は、
前記撮像画像に基づいて、前記操作が行われた前記操作デバイスを認識し、
認識された前記操作デバイスと前記操作信号とを対応付ける、請求項１に記載の情報処理装置。
【請求項３】
前記処理部は、仮想的なリモートコントローラを生成して、前記仮想的なリモートコントローラを表示画面に表示させ、
前記仮想的なリモートコントローラには、前記操作信号と対応付けられた前記操作デバイスに対応する、操作を行うことが可能な仮想的な操作デバイスが含まれる、請求項１に記載の情報処理装置。
【請求項４】
前記仮想的なリモートコントローラにおける前記仮想的な操作デバイスの配置は、前記リモートコントローラにおける前記操作デバイスの配置と同一である、請求項３に記載の情報処理装置。
【請求項５】
前記仮想的なリモートコントローラにおける前記仮想的な操作デバイスの配置は、前記リモートコントローラにおける前記操作デバイスの配置と異なる、請求項３に記載の情報処理装置。
【請求項６】
前記仮想的なリモートコントローラは、前記仮想的な操作デバイスのみで構成される、請求項３に記載の情報処理装置。
【請求項７】
前記処理部は、前記仮想的な操作デバイスを明示させる、請求項３に記載の情報処理装置。
【請求項８】
前記仮想的な操作デバイスに対する操作が検出された場合、前記処理部は、操作が検出された前記仮想的な操作デバイスに対応する、前記操作デバイスに対応付けられている前記操作信号を、送信させる、請求項３に記載の情報処理装置。
【請求項９】
前記操作信号を送信する送信部をさらに備え、
前記処理部は、前記送信部に前記操作信号を送信させる、請求項８に記載の情報処理装置。
【請求項１０】
前記撮像画像を生成する撮像部をさらに備え、
前記処理部は、前記撮像部により生成された前記撮像画像に基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付ける、請求項１に記載の情報処理装置。
【請求項１１】
前記操作信号を受信する受信部をさらに備え、
前記処理部は、前記受信部により受信された前記操作信号に基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付ける、請求項１に記載の情報処理装置。
【請求項１２】
リモートコントローラが有する操作デバイスに対する操作に応じて、前記リモートコントローラから送信される操作信号を受信する受信部と、
前記リモートコントローラが撮像された撮像画像に基づいて、前記操作が行われた前記操作デバイスを認識することが可能な外部装置と通信を行う通信部と、
前記外部装置から送信された、前記操作が行われた前記操作デバイスの認識結果と、前記リモートコントローラから送信された前記操作信号とに基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付ける処理部を備える、情報処理装置。
【請求項１３】
前記通信部が、前記操作デバイスを示す指示信号を受信した場合、
前記処理部は、前記指示信号が示す前記操作デバイスに対応付けられている前記操作信号を、送信させる、請求項１２に記載の情報処理装置。
【請求項１４】
前記操作信号を送信する送信部をさらに備え、
前記処理部は、前記送信部に前記操作信号を送信させる、請求項１３に記載の情報処理装置。
【請求項１５】
前記処理部は、さらに、前記リモートコントローラによる制御の対象である制御対象の状態の検出結果に基づく処理を行う、請求項１２に記載の情報処理装置。
【請求項１６】
操作デバイスを有するリモートコントローラが撮像された撮像画像と、前記操作デバイスに対する操作に応じて前記リモートコントローラから送信される操作信号とに基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付けるステップを有する、情報処理装置により実行される情報処理方法。
【請求項１７】
操作デバイスを有するリモートコントローラが撮像された撮像画像に基づいて操作が行われた前記操作デバイスを認識することが可能な外部装置から送信された、前記操作が行われた前記操作デバイスの認識結果と、前記リモートコントローラから送信された、前記操作に応じた操作信号とに基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付けるステップを有する、情報処理装置により実行される情報処理方法。
【請求項１８】
操作デバイスを有するリモートコントローラが撮像された撮像画像と、前記操作デバイスに対する操作に応じて前記リモートコントローラから送信される操作信号とに基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付ける機能を、コンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
操作を行うことが可能なリモートコントローラを撮像した撮像画像に基づいて、操作を行うことが可能な仮想的なリモートコントローラを表示画面に表示させる技術が開発されている。上記仮想的なリモートコントローラを表示画面に表示させる技術としては、例えば下記の特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２４６６４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば特許文献１に記載の技術が用いられる場合には、仮想的な制御キー（仮想的な操作デバイスの一例）を含む仮想的なリモートコントローラが表示画面に表示される。また、例えば特許文献１に記載の技術が用いられる場合には、表示画面に表示された制御キーに対するキー操作が可能である。
【０００５】
しかしながら、例えば特許文献１に記載の技術が用いられる場合には、リモートコントローラから送信される制御対象の機器を制御するための操作に応じた信号（以下、「操作信号」と示す。）と、仮想的なリモートコントローラにおける仮想的な操作デバイスとの対応付けを、手動で行う必要がある。また、例えば特許文献１に記載の技術では、リモートコントローラにおいて操作された操作デバイスと、リモートコントローラから送信された操作信号とを対応付けることについては、考慮されていない。そのため、例えば特許文献１に記載の技術が用いられる場合には、仮想的なリモートコントローラにおける手動で操作信号と対応付けられた仮想的な操作デバイスと、リモートコントローラにおいて実際に操作された操作デバイスとが、対応しないことが起こりうる。
【０００６】
本開示では、リモートコントローラにおいて操作が行われた操作デバイスと、当該操作に応じて当該リモートコントローラから送信される操作信号とを対応付けることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、操作デバイスを有するリモートコントローラが撮像された撮像画像と、上記操作デバイスに対する操作に応じて上記リモートコントローラから送信される操作信号とに基づいて、上記操作が行われた上記操作デバイスと上記操作信号とを対応付ける処理部を備える、情報処理装置が、提供される。
【０００８】
また、本開示によれば、リモートコントローラが有する操作デバイスに対する操作に応じて、上記リモートコントローラから送信される操作信号を受信する受信部と、上記リモートコントローラが撮像された撮像画像に基づいて、上記操作が行われた上記操作デバイスを認識することが可能な外部装置と通信を行う通信部と、上記外部装置から送信された、上記操作が行われた上記操作デバイスの認識結果と、上記リモートコントローラから送信された上記操作信号とに基づいて、上記操作が行われた上記操作デバイスと上記操作信号とを対応付ける処理部を備える、情報処理装置が、提供される。
【０００９】
また、本開示によれば、操作デバイスを有するリモートコントローラが撮像された撮像画像と、上記操作デバイスに対する操作に応じて上記リモートコントローラから送信される操作信号とに基づいて、上記操作が行われた上記操作デバイスと上記操作信号とを対応付けるステップを有する、情報処理装置により実行される情報処理方法が、提供される。
【００１０】
また、本開示によれば、操作デバイスを有するリモートコントローラが撮像された撮像画像に基づいて操作が行われた上記操作デバイスを認識することが可能な外部装置から送信された、上記操作が行われた上記操作デバイスの認識結果と、上記リモートコントローラから送信された、上記操作に応じた操作信号とに基づいて、上記操作が行われた上記操作デバイスと上記操作信号とを対応付けるステップを有する、情報処理装置により実行される情報処理方法が、提供される。
【００１１】
また、本開示によれば、操作デバイスを有するリモートコントローラが撮像された撮像画像と、上記操作デバイスに対する操作に応じて上記リモートコントローラから送信される操作信号とに基づいて、上記操作が行われた上記操作デバイスと上記操作信号とを対応付ける機能を、コンピュータに実現させるためのプログラムが、提供される。
【発明の効果】
【００１２】
本開示によれば、リモートコントローラにおいて操作が行われた操作デバイスと、当該操作に応じて当該リモートコントローラから送信される操作信号とを対応付けることができる。
【００１３】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
【図面の簡単な説明】
【００１４】
【図１Ａ】第１の実施形態に係る情報処理方法に係る、登録に係る処理により実現されるユースケースの一例を示す説明図である。
【図１Ｂ】第１の実施形態に係る情報処理方法に係る、制御に係る処理により実現されるユースケースの一例を示す説明図である。
【図２】本実施形態に係る操作デバイスと操作信号とが対応付けられるテーブルの一例を示す説明図である。
【図３】第１の実施形態に係る情報処理方法に係る、登録に係る処理の一例を示す流れ図である。
【図４】第１の実施形態に係る情報処理方法に係る、制御に係る処理の一例を示す流れ図である。
【図５】第１の実施形態に係る情報処理装置の構成の一例を示すブロック図である。
【図６】第１の実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
【図７Ａ】第２の実施形態に係る情報処理方法に係る、登録に係る処理により実現されるユースケースの一例を示す説明図である。
【図７Ｂ】第２の実施形態に係る情報処理方法に係る、制御に係る処理により実現されるユースケースの一例を示す説明図である。
【図８】第２の実施形態に係る情報処理方法に係る、登録に係る処理の一例を示す流れ図である。
【図９】第２の実施形態に係る情報処理方法に係る、制御に係る処理の一例を示す流れ図である。
【図１０】第２の実施形態に係る情報処理装置の構成の一例を示すブロック図である。
【図１１】第２の実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
また、以下では、下記に示す順序で説明を行う。
１．第１の実施形態に係る情報処理方法
２．第１の実施形態に係る情報処理装置
３．第２の実施形態に係る情報処理方法
４．第２の実施形態に係る情報処理装置
５．本実施形態に係るプログラム
【００１７】
（第１の実施形態に係る情報処理方法）
まず、第１の実施形態に係る情報処理方法について説明する。以下では、第１の実施形態に係る情報処理方法に係る処理を、第１の実施形態に係る情報処理装置が行う場合を例に挙げる。
【００１８】
［１］第１の実施形態に係る情報処理方法に係る処理
上述したように、例えば特許文献１に記載の技術が用いられる場合には、操作信号と、仮想的なリモートコントローラにおける仮想的な操作デバイスとの対応付けを、手動で行う必要がある。また、例えば特許文献１に記載の技術が用いられる場合には、仮想的なリモートコントローラにおける手動で操作信号と対応付けられた仮想的な操作デバイスと、リモートコントローラにおいて実際に操作された操作デバイスとが、対応しないことが起こりうる。
【００１９】
また、リモートコントローラにおける操作が行われた操作デバイスと操作信号とを対応付ける方法としては、例えば“リモートコントローラの型番を示すデータなどの、リモートコントローラが有する操作デバイスと操作信号との関係を特定することが可能なデータを用いる方法”が、考えられる。
【００２０】
しかしながら、上記方法が用いられる場合には、リモートコントローラの型番を示すデータなどを取得することができない場合には、操作デバイスと操作信号とを対応付けることができない。
【００２１】
そこで、第１の実施形態に係る情報処理装置は、“操作デバイスを有するリモートコントローラが撮像された撮像画像と、操作デバイスに対する操作に応じてリモートコントローラから送信される操作信号とに基づいて、操作が行われた操作デバイスと操作信号とを対応付ける処理”（以下、「第１の実施形態に係る対応付け処理」と示す。）を、行う。
【００２２】
ここで、本実施形態に係る撮像画像としては、例えば、第１の実施形態に係る情報処理装置が備える撮像部（後述する）を構成する撮像デバイス、または、第１の実施形態に係る情報処理装置の外部の撮像デバイスによって撮像された画像（動画像、または静止画像）が挙げられる。第１の実施形態に係る情報処理装置は、撮像部（後述する）を構成する撮像デバイスから取得された撮像画像、または、外部の撮像デバイスから取得された撮像画像を、第１の実施形態に係る対応付け処理に用いる。
【００２３】
また、リモートコントローラから送信される操作信号は、例えば、第１の実施形態に係る情報処理装置が備える受信部（後述する）を構成する通信デバイス、または、第１の実施形態に係る情報処理装置の外部の通信デバイスによって、受信される。第１の実施形態に係る情報処理装置は、受信部（後述する）を構成する通信デバイスにより受信された操作信号、または、外部の通信デバイスにより受信された操作信号を、第１の実施形態に係る対応付け処理に用いる。
【００２４】
より具体的には、第１の実施形態に係る情報処理装置は、撮像画像に基づいて、リモートコントローラにおいて操作が行われた操作デバイスを認識する。
【００２５】
ここで、第１の実施形態に係る情報処理装置は、撮像画像に対して任意の物体認識処理を行うことによって、リモートコントローラ、リモートコントローラが有するボタンなどの操作デバイス、および操作デバイスを操作するユーザの手などの操作体を、それぞれ検出することによって、リモートコントローラにおいて操作が行われた操作デバイスを認識する。
【００２６】
また、第１の実施形態に係る情報処理装置は、撮像画像に対して、ひずみ補正や色調補正などの１または２以上の画像処理を、さらに行ってもよい。ひずみ補正や色調補正などがさらに行われることによって、撮像画像に基づく操作が行われた操作デバイスの認識の精度の向上を図ることができる。
【００２７】
なお、操作が行われた操作デバイスの認識の精度の向上を図る方法は、上記に示す例に限られない。
【００２８】
例えば、撮像画像がステレオカメラにより生成されたステレオ画像である場合など、リモートコントローラに対する操作体の深さを示す深さ情報が、撮像画像から得られる場合には、第１の実施形態に係る情報処理装置は、深さ情報が示す深さをさらに考慮することによって、撮像画像に基づく操作が行われた操作デバイスの認識の精度の向上を図ることができる。
【００２９】
また、リモートコントローラが撮像された熱画像が取得される場合には、第１の実施形態に係る情報処理装置は、取得された熱画像が示すリモートコントローラの温度を考慮することによって、撮像画像に基づく操作が行われた操作デバイスの認識の精度の向上を図ることも可能である。
【００３０】
例えば上記のように、撮像画像に基づいて操作が行われた操作デバイスが認識されると、第１の実施形態に係る情報処理装置は、認識された操作デバイスと、リモートコントローラから送信される操作信号とを対応付ける。第１の実施形態に係る情報処理装置は、例えば、認識された操作デバイスと操作信号とを、操作デバイスと操作信号とが一対一に対応付けられるテーブル（またはデータベース。以下、同様とする。）などに記録することによって、認識された操作デバイスと操作信号とを対応付ける。本実施形態に係る操作デバイスと操作信号との対応付けの具体例については、後述する。
【００３１】
第１の実施形態に係る情報処理方法に係る処理として、上記第１の実施形態に係る対応付け処理が行われる場合には、リモートコントローラに対する操作体による操作が撮像された撮像画像に基づいて、操作が行われた操作デバイスが認識される。
【００３２】
また、上記リモートコントローラに対する操作体による操作に応じて、リモートコントローラは、当該操作に応じた操作信号を送信する。つまり、第１の実施形態に係る情報処理装置において撮像画像に基づいて操作が行われた操作デバイスが認識されたときに、第１の実施形態に係る情報処理装置において受信された操作信号は、当該操作に応じてリモートコントローラから送信された送信信号である可能性が高い。
【００３３】
したがって、第１の実施形態に係る情報処理装置は、上記第１の実施形態に係る対応付け処理を行うことによって、リモートコントローラにおいて操作が行われた操作デバイスと、当該操作に応じて当該リモートコントローラから送信される操作信号とを対応付けることができる。
【００３４】
また、第１の実施形態に係る情報処理装置は、上記のように、撮像画像に基づいて操作が行われた操作デバイスを認識し、撮像画像に基づき認識された操作デバイスと、リモートコントローラから送信される操作信号とを対応付ける。よって、例えば、第１の実施形態に係る情報処理装置のユーザは、操作デバイスと操作信号とを手動で対応付ける必要はない。また、第１の実施形態に係る情報処理装置は、リモートコントローラの型番を示すデータなどに依存せずに、操作デバイスと操作信号とを対応付けることができる。
【００３５】
［２］第１の実施形態に係る情報処理方法に係る他の処理
なお、第１の実施形態に係る情報処理方法に係る処理は、上記第１の実施形態に係る対応付け処理に限られない。
【００３６】
例えば、第１の実施形態に係る情報処理装置は、“生成した仮想的なリモートコントローラを表示画面に表示させ、仮想的なリモートコントローラを制御する処理”（以下、「仮想リモートコントローラ制御処理」と示す。）を、さらに行うことが可能である。
【００３７】
ここで、仮想的なリモートコントローラには、上記第１の実施形態に係る対応付け処理により操作信号と対応付けられた操作デバイスに対応する、操作を行うことが可能な仮想的な操作デバイスが含まれる。以下では、上記第１の実施形態に係る対応付け処理により操作信号と対応付けられた操作デバイスに対応する仮想的な操作デバイスを、「操作デバイスに対応する仮想的な操作デバイス」、または、単に「仮想的な操作デバイス」と示す場合がある。
【００３８】
操作デバイスに対応する仮想的な操作デバイスとしては、例えば、操作デバイスの種類、操作デバイスの形状、および操作デバイスに付された表示のうちの、１または２以上が、当該操作デバイスと同一である、仮想的な操作デバイスが挙げられる。
【００３９】
仮想的な操作デバイスに対する操作としては、例えば、下記に示す例が挙げられる。
・表示画面に表示されている仮想的な操作デバイスに対する、ユーザの手などの任意の操作体による直接的な操作（例えば、表示画面を構成する表示デバイスが、タッチパネルなど、表示とユーザ操作とが可能なデバイスである場合）
・物理的なボタンなどの物理的な操作デバイスを操作することによる、表示画面に表示されている仮想的な操作デバイスに対する間接的な操作（例えば、表示画面を構成する表示デバイスが表示とユーザ操作とが可能なデバイスである場合、または、表示画面を構成する表示デバイスが表示のみが可能なデバイスである場合）
【００４０】
また、第１の実施形態に係る情報処理装置が生成する仮想的なリモートコントローラにおける、仮想的な操作デバイスの配置としては、例えば下記に示す例が挙げられる。
・仮想的なリモートコントローラにおける仮想的な操作デバイスの配置が、リモートコントローラにおける操作デバイスの配置と同一である。
・仮想的なリモートコントローラにおける仮想的な操作デバイスの配置が、リモートコントローラにおける操作デバイスの配置と異なっている。
【００４１】
第１の実施形態に係る情報処理装置が、“仮想的な操作デバイスの配置がリモートコントローラにおける操作デバイスの配置と同一である仮想的なリモートコントローラ”を生成する場合には、表示画面に表示される仮想的なリモートコントローラは、リモートコントローラに準じたレイアウトを有することとなる。よって、“仮想的な操作デバイスの配置がリモートコントローラにおける操作デバイスの配置と同一である仮想的なリモートコントローラ”が生成される場合には、第１の実施形態に係る情報処理装置は、物理的なリモートコントローラと同様の操作性を実現することが可能な、仮想的なリモートコントローラを、生成することができる。
【００４２】
第１の実施形態に係る情報処理装置が、“仮想的な操作デバイスの配置がリモートコントローラにおける操作デバイスの配置と異なる仮想的なリモートコントローラ”を生成する場合には、表示画面に表示される仮想的なリモートコントローラは、リモートコントローラに準じないレイアウトを有することとなる。よって、“仮想的な操作デバイスの配置がリモートコントローラにおける操作デバイスの配置と異なる仮想的なリモートコントローラ”が生成される場合には、第１の実施形態に係る情報処理装置は、よりレイアウトの自由度が高い仮想的なリモートコントローラを、生成することができる。
【００４３】
第１の実施形態に係る情報処理装置は、“仮想的な操作デバイスの配置がリモートコントローラにおける操作デバイスの配置と同一である仮想的なリモートコントローラ”と、“仮想的な操作デバイスの配置がリモートコントローラにおける操作デバイスの配置と異なる仮想的なリモートコントローラ”との一方、または双方を生成する。
【００４４】
第１の実施形態に係る情報処理装置は、例えば、仮想的なリモートコントローラの生成に係る設定に基づいて、“仮想的な操作デバイスの配置がリモートコントローラにおける操作デバイスの配置と同一である仮想的なリモートコントローラ”と“仮想的な操作デバイスの配置がリモートコントローラにおける操作デバイスの配置と異なる仮想的なリモートコントローラ”とのうちの一方を生成する。ここで、上記仮想的なリモートコントローラの生成に係る設定は、固定の設定であってもよいし、ユーザの操作などに基づき変更可能な可変の設定であってもよい。
【００４５】
また、例えば、第１の実施形態に係る情報処理装置が、“仮想的な操作デバイスの配置がリモートコントローラにおける操作デバイスの配置と同一である仮想的なリモートコントローラ”、および“仮想的な操作デバイスの配置がリモートコントローラにおける操作デバイスの配置と異なる仮想的なリモートコントローラ”の双方を生成する場合には、第１の実施形態に係る情報処理装置は、仮想的なリモートコントローラをユーザが選択することが可能な選択画面を、表示画面に表示させてもよい。上記選択画面を表示画面に表示させることによって、仮想的なリモートコントローラを用いるユーザにとって、より使いやすい仮想的なリモートコントローラを、ユーザ自身に選択させることが可能となる。よって、上記選択画面を表示画面に表示させる場合には、第１の実施形態に係る情報処理装置は、ユーザの利便性の向上を図ることができる。
【００４６】
また、第１の実施形態に係る情報処理装置が生成する仮想的なリモートコントローラは、例えば、操作デバイスに対応する仮想的な操作デバイスのみで構成されていてもよいし、操作を行うことができないオブジェクトを含んで構成されていてもよい。
【００４７】
生成される仮想的なリモートコントローラが、操作デバイスに対応する仮想的な操作デバイスのみで構成される場合には、仮想的なリモートコントローラを操作するユーザは、仮想的な操作デバイスをより容易に認識することができる。
【００４８】
また、第１の実施形態に係る情報処理装置は、仮想的なリモートコントローラに含まれる仮想的な操作デバイスを、明示させてもよい。第１の実施形態に係る情報処理装置は、例えば、仮想的な操作デバイスを点滅させること、仮想的な操作デバイスを枠で囲むことなど、仮想的なリモートコントローラを操作するユーザに対して、仮想的な操作デバイスが存在することを視覚的に通知することが可能な任意の表現によって、仮想的な操作デバイスを明示させる。
【００４９】
任意の表現によって仮想的な操作デバイスが明示されることによって、仮想的なリモートコントローラを操作するユーザは、仮想的な操作デバイスをより容易に認識することができる。
【００５０】
第１の実施形態に係る情報処理装置は、例えば上記のような仮想的なリモートコントローラを生成し、生成した仮想的なリモートコントローラを、表示画面に表示させる。
【００５１】
また、表示画面に表示された仮想的なリモートコントローラにおいて、仮想的な操作デバイスに対する操作が検出された場合、第１の実施形態に係る情報処理装置は、操作が検出された仮想的な操作デバイスに対応する操作デバイスに対応付けられている操作信号を、送信させる。以下では、操作が検出された仮想的な操作デバイスに対応する操作デバイスに対応付けられている操作信号を、「仮想的な操作デバイスに対応する操作信号」と示す場合がある。
【００５２】
第１の実施形態に係る情報処理装置は、例えば、第１の実施形態に係る情報処理装置が備える送信部（後述する）を構成する通信デバイス、または、第１の実施形態に係る情報処理装置の外部の通信デバイスに、仮想的な操作デバイスに対応する操作信号を送信させる。ここで、送信部（後述する）を構成する通信デバイスと、上述した受信部（後述する）を構成する通信デバイスとは、同一の通信デバイスであってもよいし、異なる通信デバイスであってもよい。同様に、仮想的な操作デバイスに対応する操作信号を送信する外部の通信デバイスと、リモートコントローラから送信された操作信号を受信する外部の通信デバイスとは、同一の通信デバイスであってもよいし、異なる通信デバイスであってもよい。
【００５３】
［３］第１の実施形態に係る情報処理方法に係る処理の具体例
次に、上述した第１の実施形態に係る情報処理方法に係る処理の具体例を、説明する。
【００５４】
図１Ａは、第１の実施形態に係る情報処理方法に係る、登録に係る処理により実現されるユースケースの一例を示す説明図である。また、図１Ｂは、第１の実施形態に係る情報処理方法に係る、制御に係る処理により実現されるユースケースの一例を示す説明図である。図１Ａ、図１Ｂでは、符号１００で示す装置が、第１の実施形態に係る情報処理装置の一例に該当する。また、図１Ａにおいて符号１０で示す装置が、リモートコントローラの一例に該当し、図１Ｂにおいて符号２０で示す装置が、リモートコントローラによる制御の対象の装置（以下「制御対象」と示す。）の一例に該当する。
【００５５】
以下では、第１の実施形態に係る情報処理装置に該当する装置を「情報処理装置１００」と示す。また、以下では、リモートコントローラに該当する装置を「リモートコントローラ１０」と示し、制御対象に該当する装置を「制御対象２０」と示す。なお、情報処理装置１００、リモートコントローラ１０、および制御対象２０それぞれが、図１Ａ、図１Ｂに示す例に限られないことは、言うまでもない。
【００５６】
例えば、情報処理装置１００においてリモートコントローラアプリケーションが実行され、リモートコントローラアプリケーションの登録モードが設定されると、情報処理装置１００が備える撮像部（後述する）を構成する撮像デバイスが起動する。リモートコントローラアプリケーションにおける登録モードの設定は、例えば、情報処理装置１００のユーザの操作に基づき行われる。なお、リモートコントローラアプリケーションにおける登録モードの設定は、所定の条件を満たす場合（例えば、操作デバイスと操作信号とが対応付けられていない初期状態の場合など）に自動的に行われてもよい。
【００５７】
例えば、図１ＡのＡに示すように、上記撮像デバイスによりリモートコントローラ１０が撮像されている状態で、情報処理装置１００のユーザが、リモートコントローラ１０が有するボタン（操作デバイスの一例）を押下する操作を行う場合を想定する。
【００５８】
このとき、情報処理装置１００は、撮像画像に基づいて、リモートコントローラ１０において操作が行われたボタンを認識する。また、情報処理装置１００は、リモートコントローラ１０から赤外線通信などにより送信された操作信号を受信する。そして、情報処理装置１００は、例えば、認識されたボタンと受信した操作信号とを対応付けてテーブルに記録する。本実施形態に係る操作デバイスと操作信号とが対応付けられるテーブルは、例えば、情報処理装置１００が備える記憶部（後述する）を構成する記録媒体や、情報処理装置１００の外部の記録媒体などの記録媒体に、記憶される。
【００５９】
図２は、本実施形態に係る操作デバイスと操作信号とが対応付けられるテーブルの一例を示す説明図である。図２のＡは、リモートコントローラ１０を示しており、図２のＢは、操作デバイスと操作信号とが対応付けられるテーブルの一例を示している。
【００６０】
ここで、図２のＢに示す“リモートコントローラキー”は、操作が行われた操作デバイスの名称を示している。図２のＢに示すテーブルにおいて“リモートコントローラキー”の列に記録されるデータが、操作が行われた操作デバイスの認識結果の一例に該当する。また、図２のＢに示す“リモートコントローラコード”は、操作信号が示す操作された操作デバイスに対応する処理を示すコードを示している。図２のＢに示すテーブルにおいて“リモートコントローラコード”
の列に記録されるデータが、操作信号を示すデータの一例に該当する。
【００６１】
例えば図２のＡにおいて符号１で示されるボタンが押下された場合、図２のＢに示すテーブルには、登録番号１で示されるようなデータが記録される。また、例えば図２のＡにおいて符号２〜５でそれぞれ示されるボタンが押下された場合、図２のＢに示すテーブルには、登録番号２〜５でそれぞれ示されるようなデータが記録される。
【００６２】
なお、操作デバイスと操作信号とが対応付けられるテーブルの例は、図２のＢに示す例に限られない。例えば、操作デバイスと操作信号とが対応付けられるテーブルでは、操作信号の生の波形が記録されてもよく、また、操作信号に対応するデジタル信号が記録されてもよい。また、操作デバイスと操作信号とが対応付けられるテーブルには、例えば、図２のＢに示す“リモートコントローラキー”の代わりに、操作が行われた操作デバイスを示す任意のデータが記録されてもよい。
【００６３】
情報処理装置１００は、例えば、撮像画像に基づいてリモートコントローラ１０において操作が行われた操作デバイスを認識するごとに、図２のＢに示すようなテーブルを更新する。例えば、図２のＡに示すリモートコントローラ１０が有する全てのボタンが押下された場合には、リモートコントローラ１０が有する各ボタンと、各ボタンにそれぞれ対応する操作信号とが対応付けられ、図２のＢに示すようなテーブルに記録される。
【００６４】
なお、例えばリモートコントローラ１０において同一の操作デバイスが複数回操作された場合、すなわち、操作が行われた操作デバイスと同一の“リモートコントローラキー”または操作が行われた操作デバイスと同一の“リモートコントローラコード”を有するレコードが、図２のＢに示すようなテーブルに既に存在する場合には、情報処理装置１００は、当該テーブルにおける既に存在するレコードを上書き更新してもよいし、当該テーブルを更新しなくてもよい。
【００６５】
再度図１Ａ、図１Ｂを参照して、第１の実施形態に係る情報処理方法に係る処理により実現されるユースケースの一例を説明する。
【００６６】
リモートコントローラアプリケーションの制御モードが設定されると、例えば図１ＡのＢに示すように、仮想的なリモートコントローラが、表示画面に表示される。リモートコントローラアプリケーションにおける制御モードの設定は、例えば、情報処理装置１００のユーザの操作に基づき行われる。なお、リモートコントローラアプリケーションにおける制御モードの設定は、例えば、上記登録モードの自動設定に係る所定の条件を満たさない場合に、自動的に行われてもよい。
【００６７】
ここで、例えば図１ＡのＢに示すように、表示画面には、仮想的なリモートコントローラの一部分が表示される。また、表示画面には、仮想的なリモートコントローラの全体が表示されてもよい。仮想的なリモートコントローラの一部分が表示画面に表示される場合には、仮想的なリモートコントローラの全体が表示画面に表示される場合よりも、より大きな表示サイズで、仮想的なリモートコントローラを表示させることが可能となる。仮想的なリモートコントローラの一部分が表示画面に表示される場合、表示画面に表示される仮想的なリモートコントローラの一部分は、例えばユーザの操作によって変わる。また、図１ＡのＢでは示していないが、仮想的なリモートコントローラの一部分が表示画面に表示される場合、スクロールバーなどが表示されていてもよい。
【００６８】
また、例えば図１ＡのＢにおいて符号Ｏで示すように、表示画面に表示される仮想的なリモートコントローラでは、仮想的な操作デバイスが明示されていてもよい。
【００６９】
例えば図１Ｂに示すように、情報処理装置１００のユーザが、仮想的な操作デバイスである仮想的なボタンを操作すると、情報処理装置１００は、操作された仮想的なボタンに対応付けられている操作信号を送信させる。ここで、図１Ｂに示す例では、仮想的なリモートコントローラがタッチパネルの表示画面に表示され、表示されている仮想的なボタンを指で押下すること（表示画面に対する直接的な操作の一例）によって、操作信号が送信される例を示している。
【００７０】
情報処理装置１００において実行されているリモートコントローラアプリケーションは、例えば、仮想的なリモートコントローラを表示画面に表示させる際に、タッチパネルと仮想的なリモートコントローラに係る画像との対応関係を得る。リモートコントローラアプリケーションは、例えば、撮像画像に基づいてリモートコントローラをマッピングすることによって、タッチパネルと仮想的なリモートコントローラに係る画像との対応関係を得る。また、リモートコントローラアプリケーションは、タッチパネルと仮想的なリモートコントローラに係る画像との対応関係に基づき、どの仮想的なボタンが押下されたかを特定する。そして、リモートコントローラアプリケーションは、押下された仮想的なボタンに対応付けられている操作信号を送信させる。
【００７１】
情報処理装置１００から送信された操作信号によって、制御対象２０は、リモートコントローラ１０から操作信号が送信される場合と同様に、操作される。
【００７２】
図３は、第１の実施形態に係る情報処理方法に係る、登録に係る処理の一例を示す流れ図であり、図４は、第１の実施形態に係る情報処理方法に係る、制御に係る処理の一例を示す流れ図である。図３、図４に示す処理は、図１Ａ、図１Ｂを参照して示したユースケースに係る処理の一例を示している。図３は、リモートコントローラアプリケーションの登録モードが選択される場合における処理の一例を示しており、図４は、リモートコントローラアプリケーションの制御モードが選択される場合における処理の一例を示している。
【００７３】
［３−１］リモートコントローラアプリケーションの登録モードが選択される場合における処理の一例（図３）
情報処理装置１００は、ユーザの操作などに基づいて、リモートコントローラアプリケーションを起動し（Ｓ１００）、動作モードを登録モードに設定する（Ｓ１０２）。
【００７４】
情報処理装置１００は、例えば撮像部（図示せず）を構成する撮像デバイスを制御して、リモートコントローラ１０を撮像する（Ｓ１０４）。
【００７５】
情報処理装置１００は、ユーザがリモートコントローラ１０のボタンを押下しているところが撮像されると、撮像画像に基づいてリモートコントローラ１０においてどのボタンが押下されたかを認識する（Ｓ１０６）。
【００７６】
また、情報処理装置１００は、リモートコントローラ１０から送信される操作信号を受信する（Ｓ１０８）。なお、図１では、ステップＳ１０６の処理の後にステップＳ１０８の処理が行われる例が示しているが、情報処理装置１００は、ユーザによるリモートコントローラ１０の操作によって、ステップＳ１０６の処理とステップＳ１０８の処理とを、それぞれ並列に行うことが可能である。
【００７７】
情報処理装置１００は、ステップＳ１０６において認識されたボタンと、ステップＳ１０８において受信された操作信号とを対応付ける（Ｓ１１０）。情報処理装置１００は、例えば、図２に示すようなテーブルに、ステップＳ１０６において認識されたボタンに対応するデータと、ステップＳ１０８において受信された操作信号に対応するデータとを対応付けて記録することによって、認識されたボタンと受信された操作信号とを対応付ける。
【００７８】
情報処理装置１００は、リモートコントローラアプリケーションを終了するか否かを判定する（Ｓ１１２）。情報処理装置１００は、例えば、リモートコントローラアプリケーションを終了する操作が行われたことが検出された場合に、リモートコントローラアプリケーションを終了すると判定する。
【００７９】
ステップＳ１１２においてリモートコントローラアプリケーションを終了すると判定されない場合、情報処理装置１００は、ステップＳ１０６からの処理を繰り返す。
【００８０】
また、ステップＳ１１２においてリモートコントローラアプリケーションを終了すると判定された場合には、情報処理装置１００は、実行されているリモートコントローラアプリケーションを終了させて、図３の処理を終了する。
【００８１】
［３−２］リモートコントローラアプリケーションの制御モードが選択される場合における処理の一例（図４）
情報処理装置１００は、ユーザの操作などに基づいて、リモートコントローラアプリケーションを起動し（Ｓ２００）、動作モードを制御モードに設定する（Ｓ２０２）。例えば制御モードに設定されることによって、表示画面には、仮想的なリモートコントローラが表示される。
【００８２】
情報処理装置１００は、図１のステップＳ１１２と同様に、リモートコントローラアプリケーションを終了するか否かを判定する（Ｓ２０４）。
【００８３】
ステップＳ２０４においてリモートコントローラアプリケーションを終了すると判定されない場合、情報処理装置１００は、表示画面に表示されているボタンが操作されたか否かを判定する（Ｓ２０６）。例えば、仮想的なリモートコントローラがタッチパネルの表示画面に表示されている場合、情報処理装置１００は、タッチパネルと仮想的なリモートコントローラに係る画像との対応関係に基づき、どのボタンが押下されたかが特定されたときに、表示画面に表示されているボタンが操作されたと判定する。
【００８４】
ステップＳ２０６において表示画面に表示されているボタンが操作されたと判定されない場合、情報処理装置１００は、ステップＳ２０４からの処理を繰り返す。
【００８５】
また、ステップＳ２０６において表示画面に表示されているボタンが操作されたと判定された場合には、情報処理装置１００は、操作されたボタンに対応する操作信号を送信させる（Ｓ２０８）。そして、情報処理装置１００は、ステップＳ２０４からの処理を繰り返す。
【００８６】
ステップＳ２０４においてリモートコントローラアプリケーションを終了すると判定された場合には、情報処理装置１００は、実行されているリモートコントローラアプリケーションを終了させて、図４の処理を終了する。
【００８７】
例えば図３、図４に示す処理が情報処理装置１００において行われることによって、図１Ａ、図１Ｂを参照して示したユースケースが実現される。なお、第１の実施形態に係る情報処理方法に係る処理の例が、図３、図４に示す例に限られないことは、言うまでもない。
【００８８】
（第１の実施形態に係る情報処理装置）
次に、上述した第１の実施形態に係る情報処理方法に係る処理を行うことが可能な第１の実施形態に係る情報処理装置の構成の一例について、説明する。
【００８９】
図５は、第１の実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、受信部１０２と、送信部１０４と、制御部１０６とを備える。
【００９０】
また、情報処理装置１００は、例えば、ＲＯＭ（Read  Only  Memory。図示せず）や、ＲＡＭ（Random  Access  Memory。図示せず）、記憶部（図示せず）、情報処理装置１００の使用者が操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。また、情報処理装置１００は、例えば、情報処理装置１００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
【００９１】
ＲＯＭ（図示せず）は、制御部１０６が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０６により実行されるプログラムなどを一時的に記憶する。
【００９２】
記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、操作デバイスと操作信号とが対応付けられるテーブルなどの第１の実施形態に係る情報処理方法に係るデータや、リモートコントローラアプリケーションなどの各種アプリケーションなど、様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard  Disk）などの磁気記録媒体や、フラッシュメモリ（flash  memory）などの不揮発性メモリ（nonvolatile  memory）などが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。
【００９３】
操作部（図示せず）としては、後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。
【００９４】
［情報処理装置１００のハードウェア構成例］
図６は、第１の実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、ＩＲ送受信デバイス１６４と、通信インタフェース１６６と、撮像デバイス１６８とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１７０で各構成要素間を接続する。
【００９５】
ＭＰＵ１５０は、例えば、ＭＰＵ（Micro  Processing  Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部１０６として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、後述する処理部１１０の役目を果たす。なお、処理部１１０は、処理部１１０の処理を実現可能な専用の（または汎用の）回路（例えば、ＭＰＵ１５０とは別体のプロセッサなど）で構成されていてもよい。
【００９６】
ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
【００９７】
記録媒体１５６は、記憶部（図示せず）として機能し、例えば、操作デバイスと操作信号とが対応付けられるテーブルなどの第１の実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。
【００９８】
入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal  Serial  Bus）端子や、ＤＶＩ（Digital  Visual  Interface）端子、ＨＤＭＩ（High-Definition  Multimedia  Interface）（登録商標）端子、各種処理回路などが挙げられる。
【００９９】
また、操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
【０１００】
また、表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid  Crystal  Display）や有機ＥＬディスプレイ（Organic  Electro-Luminescence  Display。または、ＯＬＥＤディスプレイ（Organic  Light  Emitting  Diode  Display）ともよばれる。）などが挙げられる。
【０１０１】
なお、入出力インタフェース１５８が、情報処理装置１００の外部の操作入力デバイス（例えば、キーボードやマウスなど）や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
【０１０２】
ＩＲ送受信デバイス１６４は、情報処理装置１００が備える一の通信手段であり、赤外線により信号の送受信を行う。ＩＲ送受信デバイス１６４は、リモートコントローラから送信される送信信号を受信する受信部１０２、および操作信号を送信する送信部１０４として機能する。
【０１０３】
通信インタフェース１６６は、情報処理装置１００が備える他の通信手段であり、ネットワークを介して（あるいは、直接的に）、例えば外部装置などと無線または有線で通信を行うための通信部（図示せず）として機能する。ここで、通信インタフェース１６６としては、例えば、通信アンテナおよびＲＦ（Radio  Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local  Area  Network）端子および送受信回路（有線通信）などが挙げられる。
【０１０４】
撮像デバイス１６８は、情報処理装置１００が備える撮像手段であり、撮像部（図示せず）として機能する。撮像デバイス１６８は、例えば、レンズ／撮像素子と信号処理回路とを含んで構成される。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）、ＣＣＤ（Charge-Coupled  Device）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic  Gain  Control）回路やＡＤＣ（Analog  to  Digital  Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ  Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。
【０１０５】
情報処理装置１００は、例えば図６に示す構成によって、第１の実施形態に係る情報処理方法に係る処理を行う。なお、第１の実施形態に係る情報処理装置１００のハードウェア構成は、図６に示す構成に限られない。
【０１０６】
例えば、情報処理装置１００は、接続されている外部のＩＲ送受信デバイスを介して外部装置と通信を行う場合には、ＩＲ送受信デバイス１６４を備えていなくてもよい。
【０１０７】
また、情報処理装置１００は、例えば、ＩＲ送受信デバイス１６４の代わりに、リモートコントローラが操作信号の送信に用いる任意の通信方式に対応する通信デバイスを備えていてもよい。ここで、上記リモートコントローラが操作信号の送信に用いる任意の通信方式に対応する通信デバイスは、受信部１０２、および送信部１０４として機能する。
【０１０８】
また、情報処理装置１００は、例えば、受信部１０２として機能する通信デバイスと、受信部１０２として機能する通信デバイスとを、それぞれ備えていてもよい。
【０１０９】
また、情報処理装置１００は、例えば、接続されている外部の撮像デバイスを介して撮像を行う場合には、撮像デバイス１６８を備えていなくてもよい。
【０１１０】
また、情報処理装置１００は、例えば、記録媒体１５６、操作入力デバイス１６０、表示デバイス１６２、および通信インタフェース１６６のうちの１または２以上を備えない構成をとることが可能である。
【０１１１】
また、情報処理装置１００は、例えば、後述する情報処理装置１００の適用例に応じた構成をとることが可能である。
【０１１２】
また、例えば、図６に示す構成（または変形例に係る構成）の一部または全部は、１、または２以上のＩＣ（Integrated  Circuit）で実現されてもよい。
【０１１３】
再度図５を参照して、情報処理装置１００の構成の一例について説明する。受信部１０２は、リモートコントローラから送信される操作信号を受信する。受信部１０２としては、例えば、ＩＲ送受信デバイス１６４が挙げられる。
【０１１４】
送信部１０４は、操作信号を送信する。送信部１０４としては、例えば、ＩＲ送受信デバイス１６４が挙げられる。
【０１１５】
制御部１０６は、例えばＭＰＵなどで構成され、情報処理装置１００全体を制御する役目を果たす。また、制御部１０６は、例えば、処理部１１０を備え、第１の実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
【０１１６】
処理部１１０は、第１の実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
【０１１７】
処理部１１０は、例えば、第１の実施形態に係る対応付け処理を行い、リモートコントローラが撮像された撮像画像と、操作デバイスに対する操作に応じてリモートコントローラから送信される操作信号とに基づいて、操作が行われた操作デバイスと操作信号とを対応付ける。処理部１１０は、例えば、受信部１０２により受信された操作信号に基づいて、操作が行われた操作デバイスと操作信号とを対応付ける。
【０１１８】
また、処理部１１０は、例えば、仮想リモートコントローラ制御処理をさらに行ってもよい。
【０１１９】
処理部１１０は、仮想的なリモートコントローラを生成して、仮想的なリモートコントローラを表示画面に表示させる。そして、処理部１１０は、例えば仮想的なリモートコントローラに対するユーザの操作に基づいて、仮想的なリモートコントローラを制御する。
【０１２０】
仮想的な操作デバイスに対する操作が検出された場合、処理部１１０は、操作が検出された仮想的な操作デバイスに対応する操作信号を、送信させる。処理部１１０は、送信部１０４に操作信号を送信させる。
【０１２１】
情報処理装置１００は、例えば図５に示す構成によって、第１の実施形態に係る情報処理方法に係る処理を行う。したがって、情報処理装置１００は、例えば図５に示す構成によって、リモートコントローラにおいて操作が行われた操作デバイスと、当該操作に応じて当該リモートコントローラから送信される操作信号とを対応付けることができる。
【０１２２】
また、例えば図５に示す構成によって、情報処理装置１００は、上述したような第１の実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
【０１２３】
なお、第１の実施形態に係る情報処理装置の構成は、図５に示す構成に限られない。
【０１２４】
例えば、第１の実施形態に係る情報処理装置は、図５に示す処理部１１０を、制御部１０６とは個別に備える（例えば、別の処理回路で実現する）ことができる。また、処理部１１０は、複数の処理回路で実現され、各機能が複数の処理回路で分散して行われてもよい。
【０１２５】
また、第１の実施形態に係る情報処理方法に係る処理を実現するための構成は、図５に示す構成に限られず、第１の実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
【０１２６】
また、例えば、受信部１０２と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、第１の実施形態に係る情報処理装置は、受信部１０２を備えていなくてもよい。第１の実施形態に係る情報処理装置が受信部１０２を備えない構成である場合、処理部１１０は、上記外部の通信デバイスにより受信された操作信号に基づいて、操作が行われた操作デバイスと操作信号とを対応付ける。
【０１２７】
また、例えば、送信部１０４と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、第１の実施形態に係る情報処理装置は、送信部１０４を備えていなくてもよい。第１の実施形態に係る情報処理装置が送信部１０４を備えない構成である場合、処理部１１０は、上記外部の通信デバイスに操作信号を送信させる。
【０１２８】
また、第１の実施形態に係る情報処理装置は、撮像部（図示せず）をさらに備えていてもよい。撮像部（図示せず）をさらに備える場合、処理部１１０は、撮像部（図示せず）により生成された撮像画像に基づいて、操作が行われた操作デバイスと操作信号とを対応付ける。
【０１２９】
以上、第１の実施形態として、情報処理装置を挙げて説明したが、第１の実施形態は、かかる形態に限られない。第１の実施形態は、例えば、“スマートフォンなどの通信装置”や、“ＰＣ（Personal  Computer）などのコンピュータ”、“アイウェア型の装置、時計型の装置、腕輪型の装置などのようなユーザの身体に装着して用いられる任意のウェアラブル装置”、“タブレット型の装置”、“デジタルビデオカメラ、デジタルスチルカメラなどの撮像装置”、“ゲーム機”、“自動車などの移動体”など、第１の実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、第１の実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣに適用することもできる。
【０１３０】
（第２の実施形態に係る情報処理方法）
上述した第１の実施形態では、第１の実施形態に係る情報処理装置が、リモートコントローラから送信される送信信号を受信する機能、および送信信号を送信する機能を有する実施形態を示した。
【０１３１】
しかしながら、第１の実施形態に係る情報処理方法に係る処理を行う情報処理装置が、常に、リモートコントローラから送信される送信信号を受信する機能、および送信信号を送信する機能を有しているとは限られない。
【０１３２】
そこで、次に、第２の実施形態に係る情報処理方法として、“リモートコントローラ１０と第１の実施形態に係る情報処理方法に係る処理を行う情報処理装置１００との間における送信信号の送受信”、および“情報処理装置１００と制御対象２０との間における送信信号の送受信”をそれぞれ中継することが可能な装置に適用される、情報処理方法を説明する。以下では、第２の実施形態に係る情報処理方法に係る処理を、第２の実施形態に係る情報処理装置が行う場合を例に挙げる。
【０１３３】
［Ｉ］第２の実施形態に係る情報処理方法に係る処理
第２の実施形態に係る情報処理装置は、“外部装置から送信された、リモートコントローラにおいて操作が行われた操作デバイスの認識結果と、リモートコントローラから送信された操作信号とに基づいて、操作が行われた操作デバイスと操作信号とを対応付ける処理”（以下、「第２の実施形態に係る対応付け処理」と示す。）を、行う。
【０１３４】
ここで、リモートコントローラにおいて操作が行われた操作デバイスの認識結果とは、上記第１の実施形態に係る対応付け処理における認識結果、すなわち、撮像画像に基づいて、リモートコントローラにおいて操作が行われた操作デバイスが認識された結果である。リモートコントローラにおいて操作が行われた操作デバイスの認識結果としては、例えば、図２のＢに示す“リモートコントローラキー”を示すデータなどの、操作が行われた操作デバイスを示すデータが挙げられる。
【０１３５】
また、リモートコントローラにおいて操作が行われた操作デバイスの認識結果を送信する外部装置としては、例えば、情報処理装置１００などの第１の実施形態に係る情報処理方法に係る処理を行うことが可能な装置が、挙げられる。
【０１３６】
第２の実施形態に係る情報処理装置は、第２の実施形態に係る情報処理装置が備えている通信部（後述する）を構成する通信デバイス、または、接続されている外部の通信デバイスによって、情報処理装置１００などの外部装置と通信を行う。
【０１３７】
また、第２の実施形態に係る情報処理装置は、第２の実施形態に係る情報処理装置が備えている受信部（後述する）を構成する通信デバイス、または、第２の実施形態に係る情報処理装置の外部の通信デバイスによって、リモートコントローラから送信される送信信号を受信する。第２の実施形態に係る情報処理装置は、受信部（後述する）を構成する通信デバイスにより受信された操作信号、または、外部の通信デバイスにより受信された操作信号を、第２の実施形態に係る対応付け処理に用いる。
【０１３８】
第２の実施形態に係る情報処理装置は、第１の実施形態に係る情報処理装置と同様に、例えば図２のＢに示すようなテーブルを用いて、操作が行われた操作デバイスと操作信号とを対応付ける。
【０１３９】
第２の実施形態に係る情報処理方法に係る処理として、上記第２の実施形態に係る対応付け処理が行われる場合には、“情報処理装置１００などの第１の実施形態に係る情報処理方法に係る処理を行うことが可能な装置において、撮像画像に基づき認識された、操作が行われた操作デバイス”と、“リモートコントローラから送信された操作信号”とが対応付けられる。
【０１４０】
ここで、情報処理装置１００などにおいて撮像画像に基づいて操作が行われた操作デバイスが認識されたときに、第２の実施形態に係る情報処理装置において受信された操作信号は、当該操作に応じてリモートコントローラから送信された送信信号である可能性が高い。
【０１４１】
したがって、第２の実施形態に係る情報処理装置は、上記第２の実施形態に係る対応付け処理を行うことによって、上述した第１の実施形態に係る情報処理方法が用いられる場合と同様に、リモートコントローラにおいて操作が行われた操作デバイスと、当該操作に応じて当該リモートコントローラから送信される操作信号とを対応付けることができる。
【０１４２】
また、第２の実施形態に係る情報処理装置は、上記のように、“情報処理装置１００などにおいて撮像画像に基づき認識された、操作が行われた操作デバイス”と“リモートコントローラから送信された操作信号”とを対応付ける。よって、例えば、第２の実施形態に係る情報処理装置のユーザは、操作デバイスと操作信号とを手動で対応付ける必要はない。また、第２の実施形態に係る情報処理装置は、リモートコントローラの型番を示すデータなどに依存せずに、操作デバイスと操作信号とを対応付けることができる。
【０１４３】
［ＩＩ］第２の実施形態に係る情報処理方法に係る他の処理
なお、第２の実施形態に係る情報処理方法に係る処理は、上記第２の実施形態に係る対応付け処理に限られない。
【０１４４】
例えば、第２の実施形態に係る情報処理装置は、“操作デバイスを示す指示信号に基づいて、指示信号が示す操作デバイスに対応付けられている操作信号を、送信させる処理”（以下、「送信制御処理」と示す。）を、さらに行ってもよい。
【０１４５】
本実施形態に係る指示信号としては、例えば、図２のＢに示す“リモートコントローラキー”を示す信号などの、操作デバイスを示すことが可能な任意の信号が挙げられる。指示信号は、例えば、仮想的なリモートコントローラに対応する操作に応じて、情報処理装置１００などの第１の実施形態に係る情報処理方法に係る処理を行うことが可能な装置から送信され、通信部（後述する）により受信される。
【０１４６】
一例を挙げると、“リモートコントローラキー”を示す指示信号を受信した場合、第２の実施形態に係る情報処理装置は、図２のＢに示すテーブルを参照することによって、指示信号が示す“リモートコントローラキー”に対応する“リモートコントローラコード”を特定する。そして、第２の実施形態に係る情報処理装置は、特定された“リモートコントローラコード”に対応する操作信号（指示信号が示す操作デバイスに対応付けられている操作信号の一例）を、送信させる。
【０１４７】
第２の実施形態に係る情報処理装置は、例えば、第２の実施形態に係る情報処理装置が備える送信部（後述する）を構成する通信デバイス、または、第２の実施形態に係る情報処理装置の外部の通信デバイスに、指示信号が示す操作デバイスに対応付けられている操作信号を送信させる。ここで、送信部（後述する）を構成する通信デバイスと、上述した受信部（後述する）を構成する通信デバイスとは、同一の通信デバイスであってもよいし、異なる通信デバイスであってもよい。同様に、指示信号が示す操作デバイスに対応付けられている操作信号を送信する外部の通信デバイスと、リモートコントローラから送信された操作信号を受信する外部の通信デバイスとは、同一の通信デバイスであってもよいし、異なる通信デバイスであってもよい。
【０１４８】
また、本実施形態に係る指示信号には、例えば、装置を示すＩＤなどの識別情報が含まれていてもよい。
【０１４９】
指示信号に識別情報が含まれる場合、第２の実施形態に係る情報処理装置は、識別情報が第２の実施形態に係る情報処理装置を示すときに、送信制御処理を行う。また、指示信号に識別情報が含まれる場合、第２の実施形態に係る情報処理装置は、識別情報が第２の実施形態に係る情報処理装置を示さないときには、送信制御処理を行わない。
【０１５０】
上記のように、第２の実施形態に係る情報処理装置が、識別情報に基づき選択的に送信制御処理を行うことによって、例えば、“ある空間内に、第２の実施形態に係る情報処理装置が複数存在する場合であっても、識別情報に対応する特定の第２の実施形態に係る情報処理装置のみにおいて、送信制御処理が行われること”を、実現することができる。
【０１５１】
また、第２の実施形態に係る情報処理装置は、“制御対象（リモートコントローラによる制御の対象の装置）の状態の検出結果に基づく処理”を、さらに行ってもよい。
【０１５２】
制御対象の状態は、例えば、制御対象を撮像することが可能な撮像デバイスにおける撮像により生成された撮像画像に基づいて、推定される。例えば、制御対象がテレビジョン放送受像機である場合、テレビジョン放送受像機の表示画面に画像が表示されているか否か、または、テレビジョン放送受像機の電源ランプの色などを撮像画像から検出することによって、電源の状態を推定することが可能である。また、例えば、制御対象がエアコンディショナである場合、エアコンディショナの表示ランプの色などを撮像画像から検出することによって、エアコンディショナの運転状態を推定することが可能である。
【０１５３】
また、制御対象の状態は、例えば、第２の実施形態に係る情報処理装置が制御対象と通信を行い、第２の実施形態に係る情報処理装置が、制御対象の状態を示す状態情報を制御対象から取得することによって、特定されてもよい。
【０１５４】
制御対象の状態の検出結果に基づく処理としては、例えば、“指示信号に基づく操作信号により実現された制御対象の状態を示す情報を、受信された指示信号に対する応答として、送信する処理”が挙げられる。
【０１５５】
制御対象の状態を示す情報が、指示信号を送信した外部装置に対して送信されることによって、当該外部装置では、制御対象の状態を把握することが可能となる。よって、例えば、上記外部装置が、“把握された制御対象の状態を示す文字や画像などを表示画面に表示させることによる視覚的な通知”と、“把握された制御対象の状態を示す音声をスピーカなどの音声出力デバイスから出力させることによる聴覚的な通知”との一方または双方を行うことによって、仮想的なリモートコントローラを操作したユーザに対して、操作の結果をフィードバックすることが、実現される。
【０１５６】
なお、制御対象の状態の検出結果に基づく処理は、上記“指示信号に基づく操作信号により実現された制御対象の状態を示す情報を、受信された指示信号に対する応答として、送信する処理”に限られない。
【０１５７】
例えば、第２の実施形態に係る情報処理装置は、“制御対象の状態を示す情報を、定期的または非定期的に、設定されている所定の装置に対して送信する処理”を行うことも可能である。ここで、上記所定の装置としては、例えば、制御対象を管理するサーバなどが挙げられる。
【０１５８】
第２の実施形態に係る情報処理装置が、上記“制御対象の状態を示す情報を、定期的または非定期的に、設定されている所定の装置に対して送信する処理”を行う場合には、第２の実施形態に係る情報処理装置は、例えば、制御対象をモニタリングする装置として機能することができる。
【０１５９】
［ＩＩＩ］第２の実施形態に係る情報処理方法に係る処理の具体例
次に、上述した第２の実施形態に係る情報処理方法に係る処理の具体例を、説明する。
【０１６０】
図７Ａは、第２の実施形態に係る情報処理方法に係る、登録に係る処理により実現されるユースケースの一例を示す説明図である。また、図７Ｂは、第２の実施形態に係る情報処理方法に係る、制御に係る処理により実現されるユースケースの一例を示す説明図である。図７Ａ、図７Ｂでは、符号１００で示す装置が、第１の実施形態に係る情報処理装置の一例に該当する。また、図７Ａ、図７Ｂでは、符号２００で示す装置が、第２の実施形態に係る情報処理装置の一例に該当する。また、図７Ａにおいて符号１０で示す装置が、リモートコントローラの一例に該当し、図７Ｂにおいて符号２０で示す装置が、リモートコントローラによる制御の対象である制御対象の一例に該当する。
【０１６１】
以下では、第１の実施形態に係る情報処理装置に該当する装置を「情報処理装置１００」と示し、第２の実施形態に係る情報処理装置に該当する装置を「情報処理装置２００」と示す。また、以下では、リモートコントローラに該当する装置を「リモートコントローラ１０」と示し、制御対象に該当する装置を「制御対象２０」と示す。なお、情報処理装置１００、情報処理装置２００、リモートコントローラ１０、および制御対象２０それぞれが、図７Ａ、図７Ｂに示す例に限られないことは、言うまでもない。
【０１６２】
例えば、情報処理装置１００においてリモートコントローラアプリケーションが実行されると、情報処理装置１００と情報処理装置２００との間で、通信が開始される。情報処理装置１００と情報処理装置２００との間の通信としては、例えば、ＩＥＥＥ８０２．１５．１規格による通信、ＩＥＥＥ８０２．１１規格による通信などの、通信を行うことが可能な任意の無線通信、または任意の有線通信が挙げられる。情報処理装置１００と情報処理装置２００との間の通信がＩＥＥＥ８０２．１５．１規格による通信である場合を例に挙げると、情報処理装置１００および情報処理装置２００それぞれにおいて、ペアリングと呼ばれる処理が行われることによって、情報処理装置１００と情報処理装置２００との間で通信路が確立され、通信が開始される。
【０１６３】
情報処理装置１００のユーザの操作によりリモートコントローラアプリケーションの登録モードが選択されると、情報処理装置１００が備える撮像部（後述する）を構成する撮像デバイスが起動する。
【０１６４】
例えば、図７ＡのＡに示すように、上記撮像デバイスによりリモートコントローラ１０が撮像されている状態で、情報処理装置１００のユーザが、リモートコントローラ１０が有するボタン（操作デバイスの一例）を押下する操作を行う場合を想定する。
【０１６５】
このとき、情報処理装置１００は、撮像画像に基づいて、リモートコントローラ１０において操作が行われたボタンを認識する。情報処理装置１００は、操作が行われたボタンの認識結果を、情報処理装置２００との間で確立されている通信路によって、情報処理装置２００に送信する。
【０１６６】
また、情報処理装置２００は、リモートコントローラ１０から赤外線通信などにより送信された操作信号を受信する。
【０１６７】
情報処理装置２００は、情報処理装置１００から取得された操作が行われたボタンの認識結果と、受信した操作信号とを対応付けて、例えば図２のＢに示すようなテーブルに記録する。本実施形態に係る操作が行われた操作デバイスの認識結果と操作信号とが対応付けられるテーブルは、例えば、情報処理装置２００が備える記憶部（後述する）を構成する記録媒体、または、情報処理装置２００の外部の記録媒体などの記録媒体に、記憶される。
【０１６８】
また、情報処理装置２００は、受信した操作信号を、情報処理装置１００との間で確立されている通信路によって、情報処理装置１００に送信する。
【０１６９】
情報処理装置１００は、認識されたボタンと受信した操作信号とを対応付けて、例えば図２のＢに示すようなテーブルに記録する。
【０１７０】
情報処理装置１００のユーザの操作によりリモートコントローラアプリケーションの制御モードが選択されると、図１ＡのＢと同様に、図７ＡのＢに示すような仮想的なリモートコントローラが、表示画面に表示される。
【０１７１】
例えば図７Ｂに示すように、情報処理装置１００のユーザが、仮想的な操作デバイスである仮想的なボタンを押下すると、情報処理装置１００は、押下された仮想的なボタンに対応付けられている操作デバイスを示す指示信号を、情報処理装置２００との間で確立されている通信路によって、情報処理装置２００に送信する。ここで、図７Ｂに示す例では、図１Ｂに示す場合と同様に、仮想的なリモートコントローラがタッチパネルの表示画面に表示され、表示画面に対する直接的な操作によって、指示信号が送信される例を示している。
【０１７２】
指示信号を受信した情報処理装置２００は、指示信号が示す操作デバイスに対応付けられている操作信号を、赤外線通信などのリモートコントローラが操作信号を送信させる通信方式の通信によって、送信させる。
【０１７３】
情報処理装置２００から送信された操作信号によって、制御対象２０は、リモートコントローラ１０から操作信号が送信される場合と同様に、操作される。
【０１７４】
図８は、第２の実施形態に係る情報処理方法に係る、登録に係る処理の一例を示す流れ図であり、図９は、第２の実施形態に係る情報処理方法に係る、制御に係る処理の一例を示す流れ図である。図８、図９に示す処理は、図７Ａ、図７Ｂを参照して示したユースケースに係る、情報処理装置１００および情報処理装置２００それぞれにおける処理の一例を示している。図８は、情報処理装置１００においてリモートコントローラアプリケーションの登録モードが選択される場合における処理の一例を示しており、図９は、情報処理装置１００においてリモートコントローラアプリケーションの制御モードが選択される場合における処理の一例を示している。
【０１７５】
［ＩＩＩ−１］情報処理装置１００においてリモートコントローラアプリケーションの登録モードが選択される場合における処理の一例（図８）
以下、図８を参照して、情報処理装置１００および情報処理装置２００それぞれにおける処理の一例を説明する。
【０１７６】
［ＩＩＩ−１−１］情報処理装置１００における処理の一例
情報処理装置１００は、ユーザの操作などに基づいて、リモートコントローラアプリケーションを起動する（Ｓ３００）。リモートコントローラアプリケーションが起動されると、情報処理装置１００は、ペアリングに係る処理を行い（Ｓ３０２）、情報処理装置２００との間で通信路が確立される。
【０１７７】
情報処理装置１００は、ユーザの操作などに基づいて、動作モードを登録モードに設定する（Ｓ３０４）。
【０１７８】
情報処理装置１００は、例えば撮像部（図示せず）を構成する撮像デバイスを制御して、リモートコントローラ１０を撮像する（Ｓ３０６）。
【０１７９】
情報処理装置１００は、撮像画像に基づいて、ユーザがリモートコントローラ１０のボタンを押下したか否かを判定する（Ｓ３０８）。情報処理装置１００は、図３のステップＳ１０６と同様に、撮像画像に基づいてリモートコントローラ１０においてどのボタンが押下されたかを認識することによって、ステップＳ３０８の処理を行う。
【０１８０】
ステップＳ３０８において、ユーザがリモートコントローラ１０のボタンを押下したと判定された場合には、情報処理装置１００は、操作が認識されたボタンに対応するキー情報を送信する（Ｓ３１０）。そして、情報処理装置１００は、ステップＳ３０６からの処理を繰り返す。本実施形態に係るキー情報としては、例えば、図２のＢに示す“リモートコントローラキー”を示すデータ、または、操作デバイスを特定することが可能な番号を示すデータが挙げられる。また、ステップＳ３１０において送信されるキー情報は、操作が行われた操作デバイスの認識結果を示すデータの一例に該当する。
【０１８１】
また、ステップＳ３０８において、ユーザがリモートコントローラ１０のボタンを押下したと判定されない場合には、情報処理装置１００は、登録モードを終了するか否かを判定する（Ｓ３１２）。情報処理装置１００は、登録モードを終了する操作が行われたことが検出された場合に、登録モードを終了すると判定する。
【０１８２】
ステップＳ３１２において登録モードを終了すると判定されない場合、情報処理装置１００は、ステップＳ３０６からの処理を繰り返す。
【０１８３】
また、ステップＳ３１２において登録モードを終了すると判定された場合には、情報処理装置１００は、登録モードを終了させて、図８の処理を終了する。
【０１８４】
［ＩＩＩ−１−２］情報処理装置２００における処理の一例
情報処理装置２００は、例えば、ステップＳ３０２において情報処理装置１００から送信される信号をトリガとして、ペアリングに係る処理を行い（Ｓ４００）、情報処理装置１００との間で通信路が確立される。また、情報処理装置２００は、例えば、ステップＳ３０２において情報処理装置１００から送信される信号をトリガとして、動作の状態を、スリープ状態から、処理を行うことが可能な状態（例えば、主電源がＯＮとされる状態）へと遷移させてもよい。
【０１８５】
情報処理装置２００は、例えば、ステップＳ３０２において情報処理装置１００から送信される登録モードを示す情報に基づいて、登録モードを設定する（Ｓ４０２）。
【０１８６】
情報処理装置２００は、例えば受信部（後述する）において、リモートコントローラ１０から送信される操作信号を受信すると（Ｓ４０４）、ステップＳ３１０において情報処理装置１００から送信されたキー情報と操作信号とを、例えば図２のＢに示すテーブルなどに対応付けて記録する（Ｓ４０６）。図８では、キー情報と操作信号とが対応付けて記録される情報を、「キー情報と操作信号をマッピングした情報」と示している。
【０１８７】
情報処理装置２００は、登録モードを終了するか否かを判定する（Ｓ４０８）。情報処理装置２００は、情報処理装置１００から送信される登録モードを終了する旨の信号が、受信された場合に、登録モードを終了すると判定する。
【０１８８】
ステップＳ４０８において登録モードを終了すると判定されない場合、情報処理装置２００は、ステップＳ４０４からの処理を繰り返す。
【０１８９】
また、ステップＳ４０８において登録モードを終了すると判定された場合には、情報処理装置２００は、登録モードを終了させて、図８の処理を終了する。
【０１９０】
［ＩＩＩ−２］情報処理装置１００においてリモートコントローラアプリケーションの制御モードが選択される場合における処理の一例（図９）
以下、図９を参照して、情報処理装置１００および情報処理装置２００それぞれにおける処理の一例を説明する。
【０１９１】
［ＩＩＩ−２−１］情報処理装置１００における処理の一例
情報処理装置１００は、ユーザの操作などに基づいて、リモートコントローラアプリケーションを起動する（Ｓ５００）。リモートコントローラアプリケーションが起動されると、情報処理装置１００は、ペアリングに係る処理を行い（Ｓ５０２）、情報処理装置２００との間で通信路が確立される。
【０１９２】
情報処理装置１００は、ユーザの操作などに基づいて、動作モードを制御モードに設定する（Ｓ５０４）。
【０１９３】
情報処理装置１００は、図４のステップＳ２０６と同様に、表示画面に表示されているボタンが操作されたか否かを判定する（Ｓ５０６）。
【０１９４】
ステップＳ５０６において、表示画面に表示されているボタンが操作されたと判定された場合には、情報処理装置１００は、操作が認識されたボタンに対応するキー情報を送信する（Ｓ５０８）。そして、情報処理装置１００は、ステップＳ５０６からの処理を繰り返す。ここで、ステップＳ５０８において送信されるキー情報は、操作デバイスを示す指示信号の一例に該当する。
【０１９５】
また、ステップＳ５０６において、表示画面に表示されているボタンが操作されたと判定されない場合には、情報処理装置１００は、制御モードを終了するか否かを判定する（Ｓ５１０）。情報処理装置１００は、制御モードを終了する操作が行われたことが検出された場合に、制御モードを終了すると判定する。
【０１９６】
ステップＳ５１０において制御モードを終了すると判定されない場合、情報処理装置１００は、ステップＳ５０６からの処理を繰り返す。
【０１９７】
また、ステップＳ５１０において制御モードを終了すると判定された場合には、情報処理装置１００は、制御モードを終了させて、図９の処理を終了する。
【０１９８】
［ＩＩＩ−２−２］情報処理装置２００における処理の一例
情報処理装置２００は、例えば、ステップＳ５０２において情報処理装置１００から送信される信号をトリガとして、ペアリングに係る処理を行い（Ｓ６００）、情報処理装置１００との間で通信路が確立される。また、情報処理装置２００は、例えば、ステップＳ５０２において情報処理装置１００から送信される信号をトリガとして、動作の状態を、スリープ状態から、処理を行うことが可能な状態（例えば、主電源がＯＮとされる状態）へと遷移させてもよい。
【０１９９】
情報処理装置２００は、例えば、ステップＳ５０２において情報処理装置１００から送信される制御モードを示す情報に基づいて、制御モードを設定する（Ｓ６０２）。
【０２００】
情報処理装置２００は、ステップＳ５０８において情報処理装置１００から送信されたキー情報を受信すると、キー情報に対応する操作信号を送信する（Ｓ６０４）。情報処理装置２００は、図２のＢに示すテーブルなどの、キー情報と操作信号とが対応付けて記録される情報を参照することによって、キー情報に対応する操作信号を送信する。図９では、キー情報と操作信号とが対応付けて記録される情報を、「キー情報と操作信号をマッピングした情報」と示している。
【０２０１】
情報処理装置２００は、制御モードを終了するか否かを判定する（Ｓ６０６）。情報処理装置２００は、情報処理装置１００から送信される制御モードを終了する旨の信号が、受信された場合に、制御モードを終了すると判定する。
【０２０２】
ステップＳ６０６において制御モードを終了すると判定されない場合、情報処理装置２００は、ステップＳ６０４からの処理を繰り返す。
【０２０３】
また、ステップＳ６０６において制御モードを終了すると判定された場合には、情報処理装置２００は、制御モードを終了させて、図９の処理を終了する。
【０２０４】
例えば図８、図９に示す処理が情報処理装置１００および情報処理装置２００それぞれにおいて行われることによって、図７Ａ、図７Ｂを参照して示したユースケースが実現される。なお、第２の実施形態に係る情報処理方法に係る処理の例が、図８、図９に示す情報処理装置２００における処理の例に限られないことは、言うまでもない。
【０２０５】
（第２の実施形態に係る情報処理装置）
次に、上述した第２の実施形態に係る情報処理方法に係る処理を行うことが可能な第２の実施形態に係る情報処理装置の構成の一例について、説明する。
【０２０６】
図１０は、第２の実施形態に係る情報処理装置２００の構成の一例を示すブロック図である。情報処理装置２００は、例えば、受信部２０２と、送信部２０４と、通信部２０６と、制御部２０８とを備える。
【０２０７】
また、情報処理装置２００は、例えば、ＲＯＭ（図示せず）や、ＲＡＭ（図示せず）、記憶部（図示せず）、情報処理装置２００の使用者が操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置２００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。また、情報処理装置２００は、例えば、情報処理装置２００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
【０２０８】
ＲＯＭ（図示せず）は、制御部２０８が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部２０８により実行されるプログラムなどを一時的に記憶する。
【０２０９】
記憶部（図示せず）は、情報処理装置２００が備える記憶手段であり、例えば、操作デバイスと操作信号とが対応付けられるテーブルなどの第２の実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど、様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記憶部（図示せず）は、情報処理装置２００から着脱可能であってもよい。
【０２１０】
操作部（図示せず）としては、後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。
【０２１１】
［情報処理装置２００のハードウェア構成例］
図１１は、第２の実施形態に係る情報処理装置２００のハードウェア構成の一例を示す説明図である。情報処理装置２００は、例えば、ＭＰＵ２５０と、ＲＯＭ２５２と、ＲＡＭ２５４と、記録媒体２５６と、入出力インタフェース２５８と、操作入力デバイス２６０と、表示デバイス２６２と、ＩＲ送受信デバイス２６４と、通信インタフェース２６６とを備える。また、情報処理装置２００は、例えば、データの伝送路としてのバス２６８で各構成要素間を接続する。
【０２１２】
ＭＰＵ２５０は、例えば、ＭＰＵなどの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置２００全体を制御する制御部２０８として機能する。また、ＭＰＵ２５０は、情報処理装置２００において、例えば、後述する処理部２１０の役目を果たす。なお、処理部２１０は、処理部２１０の処理を実現可能な専用の（または汎用の）回路（例えば、ＭＰＵ２５０とは別体のプロセッサなど）で構成されていてもよい。
【０２１３】
ＲＯＭ２５２は、ＭＰＵ２５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ２５４は、例えば、ＭＰＵ２５０により実行されるプログラムなどを一時的に記憶する。
【０２１４】
記録媒体２５６は、記憶部（図示せず）として機能し、例えば、操作デバイスと操作信号とが対応付けられるテーブルなどの第２の実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体２５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体２５６は、情報処理装置２００から着脱可能であってもよい。
【０２１５】
入出力インタフェース２５８は、例えば、操作入力デバイス２６０や、表示デバイス２６２を接続する。操作入力デバイス２６０は、操作部（図示せず）として機能し、また、表示デバイス２６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース２５８としては、例えば、ＵＳＢ端子や、ＤＶＩ端子、ＨＤＭＩ（登録商標）端子、各種処理回路などが挙げられる。
【０２１６】
また、操作入力デバイス２６０は、例えば、情報処理装置２００上に備えられ、情報処理装置２００の内部で入出力インタフェース２５８と接続される。操作入力デバイス２６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
【０２１７】
また、表示デバイス２６２は、例えば、情報処理装置２００上に備えられ、情報処理装置２００の内部で入出力インタフェース２５８と接続される。表示デバイス２６２としては、例えば、液晶ディスプレイや有機ＥＬディスプレイなどが挙げられる。
【０２１８】
なお、入出力インタフェース２５８が、情報処理装置２００の外部の操作入力デバイス（例えば、キーボードやマウスなど）や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス２６２は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
【０２１９】
ＩＲ送受信デバイス２６４は、情報処理装置２００が備える一の通信手段であり、赤外線により信号の送受信を行う。ＩＲ送受信デバイス２６４は、リモートコントローラから送信される送信信号を受信する受信部２０２、および操作信号を送信する送信部２０４として機能する。
【０２２０】
通信インタフェース２６６は、情報処理装置２００が備える他の通信手段であり、ネットワークを介して（あるいは、直接的に）、例えば情報処理装置１００などの外部装置などと、無線または有線で通信を行うための通信部（図示せず）として機能する。ここで、通信インタフェース２６６としては、例えば、通信アンテナおよびＲＦ回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路、あるいはＬＡＮ端子および送受信回路（有線通信）などが挙げられる。
【０２２１】
情報処理装置２００は、例えば図１１に示す構成によって、第２の実施形態に係る情報処理方法に係る処理を行う。なお、第２の実施形態に係る情報処理装置２００のハードウェア構成は、図１１に示す構成に限られない。
【０２２２】
例えば、情報処理装置２００は、接続されている外部のＩＲ送受信デバイスを介して外部装置と通信を行う場合には、ＩＲ送受信デバイス２６４を備えていなくてもよい。
【０２２３】
また、情報処理装置２００は、例えば、ＩＲ送受信デバイス２６４の代わりに、リモートコントローラが操作信号の送信に用いる任意の通信方式に対応する通信デバイスを備えていてもよい。ここで、上記リモートコントローラが操作信号の送信に用いる任意の通信方式に対応する通信デバイスは、受信部２０２、および送信部２０４として機能する。
【０２２４】
また、情報処理装置２００は、例えば、受信部２０２として機能する通信デバイスと、受信部２０２として機能する通信デバイスとを、それぞれ備えていてもよい。
【０２２５】
また、例えば、情報処理装置２００は、通信インタフェース２６６に対応する外部の通信デバイスを介して、情報処理装置１００などの外部装置と通信を行う場合には、通信インタフェース２６６を備えていなくてもよい。
【０２２６】
また、情報処理装置２００は、撮像部（図示せず）として機能する撮像デバイスを、さらに備えていてもよい。
【０２２７】
また、情報処理装置２００は、例えば、記録媒体２５６、操作入力デバイス２６０、表示デバイス２６２のうちの１または２以上を備えない構成をとることが可能である。
【０２２８】
また、情報処理装置２００は、例えば、後述する情報処理装置２００の適用例に応じた構成をとることが可能である。
【０２２９】
また、例えば、図１１に示す構成（または変形例に係る構成）の一部または全部は、１、または２以上のＩＣで実現されてもよい。
【０２３０】
再度図１０を参照して、情報処理装置２００の構成の一例について説明する。受信部２０２は、リモートコントローラから送信される操作信号を受信する。受信部２０２としては、例えば、ＩＲ送受信デバイス２６４が挙げられる。
【０２３１】
送信部２０４は、操作信号を送信する。送信部２０４としては、例えば、ＩＲ送受信デバイス２６４が挙げられる。
【０２３２】
通信部２０６は、情報処理装置１００などの第１の実施形態に係る情報処理方法に係る処理を行うことが可能な外部装置と、通信を行う。通信部２０６としては、例えば、通信インタフェース２６６が挙げられる。
【０２３３】
制御部２０８は、例えばＭＰＵなどで構成され、情報処理装置２００全体を制御する役目を果たす。また、制御部２０８は、例えば、処理部２１０を備え、第２の実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
【０２３４】
処理部２１０は、第２の実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
【０２３５】
処理部２１０は、例えば、第２の実施形態に係る対応付け処理を行い、通信部２０６により受信された操作が行われた操作デバイスの認識結果と、受信部２０２により受信された操作信号とに基づいて、操作が行われた操作デバイスと操作信号とを対応付ける。
【０２３６】
また、処理部２１０は、例えば、送信制御処理と、制御対象の状態の検出結果に基づく処理との一方または双方を、さらに行ってもよい。
【０２３７】
情報処理装置２００は、例えば図１０に示す構成によって、第２の実施形態に係る情報処理方法に係る処理を行う。したがって、情報処理装置２００は、例えば図１０に示す構成によって、リモートコントローラにおいて操作が行われた操作デバイスと、当該操作に応じて当該リモートコントローラから送信される操作信号とを対応付けることができる。
【０２３８】
また、例えば図１０に示す構成によって、情報処理装置２００は、上述したような第２の実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
【０２３９】
なお、第２の実施形態に係る情報処理装置の構成は、図１０に示す構成に限られない。
【０２４０】
例えば、第２の実施形態に係る情報処理装置は、図１０に示す処理部２１０を、制御部２０８とは個別に備える（例えば、別の処理回路で実現する）ことができる。また、処理部２１０は、複数の処理回路で実現され、各機能が複数の処理回路で分散して行われてもよい。
【０２４１】
また、第２の実施形態に係る情報処理方法に係る処理を実現するための構成は、図１０に示す構成に限られず、第２の実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
【０２４２】
また、例えば、受信部２０２と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、第２の実施形態に係る情報処理装置は、受信部２０２を備えていなくてもよい。第２の実施形態に係る情報処理装置が受信部２０２を備えない構成である場合、処理部２１０は、上記外部の通信デバイスにより受信された操作信号に基づいて、操作が行われた操作デバイスと操作信号とを対応付ける。
【０２４３】
また、例えば、送信部２０４と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、第２の実施形態に係る情報処理装置は、送信部２０４を備えていなくてもよい。第２の実施形態に係る情報処理装置が送信部２０４を備えない構成である場合、処理部２１０は、上記外部の通信デバイスに操作信号を送信させる。
【０２４４】
また、例えば、通信部２０６と同様の機能、構成を有する外部の通信デバイスを介して、情報処理装置１００などの外部装置と通信を行う場合には、第２の実施形態に係る情報処理装置は、通信部２０６を備えていなくてもよい。
【０２４５】
また、第２の実施形態に係る情報処理装置は、撮像部（図示せず）をさらに備えていてもよい。撮像部（図示せず）をさらに備える場合、処理部２１０は、例えば、撮像部（図示せず）により生成された撮像画像に基づいて、制御対象の状態の検出結果に基づく処理を行う。
【０２４６】
以上、第２の実施形態として、情報処理装置を挙げて説明したが、第２の実施形態は、かかる形態に限られない。第２の実施形態は、例えば、“上述した第１の実施形態に係る情報処理装置のアクセサリとして機能する装置”、“時計、照明器具、スピーカなど、空間（または環境）に設けられうる任意の機器”など、第２の実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、第２の実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣに適用することもできる。
【０２４７】
（本実施形態に係るプログラム）
［ｉ］第１の実施形態に係るプログラム
コンピュータを、第１の実施形態に係る情報処理装置として機能させるためのプログラム（例えば、“第１の実施形態に係る対応付け処理”や“第１の実施形態に係る対応付け処理、および仮想リモートコントローラ制御処理”などの、第１の実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、リモートコントローラにおいて操作が行われた操作デバイスと、当該操作に応じて当該リモートコントローラから送信される操作信号とを対応付けることができる。
【０２４８】
また、コンピュータを、第１の実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した第１の実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
【０２４９】
［ｉｉ］第２の実施形態に係るプログラム
コンピュータを、第２の実施形態に係る情報処理装置として機能させるためのプログラム（例えば、“第２の実施形態に係る対応付け処理”や“第２の実施形態に係る対応付け処理、および送信制御処理”、“第２の実施形態に係る対応付け処理、および制御対象の状態の検出結果に基づく処理”、“第２の実施形態に係る対応付け処理、送信制御処理、および制御対象の状態の検出結果に基づく処理”などの、第２の実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、リモートコントローラにおいて操作が行われた操作デバイスと、当該操作に応じて当該リモートコントローラから送信される操作信号とを対応付けることができる。
【０２５０】
また、コンピュータを、第２の実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した第２の実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
【０２５１】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２５２】
例えば、上記では、コンピュータを、第１の実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
【０２５３】
また、例えば、上記では、コンピュータを、第２の実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
【０２５４】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【０２５５】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０２５６】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
操作デバイスを有するリモートコントローラが撮像された撮像画像と、前記操作デバイスに対する操作に応じて前記リモートコントローラから送信される操作信号とに基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付ける処理部を備える、情報処理装置。
（２）
前記処理部は、
前記撮像画像に基づいて、前記操作が行われた前記操作デバイスを認識し、
認識された前記操作デバイスと前記操作信号とを対応付ける、（１）に記載の情報処理装置。
（３）
前記処理部は、仮想的なリモートコントローラを生成して、前記仮想的なリモートコントローラを表示画面に表示させ、
前記仮想的なリモートコントローラには、前記操作信号と対応付けられた前記操作デバイスに対応する、操作を行うことが可能な仮想的な操作デバイスが含まれる、（１）、または（２）に記載の情報処理装置。
（４）
前記仮想的なリモートコントローラにおける前記仮想的な操作デバイスの配置は、前記リモートコントローラにおける前記操作デバイスの配置と同一である、（３）に記載の情報処理装置。
（５）
前記仮想的なリモートコントローラにおける前記仮想的な操作デバイスの配置は、前記リモートコントローラにおける前記操作デバイスの配置と異なる、（３）、または（４）に記載の情報処理装置。
（６）
前記仮想的なリモートコントローラは、前記仮想的な操作デバイスのみで構成される、（３）〜（５）のいずれか１つに記載の情報処理装置。
（７）
前記処理部は、前記仮想的な操作デバイスを明示させる、（３）〜（６）のいずれか１つに記載の情報処理装置。
（８）
前記仮想的な操作デバイスに対する操作が検出された場合、前記処理部は、操作が検出された前記仮想的な操作デバイスに対応する、前記操作デバイスに対応付けられている前記操作信号を、送信させる、（３）〜（７）のいずれか１つに記載の情報処理装置。
（９）
前記操作信号を送信する送信部をさらに備え、
前記処理部は、前記送信部に前記操作信号を送信させる、（８）に記載の情報処理装置。
（１０）
前記撮像画像を生成する撮像部をさらに備え、
前記処理部は、前記撮像部により生成された前記撮像画像に基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付ける、（１）〜（９）のいずれか１つに記載の情報処理装置。
（１１）
前記操作信号を受信する受信部をさらに備え、
前記処理部は、前記受信部により受信された前記操作信号に基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付ける、（１）〜（１０）のいずれか１つに記載の情報処理装置。
（１２）
リモートコントローラが有する操作デバイスに対する操作に応じて、前記リモートコントローラから送信される操作信号を受信する受信部と、
前記リモートコントローラが撮像された撮像画像に基づいて、前記操作が行われた前記操作デバイスを認識することが可能な外部装置と通信を行う通信部と、
前記外部装置から送信された、前記操作が行われた前記操作デバイスの認識結果と、前記リモートコントローラから送信された前記操作信号とに基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付ける処理部を備える、情報処理装置。
（１３）
前記通信部が、前記操作デバイスを示す指示信号を受信した場合、
前記処理部は、前記指示信号が示す前記操作デバイスに対応付けられている前記操作信号を、送信させる、（１２）に記載の情報処理装置。
（１４）
前記操作信号を送信する送信部をさらに備え、
前記処理部は、前記送信部に前記操作信号を送信させる、（１３）、または（１４）に記載の情報処理装置。
（１５）
前記処理部は、さらに、前記リモートコントローラによる制御の対象である制御対象の状態の検出結果に基づく処理を行う、（１２）〜（１４）のいずれか１つに記載の情報処理装置。
（１６）
操作デバイスを有するリモートコントローラが撮像された撮像画像と、前記操作デバイスに対する操作に応じて前記リモートコントローラから送信される操作信号とに基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付けるステップを有する、情報処理装置により実行される情報処理方法。
（１７）
操作デバイスを有するリモートコントローラが撮像された撮像画像に基づいて操作が行われた前記操作デバイスを認識することが可能な外部装置から送信された、前記操作が行われた前記操作デバイスの認識結果と、前記リモートコントローラから送信された、前記操作に応じた操作信号とに基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付けるステップを有する、情報処理装置により実行される情報処理方法。
（１８）
操作デバイスを有するリモートコントローラが撮像された撮像画像と、前記操作デバイスに対する操作に応じて前記リモートコントローラから送信される操作信号とに基づいて、前記操作が行われた前記操作デバイスと前記操作信号とを対応付ける機能を、コンピュータに実現させるためのプログラム。
【符号の説明】
【０２５７】
１０    リモートコントローラ
２０    制御対象
１００、２００    情報処理装置
１０２、２０２    受信部
１０４、２０４    送信部
１０６、２０８    制御部
１１０、２１０    処理部
２０６    通信部
【図１Ａ】
2017151894.tif 000003
【図１Ｂ】
2017151894.tif 000004
【図２】
2017151894.tif 000005
【図３】
2017151894.tif 000006
【図４】
2017151894.tif 000007
【図５】
2017151894.tif 000008
【図６】
2017151894.tif 000009
【図７Ａ】
2017151894.tif 000010
【図７Ｂ】
2017151894.tif 000011
【図８】
2017151894.tif 000012
【図９】
2017151894.tif 000013
【図１０】
2017151894.tif 000014
【図１１】
2017151894.tif 000015