(57)【要約】【課題】操作物が発光し続けることを必要とせずに、操作物からの発光を利用して操作物の位置を精度良く特定する。【解決手段】情報処理装置２は、操作者により操作される操作物が撮影された画像を取得する画像取得部４１と、操作物が発光した場合に、上記画像における上記発光の位置を特定する発光位置特定部４３と、上記画像に対する画像認識処理により上記画像における操作物の位置を特定する操作物位置特定部であって、発光の位置が特定された場合には、上記画像のうち発光の位置の近傍の範囲に対して上記画像認識処理を行う操作物位置特定部４４とを備える。【選択図】図４
2012123613.tif 000002
【特許請求の範囲】
【請求項１】
操作者により操作される操作物が撮影された画像を取得する画像取得手段と、
前記操作物が発光した場合に、前記画像における前記発光の位置を特定する発光位置特定手段と、
前記画像に対する画像認識処理により前記画像における前記操作物の位置を特定する操作物位置特定手段であって、前記発光の位置が特定された場合には、前記画像のうち前記発光の位置の近傍の範囲に対して前記画像認識処理を行う操作物位置特定手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記発光位置特定手段は、前記操作物から発光された当該操作物を識別するための情報を含む光が受光された場合に、前記画像における前記発光の位置を特定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記操作物位置特定手段は、前記発光の位置が特定された場合において、前記画像認識処理において前記操作物の候補が複数検出されたとき、前記複数の候補のうち前記発光の位置に最も近い候補の位置を前記操作物の位置として特定することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記操作物位置特定手段は、前記発光の位置が特定された場合に、前記画像のうち前記発光の位置を中心とする所定の範囲に対して前記画像認識処理を行うことを特徴とする請求項１から３のいずれかに記載の情報処理装置。
【請求項５】
前記操作物位置特定手段は、前記発光の位置が特定されない場合には、前記画像のうち、以前に特定された前記操作物の位置の近傍の範囲に対して前記画像認識処理を行うことを特徴とする請求項１から４のいずれかに記載の情報処理装置。
【請求項６】
前記操作物を発光させるための操作を前記操作者に促す処理を行う手段をさらに備えることを特徴とする請求項１から５のいずれかに記載の情報処理装置。
【請求項７】
前記操作物の位置または移動を表現するオブジェクトを含む、前記情報処理装置を操作するための操作画面を生成する手段であって、前記特定された操作物の位置に基づき、前記操作画面における前記オブジェクトの位置または表示態様を決定する手段をさらに備えることを特徴とする請求項１から６のいずれかに記載の情報処理装置。
【請求項８】
前記操作物から発光された当該操作物を識別するための情報を含む光は、当該情報を含む赤外線信号であることを特徴とする請求項２に記載の情報処理装置。
【請求項９】
赤外線を反射する赤外線反射手段が設けられた前記操作物に対して赤外線を照射する赤外線照射手段をさらに備え、
前記画像取得手段は、赤外線に感度を有する撮影手段により、前記赤外線照射手段により照射され前記赤外線反射手段により反射された赤外線が撮影された画像を取得することを特徴とする請求項１から８のいずれかに記載の情報処理装置。
【請求項１０】
操作者により操作される操作物が撮影された画像を取得する画像取得工程と、
前記操作物が発光した場合に、前記画像における前記発光の位置を特定する発光位置特定工程と、
前記画像に対する画像認識処理により前記画像における前記操作物の位置を特定する操作物位置特定工程であって、前記発光の位置が特定された場合には、前記画像のうち前記発光の位置の近傍の範囲に対して前記画像認識処理を行う操作物位置特定工程と、
を含むことを特徴とする情報処理方法。
【請求項１１】
操作者により操作される操作物と情報処理装置とを含む情報処理システムであって、
前記操作物は、光を発する発光手段を備え、
前記情報処理装置は、
前記操作物が撮影された画像を取得する画像取得手段と、
前記操作物の前記発光手段が発光した場合に、前記画像における前記発光の位置を特定する発光位置特定手段と、
前記画像に対する画像認識処理により前記画像における前記操作物の位置を特定する操作物位置特定手段であって、前記発光の位置が特定された場合には、前記画像のうち前記発光の位置の近傍の範囲に対して前記画像認識処理を行う操作物位置特定手段と、
を備える、
ことを特徴とする情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作者により操作される操作物の位置を特定する情報処理装置、情報処理方法、及び情報処理システムに関する。
【背景技術】
【０００２】
コンピュータやゲーム装置などの情報処理装置において、操作者により操作される操作物の位置を検出し、当該検出された操作物の位置に基づいてディスプレイ上でのオブジェクトの位置を制御する技術が提案されている（例えば、特許文献１、２参照）。
【０００３】
特許文献１には、実空間内のプレーヤに操作される実操作物に取り付けられた発光素子からの光をＣＣＤカメラにより検出し、検出した光に基づいて発光素子の位置を測定し、当該発光素子の位置に基づいてディスプレイ上での仮想操作物の表示位置を決定するゲーム装置が開示されている。
【０００４】
また、特許文献２には、操作者に保持されて動きが与えられる操作物の動きを加味した画像をディスプレイ装置に表示させる情報処理装置であって、反射面を有する操作物に光を照射しつつ操作物を撮影し、撮影された画像を用いて操作物の位置情報を算出し、当該位置情報に応じてディスプレイ装置上のカーソルを移動させるものが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−２９２１２３号公報
【特許文献２】国際公開第２００５／００３９４５号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１で開示されている技術では、操作物の位置の測定に、操作物からの発光が必要なので、操作物が発光し続けなければならないという問題がある。
【０００７】
また、特許文献２で開示されている技術では、操作物側から発光しないので、操作物の位置の特定に操作物からの発光を利用することができず、操作物の位置を精度良く特定することができないという問題がある。
【０００８】
そこで、本発明は、操作物が発光し続けることを必要とせずに、操作物からの発光を利用して操作物の位置を精度良く特定することができる情報処理装置、情報処理方法、及び情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る情報処理装置は、操作者により操作される操作物が撮影された画像を取得する画像取得手段と、前記操作物が発光した場合に、前記画像における前記発光の位置を特定する発光位置特定手段と、前記画像に対する画像認識処理により前記画像における前記操作物の位置を特定する操作物位置特定手段であって、前記発光の位置が特定された場合には、前記画像のうち前記発光の位置の近傍の範囲に対して前記画像認識処理を行う操作物位置特定手段と、を備える。
【００１０】
また、本発明に係る情報処理方法は、操作者により操作される操作物が撮影された画像を取得する画像取得工程と、前記操作物が発光した場合に、前記画像における前記発光の位置を特定する発光位置特定工程と、前記画像に対する画像認識処理により前記画像における前記操作物の位置を特定する操作物位置特定工程であって、前記発光の位置が特定された場合には、前記画像のうち前記発光の位置の近傍の範囲に対して前記画像認識処理を行う操作物位置特定工程と、を含む。
【００１１】
また、本発明に係る情報処理システムは、操作者により操作される操作物と情報処理装置とを含み、前記操作物は、光を発する発光手段を備え、前記情報処理装置は、前記操作物が撮影された画像を取得する画像取得手段と、前記操作物の前記発光手段が発光した場合に、前記画像における前記発光の位置を特定する発光位置特定手段と、前記画像に対する画像認識処理により前記画像における前記操作物の位置を特定する操作物位置特定手段であって、前記発光の位置が特定された場合には、前記画像のうち前記発光の位置の近傍の範囲に対して前記画像認識処理を行う操作物位置特定手段と、を備える。
【発明の効果】
【００１２】
本発明によれば、操作物が発光し続けることを必要とせずに、操作物からの発光を利用して操作物の位置を精度良く特定することができる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態１に係る情報処理システムの構成の一例を示す概略図である。
【図２】操作物の構成の一例を示すブロック図である。
【図３】操作物の構成の一例を示す概略斜視図である。
【図４】情報処理装置の構成の一例を示すブロック図である。
【図５】撮影画像の一例を示す図である。
【図６】画像認識範囲の一例を示す図である。
【図７】画像認識範囲の別の一例を示す図である。
【図８】発光位置の特定に関する情報処理装置の動作の一例を示すフローチャートである。
【図９】操作物位置の特定に関する情報処理装置の動作の一例を示すフローチャートである。
【図１０】実施の形態２に係る操作物の構成の一例を示す概略斜視図である。
【図１１】実施の形態２に係る情報処理装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態を図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る情報処理システム１００の構成の一例を示す概略図である。この情報処理システム１００は、操作物１および情報処理装置２を有する。情報処理システム１００は、操作物１が操作者により操作され、情報処理装置２が操作物１の位置を特定するものである。ここでは、情報処理システム１００は、操作者Ａが操作物１を操作することにより情報処理装置２をリモート操作するリモート操作システムである。例えば、図１において、操作者Ａが操作物１の空間位置を変化させると、情報処理装置２の操作画面Ｓに表示されているカーソルＣが、操作物１の空間位置の変化に合わせて移動する。
【００１５】
図２および図３は、それぞれ、操作物１の構成の一例を示すブロック図および概略斜視図である。この操作物１は、操作者により保持されて（例えば手に持たれて）操作されるものである。操作物１の操作には、少なくとも操作物１の空間位置を変化させる操作がある。操作物１は、情報処理装置２に対する操作者の操作を情報処理装置２に入力するための装置であり、操作入力装置と呼べる。ここでは、操作物１は、情報処理装置１をリモート操作するためのリモートコントローラ（リモコン）であり、例えばテレビ受像機を操作するためのテレビリモコンである。
【００１６】
図２において、操作物１は、発光部２１、操作受付部２２、制御部２３、および蓄電部２４を有する。
【００１７】
発光部２１は、操作物１の外部に光を発するものであり、例えば発光ダイオードなどの発光装置により構成される。発光部２１の光は、情報処理装置２で検出可能な光であればよいが、ここでは赤外線である。発光部２１から出力される光は、操作物１を識別するための情報（すなわち発光元が操作物１であることを示す情報）である識別情報を含む。具体的には、発光部２１から出力される光は、光の強度の時間的な変化のパターン（例えば点滅のパターン）によって識別情報を表す信号である。より具体的には、発光部２１から出力される光は、点灯時間の長さと消灯時間の長さとの組み合わせによって各ビットの値が表された複数ビットの信号である。上記点滅の周期は例えば１ｍｓｅｃ程度である。
【００１８】
操作受付部２２は、操作者からの操作を受け付けるものであり、図３の例では、操作者からの押下げ操作を受け付ける操作ボタンである。この操作ボタンは、例えば、操作画面に表示された複数の項目のうち１つの項目の選択を決定するための「決定」ボタンである。
【００１９】
制御部２３は、発光部２１の発光を制御する。具体的には、制御部２３は、操作受付部２２により操作者からの操作が受け付けられた場合に、発光部２１を発光させる。また、制御部２３は、発光部２３から出力される光が操作物１の識別情報を含むように、発光部２１の発光の強度のパターン（例えば点滅のパターン）を制御する。
【００２０】
蓄電部２４は、電力を蓄えるものであり、例えば電池により構成される。蓄電部２４の電力は、発光部２１に供給され、発光部２１の発光に使用される。蓄電部２４の電力は、制御部２３に供給されてもよい。
【００２１】
図３において、操作物１は、略直方体状の本体部３１を有する。本体部３１は、操作物１の使用時に情報処理装置２に向けられる前面３２と、操作物１の使用時に上方を向く上面３３とを有する。発光部２１は、当該発光部２１の光が前面３２側から出力されるように設けられている。操作受付部２２は、本体部３１の上面３３側に設けられている。制御部２３および蓄電部２４は、本体部３１の内部に収容されており、図３には示されていない。
【００２２】
操作物１は、当該操作物１を識別するための識別マーク３４を有する。図３の例では、識別マーク３４は、本体部３１の前面３２に、発光部２１から所定の間隔だけ離れた位置に設けられている。この識別マーク３４は、情報処理装置２における操作物１の識別の精度を高めるためのものであり、特徴的な形状や色を有する。図３では、識別マーク３４は、操作物１の識別性を上げるとともに、必要に応じて操作物１の向きを認識できるように構成されている。具体的には、識別マーク３４は、環状の部分３４ａと、当該部分３４ａの上部から突出した凸型の部分３４ｂとを有する。
【００２３】
図４は、情報処理装置２の構成の一例を示すブロック図である。この情報処理装置２は、撮影された画像において操作物１の位置を特定する装置である。ここでは、情報処理装置２は、操作物１の操作によってリモート操作される装置であり、操作物１の位置を特定し、当該操作物１の位置に応じて動作する。例えば、情報処理装置２は、テレビリモコンによりリモート操作されるテレビ受像機である。
【００２４】
図４において、情報処理装置２は、画像取得部４１、受信部４２、発光位置特定部４３、操作物位置特定部４４、表示制御部４５、および表示部４６を有する。
【００２５】
画像取得部４１は、操作物１が撮影された画像（具体的には画像信号または画像データ）を取得する。例えば、画像取得部４１は、情報処理装置２の周囲を撮影して画像を生成する撮影装置により構成される。ただし、画像取得部４１は、情報処理装置２の外部の撮影装置により撮影された画像を取得してもよい。操作物１の使用時には、操作物１は撮影装置の撮影範囲内で操作され、撮影装置によって操作物１が撮影された画像が生成される。画像の撮影は繰り返し行われ、例えば毎秒３０回（約３３．３ｍｓｅｃの周期）で実施される。ここでは、操作物１の発光が撮影されるよう、撮影の時間間隔は、操作物１の１回の発光時間よりも短くなっている。操作物１の１回の発光時間（例えば点滅パターンの全体の長さ）は、例えば５０ｍｓｅｃ以上である。
【００２６】
画像取得部４１は、上記画像を取得すると、当該画像を発光位置特定部４３および操作物位置特定部４４に出力する。この画像の出力は、例えば上記撮影の周期と同じ周期で繰り返し行われる。
【００２７】
受信部４２は、操作物１の発光部２１から発光される信号を受信する。具体的には、受信部４２は、情報処理装置２の外部からの光を受光して光の強度に応じた検出信号を得る受光装置を含み、得られた検出信号が操作物１の識別情報を含むか否かを判定し、これにより受光された光が操作物１から発光されたものか否かを判定する。
【００２８】
受信部４２は、操作物１から発光された信号を受信すると、当該信号を受信したことを示す受信情報を発光位置特定部４３および表示制御部４５に通知する。具体的には、受信部４２は、受光された光が操作物１から発光されたものであると判定した場合に、受信情報を発光位置特定部４３および表示制御部４５に通知する。
【００２９】
発光位置特定部４３は、操作物１が発光した場合に、画像取得部４１により取得された画像（以下、「撮影画像」と称す）における操作物１の発光の位置（以下、「発光位置」と称す）を特定する。具体的には、発光位置特定部４３は、操作物１から発光された操作物１の識別情報を含む光が受光された場合に、発光位置の特定を行う。より具体的には、発光位置特定部４３は、受信部４２から受信情報の通知を受けた場合、すなわち受信部４２により操作物１からの信号が受信された場合に、発光位置の特定を行う。
【００３０】
上記発光位置の特定は、例えば次のように撮影画像を用いて行われる。撮影画像中での操作物１の発光位置に注目すると、操作物１の発光前に撮影された撮影画像では輝度が低く、操作物１の発光中に撮影された撮影画像では輝度が著しく高くなる。そこで、発光位置特定部４３は、発光中に撮影された撮影画像において、発光前に撮影された撮影画像と比較して輝度が所定値以上高くなった位置を発光位置として特定する。具体的には、発光位置特定部４３は、受信部４２から受信情報の通知を受けた場合、操作物１からの信号の受信中に撮影された撮影画像において、当該信号が受信される前に撮影された撮影画像と比較して輝度が所定値以上高くなった位置を発光位置として特定する。より具体的には、受信情報は、受信開始時刻および受信終了時刻を示す情報を含む。発光位置特定部４３は、複数の撮影画像を撮影時刻と関連付けて保持しており、受信情報の通知を受けると、当該受信情報に基づき、保持されている撮影画像の中から、受信開始時刻の直前に撮影された撮影画像と、受信開始時刻と受信終了時刻との間に撮影された撮影画像とを選択し、これらの撮影画像を比較して発光位置を特定する。
【００３１】
発光位置特定部４３により特定される発光位置は、例えば撮影画像中の座標情報により表現される。図５は、撮影画像の一例を示したものである。図５の例では、撮影画像５１は、縦横の２次元に配列された複数の画素（ピクセル）を有する。横方向には１２８０個の画素が配列され、縦方向には１０２４個の画素が配列される。すなわち、撮影画像５１のサイズは、横１２８０画素、縦１０２４画素である。撮影画像５１の各画素の位置は、左下隅を原点（０，０）とする縦横の２次元の座標系における座標値により表現される。図５において、撮影画像５１には、操作物１の発光により輝度が高くなった部分５２が存在する。発光位置特定部４３は、この部分５２を認識し、例えば当該部分５２の中心に対応する座標（８２０，７４０）を発光位置５３として特定する。
【００３２】
発光位置特定部４３は、発光位置を特定すると、当該発光位置（例えば部分５２の中心に対応する座標）を示す発光位置情報を操作物位置特定部４４に通知する。
【００３３】
操作物位置特定部４４は、画像取得部４１により取得された撮影画像に対する画像認識処理により、当該撮影画像における操作物１の位置を特定する。すなわち、操作物位置特定部４４は、画像取得部４１により取得された撮影画像から、操作物１を画像認識して、当該撮影画像における操作物１の位置（以下、「操作物位置」と称す）を特定する。
【００３４】
操作物位置特定部４４は、発光位置特定部４３により発光位置が特定された場合には、撮影画像のうち発光位置の近傍の範囲に対して画像認識処理を行う。具体的には、操作物位置特定部４４は、発光位置特定部４３から発光位置情報の通知を受けた場合には、上記発光位置の近傍の範囲に対して画像認識処理を行う。一方、それ以外の場合、すなわち発光位置が特定されない場合には、操作物位置特定部４４は、例えば撮影画像の全範囲に対して画像認識処理を行う。
【００３５】
上記画像認識処理の対象となる発光位置の近傍の範囲（以下、「画像認識範囲」と称す）は、撮影画像の全範囲よりも狭く、例えば操作物１が画像認識されると考えられる発光位置の周辺の範囲である。一つの態様では、画像認識範囲は、発光位置を中心とする所定の範囲である。例えば、画像認識範囲は、図６に示されるように、発光位置５３を中心とする予め定められた半径Ｒの円形状の範囲６１や、図７に示されるように、発光位置５３を中心とする予め定められた辺の長さＥの正方形状の範囲７１である。ただし、画像認識範囲の形状や大きさなどは、上記に限定されず、適宜に決められればよい。
【００３６】
操作物位置の特定は、例えば次のように行われる。画像認識処理において、操作物位置特定部４４は、撮影画像から操作物１の候補を検出する。例えば、撮影画像に写っている各物体の形状や色などの特徴を抽出し、抽出された各物体の特徴と、操作物１の形状や色などの既知の特徴とを比較して、各物体の操作物１との類似度を求め、当該類似度に基づいて操作物１の候補を検出する。例えば、操作物位置特定部４４は、各物体について、操作物１との類似度が所定レベル以上であるか否かを判定し、類似度が所定レベル以上であると判定された物体（すなわち操作物１と類似すると判定された物体）を操作物１の候補として検出する。図３の例では、操作物１は識別マーク３４を備えており、操作物位置特定部４４は、当該識別マーク３４の形状や色などの特徴を利用して、操作物１の候補を検出する。
【００３７】
操作物１の候補が１つだけ検出された場合には、操作物位置特定部４４は、当該候補を操作物１と認識して、当該候補の撮影画像における位置を操作物位置として特定する。
【００３８】
一方、操作物１の候補が複数検出された場合には、操作物位置特定部４４は、例えば次のように操作物位置を特定する。発光位置特定部４３により発光位置が特定された場合において、操作物１の候補が複数検出されたときには、当該複数の候補のうち発光位置に最も近い候補を操作物１と認識して、当該候補の撮影画像における位置を操作物位置として特定する。それ以外の場合において、操作物１の候補が複数検出されたときには、当該複数の候補のうち操作物１との類似度が最も大きい候補を操作物１と認識して、当該候補の撮影画像における位置を操作物位置として特定する。
【００３９】
操作物位置特定部４４は、操作物位置として、具体的には、撮影画像における識別マーク３４の位置（例えば円形状の部分３４ａの中心位置）を特定する。ただし、操作物位置特定部４４は、認識された操作物１の所定の位置を操作物位置として特定すればよく、例えば操作物１の中心位置を操作物位置として特定してもよい。
【００４０】
操作物位置特定部４４により特定される操作物位置は、上述の発光位置と同様に、例えば撮影画像中の座標情報により表現される。
【００４１】
操作物位置特定部４４は、操作物位置を特定すると、当該操作物位置（例えば識別マーク３４の座標）を示す操作物位置情報を表示制御部４５に通知する。
【００４２】
図４の例では、操作物位置特定部４４は、画像認識範囲算出部４４ａおよび操作物位置算出部４４ｂを含む。
【００４３】
画像認識範囲算出部４４ａは、発光位置特定部４３から発光位置情報の通知を受けると、当該発光位置情報により示される発光位置に基づいて画像認識範囲を算出し、当該画像認識範囲を操作物位置算出部４４ｂに通知する。
【００４４】
操作物位置算出部４４ｂは、画像認識範囲算出部４４ａから画像認識範囲の通知を受けた場合、画像取得部４１からの撮影画像のうち画像認識範囲に対して画像認識処理を行い、操作物位置を算出する。それ以外の場合には、撮影画像の全範囲に対して画像認識処理を行い、操作物位置を算出する。操作物位置算出部４４ｂは、操作物位置を算出すると、当該操作物位置を示す操作物位置情報を表示制御部４５に通知する。
【００４５】
表示制御部４５は、情報処理装置２を操作者が操作するための操作画面（具体的には操作画面を表す操作画面データ）を生成する。この操作画面は操作物１の位置を表現するオブジェクトを含み、表示制御部４５は、操作物位置特定部４４により特定された操作物位置に基づき、操作画面における上記オブジェクトの位置を決定する。具体的には、表示制御部４５は、操作物位置特定部４４から操作物位置情報の通知を受けると、当該操作物位置情報に基づき、操作画面におけるオブジェクトの位置を求め、当該位置にオブジェクトが配置された操作画面を生成する。例えば、表示制御部４５は、操作物位置情報により示される操作物位置に応じた操作画面上の位置を求め、当該位置にオブジェクトを配置する。すなわち、表示制御部４５は、特定された操作物位置に応じて、操作画面におけるオブジェクトの位置を変化させる。操作画面は例えばグラフィカルユーザインタフェース（ＧＵＩ：Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）画面であり、オブジェクトは例えば操作物１の位置を表現するカーソルである。表示制御部４５は、操作画面を生成すると、当該操作画面を表示部４６に出力する。
【００４６】
また、表示制御部４５は、受信部４１から受信情報の通知を受けた場合、操作画面におけるオブジェクトの位置に応じた所定の処理を実行する。具体的には、操作画面が複数の項目を含む場合において、表示制御部４５は、受信部４１から受信情報の通知を受けると、上記複数の項目のうち、操作画面内のオブジェクトの位置に存在する項目が選択されたと認識し、当該選択された項目に予め関連付けられている処理を実行する。
【００４７】
表示部４６は、表示制御部４５により生成された操作画面を表示する。表示部４６は、例えば、液晶ディスプレイ装置などの表示装置により構成される。
【００４８】
操作物位置の特定の精度を維持する観点より、一つの態様では、情報処理装置２は、操作物１を発光させるための操作を操作者に促す処理を行う。例えば、情報処理装置２は、上記操作を促す情報を画面上に表示させる処理を行う。例えば、表示制御部４５は、操作物１の操作受付部２２の操作（例えば操作ボタンの押下げ）を促すメッセージを操作画面に重畳し、当該メッセージが重畳された操作画面を表示部４６に出力する。
【００４９】
上記の態様において、情報処理装置２は、例えば、操作物１の発光が予め定められた時間よりも長い時間受光されなかった場合に、上記の処理を行う。例えば、表示制御部４５は、受信部４２からの受信情報が予め定められた時間よりも長い時間通知されなかった場合に、上記メッセージを操作画面に重畳する処理を行う。
【００５０】
また、情報処理装置２は、例えば、操作物位置特定部４４の画像認識処理において操作物１の候補が複数検出された場合に、上記の処理を行う。例えば、操作物位置特定部４４は、画像認識処理により操作物１の候補が複数検出されたときに、その旨を表示制御部４５に通知する。表示制御部４５は、当該通知を受けると、上記メッセージを操作画面に重畳する処理を行う。
【００５１】
上記構成を有する情報処理システム１００では、図１において、例えば、操作者Ａは、操作物１で情報処理装置２を操作する場合、操作物１の空間位置を変化させてカーソルＣを操作画面Ｓ上で移動させ、操作画面Ｓの項目１〜４の領域Ｒ１〜Ｒ４のうち選択したい項目の領域上にカーソルＣを位置合わせし、操作物１の操作受付部２２（例えば決定ボタン）を押下して項目の選択を決定し、当該項目に対応する処理を情報処理装置２に実行させる。
【００５２】
図８は、発光位置の特定に関する情報処理装置２の動作の一例を示すフローチャートである。図８に示される動作は繰り返し実行される。
【００５３】
図８において、情報処理装置２は、操作物１から発光された信号を受信したか否かを判断し（Ｓ１１）、操作物１からの信号を受信するまで待機する（Ｓ１１：ＮＯ）。ステップＳ１１の判断は、後述の撮影の周期よりも短い周期で行われる。
【００５４】
情報処理装置２は、操作物１からの信号を受信すると（Ｓ１１：ＹＥＳ）、画像取得部４１により取得された撮影画像から、当該撮影画像中での操作物１の発光位置を算出する（Ｓ１２）。
【００５５】
図９は、操作物位置の特定に関する情報処理装置２の動作の一例を示すフローチャートである。この動作は、例えば、図８に示される動作とは独立に、撮影の周期と同じ周期で繰り返し行われる。
【００５６】
図９において、情報処理装置２は、例えば当該情報処理装置２の周囲を撮影して、撮影画像を取得する（Ｓ２１）。
【００５７】
ついで、情報処理装置２は、操作物１の発光位置が特定されたか否かを判断する（Ｓ２２）。例えば、情報処理装置２は、前回のステップＳ２１で撮影画像が取得された時点と今回のステップＳ２１で撮影画像が取得された時点との間において、図８のステップＳ１２による発光位置の算出が行われたか否かを判断する（Ｓ２２）。
【００５８】
そして、発光位置が特定されたと判断された場合（Ｓ２２：ＹＥＳ）、情報処理装置２は、ステップＳ２１で取得された撮影画像のうち上記発光位置の近傍の範囲に対して画像認識処理を行い、撮影画像における操作物１の位置を算出する（Ｓ２３）。すなわち、情報処理装置２は、撮影画像のうち発光位置の近傍の範囲から、操作物１を画像認識して、撮影画像中での操作物１の位置を算出する。
【００５９】
一方、発光位置が特定されていないと判断された場合（Ｓ２２：ＮＯ）、情報処理装置２は、ステップＳ２１で取得された撮影画像の全範囲に対して画像認識処理を行い、撮影画像における操作物１の位置を算出する（Ｓ２４）。すなわち、情報処理装置２は、撮影画像の全範囲から、操作物１を画像認識して、撮影画像中での操作物１の位置を算出する。
【００６０】
以上説明した本実施の形態１によれば、下記（１）〜（７）の効果が得られ得る。
（１）本実施の形態では、情報処理装置は、操作者により操作される操作物が撮影された撮影画像を取得する画像取得部と、操作物が発光した場合に、撮影画像における発光の位置を特定する発光位置特定部と、撮影画像に対する画像認識処理により撮影画像における操作物の位置を特定する操作物位置特定部であって、発光の位置が特定された場合には、撮影画像のうち発光の位置の近傍の範囲に対して画像認識処理を行う操作物位置特定部とを備える。この構成では、操作物が発光した場合には、撮影画像のうち当該発光の位置の近傍の範囲に対して画像認識処理が行われて操作物の位置が特定され、それ以外の場合には、上記発光の位置に基づく範囲の限定なしに、撮影画像に対して画像認識処理が行われて操作物の位置が特定される。このため、本実施の形態によれば、操作物が発光し続けることを必要とせずに、操作物からの発光を利用して操作物の位置を精度良く特定することができる。
【００６１】
具体的には、操作物が発光した場合には、撮影画像のうち発光位置に近い範囲に限って画像認識処理を行うので、操作物に類似する操作物以外の物体の位置を誤って操作物の位置として特定する可能性が抑えられ、操作物の位置の特定の精度が高くなる。
【００６２】
また、操作物が発光しない場合にも撮影画像に対する画像認識処理により操作物の位置を特定するので、操作物は発光し続ける必要がない。
【００６３】
上記のように操作物の位置を精度良く特定できることにより、リモート操作システムにおいては、快適なリモート操作環境を提供することが可能となる。
【００６４】
また、操作物が発光し続けることを必要としないことにより、操作物は例えば散発的に発光すればよく、操作物が連続的に発光する場合と比べて、操作物の発光により消費されるエネルギーを低減できる。これにより、例えば操作物の蓄電部を長持ちさせることができる。また、操作物が連続的に発光する場合と比べて、操作物の発光部の単位時間当たりの使用時間を短くすることができ、操作物の発光部の寿命が尽きるまでの期間を長くすることができる。また、操作物の発光部に発光持続時間（連続して発光する場合の発光時間の上限）が定められている場合、操作物が発光し続けなければならない構成では、発光部の発光持続時間により操作物の稼働時間（連続使用可能な時間）が制限されるという問題があるが、このような問題を回避することが可能となる。
【００６５】
さらに、発光位置に近い範囲に限って画像認識処理を行うので、画像認識処理の計算量が少なくなり、画像認識処理に関する消費エネルギーの低減や、計算回路の規模の低減が可能となる。
【００６６】
（２）発光位置特定部は、操作物から発光された当該操作物を識別するための情報を含む光が受光された場合に、撮影画像における発光の位置を特定する。これにより、操作物の発光以外の光の位置を誤って操作物の発光の位置として特定する可能性を低くすることができる。
【００６７】
（３）操作物位置特定部は、発光の位置が特定された場合において、画像認識処理において操作物の候補が複数検出されたとき、当該複数の候補のうち発光の位置に最も近い候補の位置を操作物の位置として特定する。これにより、操作物に類似する操作物以外の物体が撮影画像に写っており、撮影画像から操作物の候補が複数検出される場合でも、操作物の位置を発光の位置を利用して精度良く特定することができる。
【００６８】
（４）操作物位置特定部は、発光の位置が特定された場合に、撮影画像のうち発光の位置を中心とする所定の範囲に対して画像認識処理を行う。これにより、発光の位置に基づく適切な範囲に対して画像認識処理を行うことができる。
【００６９】
（５）情報処理装置は、操作物を発光させるための操作を操作者に促す処理を行う。これによれば、操作物を発光させるための操作を操作者に促し、操作物から発光させることによって、発光位置を使用できるようになり、操作物の位置を精度良く特定できるようになる。
【００７０】
（６）情報処理装置は、操作物の位置を表現するオブジェクトを含む、当該情報処理装置を操作するための操作画面を生成し、特定された操作物の位置に基づき、操作画面におけるオブジェクトの位置を決定する。これにより、操作物をポインティングデバイスとして利用することができる。
【００７１】
（７）操作物から発光される当該操作物を識別するための情報を含む光は、当該情報を含む赤外線信号であり、受信部は、操作物からの赤外線信号を受信する。これにより、テレビリモコンなどで一般的に使用されている装置を利用することができ、例えばコストを下げることができる。
【００７２】
なお、上記の説明では、操作物１からの信号を受信部４２が受信する構成を例示したが、操作物１からの信号は他の態様で受信されてもよい。例えば、操作物１からの信号の点滅の周期が撮影画像の撮影の周期よりも十分に長い場合には、情報処理装置２は、一連の撮影画像により操作物１からの信号を認識してもよく、受信部４２は省略されてもよい。
【００７３】
また、上記の説明では、操作物１が光の強度の時間的な変化のパターンによって識別情報を表す信号を発光する構成を例示したが、操作物１の識別情報は、他の態様で表されてもよい。例えば、識別情報は、発光の形状や大きさ、発光点の配置パターンなど、空間的な発光パターンによって表現されてもよい。この場合、操作物１の制御部２３は省略されてもよい。また、情報処理装置２において、発光位置特定部４３は、例えば、撮影画像から上記空間的な発光パターンが画像認識された場合に、撮影画像における当該発光パターンの位置を発光位置として特定してもよく、受信部２１は省略されてもよい。
【００７４】
また、上記の説明では、操作者が操作受付部２２を操作した場合に操作物１が発光する構成を例示したが、操作物１は他のタイミングで発光してもよい。例えば、操作物１は、操作者の操作に関わらず所定のタイミング（例えば所定の周期）で発光してもよい。この場合、操作受付部２２は省略されてもよい。また、情報処理装置２が所定のタイミングで発光指示を操作物１に送信し、操作物１が当該発光指示を受信すると発光する構成であってもよい。この場合、発光位置特定部４３は、発光指示の送信のタイミングにあわせて発光位置の特定を行うことができる。例えば、発光位置特定部４３は、撮影画像において発光指示の送信直後に輝度が高くなった位置を発光位置として特定することができる。このような場合には、操作物１の光は識別情報を含まなくてもよく、制御部２３や受信部２１は省略されてもよい。
【００７５】
また、上記の説明では、操作物位置特定部４４が、発光位置が特定されない場合に撮影画像の全範囲に対して画像認識処理を行う構成を例示したが、操作物位置特定部４４は、撮影画像の上記以外の範囲に対して画像認識処理を行ってもよい。例えば、操作物位置特定部４４は、発光位置が特定されない場合には、撮影画像のうち、以前（例えば前回）に特定された操作物１の位置の近傍の範囲に対して画像認識処理を行ってもよい。例えば、図９のステップＳ２４において、情報処理装置２は、ステップＳ２１で取得された撮影画像のうち、前回のステップＳ２３またはＳ２４で算出された操作物１の位置の近傍の範囲に対して画像認識処理を行ってもよい。上記近傍の範囲は、例えば上記以前に特定された操作物１の位置を中心とする所定の範囲であり、例えば所定の半径の円形状の範囲である。所定の半径は、例えば撮影の時間間隔における操作物１の移動の想定される最大距離である。この構成によれば、撮影画像の一部の範囲に限って画像認識処理を行うので、操作物１に類似する操作物１以外の物体の位置を誤って操作物１の位置として特定する可能性が抑えられ、操作物１の位置の特定の精度が高くなる。また、画像認識処理の計算量が少なくなり、画像認識処理に関する消費エネルギーの低減や、計算回路の規模の低減が可能となる。
【００７６】
また、上記の説明では、操作物位置特定部４４が、発光位置が特定されない場合において、操作物１の候補が複数検出されたとき、操作物１との類似度が最も大きい候補の位置を操作物１の位置として特定する構成を例示したが、操作物位置特定部４４は、上記以外の方法で操作物１の位置を特定してもよい。例えば、操作物位置特定部４４は、複数の候補のうち、以前（例えば前回）に特定された操作物１の位置に最も近い候補の位置を操作物１の位置として特定してもよい。
【００７７】
また、図９では、操作物位置特定部４４が全ての撮影画像について操作物１の位置の特定を行う構成を例示したが、操作物位置特定部４４は、取得された撮影画像のうちの一部について操作物１の位置の特定を行ってもよい。例えば、操作物位置特定部４４は、発光位置が特定されない場合において、Ｎ個（Ｎは２以上の整数）の撮影画像につき１回など、予め定められた周期で操作物１の位置の特定を行ってもよい。
【００７８】
また、上記の説明では、操作物１の位置を表現するオブジェクトを含む操作画面を例示したが、操作画面は、当該位置を表現するオブジェクトに代えて、または当該オブジェクトに加えて、操作物１の移動を表現するオブジェクトを含んでもよい。当該移動を表現するオブジェクトとしては、例えば、移動軌跡を表現するオブジェクト（例えば線）や、移動の方向を表すオブジェクト（例えば矢印）、移動の速度を表すオブジェクトなどが挙げられる。
【００７９】
また、上記の説明では、操作物１を発光させるための操作を操作者に促す処理として、上記操作を促す情報を画面上に表示させる処理を例示したが、情報処理装置２は、例えば音声を出力させたり、操作物１を振動させたりなど、他の方法で促してもよい。また、情報処理装置２は、上記操作者に促す処理の代わりに、例えば操作物１に発光指示を送信するなど、操作物１に対して発光を指示する処理を行い、これに対して操作物１が自動的に発光するようにしてもよい。
【００８０】
また、情報処理装置２は、撮影画像における操作物１の位置の他に、操作物１の向きを特定してもよい。例えば、操作物位置特定部４４は、撮影画像に対する画像認識処理により、撮影画像における操作物１の位置および向きを特定してもよい。この場合、操作物位置特定部４４は、例えば操作物１の識別マーク３４の凸型の部分３４ｂを用いて操作物１の向きを特定することができる。表示制御部４５は、特定された操作物１の向きに応じてオブジェクトの表示態様を決定するなど、特定された操作物１の向きに応じた処理を実行してもよい。すなわち、情報処理装置２は、操作者が操作物１の向きを変化させることによって操作されるように構成されてもよい。
【００８１】
また、上記の説明では、操作物１として図２，３に示されるものを例示したが、操作物１の構成は適宜変更されてもよい。例えば、操作物１は複数の操作受付部２２を備えてもよい。この場合、発光部２１が、操作された操作受付部２２を示す操作情報を含む信号を出力し、受信部４２が当該信号を受信して操作情報を表示制御部４５に通知し、表示制御部４５が操作情報に応じた（すなわち操作された操作受付部２２に応じた）処理を実行してもよい。また、操作物１は少なくとも発光部２１を有すればよく、それ以外のものは適宜省略されてもよい。例えば、操作物１は有線または無線により外部（例えば情報処理装置２）から電力の供給を受けてもよく、蓄電部２４は省略されてもよい。
【００８２】
また、上記の説明では、情報処理装置２として図４に示されるものを例示したが、情報処理装置２の構成は適宜変更されてもよい。例えば、情報処理装置２は、少なくとも操作物１の位置を特定する機能を備えていればよく、表示制御部４５や表示部４６は省略されてもよい。また、情報処理装置２により特定された操作物１の位置を表す情報は、コンピュータやゲーム機器など、様々な装置や用途で利用可能である。
【００８３】
実施の形態２．
図１０は、実施の形態２に係る操作物１の構成の一例を示す概略斜視図である。図１１は、実施の形態２に係る情報処理装置２の構成の一例を示すブロック図である。本実施の形態２に係る操作物１および情報処理装置２は、実施の形態１のものと殆ど同じであるので、実施の形態１と同様の部分については、同一の符号を用い、説明を省略または簡略化することとする。
【００８４】
図１０において、操作物１は、赤外線を反射する赤外線反射部材１０１を有する。この赤外線反射部材１０１は、例えば、赤外線の波長領域において高い反射率を有するものである。図１０の例では、赤外線反射部材１０１は、本体部３１の前面３２に、発光部２１から所定の間隔だけ離れた位置に設けられており、実施の形態１の識別マーク３４は省略されている。赤外線反射部材１０１は、例えば板状の赤外線反射板である。
【００８５】
図１１において、情報処理装置２は、操作物１に対して赤外線を照射する赤外線照射部１１１を有する。この赤外線照射部１１１は、例えば、赤外線を発光する赤外線発光装置により構成される。ただし、赤外線照射部１１１は、情報処理装置２の外部の赤外線発光装置を用いて赤外線を照射してもよい。赤外線照射部１１１による赤外線の照射範囲は、操作物１の使用時に当該操作物１に赤外線が照射されるように設定される。
【００８６】
本実施の形態では、画像取得部４１は、赤外線に感度を有する撮影装置により、赤外線照射部１１１により照射され操作物１の赤外線反射部材１０１により反射された赤外線が撮影された画像を取得する。例えば、画像取得部４１は、情報処理装置２の周囲を赤外線撮影して赤外線画像を生成する撮影装置により構成される。ただし、画像取得部４１は、情報処理装置２の外部の撮影装置により撮影された赤外線画像を取得してもよい。操作物１の使用時には、操作物１は撮影装置の撮影範囲内で操作され、撮影装置は、赤外線照射部１１１により照射され操作物１の赤外線反射部材１０１により反射された赤外線を撮影する。画像取得部４１は、撮影時に赤外線が照射されるように、赤外線照射部１１１を制御してもよい。画像取得部４１は、上記赤外線画像を撮影画像として発光位置特定部４３および操作物位置特定部４４に出力する。
【００８７】
赤外線以外の光（例えば可視光など）の影響を排除し、操作物１の位置の特定の精度を向上させる観点より、一つの態様では、上記撮影装置は、赤外線を選択的に撮影するように構成されており、例えば、赤外線を通過させ赤外線以外の光（例えば可視光）を通過させないフィルタと、当該フィルタを通過した光を撮像する撮像素子とにより構成される。
【００８８】
以上説明した本実施の形態２によれば、下記（８）の効果が得られ得る。
（８）情報処理装置は、赤外線を反射する赤外線反射部材が設けられた操作物に対して赤外線を照射する赤外線照射部を備え、画像取得部は、赤外線に感度を有する撮影装置により、赤外線照射部により照射され赤外線反射部材により反射された赤外線が撮影された画像を取得する。このため、撮影画像に写っている赤外線反射部材により反射された赤外線に基づいて操作物を他の物体と識別することができ、操作物の位置の特定の精度が向上する。
【００８９】
具体的には、赤外線反射部材の反射率が高ければ、他の物体よりも赤外線反射部材が赤外線を強く放射することになり、撮影画像における輝度の比較により操作物を容易に識別できる。このため、撮影画像から操作物を認識する精度が高くなり、操作物の位置の特定の精度が向上する。また、赤外線を選択的に撮影する構成では、赤外線以外の光の影響が排除され、操作物の位置の特定の精度が向上する。
【００９０】
以上説明した実施の形態１、２において、情報処理装置２（表示部４６を除く）の機能は、電子回路などのハードウェア資源のみにより実現されてもよいし、ハードウェア資源とソフトウェアとの協働により実現されてもよい。ハードウェア資源とソフトウェアとの協働により実現される場合、情報処理装置２の機能は、例えば情報処理プログラムがコンピュータにより実行されることによって実現される。より具体的には、情報処理装置２の機能は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体に記録された情報処理プログラムが主記憶装置に読み出されて中央処理装置（ＣＰＵ:Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）により実行されることによって実現される。情報処理プログラムは、光ディスク等のコンピュータ読み取り可能な記録媒体に記録されて提供されてもよいし、インターネット等の通信回線を介して提供されてもよい。
【００９１】
なお、本発明は、上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の態様で実施することができる。
【符号の説明】
【００９２】
１  操作物、  ２  情報処理装置、  ２１  発光部、  ２２  操作受付部、  ２３  制御部、  ２４  蓄電部、  ４１  画像取得部、  ４２  受信部、  ４３  発光位置特定部、  ４４  操作物位置特定部、  ４５  表示制御部、  ４６  表示部、  １０１  赤外線反射部材、  １１１  赤外線照射部、  １００  情報処理システム。
【図１】
2012123613.tif 000003
【図２】
2012123613.tif 000004
【図３】
2012123613.tif 000005
【図４】
2012123613.tif 000006
【図５】
2012123613.tif 000007
【図６】
2012123613.tif 000008
【図７】
2012123613.tif 000009
【図８】
2012123613.tif 000010
【図９】
2012123613.tif 000011
【図１０】
2012123613.tif 000012
【図１１】
2012123613.tif 000013