(57)【特許請求の範囲】
【請求項１】
カメラと、
ユーザの周囲にある物体及びその位置のデータを記憶した記憶部と、
ユーザが指示する指示対象物に対して光を照射する発光部と、
前記カメラにて撮影した画像に基づいてユーザの指差し方向を検出し、前記記憶部に記憶されたデータに基づいて、前記物体に対して当該物体を含む所定の領域を定めたときに前記指差し方向と交差する前記所定の領域を有する物体を、前記指示対象物として検出する指示対象物検出部と、
前記指示対象物として検出された物体表面の視認しやすい位置に光を照射するように前記発光部を制御する発光制御部と、
を備える指示対象物表示装置。
【請求項２】
前記カメラにて撮影した画像に基づいて、ユーザの周囲にある物体を検出し、検出した物体およびその位置のデータを前記記憶部に記憶する請求項１に記載の指示対象物表示装置。
【請求項３】
前記所定の領域は、前記物体の実際の大きさを超える拡張領域を含む請求項１または２に記載の指示対象物表示装置。
【請求項４】
前記拡張領域は、鉛直方向より水平方向に大きく拡張された領域である請求項３に記載の指示対象物表示装置。
【請求項５】
前記物体が所定の閾値以上の大きさを有する場合に、前記物体の存在領域を前記所定の領域とする請求項１または２に記載の指示対象物表示装置。
【請求項６】
前記指示対象物検出部は、前記指差し方向に複数の物体を検出した場合に、前記複数の物体の中で、前記指差し方向との交差位置が最も中心近くにある物体を指示対象物として検出する請求項１乃至５のいずれかに記載の指示対象物表示装置。
【請求項７】
前記指示対象物検出部は、前記指差し方向に複数の物体を検出した場合に、ユーザの最も近くにある物体を指示対象物として検出する請求項１乃至５のいずれかに記載の指示対象物表示装置。
【請求項８】
前記所定の領域内の位置と前記物体表面の位置とを対応付けたテーブルを有し、
前記発光制御部は、前記テーブルを参照して、前記指差し方向と前記所定の領域とが交差する位置を前記物体表面の位置に変換した位置に光を照射するように前記発光部を制御する、請求項１乃至７のいずれかに記載の指示対象物表示装置。
【請求項９】
前記発光制御部は、前記指差し方向と前記所定の領域とが交差する位置にかかわらず、前記物体表面の所定の位置に光を照射するように前記発光部を制御する請求項１乃至７のいずれかに記載の指示対象物表示装置。
【請求項１０】
前記発光部が移動体に搭載されている請求項１乃至９のいずれかに記載の指示対象物表示装置。
【請求項１１】
前記指示対象物検出部は、一定時間内における前記指差し方向の動きを検出し、前記指差し方向の動きが所定の閾値以内の場合には、指差し方向が変化していないと判定する請求項１乃至１０のいずれかに記載の指示対象物表示装置。
【請求項１２】
前記指示対象物検出部が、ユーザの指先が所定の閾値以上の速度、または所定の閾値以上の加速度で移動していることを検出した場合には、前記発光制御部は、前記指差し方向と前記物体とが交差する位置に光を照射するように前記発光部を制御する請求項１乃至１１のいずれかに記載の指示対象物表示装置。
【請求項１３】
前記指示対象物検出部が、ユーザの指先が所定の閾値以上の速度、または所定以上の加速度で移動していることを検出した場合には、前記発光制御部は、光の照射を停止するように前記発光部を制御する請求項１乃至１１のいずれかに記載の指示対象物表示装置。
【請求項１４】
前記指示対象物検出部は、前記指先の移動軌跡の曲率半径が所定の閾値より大きい場合には、ユーザから所定の距離以上離れた場所にある物体を前記指示対象物として検出する請求項１乃至１３のいずれかに記載の指示対象物表示装置。
【請求項１５】
ユーザが指示する方向に光を照射する発光部と、
前記発光部の照射開始の指示を受け付ける入力部と、
前記入力部にて照射開始の指示を受け付けると、最初に照射角度が所定の閾値より大きい光を発光させた後に、照射角度が所定の閾値以下の光を発光させるように、前記発光部を制御する発光制御部と、
を備える指示対象物表示装置。
【請求項１６】
前記発光制御部は、照射角度が所定の閾値より大きい光を所定の閾値以下の光に切り替える際に、照射角度を徐々に小さくする請求項１５に記載の指示対象物表示装置。
【請求項１７】
棒状の筐体を有し、前記発光部は、前記筐体の長手方向に光を照射する向きで、前記棒状の筐体に設けられている請求項１５または１６に記載の指示対象物表示装置。
【請求項１８】
前記筐体は、加速度センサーを備え、
前記発光制御部は、前記照射開始の指示を受け付けてから前記加速度センサーにより検出した加速度が所定の閾値以下になるまで照射角度が所定の閾値より大きい光を発光させ、前記加速度センサーにより検出した加速度が所定の閾値以下になった後は、照射角度が所定の閾値以下の光を発光させる請求項１７に記載の指示対象物表示装置。
【請求項１９】
カメラを備え、
前記発光制御部は、前記カメラにて撮影した画像に基づいてユーザの指差し方向を検出し、前記指差し方向に向けて光を照射するように前記発光部を制御する請求項１５または１６に記載の指示対象物表示装置。
【請求項２０】
前記発光制御部は、所定時間内における前記指差し方向の変化が所定の閾値以下になるまで照射角度が所定の閾値より大きい光を発光させ、所定時間内における前記指差し方向の変化が所定の閾値以下になった後は、照射角度が所定の閾値以下の光を発光させる請求項１９に記載の指示対象物表示装置。
【請求項２１】
カメラと、ユーザが指示する指示対象物に対して光を照射する発光部とを備える指示対象物表示装置によって、指示対象の物体を表示する指示対象物表示方法であって、
前記指示対象物表示装置が、前記カメラにて撮影した画像に基づいてユーザの指差し方向を検出するステップと、
前記指示対象物表示装置が、ユーザの周囲にある物体及びその位置のデータを記憶した記憶部のデータに基づいて、前記指差し方向が前記物体を含む所定の領域と交差する物体を前記指示対象物として検出するステップと、
前記指示対象物表示装置が、前記指示対象物として検出された物体表面の視認しやすい位置に光を照射するように前記発光部を制御するステップと、
を備える指示対象物表示方法。
【請求項２２】
ユーザが指示する方向に光を照射する発光部と、前記発光部の照射開始の指示を受け付ける入力部とを備える指示対象物表示装置によって、指示対象物を表示する方法であって、
前記入力部にて照射開始の指示を受け付けると、前記発光部によって、照射角度が所定の閾値より大きい光を発光させるステップと、
前記ステップに続いて、前記発光部によって、前記照射角度が所定の閾値以下の光を発光させるステップと、
を備える指示対象物表示方法。
【請求項２３】
カメラと、ユーザが指示する指示対象物に対して光を照射する発光部とに接続されたコンピュータによって指示対象の物体を表示させるためのプログラムであって、前記コンピュータに、
前記カメラにて撮影した画像に基づいてユーザの指差し方向を検出するステップと、
ユーザの周囲にある物体及びその位置のデータを記憶した記憶部のデータに基づいて、前記指差し方向が前記物体を含む所定の領域と交差する物体を前記指示対象物として検出するステップと、
前記指示対象物として検出された物体表面の視認しやすい位置に光を照射するように前記発光部を制御するステップと、
を実行させるプログラム。
【請求項２４】
ユーザが指示する方向に光を照射する発光部と、前記発光部の照射開始の指示を受け付ける入力部とに接続されたコンピュータによって指示対象の物体を表示させるためのプログラムであって、前記コンピュータに、
前記入力部にて照射開始の指示を受け付けると、前記発光部によって、照射角度が所定の閾値より大きい光を発光させるステップと、
前記ステップに続いて、前記発光部によって、前記照射角度が所定の閾値以下の光を発光させるステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが指示した対象物を表示する指示対象物表示装置に関する。
【背景技術】
【０００２】
従来から、ロボットに対して指示した物体を移動させる等の動作を行わせる際に、対象物を特定する方法として、対象物を指差しで指定する方法が研究されている。特許文献１は、人間の指差す方向は正確に対象物に向かっているとは限らず、間違って対象物を特定する可能性があるという課題を解決する対象物特定方法を開示している。すなわち、特許文献１に記載された発明は、ユーザの視線方向を示す視線直線と各物品との間の距離に基づいて、物品毎の視線方向確信度を評価し、指差し方向確信度および視線方向確信度に基づいて対象物を特定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１５１４１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、ユーザが指示した方向を正確に推定することが困難であることに鑑み、ユーザが指示した方向にある物体に対して光を照射することによって、ユーザに対して指示対象物の情報をフィードバックし、これにより、物体を適切に特定することを可能にする装置および方法を提供する。また、ユーザの指示する方向が正確に対象物に向かっているとは限らないことに鑑み、ユーザの意図を推定し、ユーザが指示していると考えられる物体を表示する装置および方法を提供する。
【課題を解決するための手段】
【０００５】
本発明の指示対象物表示装置は、カメラと、ユーザの周囲にある物体及びその位置のデータを記憶した記憶部と、ユーザが指示する指示対象物に対して光を照射する発光部と、前記カメラにて撮影した画像に基づいてユーザの指差し方向を検出し、前記記憶部に記憶されたデータに基づいて、前記物体に対して当該物体を含む所定の領域を定めたときに前記指差し方向と交差する前記所定の領域を有する物体を、前記指示対象物として検出する指示対象物検出部と、前記指示対象物として検出された物体表面の視認しやすい位置に光を照射するように前記発光部を制御する発光制御部とを備える。
【０００６】
このようにユーザの指差し方向にある物体を検出すると、その物体表面の視認しやすい位置に光を照射することにより、指示対象物検出部が検出している物体をユーザに認識させることができる。したがって、もし、光が照射された物体がユーザが意図している物体と異なっている場合には、ユーザは、指差し方向を調整することにより、適切に物体を指示することが可能となる。なお、「物体表面の視認しやすい位置」とは、例えば、物体の中心、フラットな面、無地の面、ユーザに対して垂直な面、などである。
【０００７】
本発明の指示対象物表示装置は、前記カメラにて撮影した画像に基づいて、ユーザの周囲にある物体を検出し、検出した物体およびその位置のデータを前記記憶部に記憶してもよい。
【０００８】
この構成により、物体の位置が変化した場合にも、適切に指示対象物を特定することができる。
【０００９】
本発明の指示対象物表示装置において、前記所定の領域は、前記物体の実際の大きさを超える拡張領域を含んでもよい。
【００１０】
このように指差し方向と交差する所定の領域として物体の拡張領域を含むことにより、ユーザの指差し方向が正確に物体と交差していない場合であっても、ユーザの指差し方向にある物体を指示対象物として検出することができる。
【００１１】
また、この拡張領域は、鉛直方向より水平方向に大きく拡張した領域であってもよい。人間は指差し方向を水平に動かす場合が多いので、拡張領域を水平方向に大きくすることにより、指差し方向にある物体を適切に捉えることができる。
【００１２】
本発明の指示対象物表示装置は、前記物体が所定の閾値以上の大きさを有する場合に、前記物体の存在領域を前記所定の領域としてもよい。
【００１３】
指示対象物である物体が大きい場合には、指示対象物のいずれかの場所を指差すことは容易であり、指差し方向が指示対象物からずれることは少ない。物体が大きいにもかかわらず、指差し方向が物体からずれている場合には、ユーザはその物体を指示対象物としていないと考えられる。したがって、物体が所定の閾値以上の大きさを有する場合には拡張領域を設定せず、物体の存在領域自体を所定の領域とすることにより、ユーザの意図を適切に反映した指示対象物の表示を行える。
【００１４】
本発明の指示対象物表示装置において、前記指示対象物検出部は、前記指差し方向に複数の物体を検出した場合に、前記複数の物体の中で、（ａ）前記指差し方向との交差位置が最も中心近くにある物体、あるいは（ｂ）ユーザの最も近くにある物体を指示対象物として検出してもよい。
【００１５】
この構成により、指差し方向に複数の物体が検出された場合に、ユーザの意図に合った物体を指示対象物として検出できる。
【００１６】
本発明の指示対象物表示装置は、前記所定の領域内の位置と前記物体表面の位置とを対応付けたテーブルを有し、前記発光制御部は、前記テーブルを参照して、前記指差し方向と前記所定の領域とが交差する位置を前記物体表面の位置に変換した位置に光を照射するように前記発光部を制御してもよい。
【００１７】
このようにユーザの指差し方向に基づいて物体表面における光の照射位置に決定することにより、光が照射されている物体を見つけやすくすることができる。例えば、照射位置を指差し位置（指差し方向との交差位置）よりも物体の中心の方に寄せることで、指差し位置が物体の縁部や物体の拡張領域にあったとしても物体の中心付近に光を照射でき、指示対象物を見つけやすくなる。
【００１８】
本発明の指示対象物表示装置において、前記発光制御部は、前記指差し方向と前記所定の領域とが交差する位置にかかわらず、前記物体表面の所定の位置に光を照射するように前記発光部を制御してもよい。
【００１９】
このように物体表面の所定の位置が照射されることにより、指示対象物を見つけやすくできる。なお、所定の位置は、物体の中心であってもよい。
【００２０】
本発明の指示対象物表示装置は、前記発光部が移動体に搭載されていてもよい。ユーザの手の位置と発光部の位置が異なるので、ユーザと指示対象物との間には障害物がない場合でも、発光部と指示対象物との間に障害物があることがあり得る。発光部を移動可能とする構成により、ユーザが物体を指差しているのに、その物体が指示対象物として表示されないという不都合を防止できる。
【００２１】
本発明の指示対象物表示装置において、前記指示対象物検出部は、一定時間内における前記指差し方向の動きを検出し、前記指差し方向の動きが所定の閾値以内の場合には、指差し方向が変化していないと判定してもよい。
【００２２】
この構成により、例えば、ユーザの指がわずかに震えただけの場合等に、光を照射する位置を動かさないようにし、ユーザの意図しない照射位置の動きを抑えることができる。
【００２３】
本発明の指示対象物表示装置において、前記指示対象物検出部が、ユーザの指先が所定の閾値以上の速度、または所定の閾値以上の加速度で移動していることを検出した場合には、前記発光制御部は、前記指差し方向と前記物体とが交差する位置に光を照射するように前記発光部を制御してもよい。
【００２４】
指先が早く動いているときには、ユーザが指示したいと意図する物体に向けて指示方向を動かしており、その移動途中にある物体を指示したいわけではないと考えられる。したがって、このような場合には、指差し位置から物体を視認しやすい位置（例えば、物体の中心付近など）に変更して光を照射するのではなく、単に指差し位置を表示することにより、ユーザの意図に適った表示を行える。
【００２５】
本発明の指示対象物表示装置において、前記指示対象物検出部が、ユーザの指先が所定の閾値以上の速度、または所定以上の加速度で移動していることを検出した場合には、前記発光制御部は光の照射を停止するように前記発光部を制御してもよい。
【００２６】
指先が早く動いているときには、その移動途中にある物体を指示したいわけではないと考えられるので、光の照射を停止する構成とすることにより、指先が素早く動いているときの処理を簡単にすることができる。
【００２７】
本発明の指示対象物表示装置において、前記指示対象物検出部は、前記指先の移動軌跡の曲率半径が所定の閾値より大きい場合には、ユーザから所定の距離以上離れた場所にある物体を前記指示対象物として検出してもよい。
【００２８】
このように指先の移動軌跡の曲率半径が大きい場合には、肘を伸ばして肩を回すことによって指差し方向を変え、遠くの物体を指示しようとしていると考えられる。したがって、この場合には、遠くの物体を指示対象物として検出することにより、ユーザの意図に合った物体を指示対象物として検出できる。
【００２９】
本発明の指示対象物表示装置は、ユーザが指示する方向に光を照射する発光部と、前記発光部の照射開始の指示を受け付ける入力部と、前記入力部にて照射開始の指示を受け付けると、最初に照射角度が所定の閾値より大きい光を発光させた後に、照射角度が所定の閾値以下の光を発光させるように、前記発光部を制御する発光制御部とを備える。
【００３０】
このように照射開始時には照射角度が所定の閾値より大きい光を発光することにより、どの方向を指しているかを容易に見つけることができるようになる。そして、どの方向を指しているかをユーザが認識した後は、照射角度を所定の閾値以下として、指示対象物の物体を適切に指示することができる。なお、照射開始の指示を受け付ける入力部は、例えば、電源スイッチでもよいし、照射を指示するスイッチであってもよい。
【００３１】
本発明の指示対象物表示装置において、前記発光制御部は、照射角度が所定の閾値より大きい光を所定の閾値以下の光に切り替える際に、照射角度を徐々に小さくしてもよい。この構成により、ユーザがいったん認識した方向を見失う可能性を低減できる。
【００３２】
本発明の指示対象物表示装置は、棒状の筐体を有し、前記発光部は、前記筐体の長手方向に光を照射する向きで、前記棒状の筐体に設けられていてもよい。
【００３３】
この構成により、棒状の筐体が延びる方向に光を照射するので、棒状の筐体の端部を指示対象物の方向に向けるという直感的に理解しやすい方法で、指示対象物を照射できる。
【００３４】
本発明の指示対象物表示装置において、前記筐体は、加速度センサーを備え、前記発光制御部は、前記照射開始の指示を受け付けてから前記加速度センサーにより検出した加速度が所定の閾値以下になるまで照射角度が所定の閾値より大きい光を発光させ、前記加速度センサーにより検出した加速度が所定の閾値以下になった後は、照射角度が所定の閾値以下の光を発光させてもよい。
【００３５】
光がどの方向に照射されているか分からないときには、ユーザは、筐体を振ってみて照射されている場所を探す行動をとる場合がある。このようなユーザの行動特性に鑑みると、筐体の揺れが収まるまではユーザが照射方向を探していると考えられるので、加速度が所定の閾値以下になるまで照射角度の大きい光を発光してユーザに照射方向を認識させやすくすることができる。また、ユーザがいったん照射方向を認識し、筐体の揺れが収まった後は、照射角度が小さい光により指示対象物を適切に指示できるようにすることができる。
【００３６】
本発明の指示対象物表示装置は、カメラを備え、前記発光制御部は、前記カメラにて撮影した画像に基づいてユーザの指差し方向を検出し、前記指差し方向に向けて光を照射するように前記発光部を制御してもよい。
【００３７】
この構成により、ユーザの指差し方向によって指示方向を検出して、その検出方向を照射することができるが、この場合にも、最初に照射角度の大きい光を用いることで指差し方向を見つけやすくすることができる。なお、この場合には、照射開始の指示を受け付ける入力部は、例えば、ユーザの所定のジェスチャーを照射開始の指示として検出してもよい。
【００３８】
本発明の指示対象物表示装置において、前記発光制御部は、所定時間内における前記指差し方向の変化が所定の閾値以下になるまで、照射角度が所定の閾値より大きい光を発光させ、所定時間内における前記指差し方向の変化が所定の閾値以下になった後は、照射角度が所定の閾値以下の光を発光させてもよい。
【００３９】
光がどの方向に照射されているか分からないときには、ユーザは、指差し方向を変えてみて照射されている場所を探す行動をとる。このようなユーザの行動特性に鑑みると、指差し方向の揺れが収まるまでは、ユーザが照射方向を探していると考えられるので、所定時間内における指差し方向の変化が所定の閾値以下になるまで照射角度の大きい光を発光してユーザに照射方向を認識させやすくすることができる。また、ユーザがいったん照射方向を認識し、指差し方向の変化が収まった後は、照射角度が小さい光により指示対象物を適切に指示できるようにすることができる。
【００４０】
本発明の指示対象物表示方法は、上記した指示対象物表示装置が行う各ステップを実行する方法であり、本発明のプログラムは、上記した指示対象物表示装置が行う各ステップをコンピュータに実行させる方法である。これらの方法及びプログラムによっても、本発明の指示対象物表示装置と同様に、指示されている物体をユーザに認識させることができ、もし、ユーザが意図している物体と異なっている場合には、ユーザは、指差し方向を調整することにより、適切に物体を指示することが可能となる。
【発明の効果】
【００４１】
本発明によれば、ユーザの指差し方向にある物体を検出すると、その物体表面の視認しやすい位置に光を照射することにより、指示対象物検出部が検出している物体をユーザに認識させることができるという効果を有する。
【図面の簡単な説明】
【００４２】
【図１】第１の実施の形態の指示対象物表示装置の構成を示す図である。
【図２】（ａ）は、指差し方向が交差する物体の例を示す図である。（ｂ）は、指差し方向が物体の拡張領域と交差する例を示す図である。
【図３】指差し方向に複数の物体がある場合の、指示対象物検出部による指示対象物検出について説明するための図である。
【図４】指差し方向が交差する位置と、発光による照射位置との関係を示す図である。
【図５】実施の形態の指示対象物表示装置のハードウェア構成を示す図である。
【図６】第１の実施の形態の指示対象物表示装置の動作を示すフローチャートである。
【図７】第２の実施の形態の指示対象物表示装置の動作を示すフローチャートである。
【図８】第３の実施の形態の指示対象物表示装置の動作を示すフローチャートである。
【図９】（ａ）及び（ｂ）は、第４の実施の形態の指示対象物表示装置の構成を示す図である。
【図１０】第４の実施の形態の指示対象物表示装置の動作を示すフローチャートである。
【図１１】（ａ）及び（ｂ）は、第４の実施の形態の指示対象物表示装置による照射の様子を示す図である。
【図１２】（ａ）及び（ｂ）は、第４の実施の形態の変形例にかかる指示対象物表示装置による照射の様子を示す図である。
【発明を実施するための形態】
【００４３】
以下、本発明の実施の形態にかかる指示対象物表示装置について、図面を参照して説明する。
［第１の実施の形態］
図１は、実施の形態の指示対象物表示装置１の構成を示す図である。指示対象物表示装置１は、カメラ１０と、制御部１１と、記憶部１５と、発光部１６とを有している。
【００４４】
記憶部１５には、ユーザがいる環境、すなわち、ユーザの周囲にある物体、当該物体のある位置および姿勢などのデータを記憶する。記憶部１５に記憶するデータは、ユーザの周囲の物体が静的なもの（例えば、壁、天井、キッチン、食器棚、エアコン等）の場合にはあらかじめデータを取得して記憶しておいてもよい。ユーザの周囲にある物体が移動可能なもの（リモコン、本、コップ等）の場合には、指示対象物の表示を行う際に、カメラ１０にてユーザの周囲の環境を撮影し、撮影した画像を解析することによって物体のデータを取得して記憶することとしてもよい。また、ユーザの周囲の物体が静的なものと動的なものの組合せの場合、静的なものについてはあらかじめ記憶部１５に記憶しておき、動的なものは指示対象物の表示を行う際に記憶することとしてもよい。
【００４５】
カメラ１０は、撮影した画像からユーザの指差し方向を検出するため、複数の方向から物体を撮影する。複数の方向から物体を撮影するために、複数台のカメラ１０を備えることとしてもよいし、カメラ１０を移動体に搭載し、カメラ１０を移動して複数の方向から撮影することとしてもよい。
【００４６】
発光部１６は、光を照射する機能を有する。発光部１６は、例えば、レーザーダイオードであり、照射方向を変更可能な構成を有している。また、発光部１６は、移動体に搭載されており、その発光の起点を変えることができる。
【００４７】
制御部１１は、カメラ１０にて撮影した画像を取得する撮影画像取得部１２と、撮影画像からユーザの指差し方向を求め、ユーザの指差し方向にある物体（つまり、指差し方向の延長線上にある物体）を指示対象物として検出する指示対象物検出部１３と、指示対象物に光を照射するように発光部１６を制御する発光制御部１４を有している。
【００４８】
指示対象物検出部１３は、まず、撮影画像を解析してユーザの指差し方向を求める。具体的には、ユーザの指先が空間座標内のどこにあって、どの方向を向いているかを計算する。撮影画像からユーザの指差し方向を求める方法としては、例えば、上に挙げた特許文献１に記載された方法や、Kaoning Hu, et al.  "Hand Pointing Estimation for Human Computer Interaction Based on Two Orthogonal-Views"  ICPR '10 Proceeding of the 2010 20th International Conference on Pattern Recognitionに記載された方法等の公知の方法を採用することができる。
【００４９】
指示対象物検出部１３は、記憶部１５から物体に関するデータを読み出し、ユーザの指差し方向と交差する物体を求め、当該物体を指示対象物として検出する。図２（ａ）は、指差し方向が交差する物体の例を示す図である。このように指差し方向が物体に交差する場合に、その物体が指示対象物となる。
【００５０】
指示対象物検出部１３は、指差し方向が物体の近傍を通る場合にも、当該物体を指示対象物として検出する機能を有する。指示対象物検出部１３は、物体に対して、その物体の実際の大きさよりも大きい拡張領域を設定する。拡張領域の大きさは、例えば、物体の実際の大きさに対して所定の倍率（例えば、１．５倍）を乗じた大きさとすることができる。拡張領域と物体の存在領域を合わせた領域が、本発明の「物体を含む所定の領域」に相当する。
【００５１】
図２（ｂ）は、指差し方向が物体の拡張領域と交差する例を示す図である。図２（ｂ）に示すように指差し方向が物体の拡張領域と交差する場合にも、指示対象物検出部１３は、当該物体を指示対象物として検出する。
【００５２】
また、指示対象物検出部１３は、指差し方向に複数の物体がある場合には、指差し方向との交差位置が最も中心近くにある物体を指示対象物として検出する。図３に示すように指差し方向に物体Ａと物体Ｂがあり、ユーザの指差し方向の延長線が物体Ａの拡張領域と交差し、物体Ｂの存在領域と交差しているとする。図３を参照すると、それぞれの交差位置と物体中心との距離を見ると、物体Ｂとの交差位置の方が物体Ａとの交差位置よりも、物体中心に近い。このような場合には、指示対象物検出部１３は、物体Ｂを指示対象物として検出する。これにより、複数の物体がある場合に、ユーザの意図に合った物体を指示対象物として検出することができる。
【００５３】
発光制御部１４は、指示対象物として検出された物体に対して光を照射するように、発光部１６の発光方向を制御する機能を有する。発光制御部１４は、指示対象物である物体の表面の視認しやすい位置に光を照射する。本実施の形態では、発光制御部１４は、指差し方向と物体（またはその拡張領域）との交差位置に対して照射するのではなく、交差位置から物体の中心に寄った位置に対して光を照射する。これにより、ユーザは、物体を見たときに光が照射されているかどうかを容易に判断することができる。
【００５４】
図４は、指差し方向が交差する位置と、発光による照射位置との関係を示す図である。図４の左側の図は拡張領域を含む所定の領域の座標系を示し、右側の図は物体の座標系を示す図である。なお、図４では、簡単のため２次元座標で説明しているが、実際には３次元座標である。発光制御部１４は、照射位置を物体の中心（座標系の原点）に寄せるため、指差し方向の交差位置の座標値に２／３を乗じて、照射位置の座標を計算する。本実施の形態の指示対象物表示装置１の記憶部１５には、交差位置の座標を照射位置の座標に変換するためのテーブルが記憶されている。
【００５５】
図５は、実施の形態の指示対象物表示装置１のハードウェア構成を示す図である。指示対象物表示装置１は、カメラ１０および発光部１６に接続されたコンピュータ２０によって構成される。コンピュータ２０は、ＣＰＵ２１、ＲＡＭ２２、ＲＯＭ２３、ＨＤＤ２５、外部インターフェース（Ｉ／Ｆ）２６，２７を備え、これらの構成要素がデータバス２８によって接続されている。カメラ１０は外部インターフェース２６に接続され、発光部１６は外部インターフェース２７に接続される。
【００５６】
なお、指示対象物表示装置１がロボット装置等と共に用いられる場合には、ロボット装置も外部インターフェースに接続される。ＲＯＭ２３には、上述した制御部１１の機能を実現するプログラム２４が記憶されており、ＣＰＵ２１がプログラム２４を読み出して実行することにより、制御部１１の機能が実現される。このようなプログラム２４も本発明の範囲に含まれる。
【００５７】
図６は、実施の形態の指示対象物表示装置１の動作を示すフローチャートである。指示対象物表示装置１は、まず、カメラ１０にてユーザを撮影し（Ｓ１）、指示対象物検出部１３にて、撮影した画像からユーザの指差し方向を検出する（Ｓ２）。続いて、指示対象物検出部１３は、記憶部１５からユーザの周囲にある物体に関するデータを読み出し、物体に対して定めた所定の領域がユーザの指差し方向と交差する物体を指示対象物として求める（Ｓ３）。次に、指示対象物表示装置１の発光制御部１４は、指差し方向と物体との交差位置から物体への照射位置を計算し（Ｓ４）、発光部１６を制御して照射位置に向けて発光する（Ｓ５）。指示対象物表示装置１は、以上の処理を繰り返し行う。
【００５８】
これにより、ユーザが指差し方向を動かした場合には、指示対象物表示装置１は、ユーザの指差し方向に基づいて物体を検出し、その物体への照射位置を求めて照射を行うので、ユーザの指差し方向の変化に応じて、物体への照射位置も変化していく。したがって、ユーザは照射位置を見ながら、指差し方向を変えることによって、所望の物体を適切に指示することができる。
【００５９】
また、図４を用いて説明した内容から分かるように、本実施の形態では、物体の近傍の領域を指差すことにより物体の表面上に光が照射されるので、物体を指示するために指差し方向を動かしていくと、指差し方向が物体に近づいたときに照射位置が物体に吸いつくような動きをする。ユーザは、指差し方向を厳密に物体の方向に向けなくてもよいので、簡単に所望の物体を指示することができる。
【００６０】
［第２の実施の形態］
次に、第２の実施の形態の指示対象物表示装置について説明する。第２の実施の形態の指示対象物表示装置の基本的な構成は、第１の実施の形態の指示対象物表示装置１と同じであるが、第２の実施の形態では、ユーザの指先の震えによって照射位置が震えないような工夫を行った点が異なる。
【００６１】
図７は、第２の実施の形態の指示対象物表示装置の動作を示すフローチャートである。指示対象物表示装置は、まず、カメラ１０にてユーザを撮影し（Ｓ１１）、指示対象物検出部１３にて、撮影した画像からユーザの指差し方向を検出し（Ｓ１２）、求めた指差し方向のデータを記憶部１５に記憶する（Ｓ１３）。
【００６２】
次に、第２の実施の形態の指示対象物表示装置は、直前の所定時間（例えば、０．３秒）内における指差し方向のデータを記憶部１５から読み出し、指差し方向の動きの量が所定の閾値（例えば、１度）より大きいか否かを判定する（Ｓ１４）。その結果、指差しの動きの量が所定の閾値以内である場合には（Ｓ１４でＮＯ）、ユーザを撮影して（Ｓ１１）、ユーザの指差し方向を検出する処理（Ｓ１２）に戻る。
【００６３】
指差しの動きの量が所定の閾値より大きい場合（Ｓ１４でＹＥＳ）、指示対象物検出部１３は、記憶部１５からユーザの周囲にある物体に関するデータを読み出し、物体に対して定めた所定の領域がユーザの指差し方向と交差する物体を指示対象物として求める（Ｓ１５）。次に、指示対象物表示装置の発光制御部１４は、指差し方向と物体との交差位置から物体への照射位置を計算し（Ｓ１６）、発光部１６を制御して照射位置に向けて発光する（Ｓ１７）。指示対象物表示装置は、以上の処理を繰り返し行う。
【００６４】
ユーザの指先の震えは無意識に起こってしまう現象であり、この現象はユーザが物体を指示しようとしているものではない。第２の実施の形態では、所定の時間内における所定の閾値より小さい細かい動きを照射位置に反映しないようにすることにより、ユーザの意図に合った物体の指示を実現することができる。
【００６５】
［第３の実施の形態］
次に、第３の実施の形態の指示対象物表示装置について説明する。第３の実施の形態の指示対象物表示装置の基本的な構成は、第１の実施の形態の指示対象物表示装置と同じであるが、第３の実施の形態では、ユーザが指先を素早く動かして指差し方向を変えたときには、その移動の過程においては、指差し方向と物体の拡張領域との交差位置を検出しないようにしている点が異なる。
【００６６】
図８は、第３の実施の形態の指示対象物表示装置の動作を示すフローチャートである。指示対象物表示装置は、まず、カメラ１０にてユーザを撮影し（Ｓ２１）、指示対象物検出部１３にて、撮影した画像からユーザの指差し方向を検出する（Ｓ２２）。続いて、指示対象物検出部１３は、指差し方向の移動速度を計算する（Ｓ２３）。移動速度の計算は、第２の実施の形態にて説明したのと同様に、求めた指差し方向のデータを記憶部１５に記憶しておき、記憶部１５に記憶された時系列データを用いて速度を計算することによって行う。
【００６７】
指示対象物表示装置は、移動速度が所定の閾値以下か否かを判定する（Ｓ２４）。この結果、移動速度が所定の閾値以下の場合には（Ｓ２４でＹＥＳ）、第１の実施の形態と同様の処理を行う。すなわち、指示対象物表示装置は、記憶部１５からユーザの周囲にある物体に関するデータを読み出し、物体に対して定めた所定の領域がユーザの指差し方向と交差する物体を指示対象物として求める（Ｓ２５）。次に、指示対象物表示装置の発光制御部１４は、指差し方向と物体との交差位置から物体への照射位置を計算し（Ｓ２６）、発光部１６を制御して照射位置に向けて発光する（Ｓ２７）。
【００６８】
一方、ユーザの指先の移動速度が所定の閾値より大きい場合には（Ｓ２４でＮＯ）、指示対象物表示装置は、指差し方向と物体が交差する位置を求める（Ｓ２８）。このステップでは、物体に拡張領域を設定せず、物体と指差し方向とが交差する位置を求める。そして、発光部１６は、求めた交差位置に向けて発光する（Ｓ２９）。
【００６９】
本実施の形態によれば、指差し方向が所定の閾値以下の速度で移動している場合には、移動中の照射位置は、第１の実施の形態で説明したように、物体に吸いつくような動きをするので、ユーザがその途中にある物体を指示することが容易である。指差し方向が所定の閾値より大きい速度で移動している場合には、照射位置は指差し方向をそのまま示し、滑らかな動きをする。指差し方向を素早く動かしている場合には、所望の物体に向けて指差し方向を移動しており、その間にある物体を指示する意図がないと考えられるから、物体に吸いつくような動き方をしないのがユーザの意図に適う。
【００７０】
なお、本実施の形態では、指差し方向の移動速度が所定の閾値以下か否かにより、照射位置の求め方を変える例について説明したが、指差し方向の移動加速度に基づいて判断してもよいし、移動速度と移動加速度の両方を用いてもよい。
【００７１】
また、本実施の形態では、指差し方向の移動速度が所定の閾値より大きい場合には、指差し方向をそのまま照射する例について説明したが、指差し方向の移動速度が所定の閾値より大きい場合には、指差し方向を照射するのを停止してもよい。上述したように、指差し方向を素早く動かしているときには物体を指示する意図がないと考えられるので、照射しなくても問題はなく、かつ、物体との交差位置を求める処理が不要になるので、処理が簡単になる。
【００７２】
上記した第１〜第３の実施の形態において、物体の近傍を指したときにも物体を検出できるように物体に対して拡張領域を設定する例について説明したが、拡張領域を設定する物体とそうでない物体とを設けてもよい。例えば、大きさが所定の閾値以下の物体に対しては拡張領域を設定し、所定の閾値より大きい物体には拡張領域を設定しない構成とすることもできる。小さい物体を正確に指し示すのは難しいので拡張領域を設定することにより、小さい物体を容易に指示できるようにできる。逆に大きい物体については、拡張領域がなくとも指し示すのが簡単であるし、逆に、大きい物体に拡張領域を設定すると、他の物体を指示したいのに、大きい物体が邪魔になるような事態も考えられる。
【００７３】
また、移動可能な物体に拡張領域を設定し、静的な物体に対しては拡張領域を設定しない構成とすることもできる。例えば、ロボットに対して指示を行う場合には、物を持って来させたり、片づけさせたりといったように、物体の移動を伴うことが多いので、動的な物体を指し示す場合が多く、壁や天井などの静的なものを指示することは少ないと考えられる。そこで、動的な物体には拡張領域を設定して、物体の指示を容易にすることが実用的である。
【００７４】
また、拡張領域を設定する際には、物体の全周にわたって、均一に拡大した領域である必要はなく、例えば、鉛直方向より水平方向に大きく拡大した拡張領域を設定してもよい。人間は指差し方向を水平に動かす場合が多いので、拡張領域を水平方向に大きくすることにより、指差し方向にある物体を適切に捉えることができる。また、拡張領域の形状は、ユーザの指差しの癖を学習して、ユーザに合った形状としてもよい。例えば、物体の実際の位置よりも右側を指してしまいがちなユーザに対しては、右側が大きい拡張領域とすることにより、物体の指示を容易に行えるようになる。
【００７５】
上記した第１〜第３の実施の形態では、複数の物体を検出した際には、複数の物体の中で最も中心に近いところが指示された物体を指示対象物とする例について説明したが（図３参照）、複数の物体のうち、ユーザに最も近い物体を指示対象物としてもよい。
【００７６】
また、別の態様として、撮影画像から指差しを行っている方のユーザの肘の角度を求め、肘が伸びている場合には、遠くにある物体を指示対象物とし、肘が曲がっている場合には近くにある物体を指示対象物としてもよい。これにより、ユーザの意図を推定して適切に指示対象物を照射することができる。
【００７７】
また、指差し方向の移動を検出したときに、その指先の移動軌跡の曲率半径に基づいてユーザの意図を推定して、指示対象物を決定してもよい。例えば、指先の移動軌跡の曲率半径が大きいときには、肘や手首を回すのではなく、肩を回すことによって指差し方向を変えていると考えられるので、この場合は遠くの物体を指示対象物とする意図であると推定できる。この場合は、移動後の指差し方向にある物体のうちで、遠くにある物体を指示対象物として検出する。
【００７８】
上記した第１〜第３の実施の形態においては、交差位置から照射位置を求める際に、指差し方向の交差位置の座標値に２／３を乗じて、照射位置の座標を計算する例について説明したが、交差位置から照射位置への変換方法（変換テーブル）は必ずしも等倍である必要はなく、様々なバリエーションが考えられる。例えば、拡張領域を含む所定の領域を物体の中心付近か否かで２つの領域に分け、交差位置が中心付近の領域に入っているときにはその交差位置をそのまま照射位置とし、交差位置が外側の領域に入っているときには、照射位置が中心付近の領域に入るように座標変換してもよい。また、交差位置にかかわらず、物体の中心を照射位置とするようにしてもよい。
【００７９】
［第４の実施の形態］
次に、第４の実施の形態の指示対象物表示装置について説明する。従来の指示対象物表示装置では、どの指示対象物を指示しているかを適切に表示するため、照射角度の小さい光が用いられていた。しかし、照射角度の小さい光は、指示対象物を適切に指示できる一方で、照射範囲が狭いために、どこを指しているかを見つけることが困難なことがあった。例えば、プレゼンテーションなどでは、説明している箇所を指示するためにレーザーポインタが用いられるが、レーザーポインタをスクリーンに向けてすぐには、レーザーポインタがどこを指しているのか見つからないことがある。この場合、レーザーポインタを適当に振ってみて、どこかに光が見えるかを確認する等の行動をとるユーザもいる。第４の実施の形態では、照射開始の最初の段階において、容易に照射方向を見つけることができるようにした指示対象物表示装置について説明する。なお、当然のことながら、指示対象物表示装置は、ここで説明するレーザーポインタのような装置に限定されることなく、ロボットに指示対象の物体を教示するために用いられる指示対象物表示装置等にも適用できる。
【００８０】
図９（ａ）及び図９（ｂ）は、第４の実施の形態の指示対象物表示装置４の構成を示す図である。図９（ａ）に示すように、指示対象物表示装置４は、細長い棒状の筐体３０にスイッチ３１と発光部３２を備えている。発光部３２は、筐体３０の長手方向（図９（ａ）の右方向）に光を照射する。スイッチ３１は、発光部３２からの光の照射のオン／オフを切り替えるためのスイッチ３１である。オフの状態でスイッチ３１を押すとオンになり、オンの状態でスイッチ３１を押すとオフになる。
【００８１】
図９（ｂ）に示すように、指示対象物表示装置４は、加速度センサ３３と発光制御部３４を有している。加速度センサ３３は、筐体３０が揺らされたときの加速度を検出する機能を有する。発光制御部３４は、発光部３２による発光を制御する機能を有する。発光制御部３４による発光部３２の制御については、指示対象物表示装置４の動作説明の中で説明する。
【００８２】
図１０は、指示対象物表示装置４の動作を示すフローチャートである。図１０に示すように、指示対象物表示装置４は、光が照射されていない状態でスイッチ３１の押下を受け付けると（Ｓ３１）、発光制御部３４にて発光部３２を制御し、照射角度が所定の閾値より大きい光を照射する（Ｓ３２）。この際の照射の様子を図１１（ａ）に示す。図１１（ａ）に示すように、比較的広範囲を照射するので、ユーザは指示対象物表示装置４がどの方向を照射しているかを容易に把握することができる。
【００８３】
発光制御部３４は、加速度センサ３３が検出した加速度のデータを受信し、筐体３０が揺らされる加速度が所定の閾値以下であるか判定する（Ｓ３３）。加速度が所定の閾値以下でない場合には（Ｓ３３でＮＯ）、発光制御部３４は、引き続き、所定の閾値より大きい照射角度の光を照射するように発光部３２を制御する（Ｓ３２）。
【００８４】
加速度が所定の閾値以下の場合には（Ｓ３３でＹＥＳ）、発光制御部３４は、照射角度が所定の閾値以下になるまで、発光部３２による光の照射角度を絞り（Ｓ３４）、所定の閾値以下の照射角度で光を照射する（Ｓ３５）。この際の照射の様子を図１１（ｂ）に示す。図１１（ｂ）に示すように、細い光が照射されるので、指示対象物を適切に指示することができる。指示対象物表示装置４は、スイッチ３１が押されると（Ｓ３６）、発光部３２による照射を停止し（Ｓ３７）、処理を終了する。つまり、照射角度が所定の閾値以下に絞られた後は、発光を終了するまで、同じ照射角度での照射を行う。以上、第４の実施の形態の指示対象物表示装置４の構成および動作について説明した。
【００８５】
第４の実施の形態の指示対象物表示装置４は、発光部３２によって照射を開始するときに、広い照射角度での照射を行うので、ユーザはどの方向を照射しているのかを容易に認識できるという効果がある。また、発光部３２による照射方向をユーザが認識した後には、照射角度を所定の閾値以下になるように絞るので、いったん認識した照射方向を見失うことなく、指示対象物を認識することが可能である。
【００８６】
本実施の形態では、加速度センサ３３によって筐体３０の揺れが収まったことを検出し、これを受けて照射角度を絞る構成について説明したが、ユーザが照射方向の認識に要する時間は、長くても２〜３秒と考えられるので、照射開始から適宜設定した所定時間が経過したときに、照射角度を絞ることとしてもよい。
【００８７】
また、本実施の形態では、ユーザが光を照射する筐体３０を把持して、照射方向を指示する装置を例として説明したが、第１〜第３の実施の形態で説明したように、ユーザの指差し方向に基づいてレーザー光を照射する装置にも適用することができる。指差しによって照射方向を指示する場合には、照射開始の指示は、例えば、あらかじめ定められたジェスチャーによって与える。
【００８８】
図１２（ａ）は照射開始直後における照射の様子を示す図であり、図１２（ｂ）はユーザが照射方向を認識した後の照射の様子を示す図である。なお、図１２（ａ）及び図１２（ｂ）に示すように、実際には、ユーザの指先から光が出るわけではないので、ユーザの指差し方向と物体とが交差する方向にある指示対象物に対して、発光部３２から光を照射する。
【００８９】
ユーザが照射方向を認識したことを検出する方法としては、例えば、ユーザの指差し方向の変化が所定の閾値より小さくなったこと、ユーザの視線の動きが所定時間停止したこと、ユーザの視線と指差し方向とが一致したこと等を基準として、ユーザが照射方向を認識したことを検出できる。
【産業上の利用可能性】
【００９０】
本発明によれば、ユーザの指差しによって、指差し方向にある物体表面の視認しやすい位置に光を照射することにより、指示対象物検出部が検出している物体をユーザに認識させることができるという効果を有し、ロボット等に指示対象物を指示する装置等として有用である。
【符号の説明】
【００９１】
１，４  指示対象物表示装置
１０  カメラ
１１  制御部
１２  撮影画像取得部
１３  指示対象物検出部
１４  発光制御部
１５  記憶部
１６  発光部
２０  コンピュータ
２１  ＣＰＵ
２２  ＲＡＭ
２３  ＲＯＭ
２４  プログラム
２５  ＨＤＤ
２６，２７  外部Ｉ／Ｆ
３０  筐体
３１  スイッチ
３２  発光部
３３  加速度センサ
３４  発光制御部
【図１】
0006026370.tif 000002
【図２】
0006026370.tif 000003
【図３】
0006026370.tif 000004
【図４】
0006026370.tif 000005
【図５】
0006026370.tif 000006
【図６】
0006026370.tif 000007
【図７】
0006026370.tif 000008
【図８】
0006026370.tif 000009
【図９】
0006026370.tif 000010
【図１０】
0006026370.tif 000011
【図１１】
0006026370.tif 000012
【図１２】
0006026370.tif 000013