(57)【要約】  情報入力用画像を投影する可視レーザ光が顔や目を照射することを防ぐ情報入力装置を提供する。情報入力装置は、情報入力用画像を可視レーザ光で投影する投影部と、投影部による情報入力用画像の投影位置を変更可能なように投影部を搭載する可動支持部と、情報入力用画像を投影可能な被検知領域を撮像する第１検知部と、可動支持部に搭載され、情報入力用画像の投影位置を含む所定領域上に進入する物体及び物体までの距離を検知する第２検知部と、第１検知部によって撮像された画像データに基づいて、情報入力用画像に対する入力操作を判別して情報入力を検出する情報入力検出部と、第２検知部によって検知された情報に基づいて所定領域上への特異物体の進入の有無を判別し、特異物体の進入有りと判別したときには投影部による投影を停止させる判別制御部とを有する。
2014034527.tif 000002
【特許請求の範囲】
【請求項１】
情報入力用画像を可視レーザ光で投影する投影部と、
前記投影部による前記情報入力用画像の投影位置を変更可能なように前記投影部を搭載する可動支持部と、
前記情報入力用画像を投影可能な被検知領域を撮像する第１検知部と、
前記可動支持部に搭載され、前記情報入力用画像の投影位置を含む所定領域上に進入する物体及び物体までの距離を検知する第２検知部と、
前記第１検知部によって撮像された画像データに基づいて、前記情報入力用画像に対する入力操作画像を判別して情報入力を検出する情報入力検出部と、
前記第２検知部によって検知された情報に基づいて前記所定領域上への特異物体の進入の有無を判別し、特異物体の進入有りと判別したときには前記投影部による投影を停止させる判別制御部と、
を有することを特徴とする情報入力装置。
【請求項２】
前記情報入力検出部は、前記第１検知部によって撮像された画像データと前記第２検知部によって検知された情報とに基づいて、前記情報入力用画像に対する入力操作画像を判別して情報入力を検出する、請求項１に記載の情報入力装置。
【請求項３】
前記判別制御部は、前記第１検知部によって撮像された画像データと前記第２検知部によって検知された情報とに基づいて、前記所定領域上への特異物体の進入の有無を判別し、特異物体の進入有りと判別したときには前記投影部による投影を停止させる、請求項１又は２に記載の情報入力装置。
【請求項４】
前記判別制御部は、人の目、鼻、耳、口、顔の輪郭又は顔を特異物体として判別する、請求項１から３のいずれか一項に記載の情報入力装置。
【請求項５】
前記第２検知部は、赤外線発光部と、赤外線検知部と、前記赤外線発光部が出射する赤外線ビームによって前記所定領域を２次元に走査させる走査部と、を有する、請求項１から４のいずれか一項に記載の情報入力装置。
【請求項６】
前記第２検知部は、ランダム・ドット・パターンを用いて、前記所定領域上に進入する物体までの距離を検知する、請求項５に記載の情報入力装置。
【請求項７】
前記第２検知部は、位置検出素子を用いて、前記所定領域上に進入する物体までの距離を検知する、請求項５に記載の情報入力装置。
【請求項８】
前記第１検知部は、赤外線発光部と赤外線カメラとを有する、請求項１から７のいずれか一項に記載の情報入力装置。
【請求項９】
前記第１検知部と前記第２検知部は、直線偏光方向が互いに直交する赤外線を使用する、請求項８に記載の情報入力装置。
【請求項１０】
前記第１検知部と前記第２検知部は、互いに異なる波長の赤外線を使用する、請求項８に記載の情報入力装置。
【請求項１１】
前記第１検知部の赤外線発光部と前記第２検知部の赤外線発光部は、発光タイミングが異なる、請求項８記載の情報入力装置。
【請求項１２】
前記第１検知部は、カラー画像を撮像するカメラと深度情報を取得する赤外線カメラとを複合したカメラモジュールを有する、請求項１から７のいずれか一項に記載の情報入力装置。
【請求項１３】
前記第１検知部によって撮像された画像データに基づいて、前記情報入力用画像を投影するための対象物を判別し、前記対象物の位置を追尾して前記投影部に前記情報入力用画像を投影させるように前記可動支持部を制御する投影位置制御部をさらに有する、請求項１から１２のいずれか一項に記載の情報入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報入力装置に関し、特に投影された入力用画像を用いた情報入力装置に関する。
【背景技術】
【０００２】
例えば、テレビ、ビデオ等を操作するための情報入力を行うために、リモコン等の情報入力装置を利用することが一般的に行われている。しかしながら、いざ利用しようとすると、リモコン等の置き場所が不明であったりして、利用したい時に利用できないといった不具合があった。【０００３】
そこで、映像投射装置から複数の入力キーを有する操作部を示す映像を投影し、その投影された映像上における指の動きを画像認識処理により検出して、どの入力キーに対する操作がなされたかを判別する情報入力装置が知られている（例えば、特許文献１参照）。特許文献１に記載された情報入力装置は、投影された映像上の指を撮像部で読み取った画像からエッジ検出によって判別した上で、指の上から下への動き、すなわち映像が投影されている面に対する指の接触を検出している。これによって、情報入力機器自体を操作することなく、種々の入力操作を行うことができる。【０００４】
また、ユーザがプロジェクタを身に着け、そのプロジェクタが投影するダイアルパッド等の入力操作用映像（パターン）を壁、テーブル、又は手のひら等で受け、投影された入力操作用映像をユーザの指先に装着された器具で指し示すと、指し示された部分の映像に対応する入力がなされるような、体に装着可能な情報入力装置であるジェスチャインタフェイスも知られている（例えば、特許文献２参照）。【０００５】
特許文献２に記載のジェスチャインタフェイスでは、カメラが撮像した画像をコンピュータが画像解析して、ユーザの指先に装着された器具の動きを追跡し、ダイアルパッド等の入力操作用映像に対応した入力があるか否かが判断される。また、プロジェクタからの画像は、ミラーで反射されてから投影されるため、ミラーの位置をユーザがマニュアルで変更することによって、入力操作用映像の投影場所を任意に変更することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−９５８９５号公報（図１）
【特許文献２】米国公開２０１０／０１９９２３２号公報（図１、図２、図１２）
【発明の概要】
【０００７】
このような情報入力装置は、バーチャルリモコンとも称され、任意の場所で入力操作用映像（パターン）を何かに投影して、誰でも容易に入力操作を行うことができる。しかしながら、入力操作用映像を投影するプロジェクタの光源には、一般に可視レーザ光源が使用されている。その可視レーザ光が例えばユーザの目を照射すると目を傷める恐れがある。
【０００８】
そこで、本発明は、情報入力用画像を投影する可視レーザ光がユーザの目のような保護対象部位を照射することを極力防ぐ情報入力装置を提供することを目的とする。
【０００９】
情報入力装置は、情報入力用画像を可視レーザ光で投影する投影部と、投影部による情報入力用画像の投影位置を変更可能なように投影部を搭載する可動支持部と、情報入力用画像を投影可能な被検知領域を撮像する第１検知部と、可動支持部に搭載され、情報入力用画像の投影位置を含む所定領域上に進入する物体及びその物体までの距離を検知する第２検知部と、第１検知部によって撮像された画像データに基づいて、情報入力用画像に対する入力操作画像を判別して情報入力を検出する情報入力検出部と、第２検知部によって検知された情報に基づいて所定領域上への特異物体の進入の有無を判別し、特異物体の進入有りと判別したときには投影部による投影を停止させる判別制御部とを有することを特徴とする。
【００１０】
上記の情報入力装置では、情報入力検出部は、第１検知部によって撮像された画像データと第２検知部によって検知された情報とに基づいて、情報入力用画像に対する入力操作画像を判別して情報入力を検出することが好ましい。
【００１１】
上記の情報入力装置では、判別制御部は、第１検知部によって撮像された画像データと第２検知部によって検知された情報とに基づいて、所定領域上への特異物体の進入の有無を判別し、特異物体の進入有りと判別したときには投影部による投影を停止させることが好ましい。
【００１２】
上記の情報入力装置では、判別制御部は、人の目、鼻、耳、口、顔の輪郭又は顔を特異物体として判別することが好ましい。
【００１３】
上記の情報入力装置では、第２検知部は、赤外線発光部と、赤外線検知部と、赤外線発光部が出射する赤外線ビームによって所定領域を２次元に走査させる走査部とを有することが好ましい。
【００１４】
上記の情報入力装置では、第２検知部は、ランダム・ドット・パターンを用いて、所定領域上に進入する物体までの距離を検知することが好ましい。
【００１５】
上記の情報入力装置では、第２検知部は、位置検出素子を用いて、所定領域上に進入する物体までの距離を検知することが好ましい。
【００１６】
上記の情報入力装置では、第１検知部は、赤外線発光部と赤外線カメラとを有することが好ましい。
【００１７】
その場合、上記の情報入力装置では、第１検知部と第２検知部は、直線偏光方向が互いに直交する赤外線を使用することが好ましい。これにより、両検知部間の混信を防ぐことができる。
【００１８】
あるいは、上記の情報入力装置では、第１検知部と第２検知部は、互いに異なる波長の赤外線を使用することが好ましい。これによっても、両検知部間の混信を防ぐことができる。
【００１９】
あるいは、上記の情報入力装置では、第１検知部の赤外線発光部と第２検知部の赤外線発光部は、発光タイミングが異なることが好ましい。これによっても、両検知部間の混信を防ぐことができる。
【００２０】
上記の情報入力装置では、第１検知部は、カラー画像を撮像するカメラと深度情報を取得する赤外線カメラとを複合したカメラモジュールを有することが好ましい。
【００２１】
上記の情報入力装置では、第１検知部によって撮像された画像データに基づいて、情報入力用画像を投影するための対象物を判別し、その対象物の位置を追尾して投影部に情報入力用画像を投影させるように可動支持部を制御する投影位置制御部をさらに有することが好ましい。
【００２２】
上記の情報入力装置によれば、第２検知部が投影部と共に可動支持部に搭載されているので、投影部による情報入力用画像の投影位置を含む被検知領域を常に監視して、その領域上に進入する物体及びその物体までの距離を検知することができる。そして、その第２検知部によって検知された情報に基づいて判別制御部が顔や目のような特異物体の進入の有無を判別し、特異物体が進入したと判断したときには投影部による投影を停止させるので、人の目等の保護対象部位を可視レーザ光が長時間照射する恐れを大幅に減らすことができる。
【図面の簡単な説明】
【００２３】
【図１】情報入力装置１の全体構成を示す外観斜視図である。
【図２】情報入力装置１の制御系の構成例を示すブロック図である。
【図３】第２検知部２５の具体的な構成例を示す概略断面図である。
【図４】ＭＥＭＳミラー２５１の一例を示す平面図である。
【図５】制御部５０による初期設定のための処理の一例を示すフローチャートである。
【図６】制御部５０に接続された図示しないディスプレイ上に表示される第１検知部２０の赤外線カメラ２２による撮像データに基づく映像の一例を示す図である。
【図７】被投影面４１上の深度データを説明するための図である。
【図８】投影装置３０が投影する情報入力用画像の例を示す図である。
【図９】投影装置３０が投影する情報入力用画像の他の例を示す図である。
【図１０】制御部５０による情報入力のための処理の一例を示すフローチャートである。
【図１１】制御部５０がグルーピングした進入物体の一例を示す図である。
【図１２】制御部５０による特異物体の進入検知のための処理の一例を示すフローチャートである。
【図１３】情報入力装置１によってユーザの手のひらに情報入力用画像７０を投影して情報入力を行う場合の投影領域付近の概念図である。
【図１４】制御部５０による手のひら検知のための処理の一例を示すフローチャートである。
【図１５】ユーザの左手首より先の部分の輪郭が識別された場合の例を示す説明図である。
【図１６】検出された手のひら領域２００に情報入力用画像７０が投影された状態を示す図である。
【図１７】制御部５０による手のひらでの情報入力のための処理の一例を示すフローチャートである。
【図１８】制御部５０がグルーピングしたユーザの左手１８０の輪郭領域と、手のひら領域２００への進入物体の一例を示す図である。
【図１９】投影装置３０の他の例を示す概略構成図である。
【図２０】ランダム・ドット・パターンを用いる場合の第２検知部１２５の具体的な構成例を示す概略断面図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して、情報入力装置について説明する。ただし、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。なお図面の説明において、同一又は相当要素には同一の符号を付し、重複する説明は省略する。また、説明のため、部材の縮尺は適宜変更している。
【００２５】
図１は、情報入力装置１の全体構成を示す外観斜視図である。図２は、情報入力装置１の制御系の構成例を示すブロック図である。図３は、第２検知部２５の具体的な構成例を示す概略断面図である。図４は、ＭＥＭＳミラー２５１の一例を示す平面図である。
【００２６】
情報入力装置１は、図１及び図２に示すように、雲台１０、第１検知部２０、第２検知部２５、投影装置３０（図１にはその投影部３０ａのみを示している）、及び制御部５０等を有する。
【００２７】
雲台１０は、図１に破線で示す架台２に固定される基部１１、図２に示す第１モータ１５によってθ方向に回転される第１回転部１２、及び第２モータ１６によってφ方向に回転される第２回転部１３等を有する。
【００２８】
第１検知部２０は、雲台１０の基部１１に固定されており、第１の赤外線発光部２１と赤外線カメラ２２等を含んでいる。第２検知部２５は、雲台１０の第２回転部１３に投影装置３０の投影部３０ａと共に搭載されており、第２の赤外線発光部２６と赤外線検知部２７等を含んでいる。
【００２９】
投影装置３０は、ＲＧＢ各色の可視レーザ光源を用いた超小型プロジェクタから構成され、その投影部（プロジェクションヘッド）３０ａが雲台１０の第２回転部１３に取り付けられている。そして、制御部５０から受信する画像データに応じて、被投影面であるテーブル４０上の所望の位置に情報入力用画像７０を投影する。
【００３０】
投影装置３０は、例えば、可視レーザ光源と、ファイバピグテイルモジュールと、ＲＧＢファイバコンバイナと、可視シングルモードファイバと、プロジェクションヘッドである投影部３０ａ等を有する。可視レーザ光源は、半導体レーザ（レーザダイオード）から構成されるＲＧＢ各色の光源である。ファイバピグテイルモジュールは、その各レーザ光源が発光するＲＧＢの各レーザ光をそれぞれＲＧＢレーザ光用ファイバへ導入する。ＲＧＢファイバコンバイナは、ＲＧＢレーザ光用ファイバからの光を合成する。可視シングルモードファイバは、その合成された光を投影部３０ａへ導く。投影部３０ａは、それによって導かれた可視レーザ光によって情報入力用画像を投影する。
【００３１】
なお、可視シングルモードファイバと投影部３０ａ以外の部分は、制御部５０と共に雲台１０の基部１１内に収納してもよいし、架台２に別途制御ボックスを取り付けて、その中に収納してもよい。投影部３０ａは雲台１０の第２回転部１３に取り付けられており、第１回転部１２と第２回転部１３の回転によってその向きを任意に変えられるので、情報入力用画像７０の投影位置を任意に変更することができる。
【００３２】
所定の情報入力用画像を投影することが可能であれば、投影装置３０は、単色の可視レーザ光源等を用いた投影装置でもよい。また、投影装置３０を超小型に構成できれば、その全体を雲台１０の第２回転部１３に取り付けてもよい。図１に示した例では、テーブル４０の上面を被投影面としているが、床、壁、ボード、あるいはユーザの手のひら等、ユーザが指先で触れることができ、所定の情報入力用画像を投影することができるものであれば、任意の部材を被投影面として利用することができる。
【００３３】
第１検知部２０は、第１の赤外線発光部２１からの赤外線によって、情報入力用画像７０を投影可能な検知領域８０全体を照射し、その検知領域８０内に存在する物体から反射する反射光を赤外線カメラ２２で受光して撮像する。第１検知部２０は、その赤外線カメラ２２で撮像した画像のピクセル毎の位置座標データと深度データ（赤外線カメラ２２とその各ピクセルに対応する撮像物体との間の距離のデータ）を制御部５０に出力する。図１に示す例では、情報入力用画像７０の被投影面であるテーブル４０の上面全体を含む領域を検知領域８０としている。
【００３４】
なお、第１の赤外線発光部２１は、赤外線を発光する半導体レーザ（レーザダイオード）である。赤外線のうち特に、近赤外線における１４００ｎｍ〜２６００ｎｍの波長のレーザ光は、網膜まで到達せず、目に損傷を与えにくいのでアイセーフレーザと称される。したがって、この波長帯のレーザ光を使用するのが好ましい。しかしながら、この波長領域では、例えばＩｎＧａＡｓ系の赤外線カメラを用いる必要があり高価なため、実際には低コストのＳｉ系のＣＭＯＳ又はＣＣＤカメラを使うこともある。この場合の半導体レーザの発振波長は、可視域より長波長側であり、かつＳｉ系のＣＭＯＳやＣＣＤカメラで感度のある、８００ｎｍ〜１１００ｎｍの範囲がよい。
【００３５】
また、図２に示すように、第１の赤外線発光部２１の前面には、偏光板２３が配置される。偏光板２３は、発光した赤外線のレーザ光のうち、偏光方向が一定方向の直線偏光（例えばＰ偏光）の赤外線のみを出射する。赤外線カメラ２２にも、その前面に偏光板２４が配置される。これにより、赤外線カメラ２２は、物体からの反射光のうち偏光方向が出射光と同じ一定方向の直線偏光（例えばＰ偏光）の赤外線のみを受光して撮像する。
【００３６】
第２検知部２５は、第２の赤外線発光部２６から情報入力用画像７０の投影位置を含む所定領域に赤外線を照射し、その領域上に進入した物体からの反射光を赤外線検知部２７で受光して検知する。そして第２検知部２５は、その物体の位置座標データ及びその物体までの距離を示す深度データを制御部５０に出力する。
【００３７】
第２の赤外線発光部２６も、赤外線を発光する半導体レーザ（レーザダイオード）であり、第１の赤外線発光部２１と同様にアイセーフレーザを発光するものが好ましい。しかしながら、１４００ｎｍより長い波長領域では、例えばＩｎＧａＡｓ系の赤外線センサを用いる必要があり高価なため、実際には低コストのＳｉ系のフォトダイオードを使うこともある。半導体レーザの発振波長は、可視域より長波長側であり、かつＳｉ系のフォトダイオードで感度のある、８００ｎｍ〜１１００ｎｍの範囲がよい。
【００３８】
赤外線検知部２７は、受光素子としてフォトダイオードを備える。また、赤外線検知部２７は、フォトダイオードの検知信号や、その検知信号と赤外線レーザの出射光との強度比、赤外線レーザの照射角度等から物体の位置座標データを算出し、ＴＯＦ法によって検知物体までの距離すなわち深度データを算出する演算部も備える。ただし、その演算部の機能は、制御部５０に含めてもよい。
【００３９】
ＴＯＦ（Time of Flight）法は、光源から出た光が対象物で反射してセンサに届くまでの光の飛行時間（遅れ時間）と光の速度（３×１０８ｍ／ｓ）から、対象物までの距離を算出する距離測定方法である。図２に示す例では、第２の赤外線発光部２６が赤外線レーザを出射してから、その反射光を赤外線検知部２７のフォトダイオードが検知するまでの時間を計測して、その時間に光速を乗じれば深度データを算出することができる。
【００４０】
また、第２検知部２５においても、図２に示すように、第２の赤外線発光部２６の前面には、偏光板２８が配置される。偏光板２８は、発光した赤外線のレーザ光のうち、偏光方向が第１検知部２０で使用される赤外線の直線偏光方向と直交する一定方向の直線偏光（例えばＳ偏光）の赤外線のみを出射する。赤外線検知部２７にも、その前面に偏光板２９が配置される。これにより、赤外線検知部２７は、物体からの反射光のうち偏光方向が出射光と同じ一定方向の直線偏光（例えばＳ偏光）の赤外線のみを受光して検知する。
【００４１】
このように、第１検知部２０と第２検知部２５は、直線偏光方向が互いに直交する赤外線を使用する。これによって、被照射物体が偏光解消が少ない特性を持つ場合、赤外線カメラ２２が受光する赤外線と赤外線検知部２７が受光する赤外線との相互混信を低減させ、ＳＮ比を向上させることができる。
【００４２】
第２検知部２５は、具体的には、例えば図３に示すように構成するとよい。図３に示す第２検知部２５では、下部に透明窓２５３を設けた筐体２５２内に、レーザダイオード等による第２の赤外線発光部２６とフォトダイオード等による赤外線検知部２７とが、その赤外線の出射光軸と受光光軸とが互いに直交するように配置されている。
【００４３】
そして、第２の赤外線発光部２６の赤外線の出射光軸に沿って、偏光板２８とビームスプリッタ２５０と走査部であるＭＥＭＳミラー２５１とが順次配置される。ビームスプリッタ２５０とＭＥＭＳミラー２５１は、ビームスプリッタ２５０の半反射面とＭＥＭＳミラー２５１の中立時におけるミラー面が赤外線の出射光軸に対して略５°から４５°の角度をなすように設置される。赤外線検知部２７とビームスプリッタ２５０との間には、偏光板２９が配置される。
【００４４】
ＭＥＭＳミラー２５１では、図４にその一例の平面図を示すように、ミラー面２５１ａが一対の第２支持部２５１ｅによってサブフレーム２５１ｃに対して矢示ａ方向に回動可能に接続され、そのサブフレーム２５１ｃは一対の第１支持部２５１ｄによってメインフレーム２５１ｂに対して矢示ｂ方向に回動可能に接続される。第２支持部２５１ｅと第１支持部２５１ｄとの位置関係が直交方向となっているため、ミラー面２５１ａは、メインフレーム２５１ｂに対して二軸方向に回動可能に保持されている。
【００４５】
ＭＥＭＳミラー２５１は１枚板で形成される。第１支持部２５１ｄと第２支持部２５１ｅは弾性を有し、外力が与えられるとその弾性の範囲内でミラー面２５１ａを固有振動数で２次元に共振させ、回動（振動）させることができる。ＭＥＭＳミラー２５１は、第２支持部２５１ｅを共振モードで駆動し、第１支持部２５１ｄを共振を用いない強制駆動とする方式でもよい。外力を与える手段としては、電磁コイルやピエゾ素子等がある。
【００４６】
図４における矢示ａ方向と矢示ｂ方向の回動が、図３における矢示ａ方向と矢示ｂ方向に相当する。ミラー面２５１ａをその各方向に回動させることによって、一点鎖線で示す射出する赤外線ビームで、矢示Ｃ方向及びそれに直交する（紙面に垂直な）方向に、所定領域を２次元走査することができる。したがって、所定領域に対して微小スポットの赤外線ビームによって、高速のラスタスキャンを行うことができる。その所定領域が第２検知部２５による検知領域である。その所定領域は、投影部３０ａによる情報入力用画像７０の投影位置を常に含み、その投影領域よりやや広い。
【００４７】
このように２次元に回動又は振動するＭＥＭＳミラー２５１に代えて、１次元に回動又は振動するＭＥＭＳミラー等の振動ミラーを２枚組み合わせたものを、走査部として使用してもよい。また、ビームスプリッタ２５０を偏光ビームスプリッタにすれば、偏光板２８，２９を省略することも可能である。
【００４８】
制御部５０は、ＣＰＵ５１、ＲＡＭ５２、ＲＯＭ５３及びＩ／Ｏ５４等から構成されるマイクロコンピュータを備えている。ＣＰＵ５１は、各種演算及び処理を行う中央処理部である。ＲＯＭ５３は、ＣＰＵ５１が実行する動作プログラム及び固定データを格納したリードオンリメモリである。ＲＡＭ５２は、入力データやＣＰＵ５１が処理するデータを一次的に記憶するランダムアクセスメモリである。Ｉ／Ｏ５４は、雲台１０、第１検知部２０、投影装置３０及び被操作装置６０との間でデータの送受信を行うための入力・出力ポートである。制御部５０は、さらに、不揮発性ＲＡＭ（ＮＶＲＡＭ）やハードディスク装置（ＨＤＤ）等を備えてもよい。
【００４９】
制御部５０は、第１検知部２０によって撮像された画像データに基づいて、あるいはさらに第２検知部２５によって検知された情報に基づいて、投影装置３０の投影部３０ａによって投影された情報入力用画像７０に対する指先等の入力操作画像を判別して情報入力を検出する情報入力検出部として機能する。制御部５０は、その検出した情報入力データを被操作装置６０へ出力する。また、制御部５０は、第２検知部２５によって検知された情報に基づいて所定領域上への特異物体の進入の有無を判別し、特異物体の進入有りと判別したときには投影制御信号によって投影装置３０の投影部３０ａによる情報入力用画像７０の投影を停止させる判別制御部として機能する。
【００５０】
また、制御部５０は、制御データによって雲台１０の第１モータ１５及び第２モータ１６を駆動制御し、図１における第１回転部１２と第２回転部１３を回動させて投影部３０ａの向きを変更し、情報入力用画像７０をテーブル４０上の所望の位置に投影させることができる。制御部５０が第１モータ１５を駆動制御して第１回転部１２をθ方向に回転させると、情報入力用画像７０は矢印Ａの方向に移動する。制御部５０が第２モータ１６を制御して第２回転部１３をφ方向に回転させると、情報入力用画像７０は矢印Ｂの方向に移動する。
【００５１】
被操作装置６０は、情報入力データに基づいて各種の処理を実行する装置であり、例えば、エアコン、ネットワークへのアクセス装置、パーソナルコンピュータ、テレビ、ラジオ、ＣＤやＤＶＤ又はＶＴＲ等の各種記録媒体の記録再生装置等である。
【００５２】
図５は、制御部５０による初期設定のための処理の一例を示すフローチャートである。図５に示す処理フローは、制御部５０のＲＯＭ５３に予め記憶されたプログラムに従って、制御部５０のＣＰＵ５１が雲台１０、第１検知部２０、第２検知部２５及び投影装置３０を制御して実行する。以下ではステップを「Ｓ」と略記する。
【００５３】
まず、制御部５０に、Ｉ／Ｏ５４を介して不図示のディスプレイ及び操作部（キーボード及びマウス）を接続する。そして、制御部５０は、第１検知部２０の赤外線カメラ２２による撮像データに基づく映像をディスプレイ上に表示させ、ユーザが操作部を利用して被投影面の位置を指定するのを待つ（Ｓ１０）。被投影面の位置が指定されると、制御部５０は、被投影面の範囲を示す位置座標データをＲＡＭ５２等に記憶する（Ｓ１１）。Ｓ１０とＳ１１は初期化の処理のため、設置時に一度初期化を行って初期化データを記録しておけば、設置場所や条件を変更しない限り次回の起動時からは省略することが可能である。
【００５４】
図６は、ディスプレイ上に表示される第１検知部２０の赤外線カメラ２２による撮像データに基づく映像の一例を示す図である。例えば、テーブル４０上のＣ１〜Ｃ４の４点を指定することによって、その４点を結ぶ領域内の面を被投影面４１として指定する。なお、被投影面４１と背景との差が明確に判別される場合には、公知の画像処理技術を利用して、制御部５０が自動的に被投影面４１を指定してもよい。また、第１検知部２０が撮像する範囲全てが被投影面４１である場合には、Ｓ１０を省略してもよい。
【００５５】
次に、制御部５０は、第１検知部２０から被投影面４１の深度データを取得し（Ｓ１２）、被投影面４１として指定された領域に含まれるピクセル毎の深度データをＲＡＭ５２に記憶する（Ｓ１３）。
【００５６】
図７は、被投影面４１上の深度データを説明するための図である。図７に示すように、第１検知部２０の直下にある被投影面４１の点Ｄ１と第１検知部２０から離れた位置にある被投影面４１の点Ｄ２では、同じテーブル４０上でありながら、第１検知部２０及び第２検知部２５からの深度データに差が出てしまう。そこで、被投影面４１の全てのピクセルについて、位置座標データ及び深度データを予め取得して記録しておく。
【００５７】
次に、制御部５０は、投影装置３０に所定の画像データを送信して図６の基準投影画像７１を投影部３０ａにより被投影面４１に投射させ、雲台１０に所定の制御データを送信して雲台１０を制御して基準投影画像７１を基準位置に移動させる（Ｓ１４）。基準投影画像７１は、図６に符号７１−１〜７１−７で示すように、円形の枠内に表示された５つの黒点から構成される。なお、図６に示す基準投影画像７１は一例であって、他の画像を利用してもよい。また、図６における基準投影画像７１−１は、雲台１０の直下であって本例における基準位置に投影された基準投影画像である。なお、雲台１０と被投影面４１との位置関係及び投影画像の基準位置等は、状況に応じて適宜定めることが可能である。
【００５８】
次に、制御部５０は、第１検知部２０及び第２検知部２５から位置座標データを取得する（Ｓ１５）。そして、制御部５０は、５つの黒点を利用して基準投影画像７１の位置を特定し（Ｓ１６）、雲台１０へ送信した制御データと特定された基準投影画像７１の位置座標データとの対応関係を、ＲＡＭ５２上に構成されたデータテーブルに記憶する（Ｓ１７）。
【００５９】
その後、制御部５０は、被投影面４１の全ての領域を移動したか否かを判断する（Ｓ１８）。まだ移動していない領域がある場合（Ｓ１８でＮｏ）には、処理はＳ１４に戻る。こうして、制御部５０は、所定の時間間隔で基準投影画像７１を図６の７１−２から７１−７へ順次移動させながら、被投影面４１の全ての領域をカバーするように、上述したＳ１４〜Ｓ１７の処理を繰り返し行う。なお、図６で示した基準投影画像７１−２〜７１−７は一例であって、位置を特定するために基準投影画像７１を移動させる１回の移動量等は適宜定めることができる。
【００６０】
制御部５０は、Ｓ１４〜Ｓ１７の処理を所定回数繰り返すことによって、被投影面４１の全領域について、投影画像の位置座標データと制御データとの対応関係を表すデータテーブルを完成させる。そして、被投影面４１の全ての領域を移動したと制御部５０が判断する（Ｓ１８でＹｅｓ）と、データテーブルが完成したので図５の処理は終了する。
【００６１】
制御部５０は、完成したデータテーブルを利用することによって、指定された被投影面４１上の任意の位置に、雲台１０を制御して投影部３０ａによる投影画像を移動させることが可能になる。逆に、制御部５０は、そのデータテーブルを利用することによって、現在投影されている投影画像の被投影面４１上の位置を特定することもできる。
【００６２】
図８は、投影装置３０が投影する情報入力用画像の例を示す図である。図８に示す情報入力用画像７０には、ビデオレープレコーダ（ＶＴＲ）の再生ボタン７２、早送りボタン７３、巻き戻しボタン７４、チャンネルアップボタン７５及びチャンネルダウンボタン７６が含まれている。情報入力用画像７０におけるそれぞれ破線で囲まれた領域に後述するように指先位置がある場合、各ボタンに対応した情報入力がなされたと判断される。
【００６３】
図９は情報入力用画像の他の例を示す図である。図９に示す情報入力用画像７０′は、図８に示した情報入力用画像７０の各ボタンに加えて、情報入力用画像７０′を回転させるための回転ボタン７７を含んでいる。なお、これらの情報入力用画像は一例であって、投影装置３０は、制御部５０からの画像データに基づいて、様々な種類の情報入力用画像を投影することが可能である。
【００６４】
制御部５０は、投影装置３０へ送信する画像データに基づいて、情報入力用画像に含まれる入力ボタンの種類及び情報入力用画像内の配置位置を判断することができる。さらに、制御部５０は、雲台１０へ送信した制御データ及び図５のＳ１７で作成したデータテーブルに基づいて、情報入力用画像の被投影面４１上の位置を特定することができる。したがって、制御部５０は、投影装置３０へ送信する画像データ及び雲台１０へ送信した制御データに基づいて、各入力ボタンの被投影面４１上の位置を特定することができる。
【００６５】
図１０は、制御部５０による情報入力のための処理の一例を示すフローチャートである。図１０に示す処理フローは、制御部５０のＲＯＭ５３に予め記憶されたプログラムに従って、制御部５０のＣＰＵ５１が雲台１０、第１検知部２０、第２検知部２５及び投影装置３０を制御して実行する。
【００６６】
制御部５０は、最初に、投影装置３０へ送信する画像データ及び雲台１０へ送信した制御データを取得する（Ｓ２０）。次に、制御部５０は、第１検知部２０及び第２検知部２５から位置座標データ及び深度データを取得する（Ｓ２１）。なお、Ｓ２０とＳ２１の順番は逆でもよい。
【００６７】
次に、制御部５０は、Ｓ２１で取得した位置座標データに基づいて、画像の輪郭領域を特定する（Ｓ２２）。その際、制御部５０は、図５のＳ１２で記録した被投影面の深度データと図１０のＳ２１で取得した深度データとの差分を取り、差分が所定闘値以内（例えば、１０ｍｍ以内）の画素を抽出することによって、進入物体の輪郭領域（例えば、後述する図１１に示すような手の輪郭領域９０）を特定する。
【００６８】
次に、制御部５０は、Ｓ２１で取得した深度データに基づいて、Ｓ２２で特定した輪郭領域のうち、ほぼ同じ深度データを有する領域をグルーピングする（Ｓ２３）。
【００６９】
図１１は、制御部５０がグルーピングした進入物体の一例を示す図である。図１１に示す例では、進入物体は手であり、その輪郭領域９０がＳ２２で特定される。また、輪郭領域９０は全体がほぼ同じ深度データを有する一つのグループである。
【００７０】
そして、制御部５０は、Ｓ２３でグルーピングした輪郭領域に基づいて、進入物体の被投影面への進入位置及び指先位置を特定する（Ｓ２４）。
【００７１】
図１１に示す例では、制御部５０は、被投影面４１の一辺４０ａから進入物体が被投影面４１へ進入したものと判断して、進入位置Ｅ１及びＥ２を特定する。進入位置Ｅ１及びＥ２は、進入物体の輪郭領域９０と被投影面４１の一辺４０ａとの接点に相当する。そして、制御部５０は、進入位置Ｅ１及びＥ２の中点から被投影面４１の一辺４０ａと垂直に直線を引いた場合に、最も被投影面の一辺４０ａから離れた位置で輪郭領域９０に重なる点Ｅ３を指先位置として特定する。進入位置Ｅ１及びＥ２に基づく上述した指先位置の特定方法は一例であって、進入位置Ｅ１及びＥ２を利用した他の方法によって指先位置を特定してもよい。
【００７２】
次に、制御部５０は、進入物体が情報入力操作を行っているか否かの判断を行う（Ｓ２５）。図１に示した検知領域８０内に進入物体が存在したとしても、単に進入しただけであって情報入力操作が意図されていない場合も有り得る。そこで、例えば、制御部５０は、図１１に示した指先位置の点Ｅ３が被投影面４１上にある場合に、輪郭領域９０の指先が情報入力操作を行っていると判断する。
【００７３】
制御部５０は、指先位置の点Ｅ３が被投影面４１上にあるか否かを、図５のＳ１２で予め取得した被投影面４１の深度データと、図１０のＳ２１で取得した指先位置の点Ｅ３の深度データとの差が、所定闘値以内（例えば１０ｍｍ以内）であるか否かに基づいて判断する。すなわち、制御部５０は、指先位置の点Ｅ３の深度データと、その点Ｅ３が存在する位置座標における被投影面４１の深度データとの差が所定閾値以内の場合に、指先位置は情報入力操作を意図したものであると判断する。
【００７４】
なお、チャタリング等によって、指先位置の点Ｅ３の深度データが短い期間で変動する可能性がある。そこで、誤検知を防止するために、制御部５０は、所定時間（例えば１秒）以上連続して、指先位置の点Ｅ３の深度データと、その点Ｅ３が存在する位置座標における被投影面４１の深度データとの差が所定閾値以内である場合に、情報入力があったと判断してもよい。
【００７５】
指先位置が情報入力操作を意図したものであると制御部５０が判断した場合（Ｓ２５でＹｅｓ）は、投影装置３０へ送信した画像データ及び雲台１０へ送信した制御データに基づいて、図８に示したような情報入力用画像７０に含まれる各入力ボタンの被投影面４１上の位置を特定する（Ｓ２６）。指先位置が情報入力操作を意図したものではないと制御部５０が判断した場合（Ｓ２５でＮｏ）は、図１０の処理は終了する。
【００７６】
Ｓ２６で各入力ボタンの被投影面４１上の位置を特定したら、制御部５０は、Ｓ２４で特定した指先位置の点Ｅ３と、Ｓ２６で特定した各入力ボタンの被投影面４１上の位置とに基づいて、情報入力内容を特定する（Ｓ２７）。例えば、制御部５０は、指先位置の点Ｅ３の座標が図８の再生ボタン７２の範囲内にある場合には、情報入力内容が「再生」であると特定する。また、指先位置の点Ｅ３の位置座標データと一致する入力ボタンが存在しない場合には、情報入力内容が存在しないと特定してもよいし、後述するような他の情報入力（情報入力用画像の位置移動等）があったと判断してもよい。
【００７７】
次に、制御部５０は、Ｓ２７で特定した情報入力内容に対応した処理を図２の被操作装置６０に対して実行して（Ｓ２８）、一連の処理を終了する。例えば、特定された情報入力の内容が「再生」である場合には、制御部５０は、被操作装置６０に「再生」のための信号を送信する。制御部５０は、図１０に示す処理フローを、所定の時間間隔で繰り返し実行する。
【００７８】
図１０に示す処理フローは、制御部５０により繰り返し実行される。したがって、被投影面４１に投影されている情報入力用画像７０の所定の入力ボタン（例えば再生ボタン７２）にユーザが指先で触れることにより、リモコン等の機器を利用することなく、バーチャルで例えば「再生」という情報入力を行うことが可能になる。
【００７９】
次に、図１における投影部３０ａによるテーブル４０上への情報入力用画像７０の投影空間（投影部３０ａとテーブル４０上の情報入力用画像７０との間）への、人の顔や目等の特異物体の進入検知について説明する。
【００８０】
図１２は、制御部５０による特異物体の進入検知のための処理の一例を示すフローチャートである。図１２に示す処理フローは、制御部５０のＲＯＭ５３に予め記憶されたプログラムに従って、制御部５０のＣＰＵ５１が雲台１０、第２検知部２５及び投影装置３０を制御して実行する。
【００８１】
制御部５０は、先ず、投影装置３０による情報入力用画像投影中か否かを判断し（Ｓ３０）、情報入力用画像投影中であれば（Ｓ３０でＹｅｓ）第２検知部２５を起動させる（Ｓ３１）。あるいは、制御部５０は、さらに、第１検知部２０による検知情報（位置座標データ及び深度データ）に基づき、検知領域８０内において被投影面４１（テーブル４０上）から予め定めた距離以上離れた位置に物体を検知したときに、Ｓ３１で第２検知部２５を起動させてもよい。
【００８２】
Ｓ３０で情報入力用画像投影中でなかった（Ｓ３０でＮｏ）か、あるいはさらに第１検知部２０による検知情報から被投影面４１から所定距離以上離れた位置に物体が検知されない場合は、情報入力用画像が投影され物体が検知されるのを待つか、図１２の処理を終了してもよい。その場合は、所定の時間間隔でＳ３０を実行するとよい。
【００８３】
制御部５０は、第２検知部２５を起動させると、所定領域内の各走査点で検出される物体の位置座標データ及び深度データを取得する（Ｓ３２）。
【００８４】
そして、制御部５０は、その取得した位置座標データに基づき、物体の輪郭領域を特定する（Ｓ３３）。さらに、制御部５０は、深度データに基づいて、略同じ深度データの輪郭領域をグルーピングする（Ｓ３４）。その後、制御部５０は、第１検知部２０により物体が検知されているか否かを判断する（Ｓ３５）。物体が検知されない場合（Ｓ３５でＮｏ）は処理を終了する。一方、物体が検知されている場合（Ｓ３５でＹｅｓ）には、制御部５０は、第２検知部２５によるグルーピングされた輪郭領域のデータに基づいて、特異物体の進入検知か否かを判断する（Ｓ３６）。例えば、予め設定された範囲内の深度を有する輪郭パターンが、予めＲＯＭ５３等に記憶されている特異物体のパターンと近似又は類似するか等の判断によって、制御部５０は、特異物体の進入検知か否かを判断する。
【００８５】
そのため、例えば人の目、鼻、耳、口、顔の輪郭又は顔等の保護対象部位の特徴的な形状を示すパターンデータを、特異物体の検出対象データとしてＲＯＭ５３等に記憶させておく。
【００８６】
その結果、特異物体の進入検知ではないと判断された場合（Ｓ３６でＮｏ）は、図１２の処理は終了する。一方、特異物体の進入検知であると判断された場合（Ｓ３６でＹｅｓ）には、制御部５０は、図２に示した投影装置３０への投影制御信号を投影停止信号にして、情報入力用画像の投影を停止させる（Ｓ３７）。このとき警告音も発生させて注意を喚起するとよい。その後、図１２の処理は終了する。
【００８７】
このように、特異物体の進入が検知された場合には図１に示した投影部３０ａからのＲＧＢの可視レーザ光の照射を停止して、可視レーザ光が人の顔や目を照射するのを防ぐことができる。
【００８８】
このように、情報入力用画像投影中に、あるいは、さらに第１検知部２０による検知情報に基づき検知領域８０内に特異物体の可能性がある物体を検知したときに、制御部５０は、投影部３０ａによる情報入力用画像の投影領域を含む所定領域を常に高速スキャン可能な第２検知部２５を起動する。そして、その検知情報に基づき、顔や目のような特異物体が進入した場合に第２検知部２５がＴＯＦ法によりそれを迅速かつ精度よく検出することで、投影装置３０による情報入力用画像７０の投影を停止させることができる。したがって、安全性を大幅に向上させることができる。
【００８９】
赤外線カメラ２２のリフレッシュレートは１秒間に３０フレーム程度であるため、第１検知部２０による検知情報だけでは、人の顔等の速い移動に追従できない。このため、第２検知部２５の高速性を生かして、画像照射エリアに顔や目が進入するのを迅速に検知して、可視レーザ光の照射を停止させる。しかも、第２検知部２５は、投影装置３０の投影部３０ａと共に雲台１０の可動支持部である第２回転部１３に一体的に搭載されているので、投影部３０ａによる情報入力用画像７０の投影位置が移動しても、情報入力用画像７０の投影領域を含む所定領域を常に高速スキャンすることができる。
【００９０】
図１３は、情報入力装置１によってユーザの手のひらに情報入力用画像７０を投影して情報入力を行う場合の投影領域付近の概念図である。この場合、図１の雲台１０に代えて小型のパンティルト架台を使用することもできる。なお、その場合でも上述した第１検知部２０は必要であるが、図１３では、第１検知部２０の図示は省略している。
【００９１】
図２に示したレーザプロジェクタ等の投影装置３０は、制御部５０から受信した画像データに応じてＲＧＢ各色の可視レーザ光を発光し、その可視レーザ光を図１に示した超小型の投影部３０ａへ光ファイバで導く。そして、図１３に示す例では、投影部３０ａから情報入力用画像７０を被投影面である左手１８０の手のひらの上に投影する。
【００９２】
このように、投影装置３０は、可視レーザ光によって情報入力用画像７０を投影するため、被投影面と投影部３０ａとの間の距離に拘わらず、常に良好な情報入力用画像７０を被投影面上に形成することができるという特性（フォーカスフリー特性）を有している。なお、所定の情報入力用画像を投影することが可能であれば、ＲＧＢ各色発光レーザを用いたプロジェクタ以外の投影装置を使用することもできる。
【００９３】
図１３の例では、ユーザの左手１８０の手のひらを被投影面としているが、ある程度平面であって認識可能であれば、ユーザの身体の他の部分を被投影面とすることもできる。
【００９４】
図２に示した制御部５０は、投影装置３０がユーザの左手１８０の手のひら上に投影した情報入力用画像７０がユーザの右手１９０の指先でタッチされたことを判断して、入力された情報入力データを被操作装置６０へ出力する等の処理を実行する。
【００９５】
制御部５０は、第１検知部２０の赤外線カメラ２２によって撮像された情報に基づいて、情報入力用画像７０を投影するための対象物であるユーザの左手１８０の手のひらを判別する。すると、制御部５０は、制御データに基づいて第１モータ１５及び第２モータ１６を制御してその対象物を追尾し、投影部３０ａによって情報入力用画像７０をユーザの左手１８０の手のひら上に投影させる。
【００９６】
なお、制御部５０が雲台１０の第１モータ１５を制御して図１に示した第１回転部１２をθ方向に回転させると、図１３に示す情報入力用画像７０は矢印Ａの方向に移動する。制御部５０が雲台１０の第２モータ１６を制御して第２回転部１３をφ方向に回転させると、情報入力用画像７０は矢印Ｂの方向に移動する。制御部５０は、後述する方式で手のひら領域を認識した場合、その位置データ（ｘ、ｙ）と深度データ（ｒ）から空間座標（ｘ、ｙ、ｚ）を割り出し、データテーブルを利用して、手のひら位置に情報入力用画像７０を投影させる。
【００９７】
すなわち、制御部５０は、対象物であるユーザの左手１８０の手のひらの位置を追尾して情報入力用画像７０の投影位置を変化させる投影位置制御部として機能する。また、制御部５０は、第１検知部２０又は第２検知部２５による検知情報に基づいて情報入力用画像７０への情報入力を検出する情報入力検出部として機能する。
【００９８】
図１４は、制御部５０による手のひら検知のための処理の一例を示すフローチャートである。図１４に示す処理フローは、制御部５０のＲＯＭ５３に予め記憶されたプログラムに従って、制御部５０のＣＰＵ５１が雲台１０、第１検知部２０及び投影装置３０を制御して実行する。
【００９９】
制御部５０は、先ず、第１検知部２０から位置座標データ及び深度データを取得する（Ｓ４０）。次に、制御部５０は、Ｓ４０で取得した位置データに基づいて、物体の輪郭が存在する領域を特定する（Ｓ４１）。そして、制御部５０は、Ｓ４０で取得した深度データに基づいて、輪郭が存在する領域のうち、ほぼ同じ深度データを有する領域をグルーピングする（Ｓ４２）。
【０１００】
次に、制御部５０は、Ｓ４２でグルーピングした物体の輪郭領域が、対象部位である手首より先の部分であるか否かを、予めＲＯＭ５３等に記憶されているパターンと比較することによって判断する（Ｓ４３）。例えばユーザが座っている場合には、進入物体の輪郭領域のグループが複数識別される可能性があるが（足、顔、肩等）、パターン認識を行うことによって、対象部位である手首より先の部分だけを識別することが可能になる。
【０１０１】
図１５は、ユーザの左手首より先の部分の輪郭が識別された場合の例を示す説明図である。右手首より先の部分の輪郭を識別する場合も同様である。
【０１０２】
進入物体が対象部位であるユーザの左手１８０であるとＳ４３で判断した場合は、制御部５０は、図１５に破線の円で示す左手１８０の手のひら領域２００を検出し、手のひら領域２００の深度データを取得して（Ｓ４４）、図２に示したＲＡＭ５２等に記憶する。
【０１０３】
手のひら領域２００の検出は、識別された左手１８０の輪郭（外形）から、例えば次のように行われる。図１５において、指の先端位置Ｎ１と手首位置Ｎ２及びＮ３の中点Ｎ５とを結ぶ直線Ｎ４を引き、直線Ｎ４上で指の先端位置Ｎ１と中点Ｎ５との間の距離の１／４だけ中点Ｎ５から離れた中心点Ｎ６を中心とし、中心点Ｎ６と中点Ｎ５との間の距離を半径とする円形領域を手のひら領域２００とする。なお、手のひら領域２００を決定する方式は、これに限定されず、他の方式を採用してもよい。
【０１０４】
次に、制御部５０は、手のひら領域２００の中心点Ｎ６の位置データ（ｘ、ｙ）と深度データ（ｒ）から、中心点Ｎ６の空間座標（ｘ、ｙ、ｚ）を割り出す。そして、制御部５０は、図５のＳ１７で作成したデータテーブルを利用して雲台１０を制御し、手のひら領域２００内の位置に情報入力用画像７０を投影させる（Ｓ４５）。これで制御部５０は一連の動作を終了する。なお、制御部５０は、図１４に示す処理フローを、対象部位（左手首より先の部分）を認識するまで、所定の時間（例えば１秒）間隔で実行する。
【０１０５】
図１６は、検出された手のひら領域２００に情報入力用画像７０が投影された状態を示す図である。なお、投影画像の大きさは投影部３０ａと手のひら領域２００との距離によって決まるので、常に同じ大きさの画像を投影した場合には、手のひら領域２００内に情報入力用画像７０が収まらないことが有り得る。
【０１０６】
そこで、制御部５０は、図１５に示した中心点Ｎ６の深度データに基づいて投影画像の拡大／縮小を行い、丁度手のひら領域２００内に情報入力用画像７０が収まるように制御する。また、制御部５０は、ユーザの手のひらを検出すると、それを追尾するように、雲台１０を制御して投影部３０ａの向きを変化させて、手のひらの移動に合わせて情報入力用画像７０の投影位置を移動させる。
【０１０７】
図１７は、制御部５０による手のひらでの情報入力のための処理の一例を示すフローチャートである。図１７に示す処理フローも、制御部５０のＲＯＭ５３に予め記憶されたプログラムに従って、制御部５０のＣＰＵ５１が雲台１０、第１検知部２０、第２検知部２５及び投影装置３０を制御して実行する。
【０１０８】
制御部５０は、先ず、対象部位（左手首より先の部分）を認識した否かを判断し（Ｓ５０）、対象部位を認識した場合にのみ、以下のステップに進む。
【０１０９】
Ｓ５０で対象部位を認識すると、制御部５０は、投影装置３０へ送信した画像データ及び雲台１０へ送信した制御データを取得する（Ｓ５１）。次に、制御部５０は、主に第２検知部２５から位置座標データ及び深度データを取得する（Ｓ５２）。なお、Ｓ５１とＳ５２の順番は逆でもよい。
【０１１０】
次に、制御部５０は、Ｓ５２で取得した位置座標データに基づいて検出物体の輪郭データを特定する（Ｓ５３）。そして、制御部５０は、Ｓ５２で取得した深度データに基づいて、深度データが略同じ輪郭領域をグルーピングする（Ｓ５４）。さらに、制御部５０は、そのグルーピングした輪郭領域に基づいて、手のひら領域２００への進入物体の進入位置及び指先位置を特定する（Ｓ５５）。なお、Ｓ５４でグルーピングされた進入物体が複数存在する可能性もあるが、制御部５０は、手のひら領域２００の範囲内の位置座標（ｘ、ｙ）を有するもののみを進入物体として認識する。
【０１１１】
図１８は、制御部５０が図１７のＳ５４でグルーピングしたユーザの左手１８０の輪郭領域と、手のひら領域２００への進入物体（この例ではユーザの右手１９０）の一例を示す図である。制御部５０は、手のひら領域２００への進入物体である右手１９０の進入位置０１及び０２をＳ５５で特定する。次に、制御部５０は、進入位置０１及び０２の中点０３を特定し、中点０３から伸ばした垂線０４上において、中点０３から最も離れた位置で右手１９０に含まれる輪郭と重なる点０５を指先位置として特定する。
【０１１２】
なお、進入位置０１及び０２の中点０３から最も離れた位置に存在する右手１９０に含まれる輪郭領域を指先位置と特定してもよい。右手１９０の進入位置に基づく上述した指先位置の特定方法は一例であって、他の方法によって指先位置を特定してもよい。
【０１１３】
次に、制御部５０は、進入物体である右手１９０が情報入力操作を行っているか否かの判断を行う（Ｓ５６）。手のひら領域２００内に右手１９０が存在したとしても、単に進入しただけであって情報入力操作が意図されていない場合も有り得る。そこで、例えば、制御部５０は、指先位置の点０５が手のひら領域２００上にある場合に、右手１９０の指先が情報入力操作を行っていると判断する。
【０１１４】
制御部５０は、指先位置の点０５が手のひら領域２００上にあるか否かを、手のひら領域２００の深度データと指先位置の点０５の深度データとの差が所定閾値以内（例えば１０ｍｍ以内）であるか否かに基づいて判断する。
【０１１５】
なお、チャタリング等によって、指先位置の点０５の深度データが短い期間で変動する可能性がある。そこで、誤検知を防止するために、制御部５０は、所定時間（例えば１秒）以上連続して、指先位置の点０５の深度データと手のひら領域２００の深度データとの差が所定閾値以内である場合に、情報入力があったと判断してもよい。
【０１１６】
指先位置が情報入力操作を意図したものであると制御部５０が判断した場合（Ｓ５６でＹｅｓ）は、投影装置３０へ送信した画像データ及び雲台１０へ送信した制御データに基づいて、図１８に示すように手のひら領域２００に投影された情報入力用画像７０に含まれる各入力ボタンの手のひら領域２００中の位置を特定する（Ｓ５７）。
【０１１７】
次に、制御部５０は、Ｓ５５で特定した指先位置の点０５と、Ｓ５７で特定した各入力ボタンの手のひら領域２００内での位置とに基づいて、情報入力内容を特定する（Ｓ５８）。例えば、制御部５０は、指先位置の点０５の座標が図１８に示すように再生ボタン７２の範囲内にある場合には、情報入力内容が「再生」であると特定する。また、指先位置の点０５と一致する入力ボタンが存在しない場合には、情報入力内容が存在しないと特定してもよい。
【０１１８】
その後、制御部５０は、Ｓ５８で特定した情報入力内容に対応した処理を被操作装置６０に対して実行して（Ｓ５９）、一連の処理を終了する。例えば、特定された情報入力の内容が「再生」である場合には、制御部５０は、被操作装置６０に「再生」のための信号を送信する。
【０１１９】
一方、指先位置が情報入力操作を意図したものではないと制御部５０が判断した場合（Ｓ５６でＮｏ）は、そのまま図１７の処理を終了する。
【０１２０】
図１７に示した処理フローは、図１４に示した処理フローに従って対象部位が認識された場合に実行される。したがって、手のひら領域２００に投影されている情報入力用画像７０の所定の入力ボタン（例えば再生ボタン７２）にユーザが指先で触れることにより、リモコン等の機器を利用することなく、バーチャルで例えば「再生」という情報入力を行うことができる。
【０１２１】
図１７に示した処理フローでは、制御部５０は、対象部位としてユーザの左手１８０を認識したか否かを判断し、対象部位から手のひら領域２００を検出して、手のひら領域２００に情報入力用画像７０を投影するように制御する。ここで、制御部５０は、一旦検出した対象部位が移動した場合（例えば、ユーザが移動したり左手１８０を動かしたりした場合）でも対象部位を追尾して手のひら領域２００に常に情報入力用画像７０を投影させる追尾機能を有することが好ましい。
【０１２２】
また、図１７のＳ５０においては、対象部位が認識された場合にその後のステップに進むようにした。しかしながら、所定の認証を行い、登録されたユーザの対象部位であることが認証された場合にのみ、その後のステップへ進んでもよい。認証の方法としては、手のひら領域を検出するために進入物体として認識された左手１８０に含まれる指の指紋認証、手のひらの皺、血管の配置等によるものが考えられる。
【０１２３】
ところで、このようにユーザの手のひら等の体の一部を被投影面として利用して、そこに情報入力用画像７０を投影して情報入力を行う場合には、図１３に破線で示す投影領域にユーザの顔１００や目１０１等が進入し易くなる。そのため、この場合も、図１２によって説明したように、情報入力用画像投影中に、制御部５０が、第２検知部２５による検知情報に基づいて特異物体の進入を迅速に検知する。そして、制御部５０は、顔１００又は目１０１等の特異物体を検知したときには、警告音を発生させ、投影装置３０に投影停止信号を送信して可視レーザ光による情報入力用画像７０の投影を停止させる。これによって、目に対する安全性を大幅に向上させることができる。
【０１２４】
情報入力装置１では、図２に示した第１検知部２０と第２検知部２５における赤外線の混信を防ぐために、偏光多重方式を採用し、第１検知部２０と第２検知部２５は、直線偏光方向が互いに直交する赤外線を使用する。しかしながら、偏光多重方式では、偏光解消物体に赤外線を照射したときに混信が発生しＳＮ比が低下する。このため、偏光多重方式に代えて、第１検知部２０と第２検知部２５は、互いに異なる波長の赤外線を使用し、それぞれフィルタを介して赤外線カメラ２２及び赤外線検知部２７で各赤外線を受光して、波長多重方式で混信を防ぐこともできる。
【０１２５】
あるいは、第１検知部２０の第１の赤外線発光部２１と第２検知部２５の第２の赤外線発光部２６は、異なる発光タイミングで、すなわち時間差を持たせて各赤外線を照射して、時間多重方式で混信を防ぐこともできる。さらに、これらの各方式を適宜組み合わせて混信を防止してもよい。
【０１２６】
また、図２に示した赤外線カメラ２２を、可視光に感度を持つモノクロ画像を撮像するモノクロカメラ、又はカラー画像を撮像するカラーカメラと併用してもよい。例えば、第１検知部２０は、カラー画像を撮像するカメラと深度情報を取得する赤外線カメラとを複合したカメラモジュールを有してもよい。これにより、可視光カメラを使って投射画像をリアルタイムに確認することが可能となる。
【０１２７】
例えば、カラー画像を撮像するカラーカメラを使用した場合には、ＲＧＢ等のカラーデータも検知することができる。このため、検知対象の手の指や腕に指輪や腕時計等が装着されていても、それらをカラーデータによって識別でき、手の肌色の画像領域のみを正確に認識することができる。
【０１２８】
さらに、図２に示した第２検知部２５の第２の赤外線発光部２６を投影装置３０と共用することも可能である。この場合、例えば、投影部３０ａから被投影面に、可視レーザ光による情報入力用画像の投影光と共に赤外線ビームも照射し、赤外線バンドパスフィルタを通してフォトダイオード等の赤外線検知部が物体からの反射光を受光する。
【０１２９】
図１９は、投影装置３０の他の例を示す概略構成図である。第２の赤外線発光部２６を投影装置３０と共用する場合、例えば図１９に示すように、投影装置３０は、走査方式の投影部３１、シングルモードファイバ３２、広帯域のファイバコンバイナ３３、及びファイバピクテイルモジュール３４等によって構成される。この構成において、可視光のＲ、Ｇ、Ｂ各色用のレーザ光源と赤外線（ＩＲ）用のレーザ光源が発光する各レーザ光は、ファイバピクテイルモジュール３４によってそれぞれ各光ファイバに導入される。そして、広帯域のファイバコンバイナ３３は、各光ファイバによって導かれたＲ、Ｇ、Ｂ、ＩＲの各レーザ光を合波する。シングルモードファイバ３２は、その合波光を走査方式の投影部３１へ導く。
【０１３０】
投影部３１では、シングルモードファイバ３２から出射されるレーザ光が、照射光学系３１ａによってＭＥＭＳミラー３１ｂに向けて照射され、ＭＥＭＳミラー３１ｂによる反射光が、投射光学系３１ｃを通して上述した被投影面に投射される。そのＭＥＭＳミラー３１ｂを直交する２軸に関して振動させることによって、投射するレーザ光を高速で２次元走査することができる。これにより、第２の赤外線発光部２６を投影装置３０と共用することが可能になる。さらに、図１９における照射光学系３１ａとＭＥＭＳミラー３１ｂの間にビームスプリッタを配置して、赤外線が照射された物体からの反射光を分離し、赤外線バンドパスフィルタを通してフォトダイオード等の赤外線検知部で受光して検知することもできる。
【０１３１】
第２検知部による検知物体までの距離の測定方法には、上記のＴＯＦ法以外にランダム・ドット・パターンを用いる方法がある。ＴＯＦ法では、リアルタイムで高分解能を得るために常時高速で演算しなければならず、ＣＰＵ５１に演算能力の高いものを用いる必要がある。ランダム・ドット・パターンの方法は、三角測量の原理を用い、ｍ系列符号等の自己相関特性を利用して、パターンの水平方向のズレ量から距離を算出する方法であり、得られたイメージ画像のビットシフトによる重なりの明暗を自己相関値として検出する。この方法では、元のパターンとの相互相関処理を繰り返して行うことで、相関値の最も高い位置をズレ量として検出することができる。
【０１３２】
また、ランダム・ドット・パターンの方法は、計測時に電子メモリに元のｍ系列符号のパターンを記録し、反射パターンと逐次比較することにより、ランダム・ドット・パターンの発生から比較までをすべて電子的処理で行うことが可能である。この方法は、検出したい距離に応じてドットの密度を変えることが容易なため、固定の光学的ホログラムパターンを照射用レーザと組み合わせて光学的にランダム・ドット・パターンを空間に展開する方法と比較して、高精度な深さ情報の取得が可能となる。さらに、ランダム・ドット・パターンの発生といった一部機能をシフトレジスタ等のハードウェア回路に置き換えれば、容易に演算負荷を減らすことができる。
【０１３３】
図２０は、ランダム・ドット・パターンを用いる場合の第２検知部１２５の具体的な構成例を示す概略断面図である。疑似ランダムノイズとして知られるｍ系列符号を使って生成されたドットパターンが第２の赤外線発光部２６から出力され、ＭＥＭＳミラー２５１により走査されて、ランダム・ドット・パターンの画像が投射される。画像の投射点から距離ｄだけ離れた位置に、赤外線検知部としてラインイメージセンサ１２７が配置さる。ラインイメージセンサ１２７は、ＭＥＭＳミラー２５１の走査により投射されたランダム・ドット・パターンの赤外線ビームの、物体からの反射光を検知する。
【０１３４】
ラインイメージセンサ１２７から元パターンとなる基準面までの距離をＬ、水平方向のＭＥＭＳミラー２５１の走査で発生させたある特定パターンの位置ズレ量を距離Ｌの基準面上でのズレに換算した値をＷとすると、三角測量の原理により物体までの距離Ｚは以下の式から得られる。
【０１３５】
Ｚ＝（ｄ・Ｌ）／（ｄ＋Ｗ）  …（１）
【０１３６】
ラインイメージセンサ１２７は、ＭＥＭＳミラー２５１の１ラインスキャン毎に、物体から反射されたランダム・ドット・パターンを積分し、１次元画像情報として取得する。図２の制御部５０は、取得されたパターンを元のパターンと比較し、相互相関値の一致検出を行って水平方向の位置ズレ量を計測し、三角測量の換算式から距離データを取得する。これをラインスキャン毎に行うことで、ほぼリアルタイムで物体までの距離を検出することができる。このとき、各ラインのランダム・ドット・パターンは同一パターンでも構わない。
【０１３７】
ラインイメージセンサ１２７は、１次元（ライン状）であるため、通常用いられる２次元のランダム・ドット・パターンの場合と異なり、１次元のライン上の深さデータしか得ることができない。しかしながら、ラインイメージセンサ１２７はＭＥＭＳミラー２５１の１ラインスキャンと同期しているため、ラインスキャンと直交する方向では、ＭＥＭＳミラー２５１の発生するフレーム内のライン位置がわかる。このため、取得されたデータを２次元データとして再構築することが可能である。また、第１検知部によって撮像された画像データと合わせて特異物体の判断が行われるため、ラインイメージセンサ１２７により１次元のライン上の深さデータしか得られなくても、実用上は問題とはならない。
【０１３８】
このように、第２検知部１２５は、物体の動きに追従し、ラインスキャン単位で物体までの距離を得ることができるから、簡便な構成にもかかわらず、動いている物体でも高速に距離を計測することが可能となる。
【０１３９】
他にも、検知物体までの距離を計測する方法として、ＰＳＤ方式がある。これは、赤外線検知部として、上記のラインイメージセンサ１２７に代えて位置検出素子（ＰＳＤ：Position Sensitive Device）を用いて、物体からの赤外線反射光の光量重心位置を検知するものである。ＰＳＤ方式は、ランダム・ドット・パターンを用いた方法と同様に、三角測量の原理により、物体までの距離の変化を水平方向の位置ズレ量から計測するものであり、水平方向の位置の変化に伴う物体からの反射角度の変化を光量の重心位置の変化として検知する。ラインイメージセンサの場合、制御部５０がセンサ内部のセル毎の受光量からイメージ全体を構築する必要があるが、ＰＳＤ方式では、位置検出素子自体から光量の重心位置の情報が出力されるため、この情報をモニタするだけで水平方向の位置の変化が判り、物体までの距離を計測できる。そのため、制御部５０の構成をさらに簡略化できるメリットがある。
【０１４０】
以上、本発明による情報入力装置の実施形態とその種々の変更例について説明したが、これに限るものではなく、特許請求の範囲に記載した事項の範囲内で、さらに種々の変更や追加、あるいは省略、組合せ等が可能であることは言うまでもない。
【産業上の利用可能性】
【０１４１】
本発明は、例えばエアコン、ネットワークへのアクセス装置、パーソナルコンピュータ、テレビ、ラジオ、ＣＤやＤＶＤ又はＶＴＲ等の各種記録媒体の記録再生装置等の各種の被操作装置を遠隔操作する、バーチャルリモコンの情報入力装置として利用できる。
【符号の説明】
【０１４２】
１    情報入力装置
１２    第１回転部
１３    第２回転部
２０    第１検知部
２１    第１の赤外線発光部
２２    赤外線カメラ
２５    第２検知部
２６    第２の赤外線発光部
２７    赤外線検知部
３０    投影装置
３０ａ    投影部
５０    制御部
７０    情報入力用画像
２５１    ＭＥＭＳミラー
【図１】
2014034527.tif 000003
【図２】
2014034527.tif 000004
【図３】
2014034527.tif 000005
【図４】
2014034527.tif 000006
【図５】
2014034527.tif 000007
【図６】
2014034527.tif 000008
【図７】
2014034527.tif 000009
【図８】
2014034527.tif 000010
【図９】
2014034527.tif 000011
【図１０】
2014034527.tif 000012
【図１１】
2014034527.tif 000013
【図１２】
2014034527.tif 000014
【図１３】
2014034527.tif 000015
【図１４】
2014034527.tif 000016
【図１５】
2014034527.tif 000017
【図１６】
2014034527.tif 000018
【図１７】
2014034527.tif 000019
【図１８】
2014034527.tif 000020
【図１９】
2014034527.tif 000021
【図２０】
2014034527.tif 000022
【国際調査報告】
2014034527.tif 000023
2014034527.tif 000024
2014034527.tif 000025
2014034527.tif 000026