(57)【要約】  本発明は、被検出対象を追尾して入力用画像の投影位置を変化させ、入力用画像への情報入力を検出することを可能とする情報入力装置を提供することを目的とする。情報入力装置は、入力用画像を投影する投影部と、入力用画像の投影位置を変更する投影位置変更部と、被検出対象の位置を検出する検出センサと、検出センサにより検出した被検出対象の位置を追尾して投影位置変更部が入力用画像の投影位置を変化させ且つ検知センサからのデータに基づいて入力用画像への情報入力を検出する情報検出部を有することを特徴とする。
2012173001.tif 000002
【特許請求の範囲】
【請求項１】
入力用画像を投影する投影部と、
前記入力用画像の投影位置を変更する投影位置変更部と、
被検出対象の位置を検出する検出センサと、
前記検出センサにより検出した被検出対象の位置を追尾して前記投影位置変更部が前記入力用画像の投影位置を変化させ、且つ前記検知センサからのデータに基づいて前記入力用画像への情報入力を検出する情報検出部と、
を有することを特徴とする情報入力装置。
【請求項２】
前記検知センサは、赤外線センサを有する、請求項１に記載の情報入力装置。
【請求項３】
前記検知センサは、色検知センサを有する、請求項２に記載の情報入力装置。
【請求項４】
前記情報検出部は、前記投影位置変更部を制御して被検出対象に前記入力用画像が投影されるように制御する、請求項１〜３の何れか一項に記載の情報入力装置。
【請求項５】
前記情報検出部は、前記検知センサからのデータに基づいて、前記入力用画像上における被検出対象の位置を特定することによって、前記入力用画像への情報入力を検出する、請求項１に記載の情報入力装置。
【請求項６】
前記投影部は、ＭＥＭＳミラーを用いてビームを出射する出射部を有する、請求項１〜５の何れか一項に記載の情報入力装置。
【請求項７】
前記投影部は、マイクロディスプレイ方式でビームを出射する出射部を有する、請求項１〜５の何れか一項に記載の情報入力装置。
【請求項８】
前記投影位置変更部は、前記投影部のパン動作を行うための第１回転軸と、前記投影部のチルト動作を行うための第２回転軸を有する、請求項１〜７の何れか一項に記載の情報入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報入力装置に関し、特に投影された入力用画像を用いた情報入力装置に関する。
【背景技術】
【０００２】
例えば、テレビ、ビデオ等を操作するための情報入力を行うために、リモコン等の情報入力装置を利用することが一般的に行われている。しかしながら、いざ利用しようとすると、リモコン等の置き場所が不明であったりして、利用したい時に、利用できないといった不具合があった。【０００３】
そこで、情報入力機器自体を操作することなく、シンプルで分かり易く、且つ大多数の人が直感的に操作できるような情報入力装置が求められていた。【０００４】
ところで、映像投射装置から複数の入力キーを有する操作部を示す映像を投影し、この映像上における指の動きを画像認識処理により検出して、入力キーに対する押下げ操作がなされた判別する情報入力装置が知られている（例えば、特許文献１参照）。【０００５】
特許文献１において、映像上の指の動きは、撮像部で読取った映像から、エッジ検出によって指を判別した上で、指の上から下への動き、即ち映像が投影されている面に対する指の接触を検出している。【０００６】
また、プロジェクタをユーザが身に着け、プロジェクタが投影するダイアルパッドを手のひらで受け、手のひらに投影されたダイアルパッドをユーザの指先に装着された器具で指し示すと、指し示されたダイアルパッドに対応した入力がなされる、装着可能なジェスチャーインタフェイスが知られている（例えば、特許文献２参照）。【０００７】
特許文献２に記載のジェスチャーインタフェイスでは、カメラが撮像した画像をコンピュータが画像解析して、ユーザの指先に装着した器具の動きを追跡し、ダイアルパッドに対応した入力があるか否かが判断されている。また、プロジェクタからの画像は、ミラーで反射されてから投影されるため、ミラーの位置をユーザがマニュアルで変更することによって、投影場所を変更することができる。【０００８】
さらに、画像を投影可能な所定の領域内で、手のひらを検出し、検出した手のひらに、星、俳句、図鑑の内容を投影するシステムが知られている（例えば、特許文献３参照）。特許文献３のシステムでは、プロジェクタの投影方向は、固定されているが、常に所定領域全体に投影を行っているので、検出された手のひらの部分にのみ画像を表示させるようにしている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平１１−９５８９５号公報（図１）
【特許文献２】米国公開２０１０/０１９９２３２号公報（図１２）
【特許文献３】「手のひらインタフェース：画像処理を用いた公共空間におけるパーソナルな情報提示システム」、情報処理学会論文誌  ｖｏｌ．４９、Ｎｏ．７  ２５２８−２５３８、２００８年７月
【発明の概要】
【００１０】
しかしながら、映像のエッジを検出することによって指の動きを判断すると、人間の指以外の物体を指と謝って認識したり、物を持っている場合に持っている物の先を指と誤って認識したり、するという不具合があった。
【００１１】
また、特許文献２に記載のジェスチャーインタフェイスでは、ユーザがプロジェクタ等を含む装置を身に着けなければならず通常のリモコンと比較しても、操作が煩わしいという不具合があった。
【００１２】
さらに、特許文献２に記載のジェスチャーインタフェイスでは、プロジェクタが固定されているため、ミラーによって投影位置はマニュアルで変更することはできるが、投影位置に手のひらを持っていかなければ、手のひらにダイアルパッドを投影することができないという不具合もあった。
【００１３】
また、特許文献３に記載のシステムでは、プロジェクタの投影方向が固定されているので、検出された手のひらに画像を表示するためには、所定の領域全体を投影可能な大型プロジェクタを利用しなければならなかった。
【００１４】
そこで、本発明は、上記の問題を解消することを可能とした情報入力装置を提供することを目的とする。
【００１５】
また、本発明は、被検出対象を追尾して入力用画像の投影位置を変化させ、入力用画像への情報入力を検出することを可能とする情報入力装置を提供することを目的とする。
【００１６】
また、本発明は、ユーザの対象部位の位置を追尾して、情報入力画像を対象部位に表示することを可能とする情報入力装置を提供することを目的とする。
【００１７】
また、本発明は、確実に指先を認識して誤検出を防止することを可能とした情報入力装置を提供することを目的とする。
【００１８】
さらに、本発明は、指輪や時計等の装飾品をつけていた場合でも、確実に指先を認識して誤検出を防止することを可能とした情報入力装置を提供することを目的とする。
【００１９】
また、本発明は、特定の装置を身に着けることなく、ユーザの身体の一部を利用して、情報入力を行うことを可能とした情報入力装置を提供することを目的とする。
【００２０】
さらに、本発明は、指輪や時計等の装飾品をつけていた場合でも、確実に指先を認識して誤検出を防止することを可能とした情報入力装置を提供することを目的とする。
【００２１】
情報入力装置は、入力用画像を投影する投影部と、入力用画像の投影位置を変更する投影位置変更部と、被検出対象の位置を検出する検出センサと、検出センサにより検出した被検出対象の位置を追尾して投影位置変更部が入力用画像の投影位置を変化させ且つ検知部からのデータに基づいて入力用画像への情報入力を検出する情報検出部を有することを特徴とする。
【００２２】
さらに、情報入力装置では、検知センサは、赤外線センサを有することが好ましい。
【００２３】
さらに、情報入力装置では、検知センサは、色検知センサを有することが好ましい。
【００２４】
さらに、情報入力装置では、情報検出部は、投影位置変更部を制御して被検出対象に入力用画像が投影されるように制御することが好ましい。
【００２５】
さらに、情報入力装置では、情報検出部は、検知センサからのデータに基づいて、入力用画像上における被検出対象の位置を特定することによって、入力用画像への情報入力を検出することが好ましい。
【００２６】
さらに、情報入力装置では、投影部は、ＭＥＭＳミラーを用いてビームを出射する出射部を有することが好ましい。
【００２７】
さらに、情報入力装置では、マイクロディスプレイ方式でビームを出射する出射部を有することが好ましい。
さらに、情報入力装置では、投影位置変更部は、投影部のパン動作を行うための第１回転軸と、投影部のチルト動作を行うための第２回転軸を有することが好ましい。
【００２８】
情報入力装置は、入力ボタンを含む情報入力画像を投影する投影部と、色を検知するための色検知センサと、色検知センサからのデータに基づいて指先位置を特定し且つ指先位置に対応する前記入力ボタンによる情報入力がなされたと判断する制御部を有することを特徴とする。
【００２９】
さらに、情報入力装置では、深度を検知する深度検知センサを更に有し、制御部は、特定された前記指先位置の深度が、被投影面上における指先位置の深度とほぼ等しい場合に、入力ボタンによる情報入力がなされたと判断することが好ましい。
【００３０】
さらに、情報入力装置では、深度検知センサからのデータに基づいて、投影部によって情報入力画像が投影される被投影面上の深度を予め記録する記憶部を更に有することが好ましい。
【００３１】
さらに、情報入力装置では、制御部は、色検知センサからのデータに基づいて、所定の色を有すると判断された物体を特定し、特定された物体の内、同じ深度データを有する物体を一つの侵入物体として認識することが好ましい。
【００３２】
さらに、情報入力装置では、制御部は、認識された前記侵入物体の検知領域への侵入位置に基づいて、指先位置を特定することが好ましい。
【００３３】
また、情報入力装置は、入力ボタンを含む情報入力画像を投影する投影部と、色を検知するための色検知センサと、深度を検知する深度検知センサと色検知センサ及び深度検知センサからのデータに基づいてユーザの対象部位の位置を特定し、対象部位に情報入力画像を投影するように投影部を制御する制御部を有し、制御部は、色検知センサからのデータに基づいて指先位置を特定し、指先位置に対応する入力ボタンによる情報入力がなされたことを判断することを特徴とする。
【００３４】
さらに、情報入力装置では、制御部は、特定された指先位置の深度が、対象部位の深度とほぼ等しい場合に、入力ボタンによる情報入力がなされたと判断することが好ましい。
【００３５】
さらに、情報入力装置では、深度検知センサからのデータに基づいて、投影部によって情報入力画像が投影される空間の基準位置の深度を予め記録する記憶部を更に有することが好ましい。
【００３６】
さらに、情報入力装置では、対象部位はユーザの手のひらであることが好ましい。
【００３７】
さらに、情報入力装置では、投影部は、空間光位相変調器を用いた、ＭＥＭＳミラーを用いた、又はファイバ走査型の出射部を含むことが好ましい。
【００３８】
情報入力装置では、色検知センサからのデータに基づいて指先位置を特定するので、確実に指先を認識して誤検出を防止することが可能となった。
【００３９】
さらに、情報入力装置では、色検知センサ及び深度検知センサからのデータに基づいて指先位置を特定するので、指輪や時計等の装飾品をつけていた場合でも、確実に指先を認識して誤検出を防止することが可能となった。
【００４０】
また、情報入力装置では、ユーザの身体の一部に情報入力画像を投影し、身体の他の一部を利用して情報入力画像による情報入力を行うことができるので、特定の装置を身に着けることなく、簡単且つ容易に情報入力を行うことが可能となった。
【００４１】
さらに、情報入力装置では、色検知センサからのデータに基づいて指先位置を特定するので、確実に指先を認識して誤検出を防止することが可能となった。
【００４２】
さらに、情報入力装置では、色検知センサ及び深度検知センサからのデータに基づいて指先位置を特定するので、指輪や時計等の装飾品をつけていた場合でも、確実に指先を認識して誤検出を防止することが可能となった。
【図面の簡単な説明】
【００４３】
【図１】情報入力装置１の外観を示す斜視図である。
【図２】情報入力装置１の構成を示すブロック概略図である。
【図３】情報入力装置１における初期設定のための制御フローの一例を示す図である。
【図４】ディスプレイ上に表示したＲＧＢカラー映像認識用カメラ２１が撮像した画像の一例を示す図である。
【図５】被投影面上の深度データを説明するための図である。
【図６（ａ）】照射装置３０が投影する情報入力画像の一例を示す図である。
【図６（ｂ）】照射装置３０が投影する情報入力画像の他の例を示す図である。
【図７】情報入力装置の制御フローの一例を示す図である。
【図８】制御部５０が特定した肌色領域９０〜９２の一例を示す図である。
【図９】制御部５０がグルーピングした侵入物体９０の一例を示す図である。
【図１０】情報入力装置１における情報入力の他の例を示す図である。
【図１１】情報入力装置１における情報入力の更に例を示す図である。
【図１２】情報入力装置１における情報入力の更に例を示す図である。
【図１３（ａ）】情報入力装置１における情報入力画面の移動制御の一例を説明するための図である。
【図１３（ｂ）】情報入力装置１における情報入力画面の移動制御の他の例を説明するための図である。
【図１４（ａ）】情報入力装置１における投影画像の画像処理の一例を説明するための図である。
【図１４（ｂ）】情報入力装置１における投影画像の画像処理の他の例を説明するための図である。
【図１５】情報入力装置１における投影画像の回転処理について説明するための図である。
【図１６】情報入力装置１における侵入物体の侵入方向を示した図である。
【図１７】情報入力装置１００の外観を示す斜視図である。
【図１８】情報入力装置１００の構成を示すブロック概略図である。
【図１９】初期設定のための制御フローの一例を示す図である。
【図２０】ディスプレイ上に表示したＲＧＢカラー映像認識用カメラ１２１が撮像した画像の一例を示す図である。
【図２１】基準領域の深度データを説明するための図である。
【図２２】レーザプロジェクタ１３０が投影する情報入力画像の例を示す図である。
【図２３】手のひらの検知フローの一例を示す図である。
【図２４（ａ）】手のひらの特定を説明するための図（１）である。
【図２４（ｂ）】手のひらの特定を説明するための図（２）である。
【図２４（ｃ）】手のひらの特定を説明するための図（３）である。
【図２５】情報入力の制御フローの一例を示す図である。
【図２６】侵入物体１８０と他の侵入物体１９０の一例を示す図である。
【図２７】情報入力装置３００の構成を示すブロック概略図である。
【図２８】図１に示す情報入力装置１を利用した他の情報入力方法を説明するための図である。
【図２９】図１に示す雲台１０及び照射装置３０の構成例を示す図である。
【図３０】図２９に示すプロジェクションヘッド３１の一例を示す図である。
【図３１】図２９に示すプロジェクションヘッド３１の他の例を示す図である。
【図３２】図２９に示すプロジェクションヘッド３１の更に他の例を示す図である。
【発明を実施するための形態】
【００４４】
以下図面を参照して、情報入力装置について説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。なお図面の説明において、同一または相当要素には同一の符号を付し、重複する説明は省略する。また説明のため部材の縮尺は適宜変更している。
【００４５】
図１は情報入力装置１の外観を示す斜視図であり、図２は情報入力装置１の構成を示すブロック概略図である。
【００４６】
情報入力装置１は、雲台１０、検知部２０、照射装置３０、制御部５０等を含んで構成されている。
【００４７】
雲台１０は、不図示の架台上に固定されており、基部１１、第１モータ１５によってθ方向に回転する第１回転部１２及び第２モータ１６によってφ方向に回転する第２回転部１３等を含んで構成されている。
【００４８】
検知部２０は、不図示の架台上に固定されており、ＲＧＢカラー映像識別用カメラ２１、赤外線カメラ２２及び赤外線照射光発光部２３等を含んで構成されている。ＲＧＢカラー映像識別用カメラ２１は、検知領域８０内の画像を撮像し、撮像した画像のピクセル毎の位置座標データ及びＲＧＢデータを出力する。赤外線カメラ２２は、赤外線照射光発光部２３から照射された赤外線が識別領域８０内に存在する物体から反射する反射光を受光し、撮像した画像のピクセル毎の位置座標データ及び深度データ（赤外線カメラ２２とピクセルとの間の距離に対応したデータ）を出力する。なお、ＲＧＢカラー映像識別用カメラ２１と赤外線カメラ２２は同じ検知領域８０及び同じ解像度を有しているものとする。
【００４９】
照射装置３０は、ＲＧＢ各色光発光レーザを用いた超小型プロジェクタから構成され、雲台１０の第２回転部１３に取り付けられている。制御部５０から受信した画像データに応じて、照射装置３０は、入力用画像である情報入力画像７０を被投影面であるテーブル４０の上面に投影する。なお、所定の情報入力画像を投影することが可能であれば、ＲＧＢ各色光発光レーザを用いた超小型プロジェクタ以外の照射装置を利用することができる。
【００５０】
図１の例では、テーブル４０の上面を被投影面としているが、床、壁、ボード等、ユーザの指先が触れることができ、所定の情報入力画像を投影することができるものであれば、他の部材を利用することができる。
【００５１】
制御部５０は、ＣＰＵ５１、ＲＡＭ５２、ＲＯＭ５３、及び、雲台１０、検知部２０、照射装置３０及び披操作装置６０との間でデータの送受信を行うためのＩ/Ｏ５４等から構成される。制御部５０は、照射装置３０がテーブル４０上に照射した情報入力画像７０が指先でタッチされたことを判断して、入力された情報入力データを被操作装置６０へ出力する等の処理を実行する。
【００５２】
制御部５０は、制御データに基づいて第１モータ１５及び第２モータ１６を制御して、情報入力画像７０をテーブル４０の上面の所望の位置に投影することができるように構成されている。なお、制御部５０は、ＨＤ等の他の記録媒体を有していても良い。制御部５０が、第１モータ１５を制御して第１回転部１２をθ方向に回転させると、情報入力画像７０が矢印Ａの方向に移動する。制御部５０が、第２モータ１６を制御して第２回転部１３をφ方向に回転させると、情報入力画像７０が矢印Ｂの方向に移動する。
【００５３】
被操作装置６０は、テレビ、ラジオ、ＣＤ、ＤＶＤ又はＢＤ等の各種記録媒体の記録再生装置であってよく、情報入力データに基づいて各種の処理を実行するものである。
【００５４】
図３は、情報入力装置１における初期設定のための制御フローの一例を示す図である。
【００５５】
図３に示す制御フローは、制御部５０のＲＯＭ５３に予め記憶されたプログラムに従って、制御部５０のＣＰＵ５１が、雲台１０、検知部２０及び照射装置３０を制御して実行するものである。
【００５６】
制御部５０に、不図示のディスプレイ及び操作部（キーボード及びマウス）をＩ/О５４を介して取り付け、検知部２０からのＲＧＢデータに基づく映像をディスプレイ上に表示させ、ユーザが操作部を利用して被投影面の位置を指定する（Ｓ１０）。指定された被投影面の範囲を示す位置座標データは、ＲＡＭ５２等に記録される。
【００５７】
図４は、ディスプレイ上に表示した検知部２０からのＲＧＢデータに基づく映像の一例を示す図である。例えば、図４のＣ１〜Ｃ４の４点を指定することによって、テーブル４０を被投影面として指定する。なお、被投影面と背景との差が明確に判別できる場合には、公知の画像処理技術を利用して、制御部５０が自動的に被投影面を指定するような構成としても良い。また、検知部２０が撮像する範囲全てが被投影面である場合には、本ステップ（Ｓ１０）を省略しても良い。
【００５８】
次に、制御部５０は、検知部２０からの深度データを取得し（Ｓ１１）、被投影面として指定された領域に含まれるピクセル毎の深度データをＲＡＭ５２へ記録する（Ｓ１２）。
【００５９】
図５は、被投影面上の深度データを説明するための図である。図５に示すように、検知部２０の直下にあるテーブル４０上の点Ｄ１と検知部２０から離れた位置にあるテーブル４０上の点Ｄ２では、同じテーブル４０上でありながら、検知部２０からの深度データに差が出てしまう。そこで、被投影面の全てのピクセルについて、位置座標データ及び深度データを予め取得して記録するようにしたものである。
【００６０】
次に、制御部５０は、照射装置３０に所定の画像データを送信して基準投影画像７１を被投影面上に投射させ、雲台１０に所定の制御データを送信して雲台１０を制御して基準投影画像７１を移動させる（Ｓ１３）。基準投影画像７１は、図４に示すように、円形の枠内に表示された５つの黒点である。なお、図４に示す基準投影画像７１は、一例であって、他の画像を利用することもできる。また、図４における基準投影画像７１−１は、雲台１０の直下であって、本例における基準位置に投影されたものである。なお、雲台１０と披投影面との位置関係及び投影画像の基準位置等は、状況に応じて適宜定めることが可能である。
【００６１】
次に、制御部５０は、検知部２０からの位置座標データ及びＲＧＢデータを取得する（Ｓ１４）。
【００６２】
次に、制御部５０は、５つの黒点を利用して、基準投影画像７１の位置を特定し、雲台１０へ送信した制御データと、特定された基準投影画像７１の位置座標データとの関係をＲＡＭ５２上に構成されたデータテーブルに記録する（Ｓ１５）。
【００６３】
制御部５０は、上述したＳ１３〜Ｓ１５を、所定の間隔毎に基準投影画像を移動させながら、披投影面上の全てカバーするように繰り返し行う（Ｓ１６）。図４においては、基準投影画像７１−２〜７１−７を示したが、上記は一例であって、位置を特定するために基準投影画像を移動させる１回の移動量等は適宜定めることができる。
【００６４】
制御部５０は、Ｓ１３〜Ｓ１５を所定回数繰り返すことによって、披投影面の全領域について、投影画像の位置座標データと制御データと対応関係を表すデータテーブルを完成させる（Ｓ１７）。制御部５０は、データテーブルを利用することによって、指定された披投影面上の任意の位置に、雲台１０を制御して投影画像を移動させることが可能となる。逆に、制御部５０は、データテーブルを利用することによって、現在投影している投影画像の披投影面上の位置を特定することもできる。
【００６５】
図６は、照射装置３０が投影する情報入力画像の例を示す図である。図６（ａ）に示す情報入力画像７０には、ビデオの再生ボタン７２、早送りボタン７３、巻き戻しボタン７４、チャンネルアップボタン７５及びチャンネルダウンボタン７６が含まれている。それぞれ点線で囲まれた領域に、後述するように指先位置がある場合に、各ボタンに対応した情報入力がなされたと判断される。図６（ｂ）は、他の情報入力画像７０´を示している。他の情報入力画像７０´は、図６（ａ）に示されるボタンに加えて、情報入力画像７０´を回転させるための回転ボタン７７を含んでいる。なお、図６に示す情報入力画像は一例であって、照射装置３０は、制御部５０からの画像データに基づいて、様々な種類の情報入力画像を投影することが可能である。
【００６６】
制御部５０は、照射装置３０へ送信する画像データに基づいて、情報入力画像に含まれる入力ボタンの種類及び情報入力画像内の配置位置を判断することができる。さらに、制御部５０は、雲台１０へ送信した制御データ及び図３のＳ１７で作成したデータテーブルに基づいて、情報入力画像の被投影面上の位置を特定することができる。したがって、制御部は、照射装置３０へ送信する画像データ及び雲台１０へ送信した制御データに基づいて、各入力ボタンの被投影面上の位置を特定することができる。
【００６７】
図７は、情報入力装置の制御フローの一例を示す図である。
【００６８】
図７に示す制御フローは、制御部５０のＲＯＭ５３に予め記憶されたプログラムに従って、制御部５０のＣＰＵ５１が、雲台１０、検知部２０及び照射装置３０を制御して実行するものである。
【００６９】
最初に、制御部５０は、照射装置３０へ送信する画像データ及び雲台１０へ送信した制御データを取得する（Ｓ２０）。次に、制御部５０は、検知部２０からＲＧＢデータ及び深度データを取得する（Ｓ２１）。なお、Ｓ２０とＳ２１の順番は逆であっても良い。
【００７０】
次に、制御部５０は、Ｓ２１で取得したＲＧＢデータに基づいて、肌色を有するピクセルが存在する領域を特定する（Ｓ２２）。
【００７１】
次に、制御部５０は、Ｓ２１で取得した深度データに基づいて肌色を有するピクセルが存在する領域の内、ほぼ同じ深度データを有する肌色領域をグルーピングする（Ｓ２３）。制御部５０は、検知部２０から取得したＲＧＢデータを、色相（Ｈ；０〜３６０°）、彩度（Ｓ；０〜２５５）及び明度（Ｖ；０〜２５５）からなるＨＳＶデータに変換し、Ｈが０〜３０°、Ｓが８０〜２５５、Ｖが０〜２５５の範囲にあるピクセルを肌色と認識する。なお、肌色と判断するＨ、Ｓ及びＶの値は一例であって、他の値を用いることも可能である。
【００７２】
図８は、制御部５０が特定した３つの肌色領域９１〜９３の一例を示す図である。図８では、Ｓ２２において、被投影面上にユーザの右手が侵入した状態を示しているが、薬指の指輪及び腕時計が肌色でないことから、３つの肌色領域が検出された状態となっている。そこで、制御部５０は、Ｓ１２で記録した被投影面の深度データとＳ２１で取得した深度データとの差分を取り、差分が所定範囲内（例えば、１０ｍｍ以内）の画素を抽出することによって侵入物体９０の領域を検出する。次に、制御部５０は、侵入物体９０の領域の範囲内に存在する３つの肌色領域９１〜９３を同一グループと判断する（Ｓ２３）。Ｓ２２及びＳ２３の処理によって、ユーザが指輪や腕時計等の装飾品を着けていたり、何かを握っていたりしても、ユーザの手首より先の部分を良好に識別することが可能となった。
【００７３】
次に、制御部５０は、Ｓ２３でグルーピングした侵入物体に基づいて、侵入物体の被投影面への侵入位置及び指先位置を特定する（Ｓ２４）。
【００７４】
図９は、制御部５０がグルーピングした侵入物体９０の一例を示す図である。制御部５０は、被投影面の一辺４０ａから侵入物体９０が被投影面へ侵入したものと判断して、侵入位置Ｅ１及びＥ２を特定する。侵入位置Ｅ１及びＥ２は、侵入物体９０と被投影面の一辺４０ａとの接点に相当する。次に、制御部５０は、侵入位置Ｅ１及びＥ２の中点から被投影面の一辺４０ａと垂直に直線を引いた場合に、最も被投影面の一辺４０ａから離れた位置で侵入物体９０に含まれる肌色領域と接する点Ｅ３を指先位置として特定する。
【００７５】
なお、侵入位置Ｅ１及びＥ２の中点から被投影面の一辺４０ａと垂直方向であって、被投影面の一辺４０ａから最も離れた位置に存在する侵入物体９０に含まれる肌色領域を指先位置と特定するようにしても良い。上述した侵入位置に基づいた指先位置の特定方法は一例であって、侵入位置Ｅ１及びＥ２を利用した他の方法によって指先位置を特定しても良い。
【００７６】
次に、制御部５０は、侵入物体９０が情報入力操作を行っているか否かの判断を行う（Ｓ２５）。検知部２０の検知領域８０内に侵入物体が存在したとしても、単に侵入しただけであって、情報入力操作が意図されていない場合もありうる。そこで、本制御フローでは、指先位置が、被投影面上にある場合には、侵入物体９０の指先位置Ｅ３が情報入力操作を行っていると判断するものとした。指先位置が被投影面上にあるか否かは、図３のＳ１２で予め取得した被投影面の深度データと指先位置の深度データとの差が所定閾値以内（例えば、１０ｍｍ以内）であるか否かに基づいて判断するようにした。即ち、制御部５０は、指先位置Ｅ３の深度データと、指先位置Ｅ３が存在する位置座標における被投影面の深度データとの差が所定閾値以内の場合に、指先位置Ｅ３は情報入力操作を意図したものであると判断する。
【００７７】
なお、チャタリング等によって、指先位置Ｅ３の深度データが短い期間で変動する可能がある。したがって、誤検知を防止するために、所定時間（例えば、１ｓ）以上連続して、指先位置Ｅ３の深度データと、指先位置Ｅ３が存在する位置座標における被投影面の深度データとの差が所定閾値以内である場合に、情報入力があったと判断するようにしても良い。
【００７８】
Ｓ２５において、指先位置Ｅ３が情報入力操作を意図したものであると判断された場合、制御部５０は、照射装置３０へ送信した画像データ及び雲台１０へ送信した制御データに基づいて、情報入力画像７０に含まれる各入力ボタンの被投影面上の位置を特定する（Ｓ２６）。
【００７９】
次に、制御部５０は、Ｓ２４で特定した指先位置Ｅ３と、Ｓ２６で特定した各入力ボタンの被投影面上の位置に基づいて、情報入力内容を特定する（Ｓ２７）。例えば、制御部５０は、指先位置Ｅ３の座標が、図６（ａ）の再生ボタン７２の範囲内にある場合には、情報入力内容が「再生」であると特定する。また、指先位置Ｅ３の位置座標データと一致する入力ボタンが存在しない場合には、情報入力内容が存在しないと特定しても良いし、後述するような他の情報入力（情報入力画像の位置移動等）があったと判断することもできる。
【００８０】
次に、制御部５０は、Ｓ２７で特定された情報入力内容に対応した処理を実行して（Ｓ２８）、一連の処理を終了する。例えば、特定された情報入力の内容が「再生」である場合には、制御部５０は、接続されている被操作装置６０に「再生」のための信号を送信する。なお、Ｓ２５において、情報入力でないはないと判断された場合にも、一連の処理を終了する。制御部５０は、図７に示す制御フローを所定の時間毎に繰り返し実行する。
【００８１】
図７に示す制御フローが繰り返し実行されることによって、ユーザが被投影面に投影されている情報入力画像７０の所定の入力ボタン（例えば再生ボタン７２）に指先で触れることにより、リモコン等の機器を利用することなく、「再生」という情報入力を行うことが可能となった。
【００８２】
図１０〜図１２を用いて、情報入力装置１における情報入力の他の例について説明する。
【００８３】
図１０に示す例では、情報入力画像が待機位置（７０−１）にある場合に、ユーザが被投影面上を指先で触れると、情報入力画像が指先で触れた位置（７０−２）に移動して、次の情報入力が行い易くする動作を示している。即ち、情報入力装置１は、ユーザの指先を検出すると、指先を情報入力画像７０が追尾するように移動させている。
【００８４】
例えば、図７のＳ２７において、指先位置Ｅ３に対応した入力ボタンが存在しない場合には、図１０に示すような移動指示であると判断して、制御部５０は、雲台１０を制御して、情報入力画像７０を指先位置Ｅ３の近傍へ移動させるように制御する。なお、他の情報入力と区別するために、短いインターバル（例えば１Ｓ以内）で、２回以上ユーザが被投影面上を指先で触れた場合に、図１０に示すような情報入力画像の移動指示があったと、特定するようにしても良い。
【００８５】
図１１に示す例では、情報入力画像が待機位置（７０−３）にある場合に、ユーザが情報入力画面の入力ボタンが無い部分（図６（ａ）の領域７８参照）を指先で触れて情報入力画像を掴み、そのまま手前の位置（７０−４）まで移動することを示している。
【００８６】
例えば、図７のＳ２７において、指先位置Ｅ３に対応した入力ボタンが存在しないけれど、指先位置Ｅ３が情報入力画像７０の領域内の場合には、図１１に示すような移動指示であると判断する。したがって、制御部５０は、所定時間毎（例えば、１００ｍｓ毎）に指先位置Ｅ３を検出し、雲台１０を制御して、検出された指先位置Ｅ３へ情報入力画像７０を移動させるように制御する。なお、他の情報入力と区別するために、ユーザが所定時間（例えば、２ｓ）以上被投影面上を指先で触れた場合に、図１１に示すような情報入力画像の移動指示があったと、特定するようにしても良い。
【００８７】
図１２に示す例は、情報入力画像が所定の位置（７０−５）にある場合に、ユーザが情報入力画面の入力ボタンが無い部分（図６（ａ）の領域７８参照）を指先で触れて、そのまま矢印Ｆの方向にスロー動作を行った場合を示している。この場合、矢印Ｆの方向に所定距離だけ移動した位置に情報入力画像（７０−７）に移動する。
【００８８】
例えば、図７のＳ２７において、指先位置Ｅ３に対応した入力ボタンが存在しないけれど、指先位置Ｅ３が情報入力画像７０の領域内の場合で、所定時間内に異なった位置（７０−５から７０−６）に指先位置Ｅ３が特定された場合が、上記に該当する。この場合、制御部５０は、それらの位置から方向Ｆを求めて、方向Ｆの方向に所定距離だけ情報入力画面を移動させるように制御する。
【００８９】
図１３は、情報入力装置１における情報入力画面の移動制御を説明するための図である。
【００９０】
図１３（ａ）は、例えば、図１０において情報入力画面が時刻ｔ１における７０−１から時刻ｔ４において７０−２へ移動する場合の、移動速度と時間との関係を示している。図１３（ａ）の例では、制御部５０は、雲台１０のモータを、時刻ｔ１から時刻ｔ２の間は所定の加速度で加速し、その後一定の速度ｖ１で移動させ、時刻ｔ３から時刻ｔ４の間は所定の加速度で減速するように制御する。これによって、情報入力画面は、時刻ｔ４において７０−２の位置に移動する。
【００９１】
図１３（ａ）のように、移動させると、時刻ｔ２及びｔ３近傍で、加速度が大きく切り替わることから、情報入力画面がスムーズに移動したという印象が生じない。そこで、図１３（ｂ）の例では、時刻ｔ１と時刻ｔ２´の間と、時刻ｔ３´と時刻ｔ４との間で、２段階の加速度を変化させるようにして、情報入力画面がスムーズに移動したという印象をユーザに与えられるように制御している。図１３（ａ）及び図１３（ｂ）の移動の制御方法は、制御部５０による情報入力画像の投影位置の移動に利用することができる。
【００９２】
図１４は、情報入力装置１における投影画像の画像処理について説明するための図である。
【００９３】
図１４（ａ）に示すように、図１に示す例では照射装置３０の位置は固定されておりテーブル４０は平面であるので、照射装置３０の直下の投影画像（７０−８）に対して、雲台をφ方向に移動させた場合の投影画像（７０−９）及び雲台をθ及びφ方向に移動させた場合の投影画像（７０−１０）は歪んでしまう。
【００９４】
そこで、図１４（ｂ）に示す投影画像７０−９´及び７０−１０´の様に、制御部５０からの画像データを公知の画像処理手法を用いて処理し、投影する画像自体を予め変形させることによって、被投影面上のどこででもほぼ同じ投影画像を投影できるように構成することができる。
【００９５】
図１５及び図１６は、情報入力装置１における投影画像の回転処理について説明するための図である。
【００９６】
図１４（ｂ）の投影画像７０−１０´の様に、投影画像を歪ませないように処理しても、雲台１０が照射装置３０を回転させるようにして、投影画像の位置を移動させているため、投影画像は被投影面上の位置によって向きが異なってしまう。そこで、図１５の投影画像７０−１０´´のように、向きも変形させるようにすることができる。なお、向きの方向は、ユーザの指先位置が検出された方向から見て、正しい方向となるようにすることが好ましい。
【００９７】
図１６は、侵入物体の侵入方向を示した図である。図１６に示す侵入物体９０は図９に示した場合と同様である。侵入物体９０の指先位置Ｅ３はテーブル４０の一辺４０ａとの接点Ｅ１及びＥ２に基づいて特定される。したがって、指先位置Ｅ３が検出された場合には、情報入力画像は一辺４０ａ側から見て正しい方向（矢印Ｇ参照）になるように回転される。
【００９８】
侵入物体９４の指先位置Ｅ６は、テーブル４０の一辺４０ａと他辺４０ｂとの接点Ｅ４及びＥ５に基づいて特定される。したがって、指先位置Ｅ６が検出された場合には、情報入力画像は一辺４０ａと他辺４０ｂとの間の角側から見て正しい方向（矢印Ｈ参照）になるように回転される。
【００９９】
同様に、侵入物体９５の指先位置Ｅ９は、テーブル４０の一辺４０ｂとの接点Ｅ７及びＥ８に基づいて特定される。したがって、指先位置Ｅ９が検出された場合には、情報入力画像は一辺４０ｂの側から見て正しい方向（矢印Ｉ参照）になるように回転される。上記のような理由により、図１５に示す投影画像７０−１０´´は、一辺４０ｂの側から見て正しい方向となるように回転されている。
【０１００】
図１５及び図１６の例では、制御部５０が侵入物体の侵入方向を判断して、所定の方向から見て正しい方向となるように画像データを処理した。しかしながら、ユーザが好みに応じて、自分に合った向きに投影画像を回転させるような入力ボタンを設けても良い。図６（ｂ）に示す情報入力画像７０´には、回転制御用ボタン７７が配置されている。ユーザがボタン７７に指先で触れることによって、所望の方向に情報入力画像７０´自体が回転するように投影される。
【０１０１】
図１７は情報入力装置１００の外観を示す斜視図であり、図１８は情報入力装置１００の構成を示すブロック概略図である。
【０１０２】
情報入力装置１００は、パンティルト架台１１０、検知部１２０、レーザプロジェクタ１３０、制御部１５０等を含んで構成されており、少なくとも床１４１、天井１４２及び壁１４３を有する空間１４０に配置されている。空間１４０は、完全に閉じられた空間であっても、開放的な空間であっても良い。図１７において、壁１４３には、被操作装置１６０の一例として、ビデオ機能付き壁掛け型の液晶ＴＶが配置されている。
【０１０３】
パンティルト架台１１０は、天井１４２に固定されており、基部１１１、第１モータ１１５によってθ方向に回転する第１回転部１１２及び第２モータ１１６によってψ方向に回転する第２回転部１１３等を含んで構成されている。
【０１０４】
検知部１２０は、天井１４２に固定されており、ＲＧＢカラー映像識別用カメラ１２１、赤外線カメラ１２２及び赤外線照射光発光部１２３等を含んで構成されている。ＲＧＢカラー映像識別用カメラ１２１は、空間１４０内の画像を撮像し、撮像した画像のピクセル毎の位置座標（ｘ、ｙ）データ及びＲＧＢデータを出力する。赤外線カメラ１２２は、赤外線照射光発光部１２３から照射された赤外線が空間１４０内に存在する物体及び空間１４０を構成する部材（床、壁等）から反射する反射光を受光する。さらに、赤外線カメラ１２２は、撮像した画像のピクセル毎の位置座標（ｘ、ｙ）データ及び深度データ（ｒ：赤外線カメラ１２２とピクセルとの間の距離に対応したデータ）を出力する。なお、ＲＧＢカラー映像識別用カメラ１２１と赤外線カメラ１２２は検知範囲及び同じ解像度を有しているものとする。
【０１０５】
レーザプロジェクタ１３０は、ＲＧＢ各色光発光レーザからの光を光ファイバで超小型の出射部１３１に導くように構成したものであって、レーザプロジェクタ１３０の出射部１３１はパンティルト架台１１０の第２回転部１１３に取り付けられている。レーザプロジェクタ１３０は、制御部１５０から受信した画像データに応じて、情報入力画像１７０を被投影面である手のひらの上に投影する。出射部１３１は小型且つ軽量に構成することができるので、大掛かりな駆動架台を用いずに、素早く投影画像を移動できる。また、レーザプロジェクタ１３０では、レーザ光を利用して画像を投影するため、被投影面とレーザプロジェクタ１３０の出射部１３１との間の距離に拘わらず良好な画像を被投影面上に結像することができるという特性（フォーカスフリー特性）を有している。なお、所定の情報入力画像を投影することが可能であれば、ＲＧＢ各色光発光レーザを用いたプロジェクタ以外の投影装置を利用することもできる。
【０１０６】
出射部１３１は、ＳＬＭ（Spatial Light Modulator：空間光位相変調器）としてＬＣＯＳ（Liquid Crystal on Silicon）を用いたものを利用している。なお、ＭＥＭＳ（Micro Electro Mechanical System）ミラーを用いたスポット走査型の出射部、又はファイバ走査型の出射部とすることで、出射部１３１の一層の小型化を実現することもできる。
【０１０７】
図１７の例では、ユーザの左手１８０（後述する侵入物体に対応）の手のひらを被投影面としているが、ある程度平面であって、認識可能なユーザの身体の他の部分を披投影面とすることもできる。
【０１０８】
制御部１５０は、ＣＰＵ１５１、ＲＡＭ１５２、ＲＯＭ１５３、及び、パンティルト架台１１０、検知部１２０、レーザプロジェクタ１３０及び披操作装置１６０との間でデータの送受信を行うためのＩ/Ｏ１５４等から構成される。制御部１５０は、レーザプロジェクタ１３０がユーザの左手１８０の手のひら上に投影した情報入力画像１７０がユーザの右手１９０の指先でタッチされたことを判断して、入力された情報入力データを被操作装置１６０へ出力する等の処理を実行する。
【０１０９】
制御部１５０は、ユーザの左手１８０の手のひらを検出すると、制御データに基づいて第１モータ１５及び第２モータ１６を制御して、情報入力画像１７０をユーザの左手１８０の手のひら上に投影することができるように構成されている。なお、制御部１５０は、ＨＤ等の他の記録媒体を有していても良い。制御部１５０が、第１モータ１１５を制御して第１回転部１１２をθ方向に回転させると、情報入力画像１７０が矢印Ａの方向に移動する。制御部１５０が、第２モータ１１６を制御して第２回転部１１３をψ方向に回転させると、情報入力画像１７０が矢印Ｂの方向に移動する。即ち、制御部１５０は、被検出対象であるユーザの手のひらの位置を追尾して入力用画像である情報入力画像１７０の投影位置を変化させ、且つ前記検知部１２０からのデータに基づいて情報入力画像１７０への情報入力を検出する情報検出部として機能している。
【０１１０】
被操作装置１６０は、エアコン、ネットワークへのアクセス装置、ＰＣ、テレビ、ラジオ、ＣＤ、ＤＶＤ又はＢＤ等の各種記録媒体の記録再生装置等であってよく、情報入力データに基づいて各種の処理を実行するものである。図１７の例では、前述したように、ビデオ機能付き壁掛け型の液晶ＴＶを被操作装置１６０としている。即ち、情報入力装置１００は、空間１４０内で利用することができる様々な機器のユーザインタフェイス（ＵＩ）又はバーチャルコントローラとしての機能を有している。
【０１１１】
図１９は、初期設定のための制御フローの一例を示す図である。
【０１１２】
図１９に示す制御フローは、制御部１５０のＲＯＭ１５３に予め記憶されたプログラムに従って、制御部１５０のＣＰＵ１５１が、パンティルト架台１１０、検知部１２０及びレーザプロジェクタ１３０を制御して実行するものである。
【０１１３】
制御部１５０に、不図示のディスプレイ及び操作部（キーボード及びマウス）をＩ/О１５４を介して取り付け、検知部１２０からのＲＧＢデータに基づく映像をディスプレイ上に表示させ、ユーザが操作部を利用して空間１４０内の基準位置を指定する（Ｓ３０）。指定された基準位置を示す位置座標（ｘ、ｙ）データは、ＲＡＭ１５２等に記録される。
【０１１４】
図２０は、ディスプレイ上に表示した検知部１２０からのＲＧＢデータに基づく映像の一例を示す図である。例えば、図２０のＬ１〜Ｌ４の４点を指定することによって、空間１４０の床１４３の領域を指定することができる。なお、基準位置は、床１４３の四隅に限定されず、他の箇所を基準位置としても良い。
【０１１５】
次に、制御部１５０は、検知部１２０からの深度データを取得し（Ｓ３１）、基準位置として指定された領域（以下、「基準領域」という）に含まれるピクセル毎の深度データをＲＡＭ１５２へ記録する（Ｓ３２）。
【０１１６】
図２１は、基準領域の深度データを説明するための図である。図２１に示すように、検知部１２０の直下にある床１４３上の点Ｍ１と検知部１２０から離れた位置にある床１４３上の点Ｍ２又はＭ３では、同じ床１４３上でありながら、検知部１２０からの深度データに差が出てしまう。そこで、基準領域（例えば、床１４３）の全てのピクセルについて、位置座標データ及び深度データを予め取得して記録するようにしたものである。
【０１１７】
次に、制御部１５０は、レーザプロジェクタ１３０に所定の画像データを送信して基準投影画像１７１を基準領域に投射させ、パンティルト架台１１０に所定の制御データを送信してパンティルト架台１１０を制御して基準投影画像１７１を移動させる（Ｓ３３）。基準投影画像１７１は、図２０に示すように、円形の枠内に表示された５つの黒点である。なお、図２０に示す基準投影画像１７１は、一例であって、他の画像を利用することもできる。また、図２０における基準投影画像１７１−１は、パンティルト架台１１０の直下であって、本例における基準位置に投影されたものである。なお、パンティルト架台１１０と披投影面との位置関係及び投影画像の基準位置等は、状況に応じて適宜定めることが可能である。
【０１１８】
次に、制御部１５０は、検知部１２０からの位置座標データ及びＲＧＢデータを取得する（Ｓ３４）。次に、制御部１５０は、５つの黒点を利用して、基準投影画像１７１の位置を特定し、パンティルト架台１１０へ送信した制御データと、特定された基準投影画像１７１の位置座標データとの関係をＲＡＭ１５２上に構成されたデータテーブルに記録する（Ｓ３５）。
【０１１９】
制御部１５０は、上述したＳ３３〜３５を、所定の間隔毎に基準投影画像を移動させながら、基準領域上の全てをカバーするように繰り返し行う（Ｓ３６）。図２０においては、基準投影画像１７１−２〜１７１−１０を示したが、上記は一例であって、位置を特定するために基準投影画像を移動させる１回の移動量等は適宜定めることができる。
【０１２０】
制御部１５０は、Ｓ３３〜Ｓ３５を所定回数繰り返すことによって、基準位置として指定された領域（例えば、床１４３）の全領域について、投影画像の位置座標（ｘ、ｙ）データ及び深度データ（ｒ）と制御データとの対応関係を表すデータテーブルを完成させる（Ｓ３７）。制御部１５０は、後述する方式で手のひら領域２００を認識した場合、その位置データ（ｘ、ｙ）と深度データ（ｒ）から、空間１４０の空間座標（ｘ、ｙ、ｚ）を割り出し、データテーブルを利用して、手のひら位置に投影画像が投影されるように、パンティルト架台１１０を制御する。
【０１２１】
図２２は、レーザプロジェクタ１３０が投影する情報入力画像の例を示す図である。図２２に示す情報入力画像１７０には、ビデオの再生ボタン１７２、早送りボタン１７３、巻き戻しボタン１７４、チャンネルアップボタン１７５及びチャンネルダウンボタン１７６が含まれている。それぞれ点線で囲まれた領域に、後述するように指先位置がある場合に、各ボタンに対応した情報入力がなされたと判断される。なお、図２２に示す情報入力画像は一例であって、レーザプロジェクタ１３０は、制御部１５０からの画像データに基づいて、様々な種類の情報入力画像を投影することが可能である。
【０１２２】
制御部１５０は、レーザプロジェクタ１３０へ送信する画像データに基づいて、情報入力画像に含まれる入力ボタンの種類及び情報入力画像内の配置位置を判断することができる。さらに、制御部１５０は、パンティルト架台１１０へ送信した制御データ及び図１９のＳ３７で作成したデータテーブルに基づいて、情報入力画像の手のひら領域２００上の位置を特定することができる。したがって、制御部は、レーザプロジェクタ１３０へ送信する画像データ及びパンティルト架台１１０へ送信した制御データに基づいて、各入力ボタンの位置も特定することができる。
【０１２３】
図２３は、手のひらの検知フローの一例を示す図である。
【０１２４】
図２３に示す制御フローは、制御部１５０のＲＯＭ１５３に予め記憶されたプログラムに従って、制御部１５０のＣＰＵ１５１が、パンティルト架台１１０、検知部１２０及びレーザプロジェクタ１３０を制御して実行するものである。
【０１２５】
最初に、制御部１５０は、検知部１２０からＲＧＢデータ及び深度データを取得する（Ｓ４０）。
【０１２６】
次に、制御部１５０は、Ｓ４０で取得したＲＧＢデータに基づいて、肌色を有するピクセルが存在する領域を特定する（Ｓ４１）。次に、制御部１５０は、Ｓ４０で取得した深度データに基づいて肌色を有するピクセルが存在する領域の内、ほぼ同じ深度データを有する肌色領域をグルーピングする（Ｓ４２）。制御部１５０は、検知部１２０から取得したＲＧＢデータを、色相（Ｈ；０〜３６０°）、彩度（Ｓ；０〜２５５）及び明度（Ｖ；０〜２５５）からなるＨＳＶデータに変換し、Ｈが０〜３０°、Ｓが８０〜２５５、Ｖが０〜２５５の範囲にあるピクセルを肌色と認識する。なお、肌色と判断するＨ、Ｓ及びＶの値は一例であって、他の値を用いることも可能である。
【０１２７】
図２４（ａ）は、制御部１５０が特定した３つの肌色領域１８１〜１８３の一例を示す図である。図２４（ａ）では、薬指の指輪（１８４の領域）及び腕時計（１８５の領域）が肌色でないことから、３つの肌色領域が検出された状態となっている。そこで、制御部１５０は、Ｓ３２で記録した基準領域（床１４３）の深度データとＳ４０で取得した深度データとの差分を取り、差分が一定の範囲内（例えば、１０ｍｍ以内）の画素を抽出することによって侵入物体１８０の領域を検出する。次に、制御部１５０は、侵入物体１８０の領域の範囲内に存在する３つの肌色領域１８１〜１８３を同一グループと判断する（Ｓ４２）。Ｓ４１及びＳ４２の処理によって、ユーザが指輪や腕時計等の装飾品を着けていたり、何かを握っていたりしても、ユーザの手首より先の部分を良好に識別することが可能となった。
【０１２８】
次に、制御部１５０は、Ｓ４２で識別した侵入物体１８０が、手首より先の部分（対象部位）であるか否かを予めＲＯＭ１５３等に記憶されているパターンと比較することによって、対象部位か否かの判断を行う（Ｓ４３）。ユーザが座っているような場合には、肌色領域を含む侵入物体が複数識別される可能性があるが（足、顔、肩等）、パターン認識を行うことによって、手首より先の部分（対象部位）を識別することが可能となる。なお、図２４の例では、ユーザの左手首より先の部分についての識別を行った場合を示しているが、右手首より先の部分についての識別についても同様に行うことができる。
【０１２９】
侵入物体が対象部位であった場合、制御部１５０は、侵入物体１８０から手のひら領域２００を検出し、手のひら領域の深度データを取得して（Ｓ４４）、ＲＡＭ１５２等に記録する。
【０１３０】
図２４（ｂ）は、対象部位と識別された侵入物体１８０の外形を示す図である。制御部１５０は、指の先端位置Ｎ１と、手首位置Ｎ２及びＮ３の中点Ｎ４とを結ぶ直線Ｎ５を引き、直線Ｎ５上で、指の先端位置Ｎ１と中点Ｎ４との間距離の１／４の距離にある中心点Ｎ６を中心とし、半径がＮ６とＮ５間の距離となる円形領域を手のひら領域２００とする。なお、手のひら領域２００を決定する方式は、上記の方法に限定されず、他の方式を採用することも可能である。
【０１３１】
次に、制御部１５０は、手のひら領域２００の中心点Ｎ６の位置データ（ｘ、ｙ）と深度データ（ｒ）から、中心点Ｎ６の空間１４０における空間座標（ｘ、ｙ、ｚ）を割り出す。次に、制御部１５０は、図１９のＳ３７で作成したデータテーブルを利用して、手のひら領域２００内に位置に情報入力画像が投影されるように、パンティルト架台１１０を制御して（Ｓ４５）、一連の動作を終了する。なお、制御部１５０は、図２３に示すフローを対象部位（手首より先の部分）が認識されるまで、所定時間（例えば、１秒）間隔で実行する。
【０１３２】
図２４（ｃ）は、検出された手のひら領域２００に、図２２（ａ）に示す情報入力画像１７０が投影された状態を示している。なお、投影画像の大きさは、プロジェクタ３０と手のひら領域２００との距離によって決まるので、同じ大きさの画像を投影した場合には、常に手のひら領域２００内に、情報入力画像１７０が収まらない可能性がある。そこで、本実施例では、中心点Ｎ６の深度データに基づいて、投影画像自体の拡大/縮小を行い、丁度手のひら領域２００内に、情報入力画像１７０が収まるように制御している。即ち、情報入力装置１００は、ユーザの手のひらを検出すると、ユーザの手のひらを追尾するように、情報入力画像１７０を移動させている。
【０１３３】
図２５は、情報入力の制御フローの一例を示す図である。
【０１３４】
図２５に示す制御フローは、制御部１５０のＲＯＭ１５３に予め記憶されたプログラムに従って、制御部１５０のＣＰＵ１５１が、パンティルト架台１１０、検知部１２０及びレーザプロジェクタ１３０を制御して実行するものである。
【０１３５】
最初に、制御部１５０は、対象部位が認識された否かの判断（図２３のＳ４３）を行い（Ｓ５０）、対象部位が認識された場合にのみ、以下のステップに進む。
【０１３６】
対象部位が認識された場合、制御部１５０は、レーザプロジェクタ１３０へ送信された画像データ及びパンティルト架台１１０へ送信した制御データを取得する（Ｓ５１）。次に、制御部１５０は、検知部１２０からＲＧＢデータ及び深度データを取得する（Ｓ５２）。なお、Ｓ５１とＳ５２の順番は逆であっても良い。
【０１３７】
次に、制御部１５０は、Ｓ５２で取得したＲＧＢデータに基づいて、図２３のＳ５３で検出された侵入物体１８０に含まれる肌色領域以外で、肌色を有するピクセルが存在する他の領域を特定する（Ｓ５３）。次に、制御部１５０は、Ｓ５２で取得した深度データに基づいて肌色を有するピクセルが存在する他の領域の内、ほぼ同じ深度データを有する肌色領域をグルーピングする（Ｓ５４）。なお、肌色か否かを認識する方法については、図２３のＳ５１と同様であるので、その説明を省略する。
【０１３８】
次に、制御部１５０は、Ｓ５４でグルーピングした他の侵入物体に基づいて、他の侵入物体の手のひら領域２００への侵入位置及び指先位置を特定する（Ｓ５５）。なお、Ｓ５４でグルーピングされた他の侵入物体が複数存在する可能性もあるが、制御部１５０は、手のひら領域２００の範囲内の位置座標（ｘ、ｙ）を有するもののみを他の侵入物体として認識する。
【０１３９】
図２６は、制御部１５０が、図２３のＳ５３で特定された侵入物体１８０と、図２５のＳ５４においてグルーピングされた他の侵入物体１９０の一例を示す図である。制御部１５０は、手のひら領域２００に侵入した他の侵入物体１９０の侵入位置Ｏ１及びＯ２を特定する。次に、制御部１５０は、侵入位置Ｏ１及びＯ２の中点Ｏ３を特定し、侵入位置Ｏ１及びＯ２の中点Ｏ３から伸ばした垂線Ｏ４上において、中点Ｏ３から最も離れた位置で、侵入物体１９０に含まれる肌色領域と接する点Ｏ５を指先位置として特定する。
【０１４０】
なお、侵入位置Ｏ１及びＯ２の中点Ｏ３から最も離れた位置に存在する侵入物体１９０に含まれる肌色領域を指先位置と特定するようにしても良い。上述した侵入位置に基づいた指先位置の特定方法は一例であって、他の方法によって指先位置を特定しても良い。
【０１４１】
次に、制御部１５０は、侵入物体１９０が情報入力操作を行っているか否かの判断を行う（Ｓ５６）。手のひら領域２００内に侵入物体１９０が存在したとしても、単に侵入しただけであって、情報入力操作が意図されていない場合もありうる。そこで、本制御フローでは、指先位置が、手のひら領域２００上にある場合には、侵入物体１９０の指先位置Ｏ５が情報入力操作を行っていると判断するものとした。指先位置が手のひら領域２００上にあるか否かは、図２３のＳ５４で記録した手のひら領域２００の深度データと指先位置Ｏ５の深度データとの差が所定閾値以内（例えば、１０ｍｍ以内）であるか否かに基づいて判断するようにした。
【０１４２】
なお、チャタリング等によって、指先位置Ｏ５の深度データが短い期間で変動する可能がある。したがって、誤検知を防止するために、所定時間（例えば、１ｓ）以上連続して、指先位置Ｏ５の深度データと、手のひら領域２００の深度データとの差が所定閾値以内である場合に、情報入力があったと判断するようにしても良い。
【０１４３】
Ｓ５６において、指先位置Ｆ５が情報入力操作を意図したものであると判断された場合、制御部１５０は、レーザプロジェクタ１３０へ送信した画像データ及びパンティルト架台１１０へ送信した制御データに基づいて、情報入力画像１７０に含まれる各入力ボタンの手のひら領域２００中の位置を特定する（Ｓ５７）。
【０１４４】
次に、制御部１５０は、Ｓ５５で特定した指先位置Ｏ５と、Ｓ５７で特定した各入力ボタンの手のひら領域２００内での位置に基づいて、情報入力内容を特定する（Ｓ５８）。例えば、制御部１５０は、指先位置Ｏ５の座標が、図２２の再生ボタン１７２の範囲内にある場合には、情報入力内容が「再生」であると特定する。また、指先位置Ｏ５と一致する入力ボタンが存在しない場合には、情報入力内容が存在しないと特定しても良い。
【０１４５】
次に、制御部１５０は、Ｓ５８で特定された情報入力内容に対応した処理を実行して（Ｓ５９）、一連の処理を終了する。例えば、特定された情報入力の内容が「再生」である場合には、制御部１５０は、接続されている被操作装置１６０に「再生」のための信号を送信する。なお、Ｓ５６において、情報入力でないはないと判断された場合にも、一連の処理を終了する。
【０１４６】
図２５に示す制御フローは、図２３に示す処理フローに従って対象部位が認識された場合に実行される。したがって、ユーザが手のひら領域２００に投影されている情報入力画像１７０の所定の入力ボタン（例えば再生ボタン７２）に指先で触れることにより、リモコン等の機器を利用することなく、「再生」という情報入力を行うことが可能となった。
【０１４７】
図２３に示す制御フローでは、対象部位であるか否かの判断を行い（Ｓ４３）、対象部位から手のひら領域２００を検出して、手のひら領域２００に、情報入力画像を投影するように制御している（Ｓ４５）。ここで、制御部１５０は、更に一旦検出した対象部位が移動した場合に（例えば、ユーザが部屋を移動した場合に）、対象部位を追尾して、手のひら領域２００に常に情報入力画像が投影されるように追尾機能を有することが好ましい。
【０１４８】
図２５に示す制御フローでは、Ｓ５０において対象部位が検出された場合には全て、その後のステップに進むようにした。しかしながら、所定の認証を行い、登録されたユーザであることが認証された場合にのみ、その後の情報入力が行われたか否かの判断を行うようにしても良い。認証の方法としては、手のひら領域を検出するために侵入物体１８０として認識された対象部位に含まれる指の指紋認証、手のひらの皺、血管の配置等によるものが考えられる。
【０１４９】
情報制御装置１００は、情報入力を行う機能のみを有しているが、超指向性スピーカを含み、手のひら領域２００が検出されている空間座標付近でのみ、ユーザに音が聞こえるように構成することも可能である。
【０１５０】
図２７は、情報入力装置３００の構成を示すブロック概略図である。
【０１５１】
情報入力装置３００は、図１に示した情報入力装置１及び図１７に示した情報入力装置１００の代わりに利用することが可能である。情報入力装置３００において、情報入力装置１及び情報入力装置１００と異なる点は、検知部３２０のみであって、他の構成は同じであるので、その説明を省略する。
【０１５２】
検知部３２０は、不図示の架台上に固定されており、赤外線カメラ３２２及び赤外線照射光発光部３２３等を含んで構成されている。赤外線カメラ３２２は、赤外線照射光発光部３２３から照射された赤外線が識別領域８０（図１参照）内に存在する物体から反射する反射光を受光し、撮像した画像のピクセル毎の位置座標データを出力する。
【０１５３】
図１に示す情報入力装置１が有する検知部２０では、ＲＧＢカラー映像識別用カメラ２１及び赤外線カメラ２２を有し、撮像した画像のピクセル毎の位置座標データ及び深度データを出力した。しかしながら、情報入力装置３００では、赤外線によって撮像した画像のピクセル毎の位置座標データのみを出力している。これは、赤外線によって撮像した画像のみを利用しても、ユーザの手のひらや指先を認識することが可能であるからである。なお、情報入力装置３００では、深度データを利用していないことから、被投影面（テーブル４０の上面；図１参照）にユーザの指先が触れているか否かを正確に把握できない場合も存在するが、簡易的に判断を行う場合には、問題なく適用できる。
【０１５４】
図２８は、図１に示す情報入力装置１を利用した他の情報入力方法を説明するための図である。
【０１５５】
図１に示す情報入力装置１において、前述した図１０に示す例では、ユーザの指先を検知して、検知した指先を情報入力画像７０が追尾するように制御された。図２７に示す例では、情報入力画像７０を略正方形の形状として、書籍の一部を照らす照明として利用する場合を示している。
【０１５６】
ユーザは、最初に、書籍４００の照らしたい箇所を指先で示す（Ｐ１参照）。すると、情報入力装置１の制御部５０は、前述した方法でユーザの指先（Ｐ１参照）を検知して、その箇所に略正方形の画像４０１を照射するように雲台１０及び照射装置３０を制御する。照明を主目的とする場合、画像４０１は、略正方形の単なる白色画像である。
【０１５７】
なお、書籍４００の大きさ等に応じて、照射すべき箇所の大きさは異なるので、指先を被投影面（テーブル４０の上面）で移動させることによって（Ｐ２及びＰ３参照）、画像４０１の大きさを変更できるようにすることが好ましい。即ち、被投影面が、画像４０１の大きさを変更するための操作入力スケールとして機能している。
【０１５８】
また、識別領域８０内で、ユーザが書籍４００を移動させた場合には、検知部２０が書籍４００の移動を検知して、移動した書籍４００´を追尾するように、雲台１０及び照射装置３０を制御することによって、画像４０１を移動させることが好ましい（画像４０１´参照）。即ち、情報入力装置１の制御部５０は、書籍４００の形状を認識して、ユーザの指先ではなく、書籍４００を追尾するように画像４０１を移動させている。なお、移動した書籍４００の識別領域８０内における位置によっては、単に照射装置３０を移動すると、画像４０１´の形状や向きが、ユーザが希望する書籍の箇所に適合しない場合が生じる。そのような場合には、図１４及び図１５において説明したように、画像４０１´の形状や向きを自動的に調整するように制御することが好ましい。
【０１５９】
図２９は、図１に示す雲台１０及び照射装置３０の構成例を示す図である。なお、図２９に示した雲台１０及び照射装置３０は一例であって、これらに限定されるものではない。
【０１６０】
雲台１０は、照射装置３０のプロジェクションヘッド３１を固定したチルト用の第２回転部１３、第２回転部１３を保持したパン用の第１回転部１２、第１回転部１２を保持する基部１１等を有している。
【０１６１】
第２回転部１３は、第２モータ１６に付属された第１ギア１３−１及び第１ギア１３−１と噛み合わされた第２ギア１３−２等の稼動部材によってφ方向に回転自在に照射装置３０のプロジェクションヘッド３１を保持している。また、第１回転部１２は、第１モータ１５によって回転台１２−１を移動させ、θ方向に回転自在に第２回転部１３を保持している。
【０１６２】
照射装置３０は、ＲＧＢレーザ光用ファイバを固定するファイバピグテイルモジュール３４、ＲＧＢレーザ光用ファイバからの光を合成するＲＧＢファイバコンバイナ３３、可視シングルモードファイバ３２、及びプロジェクションヘッド３１等から構成されている。可視シングルモードファイバ３２は、ＲＧＢファイバコンバイナ３３で合成された光を、第２回転部１３に保持されたプロジェクションヘッド３１へ導く機能を有している。ファイバピグテイルモジュール３４は、不図示のＲＧＢレーザ光発生装置と接続されている。
【０１６３】
図３０は、図２９に示すプロジェクションヘッド３１の一例を示す図である。
【０１６４】
プロジェクションヘッド３１は、可視シングルモードファイバ３２からの光を照射する照射光学系３１−１、偏光ビームスプリッタ３１−３、投射光学系３１−４、拡散板３１−５、マイクロディスプレイ３１−６等から構成される。プロジェクションヘッド３１は、マイクロディスプレイ３１−６に表示された映像を、可視シングルモードファイバ３２からのレーザ光を利用して投射光学系３１−４から投射する機能を有している。
【０１６５】
図３１は、図２９に示すプロジェクションヘッド３１の他の例を示す図である。
【０１６６】
図３１に示す他のプロジェクションヘッド３１´は、可視シングルモードファイバ３２からの光を照射する照射光学系３１−７、２軸走査ＭＥＭＳ(micro electro mechanical system)ミラー３１−８、投射光学系３１−８等から構成される。
【０１６７】
図３２は、図２９に示すプロジェクションヘッド３１の更に他の例を示す図である。
【０１６８】
図３２に示す更に他のプロジェクションヘッド３１´´は、可視シングルモードファイバ３２からの光を照射する照射光学系３１−９、水平走査用第１ＭＥＭＳミラー３１−１０、垂直走査用第２ＭＥＭＳミラー３１−１１、投射光学系３１−１２等から構成される。
【図１】
2012173001.tif 000003
【図２】
2012173001.tif 000004
【図３】
2012173001.tif 000005
【図４】
2012173001.tif 000006
【図５】
2012173001.tif 000007
【図６（ａ）】
2012173001.tif 000008
【図６（ｂ）】
2012173001.tif 000009
【図７】
2012173001.tif 000010
【図８】
2012173001.tif 000011
【図９】
2012173001.tif 000012
【図１０】
2012173001.tif 000013
【図１１】
2012173001.tif 000014
【図１２】
2012173001.tif 000015
【図１３（ａ）】
2012173001.tif 000016
【図１３（ｂ）】
2012173001.tif 000017
【図１４（ａ）】
2012173001.tif 000018
【図１４（ｂ）】
2012173001.tif 000019
【図１５】
2012173001.tif 000020
【図１６】
2012173001.tif 000021
【図１７】
2012173001.tif 000022
【図１８】
2012173001.tif 000023
【図１９】
2012173001.tif 000024
【図２０】
2012173001.tif 000025
【図２１】
2012173001.tif 000026
【図２２】
2012173001.tif 000027
【図２３】
2012173001.tif 000028
【図２４（ａ）】
2012173001.tif 000029
【図２４（ｂ）】
2012173001.tif 000030
【図２４（ｃ）】
2012173001.tif 000031
【図２５】
2012173001.tif 000032
【図２６】
2012173001.tif 000033
【図２７】
2012173001.tif 000034
【図２８】
2012173001.tif 000035
【図２９】
2012173001.tif 000036
【図３０】
2012173001.tif 000037
【図３１】
2012173001.tif 000038
【図３２】
2012173001.tif 000039
【手続補正書】
【提出日】平成24年10月4日(2012.10.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力用画像を投影するためのレーザ光出射部を有する投影部と、
前記投影部を移動させて、前記入力用画像の投影位置を変更するための投影位置変更部と、
第１被検出対象及び第２被検出対象の位置を検出する検出センサと、
前記検出センサにより検出した第１被検出対象の位置を追尾して、前記投影位置変更部が前記投影部を移動させることによって前記入力用画像の投影位置を変化させ、且つ、前記検出センサからのデータに基づいて、前記第２被検出対象による前記入力用画像への情報入力を検出する情報検出部と、
を有することを特徴とする情報入力装置。
【請求項２】
前記検知センサは、赤外線センサを有する、請求項１に記載の情報入力装置。
【請求項３】
前記検知センサは、色検知センサを有する、請求項２に記載の情報入力装置。
【請求項４】
前記情報検出部は、前記投影位置変更部を制御して第１被検出対象に前記入力用画像が投影されるように制御する、請求項１〜３の何れか一項に記載の情報入力装置。
【請求項５】
前記情報検出部は、前記検知センサからのデータに基づいて、前記入力用画像上における第２被検出対象の位置を特定することによって、前記入力用画像への情報入力を検出する、請求項１に記載の情報入力装置。
【請求項６】
前記投影部は、前記レーザ光出射部及びＭＥＭＳミラーを用いてビームを出射する、請求項１〜５の何れか一項に記載の情報入力装置。
【請求項７】
前記投影部は、前記レーザ光出射部を用いマイクロディスプレイ方式でビームを出射する、請求項１〜５の何れか一項に記載の情報入力装置。
【請求項８】
前記投影位置変更部は、前記投影部のパン動作を行うための第１回転軸と、前記投影部のチルト動作を行うための第２回転軸を有する、請求項１〜７の何れか一項に記載の情報入力装置。
【国際調査報告】
2012173001.tif 000040
2012173001.tif 000041