(57)【要約】【課題】  画像処理による情報入力装置では、常時入力ために画像取得を行っているために、消費電力が低減できないという問題があった。【解決手段】  取得された画像に基づいて、画像取得手段の動作特性を変更することで、物体が動いていないとき、つまり、ユーザが入力をしていないとき、取得タイミングなどを低減し、消費電力の低減をはかる。また、画像が取得できるまで、取得の距離を長くするなどの取得条件を変更し、複数の使い方が異なるユーザでも、設定をいちいち行うことなく使用ができるようにする。【選択図】      図６
2005100436.tif 000002
【特許請求の範囲】
【請求項１】
パルス信号もしくは変調信号を生成するタイミング信号生成手段と、
このタイミング信号生成手段からの信号に基づいて強度変化する光を発する発光手段と、
このタイミング信号生成手段からの信号と同期して、前記発光手段から発された光の物体による反射光を抽出する反射光抽出手段と、
この反射光抽出手段によって抽出された反射光から物体の反射光画像を生成する反射光画像生成手段と、
この反射光画像生成手段によって生成された反射光画像が所定の大きさで得られるまで、前記タイミング信号生成手段の生成する信号の周期を変化させる手段を有することを特徴とする情報入力装置。
【請求項２】
パルス信号もしくは変調信号を生成するタイミング信号生成手段と、
このタイミング信号生成手段からの信号に基づいて強度変化する光を発する発光手段と、
このタイミング信号生成手段からの信号と同期して、前記発光手段から発された光の物体による反射光を抽出する反射光抽出手段と、
この反射光抽出手段によって抽出された反射光から物体の反射光画像を生成する反射光画像生成手段と、
この反射光画像生成手段によって生成された反射光画像が所定の大きさで得られるまで、前記発光手段における発光強度を変化させる手段を有することを特徴とする情報入力装置。
【請求項３】
生成されたタイミング信号に基づいて強度変化する光を発光し、
このタイミング信号と同期して、発光された光の物体による反射光を抽出し、
この抽出された反射光から物体の反射光画像を生成し、
この生成された反射光画像が所定の大きさで得られるまで、前記タイミング信号の周期を変化させることを特徴とする情報入力方法。
【請求項４】
生成されたタイミング信号に基づいて強度変化する光を発光し、
このタイミング信号と同期して、発光された光の物体による反射光を抽出し、
この抽出された反射光から物体の反射光画像を生成し、
この生成された反射光画像が所定の大きさで得られるまで、発光すべき光の強度を変化させることを特徴とする情報入力方法。
【請求項５】
物体による反射光画像を抽出するためのプログラムをコンピュータで実行可能なように記録した記録媒体であって、
生成されたタイミング信号に基づいて強度変化する光を発光し、
このタイミング信号と同期して、発光された光の物体による反射光を抽出し、
この抽出された反射光から物体の反射光画像を生成し、
この生成された反射光画像が所定の大きさで得られるまで、前記タイミング信号の周期を変化させるプログラムをコンピュータで実行可能なように記録した記録媒体。
【請求項６】
物体による反射光画像を抽出するためのプログラムをコンピュータで実行可能なように記録した記録媒体であって、
生成されたタイミング信号に基づいて強度変化する光を発光し、
このタイミング信号と同期して、発光された光の物体による反射光を抽出し、
この抽出された反射光から物体の反射光画像を生成し、
この生成された反射光画像が所定の大きさで得られるまで、発光すべき光の強度を変化させるプログラムをコンピュータで実行可能なように記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はユーザの身振りや手振りを入力する情報入力装置および情報入力方法および記録媒体に関する。
【背景技術】
【０００２】
コンピュータへの入力デバイスとしては、マウスが圧倒的に使われている。マウスを使ってできることは、カーソルの移動と、メニューの選択などの２次元のポインティングデバイスとしての役目である。
【０００３】
実際の操作も、メニューを選択するには、マウスのボタンを２回押す（ダブルクリック）のような、ある取り決めに従ったものであり、直感的な操作ではない。このため、高齢者では、ダブルクリックができないなど、直感的操作でない故に生じている問題がある。
【０００４】
このような問題点を解決するために、直感的な操作、例えば、手を右に動かすと、画面中のカーソルも右に動くというような操作を実現する研究もなされている。その一つが画像処理による手振りなどのジェスチャ認識である。
【０００５】
例えば、ビデオ映像などの動画像を解析して、手の形を認識するような研究がなされている。色を使って切り出す場合、手の色は肌色であるので、肌色の手段分のみを切り出すような方式が考えられる。が、背景にベージュ色の洋服や、壁があったりすると、肌色を識別することが難しい。また、調整を行って、ベージュと肌色を区別できるようにしても、照明が変われば、色調が変化してしまうために、定常的に切り出すことは困難である。
【０００６】
あるいは、フレーム間の動きベクトルを算出し、動いている物体を解析する方式もある。この場合、動いている物体が少ない内は問題ないが、動いている物体が多いと、動きベクトルの数が急に増え、フレーム間で動きベクトルを算出の負荷が増し、算出が追いつかなくなる。
【０００７】
このように、従来のビデオカメラなどの撮像手段により画像を取得して解析する方法では、解析の流れ、解析すべき情報が固定的であるため、対象となる画像が外部の条件に応じて刻々に変化してしまったときに、特定の処理部に負荷がかかり、解析が追随できなくなるという問題が生じていた。
【０００８】
このような問題を解決するための一つの方法は、負荷が増えてもリアルタイム（例えば、秒３０枚の処理）に対応できるように、高性能の計算機や高速の伝送系を用いるなどの工夫が行われている。が、この方法では、外部条件が大きく変動しない場合には、高性能計算機や、高速伝送系はその能力を駆使できず、コストパフォーマンスが大変悪い。
【０００９】
このような問題点を補うために、例えば、特許文献１に示されているように、発光手段と同期して、物体の反射光を取得することにより、背景からの画像切り出しを容易に行い、人間の手の動きなどを抽出し、手振り、身振りによる情報入力を行える情報入力装置が開発されている。
【００１０】
このような情報入力装置を用いて、例えば、家庭などで遠隔から、ＴＶやオーディオ、照明器具などの電源のオノンオフなどの制御を行うことが可能である。が、いつでもユーザが望んだときに、入力が行えるようにするには、常に電源をオンにしておく必要がある。が、では、マウスなどと異なり、能動的に発光する必要があるために、発光のための消費電力が必要となるという問題点があった。
【特許文献１】特開平１０−１７７４４９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
このように、従来の画像処理方式では、刻々と変動する外部条件も対して、低価格でかつローバストな解析をおこなうことは難しかった。変動する外部条件に対してもローバストな解析を行えるようにするには、高性能計算機や、高速伝送系を用いるため、コストがかかりすぎ、一般の家庭で使えないという問題があった。
【課題を解決するための手段】
【００１２】
このような問題点を解決するために、パルス信号もしくは変調信号を生成するタイミング信号生成手段と、このタイミング信号生成手段からの信号に基づいて強度変化する光を発する発光手段と、このタイミング信号生成手段からの信号と同期して、前記発光手段から発された光の物体による反射光を抽出する反射光抽出手段と、この反射光抽出手段によって抽出された反射光から物体の反射光画像を生成する反射光画像生成手段と、この反射光画像生成手段によって生成された反射光画像が所定の大きさで得られるまで、前記タイミング信号生成手段の生成する信号の周期を変化させる手段を有することを特徴とする。
【００１３】
また、パルス信号もしくは変調信号を生成するタイミング信号生成手段と、このタイミング信号生成手段からの信号に基づいて強度変化する光を発する発光手段と、このタイミング信号生成手段からの信号と同期して、前記発光手段から発された光の物体による反射光を抽出する反射光抽出手段と、この反射光抽出手段によって抽出された反射光から物体の反射光画像を生成する反射光画像生成手段と、この反射光画像生成手段によって生成された反射光画像が所定の大きさで得られるまで、前記発光手段における発光強度を変化させる手段を有することを特徴とする。
【００１４】
また、生成されたタイミング信号に基づいて強度変化する光を発光し、このタイミング信号と同期して、発光された光の物体による反射光を抽出し、この抽出された反射光から物体の反射光画像を生成し、この生成された反射光画像が所定の大きさで得られるまで、前記タイミング信号の周期を変化させることを特徴とする。
【００１５】
また、生成されたタイミング信号に基づいて強度変化する光を発光し、このタイミング信号と同期して、発光された光の物体による反射光を抽出し、この抽出された反射光から物体の反射光画像を生成し、この生成された反射光画像が所定の大きさで得られるまで、発光すべき光の強度を変化させることを特徴とする。
【００１６】
また、物体による反射光画像を抽出するためのプログラムをコンピュータで実行可能なように記録した記録媒体であって、生成されたタイミング信号に基づいて強度変化する光を発光し、このタイミング信号と同期して、発光された光の物体による反射光を抽出し、この抽出された反射光から物体の反射光画像を生成し、この生成された反射光画像が所定の大きさで得られるまで、前記タイミング信号の周期を変化させるプログラムをコンピュータで実行可能なように記録した記録媒体である。
【００１７】
また、物体による反射光画像を抽出するためのプログラムをコンピュータで実行可能なように記録した記録媒体であって、生成されたタイミング信号に基づいて強度変化する光を発光し、このタイミング信号と同期して、発光された光の物体による反射光を抽出し、この抽出された反射光から物体の反射光画像を生成し、この生成された反射光画像が所定の大きさで得られるまで、発光すべき光の強度を変化させるプログラムをコンピュータで実行可能なように記録した記録媒体である。
【発明の効果】
【００１８】
本願発明によれば、ユーザが情報入力装置を使っていない間は、消費電力を抑えられ、さらにユーザが情報入力装置を使おうと近づけば、ユーザの身振りや手振りに追随するように取得タイミングなどが自動的に設定されるようになっているので、ユーザに負担をかけることなく、容易に消費電力を低減できるので、その効果は大きい。
【００１９】
また本願発明によれば、画像が取得できるまで、取得の特性が自動的に変更されるので、複数のユーザが共有して一つの情報入力装置を使うときでも、いちいち設定距離などを、手動で変更することなく、情報入力が行えるので、ユーザに負荷を欠けることなく、ユーザの意図にあった直接操作を実現できる。
【発明を実施するための最良の形態】
【００２０】
（実施例１）
次に図面に第１の実施例の動作説明を行う。図１は第１の実施例の概略構成図、図２は、図１の構成における画像取得部１の概略図である。
反射光を受光し、距離画像を取得する、例えば、特許文献１に示されているような画像取得部１と、画像取得部１が取得した画像を解析して重心や移動速度などの抽出を行う画像処理部２とから構成されている。
【００２１】
図２は例えば特許文献１に示されているような画像取得部１の概略図であり、発光部１０１、受光部１０３、反射光抽出部１０２、タイミング信号生成部１０４から構成されている。発光部１０１は、タイミング信号生成部１０４にて生成されたタイミング信号にしたがって時間的に強度変動する光を発光する。この光は発光部前方にある対象物体に照射される。
【００２２】
受光部１０３は、発光部１０１が発した光の対象物体による反射光の量を検出する。反射光抽出部１０２は、受光部１０３にて受光された反射光の空間的な強度分布を抽出する。この反射光の空間的な強度分布は画像として捉えることができるので、以下、これを反射光画像あるいは距離画像と呼ぶ。
【００２３】
受光部１０３は一般的に発光部１０１から発せられる光の対象物による反射光だけでなく、照明光や太陽光などの外光も同時に受光する。そこで、反射光抽出部１０２は、発光部１０１が発光している時に受光した光の量分がレンズであり、周囲に並ぶ小さな円は例えば、赤外などの光を照射するＬＥＤにあたる。ＬＥＤから照射された光が物体に反射され、レンズにより集光され、レンズの後部にあるエリアセンサで受光される。このように取得された画像は例えば、図３，図４のような形式になっている。
【００２４】
図３は取得した画像データの一部（２５６×２５６の一部の８×８）を示したものである。この例では、行列中のセルの値は、取得した反射光の強さを２５６ビットでしめしたものである。２５５の値があるセルは、画像取得部１に最も接近した状態、０の値があるセルは、画像取得部１から遠くにあり、反射光が画像取得部１にまで到達しないことを示している。
【００２５】
図４は取得した画像データ全体を３次元的に示したものである。この例では、人間の手を取得したデータを示している。
画像取得部１は、図３のような形式で画像取得部１で取得された距離画像を受け取り、エッジ切り出し、重心抽出、面積算出など種々の画像処理を行う。
（ｉ，ｊ）の画素値をＰｉｊとし、生成する輪郭情報の画素をＲｉｊとすると、
Ｒｉｊ＝２５５（Ｉｆ    （Ｐｉ−Ｐｉ−１ｊ  ）＞α＆（Ｐｉ−Ｐｉｊ−１  ）＞α＆（Ｐｉ−Ｐｉ＋１ｊ  ）＞α＆（Ｐｉ−Ｐｉｊ＋１  ）＞α）
Ｒｉｊ＝０（上記以外）
とすることにより、図５のような輪郭情報を得ることができる。
画像処理部２は、図３あるいは図５のようにして得られた輪郭情報をもとに、物体の重心を計算する。この重心が前のフレームと現在のフレームとで同じかどうかで物体が動いているかどうかを算出する。
【００２６】
画像取得部１は、画像取得のタイミングなどの変更が行えるようになっている。図６の処理の流れでは、動作の開始にあたって、ステップ５０１に示すようにこれらの初期設定を行う。
【００２７】
図６の例では、画像取得タイミング１／ｆＨｚ（ｆは１秒間に取得する画像のフレーム数を示す）は、ｆ＝５に設定されている。通常のビデオムービーなどのフレーム枚数が毎秒３０枚なので、通常の１／６の速さで稼動している。これは画像取得の枚数が少なければ、それだけ、発光や取得した画像の転送や処理に費やす消費電力が少なくなる。
【００２８】
通常状態（使われていない）では、消費電力を減らすために、取得枚数を減らしているのである。
また、発光量Ｉは発光部１０１を発光させるときの電流値を表す。この例では、１０ｍＡと低い電流に抑えられている。つまり、動く物体がないときには、発光量を減らし消費電力を節約する。
【００２９】
このような設定で、まず発光部１０１の発光と非発光をおこない、図４に示したような反射画像の取得を行う（ステップ５０２）。取得した画像を解析し、重心速度を算出する（ステップ５０３）。
【００３０】
算出された重心速度が一定値以上であれば、ユーザが本発明の情報入力装置を用いて入力を行う意図をもって、近づいたと判断する。この例では、Ｖ０以上の速さであれば、ユーザに使用の意図があると判断する（ステップ５０４）。
【００３１】
実際にユーザが使用するときには、秒５枚で、発光量１０ｍＡでは、ユーザの身振り、手振りに追随した画像取得が困難なので、取得のタイミングを秒３０枚、発光量を１００ｍＡにアップし（ステップ５０６）、その後引き続き画像取得を行う（ステップ５０２へ）。
【００３２】
すでに使用状態にあり、タイミングが秒３０枚にアップしているときは（ステップ５０５）、ステップ５０６の処理を行わず、そのまま画像取得を続行する。
ユーザが情報入力装置の使用を終了し、離れると、動く物体が検知されなくなる。つまり、一定速度Ｖ１より遅い速度になったかどうかを判定する（ステップ５０７）。ユーザは情報入力装置を使っているときでも、さほど速く手振りや身振りを行っていない可能性があるので、ステップ５０７の判定に用いる速度Ｖ１は、ユーザが情報入力装置の使用を開始するかどうかを判定する速度Ｖ０より、低い値になっている。つまり、このような値に設定することで、使うために近づいたときの速さでなく、比較的ゆっくりした動作でも、安定して使えるようになっている。
【００３３】
ユーザが使用を終了したと判断したときには、消費電力を低減するために、取得タイミングを秒５枚、発光量を１０ｍＡに再設定する（ステップ５０９）。それ以前にすでに終了処理がなされ、取得タイミングが秒５枚に設定されているとき（ステップ５０８）には、ステップ５０９の処理は行わない。
【００３４】
この状態は、ステップ５０１で設定された初期状態と同様である。つまり、ユーザが使用を開始するまで、消費電力を抑えるモードとなる。
実施例１の構成によれば、ユーザが情報入力装置を使っていない間は、消費電力を抑えられ、さらにユーザが情報入力装置を使おうと近づけば、ユーザの身振りや手振りに追随するように取得タイミングなどが自動的に設定されるようになっているので、ユーザに負担をかけることなく、容易に消費電力を低減できるのでその効果は大きい。
【００３５】
（実施例１の変形例）
実施例１では、ユーザが使用中とそうでないときとで、取得タイミングと発光量が変更されているが必ずしもこれに限定されるものではない。例えば、解像度も小さければ、画像の読み出しや転送にかかる時間が減るので、消費電力を低減できる。このような解像度の変更など、消費電力の低減につながる画像取得特性の変更も可能である。
【００３６】
また、実施例１では、画像処理部２は、種々の画像処理が行えるようにソフトウェアにより実現されていることを想定している。
例えば、実施例１に示したように、重心速度により、ユーザが使用中かどうかを判定するように限定すれば、重心速度抽出に限定した部分をゲートアレイなどのハードウェアロジックにより実現することが可能であり、ハードウェア化することで、より一層の小型化を図ることができる。
【００３７】
また、ユーザが使用中かどうかの判定を、本実施例では、速度により行っているが、必ずしもこれに限定される訳ではない。ユーザが近づいたどうかを距離に
より判定するようにすることも可能である。
また、本発明の実施例では、ユーザが使用中であると判断したときには、取得タイミングと発光量の双方を変更している。が必ずしも、取得タイミングと発光量は同期して、変更しなくてもよく、一方のみをあげるようにすることも可能である。
【００３８】
（実施例２）
第１の実施例では、ユーザが使用中かどうかを判別して、それに応じて、画像取得の特性を変更し、消費電力の低減をはかることを目的としていた。第１の実施例では、ユーザは本発明の情報入力手段を使うために、例えば、ＰＣへの入力を行うなど、情報入力手段に近づくと言うことを前提にしているので、重心速度、あるいは距離などにより、使用の有無を判定することが可能であった。
【００３９】
これに対し、本発明を、部屋に人が入ってきたかどうか、どこにいるかを検知するといった別の用途に使うこともできる。このような場合には、単に速度を見ているだけでは、情報入力装置の取得範囲内に目的の物体が入ってこない限り、何も対処ができないという問題が生じる。
【００４０】
また、ＰＣなどの情報家電機器に対し、入力を行うといっても、家族の中で、多少、情報家電機器から一定値以上離れたところから、入力を行う方を好む構成メンバが存在する可能性がある。
【００４１】
このような場合、単に情報入力装置の取得範囲内に目的の物体が入ってくるのを待っているだけでは、肝心の目標物を撮像できずに終わることが十分考えられる。
第２の実施例は、このような問題を解決するものである。図７はその処理の流れ図である。本実施例では、取得タイミングは秒３０枚、発光量は５０ｍＡに初期化されているとする（ステップ６０１）。画像を取得し、取得した画像中に目的の物体が撮像されているかどうかを判定する（ステップ６０４）。もし、物体が撮像できていない場合には、物体が情報入力装置より遠いところにあると判断し撮像距離を伸ばすために、発光量をます（ステップ６０６）。
【００４２】
発光量を増した状態（例えば、今の例では、１００ｍＡ）で画像取得を行う（ステップ６０２）。同様にして、画像が取得できるまで発光量を増し続けるが、発光量が一定値（図６の例では３００ｍＡ）に達したとき（ステップ６０５）、それ以上発光量を増すのはやめる（ステップ６０７）。
【００４３】
発光量が、３００ｍＡに達しても画像が取得できない場合には、取得タイミングを遅くしていく（ステップ６０８）。つまり、取得タイミングが遅くなるということは、１枚あたりで受光部が受光している時間が長くなることを意味する。受光時間が長くなれば、弱い光でも長時間受光するので、受光する電荷が増せるので、より遠方の物体からの反射光の取得が可能になる。
【００４４】
取得タイミングが一定値（たとえば、秒５枚以下）になると、情報入力装置としては、手振りや身振りを取得することが難しくなるので、それいかにタイミングを遅くすることは行わない（ステップ６０７）。
【００４５】
ユーザが入力装置の使用を終了したと判断できれば（ステップ６０９）、無用に発光することを即座にやめるために、初期化ステップ（ステップ６０１）に戻る。
本実施例によれば、画像が取得できるまで、取得の特性が自動的に変更されるので、複数のユーザが共有して一つの情報入力装置を使うときでも、いちいち設定距離などを、手動で変更することなく、情報入力が行えるので、ユーザに負荷を欠けることなく、ユーザの意図にあった直接操作を実現できる。
【００４６】
（実施例２の変形例）
本実施例では、物体画像が取得できない場合、取得できるまで、発光量をまし、発光のタイミングを遅くすることを行っているが、必ずしも、発光量とタイミングは、双方を変更することが必要なわけではない。
【００４７】
例えば、発光量のみをます、あるいは発光タイミングのみを遅くするだけの構成も可能である。また、本実施例では、変更した発光量とタイミングは、ユーザが使用を終了するまで、維持するようになっている。しかし、必ずしもこれに限定されるものではない。例えば、ある一定回数毎に、減じた発光量で画像を取得し、物体画像が得られるかどうかを判定し、得られると判定した場合には、減じた発光量に設定し直した、画像取得をおこなうというような変更も可能である。
【００４８】
以上のような本願発明は、専用のハードウェアを用いずとも、汎用のプロセッサを用いたソフトウェアによる処理で実現することができる。例えば、図６，図７の処理はコンピュータプログラムを用いて実現でき、これをフロッピー（登録商標）やＣＤ−ＲＯＭなどの記録媒体を通じてコンピュータに導入して実行させることにより、本願発明を実施することができる。
【図面の簡単な説明】
【００４９】
【図１】本願発明の第１の実施例の概略構成図である。
【図２】本願発明の距離画像取得手段の概略図である。
【図３】本願発明の取得した画像データを示した図である。
【図４】本願発明の取得した画像データを示した図である。
【図５】本願発明の取得した画像データの輪郭情報の図である。
【図６】本願発明の処理の流れを示したフローチャートの図である。
【図７】本願発明の処理の流れを示したフローチャートの図である。
【符号の説明】
【００５０】
１…画像取得部，２…画像処理部，
１０１…発光部，１０２…反射光抽出部，１０３…受光部
１０４…反射光抽出部
【図１】
2005100436.tif 000003
【図２】
2005100436.tif 000004
【図３】
2005100436.tif 000005
【図４】
2005100436.tif 000006
【図５】
2005100436.tif 000007
【図６】
2005100436.tif 000008
【図７】
2005100436.tif 000009