(57)【要約】【課題】操作者の撮像画像を解析して操作者が手の動きで示した操作情報を機器へ入力する操作情報入力装置において、手の円軌道の動きを正確に検出・認識できるアルゴリズムを提供し、信頼性の高い操作情報入力を実現する。【解決手段】撮像画像データをブロックに分けた輝度データに変換し、フレーム間の差分を解析して手の動きによる特徴点を抽出する。操作者が手を円軌道に沿って動かすと、特徴点の空間座標は少なくとも４箇所においてＸ座標又はＹ座標のいずれかが極値となるため、その極値位置と検出時刻とを極値情報として記憶させる。そして、時系列的位置関係が円軌道パターンに適合するか否かを判定すると共に、円軌道の回転方向も判定し、その判定結果に基づいて音量調節等の制御信号を機器に入力させる。【選択図】図２
2007172577.tif 000002
【特許請求の範囲】
【請求項１】
操作者の手の動きと機器に対する操作情報とを対応付けておき、撮像手段から得られる画像データを解析して前記操作者の手の動きを認識することにより、手の動きに対応する操作情報を前記機器に入力する操作情報入力装置において、
前記撮像手段からの画像データに対して所定ブロック単位での動き検出処理を施すことにより、操作者の手の動きによって生じる特徴点を抽出する特徴点抽出手段と、
前記特徴点の空間座標が極値となる状態を検出する極値検出手段と、
前記極値検出手段の極値検出時点における前記特徴点の空間座標とその検出時刻とを極値情報として記憶する極値情報記憶手段と、
前記極値情報記憶手段における４つ以上連続した前記極値情報が円軌道パターンに適合する関係にあるか否かを判定する円軌道判定手段とを備え、
前記円軌道判定手段が円軌道パターンに適合する関係にあると判定した前記極値情報に基づく円軌道と前記操作情報とを対応付けることを特徴とする操作情報入力装置。
【請求項２】
複数の操作者が同時に手を動かして前記機器に操作情報を入力した場合に、
前記特徴点抽出手段が各操作者の手の動きを画像データ上で離隔した位置関係を有する複数の特徴点として抽出し、
前記極値検出手段が前記各特徴点の空間座標がそれぞれ極値となる状態を検出し、
前記極値情報記憶手段が前記極値検出手段の極値検出時点における前記特徴点の空間座標とその検出時刻とを前記各操作者別に極値情報系列として記憶し、
前記円軌道判定手段が、前記極値情報記憶手段における前記各操作者別の極値情報系列について、４つ以上連続した極値情報が円軌道パターンに適合する関係にあるか否かを判定すると共に、
前記円軌道判定手段が円軌道パターンに適合すると判定した前記各操作者別の極値情報系列を用いて、それぞれの円軌道のサイズ又は円軌道に沿った手の移動速度のいずれか一方を求め、前記サイズ又は前記速度が最大である円軌道を選択する円軌道選択手段を備え、
前記円軌道選択手段が選択した円軌道と前記操作情報と対応付けることを特徴とする請求項１に記載の操作情報入力装置。
【請求項３】
前記円軌道判定手段が、検出順序が前後する前記極値情報における空間座標の相対的位置関係、及び検出順序が時系列であって１回転分の円軌道判定に用いる個数分の空間座標の相対的位置関係について、それぞれ円軌道パターンに適合する条件を満たしているか否かを解析して判定を行う手段である請求項１又は請求項２に記載の操作情報入力装置。
【請求項４】
前記極値情報記憶手段が記憶している前記極値情報について、検出順序が前後する各極値情報の検出時刻の時間差、及び検出順序が時系列であって１回転分の円軌道の判定に用いる個数分の極値情報の中で最先と最後に検出されたものの検出時刻の時間差を求め、前記各時間差がそれぞれについて規定した時間幅の範囲内にある場合にのみ、それらの極値情報を有効とみなす時間的有効性確認手段を設け、
前記円軌道判定手段が前記時間的有効性確認手段によって有効とみなされた極値情報だけを用いて判定を行うこととした請求項１、請求項２又は請求項３に記載の操作情報入力装置。
【請求項５】
前記円軌道判定手段が連続した適合判定を行った場合に、前記極値情報記憶手段の極値情報に基づいて、前に適合判定された円軌道における最後に検出された極値の検出時刻と後に適合判定された円軌道における最初に検出された極値の検出時刻との間の時間差を求める時間差演算手段と、
前記時間差演算手段が求めた時間差が所定範囲内にある場合に、前記極値情報記憶手段の極値情報に基づいて、前記各適合判定に係る各円軌道の中心位置座標と半径を求める円情報演算手段と、
前記円情報演算手段が求めた各円軌道の中心位置座標と半径を記憶する円情報記憶手段と、
前記円情報記憶手段の各円軌道の中心位置座標と半径に基づいて各適合判定に係る円軌道の相対的位置関係を求め、その相対的位置関係が予め各操作情報と対応付けて設定されているパターンの何れに属するかを判定するパターン判定手段とを設け、
前記パターン判定手段による判定結果と操作情報とを対応付けることを特徴とする請求項１、請求項２、請求項３又は請求項４に記載の操作情報入力装置。
【請求項６】
前記円情報演算手段が前記各適合判定に係る各円軌道の中心位置座標と半径と共に回転方向も求め、前記円情報記憶手段がそれらを記憶し、前記パターン判定手段が、前記相対的位置関係と前記各円軌道の一方又は双方の回転方向との組み合わせが予め各操作情報と対応付けて設定されているパターンの何れに属するかを判定することとした請求項５に記載の操作情報入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は操作情報入力装置に係り、特に、操作者の手の動きと機器に対する所定操作情報を対応付けておき、操作者の撮像画像を解析することにより操作者が手の動きで示した操作情報を機器へ入力する装置に関する。
【背景技術】
【０００２】
従来から、車載機器や家電機器等を対象として、操作者の手の形や動きをイメージセンサ等により検出して認識させ、予めそれらの動きに対応付けた操作信号を機器に入力させて制御する方式が多数提案されている。それらの方式では、操作者がツマミ・スイッチ類やタッチパネルやリモコンを操作するのではなく、手の形や動きによって機器に指示入力を与えるため、運転中に視点を逸らすことなく車載機器を制御でき、また操作パネルやリモコンの位置まで移動せずに遠隔操作ができるという利点がある。
【０００３】
例えば、下記特許文献１には、撮像手段により画像を取り込み、操作者の動作と所定の動作パターンとを比較して、一致した場合に当該動作パターンに対応した操作信号を出力するようにした操作入力装置が開示されており、その実施形態として、入浴者が撮像部に相対して各種の動作をなすことにより浴室でのシャワー制御等を実行できるシステムが説明されている。また、下記特許文献２には、検出手段により、操作者のなす形状ジェスチャ（手の形で表されるジェスチャ）と方向ジェスチャ（手の動いた方向で示すジェスチャ）等の２種類のジェスチャをそれぞれ検出し、一方のジェスチャで操作モードを選択し、他方のジェスチャでその操作モード内のパラメータの変更が行えるようにした操作入力装置が提案されていると共に、運転手が車載機器であるオーディオシステムやエアコン等の選択と制御を行えるようにした実施形態が説明されており、下記特許文献３においても同様の装置が開示されている。更に、下記特許文献４においては、撮像デバイスを用いて複数の操作者の動作又は姿勢を識別して機器の遠隔制御を行う制御方法が開示されている。
【０００４】
尚、前記各特許文献の操作入力装置では、撮像部や検出手段に画素数の小さいＣ−ＭＯＳアレイやＣＣＤアレイからなるイメージセンサや２次元検出領域の温度を検出する赤外線センサアレイのような特殊なセンサを用いた実施形態で説明されているが、ＣＣＤカメラ等から得られる高精細な画像を解析して操作者の手の形や動きを検出してもよいとしている。
【特許文献１】特開平１１−３３８６１４号公報
【特許文献２】特開２００１−２１６０６９号公報
【特許文献３】特開２００５−４７３３１号公報
【特許文献４】特開平１１−３２７７５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、前記各特許文献では、操作入力装置の基本的構成、及び操作者の手の形や動きと機器制御との関係については詳述されているが、手の動きの検出と認識に係る解析アルゴリズムは明確に説明されていない。特に、手の円軌道の動きは、電子機器のツマミ操作等と感覚的に対応させ易く、また回転方向でアップ／ダウンを表現できることから、機器に各種制御を行わせるための操作者の動作として採用し易いが、前記各特許文献ではその動きについての具体的な検出方法は開示されていない。例えば、前記特許文献１では、操作者による手の円軌道の動きを操作動作の一例として掲げているが、動きの検出と認識の手法については具体的に説明されていない。また、前記特許文献２では、方向ジェスチャとして上下左右の直線的動きと制御事項との対応付けを解説しているが、円軌道の動きについては触れておらず、動きの検出や認識のための具体的な手法は説明していない。これは、前記特許文献３でも同様であり、手の動きとその認識に関しては一般的に説明しているだけである。尚、前記特許文献４の制御方法は、あまりに概念的且つ作用的な説明に終始しており、機器側における具体的な手段は開示されていない。
【０００６】
そこで、本発明は、ＣＣＤやＣ−ＭＯＳ等の撮像素子から得られる操作者の撮像画像を解析して手の円軌道の動きを正確に検出・認識し、その動きに対応付けられた操作情報を機器へ出力することが可能な操作信号出力装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、操作者の手の動きと機器に対する操作情報とを対応付けておき、撮像手段から得られる画像データを解析して前記操作者の手の動きを認識することにより、手の動きに対応する操作情報を前記機器に入力する操作情報入力装置において、前記撮像手段からの画像データに対して所定ブロック単位での動き検出処理を施すことにより、操作者の手の動きによって生じる特徴点を抽出する特徴点抽出手段と、前記特徴点の空間座標が極値となる状態を検出する極値検出手段と、前記極値検出手段の極値検出時点における前記特徴点の空間座標とその検出時刻とを極値情報として記憶する極値情報記憶手段と、前記極値情報記憶手段における４つ以上連続した前記極値情報が円軌道パターンに適合する関係にあるか否かを判定する円軌道判定手段とを備え、前記円軌道判定手段が円軌道パターンに適合する関係にあると判定した前記極値情報に基づく円軌道と前記操作情報とを対応付けることを特徴とする操作情報入力装置に係る。
【０００８】
この発明は、操作者が手の動きで操作意思を表現する際の典型動作の一つである円軌道動作を画像データ上で検出し、その円軌道の判定状態に応じて操作情報を機器へ入力させる。その場合、手の動きは画像データを所定ブロックに分割してフレーム間での動き検出を行うことにより特徴点として抽出し、その特徴点の移動を空間座標の変化として求めてゆく。そして、手の動きが円軌道であれば、空間座標は１回転中に極値をもつ状態が少なくとも４回以上出現するため、各極値の検出時点での空間座標と検出時刻を極値情報として記憶させておき、それら極値情報で示される時系列的位置関係が円軌道パターンに適合するか否かを判定し、その判定状態に基づいて対応する操作情報を機器へ入力させる。
【０００９】
また、前記発明の操作情報入力装置では、常に単一の操作者が操作入力動作を行うとは限らず、複数の操作者が同時に動作を行う場合も想定できるが、それについては次のような構成とすることにより対応できる。即ち、複数の操作者が同時に手を動かして前記機器に操作情報を入力した場合に、前記特徴点抽出手段が各操作者の手の動きを画像データ上で離隔した位置関係を有する複数の特徴点として抽出し、前記極値検出手段が前記各特徴点の空間座標がそれぞれ極値となる状態を検出し、前記極値情報記憶手段が前記極値検出手段の極値検出時点における前記特徴点の空間座標とその検出時刻とを前記各操作者別に極値情報系列として記憶し、前記円軌道判定手段が、前記極値情報記憶手段における前記各操作者別の極値情報系列について、４つ以上連続した極値情報が円軌道パターンに適合する関係にあるか否かを判定すると共に、前記円軌道判定手段が円軌道パターンに適合すると判定した前記各操作者別の極値情報系列を用いて、それぞれの円軌道のサイズ又は円軌道に沿った手の移動速度のいずれか一方を求め、前記サイズ又は前記速度が最大である円軌道を選択する円軌道選択手段を備え、前記円軌道選択手段が選択した円軌道と前記操作情報と対応付けるようにする。ここで、サイズの大きい円軌道を優先的に選択する理由は、一般的に円軌道のサイズと機器から操作者までの距離とが反比例し、円軌道のサイズが大きいことはそれだけ機器に近い位置で操作入力動作を行っていることになり、その位置のとり方が強い操作意思の現れであると推定できるからである。また、手の速度に関しても、操作意思の強さが移動速度に現れていると考えられるからである。
【００１０】
前記発明の円軌道判定手段については、検出順序が前後する前記極値情報における空間座標の相対的位置関係、及び検出順序が時系列であって１回転分の円軌道判定に用いる個数分の空間座標の相対的位置関係について、それぞれ円軌道パターンに適合する条件を満たしているか否かを解析して判定を行う手段とすることができる。即ち、時系列的に前後する極値位置の相対的位置関係と１回転分に相当する全ての極値位置の相対的位置関係とが、それぞれ各極値位置がほぼ円軌道上にある条件に基づいて成立しているか否かを確認して判定を行う。例えば、前者の相対的位置関係については座標値の大小関係を確認し、後者の相対的位置関係については極値位置を用いた演算で一定以上の真円度があるか否かを確認するような方法が採用できる。
【００１１】
また、前記極値情報記憶手段が記憶している前記極値情報について、検出順序が前後する各極値情報の検出時刻の時間差、及び検出順序が時系列であって１回転分の円軌道の判定に用いる個数分の極値情報の中で最先と最後に検出されたものの検出時刻の時間差を求め、前記各時間差がそれぞれについて規定した時間幅の範囲内にある場合にのみ、それらの極値情報を有効とみなす時間的有効性確認手段を設け、前記円軌道判定手段が前記時間的有効性確認手段によって有効とみなされた極値情報だけを用いて判定を行うようにすれば、操作を意図しない手の動きを判定対象から排除することができ、信頼性の高い操作情報入力が実現できる。
【００１２】
ところで、前記円軌道判定手段による判定状態に対する操作情報の対応付けの仕方には様々な方式が考えられるが、前後して適合判定がなされた円軌道の相対的位置関係を用いることもできる。例えば、前記円軌道判定手段が連続した適合判定を行った場合に、前記極値情報記憶手段の極値情報に基づいて、前に適合判定された円軌道における最後に検出された極値の検出時刻と後に適合判定された円軌道における最初に検出された極値の検出時刻との間の時間差を求める時間差演算手段と、前記時間差演算手段が求めた時間差が所定範囲内にある場合に、前記極値情報記憶手段の極値情報に基づいて、前記各適合判定に係る各円軌道の中心位置座標と半径を求める円情報演算手段と、前記円情報演算手段が求めた各円軌道の中心位置座標と半径を記憶する円情報記憶手段と、前記円情報記憶手段の各円軌道の中心位置座標と半径に基づいて各適合判定に係る円軌道の相対的位置関係を求め、その相対的位置関係が予め各操作情報と対応付けて設定されているパターンの何れに属するかを判定するパターン判定手段とを設け、前記パターン判定手段による判定結果と操作情報とを対応付けるようにしてもよい。
【００１３】
この方式では、特徴点抽出から円軌道判定を行うまでの機能は第１の発明と同様であるが、円軌道判定がなされた場合にその位置情報を記憶すると共に、前後して判定された各円軌道についての時間差を求め、その時間差が所定範囲内であれば操作情報を表現しているものとみなし、記憶させた各円軌道の極値情報に基づいて各円軌道の中心位置座標と半径を求める。そして、それらの円情報を用いると各適合判定に係る円軌道の相対的位置関係が求まるため、その相対的位置関係が各操作情報と対応付けた何れの設定パターンに属するかを判定して操作情報の入力とする。尚、相対的位置関係としては、各中心を結ぶ直線の水平軸又は垂直軸に対する角度情報や、各円軌道の中心間の距離情報等を用いることができ、それら情報を一定の範囲毎に分けてパターン化することで操作情報に対応付けることができる。
【００１４】
また、前記円情報演算手段が前記各適合判定に係る各円軌道の中心位置座標と半径と共に回転方向も求め、前記円情報記憶手段がそれらを記憶し、前記パターン判定手段が、前記相対的位置関係と前記各円軌道の一方又は双方の回転方向との組み合わせが予め各操作情報と対応付けて設定されているパターンの何れに属するかを判定するようにすれば、操作情報の階層的表現が可能になり、操作者が手で２つの円軌道を描くことによって上位操作アイテムから下位操作アイテムへ順次選択してゆくことや、回転方向で操作アイテムを選択しておき、そのアイテムの制御量を前に描いた円軌道に対する後に描く円軌道の相対的位置関係だけで表現することができる。
【発明の効果】
【００１５】
リモートコントローラ等の遠隔操作装置を用いることなく、操作者による手の動きを認識して操作情報を機器へ入力する操作情報入力装置において、操作意思を表現する際の一般的な手の動作の一つである円軌道動作を正確に判定し、信頼性の高い操作情報入力を実現する。また、円軌道の回転方向や前後して判定された円軌道相互間の位置関係を判定して組み合わせることにより、操作情報の階層的系列化を図り、多岐にわたる操作を合理的に表現して入力することを可能にする。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の操作情報入力装置の実施形態を図面に基づいて詳細に説明する。
［実施形態１］
先ず、図１はテレビジョン（ＴＶ）電話機能を有したカメラ付きＴＶのブロック図であり、１は操作者（通話者）５０を撮像するＣＣＤカメラ、２は音声を収音するマイクロホン、３はＴＶ電話モードで通信回線を介して映像・音声のパケットデータの送受信を行うネットワークＩ/Ｆ、４はＴＶ電話モードでＣＣＤカメラ１とマイクロホン２から得られる映像・音声信号を符号化してネットワークＩ/Ｆ３へ送信パケットデータとして出力し、またネットワークＩ/Ｆ３から得られる受信パケットデータを映像・音声信号に復号して映像合成部７へ出力するコーデック部、５はＴＶ機能でチャンネルの選局を行うチューナ部、６は選局チャンネルのＴＶ信号を復調するＡＶデコーダ、７はコーデック部４からの映像信号をＡＶデコーダ６からのＴＶ信号にオーバレイした表示信号を作成する映像合成部、８はＴＶモニタ、９は映像合成部７による表示信号をＴＶモニタ８に表示させる表示制御部、１０はＡＶデコーダ６からの音声信号とコーデック部４からの音声信号を切り換えて出力させる音声切替部、１１はスピーカ、１２は音声切替部１０からの音声信号を増幅してスピーカ１１へ出力する音声増幅器、１３は操作パネル、２０は操作情報入力部を示す。
【００１７】
そして、このカメラ付きＴＶは、ＴＶ機能部［チューナ部５・ＡＶデコーダ６・映像合成部７・ＴＶモニタ８・表示制御部９・音声切替部１０・スピーカ１１・音声増幅器１２］にＴＶ電話機能部［ＣＣＤカメラ１・マイクロホン２・ネットワークＩ/Ｆ３・コーデック部４］を付加した構成になっているが、それらの各機能部は操作パネル１３のボタン操作等に応じて操作情報入力部２０が制御信号を出力させることにより制御されると共に、音量調整については操作者５０がＣＣＤカメラ１にほぼ正対した状態で手を円軌道に沿って動かすことによっても遠隔操作を行えるようになっている。即ち、操作情報入力部２０がＣＣＤカメラ１から得られる撮像データを解析して操作者５０の手の動きが円軌道であるか否かを判定し、その判定状態に基づいて利得制御信号を音声増幅器１２へ出力させるようになっている。
【００１８】
図２は操作情報入力部２０における撮像データ解析による音量調整機能部分のブロック図である。また、図３のフローチャートは、操作情報入力部２０において撮像データから操作者５０の手の動きに対応する特徴点を抽出して記憶させるまでの手順を示す。図２の操作情報入力部２０において、ＣＣＤカメラ１が撮像した画像データは解像度変換部２１に入力され、解像度変換部２１によって操作者５０の手の動きを検出するために必要な最低限の画像データに変換される（S1,S2）。例えば、ＣＣＤカメラ１は、ＴＶモニタ８がプラズマや液晶の大画面モニタである場合には６４０×４８０画素のＶＧＡ画像データを、１４インチ程度の比較的小型のモニタである場合には３２０×２４０画素のＱＶＧＡ画像データをそれぞれ３０フレーム毎秒の転送レートで出力するが、解像度変換部２１では８×８画素を１ブロックとして６４画素分の輝度平均値（絶対値）を算出し、その輝度平均値を各ブロックの輝度データとする。従って、ＱＶＧＡ画像データであれば、４０×３０ブロックについてそれぞれ８ビットの輝度データに変換されてフレーム毎に出力されることになる。尚、ＣＣＤカメラ１がカラー素子の場合であっても操作者５０の手の動きを検出するには輝度情報だけでも足りるため、この段階でクロマ情報は捨てられる。
【００１９】
解像度変換部２１で変換されたフレーム毎のデータは画像メモリ２２と差分演算部２３に入力されるが、画像メモリ２２はフレームバッファであり、差分演算部２３は現フレームの各ブロックの平均輝度値と画像メモリ２２に格納されている直前フレームの対応位置にある各ブロックの平均輝度値との差分を求め、その差分データを差分記憶部２４へ書き込む（S3,S4）。また、画像メモリ２２における直前フレームの各ブロックの平均輝度値は現フレームの各ブロックの平均輝度値に書き換えられる（S5）。
【００２０】
前記ステップS4で差分記憶部２４に１フレーム分の差分データが書き込まれると、特徴点抽出部２５はそれら差分データの内で大きさが第４番目以上のものに対応したブロックを検索し、その検索により得られた各ブロックの空間座標（Ｘ座標とＹ座標）の平均値を演算して特徴点を決定する（S6,S7）。即ち、図１に示すように、操作者５０がＣＣＤカメラ１の前方に位置して手を動かすと、その手の動き領域のブロックに係る差分データが大きくなるため、そのブロック群の中心を特徴点として求める。
【００２１】
そして、特徴点抽出部２５が決定した特徴点の空間座標は特徴点記憶部２６に書き込まれ、以降、前記のステップS1からステップS8までの動作はＣＣＤカメラ１から１フレーム分の撮像画像データが取り込まれる度に繰り返して実行される（S8→S1〜S8）。従って、特徴点記憶部２６には特徴点の空間座標が順次書き込まれてゆくが、特徴点記憶部２６は２秒前から現時点までに得られた特徴点の空間座標をリングバッファ方式で順次更新しながら記憶するようになっている。その場合、個人差はあるが、操作者５０が手を回転させる速度は２秒間にほぼ１.５〜３回程度であるため、少なくとも１回転分を検出できる。尚、空間座標のＸ座標とＹ座標をそれぞれ１バイトで表すとすると、特徴点記憶部２６としては１２０（バイト）［＝２（バイト）×３０（フレーム）×２（秒）］程度のメモリを用意しておけば足りる。
【００２２】
次に、この実施形態では、図４のフローチャートに示される処理手順により、特徴点記憶部２６に書き込まれた特徴点について極値位置検出部２７が極値位置の検出を行うと共に、時間的有効性確認部３０が各極値位置の有効性を時間的な観点から確認する。先ず、極値位置検出部２７は、特徴点のＸ座標とＹ座標について山登り法を適用して極値となるかどうかをチェックしており、Ｘ座標又はＹ座標のいずれかが極値になると、その空間座標と検出時刻を極値情報記憶部２８に書き込み、極値情報記憶部２８は２秒間分に相当する極値位置の空間座標と検出時刻とをリングバッファ方式で更新しながら記憶する（S11,S12）。具体的には、操作者５０の手がＣＣＤカメラ１にほぼ正対した状態で円軌道を描く場合、特徴点の空間座標は図６に示すように「右」,「下」,「左」,「上」として表記した各位置でＸ座標又はＹ座標が交互に極値となるが（即ち、「右」ではＸr,Ｘr'が極値、「下」ではＹbが極値、「左」ではＸlが極値、「上」ではＹtが極値）、それら極値位置の空間座標を検出時刻と共に極値情報記憶部２９に記憶させる。尚、回転方向についてはＣＣＤカメラ１から操作者５０を撮像した画像上での方向になっているため、操作者５０から見た場合の手の回転方向は逆になる。
【００２３】
時間的有効性確認部３０は、実際の操作者５０による手の回転速度を考慮して極値位置の有効性を確認する機能を備えており、次のような２つの基準に基づいて各極値位置の有効／無効を確認してフラグ処理を行う（S13）。
(1) 前記のように操作者５０が手を１回転させる速さを２秒間に１.５〜３回とすると、１回転当たり０.６６〜１.３３秒（２０〜４０フレーム分）となるが、極値情報記憶部２８に書き込まれた直近の極値位置の検出時刻とそれより４つ前に書き込まれている極値位置の検出時刻との時間差ΔＴaが０.６６〜１.３３秒から大きく逸脱している場合（例えば、ΔＴa≦０.３秒、又は３秒≦ΔＴaであった場合）には、その時間ΔＴa内の全ての空間座標は極値位置を示すものとして疑わしいため、それら空間座標に付されているDirtyフラグをＯＮにして無効化しておく。
(2)  極値位置が４箇所であると、各極値位置の検出時刻の間はほぼ０.１６〜０.３３秒（５〜１０フレーム分）となるが、前後して検出された極値位置の各検出時刻間の時間差ΔＴbが０.１６〜０.３３秒から大きく逸脱している場合（例えば、ΔＴb≦０.０５秒、又は１秒≦ΔＴbであった場合）には、後側の空間座標は極値位置を示すものとして疑わしいため、その空間座標のDirtyフラグをＯＮにして無効化しておく。
このように、時間的に一定の基準を満たした極値位置だけを有効とすることにより、操作者５０が音量調整の意思をもって手を円軌道で回転させたか否かを判別でき、それ以外の動作が操作入力とみなされてしまうことを防止できる。
【００２４】
次に、円軌道判定部２９が、図５のフローチャートに示す手順により、極値情報記憶部２８に格納されている極値情報（極値位置の各空間座標と検出時刻）に基づいて極値位置が円軌道に適合するものであるか否か、及びその円軌道の回転方向を判定して利得制御信号を出力させる。先ず、円軌道判定部２９は、時間的有効性確認部３０によって有効（DirtyフラグがＯＦＦ）とされており、時系列的に連続した５個の極値情報を抽出する（S21）。そして、次の２つの条件を満たすか否かをチェックすることにより、極値情報が円軌道に適合しているものか否かを判定する（S22,S23）。
【００２５】
(1) 時系列的に連続した５つの空間座標の相互関係が円軌道として必要な配置条件を満たしていること。例えば、画像上で右位置から右回転の円軌道が開始されたと仮定した場合に、図６に示すように、極値位置を示す「右」(開始位置)の座標を（Ｘr,Ｙr）、「下」の座標を（Ｘb,Ｙb）、「左」の座標を（Ｘl,Ｙl）、「上」の座標を（Ｘt,Ｙt）、「右」(終了位置)の座標を（Ｘr',Ｙr'）とすると、「右」(開始位置)と「下」との間に［Ｘr−Ｘb＞α，Ｙr−Ｙb＞β］、「下」と「左」との間に［Ｘb−Ｘ1＞α，Ｙl−Ｙb＞β］、「左」と「上」との間に［Ｘt−Ｘ1＞α，Ｙt−Ｙl＞β］、「上」と「右」(終了位置)との間に［Ｘr'−Ｘt＞α，Ｙt−Ｙr'＞β］の関係が全て成立していれば、この配置条件が満たされているものとみなす。但し、αとβは画像上での円軌道の半径に対応して重み付けされる値であり、例えば、操作者５０が自身の手を最も簡単な動作で円軌道に沿って移動させる場合にはその半径が約２０〜５０cm程度になることから、それに相応した画面上での大きさが設定される。
(2) 時系列的に連続した５つの空間座標から推定される円軌道は一定以上の真円度を有していること。即ち、図６の場合を例にとって説明すると、「右」と「左」の間の距離と「上」と「下」の間の距離の比を演算してその演算結果が１に近い一定範囲になっているか否かを確認する。例えば、１.２≧（Ｘrave−Ｘl）／（Ｙt−Ｙb）≧０.８ ［但し、ＸraveはＸrとＸr'の平均値：（Ｘr＋Ｘr'）／２］であれば、この条件を満たしている。
【００２６】
このようにして、前記各条件を満たして円軌道であると判定されると、円軌道判定部２９は更に円軌道動作の回転方向をチェックする（S24,S25）。その場合、回転方向については極値情報記憶部２８の各極値位置の検出時刻から求めることができ、例えば、図６の場合において、各空間座標に対応付けられている検出時刻Ｔ1〜Ｔ5はＴ5＞Ｔ4＞Ｔ3＞Ｔ2＞Ｔ1の関係にあり、特徴点が画像上で「右」→「下」→「左」→「上」→「右」と動いて右回転していたことになって、操作者５０は手を左回転させていたことになる。
【００２７】
そして、以上の手順で円軌道の適合性判定と回転方向の判定がなされると、円軌道判定部２９は回転方向を制御信号出力部３１へ通知し、制御信号出力部３１が回転方向に応じて音声増幅器１２へ利得制御信号を出力する（S25,S26,S27）。以降、判定対象となる極値情報の範囲を時間的に後へ１個分だけシフトさせて前記ステップS21〜S27を繰り返して実行する（S26,S27→S28→S21〜S27）。従って、円軌道判定部２９が円軌道と回転方向の判定を行う度に、回転方向に対応して音声増幅器１２の利得が増減制御され、操作者５０は手を円軌道に沿って回転させるだけで電話モードでの受話音又はＴＶモードでの出力音の音量調節を遠隔制御できる。
【００２８】
この実施形態によれば、画像上での左回転（操作者５０の手は右回転）が利得の増大、右回転（操作者５０の手は左回転）が利得の減少に対応せしめられており、操作者５０にとってはツマミによる音量調整の場合と同様の感覚で操作できるが、図７に示すように０.５秒より長いインターバルを置いて２回分の円軌道（左回転）の判定がなされた場合を２ステップ分の音量増大制御に対応させるのに対して、図８に示すように２回分の円軌道（左回転）が途切れなく連続して判定された場合や図９に示すように０.５秒以下のインターバルを置いて２回分の円軌道（左回転）の判定がなされた場合を２倍の４ステップ分の音量増大制御になるような制御方式を採用してもよい。部屋の照明の影響や手の動作の不安定さ等によって円軌道の判定を連続して何度も得られない場合もあるため、一定の時間内に同一回転方向の円軌道の判定が連続した場合に、より大きな制御量に対応付けておくことは有効である。
【００２９】
尚、この実施形態では操作者５０による手の円軌道回転動作で音量調節の遠隔操作を行うようにしているが、チャンネル選局に関連付けてもよい。その場合には、制御信号出力部３１はチューナ部５に対して選局制御信号を出力し、円軌道・左回転の判定がなされたときにはチャンネルをアップし、円軌道・右回転の判定の判定がなされたときにはチャンネルをダウンさせる制御に対応付ければよい。また、操作情報入力部２０における解析機能部分（図２）の構成はハードウェアを用いた信号処理又はＤＳＰ（Digital Signal Processor）を用いたソフトウェア処理によって実現できるが、画素単位での演算が要求される解像度変換部２１・画像メモリ２２・差分演算部２３での処理をハードウェアで構成し、画素ブロック単位での処理となって取り扱うデータ量が比較的少なくなる差分記憶部２４から制御信号出力部３１までの処理をＭＰＵ（Micro Processing Unit）によって構成することが妥当である。
【００３０】
［実施形態２］
この実施形態は、撮像画像データを解析して操作者５０の手の動きが円軌道か否かの判定とその回転方向の確認を行うことは実施形態１の場合と同様であるが、前後して判定された円軌道において、先に判定された円軌道の回転方向の判定結果を操作アイテム（音量調節とチャンネル選択）の選択情報として用い、先の判定に係る円軌道に対する後の判定に係る円軌道の相対的位置を音量調節の場合の利得制御情報やチャンネル選択の場合の選局制御情報として用いる。従って、この実施形態においてもカメラ付きＴＶとしてのブロック図は図１と同様の構成になるが、操作情報入力装置２０における撮像データの解析に基づく音量調節・チャンネル選択機能部分については図１０に示すブロック図の構成となる。但し、同図において、図２の各機能ブロックを示す符号と同一符号であるものは同一の機能ブロックである。
【００３１】
図１１はこの実施形態における操作情報入力装置２０の動作手順を示すフローチャートである。先ず、撮像データを解析して操作者５０の手の動きが円軌道か否かを判定する手順は実施形態１の場合と同様であり、図１０における解像度変換部２１から極値情報検出部２７までの機能ブロックで特徴点の抽出と極値の検出を行い、極値情報記憶部２８に書き込まれた各極値情報について時間的有効性確認部３０で吟味した上で、円軌道判定部２９によって時系列的に連続する５個の極値位置が円軌道を構成するか否かを判定する（S31,S32）。
【００３２】
そして、前記ステップS31,S32で円軌道の判定がなされると、この実施形態では、第１確認部４１が極値情報記憶部２８の各極値情報を用いて円軌道Ｃ(i)と１つ前に判定された円軌道Ｃ(i-1)との時間差ΔＴcを求め、その時間差が１〜１.５秒以内であるか否かをチェックする（S33,S34）。具体的には、図１３に示すように、円軌道Ｃ(i-1)について最後に検出された極値の検出時刻と円軌道Ｃ(i)について最初に検出された極値の検出時刻との時間差ΔＴcを求め、それが前記範囲内であるかどうかを確認する。これは、操作者５０が手で２つの円軌道を描いてカメラ付きＴＶに対する遠隔制御を行う場合の第１条件として、２つの円軌道Ｃ(i-1),Ｃ(i)の時間間隔ΔＴcが前記範囲内にあることを要求するものである。
【００３３】
各円軌道Ｃ(i-1),Ｃ(i)が時間的に前記第１条件を満たしている場合には、円情報演算部４２が極値情報記憶部２８の各極値情報を用いて各円軌道Ｃ(i-1),Ｃ(i)の中心座標[Xc(i-1),Yc(i-1)],[Xc(i),Yc(i)]と半径R(i-1),R(i)と回転方向とを求め、それらの結果を円情報記憶部４３に書き込む（S35）。そして、第２確認部４４が、前記第１条件に次ぐ第２条件として、各円軌道Ｃ(i-1),Ｃ(i)の相互関係について次の２つの事項が成立しているか否かを確認する（S36,S37）。
(1) R(i-1)／R(i)≧γの関係が成立しているか否か。即ち、先に判定された円軌道Ｃ(i-1)の方が後に判定された円軌道Ｃ(i)よりも大きく、その比が一定値γ以上であるか否かを確認する。このγは任意に設定してよいが、２〜４程度の値に設定することが望ましい。
(2) １.２≧Ld／R(i-1)≧０.８ 〔但し、Ld＝√［{Xc(i)−Xc(i-1)}2＋{Yc(i)−Yc(i-1)}2］〕が成立しているか否か。即ち、後に判定された円軌道Ｃ(i)の中心が先に判定された円軌道Ｃ(i-1)から一定範囲内の距離にあるか否かを確認する。ここでは、円軌道Ｃ(i-1)の半径に対して±２０％程度の誤差を許容するようにしているが、どの程度まで許容するかは適宜選択できる。
【００３４】
第２確認部４４によって前記第２条件の成立が確認できると、パターン判定部４５は円情報記憶部４３の中心座標[Xc(i-1),Yc(i-1)],[Xc(i),Yc(i)]を用いてtanθ＝［Yc(i)−Yc(i-1)］／［Xc(i)−Xc(i-1)］の数式から角度θを求める（S39）。ここに、角度θは、図１４に示すように、円軌道Ｃ(i-1),Ｃ(i)の各中心を結んだ線分と円軌道Ｃ(i-1)の中心を通過して右側へ伸びる基準線（θ＝０°に対応）とのなす角度に相当する。そして、パターン判定部４５は円情報記憶部４３における円軌道Ｃ(i-1)の極値情報から回転方向を判別し、その回転方向と角度θとから制御情報を決定する（S40）。
【００３５】
その場合、回転方向が左回転であった場合には、パターン判定部４５は操作アイテムとして音量調節が選択されたものとみなし、角度θの大きさ（０°〜３６０°の範囲）に応じた音量レベルを決定して、それを制御信号出力部４６に通知する（S40,S41）。制御信号出力部４６では通知された音量レベルに基づいて音声増幅器１２へ利得制御信号を出力し、音声増幅器１２において指定されたレベルへの音量調節が行われる（S41）。
【００３６】
一方、円軌道Ｃ(i-1)の回転方向が右回転であった場合には、パターン判定部４５は操作アイテムとしてチャンネル選択が選択されたものとみなし、円軌道Ｃ(i)の回転方向と角度θとの組み合わせに応じて選択チャンネルを決定して、それを制御信号出力部４６に通知する（S40,S42）。制御信号出力部４６はチューナ部５に対して選局制御信号を出力し、チューナ部５において指定されたチャンネルへの切り換えが行われる（S42）。
【００３７】
具体的には、図１２に示されるように、パターン判定部４５は、円軌道Ｃ(i)が左回転の場合には選択チャンネルＮを（θ／４５）＋（３／２）≧Ｎ＞（θ／４５）＋（１／２）を満たす整数とし（S51,S52）、円軌道Ｃ(i)が右回転の場合には選択チャンネルＮを（θ／４５）＋（１９／２）≧Ｎ＞（θ／４５）＋（１７／２）を満たす整数として決定し（S51,S53）、その通知を受けた制御信号出力部４６がＮチャンネルに設定するための選局制御信号を出力する（S54）。従って、円軌道Ｃ(i)が左回転の場合には、２２.５°＞θ≧−２２.５°で１チャンネル、６７.５°＞θ≧２２.５°で２チャンネル、１１２.５°＞θ≧６７.５°で３チャンネル、・・・・、３３７.５°＞θ≧２９２.５°で８チャンネルがそれぞれ設定され、円軌道Ｃ(i)が右回転の場合には、２２.５°＞θ≧−２２.５°で９チャンネル、６７.５°＞θ≧２２.５°で１０チャンネル、１１２.５°＞θ≧６７.５°で１１チャンネル、・・・・、３３７.５°＞θ≧２９２.５°で１６チャンネルがそれぞれ設定されることになる。例えば、図１４に示すように、円軌道Ｃ(i)の中心が６７.５°＞θ≧２２.５°の範囲にあり、その円軌道Ｃ(i)の回転方向が左回転であった場合には２チャンネルの設定になり、右回転であった場合には１０チャンネルの設定になる。
【００３８】
このように、この実施形態によれば、操作者５０は、ＣＣＤカメラ１にほぼ正対した状態での手の回転動作により、音量調節又はチャンネル選択のいずれかの操作アイテムを選択すると共にその選択した操作アイテムにおける制御量の設定を行うことができる。そして、この実施形態の方式によれば、一般的に、円軌道Ｃ(i-1)の回転方向で２通り、角度θの範囲で８通り、円軌道Ｃ(i)の回転方向で２通りの選択肢を構成でき、全体で３２（＝２×８×２）通りのパターン分類が可能になる。従って、この実施形態のように操作アイテムの選択とその制御量の設定という適用形態以外に、上位操作アイテムと下位操作アイテムの選択のように操作情報の階層的系列化を図るような適用形態も可能であり、手の回転動作だけで多種多様な操作アイテムを簡単に遠隔制御できるシステムを実現できる。
【００３９】
［実施形態３］
前記実施形態１,２では１人の操作者５０が手を円軌道に沿って動かすことでカメラ付きＴＶの遠隔操作を行う場合について説明したが、複数の操作者が同時に前記動作で遠隔操作を行うような場合もあり得る。その場合、双方の動作を操作情報の同時入力として受け付けることはできないため、いずれか一方の動作を優先させて選択する必要がある。例えば、図１５に示すように、２人の操作者５０a,５０bがそれぞれＣＣＤカメラ１に向かって前記動作を同時に行っている場合には、何等かの基準によっていずれか一方の操作者の動作のみを操作情報入力として処理しなければならない。
【００４０】
この実施形態の操作情報入力部２０では、複数の操作者が手を動かして描いた各円軌道の内で、半径が最大であるものだけを選択して入力操作情報として採用するようになっており、同操作情報入力部２０の構成は図１６のブロック図で示される。同図と図２（実施形態１の操作情報入力装置のブロック図）を比較すれば明らかなように、機能ブロックとしての構成はほぼ同様であるが、特徴点抽出部２５'から円軌道判定部２９'までが複数の操作者による各動作情報をそれぞれ並行に処理できるようになっている点と、円軌道判定部２９'の次段に円軌道選択部６１が設けられている点において相違している。そして、図１６では解像度変換部２１から円軌道選択部６１までのブロック図になっているが、その円軌道選択部６１による選択情報の出力先は、実施形態１と同様の制御を行う場合であれば制御信号出力部３１になり（図２参照）、実施形態２と同様の制御を行う場合であれば第１確認部４１と円情報演算部４２になる（図１０参照）。
【００４１】
この実施形態における特徴点抽出処理は図１７のフローチャートに示す手順で実行される。先ず、図１６の操作情報入力装置において解像度変換部２１と画像メモリ２２と差分演算部２３と差分記憶部２４に関しては実施形態１（図２）の構成と同様であり、図１７におけるステップS61からステップS65までの処理も実施形態１（図３）の場合と同様である。即ち、ＣＣＤカメラ１から入力された画像データは解像度変換部２１で８×８画素を１ブロックとするブロック単位に分割され、それぞれのブロック（６４画素分）についての輝度平均値（絶対値）を算出し、その輝度平均値を各ブロックの輝度データとして画像メモリ（フレームバッファ）２２と差分演算部２３に入力される（S61〜S63）。差分演算部２３では、現フレームの各ブロックの平均輝度値と画像メモリ２２に格納されている直前フレームの対応位置にある各ブロックの平均輝度値との差分を求め、その差分データを差分記憶部２４へ書き込む（S63,S64）。尚、画像メモリ２２における直前フレームの各ブロックの平均輝度値は現フレームの各ブロックの平均輝度値に書き換えられる（S65）。
【００４２】
次に、この実施形態では、１フレームを４×４ブロック単位の正方形状の各検査領域に分割し、差分記憶部２４の各ブロックに係る差分データの内で、所定閾値以上の差分データに対応するブロックを含んだ検査領域を検出し、その検出した検査領域の内の隣接したもの同士で検査領域群を構成する（S66,S67）。ここで、前記閾値は手の動きを捉えた際に生じる差分データの下限値に設定されており、ブロックの１６倍のサイズである検査領域単位で手の動きを捉えるようにしている。このようにサイズが大きい検査領域を単位とすると共に、手の動き部分を含む検査領域を集合させた検査領域群を構成させるのは、手を動かしている操作者が複数存在する場合に、それぞれの手の動きを明確に分離して検出できるようにするためである。例えば、図１５に示すように２人の操作者５０a,５０bがそれぞれ手を円軌道に沿って動かしている場合には、図１８（Ａ）における斜線を施した２つの部分が各操作者５０a,５０bの手の動きに対応した検査領域群７１,７２となり、この事例では双方の検査領域群７１,７２が５検査領域以上離隔した位置にあるが、前記の検査領域群の構成方法によれば、各検査領域群は少なくとも１検査領域以上離隔させて構成される。
【００４３】
検査領域群が構成されると、その中に含まれる各ブロックに係る差分データにおいて、その大きさが第１番目から第４番目までのものに対応するブロックを検索し、その検索結果で得られた各ブロックの空間座標の平均値を演算して特徴点を決定する（S68,S69）。即ち、検査領域群の範囲内でより顕著な動きがあるブロックを検索し、その動きの中心を特徴点として決定するが、この実施形態においては、検査領域群が複数ある場合（手を動かしている操作者が複数存在する場合）に、それぞれの検査領域群毎に特徴点を求められることになる。例えば、図１８（Ａ）のように検査領域群７１,７２が構成されている場合には、各検査領域群７１,７２毎に同図（Ｂ）のような各ブロック群７３,７４が検索され、更に各ブロック群７３,７４毎に同図（Ｃ）のような特徴点７５,７６が決定される。
【００４４】
決定した特徴点の座標は特徴点記憶部２６'にリングバッファ方式で更新しながら書き込まれるが、特徴点記憶部２６'は予め複数の区分領域に分割されており、前記のように複数系列の特徴点が得られる場合には、各区分領域に分けて書き込まれる（S70）。尚、実施形態１の場合と同様に、操作者が手を２回転させる時間を２秒間とし、特徴点のＸ座標とＹ座標をそれぞれ１バイトで表すと共に、前記区分領域を５つ構成しておくとすると、この実施形態の特徴点記憶部２６'には６００（バイト）［＝２（バイト）×３０（フレーム）×２（秒）×５（区分領域）］程度のメモリを用意することになる。そして、前記のステップS61からステップS69までの動作はＣＣＤカメラ１から１フレーム分の撮像画像データが取り込まれる度に繰り返して実行され（S70→S61〜S70）、操作者が手を動かしている状態では、２秒前から現時点までの手の軌跡に対応する特徴点の空間座標が特徴点記憶部２６に連続的にセーブされる。例えば、図１８（Ｃ）の場合であれば、各操作者５０a,５０bの手に対応した特徴点７５,７６の空間座標が特徴点記憶部２６'の各区分領域に対して独立した系列情報として書き込まれてゆく。
【００４５】
次に、図１９のフローチャートに示す処理手順により、特徴点記憶部２６'に書き込まれた特徴点について極値位置検出部２７'が極値位置の検出を行い（S71）、極値情報記憶部２８'に極値情報（極値位置の各空間座標と検出時刻）を書き込むと共に（S72）、時間的有効性確認部３０'が各極値位置の有効性を時間的な観点から確認するが（S73）、それらの処理は実施形態１の場合（図４の極値検出処理）と同様であり、ここでは詳しい説明を省略する。但し、この実施形態では前記のように特徴点の軌跡が複数系列で得られる場合を考慮しているため、各系列の特徴点の軌跡座標についてそれぞれ極値を求め、極値情報記憶部２８'にも予め複数の区分領域を構成しておき、各系列毎に極値情報を各区分領域に書き込むようになっている。また、時間的有効性確認部３０'は、各系列毎に極値位置の時間的有効性を確認してフラグ処理を実行する。
【００４６】
前記極値検出処理（時間的有効性確認も含む）により極値情報記憶部２８'に書き込まれた極値情報は円軌道判定部２９'での判定対象とされる。この円軌道判定処理は図２０のフローチャートに示す処理手順で実行されるが、これも基本的には実施形態１の場合（図５の極値検出処理）と同様であり、ここでは詳しい説明を省略する。但し、この実施形態では前記のように極値情報が複数系列で得られる場合を考慮しているため、極値情報記憶部２８'の各区分領域に書き込まれている各系列の極値情報毎に実行される。また、この実施形態では、複数系列の極値情報について円軌道判定を行った場合に、円軌道選択部６１により後述の円軌道選択処理を行うため、図２０では実施形態１,２の場合（図５，図１１）のように回転方向等を用いた制御信号出力手順までは表現されていない。
【００４７】
このように、複数系列の極値情報が得られている場合には、円軌道の判定はそれぞれの系列について行われる。従って、例えば、図１８（Ｃ）に示したように、２人の操作者５０a,５０bが同時に手を円軌道に沿って動かしていた場合には、円軌道判定部２９'が２つの肯定的判定を行うことになるが、２つの円軌道を同時に操作情報として受け付けることはできず、いずれかを一方を選択させる必要がある。
【００４８】
この実施形態では、円軌道選択部６１が、図２１のフローチャートに示す処理手順によって、いずれの円軌道を制御情報として用いるかの選択を行う。先ず、１フレーム期間内に円軌道判定が有り、その判定が複数の円軌道についてなされた場合には、直ちに各円軌道の半径を算出する（S91〜S93）。この半径の算出は、極値情報記憶部２８'に書き込まれている極値位置を用いて行うことができる。即ち、各円軌道に対応する各系列の右と左又は上と下の極値位置の空間座標（図６参照）を用いて、左右関係又は上下関係にある極値位置間の距離（直径）を求め、その距離の半分として算出できる。
【００４９】
そして、各円軌道の半径が求まると、それらの大きさを比較し、半径が最大の円軌道だけを入力操作に係る円軌道として選択する（S94）。このように半径の大きさを選択基準としているのは、通常、円軌道の半径が大きいということは、操作者が機器に対してより近く位置して手を動かしていると推定でき、より近い位置に居るということは、それだけ機器を制御操作しようとする意思が強いものとみなせるからである。従って、図１８（Ｃ）の場合であれば、操作者５０aの手の動きによる円軌道の方が操作者５０bのそれよりも大きいため、操作者５０aによる前記円軌道が選択されて、入力操作情報が作成されることになる。尚、円軌道判定部２９'が単一の円軌道判定しか行わなかった場合には、実施形態１,２の場合と同様に、その判定された円軌道を入力操作に係る円軌道とすることは当然である（S92→S95）。
【００５０】
以上のように、円軌道選択部６１では円軌道の半径の大きさを選択基準としているが、そのような基準だけでなく、円軌道の一周回分の所要時間を基準にしてもよい。この場合の円軌道選択部６１での処理手順は図２２のフローチャートで示され、１フレーム期間内に複数の円軌道判定がなされた場合には、直ちに各円軌道の一周回分の所要時間を算出し、最短所要時間の円軌道だけを入力操作に係る円軌道として選択することになる（S101〜S104）。また、前記所要時間の演算には、極値情報記憶部２８'に書き込まれている極値情報における各極値位置の検出時刻を用いればよい。この選択基準は、操作者による機器を制御操作しようとする意思の強さが手を動かす速度に反映されるであろうという推定に基づく。尚、円軌道判定部２９'が単一の円軌道判定しか行わなかった場合については、図２１の場合と同様である（S105）。
【産業上の利用可能性】
【００５１】
本発明は、撮像データから操作者の手の動きを認識して予め対応付けられた操作情報を機器へ入力する操作情報入力装置に適用できる。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施形態に係る操作情報入力装置を適用したカメラ付きＴＶ（ＴＶ電話機能も併有）のブロック図である。
【図２】実施形態１の操作情報入力部における撮像データ解析に基づく音量調整機能部分のブロック図である。
【図３】実施形態１における特徴点抽出処理手順を示すフローチャートである。
【図４】実施形態１における極値検出処理手順を示すフローチャートである。
【図５】実施形態１における円軌道判定処理と制御信号出力の手順を示すフローチャートである。
【図６】特徴点の内の各極値位置とそれらの空間座標、及び極値位置の空間座標が円軌道に適合するための条件を示す図である。
【図７】２回の円軌道（左回転）が０.５秒より長いインターバルを介して判定された状態を極値位置の変化で示した図である。
【図８】２回分の円軌道（左回転）が途切れなく連続して判定された状態を極値位置の変化で示した図である。
【図９】２回の円軌道（左回転）が０.５秒以下のインターバルを介して判定された状態を極値位置の変化で示した図である。
【図１０】実施形態２の操作情報入力部における撮像データ解析に基づく音量制御・チャンネル選択機能部分のブロック図である。
【図１１】操作情報入力部における撮像データ解析に基づく音量制御・チャンネル選択手順を示すフローチャートである。
【図１２】チャンネル選択手順の詳細なフローチャートである。
【図１３】第１確認部が確認する第１条件（円軌道Ｃ(i-1)と円軌道Ｃ(i)との時間差に係る条件）の説明図である。
【図１４】円軌道Ｃ(i)と円軌道Ｃ(i-1)の大きさ及び位置関係の説明図である。
【図１５】２人の操作者がＣＣＤカメラに向かって手を円軌道に沿って動かしている状態の画像を示す図である。
【図１６】実施形態３の操作情報入力部における撮像画像データの入力部から円軌道選択処理部までの構成を示すブロック図である。
【図１７】実施形態３における特徴点抽出処理手順を示すフローチャートである。
【図１８】２人の操作者がＣＣＤカメラに向かって手を円軌道に沿って動かしている状態の画像において、（Ａ）検出された検査領域からなる検査領域群を示す図、（Ｂ）検査領域群内のブロックで差分データの大きさが第１番目から第４番目までのブロック群を示す図、（Ｃ）決定された特徴点の位置を示す図である。
【図１９】実施形態３における極値検出処理手順を示すフローチャートである。
【図２０】実施形態３における円軌道判定処理手順を示すフローチャートである。
【図２１】実施形態３における半径比較に基づく円軌道選択処理手順を示すフローチャートである。
【図２２】実施形態３における速度比較に基づく円軌道選択処理手順を示すフローチャートである。
【符号の説明】
【００５３】
１…ＣＣＤカメラ、２…マイクロホン、３…ネットワークＩ/Ｆ、４…コーデック部、５…チューナ部、６…ＡＶデコーダ、７…映像合成部、８…ＴＶモニタ、９…表示制御部、１０…音声切替部、１１…スピーカ、１２…音声増幅器、１３…操作パネル、２０…操作情報入力部、２１…解像度変換部、２２…画像メモリ、２３…差分演算部、２４…差分記憶部、２５，２５'…特徴点抽出部、２６，２６'…特徴点記憶部、２７，２７'…極値位置検出部、２８，２８'…極値情報記憶部、２９，２９'…円軌道判定部、３０，３０'…時間的有効性確認部、３１…制御信号出力部、４１…第１確認部、４２…円情報演算部、４３…円情報記憶部、４４…第２確認部、４５…パターン判定部、４６…制御信号出力部、５０,５０a,５０b…操作者、６１…円軌道選択部。
【図１】
2007172577.tif 000003
【図２】
2007172577.tif 000004
【図３】
2007172577.tif 000005
【図４】
2007172577.tif 000006
【図５】
2007172577.tif 000007
【図６】
2007172577.tif 000008
【図７】
2007172577.tif 000009
【図８】
2007172577.tif 000010
【図９】
2007172577.tif 000011
【図１０】
2007172577.tif 000012
【図１１】
2007172577.tif 000013
【図１２】
2007172577.tif 000014
【図１３】
2007172577.tif 000015
【図１４】
2007172577.tif 000016
【図１５】
2007172577.tif 000017
【図１６】
2007172577.tif 000018
【図１７】
2007172577.tif 000019
【図１８】
2007172577.tif 000020
【図１９】
2007172577.tif 000021
【図２０】
2007172577.tif 000022
【図２１】
2007172577.tif 000023
【図２２】
2007172577.tif 000024