【手続補正書】
【提出日】平成22年9月13日(2010.9.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
可視光カメラで構成される撮像手段と、
前記撮像手段で撮影された映像から人体の手の領域を検出する手領域検出手段と、
検出した手領域の形状および動きから手の操作を判定する手操作判定手段と、
判定した操作に基づいて選択したメニューをユーザーに知らせる選択メニュー表現手段と
を備え、
前記手領域検出手段は、
前記撮像手段で撮影された映像から肌色の領域を抽出する肌色領域抽出手段と、
前記撮像手段で撮影された背景画像と現在の映像との差分の領域を抽出する差分領域抽出手段と、
前記肌色領域抽出手段と前記差分領域抽出手段で抽出した領域の画像データを２値化して補正する２値化補正手段と、
前記２値化補正手段で得られた２値化画像領域の内部の点から輪郭までの最短距離を算出し、その値が最大となる距離最大点を手の中心として検出する距離算出手段と、
前記距離最大点の位置が撮像画面の中央部に近いほど大きく撮像画面の端に近いほど小さい補正値を距離最大点の距離の値に加算する中央重点補正手段と、
前記補正値を加算した距離最大点の距離の値が最大となる点が含まれる２値化画像領域から手領域を検出する手領域候補検出手段と、
前記手領域候補の輪郭の長さおよび面積を算出する輪郭長／面積算出手段と、
算出した輪郭長および面積から前記手領域候補が手であるか否かを決定する手領域決定手段と
を含んで構成されることを特徴とする操作入力装置。
【請求項２】
前記手操作判定手段は、
検出した手領域の輪郭の方向の度数分布を表すヒストグラムを算出する輪郭方向ヒストグラム算出手段と、
前記輪郭方向ヒストグラム算出手段により得られたヒストグラムの大小により手の方向を判定する手方向判定手段と、
前記手方向判定手段から得られた判定結果を保存する判定結果記憶手段と、
前記判定結果記憶手段に保存された所定時間の判定結果から現在の手の操作を判定する時系列データ判定手段と
を含んで構成されることを特徴とする請求項１に記載の操作入力装置。
【請求項３】
前記手操作判定手段は、
手領域検出手段で得られた手領域の中心から前記手領域の輪郭上の全ての点までの距離を算出する中心輪郭間距離算出手段と、
算出した距離が最大の点および最小の点から前記手領域の中心を結ぶ２つの線分の距離と方向により、手の方向を判定する手方向判定手段と、
前記手方向判定手段から得られた判定結果を保存する判定結果記憶手段と、
前記判定結果記憶手段に保存された所定時間の判定結果から現在の手の操作を判定する時系列データ判定手段と
を含んで構成されることを特徴とする請求項１に記載の操作入力装置。
【請求項４】
前記手操作判定手段は手領域検出手段からの検出結果に基づいて、少なくともメニューの候補変更、実行、キャンセルの判定を行う
ことを特徴とする請求項１に記載の操作入力装置。
【請求項５】
赤外線カメラで構成される撮像手段と、
前記撮像手段で撮影された映像から人体の手の領域を検出する手領域検出手段と、
検出した手領域の形状および動きから手の操作を判定する手操作判定手段と、
判定した操作に基づいて選択したメニューをユーザーに知らせる選択メニュー表現手段と
を備え、
前記手領域検出手段は、
前記撮像手段で撮影された背景画像と現在の映像との差分の領域を抽出する差分領域抽出手段と、
前記差分領域抽出手段で抽出した領域の画像データを２値化して補正する２値化補正手段と、
前記２値化補正手段で得られた２値化画像領域の内部の点から輪郭までの最短距離を算出し、その値が最大となる距離最大点を手の中心として検出する距離算出手段と、
前記距離最大点の位置が撮像画面の中央部に近いほど大きく撮像画面の端に近いほど小さい補正値を距離最大点の距離の値に加算する中央重点補正手段と、
前記補正値を加算した距離最大点の距離の値が最大となる点が含まれる２値化画像領域から手領域候補を検出する手領域候補検出手段と、
前記手領域候補の輪郭の長さおよび面積を算出する輪郭長／面積算出手段と、
算出した輪郭長および面積から前記手領域候補が手であるか否かを決定する手領域決定手段とを含んで構成されることを特徴とする操作入力装置。
【請求項６】
前記手操作判定手段は、
検出した手領域の輪郭の方向の度数分布を表すヒストグラムを算出する輪郭方向ヒストグラム算出手段と、
前記輪郭方向ヒストグラム算出手段により得られたヒストグラムの大小により手の方向を判定する手方向判定手段と、
前記手方向判定手段から得られた判定結果を保存する判定結果記憶手段と、
前記判定結果記憶手段に保存された所定時間の判定結果から現在の手の操作を判定する時系列データ判定手段と
を含んで構成されることを特徴とする請求項５に記載の操作入力装置。
【請求項７】
前記手操作判定手段は、
手領域検出手段で得られた手領域の中心から前記手領域の輪郭上の全ての点までの距離を算出する中心輪郭間距離算出手段と、
算出した距離が最大の点および最小の点から前記手領域の中心を結ぶ２つの線分の距離と方向により、手の方向を判定する手方向判定手段と、
前記手方向判定手段から得られた判定結果を保存する判定結果記憶手段と、
前記判定結果記憶手段に保存された所定時間の判定結果から現在の手の操作を判定する時系列データ判定手段と
を含んで構成されることを特徴とする請求項５に記載の操作入力装置。
【請求項８】
前記手操作判定手段は手領域検出手段からの検出結果に基づいて、 少なくともメニューの候補変更、実行、キャンセルの判定を行う
ことを特徴とする請求項５に記載の操作入力装置。
【請求項９】
赤外線カメラで撮影された画像の平均の赤外線レベルが所定の値よりも低い時には赤外線ＬＥＤを点灯し、高い時には赤外線ＬＥＤを消灯する 
ことを特徴とする請求項５に記載の操作入力装置。
【請求項１０】
可視光カメラと赤外線カメラからなり複数の異なる撮像手段と、
前記複数の異なる撮像手段で撮影された映像から人体の手の領域を検出する複数の手領域検出手段と、
検出した手領域の形状および動きから異なる方法で手の操作を判定する複数の手操作判定手段と、
前記複数の手操作判定手段で判定した複数の結果から一つの判定結果を選択する手操作判定選択手段と、
前記手操作判定選択手段で選択した操作に基づいて選択したメニューをユーザーに知らせる選択メニュー表現手段とを備え、
前記複数の手領域検出手段は、
可視光カメラで撮影された背景画像と現在の映像との差分の領域を抽出する可視光画像差分領域抽出手段と、
可視光カメラで撮影された映像から肌色の領域を抽出する肌色領域抽出手段と、
赤外線カメラで撮影された背景画像と現在の映像との差分の領域を抽出する赤外線画像差分領域抽出手段と、
前記赤外線差分領域抽出手段または肌色領域抽出手段及び可視光画像差分領域抽出手段で抽出した領域の画像データを２値化して補正する２値化補正手段と、
前記２値化補正手段で得られた２値化画像領域の内部の点から輪郭までの最短距離を算出し、その値が最大となる距離最大点を手の中心として検出する距離算出手段と、
前記距離最大点の位置が撮像画面の中央部に近いほど大きく撮像画面の端に近いほど小さい補正値を距離最大点の距離の値に加算する中央重点補正手段と、
前記補正値を加算した距離最大点の距離の値が最大となる点が含まれる２値化画像領域から手領域候補を検出する手領域候補検出手段と、
前記手領域候補の輪郭の長さおよび面積を算出する輪郭長／面積算出手段と、
算出した輪郭長および面積から前記手領域候補が手であるか否かを決定する手領域決定手段と
を含んで構成されることを特徴とする操作入力装置。
【請求項１１】
前記手操作判定手段は、
検出した手領域の輪郭の方向の度数分布を表すヒストグラムを算出する輪郭方向ヒストグラム算出手段と、
前記輪郭方向ヒストグラム算出手段により得られたヒストグラムの大小により手の方向を判定する手方向判定手段と、
前記手方向判定手段から得られた判定結果を保存する判定結果記憶手段と、
前記判定結果記憶手段に保存された所定時間の判定結果から現在の手の操作を判定する時系列データ判定手段と
を含んで構成されることを特徴とする請求項１０に記載の操作入力装置。
【請求項１２】
前記手操作判定手段は、
手領域検出手段で得られた手領域の中心から前記手領域の輪郭上の全ての点までの距離を算出する中心輪郭間距離算出手段と、
算出した距離が最大の点および最小の点から前記手領域の中心を結ぶ２つの線分の距離と方向により、手の方向を判定する手方向判定手段と、
前記手方向判定手段から得られた判定結果を保存する判定結果記憶手段と、
前記判定結果記憶手段に保存された所定時間の判定結果から現在の手の操作を判定する時系列データ判定手段と
を含んで構成されることを特徴とする請求項１０に記載の操作入力装置。
【請求項１３】
前記手操作判定手段は手領域検出手段からの検出結果に基づいて、少なくともメニューの候補変更、実行、キャンセルの判定を行う
ことを特徴とする請求項１０に記載の操作入力装置。
【請求項１４】
赤外線カメラで撮影された画像の平均の赤外線レベルが所定の値よりも低い時には赤外線ＬＥＤを点灯し、高い時には赤外線ＬＥＤを消灯する
ことを特徴とする請求項１０に記載の操作入力装置。
【請求項１５】
それぞれの撮像手段において、前記複数の手操作判定手段が、手の操作の判定を行い、同じ撮像手段における複数の手操作判定手段の判定結果の差が小さい方の撮像手段による判定結果を選択する
ことを特徴とする請求項１０に記載の操作入力装置。
【請求項１６】
前記複数の手操作判定手段が、 赤外線カメラで撮影された画像の平均の赤外線レベルが所定の値よりも低い時には赤外線カメラからの手操作判定結果を選択し、高い時には可視光カメラからの手操作判定結果を選択する
ことを特徴とする請求項１０に記載の操作入力装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
この発明に係る操作入力装置は、可視光カメラで構成される撮像手段と、前記撮像手段で撮影された映像から人体の手の領域を検出する手領域検出手段と、検出した手領域の形状および動きから手の操作を判定する手操作判定手段と、判定した操作に基づいて選択したメニューをユーザーに知らせる選択メニュー表現手段とを備え、前記手領域検出手段は、前記撮像手段で撮影された映像から肌色の領域を抽出する肌色領域抽出手段と、前記撮像手段で撮影された背景画像と現在の映像との差分の領域を抽出する差分領域抽出手段と、前記肌色領域抽出手段と前記差分領域抽出手段で抽出した領域の画像データを２値化して補正する２値化補正手段と、前記２値化補正手段で得られた２値化画像領域の内部の点から輪郭までの最短距離を算出し、その値が最大となる距離最大点を手の中心として検出する距離算出手段と、前記距離最大点の位置が撮像画面の中央部に近いほど大きく撮像画面の端に近いほど小さい補正値を距離最大点の距離の値に加算する中央重点補正手段と、前記補正値を加算した距離最大点の距離の値が最大となる点が含まれる２値化画像領域から手領域を検出する手領域候補検出手段と、前記手領域候補の輪郭の長さおよび面積を算出する輪郭長／面積算出手段と、算出した輪郭長および面積から前記手領域候補が手であるか否かを決定する手領域決定手段とを含んで構成されることを特徴とするものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、赤外線カメラで構成される撮像手段と、前記撮像手段で撮影された映像から人体の手の領域を検出する手領域検出手段と、検出した手領域の形状および動きから手の操作を判定する手操作判定手段と、判定した操作に基づいて選択したメニューをユーザーに知らせる選択メニュー表現手段とを備え、前記手領域検出手段は、前記撮像手段で撮影された背景画像と現在の映像との差分の領域を抽出する差分領域抽出手段と、前記差分領域抽出手段で抽出した領域の画像データを２値化して補正する２値化補正手段と、前記２値化補正手段で得られた２値化画像領域の内部の点から輪郭までの最短距離を算出し、その値が最大となる距離最大点を手の中心として検出する距離算出手段と、前記距離最大点の位置が撮像画面の中央部に近いほど大きく撮像画面の端に近いほど小さい補正値を距離最大点の距離の値に加算する中央重点補正手段と、前記補正値を加算した距離最大点の距離の値が最大となる点が含まれる２値化画像領域から手領域候補を検出する手領域候補検出手段と、前記手領域候補の輪郭の長さおよび面積を算出する輪郭長／面積算出手段と、算出した輪郭長および面積から前記手領域候補が手であるか否かを決定する手領域決定手段とを含んで構成されることを特徴とするものである。
また、可視光カメラと赤外線カメラからなり複数の異なる撮像手段と、前記複数の異なる撮像手段で撮影された映像から人体の手の領域を検出する複数の手領域検出手段と、検出した手領域の形状および動きから異なる方法で手の操作を判定する複数の手操作判定手段と、前記複数の手操作判定手段で判定した複数の結果から一つの判定結果を選択する手操作判定選択手段と、前記手操作判定選択手段で選択した操作に基づいて選択したメニューをユーザーに知らせる選択メニュー表現手段とを備え、前記複数の手領域検出手段は、可視光カメラで撮影された背景画像と現在の映像との差分の領域を抽出する可視光画像差分領域抽出手段と、可視光カメラで撮影された映像から肌色の領域を抽出する肌色領域抽出手段と、赤外線カメラで撮影された背景画像と現在の映像との差分の領域を抽出する赤外線画像差分領域抽出手段と、前記赤外線差分領域抽出手段または肌色領域抽出手段及び可視光画像差分領域抽出手段で抽出した領域の画像データを２値化して補正する２値化補正手段と、前記２値化補正手段で得られた２値化画像領域の内部の点から輪郭までの最短距離を算出し、その値が最大となる距離最大点を手の中心として検出する距離算出手段と、前記距離最大点の位置が撮像画面の中央部に近いほど大きく撮像画面の端に近いほど小さい補正値を距離最大点の距離の値に加算する中央重点補正手段と、前記補正値を加算した距離最大点の距離の値が最大となる点が含まれる２値化画像領域から手領域候補を検出する手領域候補検出手段と、前記手領域候補の輪郭の長さおよび面積を算出する輪郭長／面積算出手段と、算出した輪郭長および面積から前記手領域候補が手であるか否かを決定する手領域決定手段とを含んで構成されることを特徴とするものである。