【手続補正書】
【提出日】平成30年8月22日(2018.8.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定の操作面を含む空間内に存在する操作体に関する三次元の位置情報を取得する操作体取得手段と、
前記空間を撮像した二次元画像を取得する画像取得手段と、
前記操作体取得手段によって取得された前記三次元の位置情報に基づいて、前記操作体の端部に相当する第１の点を検出する第１検出手段と、
前記第１の点と、前記二次元画像に撮像された前記操作体の形状に基づいて、前記操作体の前記端部に相当する第２の点を検出する第２検出手段と、
前記第１検出手段が検出した前記第１の点の前記操作面に平行な二次元の位置情報と、前記第２検出手段が検出した前記第２の点の前記操作面に平行な二次元の位置情報とのいずれかを、前記操作体によって指示される前記操作面上の位置として認識する認識手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
さらに、前記二次元画像において、前記第１検出手段によって検出された前記第１の点の位置を含む注目領域を設定する設定手段と、
前記第２検出手段は、前記二次元画像のうち前記設定手段によって前記注目領域に撮像された前記操作体の形状に基づいて、前記操作体の前記端部に相当する第２の点を検出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記操作体取得手段は、各画素値に奥行き方向の距離が反映された距離画像から、前記操作体が被写体として写る領域を構成する画素群を取得する手段であって、前記距離は、前記空間に含まれる操作面に対する近接の程度に対応する距離であることを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記認識手段は、前記第１検出手段が検出した前記第１の点の位置が、前記空間に存在する操作面に対して所定の距離より近接している場合に、前記第１検出手段が検出した前記第１の点の前記操作面に平行な二次元の位置情報と、前記第２検出手段が検出した前記第２の点の前記操作面に平行な二次元の位置情報とのいずれかを、前記操作体によって指示される前記操作面上の位置として認識することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記認識手段は、前記第１検出手段が検出した前記第１の点の位置が、前記空間に存在する操作面に対して所定の距離より近接しているとみなされない場合は、前記第１の点の位置情報に基づいて前記操作体によって指示される前記操作面上の位置として認識し、
前記空間に存在する操作面に所定の距離より近接しているとみなされた場合に、前記第１の点の前記操作面に平行な二次元の位置情報と、前記第２の点の前記操作面に平行な二次元の位置情報とのいずれかを、前記操作体によって指示される前記操作面上の位置として認識するかを判定する処理を実行する
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記認識手段は、前記操作体の端部が前記操作面に所定の距離より近接している状態を、前記操作体の端部が前記操作面にタッチしている状態として認識することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記認識手段は、前記操作体の前記端部が前記操作面にタッチしている状態でいる間の位置に基づいて、前記情報処理装置に対して入力されるタッチ操作を認識することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記操作体とは、前記情報処理装置に操作を入力するユーザの腕であって、前記端部に対応する第１の点とは、前記ユーザの腕のうち指先に相当する点である
ことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
前記認識手段は、前記第１検出手段が検出した前記第１の点の三次元の位置情報と、前記第２検出手段が検出した前記第２の点の三次元の位置情報とのいずれかを、前記所定の操作体の端部に相当する操作位置の三次元の位置情報として認識する
ことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記認識手段は、前記距離画像から前記操作体取得手段によって取得される前記操作体が被写体として写る領域のうち、前記二次元画像に設定される前記第１の点の位置を含む注目領域に相当する部分の輪郭形状と、前記二次元画像のうち前記注目領域に撮像された前記操作体の輪郭形状との差異が所定の基準より大きい場合、前記第１の点の前記操作面に平行な二次元の位置情報、前記操作体によって指示される前記操作面上の位置として認識し、差異が所定の基準より小さい場合、前記第１の点の前記操作面に平行な二次元の位置情報と、前記第２の点の前記操作面に平行な二次元の位置情報とのいずれかを、前記操作体によって指示される前記操作面上の位置として認識するかを判定する処理を実行する
ことを特徴とする請求項３に記載の情報処理装置。
【請求項１１】
前記二次元画像は、赤外光を撮像した画像であって、
前記認識手段は、前記二次元画像のうち前記第１の点の位置を含む注目領域の内部でエッジを検出することによって、前記操作体の輪郭の形状を取得することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
【請求項１２】
操作体取得手段により、所定の操作面を含む空間内に存在する操作体に関する三次元の位置情報を取得する操作体取得工程と、
画像取得手段により、前記空間を撮像した二次元画像を取得する画像取得工程と、
第１検出手段により、前記操作体取得工程で取得された前記三次元の位置情報に基づいて、前記操作体の端部に相当する第１の点を検出する第１検出工程と、
第２検出手段により、前記第１の点と、前記二次元画像に撮像された前記操作体の形状に基づいて、前記操作体の前記端部に相当する第２の点を検出する第２検出工程と、
認識手段により、前記第１検出工程で検出された前記第１の点の前記操作面に平行な二次元の位置情報と、前記第２検出工程で検出された前記第２の点の前記操作面に平行な二次元の位置情報とのいずれかを、前記操作体によって指示される前記操作面上の位置として認識する認識工程と、
を有することを特徴とする情報処理装置の制御方法。
【請求項１３】
コンピュータを、
所定の操作面を含む空間内に存在する操作体に関する三次元の位置情報を取得する操作体取得手段と、
前記空間を撮像した二次元画像を取得する画像取得手段と、
前記操作体取得手段によって取得された前記三次元の位置情報に基づいて、前記操作体の端部に相当する第１の点を検出する第１検出手段と、
前記第１の点と、前記二次元画像に撮像された前記操作体の形状に基づいて、前記操作体の前記端部に相当する第２の点を検出する第２検出手段と、
前記第１検出手段が検出した前記第１の点の前記操作面に平行な二次元の位置情報と、前記第２検出手段が検出した前記第２の点の前記操作面に平行な二次元の位置情報とのいずれかを、前記操作体によって指示される前記操作面上の位置として認識する認識手段と、
を備えることを特徴とする情報処理装置として機能させるプログラム。
【請求項１４】
請求項１２に記載されたプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【請求項１５】
人が手を使って操作を行う所定の空間内に定義された三次元の位置情報を反映する距離画像を取得する第１画像取得手段と、
前記空間を撮像することで得られる二次元画像を取得する第２画像取得手段と、
前記距離画像に反映された三次元の位置情報に基づいて、前記距離画像から前記人の手が被写体として写る手領域を検出する第１検出手段と、
前記二次元画像において、前記第１検出手段によって取得された手領域のうち基準となる位置を含むように設定される注目領域から前記人の手が被写体として写る手領域を検出する第２検出手段と、
前記第１検出手段が取得した手領域から得られる情報と、前記第２検出手段が取得した手領域から得られる情報に基づいて、前記人の手の状態を認識する認識手段と、
を備えることを特徴とする情報処理装置。
【請求項１６】
第１画像取得手段により、人が手を使って操作を行う所定の空間内に定義された三次元の位置情報が反映された距離画像を取得する第１画像取得工程と、
第２画像取得手段により、前記空間を撮像することで得られる二次元画像を取得する第２画像取得工程と、
第１検出手段により、前記距離画像に反映された三次元の位置情報に基づいて、前記距離画像から前記人の手が被写体として写る手領域を検出する第１検出工程と、
設定手段により、前記二次元画像において、前記第１検出工程で取得された手領域のうち基準となる位置を含むようにる注目領域から前記人の手が被写体として写る手領域を検出する第２検出工程と、
認識手段により、前記第１検出工程で取得された手領域から得られる三次元の位置情報と、前記第２検出工程で取得された手領域から得られる二次元の位置情報に基づいて、前記人の手の状態を認識する認識工程と、
を有することを特徴とする情報処理装置の制御方法。
【請求項１７】
コンピュータを、
人が手を使って操作を行う所定の空間内に定義された三次元の位置情報が反映された距離画像を取得する第１画像取得手段と、
前記空間を撮像することで得られる二次元画像を取得する第２画像取得手段と、
前記距離画像に反映された三次元の位置情報に基づいて、前記距離画像から前記人の手が被写体として写る手領域を検出する第１検出手段と、
前記二次元画像において、前記第１検出手段によって取得された手領域のうちの基準となる位置を含むように設定される注目領域から前記人の手が被写体として写る手領域を検出する第２検出手段と、
前記第１検出手段が取得した手領域から得られる三次元の位置情報と、前記第２検出手段が取得した手領域から得られる二次元の位置情報に基づいて、前記人の手の状態を認識する認識手段と、
を備えることを特徴とする情報処理装置として機能させるプログラム。
【請求項１８】
請求項１７に記載されたプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
以上の課題を解決するために、本発明の情報処理装置は、所定の操作面を含む空間内に存在する操作体に関する三次元の位置情報を取得する操作体取得手段と、前記空間を撮像した二次元画像を取得する画像取得手段と、前記操作体取得手段によって取得された前記三次元の位置情報に基づいて、前記操作体の端部に相当する第１の点を検出する第１検出手段と、前記第１の点と、前記二次元画像に撮像された前記操作体の形状に基づいて、前記操作体の前記端部に相当する第２の点を検出する第２検出手段と、前記第１検出手段が検出した前記第１の点の前記操作面に平行な二次元の位置情報と、前記第２検出手段が検出した前記第２の点の前記操作面に平行な二次元の位置情報とのいずれかを、前記操作体によって指示される前記操作面上の位置として認識する認識手段と、を備える。