【手続補正書】
【提出日】平成16年6月30日(2004.6.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の特徴点をもつ所定平面上の被検出位置を検出する装置であって、
前記所定平面上の被検出位置に予め定められた撮像面上の基準位置に合わせた状態で撮像する撮像手段と、
前記撮像手段により得られた画像データから撮像面上の前記特徴点の座標位置を特定する特徴点特定手段と、
前記特徴点特定手段により特定された座標位置に基づいて、撮像面に対する所定平面の姿勢パラメータを演算する姿勢演算手段と、
前記姿勢演算手段の結果と前記特徴点の座標位置とに基づいて、前記所定平面上の被検出位置の座標位置を演算する座標演算手段と、
を備えたことを特徴とする位置検出装置。
【請求項２】
前記基準位置は撮像面の座標系の原点であることを特徴とする請求項１記載の位置検出装置。
【請求項３】
前記基準位置は前記撮像手段の光軸が撮像面を切る点であることを特徴とする請求項１記載の位置検出装置。
【請求項４】
前記被検出位置に予め定められた撮像面上の基準位置に合わせた状態で撮像が行われるようにするためのファインダーを備えたことを特徴とする請求項１記載の位置検出装置。
【請求項５】
前記被検出位置に予め定められた撮像面上の基準位置に合わせた状態で撮像が行われるようにするための前記所定平面上の被検出位置を輝点とする光ビームを照射する光ビーム照射手段を備えたことを特徴とする請求項１記載の位置検出装置。
【請求項６】
前記光ビーム照射手段の光軸は、撮像手段の光軸とほぼ一致していることを特徴とする請求項５記載の位置検出装置。
【請求項７】
前記所定平面は平面に存在する表示画像であることを特徴とする請求項１記載の位置検出装置。
【請求項８】
前記複数の特徴点は表示された画像であることを特徴とする請求項１に記載の位置検出装置。
【請求項９】
前記平面姿勢演算手段は、前記特徴点により形成される消失点に基づいて演算することを特徴とする請求項１記載の位置検出装置。
【請求項１０】
前記平面姿勢演算手段は、前記特徴点の座標位置に基づいて、消失特徴点を演算する消失点処理手段と、前記消失点処理手段の結果と前記特徴点の座標位置とに基づいて前記姿勢パラメータを演算する透視射影演算手段とを備えたことを特徴とする請求項１記載の位置検出装置。
【請求項１１】
前記消失点処理手段は、前記特徴点特定手段により特定された座標位置に基づいて消失点を算出する消失点算出手段と、前記消失点と前記撮像面上に予め定められた基準位置とを結ぶ消失直線を算出する消失直線算出手段と、
前記消失直線と前記特徴点の相隣接する２点間の直線との交点の座標位置を算出する消失特徴点算出手段とを備えたこと特徴とする請求項１０記載の位置検出装置。
【請求項１２】
前記消失特徴点算出手段は、前記消失点のうち一方の消失点が画像座標系のＸ軸またはＹ軸のいずれか一方に一致するように撮像画像データを画像上の基準位置を中心に回転させる画像座標変換手段により、撮像面に対する所定平面の姿勢パラメータを演算することを特徴とする請求項１１に記載の位置検出装置。
【請求項１３】
複数の特徴点をもつ所定平面上の被検出位置を検出する方法であって、
前記所定平面上の被検出位置に予め定められた撮像面上の基準位置を合わせた状態で撮像する撮像ステップと、
前記撮像ステップにより得られた画像データから撮像面上の前記特徴点の座標位置を特定する特徴点特定ステップと、
前記特徴点特定ステップにより特定された座標位置に基づいて、撮像面に対する所定平面の姿勢パラメータを演算する平面姿勢演算ステップと、
前記平面姿勢演算ステップの結果と前記特徴点の座標位置とに基づいて、前記所定平面上の被検出位置の座標位置を位置座標演算ステップと、
を含むことを特徴とする位置検出方法。
【請求項１４】
前記平面姿勢演算ステップは、前記特徴点の座標位置に基づいて、
消失点を演算する消失点処理ステップと、前記消失点処理ステップの結果と前記特徴点の座標位置とに基づいて前記姿勢パラメータを演算する透視射影演算ステップとを含むことを特徴とする請求項１３記載の位置検出方法。
【請求項１５】
前記消失点処理ステップは、前記消失点のうち一方の消失点が画像座標系のＸ軸またはＹ軸のいずれか一方に一致するように撮像画像データを画像上の基準位置を中心に回転させる画像座標変換ステップを含むことを特徴とする請求項１４記載の位置検出方法。
【請求項１６】
３次元空間内の所定平面の姿勢を検出する平面姿勢検出装置であって、
撮像面上の予め定められた基準位置を撮像座標系の原点として、前記所定平面上の少なくとも４つの特徴点を撮像する撮像手段と、
前記撮像手段により得られた画像データから撮像面上の前記特徴点の座標位置を特定する特徴点特定手段と、
前記特徴点の座標位置に基づいて消失点を算出処理する消失点処理手段と、前記消失点処理手段の結果と前記特徴点の座標位置とに基づいて撮像面に対する所定平面の姿勢パラメータを演算することを特徴とする平面姿勢検出装置。
【請求項１７】
前記基準位置は撮像手段の光軸が撮像面を切る点であることを特徴とする請求項１６記載の平面姿勢検出装置。
【請求項１８】
前記消失点処理手段は、前記特徴点特定手段により特定された座標位置に基づいて消失点を算出する消失点算出手段と、前記消失点と前記撮像面上に予め定められた基準位置とを結ぶ消失直線を算出する消失直線算出手段と、前記消失直線と前記特徴点の相隣接する２点間の直線との交点の座標位置を算出する消失特徴点算出手段とを備えたことを特徴とする請求項１６記載の平面姿勢検出装置。
【請求項１９】
前記消失点処理手段は、前記消失点のうち一つの消失点が画像座標系のＸ軸またはＹ軸のいずれか一方に一致するように撮像画像データを画像上の基準位置を中心に回転させる画像座標変換手段により、撮像面に対する所定平面の姿勢パラメータを演算することを特徴とする請求項１６記載の平面姿勢検出装置。
【請求項２０】
前記所定平面は平面上に表示された画像であることを特徴とする請求項１６記載の平面姿勢検出装置。
【請求項２１】
前記複数の特徴点は前記所定平面上に表示された画像であることを特徴とする請求項１６記載の平面姿勢検出装置。
【請求項２２】
３次元空間内の所定平面の姿勢を検出する平面姿勢検出方法であって、
撮像面上の予め定められた基準位置を撮像画像座標系の原点として  前記所定平面上の少なくとも４つの特徴点を撮像する撮像ステップと、
前記撮像ステップにより得られた画像データから撮像面上の前記特徴点の座標位置を特定する特徴点特定ステップと、
前記特徴点の座標位置に基づいて、消失点を算出処理する消失点処理ステップとを含み、
前記消失点処理ステップの結果と前記特徴点の座標位置とに基づいて撮像面に対する所定平面の姿勢パラメータを演算することを特徴とする平面姿勢検出方法。
【請求項２３】
前記消失点処理ステップは、前記特徴点特定ステップにより特定された座標位置に基づいて消失点を算出する消失点算出ステップと、
前記消失点と前記撮像面上に予め定められた基準位置とを結ぶ消失直線を算出する消失直線算出ステップと、前記消失直線と前記特徴点の相隣接する２点間の直線との交点の座標位置を算出する消失特徴点算出ステップとを含むことを特徴とする請求項２２記載の平面姿勢検出方法。
【請求項２４】
前記消失点処理ステップは、前記消失点のうち１つの消失点が画像座標系のＸ軸またはＹ軸のいずれか一方に一致するように撮像画像データを画像上の基準位置を中心に回転させる画像座標変換ステップを含むことを特徴とする請求項２２記載の平面姿勢検出方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
また、特開平６ー３０８８７９号公報は、スクリーンの近傍に複数の発光素子を配置し、指示器には複数の発光素子からの光を受光する受光素子が設けられ、発光素子からの光強度や光の方向性を基に計算機によって、指示器が指し示す軸方向の表示画面における位置が算出できるようにした光学式ポインティングシステムである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
特開平６ー３０８８７９号公報のように、表示画面上に発光素子を設けて発光する光を指示器に設けられた光電変換素子で受光する方法は、位置検出するために表示画面に発光素子を設けなければならないため汎用性に欠けるという問題がある。さらに、光強度の指向性とその強度を検出して被検出位置を算出するための受光素子構造の工夫が必要となり、しかも、スクリーン上の被検出位置精度が高くないという問題が生じる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
また、複数の撮像装置を用いて３次元空間内の被写体の位置計測を行う方法は、装置が大型化し演算処理量も多くなってしまうという問題がある。
本発明の目的は、撮像された画像データのみの情報から撮像対象である所定平面の姿勢位置や平面上の被検出位置を簡単に検出でき、かつ、自由度の高い操作性を有する小型で軽量な位置検出装置及びその方法、平面姿勢検出装置及びその方法を提供することである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明の請求項１記載の複数の特徴点をもつ所定平面上の被検出位置を検出する装置は、前記所定平面上の被検出位置に予め定められた撮像面上の基準位置に合わせた状態で撮像する撮像手段と、前記撮像手段により得られた画像データから撮像面上の前記特徴点の座標位置を特定する特徴点特定手段と前記特徴点特定手段により特定された座標位置に基づいて、撮像面に対する所定平面の姿勢パラメータを演算する姿勢演算手段と前記姿勢演算手段の結果と前記特徴点の座標位置とに基づいて、前記所定平面上の被検出位置の座標位置を演算する座標演算手段とを備えたことを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の請求項１３記載の位置検出方法は、前記所定平面上の被検出位置に予め定められた撮像面上の基準位置を合わせた状態で撮像する撮像ステップと前記撮像ステップにより得られた画像データから撮像面上の前記特徴点の座標位置を特定する特徴点特定ステップと、前記特徴点特定ステップにより特定された座標位置に基づいて撮像面に対する所定平面の姿勢パラメータを演算する平面姿勢演算ステップと、前記平面姿勢演算ステップの結果と前記特徴点の座標位置とに基づいて、前記所定平面上の被検出位置の座標位置を位置座標演算ステップとを含むことを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の請求項１６記載の平面姿勢検出装置は、撮像面上の予め定められた基準位置を撮像座標系の原点として、前記所定平面上の少なくとも４つの特徴点を撮像する撮像手段と、前記撮像手段により得られた画像データから撮像面上の前記特徴点の座標位置を特定する特徴点特定手段と、前記特徴点の座標位置に基づいて消失点を算出処理する消失点処理手段と、前記消失点処理手段の結果と前記特徴点の座標位置とに基づいて撮像面に対する所定平面の姿勢パラメータを演算することを特徴とする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明の請求項２２記載の平面姿勢検出方法は、撮像面上の予め定められた基準位置を撮像画像座標系の原点として前記所定平面上の少なくとも４つの特徴点を撮像する撮像ステップと、前記撮像ステップにより得られた画像データから撮像面上の前記特徴点の座標位置を特定する特徴点特定ステップと、前記特徴点の座標位置に基づいて、消失点を算出処理する消失点処理ステップとを含み、前記消失点処理ステップの結果と前記特徴点の座標位置とに基づいて撮像面に対する所定平面の姿勢パラメータを演算することを特徴とする。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
（ｂ２）透視射影変換処理 （第４演算手段）
ここで、撮像面の画像座標系（Ｘ−Ｙ座標系）において矩形形状を特徴づける４個の特徴点の座標が特定された結果に基づいて、３次元空間内に置かれた撮像面に対する所定平面の姿勢パラメータ（ψ、γ）を算出するための透視射影変換処理について説明する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
所定平面上の被検出位置の座標を算出する際には、算出された２つの平面の姿勢パラメータ（ψ、γ）のいずれか１つが算出されていればよい。
今、特徴点が所定平面上に表示されている画像の４隅としたパソコン表示画面を考える。表示される最大ドット数Ｕmax、縦軸の最大ドット数Ｖmaxは既知であるので数１４中Ｘ*max＝Ｕmax、Ｙ*max＝Ｖmaxとすれば、被検出位置の座標位置が容易に算出される
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
計算に用いた撮像手段の光学パラメータは、焦点距離のみであり、ｆ=５ｍｍを使用した。また、撮像面に対するスクリーン平面の姿勢パラメータとして、ψ=６０度、γ=５度を用いた。
シミュレーション計算結果、得られた画像座標上の座標位置データに基づいて、諸々の関係式数６〜数１４から算出される姿勢パラメータ値ψ、γ及被検出位置の軸比ｍ、ｎが、予め設定した値になるか検証した。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
その結果、スクリーンの撮像面からの姿勢位置ならびに被検出位置は予め設定した６０度、５度という値に対して非常に精度良く一致しており、原理的に正しいことが検証できた。