(57)【要約】【課題】３次元姿勢検出用立体において、表面の図形の色を所定の操作に従い変化させることにより、立体の３次元姿勢に併せて、状態の検出・入力をも行う。【解決手段】３次元姿勢入力用状態指定機能付立体である間接照明型クリック機能付姿勢入力用球１は中空で、外表面には３個の孔１ａ、１ｂ、１ｃがあけられ、これら孔孔１ａ、１ｂ、１ｃの近くに点滅可能な青色ＬＥＤ（４７０ｎｍ）３ａと緑色ＬＥＤ（６３０ｎｍ）３ｂが配置されている。球１の外面は赤塗装されている。電源２のスイッチ２ａを押すと、青色ＬＥＤ３ａまたは緑色ＬＥＤ３ｂが点灯する。この球１は積分球と同等の構造になっているため、点灯した際には青色光または緑色光が孔１ａ、１ｂ、１ｃを通って外部に拡散的に照射される。これにより、この球１は３種類の状態を表すことができる。【選択図】    図１
2004152032.tif 000002
【特許請求の範囲】
【請求項１】
３次元姿勢入力装置に撮像画像を入力することによって、その３次元姿勢および状態を入力することが可能な立体であって、
内部には、所定のスペクトル分布で発光する点滅可能な１個の光源または互いに異なるスペクトル分布で発光する点滅可能な２個以上の光源を備え、
外表面には、前記光源で発光した光が通過する１個以上の孔を備え、
内表面が前記光源のスペクトル分布を包含するスペクトル分布の反射特性を有し、外表面が前記内部光源のスペクトル分布のいずれとも異なるスペクトル分布の反射特性を有する、
３次元姿勢入力用状態指定機能付立体。
【請求項２】
３次元姿勢入力装置に撮像画像を入力することによって、その３次元姿勢および状態を入力することが可能な立体であって、
内部には、所定のスペクトル分布の反射特性を有する移動可能な１個の反射面または互いに異なるスペクトル分布の反射特性を有する移動可能な２個以上の反射面を備え、
外表面には、前記反射面で反射した信号が通過する１個以上の孔を備え、
外表面が前記反射面のスペクトル分布のいずれとも異なるスペクトル分布の反射特性を有する、
３次元姿勢入力用状態指定機能付立体。
【請求項３】
３次元姿勢入力装置に撮像画像を入力することによって、その３次元姿勢および状態を入力することが可能な立体であって、
内部には、反射特性を所定のスペクトル分布に制御可能な１個以上の反射面を備え、
外表面には、前記反射面で反射した光が通過する１個以上の孔を備え、
外表面が前記反射面のスペクトル分布のいずれとも異なるスペクトル分布の反射特性を有する、
３次元姿勢入力用状態指定機能付立体。
【請求項４】
少なくとも一部分が回転対称体であり、前記回転対称体の外表面と該回転対称体の軸とが交わる位置に配置された図形を含む、姿勢により見え方が異なる図形を前記回転対称体の外表面に有する、
請求項１から３のいずれかに記載の３次元姿勢入力用状態指定機能付立体。
【請求項５】
前記回転対称体の外表面と該回転対称体の軸とが交わる位置に配置された図形は非回転対称図形である、
請求項４に記載の３次元姿勢入力装置用状態指定機能付立体。
【請求項６】
前記姿勢により見え方が異なる図形は、前記回転対称体の表面と該回転対称体の軸とが交わる位置に配置された回転対称図形と、該回転対称図形を中心とする点対称の位置に配置された２個以上の回転対称図形とを含む、
請求項４に記載の３次元姿勢入力用状態指定機能付立体。
【請求項７】
前記姿勢により見え方が異なる図形は、前記点対称の位置に配置された回転対称図形とそれぞれ対になる互いに異なる図形をさらに含む、
請求項６に記載の３次元姿勢入力用状態指定機能付立体。
【請求項８】
前記点対称の位置に配置された回転対称図形は、互いに異なる色である、
請求項６に記載の３次元姿勢入力用状態指定機能付立体。
【請求項９】
前記回転対称体は、楕円体、方物面体、回転対称台形錐体、正多面体、準正多面体、およびそれらの殻状体のいずれかである、
請求項４から８のいずれかに記載の３次元姿勢入力用状態指定機能付立体。
【請求項１０】
円板状もしくはリング状の主要部を有し、
外表面には、中心が前記主要部の回転対称軸上にあり、かつ前記主要部を含まない前記主要部と平行な平面上に配置された第１の回転対称図形と、
前記主要部を含む平面上で、かつ前記主要部の縁に囲まれた領域の外に配置された第２の回転対称図形を有する部材とを有する、
請求項１から３のいずれかに記載の３次元姿勢入力用状態指定機能付立体。
【請求項１１】
前記第１および第２の回転対称図形は同一サイズかつ同一形状である、
請求項１０に記載の３次元姿勢入力用状態指定機能付立体。
【請求項１２】
前記第１および第２の回転対称図形は互いに異なる色である、
請求項１０に記載の３次元姿勢入力用状態指定機能付立体。
【請求項１３】
外表面の少なくとも一部分が球面であり、前記球面上に姿勢により見え方が異なる図形を有する、
請求項１から３のいずれかに記載の３次元姿勢入力用状態指定機能付立体。
【請求項１４】
前記図形は、２個以上の回転対称図形と、前記回転対称図形と異なる１個以上の互いに異なる図形とを含む、
請求項１３に記載の３次元姿勢入力用状態指定機能付立体。
【請求項１５】
前記２個以上の回転対称図形は全て同一である、
請求項１４に記載の３次元姿勢入力用状態指定機能付立体。
【請求項１６】
前記回転対称図形を前記球面に内接する正多面体もしくは準正多面体の頂点の位置に有し、
前記互いに異なる図形を該多面体の中心と該多面体の面の重心とを結ぶ直線が前記球面と交わる点の位置に有する、
請求項１４または１５に記載の３次元姿勢入力用状態指定機能付立体。
【請求項１７】
前記互いに異なる図形を前記球面に内接する正多面体もしくは準正多面体の頂点の位置に有し、
前記回転対称図形を該多面体の中心と該多面体の面の重心とを結ぶ直線が前記球面と交わる点の位置に有する、
請求項１４または１５に記載の３次元姿勢入力用状態指定機能付立体。
【請求項１８】
請求項４から９のいずれかに記載の３次元姿勢入力用状態指定機能付立体の撮像画像から、該立体の３次元姿勢および状態を入力する方法であって、
前記撮像画像から前記回転対称体の外表面と該回転対称体の軸とが交わる位置を検出し、該軸の姿勢を算出する軸姿勢算出段階と、
前記撮像画像と前記立体の種々の姿勢に対応する前記図形のテンプレート画像群とを比較することにより前記立体の姿勢を算出する立体姿勢算出段階と、
前記撮像画像の前記孔の位置における色情報および輝度情報の少なくとも一方に基づき該立体の指定された状態を検出する状態検出手段とを有する、
３次元姿勢入力方法。
【請求項１９】
前記立体は、前記回転対称体の外表面と該回転対称体の軸とが交わる位置に配置された回転対称図形と、該回転対称図形を中心とする点対称の位置に配置された２個以上の回転対称図形と、前記点対称の位置に配置された回転対称図形とそれぞれ対になる互いに異なる図形とを有しており、
前記立体姿勢算出段階は、
前記撮像画像と前記立体の種々の姿勢に対応する前記点対称の位置に配置された回転対称図形のテンプレート画像群とを比較することにより前記立体の姿勢の候補を算出する段階と、
前記撮像画像と前記立体の種々の姿勢に対応する前記互いに異なる図形のテンプレート画像群とを比較することにより前記候補の中から前記立体の正確な姿勢を選択する段階とを有する、
請求項１８に記載の３次元姿勢入力方法。
【請求項２０】
前記立体は、前記回転対称体の外表面と該回転対称体の軸とが交わる位置に配置された回転対称図形と、該回転対称図形を中心とする点対称の位置に配置された２個以上の互いに異なる色の回転対称図形とを有しており、
前記立体姿勢算出段階は、
前記撮像画像と前記立体の種々の姿勢に対応する前記点対称の位置に配置された回転対称図形のテンプレート画像群とを比較することにより前記立体の姿勢の候補を算出する段階と、
前記撮像画像の前記点対称の位置に配置された回転対称図形のいずれかの位置における色情報に基づき前記候補の中から前記立体の正確な姿勢を選択する段階とを有する、
請求項１８に記載の３次元姿勢入力方法。
【請求項２１】
請求項１０から１２のいずれかに記載の３次元姿勢入力用状態指定機能付立体の撮像画像から、該立体の３次元姿勢および状態を入力する方法であって、
前記撮像画像において前記主要部の輪郭を検出し、前記輪郭から前記立体の３次元位置を求める位置算出段階と、
前記撮像画像において前記第１の回転対称図形および前記第２の回転対称図形の位置を検出および判別する図形検出段階と、
前記位置算出段階で求められた前記立体の３次元位置と前記図形検出段階で検出された前記第１の回転対称図形および前記第２の回転対称図形の位置に基づき前記立体の３次元姿勢を算出する姿勢算出段階と、
前記撮像画像の前記孔の位置における色情報および輝度情報の少なくとも一方に基づき該立方体の指定された状態を検出する状態検出段階とを有する、
３次元姿勢入力方法。
【請求項２２】
前記図形検出段階は、
前記撮像画像と回転対称図形のテンプレート画像とを比較することにより回転対称図形の撮像画像上での位置を検出する第１の段階と、
前記第１の段階で検出された位置の各々と前記輪郭との位置関係から各位置が前記第１の回転対称図形および前記第２の回転対称図形のいずれに対応しているかを判別する第２の段階とを有する、
請求項２１に記載の３次元姿勢入力方法。
【請求項２３】
前記立体の前記第１および第２の回転対称図形は互いに異なる色であり、
前記図形検出段階は、
前記撮像画像と回転対称図形のテンプレート画像とを比較することにより回転対称図形の撮像画像上での位置を検出する第１の段階と、
前記第１の段階で検出された位置の各々における撮像画像の色情報から各位置が前記第１の回転対称図形および前記第２の回転対称図形のいずれに対応しているかを判別する第２の段階とを有する、
請求項２１に記載の３次元姿勢入力方法。
【請求項２４】
請求項１３から１７のいずれかに記載の３次元姿勢入力用状態指定機能付立体の撮像画像から、該立体の３次元姿勢および状態を入力する方法であって、
前記撮像画像から前記立体の輪郭画像を得、前記輪郭画像から前記立体の３次元位置を算出する位置算出段階と、
前記撮像画像と前記立体の種々の姿勢に対応する前記図形の全体または部分のテンプレート画像群とを比較することにより前記立体の姿勢を算出する姿勢算出段階と、
前記撮像画像の前記孔の位置における色情報および輝度情報の少なくとも一方に基づき該立体の指定された状態を検出する状態検出手段とを有する、
３次元姿勢入力方法。
【請求項２５】
前記立体は、前記球面上に２個以上の回転対称図形と、前記回転対称図形と異なる１個以上の互いに異なる図形とを有しており、
前記姿勢算出段階は、
前記撮像画像と前記立体の種々の姿勢に対応する前記２個以上の回転対称図形のテンプレート画像とを比較することにより前記立体の姿勢の候補を算出する段階と、
前記撮像画像と前記立体の種々の姿勢に対応する前記互いに異なる図形のテンプレート画像群とを比較することにより前記候補の中から前記立体の正確な姿勢を選択する段階とを有する、
請求項２４に記載の３次元姿勢入力方法。
【請求項２６】
請求項４から９のいずれかに記載の３次元姿勢入力用状態指定機能付立体の撮像画像を入力することによって、該立体の３次元姿勢および状態を入力する装置であって、
前記撮像画像から前記回転対称体の表面と該回転対称体の軸とが交わる位置を検出し、該軸の姿勢を算出する軸姿勢算出手段と、
前記撮像画像と前記立体の種々の姿勢に対応する前記図形のテンプレート画像群とを比較することにより前記立体の姿勢を算出する立体姿勢算出手段、
前記撮像画像の前記孔の位置における色情報および輝度情報の少なくとも一方に基づき該立体の指定された状態を検出する状態検出手段とを有する、
３次元姿勢入力装置。
【請求項２７】
前記立体は、前記回転対称体の外表面と該回転対称体の軸とが交わる位置に配置された回転対称図形と、該回転対称図形を中心とする点対称の位置に配置された２個以上の回転対称図形と、前記点対称の位置に配置された回転対称図形とそれぞれ対になる互いに異なる図形とを有しており、
前記立体姿勢算出手段は、
前記撮像画像と前記立体の種々の姿勢に対応する前記点対称の位置に配置された回転対称図形のテンプレート画像群とを比較することにより前記立体の姿勢の候補を算出する手段と、
前記撮像画像と前記立体の種々の姿勢に対応する前記互いに異なる図形のテンプレート画像群とを比較することにより前記候補の中から前記立体の正確な姿勢を選択する手段とを有する、
請求項２６に記載の３次元姿勢入力装置。
【請求項２８】
前記立体は、前記回転対称体の外表面と該回転対称体の軸とが交わる位置に配置された回転対称図形と、該回転対称図形を中心とする点対称の位置に配置された２個以上の互いに異なる色の回転対称図形とを有しており、
前記立体姿勢算出手段は、
前記撮像画像と前記立体の種々の姿勢に対応する前記点対称の位置に配置された回転対称図形のテンプレート画像群とを比較することにより前記立体の姿勢の候補を算出する手段と、
前記撮像画像の前記点対称の位置に配置された回転対称図形のいずれかの位置における色情報に基づき前記候補の中から前記立体の正確な姿勢を選択する手段とを有する、
請求項２６に記載の３次元姿勢入力装置。
【請求項２９】
請求項１０から１２のいずれかに記載の３次元姿勢入力用状態指定機能付立体の撮像画像を入力することによって、該立体の３次元姿勢および状態を入力する装置であって、
前記撮像画像において前記主要部の輪郭を検出し、前記輪郭から前記立体の３次元位置を求める位置算出手段と、
前記撮像画像において前記第１の回転対称図形および前記第２の回転対称図形の位置を検出および判別する図形検出手段と、
前記位置算出手段で求められた前記立体の３次元位置と前記図形検出手段で検出された前記第１の回転対称図形および前記第２の回転対称図形の位置に基づき前記立体の３次元姿勢を算出する姿勢算出手段と、
前記撮像画像の前記孔の位置における色情報および輝度情報の少なくとも一方に基づき該立体の指定された状態を検出する状態検出手段とを有する、
３次元姿勢入力装置。
【請求項３０】
前記図形検出手段は、
前記撮像画像と回転対称図形のテンプレート画像とを比較することにより回転対称図形の撮像画像上での位置を検出する第１の手段と、
前記第１の手段で検出された位置の各々と前記輪郭との位置関係から各位置が前記第１の回転対称図形および前記第２の回転対称図形のいずれに対応しているかを判別する第２の手段とを有する、
請求項２９に記載の３次元姿勢入力装置。
【請求項３１】
前記立体の前記第１および第２の回転対称図形は互いに異なる色であり、
前記図形検出手段は、
前記撮像画像と回転対称図形のテンプレート画像とを比較することにより回転対称図形の撮像画像上での位置を検出する第１の手段と、
前記第１の手段で検出された位置の各々における撮像画像の色情報から各位置が前記第１の回転対称図形および前記第２の回転対称図形のいずれに対応しているかを判別する第２の手段とを有する、
請求項２９に記載の３次元姿勢入力装置。
【請求項３２】
請求項１３から１７のいずれかに記載の３次元姿勢入力用状態指定機能付立体の撮像画像を入力することによって、該立体の３次元姿勢および状態を入力する装置であって、
前記撮像画像から前記立体の輪郭画像を得、前記輪郭画像から前記立体の３次元位置を算出する位置算出手段と、
前記撮像画像と前記立体の種々の姿勢に対応する前記図形の全体または部分のテンプレート画像群とを比較することにより前記立体の姿勢を算出する姿勢算出手段と、
前記撮像画像の前記孔の位置における色情報および輝度情報の少なくとも一方に基づき該立体の指定された状態を検出する状態検出手段とを有する、
３次元姿勢入力装置。
【請求項３３】
前記立体は、前記球面上に２個以上の回転対称図形と、前記回転対称図形と異なる１個以上の互いに異なる図形とを有しており、
前記姿勢算出手段は、
前記撮像画像と前記立体の種々の姿勢に対応する前記２個以上の回転対称図形のテンプレート画像とを比較することにより前記立体の姿勢の候補を算出する手段と、
前記撮像画像と前記立体の種々の姿勢に対応する前記互いに異なる図形のテンプレート画像群とを比較することにより前記候補の中から前記立体の正確な姿勢を選択する手段とを有する、
請求項３２に記載の３次元姿勢入力装置。
【請求項３４】
請求項１８から２５のいずれかに記載の３次元姿勢入力方法をコンピューターに実行させるための３次元姿勢入力プログラム。
【請求項３５】
請求項１８から２５のいずれかに記載の３次元姿勢入力方法をコンピューターに実行させるための３次元姿勢入力プログラムを記録した、
コンピューターで読取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は３次元姿勢入力用立体、３次元姿勢入力方法、および装置に関する。
【０００２】
【従来の技術】
３次元マウスとして応用可能な技術として、特許文献１に３次元位置・姿勢計測装置が開示されている。
【０００３】
【特許文献１】
特許第３２９９４４１号公報
【０００４】
【発明が解決しようとする課題】
しかし、特許文献１の技術では、ＣＲＴの利用が必須であり、ディスプレイとして液晶ディスプレイなどを使用している場合には適用不可能であった。
【０００５】
本発明の目的は、立体の３次元姿勢に併せて、状態の入力を行なうことができる３次元姿勢入力用状態指定機能付立体を提供することにある。
【０００６】
本発明の他の目的は、上記３次元姿勢入力用状態指定機能付立体を用いて物体の３次元姿勢および状態を入力する方法、装置、プログラム、および記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】
本発明は、表面に図形が描かれた、姿勢が変動する立体を撮影し、画像上でのその立体の輪郭や図形の見えパターンからその立体の空間上での姿勢を計測するシステムにおいて、その立体にスペクトル分布Ｓ１の発光部位を設けたうえで、スペクトル分布Ｓ１のフィルターＦ１およびＳ１とは異なるスペクトル分布Ｓ２のフィルターＦ２による画像を撮影し、フィルターＦ２による画像を用いて姿勢の計測を行い、一方、フィルターＦ１による画像における発光または色変化部位近傍の輝度分布に基づき、発光または色変化部位の発光または色の状態を調べることで、状態（モード）の指定を入力する。
【０００８】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【０００９】
図１〜１２は、表面にドットが設けられた、位置および姿勢が変動する球を撮影し、画像上でのその輪郭やドットの見えパターンからその球の空間上での位置および姿勢を計測するシステムにおいて、状態（モード）指定機能の一種であるクリック機能の実現する３次元姿勢入力用状態指定機能付立体を示す図である。
【００１０】
図１は本発明の３次元姿勢入力用状態指定機能付立体の第１の例で、間接照明型クリック機能付姿勢入力用球を示している。この球１は中空で、外表面には３個の孔１ａ，１ｂ，１ｃがあけられ、これら孔１ａ，１ｂ，１ｃの近くに点滅可能な青色ＬＥＤ（４７０ｎｍ）３ａと緑色ＬＥＤ（６３０ｎｍ）３ｂが配置されている。球１の外面は赤塗装（つや消し）されている。電源２のスイッチ２ａを押すと、青色ＬＥＤ３ａまたは緑色ＬＥＤ３ｂが点灯する。この球１は積分球と同等の構造になっているため、点灯した際には青色光または緑色光が孔１ａ，１ｂ，１ｃを通って外部に拡散的に照射される。これにより、この球１は３種類の状態（モード）を表すことができる。
【００１１】
図２は本発明の３次元姿勢入力用状態指定機能付立体の第２の例で、間接照明型クリック機能付姿勢入力用球を示している。この球１は図１の球１と同様の構造で外面は赤塗装（つや消し）されているが、青色ＬＥＤ３ａの正面に、照射される直接光を防ぐために、拡散板３ｃが設けられている。
【００１２】
図３は本発明の３次元姿勢入力用状態指定機能付立体の第３の例で、直接照明型クリック機能付位置・姿勢入力装置用球を示している。この球１の孔１ａ，１ｂ，１ｃの部位に、透明アクリル製のボディ４ａで、側面が白塗装（つや消し）され、透明な拡散面４ｂを有し、青色ＬＥＤ４ｃを内蔵した光源ユニット４が配置されている。電源２のスイッチ２ａを押すと、青色ＬＥＤ４ｃが点灯し、透明アクリルボディ４ａが光ガイドとなって、青色光が透明な拡散面４ｂから孔１ａ，１ｂ，１ｃを経て拡散的に照射される。なお、球１の外面は赤塗装（つや消し）されている。
【００１３】
図４は本発明の３次元姿勢入力用状態指定機能付立体の第４の例で、機械式クリック機能付姿勢入力用球を示している。この球１は孔１ａ，１ｂ，１ｃの部位に信号ユニット５が配置されており、外面は図１から図３の球と同じく赤塗装（つや消し）であるが、内面は黒塗装（つや消し）となっている。信号ユニット５はハウジング５ａと、ハウジング５ａに配置されたピストン５ｂと、ピストン５ｂを図左向きに常時付勢するスプリング５ｃとからなり、ピストン５ｂの端面５ｄは青塗装（つや消し）で、ピストン５ｂは球１の外側に設けられたピストン７によってワイヤー６を介してスプリング５ｃのばね力に抗して移動するようになっている。通常はスプリング５ｃによって信号ユニット５のピストン５ｂの端面５ｄの青色塗装面が球１の表面に露出しているため、孔１ａ，１ｂ，１ｃの部位には青色が確認される。把持部位のピストン７を操作すると、信号ユニット５のピストン５ｂの端面５ｄの青色塗装面が球１内に埋没するため、孔１ａ，１ｂ，１ｃの部位には黒色が確認される。
【００１４】
図５は本発明の３次元姿勢入力用状態指定機能付立体の第５の例で、カラー液晶型クリック機能付姿勢入力用球を示している。この球１の孔１ａ，１ｂ，１ｃ内にはカラー液晶８が配置され、電源２内には液晶コントローラ２ｃが配置されている。この球１は図４の球１と同様に、内面が黒塗装（つや消し）となっている。外面は図１から図４の球１と同じく赤塗装（つや消し）となっている。スイッチ２ａの操作によりカラー液晶８の色や表示パターンが変化する。
【００１５】
図６は本発明の３次元姿勢入力用状態指定機能付立体の第６の例で、機械式クリック機能付姿勢入力用球を示している。立体１の孔１ａ、１ｂ、１ｃに、拡散面９ａが透明な光ファイバー９の端部が挿入されている。球１の外側には筒状の支持体１０が取付けられ、支持体１０の貫通孔１０ａから突出したピン１１ａが側面に固定され、端部に笠状パレット１１ｂを支持した支持棒１１の一部が支持体１０に挿入されている。笠状パレット１１ｂの端面には円形の青塗装（つや消し）部分があり、その他の部分は黒塗装（つや消し）となっている。支持棒１１のレバー１１ａを真上の位置にした状態では、光ファイバー９の端面に笠状パレット１１ｂの黒塗装部位があるため、孔１ａ、１ｂ，１ｃ部位には黒色が確認される。レバー１１ａを斜めの位置にした状態では、光ファイバー９の端面９ａに笠状パレット１１ｂの青塗装部位があるため、孔１ａ，１ｂ、１ｃ部位には青色が確認される。
【００１６】
図７は本発明の３次元姿勢入力用状態指定機能付立体の第７の例で、直接照明型クリック機能付姿勢入力用円板を示している。円板１２の円板部１２ａの中心に設けられた筒状体１２ｂ内に青色ＬＥＤ３ａが配置され、筒状体１２ｂの開口端には拡散板１２ｃが設置されている。本例では図２に示した球１と同一の原理で照明が点灯する。斜めからでも点灯状態を確認できるように、拡散板１２ｃが備えてある。なお、この円板１２は後述の図４８に示す立体１０３と外観は同じで、第１の回転対称１２ｄ、第２の回転対称図形１２ｅを有している。
【００１７】
図８は３次元姿勢入力用状態指定機能付立体の第８の例で、機械式クリック機能付位置・姿勢入力装置用円板を示している。本例は図４に示した球１と同一の原理で動作する。
【００１８】
図９は３次元姿勢入力用状態指定機能付立体の第９の例で、カラー液晶型クリック機能付入力装置用円板を示している。本例は図５に示した球１と同一の原理で動作する。
【００１９】
図１０は、球外面の反射率のスペクトル分布と内部光源および塗装面のスペクトル分布を示している。光源は青色発光ダイオード、塗装面は青色であり、球外面は赤色で塗装されている場合の輝度、反射率を示している。
【００２０】
図１１は、３次元姿勢入力用状態指定機能付立体の第１０の例で、クリック機能付位置姿勢入力装置用立体の例を示している。球１は孔が４つある球である。
【００２１】
図１２は、３次元姿勢入力用状態指定機能付立体の第１１の例で、クリック機能付位置姿勢入力用立体の他の例を示している。図１２（ａ）の例は立方体で、孔が４つあけられている。図１２（ｂ）の例は球で、文字Ａの斜棒の部分が塗装され、文字Ａの横棒の部分は孔になっている。
【００２２】
図１３はシステムの概要である。立体１の中心位置と立体１を撮影しているカラーカメラ１３の位置とはともに空間に固定されており、立体１はその姿勢のみが変動する。立体１として球または円板を用いた場合には位置を変化させ、これを検出することも可能である。
【００２３】
図１４は、十分に微小な間隔でその姿勢を変えながら撮影した球１の画像と姿勢を表すクオータニオン（姿勢）とを関連づける姿勢検出用テンプレートを示している。
【００２４】
図１５は、球の画像の孔付近における画像信号パターンを説明するための図である。内部光源をオンにした場合とオフにした場合のおのおのについて、カメラ画像信号から分離した青色チャンネル画像と赤色チャンネル画像とをそれぞれ表示してある。青色チャンネル画像において、内部光源をオンにしたときには孔領域は球表面領域より輝度が高くなっており、オフにしたときには低くなっている。赤色チャンネル画像においては、内部光源のオン／オフとは無関係に、孔領域は球表面領域より輝度が低くなっている。したがって、赤色チャンネル画像において孔位置を検出し、青色チャンネル画像において孔領域と球表面領域との輝度を比較することで内部光源のオン／オフ状態を検知するようにすれば、クリックの機能を実現することができる。
【００２５】
図１６は、発光輝度の連続的なコントロールにより連続値の指定を可能にする方法を説明するための図である。図１５の場合とは、青色チャンネル画像において孔領域の輝度を絶対値で測定する点が異なり、この絶対値により連続値を指定する。
【００２６】
図１７は、時系列的な発光パターンのコントロールにより多値の指定を可能にする方法を説明するための図である。２５６種類の発光パターンにより、青色チャンネル画像における孔領域の輝度パターンを、値０〜２５５に対応させている。
【００２７】
次に、３次元姿勢入力用状態指定機能付立体１の３次元姿勢および状態を入力する装置について説明する。なお、以下で説明する立体は前述した立体１または１２の構造を有して、立体の状態も入力できるようになっている。
【００２８】
［第１の実施形態］
図１８は本発明の３次元姿勢入力用状態指定機能付立体の第１２の例と第１の実施形態の３次元姿勢入力装置のブロック図である。
【００２９】
３次元姿勢検出装置２３は軸姿勢算出部３１と立体姿勢算出部３２と状態検出部３３から構成され、３次元姿勢入力用状態指定機能付立体２１（以下、立体２１と称す）をカメラ２２で撮像した画像から立体２１の姿勢および状態を算出する。
【００３０】
本実施形態では、立体２１の重心Ｃをカメラ２２の光軸上の所定の位置に固定することによって、撮像画像上における立体２１の重心の位置が既知であることを前提としている。
【００３１】
３次元姿勢検出装置２３は、立体２１をカメラ２２で撮像して得られた画像から、まず、軸姿勢算出部３１によって、立体２１の表面に描かれた図形の位置に基づき、表面と立体２１の軸とが交わる点（すなわち、極）の位置を検出し、立体２１の軸の姿勢を算出し、次に、立体姿勢算出部３２によって、図形と予め用意しておいたテンプレート画像群との比較、あるいは、図形の色情報に基づき、立体２１の姿勢を算出する。そして状態検出部３３によって撮像画像の孔の位置における色情報および輝度情報の少なくとも一方に基づき立体２１の指定された状態を検出する。
【００３２】
以下、本実施形態では、３次元姿勢入力用状態指定機能付立体２１の第１２の例として、１個の非回転対称図形が表面に描かれた既知の楕円体を用い、その撮像画像から立体２１の姿勢および状態を入力する方法を説明する。
【００３３】
図１９（ａ）は立体２１の例、図１９（ｂ）は立体２１の表面上の図形の配置を説明するための図である。図１９（ｂ）において、Ｌは楕円体の軸であり、Ｐは楕円体の表面と軸Ｌとが交わる点、すなわち、楕円体の極である。非回転対称図形（この例では文字「Ａ」）は、図１９（ａ）のように、その重心Ｇが極Ｐの位置に一致するように楕円体の表面に描かれている。
【００３４】
図２０および図２１は図形のテンプレート画像の計算機による作成方法を説明するための図である。
【００３５】
図２０において、ＣＶは無限遠に配置してある仮想カメラ、Ｏは計算機内の仮想空間の原点、Ｘは水平方向の軸、Ｙは垂直方向の軸、Ｚは仮想カメラＣＶの光軸、ＳＶは図形（この例では文字「Ａ」）を配置した仮想平面、Ｇは仮想平面ＳＶ上の点であり図形の重心である。仮想平面ＳＶは線分ＯＧに垂直であり、距離ＯＧは仮想楕円体の長半径に等しいとする。また、点ＧはＹＺ平面上にあるとし、線分ＯＧと軸Ｚとのなす角度をθ１とする。ここで、仮想平面ＳＶとＹＺ平面との交線をＴとすると、この直線Ｔは点Ｇを通り線分ＯＧに垂直となっている。そこで、仮想平面ＳＶが線分ＯＧを軸として回転した際の偏角を直線Ｔを基準とした角度で表わすこととし、これをθ２とする。なお、説明のため、図２０では図形をその輪郭のみで示している。
【００３６】
図２１は仮想平面ＳＶ上の図形（この例では文字「Ａ」）をＸＹ平面に射影して得られた仮想カメラＣＶの画像である。ＧＴは重心Ｇの画像上での位置である。テンプレート画像は、この仮想カメラＣＶの画像を、図形を含み、かつＧＴを中心とする矩形領域で切り出した部分画像にガウシアンフィルタ等によるぼかし処理を施して作成する。
【００３７】
図２２は作成されたテンプレート画像群が配置されたテーブルである。図２０で示した仮想空間ＳＶにおいて、角度θ１については例えば０度から９０度までの１度刻みとし、角度θ２については例えば０度から３５９度までの１度刻みとし、これらの角度θ１，θ２のすべての組み合わせに対して仮想カメラＣＶの画像を算出し、それぞれに対応するテンプレート画像を作成し、テーブルに配置しておく。
【００３８】
図２３は楕円体の軸Ｌの実空間における姿勢と極Ｐの撮像画像上における位置との関係を説明するための図である。図２３（ａ）は楕円体の斜視図であり、図２３（ｂ）はこの楕円体をカメラ２２で撮影した画像である。図２３（ａ）において、Ｃは楕円体の中心、Ｘは水平方向の軸、Ｙは垂直方向の軸、Ｚはカメラ２２の光軸、Ｂ１は極Ｐと軸Ｚを含む平面と軸Ｙとのなす角度、Ｂ２は軸Ｌと軸Ｚとのなす角度、Ｄは極Ｐと軸Ｚとの距離である。図２３（ｂ）において、ＣＳは楕円体の中心Ｃの撮像画像上での位置、ＰＳは極Ｐの撮像画像上での位置、Ｂ１は直線ＣＳＰＳが垂直方向から時計回りになす角度、ＤＳはＣＳとＰＳ間の距離である。また、ＰＳの撮像画像上での座標を（ｕ，ｖ）、Ｐの実空間における座標を（ｘ，ｙ，ｚ）とする。ここで、撮像画像上での楕円体の重心位置ＣＳが既知であることから、これを撮像画像上での原点、また、カメラの撮像倍率をαとし、
ｕ＝αｘ，    ｖ＝αｙ，    ＤＳ＝αＤ
の関係が成り立つとする。ここで、実空間における点ＣとＰ間の距離をＤＣＰとすると、以下の関係が成り立つ。
【００３９】
【数１】
2004152032.tif 000003
【００４０】
なお、これらの関係は、ＤＣＰ、すなわち実空間におけるＣと対象点Ｐとの間の距離さえ既知であれば、対象点Ｐが楕円体の極以外の任意の点であっても、対象点Ｐと直線ＣＰの姿勢との関係として成立する。
【００４１】
図２４は撮像画像から楕円体の部分を切り出した部分画像を示している。図２４（ａ）は濃淡画像であり、図２４（ｂ）は同画像を２値化した画像である。説明のため、図２４（ｂ）では図形をその輪郭のみで示している。図２４（ｂ）において、ＰＳは極Ｐの撮像画像上での位置であり、これは撮像画像上での図形の重心に一致している。
【００４２】
図２５は立体２１の姿勢および状態を入力する手順を示すフローチャートである。
１．撮像画像を２値化した画像（図２４（ｂ））から図形の重心を求め、その位置をＰＳとする（ステップ４１）。
２．式（１）を用いて、軸Ｌの姿勢すなわち角度Ｂ１およびＢ２を求める（ステップ４２）。
３．２で得られた角度Ｂ２に最も近い角度を図２２に示したテーブルの角度θ１欄から選択し、マッチング処理に用いるテンプレート画像群の列を決定する（ステップ４３）。
４．撮像画像（図２４（ａ））をＣＳの周りに角度−Ｂ１だけ回転させた濃淡画像を得る（ステップ４４）。
５．３で決定された列に含まれる全てのテンプレート画像（図２２の例では３６０個）と４で得られた濃淡画像との正規化相関手法等によるマッチング処理を点ＰＳの回転後の点の近傍において逐次行う（ステップ４５）。
６．５で得られたマッチングの度合い（スコア）が最大となるテンプレート画像を見つけ、そのテンプレート画像に対応する角度θ２を求め、これを立体２１の軸Ｌの周りの回転方向の姿勢を表わす角度Ｂ３とする（ステップ４６）。
７．以上により得られた角度Ｂ１、Ｂ２、およびＢ３を立体２１の姿勢とする（ステップ４７）。
８．最後に、撮像画像の孔の位置における色情報および輝度情報の少なくとも一方に基づいて立体２１の指定された状態を検出する（ステップ４８）。
【００４３】
図２６に上記と同様の手順で姿勢および状態を入力することができる立体２１の第１３の例として、１個の非回転対称図形が表面に描かれた正四角台形錐体を示す。図２６（ａ）は立体２１の例、図２６（ｂ）は立体２１の表面上の図形の配置を説明するための図である。図２６（ｂ）において、Ｌは正四角台形錐体の軸であり、Ｐは正四角台形錐体の表面と軸Ｌとが交わる点である。非回転対称図形（この例では文字「Ａ」）は、図２６（ａ）のように、その重心ＧがＰの位置に一致するように正四角台形錐体の表面に描かれている。
【００４４】
図２７に上記と同様の手順で姿勢および状態を入力することができる立体２１の第１４の例として、１個の非回転対称図形が表面に描かれた正四角台形錐の殻状体を示す。図２７（ａ）は立体２１の例、図２７（ｂ）は立体２１の表面上の図形の配置を説明するための図である。図２７（ｂ）において、Ｌは正四角台形錐殻状体の軸であり、Ｐは正四角台形錐殻状体の表面と軸Ｌとが交わる点である。非回転対称図形（この例では文字「Ａ」）は、図２７（ａ）のように、その重心ＧがＰの位置に一致するように正四角台形錐殻状体の表面に描かれている。
【００４５】
図２８に上記と同様の手順で姿勢を検出することができる立体２１の第１５の例として、１個の非回転対称図形が表面に描かれた準正多面体を示す。非回転対称図形（この例では文字「Ａ」）は、図２８のように、その重心Ｇが準正多面体の１つの面の重心の位置に一致するように準正多面体の表面に描かれている。
【００４６】
図２９に上記と同様の手順で姿勢を検出することができる立体２１の第１６の例として、１個の非回転対称図形が表面に描かれた正多面体を示す。非回転対称図形（この例では文字「Ａ」）は、図２９のように、その重心Ｇが正多面体の１つの面の重心の位置に一致するように正多面体の表面に描かれている。
【００４７】
［第２の実施形態］
本実施形態では、３次元姿勢検出用立体２１の第１７の例として、２種類の大きさの４個の回転対称図形と３個の非回転対称図形が表面に描かれた既知の楕円体を用い、その撮像画像から立体２１の姿勢を求める方法を説明する。
【００４８】
図３０は立体２１の表面上の図形の配置を説明するための図である。わかり易くするため、図３０では楕円体面上の図形を平面的に表現している。図３０（ａ）は上面図であり、図３０（ｂ）は側面図である。楕円体の極Ｐの位置に大きいドットが、極Ｐを中心とした回転対称の位置Ｑ１、Ｑ２、Ｑ３に小さいドットがそれぞれ描かれている。また、Ｑ１、Ｑ２、Ｑ３に描かれた各ドットからＰに描かれたドットに向かう方向を姿勢の基準として、Ｐに描かれたドットとＱ１、Ｑ２、Ｑ３に描かれた３個のドットとの各中点にそれぞれ異なる３個の図形が描かれている。
【００４９】
図３１は立体２１に描かれた各ドットの３次元的な位置関係を説明するための図である。図３１（ａ）において、Ｐは楕円体の極であり、大きいドットの位置である。Ｑｉ（ｉ＝１，２，３）は各小さいドットの位置、Ｃは楕円体の重心、ＤＰＱは実空間上でのＰとＱｉ間の距離、ＤＱＱは実空間上でのＱｉとＱｊ間の距離、ＤＣＱは実空間上でのＣとＱｉ間の距離である。図３３（ｂ）において、Ｍｉは点Ｐ、ＱｉおよびＣを含む平面上の点であり、線分ＰＱｉの垂直二等分線が楕円体の表面と交わる点である。
【００５０】
図３２（ａ）および（ｂ）は、それぞれ大きいドットおよび小さいドットを検出するためのテンプレート画像であり、実際にはガウシアンフィルタ等によるぼかし処理を施して作成されている。
【００５１】
図３３は互いに異なる３種類の図形を検出するためのテンプレート画像群が配置されたテーブルである。各テンプレート画像は第１の実施形態で説明した方法で作成してある。
【００５２】
図３４は撮像画像から楕円体の部分を切り出した部分画像を示している。図３４（ａ）は濃淡画像であり、図３４（ｂ）は楕円体の姿勢を求める手順を説明するための図である。説明のため、図３４（ｂ）では各ドットをその輪郭のみで示している。図３４（ｂ）において、ＰＳは極Ｐの撮像画像上での位置であり、これは撮像画像上での大きいドットの位置に一致している。また、ＱＳｉ（ｉ＝１，２，３）はそれぞれＱｉの撮像画像上での位置、ＭＳｉはＭｉの撮像画像上での位置である。
【００５３】
図３５は立体２１の姿勢を求める手順を示すフローチャートである。
１．大きいドットを検出するためのテンプレート画像（図３２（ａ））と濃淡画像（図３２（ａ））との正規化相関手法等によるマッチング処理を行い、マッチングスコアが最大となる撮像画像上での大きいドットの位置を求め、その位置をＰＳとする（ステップ５１）。
２．小さいドットを検出するためのテンプレート画像（図３２（ｂ））と濃淡画像（図３４（ａ））との正規化相関手法等によるマッチング処理を行い、マッチングスコアが最大となる撮像画像上での小さいドットの位置ＱＳｉを求める（ステップ５２）。
３．１で求められたＰＳから、式（１）、式（２）を用いて、軸Ｌの姿勢すなわち角度Ｂ１、Ｂ２、および点Ｐの実空間上での位置を求める（ステップ５３）。
４．２で求められたＱＳｉから、式（１）、式（２）を用いて、直線ＣＱｉの姿勢すなわち角度ＢＱｉ１、ＢＱｉ２、および点Ｑｉの実空間上での位置を求める（ステップ５４）。ただし、式（１）、式（２）において、ＤＣＰの代わりにＤＣＱを用いることとする。
５．点Ｐおよび点Ｑｉの実空間上での位置から、図３１（ｂ）の関係を用いて、点Ｍｉの位置と直線ＣＭｉの姿勢すなわち角度ＢＭｉ１およびＢＭｉ２を求める（ステップ５５）。
６．式（２）を用いて、点Ｍｉの撮像画像上での位置ＭＳｉを求める（ステップ５６）。ただし、式（２）において、ＤＣＰの代わりに、ＣとＭｉ間の距離を用いることとする。
７．５で得られた角度ＢＭｉ２に最も近い角度を図３３に示したテーブルの角度θ１欄から選択し、マッチング処理に用いる３種類のテンプレート画像群の列を決定する（ステップ５７）。
８．撮像画像（図３２（ａ））をＣＳの周りで角度−ＢＭｉ１だけ回転させた濃淡画像を得る（ステップ５８）。
９．７で決定された列に含まれる３種類の全てのテンプレート画像（図３１の例では１０８０個）と８で得られた濃淡画像との正規化相関手法等によるマッチング処理を点ＭＳｉの回転後の点の近傍において逐次行う（ステップ５９）。
１０．９で得られたマッチングの度合い（スコア）が最大となるテンプレート画像を見つけ、対象としている図形が３種類の図形のうちの何れであるかを特定することにより、対象とした小さいドットＱｉがＱ１、Ｑ２、Ｑ３の何れであるかを特定する（ステップ６０）。
１１．特定されたＱｉに基づき、立体２１の軸Ｌの周りの回転方向の姿勢を表わす角度Ｂ３を算出する。すなわち、特定されたＱｉを軸Ｚの周りで角度−Ｂ１だけ回転させ、さらに軸Ｘの周りで角度−Ｂ２だけ回転させた点の軸Ｚの周りの偏角を求め、これをＢ３とする（ステップ６１）。
１２．以上により得られた角度Ｂ１、Ｂ２、およびＢ３を立体２１の姿勢とする（ステップ６２）。
１３．最後に、撮像画像の孔の位置における色情報および輝度情報の少なくとも一方に基づき立体２１の指定された状態を検出する（ステップ６３）。
【００５４】
［第３の実施形態］
本実施形態では、３次元姿勢検出用立体２１の第１８の例として、同一の大きさの４個の回転対称図形と３個の非回転対称図形が表面に描かれた既知の楕円体を用い、その撮像画像から立体２１の姿勢を求める方法を説明する。第２の実施形態とは、楕円体の極Ｐの位置に描かれたドットとその周囲に描かれたドットとの判別方法のみが異なるので、この判別方法のみを説明する。
【００５５】
図３６は立体２１の表面上の図形の配置を説明するための図である。わかり易くするため、図３６では楕円体面上の図形を平面的に表現している。図３６（ａ）は上面図であり、図３６（ｂ）は側面図である。楕円体の極Ｐの位置および極Ｐを中心とした回転対称の位置Ｑ１、Ｑ２、Ｑ３に全て同一の大きさのドットが描かれている。また、Ｑ１、Ｑ２、Ｑ３に描かれた各ドットからＰに描かれたドットに向かう方向を姿勢の基準として、Ｐの描かれたドットとＱ１、Ｑ２、Ｑ３に描かれた３個のドットとの各中点にそれぞれ異なる３個の図形が描かれている。さらに、立体２１に描かれた各ドットの３次元的な位置関係は図３１と同様であるとする。ただし、本実施形態では、ＤＰＱとＤＱＱとが十分異なるように各ドットの位置を設定しておく。
【００５６】
図３７はドットを検出するためのテンプレート画像であり、実際にはガウシアンフィルタ等によるぼかし処理を施して作成されている。
【００５７】
図３８は撮像画像から楕円体の部分を切り出した部分画像を示している。図４０（ａ）は濃淡画像であり、図３８（ｂ）は楕円体の姿勢を求める手順を説明するための図である。説明のため、図３８（ｂ）では各ドットをその輪郭のみで示している。図３８（ｂ）において、ＰＳは極Ｐの撮像画像上での位置、ＱＳｉ（ｉ＝１，２，３）はそれぞれＱｉの撮像画像上での位置である。
【００５８】
図３９は立体２１のＰに描かれたドットとＱ１、Ｑ２、Ｑ３に描かれたドットのうちの１つを判別する手順を示すフローチャートである。
１．ドットを検出するためのテンプレート画像（図３７）と濃淡画像（図３８（ａ））との正規化相関手法等によるマッチング処理を行い、各ドットについて、マッチングスコアが最大となる撮像画像上での位置を全て求める（ステップ７１）。
２．求められた各点について、式（１）、式（２）を用いて、実空間上での位置を算出する（ステップ７２）。ただし、式（１）、式（２）において、ＤＣＰの代わりに全てＤＣＱを用いることとする。本実施形態では、ＤＰＱとＤＱＱとが十分異なるため、このような近似を用いても各ドットを正しく判別することができる。
３．求められた点が２個以下の場合は処理を中止する（ステップ７３）。
４．求められた点が３個以上の場合、これらの中から２個を選ぶ全ての組合わせについて、選んだ２個の点間の実空間における距離を求め、この距離と立体２１における既知のＤＱＱとの差の絶対値が所定の閾値より大きくなる１組を選定する（ステップ７４）。
５．選定された組の２個の点をＰ１、Ｐ２、それ以外の任意の点をＱｉとし、Ｐ１とＱｉ間の距離を求める（ステップ７５）。その際、Ｐ１、Ｐ２の実空間上での位置として、ＤＣＰにＣとＰ間の距離を代入した式（１）、式（２）により算出したものを用いる。
６．５で求められたＰ１とＱｉ間の距離と立体２１における既知のＤＰＱとの差の絶対値が、所定の閾値より小さければＰ１をＰに描かれたドットとし、そうでなければＰ２をＰに描かれたドットとする（ステップ７６）。
【００５９】
以下、第２の実施形態における手順３以降を実行すればよい。
【００６０】
図４０に上記と同様の手順で姿勢を検出することができる立体２１の第１９の例として、第１４の例の立体におけるドットに代えて円が表面に描かれた楕円体を示す。わかり易くするため、図４０では楕円体面上の図形を平面的に表現している。図４０（ａ）は上面図であり、図４０（ｂ）は側面図である。楕円体の極Ｐの位置および極Ｐを中心とした回転対称の位置Ｑ１、Ｑ２、Ｑ３に全て同一の大きさの円が描かれている。また、Ｑ１、Ｑ２、Ｑ３に描かれた各円からＰに描かれた円に向かう方向を姿勢の基準として、Ｐに描かれた円とＱ１、Ｑ２、Ｑ３に描かれた３個の円との各中点にそれぞれ異なる３個の図形が描かれている。さらに、立体２１に描かれた各円の３次元的な位置関係は図３１と同様であるとする。ただし、ＤＰＱとＤＱＱとが十分異なるように各円の位置を設定しておく。
【００６１】
図４１は円を検出するためのテンプレート画像であり、実際にはガウシアンフィルタ等によるぼかし処理を施して作成されている。
【００６２】
図４２に上記と同様の手順で姿勢を検出することができる立体２１の第２０の例として、同一の大きさの４個の回転対称図形と３個の非回転対称図形が表面に描かれた正六角台形錐体を示す。わかり易くするため、図４２では正六角台形錐体面上の図形を平面的に表現している。図４２（ａ）は上面図であり、図４２（ｂ）は側面図である。Ｌは正六角台形錐体の軸であり、Ｐは軸Ｌと上底面とが交わる点である。Ｐの位置および１個おきの側面の左右の中央で、かつＰから等距離の位置Ｑ１、Ｑ２、Ｑ３に全て同一の大きさのドットが描かれている。また、Ｑ１、Ｑ２、Ｑ３に描かれた各ドットからＰに描かれたドットに向かう方向を姿勢の基準として、Ｐに描かれたドットとＱ１、Ｑ２、Ｑ３に描かれた３個のドットとの各中点にそれぞれ異なる３個の図形が描かれている。ただし、ＰとＱｉ間の距離ＤＰＱとＱｉとＱｊ間の距離ＤＱＱとが十分異なるように各ドットの位置を設定しておく。
【００６３】
図４３に上記と同様の手順で姿勢を検出することができる立体２１の第１０の例として、同一の大きさの４個の回転対称図形と３個の非回転対称図形が表面に描かれた放物面体を示す。わかり易くするため、図４３では放物面体の表面上の図形を平面的に表現している。図４３（ａ）は上面図であり、図４３（ｂ）は側面図である。Ｌは放物面体の軸であり、Ｐは軸Ｌと放物面体の表面とが交わる点、すなわち、放物面体の極である。放物面体の極Ｐの位置および極Ｐを中心とした回転対称の位置Ｑ１、Ｑ２、Ｑ３に全て同一の大きさのドットが描かれている。また、Ｑ１、Ｑ２、Ｑ３に描かれた各ドットからＰに描かれたドットに向かう方向を姿勢の基準として、Ｐに描かれたドットとＱ１、Ｑ２、Ｑ３に描かれた３個のドットとの各中点にそれぞれ異なる３個の図形が描かれている。ただし、ＰとＱｉ間の距離ＤＰＱとＱｉとＱｊ間の距離ＤＱＱとが十分異なるように各ドットの位置を設定しておく。
【００６４】
［第４の実施形態］
本実施形態では、３次元姿勢検出用立体２１の第２２の例として、同一の大きさでかつ互いに異なる色の４個の回転対称図形が表面に描かれた既知の楕円体を用い、その撮像画像から立体２１の姿勢を求める方法を説明する。
【００６５】
図４４は立体２１の表面上の図形の配置を説明するための図である。わかり易くするため、図４４では楕円体面上の図形を平面的に表現している。図４６（ａ）は上面図であり、図４４（ｂ）は側面図である。楕円体の極Ｐの位置に黒のドットが、極Ｐを中心とした回転対称の位置Ｑ１、Ｑ２、Ｑ３にそれぞれ赤、緑、青のドットが描かれている。また、立体２１に描かれた各ドットの３次元的な位置関係は図３１と同様であるとする。さらに、ドットを検出するためのテンプレート画像は図３７と同様である。
【００６６】
図４５は撮像画像から楕円体の部分を切り出した部分画像を示している。図４５（ａ）は濃淡画像であり、図４５（ｂ）はカラー画像である。ＰＳは極Ｐの撮像画像上での位置、ＱＳｉ（ｉ＝１，２，３）はそれぞれＱｉの撮像画像上での位置である。
【００６７】
図４６は立体２１の姿勢および状態を求める手順を示すフローチャートである。
１．ドットを検出するためのテンプレート画像（図３７）と濃淡画像（図４５（ａ））との正規化相関手法等によるマッチング処理を行い、各ドットについて、マッチングスコアが最大となる撮像画像上での位置を全て求める（ステップ８１）。
２．求められた各点におけるカラー画像（図４５（ｂ））の色情報から各ドットを判別する（ステップ８２）。
３．２で判別されたＰＳから、式（１）を用いて、軸Ｌの姿勢すなわち角度Ｂ１およびＢ２を求める（ステップ８３）。
４．Ｑｉ（Ｑ１、Ｑ２、Ｑ３のいずれか）に描かれた１個のドットについて、式（１）、式（２）を用いて、実空間上での位置を求める（ステップ８４）。ただし、式（１）、式（２）において、ＤＣＰの代わりにＤＣＱを用いることとする。
５．４で求められたＱｉに基づき、立体２１の軸Ｌの周りの回転方向の姿勢を表わす角度Ｂ３を算出する（ステップ８５）。すなわち、求められたＱｉを軸Ｚの周りで角度−Ｂ１だけ回転させ、さらに軸Ｘの周りで角度−Ｂ２だけ回転させた点の軸Ｚの周りの偏角を求め、これをＢ３とする。
６．以上により得られた角度Ｂ１、Ｂ２、およびＢ３を立体２１の姿勢とする（ステップ８６）。
７．最後に、撮像画像の孔の位置における色情報および輝度情報の少なくとも一方に基づき立体２１の指定された状態を検出する（ステップ８７）。
【００６８】
以上の実施形態で説明した、立体の姿勢を求める方法では、各々のマッチング処理において、立体表面に描かれた図形の一部分である比較的小さなサイズの図形を用いるので、立体全体ではなくその図形の領域にのみ対応したテンプレート画像を用いればよく、テンプレート画像の記憶容量およびマッチング処理の計算コストを小さく抑えることができる。
【００６９】
［第５の実施形態］
図４７は本発明の第５の実施形態の３次元姿勢入力装置を示した図である。
【００７０】
３次元姿勢入力装置１０３は位置算出部１３１と図形検出部１３２と姿勢算出部３３と状態検出部３４から構成され、３次元姿勢入力用立体（以下、立体と称す）１０１をカメラ１０２で撮像して得られた撮像画像から、立体１０１の３次元位置、姿勢、および状態を検出する。
【００７１】
図４８は立体１０１の第２３の例を示す図、図４９はその各部の位置関係を示す図である。
【００７２】
立体１０１は、表面に縁２１１を有する薄い円板（半径ｒ）からなる主要部１０１と、これに細い構造体を介して支持されている同一サイズで、同一色の２個のドット状の第１、第２の回転対称図形２２１、２３１からなっている。第１の回転対称図形２２１は中心が主要部２０１の回転対称軸上にあり、かつ主要部２０１の表面を含む平面と平行な、該表面から距離ｈ離れた平面上にある。第２の回転対称図形２３１は主要部２０１を含む平面上で、主要部２０１の領域外で、主要部２０１の回転対称軸から距離ｇ離れた位置にある。回転対称図形２２１および２３１は、サイズを小さくするほど、高精度にその位置検出ができ、また、立体１０１全体とのサイズ差が大きくなるため、高精度に立体１０１の３次元姿勢を算出できる。したがって、撮像画像上での識別可能な最小のサイズとすることが望ましい。
【００７３】
本実施形態では、立体１０１の位置は、撮像画像上において、主要部２０１の表面の縁２１１が楕円に近似できる程度にカメラ１０２から離れているとする。また、本実施形態では、立体１０１の傾きは、撮像画像上において、回転対称図形２２１が主要部２０１の表面の縁２１１の外部に出ない範囲内であるとする。
【００７４】
３次元位置・姿勢検出装置１０３は、まず、位置算出部１３１によって、撮像画像上における立体１０１の主要部２０１の輪郭から、立体１０１の位置を算出し、次に、図形検出部１３２によって、撮像画像上における回転対称図形２２１、２３１の位置を検出し、さらに、姿勢算出部１３３によって、立体１０１の主要部２０１の回転対称軸の向きおよび該回転対称軸周りの回転角度、すなわち立体１０１の姿勢を算出する。最後に、状態検出部１３４によって、撮像画像の孔の位置における色情報および輝度情報の少なくとも一方に基づいて立体１０１の指定された状態を検出する。
【００７５】
以下、本実施形態で、この立体１０１を用い、その撮像画像から立体１０１の３次元位置および姿勢を求める方法を説明する。
【００７６】
図５０はカメラ１０２のレンズの光学中心Ｃを原点とし、レンズの光軸をＺ軸とする、カメラ１０２を基準とした実空間での座標系において、位置（ｘ，ｙ，ｚ）に立体１０１が置かれている様子を示した図である。Ｘは実空間での水平方向の軸、Ｙは実空間での垂直方向の軸である。立体１０１は図４８に示したものと同一のデザインである。カメラ１０２については、撮像画像の光学的歪みを補正することにより、レンズ歪等のない理想的なカメラとして扱うことができる。
【００７７】
図５１はドット状の図形２２１、２３１を検出するためのテンプレート画像であり、実際にはガウシアンフィルタ等によるぼかし処理を施して作成されている。
【００７８】
図５２（ａ）は立体１０１の撮像画像、図５２（ｂ）は前記撮像画像における立体１の主要部２０１の輪郭２１１およびドット状の各回転対称図形２２１、２３１の検出結果を示す図である。ｕは画像の水平方向の軸、ｖは画像の垂直方向の軸である。図５３（ｂ）において、２１１ｓは検出した立体１の主要部２０１の縁２１１にフィットさせて得られた輪郭を表わす楕円、２２１ｓは検出されたドット状の円板２２１の位置、２３１ｓは検出されたドット状の円板２３１の位置である。ここで、撮像画像上の点を座標（ｕ，ｖ）で表すと、楕円２１１ｓは次式によって表すことができる。
【００７９】
【数２】
2004152032.tif 000004
【００８０】
図５３は撮像画像上でのドット状の図形の位置２２１ｓ、２３１ｓと実空間での座標系ＸＹＺにおけるドット状の回転対称図形の位置との幾何的関係を示す図である。１０４は式（１）によって表される楕円２１１ｓに対応する円の中心、すなわち立体１０１の主要部２０１の表面の中心の実空間における位置である。１０５は前記円を含む平面、すなわち立体１０１の主要部２０１の表面およびその縁２１１を含む平面である。１０６は１０４を中心とする半径ｈの球である。１０７は２２１ｓに対応する点、すなわち回転対称図形２２１の実空間における位置、１０８は２３１ｓに対応する点、すなわち回転対称図形２３１の実空間における位置である。Ｃはカメラ１０２のレンズの光学中心である。位置１０７は、位置２２１ｓとレンズ中心Ｃとを結ぶ直線と球１０６との交点である。また、位置１０８は、位置２３１ｓとレンズ中心Ｃとを結ぶ直線と平面１０５との交点である。
【００８１】
図５３で示した立体１０１の主要部２０１の表面の中心の実空間における位置１０４および主要部２０１の表面およびその縁２１１を含む平面１０５は、式（１）の各係数α、β、γ、δ、ε、およびζを用いて、以下の方法によって求めることができる（例えば、文献  Ｋｅｎｉｃｈｉ  Ｋａｎａｔａｎｉ，  ”Ｇｅｏｍｅｔｒｉｃ  Ｃｏｍｐｕｔａｔｉｏｎ  ｆｏｒ  Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ”，  Ｐ．２２８  を参照）。
【００８２】
まず、次式で表されるマトリックスＱを作り、Ｑの固有値λ１、λ２、λ３、および、これら固有値に対応する単位固有ベクトルｎ１、ｎ２、ｎ３を計算する。ここで、固有値はλ３＜０＜λ１≦λ２となるように選ぶ。
【００８３】
【数３】
2004152032.tif 000005
【００８４】
ただし、ｆは図５３におけるｕｖ平面とレンズの光学中心Ｃとの距離であり、また、κはｄｅｔＱ＝−１となるように選ぶ。
【００８５】
次に、上記で得られたＱの固有値λ１、λ２、λ３、および単位固有ベクトルｎ１、ｎ２、ｎ３を用いて、次式によって、平面１０５の法線ベクトルｎ、および平面５とレンズの光学中心Ｃとの距離ｄを計算する。
【００８６】
【数４】
2004152032.tif 000006
【００８７】
ただし、ｒは主要部２０１の面の縁２１１の半径である。平面１０５は、この法線ベクトルｎおよび距離ｄにより求められる。
【００８８】
さらに、上記で得られたＱの逆行列Ｑ−１、および法線ベクトルｎを用いて、次式によって、レンズの光学中心Ｃを始点とする位置ベクトルｍを計算する。
【００８９】
【数５】
2004152032.tif 000007
【００９０】
位置１０４は、この位置ベクトルｍと平面１０５との交点として求められる。
【００９１】
図５４は立体１０１の３次元位置および姿勢を求める手順を示すフローチャートである。
１．撮像画像（図５２（ａ））において、ハフ変換等を用いて、立体１０１の主要部１０１の輪郭１１１にフィットさせた楕円１１１ｓを検出し、式（１）における各係数α、β、γ、δ、ε、およびζを求める（ステップ３０１）。
２．１で求められたα、β、γ、δ、ε、およびζから、式（１）〜式（５）で示した方法により、立体１０１の主要部２０１の表面およびその縁２１１を含む平面１０５の法線ベクトルおよび主要部１０１の表面の中心の位置１０４を求め、さらに平面１０５を求める（ステップ３０２）。
３．ドット状の図形を検出するためのテンプレート画像（図５１）と撮像画像（図５２（ａ））との正規化相関手法等によるマッチング処理を行い、マッチングスコアが極大となる撮像画像上でのドット状の図形の位置を検出する（ステップ３０３）。
４．３で検出された位置の各々と楕円２１１ｓとの位置関係から各位置が回転対称図形２２１および回転対称図形２３１のいずれに対応しているかを判別する（ステップ３０４）。すなわち、検出された位置のうち楕円２１１ｓの内側のものを２２１ｓ、外側のものを２３１ｓとする。
５．図５３に示した幾何的関係から、位置１０７および位置１０８を求める（ステップ３０５）。
６．位置１０４および位置１０７から、立体１０１の主要部２０１の回転対称軸の向きを求め、位置１０４および位置１０８から、立体１０１の該回転対称軸周りの回転角度を求める（ステップ３０６）。
７．２で求められた位置１０４を立体１０１の３次元位置とし、６で求められた立体１０１の主要部２０１の回転対称軸の向きおよび該回転対称軸周りの回転角度を立体１の３次元姿勢とする（ステップ３０７）。
８．最後に、撮像画像の孔の位置における色情報および輝度情報の少なくとも一方に基づいて立体１０１の指定された状態を検出する（ステップ３０８）。
【００９２】
［第６の実施形態］
第５の実施形態では、立体１０１に設けた第１および第２の回転対象図形２２１、２３１が同一の色であり、立体１０１の傾きは、撮像画像上において、図形１２１が主要部２０１の縁２１１の外部に出ない範囲内であるとした。
【００９３】
これに対し、本実施形態では、立体１０１に設けた第１および第２の回転対象図形を互いに異なる色とし、立体１０１の傾きの制限をなくすものである。
【００９４】
図５５は立体１０１の一例である。この立体１０１は、表面に縁２１２を有する薄いリングである主要部２０２と、これに細い構造体を介して支持されている同一サイズで互いに異なる色の２個のドット状の図形２２２および２３２が描かれた円板とから構成されている。ここでは、図形２２２が赤、図形２３２が青でそれぞれ描かれているとする。図形２２２および２３２のサイズについては、第５の実施形態と同様、撮像画像上で識別可能な最小のサイズとすることが望ましい。
【００９５】
本実施形態における３次元位置および姿勢の検出方法は、検出されたドット状の図形２２２、２３２の位置の各々が２個のドット状の図形２２２、２３２のいずれに対応しているかを判別する手順のみが、第５の実施形態と異なっている。そのため、本実施形態の方法も、第５の実施形態と同様、図５０ないし図５３を用いて説明する。ただし、本実施形態においては、図５２に相当する撮像画像が色情報を有するカラー画像であるとする。
【００９６】
図５６は立体１０１の３次元位置および姿勢を求める手順を示すフローチャートである。
１．撮像画像（図５２（ａ））において、ハフ変換等を用いて、立体１０１の主要部１０２の輪郭にフィットさせた楕円２１２ｓを検出し、式（１）における各係数α、β、γ、δ、ε、およびζを求める（ステップ４０１）。ただし、ここでは撮像画像の濃淡情報のみ使用する。
２．１で求められたα、β、γ、δ、ε、およびζから、式（３）〜式（７）で示した方法により、立体１０１の主要部２０２の表面およびその縁２１２を含む平面１０５の法線ベクトルおよび主要部２０２の表面の中心の位置１０４を求め、さらに平面１０５を求める（ステップ４０２）。
３．ドット状の図形を検出するためのテンプレート画像（図５１）と撮像画像（図５２（ａ））との正規化相関手法等によるマッチング処理を行い、マッチングスコアが極大となる撮像画像上でのドット状の図形の位置を検出する（ステップ４０３）。ただし、ここでは撮像画像の濃淡情報のみ使用する。
４．３で検出された位置の各々における撮像画像（図５２（ａ））の色情報から各位置が図形２２２および図形２３２のいずれに対応しているかを判別する（ステップ４０４）。すなわち、検出された位置の画素が赤の色情報を有していればその位置を２２２ｓ、青の色情報を有していればその位置を２３２ｓとする。
５．図５３に示した幾何的関係から位置１０７と位置１０８を求める（ステップ４０５）。
６．位置１０４および位置１０７から立体１０１の主要部１０２の回転対称軸の向きを求め、位置１０４および位置１０８から、立体１０１の該回転対称軸周りの回転角度を求める（ステップ４０６）。
７．３で求められた位置１０４を立体１０１の３次元位置とし、５で求められた立体１０１の主要部２０２の回転対称軸の向き、および該回転対称軸周りの回転角度を立体１０１の３次元姿勢とする（ステップ４０７）。
８．撮像画像の孔の位置における色情報および輝度情報の少なくとも一方に基づき立体１０１の指定された情報を検出する（ステップ４０８）。
【００９７】
図５７ないし図５９は第５または第６の実施形態で示した手順で３次元位置および姿勢を検出することができる立体１０１のその他の例を示している。ただし、立体１０１に設けた第１および第２の回転対象図形が同一の色の場合には、第５の実施形態で示した手順が適用でき、立体１０１に設けた第１および第２の回転対象図形が互いに異なる色の場合には、第５および第６の実施形態で示した手順が適用できる。
【００９８】
図５７に示す立体は、リングである主要部２０３と、これに細い構造体を介して支持されている同一サイズの２個の小球２２３、２３３とから構成されている。
【００９９】
図５８に示す立体は、円板である主要部２０４と、これに支持されており、かつ表面の一部にそれぞれ同一サイズのドット状の図形２２４、２３４が描かれた棒状および板状の構造体とから構成されている。
【０１００】
図５９に示す立体は、リング状の主要部２０５と、これに支持されており、かつ表面の一部にそれぞれ同一サイズのドット状の図形２２５、２３５が描かれた筒状および板状の構造体とから構成されている。
【０１０１】
以上説明したように、本実施形態の立体の３次元位置、姿勢、および状態を求める方法では、立体の主要部を円板もしくはリングにしたので、位置の算出と姿勢の算出とを分離でき、高精度を確保しつつ、計算コストを抑えることができる。また、立体の一部に描かれた比較的小さなサイズの図形を用いるので、立体全体ではなくその図形の領域にのみ対応したテンプレート画像を用いればよく、マッチング処理におけるテンプレート画像の記憶容量および計算コストを小さく抑えることができる。その結果、高精度を確保しつつ、全体の計算コストを大幅に抑えることができる。
【０１０２】
なお、以上の実施形態では、立体１０１の２個の回転対称図形として、同一サイズ、同一形状の図形である例を示した。しかし、これらの図形を検出する際に必要となるテンプレート画像を変えることにより、２個の回転対称図形は、互いに異なるサイズ、異なる形状（例えば、ドット状の図形と円状の図形など）であっても、本発明は同様の効果を奏することができる。
【０１０３】
〔第７の実施形態〕
図６０は本発明の３次元姿勢入力用状態指定機能付立体の第２７の例と３次元姿勢入力装置を示す図、図６１は立体５１１の画像を示す図である。
【０１０４】
立体５１１は、表面の少なくとも一部分が球面であり、立体５１１の球面には「Ａ」の文字が描かれている。
【０１０５】
３次元位置・姿勢検出装置５１３は位置算出部５１３ａと姿勢算出部５１３ｂと状態検出部５１３ｃからなる。位置算出部５１３ａは、立体５１１をカメラ５１２で撮影して得られた画像（図６１（ａ））に二値化処理を施すことで立体５１１の輪郭画像（図６１（ｂ））を得、その輪郭画像上での立体の輪郭の位置と大きさとから立体５１１の実空間での位置ｘ，ｙ，ｚを算出する。姿勢算出部５１３ｂは、輪郭画像（図６１（ｂ））をもとに立体５１１（図６１（ａ））上での立体部位を切り出し、その画像（図６１（ｃ））と図形の種々の姿勢に対応する図形の全体または部分のテンプレート画像群とを比較することにより立体５１１の姿勢θ，φ，ψを算出する。状態検出部５１３ｃは撮像画像の孔の位置における色情報および輝度が少なくとも一方に基づき立体５１１の指定された位置を検出する。
【０１０６】
図６２は立体５１１の例を示している。この立体５１１では球面に内接する正五角形と正六角形とから構成される準正多面体の３個の頂点が該球面と接する点の位置に全て同じサイズのドットが、また該準多面体の中心と該準多面体の面の重心とを結ぶ直線が該球面と交わる点の位置に１個の文字が、それぞれ設けられている。これらのドットは、サイズを小さくするほど、高精度にその位置検出ができ、また、立体５１１とのサイズ差が大きくなるため、高精度に立体の３次元姿勢を算出できる。したがって、撮像画像上で識別可能となる最小のサイズとすることが望ましい。
【０１０７】
図６３は、レンズの光学中心Ｃを原点とし、レンズの光軸をＺ軸とするカメラ５１２を基準とする実空間での座標系において、位置（ｘ，ｙ，ｚ）に立体５１１が置かれている様子を示した図である。立体５１１は、図６２に示したものと同一のデザインである。カメラ５１２については、撮像画像の光学的歪みを補正することにより、レンズ歪等のない理想的なカメラとして扱うことができる。
【０１０８】
図６４は立体５１１を撮像した画像を示している。ｕは画像の水平方向の軸、ｖは画像の垂直方向の軸である。図において、５１４は、検出した立体のエッジに楕円をフィットさせて得られた輪郭である。ξは、輪郭の重心と画像原点とを結ぶ直線がｕ軸となす角である。ｄは輪郭の重心と画像原点との距離である。ｂは輪郭楕円の長径である。
【０１０９】
図６５は、撮像画像上でのドットの位置Ｐｓと実空間でのドットの位置Ｐとの幾何的関係を示す図である。図において、点Ｐは、撮像画像上でのドットの位置Ｐｓとレンズの光学中心Ｃとを結ぶ直線が立体５１１の球面と交わる点である。
【０１１０】
図６６は、撮像画像上で検出された３個のドットの位置（図６６（ａ））と、これらドットの位置を基にして計算により作成された３枚の文字用テンプレートを示す図（図６６（ｂ））である。ここで、ドットが図の位置となるような球の姿勢は３通りに限られる。それら３通りの姿勢の全てについて、例えば以下のような方法でテンプレートを作成する。
【０１１１】
図６７および図６８は図形のテンプレートの計算機による作成方法を説明するための図である。図６７において、ＣＶは無限遠に配置してある仮想カメラである。Ｏは計算機内の仮想空間の原点、Ｘは水平方向の軸、Ｙは垂直方向の軸、Ｚは仮想カメラＣＶの光軸である。Ｒは軸Ｚ上の点であり、距離ＯＲは仮想球の半径に等しい。線分ＯＧは線分ＯＲを軸Ｚから角度Ｑ１だけ回転させた線分である。ＳＶはＧを通り線分ＯＧに垂直な仮想平面である。Ｇを通る直線Ｔは、軸Ｙと軸Ｚとを含む平面上にあり、線分ＯＧに垂直である。角度Ｑ２は仮想平面ＳＶが線分ＯＧを軸として回転した際の、直線Ｔからの偏角である。なお、図形はその重心がＧに一致するように仮想平面ＳＶ上に配置してある。説明のために、図形については輪郭のみを示してある。
【０１１２】
図６８は仮想平面ＳＶ上に配置した図形をＸＹ平面に射影して得られた仮想カメラＣＶの画像である。ＧＴはＧの画像上での位置である。テンプレートは、この仮想カメラＣＶの画像を図形を含みかつ位置ＧＴを中心とする矩形領域で切り出した部分画像にガウシアンフィルタ等によるぼかし処理を施して作成する。
【０１１３】
図６９は、図６２の立体５１１を撮像した画像から、図６０の装置によって、実空間での立体５１１の位置・姿勢を算出、状態を検出する方法を示すフローチャートである。なお、立体５１１の球面部の半径は既知であるとする。
１．立体５１１を撮像した画像の光学的歪みを補正し、補正画像を得る（ステップ５３１）。
２．補正画像において、ハフ変換等を用いて球の輪郭である楕円を検出し、図６４で示した楕円のパラメータ（ξ，ｄ，ｂ）を算出する（ステップ５３２）。
３．図６３で示した立体５１１の位置（ｘ，ｙ，ｚ）と図６４で示した楕円のパラメータ（ξ，ｄ，ｂ）との間には、球の半径が既知であるため、固定した１対１の対応関係がある。この対応関係を表わす方程式をＮｅｗｔｏｎ−Ｒａｐｈｓｏｎ法等を用いて解くことにより、（ξ，ｄ，ｂ）から（ｘ，ｙ，ｚ）を算出する（ステップ５３３）。
４．補正画像において、１個のドット図形用のテンプレートを用いたパターンマッチング処理により比較し、３個のドットの画像上での位置を各々独立に検出し、図６５に示した幾何的関係を用いて３個のドットの実空間での位置を算出する。算出された３個のドットの位置と立体５１１の位置（ｘ，ｙ，ｚ）とを基に、立体５１１の姿勢を算出する（ステップ５３４）。ただし、３個のドットの位置を基にした場合、得られる立体５１１の姿勢は３通りあるため、それら３通りの姿勢の全てを算出し、これらを立体５１１の姿勢の候補とする。立体５１１の姿勢の算出方法は次の通りである。立体５１１のモデルとして、表面に３個のドットを有する球を考え、図６５に示す実空間での各ドットの位置をそれぞれＰ１、Ｐ２、Ｐ３とする。各ドットは球に固定されているので、球の姿勢が変化すると、各位置Ｐ１、Ｐ２、Ｐ３も変化する。算出された３個のドットの位置をＱ１、Ｑ２、Ｑ３として、
【０１１４】
【数６】
2004152032.tif 000008
を最小にする球の姿勢を求め、これを立体５１１の姿勢とする。ただし、
【０１１５】
【外１】
2004152032.tif 000009
はそれぞれＰ１とＱ１、Ｐ２とＱ２、Ｐ３とＱ３の距離である。
５．算出された３通りの姿勢の全てについて、図６７および図６８で説明した方法等により、文字の部分を切り出したテンプレートを３個作成する。ドットと文字との位置関係は既知であり、この関係から補正画像上での文字の位置（重心位置）を求めることができるため、この位置を基準として、これら３個のテンプレートを用いたパターンマッチング処理を逐次行う。得られた各テンプレートと補正画像とのマッチングの程度を比較し、最も評価の高いテンプレートに対応する姿勢を選択し、これを立体５１１の正確な姿勢とする（ステップ５３５）。
【０１１６】
〔第８の実施形態〕
図７０は、立体５１１の球面上に設けられる図形の例である。球面に内接する正二十面体の２個の頂点が該球面と接する点の位置に互いに異なる図形が、該正二十面体の中心と該正二十面体の面の重心とを結ぶ直線が該球面と交わる点の位置に４個のドットが、それぞれ設けられている。これらのドットは、第２の実施形態と同様、撮像画像上で識別可能な最小のサイズとすることが望ましい。図７８（ａ）において図形は「Ｏ」と「ハ」に似た図形であり、図７０（ｂ）において図形は、「コ」と「ハ」に似た図形である。なお、図では平面的に示してある。
【０１１７】
本実施形態の立体においても、第２の実施形態と同様の装置により３次元位置・姿勢を検出することができる。本実施形態によれば、文字の代わりに単純な図形を用いているため、さらなる計算コストの低減、処理の高速化が図れる。
【０１１８】
なお、第７および第８の実施形態においても、立体５１１として、内部に赤外線光源を備えた半透明の立体を用い、カメラ５１２として、赤外線通過フィルタを備える等の方法により赤外線像を撮像可能なカメラを用いてもよい。こうすることにより、撮像画像上で立体５１１の部位を切り出す際に、環境光の影響を少なくし、立体５１１の輪郭を鮮明にすることができる。
【０１１９】
また、第７および第８の実施形態では、立体２１１の球面に内接する正多面体もしくは準正多面体の頂点の位置に３ないし４個の同じサイズのドットを設け、該多面体の中心と該多面体の面の重心とを結ぶ直線が球面と交わる点の位置に１ないし２個の互いに異なる図形を設けた例、および、ドットと互いに異なる図形との位置関係をこれとは逆にした例を示した。しかし、これらのドットの代わりに円など他の回転対称図形を用いてもよく、また、これら回転対称図形のサイズは必ずしも全て同じでなくてもよく、個数は５個以上であっても、画像上に撮像されていれば２個だけであってもよい。さらに、回転対称図形と互いに異なる図形との位置関係は、既知であれば、必ずしも上記実施形態で示した関係でなくてもよい。
【０１２０】
なお、以上説明した３次元位置、姿勢、状態入力方法は専用のハードウェアにより実現されるもの以外に、以上説明した方法を実行するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【０１２１】
【発明の効果】
以上説明したように、本発明によれば、下記の効果がある。
１．立体の３次元姿勢および状態を少ない計算コストで検出・入力することができ、３次元マウスとして応用できる。
２．立体が球または円板の場合には、立体の３次元位置をも少ない計算コストで検出・入力することができる。
【図面の簡単な説明】
【図１】本発明の３次元装置入力用状態指定機能付立体の第１の例を示す図である。
【図２】本発明の３次元装置入力用状態指定機能付立体の第２の例を示す図である。
【図３】本発明の３次元装置入力用状態指定機能付立体の第３の例を示す図である。
【図４】本発明の３次元装置入力用状態指定機能付立体の第４の例を示す図である。
【図５】本発明の３次元装置入力用状態指定機能付立体の第５の例を示す図である。
【図６】本発明の３次元装置入力用状態指定機能付立体の第６の例を示す図である。
【図７】本発明の３次元装置入力用状態指定機能付立体の第７の例を示す図である。
【図８】本発明の３次元装置入力用状態指定機能付立体の第８の例を示す図である。
【図９】本発明の３次元装置入力用状態指定機能付立体の第９の例を示す図である。
【図１０】球外面の反射率のスペクトル分布と内部光源および塗装面のスペクトル分布を示す図である。
【図１１】本発明の３次元装置入力用状態指定機能付立体の第１０の例を示す図である。
【図１２】本発明の３次元装置入力用状態指定機能付立体の第１１の例を示す図である。
【図１３】システムの概要を示す図である。
【図１４】球の画像と姿勢を表すクオータニオンとを関連づける姿勢検出用テンプレートを示す図である。
【図１５】球の画像の孔付近における画像信号パターンを説明するための図である。
【図１６】発光輝度の連続的な制御により連続値の指定を可能にする方法を説明するための図である。
【図１７】時系列的な発光パターンと多値の指定を示す図である。
【図１８】本発明の３次元姿勢検出用立体の第１２の例と第１の実施形態の３次元姿勢入力装置のブロック図である。
【図１９】立体２１の例と、立体２１の表面上の図形の配置を説明するための図である。
【図２０】図形のテンプレート画像の計算機による作成方法を説明するための図である。
【図２１】仮想平面ＳＶ上の図形をＸＹ平面に投影して得られた仮想カメラＣＶの画像を示す図である。
【図２２】作成されたテンプレート画像群が配置されたテーブルを示す図である。
【図２３】楕円体の軸Ｌと実空間における姿勢と極Ｐの撮像画像上における位置の関係を説明するための図である。
【図２４】撮像画像から楕円体の部分を切り出した部分画像を示す図である。
【図２５】第１の実施形態における、立体２１の姿勢を求める手順を示すフローチャートである。
【図２６】本発明の３次元装置入力用状態指定機能付立体の第１３の例を示す図である。
【図２７】本発明の３次元装置入力用状態指定機能付立体の第１４の例を示す図である。
【図２８】本発明の３次元装置入力用状態指定機能付立体の第１５の例を示す図である。
【図２９】本発明の３次元装置入力用状態指定機能付立体の第１６の例を示す図である。
【図３０】本発明の３次元装置入力用状態指定機能付立体の第１７の例の表面上の図形の配置を説明するための図である。
【図３１】立体２１に描かれた各ドットの３次元的な位置関係を説明するための図である。
【図３２】大きいドット、小さいドットを検出するためのテンプレート画像を示す図である。
【図３３】互いに異なる３種類の図形を検出するためのテンプレート画像群が配置されたテーブルを示す図である。
【図３４】撮像画像から楕円体の部分を切り出した部分画像を示す図である。
【図３５】第２の実施形態の３次元姿勢入力装置における立体２１の姿勢を求める手順を示すフローチャートである。
【図３６】立体２１の第１８の例の表面上の図形の配置を説明するための図である。
【図３７】ドットを検出するためのテンプレート画像を示す図である。
【図３８】撮像画像から楕円体の部分を切り出した部分画像を示す図である。
【図３９】第３の実施形態の３次元姿勢入力装置における立体２１の姿勢を求める手順を示すフローチャートである。
【図４０】本発明の３次元装置入力用状態指定機能付立体の第１９の例を示す図である。
【図４１】円を検出するためのテンプレート画像を示す図である。
【図４２】本発明の３次元装置入力用状態指定機能付立体の第２０の例を示す図である。
【図４３】本発明の３次元装置入力用状態指定機能付立体の第２１の例を示す図である。
【図４４】本発明の３次元装置入力用状態指定機能付立体の第２２の例の表面上の図形の配置を説明するための図である。
【図４５】撮像画像から楕円体の部分を切り出した部分画像を示す図である。
【図４６】第４の実施形態の３次元姿勢入力装置における立体２１の姿勢を求める手順を示すフローチャートである。
【図４７】本発明の第５の実施形態の３次元姿勢入力装置の構成を示す図である。
【図４８】本発明の３次元装置入力用状態指定機能付立体１０１の第２３の例を示す図である。
【図４９】図４８に示す立体１０１における主要部１０１と回転対称図形１２１、１３１との位置関係を示す図である。
【図５０】カメラ１０２のレンズの光学中心Ｃを原点とし、レンズの光軸をＺ軸とする、カメラ１０２を基準とした実空間での座標系において、立体１０１が置かれている様子を示す図である。
【図５１】ドット状の図形を検出するためのテンプレート画像を示す図である。
【図５２】立体１０１の撮像画像（同図（ａ））と、撮像画像における立体１０１の主要部２０１の輪郭および各ドット状の図形の検出結果を示す図である。
【図５３】撮像画像上でのドット上の図形の位置と実空間での座標系におけるドット状の図形２２１、２３１との幾何的関係を示す図である。
【図５４】図４８に示す立体１０１の３次元位置および姿勢を求める手順を示すフローチャートである。
【図５５】図４８に示す立体１０１の第２の例を示す図である。
【図５６】図５５に示す立体１０１の３次元位置および姿勢を求める手順を示すフローチャートである。
【図５７】立体１０１の第３の例を示す図である。
【図５８】立体１の第４の例を示す図である。
【図５９】立体１０１の第５の例を示す図である。
【図６０】本発明の第７の実施形態の３次元姿勢入力装置の構成図である。
【図６１】図６０中のカメラ２１２で得られた画像（同図（ａ））、３次元姿勢入力装置で得られる画像（同図（ｂ）（ｃ））を示す図である。
【図６２】立体２１１の例を示す図である。
【図６３】カメラ２１２を基準とする実空間での座標系において立体２１１が置かれている様子を示す図である。
【図６４】立体２１１を撮像した画像を示す図である。
【図６５】撮像画像上でのドットの位置Ｐと実空間でのドット位置ｐとの幾何学的関係を示す図である。
【図６６】撮像画像上で検出された３個のドットの位置と、これらドットの位置により作成された３枚の文字用テンプレートを示す図である。
【図６７】計算機を用いた、図形テンプレートの作成方法を説明するための図である。
【図６８】計算機で算出された、仮想カメラの画像を示す図である。
【図６９】第７の実施形態における、立体２１１の位置・姿勢を算出する処理を示すフローチャートである。
【図７０】立体２１１の球面上に設けられる図形の例を示す図である。
【符号の説明】
１    球
１ａ，１ｂ，１ｃ    孔
２    電源
２ａ    スイッチ
２ｂ    液晶コントローラ
３ａ    青色ＬＥＤ
３ｂ    緑色ＬＥＤ
３ｃ    拡散板
４    光源ユニット
４ａ    ボディ
４ｂ    拡散面
４ｃ    青色ＬＥＤ
５    信号ユニット
５ａ    ハウジング
５ｂ    ピストン
５ｃ    スプリング
５ｄ    端面
６    ワイヤー
７    スライダー
８    カラー液晶
９    光ファイバー
９ａ    拡散面
１０    支持体
１０ａ    貫通穴
１１    支持棒
１１ａ    レバー
１１ｂ    笠状パレット
１２    円板
１２ａ    円板部
１２ｂ    筒状体
１２ｃ    拡散板
１３    カラーカメラ
２１    ３次元姿勢入力用立体
２２    カメラ
２３    ３次元姿勢入力装置
３１    軸姿勢算出部
３２    立体姿勢算出部
３３    状態検出部
４１〜４８，５１〜６３，７１〜７６，８１〜８７    ステップ
１０１    ３次元位置・姿勢入力用立体
１０２    カメラ
１０３    ３次元位置・姿勢検出装置
１０４    楕円２１１ｓに対応する円の中心
１０５    円を含む平面
１０６    中心１０４の球
１０７    図形２２１の実空間の位置
１０８    位置１３１ｓとレンズ中心Ｃとを結ぶ直線と平面１０５の交点
１３１    位置算出部
１３２    図形検出部
１３３    姿勢算出部
１３４    状態検出部
２０１，２０２，２０３    主要部
２１１    縁
２２１，２２２，２２３    第１の回転対称図形
２３１，２３２，２３３    第２の回転対称図形
２１１ｓ    縁１１１にフィットされて得られた輪郭を表わす円
２２１ｓ    検出されたドット状の円板２２１の位置
２３１ｓ    検出されたドット状の円板２３１の位置
３０１〜３０８，４０１〜４０８    ステップ
５１１    立体
５１２    カメラ
５１３    ３次元位置・姿勢検出装置
５１３ａ    位置算出部
５１３ｂ    姿勢算出部
５１３ｃ    状態検出部
５１４    輪郭
５３１〜６３６    ステップ
【図１】
2004152032.tif 000010
【図２】
2004152032.tif 000011
【図３】
2004152032.tif 000012
【図４】
2004152032.tif 000013
【図５】
2004152032.tif 000014
【図６】
2004152032.tif 000015
【図７】
2004152032.tif 000016
【図８】
2004152032.tif 000017
【図９】
2004152032.tif 000018
【図１０】
2004152032.tif 000019
【図１１】
2004152032.tif 000020
【図１２】
2004152032.tif 000021
【図１３】
2004152032.tif 000022
【図１４】
2004152032.tif 000023
【図１５】
2004152032.tif 000024
【図１６】
2004152032.tif 000025
【図１７】
2004152032.tif 000026
【図１８】
2004152032.tif 000027
【図１９】
2004152032.tif 000028
【図２０】
2004152032.tif 000029
【図２１】
2004152032.tif 000030
【図２２】
2004152032.tif 000031
【図２３】
2004152032.tif 000032
【図２４】
2004152032.tif 000033
【図２５】
2004152032.tif 000034
【図２６】
2004152032.tif 000035
【図２７】
2004152032.tif 000036
【図２８】
2004152032.tif 000037
【図２９】
2004152032.tif 000038
【図３０】
2004152032.tif 000039
【図３１】
2004152032.tif 000040
【図３２】
2004152032.tif 000041
【図３３】
2004152032.tif 000042
【図３４】
2004152032.tif 000043
【図３５】
2004152032.tif 000044
【図３６】
2004152032.tif 000045
【図３７】
2004152032.tif 000046
【図３８】
2004152032.tif 000047
【図３９】
2004152032.tif 000048
【図４０】
2004152032.tif 000049
【図４１】
2004152032.tif 000050
【図４２】
2004152032.tif 000051
【図４３】
2004152032.tif 000052
【図４４】
2004152032.tif 000053
【図４５】
2004152032.tif 000054
【図４６】
2004152032.tif 000055
【図４７】
2004152032.tif 000056
【図４８】
2004152032.tif 000057
【図４９】
2004152032.tif 000058
【図５０】
2004152032.tif 000059
【図５１】
2004152032.tif 000060
【図５２】
2004152032.tif 000061
【図５３】
2004152032.tif 000062
【図５４】
2004152032.tif 000063
【図５５】
2004152032.tif 000064
【図５６】
2004152032.tif 000065
【図５７】
2004152032.tif 000066
【図５８】
2004152032.tif 000067
【図５９】
2004152032.tif 000068
【図６０】
2004152032.tif 000069
【図６１】
2004152032.tif 000070
【図６２】
2004152032.tif 000071
【図６３】
2004152032.tif 000072
【図６４】
2004152032.tif 000073
【図６５】
2004152032.tif 000074
【図６６】
2004152032.tif 000075
【図６７】
2004152032.tif 000076
【図６８】
2004152032.tif 000077
【図６９】
2004152032.tif 000078
【図７０】
2004152032.tif 000079