(57)【要約】      （修正有）【課題】スケーラー等の物品の動作を、客観的且つ正確に把握できる位置認識システムを提供する。【解決手段】本願発明の位置認識システム１００を、スケーラー（長手方向に延びる物品）１０２に対して略垂直となる２本の帯状のベルトが表されたマーカ１６と、マーカを撮影するカメラ２６と、カメラと通信可能なコンピュータ２４と、を備えて構成した。コンピュータを、カメラが撮影したマーカの撮影画像に基づいてスケーラーの位置を算出するマーカ検出部３６と、カメラが撮影したマーカの撮影画像の歪みを検知し、歪みに基づいてマーカデータを補正する歪み処理部１０４とを備えて構成した。【選択図】図１
2020192251.tif 000002
【特許請求の範囲】
【請求項１】
長手方向に延びる物品に取り付けられて筒形状となるシート状であり、該長手方向に対して略垂直となる２本の帯状のベルトが表されたマーカと、
前記マーカを撮影するカメラと、
前記カメラと通信可能なコンピュータと、を備え、
前記コンピュータは、
前記カメラが撮影した前記マーカの撮影画像に基づいて前記物品の位置を算出し、算出したマーカデータを記憶するように構成されたマーカ検出部と、
前記カメラが撮影した前記マーカの撮影画像に含まれる前記ベルトの画像に基づいて該撮影画像の歪みを検知するように構成された歪み処理部と、
を備えた位置認識システム。
【請求項２】
前記歪み処理部は、前記マーカの撮影画像の歪みに基づいて前記マーカデータを補正し、補正した補正後データを記憶するように構成された請求項１に記載する位置認識システム。
【請求項３】
前記マーカは、撮影画像が前記コンピュータによって２値化処理されるとき、ベルトが暗部となり且つマーカの下地が明部となり、又は、ベルトが明部となり且つマーカの下地が暗部となるように構成され、
前記歪み処理部は、
前記カメラが筒形状の前記マーカを撮影して採取される撮影円筒画像を前記シート状に展開し、展開した撮影展開画像を記憶するように構成された撮影画像展開部と、
前記撮影展開画像に含まれるベルトの画像であるベルト撮影展開画像の歪みを検知し前記マーカの撮影画像の歪みを検知するように構成された歪み検出部と、
を備え、
前記歪み検出部は、
前記ベルト撮影展開画像の長手方向と平行な上辺上に一定ピッチで配置する複数の上辺点の座標、及び、該ベルト撮影展開画像の長手方向と平行な下辺上に一定ピッチで配置する複数の下辺点の座標、を算出し記憶するように構成された上下辺座標検出部と、
前記上下辺座標検出部が座標を算出した複数の上辺点及び複数の下辺点の中で、上下方向に配置された一対の上辺点及び下辺点の中点である撮影中点を各一対について算出し、前記ベルト撮影展開画像の中心線上に一定ピッチで配置するように構成された中点算出部と、
を備え、複数の前記撮影中点に基づいて、ベルト撮影展開画像の歪みを検知し前記マーカの撮影画像の歪みを検知するように構成された
請求項１又は２に記載する位置認識システム。
【請求項４】
前記歪み処理部は、
前記マーカの正確な展開画像である正規展開画像に含まれるベルトの画像であるベルト正規展開画像のベルトの長手方向と平行な中心線上に一定ピッチで配置された複数の正規中点の座標を記憶するように構成された正規画像記憶部と、
前記中点算出部が算出した撮影中点と、前記正規展開画像記憶部が記憶する正規中点とを対比し、該撮影中点の該正規中点に対する歪みを検知するように構成された中点対比部と、
を備え、
前記歪み処理部は、前記撮影中点の前記正規中点に対する歪みを補正値として前記マーカデータを補正するように構成された補正演算部を備えた、請求項２に記載する位置認識システム。
【請求項５】
前記マーカは、同一直線上に配列された少なくとも３個の検出点を含み、
前記マーカ検出部は、前記マーカの３個の検出点の座標を算出するように構成された請求項１〜４のいずれかに記載する位置認識システム。
【請求項６】
前記マーカ検出部は、前記マーカの画像に基づいて、該マーカの３個の検出点について２次元の画像座標を算出し、算出した３個の画像座標に基づいて、３個の検出点のカメラ座標を、該マーカの３個の検出点の座標として算出するように構成され、
前記マーカ検出部は、前記マーカの３個の検出点のカメラ座標を、
【数１】
2020192251.tif 000004
なる数式により算出するように構成された請求項５に記載する位置認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、歯科医院において歯石を除去するスケーラー等の物品について、カメラにより位置及び方向を検出し、検出した位置及び方向のデータを補正する位置認識システムに関する。
【背景技術】
【０００２】
従来から、歯科医院において、歯科医師又は歯科衛生士によって、スケーラーを用いて歯石を除去する処置が行われている。歯石を正確に除去するには、歯科医師又は歯科衛生士は、手で握持するスケーラーを正確に歯茎に沿って移動させることが必要である。このため、歯科医師、歯科衛生士、又は歯科医師若しくは歯科衛生士の実習生は、スケーラーを正確に歯茎の模型に沿って移動させる練習を行う。この練習において、歯茎に沿ったスケーラーの動作は、指導者又は練習者が目視によって確認する。しかし、指導者等が目視によって動作を確認するのでは、動作を客観的に把握できない。なお、スケーラーに関する特許出願が行われているが（例えば、特許文献１）、本願発明に関連するものではない。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３５１１０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本願発明は、スケーラー等の物品の動作を客観的に把握できる位置認識システムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本願発明の位置認識システムは、長手方向に延びる物品に取り付けられて筒形状となるシート状であり、該物品に対して略垂直となる２本の帯状のベルトが表されたマーカと、
前記マーカを撮影するカメラと、
前記カメラと通信可能なコンピュータと、を備え、
前記コンピュータは、
前記カメラが撮影した前記マーカの撮影画像に基づいて前記物品の位置を算出し、算出したマーカデータを記憶するように構成されたマーカ検出部と、
前記カメラが撮影した前記マーカの撮影画像の歪みを検知するように構成された歪み処理部と、
を備えたことを特徴とする。
【０００６】
請求項２に記載する本願発明は、前記位置認識システムにおいて、前記歪み処理部は、前記マーカの撮影画像の歪みに基づいて前記マーカデータを補正し、補正した補正後データを記憶するように構成されたことを特徴とする。
【０００７】
請求項３に記載する本願発明は、前記位置認識システムにおいて、前記マーカは、撮影画像が前記コンピュータによって２値化処理されるとき、ベルトが暗部となり且つマーカの下地が明部となり、又は、ベルトが明部となり且つマーカの下地が暗部となるように構成され、
前記歪み処理部は、
前記カメラが筒形状の前記マーカを撮影して採取される撮影円筒画像を前記シート状に展開し、展開した撮影展開画像を記憶するように構成された撮影画像展開部と、
前記撮影展開画像に含まれるベルトの画像であるベルト撮影展開画像の歪みを検知し前記マーカの撮影画像の歪みを検知するように構成された歪み検出部と、
を備え、
前記歪み検出部は、
前記ベルト撮影展開画像の長手方向と平行な上辺上に一定ピッチで配置する複数の上辺点の座標、及び、該ベルト撮影展開画像の長手方向と平行な下辺上に一定ピッチで配置する複数の下辺点の座標、を算出し記憶するように構成された上下辺座標検出部と、
前記上下辺座標検出部が座標を算出した複数の上辺点及び複数の下辺点の中で、上下方向に配置された一対の上辺点及び下辺点の中点である撮影中点を各一対について算出し、前記ベルト撮影展開画像の中心線上に一定ピッチで配置するように構成された中点算出部と、
を備え、複数の前記撮影中点に基づいて、ベルト撮影展開画像の歪みを検知し前記マーカの撮影画像の歪みを検知するように構成されたことを特徴とする。
【０００８】
請求項４に記載する本願発明は、前記位置認識システムにおいて、
前記歪み処理部は、
前記マーカの正確な展開画像である正規展開画像に含まれるベルトの画像であるベルト正規展開画像のベルトの長手方向と平行な中心線上に一定ピッチで配置された複数の正規中点の座標を記憶するように構成された正規画像記憶部と、
前記中点算出部が算出した撮影中点と、前記正規展開画像記憶部が記憶する正規中点とを対比し、該撮影中点の該正規中点に対する歪みを検知するように構成された中点対比部と、
を備え、
前記歪み処理部は、前記撮影中点の前記正規中点に対する歪みを補正値として前記マーカデータを補正するように構成された補正演算部を備えた、ことを特徴とする。
【０００９】
請求項５に記載する本願発明は、前記位置認識システムにおいて、
前記マーカは、同一直線上に配列された少なくとも３個の検出点を含み、
前記マーカ検出部は、前記マーカの３個の検出点の座標を算出するように構成されたことを特徴とする。
【００１０】
請求項６に記載する本願発明は、前記位置認識システムにおいて、
前記マーカ検出部は、前記マーカの画像に基づいて、該マーカの３個の検出点について２次元の画像座標を算出し、算出した３個の画像座標に基づいて、３個の検出点のカメラ座標を、該マーカの３個の検出点の座標として算出するように構成され、
前記マーカ検出部は、前記マーカの３個の検出点のカメラ座標を、
【数１】
2020192251.tif 000003
なる数式により算出するように構成された請求項５に記載する位置認識システム。
ことを特徴とする。
【発明の効果】
【００１１】
本願発明によれば、マーカ検出部がスケーラー等の物品の位置を算出することができるため、スケーラー等の物品の動作を客観的に把握できる。また、歪み処理部がマーカの撮影画像の歪みを検知することができる。このため、マーカの製造誤差や物品への取り付け誤差により、算出した位置に誤差が生じていることを、客観的に把握できる。なお、算出した位置に誤差が生じていることを把握した場合、マーカを物品から取り外して他のマーカを物品に正確に取り付ける等の処置を行う。
【００１２】
また、請求項２に記載する本願発明によれば、マーカ検出部がスケーラー等の物品の位置を算出し、歪み処理部がマーカの撮影画像の歪みを検知し、その歪みに基づいて、マーカデータを補正できる。このため、物品の位置及び動作を、客観的且つ正確に把握できる。
【００１３】
また、請求項３に記載する本願発明によれば、歪み検出部が撮影展開画像に含まれるベルト撮影展開画像の歪みを検知し、補正演算部がベルト撮影展開画像の歪みに基づいてマーカデータを補正するに際して、ベルトの上辺点と下辺点との中点である撮影中点に基づいて歪みを検知することができる。ベルト撮影展開画像の長手方向に対して垂直方向であるベルト撮影展開画像の幅は、マーカの周囲の明るさによって変化する。例えば、ベルトが暗部となり且つマーカの下地が明部となる場合、マーカの周囲が明るいと、暗部であるベルト撮影展開画像の上辺が中心線に対して下へ移行し下辺が中心線に対して上へ移行し、ベルト撮影展開画像の幅が上下に狭くなり、マーカの周囲が暗いと、暗部であるベルト撮影展開画像の上辺が中心線に対して上へ移行し下辺が中心線に対して下へ移行し、ベルト撮影展開画像の幅が上下に広くなる。ベルトが明部となり且つマーカの下地が暗部となる場合、マーカの周囲が明るいと、明部であるベルト撮影展開画像の幅が上下に広くなり、マーカの周囲が暗いと、明部であるベルト撮影展開画像の幅が上下に狭くなる。しかし、ベルト撮影展開画像の中心線上の撮影中点の位置は上下に変化しない。このため、撮影中点に基づいてマーカの撮影画像の歪みを検知することにより、マーカの撮影画像の歪みを正確に算出できる。また、展開していない撮影円筒画像に含まれるベルト撮影展開画像よりも撮影展開画像に含まれるベルト撮影展開画像の方が寸法が大きく、歪みも大きく表れる。このため、撮影展開画像を使用して撮影画像の歪みを検知することにより、容易に歪みを検知できる。
【図面の簡単な説明】
【００１４】
【図１】本願発明に係る位置認識システムを示す構成図である。
【図２】図１の位置認識システムの使用方法を説明するための斜視図である。
【図３】図１の位置認識システムを構成するマーカを示す図であり、同図（ａ）は、正面図であり、同図（ｂ）は、展開図であり、同図（ｃ）は、底面図である。
【図４】図１の位置認識システムに使用する数式であり、２次元の画像座標（ｕｉ，ｖｉ）に基づいて３次元のカメラ座標（現実の座標）（Ｘｉ，Ｙｉ，Ｚｉ）の座標を求めるための数式を示す。
【図５】図４の数式を説明するための図であり、画像座標（ｕｉ，ｖｉ）とカメラ座標（Ｘｉ，Ｙｉ，Ｚｉ）との関係を説明するための図である。
【図６】図１に示す位置認識システムの使用方法を説明するための撮影展開画像である。
【図７】図１に示す位置認識システムを使用するためのベルト正規展開画像を示す図であり、同図（ａ）は上部のベルトのベルト正規展開画像を示す図であり、同図（ｂ）は下部のベルトのベルト正規展開画像を示す図である。
【図８】図１に示す位置認識システムの使用方法を説明するためのベルト撮影展開画像の一例を示す図であり、同図（ａ）は上部のベルトのベルト撮影展開画像を示す図であり、同図（ｂ）は下部のベルトのベルト撮影展開画像を示す図である。
【図９】図１に示す位置認識システムの使用方法を説明するためのベルト撮影展開画像の他の一例を示す図である。
【発明を実施するための形態】
【００１５】
次に、本願発明の実施形態について、図面に基づいて詳細に説明する。図１において、符号１００は本願発明の位置認識システムを示す。図１において、装置、機器、コントローラー又は部位を繋ぐ実線は、接続され又は互いに関係付けられていることを示す。コンピュータは、ＣＰＵ、メモリ、及び入出力ポートを含む。
【００１６】
（構成）
（スケーラー１０２）
位置認識システム１００は、図２に示すように、例えば、歯科医院で歯石除去を行うためのスケーラー（長手方向に延びる物品）１０２とともに使用するように構成されている。長手方向に延びる物品は、後述するマーカ１６を固定できる略円柱形状のマーカ固定可能部１８を有していれば、スケーラー１０２に限定されない。物品は、手術器具、ロボットアーム又は工具等であってもよい。
【００１７】
（マーカ１６）
位置認識システム１００は、スケーラー１０２のマーカ固定可能部１８に固定されるシート状のマーカ１６を備える。マーカ１６は、樹脂又は紙から形成される。マーカ１６は、円柱形状のマーカ固定可能部１８の外周面に固定され、円筒形状（筒形状）となる。マーカ１６は、図３（ｂ）に示すように、横方向に左から、４個のセグメント（ａ）〜（ｄ）に区分されている。マーカ１６は、４個のセグメント（ａ）〜（ｄ）に区分けされることにより、マーカ固定可能部１８に固定されて円筒形状を成した場合に、円筒形状の回転中心（中心線）Ｃ１のまわりに９０°毎に区分けされる。これにより、後述するコンピュータ２４のカメラ２６が、何れかのセグメントを必ず撮影できる。また、マーカ１６は、縦方向に上から、ベルト部（ａ）、ドット部（ａ）、ＩＤ（identification）部（ａ）、ドット部（ｃ）、ＩＤ部（ｂ）、ドット部（ｂ）及びベルト部（ｂ）に区分されている。
【００１８】
セグメント（ａ）において、ドット部（ａ）にはドットＤ（ａａ）が、ドット部（ｂ）にはドットＤ（ａｂ）が、ドット部（ｃ）にはドットＤ（ａｃ）が、各々表示されている。セグメント（ｂ）において、ドット部（ａ）にはドットＤ（ｂａ）が、ドット部（ｂ）にはドットＤ（ｂｂ）が、ドット部（ｃ）にはドットＤ（ｂｃ）が、各々表示されている。セグメント（ｃ）において、ドット部（ａ）にはドットＤ（ｃａ）が、ドット部（ｂ）にはドットＤ（ｃｂ）が、ドット部（ｃ）にはドットＤ（ｃｃ）が、各々表示されている。セグメント（ｄ）において、ドット部（ａ）にはドットＤ（ｄａ）が、ドット部（ｂ）にはドットＤ（ｄｂ）が、ドット部（ｃ）にはドットＤ（ｄｃ）が、各々表示されている。
【００１９】
マーカ１６は、下地が白色であるのに対して、ドットＤ（ａａ）〜ドットＤ（ｄｃ）は黒色であり長方形である。後述するカメラ２６により、ドットＤ（ａａ）〜ドットＤ（ｃｃ）を含む画像を撮影し、コンピュータ２４の画像処理システムにより、撮影した画像を容易に２値化しラベリングし、カメラ２６によって採取した画像の中からドットＤ（ａａ）〜ドットＤ（ｃｃ）として容易に特定し、ドットＤ（ａａ）〜ドットＤ（ｃｃ）の重心（中心点）をマーカ１６の検出点（例えば、Ｋ（ａ）、Ｋ（ｂ）及びＫ（ｃ））として容易に検出できるように構成されている。各セグメントに属する３個のドットは同一直線上に配列され、３個のマーカ１６の検出点は、同一直線上に配列されるように構成されている。
【００２０】
セグメント（ａ）において、ＩＤ部（ａ）にはパターンＰ（ａａ）が表示され、ＩＤ部（ｂ）にはパターンが表示されていない。セグメント（ｂ）において、ＩＤ部（ａ）にはパターンＰ（ｂａ）が表示され、ＩＤ部（ｂ）にはパターン（ｂｂ）が表示されていない。セグメント（ｃ）において、ＩＤ部（ａ）にはパターンＰ（ｃａ）が、ＩＤ部（ｂ）にはパターンＰ（ｃｂ）が、各々表示されている。セグメント（ｄ）において、ＩＤ部（ａ）にはパターンＰ（ｄａ）が、ＩＤ部（ｂ）にはパターンＰ（ｄｂ）が、各々表示されている。ＩＤ部（ａ）の表示とＩＤ部（ｂ）の表示との組み合わせは、セグメント間で異なるように構成されている。検出した３個のドットと同一直線状のＩＤ部（ａ）及び（ｂ）のパターンを認識することにより、検出した３個のドットが如何なるセグメントに属するかを認識できるように構成されている。
【００２１】
なお、マーカ１６がスケーラー１０２に固定されることにより、スケーラー１０２に対するマーカ１６の方向は定まり、各セグメントのスケーラー１０２に対する位置は定まる。例えば、図３（ａ）において、セグメント（ｃ）がスケーラー１０２の正面側に位置する。マーカ１６の下地が白色であるのに対して、パターンＰ（ａａ）〜パターンＰ（ｄｂ）は黒色である。後述するカメラ２６により、パターンＰ（ａａ）〜パターンＰ（ｄｂ）を含む画像を撮影し、コンピュータ２４のマーカ検出部３６により、撮影した画像を容易に２値化しラベリングし、パターンの形状を容易に検出できるように構成されている。
【００２２】
ベルト部（ａ）には１本の帯状のベルトＢ（ａ）が表示され、ベルト部（ｂ）には１本の帯状のベルトＢ（ｂ）が表示されている。ベルトＢ（ａ）及びＢ（ｂ）は、マーカ１６の位置検出において、コンピュータ２４がベルトＢ（ａ）及びＢ（ｂ）を認識することにより、検出した画像がマーカ１６内の画像であるか否かを認識する等のために表示されている。また、ベルトＢ（ａ）及びＢ（ｂ）は、後述するように、撮影したマーカ１６の画像の歪みを、歪み処理部１０４により検出するために表示されている。マーカ１６の下地が白色であるのに対して、ベルトＢ（ａ）及びＢ（ｂ）は黒色である。カメラ２６により、ベルトＢ（ａ）及びＢ（ｂ）を含む画像を撮影し、コンピュータ２４のマーカ検出部３６により、撮影した画像を容易に２値化しラベリングし、ベルトの形状を容易に検出できるように構成されている。
【００２３】
（カメラ２６）
位置認識システム１００は、図１に示すように、マーカ１６の画像を撮影するカメラ２６を備える。カメラ２６は、デジタル画像を取り込むことができるカメラであれば特に限定されず、例えば、デジタル画像を取り込むことができるピンホールカメラである。カメラ２６は、スマートホンが備えるカメラであってもよい。
【００２４】
（コンピュータ２４）
（画像データベース４４）
位置認識システム１００は、図１に示すように、コンピュータ２４（例えばパソコン）を備える。コンピュータ２４は、マーカ１６を回転中心Ｃ１（図２に示す）まわりに一定角度（例えば１０°）ずつ回転させた場合の、角度毎のマーカ１６の複数のマーカ画像と、角度毎の角度データと、を記憶する画像データベース４４を備える。マーカ画像データは、例えば、マーカ１６の画像の部位毎の輝度（明度、彩度、色相、光度等）を含む。
【００２５】
（マーカ検出部３６）
コンピュータ２４は、図１に示すように、カメラ２６が撮影したマーカ１６の画像に基づいて、例えば、図３に示すマーカ１６の３個の検出点Ｋ（ａ）〜Ｋ（ｃ）の座標を算出するように構成されたマーカ検出部３６を備える。マーカ検出部３６は、カメラ２６が採取した画像の中から、ベルト部（ａ）及びベルト部（ｂ）に囲まれ、ベルト部（ａ）及びベルト部（ｂ）に垂直な同一直線上に並ぶ例えばドットＤ（ｃａ）、Ｄ（ｃｃ）及びＤ（ｃｂ）を走査し認識するように構成されている。なお、ドットＤ（ｃａ）、Ｄ（ｃｃ）及びＤ（ｃｂ）が同一直線上に並ぶことにより、マーカ１６の３個の検出点Ｋ（ａ）、Ｋ（ｃ）、Ｋ（ｂ）は、同一直線上に配列される。マーカ検出部３６は、認識した３個のドットの重心を算出し、マーカ１６の検出点（例えば、マーカ１６の検出点Ｋ（ａ）、Ｋ（ｃ）、Ｋ（ｂ））として認識するように構成されている。
【００２６】
マーカ１６の３個の検出点Ｋ（ａ）〜Ｋ（ｃ）が同一直線上に配列されることにより、カメラ２６により採取した２次元の画像座標（ｕｉ，ｖｉ）（＝（ｕ１，ｖ１１）〜（ｕ３，ｖ１３））と、カメラ２６に対する３次元のカメラ座標（立体座標、検出点Ｋ（ａ）〜Ｋ（ｃ）の座標）（Ｘｉ，Ｙｉ，Ｚｉ）（＝（Ｘ１，Ｙ１，Ｚ１）〜（Ｘ３，Ｙ３，Ｚ３））との関係について、図４の（１）、（２）、（３）及び（４）の数式が幾何学的に成立する。画像座標（ｕｉ，ｖｉ）とカメラ座標（Ｘｉ，Ｙｉ，Ｚｉ）との位置関係について、図５に示す。図４の（３）及び（４）の数式に基づき図４の（１）及び（２）の数式が導かれる。マーカ検出部３６は、図４の（１）及び（２）の数式に従い、画像座標（ｕｉ，ｖｉ）に基づいて、カメラ座標（Ｘｉ，Ｙｉ，Ｚｉ）を算出しマーカデータとして記憶するように構成されている。さらに、マーカ検出部３６は、算出した３個の（Ｘｉ，Ｙｉ，Ｚｉ）に基づいてマーカ１６の方向（例えば（Ｘ１，Ｙ１，Ｚ１）から（Ｘ３，Ｙ３，Ｚ３）へ向かうベクトル）を算出するように構成してもよい。
【００２７】
（回転角度検出部）
さらに、マーカ検出部３６は、カメラ２６を介して認識したマーカ１６の画像と、画像データベース４４が記憶する複数のマーカ画像とを対比し、画像データベース４４が記憶する複数のマーカ画像の中から最も近似する最近似マーカ画像を判別し、判別した最近似マーカ画像に対応する角度データを検出する回転角度検出部（図示しない）を備える。上述の対比は、カメラ２６を介して認識したマーカ１６の画像の一部又は全部の輝度に基づいて行われるように構成されている。回転角度検出部は、検出した角度データを、マーカ１６の回転中心Ｃ１まわりの角度として認識し記憶するように構成されている。
【００２８】
（セグメント判別部）
また、マーカ検出部３６は、カメラ２６が撮影したマーカ１６の画像の中で、検出するドットと同一直線上のＩＤ部（ａ）の画像及びＩＤ部（ｂ）の組合せに基づいて、検出したドットが属するセグメントを判別し記憶するセグメント判別部（図示しない）を備える。例えば、ＩＤ部（ａ）の画像がＰ（ｃａ）であり、ＩＤ部（ｂ）の画像がＰ（ｃｂ）であれば、セグメント判別部は、ドットはセグメント（ｃ）に属すると判断する。
【００２９】
マーカの回転角度検出のアルゴリズムの一例を、以下に示す。検出された３個のドットが、どのマーカのどのセグメントのものかを判別する。そのために、マーカパターン(マーカ表面の画像データ) の色データと、カメラ画像における対応する画素の色データとで、最も相関の高いもの(マーカおよびセグメント)を選ぶ。セグメントが９０°毎に配置されているので、回転角度誤差は±４５°となる。もう少し回転角度誤差を小さくするために、以下の方法で探索的に回転角度を検討する。カメラ座標において、ドット３点を通る所定の直線を求め、判別されたセグメントがカメラに対して正面に向く角度を探索の基準角度とする。その所定の直線を中心とした±９０°回転したマーカの位置の範囲において、隣のセグメント(画像上で見えている方)に対応する画素の色データとで最も相関の高い角度を探索する。
【００３０】
（マーカ位置記憶部）
また、マーカ検出部３６は、スケーラー１０２に対するマーカ１６の位置が予め設定されるマーカ位置記憶部（図示しない）を備える。例えば、図３（ａ）に示すように、セグメント（ｃ）が正面側に向けられて固定されている状態のセグメント（ｃ）のマーカ固定可能部１８に対する角度及び座標が予め設定されるように構成されている。すなわち、マーカ検出部３６は、マーカ１６の検出点の座標（採取した画像から算出）、マーカ１６の検出点の回転中心Ｃ１まわりの角度（採取した画像から算出）、マーカ１６の検出点の属するセグメント（採取した画像から判断）、及びスケーラー１０２に対するマーカ１６の位置（予め設定）を認識するように構成されている。
【００３１】
（歪み処理部１０４）
コンピュータ２４は、図１に示すように、カメラ２６が撮影したマーカ１６の撮影画像に含まれる２本のベルトＢ（ａ）及びＢ（ｂ）の画像に基づいてマーカデータを補正し、補正した補正後データを記憶するように構成された歪み処理部１０４を備える。
【００３２】
（撮影画像展開部１０６）
歪み処理部１０４は、カメラ２６が円筒形状のマーカ１６を撮影して採取される撮影円筒画像（例えば図３（ａ）に示す）を、マーカ１６が棒状のスケーラー１０２に取り付けられる前の形状であるシート状に展開し、展開した撮影展開画像を記憶するように構成された撮影画像展開部１０６を備える。撮影展開画像の横幅（Ｙ軸に対して垂直方向の長さ）は、撮影円筒画像のπ／２倍である。なお、撮影展開画像１１４を図６に示すが、現実には歪み（ゆがみ）が生じている。撮影展開画像の中のベルトＢ（ａ）及びＢ（ｂ）のベルト撮影展開画像１１６を図８又は図９に示す。
【００３３】
（正規展開画像記憶部１０８）
歪み処理部１０４は、マーカ１６の正確な展開画像である正規展開画像を予め記憶するように構成された正規展開画像記憶部１０８を備える。正規展開画像は、カメラ２６が撮影した画像ではなく、マーカ１６を製造するためのＣＧデータ又はＣＡＤデータ等に基づいて形成された画像である。正規展開画像の中のベルトＢ（ａ）及びＢ（ｂ）のベルト正規展開画像１１８を図７に示す。正規展開画像記憶部１０８は、正規展開画像の中で、ベルトＢ（ａ）の長手方向と平行な中心線Ｌ（ａ）上に一定ピッチＰｉで配置された複数の正規中点ＲＣＰ（ａ）の座標、及び、ベルトＢ（ｂ）の中心線Ｌ（ｂ）上に一定ピッチＰｉで配置された複数の正規中点ＲＣＰ（ｂ）の座標を記憶する。
【００３４】
（歪み検出部１１０、上下辺座標検出部）
歪み処理部１０４は、撮影展開画像に含まれるベルト撮影展開画像と正規展開画像に含まれるベルト正規展開画像とを対比することにより、撮影展開画像の歪みを検知し、算出した歪み算出データを記憶するように構成された歪み検出部１１０を備える。歪み検出部１１０は、撮影展開画像の中で、ベルトＢ（ａ）（図８又は図９に示す）について、長手方向と平行な上辺ＵＶ（ａ）上に一定ピッチＰｉで配置する複数の上辺点ＰＵＶ（ａ）の座標、及び、長手方向と平行な下辺ＤＶ（ａ）上に一定ピッチＰｉで配置する複数の下辺点ＰＤＶ（ａ）の座標を算出し記憶するように構成された上下辺座標検出部（図示しない）を備える。また、上下辺座標検出部は、撮影展開画像の中で、ベルトＢ（ｂ）について、長手方向と平行な上辺ＵＶ（ｂ）上に一定ピッチＰｉで配置する複数の上辺点ＰＵＶ（ｂ）の座標、及び、長手方向と平行な下辺ＤＶ（ｂ）上に一定ピッチＰｉで配置する複数の下辺点ＰＤＶ（ｂ）の座標を算出し記憶するように構成されている。上辺ＵＶ（ａ）、下辺ＤＶ（ａ）、上辺ＵＶ（ｂ）及び下辺ＤＶ（ｂ）は明部と暗部の境界線であり（マーカ１６の下地が明部でベルトが暗部）、２値化する部分である。
【００３５】
（中点算出部、中点対比部）
歪み検出部１１０は、上下辺座標検出部が座標を算出した複数の上辺点ＰＵＶ（ａ）及び下辺点ＰＤＶ（ａ）の座標の中で、上下方向（Ｙ軸方向）に配置された一対の上辺点ＰＵＶ（ａ）及び下辺点ＰＤＶ（ａ）の中点である撮影中点ＰＣＰ（ａ）を各一対について算出し、ベルト撮影展開画像の中心線上に一定ピッチＰｉで配置するように構成された中点算出部（図示しない）を備える。また、中点算出部は、上下辺座標検出部が座標を算出した複数の上辺点ＰＵＶ（ｂ）及び下辺点ＰＤＶ（ｂ）の座標の中で、上下方向（Ｙ軸方向）に配置された一対の上辺点ＰＵＶ（ｂ）及び下辺点ＰＤＶ（ｂ）の中点である撮影中点ＰＣＰ（ｂ）を各一対について算出し、ベルト撮影展開画像の中心線上に一定ピッチＰｉで配置するように構成されている。歪み検出部１１０は、撮影中点ＰＣＰ（ａ）と正規中点ＲＣＰ（ａ）と、及び、撮影中点ＰＣＰ（ｂ）と正規中点ＲＣＰ（ｂ）とを対比し、撮影中点ＰＣＰ（ａ）の正規中点ＲＣＰ（ａ）に対する歪み、及び、撮影中点ＰＣＰ（ｂ）の正規中点ＲＣＰ（ｂ）に対する歪みを検知する中点対比部（図示しない）を備える。
【００３６】
中点対比部は、例えば、図９に示すように、複数の撮影中点ＰＣＰ（ａ）が直線ＰＬ（ａ）上に配列され、直線ＰＬ（ａ）が、複数の正規中点ＲＣＰ（ａ）が配列された図７に示す直線Ｌ（ａ）に対して反時計まわりにＸＹ平面方向に傾斜し、複数の撮影中点ＰＣＰ（ｂ）が直線ＰＬ（ｂ）上に配列され、直線ＰＬ（ｂ）の、複数の正規中点ＲＣＰ（ｂ）が配列された図７に示す直線Ｌ（ｂ）に対して時計まわりにＸＹ平面方向に傾斜するとき、マーカ１６の撮影画像に歪みがあると判断する。この場合、中点対比部は、その傾斜角Θ１を歪みとして算出するように構成されている。また、中点対比部は、例えば、複数の撮影中点ＰＣＰ（ａ）の真中の点と複数の撮影中点ＰＣＰ（ｂ）の真中の点との距離が、複数の正規中点ＲＣＰ（ａ）の真中の点と複数の正規中点ＲＣＰ（ｂ）の真中の点との距離に対して、短い場合は、撮影したマーカ１６がＹＺ平面方向に傾斜するとみなして、その傾斜角を歪みとして算出するように構成されている。また、中点対比部は、例えば、複数の撮影中点ＰＣＰ（ａ）の真中の点と複数の撮影中点ＰＣＰ（ｂ）の真中の点との距離が、複数の正規中点ＲＣＰ（ａ）の真中の点と複数の正規中点ＲＣＰ（ｂ）の真中の点との距離に対して、長い場合は、撮影したマーカ１６に歪みがあると判断するように構成されている。
【００３７】
（補正演算部１１２）
歪み処理部１０４は、中点対比部が算出した歪みを補正値としてマーカデータを補正するように構成された補正演算部１１２を備える。補正演算部１１２は、例えば、上記中点対比部が傾斜角Θ１を歪みとして算出したとき、図６に示す撮影展開画像１１４において、右側辺が上下に広がり左側辺が上下に狭まっているため、中心線Ｃ２よりも右側辺側に位置する検出点Ｋ（ａ）とＫ（ｂ）との距離が小さくなるように、検出点Ｋ（ａ）及びＫ（ｂ）の座標を補正するように構成されている。また、補正演算部１１２は、例えば、上記中点対比部が、撮影したマーカ１６がＹＺ平面方向に傾斜するとみなして、その傾斜角を歪みとして算出したとき、マーカデータをＹＺ平面方向に逆向きに傾斜させて補正するように構成されている。歪み処理部１０４は、上記補正に従って、マーカ検出部３６が算出したマーカデータであるカメラ座標（Ｘｉ，Ｙｉ，Ｚｉ）を回転し、傾斜させ又はずらして、補正後データである補正後カメラ座標を算出するように構成されている。
【００３８】
（シミュレーション部１２０）
コンピュータ２４は、補正後カメラ座標に基づいて、スケーラー１０２の動作を計算しシミュレーションし、シミュレーション結果を記憶するように構成されたシミュレーション部１２０を備える。また、シミュレーション部１２０は、シミュレーション結果に基づいて、スケーラー１０２の動作のＣＧ（computer graphic、コンピュータグラフィック）を、移動するスケーラー１０２について時系列的に複数個作成するように構成されている。また、シミュレーション部１２０は、作成したＣＧに基づいて、コンピュータ２４のディスプレイ（図示しない）に動画を表示させるように構成されている。なお、シミュレーション部１２０及びディスプレイは、コンピュータ２４とは別個に備えてもよい。
【００３９】
（作用及び効果）
図２に示すように、スケーラー１０２のマーカ固定可能部１８上に、マーカ１６が位置決めされ固定される。以下、位置認識システム１００によって、歯石除去作業の練習を行う練習者が、スケーラー１０２を歯茎模型（図示しない）に沿って移動させて仮想歯石除去作業を行う場合について説明する。
【００４０】
（位置検出）
コンピュータ２４の電源がＯＮの状態で、カメラ２６が、画像採取する状態に作動させられる。練習者は、右手にスケーラー１０２を把持する。練習者は、スケーラー１０２を歯茎模型に沿って移動させる。カメラ２６はマーカ１６の画像を時系列的に複数枚採取する。マーカ検出部３６は、カメラ２６が採取した複数の画像を、画像毎に、２値化しラベリングし、ラベリングしたデータに基づいて、同一直線上に配列された３個のドット（ドットＤ（ａａ）〜ドットＤ（ｄｃ）のいずれか）を判別し、それら３個のドットをマーカ１６のドットであると認識する。
【００４１】
マーカ検出部３６は、図３（ａ）に示すＤ（ｃａ）、Ｄ（ｃｂ）及びＤ（ｃｃ）をマーカ１６のドットであると認識した場合、Ｄ（ｃａ）、Ｄ（ｃｂ）及びＤ（ｃｃ）の重心の画像座標（ｕｉ，ｖｉ）（＝（ｕ１，ｖ１１）〜（ｕ３，ｖ１３））を算出し、画像座標（ｕｉ，ｖｉ）から、図４に示す数式に基づき、カメラ２６に対する３次元のカメラ座標（Ｘｉ，Ｙｉ，Ｚｉ）（＝（Ｘ１，Ｙ１，Ｚ１）〜（Ｘ３，Ｙ３，Ｚ３））を算出し、マーカ１６の検出点Ｋ（ａ）、Ｋ（ｂ）及びＫ（ｃ）の座標として認識する。カメラ座標（Ｘｉ，Ｙｉ，Ｚｉ）は、マーカデータである。
【００４２】
マーカ検出部３６は、時系列的に認識したマーカ１６の複数枚の画像毎に、回転角度検出部によって、マーカ１６の回転中心Ｃ１まわりの角度として時系列的に認識し記憶する。また、マーカ検出部３６は、セグメント判別部によって、検出したドットが属するセグメントを時系列的に認識し記憶する。
【００４３】
（位置補正）
次に、以下のようにして、歪み処理部１０４が、マーカデータであるカメラ座標（Ｘｉ，Ｙｉ，Ｚｉ）を補正する。まず、撮影画像展開部１０６は、カメラ２６が採取したマーカ１６の画像を展開し、撮影展開画像１１４（図６に示す）を記憶する。歪み検出部１１０の上下辺座標検出部は、撮影展開画像の中で、ベルトＢ（ａ）の複数の上辺点ＰＵＶ（ａ）の座標、及び複数の下辺点ＰＤＶ（ａ）の座標を算出し記憶し、ベルトＢ（ｂ）の複数の上辺点ＰＵＶ（ｂ）の座標、及び複数の下辺点ＰＤＶ（ｂ）の座標を算出する。
【００４４】
歪み検出部１１０の中点算出部は、上下方向に並ぶ１対の上辺点ＰＵＶ（ａ）及び下辺点ＰＤＶ（ａ）について、撮影中点ＰＣＰ（ａ）を算出し、上下方向（Ｙ軸方向）に並ぶ１対の上辺点ＰＵＶ（ｂ）及び下辺点ＰＤＶ（ｂ）について、撮影中点ＰＣＰ（ｂ）を算出する。歪み検出部１１０の中点対比部は、撮影中点ＰＣＰ（ａ）と正規中点ＲＣＰ（ａ）と、及び、撮影中点ＰＣＰ（ｂ）と正規中点ＲＣＰ（ｂ）とを対比し、撮影中点ＰＣＰ（ａ）の正規中点ＲＣＰ（ａ）に対する歪み、及び、撮影中点ＰＣＰ（ｂ）の正規中点ＲＣＰ（ｂ）に対する歪みを検知する。中点対比部は、例えば、図９に示すように、複数の撮影中点ＰＣＰ（ａ）が直線ＰＬ（ａ）上に配列され、直線ＰＬ（ａ）が直線Ｌ（ａ）（図７に示す）に対して反時計まわりにＸＹ平面方向に傾斜し、直線ＰＬ（ｂ）が、直線Ｌ（ｂ）（図７に示す）に対して時計まわりにＸＹ平面方向に傾斜するとき、マーカ１６の撮影画像に歪みがあると判断し、その傾斜角Θ１を歪みとして算出する。
【００４５】
歪み処理部１０４の補正演算部１１２は、中点対比部が算出した歪みを補正値としてマーカデータを補正する。補正演算部１１２は、例えば、上記中点対比部が傾斜角Θ１（図９に示す）を歪みとして算出したとき、図６に示す撮影展開画像１１４において、右側辺が上下に広がり左側辺が上下に狭まっているため、中心線Ｃ２よりも右側辺側に位置する検出点Ｋ（ａ）とＫ（ｂ）との距離が小さくなるように、検出点Ｋ（ａ）及びＫ（ｂ）のカメラ座標を補正する。
【００４６】
シミュレーション部１２０は、補正後カメラ座標に基づいて、スケーラー１０２の動作を計算しシミュレーションし、スケーラー１０２の動作のＣＧ（computer graphic、コンピュータグラフィック）を作成し、コンピュータ２４のディスプレイ（図示しない）にＣＧの動画を表示させる。歯石除去作業の指導者は、ディスプレイに表示された動画を見ながら、歯石除去作業について練習者を指導する。
【００４７】
（効果）
本願発明によれば、マーカ検出部３６がスケーラー１０２の位置を算出し、歪み処理部１０４がマーカの撮影画像の歪みを検知し、その歪みに基づいて、マーカデータを補正し、シミュレーション部１２０が補正後データに基づいてスケーラー１０２の動画を表示できる。このため、歯石除去作業の指導者がスケーラー１０２の動作を、客観的且つ正確に把握できる。これにより、指導者は歯石除去作業について適確にアドバイスできる。
【００４８】
また、本願発明によれば、歪み検出部１１０が撮影展開画像に含まれるベルト撮影展開画像の歪みを検知し、補正演算部１１２がベルト撮影展開画像の歪みに基づいてマーカデータを補正するに際して、ベルトの上辺点と下辺点との中点である撮影中点に基づいて歪みを検知することができる。ベルト撮影展開画像の上下方向（Ｙ軸方向）の幅（図８に符号Ｗ１及びＷ２で示し、図９に符号Ｗ３及びＷ４で示す）は、マーカ１６の周囲の明るさによって変化する。すなわち、マーカ１６の周囲が明るいと、暗部であるベルト撮影展開画像１１６の上辺ＵＶ（ａ）が中心線ＰＬ（ａ）に対して下へ移行し下辺ＤＶ（ａ）が中心線ＰＬ（ａ）に対して上へ移行し、ベルト撮影展開画像１１６の幅が上下に狭くなり、マーカの周囲が暗いと、暗部であるベルト撮影展開画像１１６の上辺ＵＶ（ａ）が中心線ＰＬ（ａ）に対して上へ移行し下辺ＤＶ（ａ）が中心線ＰＬ（ａ）に対して下へ移行し、ベルト撮影展開画像１１６の幅Ｗ３が上下に広くなる。しかし、ベルト撮影展開画像の中心線ＰＬ（ａ）上の撮影中点の位置は上下に変化しない。Ｗ４についても同じである。このため、撮影中点に基づいてマーカの撮影画像の歪みを検知することにより、マーカの撮影画像の歪みを正確に算出できる。これにより、マーカデータを正確に補正できる。また、展開していない撮影円筒画像に含まれるベルト撮影展開画像よりも撮影展開画像に含まれるベルト撮影展開画像の方が大きく、歪みも大きく表れる。このため、撮影展開画像を使用して撮影画像の歪みを検知することにより、容易に歪みを検知できる。
【００４９】
以上、本願発明の実施形態について図面に基づいて説明したが、本願発明は図示した実施形態に限定されない。例えば、本願発明の位置認識システムにおいて、正規展開画像記憶部１０８を備えなくともよい。例えば、中点対比部を、直線ＰＬ（ａ）と直線ＰＬ（ｂ）とが互いに逆方向に傾くことから、マーカ１６の撮影画像に歪みがあると判断し、その傾斜角Θ１を歪みとして算出するように構成してもよい。この場合、正規展開画像を使用しない。すなわち、撮影画像を正規画像と比較して歪みを検知する構成でなくともよい。また、撮影展開画像の撮影中点ＰＣＰ（ａ）が配置される直線ＰＬ（ａ）、又はＰＣＰ（ｂ）が配置される直線ＰＬ（ｂ）の横方向（Ｘ軸方向）の長さによって、撮影画像に歪みがあることを認識する構成であってもよい。以上、本願発明の実施形態について説明したが、本願発明は同一の作用及び効果が生じる範囲での更に他の実施形態であってもよい。
【符号の説明】
【００５０】
１６：マーカ
１８：マーカ固定可能部
２６：カメラ
３６：マーカ検出部
４４：画像データベース
１００：位置認識システム
１０２：スケーラー（長手方向に延びる物品）
１０４：歪み処理部
１０６：撮影画像展開部
１０８：正規展開画像記憶部
１１０：歪み検出部
１１２：補正演算部
１１４：撮影展開画像
１１６：ベルト撮影展開画像
１１８：ベルト正規展開画像
１２０：シミュレーション部
Ｂ（ａ）、Ｂ（ｂ）：ベルト
Ｋ（ａ）、Ｋ（ｂ）、Ｋ（ｃ）：検出点
Ｃ１：回転中心（中心線）
ＤＶ（ａ）、ＤＶ（ｂ）：下辺
ＰＣＰ（ａ）、ＰＣＰ（ｂ）：撮影中点
ＰＤＶ（ａ）、ＰＤＶ（ｂ）：下辺点
ＰＵＶ（ａ）、ＰＵＶ（ｂ）：上辺点
ＲＣＰ（ａ）、ＲＣＰ（ｂ）：正規中点
ＵＶ（ａ）、ＵＶ（ｂ）：上辺
【図１】
2020192251.tif 000005
【図２】
2020192251.tif 000006
【図３】
2020192251.tif 000007
【図４】
2020192251.tif 000008
【図５】
2020192251.tif 000009
【図６】
2020192251.tif 000010
【図７】
2020192251.tif 000011
【図８】
2020192251.tif 000012
【図９】
2020192251.tif 000013