(57)【要約】【構成】本発明の適切な口腔衛生処置をチェックするシステムは、マーカーを有する歯ブラシで歯磨きを行っている使用者の顔の画像を取得するビデオカメラ；これら画像を解析し、かつ使用者の顔の特徴点を見つけ出す処理手段；前記画像を解析し、前記歯ブラシを見つけ出す処理手段；これら特徴点の動きに追従する処理手段；前記歯ブラシの動きに追従する処理手段；前記顔と前記歯ブラシとの間の動作を計算する処理手段；および前記顔と前記歯ブラシとの前記相対動作が所定の相対動作に対応しているかどうかをチェックする処理手段；を有し、前記マーカーを複数のエリアに分割し、そして所定数の色から選択される色で前記複数のエリアそれぞれを着色して、相互に接近する前記エリア間の色コントラストを最大化することを特徴とする。【選択図】図２
2017532076.tif 000002
【特許請求の範囲】
【請求項１】
マーカー（１０）を有する歯ブラシ（１１）で歯磨きを行っている使用者（１８）の顔（１４）の画像（１６）を取得するビデオカメラ（１３）；これら画像（１６）を解析し、かつ前記使用者（１８）の顔（１４）の特徴点（１７）を見つけ出す処理手段（１２）；前記画像（１６）を解析し、前記歯ブラシ（１１）を見つけ出す処理手段（１２）；これら特徴点（１７）の動きに追従する処理手段（１２）；前記歯ブラシ（１１）の動きに追従する処理手段（１２）；前記顔（１４）と前記歯ブラシ（１１）との間の動作を計算する処理手段（１２）；および前記顔（１４）と前記歯ブラシ（１１）との前記動作が所定の相対動作に対応しているかどうかをチェックする処理手段（１２）；を有し、前記マーカー（１０）を複数のエリア（３５〜４０）に分割し；そして所定数の色から選択される色で前記複数のエリア（３５〜４０）それぞれを着色して、相互に接近する前記エリア（３５〜４０）間の色コントラストを最大化することを特徴とする適切な口腔衛生処置をチェックするシステム。
【請求項２】
歯ブラシヘッド（１５）に対向する前記歯ブラシ（１１）の端部に前記マーカー（１０）を設けた請求項１に記載のシステム。
【請求項３】
前記マーカー（１０）を球形状に構成し、赤道線（２１）によって相互分離した経線（２０）によって定義される複数のエリア（３５〜４０）に分割した請求項１または２に記載のシステム。
【請求項４】
前記複数のエリア（３５〜４０）のうちの２つの連続したエリアが同じ色を有しない請求項１〜３のいずれか１項に記載のシステム。
【請求項５】
前記赤道線（２１）によって前記マーカー（１０）を２つの半球（２２、２３）に分割し；三種類の隣接色の認識に基づいて、対象となるこれら半球（２２、２３）およびその角度位置を判別する請求項１〜４のいずれか１項に記載のシステム。
【請求項６】
歯を磨いている前記使用者（１８）と通信して、前記所定の動きに対応していない適切ではない口腔衛生処置が生じていることを前記使用者（１８）に警告する手段（１２）を有する請求項１〜５のいずれか１項に記載のシステム。
【請求項７】
前記使用者（１８）に歯磨きを指示し、歯磨きに必要な時間を指示する記憶手段（１２）を有する請求項１〜６のいずれか１項に記載のシステム。
【請求項８】
歯磨きを行っている前記使用者（１８）の前記顔（１４）をスクリーンに表示する手段（１２）を有する請求項１〜７のいずれか１項に記載のシステム。
【請求項９】
歯磨きを行っている前記使用者（１８）の前記顔（１４）を他のバーチャルな顔に置き換える請求項１〜８に記載のシステム。
【請求項１０】
マーカー（１０）を有する歯ブラシ（１１）で歯磨きを行っている使用者（１８）の顔（１４）をビデオカメラ（１３）で撮像するステップ；使用者（１８）の前記顔（１４）の特徴点（１７）を見つけ出すステップ；この歯ブラシ（１１）を見つけ出すステップ；前記特徴点（１７）の動きに追従するステップ；前記歯ブラシ（１１）の動きに追従するステップ；前記顔（１４）と前記歯ブラシ（１１）との相対動作を計算するステップ；前記顔（１４）と前記歯ブラシ（１１）の前記相対動作が所定の相対動作に対応しているかどうかをチェックするステップ；前記歯ブラシが有するマーカー（１０）を複数のエリア（３５〜４０）に分割するステップ；およびこのマーカー（１０）の各エリア（３５〜４０）を着色して、異なるエリアの色コントラストを最大化するステップを有することを特徴とする適切な口腔衛生処置をチェックする方法。
【請求項１１】
請求項１に記載の方法を実行するコンピュータプログラム。
【発明の詳細な説明】
【背景技術】
【０００１】
本発明は、適切な口腔衛生処置の検査システム、関連する方法、および関連するコンピュータプログラムに関する。
【０００２】
現在、子供たちにとって日々行う歯磨きは魅力に乏しく、教育者にとって適正な口腔衛生を子供たちに教えることは難しい仕事である。子供たちが好む漫画の主人公を描いた特別な歯ブラシや、魅力的な色や匂いを加えた練歯磨きを使用しても、子供たちに繰り返し歯磨きを行うよう正しく教え込むことはほとんどうまくいかない。ましてや、適切な方法で適切な時間に歯磨きを行うことについてはいうまでもない。歯磨きについては、大人も同様であり、忙しさや、その他の偶発事が理由である。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ誌に発表されたＶｉｏｌａ  Ｐ．およびＪｏｎｅｓ  Ｍ．Ｊ．の“Ｒｏｂｕｓｔ  Ｒｅａｌ−Ｔｉｍｅ  Ｆａｃｅ  Ｄｅｔｅｃｔｉｏｎ”、Ｋｌｕｗｅｒ  Ａｃａｄｅｍｉｃ  Ｐｕｂｌｉｓｈｅｒｓ、ｐｐ．１３７−ｆ４、２００４
【非特許文献２】Ｃｏｏｔｅｓ  Ｔ．Ｆ．、Ｅｄｗａｒｄｓ  Ｇ．Ｊ．、Ｔａｙｌｏｒ  Ｃ．Ｊ．の論文“Ａｃｔｉｖｅ  ａｐｐｅａｒａｎｃｅ  ｍｏｄｅｌｓ”、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｆ  Ｐａｔｔｅｒｎ  Ａｌａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ（２００１）
【非特許文献３】Ｂ．Ｄ．Ｌｕｃａｓ  ａｎｄ  Ｔ．Ｋａｎａｄｅ（１９８１）、“Ａｎ  ｉｔｅｒａｔｉｖｅ  ｉｍａｇｅ  ｒｅｇｉｓｔｒａｔｉｏｎ  ｔｅｃｈｎｉｑｕｅ  ｗｉｔｈ  ａｎ  ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｓｔｅｒｅｏ  ｖｉｓｉｏｎ”、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｉｍａｇｉｎｇ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  Ｗｏｒｋｓｈｏｐ、ｐｐ．１２１−１３０
【非特許文献４】Ｘｉａｎｇ  Ｙｕ；Ｊｕｎｚｈｏｕ  Ｈｕａｎｇ；Ｓｈａｏｔｉｎｇ  Ｚｈａｎｇ；Ｗａｎｇ  Ｙａｎ;Ｍｅｔａｘａｓ、Ｄ．Ｎ．の論文“Ｐａｓｅ−Ｆｒｅｅ  Ｆａｃｉａｌ  Ｌａｎｄ-    ｍａｒｋ  Ｆｉｔｔｉｎｇ  ｖｉａ  Ｏｐｔｉｍｉｚｅｄ  Ｐａｒｔ  Ｍｉｘｔｕｒｅｓａｎｄ  Ｃａｓｃａｄｅｄ  Ｄｅｆｏｒｍａｂｌｅ  Ｓｈａｐｅ  Ｍｏｄｅ”、Ｃｏｍ-ｐｕｔｅｒ  Ｖｉｓｉｏｎ（ＩＣＣＶ）、２０１３ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏ-  ｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ、ｐｐ.１９４４、１９５１、１−８ Ｄｅｃｅｍｂｅｒ
【非特許文献５】Ｂ．ＨｏｒｎおよびＢ．Ｓｃｈｕｎｃｋの論文“Ｄｅｔｅｒｍｉｎｉｎｇ  Ｏｐｔｉｃａｌ  Ｆｌｏｗ”、Ａｒｔｉｆｉｃａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、１６、１８５−２０３、１９８１
【発明の概要】
【０００４】
本発明の目的は、適切な口腔衛生処置をチェックするシステムを提供することである。
【０００５】
本発明のもう一つの目的は、インタラクティブ（ｉｎｔｅｒａｃｔｉｖｅ）なシステムを提供することである。
【０００６】
本発明のさらに別な目的は、魅力的であると同時に楽しいシステムを提供することである。
【０００７】
本発明によれば、上記目的などは、マーカーを有する歯ブラシで歯磨きを行っている使用者の顔の画像を取得するビデオカメラ；これら画像を解析し、かつ上記使用者の顔の特徴点を見つけ出す処理手段；これら画像を解析し、上記歯ブラシを見つけ出す処理手段；これら特徴点の動きに追従する処理手段；上記歯ブラシの動きに追従する処理手段；上記使用者の顔と上記歯ブラシとの間の相対動作を計算する処理手段；および上記使用者の顔と上記歯ブラシとの上記相対動作が所定の相対動作に対応しているかどうかをチェックする処理手段；を有し、上記マーカーを複数のエリアに分割し；そして所定数の色から選択される色で上記複数のエリアそれぞれを着色して、相互に接近する上記エリア間の色コントラストを最大化する適切な口腔衛生処置をチェックするシステムによって実現できる。
【０００８】
また、上記目的などは、マーカーを有する歯ブラシで歯磨きを行っている使用者の顔をビデオカメラで撮像するステップ；上記使用者の顔の特徴点を見つけ出すステップ；この歯ブラシを見つけ出すステップ；上記特徴点の動きに追従するステップ；上記歯ブラシの動きに追従するステップ；上記使用者の顔と上記歯ブラシとの相対動作を計算するステップ；上記使用者の顔と上記歯ブラシの上記相対動作が所定の相対動作に対応しているかどうかをチェックするステップ；上記歯ブラシが有するマーカーを複数のエリアに分割するステップ；およびこのマーカーの各エリアを着色して、異なるエリアの色コントラストを最大化するステップを有する適切な口腔衛生処置をチェックする方法によって実現できる。
【０００９】
また、上記目的は、請求項１に記載の方法を実行するコンピュータプログラムによって実現できる。
【００１０】
本発明の別な特徴については、従属請求項に記載する。
【００１１】
本発明の課題の解決策は、従来の解決策に対して各種の作用効果を有する。
【００１２】
即ち、本発明のシステムは教育者にとって、場合によっては漫画の主人公を使用するインタラクティブな方法で、日々行う歯磨きの楽しみを子供たちに諭すと同時に、その重要性を教え込む補助ツールになる。本発明システムは、従って、大人にとっても、口腔衛生に資する歯磨き方法および歯磨き時間が適切であるかどうかをチェックする補助的なツールになる。
【００１３】
本発明システムの場合、携帯装置によって認識でき、かつ見出すことができる適切なマーカーを有する手動式歯ブラシを使用して、使用者の顔の位置に対する歯ブラシの動きを解析し、口腔衛生に資する適切な使用方法および使用時間を評価することができる。
【００１４】
サイズの小さいタブレットコンピュータ、ノート型パソコンやスマートフォンなどの携帯式コンピュータが広く普及しているため、これらを歯磨きに必要な時間これらを浴室などに手軽に持ち込むことができる。特に、本発明のシステムの場合、これら装置を利用して、使用者、歯ブラシおよび適切な口腔衛生に関する適切な使用および教育についての解析を行うアプリ間のインターアクションを完璧化できるが、同様なデータ取得および処理能力をもつ他の装置も利用可能である。
【００１５】
本発明システムの場合、目標（ターゲット）に適切に追従することによって、所定空間に歯ブラシを適切に位置決めでき、解析すべき使用者の口腔に対する動作を可能にする。
【００１６】
従って、スマートフォンやタブレットの簡単なビデオカメラを使用して、適切な口腔衛生処置の正確な解析を行うことができ、また使用者が間違いを犯した場合にはこれを正すことが可能になる。
【００１７】
より若い使用者に対してアプリをより魅力的なものにするために、歯ブラシの３Ｄ位置および使用者の顔の向きが既知であるため、ＡＲ（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ，拡張現実）法を使用して、使用者の顔を漫画の主人公に置き換えることが可能になる。
【００１８】
本発明の上記以外の特徴および作用効果については、添付図面に示す非限定的な実施例によって説明する好適な実施態様に関する以下の記載から明らかになるはずである。
【図面の簡単な説明】
【００１９】
【図１】本発明に従ってマーカーを取り付けた歯ブラシを示す図である。
【図２】本発明に従ってタブレットコンピュータの前にある歯ブラシで歯を磨いている少年を示す概略図である。
【図３】本発明のマーカーの上半球図である。
【図４】本発明のマーカーの下半球図である。
【図５】本発明のマーカーを示す側面図である。
【発明を実施するための形態】
【００２０】
特別なマーカー１０については、歯ブラシ１１（マーカーは歯ブラシに予め取り付けることができる）の端部（スロットによって、あるいは接着剤によって）に固定する。このマーカーの目的は、コンピュータ、好ましくはタブレットコンピュータなどの処理装置１２がそのサイズおよび利便性を通じてタブレットコンピュータ１２の上部に位置するビデオカメラ１３によって歯ブラシ１１の空間位置（向きおよび３Ｄ位置）を見出し、（空間内の）動きの方向を解析することである。
【００２１】
また、タブレットコンピュータ１２の正面に位置するビデオカメラ１３によって、口腔衛生処置を行っている使用者１８の顔１４を取得し、画像１６をタブレットコンピュータ１２に表示することも可能である。
【００２２】
マーカー１０の歯ブラシへの取り付け位置は、歯ブラシヘッド１５の対向端部である。
【００２３】
本発明システムの場合、ビデオカメラ１３の画面情報である一つかそれ以上の顔を見つけ、最も近似した顔を選び取ることができる。
【００２４】
この操作は、従来の画像形成用デジタル式処理法、例えばＩｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ誌に発表されたＶｉｏｌａ  Ｐ．およびＪｏｎｅｓ  Ｍ．Ｊ．の“Ｒｏｂｕｓｔ  Ｒｅａｌ−Ｔｉｍｅ  Ｆａｃｅ  Ｄｅｔｅｃｔｉｏｎ”、Ｋｌｕｗｅｒ  Ａｃａｄｅｍｉｃ  Ｐｕｂｌｉｓｈｅｒｓ、ｐｐ１３７−ｆ４、２００４によって実施することができる。
【００２５】
ごく短く要約すると、顔があると想定される場所の画像を異なるスケールのハール変換（Ｈａａｒ ｔｒａｎｓｆｏｒｍ）から誘導される一連の二次元フィルターによってフィルター処理する。これらフィルターそれぞれはシステムのトレーニング段階で顔のすぐれた識別子として認識されているものである。特に、異なるフィルターは、例えばオクルージョン（ｏｃｃｌｕｓｉｏｎｓ）や影などの顔の位置決定のさいの各問題に対して強い。
【００２６】
適切な個数のフィルターが画像に適用されたさいにポジティブな結果を与える場合、これらフィルターによって処理されたエリアは、画像の寸法および拡張子が既知の顔として識別できる。
【００２７】
画像中にいくつかの顔が存在することもあり、本発明の場合、寸法が十分明瞭で、歯ブラシのマーカーを正確に追跡できる顔のみが有用であると考える。アルゴリズム（ａｌｇｏｒｉｔｈｍ）のオープンソース（ｏｐｅｎ ｓｏｕｒｃｅ）な処理については、http://opencv.org.でアクセスできるＯｐｅｎＣＶなどの好適なライブラリーで実施できる。
【００２８】
顔１４の位置が決定された後は、眼、鼻や口などの一連の特徴部分１７について識別し、画面情報の使用者１８の口に対する歯ブラシ１１の空間位置を識別する。
【００２９】
本システムの場合、歯ブラシ１１が存在し、手によってこれを保持するため、顔１４が部分的にオクルージョン（ｏｃｃｌｕｓｉｏｎ）することがあるが、これに対処することができる。
【００３０】
本発明では、顔１４の特徴部分１７の位置を決定するために、従来の方法を使用する。例えば、Ｃｏｏｔｅｓ  Ｔ．Ｆ．、Ｅｄｗａｒｄｓ  Ｇ．Ｊ．、Ｔａｙｌｏｒ  Ｃ．Ｊ．の論文“Ａｃｔｉｖｅ  ａｐｐｅａｒａｎｃｅ  ｍｏｄｅｌｓ”、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｆ  Ｐａｔｔｅｒｎ  Ａｌａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ（２００１）などが参考になる。
【００３１】
この場合、画像中の顔（複数の場合もある）の位置が既知であるとする。ＡｃｔｉｖｅＡｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌアルゴリズムをそれぞれの顔に適用する。顔を含んでいることが確認されているエリア内部には、顔の所定のモデルを設定する。特に、所定モデルの各点を、エッジが現実の画像と交差するまで、このモデルに対して法線方向に移動する。次のステップでは、モデルの歪みパラメーター（使用者の顔を描いたマスクの自由度）を決定する必要がある。これらパラメーターがモデルポイントの新しいに位置になり、モデルの新しい構成を再評価することができる。次に、収束するまで、以上の２つのステップを順次反復する。このアルゴリズムの場合、上記のＯｐｅｎＣＶライブラリーにおいてオープンソースで利用することも可能である。
【００３２】
また本発明システムでは、必要に応じて、マーカーから歯ブラシを認識することができ、またこれを使用者に対応付けすることができ、対象となるシステムの使用者すべてが設定された時間に、そして設定された方法で歯磨きをおこなっているかをチェックすることができる。
【００３３】
使用者の口および使用者の顔を向きが決定された後は、また適用されたターゲットによる歯ブラシの位置が決定された後は、フレーム（画面情報）順に歯ブラシの空間的動きを一時的に分析し、歯ブラシの動きが適切であるかどうかをチェックする。
【００３４】
特に、この結果として、マーカーの回転並進（ｒｏｔｏ−ｔｒａｎｓｌａｔｉｏｎ）を知ることができ、また歯ブラシヘッド１５の空間的位置を知ることもできる。口の位置が上記Ａｃｔｉｖｅ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌ法によって判ると、使用者が歯の左側を磨いているかどうか、あるいは右側を磨いているかどうかを容易に識別することができる。さらに、一つかそれ以上の極（図３の半球の場合は北極、中心点、あるいは図４の半球の南極、中心点）の位置を判別でき、従ってマーカーの回転を知ることができる場合には、マーカーの極軸を定めることができ、従って歯ブラシのヘッド１５が口の横断面（上歯列弓（ｕｐｐｅｒ ｄｅｎｔａｌ ａｒｃ）を下歯列弓から分離する面）に対して直交しているかどうか、従って歯のオクルーザルテーブル（ｏｃｃｌｕｓａｌ  ｔａｂｌｅ）に位置しているかどうかを決定することができ、あるいは歯ブラシヘッドが上記面にあり、従って歯の側面に位置しているかどうかを決定することができる。
【００３５】
歯ブラシヘッドの動きは、歯ブラシ端部のマーカーに適用されるオプティカルフロー解析アルゴリズムによって解析でき、特に、文献Ｂ．Ｄ．Ｌｕｃａｓ  ａｎｄ  Ｔ．Ｋａｎａｄｅ（１９８１）、“Ａｎ  ｉｔｅｒａｔｉｖｅ  ｉｍａｇｅ  ｒｅｇｉｓｔｒａｔｉｏｎ  ｔｅｃｈｎｉｑｕｅ  ｗｉｔｈ  ａｎ  ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｓｔｅｒｅｏ  ｖｉｓｉｏｎ”、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｉｍａｇｉｎｇ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  Ｗｏｒｋｓｈｏｐ、ｐｐ．１２１−１３０に発表されているＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムを選択した。
【００３６】
上記の微分法では、異なるフレーム間のマーカーの強度および色成分は一定と想定し、かつ２つの連続するフレーム間の動きは小さい（数個の画素）と想定する。すると、対象とする点およびこの点の周囲のエリアに関して、２つのフレーム間の異なる色成分の強度は、均一運動の映画的法則（ａ  ｃｉｎｅｍａｔｉｃ  ｌａｗ  ｏｆ  ｕｎｉｆｏｒｍ  ｍｏｔｉｏｎ）に従うことになる。ここでＩが３つの色成分のうちの一つを、ΔｘおよびΔｙが画素内の動きを、そしてｎが現在のフレームを表すとする。以下の式が成立する。
2017532076.tif 000003
これから、以下の式が成立する。
2017532076.tif 000004
【００３７】
従って、２つの画像間の点の速度ベクトルは、以下の式を満足する必要がある。
2017532076.tif 000005
なお、ＩｘおよびＩｙはそれぞれ方向ｘおよびｙにおける導関数であり、ＶｘおよびＶｙは水平方向および垂直方向における速度成分を示す。
【００３８】
この画素周囲の画素にこの演算を拡張すると、ノイズがなくなり、またマーカーの動きの方向の評価が改善する。
【００３９】
マーカーの動きの解析によって評価された口の位置、歯ブラシヘッドの位置およびその動きの方向が判ると、以下の状態を評価することが可能になる。
【００４０】
歯ブラシヘッドが横断面に直交する平面にある場合、即ち臼歯および前臼歯のオクルーザルテーブル上に位置し、横断面で並進する場合、この動きは適切な動きである。
【００４１】
歯ブラシヘッドが歯列弓の横表面に位置し、回転し、垂直に並進する場合、この動きは適切な動きである。
【００４２】
歯ブラシヘッドが歯列弓の横表面に位置し、横断面上で回転、並進する場合、この動きは不適切な動きである。
【００４３】
また、歯ブラシの空間位置を解析するため、両歯列弓が歯磨き作用を受けているかどうかを、そして歯磨き時間の全量が適切な口腔衛生に必要な時間に対応しているかどうかを解析することが可能である。
【００４４】
本発明システムの最後のステップは、子供に対する口腔衛生処置の楽しみを増すことを目的とし、ＡＲ技術によって、パペットの一種である“アバター（ａｖａｔａｒ）”の映像をタブレットコンピュータ１２に表示するステップである。このパペットの映像は同じ空間位置にある表示されている顔の画像に重ねられ、同じジェスチャーを正確に反復する。また歯ブラシの空間位置は前のステップによって既に判っているため、歯ブラシ自体の画像は、これを子供が選択した別なオブジェクトとして、あるいはアバターに対応付けてアニメ化することによって、あるいは描くことによってＡＲ技術で描くことが可能になる。
【００４５】
歯磨き処置時のパペットの顔の表現およびこれが発語する言葉もまた、使用者が、歯磨き動作が正しいか、歯磨き時間が適切であるか、そして補正が必要であるかどうかを理解するのに役立つ。
【００４６】
使用者は、ある種の“マジックミラー”をのぞき込んでいる感覚、即ち使用者自身の顔がパペットの顔に移り込んでいる感覚を得ることになり、また歯ブラシについては、別な、ひょっとしたらアニメ化されオブジェクトに変換している感覚、即ちこれらすべてが顔および歯ブラシの動きをリアルタイムで忠実に反映している感覚を得ることになる。これら態様は使用者の注意を促し、歯磨きをインタラクティブで楽しい経験に変えることを目的としている。
【００４７】
マーカー１０は球形であり、ヘッド１５と対向する歯ブラシ１１の端部に取り付ける。このマーカーの場合、異なる幾何学的形状でもよいが、原理的には、ビデオカメラ画面情報によって、歯磨き時、歯ブラシのすべての空間的構成において正確に位置および空間的回転を評価できるものでなければならない。従って、立方体、円錐体でもよく、あるいは別な形状でもよい。円形を選んだ理由は、回転に関係なく、常にビデオカメラが取得した画像中に円として現れ、位置決めが簡単で、システムを子供が使用する場合には適当ではないエッジをもたないからである。
【００４８】
空間的位置を決定し、その動きの位置および回転に追従するために、ビデオカメラ１３の光学的中心に位置する座標軸系について説明する。
【００４９】
マーカー１０の場合、１６の部分または楔状部２０に分割しておくことが好ましい。このように選択すると、口腔衛生処置時、ビデオカメラによって得られる平均画面情報の各部（楔状部）の画素数をバランスよくすることができ、また角度評価または回転評価の精度が高くなる。
【００５０】
マーカーについては、１Ｄバーコードや２Ｄバーコードなどの他の分割方法を採用することができ、歯ブラシの３Ｄ回転並進を決定できるが、この選択は小さい寸法の画面情報マーカーの場合でも信頼性を付与できる（換言すると、マーカーがビデオカメラから離れているため、これを数百の画素数で表現することができる）。
【００５１】
具体的な例では、マーカーは８本の経線２０に分割しておくことができ、これらを赤道２１によって半分に分けて、上半球２２および下半球２３を形成する。経線２０間のエリアについては、異なる色で均一に着色する。
【００５２】
二色マーカー（例えば白黒エリアをもつ二色マーカー）を使用しているが、携帯装置に使用されているほとんどのビデオカメラはカラーであるため、平均的な背景から十分に区別でき、また相互に区別できる一組の色を利用すると、マーカーに記憶される情報の密度を二色マーカーよりも高くでき、従ってビデオカメラによる検出がより簡単なより大きな寸法の均一なエリアを採用できることになる。
【００５３】
マーカー１０が設定され、その回転並進は取得された画像の色成分を解析することによって評価できる。具体例では、完全飽和色のみを使用して、マーカーを着色する。その色調は、通常タブレットコンピュータ１２が装備している他の取得センサー（ＣＭＯＳ、ＣＣＤ）でできる限り見分けることができるものでなければならない。
【００５４】
タブレットコンピュータは、Ｂａｙｅｒマトリックスと呼ばれている色フィルターのマトリックスを介して色を感知する。ここで、１はＢａｙｅｒ色フィルターの下流側にあるセンサーのセルによって検出される最大強度値を示し、そして０は最小強度を示す。
【００５５】
従って、隣接画素のＲＧＢ（Ｒｅｄ,  Ｇｒｅｅｎ ａｎｄ Ｂｌｕｅ）成分が画素毎に測定、あるいは評価できる。
【００５６】
マーカーを構成するさいに使用する色については、従って、各経線２０の色コントラストが最大化し、かつ球形マーカーをその周囲から区別する能力が最大化するように選択する。
【００５７】
さらに、従来の白黒マーカー（例えばバーコードやＱＲコード（登録商標）など）ではなく、色成分を使用すると、より多量の情報をコード化することができる（白黒の二値と比較して最大６の色バリアントをコード化できる）。
【００５８】
具体例では、完全飽和した、以下の色調をもつ色を使用する。即ち、Ｂｌｕｅ３５、Ｒｅｄ３６、Ｙｅｌｌｏｗ３７、Ｇｒｅｅｎ３８、Ｃｙａｎ３９、Ｍａｇｅｎｔａ４０である。
【００５９】
現実のシステムでは、マーカー色の識別性を小さく抑える一連の要素を使用することは無論であるが、各色成分の認識性を改善するために、ＲＧＢの色空間をＨＳＶ（色調、彩度、値）空間に変換することを選択した。
【００６０】
ＲＧＢ色空間をＨＳＶ空間に変換する変換基準について以下説明する。色調は０°〜３６０°のスケールで表し、通常０°の赤から出発し、１２０°の緑および２４０°の青を経由して、３６０°の赤に戻る。
【００６１】
色調値は以下のように決定する。
Ｍ＝ｍａｘ（Ｒ、Ｇ、Ｂ）
ｍ＝ｍｉｎ（Ｒ、Ｇ、Ｂ）
Ｃ＝Ｍ−ｍ
Ｈ´＝不定（ただしＣ＝０）
Ｈ´＝（（Ｇ−Ｂ）/Ｃ）ｍｏｄ６（但しＭ＝Ｒ）
Ｈ´＝（（Ｂ−Ｒ）/Ｃ）＋２（但しＭ＝Ｇ）
Ｈ´＝（（Ｒ−Ｇ）/Ｃ）＋４（但しＭ＝Ｂ）
Ｈ＝６０°・Ｈ´
従って、色調値Ｈは０°〜３６０°の値を取ることができる。
【００６２】
値Ｖは以下の基準で定義する。
Ｖ＝Ｍ＝ｍａｘ（Ｒ、Ｇ、Ｂ）
即ち、Ｖは強度（放射エネルギー）の適切な指標になり、また暗い色は値が低くなる。
【００６３】
彩度Ｓについては、以下の基準で算出する。
Ｓ＝０（但しＣ＝０）
それ以外の場合は、Ｓ＝Ｃ/Ｖ
【００６４】
従って、ＲＧＢ三色成分が等しい（各種濃淡の灰色）の場合、彩度Ｓはゼロになり、色成分間のギャップが高くなるほど、彩度Ｓは高くなる。即ち、色純度が高くなり、第３成分に対してＲ、Ｇ、Ｂ成分のうちの一つか二つからなる。
【００６５】
マーカーについては、以下の基準で着色することになる。
１．  ２つの連続するエリアについては、同じ色であってはならない。
２．  各半球の色配列については、極に関して回転対称であってはならず、従って色の循環回転のみよって相違する配列については、これを拒絶する。
３．  ２つの半球間の境界となるエリア間の色については、異なっていなければならない。
４．  上半球に属する色の配列については、２つの半球が見分けられるように、下半球の色の配列と混同する配列であってはならない。
５．  マーカーのビデオカメラからの通常の距離およびタブレットコンピュータの通常は短い焦点を考慮して、平均して、配列全体の三色のみが見分けることができるようにする。従って、ある配列が認識可能であることが必要であり、そしてビデオカメラに対するその回転も三色のみから認識可能であることが必要である。即ち、対象となる半球およびその角度位置を直列の三色から区別できなければならない。
【００６６】
これらの限定要件をもつ６の色配列が考えられる。図面に、これら色配列の一つを示す。参照符号は、各色に対応する。
【００６７】
マーカーについては、画像のＲＧＢ空間からＨＳＶ空間への変換によって設定する。この変換の結果、マーカーが存在するエリアは（マーカーの定義のために上記した色が変化するため）、色調変化が強い高い彩度を特徴とするエリアとして容易に確認することができ、この簡単な変換によって、照明が存在するかどうかに関係なく、マーカーを設定する信頼性の高いアプローチを担保することが可能になった。
【００６８】
次のステップでは、ビデオカメラを基準とするシステムに対するマーカーの回転角度を認識する。特に、対流を使用して、横揺れ/縦揺れ/ヨーイング空間（Ｒｏｌｌ,  Ｐｉｔｃｈ ａｎｄ Ｙａｗ ｓｐａｃｅ）における３つの角度の回転を通じて空間内の回転を定義する。
【００６９】
ビデオカメラの像面がＺ−Ｙ平面に対して平行であるとした場合、従って、対象となる回転は、横揺れ（軸Ｘに関する像面上の回転）、縦揺れ（垂直軸Ｚに関する回転）およびヨーイング（水平軸Ｙに関する回転）である。
【００７０】
回転角度については、以下の手順で評価する。マーカーを有する円周（マーカー球の像面への投影）を上記方法で設定した後に、最大値の５０％以上である強度値のみを使用して、異なる色エリアの（画素中の）面積を求める。
【００７１】
これらエリアを面積の降順（なお、面積は画像中に存在する、色調が同じ画素の量である）に設定し、第１エリア/第２エリア間の比および第２エリア/第３エリア間の比を求める。次に、角度を以下の基準で求める。
【００７２】
横揺れ角度については、上半球のエリアを下半球エリアから分離することによって得たエリアの共通重心の位置および色を評価することによって求める。即ち、均一な色エリアの異なる共通重心間の相対角度を２つの半球についてそれぞれ求める（各半球の色の配列が既知であり、従って記述した理由によって一義的であるため、この演算が可能になる）。
【００７３】
縦揺れ角度およびヨーイング角度については、光追跡に基づくバーチャルシーンを発生するプログラムを使用する一連の画像生成手段を使用して、カメラの焦点とマーカーの光との比、上記エリア間の比（最も大きな面積のエリアとこれより小さい面積のエリアとの比および後者と第３エリアとの面積比）を変えることによって求めることが可能になる。特に、対応表によってエリア比および縦揺れおよびヨーイング角度比を設定することが可能になる。
【００７４】
色の配列およびマーカーと歯ブラシとの相対位置が既知であるため、可視色を使用して縦揺れを直接的かつ近似的に求めることができ、誤差は３６０°/８＝４５°に等しく、“８”は使用した楔の個数である。
【００７５】
角度をさらに精度よく求めるためには、３６行×１８列（縦揺れおよびヨーイング両者で１０°の解像力に対応）からなる行列を生成する。ここでセル毎に、３つの比を一般的な色間に、即ち最も多数の画素および対応する色を含むマーカーの画像の部分間に記憶する。
【００７６】
認識段階で、（ユークリッド距離について）取得した比および色に最も類似した比および色を表す行列の要素を次に求め、縦揺れ角度およびヨーイング角度を評価する。
【００７７】
画素中のビデオカメラの焦点が既知な場合には、そのビデオカメラからの距離を三角形間の簡単な相似性によってマーカーの直径から評価する。
【００７８】
画面に表示されている使用者の顔の特徴点およびその動きについては、直列接続（ｃａｓｃａｄｅ）の変形可能なモデルによって決定する。
【００７９】
以下に示すように、顔の特徴点を決定する各種の手法がある。例えば、Ｘｉａｎｇ  Ｙｕ；Ｊｕｎｚｈｏｕ  Ｈｕａｎｇ；Ｓｈａｏｔｉｎｇ  Ｚｈａｎｇ；Ｗａｎｇ  Ｙａｎ;Ｍｅｔａｘａｓ、Ｄ．Ｎ．の論文“Ｐａｓｅ−Ｆｒｅｅ  Ｆａｃｉａｌ  Ｌａｎｄ-    ｍａｒｋ  Ｆｉｔｔｉｎｇ  ｖｉａ  Ｏｐｔｉｍｉｚｅｄ  Ｐａｒｔ  Ｍｉｘｔｕｒｅｓａｎｄ  Ｃａｓｃａｄｅｄ  Ｄｅｆｏｒｍａｂｌｅ  Ｓｈａｐｅ  Ｍｏｄｅ”、Ｃｏｍ-ｐｕｔｅｒ  Ｖｉｓｉｏｎ（ＩＣＣＶ）、２０１３  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏ-  ｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ、ｐｐ.１９４４、１９５１、１−８ Ｄｅｃｅｍｂｅｒを参照。
【００８０】
本発明の一実施態様では、対象となる顔の両眼、鼻および口を特定する所定数の点を設定しておく。具体的には、６つの点を口に、４の点を各眼に、１２の点を耳から耳までの顎線、１０の点を鼻に、そして６の点を各眉毛に設定しておく。
【００８１】
歯ブラシを使用する実施態様では、具体的には、歯ブラシヘッドに対するマーカーの回転および距離を知っておく必要がある。理由は、本発明の場合、使用者の歯列弓に関する歯ブラシヘッドの位置およびこれに作用する動きを決定しておく必要があるからである。これについは、他の選択肢もある。歯ブラシの北極については、図３の円周の中心において、歯ブラシヘッドのブラシの方向に対して整合している。
【００８２】
歯磨き時の大半を通じてビデオカメラに捉えられている歯ブラシの端部のマーカーの位置および空間回転が分かっている場合には、マーカーとは対照的に、口の中に隠れているか、あるいは歯磨き時の大半を通じて練歯磨きが付着しているヘッドの位置および空間回転を確認することが可能である。使用者の口の位置が判明している場合にも、歯ブラシヘッドがどの歯列弓に位置しているかを、また歯列弓のどの側に位置しているかを確認することが可能である。
【００８３】
次に、オプチカルフローアルゴリズムによって、即ち一組の特徴点について、異なる画面情報間の動きを決定できるアルゴリズムにっよって歯ブラシの動きを解析でき、従って各ベクトルが第１画像の所定ポイントの位置で発生し、そして第２画像の対応する位置で終了するベクトル場を決定することができる。
【００８４】
この点は、従来技術には、例えばＢ．ＨｏｒｎおよびＢ．Ｓｃｈｕｎｃｋの論文“Ｄｅｔｅｒｍｉｎｉｎｇ  Ｏｐｔｉｃａｌ  Ｆｌｏｗ”、Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、１６  １８５−２０３、１９８１に記載されている従来技術に見られない点である。なお、この従来技術は、全体として画像からのマーカーの飽和色の高い分離性においてはすぐれた技術である。
【００８５】
従って、各歯列弓の表面毎に使用者による歯ブラシの動きを解析することが可能になる。また、歯ブラシの回転および口の空間的配位を複合的に解析できるため、歯列弓のどの面に歯ブラシが位置している（ｔｏｏｔｈｂｒｕｓｈ ｂｒｉｓｔｌｅｓ ａｒｅ ｒｅｓｔｉｎｇ）かを確認することができ、従って歯ブラシの動きが適切であるかどうかをチェックすることが可能になる。
【００８６】
適切な歯ブラシの動きについては、歯列弓の垂直面における垂直な動きであり、そして臼歯および前臼歯の接触面における水平な動きである。上記とは異なる又は他の追加の処置も可能である。
【００８７】
当業者にとっては、本発明の機能は以上の説明、特に以下の説明から明らかなはずである。
【００８８】
使用者は、タブレットコンピュータ１２を手前に置き、適切な口腔衛生をチェックするプログラムを開始する。
【００８９】
ビデオカメラ１３がその前にある画像を撮像し、使用者の顔１８、特に口の特徴点１７を確認する。なお、顔の動きを決定するために重要な他の点についても確認する。次に、タブレットコンピュータ１２が使用者の顔を自動的に確認する。あるいは、使用者の氏名を入力することによって本人確認を行うことも可能である。
【００９０】
次に、使用者が歯ブラシ１１を手に取り、その位置をマーカー１０の存在により確認する。
【００９１】
次に、タイマーが合計の歯磨き時間の設定を開始する。
【００９２】
歯ブラシおよび使用者の顔の動きに追従して、顔との歯ブラシとの間の相対的な動きが一つかそれ以上の歯ブラシの決まりに対応しているかどうか、例えば歯列弓の上下面に対する上下運動および臼歯および前臼歯の接触面に対する水平な動きに対応しているかどうかをチェックする。
【００９３】
上記決まりに対応しない動きがある場合には、聴覚的/視覚的警告を発して使用者に警告するか、あるいは音声を発して、使用者に歯ブラシの動きが適切ではなく、適切に使用するように指示する。
【００９４】
これらの状況については、使用者の氏名とともに記憶しておき、さらなる解析を行う。
【００９５】
歯磨きが終了した後は、使用者がタブレットコンピュータ１２の特別な（バーチャルな）キーを使用してプログラムを終了する。この時点で、歯磨き時間を算出する。この時間に関しては、歯磨き操作を行った使用者の氏名とともに記憶する。
【００９６】
歯磨き時間およびエラーがあった場合には、このエラーも使用者毎に記憶する。
【符号の説明】
【００９７】
１０：マーカー
１１：歯ブラシ
１２：処理装置、タブレットコンピュータ
１３：ビデオカメラ
１４：顔
１６：画像
１５：歯ブラシヘッド
１７：特徴部分
１８：使用者
１６：部分
２０：楔状部、経線
２１：赤道線
２２：上半球
２３：下半球
３５〜４０：複数のエリア
【図１】
2017532076.tif 000006
【図２】
2017532076.tif 000007
【図３】
2017532076.tif 000008
【図４】
2017532076.tif 000009
【図５】
2017532076.tif 000010
【国際調査報告】
2017532076.tif 000011
2017532076.tif 000012
2017532076.tif 000013