(57)【特許請求の範囲】
【請求項１】
ユーザ端末が、ユーザを撮影した映像を分析し、前記ユーザの顔を認識して前記顔のランドマークを識別する段階と、
前記ユーザ端末が、前記ランドマークを用いて前記ユーザの個人化した歯牙モデルを生成する段階と、
前記ユーザ端末が、前記歯牙モデルを用いて仮想の歯牙イメージを増強現実により提供する段階と、
前記ユーザ端末が、前記歯牙モデルを用いて歯磨きガイド情報を提供する段階とを含む、歯磨きガイド情報の提供方法。
【請求項２】
前記顔のランドマークを識別する段階は、
前記ユーザの眉毛、目、鼻、両頬、口、耳、顎ラインのうち一つ以上をランドマークとして識別する段階を含む、請求項１に記載の歯磨きガイド情報の提供方法。
【請求項３】
前記ユーザの個人化した歯牙モデルを生成する段階は、
前記ランドマークを用いて前記ユーザの歯牙の位置、大きさ、配列のうち一つ以上を推定する段階を含む、請求項１に記載の歯磨きガイド情報の提供方法。
【請求項４】
前記ユーザの歯牙の位置、大きさ、配列のうち一つ以上を推定する段階は、
前記ユーザの顎ラインと右耳が接する位置と前記ユーザの唇中央の位置の中点部分に下顎右側奥歯が位置すると推定する段階と、
前記ユーザの顎ラインと左耳が接する位置と前記ユーザの唇中央の位置の中点部分に下顎左側奥歯が位置すると推定する段階と、
前記ユーザの唇中央の位置に前歯が位置すると推定する段階とを含む、請求項３に記載の歯磨きガイド情報の提供方法。
【請求項５】
前記ユーザの歯牙の位置、大きさ、配列のうち一つ以上を推定する段階は、
前記ユーザの顎ラインから前記ユーザの顎の大きさを推定する段階と、
前記顎の大きさを用いて前記ユーザの歯牙の大きさを推定する段階とを含む、請求項３に記載の歯磨きガイド情報の提供方法。
【請求項６】
前記ユーザの歯牙の位置、大きさ、配列のうち一つ以上を推定する段階は、
前記ユーザの顎ラインから前記ユーザの顎の形を推定する段階と、
前記顎の形を用いて四角形歯列弓、卵形歯列弓、三角形歯列弓のうちいずれか一つで前記ユーザの歯牙配列を推定する段階とを含む、請求項３に記載の歯磨きガイド情報の提供方法。
【請求項７】
前記ユーザの個人化した歯牙モデルを生成する段階は、
前記ユーザから生年月日、性別、身長、体重、歯牙の個数、歯牙の位置、虫歯の個数、虫歯の位置のうち一つ以上を含む個人化情報の入力を受ける段階と、
前記個人化情報を用いて前記ユーザの個人化した歯牙モデルを修正する段階とを含む、請求項１に記載の歯磨きガイド情報の提供方法。
【請求項８】
前記ユーザの個人化した歯牙モデルを修正する段階は、
前記ユーザの生年月日から月数および年数を逆算し、前記月数および年数に基づいて永久歯の可否を判断する段階と、
乳歯の場合は最大２０個以内、永久歯の場合は最大２８個以内に前記歯牙モデルに含まれた歯牙の個数を制限する段階とを含む、請求項７に記載の歯磨きガイド情報の提供方法。
【請求項９】
前記ユーザの個人化した歯牙モデルを修正する段階は、
前記ユーザの生年月日から月数および年数を逆算し、前記月数および年数に基づいて永久歯の可否を判断する段階と、
前記永久歯の可否の判断結果に応じて前記歯牙モデルに含まれた歯牙の大きさ、形のうち一つ以上を修正する段階とを含む、請求項７に記載の歯磨きガイド情報の提供方法。
【請求項１０】
前記ユーザの個人化した歯牙モデルを修正する段階は、
前記性別、身長、年齢、体重のうち一つ以上を用いて前記歯牙モデルに含まれた歯牙の個数、大きさ、形のうち一つ以上を修正する段階を含む、請求項７に記載の歯磨きガイド情報の提供方法。
【請求項１１】
前記仮想の歯牙イメージを増強現実により提供する段階は、
前記歯牙モデルで第１歯牙がまだ生えていないか抜けた場合、前記仮想の歯牙イメージで前記第１歯牙に該当する位置は歯牙を表示しない段階を含む、請求項１に記載の歯磨きガイド情報の提供方法。
【請求項１２】
前記仮想の歯牙イメージを増強現実により提供する段階は、
仮想の歯ブラシのイメージを増強現実によりさらに提供するか仮想の歯牙イメージを提供する代わりに仮想の歯ブラシのイメージのみを提供する段階を含む、請求項１に記載の歯磨きガイド情報の提供方法。
【請求項１３】
前記仮想の歯ブラシのイメージを増強現実によりさらに提供するか仮想の歯牙イメージを提供する代わりに仮想の歯ブラシのイメージのみを提供する段階は、
前記撮影した映像を分析して前記ユーザが歯ブラシを握っている手とその角度を推定する段階と、
前記手とその角度に基づいて前記仮想の歯ブラシのイメージの位置と角度を増強現実により表示する段階とを含む、請求項１２に記載の歯磨きガイド情報の提供方法。
【請求項１４】
前記歯磨きガイド情報を提供する段階は、
前記歯牙モデルを既に設定された個数の部分に分けて、各部分別に歯磨きの進行程度を色相で表示する段階を含む、請求項１に記載の歯磨きガイド情報の提供方法。
【請求項１５】
前記各部分別に歯磨きの進行程度を色相で表示する段階は、
乳歯の場合、左側歯牙の前面と裏面、右側歯牙の前面と裏面、合計８個の部分に前記歯牙モデルを分ける段階を含む、請求項１４に記載の歯磨きガイド情報の提供方法。
【請求項１６】
前記各部分別に歯磨きの進行程度を色相で表示する段階は、
永久歯の場合、左側奥歯の前面と上面と裏面、前歯の前面と裏面、右側奥歯の前面と上面と裏面、合計１６個の部分に前記歯牙モデルを分ける段階を含む、請求項１４に記載の歯磨きガイド情報の提供方法。
【請求項１７】
前記歯磨きガイド情報を提供する段階は、
前記歯牙モデルを既に設定された個数の部分に分けて、各部分別に歯磨きが必要な回数、方向、時間のうち一つ以上を視覚的または聴覚的に案内する段階を含む、請求項１に記載の歯磨きガイド情報の提供方法。
【請求項１８】
前記各部分別に歯磨きが必要な回数、方向、時間のうち一つ以上を視覚的または聴覚的に案内する段階は、
前記歯牙モデルで第１歯牙がまだ生えていないか抜けた場合、前記第１歯牙に該当する位置は案内をしない段階を含む、請求項１７に記載の歯磨きガイド情報の提供方法。
【請求項１９】
前記各部分別に歯磨きが必要な回数、方向、時間のうち一つ以上を視覚的または聴覚的に案内する段階は、
前記ユーザが既に設定された年齢より幼い場合は回転法またはフォーンズ法の横方向の歯磨きを案内し、その他にはバス法または変形バス法の上下方向の歯磨きを案内する段階を含む、請求項１７に記載の歯磨きガイド情報の提供方法。
【請求項２０】
ハードウェアと結合されて請求項１ないし１９のいずれか一項による歯磨きガイド情報の提供方法を実行するようにコンピュータで読み取り可能な媒体に保存された、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、増強現実を用いた歯磨きガイド情報の提供方法およびその装置に関する。より詳しくは歯磨きをする際増強現実を用いて歯磨きに関するガイド情報、例えば各区域別に歯磨きを行った程度のようなガイド情報を提供する方法およびその方法を行う装置に関する。
【背景技術】
【０００２】
多くの子供たちは歯磨きが嫌いである。しかし、歯牙は再生しない身体部位であるため永久歯が傷つく場合、他の医療的な助けが必要である。また、子供たちは歯磨きをすることより歯科へ行くことが何倍も嫌いである。そのため正しい歯牙管理が非常に重要である。
【０００３】
このためには乳歯が生える時から正しい歯磨き習慣をつけさせることが重要である。歯磨きは健康な生活を維持するための健康生活習慣の一つである。実際に歯磨きを完ぺきにするだけでもきれいな歯牙を維持することができる。しかし、多くの子供たちが毎日１回以上歯磨きをしても歯牙が傷つく理由は間違った歯磨き習慣のためである。
【０００４】
このような問題を解決するために動画等を通して正しい歯磨きに対する情報を提供する方法がある。しかし、このような方法は歯磨きをするユーザである子供と相互的な作用なしに指定されたコンテンツを単に再生するだけである。そのためにコンテンツを見る間子供たちの集中力が低下しやすく歯磨きを疎かにする。
【０００５】
そこで子供に正しい歯磨き習慣に関するコンテンツを提供する一方、子供がコンテンツに集中できるように相互対話型のガイド情報の提供方法が求められる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする技術的課題は、増強現実を用いた歯磨きガイド情報の提供方法およびその装置を提供することにある。
【０００７】
本発明の技術的課題は、以上で言及した技術的課題に制限されず、言及されていない他の技術的課題は、以下の記載から本発明の技術分野における通常の技術者に明確に理解されるであろう。
【課題を解決するための手段】
【０００８】
前記技術的課題を解決するための本発明の一実施形態による歯磨きガイド情報の提供方法は、ユーザ端末が、ユーザを撮影した映像を分析し、前記ユーザの顔を認識して前記顔のランドマークを識別する段階と、前記ユーザ端末が、前記ランドマークを用いて前記ユーザの個人化した歯牙モデルを生成する段階と、前記ユーザ端末が、前記歯牙モデルを用いて仮想の歯牙イメージを増強現実により提供する段階と、前記ユーザ端末が、前記歯牙モデルを用いて歯磨きガイド情報を提供する段階とを含み得る。
【０００９】
好ましくは、前記顔のランドマークを識別する段階は、前記ユーザの眉毛、目、鼻、両頬、口、耳、顎ラインのうち一つ以上をランドマークとして識別する段階を含み得る。
【００１０】
好ましくは、前記ユーザの個人化した歯牙モデルを生成する段階は、前記ランドマークを用いて前記ユーザの歯牙の位置、大きさ、配列のうち一つ以上を推定する段階を含み得る。
【００１１】
好ましくは、前記ユーザの歯牙の位置、大きさ、配列のうち一つ以上を推定する段階は、前記ユーザの顎ラインと右耳が接する位置と前記ユーザの唇中央の位置の中点部分に下顎右側奥歯が位置すると推定する段階と、前記ユーザの顎ラインと左耳が接する位置と前記ユーザの唇中央の位置の中点部分に下顎左側奥歯が位置すると推定する段階と、前記ユーザの唇中央の位置に前歯が位置すると推定する段階とを含み得る。
【００１２】
好ましくは、前記ユーザの歯牙の位置、大きさ、配列のうち一つ以上を推定する段階は、前記ユーザの顎ラインから前記ユーザの顎の大きさを推定する段階と、前記顎の大きさを用いて前記ユーザの歯牙の大きさを推定する段階とを含み得る。
【００１３】
好ましくは、前記ユーザの歯牙の位置、大きさ、配列のうち一つ以上を推定する段階は、前記ユーザの顎ラインから前記ユーザの顎の形を推定する段階と、前記顎の形を用いて四角形歯列弓、卵形歯列弓、三角形歯列弓のうちいずれか一つで前記ユーザの歯牙配列を推定する段階とを含み得る。
【００１４】
好ましくは、前記ユーザの個人化した歯牙モデルを生成する段階は、前記ユーザから生年月日、性別、身長、体重、歯牙の個数、歯牙の位置、虫歯の個数、虫歯の位置のうち一つ以上を含む個人化情報の入力を受ける段階と、前記個人化情報を用いて前記ユーザの個人化した歯牙モデルを修正する段階とを含み得る。
【００１５】
好ましくは、前記ユーザの個人化した歯牙モデルを修正する段階は、前記ユーザの生年月日から月数および年数を逆算し、前記月数および年数に基づいて永久歯の可否を判断する段階と、乳歯の場合、最大２０個以内、永久歯の場合、最大２８個以内に前記歯牙モデルに含まれた歯牙の個数を制限する段階とを含み得る。
【００１６】
好ましくは、前記ユーザの個人化した歯牙モデルを修正する段階は、前記ユーザの生年月日から月数および年数を逆算し、前記月数および年数に基づいて永久歯の可否を判断する段階と、前記永久歯の可否の判断結果に応じて前記歯牙モデルに含まれた歯牙の大きさ、形のうち一つ以上を修正する段階とを含み得る。
【００１７】
好ましくは、前記ユーザの個人化した歯牙モデルを修正する段階は、前記性別、身長、年齢、体重のうち一つ以上を用いて前記歯牙モデルに含まれた歯牙の個数、大きさ、形のうち一つ以上を修正する段階を含み得る。
【００１８】
好ましくは、前記仮想の歯牙イメージを増強現実により提供する段階は、前記歯牙モデルで第１歯牙がまだ生えていないか抜けた場合、前記仮想の歯牙イメージで前記第１歯牙に該当する位置は歯牙を表示しない段階を含み得る。
【００１９】
好ましくは、前記仮想の歯牙イメージを増強現実により提供する段階は、仮想の歯ブラシのイメージを増強現実によりさらに提供するか仮想の歯牙イメージを提供する代わりに仮想の歯ブラシのイメージのみを提供する段階を含み得る。
【００２０】
好ましくは、前記仮想の歯ブラシのイメージを増強現実によりさらに提供するか仮想の歯牙イメージを提供する代わりに仮想の歯ブラシのイメージのみを提供する段階は、前記撮影した映像を分析して前記ユーザが歯ブラシを握っている手とその角度を推定する段階と、前記手とその角度に基づいて前記仮想の歯ブラシのイメージの位置と角度を増強現実により表示する段階とを含み得る。
【００２１】
好ましくは、前記歯磨きガイド情報を提供する段階は、前記歯牙モデルを既に設定された個数の部分に分けて、各部分別に歯磨きの進行程度を色相で表示する段階を含み得る。
【００２２】
好ましくは、前記各部分別に歯磨きの進行程度を色相で表示する段階は、乳歯の場合、左側歯牙の前面と裏面、右側歯牙の前面と裏面、合計８個の部分に前記歯牙モデルを分ける段階を含み得る。
【００２３】
好ましくは、前記各部分別に歯磨きの進行程度を色相で表示する段階は、永久歯の場合、左側奥歯の前面と上面と裏面、前歯の前面と裏面、右側奥歯の前面と上面と裏面、合計１６個の部分に前記歯牙モデルを分ける段階を含み得る。
【００２４】
好ましくは、前記歯磨きガイド情報を提供する段階は、前記歯牙モデルを既に設定された個数の部分に分けて、各部分別に歯磨きが必要な回数、方向、時間のうち一つ以上を視覚的または聴覚的に案内する段階を含み得る。
【００２５】
好ましくは、前記各部分別に歯磨きが必要な回数、方向、時間のうち一つ以上を視覚的または聴覚的に案内する段階は、前記歯牙モデルで第１歯牙がまだ生えていないか抜けた場合、前記第１歯牙に該当する位置は案内をしない段階を含み得る。
【００２６】
好ましくは、前記各部分別に歯磨きが必要な回数、方向、時間のうち一つ以上を視覚的または聴覚的に案内する段階は、前記ユーザが既に設定された年齢より幼い場合には回転法またはフォーンズ法の横方向の歯磨きを案内し、その他にはバス法または変形バス法の上下方向の歯磨きを案内する段階を含み得る。
【００２７】
前記技術的課題を解決するための本発明の他の実施形態によるコンピュータプログラムは、ハードウェアと結合されて本発明による歯磨きガイド情報の提供方法を実行するようにコンピュータで読み取り可能な媒体に保存されたコンピュータプログラムである。
【００２８】
前記技術的課題を解決するための本発明の他の実施形態による増強現実を用いたコンテンツ提供方法は、コンテンツ提供装置が、ユーザを撮影した映像を分析し、前記ユーザの第１部位を認識して前記第１部位のランドマークを識別する段階と、前記コンテンツ提供装置が、前記ランドマークを用いて前記ユーザの個人化した第１部位モデルを生成する段階と、前記コンテンツ提供装置が、前記第１部位モデルを用いて仮想の第１部位イメージを増強現実により提供する段階と、前記コンテンツ提供装置が、前記第１部位モデルを用いて前記第１部位と関連したコンテンツを提供する段階とを含み得る。
【発明の効果】
【００２９】
本発明による効果は次のとおりである。
【００３０】
本発明によれば、歯磨きガイド情報を増強現実を用いて提供するため子供たちがコンテンツにより集中することができる。特に単に固定のコンテンツが再生する方式でなく子供との相互作用を通してガイド情報を提供するため興味を継続して維持することができる。
【００３１】
また、増強現実によりコンテンツを提供する時、各個人に応じたカスタマイズしたコンテンツを提供することができ、コンテンツに対する興味を呼び起こすことができる。これにより歯磨きすることが一つの遊びになり、正しい歯磨きが習慣づくのに役立つことができる。
【００３２】
また、子供だけでなく大人も本発明によるガイド情報の提供方法を用いて自身の歯磨き習慣を長期間にわたってモニタリングすることができる。これにより大人の健康な歯牙管理にも役立つ。また、歯磨きをモニタリングした情報を親や医師のような第三者にも提供して医療情報として活用することもできる。
【図面の簡単な説明】
【００３３】
【図１】本発明の一実施形態による増強現実を用いた歯磨きガイド情報の提供方法を説明するための図である。
【図２】本発明の一実施形態による増強現実を用いた歯磨きガイド情報の提供方法のフローチャートである。
【図３】図２のユーザの歯磨きする姿を撮影する段階（Ｓ１１００）を説明するための例示図である。
【図４】図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。
【図５Ａ】図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。
【図５Ｂ】図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。
【図５Ｃ】図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。
【図６】図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。
【図７】図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。
【図８Ａ】図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。
【図８Ｂ】図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。
【図９Ａ】図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。
【図９Ｂ】図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。
【図９Ｃ】図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。
【図１０】図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。
【図１１Ａ】図２の増強現実を用いて歯牙モデルを表示する段階（Ｓ１３００）を説明するための例示図である。
【図１１Ｂ】図２の増強現実を用いて歯牙モデルを表示する段階（Ｓ１３００）を説明するための例示図である。
【図１２】図２の歯磨きの進行に応じてガイド情報を提供する段階（Ｓ１４００）を説明するための例示図である。
【図１３】図２の歯磨きが終了するとモニタリング結果を提供する段階（Ｓ１５００）を説明するための例示図である。
【図１４】本発明の一実施形態による増強現実を用いた歯磨きガイド情報提供装置のハードウェア構成図である。
【発明を実施するための形態】
【００３４】
以下、添付した図面を参照して本発明の好ましい実施形態を詳細に説明する。本発明の利点および特徴、並びにこれらを達成する方法は添付する図面と共に詳細に後述する実施形態を参照すると明確になるであろう。しかし、本発明は以下で開示する実施形態に限定されるものではなく互いに異なる多様な形態で具現することができ、本実施形態は単に本発明の開示を完全にし、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供するものであり、本発明は請求項の範疇によってのみ定義される。明細書全体にわたって同一参照符号は同一構成要素を称する。
【００３５】
他に定義のない限り、本明細書で使われるすべての用語（技術的および科学的用語を含む）は本発明が属する技術分野における通常の知識を有する者に共通して理解される意味で使われる。また、一般的に使われる辞典に定義されている用語は明白に特に定義されていない限り理想的にまたは過度に解釈されない。本明細書で使われた用語は実施形態を説明するためのものであり、本発明を制限しようとするものではない。本明細書で、単数形は文面で特記しない限り、複数形も含む。
【００３６】
以下、図面を参照して本発明のいくつかの実施形態を説明する。
【００３７】
図１は本発明の一実施形態による増強現実を用いた歯磨きガイド情報の提供方法を説明するための図である。
【００３８】
図１を参照するとスマートフォン２００に歯磨きをするユーザのイメージ２１０と増強現実により表現された仮想の歯牙イメージ２２０および増強現実により表現された仮想の歯ブラシのイメージ２３０が表示されたものが示されている。歯磨きをするユーザはまだ永久歯が生えていない子供であり、増強現実には上歯１０個、下歯１０個の歯が画面にオーバーレイ（ｏｖｅｒｌａｙ）して表示されたものが示されている。
【００３９】
本発明では増強現実により歯磨きガイド情報を提供するためにスマートフォン２００のような別途の装置を必要とする。スマートフォン２００にインストールされたアプリケーションを通してこのような機能を提供することができる。ただし、図１の例示は発明の理解を助けるためのものであり、スマートフォン２００の他にもそれと類似のタブレット、スマートウォッチのようなウェアラブル機器等を介して歯磨きガイド情報を増強現実により提供することができる。
【００４０】
ただし、増強現実により歯磨きガイド情報を提供するためにはカメラのような撮影部とディスプレイのような表示部は必須である。例えばお手洗いにタッチスクリーンを設置してユーザの姿を撮影して鏡のようにイメージを提供し、その他追加的な機能をさらに提供するスマートミラーにも本発明を適用することができる。
【００４１】
スマートミラーについてさらに説明すると、ユーザが洗面をする間画面の隅に今日の天気に関する情報、今日一日の日程に関する情報などを提供しながら歯磨きする姿を撮影し、それに基づいて増強現実により歯磨きに関するガイド情報を提供することができる。このように多様な機器を介して本発明を実現することができる。
【００４２】
図１ではスマートフォン２００が撮影したユーザのイメージ２１０と仮想生成した歯牙のイメージ２２０および仮想生成した歯ブラシのイメージ２３０が互いに分離して表現されているが、ユーザのイメージ２１０に歯牙のイメージ２２０と歯ブラシのイメージ２３０をオーバーレイして表現することもできる。これについては以下図１１Ａないし図１１Ｂでより詳しく説明する。
【００４３】
また、場合によってユーザのイメージ２１０は省略して仮想の歯牙イメージ２２０と仮想の歯ブラシのイメージ２３０のみ提供することもできる。このような場合には仮想の歯牙イメージ２２０と仮想の歯ブラシのイメージ２３０にユーザがより集中するように誘導する効果がある。また、仮想の歯牙イメージ２２０も省略して仮想の歯ブラシのイメージ２３０のみ増強現実により表示して歯磨きガイド情報を提供することも可能である。この場合はユーザが歯磨きガイド情報にのみ集中するように誘導する効果がある。
【００４４】
また、図１では上歯１０個と下歯１０個がすべて表示されているが、ユーザに応じてまだ歯牙が生えていない部分は増強現実により歯牙のイメージ２２０を表示する時該当歯牙を省略することができる。例えば前歯のみ生えて奥歯はまだ生えていない場合、１０個でなく５個や６個の歯牙が表示されることもできる。
【００４５】
ユーザが歯磨きをすると仮想生成した歯ブラシのイメージ２３０が現在歯磨き中の部位の歯牙のイメージの上にオーバーレイして表示される。また、歯磨きをしながらユーザの手の上／下／左／右の動きに応じて仮想の歯ブラシのイメージ２３０も同様に動く。
【００４６】
従来には動画やフラッシュアニメーションなどで固定のコンテンツを再生しながら歯磨きに関する情報を提供することに対して、本発明はユーザの動きに応じてコンテンツが変わる相互作用により歯磨きに対する興味をより呼び起こすことができる。すなわち子供が歯磨きを一つの遊びとして受け入れることができる。
【００４７】
増強現実により歯磨きに関するガイド情報を提供するために本発明ではカメラが撮影した映像をリアルタイムで分析してユーザの顔を認識した後口と顎ラインの位置および顔の位置と大きさを把握する。そして、各ユーザに応じて歯牙モデルを生成した後これを増強現実により画面に表示する。
【００４８】
この時、各ユーザ別に生成される歯牙モデルは歯牙の構造、歯牙の大きさ、歯磨きの状態などを反映した個人化した歯牙モデルである。これによりユーザが歯磨きガイド情報により集中できるように助ける。また、個人化した歯牙モデルに基づいてガイド情報も個人化して提供する。
【００４９】
また、増強現実により仮想の歯牙イメージ２２０や仮想の歯ブラシのイメージ２３０を表現する時追加的に効果音や視覚効果を共に表現することができる。これにより持続的に興味を誘発し、歯磨きに集中するように助ける。すなわち、子供たちが歯磨きを楽しい生活習慣として受け入れるように助けることができる。
【００５０】
その他にも、歯磨きを終えると歯磨きを行った結果に対するフィードバックを提供することができる。このようなフィードバック情報はユーザ本人に提供することができ、その他にも子供の親や歯科先生に提供することもできる。これは今後医療情報として活用することも可能である。
【００５１】
図２は本発明の一実施形態による増強現実を用いた歯磨きガイド情報の提供方法のフローチャートである。
【００５２】
図２を参照すると、まずユーザの歯磨きする姿をスマートフォン２００のカメラを通して撮影する（Ｓ１１００）。これのために一般的にはお手洗いの洗面台の前の部分や鏡にスマートフォン２００を置くことのできるホルダーが設けられていることが好ましい。
【００５３】
子供が歯磨きをするためにスマートフォン２００を持ってお手洗いに入った後、ホルダーにスマートフォン２００を置きアプリケーションを実行する。その後歯ブラシと歯磨き粉を持って歯磨きをするとその姿をスマートフォン２００のカメラで撮影して映像を分析する。
【００５４】
映像解析により顔から目、鼻、口、耳のようなランドマーク（ｌａｎｄｍａｒｋ）を識別してこれに基づいて歯牙の位置や構造などを把握して個人化した歯牙モデルを生成する（Ｓ１２００）。すなわち本発明では各ユーザ別に互いに異なる仮想の歯牙イメージ２２０が画面に表示される。
【００５５】
生成した歯牙モデルを増強現実を用いて撮影した映像と共に表示する（Ｓ１３００）。この時撮影した映像のイメージ２１０の上に歯牙のイメージ２２０をオーバーレイして表現することもでき、歯牙のイメージをより詳しく表示するために図１のように撮影した映像のイメージ２１０はサムネイルで小さく表示して仮想の歯牙イメージ２２０を大きく表現することができる。
【００５６】
この時画面に表示される仮想の歯牙イメージ２２０は、ユーザが顔を回したり頭を傾けるとそれに合わせて仮想の歯牙イメージ２２０も回転したり傾いて現実感を付与することができる。これのために顔認識（ｆａｃｅ  ｒｅｃｏｇｎｉｔｉｏｎ）、パターン認識（ｐａｔｔｅｒｎ  ｒｅｃｏｇｎｉｔｉｏｎ）等のような映像処理技術が活用される。
【００５７】
ユーザが歯磨きをするとそれに応じて増強現実により仮想の歯ブラシのイメージ２３０も共に表示され、追加的にガイド情報も共に提供される（Ｓ１４００）。ガイド情報は歯牙の各部位別にどの程度歯磨きをしたのか案内する情報であり得る。または、歯磨きの速度や方向などを案内する情報であり得る。または、歯磨きがさらに必要な部位を案内する情報であり得る。
【００５８】
ユーザが歯磨きを終了するとモニタリング結果をフィードバックとして提供する（Ｓ１５００）。歯磨きの終了は映像解析によっても把握することができる。例えば映像解析によりユーザが歯ブラシを置く場合に歯磨きが終了したものと把握する。または、ユーザが歯磨き終了ボタンをタッチする方式でユーザの入力により歯磨きの終了を把握することができる。
【００５９】
モニタリング結果は、歯牙の各部位別に歯磨きがどの程度よくできたかに対する情報を色相やグラフ等で視角化して提供することができる。また、フィードバック情報をスマートフォン２００に表示することの他にも子供の親や歯科先生など予め指定したユーザの端末に転送することができる。
【００６０】
以上、本発明が提案する増強現実を用いた歯磨きガイド情報の提供方法について調べた。本発明において歯磨きガイド情報を増強現実により提供する理由は相互作用によりユーザの興味を誘発するためである。また、歯磨きをすると歯牙は口の中にあるのでカメラで歯磨きする姿を撮影しても歯牙は見えない。そのため歯牙を仮想で視角化して表示することによって正しい歯磨き習慣を持つように助けるためである。
【００６１】
ただし、実際歯磨きをする間は歯牙が見えないので映像を分析してユーザの顔を認識してランドマークに基づき、解剖学的な情報に基づいて仮想の歯牙のイメージ２２０をリアルタイムで表示しなければならない。このように本発明では増強現実を適用するために映像処理技術と解剖学的分析により個人化した歯牙モデルを生成する。
【００６２】
図３は図２のユーザの歯磨きする姿を撮影する段階（Ｓ１１００）を説明するための例示図である。
【００６３】
図３を参照すると、お手洗いの鏡３００にスマートフォン２００が置かれていることが示されている。現実のユーザ１１０が歯ブラシ１３０を持って歯磨きをする時、一般的には鏡３００に映ったユーザ自身の姿３１０を見ながら歯磨きをする。ただし、鏡の中のユーザの姿３１０はユーザの姿１１０をそのまま映すだけであるため一般的に子供たちはあまり興味を感じない。
【００６４】
この時、鏡３００に付着したスマートフォン２００を通して相互作用をしながら視覚的または聴覚的に歯磨きに関するガイド情報を提供すると子供たちの興味を誘発することができる。これにより乳歯が生える時から正しい歯磨き習慣が身に付くように助けることができる。
【００６５】
図４ないし図１０は図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。
【００６６】
図４を参照すると、ユーザを撮影したイメージ２１０でランドマークとして活用できる顔の部位が例示されている。例えば両目（４１１，４１２）、両頬（４１３，４１４）、鼻４１５、口角（４１６，４１７）、唇の中央部分４１８等をランドマークとして活用することができる。このようなランドマーク分析によってユーザが唇を閉ざして歯磨きをしても歯牙の位置や大きさのような情報を推定することができる。
【００６７】
図５Ａを参照すると、より多様なランドマークの各位置に数字が付けられているものが示されている。本発明はこのようなランドマークに解剖学的な情報を結合して見えない歯牙に関する情報を推定する。
【００６８】
例えば図５において両耳と顎ラインが接する地点である３番位置と２９番位置を詳しく見ると、一般的にこの部分は下顎の骨の端部分に該当する。そして、唇の中央部分である９３番位置は前歯が位置する部分である。
【００６９】
そうすると、図５Ｂに示すように、３番位置と９３番位置の中間位置に下顎左側奥歯が位置すると推定することができる。同様に２９番位置と９３番位置の中間位置に下顎右側奥歯が位置すると推定することができる。
【００７０】
歯牙の位置だけでなく０番位置から３３番位置までの顎ラインに基づいてユーザの顎の大きさを計算し、顎の大きさに基づいて歯牙の大きさを推定することができる。解剖学的には顎の大きさが大きくなるほど歯牙の大きさも大きくなるので、これを用いると歯牙の大きさも推定することができる。
【００７１】
図５Ｃを参照すると、ユーザの個人化した歯牙モデルが仮想の歯牙イメージで画面の上にオーバーレイして表示されたものが示されている。また、歯牙の位置と大きさの他にも歯牙の個数などを個人化して表現することができる。特に子供の場合、乳歯と永久歯によって歯牙の個数が変わるのでこれを歯牙モデルに反映することができる。
【００７２】
図５Ａないし図５Ｃで説明したように本発明では解剖学的情報を用いてユーザの歯牙の位置と大きさなどを推定することができる。これを個人化した歯牙モデルという。ただし、これは解剖学的情報を用いて歯牙モデルを生成する過程を説明するための一例であり、この他にも多様な情報をさらに用いることができる。
【００７３】
例えば歯牙の大きさや位置は一般的にユーザの年齢、性別、身長、体重などと相関関係を有する。このような情報をユーザから追加で入力を受けて個人化した歯牙モデルを生成するのに活用することができる。
【００７４】
その他にも、スマートフォン２００のアプリケーションにユーザ登録をする過程で別に「ア〜」と口を開いた状態で写真を撮影するようにユーザに案内することによって、歯牙のイメージを直接的に撮影して個人化した歯牙モデルを生成するのに活用することができる。
【００７５】
その他にも該当ユーザが通う歯科病院のサーバーとの通信によりＸ線やＣＴなどのイメージを受信し、これを分析して個人化した歯牙モデルを生成するのに活用することができる。一般的な写真に比べて医療イメージは正確な歯牙モデルの生成により適する。
【００７６】
図６を参照すると、個人化した歯牙モデルを生成する段階（Ｓ１２００）の前にユーザの歯牙を撮影する段階（Ｓ１２１０）やユーザから追加情報の入力を受ける段階（Ｓ１２２０）をさらに行うことができる。また、図６ではＳ１２１０段階とＳ１２２０段階が順次段階のように示されているが、同時に行われてもまたは順序を変えて行われてもよく、いずれか一つの段階のみ行われてもよい。
【００７７】
ユーザの顔を撮影したイメージからランドマークを抽出して解剖学的情報を結合して歯牙の位置や大きさなどは推定できるが、それ以上の情報を得ることは無理である。例えば歯牙の個数、抜歯の有無、虫歯の有無などは解剖学的情報を用いても限界がある。
【００７８】
もちろん顔映像を分析して年齢などを推定し、それより乳歯であるか永久歯であるかを推定する程度のことはできるが、これも限界がある情報である。これを補完するためにさらにユーザから生年月日、性別、年齢などの個人情報の入力を受けることができる。
【００７９】
図７を参照すると、乳歯と永久歯との差が示されている。人において初めて生える歯牙を乳歯という。他の言葉では脱落歯がある。母乳で育つ時期に生えることから乳歯という。乳歯は生後６〜７ヶ月頃から生え始めて２０〜３０ヶ月まで伸びる。乳歯の場合、臼歯の種類の区分なしに乳臼歯のみ存在する。
【００８０】
乳切歯（Ｄｅｃｉｄｕｏｕｓ  ｉｎｃｉｓｏｒ）とは、一番手前に生える総８個の歯牙をいう。上顎に４個、下顎に４個が生え、左右に２個ずつある。中央の４個の歯牙は乳中切歯であり、より外側にある４個の歯牙は乳側切歯と呼ぶ。乳側切歯が乳中切歯より大きさが小さい。生後６〜８ヶ月に生える。
【００８１】
乳犬歯（Ｄｅｃｉｄｕｏｕｓ  ｃａｎｉｎｅ）とは、乳側切歯の外側にある歯であり、総４個ある。生後１６〜２０ヶ月に生える。
【００８２】
乳臼歯（Ｄｅｃｉｄｕｏｕｓ  ｍｏｌａｒ）とは、乳犬歯の外側にある歯であり、総８個ある。内側の歯牙は第１乳臼歯、外側の歯牙は第２乳臼歯という。第１乳臼歯は永久歯のいかなる歯牙とも異なる形態である。歯牙の根は大臼歯のように３個あるが、表の形は小臼歯に近い。第２乳臼歯の形態は永久歯の第１大臼歯と類似する。生後１２〜３０ヶ月に生える。
【００８３】
これに対して乳歯が抜けた後に生える歯牙を永久歯という。
【００８４】
切歯（Ｉｎｃｉｓｏｒ）とは、一番前面にある総８個の歯牙をいう。乳切歯が抜けた場所にそのまま生える。乳切歯より大きさが大きいので乳切歯はまばらに生えており、切歯が育ちながらその場所を埋める。仮に乳切歯の間の空間が不充分であれば切歯が互いに重なったり傾いて生えて八重歯になる。食物を切る役割をし、審美的にも重要な役割をし、発音する時もなくてならない。中央は中切歯、外側は側切歯という。
【００８５】
犬歯（Ｃａｎｉｎｅ）とは、切歯の外側にある４個の歯牙をいう。切歯に比べて中央がとがっている形状であるため糸切り歯とも呼ぶ。食物を噛む役割をし、審美的に非常に重要な役割をする。歯牙で構成されたアーチで犬歯が目立っているからである。歯根の長さが歯牙のうち最も長いので耐久性にも優れるが、その理由は犬歯が食物を噛む過程で一番最初に互いに接触しながら顎が動く経路を案内するからである。犬歯が擦れたり抜けると食物を噛む方法から変わる。
【００８６】
小臼歯（Ｐｒｅｍｏｌａｒ）とは、犬歯の外側にある８個の歯牙であり、俗に小さい奥歯という。中心側は第１小臼歯、外側は第２小臼歯に分けられる。食物を細かく砕く役割をする。小臼歯からは歯牙の咬頭が２個以上になる。上顎の小臼歯はいずれも咬頭が２個であるが、たまに下顎の第２小臼歯は舌側咬頭が２個である３咬頭型も見られる。
【００８７】
大臼歯（Ｍｏｌａｒ）とは、最も外側にある１２個の歯牙をいう。中心から順に第１大臼歯、第２大臼歯、第３大臼歯というが、第３大臼歯は俗に親知らずという。食物を細かく砕く役割をする。上顎の大臼歯は咬頭が４個である場合が多く歯根が３個であるが、下顎の大臼歯は咬頭が５個である場合が多く歯根が２個である。上顎第１大臼歯の舌側には５番目の小さい咬頭が生じたり、上顎第２大臼歯は舌側の外側咬頭が退化して咬頭が３個のように生じたりもする。下顎第１大臼歯の咬頭はほぼ四角形で４個が配置され、外側にもう一つがつく形態であり、第２大臼歯の咬頭も同様であるが、外側の５番目咬頭が退化した４咬頭型もしばしば見られる。第３大臼歯の形態は多様であり、よく発達して第１大臼歯と類似の場合もあるが、退化して矮小化した第２大臼歯の場合よりさらに小さい。
【００８８】
図７にも示すように乳歯であるか永久歯であるかによって大きさと形が異なる。また、全体歯牙の個数も異なる。そのためユーザの歯牙が乳歯であるか永久歯であるかを区別して増強現実により表示するとより現実感を得ることができる。しかし、このような情報は顔を撮影した映像から推定するには限界がある。そのためユーザから追加で生年月日の入力を受けて活用することができる。
【００８９】
図８Ａは乳歯が生える時期と抜ける時期を表に整理した図である。図８Ａを参照すると、上顎の１番目前歯（＝乳中切歯）は７〜８ヶ月に生えてきて６〜７歳の間に抜ける。また、上顎の２番目前歯（＝乳側切歯）は８〜９ヶ月に生えてきて７〜８歳の間に抜ける。また、上顎の糸切り歯（＝乳犬歯）は１６〜２０ヶ月に生えてきて１０〜１２歳の間に抜ける。また、上顎の１番目奥歯（＝第１乳臼歯）は１２〜１６ヶ月に生えてきて９〜１１歳の間に抜ける。また、上顎の２番目奥歯（＝第２乳臼歯）は２０〜３０ヶ月に生えてきて１０〜１２歳の間に抜ける。
【００９０】
図８Ａを参照すると、下顎の１番目前歯（＝乳中切歯）は６〜７ヶ月に生えてきて６〜７歳の間に抜ける。また、下顎の２番目前歯（＝乳側切歯）は６〜７ヶ月に生えてきて７〜８歳の間に抜ける。また、下顎の糸切り歯（＝乳犬歯）は１６〜２０ヶ月に生えてきて９〜１２歳の間に抜ける。また、下顎の１番目奥歯（＝第１乳臼歯）は１２〜１６ヶ月に生えてきて９〜１１歳の間に抜ける。また、下顎の２番目奥歯（＝第２乳臼歯）は２０〜３０ヶ月に生えてきて１０〜１２歳の間に抜ける。
【００９１】
図８Ｂを参照すると、永久歯が生える時期を上顎と下顎別に確認することができる。永久歯は特に事情がなければ自然に抜けないため生える時期のみ整理した。
【００９２】
図８Ｂを参照すると、上顎の１番目前歯（＝中切歯）は７〜８歳の間に生えてきて、下顎の１番目前歯は６〜７歳の間に生えてくる。また、上顎の２番目前歯（＝側切歯）は８〜９歳の間に生えてきて、下顎の２番目前歯（＝側切歯）は７〜８歳の間に生えてくる。また、上顎の糸切り歯（＝犬歯）は１１〜１２歳の間に生えてきて、下顎の糸切り歯（＝犬歯）は９〜１０歳の間に生えてくる。
【００９３】
また、上顎の１番目の小さい奥歯（＝第１小臼歯）は１０〜１１歳の間に生えてきて、下顎の１番目の小さい奥歯（＝第１小臼歯）は１０〜１２歳の間に生えてくる。また、上顎の２番目の小さい奥歯（＝第２小臼歯）は１０〜１２歳の間に生えてきて、下顎の２番目の小さい奥歯（＝第２小臼歯）は１０〜１２歳の間に生えてくる。
【００９４】
また、上顎の１番目の大きい奥歯（＝第１大臼歯）は６〜７歳の間に生えてきて、下顎の１番目の大きい奥歯（＝第１大臼歯）は６〜７歳の間に生えてくる。また、上顎の２番目の大きい奥歯（＝第２大臼歯）は１２〜１３歳の間に生えてきて、下顎の２番目の大きい奥歯（＝第２大臼歯）は１１〜１３歳の間に生えてくる。また、上顎の三番目の大きい奥歯（＝第３大臼歯）は１７〜２１歳の間に生えてきて、下顎の三番目の大きい奥歯（＝第３大臼歯）は１７〜２１歳の間に生えてくる。
【００９５】
このように同じ乳歯でも位置によって生える時期と抜ける時期に差がある。また、同じ前歯であるとしても上顎であるか下顎であるかによって生える時期と抜ける時期に差がある。また、乳歯であるか永久歯であるかによって歯牙の個数に差がある。
【００９６】
そのためユーザから生年月日の入力を受けると月数や年数を逆算して乳歯であるか永久歯であるかを区別し、乳歯でも現在生えている歯牙と生えていない歯牙を区別することができる。これによりさらに正確な個人化した歯牙モデルを生成し、これを増強現実により表現することができる。
【００９７】
本発明で提供する増強現実を用いた歯磨きガイド情報の提供方法は、スマートフォン２００のアプリケーション等を通して提供できるが、この過程でユーザプロフィールを生成することができる。ユーザプロフィールに基づいて持続的に歯磨き状況をモニタリングしてフィードバックすることができる。この時ユーザプロフィールを生成する過程で生年月日、性別、身長、体重、歯牙数、歯牙の位置、虫歯数、虫歯の位置などの情報の入力を受けることができる。
【００９８】
また、プロフィールを生成する過程で口を開いて歯牙を撮影した写真の入力を受けて虫歯の有無などを個人化した歯牙モデルに反映することができる。歯牙が生えた部位、抜けた部位、虫歯がある部位などの情報を反映して個人化したガイド情報の生成も可能である。
例えば歯が抜けた部位は歯磨きをするガイド情報から省略するか虫歯がある部位は歯磨きをより多くより長くするようにガイド情報をカスタマイズして生成することができる。すなわち、個人化した歯牙モデルに基づいて個人化したガイド情報の生成が可能である。
解剖学的情報とユーザから入力を受けた情報に基づいて歯牙の位置、大きさ、個数などを反映した個人化した歯牙モデルを生成する過程で歯の配列も追加的にさらに反映することができる。図９Ａないし図９Ｃにはこのような歯牙配列が例示されている。
【００９９】
図９Ａを参照すると、四角形の歯列弓（Ｓｑｕａｒｅ  ａｒｃｈ）が示されている。また、図９Ｂでは卵形の歯列弓（Ｏｖａｌ  ａｒｃｈ）が示されている。最後に図９Ｃでは三角形の歯列弓（Ｔｒｉａｎｇｕｌａｒ  ａｒｃｈ）が示されている。それぞれ奥歯のラインと前歯のラインがなす角度を基準に大きく四角形、卵形、尖形（＝三角形）に区分する。
【０１００】
２０１０年度のある統計によれば、卵形が４４％で最も多く、次に四角形が３０％、三角形が２６％で分析された。また、年齢別の歯列弓を比較してみた結果、２０代以下では卵形は４８％、四角形は２８％、三角形は２４％であり、２０代は卵形が４２％、四角形３１％、三角形２７％、３０代は卵形が４０％、四角形が３５％、三角形が２５％で、３０代以下の年齢層には卵形が多く分布していた。これに対して４０代では四角形３５％、三角形３４％、卵形３１％で、若年層に比べて四角形歯列弓が多く、卵形歯列弓が少ないため韓国人の歯列形態が徐々に西欧化していることが示された。
このように年齢代によって歯列弓の形態も異なる特性を示す。特に歯列弓は顎ラインのラインと密接な関係を有するため顎ラインの解剖学的情報から歯列弓の形態を推定することができる。
【０１０１】
また、図１０のように個人化した歯牙モデルを生成する時、該当ユーザの歯科病院のサーバーからＸ線写真などを受信してこれに基づいてより正確な歯牙モデルを生成することができる。子供の場合、持続的な歯牙管理が必要であるため病院との連係によってより正確な歯牙モデルを生成し、これに基づいて個人化したガイド情報を提供することができる。
【０１０２】
特にガイド情報を生成する時、担当医師の意見を反映することができる。例えば、担当医師が特定部位はさらに集中的に歯磨きするようにガイド情報を生成する時は各部位によって加重値を付与することができる。
【０１０３】
図１１Ａないし図１１Ｂは図２の増強現実を用いて歯牙モデルを表示する段階（Ｓ１３００）を説明するための例示図である。
【０１０４】
図１１Ａを参照すると、ユーザを撮影したイメージ２１０の上に仮想の歯牙イメージ２２０がオーバーレイして表示されたものが示されている。ユーザが口を閉じている状態であっても仮想の歯牙イメージ２２０を増強現実により表現することによって、歯磨きをする過程の間の歯牙の状態変化を視角化して表示ことができる。
【０１０５】
特に図１１Ａに示すようにユーザが頭を右側に傾けると歯牙の位置もともに傾いて表現される。増強現実であるためユーザの顔輪郭、顎ラインなどに基づいて解剖学的情報と結合して歯牙の位置を推定して該当位置に個人化した歯牙モデルを表示することができる。
【０１０６】
これにより単に鏡を見ながら歯磨きをする方法または単に再生だけをする動画コンテンツを見ながら歯磨きをする方法に比べて現実感のある歯磨きガイド情報をユーザに提供することができる。
【０１０７】
また、仮想の歯牙イメージ２２０と仮想の歯ブラシのイメージ２３０の他にも追加的なイメージを増強現実により共に表現することができる。図１１Ａでは歯磨きをする過程をゲームと結合してゲームキャラクターのイメージ２４０を共に表示したものが示されている。
【０１０８】
また、図１１Ｂではユーザの姿をポロロのキャラクターのイメージ２５０に換えて表示した増強現実が示されている。図１１Ｂではユーザの姿がすべてポロロのキャラクターのイメージ２５０に変わっているが、全体でない部分も可能である。例えばユーザのイメージ２１０にポロロのメガネと帽子のみを合成して増強現実により表示することができる。ポロロ以外にも子供たちが好きなキャラクターで増強現実を具現して歯磨きする姿を見せると子供たちに歯磨きが一つの楽しい遊びとして位置づけられる。
【０１０９】
図１１Ｂではポロロのキャラクターイメージ２５０のみ示されているが、その他にも多様なキャラクターのイメージの使用が可能である。特にこのようなキャラクターイメージは著作権があるので、契約によりライセンスを受けて有償でキャラクターイメージをアプリケーション内で販売することもできる。そのため部分的な有料化により収益を得ることもできる。
【０１１０】
図１２は図２の歯磨きの進行に応じてガイド情報を提供する段階（Ｓ１４００）を説明するための例示図である。
【０１１１】
ガイド情報は歯牙を一定の区域に分けて各区域別に歯磨きの進行程度を色相などで表示した歯磨きの進行情報を含み得る。例えば下顎を基準に左側奥歯を第１区域、前歯の部分を第２区域、右側奥歯を第３区域に分け、第１区域の前面、上面、裏面の３部分と、第２区域の前面、裏面の２部分と、第３区域の上面、裏面の３部分、合計８部分を色相で表現することができる。
【０１１２】
歯磨きの進行によって８部分の色相を赤色＞黄色＞薄緑色に変化させながらすべての部分がまんべんなく歯磨きが行われるようにユーザにガイド情報を提供することができる。これにより特定部位のみ歯磨きする習慣を矯正することができる。
【０１１３】
また、ガイド情報は歯磨きが必要な区域を案内する情報が含まれ得る。例えば歯磨きをゲームと結合して特定区域の歯牙に細菌をオーバーレイして増強現実により表現することができる。ユーザが該当区域を歯磨きすると視覚効果および聴覚効果とともに該当細菌をなくして点数を得るように画面を構成することができる。細菌の他にも食べかすを視角化したイメージを増強現実により表現することもできる。
【０１１４】
そうすると子供は細菌や食べかすが現れた部分を歯磨きするだけで歯牙全体をまんべんなく歯磨きするように誘導することができる。この過程で虫歯がある部位は細菌がさらに頻繁に現れるようにゲームを構成し、歯牙がない部分はこれを省略するようにゲームを構成することができる。このようにカスタマイズしたガイド情報により正しい歯磨き習慣をつけさせることができる。
【０１１５】
また、ガイド情報は歯磨きの方向と速度などを案内する情報が含まれ得る。画面に増強現実により表現される仮想の歯ブラシのイメージ２３０はユーザが歯磨きをするとそれに合わせて動く方法で表示されるが、その他にも歯磨きを始める前にはガイド情報を表示することもできる。
【０１１６】
例えば「前歯を３回シャカシャカ磨いてみよう〜」という音声案内とともに仮想の歯ブラシのイメージが前歯を上下に磨く姿を表示することができる。子供が歯磨きする姿を撮影して映像解析により子供がガイド情報に従って歯磨きをすると「よくできました」というフィードバックを提供することができる。
【０１１７】
また、ユーザの年齢および微細運動の発達状況を考慮して仮想の歯ブラシのイメージ２３０によるガイド情報を異なって表現することができる。例えば、ユーザの年齢が３歳〜８歳である場合は簡単な横に歯磨きする歯ブラシ法（＝回転法、フォーンズ法）を主に案内し、ユーザの年齢が８歳以上である場合は複雑な上下に歯磨きする歯ブラシ法（バス法、変形バス法）を主に案内することができる。
【０１１８】
この時、子供が実際に歯磨きをする過程は映像解析により動きの方向と動きの距離などを用いて判断することができる。しかし、追加的に図１２に示すように歯ブラシの内部に３軸加速センサを内蔵して歯ブラシの移動に関する情報をスマートフォン２００で無線通信により受信してこれを分析して判断することもできる。
【０１１９】
図１２を参照すると、歯ブラシ取っ手で歯ブラシの頭部分の方向をｙ軸、歯ブラシの毛と平行方向をｚ軸、ｙ軸とｚ軸に直交する残りの一つの軸をｘ軸と定義する。そして、ｘ軸、ｙ軸、ｚ軸各方向の移動と共に、ｘ軸方向の回転とｙ軸方向の回転に関する情報を追加でさらに収集して歯磨きの方向を判断することができる。
【０１２０】
この時、ユーザが歯ブラシを握っている方向を判断して右利きであるか左利きであるかによって歯ブラシの方向と歯磨きをしている歯牙の部位を判断することができる。また、ユーザが歯ブラシを持っている手と歯ブラシ本体の角度を計算して仮想の歯ブラシのイメージ２３０の角度を決めることができる。
【０１２１】
この時、歯ブラシとスマートフォン２００との間の通信方式はＷｉＦｉ（登録商標）通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信、ＺｉｇＢｅｅ（登録商標）通信、３Ｇ通信、ＬＴＥ通信またはＮＦＣ通信など多様な通信方式を用いることができる。すなわち、無線信号を用いて通信を行うすべての通信方式を適用することができる。
【０１２２】
また、ガイド情報はスマートフォン２００を用いて視覚的および聴覚的に提供することの他にも歯ブラシを介して触覚的に提供することができる。例えばユーザがスマートフォン２００の画面に表示された歯ブラシの方向と回数および時間によく付いていくと歯ブラシに振動を発生させるように制御信号をスマートフォン２００で送信し、歯ブラシはこれを受信してユーザに振動によるフィードバックを提供することができる。逆にユーザがガイド情報によく付いていけない場合歯ブラシにハプティクス効果を与えてフィードバックを提供することができる。
【０１２３】
その他にもガイド情報は多様な方式で増強現実により画面に表示することができる。例えば、ユーザが歯磨きしなければならない領域には仮想の歯ブラシのイメージ２３０を位置させてユーザが現在の歯磨きしている領域に仮想の効果（歯磨きの泡、歯牙の色変化、星など）を位置させる。そして、二つの領域が一致する場合は仮想の歯ブラシのイメージ２３０は消えるようにガイド情報を構成することができる。
【０１２４】
また、スマートフォン２００は、歯ブラシとの通信により歯ブラシに残っているバッテリの残量を画面に表示してバッテリ交換が必要な場合、事前にユーザに案内する情報を提供することができる。その他にも映像解析等により歯ブラシの摩耗程度を分析して歯ブラシの交換が必要な場合、事前にユーザに案内する情報を提供することができる。
【０１２５】
その他にも歯磨きが終わると仮想のコップイメージを増強現実に表示して口の中を洗うガイド情報をユーザに視覚的に提供することができる。また、歯磨きが終了した後に口周辺に歯磨き粉が付いている場合、映像解析によりこれを感知して口周辺を洗うように案内する情報を提供することができる。
【０１２６】
また、増強現実によりユーザの背景を変えてお手洗いでない仮想の空間、例えば海辺や学校、遊び場などを表示して風変わりな空間で歯磨きするように感じるようにすることができる。これによりすぐに飽きる子供たちの興味を持続的に呼びおこすことができる。
【０１２７】
このような増強現実を用いたガイド情報の提供は医療情報を提供する時にも活用することができる。例えば既存の歯科では虫歯を見せる時Ｘ線写真で説明をしたが、これからは虫歯の情報が画面に映った顔に仮想の歯牙がオーバーレイして虫歯を表示することができる。
【０１２８】
増強現実を用いたガイド情報の提供は歯牙だけでなく他の身体部位にも拡張が可能である。例えば歯科でない小児科で子供に風邪について説明する時、Ｘ線写真などを用いることより個人化した仮想の気管支イメージを生成して子供の姿にオーバーレイして見せながら風邪の進行過程などを説明することができる。このような説明と共に子供に風邪の注射を打つならば子供が病院に行くことや注射を受けることを一つの病院遊びとして思い負担を感じないように誘導することができる。
【０１２９】
このように多様な身体部位に対して解剖学的情報を用いて個人化した身体部位のモデルを生成し、これを増強現実を用いて表示しながら関連したコンテンツを提供するとユーザに該当コンテンツに対する理解度と集中度を高める効果がある。
【０１３０】
また、ユーザが画面で増強現実により表現された歯牙のイメージ２２０をタッチすると該当歯牙の機能、永久歯の有無など教育用コンテンツを追加で画面に表示することができる。また、ユーザの口腔状態（矯正の有無、美白の有無、抜歯、大きさ、個数など）を分析して歯ブラシや歯磨き粉に関する情報を提供することができる。これにより広告などに活用して収益を得ることもできる。
【０１３１】
また、仮想の歯ブラシのイメージ２３０も同じイメージのみ使うのではなく顔認識により予測したりユーザが入力した年齢、性別、身長、体重に応じて歯ブラシの色相と大きさを異にすることができる。子供の場合、キャラクター歯ブラシのイメージ２３０を画面に表示することもできる。
【０１３２】
図１３は図２の歯磨きが終了するとモニタリング結果を提供する段階（Ｓ１５００）を説明するための例示図である。
【０１３３】
図１３を参照すると、２０１７年６月２５日日曜日午後８時１０分に行った歯磨きをモニタリングした結果を表示したものが示されている。前述したように下顎を基準に左側奥歯を第１区域、前歯の部分を第２区域、右側奥歯を第３区域に分け、第１区域の前面、上面、裏面の３部分と、第２区域の前面、裏面の２部分と、第３区域の上面、裏面の３部分、合計８部分を色相で表現することができる。
【０１３４】
上顎の場合にも同様に合計８部分が表示されており、歯磨きをよく行った部分は白色で、歯磨きの回数や時間などが不足する部分は黄色で表示して歯磨きの結果をユーザに直観的に表示ことができる。
【０１３５】
また、ユーザがまだ乳歯の場合には下顎を基準に３個の区域でない左右の２個の区域で表示してモニタリング結果をシンプルに表現することができる。先に子供の場合、年齢に応じて歯磨きを横に歯磨きする方法（＝回転法、フォーンズ法）を案内したので歯磨きの結果も左／右にそれぞれ左の内側と外側、右の内側と外側の合計４個の部分に分けて表示することができる。
【０１３６】
永久歯の場合には下顎を基準に合計８個の部分をモニタリング結果として提供するが、子供の場合、乳歯の場合には下顎を基準に合計４個の部分にしてモニタリング結果を単純化して提供することができる。
【０１３７】
ただし、これは発明の理解を助けるための一例であるため、その他にも歯牙を多様な区域に分けて各区域を部分に細分化して歯磨きの結果を提供することができる。また、領域の区分なしに各歯牙別にモニタリング結果を提供することができる。その他にも、各歯牙および歯牙と歯牙との間も領域に区分してモニタリング結果を提供することができる。
【０１３８】
また、図１３には１回の歯磨き結果のみを表示したが、これを数日にわたって累積した歯磨き結果を色相で表現したり、それぞれの歯磨きを行った程度を点数で換算し、これをグラフ形態で提供することもできる。単に色相の他にも「そんな磨き方じゃ、下の奥歯は虫歯になっちゃうよ〜」のような聴覚的モニタリング結果も共に提供することができる。
【０１３９】
図１４は本発明の一実施形態による増強現実を用いた歯磨きガイド情報提供装置のハードウェア構成図である。
【０１４０】
図１４を参照すると歯磨きガイド情報提供装置２００は、一つ以上のプロセッサ５１０、メモリ５２０、ストレージ５６０およびインターフェース５７０を含み得る。プロセッサ５１０、メモリ５２０、ストレージ５６０およびインターフェース５７０はシステムバス５５０を通じてデータを送受信する。
【０１４１】
プロセッサ５１０は、メモリ５２０にロードされたコンピュータプログラムを実行し、メモリ５２０は前記コンピュータプログラムをストレージ５６０でロード（ｌｏａｄ）する。前記コンピュータプログラムは、映像撮影オペレーション５２１、歯牙モデル生成オペレーション５２３およびガイド情報提供オペレーション５２５を含み得る。
【０１４２】
映像撮影オペレーション５２１は、図面に示していないカメラを介して歯磨きをしようとするユーザの映像を撮影する。この時、ユーザは顔の部分を含む上半身を撮影することが好ましい。映像撮影オペレーション５２１が撮影した映像をリアルタイムで分析し、該当映像に個人化した歯牙モデルと個人化したガイド情報を提供することが本発明の目的である。
【０１４３】
そのために撮影した映像を歯牙モデル生成オペレーション５２３が分析する。一次的に顔を感知し、顔の輪郭線とランドマークなどを識別して解剖学的情報を用いて歯牙の位置と大きさおよび配列を推定する。
【０１４４】
また、ストレージ５６０に保存された個人化情報５６１を参照して二次的に永久歯の有無、虫歯の有無、歯牙の個数、歯牙の色相などを反映して個人化した歯牙モデルを生成してシステムバス５５０を介してストレージ５６０の歯牙モデル５６３として保存する。
【０１４５】
この時使われる個人化情報は事前にインターフェース５７０を介してユーザから入力を受けたものであり、ユーザの生年月日、性別、身長、体重などを含む。その他にもユーザが直接撮影した歯牙のイメージや歯科病院のサーバーから提供された歯牙のＸ線イメージなどを含み得る。
【０１４６】
個人化した歯牙モデル５６３は先立って説明したように歯牙の位置、大きさ、配列、永久歯の有無、虫歯の有無、歯牙数、虫歯数などの情報を含む。これにより各ユーザごとに互いに異なる仮想の歯牙イメージを画面に増強現実により表示することができる。
【０１４７】
ガイド情報提供オペレーション５２５は、撮影した映像をユーザに提供しながら先に生成した個人化した歯牙モデル５６３に合う個人化したガイド情報５６５を共に提供する。個人化したガイド情報５６５は各個人の歯状態に応じて歯磨きの進行程度、歯磨きの方向と回数および時間などに対するフィードバック情報などを含み得る。
【０１４８】
図１４の各構成要素はソフトウェア（Ｓｏｆｔｗａｒｅ）または、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）のようなハードウェア（Ｈａｒｄｗａｒｅ）を意味する。しかし、前記構成要素はソフトウェアまたはハードウェアに限定される意味ではなく、アドレッシング（Ａｄｄｒｅｓｓｉｎｇ）できる保存媒体にあるように構成することもでき、一つまたはそれ以上のプロセッサを実行させるように構成することもできる。前記構成要素から提供される機能はさらに細分した構成要素によって具現され得、複数の構成要素を合わせて特定の機能を遂行する一つの構成要素として具現することもできる。
【０１４９】
これまで説明した本発明の実施形態による方法は、コンピュータが読み取り可能なコードで具現されたコンピュータプログラムの実行によって行われることができる。前記コンピュータプログラムは、インターネットなどのネットワークを通じて第１コンピューティング装置から第２コンピューティング装置に転送されて前記第２コンピューティング装置にインストールされ得、そのため前記第２コンピューティング装置で用いることができる。前記第１コンピューティング装置および前記第２コンピューティング装置は、サーバー装置、クラウドサービスのためのサーバープールに属した物理サーバー、デスクトップＰＣのような固定式コンピューティング装置をすべて含む。
【０１５０】
前記コンピュータプログラムは、ＤＶＤ−ＲＯＭ、フラッシュメモリ装置などの記録媒体に保存されたものであり得る。
【０１５１】
以上、添付する図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野における通常の知識を有する者は本発明がその技術的思想や必須の特徴を変更せず他の具体的な形態で実施できることを理解することができる。したがって、以上、記述した実施形態はすべての面で例示的なものであり、限定的なものではないと理解しなければならない。
【図１】
0006869586.tif 000002
【図２】
0006869586.tif 000003
【図３】
0006869586.tif 000004
【図４】
0006869586.tif 000005
【図５Ａ】
0006869586.tif 000006
【図５Ｂ】
0006869586.tif 000007
【図５Ｃ】
0006869586.tif 000008
【図６】
0006869586.tif 000009
【図７】
0006869586.tif 000010
【図８Ａ】
0006869586.tif 000011
【図８Ｂ】
0006869586.tif 000012
【図９Ａ】
0006869586.tif 000013
【図９Ｂ】
0006869586.tif 000014
【図９Ｃ】
0006869586.tif 000015
【図１０】
0006869586.tif 000016
【図１１ａ】
0006869586.tif 000017
【図１１ｂ】
0006869586.tif 000018
【図１２】
0006869586.tif 000019
【図１３】
0006869586.tif 000020
【図１４】
0006869586.tif 000021