(57)【要約】【課題】顔運動の効果的・効率的な実施を支援するための技術を提供することを目的とする。【解決手段】顔運動量測定装置が、対象者を撮影する撮像手段と、前記撮像手段から取り込まれた時系列画像を基に前記対象者の顔の動きを解析することによって、前記対象者が実施した顔運動の量又は質を表す、顔運動量を測定する測定手段と、前記測定手段によって測定された顔運動量を示す情報を出力する情報出力手段と、を有する。【選択図】図１
2020035122.tif 000002
【特許請求の範囲】
【請求項１】
対象者を撮影する撮像手段と、
前記撮像手段から取り込まれた時系列画像を基に前記対象者の顔の動きを解析することによって、前記対象者が実施した顔運動の量又は質を表す、顔運動量を測定する測定手段と、
前記測定手段によって測定された顔運動量を示す情報を出力する情報出力手段と、
を有することを特徴とする顔運動量測定装置。
【請求項２】
前記顔運動は、口腔機能の維持又は向上を目的とした運動である口腔機能運動を含み、
前記顔運動量は、前記対象者が実施した口腔機能運動の量又は質を表す口腔運動量を含む
ことを特徴とする請求項１に記載の顔運動量測定装置。
【請求項３】
前記顔運動は、口を開閉する運動を含む
ことを特徴とする請求項１又は２に記載の顔運動量測定装置。
【請求項４】
前記測定手段は、前記顔運動量として、口の開き度合を表す指標を計算する
ことを特徴とする請求項３に記載の顔運動量測定装置。
【請求項５】
前記測定手段は、画像から上唇と下唇を検出し、前記上唇と前記下唇の間の開口幅又は開口面積を口の開き度合として求める
ことを特徴とする請求項４に記載の顔運動量測定装置。
【請求項６】
前記測定手段は、画像から鼻と顎先を検出し、前記鼻と前記顎先の間の距離を口の開き度合として求める
ことを特徴とする請求項４に記載の顔運動量測定装置。
【請求項７】
前記測定手段は、前記顔運動量として、口の開閉速度を表す指標を計算する
ことを特徴とする請求項３〜６のいずれか１項に記載の顔運動量測定装置。
【請求項８】
前記測定手段は、複数の画像のそれぞれから上唇と下唇を検出し、前記複数の画像の間における、前記上唇と前記下唇の間の開口幅又は開口面積の変化量を口の開閉速度として求める
ことを特徴とする請求項７に記載の顔運動量測定装置。
【請求項９】
前記測定手段は、複数の画像のそれぞれから鼻と顎先を検出し、前記複数の画像の間における、前記鼻と前記顎先の間の距離の変化量を口の開閉速度として求める
ことを特徴とする請求項７に記載の顔運動量測定装置。
【請求項１０】
前記測定手段は、前記顔運動量として、口の開閉回数を表す指標を計算する
ことを特徴とする請求項３〜９のいずれか１項に記載の顔運動量測定装置。
【請求項１１】
前記測定手段は、複数の画像のそれぞれから上唇と下唇を検出し、前記複数の画像の間における、前記上唇と前記下唇の間の開口幅の変化の周期に基づいて口の開閉回数を求める
ことを特徴とする請求項１０に記載の顔運動量測定装置。
【請求項１２】
前記測定手段は、複数の画像のそれぞれから鼻と顎先を検出し、前記複数の画像の間における、前記鼻と前記顎先の間の距離の変化の周期に基づいて口の開閉回数を求める
ことを特徴とする請求項１０に記載の顔運動量測定装置。
【請求項１３】
前記顔運動は、顔を回転する運動を含む
ことを特徴とする請求項１〜１２のいずれか１項に記載の顔運動量測定装置。
【請求項１４】
前記測定手段は、前記顔運動量として、顔の回転速度、回転度合、又は回転回数を表す指標を計算する
ことを特徴とする請求項１３に記載の顔運動量測定装置。
【請求項１５】
前記顔運動は、舌を出す運動を含む
ことを特徴とする請求項１〜１４のいずれか１項に記載の顔運動量測定装置。
【請求項１６】
前記測定手段は、前記顔運動量として、舌の露出量を表す指標を計算する
ことを特徴とする請求項１５に記載の顔運動量測定装置。
【請求項１７】
前記情報出力手段は、前記撮像手段から取り込まれた前記時系列画像と共に、前記測定手段によって測定された前記顔運動量を示す情報を、表示装置にリアルタイムに表示することを特徴とする請求項１〜１６のいずれか１項に記載の顔運動量測定装置。
【請求項１８】
前記情報出力手段は、所定の測定時間における前記顔運動量の統計量を出力する
ことを特徴とする請求項１〜１６のいずれか１項に記載の顔運動量測定装置。
【請求項１９】
前記情報出力手段は、所定の期間における前記顔運動量の履歴を出力する
ことを特徴とする請求項１〜１６のいずれか１項に記載の顔運動量測定装置。
【請求項２０】
対象者を撮影した時系列画像を取得するステップと、
前記時系列画像を基に前記対象者の顔の動きを解析することによって、前記対象者が実施した顔運動の量又は質を表す、顔運動量を測定するステップと、
前記測定された顔運動量を示す情報を出力するステップと、
を有することを特徴とする顔運動量測定方法。
【請求項２１】
請求項２０に記載された顔運動量測定方法の各ステップをプロセッサに実行させるためのプログラム。
【請求項２２】
対象者を撮影した時系列画像を基に前記対象者の顔の動きを解析することによって測定された、前記対象者が実施した顔運動の量又は質を表す、顔運動量のデータと、
前記対象者を特定するデータと、
前記顔運動が実施された日時を特定するデータと、
を含むことを特徴とするデータ構造。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔運動の実施を支援するための技術に関する。
【背景技術】
【０００２】
口腔機能の維持は、ヒトが健康的な生活をおくる上で極めて重要なものと考えられている。それゆえ、医療機関、介護施設、エルダー施設などでは、治療ないしリハビリテーションの一つの運動メニュー、あるいは、ケアマネージメントの一環として、口腔機能の維持・向上を目的とした運動（本明細書において「口腔機能運動」と称す。）を取り入れているところが多い。例えば、「パ」、「タ」、「カ」、「ラ」の発音を繰り返すことで口唇及び舌を動かす「パタカラ体操」、口を大きく動かす運動である「あいうべ体操」、左右上下に顔向きを変える運動や首を回す運動、舌を出して上下左右に動かす運動など、様々な口腔機能運動が提案されている。また、最近では、顔のたるみ・シワの改善やリフトアップなどを目的として、顔ヨガ、顔エクササイズなどとよばれる表情筋のトレーニングやストレッチも登場している。本明細書では、上述したような、顔の筋肉（舌などの口腔内の筋肉や顔を支持する首回りの筋肉も含む）を動かす運動を「顔運動」と称する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−３０５０６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような顔運動は正しいやり方で且つ継続的に行うことが肝要である。しかしながら、従来は、運動をどの程度行ったか（例えば、口を大きく開いたかとか、口の開閉を何回行ったか、目標を達成したか、など）の判定や記録は、本人又は指導員（医師、介護士、トレーナーなど）の主観や目視でなされていたのが実情である。このため、実施記録の客観性及び信頼性がきわめて低く、その結果として、本人にとっては、運動のやり方が正しいかどうかの確認が難しいという問題があり、指導員にとっては、運動の効果を評価することが難しいという課題があった。
【０００５】
本発明は上記実情に鑑みなされたものであって、顔運動の効果的・効率的な実施を支援するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第一の側面は、対象者を撮影する撮像手段と、前記撮像手段から取り込まれた時系列画像を基に前記対象者の顔の動きを解析することによって、前記対象者が実施した顔運動の量又は質を表す、顔運動量を測定する測定手段と、前記測定手段によって測定された顔運動量を示す情報を出力する情報出力手段と、を有することを特徴とする顔運動量測定装置を提供する。この構成によれば、対象者が実施した顔運動の量や質が顔運動量という指標により数値化されるので、顔運動の実施状況を客観的に記録することができる。
【０００７】
前記顔運動は、口腔機能の維持又は向上を目的とした運動である口腔機能運動を含んでもよく、前記顔運動量は、前記対象者が実施した口腔機能運動の量又は質を表す口腔運動量を含んでもよい。前記顔運動は、口を開閉する運動を含んでもよい。この場合、前記測定手段は、前記顔運動量として、口の開き度合を表す指標を計算してもよい。また、前記測定手段は、画像から上唇と下唇を検出し、前記上唇と前記下唇の間の開口幅又は開口面積を口の開き度合として求めてもよい。また、前記測定手段は、画像から鼻と顎先を検出
し、前記鼻と前記顎先の間の距離を口の開き度合として求めてもよい。また、前記測定手段は、前記顔運動量として、口の開閉速度を表す指標を計算してもよい。前記測定手段は、複数の画像のそれぞれから上唇と下唇を検出し、前記複数の画像の間における、前記上唇と前記下唇の間の開口幅又は開口面積の変化量を口の開閉速度として求めてもよい。前記測定手段は、複数の画像のそれぞれから鼻と顎先を検出し、前記複数の画像の間における、前記鼻と前記顎先の間の距離の変化量を口の開閉速度として求めてもよい。前記測定手段は、前記顔運動量として、口の開閉回数を表す指標を計算してもよい。前記測定手段は、複数の画像のそれぞれから上唇と下唇を検出し、前記複数の画像の間における、前記上唇と前記下唇の間の開口幅の変化の周期に基づいて口の開閉回数を求めてもよい。前記測定手段は、複数の画像のそれぞれから鼻と顎先を検出し、前記複数の画像の間における、前記鼻と前記顎先の間の距離の変化の周期に基づいて口の開閉回数を求めてもよい。
【０００８】
前記顔運動は、顔を回転する運動を含んでもよい。この場合、前記測定手段は、前記顔運動量として、顔の回転速度、回転度合、又は回転回数を表す指標を計算してもよい。
【０００９】
前記顔運動は、舌を出す運動を含んでもよい。この場合、前記測定手段は、前記顔運動量として、舌の露出量を表す指標を計算してもよい。
【００１０】
前記情報出力手段は、前記撮像手段から取り込まれた前記時系列画像と共に、前記測定手段によって測定された前記顔運動量を示す情報を、表示装置にリアルタイムに表示してもよい。前記情報出力手段は、所定の測定時間における前記顔運動量の統計量を出力してもよい。前記情報出力手段は、所定の期間における前記顔運動量の履歴を出力してもよい。
【００１１】
本発明の第二側面は、対象者を撮影した時系列画像を取得するステップと、前記時系列画像を基に前記対象者の顔の動きを解析することによって、前記対象者が実施した顔運動の量又は質を表す、顔運動量を測定するステップと、前記測定された顔運動量を示す情報を出力するステップと、を有することを特徴とする顔運動量測定方法を提供する。
【００１２】
本発明の第三側面は、顔運動量測定方法の各ステップをプロセッサに実行させるためのプログラムを提供する。
【００１３】
本発明の第四側面は、対象者を撮影した時系列画像を基に前記対象者の顔の動きを解析することによって測定された、前記対象者が実施した顔運動の量又は質を表す、顔運動量のデータと、前記対象者を特定するデータと、前記顔運動が実施された日時を特定するデータと、を含むことを特徴とするデータ構造を提供する。
【発明の効果】
【００１４】
本発明によれば、顔運動の効果的・効率的な実施を支援することができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の実施形態に係る顔運動量測定装置を示す図である。
【図２】図２は、顔運動量測定装置１の具体的な構成の一例を示す図である。
【図３】図３Ａ〜図３Ｄは、口の開き度合を表す指標の例である。
【図４】図４は、口の開き度合を表す指標の例である。
【図５】図５は、顔の回転方向を示す図である。
【図６】図６Ａと図６Ｂは、舌の露出量を表す指標の例である。
【図７】図７は、顔運動量測定装置１のフローチャートである。
【図８】図８は、口の開き度合の統計量の算出処理のフローチャートである。
【図９】図９は、口の開閉速度の統計量の算出処理のフローチャートである。
【図１０】図１０は、口の開閉回数の算出処理のフローチャートである。
【図１１】図１１は、顔の回転度合の統計量の算出処理のフローチャートである。
【図１２】図１２は、笑顔度の統計量の算出処理のフローチャートである。
【図１３】図１３は、顔運動量の測定結果や評価結果をリアルタイム表示する画面出力例である。
【図１４】図１４は、日次レポートの一例である。
【図１５】図１５は、月次レポートの一例である。
【図１６】図１６は、顔運動量データのデータ構造の例である。
【発明を実施するための形態】
【００１６】
＜適用例＞
図１を参照して、本発明の適用例について説明する。図１は、本発明の実施形態に係る顔運動量測定装置を模式的に示している。
【００１７】
顔運動量測定装置１は、撮像装置１０から取り込まれる時系列画像を解析することにより、対象者Ｏが実施した顔運動の量又は質を測定・数値化し、そのデータを「顔運動量」として出力する機能を提供する装置である。顔運動量データの出力先は、表示装置、印刷装置、記憶装置、コンピュータ（スマートフォン、タブレットを含む）、カラオケ機器やゲーム機器などのレクリエーション装置、ネットワーク上のクラウドサーバなど、顔運動量データの用途に応じて様々な形態を採り得る。
【００１８】
このような顔運動量測定装置１は、例えば、医療機関、介護施設、福祉施設、エルダー施設、自宅、ゲームセンター、フィットネスジム、（ヨガ）スタジオなどにおいて、対象者Ｏごとの顔運動の実施記録を自動で作成する目的などに好ましく利用することができる。顔運動の質又は量を数値化し、顔運動量という客観的な指標で提供することにより、様々な用途及び効用が期待できる。例えば、顔運動量のデータは、対象者Ｏごとの顔運動の実施状況やその効果の評価に用いることができる。また、顔運動量のデータを対象者本人に提供することにより、運動のセルフチェックやモチベーション維持につなげることができる。また、顔運動量の履歴を対象者本人やその家族、あるいは指導員などに提供することで、運動の効果の確認、運動プログラムや目標の見直しなどに利用することができる。また、カラオケやゲームなどのレクリエーション装置と連携させ、レクリエーション中の顔運動量をリアルタイムに表示したり、レクリエーション終了後にカラオケ採点のように顔運動量の測定結果や評価結果を表示したり、顔運動量に応じたポイントやマイレージを対象者Ｏに付与するといった仕掛けを設けることで、楽しみながら効果的な顔運動を実施できるようになる。
【００１９】
＜顔運動量測定装置＞
図２に、顔運動量測定装置１の具体的な構成の一例を示す。本実施形態の顔運動量測定装置１は、主な構成として、対象者Ｏを撮影する撮像装置１０と、撮像装置１０から取り込まれる時系列画像を基に顔運動量の測定ならびに顔運動量の情報出力を行う情報処理装置２と、を有している。
【００２０】
撮像装置１０は、動画像の撮影が可能なカメラモジュールにより構成することができる。動画像の解像度、フレームレート、色深度などは任意に設計できる。本実施形態では、一例として、フルＨＤ、１０ｆｐｓ、フルカラーの動画像を撮影可能な撮像装置１０を用いる。撮像装置１０で撮影された画像（デジタルデータ）はフレームごとに情報処理装置２に取り込まれる。なお、図１では、天井設置型の撮像装置１０と情報処理装置２とがケーブル接続された構成例を示したが、撮像装置１０の形態はこれに限られない。例えば、据え置き型の撮像装置１０でもよいし、撮像装置１０が情報処理装置２に内蔵されていてもよい。また、撮像装置１０と情報処理装置２の間は無線で接続してもよい。また、顔運
動量測定装置１は、外部装置のカメラ（例えば、監視カメラ、レクリエーション装置に搭載されたカメラ、対象者や指導員が携帯するスマートフォンなど）で撮影された動画像を取り込んでもよい。そのような構成の場合、顔運動量測定装置１自身は撮像装置を有している必要はない。
【００２１】
図２に示すように、情報処理装置２は、主な構成として、画像取得部２０、記憶部２１、顔検出部２２、顔器官検出部２３、顔照合部２４、笑顔度評価部２５、顔運動量測定部２６、顔運動量評価部２７、情報出力部２８を有している。
【００２２】
画像取得部２０は、撮像装置１０から画像を取り込む処理を行う。画像取得部２０により取り込まれた時系列画像は、記憶部２１に一時的又は非一時的に格納され、画像処理や情報出力などの各種処理に利用される。記憶部２１は、時系列画像の他、顔運動量の測定結果や評価結果、笑顔度の評価結果などを記憶・蓄積・管理する処理を行う。
【００２３】
顔検出部２２は、取り込まれた画像からヒトの顔を検出する処理を行う。顔器官検出部２３は、検出された顔をさらに解析し、顔器官（眉、目、鼻、口など）の特徴点や輪郭点（例えば、目頭、目尻、鼻の頂点、上唇の中央、下唇の中央、左右の口角、顎の先端など）の位置座標を求める処理を行う。顔照合部２４は、検出された顔の画像特徴に基づいて人物の識別（同定）を行う。識別すべき人物（すなわち、顔運動の対象者Ｏ）の顔の画像特徴は、あらかじめ学習され、記憶部２１に登録されているものとする。笑顔度評価部２５は、検出された顔の画像特徴あるいは顔器官の形状（顔器官の特徴点や輪郭点の位置関係）に基づいて、検出された顔の笑顔度（笑顔の度合いを数値化したもの）を求める処理を行う。顔検出、顔器官検出、顔照合、笑顔度評価に関しては、例えば、Ｈａａｒ−ｌｉｋｅ特徴を用いた方法、ディープラーニング（ＣＮＮ）を用いた方法など、数多くの方法が提案されている。本装置ではいずれの方法を用いても構わないため、ここでは詳しい説明を割愛する。
【００２４】
顔運動量測定部２６は、対象者Ｏが実施した顔運動量を測定する処理を行う。顔運動量評価部２７は、あらかじめ設定された顔運動量の目標値や対象者Ｏの過去の実施状況を参照し、対象者Ｏの顔運動量の過不足や改善状況などを判定する処理を行う。情報出力部２８は、顔運動量測定部２６の測定結果や顔運動量評価部２７の評価結果を基に、顔運動量に関する情報を生成し出力する処理を行う。顔運動量の測定、評価、情報出力の詳細については後述する。
【００２５】
本実施形態の情報処理装置２は、例えば、ＣＰＵ（プロセッサ）、ＲＡＭ（メモリ）、不揮発性のストレージ（ＨＤＤ、ＳＳＤなど）、入力装置（タッチパネルなど）、表示装置（液晶モニタなど）、通信装置（有線又は無線のＬＡＮモジュールなど）などのハードウェア資源を有する、汎用又は専用のコンピュータ装置により構成することができる。その場合、図２に示した各構成２０〜２８は、ストレージに格納されたプログラムによってソフトウェア的に実現される。つまり、ＣＰＵが必要なプログラムをＲＡＭに展開し実行して、各種の演算や各ハードウェア資源の制御を行うことによって、各構成２０〜２８の機能を提供するのである。このとき、記憶部２１は、不揮発性のストレージの記憶領域の一部を用いて構築される。ただし、情報処理装置２の実現方法はこれに限られない。例えば、複数台のコンピュータ装置による分散コンピューティングにより実現してもよいし、上記構成の一部をクラウドサーバにより実現してもよい。あるいは、上記構成の一部をＦＰＧＡやＡＳＩＣなどのハードウェアにより代替してもよい。
【００２６】
＜顔運動と顔運動量＞
顔運動には口腔機能運動（すなわち口腔機能の維持又は向上のための運動）が含まれ、口腔機能運動には、例えば、口を開閉する運動、顔を回転する運動、舌を出す運動など、
様々なものがある。口を開閉する運動としては、例えば、パタカラ体操、あいうべ体操、健口体操などが知られている。顔を回転する運動としては、例えば、顔を左右に振る運動（ヨー方向回転）、顔を上下に振る運動（ピッチ方向回転）、首を左右に傾ける運動（ロール方向回転）、首を回す運動などが該当する。舌を出す運動としては、例えば、口から大きく舌を出し、舌先を上下左右に動かす運動などが該当する。最近では、カラオケやゲーム機器をこの種の運動に利用する試みも行われている。
【００２７】
本実施形態の顔運動量測定装置１は、これらの運動の量又は質を定量的に測定し、顔運動量として数値化する点に特徴を有する。顔運動量として用いる指標は、対象者Ｏの顔画像を解析することで取得できる指標であればどのようなものでもよく、顔運動の内容や目的、顔運動量データの用途などに応じて、適宜設計することができる。以下に、運動の種別ごとの顔運動量（指標）の一例を挙げる。
【００２８】
１．口を開閉する運動
（１ａ）口の開き度合・・・口が大きく開いているほど、運動の質が高いと評価できる。口の開き度合は、上唇と下唇の間の開口幅、あるいは、上唇と下唇の間の開口面積などで表すことができる。例えば口を上下に開く運動に対しては開口幅を評価するとよく、口を上下だけでなく左右にも開く運動に対しては開口面積を評価することが好ましい。
【００２９】
図３Ａに示すように、開口幅３２は、例えば、上唇３０の輪郭の中央点３０ａと下唇３１の輪郭の中央点３１ａの距離から計算してもよい。開口面積については、例えば、図３Ｂに示すように、上唇３０の輪郭と下唇３１の輪郭に囲まれた領域３３の面積でもよいし、図３Ｃに示すように、上唇３０と下唇３１の間の開口幅を高さとし、左右の口角３５、３６の間の距離を幅とする、矩形３４の面積で近似してもよい。あるいは、図３Ｄに示すように、上唇３０の輪郭と下唇３１の輪郭の距離を複数個所で計算し、それらの和に所定の係数をかけた値で、開口面積を近似してもよい。図示しないが、上唇３０と下唇３１の間の開口幅を短軸、左右の口角３５、３６の間の距離を長軸とする、楕円形の面積で開口面積を近似してもよい。
【００３０】
図４に示すように、上唇３０と下唇３１の代わりに、鼻４０と顎先４１の間の距離４２を口の開き度合の指標として用いてもよい。鼻４０と顎先４１の間の距離４２と口腔の開き度合は相関があるからである。口の開閉運動を行ったときに、人によっては、下顎が下がり口腔が開いているにもかかわらず、上唇３０と下唇４１があまり開かない場合がある（高齢者に多くみられる）。そのような場合、上唇３０と下唇３１の間の開口幅や開口面積では、口腔の開きを正しくとらえることができない。この点、鼻４０と顎先４１の間の距離であれば、口唇の開きとは無関係に、下顎の移動量から口腔の開き度合いを求めることが可能である。また、鼻４０と顎先４１の間の距離は上唇３０と下唇３１の間隔に比べて数倍以上大きいため、上唇３０と下唇３１の開口幅や開口面積から求める方法に比べて精度の高い測定が可能になる。したがって、鼻４０と顎先４１の間の距離を用いる測定方法は、対象者Ｏが高齢者のケースや、撮像装置１０から取り込まれる画像の解像度が低いケースなどに好適である。
【００３１】
（１ｂ）口の開閉速度・・・口の開閉を速く行うほど、運動の質が高いと評価できる。口の開閉速度は、上唇３０と下唇３１の間の開口幅の単位時間当たりの変化量、あるいは、上唇３０と下唇３１の間の開口面積の単位時間当たりの変化量などで表すことができる。単純には、時間的に連続する２つのフレーム間での開口幅（又は開口面積）の差を求めればよい。例えば口を上下に開く運動に対しては開口幅の変化量を評価するとよく、口を左右にも開く運動に対しては開口面積の変化量を評価することが好ましい。また、開閉速度の場合も、上唇３０と下唇３１の代わりに、鼻４０と顎先４１の間の距離の単位時間当たりの変化量を測定してもよい。その理由は前述のとおりである。
【００３２】
（１ｃ）口の開閉回数・・・口の開閉回数が多いほど、運動の量が多いと評価できる。口の開閉回数は、上唇３０と下唇４１の間の開口幅の変化の周期に基づいて求めることができる。例えば、ある単位時間の間に、開口幅がほぼ０の状態からプラス方向に変化した回数を、口の開閉回数として求めることができる。この場合も、上唇３０と下唇３１の代わりに、鼻４０と顎先４１の間の距離の変化の周期に基づいて口の開閉回数を求めてもよい。その理由は前述のとおりである。
【００３３】
２．顔を回転する運動
（２ａ）顔の回転速度・・・顔の回転（顔向きの変化）が速いほど、運動の質が高いと評価できる。顔器官検出の結果から顔の向きを推定することにより、ヨー方向、ピッチ方向、ロール方向それぞれの回転角度を求めることができる。顔の回転速度は、回転角度の単位時間当たりの変化量（単純には、時間的に連続する２つのフレーム間での回転角度の差）で表すことができる。ヨー方向、ピッチ方向、ロール方向のそれぞれについて個別に回転速度を求めてもよいし、３方向の回転速度のうち最も早い値を選択してもよいし、３方向の回転速度を合成して１つの値としてもよい。図５に示すように、体軸（背骨）に平行にＺ軸、体の左右方向にＸ軸、体の前後方向にＹ軸をとったときに、Ｚ軸まわりの回転がヨーであり、Ｘ軸まわりの回転がピッチであり、Ｙ軸まわりの回転がロールである。
【００３４】
（２ｂ）顔の回転度合・・・顔の回転度合が大きいほど、運動の質が高いと評価できる。顔の回転度合は、顔の回転角度の大きさで表すことができる。この場合も、ヨー方向、ピッチ方向、ロール方向のそれぞれについて個別に回転度合を求めてもよいし、３方向の回転度合のうち最も大きい値を選択してもよいし、３方向の回転度合を合成して１つの値としてもよい。
【００３５】
（２ｃ）顔の回転回数・・・顔の回転回数が多いほど、運動の量が多いと評価できる。顔の回転回数は、顔の回転角度の変化の周期に基づいて求めることができる。例えば、ある単位時間の間に、回転角度がほぼ０の状態からプラス方向に変化した回数を、顔の回転回数として求めることができる。
【００３６】
３．舌を出す運動
（３ａ）舌の露出量・・・舌の露出量が多いほど、運動の質が高いと評価できる。舌の露出量は、例えば、口の中心点６０と舌先６１の間の距離６２（図６Ａ参照）、あるいは、舌部分６３の面積（図６Ｂ参照）などで表すことができる。舌を出す運動として、舌先を上下左右に動かす運動が行われる場合には、上下左右それぞれの方向への舌の露出量を求めてもよい。
【００３７】
顔運動量測定装置１は、上述した各指標の瞬時値（１フレームの画像から計算される値、又は、時間的に連続する２フレームの画像間での変化から計算される値）を顔運動量として出力してもよいし、所定時間（例えば十数秒から数分）の間に測定された指標値の統計量（例えば、平均、累計、最大値など）を顔運動量として出力してもよい。
【００３８】
＜顔運動量測定装置の動作＞
図７を参照して、顔運動量測定装置１の動作の一例を説明する。図７は、顔運動量測定装置１のフローチャートであり、フレームごとの処理の流れを示している。ここでは、上唇と下唇の開口幅に基づいて、「（１ａ）口の開き度合」、「（１ｂ）口の開閉速度」、及び、「（１ｃ）口の開閉回数」を測定する例を説明する。
【００３９】
ステップＳ７０において、画像取得部２０が撮像装置１０から１フレームの画像データを取り込み、記憶部２１に格納する。この画像には、１又は複数の対象者Ｏの顔が写って
いるものとする。ステップＳ７１では、顔検出部２２が、画像から顔を検出する。画像から複数の顔が検出された場合（つまり、複数の対象者Ｏが存在する場合）は、ステップＳ７２以降の処理は顔ごと（対象者Ｏごと）に行われる。ステップＳ７２では、顔器官検出部２３が、顔画像を解析して、顔器官の検出ならびに顔器官の特徴点・輪郭点の位置座標の計算を行う。ステップＳ７３では、顔照合部２４が、顔画像の画像特徴に基づき人物の識別（同定）を行う。このとき、顔照合部２４は、顔画像から抽出した特徴量と、記憶部２１に登録されている各対象者の特徴量（辞書とも呼ぶ）とを照合することによって、人物の識別を行う。ここで人物を識別する理由は、後段の処理で計算される笑顔度、顔運動量などのデータを対象者ごとに自動で記録するためである。したがって、対象者が特定されている場合（例えば、この装置１を利用する対象者が一人しかいない場合や、前フレームの顔照合結果を利用できる場合など）は、顔照合処理は省略することができる。
【００４０】
ステップＳ７４では、笑顔度評価部２５が、笑顔度（瞬時値）を計算する。計算された笑顔度の値は、日時の情報と共に、対象者Ｏに紐づけて記憶部２１に記録される。ステップＳ７５では、顔運動量測定部２６が、顔器官検出の結果を用いて上唇と下唇の間の開口幅を計算する。ステップＳ７６では、顔運動量測定部２６が、ステップＳ７５で計算された値を瞳の間隔で正規化する。例えば、下記式により、画像上の距離（ｐｉｘｅｌ単位の距離）をｍｍ単位の距離に変換するとよい。
距離［ｍｍ］←距離［ｐｉｘｅｌ］×標準的な瞳の間隔［ｍｍ］／検出した瞳の間隔［ｐｉｘｅｌ］
あるいは、瞳の間隔の代わりに、下記式のように顔サイズで正規化してもよい。
距離［ｍｍ］←距離［ｐｉｘｅｌ］×標準顔サイズ［ｍｍ］／顔検出サイズ［ｐｉｘｅｌ］
【００４１】
計算された指標値は、日時の情報と共に、対象者Ｏに紐づけて記憶部２１に記録される。以上で１フレームに対する処理が終了する。なお、ここでは、指標として、上唇と下唇の開口幅を測定する方法を示したが、開口幅の代わりに開口面積を測定してもよい。
【００４２】
次に、開口幅（又は開口面積）から指標の統計量や他の指標を求める処理について説明する。
【００４３】
（口の開き度合）
図８は、「（１ａ）口の開き度合」の統計量の算出処理のフローチャートである。図８の処理は、顔運動量測定部２６によって所定時間ごとに実行される。ここでは、所定時間を「１分」に設定し、１分間における統計量（平均、累積、最大値）を計算する例を示す。なお、統計量の計算に用いる１分間分の指標値は既に計算され、記憶部２１に格納されているものとする（例えば１０ｆｐｓの時系列画像を用いた場合、１分間で６００個の指標値が得られている。）。
【００４４】
ステップＳ８０において、顔運動量測定部２６が、変数「ｎ」と「開口幅（最大値）」と「開口幅（累積）」を０で初期化する。ステップＳ８１では、顔運動量測定部２６が、記憶部２１からｎ番目の指標値を読み込み、変数「開口幅（ｎ）」に代入する。開口幅（ｎ）が開口幅（最大値）より大きい場合、顔運動量測定部２６は、開口幅（ｎ）を開口幅（最大値）に代入する（ステップＳ８２−Ｓ８３）。顔運動量測定部２６は、開口幅（累積）に開口幅（ｎ）を累積加算し（ステップＳ８４）、ｎをインクリメントした後（ステップＳ８５）、ステップＳ８１に戻る。ステップＳ８１−Ｓ８５を所定時間分（つまり、６００個の指標値すべてについて）繰り返した後（ステップS８６）、顔運動量測定部２
６は、開口幅（累積）をｎで除した値を変数「開口幅（平均）」に代入する（ステップＳ８７）。
【００４５】
以上の算出処理によって、開口幅（平均）、開口幅（累積）、開口幅（最大値）の３種類の統計量が求まる。これらの統計量は、日時の情報と共に、対象者Ｏに紐づけて記憶部２１に記録される。
【００４６】
なお、開口幅の代わりに開口面積を用いる場合には、図８の処理フローにおける「開口幅」の部分を「開口面積」と読み替えればよい。以後の図９、図１０の処理フローについても同様である。
【００４７】
（口の開閉速度）
図９は、「（１ｂ）口の開閉速度」の統計量の算出処理のフローチャートである。図９の処理も、図８の処理と同じく、顔運動量測定部２６によって所定時間ごとに実行される。以下、所定時間を「１分」に設定した例で説明を行う。
【００４８】
ステップＳ９０において、顔運動量測定部２６が、変数「ｎ」と「開閉速度（最大値）」と「開閉速度（累積）」を０で初期化する。ステップＳ９１では、顔運動量測定部２６が、記憶部２１からｎ番目の指標値を読み込み、変数「開口幅（ｎ）」に代入する。ｎ＞０の場合（つまり、２順目以降のループの場合）、顔運動量測定部２６は、注目フレームの開口幅（ｎ）と前フレームの開口幅（ｎ−１）の差の絶対値を計算し、変数「Δ開口幅（ｎ）」に代入する（ステップＳ９２−Ｓ９３）。このΔ開口幅（ｎ）は１／１０秒当たりの開口幅の変化量であり、口の開閉速度に相当する。Δ開口幅（ｎ）が開閉速度（最大値）より大きい場合、顔運動量測定部２６は、Δ開口幅（ｎ）を開閉速度（最大値）に代入する（ステップＳ９４−Ｓ９５）。顔運動量測定部２６は、開閉速度（累積）にΔ開口幅（ｎ）を累積加算し（ステップＳ９６）、ｎをインクリメントした後（ステップＳ９７）、ステップＳ９１に戻る。ステップＳ９１−Ｓ９７を所定時間分（つまり、６００個の指標値すべてについて）繰り返した後（ステップＳ９８）、顔運動量測定部２６は、開閉速度（累積）をｎで除した値を変数「開閉速度（平均）」に代入する（ステップＳ９９）。
【００４９】
以上の算出処理によって、開閉速度（平均）、開閉速度（累積）、開閉速度（最大値）の３種類の統計量が求まる。これらの統計量は、日時の情報と共に、対象者Ｏに紐づけて記憶部２１に記録される。
【００５０】
（口の開閉回数）
図１０は、「（１ｃ）口の開閉回数」の算出処理のフローチャートである。図１０の処理は、顔運動量測定部２６によって所定の単位時間ごとに実行され、単位時間当たりの開閉回数をカウントする処理である。以下、単位時間を「１分」に設定した例で説明を行う。
【００５１】
ステップＳ１００において、顔運動量測定部２６が、変数「ｎ」と「開閉回数」を０で初期化する。ステップＳ１０１では、顔運動量測定部２６が、記憶部２１からｎ番目の指標値を読み込み、変数「開口幅（ｎ）」に代入する。ｎ＞０の場合（つまり、２順目以降のループの場合）、顔運動量測定部２６は、注目フレームの開口幅（ｎ）と前フレームの開口幅（ｎ−１）の差を計算し、変数「Δ開口幅（ｎ）」に代入する（ステップＳ１０２−Ｓ１０３）。このΔ開口幅（ｎ）は１／１０秒当たりの開口幅の変化量であり、口を開こうとしているときはプラスの値、口を閉じようとしているときはマイナスの値となる。開口幅（ｎ）が所定の閾値よりも小さく、かつ、Δ開口幅（ｎ）がプラスの場合、顔運動量測定部２６は、対象者Ｏが口を閉じた状態から開き始めようとしている状態であると判断し、開閉回数に１を加算する（ステップＳ１０４−Ｓ１０５）。その後、ｎをインクリメントし（ステップＳ１０６）、ステップＳ１０１に戻る。ステップＳ１０１−Ｓ１０５を単位時間分（つまり、６００個の指標値すべてについて）繰り返し、処理を終了する（
ステップＳ１０７）。
【００５２】
以上の算出処理によって、単位時間当たりの口の開閉回数が求まる。なお、図示しないが、図１０の処理を複数回実行した結果を用いて、口の開閉回数の統計量（平均、累積、最大値）を求めてもよい。これらの値は、日時の情報と共に、対象者Ｏに紐づけて記憶部２１に記録される。
【００５３】
（顔の回転度合）
次に、顔運動量として、顔の回転度合を測定する処理の例を説明する。顔の回転度合いを測定する場合は、図７の処理フローのステップＳ７５において、開口幅の代わりに、ヨー方向、ピッチ方向、ロール方向それぞれの顔の回転角度を算出すればよい。この場合、ステップＳ７６の処理（顔サイズでの正規化）は必要ない。
【００５４】
図１１は、顔の回転度合の統計量の算出処理のフローチャートである。図１１の処理は、顔運動量測定部２６によって所定時間ごとに実行される。以下、所定時間を「１分」に設定した例で説明を行う。
【００５５】
ステップＳ１１０において、顔運動量測定部２６が、変数「ｎ」と「Ｐｉｔｃｈ（累積）」と「Ｒｏｌｌ（累積）」と「Ｙａｗ（累積）」を０で初期化する。ステップＳ１１１では、顔運動量測定部２６が、記憶部２１からｎ番目の指標値を読み込み、変数「Ｐｉｔｃｈ（ｎ）」「Ｒｏｌｌ（ｎ）」「Ｙａｗ（ｎ）」にそれぞれ代入する。ｎ＞０の場合（つまり、２順目以降のループの場合）、顔運動量測定部２６は、注目フレームのＰｉｔｃｈ（ｎ）と前フレームのＰｉｔｃｈ（ｎ−１）の差の絶対値を計算し、変数「ΔＰｉｔｃｈ（ｎ）」に代入する（ステップＳ１１２−Ｓ１１３）。同様に、ΔＲｏｌｌ（ｎ）とΔＹａｗ（ｎ）も計算する（ステップＳ１１３）。顔運動量測定部２６は、Ｐｉｔｃｈ（累積）にΔＰｉｔｃｈ（ｎ）を、Ｒｏｌｌ（累積）にΔＲｏｌｌ（ｎ）を、Ｙａｗ（累積）にΔＹａｗ（ｎ）をそれぞれ累積加算し（ステップＳ１１４）、ｎをインクリメントした後（ステップＳ１１５）、ステップＳ１１１に戻る。ステップＳ１１１−Ｓ１１５を所定時間分繰り返した後（ステップＳ１１６）、顔運動量測定部２６は、Ｐｉｔｃｈ（累積）、Ｒｏｌｌ（累積）、Ｙａｗ（累積）のうち最も大きなものをｎで除した値を変数「回転度合（平均）」に代入する（ステップＳ１１７）。
【００５６】
以上の算出処理によって、顔の回転度合の瞬時値と統計量（平均）が求まる。これらは、日時の情報と共に、対象者Ｏに紐づけて記憶部２１に記録される。
【００５７】
（笑顔度）
笑顔度評価部２５は、笑顔度の統計量を算出してもよい。笑顔度の統計量としては、所定時間における笑顔度の平均、最大値、笑顔の回数などを用いることができる。図１２は、笑顔度の統計量の算出処理のフローチャートの一例である。図１２の処理は、笑顔度評価部２５によって所定時間ごとに実行される。以下、所定時間を「５分」に設定した例で説明を行う。
【００５８】
ステップＳ１２０において、笑顔度評価部２５が、変数「ｎ」と「Ｓｍｉｌｅ（累積）」と「Ｓｍｉｌｅ（最大値）」と「Ｓｍｉｌｅ（回数）」を０で初期化する。また「フラグ」をＯＦＦで初期化する。ステップＳ１２１では、笑顔度評価部２５が、記憶部２１からｎ番目の笑顔度を読み込み、変数「Ｓｍｉｌｅ（ｎ）」に代入する。Ｓｍｉｌｅ（ｎ）がＳｍｉｌｅ（最大値）より大きい場合、笑顔度評価部２５は、Ｓｍｉｌｅ（ｎ）をＳｍｉｌｅ（最大値）に代入する（ステップＳ１２２−Ｓ１２３）。またＳｍｉｌｅ（ｎ）が所定の閾値より大きく、かつ、フラグがＯＦＦである場合、笑顔度評価部２５は、Ｓｍｉｌｅ（回数）に１を加え（ステップＳ１２４−Ｓ１２６）、フラグにＯＮをセットする（
ステップＳ１２７）。他方、Ｓｍｉｌｅ（ｎ）が閾値以下の場合は、笑顔度評価部２５は、フラグにＯＦＦをセットする（ステップＳ１２８）。閾値は、笑顔と判定できる最小の笑顔度に設定される。フラグは、笑顔の状態（この例では、笑顔度Ｓｍｉｌｅ（ｎ）が閾値より大きい状態）が前フレームから継続しているか否かを表している。ステップＳ１２５−Ｓ１２６においてフラグがＯＦＦの場合のみＳｍｉｌｅ（回数）をインクリメントするロジックとしたことで、対象者Ｏが笑った回数（非笑顔から笑顔に変化した回数）を正確にカウントすることができる。笑顔度評価部２５は、Ｓｍｉｌｅ（累積）にＳｍｉｌｅ（ｎ）を累積加算し（ステップＳ１２６）、ｎをインクリメントした後（ステップＳ１２７）、ステップＳ１２１に戻る。ステップＳ１２１−Ｓ１２７を所定時間分（つまり、３０００個の笑顔度すべてについて）繰り返した後（ステップＳ１２８）、笑顔度評価部２５は、Ｓｍｉｌｅ（累積）をｎで除した値を変数「Ｓｍｉｌｅ（平均）」に代入する（ステップＳ１２９）。
【００５９】
以上の算出処理によって、Ｓｍｉｌｅ（平均）、Ｓｍｉｌｅ（最大値）、Ｓｍｉｌｅ（回数）の３種類の統計量が求まる。これらの統計量は、日時の情報と共に、対象者Ｏに紐づけて記憶部２１に記録される。
【００６０】
＜顔運動量の情報出力＞
次に、情報出力部２８による顔運動量の情報出力の例を説明する。
【００６１】
図１３は、顔運動量の測定結果や評価結果をリアルタイム表示する画面出力例である。この画面出力例では、撮像装置１０から取り込まれた時系列画像（動画像）１３０上に、顔検出の結果を示す枠１３１が重畳表示されている。このとき、顔検出の結果だけでなく、顔器官の検出結果（例えば、上唇と下唇の輪郭など）を時系列画像１３０上に重畳してもよい。さらに画面の下方には、各対象者の顔運動量の測定値１３２がリアルタイムで表示されている。この画面において、測定終了ボタン１３３が押されると、各指標の統計量（平均、累積、最大値など）が表示される。この場合に、あらかじめ設定した目標値との比較や、顔運動量の過不足の情報などを表示してもよい。
【００６２】
対象者は、顔運動を実施しながら、図１３のような画面を見ることで、自分が実施している運動の量や質をリアルタイムで確認することができ、口、舌、顔などの動かし方が適切であるかどうかをセルフチェックすることができる。したがって、効果的かつ効率的な運動の実施が可能となる。また、このような表示を見せることで、対象者のモチベーション維持の効果も期待できる。
【００６３】
図１４は、情報出力部２８から出力される日次レポートの一例である。この日次レポートには、対象者の氏名・年齢などの情報、当月の運動実施状況、当日に実施した運動内容、当日の運動の参加状況（顔写真、顔運動量や笑顔度の最大値など）、顔運動量や笑顔度の測定結果の時間推移、顔運動量の累積値などが表示されている。図１５は、情報出力部２８から出力される月次レポートの一例である。この月次レポートには、対象者の氏名・年齢などの情報、前月の運動実施状況、当月の運動実施状況、前月との比較、予め設定した目標との比較などが表示されている。例えば、情報出力部２８は、レポートのデータをクラウドサーバにアップロードし、対象者やその家族、あるいは、指導員などがインターネット経由でレポートを閲覧できるようにしてもよい。あるいは、情報出力部２８がレポートを紙に印刷し、例えば対象者や指導員などに配布してもよい。
【００６４】
図１６は、顔運動量測定装置１の情報出力部２８から、クラウドサーバや他のＰＣ・スマートフォンなどに提供される顔運動量データのデータ構造の一例を示している。顔運動量データは、顔運動量のデータ１６１と、対象者を特定するデータ１６０と、顔運動が実施された日時を特定するデータ１６２を少なくとも含んでいる。顔運動量のデータ１６１
には、上述した測定指標の全部又は一部が含まれている。対象者を特定するデータ１６０は、例えば、対象者の氏名・年齢などの情報、あるいは、対象者のユーザＩＤなどである。
【００６５】
このようなデータ構造の顔運動量データを用いることによって、顔運動を誰がいつ、どの程度の量又は質で行ったかが分かるので、各対象者の運動実施状況や運動内容を正確かつ客観的に把握することができる。
【００６６】
＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記実施形態では、顔運動量として用いる指標をいくつか挙げたが、これらは例示にすぎず、顔運動の実施の量又は質を表す指標であればどのようなものを採用してもよい。
【００６７】
＜付記１＞
対象者を撮影する撮像手段（１０）と、
前記撮像手段（１０）から取り込まれた時系列画像を基に前記対象者の顔の動きを解析することによって、前記対象者が実施した顔運動の量又は質を表す、顔運動量を測定する測定手段（２６）と、
前記測定手段によって測定された顔運動量を示す情報を出力する情報出力手段（２８）と、
を有することを特徴とする顔運動量測定装置（１）。
【００６８】
＜付記２＞
対象者を撮影した時系列画像を基に前記対象者の顔の動きを解析することによって測定された、前記対象者が実施した顔運動の量又は質を表す、顔運動量のデータ（１６１）と、
前記対象者を特定するデータ（１６０）と、
前記顔運動が実施された日時を特定するデータ（１６２）と、
を含むことを特徴とするデータ構造。
【符号の説明】
【００６９】
１・・・顔運動量測定装置
２・・・情報処理装置
１０・・・撮像装置
【図１】
2020035122.tif 000003
【図２】
2020035122.tif 000004
【図３】
2020035122.tif 000005
【図４】
2020035122.tif 000006
【図５】
2020035122.tif 000007
【図６】
2020035122.tif 000008
【図７】
2020035122.tif 000009
【図８】
2020035122.tif 000010
【図９】
2020035122.tif 000011
【図１０】
2020035122.tif 000012
【図１１】
2020035122.tif 000013
【図１２】
2020035122.tif 000014
【図１３】
2020035122.tif 000015
【図１４】
2020035122.tif 000016
【図１５】
2020035122.tif 000017
【図１６】
2020035122.tif 000018