(57)【要約】【課題】  汎用の撮像機器や画像処理装置を利用し、光学式モーションキャプチャーの技術を応用することで被験者の顎運動を簡便に解析する。【解決手段】  コンピュータシステムに、着色されたマーカーを顎の所定位置に装着した被験者の顎運動の様子を撮影したカラー撮像データを取得する工程（ステップＳ１〜Ｓ３）と、取得したカラー撮像データを提示してマーカーの範囲指定を受付け、指定範囲に含まれるマーカーの色を抽出して検索用のテンプレートを生成する工程（ステップＳ５、Ｓ６）と、前記カラー撮像データに含まれるマーカーをテンプレートと比較することで被験者の顎に装着したマーカーを自動追尾する工程（ステップＳ７）と、得られた追尾画像を画像処理して被験者の顎運動追跡データを出力する工程（ステップＳ１１〜Ｓ１３）とを順次実行させる。【選択図】  図１
2005349176.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータシステムによって、被験者の顎運動を解析する方法であって、
前記被験者の下顎の色と異なる色で着色されたマーカーを下顎の所定位置に装着した被験者の顎運動の挙動を撮像手段で撮影したカラー撮像データを取得するカラー撮像データ取得工程と、
取得したカラー撮像データの任意の静止画像（コマ）をコンピュータシステムのディスプレイに表示して入力手段を介して前記マーカーの範囲指定を受付け、指定された範囲に含まれるマーカーの色を抽出して検索用のテンプレートを生成するテンプレート生成工程と、
前記カラー撮像データの各コマを画像処理することによって被験者の顎に装着したマーカーの色を夫々抽出し、このマーカーの色を前記検索用テンプレートとマッチングさせてマーカーの画像データ上の位置を特定するマーカー位置特定工程と、
複数のカラー撮像データにおいて夫々特定されたマーカーの位置に基づいて、被験者の顎運動の連続データを生成する顎運動データ生成工程と
を備えたことを特徴とする方法。
【請求項２】
請求項１記載の顎運動解析方法であって、
前記カラー撮像データ取得工程は、被験者の前方及び側方に設置された複数の撮像手段が夫々撮影したカラー撮像データを取得するものであり、
前記マーカー位置特定工程は、前方からのカラー撮像データ及び側方からのカラー撮像データの夫々について、マーカーの色を前記検索用テンプレートとマッチングさせてこのマーカーの画像データ上の位置を特定するものである
ことを特徴とする方法。
【請求項３】
請求項１記載の顎運動解析方法であって、
前記テンプレート生成工程は、カラー画像データの最初のコマを表示して前記マーカーの範囲指定を受付けると共に、指定された範囲に含まれるマーカーの色相及び／若しくは彩度が所定の認識率以下である場合に、カラー画像データの次のコマを表示して再度マーカーの範囲指定を受付けるものであることを特徴とする方法。
【請求項４】
請求項１記載の顎運動解析方法であって、
前記マーカー位置特定工程は、マーカーの色と前記テンプレートとの一致率が所定値以上である場合に、このマーカーの画像データ上の位置を特定するものであることを特徴とする方法。
【請求項５】
請求項４記載の顎運動解析方法であって、
前記マーカー位置特定工程は、さらに、マーカーの色と前記テンプレートとの一致率が所定値未満である場合に、その画像データをエラー登録するエラー処理工程を備えたことを特徴とする方法。
【請求項６】
請求項１記載の顎運動解析方法であって、
前記カラー撮像データ取得工程は、下顎に装着した第１のマーカーと、顎運動時に変動しない基準位置に装着したマーカーであって、この基準位置の色と異なる色で着色された第２のマーカーと、を装着した被験者の顎運動の挙動を撮像手段で撮影したカラー撮像データを取得するものであり、
前記テンプレート生成工程は、前記第１、第２のマーカーについて範囲指定を受付けて下顎及び基準位置について夫々検索用テンプレートを生成するものであり、
前記マーカー位置特定工程は、前記第１、第２のマーカーについて、各マーカーの色を各検索用テンプレートと夫々マッチングさせてこれらのマーカーの画像データ上の位置を特定するものである
ことを特徴とする方法。
【請求項７】
請求項６記載の顎運動解析方法であって、
前記テンプレート生成工程は、範囲指定を受付けた第１、第２のマーカーの色が同一でない場合にマーカー毎に検索用テンプレートを生成するものであることを特徴とする方法。
【請求項８】
請求項６記載の顎運動解析方法であって、
前記顎運動データ生成工程は、
前記取得した被験者のカラー撮像データから、この撮像データにおける２次元平面内での第１、第２のマーカーの位置の変位を計測する工程と、基準位置に対する下顎位置の相対変位に基づいて、上記下顎位置の顎運動のみによる変位を計測する工程とを備えた
ことを特徴とする方法。
【請求項９】
請求項１記載の顎運動解析方法であって、
さらに、前記顎運動データ生成工程で生成された顎運動の連続データについて、顎運動の開閉口サイクルごとの下顎の軌跡及び／若しくは速度変位を解析して解析結果を出力する解析結果出力工程を備えたことを特徴とする方法。
【請求項１０】
コンピュータシステムによって被験者の顎運動を解析するシステムであって、
前記コンピュータシステムは、
下顎の色と異なる色で着色されたマーカーを下顎の所定位置に装着した前記被験者の顎運動の挙動を撮像手段で撮影したカラー撮像データを取得するカラー撮像データ取得手段と、
取得したカラー撮像データの任意の静止画像（コマ）をコンピュータシステムのディスプレイに表示して入力手段を介して前記マーカーの範囲指定を受付け、指定された範囲に含まれるマーカーの色を抽出して検索用のテンプレートを生成するテンプレート生成手段と、
前記カラー撮像データの各コマを画像処理することによって被験者の顎に装着したマーカーの色を夫々抽出し、このマーカーの色を前記検索用テンプレートとマッチングさせてマーカーの画像データ上の位置を特定するマーカー位置特定手段と、
複数のカラー撮像データにおいて夫々特定されたマーカーの位置に基づいて、被験者の顎運動の連続データを生成する顎運動データ生成手段と
を備えたことを特徴とするシステム。
【請求項１１】
請求項１０記載の顎運動解析システムであって、
前記カラー撮像データ取得手段は、被験者の前方及び側方に設置された複数の撮像手段が夫々撮影したカラー撮像データを取得するものであり、
前記マーカー位置特定手段は、前方からのカラー撮像データ及び側方からのカラー撮像データの夫々について、マーカーの色を前記検索用テンプレートとマッチングさせてこのマーカーの画像データ上の位置を特定するものである
ことを特徴とするシステム。
【請求項１２】
請求項１０記載の顎運動解析システムであって、
前記テンプレート生成手段は、カラー画像データの最初のコマを表示して前記マーカーの範囲指定を受付けると共に、指定された範囲に含まれるマーカーの色相及び／若しくは彩度が所定の認識率以下である場合に、カラー画像データの次のコマを表示して再度マーカーの範囲指定を受付けるものであることを特徴とするシステム。
【請求項１３】
請求項１０記載の顎運動解析システムであって、
前記マーカー位置特定手段は、マーカーの色と前記テンプレートとの一致率が所定値以上である場合に、このマーカーの画像データ上の位置を特定するものであることを特徴とするシステム。
【請求項１４】
請求項１３記載の顎運動解析システムであって、
前記マーカー位置特定手段は、さらに、マーカーの色と前記テンプレートとの一致率が所定値未満である場合に、その画像データをエラー登録するエラー処理手段を備えたことを特徴とするシステム。
【請求項１５】
請求項１０記載の顎運動解析システムであって、
前記カラー撮像データ取得手段は、下顎に装着した第１のマーカーと、顎運動時に変動しない基準位置に装着したマーカーであって、この基準位置の色と異なる色で着色された第２のマーカーと、を装着した被験者の顎運動の挙動を撮像手段で撮影したカラー撮像データを取得するものであり、
前記テンプレート生成手段は、前記第１、第２のマーカーについて範囲指定を受付けて下顎及び基準位置について夫々検索用テンプレートを生成するものであり、
前記マーカー位置特定手段は、前記第１、第２のマーカーについて、各マーカーの色を各検索用テンプレートと夫々マッチングさせてこれらのマーカーの画像データ上の位置を特定するものである
ことを特徴とするシステム。
【請求項１６】
請求項１５記載の顎運動解析システムであって、
前記テンプレート生成手段は、範囲指定を受付けた第１、第２のマーカーの色が同一でない場合にマーカー毎に検索用テンプレートを生成するものであることを特徴とするシステム。
【請求項１７】
請求項１５記載の顎運動解析システムであって、
前記顎運動データ生成手段は、
前記取得した被験者のカラー撮像データから、この撮像データにおける２次元平面内での第１、第２のマーカーの位置の変位を計測する手段と、基準位置に対する下顎位置の相対変位に基づいて、上記下顎位置の顎運動のみによる変位を計測する手段とを備えた
ことを特徴とするシステム。
【請求項１８】
請求項１０記載の顎運動解析システムであって、
さらに、前記顎運動データ生成手段が生成した顎運動の連続データについて、顎運動の開閉口サイクルごとの下顎の軌跡及び／若しくは速度変位を解析して解析結果を出力する解析結果出力手段を備えたことを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、矯正歯科などの患者（被験者）の顎運動の様子を撮像した動画データを画像処理することで被験者の顎運動を解析する方法及びシステムに関する。
【背景技術】
【０００２】
歯科領域において、患者の顎運動を評価することは重要であり、診断・治療に与える影響は大きい。咀嚼をはじめとする顎口腔機能の多くは下顎運動によって行なわれるため、従来より下顎運動の検査によって顎口腔系の機能状態を診断することが行われている。例えば、切歯点や下顎頭（顆頭）点での顎の動きを測定して下顎運動が分析されている。切歯点での計測にはシロナソグラフ、ＭＫＧなどの計測機器が用いられ、また、下顎頭（顆頭）点での計測にはナソヘキサグラフ、トライメット、ＭＭ−ＪＩ−Ｅなどの６自由度顎運動測定器が用いられている。
【０００３】
このような、顎運動の分析方法として、例えば以下の特許文献１、２に開示された発明が参考となる。
【０００４】
【特許文献１】特開２０００−１０７２０７号公報。
【特許文献２】特開２００３−３０３０６５号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上記した従来のシステムは、被験者の下顎全体や頭部・鼻尖を被うような大型の専用装置や専用の画像処理装置を必要とするなど、システム全体が高価になるという問題がある。そのため、中小規模の歯科医院などが導入することは困難である。
【０００６】
また、被験者（患者等）の下顎全体や頭部に前記専用の装置を装着したり、下唇などに複数の磁石や発光装置を装着する必要があるため、被験者の咀嚼運動などが不自然となり、顎運動の解析において十分な精度を得られないおそれがある。
【０００７】
さらに、被験者の下顎などに小型のマーカーを装着して顎運動の様子を撮影し、その動画データ上でマーカーを追尾することで被験者の顎運動を解析する場合、動画データ上の各コマにおけるマーカーの認識精度が重要になる。この認識精度を向上させるには、高価な専用の撮像機器や解析装置が必要となるという問題がある。
【０００８】
本発明は上記の課題を解決するためになされたもので、その目的は、汎用の撮像機器（デジタルカメラ等）や画像処理装置（パーソナルコンピュータ等）を利用し、光学式モーションキャプチャーの技術を応用することで被験者の顎運動を簡便に解析可能な顎運動計測方法及び顎運動解析システムを提供することである。
【課題を解決するための手段】
【０００９】
本発明の第１の主要な観点によれば、コンピュータシステムによって、被験者の顎運動を解析する方法であって、前記被験者の下顎の色と異なる色で着色されたマーカーを下顎の所定位置に装着した被験者の顎運動の挙動を撮像手段で撮影したカラー撮像データを取得するカラー撮像データ取得工程と、取得したカラー撮像データの任意の静止画像（コマ）をコンピュータシステムのディスプレイに表示して入力手段を介して前記マーカーの範囲指定を受付け、指定された範囲に含まれるマーカーの色を抽出して検索用のテンプレートを生成するテンプレート生成工程と、前記カラー撮像データの各コマを画像処理することによって被験者の顎に装着したマーカーの色を夫々抽出し、このマーカーの色を前記検索用テンプレートとマッチングさせてマーカーの画像データ上の位置を特定するマーカー位置特定工程と、複数のカラー撮像データにおいて夫々特定されたマーカーの位置に基づいて、被験者の顎運動の連続データを生成する顎運動データ生成工程とを備えたことを特徴とする方法が提供される。
【００１０】
本発明は、歯科医療の下顎運動解析において、移動物体（被験者の開閉口運動の挙動）を撮影したカラー動画の中からマーカーを切り出し、それをテンプレートとして他のコマのマーカーを追尾するようにした。具体的には、移動物体であるマーカーを、背景となる患者の肌や唇の色と異なる色（緑、青など）に設定し、撮影された動画の１コマの静止画から手動指定によりマーカーを切り出し、それをテンプレートとして、各コマ静止画上で移動しながら比較するというテンプレートマッチング方法を採用した。これにより、各コマ静止画の二値化やエッジ処理による形状抽出処理を行う必要がなく、マーカーの検出精度を保ちつつＣＰＵへの負担を軽減することができ処理時間も短縮できることになる。
【００１１】
また、本発明によれば、上顎と下顎のマーカーでキャリブレーションをとることにより画像処理装置（パーソナルコンピュータ等）で頭蓋の動きを補正し下顎運動を測定するようにした。これにより、下顎運動を測定するのに従来のような大型のセンサーや専用機器を必要としない。このマーカーは、撮影された動画内でオペレータや歯科医師が目印として認識できれば十分であるので、例えば直径５ｍｍ以下の球形の小型マーカーを採用できる。このような小型マーカーを採用することで、被験者の精神的・物理的負担を最小限にできると共に、その装着も容易である。
【００１２】
またこのマーカーを、可撓性のワイヤーの先端に球形のマーカー本体を一体化して形成する場合には、被験者の口唇を避ける形にワイヤーを屈曲して装着できるので、口唇の動きが下顎の運動軌跡に与える影響を最小限に抑えることができ、顎運動の解析精度が向上する。さらに、上顎のマーカーを被験者に直接貼付するシールタイプとすれば従来の計測方法よりも簡便に装着することができる。
【００１３】
また、被験者の頭蓋に大きなセンサーを装着する必要がないので、上記した従来の計測装置に比較して被験者のより自然な顎運動を計測できるようになる。また撮像した画像データに対してソフトウェア上で様々な解析を行うこともできる。
【００１４】
さらに、本発明では、市販のデジタルカメラやパーソナルコンピュータ等を利用して被験者の顎運動を計測・解析できるので、例えば歯科医院におけるコスト負担も最小限で済み、歯科医師がチェアサイドで自ら機器を操作して簡便に行うことが可能になる。
【００１５】
本発明の好ましい実施形態によれば、前記カラー撮像データ取得工程は、下顎に装着した第１のマーカーと、顎運動時に変動しない基準位置に装着したマーカーであって、この基準位置の色と異なる色で着色された第２のマーカーと、を装着した被験者の顎運動の挙動を撮像手段で撮影したカラー撮像データを取得するものであり、前記テンプレート生成工程は、前記第１、第２のマーカーについて範囲指定を受付けて下顎及び基準位置について夫々検索用テンプレートを生成するものであり、前記マーカー位置特定工程は、前記第１、第２のマーカーについて、各マーカーの色を各検索用テンプレートと夫々マッチングさせてこれらのマーカーの画像データ上の位置を特定するものであることが好ましい。この場合は、前記取得した被験者のカラー撮像データから、この撮像データにおける２次元平面内での第１、第２のマーカーの位置の変位を計測する工程と、基準位置に対する下顎位置の相対変位に基づいて、上記下顎位置の顎運動のみによる変位を計測する工程とを備えることがさらに好ましい。
【００１６】
下顎（測定位置）の変位には、顎運動による変位と、頭の移動による変位とが含まれることになるので、測定位置の変位だけでは顎運動の動作を正確に解析することはできない。そこで、顎運動によって変動しない頭部などにマーカーを装着して基準位置として設定し、この基準位置に対する測定位置の相対変位に基づいて、顎運動のみによる測定位置の変位を計測するようになっている。これにより、顎運動の正確な解析を行うことが可能となる。
【００１７】
また、本発明の第２の主要な観点によれば、コンピュータシステムによって被験者の顎運動を解析するシステムであって、前記コンピュータシステムは、下顎の色と異なる色で着色されたマーカーを下顎の所定位置に装着した前記被験者の顎運動の挙動を撮像手段で撮影したカラー撮像データを取得するカラー撮像データ取得手段と、取得したカラー撮像データの任意の静止画像（コマ）をコンピュータシステムのディスプレイに表示して入力手段を介して前記マーカーの範囲指定を受付け、指定された範囲に含まれるマーカーの色を抽出して検索用のテンプレートを生成するテンプレート生成手段と、前記カラー撮像データの各コマを画像処理することによって被験者の顎に装着したマーカーの色を夫々抽出し、このマーカーの色を前記検索用テンプレートとマッチングさせてマーカーの画像データ上の位置を特定するマーカー位置特定手段と、複数のカラー撮像データにおいて夫々特定されたマーカーの位置に基づいて、被験者の顎運動の連続データを生成する顎運動データ生成手段とを備えたことを特徴とするシステムが提供される。
【００１８】
このような構成によれば、上記した第１の主要な観点における顎運動解析方法を好適に実行できるシステムを得ることができる。
【発明の効果】
【００１９】
以上のように、本発明によれば、比較的安価な汎用の撮像機器や画像処理装置を利用し、光学式モーションキャプチャーの技術を応用することで被験者の顎運動を簡便に解析可能な顎運動解析方法及び顎運動解析システムを得ることができる。
【００２０】
なお、この発明の他の特徴と顕著な効果は、次の発明を実施するための最良の形態の項の記載と添付した図面とを参照することで、より明確に理解される。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態を図面に基づき説明する。
【００２２】
（計測方法の全体処理工程）
まず、図１〜図５を参照して、本発明の一実施形態に係る計測方法の全体工程を説明する。なお、以下においては、患者の正面と側面の画像を夫々撮影手段で撮影する例を説明する。
【００２３】
まず、被験者である矯正患者の開閉口運動の撮像データを後述する顎運動解析プログラムを導入したパーソナルコンピュータ（ＰＣ）に取り込む。具体的には、患者の上下の顎の前歯ブラケット位置に夫々マーカー（図６参照）を取り付け（ステップＳ１）、この患者の正面と側面に設置した撮影手段としての２台のデジタルカメラによってこの患者の開閉口運動を同時に撮影し（ステップＳ２）、この動画データをＰＣに保存する（ステップＳ３）。
【００２４】
次いで、本発明に係る顎運動解析プログラムを起動させ、図２の患者情報登録画面に必要事項を入力して顎運動の解析対象となる患者のデータを新規登録する（ステップＳ４）。登録済みの患者データのリストから選択するようにしても良い。患者データの登録が完了したら、前記患者の動画データを読み出して動画データ上のマーカーの特徴を手動で設定する（ステップＳ５）。
【００２５】
具体的には、図３に示す設定画面上で、デジタルカメラで撮影した患者の動画データの１コマ目の静止画において、上顎マーカーと下顎マーカーとをＰＣに接続したマウスで範囲指定した後、ＯＫボタンを押して各マーカーの色情報をテンプレートとして切り出す。動画の各コマ上のマーカーの色情報Ｒ、Ｇ、Ｂをこのテンプレートに登録した色情報Ｒ、Ｇ、Ｂと比較（マッチング）することで、各コマにおける上顎マーカーと下顎マーカーの位置を認識するものである。なお、患者の顎運動を精度良く計測するには、患者の正面と側面など、複数のアングルから患者を撮影した画像が必要になる。本実施形態では、前頭面（正面）及び矢状面（側面）の２つのアングルで撮影した動画データについて夫々画像処理することにしている。各アングルの画像の処理は基本的に同じであるため、以下においては前頭面の画像処理を例に取って説明する。
【００２６】
次いで、図示しないパラメータ設定画面において、自動追尾のためのパラメータを自動若しくは手動で設定する（ステップＳ６）。患者に付ける各マーカーの色や、デジタルカメラの性能、撮影環境などによって動画上に見えるマーカーが異なる場合が考えられる。そのため、本実施形態では、色感度とマッチング判定率という２つのパラメータを用いて自動追尾処理を行うようにしている。ここで、色感度とは、テンプレートと各コマとの画素情報（ＲＧＢ）の比較許容度を指す。また、マッチング判定率とは、テンプレートと各コマとの比較感度で得られた合致率を指す。
【００２７】
パラメータの設定が完了した後、前記ステップＳ５で設定されたマーカー情報に基づいて顎運動解析プログラムが動画上のマーカーの変位を自動的に追尾する（ステップＳ７）。なお、自動追尾の詳細なアルゴリズム等については後述する。
【００２８】
ここで、前記上顎マーカーと下顎マーカーとの自動追尾は、テンプレートに登録された色情報Ｒ、Ｇ、Ｂと比較することで行う。この時、前記色感度とマッチング判定率とに基づいて、マーカーの位置を正常に認識できたかを判定する（ステップＳ８）。マーカーを正常に認識できなかったコマについてはエラー処理を行う（ステップＳ９）。
【００２９】
すなわち、そのコマをエラーとして登録すると共に、エラー登録されたコマについては、図４の表示画面上でマーカーの位置を順次手動で指定していく。具体的には、画面の左下に表示された上顎マーカー及び下顎マーカーをマウスを使用して画面上の患者の正常な位置に夫々ドラッグ&ドロップする。エラー登録された全てのコマについてこの処理を繰り返す。図４の例では、エラーと判定されたコマについては下顎の検出位置が−１、−１と表示されると共に、このコマのレコード全体が赤色で表示される。
【００３０】
マーカーを正常に認識できたコマについては（ステップＳ８のＹｅｓ）、図４に示すように、上顎及び下顎のマーカーの検出位置が順次登録していく。全てのコマについてマーカーの位置が設定されるとキャリブレーションの設定を行う（ステップＳ１０）。具体的には、図５のキャリブレーション設定画面上で、画像の寸法が算出できるマーカーの直径にあわせてマウスをドラッグして、各マーカーの位置を指定する「２点指定」や各マーカー間の距離を指定する「距離指定」を行う。また、キャリブレーションをより正確に設定するため、顎開閉運動前の数コマ分だけ被験者の下顎のマーカーの近くに定規などの長さの基準を表す基材を置いて撮影し、その定規などの距離を取るようにするのが好ましい。
【００３１】
以上の処理が完了した後、この患者の顎運動の解析データとして患者ＩＤに関連付けて登録する（ステップＳ１１）。また、矢状面についても上記の処理を繰り返す。
【００３２】
また、必要に応じて、正面と側面解析データに基づく水平面データの算出、正面と側面の解析データに基づく３次元運動軌跡の算出、及び各面の開閉口サイクルごとの軌跡・速度変位などの結果出力の各処理を行う（ステップＳ１１〜Ｓ１３）。
【００３３】
このようにして登録された解析データは、動画、静止画として表示や出力ができると共に、マーカーを結んだ軌跡サイクルおよび平均サイクルを表示することもできる。このサイクルは任意に設定可能である。また、解析データをＣＳＶファイルとして保存し、表計算ソフトなどで編集することも可能である。さらに、同一の患者について複数の経路データ（最新のデータと過去のデータ等）を比較したり、正常モデルの経路データと矯正患者の経路データとを比較することもできる。
【００３４】
（顎運動自動解析プログラムの追尾方法）
ここで、本発明に係る顎運動自動解析プログラムの追尾方法について詳細に説明する。
一般的に、移動している物体を認識するには、人間は視覚や聴覚などの五感でこれを直接認識することができる。しかし、コンピュータが動画の映像から物体の移動を自動的に認識するには、移動する物体がコマとコマの間でどのように変化しているかを求めなければならない。これまでに、移動物体の追尾について様々な手法が開発されているが、本発明では、歯科医療の下顎運動解析において、移動物体（被験者の開閉口運動の様子）を撮影したカラー動画の中からマーカーを切り出し、それをテンプレートとして他のコマのマーカーを追尾するようにしたものである。
【００３５】
本実施形態では、市販のデジタルカメラを使い患者の上顎と下顎に色つきのマーカーを装着し開閉口運動またはガム咀嚼運動を３２０×２４０ピクセル、１０秒間程度で撮影された動画を取り込み自動的にマーカーの位置の追尾を行うようにした。
【００３６】
従来の移動物体の追尾手法では、あらかじめテンプレート情報である形状・大きさを用意し、動画の中の静止画を指定された領域で２値化処理したり、エッジ処理による形状抽出を行った上で、テンプレートを静止画で移動・回転させながら比較を行っている。通常デジタルカメラで撮影され動画は１秒で１５〜３０コマであるため、１０秒間では１５０〜３００コマになる。
【００３７】
従来の手法を使用して追尾する場合、１５０〜３００コマの静止画に対して二値化処理、エッジ抽出処理等を行うことになり、ＣＰＵへの負担が増大し、処理時間も長くなってしまう。また、動画は患者のペースで開閉口またはガム咀嚼運動を指示して撮影されるため、動画の各コマ（静止画）を二値化し、さらにエッジ処理して形状を抽出することは非常に困難であり、結果的にマーカーを追尾できなくなる。
【００３８】
そこで、本発明では、移動物体であるマーカーを、背景となる患者の肌色や唇の色と異なる色（緑、青など）に設定し、撮影された動画の１コマの静止画から手動指定によりマーカーを切り出し、それをテンプレートとして、各コマ静止画上で移動しながら比較するというテンプレートマッチング方法を採用した。これにより、各コマ静止画の二値化やエッジ処理による形状抽出処理を行う必要がなく、マーカーの検出精度を保ちつつＣＰＵへの負担を軽減することができ処理時間も短縮できることになる。
【００３９】
動画の各コマからマーカーを切り出すには、カラー画像を構成するＲ、Ｇ、Ｂ系の色情報を利用して行い、前コマから次コマへとマーカーのマッチングを行うようにする。さらに、マーカーの色が背景の色（被験者の顔の肌色や唇の色）と異なるため、各系ごとにマッチングを行うことで背景とマーカーとの認識精度がより高くなる。
【００４０】
マッチング処理は、静止画上のあるブロック内でテンプレートと静止画の各比較画素の各系Ｒ、Ｇ、Ｂの差を算出し、あらかじめ設定された色感度である許容値と比較しマッチ率を算出する。算出したマッチ率があらかじめ設定された判定率以上の場合、マーカーを認識（設定）できたものとする。発見できたマーカーの中でマッチ率が最大のものについて、そのマーカーの平均位置を算出し静止画上のマーカー位置を決定する。動画の中のマーカーが発見できない場合、エラーとしてコマ番号情報を登録しておき、追尾処理が完了したら手動で設定（訂正）する。
【００４１】
本実施形態では、初期値として色感度の許容値は５０、判定率は８０％で設定した。この値で動画が鮮明で、かつマーカーの色が背景の色と異なれば、マーカーの位置を高精度で特定できる。動画が暗い場合は、マーカーと背景とを色で識別することが難しくなるため、マーカーの特定精度が低下する。この場合は、色感度の許容値を上げるか、または判定率を下げることで精度を向上させることができる。
【００４２】
（モーションキャプチャー）
本発明者らは、動作認識の手段として、コンピュータグラフィック(ＣＧ)の分野で開発されたモーションキャプチャー法に着目した。ここでモーションキャプチャーとは、撮影機器で撮影した対象者（被写体）の様々な動き(モーション)の成分だけを取り出してデータ化し、ＣＧ上のアニメーションキャラクターに与えることで、人間などのリアルな動きを表現することができる手法である。モーションキャプチャーには、磁気式、光学式、筋電図方式などがあるが、本実施形態では、被写体の動きに制約されず、精度の高い３次元計測が可能な光学的検出法を採用した。
【００４３】
一般的なモーションキャプチャーにおいては、表面に反射スクリーンを張った球体マーカーを用いるが、本発明では、図６に示すように、可撓性のワイヤーの先端に背景の色（被験者の肌の色等）と異なる色の球形のマーカー本体を一体化して形成したものを使用する。このマーカーを被験者の口唇を避ける形にワイヤーを屈曲して計測対象の部位（下顎）に装着して被験者の動作を撮影し、球体（マーカー）と背景とを色で識別できるカラーのコントラスト映像を得る。その２次元映像を専用のプログラムで３次元化し、３次元の軌跡を算出する。これを適宜補正して、骨格に近い形が動くモーションデータを得る。
【００４４】
（顎運動解析システムの概略構成）
次に、図７の機能ブロック図を参照して、本発明の一実施形態に係る顎運動解析システムの概略構成を説明する。
【００４５】
この顎運動解析システム１は、汎用のＰＣとそれに接続される周辺機器とで構成されており、このＰＣに内蔵されたＣＰＵ２にはバス３を介してＲＡＭ４、ＲＯＭ５、ＨＤＤ（記憶装置）６及び入出力インタフェース（Ｉ／Ｆ）７が接続されている。入出力Ｉ／Ｆ７には、ＣＲＴディスプレイ等の出力部８、キーボードやマウス等の入力部９、モデム等の通信部１０及びＦＤやＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのリムーバブル記録媒体１１用のドライブ１２が夫々接続されている。オペレータや歯科医師によって入力部９が操作されて指令が入力されることで、ＣＰＵ２がリムーバブル記録媒体１１を通じてＰＣに導入されたプログラム１３や、ＲＯＭ５、ＨＤＤ６に格納されたプログラムをＲＡＭ４上に呼出し、上記ハードウェア若しくはオペレーションシステム（ＯＳ）と協働して下記の各機能を発揮することで、ＰＣに顎運動計測処理を実行させるものである。なお、コンピュータプログラム１３をＲＯＭ５やＨＤＤ６に予め格納しておくこともできる。
【００４６】
コンピュータプログラム１３は、主として、取得した動画データを時系列に記録した静止画に変換する処理を行う動画変換機能、変換された静止画像におけるマーカーをテンプレートマッチングによって自動追尾する自動追尾機能、マーカー群のそれぞれの移動距離を数値化した移動距離データを求める処理を行う移動計測機能、および計測位置および相対位置の移動距離データから、顎運動に伴う計測位置の移動距離を数値化した相対移動距離データを求める移動量補正機能によって構成されている。本発明は、これらのうち自動追尾機能及び移動量補正機能に特徴を有するものである。
【００４７】
デジタルカメラによって撮影された被験者の動画データは、デジタルビデオテープなどのリムーバブルメディア（記録媒体）に一旦記録し、前記入出力Ｉ／Ｆ７を介してＰＣに入力しＨＤＤ６に保存する。この動画データを、動画変換機能によって時系列に記録されたビットマップ静止画像に変換し、自動追尾機能によって各静止画像におけるマーカーの位置を特定する。そして、この静止画像上のマーカー位置に基づいて移動計測機能によってマーカーの移動距離を計測する。最後に、移動量補正機能によって上顎に対する下顎の相対移動距離データを算出する。
【００４８】
上記した各機能のうち、動画変換機能及び移動計測機能は、従来周知のソフトウェアによって実現できる。例えば、動画変換機能はデジモ社製の「Motion Capture AVI」やアドビ社の「Adobe Premiere」、移動計測機能は、同じくデジモ社製の「Image tracker PTV」や「SwallowDV 2D-PTV」などを好適に利用可能である。以下においては、本発明の特徴的な機能を中心に説明する。
【００４９】
すなわち、本システム１は、カラー撮像データ取得部２０、テンプレート生成部２１、マーカー位置特定部２２、顎運動データ生成部２３、及び解析結果出力部２４を備えている。
【００５０】
カラー撮像データ取得部２０は、前記被験者の前方及び側方に設置した２台のデジタルカメラが前記被験者の顎運動の挙動を夫々撮影したカラー撮像データをリムーバブルメディアを介して取得してＨＤＤ６に格納するものである。ここで、被験者の上顎と下顎には、上記したように色つきのマーカーが装着されている。
【００５１】
テンプレート生成部２１は、取得したカラー画像データの最初の静止画像（コマ）を前記ディスプレイに表示し、オペレータ等がマウスなどの入力手段で入力した前記２つのマーカーの範囲指定を受付け、画像上の指定された範囲に含まれるマーカーの色を夫々抽出して検索用のテンプレートを生成するものである。本実施形態では、指定された範囲に含まれる何れかのマーカーの色相及び／若しくは彩度が所定の認識率以下である場合に、カラー画像データの次のコマを表示して当該マーカーについて再度範囲指定を受付けるように構成される。ここで、下顎と上顎とに異なる色のマーカーを装着した場合にはマーカー毎に検索用テンプレートを生成するが、同一色のマーカーを利用する場合には検索用テンプレートを共有するようにしても良い。
【００５２】
マーカー位置特定部２２は、前記取得したカラー撮像データの各コマについて画像処理することで被験者の下顎及び上顎に夫々装着したマーカーの色を抽出し、これらのマーカーの色を前記検索用テンプレートとマッチングさせてマーカーの画像データ上の位置を特定するものである。本実施形態では、マーカーの色と前記テンプレートとのマッチング判定率が９０％以上である場合に、このマーカーの画像データ上の位置を特定する。一方、マッチング判定率が９０％未満である場合には、その画像データをエラー登録するエラー処理部３０を備えている。エラー登録された画像データは、オペレータなどがマーカーの位置を目視で特定しマニュアルで位置を特定する（図４参照）。
【００５３】
顎運動データ生成部２３は、複数のカラー撮像データにおいて夫々特定されたマーカーの位置に基づいて、被験者の顎運動の連続データを生成するものである。具体的には、この顎運動データ生成部２３は、前記取得した被験者のカラー撮像データから、この撮像データにおける２次元平面内での複数のマーカーの位置の変位を計測するマーカー変位計測部３１と、基準位置（上顎）に対する下顎位置の相対変位に基づいて、上記下顎位置の顎運動のみによる変位を計測する下顎変位計測部３３とを備えている。
【００５４】
解析結果出力部２４は、前記顎運動データ生成手段が生成した顎運動の連続データについて、顎運動の開閉口サイクルごとの下顎の軌跡及び／若しくは速度変位を解析して解析結果を出力するものである。
【００５５】
（純粋下顎運動の算出・解析）
ここで、前記顎運動データ生成部２３及び解析結果出力部２４が実行する顎運動の連続データの生成及び出力処理を図８〜図１２を参照して詳述する。
【００５６】
被験者の上顎に装着したマーカーをＵp、下顎に装着したマーカーをＬpとする。上Ｕpの位置は被験者の咀嚼運動に左右されず頭の移動にのみ左右される相対位置である。下Ｌpは咀嚼運動と共に頭の移動に伴う計測位置である。本システムは、この計測位置Ｌpの変位を計測し顎運動を解析する。この計測位置Ｌpには頭の移動量も含まれるため、相対位置Ｕpとの移動量を算出することにより計測位置Ｌpの純粋運動が求められることになる。
【００５７】
まず、正面と側面解析データに基づいて水平面データを算出する。すなわち、被験者の正面動画において上下方向をＹ軸、左右方向をＸ軸とすると、正面動画の追尾処理によって得られたマーカーの座標データは図８（Ａ）に示すような軌跡を示す。また、側面動画において上下方向をＹ軸、左右方向をＺ軸とすると、側面動画の追尾処理によって得られたマーカーの座標データは図８（Ｂ）に示すような軌跡を示す。これらの軌跡データのうち、正面動画のマーカー座標データＸと側面動画のマーカー座標データＺとを合成することで、図８（Ｃ）に示すような水平面の座標データを構築できる。このようにして得られた水平面の座標データ（Ｘ，Ｚ）と被験者の正面動画の解析データＹとに基づいて被験者に装着したマーカーを３次元座標で示すことができる。
【００５８】
また、上記解析データのうち、被験者の動画データの中で開口開始時のマーカー位置から次の開口開始までのマーカーの軌跡を１サイクルとし、全体の開閉口運動をサイクルごとに計算する。具体的には、求められた各サイクルの解析データから開口軌跡と閉口軌跡とを分離し、次いで各軌跡を上下に１２０等分し、スムージング補正ポイントデータを作成して各ポイントを線で結ぶと、図９に示すような開閉口の軌跡データが得られる。また、このスムージング補正ポイントデータからＹ軸に対するそれぞれの各サイクルの開口と閉口のＸあるいはＺの平均値を算出することで、図１０に示すような開閉口の平均軌跡を得ることも可能になる。
【００５９】
一方、本システムでは、被験者の開閉口運動を撮影した動画のフレームレートを取得できるので被験者の下顎の運動（移動）速度を算出できる。例えば、１秒間に取得するコマ数をF、前のコマ（ｎ）から次のコマ（ｎ＋１）への移動時間を１／Ｆとすると、前のコマから次のコマへの移動距離はキャリブレーションの設定により求められる。この移動距離をＬとすれば、前のコマから次のコマへ移動した時点での速度Ｖは、Ｖ＝Ｌ／Ｆで計算できる。この開閉口移動速度Ｖと移動距離Ｌとの関係を示したのが図１１である。この図で、横軸は開閉口速度Ｖ、縦軸は距離Ｌを夫々示す。
【００６０】
また、上記した開閉口の軌跡データと同様に、各サイクルの開閉口の速度変位を１２０等分しスムージング補正ポイントを算出することにより、縦軸に対する横軸の平均値が計算でき、これらの平均値のデータで図１２に示す顎運動全体の速度平均変位を算出することができる。
【００６１】
（追尾処理のフロー）
以下、このシステム１の詳細な機能を実際の動作と共に、図１３のフローチャートを参照して説明する。以下の各工程は、主として前記自動追尾機能によって実現されるものである。
【００６２】
まず、前記カラー撮像データ取得部２０が取得した患者の動画データをＨＤＤ６から読み込み（ステップＳ１５）、前記動画変換機能によって静止画へ変換すると共に追尾を開始するコマへ移動する（ステップＳ１６、Ｓ１７）。
【００６３】
移動したコマが当該患者の動画データの初回コマでない場合は（ステップＳ１８のＮｏ）、この動画データに対して行われた前回の追尾処理が成功したかを判定する（ステップＳ１９）。前回の追尾処理が成功している場合は（ステップＳ１９のＹｅｓ）、追尾検索の範囲を、前回成功した範囲から上下左右のテンプレートの１／３の大きさに拡大する（ステップＳ２０）。
【００６４】
一方、移動したコマが初回コマである場合（ステップＳ１８のＹｅｓ）、若しくは初回コマではないが前回の追尾処理が失敗している場合は（ステップＳ１９のＮｏ）、追尾検索範囲は静止画の全範囲に設定する（ステップＳ２１）。
【００６５】
次いで、検索範囲の左上位置へ移動し、必要に応じて、追尾検索範囲をさらに上下左右のテンプレートの１／３の大きさに拡大する（ステップＳ２２、Ｓ２３）。その上で、静止画をテンプレートと比較し、各画素の差が色感度内であればマッチング率ｍ１として算出する（ステップＳ２４）。また、設定したマッチング判定率ｍ０と算出されたマッチング率ｍ１を比較し、設定値（９０％）以上の場合は（ステップＳ２５のＹｅｓ）、マッチングしたマーカーと位置を登録して次の検索位置へ進む（ステップＳ２６、Ｓ２７）。
【００６６】
次の検索位置が検索範囲内である場合は、前記ステップＳ２４に戻って上記の処理を繰り返す（ステップＳ２８のＹｅｓ）。検索範囲内でない場合は（ステップＳ２８のＮｏ）、マッチングしたマーカーの数をカウントし（ステップＳ２９）、１個以上であれば（ステップＳ３０のＹｅｓ）マッチングしたマーカーの中の最大マッチング率で構成された平均位置をマーカーの位置として決定する（ステップＳ３１）。そして、ステップＳ１７以降の処理を、最終追尾コマに到達するまでコマを移動しながら繰り返す（ステップＳ３２、Ｓ３３）。
【００６７】
一方、前記ステップＳ２５で、マッチング率ｍ１が設定されたマッチング判定率ｍ０より小さいと判定された場合は（ステップＳ２５のＮｏ）、追跡処理の失敗が１回目かどうかを判定する（ステップＳ３４）。１回目の失敗である場合は（ステップＳ３４のＹｅｓ）、前記ステップＳ２３に戻って追尾検索範囲を拡大して再度静止画と比較する（ステップＳ２２）。一方、追跡処理の失敗が２回目以降である場合は（ステップＳ３４のＮｏ）、追尾検索範囲の拡大は行わず、エラーのコマとして登録する（ステップＳ３５）。エラーのコマについては、上記した様にオペレータの手動でマーカー位置が設定される。また、前記ステップＳ３０でカウントしたマーカーの数が０個である場合も、同様にエラーとして登録する（ステップＳ３５）。
【００６８】
上記の構成によれば、被験者の顎運動の挙動を撮影した動画データを、まず時系列などの複数の静止画像データ（コマ）に変換し、得られた複数の静止画像データ同士を比較することによって、下顎（測定位置）の画像内におけるそれぞれの移動量を計測する。その後、これらより、測定位置の相対移動量を算出するとともに、スケール変換を行うことによって、被験者における実際の測定位置の変位量を算出するようにした。このような処理は、例えばパーソナルコンピュータなどによって比較的容易に行うことが可能であるので、高額な専用の機器を用意しなくても、本発明の顎運動計測方法を容易に実施することが可能となる。
【００６９】
また、上記の構成では、撮影方向に平行な方向における測定位置の変位、すなわち、前後方向における測定位置の変位を、動画データ中の直接画像における測定位置の変位および鏡像における測定位置の変位に基づいて計測するようになっている。ここで、鏡像は、被験者の顎運動を横方向あるいは斜め横方向から映し出したものであるので、この鏡像における測定位置の変位は、測定位置の変位における前後方向の成分を含んだものとなっている。すなわち、前後方向の成分を含んだ鏡像における測定位置の変位と、直接画像における測定位置の変位との両方を考慮して計測することによって、精度良く測定位置の前後方向の変位を求めることが可能となる。
【００７０】
（実施例）
次に、図１４〜図１７を参照して、本実施形態に係る顎運動解析システムを利用した具体的な実施例を説明する。
【００７１】
図１４（ａ）（ｂ）に示すように、被験者の鼻尖部および下顎前歯部のブラケットを介して口腔外に直径５ｍｍのマーカーを取り付け、開閉口およびガム咀嚼を指示した。その条件下で市販のデジタルカメラ２台を用い、正面および側面から、解像度３２０×２４０ピクセル、コマ数毎秒３０フレームの動画として撮影を行った。得られた画像のマーカーを前記顎運動解析プログラムを利用してコンピューター上で自動追尾し、顎運動軌跡を求めて解析した。また、比較例として、同じ条件で従来周知のナソヘキサグラフを用いて測定した。
【００７２】
下顎前歯部は、被験者の顎運動とともに移動する箇所であり、この移動を計測することによって顎運動を解析することができる。また、鼻尖部は移動する下顎前歯部の相対位置であり、この相対位置は、基本的には被験者の顎運動に伴って移動することはなく、被験者の頭の移動を検出するためのものである。
【００７３】
以上のような条件で解析した結果を図１５〜図１７に示す。図１５は前頭面の解析結果、図１６は矢状面の解析結果、図１７は水平面の解析結果であり、また各図の（ｂ）は比較例としてのナソヘキサの解析結果である。
【００７４】
これらの図から明らかな様に、本システムを用いた場合でも、ナソヘキサとほぼ同等の開閉口および咀嚼運動時における下顎切歯点の３次元座標値を得ることができた。また、顎運動のばらつき、運動速度、平均の運動経路などを自動的に求めることができた。本システムによる解析結果は、診断のうえで他の顎運動解析システムとほぼ遜色のない結果が得られたと考えられる。
【００７５】
なお、この発明は上記の実施形態に限定されるものではなく、発明の要旨を変更しない範囲で種々変形可能である。
【００７６】
例えば、上記実施形態では、被験者の前方及び一の側方に設置した撮像手段から画像データを取得するようにしたが、前方のみ、前方と前方以外の任意の位置に撮像手段を設置するようにしても良い。また、画像処理の手法や解析ツールも上記したものに限られない。さらに、複数のＰＣをネットワーク接続した分散システムによって実現することも可能である。
【図面の簡単な説明】
【００７７】
【図１】本発明の実施形態の全体工程を示すフローチャート。
【図２】本実施形態の患者情報登録画面の例を示す図。
【図３】本実施形態のテンプレート設定画面の例を示す図。
【図４】本実施形態の自動追尾結果の表示画面の例を示す図。
【図５】本実施形態のキャリブレーション設定画面の例を示す図。
【図６】本実施形態の球体マーカーを示す図。
【図７】本システムの概略構成を示す機能ブロック図。
【図８】追尾処理によって得られたマーカーの座標データを示すグラフ。
【図９】開閉口の軌跡データを示す図。
【図１０】開閉口の平均軌跡を示す図。
【図１１】開閉口移動速度Ｖと移動距離Ｌとの関係を示すグラフ。
【図１２】顎運動全体の速度平均変位を示す図。
【図１３】本システムの処理工程を示すフローチャート。
【図１４】本発明の実施例における計測条件を説明するための図。
【図１５】同、前頭面の解析結果を示す図。
【図１６】同、矢状面の解析結果を示す図。
【図１７】同、水平面の解析結果を示す図。
【符号の説明】
【００７８】
１…顎運動解析システム
２…ＣＰＵ
３…バス
４…ＲＡＭ
５…ＲＯＭ
６…ＨＤＤ
７…入出力インタフェース（Ｉ／Ｆ）
８…出力部
９…入力部
１０…通信部
１１…リムーバブル記録媒体
１２…ドライブ
１３…コンピュータプログラム
２０…カラー撮像データ取得部
２１…テンプレート生成部
２２…マーカー位置特定部
２３…顎運動データ生成部
２４…解析結果出力部
３０…エラー処理部
３１…マーカー変位計測部
３３…下顎変位計測部
【図１】
2005349176.tif 000003
【図２】
2005349176.tif 000004
【図３】
2005349176.tif 000005
【図４】
2005349176.tif 000006
【図５】
2005349176.tif 000007
【図６】
2005349176.tif 000008
【図７】
2005349176.tif 000009
【図８】
2005349176.tif 000010
【図９】
2005349176.tif 000011
【図１０】
2005349176.tif 000012
【図１１】
2005349176.tif 000013
【図１２】
2005349176.tif 000014
【図１３】
2005349176.tif 000015
【図１４】
2005349176.tif 000016
【図１５】
2005349176.tif 000017
【図１６】
2005349176.tif 000018
【図１７】
2005349176.tif 000019