(57)【要約】      （修正有）【課題】１台のカメラによってオペレーターの顔の向きや口の動きを容易に検出することができる光学式フェイスモーショントラッキング方法を提供する。【解決手段】オペレーター３に装着された顔面装着型表示装置１の額部の複数光学マーカーＡｉ、Ｂｊと、下唇部の複数光学マーカーＣｋに対し、１台のカメラ２と、コンピューター５により構成される顔角度演算部６、口開口度演算部７からなる画像処理部４を備えた構成により提供される。額部の光学マーカーＡｉは水平方向に湾曲するように少なくとも３個以上、垂直方向の光学マーカーＢｊは少なくとも１個以上配置し、かつ、下唇光学マーカーＣｋは少なくとも１個以上を配置し、カメラ２によって撮影され、光学マーカーＡｉ、Ｂｊ、Ｃｋの位置を検出する。このように構成することにより、１台のカメラによって簡便にオペレーター３の顔の３次元角度を算出することができる。【選択図】図１
2012021960.tif 000002
【特許請求の範囲】
【請求項１】
顔面装着型表示装置を利用し、オペレーターの顔の向き、口の動きを検出する方法であって、
前記オペレーターの額部に装着された表示装置に配置した光学マーカーを検出し、前記表示装置を装着した前記オペレーターの３次元顔角度を算出する顔角度演算部と、
前記オペレーターの額部と下唇部に装着された表示装置に配置した光学マーカーを検出し、口の開口度を算出する口開口度演算部を備えることを特徴とする光学式フェイスモーショントラッキング方法。
【請求項２】
前記表示装置に配置した光学マーカーは額部に４個以上、下唇部に１個以上であり、前記額部に配置された光学マーカーは前記オペレーターの顔に対して水平方向に３個以上、曲面を描くように配置され、垂直方向には１個以上、直線的に配置されており、前記光学マーカーは１台のカメラによって撮影され、前記光学マーカーの位置や角度の検出をすることを特徴とする、請求項１に記載のフェイスモーショントラッキング方法。
【請求項３】
前記顔角度演算部は、前記表示装置の額部に配置された光学マーカー間の距離および角度を計算し、３次元顔角度を算出することを特徴とする、請求項１乃至請求項２いずれかに記載のフェイスモーショントラッキング方法。
【請求項４】
前記口開口度演算部は、前記表示装置の額部に配置されたマーカーと下唇部に配置されたマーカーの距離を計算し、口の開口度を算出することを特徴とする、請求項１乃至請求項３いずれかに記載のフェイスモーショントラッキング方法。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、例えば、遠隔操作可能なＣＧキャラクターやロボット等の顔の向きおよび口の動きを、操作するオペレーターの顔の向きおよび口の動きと同期させるため、オペレーターの額部および下唇部に装着して使用する光学マーカーの位置を検出し、オペレーターの顔の３次元角度および口の開口度を求める光学式フェイスモーショントラッキング方法に関する。
【背景技術】
【０００２】  モーショントラッキング技術は、人の動きをトラッキングすることによって、その動きを解析したり、コンピュータグラフィックスやロボットに対して、より人に近いリアルな動きをとらせたりすることに活用されている。【０００３】  モーショントラッキング技術は、主にマーカーを用いて行うことが一般的である。例えば、複数の反射板や発光体等のマーカーを取り付けたヘルメットを、複数のカメラにより撮影し、そのマーカー位置を三角測量の方法で計算することにより、変動するマーカーの現在位置や現在角度を測定する技術は、ゲーム機やＣＧを用いた映画等で用いられている（例えば、特許文献１参照）。【０００４】  また、光学マーカーを用いる方法は、精度のよいデータが得られることがその大きなメリットでもある。例えば、太陽光や外乱光の多い環境下では、一般的に、カメラの画像に悪い影響を与え、マーカーの誤認識や追従異常が生じる。そこで、太陽光や外乱光などのノイズを光学フィルムあるいは光学フィルタにより減衰し、光学マーカーのみを検出する方法が用いられている（例えば、特許文献２参照）。【０００５】  顔の動きを検出する例としては、事前に作成した顔のテンプレートを用い、カメラから得られた画像に対し、テンプレートマッチングを行うことにより、顔や口の動きを検出する手法がある（例えば、特許文献３参照）。
【特許文献１】特開２００２−８１９０４号公報
【特許文献２】特開２００７−１５５３７０号公報
【特許文献３】特開２００６−４８４８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】  しかしながら、以上に述べた従来の方法では、カメラで撮影した画像中に複数の顔が映っている場合や、画像中に顔に似た形状のものがある場合、誤認識をしてしまう可能性があった。また、カメラの設置環境やカメラの特性といった情報が事前に必要でもあった。
さらに、複数台のカメラを必要としていたため、設備も大掛かりになり、携帯性に難があるほか、コストもかかる。【０００７】  そこで、本発明は、１台のカメラで光学マーカーの位置を検出し、オペレーターの顔の３次元角度および口の開口度を求めるフェイスモーショントラッキング方法について提供することを目的とする。
【課題を解決するための手段】
【０００８】  上記課題を解決するためになされた請求項１に記載のフェイスモーショントラッキング方法は、例えば図１に示すように、オペレーター３に装着された顔面装着型表示装置１である額部の水平方向に配置された複数光学マーカーＡｉ（ｉ＝１、２、・・・、ｌ）と、垂直方向に配置された複数光学マーカーＢｊ（ｊ＝１、２、・・・、ｍ）と、下唇部の複数光学マーカーＣｋ（ｋ＝１、２、・・・、ｎ）に対し、１台のカメラ２と、コンピューター５により構成される顔角度演算部６、口開口度演算部７からなる画像処理部４により提供される。【０００９】  請求項２に記載の発明は、請求項１に記載の方法において、光学マーカーＡｉを少なくとも３個以上、Ｂｊを少なくとも１個以上配置し、かつ、光学マーカーＡｉは水平方向に湾曲するように配置される。
光学マーカーＡｉおよびＢｊおよびＣｋは、カメラ２によって撮影され、その位置や角度を検出する。
このような構成にすれば、１台のカメラ２によって、顔面装着型表示装置１を装着したオペレーター３の顔の３次元角度を算出することが可能となる。【００１０】  請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、光学マーカーＡｉの１からｌまでの全てのＡｉ間の距離と、Ｂｊの１からｍまでの全てのＢｊ間の距離と、ＡｉとＢｊの全て組み合わせに対するＡｉとＢｊ間の距離と、Ａｉと直行するＢｊの角度を基準とし、前記基準とする距離および角度の対比により、顔面装着型表示装置１を装着したオペレーター３の、顔の３次元角度を算出することが可能となる。【００１１】  請求項４に記載の発明は、請求項１又は請求項２に記載の発明において、光学マーカーＡｉの位置と光学マーカーＣｋの位置より、ＡｉとＣｋの少なくとも１対の間の距離を計算し、口の開口度を算出する。
このように構成すると、距離が最小の場合が口を閉じた状態の基準値、距離が最大となる状態が、口が最大に開いた状態の基準値となり、その間の値が口の開口度として求まる。
【発明の効果】
【００１２】  本発明によれば、１台のカメラによってオペレーターの顔の３次元角度および口の開口度を求めることができるため、簡易な設備でフェイスモーションのトラッキングが可能となる。
【発明を実施するための最良の形態】
【００１３】  以下、本発明の実施形態について図面を用いて説明する。【００１４】  図１は、顔の３次元角度および口の開口度検出の対象となるオペレーター３が、顔面装着型表示装置１を装着した実施例を示すものである。
Ａｉ（ｉ＝１、２、・・・、ｌ）、Ｂｊ（ｊ＝１、２、・・・、ｍ）はオペレーターの額部につけられた光学マーカーであり、Ｃｋ（ｋ＝１、２、・・・、ｎ）はオペレーターの下唇部につけられた光学マーカーである。
光学マーカーＡｉ、ＢｊおよびＣｋはカメラ２で撮影され、撮影された画像はコンピューター５により構成される顔角度演算部６、口開口度演算部７からなる画像処理部４によってオペレーター３の３次元顔角度および口の開口度を算出する。【００１５】  図２に、オペレーター３に装着された顔面装着型表示装置１の額部に配置された光学マーカーＡｉ、Ｂｊの構成例を示す。
図２（ａ）は、オペレーター３の額部に３個の光学マーカーＡｉと１個の光学マーカーＢｊを取り付けた場合のマーカーの配置を上部から見た例であり、
図２（ｂ）は、そのマーカーの配置を正面から見た例を示している。
図２（ｂ）において、ｄは光学マーカーＡｉの中央に位置している光学マーカーＡ２と、Ａｉと垂直に位置しているＢｊの光学マーカーＢ１との距離、ｅはＡ２とＡ２に対して水平左方に存在するマーカーＡ１との距離、ｆはＡ１とＡ３との距離を示している。図２（ａ）に示すように、額部のマーカーＡｉは水平方向に曲面を描くように配置される。一方、図２（ｂ）に示すように、額部のマーカーＢｊは垂直方向に対しては直線的に配置される。【００１６】  図３は、顔面装着型表示装置１の額部の光学マーカーＡｉとＢｊの位置の変化を示している。
図３（ａ）は、顔面装着型表示装置１を装着したオペレーター３が正面を向いているのに対し、図３（ｂ）は首を正面から見て左方向（オペレーター３にとっては右方向）にかしげた場合の光学マーカーＡｉ、Ｂｊの各位置を示す。
図３（ａ）において光学マーカーＡ２とＢ１が垂直の位置関係にあるのに対し、図３（ｂ）に示すように、首をかしげた場合にはＡ２とＢ１を結ぶ直線は、垂直方向に対して首をかしげた分のθｒの傾きを生ずる。このθｒを首のかしげ角度として算出する。なお、首を図３（ｂ）とは逆方向にかしげた場合についても、同様にθｒが求められることは言うまでもない。【００１７】  図４は、顔面装着型表示装置１を装着したオペレーター３が、正面から見て顔を横に向ける、所謂、首を振った場合の額部の光学マーカーＡｉとＢｊの位置の変化を示している。
図４（ａ）は、顔面装着型表示装置１を装着したオペレーター３が正面を向いているのに対し、図４（ｂ）は顔を正面から見て左方向（オペレーター３にとっては右方向）を向いた場合の光学マーカーＡｉ、Ｂｊの各位置を示す。
ｅは正面から見たＡ１とＡ２間の距離を、ｆはＡ１とＡ３間の距離を示す。ｇは光学マーカーＡｉが水平方向に作り出す円弧の半径を、θｏはＡ２に対して、Ａ１とＡ３が位置する円弧上の角度である。
図４（ｂ）は、図４（ａ）に対して顔を正面から見て左方向（オペレーター３にとっては右方向）にθｙ向いた場合の光学マーカーＡｉ、Ｂｊの各位置を示している。
ｅ’はＡ１とＡ２間の距離を、ｆ’はＡ１とＡ３間の距離を示している。
図４（ｂ）より顔をθｙ向いた場合、ｆ’は、
ｆ’＝２×ｇ×ｓｉｎθｏ×ｃｏｓθｙ
となる。一方、ｅ’は
ｅ’＝ｇ×（ｓｉｎθｏ×ｃｏｓθｙ＋ｃｏｓθｏ×ｓｉｎθｙ−ｓｉｎθｙ）
となる。これより
θｙ＝ａｔａｎ（α×（２×ｅ’／ｆ’−１））
ただし、α＝ｓｉｎθｏ／（ｃｏｓθｏ−１）
となる。したがって、マーカーＡ１、Ａ２、Ａ３の位置を検出することにより首振りを検出することが可能となる。【００１８】  図５は、顔面装着型表示装置１を装着したオペレーター３が、正面から見て顔を上下に向ける、所謂、うなずいた場合の額部の光学マーカーＡｉ、Ｂｊの位置の変化を示している。
図５（ａ）は、顔面装着型表示装置１を装着したオペレーター３が正面を向いているのに対し、図５（ｂ）は顔を正面から見て下を向いた場合の光学マーカーＡｉ、Ｂｊの各位置を示している。
図５（ｂ）はθｐだけうなずいた場合の光学マーカーＡｉ、Ｂｊの各位置を示している。
ｄ’は、Ｂ１とＡ２間の距離を示している。ｆ’はＡ１とＡ３間の距離を示している。
ここで、
θｐ＝ａｃｏｓ（ｄ’／ｄ）
である。また、Ａ１、Ａ２、Ａ３の位置関係より、Ｂ１とＡ２間の距離がｄとなる場合、Ａ１、Ａ２、Ａ３が直線状態であり、即ち、オペレーター３が真正面を向いていることになる。
さらに、前記θｐの式では、顔が上を向いているのか下を向いているのかの区別がなされていないが、同じくＡ１、Ａ２、Ａ３の位置関係より、Ａ１とＡ３のなす線分に対して、Ａ２とＢ１を結ぶ直線が交差している場合は、顔は下を向いていることになる。他方、直線が交差していない場合には、顔は上を向いていることになる。これにより、顔のうなずき方向の角度θｐを求めることができる。【００１９】  図６は、顔面装着型表示装置１を装着したオペレーター３が口を閉じた場合と開けた場合の、額部の光学マーカーＡｉ、Ｂｊと下唇部の光学マーカーＣｋの位置の変化を示している。
図６（ａ）は、顔面装着型表示装置１を装着したオペレーター３が口を閉じているのに対し、図６（ｂ）は口を開いた場合の額部の光学マーカーＡｉ、Ｂｊと下唇部マーカーＣｋの各位置を示している。
ｈは口を閉じた場合の額部の光学マーカーＡ２と下唇部の光学マーカーＣ１間の距離を示しており、ｈ’は口を最大限に開けた状態の距離を示している。
口をややあけた状態のＡ２とＣ１間の距離をｈｔとすると、
ｈ≦ｈｔ≦ｈ’
となるので、例えば
（ｈｔ−ｈ）／（ｈ’−ｈ）
として、口の開口度を求めることができる。【００２０】  以上のように、顔面装着型表示装置１の額部の光学マーカーＡｉを水平方向に湾曲させて配置することにより、額部の光学マーカーＡｉ、Ｂｊおよび下唇部の光学マーカーＣｋを、１台のカメラ２で撮影し、得られた各光学マーカーの位置からオペレーター３の３次元顔角度および口の開口度を求めることができる。【００２１】  なお、この発明は上記の実施形態に限定されるものではなく、発明の趣旨を変更しない範囲で変形可能である。
【産業上の利用可能性】
【００２２】  本発明は、例えば遠隔操作可能なアバターなどのコンピュータグラフィックスやロボットに対して、その顔の向きおよび口の動きをオペレーターと同期させて動かすことに利用できる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態を示す図である。
【図２】額部光学マーカーＡｉ、Ｂｊの配置について説明するための図である。
【図３】かしげ動作時の額部光学マーカーＡｉ、Ｂｊの位置変化について示す図である。
【図４】首振り動作時の額部光学マーカーＡｉ、Ｂｊの位置変化について示す図である。
【図５】うなずき動作時の額部光学マーカーＡｉ、Ｂｊの位置変化について示す図である。
【図６】口を動かした場合の額部光学マーカーＡｉ、Ｂｊと下唇部光学マーカーＣｋの位置変化について示す図である。
【符号の説明】
【００２４】１  顔面装着型表示装置
２  カメラ
３  オペレーター
４  画像処理部
５  コンピューター
６  顔角度演算部
７  口開口度演算部
Ａｉ  水平方向の額部光学マーカー
Ｂｊ  垂直方向の額部光学マーカー
Ｃｋ  下唇部光学マーカー
【図１】
2012021960.tif 000003
【図２】
2012021960.tif 000004
【図３】
2012021960.tif 000005
【図４】
2012021960.tif 000006
【図５】
2012021960.tif 000007
【図６】
2012021960.tif 000008