(57)【要約】【課題】ロボットヘッドの回動制御方法を利用してヘッドの回動を制御することにより、ロボットの動作をより生き生きとすることができるロボットを提供する。【解決手段】本発明は、顔検出追跡方法、ロボットヘッドの回動制御方法、及びロボットを開示する。当該顔検出追跡方法は、画像を採取し、前記画像を顔検出して、各フレームの画像の顔枠を確定するステップと、現在フレーム画像を誤検出除去処理し、処理された前記現在フレーム画像の顔枠を第１の顔枠として保存するステップと、前記第１の顔枠及び追跡顔枠に基づいて、前記現在フレーム画像の追跡枠を確定し、前記現在フレーム画像の追跡枠内の顔を追跡するステップとを含む。【選択図】図１
2018005881.tif 000002
【特許請求の範囲】
【請求項１】
画像を採取し、前記画像に対し顔の検出を行い、各フレームの画像の顔枠を確定するステップと、
現在フレーム画像につき誤検出除去処理を行い、処理された前記現在フレーム画像の顔枠を第１の顔枠として保存するステップと、
前記第１の顔枠及び追跡顔枠に基づいて、前記現在フレーム画像の追跡枠を確定し、前記現在フレーム画像の追跡枠における顔を追跡するステップと、
を含むことを特徴とする顔検出追跡方法。
【請求項２】
現在フレーム画像につき誤検出除去処理を行い、処理された前記現在フレーム画像の顔枠を第１の顔枠として保存するステップは、
前記現在フレーム画像及び直前フレーム画像に、いずれも顔枠が存在するか否かを判断するステップと、
いずれにも顔枠が存在した場合、前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠が、画像の対応する位置にあるか否かを判断するステップと、
画像の対応する位置にある場合、前記現在フレーム画像が誤検出顔枠ではないものとして、前記現在フレーム画像の顔枠を前記第１の顔枠として保存するステップと、
を含むことを特徴とする請求項１に記載の顔検出追跡方法。
【請求項３】
前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠とが、画像の対応する位置にあるか否かを判断するステップは、
前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠とが画像の中で重なる部分があるか否かを判断するステップと、
重なる部分がある場合、重なる面積と前記現在フレーム画像の顔枠面積との百分率を第１の重なり率として算出し、前記重なり面積と前記直前フレーム画像の顔枠面積との百分率を第２の重なり率として算出するステップと、
前記第１の重なり率及び前記第２の重なり率のそれぞれが重なり率の所定値より大きいか否かを判断するステップと、
前記第１の重なり率及び/又は前記第２の重なり率が前記重なり率の所定値より大きい場合、前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠が画像の対応する位置にあると判断するステップと、
を含むことを特徴とする請求項２に記載の顔検出追跡方法。
【請求項４】
現在フレーム画像につき誤検出除去処理を行い、処理された前記現在フレーム画像の顔枠を第１の顔枠として保存するステップは、さらに、
前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠が画像の対応する位置に存在しない、或いは前記現在フレーム画像には顔枠が存在するものの、前記直前フレーム画像には顔枠が存在しない場合、前記現在フレーム画像の顔枠は新しく出現する顔枠又は誤検出顔枠であると判断し、前記現在フレーム画像の顔枠を保存するステップと、
前記現在フレーム画像に顔枠が存在しなくて、前記直前フレーム画像に顔枠が存在する場合、前記直前フレーム画像の顔枠が誤検出顔枠又は消失顔枠であると判断し、前記直前フレーム画像の顔枠を保存しないステップと、
を含むことを特徴とする請求項２に記載の顔検出追跡方法。
【請求項５】
現在フレーム画像につき誤検出除去処理を行うステップの後に、さらに、
前記現在フレーム画像の顔枠及び直前フレーム画像の顔枠に対しブレ除去処理を行い、処理された顔枠を前記第１の顔枠として保存するステップを含むことを特徴とする請求項１に記載の顔検出追跡方法。
【請求項６】
前記現在フレーム画像の顔枠及び直前フレーム画像の顔枠に対しブレ除去処理を行うステップは、
前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠の中心、幅及び高さにつき、それぞれ平均値を求めるステップと、
顔枠の中心、幅及び高さの平均値に基づいて確定した顔枠を前記第１の顔枠として保存するステップと、
を含むことを特徴とする請求項５に記載の顔検出追跡方法。
【請求項７】
前記第１の顔枠及び追跡顔枠に基づいて、前記現在フレーム画像の追跡枠を確定し、前記現在フレーム画像の追跡枠における顔を追跡するステップは、
前記第１の顔枠の面積と追跡顔枠の面積とを比較するステップと、
前記第１の顔枠の面積が追跡顔枠の面積以上である場合、前記第１の顔枠を前記現在フレーム画像の追跡枠とし、前記現在フレーム画像の追跡枠内の顔を追跡するステップと、
前記第１の顔枠の面積が追跡顔枠の面積より小さい場合、前記追跡顔枠を前記現在フレーム画像の追跡枠とし、前記現在フレーム画像の追跡枠内の顔を追跡するステップと、
を含むことを特徴とする請求項１に記載の顔検出追跡方法。
【請求項８】
画像の中心領域を予め設定するステップと、
請求項１乃至請求項７のいずれか１項に記載の顔検出追跡方法により、前記現在フレーム画像の追跡枠を確定するステップと、
前記現在フレーム画像の追跡枠を前記中心領域にまで移動させるように、ロボットヘッドの回動を制御するステップと、
を含むことを特徴とするロボットヘッドの回動制御方法。
【請求項９】
前記現在フレーム画像の追跡枠を前記中心領域にまで移動させるように、ロボットヘッドの回動を制御するステップは、
前記中心領域の中心の、前記追跡枠の中心に対する水平オフセット及び垂直オフセットを算出するステップと、
前記中心領域の中心と前記追跡枠の中心が重なるように、ロボットヘッドを水平方向に沿って水平オフセット回動させ、垂直方向に沿って垂直オフセット回動させるように制御するステップと、
を含むことを特徴とする請求項８に記載のロボットヘッドの回動制御方法。
【請求項１０】
前記現在フレーム画像の追跡枠を前記中心領域にまで移動させるように、ロボットヘッドの回動を制御するステップは、
追跡枠の中心を前記中心領域の境界範囲内に位置させるように、ロボットヘッドを水平方向及び垂直方向に沿って回動させるように制御するステップを含むことを特徴とする請求項８に記載のロボットヘッドの回動制御方法。
【請求項１１】
ロボットであって、請求項８乃至請求項１０のいずれか１項に記載のロボットヘッドの回動制御方法によりロボットヘッドの回動を制御することを特徴とするロボット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は顔識別分野に関し、特に、顔検出追跡方法、ロボットヘッドの回動制御方法、及びロボットに関する。
【背景技術】
【０００２】
コンピュータビジョン技術は、益々成熟するにつれて、人々の日常生活に広く使用されている。例えば、コンピュータビジョン技術を利用してロボットを制御することにより、ロボットに視覚機能を持たせ、検出、判断、識別及び測量等のインテリジェントな作業が実現される。従来のロボットでは、撮像装置が内蔵された上で顔検出技術と結合することで、ロボットカメラで採取した画像における顔を検出できるとともに、機械的動作による顔追跡により、ロボットヘッドを顔の移動につれて回動させることができた。しかし、従来の顔検出追跡方法は、誤検出率が高く、顔ではない部分を顔として検出する恐れがあった。従来の顔検出追跡方法をロボットヘッドの回動制御方法に適用する場合に、顔検出の誤検出率が高いため、ロボットヘッドの回動制御が正確ではなく、回動不調が発生しやすい問題があった。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
前記従来技術における問題を解決するために、本発明は、顔検出追跡方法、ロボットヘッドの回動制御方法、及びロボットを提供する。
【課題を解決するための手段】
【０００４】
本発明は以下の手段により前記技術問題を解決する。
画像を採取し、前記画像に対し顔の検出を行い、各フレームの画像の顔枠を確定するステップと、
現在フレーム画像につき誤検出除去処理を行い、処理された前記現在フレーム画像の顔枠を第１の顔枠として保存するステップと、
前記第１の顔枠及び追跡顔枠に基づいて、前記現在フレーム画像の追跡枠を確定し、前記現在フレーム画像の追跡枠における顔を追跡するステップと、
を含む顔検出追跡方法。
【０００５】
好ましくは、  現在フレーム画像につき誤検出除去処理を行い、処理された前記現在フレーム画像の顔枠を第１の顔枠として保存するステップは、
前記現在フレーム画像及び直前フレーム画像に、いずれも顔枠が存在するか否かを判断するステップと、
いずれにも顔枠が存在した場合、前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠が、画像の対応する位置にあるか否かを判断するステップと、
画像の対応する位置にある場合、前記現在フレーム画像が誤検出顔枠ではないものとして、前記現在フレーム画像の顔枠を前記第１の顔枠として保存するステップと、を含む。
【０００６】
好ましくは、前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠とが、画像の対応する位置にあるか否かを判断するステップは、
前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠とが画像に重なる部分があるか否かを判断するステップと、
重なる部分があると、重なり面積と前記現在フレーム画像の顔枠面積との百分率を第１の重なり率として算出し、前記重なり面積と前記直前フレーム画像の顔枠面積との百分率を第２の重なり率として算出するステップと、
前記第１の重なり率及び前記第２の重なり率のそれぞれが重なり率の所定値より大きいか否かを判断するステップと、
前記第１の重なり率及び/又は前記第２の重なり率が前記重なり率の所定値より大きい場合、前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠が画像の対応する位置にあるステップと、を含む。
【０００７】
好ましくは、現在フレーム画像につき誤検出除去処理を行い、処理された前記現在フレーム画像の顔枠を第１の顔枠として保存するステップは、さらに、
前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠が画像の対応する位置に存在しない、或いは前記現在フレーム画像には顔枠が存在するものの、前記直前フレーム画像には顔枠が存在しない場合、前記現在フレーム画像の顔枠は新しく出現する顔枠又は誤検出顔枠であると判断し、前記現在フレーム画像の顔枠を保存するステップと、
前記現在フレーム画像に顔枠が存在しないが、前記直前フレーム画像に顔枠が存在すると、前記直前フレーム画像の顔枠は誤検出顔枠又は消失顔枠であり、前記直前フレーム画像の顔枠を保存しないステップと、を含む。
【０００８】
好ましくは、現在フレーム画像につき誤検出除去処理を行うステップの後に、さらに、前記現在フレーム画像の顔枠及び直前フレーム画像の顔枠に対してブレ除去処理を行い、処理された顔枠を前記第１の顔枠として保存するステップを含む。
【０００９】
好ましくは、前記現在フレーム画像の顔枠及び直前フレーム画像の顔枠に対してブレ除去処理を行うステップは、
前記現在フレーム画像の顔枠と前記直前フレーム画像の顔枠の中心、幅及び高さにつき、それぞれ平均値を求めるステップと、
顔枠の中心、幅及び高さの平均値に基づいて確定した顔枠を前記第１の顔枠として保存するステップと、を含む。
【００１０】
好ましくは、前記顔追跡ステップは、
前記第１の顔枠の面積と追跡顔枠の面積とを比較するステップと、
前記第１の顔枠の面積が追跡顔枠の面積以上であると、前記第１の顔枠を前記現在フレーム画像の追跡枠とし、前記現在フレーム画像の追跡枠内の顔を追跡するステップと、
前記第１の顔枠の面積が追跡顔枠の面積より小さいと、前記追跡顔枠を前記現在フレーム画像の追跡枠とし、前記現在フレーム画像の追跡枠内の顔を追跡するステップと、を含む。
【００１１】
本発明は、さらに、
画像の中心領域を予め設定するステップと、
前記顔検出追跡方法により、前記現在フレーム画像の追跡枠を確定するステップと、
前記現在フレーム画像の追跡枠を前記中心領域にまで移動させるように、ロボットヘッドの回動を制御するステップと、
を含むロボットヘッドの回動制御方法を提供する。
【００１２】
好ましくは、前記ロボットヘッドの回動制御方法は、
前記中心領域の中心の、前記追跡枠の中心に対する水平オフセット及び垂直オフセットを算出するステップと、
前記中心領域の中心と前記追跡枠の中心が重なるように、ロボットヘッドを水平方向に沿って水平オフセット回動させ、垂直方向に沿って垂直オフセット回動させるように制御するステップと、を含む。
【００１３】
好ましくは、前記ロボットヘッドの回動制御方法は、
追跡枠の中心を前記中心領域の境界範囲内に位置させるように、ロボットヘッドを水平方向及び垂直方向に沿って回動させるように制御するステップを含む。
【００１４】
本発明は、さらに、前記ロボットヘッドの回動制御方法によりロボットヘッドの回動を制御するロボットを提供する。
【００１５】
本発明の提供する顔検出追跡方法は、採取した画像を顔検出した後に、各フレームの画像の顔枠を確定し、さらに、現在フレーム画像を誤検出除去処理することにより、誤検出率の低減、顔検出の正確率の向上に有利である。そして、現在フレーム画像の追跡枠を確定し、追跡枠内の顔を追跡することにより、検出した顔の連続性を保障する。
【００１６】
本発明の提供するロボットヘッドの回動制御方法は、画像の中心領域を予め設定し、顔検出追跡方法を利用して現在フレーム画像の追跡枠を確定し、追跡枠を中心領域にまで移動させるようにロボットヘッドを制御する。当該ロボットヘッドの回動制御方法は、現在フレーム画像の追跡枠及び画像の中心領域の位置に基づいて、ロボットの左右回動又は上下回動を制御することにより、ロボットの動作をより生き生きとする。顔検出追跡方法を利用して現在フレーム画像の追跡枠を確定することにより、ロボットヘッドのスムーズな回動を確保し、回動過程に回動不調の発生を避けることができる。
【００１７】
本発明の提供するロボットは、ロボットヘッドの回動制御方法を利用してヘッドの回動を制御することにより、ロボットの動作をより生き生きとすることができる。
【図面の簡単な説明】
【００１８】
以下、図面及び実施例を参照しながら、本発明をより詳しく説明する。
【図１】図１は本発明の実施例１における顔検出追跡方法のフロー図である。
【図２】図２は本発明の実施例１における顔検出追跡方法の別のフロー図である。
【図３】図３は本発明の実施例２におけるロボットヘッドの回動制御方法のフロー図である。
【図４】図４は本発明の実施例２で採取した現在フレーム画像の模式図である。
【発明を実施するための形態】
【００１９】
本発明の技術特徴、目的及び効果を分かりやすくするために、図面を参照しながら本発明の具体的な実施態様を説明する。
【実施例１】
【００２０】
図１及び図２は、本実施例における顔検出追跡方法を示す。当該顔検出追跡方法は以下のステップを含む。
【００２１】
Ｓ１１：顔検出ステップ
画像を採取し、採取した画像をフレーム毎に顔検出して、各フレームの画像の顔枠を確定する。本実施例において、Viola-Jones顔検出アルゴリズムを採用して採取した各フレームの画像を顔検出する。Viola-Jonesアルゴリズムは、積分画像により画像の固有値を抽出することにより、ある程度に顔検出の速度を高める。また、Viola-Jonesアルゴリズムは、Adaboost分類器の特徴により特徴を選別し、最も有用な特徴を保留することで、検出際の演算の複雑度を低減し、顔検出の速度を速くする。さらに、Viola-JonesアルゴリズムはAdaboost分類器をカスケードAdaboost分類器に改造して、顔検出の正確度を高める。なお、顔検出追跡方法において、本実施例で使用されるViola-Jonesアルゴリズムにより採取した各フレームの画像を顔検出して、各フレームの画像の顔枠を確定することができるが、このViola-Jonesアルゴリズムに限られない。
【００２２】
Ｓ１２：誤検出除去ステップ
現在フレーム画像を誤検出除去処理し、現在フレーム画像の顔枠を第１の顔枠として保存する。具体的には、当該第１の顔枠は、現在フレーム画像から採取した複数の顔枠のうち面積が最も大きな顔枠である。ここで、各フレームの画像の顔枠は矩形であり、顔枠の輝度と高さとの積は顔枠の面積である。誤検出除去ステップにより、顔検出の過程中の誤検出顔枠を除去することができ、顔検出の正確度を高めることに有利である。図２に示すように、ステップＳ１２における誤検出除去ステップは以下のステップを含む。
【００２３】
Ｓ１２１：現在フレーム画像と直前フレーム画像にいずれも顔枠が存在するか否かを判断する。顔検出ステップにより各フレームの画像の顔枠を確定することができ、現在フレーム画像と直前フレーム画像にいずれも顔枠が存在するか否かを判断することにより、連続する２つのフレーム画像にいずれも顔枠が存在するか否かを判断できるため、誤検出顔枠の発生を判断することに便利である。
【００２４】
Ｓ１２２：現在フレーム画像と直前フレーム画像にいずれも顔枠が存在すると、現在フレーム画像の顔枠と直前フレーム画像の顔枠が画像の対応する位置にあるか否かを判断する。本実施例において、各フレームの画像の顔枠は矩形で、顔枠の幅と高さとの積は顔枠面積である。以各フレームの画像の左下角を座標原点として座標系を作成し、各フレームの画像の顔枠の中心及び幅と高さにより顔枠の境界範囲を確定することができる。ステップＳ１２２は具体的に以下のステップを含む。
【００２５】
Ｓ１２２１：現在フレーム画像の顔枠と直前フレーム画像の顔枠は画像に重なる部分があるか否かを判断する。つまり、現在フレーム画像の顔枠の境界範囲と直前フレーム画像の顔枠の境界範囲との間に重なる部分があるか否かを判断する。
【００２６】
Ｓ１２２２：現在フレーム画像の顔枠と直前フレーム画像の顔枠は画像に重なる部分があると、重なり面積と現在フレーム画像の顔枠面積との百分率を第１の重なり率として算出し、重なり面積と直前フレーム画像の顔枠面積との百分率を第２の重なり率として算出する。
【００２７】
Ｓ１２２３：第１の重なり率及び第２の重なり率が重なり率の所定値より大きいか否かを、それぞれ判断する。
【００２８】
Ｓ１２２４：第１の重なり率が重なり率の所定値より大きい、及び/又は第２の重なり率が重なり率の所定値より大きいと、現在フレーム画像の顔枠と直前フレーム画像の顔枠が画像の対応する位置にある。現在フレーム画像の顔枠が直前フレーム画像の顔枠の面積と異なる可能性があるので、重なり面積が同じであると、算出した第１の重なり率と第２の重なり率が異なり、本実施例において、第１の重なり率及び第２の重なり率のいずれか一方が重なり率の所定値より大きければ、現在フレーム画像の顔枠と直前フレーム画像の顔枠が画像の対応する位置にあると考えられる。
【００２９】
Ｓ１２３：現在フレーム画像の顔枠と直前フレーム画像の顔枠が画像の対応する位置にあると、現在フレーム画像は誤検出顔枠ではなく、現在フレーム画像の顔枠を前記第１の顔枠として保存する。ここで、第１の顔枠は誤検出が除去された顔枠である。現在フレーム画像と直前フレーム画像との対応する位置にいずれも顔枠がある、つまり、連続する２つのフレーム画像の対応する位置にいずれも顔枠があると、現在フレーム画像の顔枠が誤検出顔枠である確率は極めて低いと示されるので、現在フレーム画像の顔枠は第１の顔枠であると判定する。本実施例において、連続する２つのフレーム画像の対応する位置から採取した顔枠を第１の顔枠とし、いずれかのフレーム画像に顔枠がない場合又は連続する２つのフレーム画像の顔枠が対応する位置にない場合の現在フレーム画像の顔枠を、第１の顔枠から除くことにより、誤検出率を低減し、顔検出の正確率を高めることができる。
【００３０】
Ｓ１２４：現在フレーム画像の顔枠と直前フレーム画像の顔枠が画像の対応する位置にない、或いは現在フレーム画像に顔枠が存在するが、直前フレーム画像に顔枠が存在しないと、現在フレーム画像の顔枠は新しく出現する顔枠又は誤検出顔枠であり、現在フレーム画像の顔枠を第１の顔枠として保存するのではなく、直後フレーム画像と比較するために現在フレーム画像の顔枠を保存する。
【００３１】
Ｓ１２５：現在フレーム画像に顔枠が存在しないが、直前フレーム画像に顔枠が存在すると、直前フレーム画像の顔枠は誤検出顔枠又は消失顔枠であり、誤検出除去の効果を達するために、直前フレーム画像の顔枠を保存しない。
【００３２】
本実施例の誤検出除去ステップは、連続する２つのフレーム画像（即ち、現在フレーム画像と直前フレーム画像）の対応する位置にいずれも顔枠が存在するか否かを判断することにより、誤検出顔枠の除去の目的を達する。現在フレーム画像の顔枠と直前フレーム画像の対応する位置にある顔枠との位置及びサイズに小さな偏差がある可能性があるので、そのまま現在フレーム画像の顔枠を第１の顔枠とすると、顔検出の正確率に影響を与える。そのため、現在フレーム画像を誤検出除去処理した後に、ブレ除去ステップを設ける。つまり、現在フレーム画像の顔枠及び直前フレーム画像の顔枠に対してブレ除去処理し、処理した顔枠を第１の顔枠として保存することにより、現在フレーム画像の顔枠及び直前フレーム画像の対応する位置にある顔枠の位置ブレの除去の目的を達し、顔検出の正確率を保証する。
【００３３】
具体的には、ブレ除去ステップは、現在フレーム画像の顔枠と直前フレーム画像の顔枠の中心、幅及び高さにつき、それぞれ平均値を求め、顔枠の中心、幅及び高さの平均値に基づいて確定した顔枠を第１の顔枠として保存することを含む。つまり、現在フレーム画像の顔枠と直前フレーム画像の顔枠の中心、幅及び高さにつき、それぞれ平均値を求め、連続する２つのフレーム画像の中心平均値、幅平均値及び高さ平均値を得て、当該中心平均値、幅平均値及び高さ平均値により１つの位置ブレの無い顔枠を確定でき、当該顔枠を第１の顔枠として保存する。
【００３４】
Ｓ１３：顔追跡ステップ
第１の顔枠及び追跡顔枠に基づいて、現在フレーム画像の追跡枠を確定し、現在フレーム画像の追跡枠内の顔を追跡する。ここで、追跡顔枠とは、顔追跡アルゴリズムにより現在フレーム画像において追跡した顔領域を意味する。顔追跡ステップは、採取したあるフレームの画像に顔がないと、連続する複数のフレーム画像の顔検出結果が連続しないことを避けるために設置するものである。本実施例において、顔追跡アルゴリズムはCamＳhiftアルゴリズムを含むが、これに限られない。CamＳhiftアルゴリズムは、直前フレーム画像において追跡した顔枠を直後フレーム画像の追跡顔枠として、追跡顔枠の中心、幅及び高さを含む追跡顔枠の位置情報を抽出するものである。本実施例の顔追跡ステップにおいて、直前フレーム画像で追跡した追跡顔枠とステップＳ１２で確定した第１の顔枠とを比較して、現在フレーム画像の追跡枠を確定し、現在フレーム画像の追跡枠内の顔を追跡する。現在フレーム画像の追跡枠は直後フレーム画像の追跡顔枠とされることができる。顔追跡ステップは以下のステップを含む。
【００３５】
Ｓ１３１：第１の顔枠の面積と追跡顔枠の面積を比較する。なお、第１の顔枠の面積は第１の顔枠の幅と高さとの積である。追跡顔枠の面積は追跡顔枠の幅と高さとの積である。
【００３６】
Ｓ１３２：第１の顔枠の面積が追跡顔枠の面積以上であると、第１の顔枠を現在フレーム画像の追跡枠とし、現在フレーム画像の追跡枠内の顔を追跡する。この場合において、第１の顔枠を直後フレーム画像の追跡顔枠とする。具体的には、CamＳhiftアルゴリズムにより現在フレーム画像の追跡枠内の顔を追跡する。
【００３７】
Ｓ１３３：第１の顔枠の面積が追跡顔枠の面積より小さいと、追跡顔枠を現在フレーム画像の追跡枠として保存し、現在フレーム画像の追跡枠内の顔を追跡する。この場合において、もとの追跡顔枠を直後フレーム画像の処理際の追跡顔枠として保存する。第１の顔枠の面積が追跡顔枠の面積より小さいと、追跡顔枠を現在フレーム画像の追跡枠とし、現在フレーム画像の顔枠の面積より大きい。
【００３８】
当該顔追跡ステップにおいて、第１の顔枠の面積と追跡顔枠の面積とを比較し、面積が最も大きな顔枠を現在フレーム画像の追跡枠として選択し、CamＳhiftアルゴリズムにより現在フレーム画像の追跡枠内の顔を追跡する。面積が最も大きな顔枠を現在フレーム画像の追跡枠として選択することは、現在フレーム画像に複数の顔枠が存在する場合に、面積が最も大きな顔枠を現在フレーム画像の追跡枠として確定することにより、現在フレーム画像の追跡枠内の顔を追跡し、応答効率の向上を実現するためである。
【００３９】
本実施例に提供される顔検出追跡方法は、顔検出ステップにより採取した画像を顔検出した後に、各フレームの画像の顔枠を確定し、さらに、誤検出除去ステップにより現在フレーム画像を誤検出除去処理することにより、誤検出率の低減、顔検出の正確率の向上に有利である。そして、顔追跡ステップによりさらに現在フレーム画像の追跡枠を確定し、追跡枠内の顔を追跡することにより、検出した顔の連続性を保障する。また、誤検出除去ステップの後にブレ除去ステップを設置することで、顔検出の正確率をさらに高める。
【実施例２】
【００４０】
図３には本実施例におけるロボットヘッドの回動制御方法を示す。ここで、当該ロボットには画像を採取するための撮像装置が内蔵されている。当該ロボットヘッドの回動制御方法は以下のステップを含む。
【００４１】
Ｓ２１：中心領域予め設定ステップ
画像の中心領域を予め設定する。図４に示すように、現在フレーム画像の左下角を原点Oとして座標系OXYを製作し、当該予め設定画像の幅をw、高さをhとして、予め設定画像の中心領域の幅が０.１w、高さが０.１hであるとする。予め設定画像の中心領域の中心が予め設定画像の中心に位置するため、予め設定画像の中心領域の中心Aの座標は（０.５w、０.５h）となる。対応的には、中心領域の左下角の座標は（０.４５w、０.４５h）、左上角の座標は（０.４５w、０.５５h）、右下角の座標は（０.５５w、０.４５h）、右上角の座標は（０.５５w、０.５５h）となる。従って、当該予め設定画像の中心領域の境界範囲における幅の範囲は（０.４５w-０.５５w）、高さの範囲は（０.４５h-０.５５h）である。
【００４２】
Ｓ２２：顔検出追跡ステップ
実施例１における顔検出追跡方法により現在フレーム画像の追跡枠を確定し、追跡枠の中心を確定し、現在フレーム画像の追跡枠の中心Bの座標（x０、y０）をリアルタイムに読み込む。実施例１に提供される顔検出追跡方法により顔を追跡する際に、顔検出ステップと顔追跡ステップとの間に誤検出除去ステップを設置することにより、誤検出率の低減、顔検出の正確率の向上に有利である。さらに、顔検出ステップと顔追跡ステップとの組合せにより、ロボットヘッドのスムーズな回動を確保し、回動過程に回動不調の発生を避ける。
【００４３】
Ｓ２３：ヘッド回動制御ステップ
現在フレーム画像の追跡枠を中心領域にまで移動させるようにロボットヘッドの回動を制御する。採取した現在フレーム画像の追跡枠が移動する際に、現在フレーム画像の追跡枠が中心領域に保持されるようにロボットヘッドの回動を制御することにより、ロボットヘッドが顔につれて回動することを実現する。
【００４４】
ステップＳ２３は、中心領域の中心の、追跡枠の中心に対する水平オフセット及び垂直オフセットを算出し、中心領域の中心と追跡枠の中心とが重なるように、ロボットヘッドを水平方向に沿って水平オフセット回動させ、及び垂直方向に沿って垂直オフセット回動させるように制御することにより実現されることができる。
【００４５】
図４では、水平オフセットは∠ABD、垂直オフセットは∠ABCである。ただし、A（０.５w、０.５h)、B(x０、y０)とされると、
2018005881.tif 000003
本実施例において、ロボットヘッドを水平方向に水平オフセット∠ABD回動させ、及びロボットヘッドを垂直方向に垂直オフセット∠ABC回動させるように制御することにより、ロボットが採取した現在フレーム画像の追跡枠の中心Bと中心領域の中心Aとが重なり、ロボットヘッドが、検出した顔につれて回動することができ、ロボットの動作がより生き生きとなる。
【００４６】
ステップＳ２３は、追跡枠の中心が中心領域の境界範囲内に位置するように、ロボットヘッドを平方向及び垂直方向に沿って回動させるように制御することによっても実現されることができる。ロボットは現在フレーム画像の追跡枠の中心Bの座標（x０、y０）をリアルタイムに読み込み、x０と中心領域の境界範囲の幅範囲（０.４５w-０.５５w）とを比較し、y０と中心領域の境界範囲の高さ範囲（０.４５h-０.５５h）を比較する。x０<０.４５wである場合、ロボットヘッドを左に回動させ、x０>０.５５wである場合に、ロボットヘッドを右に回動させ、y０<０.４５hである場合に、ロボットヘッドを下げさせ、y０>０.５５hである場合に、ロボットヘッドを上げさせ、追跡顔が画像中心領域に位置する場合に、ロボットヘッドをそのまま保持するように制御する。当該方法によりロボットヘッドを検出した顔につれて回動させる過程が簡単で、計算量が少なく、制御速度が速い。
【００４７】
本実施例に提供されるロボットヘッドの回動制御方法では、内蔵撮像装置により画像を採取し、画像の中心領域を予め設定し、顔検出追跡方法を利用して現在フレーム画像の追跡枠を確定し、追跡枠を中心領域にまで移動させるようにロボットヘッドを制御する。当該ロボットヘッドの回動制御方法は、現在フレーム画像の追跡枠及び画像の中心領域の位置に基づいて、ロボットの左右回動又は上下回動を制御することにより、ロボットの動作をより生き生きとする。顔検出追跡方法を利用して現在フレーム画像の追跡枠を確定することにより、ロボットヘッドのスムーズな回動を確保し、回動過程に回動不調の発生を避けることができる。
【００４８】
以上、実施例について説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。また、特定又は具体的な場合によって、本発明の趣旨を損なわない範囲内で種々の変形を行うことができる。従って、本発明は、上記実施例により限定されるものではなく、本発明の特許請求の範囲内のすべての実施態様も含むべきである。
【図１】
2018005881.tif 000004
【図２】
2018005881.tif 000005
【図３】
2018005881.tif 000006
【図４】
2018005881.tif 000007