(57)【要約】【課題】正確に瞳の領域を検出することができる画像処理装置を実現する。【解決手段】本発明に係る画像処理装置６は、人物の顔画像から目の特徴を特定する画像処理装置であって、顔画像の目がある目領域を、少なくとも目における縦方向に微分して輝度勾配を求める第２微分部４１と、目領域について、輝度勾配を２値化しエッジ点を抽出する２値化部４２と、目頭点および目尻点を両端点とし、該両端点と制御点とによって表現される曲線であって、かつ、上記エッジ点に適合する曲線を、上瞼または下瞼の輪郭を表す曲線として特定する瞼輪郭特定部４４とを備える。【選択図】図１
2012190351.tif 000002
【特許請求の範囲】
【請求項１】
人物の顔画像から目の特徴を特定する画像処理装置において、
上記顔画像の目がある目領域を、少なくとも目における縦方向に微分して第１輝度勾配を求める第１微分部と、
上記目領域について、上記第１輝度勾配に応じて第１エッジ点を抽出する第１エッジ抽出部と、
目頭点および目尻点を両端点とし、該両端点と制御点とによって表現される曲線であって、かつ、上記第１エッジ点に適合する上記曲線を、上瞼または下瞼の輪郭を表す曲線として特定する曲線特定部とを備え、
上記両端点と制御点とによって表現される上記曲線は、Ｂスプライン曲線またはベジエ曲線であることを特徴とする画像処理装置。
【請求項２】
上記曲線特定部は、ハフ変換を用いて、上記第１エッジ点について、投票対象である上記制御点に対して投票を行い、該投票結果に基づいて、上記第１エッジ点に適合する上記両端点と１つの上記制御点とによって表現されるＢスプライン曲線を上記上瞼または下瞼の輪郭を表す曲線として特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記曲線特定部は、上記目頭点と上記目尻点とを結ぶ線より上側に位置する上記第１エッジ点から上記上瞼の輪郭を表す曲線を特定し、上記目頭点と上記目尻点とを結ぶ線より下側に位置する上記第１エッジ点から上記下瞼の輪郭を表す曲線を特定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
上記第１微分部は、上記目領域を、目における縦方向に微分した値を上記第１輝度勾配として求め、
上記第１エッジ抽出部は、上記第１輝度勾配の絶対値が第１閾値より大きい点を上記第１エッジ点として抽出することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
上記目領域を、目における横方向に微分して第２輝度勾配を求める第２微分部と、
上記目領域について、上記第２輝度勾配に応じて、左側が右側より明るい境界に対応する第２エッジ点と、左側が右側より暗い境界に対応する第３エッジ点とを、エッジ点として抽出する第２エッジ抽出部と、
ハフ変換を用いて、第２および第３の各エッジ点について、上記第２エッジ点および上記第３エッジ点のいずれであるかに応じて、かつ、投票対象である楕円と該エッジ点との位置関係に応じて、上記楕円に対する投票の重みを変えて投票を行う投票部と、
上記投票部の投票結果に基づいて、瞳の輪郭を表す楕円を特定する瞳輪郭特定部とを備えることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
上記投票部の投票対象は円であり、
上記瞳輪郭特定部は、上記投票部の投票結果に基づいて、瞳の輪郭を表す円を特定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
上記曲線特定部は、上記目頭点または上記目尻点より上側に位置する上記第１エッジ点に適合する上記曲線を上瞼の輪郭を表す曲線として特定し、上記目頭点または上記目尻点より下側に位置する上記第１エッジ点に適合する上記曲線を下瞼の輪郭を表す曲線として特定し、
上記瞳の輪郭を表す楕円、上記上瞼の輪郭を表す曲線、および上記下瞼の輪郭を表す曲線に基づき、上記顔画像における瞳の領域を特定する瞳領域特定部を備えることを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
上記投票部は、
上記第２エッジ点から投票する場合、該第２エッジ点より中心座標が左に位置する上記楕円に対する重みより、該第２エッジ点より中心座標が右に位置する上記楕円に対する重みを大きくして投票し、
上記第３エッジ点から投票する場合、該第３エッジ点より中心座標が右に位置する上記楕円に対する重みより、該第３エッジ点より中心座標が左に位置する上記楕円に対する重みを大きくして投票することを特徴とする請求項５から７のいずれか一項に記載の画像処理装置。
【請求項９】
上記第２微分部は、上記目領域を、目頭と目尻とが並ぶ方向に沿って微分して上記第２輝度勾配を求め、
上記第２エッジ抽出部は、正の第２閾値および負の第３閾値によって上記第２輝度勾配を３値化し、上記３値化された第２輝度勾配に応じて上記第２エッジ点および上記第３エッジ点を抽出することを特徴とする請求項５から８のいずれか一項に記載の画像処理装置。
【請求項１０】
人物の顔画像から目の特徴を特定する画像処理方法において、
上記顔画像の目がある目領域を、少なくとも目における縦方向に微分して第１輝度勾配を求める第１微分ステップと、
上記目領域について、上記第１輝度勾配に応じて第１エッジ点を抽出する第１エッジ抽出ステップと、
目頭点および目尻点を両端点とし、該両端点と制御点とによって表現される曲線であって、かつ、上記第１エッジ点に適合する上記曲線を、上瞼または下瞼の輪郭を表す曲線として特定する曲線特定ステップとを含み、
上記両端点と制御点とによって表現される上記曲線は、Ｂスプライン曲線またはベジエ曲線であることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に瞳の領域を特定する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラまたはカメラ付き携帯電話等で撮影された人物の顔画像を、自動的に補正する技術が登場している。人物の顔のうち、目は特に画像の観察者の注意を引く部分である。目に対する補正として、例えば、フラッシュによって起こる赤目を補正することが考えられる。また、近年では、顔画像における目または瞳が大きくなるよう加工することにより、見栄えを変化させる（向上させる）技術もある。目または瞳を補正する場合、目の中の瞳の領域を正確に検出することが必要となる。
【０００３】
瞳の位置を検出する方法として、例えば、特許文献１の技術が知られている。特許文献１に記載の構成では、ハフ変換を利用して円形の瞳孔を検出する。その際、近赤外光照明下で撮影された目における濃度勾配が可視光照明下で撮影された目における濃度勾配と異なることを利用し、扇状の投票領域を設定し、疑似的な投票値ピークの発生を抑制する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１８１４２４号公報（２００９年８月１３日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の構成では、正確に瞳の領域を検出できないという問題が生じる。
【０００６】
通常、ハフ変換によって円を検出する場合、前処理として画像から輝度のエッジ（輪郭）を抽出し、そのエッジに対してハフ変換による投票を行い、円を検出する。しかしながら、画像処理に用いる目を含む周辺領域の画像からは、瞳以外のエッジ（例えば、上瞼および下瞼の輪郭、まつげ、皺、アイライン等の化粧、または影によるエッジ）がノイズとして検出される。特に、上瞼および下瞼のエッジは長く、エッジが延びている画素の数が多い。また、上瞼および下瞼のエッジは円形または楕円形に近いことが多いため、上瞼または下瞼にフィットする円に対する投票数が多くなり、上瞼または下瞼を示す円の位置を瞳の位置として誤検出する可能性がある。
【０００７】
また、顔画像において瞳の輪郭が全て見えている場合は少なく、目を細めている場合は特に、瞳の上下の輪郭は上瞼および下瞼によって隠れていることが多い。そのため、瞳のエッジによる投票数が少なくなるので、従来の構成では、上瞼または下瞼を示す円の位置を瞳の位置として誤検出しやすくなる。
【０００８】
また上述したように、瞳の領域の一部は、上瞼および下瞼によって隠されていることが多い。そのため、顔画像から正確な瞳の領域を検出するためには、瞳の輪郭を円として検出するだけでなく、上瞼および下瞼の境界線（目と肌との境界線）を正確に検出する必要がある。しかしながら、上記従来の構成は、上瞼および下瞼の形状を考慮しておらず、正確に瞳の領域を検出することはできない。
【０００９】
従来、瞼の輪郭（目の輪郭）は、主に楕円または放物線等の２次曲線（円錐曲線）によって近似されていた。しかしながら、瞼の輪郭をこれらの曲線で正確に表すことができない場合がある。例えば、瞼の輪郭形状は個人差が大きく、人によっては楕円または放物線では表せないことが多い。また、画像に写った顔の向きによって、特に顔が正面を向いていない場合、瞼の輪郭は楕円または放物線では正確に表現できない形状になる。瞼の輪郭を正確に検出できないと、瞳の領域を精度よく特定することはできない。
【００１０】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、正確に瞳の領域を検出することができる画像処理装置を実現することにある。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理装置は、人物の顔画像から目の特徴を特定する画像処理装置であって、上記の課題を解決するために、上記顔画像の目がある目領域を、少なくとも目における縦方向に微分して第１輝度勾配を求める第１微分部と、上記目領域について、上記第１輝度勾配に応じて第１エッジ点を抽出する第１エッジ抽出部と、目頭点および目尻点を両端点とし、該両端点と制御点とによって表現される曲線であって、かつ、上記第１エッジ点に適合する上記曲線を、上瞼または下瞼の輪郭を表す曲線として特定する曲線特定部とを備えることを特徴としている。
【００１２】
本発明に係る画像処理方法は、人物の顔画像から目の特徴を特定する画像処理方法であって、上記の課題を解決するために、上記顔画像の目がある目領域を、少なくとも目における縦方向に微分して第１輝度勾配を求める第１微分ステップと、上記目領域について、上記第１輝度勾配に応じて第１エッジ点を抽出する第１エッジ抽出ステップと、目頭点および目尻点を両端点とし、該両端点と制御点とによって表現される曲線であって、かつ、上記第１エッジ点に適合する上記曲線を、上瞼または下瞼の輪郭を表す曲線として特定する曲線特定ステップとを含むことを特徴としている。
【００１３】
ここで、上記両端点と制御点とによって表現される上記曲線は、上記両端点を通り、上記両端点の間において該曲線の凸の位置および向きが上記制御点によって規定される曲線である。例えば、上記両端点と制御点とによって表現される上記曲線は、Ｂスプライン曲線またはベジエ曲線である。ここで、上記Ｂスプライン曲線またはベジエ曲線は、例えば２次Ｂスプライン曲線、より高次のＢスプライン曲線、３次のベジエ曲線、または、より高次のベジエ曲線であってもよい。
【００１４】
上記の構成によれば、少なくとも目における縦方向に微分した第１輝度勾配から、第１エッジ点を抽出する。上瞼および下瞼の輪郭は主に横方向に延びるので、上瞼および下瞼の輪郭に対応する主なエッジ点は、第１エッジ点に含まれる。また、両端点と制御点とによって表されるＢスプライン曲線等の曲線を用いることで、様々な形状の瞼の輪郭を表現することができる。例えば、顔が正面を向いていない画像では、上瞼の凸の部分が目頭側または目尻側に寄ったものになる。両端点と制御点とによって表される曲線では、制御点によってこのような瞼の輪郭を適切にかつ容易に表現することができる。また、曲線の両端点である目頭点および目尻点は、周知の技術を用いて容易に特定することができる。そのため、曲線特定部は、第１エッジ点に基づいて残りの制御点を特定するだけで、瞼の輪郭を表す曲線を特定することができる。そして、正確に特定した瞼の輪郭を表す曲線を利用して、部分的に瞼に隠れている顔画像の中の瞳の領域を特定することができる。
【００１５】
また、上記曲線特定部は、ハフ変換を用いて、上記第１エッジ点について、投票対象である上記制御点に対して投票を行い、該投票結果に基づいて、上記第１エッジ点に適合する上記両端点と１つの上記制御点とによって表現されるＢスプライン曲線を上記上瞼または下瞼の輪郭を表す曲線として特定してもよい。
【００１６】
制御点が１つのＢスプライン曲線でも、制御点の位置に応じて曲線の凸の位置および高さを様々に変化させることができる。上記の構成によれば、瞼の輪郭を制御点が１つのＢスプライン曲線で適切に表すことができ、また、未知の変数が１つの制御点の座標だけになるので、ハフ変換によって容易に求めることができる。
【００１７】
また、上記曲線特定部は、上記目頭点と上記目尻点とを結ぶ線より上側に位置する上記第１エッジ点から上記上瞼の輪郭を表す曲線を特定し、上記目頭点と上記目尻点とを結ぶ線より下側に位置する上記第１エッジ点から上記下瞼の輪郭を表す曲線を特定してもよい。
【００１８】
上瞼の輪郭に対応する第１エッジ点は、上記目頭点と上記目尻点とを結ぶ線より上側に位置すると考えられる。また、下瞼の輪郭に対応する第１エッジ点は、上記目頭点と上記目尻点とを結ぶ線より下側に位置すると考えられる。よって、上記の構成によれば、上瞼および下瞼のそれぞれに関係のないノイズとなるエッジ点を除去することができる。よって、より正確に上瞼の輪郭を表す曲線および下瞼の輪郭を表す曲線を特定することができる。
【００１９】
また、上記第１微分部は、上記目領域を、目における縦方向に微分した値を上記第１輝度勾配として求め、上記第１エッジ抽出部は、上記第１輝度勾配の絶対値が第１閾値より大きい点を上記第１エッジ点として抽出してもよい。
【００２０】
上記の構成によれば、ノイズとなる縦方向に延びる瞳と白目との境界のエッジの一部を除去することができる。よって、より正確に上瞼の輪郭を表す曲線および下瞼の輪郭を表す曲線を特定することができる。
【００２１】
また、上記画像処理装置は、上記目領域を、目における横方向に微分して第２輝度勾配を求める第２微分部と、上記目領域について、上記第２輝度勾配に応じて、左側が右側より明るい境界に対応する第２エッジ点と、左側が右側より暗い境界に対応する第３エッジ点とを、エッジ点として抽出する第２エッジ抽出部と、ハフ変換を用いて、第２および第３の各エッジ点について、上記第２エッジ点および上記第３エッジ点のいずれであるかに応じて、かつ、投票対象である楕円と該エッジ点との位置関係に応じて、上記楕円に対する投票の重みを変えて投票を行う投票部と、上記投票部の投票結果に基づいて、瞳の輪郭を表す楕円を特定する瞳輪郭特定部とを備える構成であってもよい。
【００２２】
上記の構成によれば、目における横方向に微分した第２輝度勾配から、左側が右側より明るい境界に対応する第２エッジ点と、左側が右側より暗い境界に対応する第３エッジ点とを、エッジ点として抽出する。よって、目における縦方向に延びる輪郭をエッジ点として抽出し、横方向に延びる輪郭を排除することになる。それゆえ、瞳の輪郭を表す楕円の特定においてノイズとなる瞼の輪郭等のエッジを排除することができる。
【００２３】
また、瞳の領域は周囲の白目の領域より輝度が低いと考えられるので、左側が右側より明るい境界に対応する第２エッジ点は、瞳の左側の輪郭に対応し、左側が右側より暗い境界に対応する第３エッジ点は、瞳の右側の輪郭に対応すると考えられる。すなわち、瞳の輪郭を表す楕円の中心は、多くの第２エッジ点の右側かつ多くの第３エッジ点の左側にあると考えられる。よって、ハフ変換において、第２エッジ点および第３エッジ点のいずれであるかに応じて、かつ、投票対象である楕円と該エッジ点との位置関係に応じて、上記楕円に対する投票の重みを変えて投票を行うことにより、瞳の輪郭を表す楕円を正確に特定することができる。そして、正確に特定した瞳の輪郭を表す楕円を利用して、瞳の領域を特定することができる。
【００２４】
また、写真の画像において赤目が発生している場合、赤目領域は周囲の瞳の領域より輝度が大きいと考えられる。よって、赤目領域の輪郭の左右のエッジは、瞳の輪郭の左右のエッジと位置が逆になる。そのため、上記重みづけ投票によって赤目領域からの投票は分散することになる。それゆえ、赤目領域の輪郭を、瞳の輪郭として誤検出することを防ぐことができる。
【００２５】
なお、瞳の輪郭を円とみなし、瞳の輪郭を表す円を特定してもよい。
【００２６】
また、上記曲線特定部は、上記目頭点または上記目尻点より上側に位置する上記第１エッジ点に適合する上記曲線を上瞼の輪郭を表す曲線として特定し、上記目頭点または上記目尻点より下側に位置する上記第１エッジ点に適合する上記曲線を下瞼の輪郭を表す曲線として特定し、上記画像処理装置は、上記瞳の輪郭を表す楕円、上記上瞼の輪郭を表す曲線、および上記下瞼の輪郭を表す曲線に基づき、上記顔画像における瞳の領域を特定する瞳領域特定部を備える構成であってもよい。
【００２７】
上記の構成によれば、上瞼の輪郭を表す曲線、下瞼の輪郭を表す曲線、および瞳の輪郭を表す楕円を正確に特定することができる。瞳の輪郭を表す楕円の内側、かつ、上瞼の輪郭を表す曲線の下側、かつ、下瞼の輪郭を表す曲線の上側の領域が、顔画像における瞳の領域と考えられる。よって、正確に瞳の領域を特定することができる。
【００２８】
また、上記投票部は、上記第２エッジ点から投票する場合、該第２エッジ点より中心座標が左に位置する上記楕円に対する重みより、該第２エッジ点より中心座標が右に位置する上記楕円に対する重みを大きくして投票し、上記第３エッジ点から投票する場合、該第３エッジ点より中心座標が右に位置する上記楕円に対する重みより、該第３エッジ点より中心座標が左に位置する上記楕円に対する重みを大きくして投票してもよい。
【００２９】
上記の構成によれば、瞳の左側の輪郭である可能性が高い第２エッジ点から、それより右側に中心座標があり瞳の輪郭として適切と考えられる楕円に大きな重みで投票し、それより左側に中心座標があり瞳の輪郭として適切ではないと考えられる楕円に小さな重みで投票する。また、同様に、瞳の右側の輪郭である可能性が高い第３エッジ点から、それより左側に中心座標があり瞳の輪郭として適切と考えられる楕円に大きな重みで投票し、それより右側に中心座標があり瞳の輪郭として適切ではないと考えられる楕円に小さな重みで投票する。よって、瞳の輪郭として適切な楕円に対する投票を大きくすることができる。それゆえ、瞳の輪郭を表す楕円を正確に特定することができる。
【００３０】
また、上記第２微分部は、上記目領域を、目頭と目尻とが並ぶ方向に沿って微分して上記第２輝度勾配を求め、上記第２エッジ抽出部は、正の第２閾値および負の第３閾値によって上記第２輝度勾配を３値化し、上記３値化された第２輝度勾配に応じて上記第２エッジ点および上記第３エッジ点を抽出する構成であってもよい。
【００３１】
上記の構成によれば、上記第２微分部は、上記目領域を、目頭と目尻とが並ぶ方向に沿って微分するので、ノイズとなる主に横方向に延びる瞼の輪郭等のエッジを排除することができる。
【００３２】
なお、上記画像処理装置は、一部をコンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記画像処理装置をコンピュータにて実現させる制御プログラム、および上記制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００３３】
以上のように、両端点と制御点とによって表される曲線を用いることで、制御点の位置に応じて様々な形状の瞼の輪郭を適切にかつ容易に表現することができる。目頭点および目尻点は既知であるので、第１エッジ点に基づいて残りの制御点を特定するだけで、瞼の輪郭を表す曲線を特定することができる。そして、正確に特定した瞼の輪郭を表す曲線を利用して、部分的に瞼に隠れている顔画像における瞳の領域を特定することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施形態に係るデジタルカメラの概略構成を示すブロック図である。
【図２】目画像の一例を示す図である。
【図３】（ａ）は、ｘ方向のＳｏｂｅｌフィルタを示す図であり、（ｂ）は、ｙ方向のＳｏｂｅｌフィルタを示す図である。
【図４】３値化された水平方向の輝度勾配の値を有する第１エッジ画像を示す図である。
【図５】２値化されたエッジ強度を有する第２エッジ画像を示す図である。
【図６】上記デジタルカメラの画像処理装置における画像補正処理の流れを示すフローチャートである。
【図７】特定された瞳の輪郭を表す円と、特定された瞼の輪郭を表す曲線とを示す図である。
【図８】２値化された縦方向のエッジ強度を有する第３エッジ画像を示す図である。
【発明を実施するための形態】
【００３５】
以下では、主に、デジタルカメラに搭載され、撮像された画像に含まれる顔画像に対して処理を行う画像処理装置について説明するが、本発明はこれに限定されるものではない。例えば、本発明に係る画像処理装置は、デジタルビデオカメラ、カメラ付き携帯電話、パーソナルコンピュータ（ＰＣ）のＷｅｂカメラ、写真撮影シール作成機等の撮影装置に搭載され、撮影装置で撮影して得られた画像に対して処理を行ってもよい。また、本発明に係る画像処理装置は、ネットワーク等の通信経路、または外部記憶装置から取得した画像について処理を行ってもよい。また、撮像された静止画だけではなく、動画等の顔画像に処理を行ってもよい。また、デジタルカメラで撮像を行う際にデジタルカメラの表示装置に表示されるプレビュー画像に処理を施してもよい。
【００３６】
［実施形態１］
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００３７】
＜デジタルカメラの構成＞
図１は、本発明の実施形態に係るデジタルカメラ１の概略構成を示すブロック図である。デジタルカメラ１は、指示入力装置２、撮像装置３、画像記憶装置４、表示装置５、および画像処理装置６を備える。
【００３８】
指示入力装置２は、ボタン、キーまたはタッチパネル等の入力装置を備え、利用者から撮像の指示を受け付け、撮像装置３に撮像の指示を出力する。
【００３９】
撮像装置３は、例えば、ＣＣＤ（charge coupled device）またはＣＭＯＳ（complementary metal oxide semiconductor）撮像素子等の撮像素子を備える。撮像装置３は、撮像の指示に応じて撮像し、撮像した画像（画像データ）を画像処理装置６に出力する。
【００４０】
画像記憶装置４は、各種の情報を記憶するものであり、例えばＨＤＤ（Hard Disk Drive）、またはフラッシュメモリ等の記憶デバイスを備える。画像記憶装置４は、画像処理装置６から受け取った画像を記憶して保存しておく。
【００４１】
表示装置５は、ディスプレイを備え、入力された画像を表示して利用者に提示する。また、表示装置５は、画像処理装置６から補正処理済みの画像を受け取り、補正処理済みの画像を表示する。
【００４２】
＜画像処理装置の構成＞
画像処理装置６は、画像取得部１１、顔検出部１２、特徴検出部１３、目画像抽出部１４、瞳輪郭検出部１５、瞼輪郭検出部１６、瞳領域特定部１７、画像補正部１８、および出力部１９を備える。
【００４３】
画像取得部１１は、撮像装置３から撮像された画像を処理対象の画像として取得する。なお、画像取得部１１は、画像記憶装置４に記憶されている画像を処理対象の画像として取得してもよい。画像取得部１１は、取得した処理対象の画像を顔検出部１２、特徴検出部１３、目画像抽出部１４、および画像補正部１８に出力する。
【００４４】
顔検出部１２は、画像取得部１１から受け取った画像の中に含まれる顔画像を検出する。顔検出部１２は、画像に含まれる顔画像を検出すると、顔画像の位置を特定する。顔画像の位置は、顔画像の所定の点の座標を示してもよいし、顔画像の領域を示してもよい。顔検出部１２は、顔画像の位置を、特徴検出部１３、および目画像抽出部１４に出力する。なお、顔検出部１２は、処理対象の画像から複数の顔画像を検出してもよい。複数の顔画像を検出した場合、顔検出部１２は、各顔画像の位置を特定し、複数の顔画像の位置を上記各部に出力してもよい。
【００４５】
特徴検出部１３は、画像取得部１１から受け取った処理対象の画像および顔検出部１２から受け取った顔画像の位置から、該顔画像の顔の各特徴の位置を検出する。具体的には、特徴検出部１３は、例えば目（目頭、目尻等）、口（口端点、口の中心点等）、および鼻（鼻の頂点等）等の顔の器官の特徴、および顔の輪郭等の特徴（特徴点）を検出し、それらの位置を特定する。各特徴の検出は、公知の技術を用いて行うことができる。ここでは、特徴検出部１３は、特に目頭、目尻を検出し、それらの座標を特定する。特徴検出部１３は、検出した顔の特徴の位置を目画像抽出部１４、瞳輪郭検出部１５、および瞼輪郭検出部１６に出力する。なお、特徴検出部１３は、複数の顔画像の特徴の位置を特定し、複数の顔画像の特徴の位置を上記各部に出力してもよい。
【００４６】
目画像抽出部１４は、画像取得部１１、顔検出部１２、および特徴検出部１３からそれぞれ処理対象の画像、顔画像の位置、および顔の特徴の位置を受け取る。目画像抽出部１４は、受け取った情報に基づき、処理対象となる顔画像の目を含む所定の領域の画像を抽出する。なお、画像の中の顔は傾いていることがある。瞳領域の検出処理が簡単になるように、目画像抽出部１４は、抽出した目を含む領域の画像を、目尻の特徴点（目尻点）と目頭の特徴点（目頭点）との位置関係が水平になるように必要に応じて回転させた画像を、目画像として生成する。目画像における水平方向（目頭と目尻とが並ぶ方向）をｘ方向、それに垂直な縦方向をｙ方向とする。なお、本実施形態では輝度の情報を用いて瞳領域の検出処理を行うので、目画像抽出部１４は、各画素が輝度値のみを有するグレースケールの目画像を生成する。図２は、目画像の一例を示す図である。ここでは、目頭点Ｅａおよび目尻点Ｅｂを含む目の領域の画像を目画像としている。瞳の領域を特定するために、目画像には瞳およびその周辺が含まれていればよい。目画像抽出部１４は、目画像を瞳輪郭検出部１５、および、瞼輪郭検出部１６に出力する。また、目画像抽出部１４は、顔画像と目画像との座標の対応関係を示す情報を、画像補正部１８に出力する。
【００４７】
なお、目画像抽出部１４は、顔に含まれる左右の目のそれぞれについて、目画像を生成し、瞳輪郭検出部１５および瞼輪郭検出部１６は、各目画像について処理を行う。簡単のため、以下では、１つの顔の１つの（左眼の）目画像についての処理のみ記載する。なお、右眼についても同様の処理を行う。
【００４８】
瞳輪郭検出部１５は、目画像抽出部１４から目画像を取得し、特徴検出部１３から対応する目頭点Ｅａおよび目尻点Ｅｂの座標を取得する。瞳輪郭検出部１５は、瞳の輪郭を円として検出し、検出した円の情報（中心座標および半径）を、瞳領域特定部１７に出力する。瞳輪郭検出部１５の詳細な構成は後述する。
【００４９】
瞼輪郭検出部１６は、目画像抽出部１４から目画像を取得し、特徴検出部１３から対応する目頭点Ｅａおよび目尻点Ｅｂの座標を取得する。瞼輪郭検出部１６は、瞼の輪郭を曲線として検出し、検出した曲線を表す情報（端点および制御点の座標）を、瞳領域特定部１７に出力する。瞼輪郭検出部１６の詳細な構成は後述する。
【００５０】
瞳領域特定部１７は、瞳輪郭検出部１５が特定した瞳の輪郭を表す円と、瞼輪郭検出部１６が特定した上瞼の輪郭を表す曲線および下瞼の輪郭を表す曲線とに基づき、目画像における瞳領域を特定する。具体的には、瞳領域特定部１７は、瞳の輪郭を表す円の内部であり、かつ、上瞼の輪郭を表す曲線と下瞼の輪郭を表す曲線とに囲まれる領域を、瞳領域として特定する。瞳領域特定部１７は、特定した瞳領域を画像補正部１８に出力する。
【００５１】
画像補正部１８は、瞳領域特定部１７によって特定された瞳領域に基づいて、顔画像における対応する目の領域の画像を補正する。ここでは、瞳領域の瞳色補正を行う。なお、他の補正処理、例えば瞼の輪郭に基づいて瞳の大きさを大きくする等の補正を行ってもよい。画像補正部１８は、補正された画像を出力部１９に出力する。
【００５２】
出力部１９は、画像記憶装置４に補正された画像を出力し、記憶させる。または、出力部１９は、表示装置５に補正された画像を出力し、ディスプレイに補正された画像を表示させるよう制御を行う。
【００５３】
＜瞳輪郭検出部の構成＞
瞳輪郭検出部１５は、目画像抽出部１４から目画像を取得し、特徴検出部１３から対応する目頭点Ｅａおよび目尻点Ｅｂの座標を取得する。目頭点Ｅａおよび目尻点Ｅｂの座標は、目画像に対応付けられる。瞳輪郭検出部１５は、第１微分部（微分部）３１、３値化部（第２エッジ抽出部）３２、第１投票部（投票部）３３、および瞳輪郭特定部３４を備える。
【００５４】
第１微分部３１は、目画像に微分フィルタを適用し、水平方向における輝度勾配を検出する。
【００５５】
具体的には、第１微分部３１は、目画像に対してｘ方向に微分フィルタ（ここではＳｏｂｅｌフィルタ）を適用し、水平方向の輝度勾配を求める。図３（ａ）は、ｘ方向のＳｏｂｅｌフィルタを示す図である。なお、目画像またはＳｏｂｅｌフィルタを適宜拡大・縮小して適用してよい。図３（ａ）に示すＳｏｂｅｌフィルタを目画像に適用すると、周辺画素の輝度差（輝度勾配）が大きい注目画素（フィルタの中心に位置する画素）に対応する値（微分値）は、左から右に向かって輝度が小さくなる目画像の箇所については、負の値になる。また、左から右に向かって輝度が大きくなる目画像の箇所については、微分値は正の値になる。輝度勾配の大きさに応じて、微分値の絶対値は大きくなる。左から右に向かって輝度が変化しない目画像の箇所については、微分値は０になる。微分値の絶対値は、エッジ強度と言うことができる。
【００５６】
３値化部３２は、第１微分部３１から目画像の各位置に対応する輝度勾配（微分値）を取得し、目画像の輝度勾配を３値化してエッジ点を抽出し、第１エッジ画像を生成する。
【００５７】
具体的には、３値化部３２は、水平方向Ｓｏｂｅｌフィルタを適用して得た微分値ｄｘを、正の閾値ｔａおよび負の閾値ｔｂによって３値化する。目画像の各位置について、ｄｘ≦ｔｂであれば−１、ｔｂ＜ｄｘ＜ｔａであれば０、ｔａ≦ｄｘであれば１とする。ここでは、｜ｔｂ｜＝ｔａとする。第１エッジ画像の値は、−１、０、１のいずれかであり、３値化された値が−１の箇所は、左側の輝度が右側の輝度より大きい箇所（エッジ点）である。また、３値化された値が１の箇所は、左側の輝度が右側の輝度より小さい箇所（エッジ点）である。また、３値化された値が０の箇所は、左側の輝度と右側の輝度との差が小さい箇所である。
【００５８】
図４は、３値化された水平方向の輝度勾配の値を有する第１エッジ画像を示す図である。水平方向の輝度勾配のみを３値化することにより、横方向に延びる上瞼および下瞼の境界のエッジを除去することができる。すなわち、縦方向に延びる瞳と白目との境界を主に検出できる。さらに、瞳の左側の境界は、３値化された輝度勾配の値が−１となり、瞳の右側の境界は、３値化された輝度勾配の値が１となる。これにより、瞳の左側と右側とを区別することができる。なお、肌の領域は白目の領域より輝度が小さいことが多いので、目頭点Ｅａに近い位置の３値化された輝度勾配の値は１となり、目尻点Ｅｂに近い位置の３値化された輝度勾配の値は−１となる。
【００５９】
なお、微分フィルタとして、Ｓｏｂｅｌフィルタではなく、他の微分フィルタを用いてもよい。このとき、目頭から目尻への方向における輝度の変化に応じて、微分値を３値化できればよい。
【００６０】
第１投票部３３は、第１エッジ画像のエッジに位置する各画素（値が−１および１の画素）を投票実行画素として、ハフ変換によって第１エッジ画像に含まれる円を検出するための投票を行う。ここで、第１投票部３３は、３値化された値に応じて投票対象に重みづけをして、投票を行う。
【００６１】
円の検出を行うので、投票対象であるハフ空間のパラメータは円の中心座標（Ｘｃ、Ｙｃ）および円の半径Ｒｃの３つである。また、瞳の領域は、白目の領域より輝度が小さいと考えられる。よって、瞳と白目との境界のうち、左側の境界の３値化された値は必ず−１になり、右側の境界の３値化された値は必ず１になる。すなわち、瞳を表す円の中心座標（Ｘｃ、Ｙｃ）は、多くの３値化された値が−１である投票実行画素より右側に位置し、多くの３値化された値が１である投票実行画素より左側に位置すると考えられる。
【００６２】
よって、第１投票部３３は、第１エッジ画像の各投票実行画素について、その投票実行画素の３値化された値が−１であれば、その投票実行画素を通り、その投票実行画素のｘ座標より右側に中心座標がある円に対する投票の重みを大きくして投票し、左側に中心座標がある円に対する投票の重みを小さくして投票する。また、その投票実行画素の３値化された値が１であれば、その投票実行画素を通り、その投票実行画素のｘ座標より右側に中心座標がある円に対する投票の重みを小さくして投票し、左側に中心座標がある円に対する投票の重みを大きくして投票する。例えば、３値化された値が−１である投票実行画素からの投票において、その投票実行画素を通り、その投票実行画素より左側に中心がある円に対しては重み（投票数）１で投票し、その投票実行画素より右側に中心がある円に対しては重み（投票数）２で投票する。
【００６３】
瞳輪郭特定部３４は、第１投票部３３による投票結果に基づき、最も多くの投票数を得た円（Ｘｃ、Ｙｃ、Ｒｃ）を、瞳の輪郭を表す円として特定する。瞳輪郭特定部３４は、特定した円の中心座標（Ｘｃ、Ｙｃ）および半径Ｒｃを、瞳領域特定部１７に出力する。
【００６４】
このように、３値化された輝度勾配と、投票対象（円）の位置に応じて、投票に重みづけをすることにより、瞳の輪郭をより表していると考えられる円の合計投票数が大きくなる。そのため、ノイズによって投票された円と、瞳の輪郭を表す円とを判別することができる。
【００６５】
なお、瞳を円ではなく楕円と仮定して、瞳輪郭検出部１５は、瞳の輪郭を表す楕円を重みづけ投票によって検出してもよい。この場合、第１投票部３３は、例えば、楕円の中心または２つの焦点が投票実行画素の左右いずれの側にあるかに応じて、該楕円への投票の重みを変化させてもよい。なお、一般的な楕円は、例えば２つの焦点の座標と、焦点からの距離の和とを表す５つのパラメータで表現される。
【００６６】
＜瞼輪郭検出部の構成＞
瞼輪郭検出部１６は、目画像抽出部１４から目画像を取得し、特徴検出部１３から対応する目頭点Ｅａおよび目尻点Ｅｂの座標を取得する。目頭点Ｅａおよび目尻点Ｅｂの座標は、目画像に対応付けられる。瞼輪郭検出部１６は、第２微分部（微分部）４１、２値化部（第１エッジ抽出部）４２、第２投票部（曲線特定部）４３、および瞼輪郭特定部（曲線特定部）４４を備える。
【００６７】
なお、上瞼および下瞼の輪郭の検出は、別々に行われる。以下、上瞼の輪郭を検出する場合について説明するが、下瞼の輪郭も同様にして検出することができる。
【００６８】
第２微分部４１は、目画像に微分フィルタを適用し、輝度勾配を求める。第２微分部４１は、第１微分部３１とは異なり、縦方向および横方向における輝度勾配を求める。
【００６９】
具体的には、第２微分部４１は、目画像に対してｙ方向およびｘ方向に微分フィルタ（ここではＳｏｂｅｌフィルタ）を適用し、輝度勾配の絶対値をエッジ強度として検出する。図３（ｂ）は、ｙ方向のＳｏｂｅｌフィルタを示す図である。なお、目画像またはＳｏｂｅｌフィルタを適宜拡大・縮小して適用してよい。第２微分部４１は、ｙ方向のＳｏｂｅｌフィルタおよびｘ方向のＳｏｂｅｌフィルタをそれぞれ適用し、ｙ方向の微分値の絶対値とｘ方向の微分値の絶対値との和を、目画像の各位置におけるエッジ強度とする。
【００７０】
２値化部４２は、第２微分部４１から目画像の各位置に対応するエッジ強度（微分値の絶対値）を取得し、目画像のエッジ強度を２値化してエッジ点を抽出し、第２エッジ画像を生成する。
【００７１】
具体的には、２値化部４２は、Ｓｏｂｅｌフィルタを適用して得た微分値の絶対値ｄｚを、閾値ｔｃによって２値化する。目画像の各位置について、ｄｚ＜ｔｃであれば０、ｔｃ≦ｄｚであれば１とする。第２エッジ画像の値は、０、１のいずれかであり、エッジ強度が大きい箇所（エッジ点）は１となり、エッジ強度が小さい箇所は０となる。
【００７２】
図５は、２値化されたエッジ強度を有する第２エッジ画像を示す図である。２値化することにより、輝度差が大きい肌と目との境界（瞼の輪郭）、および、瞳と白目との境界（瞳の境界）が主に抽出される。なお、微分フィルタとして、Ｓｏｂｅｌフィルタではなく、他の微分フィルタを用いてもよい。
【００７３】
第２投票部４３は、第２エッジ画像のエッジに位置する各画素（値が１の画素）を投票実行画素として、ハフ変換によって瞼の輪郭を表す曲線を検出するための投票を行う。なお、上瞼の輪郭を表す曲線を検出する場合、下瞼のエッジはノイズになるので、第２エッジ画像の目頭点Ｅａおよび目尻点Ｅｂの上側（図５に示す線Ａの上側）に位置する該画素を投票実行画素とする。
【００７４】
本実施形態では、Ｂスプライン曲線を用いて瞼の輪郭を表現する。１つの区間の２次Ｂスプライン曲線は、２つの端点と、１つの制御点によって定義することができる。Ｂスプライン曲線は、制御点に向かって凸になっている。Ｂスプライン曲線は、制御点の位置に応じて、曲線の凸になる位置を変化させることができるので、画像の中の顔が少し横を向いている場合でも、瞼の輪郭を正確に表現することができる。瞼の輪郭の端点である目頭点Ｅａおよび目尻点Ｅｂの座標は既知であるので、ここでは、１つの制御点の座標（Ｘｂ、Ｙｂ）を求めればよい。
【００７５】
具体的には、第２投票部４３は、第２エッジ画像の目頭点Ｅａおよび目尻点Ｅｂの上側に位置する各投票実行画素について、該投票実行画素を通るＢスプライン曲線の制御点（Ｘｂ、Ｙｂ）に投票する。投票対象となる制御点の範囲（ハフ空間での投票範囲）は必要に応じて所定の範囲等に制限してよい。なお上瞼の場合、制御点は目頭点Ｅａおよび目尻点Ｅｂの上側にあると考えられる。
【００７６】
瞼輪郭特定部４４は、第２投票部４３による投票結果に基づき、最も多くの投票数を得た制御点（Ｘｂ、Ｙｂ）で表されるＢスプライン曲線を、上瞼の輪郭を表す曲線として特定する。特定されたＢスプライン曲線は、目頭点Ｅａおよび目尻点Ｅｂを区間の端点とし、制御点（Ｘｂ、Ｙｂ）で表される曲線である。瞼輪郭特定部４４は、目頭点Ｅａ、目尻点Ｅｂの座標、および特定した制御点（Ｘｂ、Ｙｂ）を、瞳領域特定部１７に出力する。
【００７７】
なお、２次Ｂスプライン曲線に限らず、より高次のＢスプライン曲線またはベジエ曲線等の、いくつかの制御点と、曲線が通過する両端点（目頭点および目尻点）とによって表される曲線を用いて、瞼の輪郭を検出してもよい。
【００７８】
上記の制御点と端点とで表される曲線によって瞼の輪郭を表す場合、曲線が通過する両端点（目頭点および目尻点）は従来の特徴検出技術により既知であるので、瞼の輪郭を検出するためには、残る制御点の座標を特定するだけでよい。そのため、制御点をハフ変換により容易に求めることができる。また、両端点と制御点により表現される曲線（Ｂスプライン曲線等）によれば、様々な瞼の輪郭を精度よく表すことができ、瞼の輪郭を正確に特定することができる。なお、制御点が１つの２次Ｂスプライン曲線を用いても、様々な瞼の輪郭を精度よく表すことができる上、ハフ空間でのパラメータが２つ（Ｘｂ、Ｙｂ）なので、円を検出する場合よりも計算が少なくて済む。
【００７９】
なお、ハフ変換の代わりに、最小二乗法等を用いて、目画像の２値化されたエッジにフィット（適合）するＢスプライン曲線を、瞼の輪郭を表す曲線として求めることもできる。
【００８０】
下瞼についても、上瞼と同様に、目頭点Ｅａおよび目尻点Ｅｂの下側に位置するエッジの各画素から投票を行い、下瞼の輪郭を表すＢスプライン曲線の制御点を特定する。なお、上記の例では上瞼および下瞼に対して別々に投票を行うが、目画像の上下の全てのエッジからまとめて投票を行い、投票数の多い上下２つの曲線を上瞼を表す曲線および下瞼を表す曲線として特定してもよい。
【００８１】
＜画像処理フロー＞
以下に、画像処理装置６における画像補正処理の流れについて説明する。図６は、画像処理装置６における画像補正処理の流れを示すフローチャートである。なお、ここでは、簡単のため、検出された１つの目に対して処理を行う場合について説明する。
【００８２】
画像取得部１１は、撮像装置３から撮像された画像を受け取る（Ｓ１）。
【００８３】
顔検出部１２は、処理対象となる画像に含まれる顔画像を検出し、その顔画像の位置を特定する（Ｓ２）。
【００８４】
特徴検出部１３は、検出された顔画像に含まれる、目頭点および目尻点の位置を検出する（Ｓ３）。
【００８５】
目画像抽出部１４は、処理対象となる顔画像の目を含む所定の領域の画像を抽出し、図２に示される目画像を生成する（Ｓ４）。このとき、目尻点と目頭点との位置関係が水平になるように必要に応じて回転させる。
【００８６】
第１微分部３１は、目画像にｘ方向の微分を行う微分フィルタを適用し、目の水平方向における輝度勾配を検出する（Ｓ５）。
【００８７】
３値化部３２は、目画像の輝度勾配を３値化する（Ｓ６）。これにより、目画像の水平方向（横方向）における明暗の変化に応じて、−１、０、１の値に３値化することができる。図４は、３値化された第１エッジ画像を示す図である。
【００８８】
第１投票部３３は、第１エッジ画像のエッジに位置する各画素（値が−１および１の画素）を投票実行画素として、３値化された値に応じて投票対象に重みづけをして、ハフ変換によって円を検出するための投票を行う（Ｓ７）。
【００８９】
瞳輪郭特定部３４は、第１投票部３３による投票結果に基づき、最も多くの投票数を得た円（Ｘｃ、Ｙｃ、Ｒｃ）を、瞳の輪郭を表す円として特定する（Ｓ８）。
【００９０】
第２微分部４１は、目画像に微分フィルタを適用し、縦方向および横方向における輝度勾配を検出する（Ｓ９）。
【００９１】
２値化部４２は、エッジ強度に応じて目画像の輝度勾配を２値化する（Ｓ１０）。図５は、２値化された第２エッジ画像を示す図である。
【００９２】
第２投票部４３は、第２エッジ画像の上側に位置するエッジに対応する各画素（値が１の画素）を投票実行画素として、ハフ変換によってＢスプライン曲線を検出するための投票を行う（Ｓ１１）。
【００９３】
瞼輪郭特定部４４は、第２投票部４３による投票結果に基づき、最も多くの投票数を得た制御点（Ｘｂ１、Ｙｂ１）で表されるＢスプライン曲線を、上瞼の輪郭を表す曲線として特定する（Ｓ１２）。
【００９４】
また、第２投票部４３は、第２エッジ画像の下側に位置するエッジに対応する各画素（値が１の画素）を投票実行画素として、ハフ変換によってＢスプライン曲線を検出するための投票を行う（Ｓ１３）。
【００９５】
瞼輪郭特定部４４は、第２投票部４３による投票結果に基づき、最も多くの投票数を得た制御点（Ｘｂ２、Ｙｂ２）で表されるＢスプライン曲線を、下瞼の輪郭を表す曲線として特定する（Ｓ１４）。
【００９６】
図７は、特定された瞳の輪郭を表す円と、特定された瞼の輪郭を表す曲線とを示す図である。図７では、瞳の輪郭を表す円Ｅｃが破線で示され、上瞼の輪郭を表す曲線Ｅｄおよび下瞼の輪郭を表す曲線Ｅｅが実線で示されている。
【００９７】
瞳領域特定部１７は、瞳の輪郭を表す円Ｅｃの内部であり、かつ、上瞼の輪郭を表す曲線Ｅｄの下側であり、かつ、下瞼の輪郭を表す曲線Ｅｅの上側である領域を、瞳領域Ｅｐとして特定する（Ｓ１５）。
【００９８】
画像補正部１８は、顔画像における瞳領域の瞳色補正を行う（Ｓ１６）。
【００９９】
画像処理装置６は、画像記憶装置４または表示装置５に補正された画像を出力し、処理を終了する。
【０１００】
本実施形態では、上述したように、目画像のｘ方向（目頭と目尻とがほぼ並ぶ方向）における輝度の変化（減少、無し、増大）を３値化し、ハフ変換において、ｘ方向における輝度の変化に応じて投票対象（円）に重みをつけて投票を行う。よって、瞼の輪郭等のノイズを排除することができる。また、３値化によって瞳の左側の輪郭と瞳の右側の輪郭とを区別し、それに応じて投票対象の重みを変えて投票することにより、瞳の輪郭をより表していると考えられる円の投票数が大きくなるようにすることができる。よって、瞳の輪郭を表す円を正確に特定することができる。このように、画像の中の検出対象である瞳は周囲の白目の部分より輝度が小さいという事前知識を、３値化とそれに応じた重みづけによって検出処理に組み込むことができる。よって、一般的な従来のハフ変換を用いた円形の検出よりも、正確に瞳の輪郭を検出することができる。
【０１０１】
また、撮影された画像に赤目が発生している場合、目画像の瞳の中に輝度の大きな赤目領域が存在する。輝度が小さい瞳の中の輝度が大きい赤目領域の境界は、３値化によって、例えば左側が１、右側が−１となり、瞳のそれぞれの境界と逆の値になる。赤目領域の左側の境界（値が１）は、そのさらに左側に中心が位置する円に対して重みが大きくなり、赤目領域の右側の境界（値が−１）は、そのさらに右側に中心が位置する円に対して重みが大きくなる。よって、ノイズである赤目領域の境界による投票の重みは異なる領域に分散することになる。そのため、赤目領域を瞳領域として誤検出することを防ぐことができる。このように、３値化に対する重みづけによって、ハフ変換においてノイズのエッジ点の影響を受けにくくすることができる。
【０１０２】
また、顔の向き、個人差によって様々に変わりうる上下の各瞼の輪郭を、制御点と両端点とで表される曲線（Ｂスプライン曲線等）で表現する。Ｂスプライン曲線等は、制御点の座標によって曲線の凸の向きと位置とを調整することができるので、様々な形状である瞼の輪郭を、正確に表現することができる。目頭点および目尻点は、公知の技術によって容易に取得することができるので、両端点は既知である。そのため、目画像のエッジに基づいて、残る制御点を容易にハフ変換を用いて特定することができる。
【０１０３】
このようにして特定された瞳の輪郭を表す円と瞼の輪郭を表す曲線とに基づき、瞼によって部分的に隠れた画像中の瞳の領域を、精度よく特定することができる。よって、瞳の領域に正確に補正を行うことができる。また、正確に特定された瞳の領域に基づき、目等の補正を行うことができる。
【０１０４】
また、瞳の領域および瞳の中心を正確に検出することができるので、静止画または動画から人物の瞳を検出し、その情報を利用する様々な技術に応用することができる。例えば、検出した瞳から被写体（特に幼児）の視線を推定し、視線がカメラに向いたときに自動でシャッターを切るオートシャッター機能、または、検出した瞳から運転手の運転状態（わき見運転等）を推定し、警告等を行う車載ドライビングシステム等に利用することができる。
【０１０５】
［実施形態２］
本実施形態では、瞼検出において縦方向（ｙ方向）にのみ微分を行う構成について説明する。なお、説明の便宜上、実施形態１にて説明した図面と同じ機能を有する部材・構成については、同じ符号を付記し、その詳細な説明を省略する。以下、本実施形態について、図面を参照して詳細に説明する。
【０１０６】
本実施形態のデジタルカメラの機能構成は、図１に示す実施形態１のデジタルカメラ１と同様である。本実施形態では、瞼輪郭検出部１６の各部の処理のみが実施形態１と異なる。
【０１０７】
第２微分部４１は、目画像に微分フィルタを適用し、縦方向における輝度勾配を求める。実施形態１と異なり本実施形態では、第２微分部４１は、縦方向における輝度勾配を求め、横方向（水平方向）における輝度勾配は求めない。
【０１０８】
具体的には、第２微分部４１は、目画像に対してｙ方向に微分フィルタ（ここではＳｏｂｅｌフィルタ）を適用し、縦方向の輝度勾配の絶対値をエッジ強度として求める。第２微分部４１は、ｙ方向のＳｏｂｅｌフィルタを適用し、ｙ方向の微分値の絶対値を、目画像の各位置におけるエッジ強度とする。
【０１０９】
２値化部４２は、第２微分部４１から目画像の各位置に対応するエッジ強度（微分値の絶対値）を取得し、目画像のエッジ強度を２値化した第３エッジ画像を生成する。
【０１１０】
具体的には、２値化部４２は、Ｓｏｂｅｌフィルタを適用して得た微分値の絶対値ｄｙを、閾値ｔｄによって２値化する。目画像の各位置について、ｄｙ＜ｔｄであれば０、ｔｄ≦ｄｙであれば１とする。第３エッジ画像の値は、０、１のいずれかであり、エッジ強度が大きい箇所は１となり、エッジ強度が小さい箇所は０となる。
【０１１１】
図８は、２値化された縦方向のエッジ強度を有する第３エッジ画像を示す図である。縦方向のエッジ強度を２値化することにより、縦方向に延びる瞳と白目との境界のエッジの一部を除去することができる。すなわち、横方向に延びる瞼と白目または瞳との境界を主に抽出することができる。
【０１１２】
第２投票部４３は、第３エッジ画像のエッジに位置する各画素（値が１の画素）を投票実行画素として、ハフ変換によって瞼の輪郭を表す曲線（Ｂスプライン曲線）を検出するための投票を行う。なお、上瞼の輪郭を表す曲線を検出する場合、下瞼のエッジはノイズになるので、第３エッジ画像の目頭点Ｅａおよび目尻点Ｅｂの上側（図８に示す線Ｂの上側）に位置する該画素を投票実行画素とする。
【０１１３】
瞼輪郭特定部４４は、第２投票部４３による投票結果に基づき、最も多くの投票数を得た制御点で表されるＢスプライン曲線を、上瞼の輪郭を表す曲線として特定する。
【０１１４】
本実施形態によれば、瞼の輪郭を検出する際にノイズとなる瞳の輪郭の一部のエッジを除去することができる。よって、より正確に瞼の輪郭を表す曲線を特定し、それを用いて精度よく瞳領域を特定することができる。
【０１１５】
なお、２値化において、微分値の絶対値を２値化するのではなく、輝度勾配に応じて正負の値を取り得る微分値を閾値によって２値化してもよい。例えば、輝度の関係が、「瞳＜肌（瞼）＜白目」となっている場合、上瞼の輪郭において、上瞼と瞳との境界と、上瞼と白目との境界とは、微分値の正負の符号が逆になると考えられる。そのため、２値化によって上瞼と瞳との境界のエッジのみを残すことができる。瞳領域を精度よく特定するためには、瞳と瞼との境界を正確に検出できればよく、白目と瞼との境界は必ずしも特定しなくてもよい。よって、上瞼と瞳との境界のエッジのみにフィットするＢスプライン曲線を求めることで、瞳領域を精度よく特定することができる。なお、この場合、目頭点Ｅａおよび目尻点Ｅｂの上側と下側とについて、異なる閾値を用いて別々に２値化する。
【０１１６】
最後に、画像処理装置６の各ブロック、特に画像取得部１１、顔検出部１２、特徴検出部１３、目画像抽出部１４、瞳輪郭検出部１５、瞼輪郭検出部１６、瞳領域特定部１７、画像補正部１８、出力部１９、第１微分部３１、３値化部３２、第１投票部３３、瞳輪郭特定部３４、第２微分部４１、２値化部４２、第２投票部４３、および瞼輪郭特定部４４は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。
【０１１７】
すなわち、画像処理装置６は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置６の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置６に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１１８】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１１９】
また、画像処理装置６を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【０１２０】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１２１】
本発明は、画像処理装置を備えるデジタルカメラ等に利用することができる。
【符号の説明】
【０１２２】
１    デジタルカメラ
２    指示入力装置
３    撮像装置
４    画像記憶装置
５    表示装置
６    画像処理装置
１１    画像取得部
１２    顔検出部
１３    特徴検出部
１４    目画像抽出部
１５    瞳輪郭検出部
１６    瞼輪郭検出部
１７    瞳領域特定部
１８    画像補正部
１９    出力部
３１    第１微分部（微分部）
３２    ３値化部（第２エッジ抽出部）
３３    第１投票部（投票部）
３４    瞳輪郭特定部
４１    第２微分部（微分部）
４２    ２値化部（第１エッジ抽出部）
４３    第２投票部（曲線特定部）
４４    瞼輪郭特定部（曲線特定部）
【図１】
2012190351.tif 000003
【図２】
2012190351.tif 000004
【図３】
2012190351.tif 000005
【図４】
2012190351.tif 000006
【図５】
2012190351.tif 000007
【図６】
2012190351.tif 000008
【図７】
2012190351.tif 000009
【図８】
2012190351.tif 000010
【手続補正書】
【提出日】平成23年7月12日(2011.7.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
人物の顔画像から目の特徴を特定する画像処理装置において、
上記顔画像の目がある目領域を、少なくとも目における縦方向に微分して第１輝度勾配を求める第１微分部と、
上記目領域について、上記第１輝度勾配に応じて第１エッジ点を抽出する第１エッジ抽出部と、
目頭点および目尻点を両端点とし、該両端点と制御点とによって表現される曲線であって、かつ、上記第１エッジ点に適合する上記曲線を、上瞼または下瞼の輪郭を表す曲線として特定する曲線特定部とを備え、
上記両端点と制御点とによって表現される上記曲線は、Ｂスプライン曲線またはベジエ曲線であり、
上記曲線特定部は、ハフ変換を用いて、上記第１エッジ点について、投票対象である上記制御点に対して投票を行い、該投票結果に基づいて、上記第１エッジ点に適合する上記両端点と少なくとも１つの上記制御点とによって表現されるＢスプライン曲線またはベジエ曲線を上記上瞼または下瞼の輪郭を表す曲線として特定することを特徴とする画像処理装置。
【請求項２】
上記曲線特定部は、ハフ変換を用いて、上記第１エッジ点について、投票対象である上記制御点に対して投票を行い、該投票結果に基づいて、上記第１エッジ点に適合する上記両端点と１つの上記制御点とによって表現されるＢスプライン曲線を上記上瞼または下瞼の輪郭を表す曲線として特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記曲線特定部は、上記目頭点と上記目尻点とを結ぶ線より上側に位置する上記第１エッジ点から上記上瞼の輪郭を表す曲線を特定し、上記目頭点と上記目尻点とを結ぶ線より下側に位置する上記第１エッジ点から上記下瞼の輪郭を表す曲線を特定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
上記第１微分部は、上記目領域を、目における縦方向に微分した値を上記第１輝度勾配として求め、
上記第１エッジ抽出部は、上記第１輝度勾配の絶対値が第１閾値より大きい点を上記第１エッジ点として抽出することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
上記目領域を、目における横方向に微分して第２輝度勾配を求める第２微分部と、
上記目領域について、上記第２輝度勾配に応じて、左側が右側より明るい境界に対応する第２エッジ点と、左側が右側より暗い境界に対応する第３エッジ点とを、エッジ点として抽出する第２エッジ抽出部と、
ハフ変換を用いて、第２および第３の各エッジ点について、上記第２エッジ点および上記第３エッジ点のいずれであるかに応じて、かつ、投票対象である楕円と該エッジ点との位置関係に応じて、上記楕円に対する投票の重みを変えて投票を行う投票部と、
上記投票部の投票結果に基づいて、瞳の輪郭を表す楕円を特定する瞳輪郭特定部とを備えることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
上記投票部の投票対象は円であり、
上記瞳輪郭特定部は、上記投票部の投票結果に基づいて、瞳の輪郭を表す円を特定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
上記曲線特定部は、上記目頭点または上記目尻点より上側に位置する上記第１エッジ点に適合する上記曲線を上瞼の輪郭を表す曲線として特定し、上記目頭点または上記目尻点より下側に位置する上記第１エッジ点に適合する上記曲線を下瞼の輪郭を表す曲線として特定し、
上記瞳の輪郭を表す楕円、上記上瞼の輪郭を表す曲線、および上記下瞼の輪郭を表す曲線に基づき、上記顔画像における瞳の領域を特定する瞳領域特定部を備えることを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
上記投票部は、
上記第２エッジ点から投票する場合、該第２エッジ点より中心座標が左に位置する上記楕円に対する重みより、該第２エッジ点より中心座標が右に位置する上記楕円に対する重みを大きくして投票し、
上記第３エッジ点から投票する場合、該第３エッジ点より中心座標が右に位置する上記楕円に対する重みより、該第３エッジ点より中心座標が左に位置する上記楕円に対する重みを大きくして投票することを特徴とする請求項５から７のいずれか一項に記載の画像処理装置。
【請求項９】
上記第２微分部は、上記目領域を、目頭と目尻とが並ぶ方向に沿って微分して上記第２輝度勾配を求め、
上記第２エッジ抽出部は、正の第２閾値および負の第３閾値によって上記第２輝度勾配を３値化し、上記３値化された第２輝度勾配に応じて上記第２エッジ点および上記第３エッジ点を抽出することを特徴とする請求項５から８のいずれか一項に記載の画像処理装置。
【請求項１０】
人物の顔画像から目の特徴を特定する画像処理装置において、
上記顔画像の目がある目領域を、少なくとも目における縦方向に微分して第１輝度勾配を求める第１微分部と、
上記目領域について、上記第１輝度勾配に応じて第１エッジ点を抽出する第１エッジ抽出部と、
目頭点および目尻点を両端点とし、該両端点と制御点とによって表現される曲線であって、かつ、上記第１エッジ点に適合する上記曲線を、上瞼または下瞼の輪郭を表す曲線として特定する曲線特定部とを備え、
上記両端点と制御点とによって表現される上記曲線は、Ｂスプライン曲線またはベジエ曲線であり、当該画像処理装置は、さらに
上記目領域を、目における横方向に微分して第２輝度勾配を求める第２微分部と、
上記目領域について、上記第２輝度勾配に応じて、左側が右側より明るい境界に対応する第２エッジ点と、左側が右側より暗い境界に対応する第３エッジ点とを、エッジ点として抽出する第２エッジ抽出部と、
ハフ変換を用いて、第２および第３の各エッジ点について、上記第２エッジ点および上記第３エッジ点のいずれであるかに応じて、かつ、投票対象である楕円と該エッジ点との位置関係に応じて、上記楕円に対する投票の重みを変えて投票を行う投票部と、
上記投票部の投票結果に基づいて、瞳の輪郭を表す楕円を特定する瞳輪郭特定部とを備え、
上記曲線特定部は、上記目頭点または上記目尻点より上側に位置する上記第１エッジ点に適合する上記曲線を上瞼の輪郭を表す曲線として特定し、上記目頭点または上記目尻点より下側に位置する上記第１エッジ点に適合する上記曲線を下瞼の輪郭を表す曲線として特定し、当該画像処理装置は、さらに
上記瞳の輪郭を表す楕円、上記上瞼の輪郭を表す曲線、および上記下瞼の輪郭を表す曲線に基づき、上記顔画像における瞳の領域を特定する瞳領域特定部を備えることを特徴とする画像処理装置。
【請求項１１】
人物の顔画像から目の特徴を特定する画像処理方法において、
上記顔画像の目がある目領域を、少なくとも目における縦方向に微分して第１輝度勾配を求める第１微分ステップと、
上記目領域について、上記第１輝度勾配に応じて第１エッジ点を抽出する第１エッジ抽出ステップと、
目頭点および目尻点を両端点とし、該両端点と制御点とによって表現される曲線であって、かつ、上記第１エッジ点に適合する上記曲線を、上瞼または下瞼の輪郭を表す曲線として特定する曲線特定ステップとを含み、
上記両端点と制御点とによって表現される上記曲線は、Ｂスプライン曲線またはベジエ曲線であり、
上記曲線特定ステップでは、ハフ変換を用いて、上記第１エッジ点について、投票対象である上記制御点に対して投票を行い、該投票結果に基づいて、上記第１エッジ点に適合する上記両端点と少なくとも１つの上記制御点とによって表現されるＢスプライン曲線またはベジエ曲線を上記上瞼または下瞼の輪郭を表す曲線として特定することを特徴とする画像処理方法。
【請求項１２】
人物の顔画像から目の特徴を特定する画像処理方法において、
上記顔画像の目がある目領域を、少なくとも目における縦方向に微分して第１輝度勾配を求める第１微分ステップと、
上記目領域について、上記第１輝度勾配に応じて第１エッジ点を抽出する第１エッジ抽出ステップと、
目頭点および目尻点を両端点とし、該両端点と制御点とによって表現される曲線であって、かつ、上記第１エッジ点に適合する上記曲線を、上瞼または下瞼の輪郭を表す曲線として特定する曲線特定ステップとを含み、
上記両端点と制御点とによって表現される上記曲線は、Ｂスプライン曲線またはベジエ曲線であり、当該画像処理方法は、さらに
上記目領域を、目における横方向に微分して第２輝度勾配を求める第２微分ステップと、
上記目領域について、上記第２輝度勾配に応じて、左側が右側より明るい境界に対応する第２エッジ点と、左側が右側より暗い境界に対応する第３エッジ点とを、エッジ点として抽出する第２エッジ抽出ステップと、
ハフ変換を用いて、第２および第３の各エッジ点について、上記第２エッジ点および上記第３エッジ点のいずれであるかに応じて、かつ、投票対象である楕円と該エッジ点との位置関係に応じて、上記楕円に対する投票の重みを変えて投票を行う投票ステップと、
上記投票ステップにおける投票結果に基づいて、瞳の輪郭を表す楕円を特定する瞳輪郭特定ステップとを含み、
上記曲線特定ステップでは、上記目頭点または上記目尻点より上側に位置する上記第１エッジ点に適合する上記曲線を上瞼の輪郭を表す曲線として特定し、上記目頭点または上記目尻点より下側に位置する上記第１エッジ点に適合する上記曲線を下瞼の輪郭を表す曲線として特定し、当該画像処理方法は、さらに
上記瞳の輪郭を表す楕円、上記上瞼の輪郭を表す曲線、および上記下瞼の輪郭を表す曲線に基づき、上記顔画像における瞳の領域を特定する瞳領域特定ステップを含むことを特徴とする画像処理方法。
【手続補正書】
【提出日】平成23年10月14日(2011.10.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
人物の顔画像から目の特徴を特定する画像処理装置において、
上記顔画像の目がある目領域を、少なくとも目における縦方向に微分して第１輝度勾配
を求める第１微分部と、
上記目領域について、上記第１輝度勾配に応じて第１エッジ点を抽出する第１エッジ抽
出部と、
目頭点および目尻点を両端点とし、該両端点と制御点とによって表現される曲線であっ
て、かつ、上記第１エッジ点に適合する上記曲線を、上瞼または下瞼の輪郭を表す曲線と
して特定する曲線特定部とを備え、
上記両端点と制御点とによって表現される上記曲線は、Ｂスプライン曲線またはベジエ
曲線であり、
上記曲線特定部は、ハフ変換を用いて、上記第１エッジ点について、投票対象である上
記制御点に対して投票を行い、該投票結果に基づいて、上記第１エッジ点に適合する上記
両端点と少なくとも１つの上記制御点とによって表現されるＢスプライン曲線またはベジ
エ曲線を上記上瞼または下瞼の輪郭を表す曲線として特定することを特徴とする画像処理
装置。
【請求項２】
上記曲線特定部は、ハフ変換を用いて、上記第１エッジ点について、投票対象である上
記制御点に対して投票を行い、該投票結果に基づいて、上記第１エッジ点に適合する上記
両端点と１つの上記制御点とによって表現されるＢスプライン曲線を上記上瞼または下瞼
の輪郭を表す曲線として特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記曲線特定部は、上記目頭点と上記目尻点とを結ぶ線より上側に位置する上記第１エ
ッジ点から上記上瞼の輪郭を表す曲線を特定し、上記目頭点と上記目尻点とを結ぶ線より
下側に位置する上記第１エッジ点から上記下瞼の輪郭を表す曲線を特定することを特徴と
する請求項１または２に記載の画像処理装置。
【請求項４】
上記第１微分部は、上記目領域を、目における縦方向に微分した値を上記第１輝度勾配
として求め、
上記第１エッジ抽出部は、上記第１輝度勾配の絶対値が第１閾値より大きい点を上記第
１エッジ点として抽出することを特徴とする請求項１から３のいずれか一項に記載の画像
処理装置。
【請求項５】
上記目領域を、目における横方向に微分して第２輝度勾配を求める第２微分部と、
上記目領域について、上記第２輝度勾配に応じて、左側が右側より明るい境界に対応す
る第２エッジ点と、左側が右側より暗い境界に対応する第３エッジ点とを、エッジ点とし
て抽出する第２エッジ抽出部と、
ハフ変換を用いて、第２および第３の各エッジ点について、上記第２エッジ点および上
記第３エッジ点のいずれであるかに応じて、かつ、投票対象である楕円と該エッジ点との
位置関係に応じて、上記楕円に対する投票の重みを変えて投票を行う投票部と、
上記投票部の投票結果に基づいて、瞳の輪郭を表す楕円を特定する瞳輪郭特定部とを備
えることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
上記投票部の投票対象は円であり、
上記瞳輪郭特定部は、上記投票部の投票結果に基づいて、瞳の輪郭を表す円を特定する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
上記曲線特定部は、上記目頭点または上記目尻点より上側に位置する上記第１エッジ点
に適合する上記曲線を上瞼の輪郭を表す曲線として特定し、上記目頭点または上記目尻点
より下側に位置する上記第１エッジ点に適合する上記曲線を下瞼の輪郭を表す曲線として
特定し、
上記瞳の輪郭を表す楕円、上記上瞼の輪郭を表す曲線、および上記下瞼の輪郭を表す曲
線に基づき、上記顔画像における瞳の領域を特定する瞳領域特定部を備えることを特徴と
する請求項５または６に記載の画像処理装置。
【請求項８】
上記投票部は、
上記第２エッジ点から投票する場合、該第２エッジ点より中心座標が左に位置する上記
楕円に対する重みより、該第２エッジ点より中心座標が右に位置する上記楕円に対する重
みを大きくして投票し、
上記第３エッジ点から投票する場合、該第３エッジ点より中心座標が右に位置する上記
楕円に対する重みより、該第３エッジ点より中心座標が左に位置する上記楕円に対する重
みを大きくして投票することを特徴とする請求項５から７のいずれか一項に記載の画像処
理装置。
【請求項９】
上記第２微分部は、上記目領域を、目頭と目尻とが並ぶ方向に沿って微分して上記第２
輝度勾配を求め、
上記第２エッジ抽出部は、正の第２閾値および負の第３閾値によって上記第２輝度勾配
を３値化し、上記３値化された第２輝度勾配に応じて上記第２エッジ点および上記第３エ
ッジ点を抽出することを特徴とする請求項５から８のいずれか一項に記載の画像処理装置
。
【請求項１０】
人物の顔画像から目の特徴を特定する画像処理方法において、
上記顔画像の目がある目領域を、少なくとも目における縦方向に微分して第１輝度勾配
を求める第１微分ステップと、
上記目領域について、上記第１輝度勾配に応じて第１エッジ点を抽出する第１エッジ抽
出ステップと、
目頭点および目尻点を両端点とし、該両端点と制御点とによって表現される曲線であっ
て、かつ、上記第１エッジ点に適合する上記曲線を、上瞼または下瞼の輪郭を表す曲線と
して特定する曲線特定ステップとを含み、
上記両端点と制御点とによって表現される上記曲線は、Ｂスプライン曲線またはベジエ
曲線であり、
上記曲線特定ステップでは、ハフ変換を用いて、上記第１エッジ点について、投票対象
である上記制御点に対して投票を行い、該投票結果に基づいて、上記第１エッジ点に適合
する上記両端点と少なくとも１つの上記制御点とによって表現されるＢスプライン曲線ま
たはベジエ曲線を上記上瞼または下瞼の輪郭を表す曲線として特定することを特徴とする
画像処理方法。