(57)【特許請求の範囲】
【請求項１】
車両運転者の顔状態を検出する顔状態検出装置であって、
車両運転者の顔を撮像した顔画像を入力する画像入力手段と、
車両運転者が車両前方を注視している前方注視状態を検出する前方注視状態検出手段と、
前記前方注視状態検出手段の検出結果に基づいて前記画像入力手段で入力した前方注視状態の顔画像を用いて顔画像の特徴量を算出し、該算出結果に基づいて、顔状態を検出するのに使用する特徴量を選定する特徴量選定手段と、
前記特徴量選定手段での特徴量の選定に用いた顔画像を更新し、顔状態を検出するのに使用する特徴量を、前記更新した顔状態から前記特徴量選定手段にて選定した特徴量に変更する特徴量変更手段と、
前記特徴量選定手段によって選定した特徴量を用いて顔の向きを顔状態として検出し、顔状態を検出するのに使用する特徴量を前記特徴量変更手段にて変更した場合には、該変更した特徴量を用いて顔の向きを顔状態として検出する顔状態検出手段とを備え、
上記特徴量選定手段は、顔状態を検出するのに使用する候補となる複数の特徴量を選定し、複数の特徴量から予め設定した優先順位に基づいて顔状態を検出するのに使用する特徴量を選定することを特徴とする顔状態検出装置。
【請求項２】
車両運転者の顔状態を検出する顔状態検出装置であって、
車両運転者の顔を撮像した顔画像を入力する画像入力手段と、
車両運転者が車両前方を注視している前方注視状態を検出する前方注視状態検出手段と、
前記前方注視状態検出手段の検出結果に基づいて前記画像入力手段で入力した前方注視状態の顔画像を用いて顔画像の特徴量を算出し、該算出結果に基づいて、顔状態を検出するのに使用する特徴量を選定する特徴量選定手段と、
前記特徴量選定手段での特徴量の選定に用いた顔画像を更新し、顔状態を検出するのに使用する特徴量を、前記更新した顔状態から前記特徴量選定手段にて選定した特徴量に変更する特徴量変更手段と、
前記特徴量選定手段によって選定した特徴量を用いて顔の向きを顔状態として検出し、顔状態を検出するのに使用する特徴量を前記特徴量変更手段にて変更した場合には、該変更した特徴量を用いて顔の向きを顔状態として検出する顔状態検出手段とを備え、
上記特徴量選定手段は、初期段階で選定候補対象とした特徴量の算出が少なくとも１つで不能である場合に、次段階で選定候補対象を変更することを特徴とする顔状態検出装置。
【請求項３】
上記特徴量選定手段は、車両運転者の顔を構成している顔部位についての特徴量を初期段階での選定候補対象とし、車両運転者の顔に装着された装着物についての特徴量を次段階での選定候補対象とすることを特徴とする請求項２に記載の顔状態検出装置。
【請求項４】
車両運転者の顔状態を検出する顔状態検出装置であって、
車両運転者の顔を撮像した顔画像を入力する画像入力手段と、
車両運転者が車両前方を注視している前方注視状態を検出する前方注視状態検出手段と、
前記前方注視状態検出手段の検出結果に基づいて前記画像入力手段で入力した前方注視状態の顔画像を用いて顔画像の特徴量を算出し、該算出結果に基づいて、顔状態を検出するのに使用する特徴量を選定する特徴量選定手段と、
前記特徴量選定手段での特徴量の選定に用いた顔画像を更新し、顔状態を検出するのに使用する特徴量を、前記更新した顔状態から前記特徴量選定手段にて選定した特徴量に変更する特徴量変更手段と、
前記特徴量選定手段によって選定した特徴量を用いて顔の向きを顔状態として検出し、顔状態を検出するのに使用する特徴量を前記特徴量変更手段にて変更した場合には、該変更した特徴量を用いて顔の向きを顔状態として検出する顔状態検出手段とを備え、
上記特徴量選定手段は、選定候補対象である特徴量の数を、昼間と夜間との条件で変更することを特徴とする顔状態検出装置。
【請求項５】
車両運転者の顔状態を検出する顔状態検出方法であって、
車両運転者が車両前方を注視している前方注視状態を検出して、前方注視状態において車両運転者の顔を撮像した顔画像を入力する第１ステップと、
前記第１ステップにて入力した前方注視状態の顔画像を用いて、特徴量を算出する第２ステップと、
前記第２ステップにて算出した顔画像の特徴量に基づいて顔状態を検出するのに使用する特徴量を選定する第３ステップと、
前記第１ステップにて入力した顔画像を更新して、更新した顔画像に基づいて、顔状態を検出するのに使用する特徴量を変更する第４ステップとを有し、
前記第３ステップにて選定した特徴量を用いて顔の向きを顔状態として検出し、前記第４ステップにて特徴量の変更をした後には前記第４ステップにて変更した特徴量を用いて顔の向きを検出し、当該第３ステップ又は第４ステップでは、顔状態を検出するのに使用する候補となる複数の特徴量を選定し、複数の特徴量から予め設定した優先順位に基づいて顔状態を検出するのに使用する特徴量を選定することを特徴とする顔状態検出方法。
【請求項６】
車両運転者の顔状態を検出する顔状態検出方法であって、
車両運転者が車両前方を注視している前方注視状態を検出して、前方注視状態において車両運転者の顔を撮像した顔画像を入力する第１ステップと、
前記第１ステップにて入力した前方注視状態の顔画像を用いて、特徴量を算出する第２ステップと、
前記第２ステップにて算出した顔画像の特徴量に基づいて顔状態を検出するのに使用する特徴量を選定する第３ステップと、
前記第１ステップにて入力した顔画像を更新して、更新した顔画像に基づいて、顔状態を検出するのに使用する特徴量を変更する第４ステップとを有し、
前記第３ステップにて選定した特徴量を用いて顔の向きを顔状態として検出し、前記第４ステップにて特徴量の変更をした後には前記第４ステップにて変更した特徴量を用いて顔の向きを検出し、当該第３ステップ又は第４ステップでは、初期段階で選定候補対象とした特徴量の算出が少なくとも１つで不能である場合に、次段階で選定候補対象を変更することを特徴とする顔状態検出方法。
【請求項７】
上記第３ステップ又は第４ステップでは、車両運転者の顔を構成している顔部位についての特徴量を初期段階での選定候補対象とし、車両運転者の顔に装着された装着物についての特徴量を次段階での選定候補対象とすることを特徴とする請求項６に記載の顔状態検出方法。
【請求項８】
車両運転者の顔状態を検出する顔状態検出方法であって、
車両運転者が車両前方を注視している前方注視状態を検出して、前方注視状態において車両運転者の顔を撮像した顔画像を入力する第１ステップと、
前記第１ステップにて入力した前方注視状態の顔画像を用いて、特徴量を算出する第２ステップと、
前記第２ステップにて算出した顔画像の特徴量に基づいて顔状態を検出するのに使用する特徴量を選定する第３ステップと、
前記第１ステップにて入力した顔画像を更新して、更新した顔画像に基づいて、顔状態を検出するのに使用する特徴量を変更する第４ステップとを有し、
前記第３ステップにて選定した特徴量を用いて顔の向きを顔状態として検出し、前記第４ステップにて特徴量の変更をした後には前記第４ステップにて変更した特徴量を用いて顔の向きを検出し、当該第３ステップ又は第４ステップでは、選定候補対象である特徴量の数を、昼間と夜間との条件で変更することを特徴とする顔状態検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、前方注視時の車両運転者の顔状態を検出し、車両運転者の顔の向きを検出する顔状態検出装置及び方法に関する。
【０００２】
【従来の技術】
従来の運転者状態検出装置としては、例えば特開平１１−１９５２００号公報に記載されたものが知られている。この運転者状態検出装置では、車両状態を検出して車両運転者が車両前方を注視している確率が高い時に、車両運転者の眼の存在する位置を記憶しておく。そして、記憶しておいた眼位置との比較を行うことで、車両運転者の脇見状態などの検出が精度良くできるとしていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の運転者状態検出装置では、車両前方を注視している車両運転者の眼の位置を記憶してからその眼の位置を検出することが前提条件となっているため、車両運転者が眼鏡を装着している場合、例えば時間の経過と共に走行環境が変化して日射量が変化すると、眼鏡のレンズ部への風景の写り込みによって眼の位置の検出が困難となってしまい、車両運転者が顔の状態を検出できなくなるという問題点があった。また、車両運転者がサングラスを装着している場合には眼の検出が全く行えないので、車両運転者の状態の検出が全くできなくなってしまうという問題点があった。
【０００４】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、顔の特徴部として眼などを検出し、検出した特徴部の位置に基づいて顔の向きを検出する際に、その特徴部を検出することができなくなってもその後に車両運転者の顔の向きを顔状態として検出することが可能な顔状態検出装置及び方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述の課題を解決するために、請求項１に係る顔状態検出装置では、車両運転者の顔状態を検出する顔状態検出装置であって、車両運転者の顔を撮像した顔画像を入力する画像入力手段と、車両運転者が車両前方を注視している前方注視状態を検出する前方注視状態検出手段と、前記前方注視状態検出手段の検出結果に基づいて前記画像入力手段で入力した前方注視状態の顔画像を用いて顔画像の特徴量を算出し、該算出結果に基づいて、顔状態を検出するのに使用する特徴量を選定する特徴量選定手段と、前記特徴量選定手段での特徴量の選定に用いた顔画像を更新し、顔状態を検出するのに使用する特徴量を、前記更新した顔状態から前記特徴量選定手段にて選定した特徴量に変更する特徴量変更手段と、前記特徴量選定手段によって選定した特徴量を用いて顔の向きを顔状態として検出し、顔状態を検出するのに使用する特徴量を前記特徴量変更手段にて変更した場合には、該変更した特徴量を用いて顔の向きを顔状態として検出する顔状態検出手段とを備え、上記特徴量選定手段は、顔状態を検出するのに使用する候補となる複数の特徴量を選定し、複数の特徴量から予め設定した優先順位に基づいて顔状態を検出するのに使用する特徴量を選定することを特徴とする。
【０００７】
上述の課題を解決するために、請求項２に係る顔状態検出装置では、車両運転者の顔状態を検出する顔状態検出装置であって、車両運転者の顔を撮像した顔画像を入力する画像入力手段と、車両運転者が車両前方を注視している前方注視状態を検出する前方注視状態検出手段と、前記前方注視状態検出手段の検出結果に基づいて前記画像入力手段で入力した前方注視状態の顔画像を用いて顔画像の特徴量を算出し、該算出結果に基づいて、顔状態を検出するのに使用する特徴量を選定する特徴量選定手段と、前記特徴量選定手段での特徴量の選定に用いた顔画像を更新し、顔状態を検出するのに使用する特徴量を、前記更新した顔状態から前記特徴量選定手段にて選定した特徴量に変更する特徴量変更手段と、前記特徴量選定手段によって選定した特徴量を用いて顔の向きを顔状態として検出し、顔状態を検出するのに使用する特徴量を前記特徴量変更手段にて変更した場合には、該変更した特徴量を用いて顔の向きを顔状態として検出する顔状態検出手段とを備え、上記特徴量選定手段は、初期段階で選定候補対象とした特徴量の算出が少なくとも１つで不能である場合に、次段階で選定候補対象を変更することを特徴とする。
【０００８】
請求項３に係る顔状態検出装置では、請求項２に係る顔状態検出装置であって、上記特徴量選定手段は、車両運転者の顔を構成している顔部位についての特徴量を初期段階での選定候補対象とし、車両運転者の顔に装着された装着物についての特徴量を次段階での選定候補対象とすることを特徴とする。
【０００９】
上述の課題を解決するために、請求項４に係る顔状態検出装置では、車両運転者の顔状態を検出する顔状態検出装置であって、車両運転者の顔を撮像した顔画像を入力する画像入力手段と、車両運転者が車両前方を注視している前方注視状態を検出する前方注視状態検出手段と、前記前方注視状態検出手段の検出結果に基づいて前記画像入力手段で入力した前方注視状態の顔画像を用いて顔画像の特徴量を算出し、該算出結果に基づいて、顔状態を検出するのに使用する特徴量を選定する特徴量選定手段と、前記特徴量選定手段での特徴量の選定に用いた顔画像を更新し、顔状態を検出するのに使用する特徴量を、前記更新した顔状態から前記特徴量選定手段にて選定した特徴量に変更する特徴量変更手段と、前記特徴量選定手段によって選定した特徴量を用いて顔の向きを顔状態として検出し、顔状態を検出するのに使用する特徴量を前記特徴量変更手段にて変更した場合には、該変更した特徴量を用いて顔の向きを顔状態として検出する顔状態検出手段とを備え、上記特徴量選定手段は、選定候補対象である特徴量の数を、昼間と夜間との条件で変更することを特徴とする。
【００１３】
上述の課題を解決するために、請求項５に係る顔状態検出方法では、車両運転者の顔状態を検出する顔状態検出方法であって、車両運転者が車両前方を注視している前方注視状態を検出して、前方注視状態において車両運転者の顔を撮像した顔画像を入力する第１ステップと、前記第１ステップにて入力した前方注視状態の顔画像を用いて、特徴量を算出する第２ステップと、前記第２ステップにて算出した顔画像の特徴量に基づいて顔状態を検出するのに使用する特徴量を選定する第３ステップと、前記第１ステップにて入力した顔画像を更新して、更新した顔画像に基づいて、顔状態を検出するのに使用する特徴量を変更する第４ステップとを有し、前記第３ステップにて選定した特徴量を用いて顔の向きを顔状態として検出し、前記第４ステップにて特徴量の変更をした後には前記第４ステップにて変更した特徴量を用いて顔の向きを検出し、当該第３ステップ又は第４ステップでは、顔状態を検出するのに使用する候補となる複数の特徴量を選定し、複数の特徴量から予め設定した優先順位に基づいて顔状態を検出するのに使用する特徴量を選定することを特徴とする。
【００１４】
上述の課題を解決するために、請求項６に係る顔状態検出方法では、車両運転者の顔状態を検出する顔状態検出方法であって、車両運転者が車両前方を注視している前方注視状態を検出して、前方注視状態において車両運転者の顔を撮像した顔画像を入力する第１ステップと、前記第１ステップにて入力した前方注視状態の顔画像を用いて、特徴量を算出する第２ステップと、前記第２ステップにて算出した顔画像の特徴量に基づいて顔状態を検出するのに使用する特徴量を選定する第３ステップと、前記第１ステップにて入力した顔画像を更新して、更新した顔画像に基づいて、顔状態を検出するのに使用する特徴量を変更する第４ステップとを有し、前記第３ステップにて選定した特徴量を用いて顔の向きを顔状態として検出し、前記第４ステップにて特徴量の変更をした後には前記第４ステップにて変更した特徴量を用いて顔の向きを検出し、当該第３ステップ又は第４ステップでは、初期段階で選定候補対象とした特徴量の算出が少なくとも１つで不能である場合に、次段階で選定候補対象を変更することを特徴とする。
【００１５】
請求項７に係る顔状態検出方法では、請求項６に係る顔状態検出方法であって、上記第３ステップ又は第４ステップでは、車両運転者の顔を構成している顔部位についての特徴量を初期段階での選定候補対象とし、車両運転者の顔に装着された装着物についての特徴量を次段階での選定候補対象とすることを特徴とする。
【００１６】
上述の課題を解決するために、請求項８に係る顔状態検出方法では、車両運転者の顔状態を検出する顔状態検出方法であって、車両運転者が車両前方を注視している前方注視状態を検出して、前方注視状態において車両運転者の顔を撮像した顔画像を入力する第１ステップと、前記第１ステップにて入力した前方注視状態の顔画像を用いて、特徴量を算出する第２ステップと、前記第２ステップにて算出した顔画像の特徴量に基づいて顔状態を検出するのに使用する特徴量を選定する第３ステップと、前記第１ステップにて入力した顔画像を更新して、更新した顔画像に基づいて、顔状態を検出するのに使用する特徴量を変更する第４ステップとを有し、前記第３ステップにて選定した特徴量を用いて顔の向きを顔状態として検出し、前記第４ステップにて特徴量の変更をした後には前記第４ステップにて変更した特徴量を用いて顔の向きを検出し、当該第３ステップ又は第４ステップでは、選定候補対象である特徴量の数を、昼間と夜間との条件で変更することを特徴とする。
【００２０】
【発明の効果】
請求項１に係る顔状態検出装置によれば、前方注視状態の顔画像を用いて特徴量を選定し、その特徴量を用いて車両運転者の顔の向きを検出する際に、特徴量の選定に用いた顔画像を更新し、顔状態を検出するのに使用する特徴量を、更新後の顔画像から選定した特徴量に変更するので、顔の向き検出に使用している特徴量が顔画像から検出できなくなっても、その後、最新の顔画像から他の特徴量を選定し、その選定した特徴量を使用して顔の向きの検出を行うことができる。また、請求項１に係る顔状態検出装置によれば、複数の特徴量から、予め設定した優先順位に基づいて特徴量を選定するので、車両運転者の状態を検出するのに適している特徴量を優先的に使用することができ、更に高い精度で顔の向きを検出することができる。
【００２１】
請求項２に係る顔状態検出装置によれば、前方注視状態の顔画像を用いて特徴量を選定し、その特徴量を用いて車両運転者の顔の向きを検出する際に、特徴量の選定に用いた顔画像を更新し、顔状態を検出するのに使用する特徴量を、更新後の顔画像から選定した特徴量に変更するので、顔の向き検出に使用している特徴量が顔画像から検出できなくなっても、その後、最新の顔画像から他の特徴量を選定し、その選定した特徴量を使用して顔の向きの検出を行うことができる。また、請求項２に係る顔状態検出装置によれば、初期段階で選定候補対象とした複数の特徴量の算出が少なくとも１つで不能である場合に、次段階で選定候補対象とする選定候補対象を変更するので、車両運転者の顔状態に外乱の少ないときには選定候補対象を少なくして処理時間の短縮をすることができ、車両運転者の顔状態に外乱の多いときには選定候補対象を多くして特徴量の選定精度を高くすることができる。
【００２２】
請求項３に係る顔状態検出装置によれば、車両運転者の顔を構成している顔部位についての特徴量を初期段階での選定候補対象とし、車両運転者の顔に装着された装着物についての特徴量を次段階での選定候補対象とするので、装着物により顔状態に変化が発生したときであっても、装着物の特徴量を選定することができ、装着物を装着した場合であっても高い精度で顔の向きを検出することができる。
【００２３】
請求項４に係る顔状態検出装置によれば、前方注視状態の顔画像を用いて特徴量を選定し、その特徴量を用いて車両運転者の顔の向きを検出する際に、特徴量の選定に用いた顔画像を更新し、顔状態を検出するのに使用する特徴量を、更新後の顔画像から選定した特徴量に変更するので、顔の向き検出に使用している特徴量が顔画像から検出できなくなっても、その後、最新の顔画像から他の特徴量を選定し、その選定した特徴量を使用して顔の向きの検出を行うことができる。また、請求項４に係る顔状態検出装置によれば、選定候補対象である特徴量の数を、昼間と夜間との条件で変更するので、車両が走行する状況によって変化する顔状態に応じて選定候補対象を変化させることができる。
【００２７】
請求項５に係る顔状態検出方法によれば、第３ステップにて顔画像から選定した特徴量を用いて顔の向きを顔状態として検出し、第４ステップにて顔画像を更新して、更新した顔画像を用いて特徴量の変更をした後には第４ステップにて変更した特徴量を用いて顔の向きを検出するので、顔の向き検出している特徴量が顔画像から検出できなくなっても、その後、最新の顔画像に基づいて変更した特徴量にて、顔の向きを検出することができる。また、請求項５に係る顔状態検出方法によれば、複数の特徴量を選定したときに、予め設定した優先順位に基づいて特徴量を選定するので、車両運転者の状態を検出するのに適している特徴量を優先的に使用することができ、更に高い精度で顔の向きを検出することができる。
【００２８】
請求項６に係る顔状態検出方法によれば、第３ステップにて顔画像から選定した特徴量を用いて顔の向きを顔状態として検出し、第４ステップにて顔画像を更新して、更新した顔画像を用いて特徴量の変更をした後には第４ステップにて変更した特徴量を用いて顔の向きを検出するので、顔の向き検出している特徴量が顔画像から検出できなくなっても、その後、最新の顔画像に基づいて変更した特徴量にて、顔の向きを検出することができる。また、請求項６に係る顔状態検出方法によれば、初期段階で選定候補対象とした複数の特徴量の算出が少なくとも１つで不能である場合に、次段階で選定候補対象を変更するので、車両運転者の顔状態に外乱の少ないときには選定候補対象を少なくして処理時間の短縮をすることができ、車両運転者の顔状態に外乱の多いときには選定特徴対象を多くして特徴量の選定精度を高くすることができる。
【００２９】
請求項７に係る顔状態検出方法によれば、車両運転者の顔を構成している顔部位についての特徴量を初期段階での選定候補対象とし、車両運転者の顔に装着された装着物についての特徴量を次段階での選定候補対象とするので、装着物により顔状態に変化が発生したときであっても、装着物の特徴量を選定することができ、装着物を装着した場合であっても高い精度で顔の向きを検出することができる。
【００３０】
請求項８に係る顔状態検出方法によれば、第３ステップにて顔画像から選定した特徴量を用いて顔の向きを顔状態として検出し、第４ステップにて顔画像を更新して、更新した顔画像を用いて特徴量の変更をした後には第４ステップにて変更した特徴量を用いて顔の向きを検出するので、顔の向き検出している特徴量が顔画像から検出できなくなっても、その後、最新の顔画像に基づいて変更した特徴量にて、顔の向きを検出することができる。また、請求項８に係る顔状態検出方法によれば、選定候補対象である特徴量の数を、昼間と夜間との条件で変更するので、車両が走行する状況によって変化する顔状態に応じて選定候補対象とする特徴量を変化させることができる。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００３４】
本実施の形態に係る運転者状態検出装置は、車両運転者の顔を撮像して顔状態として顔の向きを検出し、車両走行中の車両運転者の脇見運転を報知したり、車両運転に注意を促すのに使用される。
【００３５】
［第１実施形態］
本発明は、例えば図１に示すように構成された第１実施形態に係る運転者状態検出装置に適用される。
【００３６】
「第１実施形態に係る運転者状態検出装置の構成」
第１実施形態に係る運転者状態検出装置は、主要な機能的構成を図１に示すと共に具体的な構成を図２に示すように構成されている。
【００３７】
運転者状態検出装置は、図１に示すように、車両運転者の顔を撮像する画像撮影部１、車両運転者の前方注視状態検出部２、顔の顔特徴量選定部３、顔の特徴量変更部４、顔の向き検出部５を有して構成されている。
【００３８】
この運転者状態検出装置は、車両運転者が車両前方を注視している状態を運転者の前方注視状態検出部２により検出すると、画像撮影部１により撮像した顔画像データを取り込み、複数の顔画像から顔の各部を示す特徴量（特徴量候補）を顔の特徴量選定部３により算出する。そして、顔の特徴量選定部３では算出した特徴量に基づいて車両走行中における顔の向きを検出するのに使用する特徴量を選定する。そして、運転者状態検出装置は、車両走行中において、特徴量変更部４により特徴量の算出に使用する顔画像を更新することで随時特徴量を変更しながら顔の向き検出部５により顔の向きを検出する。
【００３９】
このような顔の向き検出処理を行う運転者状態検出装置の具体的な構成は、図２に示すように、画像撮影部１に対応する撮像カメラ１１と、ＡＤ変換器１２と、画像メモリ１３と、画像データ演算回路１４と、顔の特徴量選定部３に対応する顔の特徴量選定回路１５と、運転者の前方注視状態検出部２に対応する前方注視状態検出回路１６と、顔の特徴量変更部４に対応する顔の特徴量変更回路１７と、顔の向き検出部５に対応する顔の向き検出回路１８とを備える。ＡＤ変換部１２は、撮像カメラ１１にて撮像した顔画像データを入力する画像入力部を備える。
【００４０】
撮像カメラ１１は、車両運転席に乗車した車両運転者の顔を撮像する位置に配設されている。この撮像カメラ１１は、例えばインストに配設され、車両運転者の顔部分を正面から撮像して、撮像信号をＡＤ変換器１２に出力する。
【００４１】
ＡＤ変換器１２は、撮像カメラ１１からの撮像信号を入力して、アナログ形式の撮像信号をディジタル形式に変換し、顔画像データとして画像メモリ１３に出力する。
【００４２】
画像メモリ１３は、ＡＤ変換器１２からの顔画像データを記憶するメモリからなり、顔画像データを一時的に記憶してその内容が画像データ演算回路１４により取り込まれる。この画像メモリ１３は複数の顔画像データを蓄積可能な容量を有している。
【００４３】
本例では、運転者状態検出装置の動作中に車両運転者の顔を所定のサンプリングタイムの経過毎に撮像カメラ１１によって常時撮影し、撮影した顔画像データが画像メモリ１３に格納される。画像メモリ１３に格納する顔画像データは常に新しい画像に更新され、前方注視状態検出回路１６が車両運転者の前方注視状態を検出したときに、画像メモリ１３内の顔画像データが顔の特徴量選定回路１５での特徴量の選定に用いられる。このように、本例では、前方注視状態検出回路１６の検出結果によらずに撮像カメラ１１によって運転者の顔を撮影する構成としたが、前方注視状態検出回路１６によって車両運転者の前方注視状態を検出したときのみにその車両運転者の顔を撮像カメラ１１によって撮影する構成としてもよい。また、画像メモリ１３には、前方注視状態の顔画像を複数格納しておいてもよい。
【００４４】
画像データ演算回路１４は、画像メモリ１３に格納された顔画像データを読み出して、後段の顔の特徴量選定回路１５において処理可能な形態とする演算をする。すなわち、画像データ演算回路１４は、顔の特徴量選定回路１５で行う処理の前処理を行う。
【００４５】
前方注視状態検出回路１６は、車両運転者が車両前方を注視している状態を検出する。この前方注視状態検出回路１６は、車両を構成する各部と接続され、車両の走行状況を認識して前方注視状態を検出する。この前方注視状態検出回路１６は、例えばステアリングがニュートラルに位置する状態で、所定速度以上で走行しており車両運転者によりブレーキが操作されたことを検出したタイミングで前方注視状態となっていることを検出する。すなわち、この前方注視状態検出回路１６は、車両運転者が赤信号や先行車両への接近に気づいた場面、つまり前方を注視している反応を検出して車両運転者の前方注視状態を検出する。
【００４６】
このように前方注視状態検出回路１６によって前方注視状態を検出する車両状況は、予め設定されて前方注視状態検出回路１６に記憶され、前方注視状態検出回路１６は、車両の各部からのセンサ信号を入力し、センサ信号と設定された車両状況とを比較して、予め設定された車両状況となったときに前方注視状態を検出して顔の特徴量選定回路１５に通知する。
【００４７】
顔の特徴量選定回路１５は、前方注視状態検出回路１６による前方注視状態検出時に画像データ演算回路１４にて演算された顔画像データを取り込んで、複数の顔画像についての特徴量を演算する画像処理をする。
【００４８】
具体的には、顔の特徴量選定回路１５は、まず、入力された顔画像データから顔の縦方向の画素列に沿って画素の濃度値を読み出し、濃度値の局所的な高まり毎に１個ずつの画素を求めて抽出点とし、隣接した抽出点を連続させて顔の横方向に延びる連続データを顔の特徴量とする。そして、顔の特徴量選定回路１５は、前方注視状態の各顔画像データについて特徴量の抽出を行い、複数の顔画像データの特徴量抽出結果に基づいて、顔の向きを検出するのに適した特徴量を選定する。
【００４９】
顔の特徴量変更回路１７は、顔の特徴量選定回路１５にて特徴量の選定に使用する顔画像データを時系列で更新し、特徴量を時系列に変更する。
【００５０】
顔の向き検出回路１８は、顔の特徴量選定回路１５及び顔の特徴量変更回路１７で選定された顔の特徴量を用いて顔の向きを検出する。
【００５１】
「第１実施形態における顔の向き検出処理の処理手順」
つぎに、上述したように構成された運転者状態検出装置により顔の向きを検出するときの処理手順について図３及び図４のフローチャートを参照して説明する。
【００５２】
先ず、運転者状態検出装置が起動して、ステップＳ１以降の処理を開始し、撮像カメラ１１により車両運転者を撮像した撮像信号をＡＤ変換器１２に出力して顔画像データにし、画像メモリ１３に格納する。そして、画像データ演算回路１４は、後段の顔の特徴量選定回路１５以降で処理可能な形態にする演算処理を行う。
【００５３】
ステップＳ１の処理を行うと共に、運転者状態検出装置の起動後から前方注視状態検出回路１６により車両状態の検出を行っており（ステップＳ２）、前方注視状態検出回路１６により車両運転者が車両前方を注視している状態（前方注視状態）であるか否かを判定する（ステップＳ３）。車両運転者が前方注視状態でないときには図４のステップＳ１５に処理を進め、前方注視状態であるときには、前方注視タイミングに撮像して得た顔画像データを用いてステップＳ４〜ステップＳ１３の処理に移行する。
【００５４】
ステップＳ４〜ステップＳ１３では、顔の特徴量選定回路１５により顔画像データについて画像処理を行って特徴量を算出する。そして、顔の特徴量選定回路１５は、算出した特徴量に基づいて正確に検出できた特徴量を認識して図５に示す認識カウンタテーブルの各カウンタ値を更新する。
【００５５】
すなわち、先ず、顔の特徴量選定回路１５により顔画像データに画像処理を行った結果、眼部分の特徴量に基づいて眼部分が正しく認識できたか否かを判定し（ステップＳ４）、正しく認識できたと判定した場合には図５に示す認識カウンタテーブルのうち、眼部分についてのカウンタ値をカウントアップする（ステップＳ５）。
【００５６】
また、顔の特徴量選定回路１５により眉部分の特徴量に基づいて眉部分が正しく認識できたか否かを判定し（ステップＳ６）、正しく認識できたと判定した場合には図５に示す認識カウンタテーブルのうち、眉部分についてのカウンタ値をカウントアップする（ステップＳ７）。
【００５７】
更に、顔の特徴量選定回路１５により鼻部分の特徴量に基づいて鼻部分が正しく認識できたか否かを判定し（ステップＳ８）、正しく認識できたと判定した場合には図５に示す認識カウンタテーブルのうち、鼻部分についてのカウンタ値をカウントアップする（ステップＳ９）。
【００５８】
更にまた、顔の特徴量選定回路１５により口部分の特徴量に基づいて口部分が正しく認識できたか否かを判定し（ステップＳ１０）、正しく認識できたと判定した場合には図５に示す認識カウンタテーブルのうち、口部分についてのカウンタ値をカウントアップする（ステップＳ１１）。
【００５９】
更にまた、顔の特徴量選定回路１５により顔幅の特徴量に基づいて顔幅が正しく認識できたか否かを判定し（ステップＳ１２）、正しく認識できたと判定した場合には図５に示す認識カウンタテーブルのうち、顔幅についてのカウンタ値をカウントアップする（ステップＳ１３）。ここで、顔幅の特徴量は、車両運転者の顔の両端にあるもみあげ部分の対の特徴量を認識することで求められる。
【００６０】
このようなステップＳ４〜ステップＳ１３の処理を何れかのカウンタ値が所定値に達するまで行う。図５に、所定値を「５」としたときの認識カウンタテーブルを示して、ステップＳ４〜ステップＳ１３の処理を説明する。
【００６１】
先ず、車両運転者の前方注視タイミング（ｎｏ．１）にて眼、眉、鼻、顔幅が正しく認識されて（ＯＫ）各顔部分についてのカウンタ値をカウントアップし、口部分が正しく認識されずに（ＮＧ）カウント値のカウントアップをしない。口部分が正しく認識されない例としては、図６に示すように顔の下部に強く直射光が当たって口の形状が濃淡情報として認識できなくなった場合や、図７に示すように異なる車両運転者の体格の違いで撮像カメラ１１の画角から口部分が外れた場合などがある。
【００６２】
そして、各前方注視タイミング（ｎｏ．２〜ｎｏ．５）にて特徴量の認識を行った後に、認識カウンタテーブルを参照して、所定値が「５」に達したカウント値が存在することを判定する（ステップＳ１４）。所定値に達したカウント値が存在しない場合には、顔の向きを検出するのに使用する特徴量が選定済であるか否かを判定し（ステップＳ１５）、選定されていない場合には処理をステップＳ１に戻し、選定済であるときにはステップＳ２０に処理を進める。
【００６３】
一方、所定値に達したカウント値が存在する場合には、カウンタ値が所定値に達した特徴量が複数存在するか否かを判定する（ステップＳ１６）。図５に示したように、眼部分と鼻部分の２つの特徴量についてのカウンタ値が所定値に達しているような場合には、予め設定されている優先順位を参照して、後段の顔の向き検出に用いる特徴量を選定する（ステップＳ１７）。この優先順位は、精度高く顔の向き検出が可能な顔部分ほど高く設定されており、各顔部分について設定されている。
【００６４】
図５に示す場合では、眼と鼻とを比較すると、その移動量で顔の向きを判定しようとすると精度的には同等であるが、二つ存在する左右の鼻の穴と眼の間隔を顔の向き検出に用いようとすると、間隔が広い方が顔の向きが変化したときの変化量が大きい。したがって、眼部分の方が鼻部分より優先順位が高く設定されている。そして、ステップＳ１７では、顔の向き検出に用いる特徴量として眼部分の特徴量を選定する。
【００６５】
一方、ステップＳ１６にてカウンタ値が所定値に達した顔部分が単一である場合には、該当する顔部分の特徴量を選定する（ステップＳ１８）。
【００６６】
顔の向き検出に使用する特徴量を選定した後に、全顔の特徴量の各カウンタ値をクリアし、次の顔部分の特徴量の選定準備を行い（ステップＳ１９）、選定した特徴量を用いて、顔の向き検出回路１８により顔の向き検出を開始して（ステップＳ２０）、ステップＳ１に処理を戻す。なお、この顔の向き検出は、顔の特徴量の選定後は常に行っている。
【００６７】
つぎに、顔の向き検出回路１８にて行う特徴量の変更処理について説明する。
【００６８】
この変更処理は、図３及び図４のフローチャートと同様な処理にて行われる。顔の向き検出回路１８は、ステップＳ１４でカウンタ値が所定値に達したと顔の特徴量選定回路１５により判定され、顔の向き検出をするための特徴量が選定されると、ステップＳ１９で全ての特徴量の各カウンタ値をクリアして、再度所定値に達する顔の特徴量を探索する環境となる。
【００６９】
このとき、一回目の顔の特徴量の選定は、所定値に達したカウンタ値が二つ（眼と鼻）あり、予め設定されている優先順位に基づいて選定した特徴量が眼となっている場合において、この車両運転者が眼鏡を掛けていたとする。
【００７０】
車両運転者が眼鏡を掛けている場合は、図８（ａ）に示すように、その走行環境によって眼鏡レンズ部２１への周りの景色の写り込みが殆どない場合と、図８（ｂ）に示すように、眼鏡レンズ部２１の下部における写り込みが激しく眼部分の濃淡情報が得られないことがある。図８（ｂ）は眼部分の略半分の領域に写り込みが重なった場合を示してあるが、顔の上下方向の角度によっては眼全体に写り込みが重なる場合もある。
【００７１】
すなわち、初回の特徴量の選定時には、眼鏡レンズ部２１への写り込みが殆どない時に行われ、眼を選定対象とすることができたが、その後の特徴量の選定時には、眼鏡レンズ部２１への写り込みが発生し易い環境下となったため眼の認識が困難になる。このように顔の特徴量を随時変更することによって、時間の経過に伴って車両運転者の顔状態が変化しても、常に顔の向き検出に最適な顔の特徴量を選定することができ、車両運転者の顔の個人差や、車室内光環境の変化に対する顔の向き検出のロバスト性を向上させることができる。
【００７２】
したがって、この運転者状態検出装置によれば、複数の顔画像を用いて車両運転者の状態を検出するのに適している特徴量に随時変更することができ、車両運転者の顔状態に応じて常に顔の向き検出に最適な特徴量を選定することができ、高い精度で顔の向きを検出することができる。
【００７３】
以上で説明したように、本実施形態の運転者状態検出装置によれば、前方注視状態の顔画像を用いて特徴量を選定し、その特徴量を用いて車両運転者の顔の向きを検出する際に、特徴量の選定に用いた顔画像を更新し、顔状態を検出するのに使用する特徴量を、更新後の顔画像から選定した特徴量に変更するので、顔の向き検出に使用している特徴量が顔画像から検出できなくなっても、その後、最新の顔画像から他の特徴量を選定し、その選定した特徴量を使用して顔の向きの検出を行うことができる。
【００７４】
また、この運転者状態検出装置によれば、顔状態を検出するのに使用する特徴量の候補となる複数の特徴量を選定し、予め設定した優先順位に基づいて特徴量を選定するので、車両運転者の状態を検出するのに適している特徴量を優先的に使用することができ、更に高い精度で顔の向きを検出することができる。
【００７５】
更に、この運転者状態検出装置によれば、車両運転者が運転している車両の状態を検出して、その検出結果に基づいて、車両運転者が前方を注視している状態を検出するので、精度良く車両運転者の前方注視状態を検出することができる。
【００７６】
［第２実施形態］
つぎに本発明を適用した第２実施形態の運転者状態検出装置について図９のフローチャートを参照して説明する。なお、第２実施形態に係る運転者状態検出装置は、第１実施形態に係る運転者状態検出装置の構成と同じ構成であるので、同じ符号、ステップ番号を付してその説明を省略する。
【００７７】
第２実施形態に係る運転者状態検出装置は、顔の向き検出に使用する特徴量を重複して認識した時に、ステップＳ２０において顔の向き検出回路１８により複数の特徴量を統合して顔の向き検出をすることを特徴とする。
【００７８】
第２実施形態に係る運転者状態検出装置では、ステップＳ１６の次に、ステップＳ４〜ステップＳ１３の処理を行った結果、同時にカウンタ値が所定値となった複数の特徴量を記憶しておく。
【００７９】
そして、重複して所定値となった特徴量のうち、予め設定した優先順位を参照して、顔の向き検出に使用する複数の特徴量の組み合わせを選定する（ステップＳ３１）。ここで、複数の特徴量を選定するときの組み合わせは、予め設定されており、複数の特徴量を選定する優先順位も予め設定されている。
【００８０】
次に、選定した特徴量の組み合わせを統合して顔の向き検出に用いるように処理を行う（ステップＳ３２）。具体的には、図１０に示す認識カウンタテーブルを参照して、顔の特徴量として鼻と顔幅を選定した場合、その二つの顔の特徴量を図１１に示すように顔幅ＦＷに対する鼻の横方向位置ＮＬ、ＮＲの値として統合して使用することで、ステップＳ２０において顔の向きを検出する。
【００８１】
ところで、例えば前方の眼のみを顔の向き検出に用いる場合では、車両前方から撮影した車両運転者の顔画像から眼の間隔を求め、求めた間隔値を前方注視状態時の間隔と比較する。これにより、顔の向き検出回路１８により車両運転者が脇見をしているか否かを判定する。
【００８２】
これに対し、鼻の横方向位置ＮＬ、ＮＲと顔幅ＦＷを統合して用いると、車両運転者が脇見をしたときには、上述した顔幅ＦＷに対する鼻の横方向位置ＮＬ、ＮＲの変化量のほうが、眼の間隔の変化量よりも大きい。したがって、複数の特徴量、例えば鼻と顔幅を統合して顔の向き検出をすることで、顔の向きを検出する精度を向上させることができる。
【００８３】
［第３実施形態］
つぎに、本発明を適用した第３実施形態の運転者状態検出装置について図１２〜図１４のフローチャートを参照して説明する。なお、第３実施形態に係る運転者状態検出装置は、上述した実施形態に係る運転者状態検出装置の構成と同じ構成であるので、同じ符号、ステップ番号を付してその説明を省略する。
【００８４】
第３実施形態の運転者状態検出装置は、図１２に示すように、ステップＳ１の次に、例えばランプセンサからのセンサ出力を参照して、現在夜間走行をしているか否かを判定し（ステップＳ４１）、夜間走行していると判定したときには夜間の条件に合わせて特徴量の選定範囲を設定し（ステップＳ４２）、夜間走行ではないときには昼間の条件に合わせて特徴量の選定範囲を設定して（ステップＳ４３）、ステップＳ２に処理を進める。ここで、選定範囲の設定は、予め夜間の条件及び昼間の条件として設定されており、顔の向き検出をする特徴量の種類が設定されている。
【００８５】
また、この第３実施形態の運転者状態検出装置では、図１３に示すステップＳ１４の次に、カウンタ値が「０」の顔の特徴量が存在するか否かを判定し（ステップＳ４４）、カウンタ値が「０」の顔の特徴量が存在しないと判定したときには図１４のステップＳ１６に処理を進める。一方、カウンタ値が「０」の顔の特徴量が存在すると判定したときには、カウンタ値が「０」である特徴量の種類に応じて特徴量の選定範囲を切り換え及び変更を行って（ステップＳ４５）、ステップＳ１６に処理を進める。
【００８６】
このような運転者状態検出装置では、何れかのカウンタ値が所定値に達した時に、他の顔の特徴量の種類でカウンタ値が「０」の特徴量がある時に特徴量の算出が困難であることに対応して、顔の特徴量の選定範囲を切り替え、変更する処理を行う。例えば、顔の装着物に選定対象を広げ、例えばサングラスを掛けている運転者や、マスクをしている運転者にも対応できるようにする。
【００８７】
具体的には、例えば図１５に示すように、顔の特徴量として鼻部分が選定された時に、眼と眉の特徴量が所定回続けて全く認識できなかったとする。なお、図１５に示す一例では、前方注視タイミングｎｏ．１〜ｎｏ．８と、ｎｏ．１〜ｎｏ．１０との２回の場合を示している。
【００８８】
この場合においてステップＳ４１で昼間と判定されていたとすると、図１６に示すように車両運転者がサングラス３１を掛けているとし、図１７に示すように顔の特徴量としてサングラスを加えることにより、特徴量の選定範囲の変更をする。これにより、顔の向き検出回路１８により、サングラス３１のレンズでに写りこむ前方風景の濃淡情報による特徴量を算出して顔の向きを検出する。
【００８９】
なお、図１７では眼と眉のカウンタ値が記載されていないが、実際には眼と眉は特徴量の選定範囲から除かれているわけではなく、図１７においてはそれらの欄が省略されているだけである。従って、図１７の段階でも眼と眉が特徴量の選定候補として残っている。よって、車両運転者がサングラス３１を外して眼と眉を特徴量として抽出できるようになれば、それらのカウンタ値がカウントアップされ、眼や眉を顔の向き検出に用いることができる。
【００９０】
また、図１８に示すように顔の特徴量として眼が選定された時に、鼻と口の特徴量が所定回続けて（本例では２回）全く認識できなかった場合に、図１９に示すように車両運転者がマスク３２をしているとし、図２０に示すように顔の特徴量としてマスクを加えることにより、特徴量の選定範囲の変更をする。これにより、顔の向き検出回路１８により、マスク３２の両端にあるエッジや眼の下にある左右対称の斜めエッジの濃淡情報による特徴量を算出して顔の向きを検出する。
【００９１】
なお、図２０の段階においても、鼻と口の欄は省略されているが、それらは特徴量の選定候補として残っている。よって、マスクが取り外された後には、鼻と口を画像から抽出してそれらを顔の向き検出に用いることができる。
【００９２】
また、この運転者状態検出装置では、図２１に示すようにサングラス３１及びマスク３２を装着している車両運転者の場合、車両運転者が前方注視時に所定回数以上あるいは少なくとも一回、眼や眉など顔の構成物の検出が困難であることを条件に顔の特徴量の選定範囲の切り替えや変更を行っても良い。
【００９３】
このように、顔の特徴量の選定範囲の切り替えや変更を行う際は、昼間、夜間の条件を付加することにより、例えば夜間にサングラスを掛けて運転する可能性が低いので、特徴量の選定範囲から除く。これにより、顔の特徴量の選定範囲を限定して処理量を減らすことができ、短時間で精度の高い顔の向き検出に用いる特徴量の選定処理が可能となる。
【００９４】
すなわち、運転者状態検出装置によれば、初期段階で選定対象とした複数の特徴量の算出が少なくとも１つで不能である場合に、次段階で選定対象とする特徴量を変更するので、車両運転者の顔状態に外乱の少ないときには選定対象を少なくして処理時間の短縮をすることができ、車両運転者の顔状態に外乱の多いときには選定対象を多くして特徴量の選定精度を高くすることができる。
【００９５】
また、運転者状態検出装置によれば、車両運転者の顔を構成している顔部位についての特徴量を初期段階での選定候補とし、車両運転者の顔に装着された装着物についての特徴量を次段階での選定候補とするので、装着物により顔状態に変化が発生したときであっても、装着物の画像の特徴量を選定することができ、装着物を装着した場合であっても高い精度で顔の向きを検出することができる。
【００９６】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【００９７】
すなわち、第１実施形態〜第３実施形態では、特徴量の選定に用いた複数の顔画像データを次の段階の選定で全て更新しているが、全ての顔画像データを更新せずに少なくとも１つの顔画像データを更新すると共に最も時間的に前の顔画像データについての特徴量のデータを削除して、更新した顔画像データを含む複数の顔画像データから特徴量を選定しても良い。
【図面の簡単な説明】
【図１】本発明を適用した運転者状態検出装置の機能的な構成を示すブロック図である。
【図２】本発明を適用した運転者状態検出装置の具体的な構成を示すブロック図である。
【図３】本発明を適用した第１実施形態に係る運転者状態検出装置による顔の向き検出処理の処理手順を示すフローチャートである。
【図４】本発明を適用した第１実施形態に係る運転者状態検出装置による顔の向き検出処理の処理手順を示すフローチャートである。
【図５】各特徴量についてのカウンタ値を保持する認識カウンタテーブルの内容を示す図である。
【図６】顔の口部分に直射光が照射されて口部分の認識ができない顔状態を示す図である。
【図７】顔の口部分が撮像カメラの画角外に位置して口部分の認識ができない顔状態を示す図である。
【図８】（ａ）は眼鏡レンズ部に写り込みが発生しておらず眼部分が認識可能な顔状態を示す図であり、（ｂ）は眼鏡レンズ部に写り込みが発生して眼部分が認識不能な顔状態を示す図である。
【図９】本発明を適用した第２実施形態に係る運転者状態検出装置の顔の向き検出処理の処理を手順を示すフローチャートである。
【図１０】第２実施形態における各特徴量についてのカウンタ値を保持する認識カウンタテーブルの内容を示す図である。
【図１１】顔幅及び鼻の横方向位置を用いて顔の向き検出を行うことを説明するための図である。
【図１２】本発明を適用した第３実施形態に係る運転者状態検出装置の顔の向き検出処理の処理を手順を示すフローチャートである。
【図１３】本発明を適用した第３実施形態に係る運転者状態検出装置の顔の向き検出処理の処理を手順を示すフローチャートである。
【図１４】本発明を適用した第３実施形態に係る運転者状態検出装置の顔の向き検出処理の処理を手順を示すフローチャートである。
【図１５】第３実施形態における各特徴量についてのカウンタ値を保持する認識カウンタテーブルの内容を示す図である。
【図１６】車両運転者がサングラスを装着したときの顔状態について説明するための図である。
【図１７】第３実施形態において、カウンタ値が所定値に達したときにカウンタ値が「０」の特徴量が存在するときの認識カウンタテーブルの内容を説明するための図である。
【図１８】第３実施形態において、特徴量としてサングラスを付加して特徴量の選定範囲を変更したときの認識カウンタテーブルの内容を説明するための図である。
【図１９】車両運転者がマスクを装着したときの顔状態について説明するための図である。
【図２０】第３実施形態において、特徴量としてマスクを付加して特徴量の選定範囲を変更したときの認識カウンタテーブルの内容を説明するための図である。
【図２１】車両運転者がサングラス及びマスクを装着したときの顔状態について説明するための図である。
【符号の説明】
１  画像撮影部
２  運転者の前方注視状態検出部
３  顔の特徴量選定部
４  顔の特徴量変更部
５  顔の向き検出部
１１  撮像カメラ
１２  ＡＤ変換器
１３  画像メモリ
１４  画像データ演算回路
１５  顔の特徴量選定回路
１６  前方注視状態検出回路
１７  顔の特徴量変更回路
１８  顔の向き検出回路
２１  眼鏡レンズ部
３１  サングラス
３２  マスク
【図１】
0004016694.tif 000002
【図２】
0004016694.tif 000003
【図３】
0004016694.tif 000004
【図４】
0004016694.tif 000005
【図５】
0004016694.tif 000006
【図６】
0004016694.tif 000007
【図７】
0004016694.tif 000008
【図８】
0004016694.tif 000009
【図９】
0004016694.tif 000010
【図１０】
0004016694.tif 000011
【図１１】
0004016694.tif 000012
【図１２】
0004016694.tif 000013
【図１３】
0004016694.tif 000014
【図１４】
0004016694.tif 000015
【図１５】
0004016694.tif 000016
【図１６】
0004016694.tif 000017
【図１７】
0004016694.tif 000018
【図１８】
0004016694.tif 000019
【図１９】
0004016694.tif 000020
【図２０】
0004016694.tif 000021
【図２１】
0004016694.tif 000022