(57)【要約】【課題】顔向きの検出精度をより一段と向上させる。【解決手段】顔向き検出部５１は、カメラ１２により撮影された画像から、運転者TSの画像上の顔向きを検出する。特定部位検出部５２は、画像上の顔の特定部位の位置（座標）を検出する。記憶部５３には、顔の形状に関する知識の情報、例えば、特定部位と基準点の関係を表す頭部モデルが記憶されている。顔基準情報検出部５４は、特定部位の座標を用いて、記憶部５３に記憶された頭部モデルを画像にあてはめ、そのときの顔基準情報、即ち、顔の基準線または基準点を検出する。補正角度取得部５５は、画像上の顔の基準線または基準点の位置から、画像上に写る顔向きの変化量を補正角度として求める。顔向き補正部５６は、この補正角度を用いて、顔向きを補正する。本発明は、例えば、監視カメラシステムに適用できる。【選択図】図４
2010217980.tif 000002
【特許請求の範囲】
【請求項１】
人間の顔を含む撮影画像から、前記人間の画像上の顔向きを検出する顔向き検出手段と、
前記撮影画像に含まれる前記人間の顔の特定部位を検出する特定部位検出手段と、
顔の形状に関する既知の知識、および、前記特定部位検出手段により検出された前記特定部位に基づいて、前記人間の顔の基準線または基準点を顔基準情報として検出する顔基準情報検出手段と、
前記顔基準情報検出手段により検出された前記顔基準情報に基づいて、前記撮影画像に含まれる人間の顔向きの変化量を補正角度として算出する補正角度算出手段と、
前記補正角度算出手段により算出された前記補正角度を用いて、前記顔向き検出手段により検出された前記顔向きを補正する顔向き補正手段と
を備える情報処理装置。
【請求項２】
前記顔基準情報検出手段は、前記顔の形状に関する既知の知識、および、前記特定部位検出手段により検出された前記特定部位に加えて、さらに、前記顔向き検出手段により検出された顔向きに基づいて、前記顔基準情報を検出する
請求項１に記載の情報処理装置。
【請求項３】
前記顔基準情報検出手段は、前記顔の形状に関する既知の知識、前記特定部位検出手段により検出された前記特定部位、および、前記顔向き検出手段により検出された顔向きに加えてさらに、前記撮影画像を撮影した撮影手段から前記人間の顔までの距離に基づいて、前記顔基準情報を検出する
請求項２に記載の情報処理装置。
【請求項４】
情報処理装置が、
人間の顔を含む撮影画像から、前記人間の画像上の顔向きを検出し、
前記撮影画像に含まれる前記人間の顔の特定部位を検出し、
顔の形状に関する既知の知識、および、検出された前記特定部位に基づいて、前記人間の顔の基準線または基準点を顔基準情報として検出し、
検出された前記顔基準情報に基づいて、前記撮影画像に含まれる人間の顔向きの変化量を補正角度として算出し、
算出された前記補正角度を用いて、検出された顔向きを補正する
ステップを含む情報処理方法。
【請求項５】
情報処理装置を制御するコンピュータに、
人間の顔を含む撮影画像から、前記人間の画像上の顔向きを検出し、
前記撮影画像に含まれる前記人間の顔の特定部位を検出し、
顔の形状に関する既知の知識、および、検出された前記特定部位に基づいて、前記人間の顔の基準線または基準点を顔基準情報として検出し、
検出された前記顔基準情報に基づいて、前記撮影画像に含まれる人間の顔向きの変化量を補正角度として算出し、
算出された前記補正角度を用いて、検出された顔向きを補正する
ステップを含む制御処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及び方法、並びにプログラムに関し、特に、顔向きの検出精度をより一段と向上させた情報処理装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、車両の運転者をカメラで監視するシステム（以下、監視カメラシステムと称する）が存在する。
【０００３】
監視カメラシステムにおいては、カメラもしくは車に対する運転者の顔の方向（以下、顔向きと称する）の検出が必要になる場合がある。
【０００４】
ところが、運転者自体は顔向きを動かしていない（例えば全時間帯正面を向いていた）としても、監視カメラシステムは、運転者の顔とカメラとの位置関係が変化した場合には、画像に写る運転者から顔向きを推定するので、顔向きが変わったと認識してしまう。即ち、実際の顔向きと、推定された顔向きとでは異なることが多々ある。
【０００５】
このため、監視カメラシステムは、実際の顔向きを検出するために、画像に写る運転者から推定した顔向きをそのまま検出結果として用いずに、推定した顔向きを適宜補正している。
【０００６】
このような補正手法が、例えば特許文献１に開示されている。
【０００７】
特許文献１の補正手法とは、画像から検出した顔の位置に基づいて、顔向きの角度の補正量を取得して、その補正量を用いて顔向きを補正する、という手法である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−２４９３５２号公報
【特許文献２】特開２００１−３３１７９０号公報
【特許文献３】特開平６−２９３２２７号公報
【非特許文献１】PAUL VIOLA, MICHAEL J. JONES, “Robust Real-Time Face Detection”, International Journal of Computer Vision 57(2), 137-154, 2004
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１の補正手法で実現される補正精度、即ち、顔向きの検出精度（実際の顔向きにどれだけ近いのかという精度）は十分ではない。
【００１０】
画像から検出する顔の位置は顔向きや髪型によって精度が低下するためである。このことについて、特許文献２、特許文献３、非特許文献１を用いて説明する。
【００１１】
例えば、特許文献２には、画像中の円形部分を頭部の輪郭として検出する手法が開示されている。しかしながら、背景と輪郭のコントラストが小さい場合やいわゆるアフロヘアーのような髪型の場合は，頭部の輪郭として検出された領域が実際のものと大きく異なってしまうことになる。
【００１２】
例えば、特許文献３には、運転者の背後から照明を点灯し影となった部分を頭の輪郭として検出する手法が開示されている。しかしながら、アフロヘアーのような髪型の場合は、頭部の輪郭として検出された領域が実際のものと大きく異なることになる。また、専用の別照明が必要だというデメリットも存在する。
【００１３】
例えば、非特許文献１には、目、鼻、口などの特徴的な部位が集まる顔の表面を顔領域として、画像から顔の位置を検出する手法が開示されている。しかしながら、顔向きが大きく変わると、目、鼻、口などの部位は移動するため、顔向きが大きく変わると画像から検出される顔の位置が移動してしまうことになる。
【００１４】
このように、特許文献１の補正手法では、顔向きが大きく変化した場合や、いわゆるアフロヘアーのように頭の輪郭と髪型が大きく違う場合などに、画像から検出する顔の位置が変わってしまう。従って、このような場合には、顔向きの角度の補正量の精度が低下してしまうことになる。
【００１５】
本発明は、このような状況に鑑みてなされたものであり、顔向きの検出精度をより一段と向上させるものである。
【課題を解決するための手段】
【００１６】
本発明の一側面の情報処理装置は、人間の顔を含む撮影画像から、前記人間の画像上の顔向きを検出する顔向き検出手段と、前記撮影画像に含まれる前記人間の顔の特定部位を検出する特定部位検出手段と、顔の形状に関する既知の知識、および、前記特定部位検出手段により検出された前記特定部位に基づいて、前記人間の顔の基準線または基準点を顔基準情報として検出する顔基準情報検出手段と、前記顔基準情報検出手段により検出された前記顔基準情報に基づいて、前記撮影画像に含まれる人間の顔向きの変化量を補正角度として算出する補正角度算出手段と、前記補正角度算出手段により算出された前記補正角度を用いて、前記顔向き検出手段により検出された前記顔向きを補正する顔向き補正手段とを備えることを特徴とする。
【００１７】
本発明の一側面の情報処理装置においては、人間の顔を含む撮影画像から、前記人間の画像上の顔向きが検出され、前記撮影画像に含まれる前記人間の顔の特定部位が検出され、顔の形状に関する既知の知識、および、検出された前記特定部位に基づいて、前記人間の顔の基準線または基準点が顔基準情報として検出され、検出された前記顔基準情報に基づいて、前記撮影画像に含まれる人間の顔向きの変化量が補正角度として算出され、算出された前記補正角度を用いて、検出された顔向きが補正される。
【００１８】
これにより、顔向きの検出精度をより一段と向上させることができる。
【００１９】
顔向き検出手段、特定部位検出手段、顔基準情報検出手段、補正角度算出手段、および補正手段の各手段は、ハードウエア若しくはソフトウエア、または、それらの組み合わせにより構成される。なお、２以上の手段がまとめられて、１つのハードウエア等として構成されてもよい。
【００２０】
前記顔基準情報検出手段は、前記顔の形状に関する既知の知識、および、前記特定部位検出手段により検出された前記特定部位に加えて、さらに、前記顔向き検出手段により検出された顔向きに基づいて、前記顔基準情報を検出することができる。
【００２１】
これにより、処理時間を削減でき、計算結果が安定するようになる。また、特定部位検出手段により検出される特定部位の数を削減できるようになる。
【００２２】
前記顔基準情報検出手段は、前記顔の形状に関する既知の知識、前記特定部位検出手段により検出された前記特定部位、および、前記顔向き検出手段により検出された顔向きに加えてさらに、前記撮影画像を撮影した撮影手段から前記人間の顔までの距離に基づいて、前記顔基準情報を検出することができる。
【００２３】
これにより、計算結果の精度をより一段と向上させることができる。
【００２４】
本発明の一側面の情報処理方法およびプログラムは、上述した本発明の一側面の情報処理装置に対応する方法およびプログラムである。
【発明の効果】
【００２５】
本発明によれば、顔向きの検出精度をより一段と向上させることができる。
【図面の簡単な説明】
【００２６】
【図１】回転の軸を説明する図である。
【図２】回転の軸の交点を説明する図である。
【図３】本発明の顔向き補正手法の概略を説明する図である。
【図４】本発明を適用した情報処理システムの第１実施形態としての監視カメラシステムの構成例を示している。
【図５】画像上の顔の基準線や基準点といった顔基準情報の生成手法の一例を説明する図である。
【図６】補正角度の取得手法の概略を説明する図である。
【図７】基準点と基準線との比較を示す図である。
【図８】基準線が画像中の斜めに写る場合の取り扱いについて説明するための図である。
【図９】第１実施形態の顔向き補正処理を説明するフローチャートである。
【図１０】頭部モデルの一例を説明する図である。
【図１１】補正角度の具体的な算出手法の一例を説明する図である。
【図１２】本発明を適用した情報処理システムの第２実施形態としての監視カメラシステムの構成例を示している。
【図１３】第２実施形態の顔向き補正処理を説明するフローチャートである。
【図１４】頭部モデルの一例を説明する図である。
【図１５】本発明を適用した情報処理システムの第３実施形態としての監視カメラシステムの構成例を示している。
【図１６】第３実施形態の顔向き補正処理を説明するフローチャートである。
【図１７】本発明が適用されるコンピュータのハードウエアの構成例を示す図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照して、本発明が適用される情報処理装置の実施の形態として、３つの実施の形態（以下、それぞれ第１乃至第３実施形態とそれぞれ称する）について説明する。よって、説明は以下の順序で行う。
１．本発明の概要
２．第１実施形態
３．第２実施形態
４．第３実施形態
【００２８】
＜１．本発明の概要＞
【００２９】
はじめに、本発明の理解を容易なものとすべく、その概要について説明する。
【００３０】
本発明が適用される監視カメラシステムは、運転者がカメラもしくは車に対して実際にはどちらの方向を向いているのかを知るために、運転者が映っている画像から、運転者の顔向きを推定する。そして、監視カメラは、推定した顔向きを、実際の顔向きとなるように補正する。なお、以下、かかる補正手法のうち、本発明が適用される手法を、特に、本発明の顔向き補正手法と称する。
【００３１】
本発明の顔向き補正手法では、運転者の顔の基準を示す情報（以下、顔基準情報と称する）が必要になる。そこで、図１と図２を参照して、顔基準情報について説明する。
【００３２】
以下、カメラの撮影領域に対して、水平方向を左右方向と称し、垂直方向を上下方向と称する。
【００３３】
図１は、回転の軸を説明する図である。
【００３４】
図１のＡの左方の画像２１は、その右方の図に示されるように、カメラ１２のレンズの光軸上に運転者の顔の中心が存在し、その顔向きがカメラ１２のレンズの中心方向である場合に、カメラ１２により撮影された結果得られた画像である。
【００３５】
図１のＢの左方の画像２２は、その右方の図に示されるように、図１のＡの状態から運転者の顔が左右方向に動いた場合に、カメラ１２により撮影された結果得られた画像である。
【００３６】
図１のＡとＢとを比較すると容易にわかることであるが、運転者の顔向きが左右方向に変わる際の頭部１１に着目すると、左右方向への回転の軸（画像２１と画像２２に描画された実線が示す軸）が存在する。運転者の顔向きが左右方向に変わる場合には、この回転の軸を中心に頭部１１が回転する。
【００３７】
図１のＣの左方の画像２３は、その右方の図に示されるように、カメラ１２のレンズの光軸上に運転者の顔の中心が存在し、その顔向きがカメラ１２のレンズの中心方向である場合に、カメラ１２により撮影された結果得られた画像である。
【００３８】
図１のＤの左方の画像２４は、その右方の図に示されるように、図１のＣの状態から運転者の顔が上下方向に動いた場合に、カメラ１２により撮影された結果得られた画像である。
【００３９】
図１のＣとＤとを比較すると容易にわかることであるが、運転者の顔向きが上下方向に変わる際の頭部１１に着目すると、上下方向への回転の軸（画像２３と画像２４に描画された実線が示す軸）が存在する。運転者の顔向きが上下方向に変わる場合には、この回転の軸を中心に頭部１１が回転する。
【００４０】
このように、運転者の顔向きが上下方向または左右方向に変わる場合には、それぞれの回転の軸を中心に頭部１１が回転する。これらの回転の軸の画像中の位置（画像２１乃至２４に描画されている各実線の位置）は、カメラ１２と顔の位置関係が変わらない限り、顔向きや髪型が変わっても変わらない。従って、顔基準情報として、画像中における回転の軸を示す線（画像２１乃至２４に描画されている各実線）を採用することができる。以下、かかる線を、基準線と称する。
【００４１】
図２は、回転の軸の交点を説明する図である。
【００４２】
図２の画像２１乃至２４のそれぞれは、図１の対応する符号の画像と同様の画像である。
【００４３】
図２のＡとＢとを比較すると容易にわかることであるが、運転者の顔向きが左右方向に変わる際の頭部１１に着目すると、２つの回転の軸（画像２１と画像２２の上下方向と左右方向に描画された各実線が示す２つの軸）の交点が存在する。運転者の顔向きが左右方向に変わる場合には、この回転の軸の交点を中心に頭部１１が回転する。
【００４４】
同様に、図２のＣとＤとを比較すると容易にわかることであるが、運転者の顔向きが上下方向に変わる際の頭部１１に着目すると、２つの回転の軸（画像２３と画像２４の上下方向と左右方向に描画された各実線が示す２つの軸）の交点が存在する。運転者の顔向きが上下方向に変わる場合には、この回転の軸の交点を中心に頭部１１が回転する。
【００４５】
このように、運転者の顔向きが上下方向または左右方向に変わる場合には、それぞれの回転の軸の交点を中心に頭部１１が回転する。これらの回転の軸の交点の画像中の位置（画像２１乃至２４に描画されている各交点の位置）は、カメラ１２と顔の位置関係が変わらない限り、顔向きや髪型が変わっても変わらない。従って、顔基準情報として、画像中における２以上の基準線の交点（画像２１乃至２４に描画されている各交点）を採用することができる。以下、かかる交点を、基準点と称する。
【００４６】
以上まとめると、本発明の顔向き補正手法では、顔基準情報として、特許文献１の従来の補正手法のように画像における顔領域の相対位置が採用されるのではなく、基準線または基準点が採用される。以下、図３を参照して、基準線または基準点を用いた本発明の顔向き補正手法の概略について説明する。
【００４７】
図３は、本発明の顔向き補正手法の概略を説明する図である。
【００４８】
運転者が顔向きを変えずに左右方向に移動した場合における、図３のＡに示される顔３１Ａ、顔３１Ｂ、および顔３１Ｃについて考える。なお、以下、顔３１Ａ、顔３１Ｂ、および顔３１Ｃのカメラ１２との各位置関係を考慮する必要がない場合、それらをまとめて、顔３１と称する。
【００４９】
図３のＡに示されるように、顔３１Ａの中心は、カメラ１２の光軸上に位置する。即ち、顔３１Ａの中心とカメラ１２のレンズ中心を結ぶ線分のカメラの光軸に対する、左右方向へのなす角度は０度である。以下、かかる角度を、顔のYaw角という表現を用いる。即ち、顔３１のYaw角は０度である。
【００５０】
また、顔３１ＢのYaw角は＋１５度である。ただし、カメラの光軸に対して右回りの方向が「＋」とされている。顔３１ＣのYaw角は＋３０度である。
【００５１】
この場合、図３のＡに示されるカメラ１２と各顔３１の位置関係の違いから明らかなように、画像上に映る顔向きは、図３のＣに示されるように、顔のYaw角の変化量に応じて変化することになる。しかしながら、図３のＡに示されるように、各顔３１Ａ乃至３１Ｃの実際の顔方向は、同図中下方向のまま変化がない。そこで、本発明の顔向き補正手法では、この顔のYaw角の変化量を補正角度として用いて、顔向きの補正が行われる。
【００５２】
ここで、注目すべき点は、かかる補正角度を演算するために必要となる顔基準情報は、画像上に写る顔の位置ではなく、図３のＢに示されるように、画像中の顔の基準線または基準点の位置が用いられる点である。
【００５３】
すなわち、画像中の顔の基準線や基準点は、上述したように、カメラ１２と顔３１の位置関係が変わらない限り、顔向きや髪型が変化しても、画像中の位置は変化しない。換言すると、図３のＢの画像４１Ａ乃至４１Ｃに示されるように基準線や基準点の位置が変化しているということは、カメラ１２と顔３１の位置関係が変化していることを意味している。
【００５４】
このため、本発明の顔向き補正手法では、画像中の顔の基準線または基準点の位置から、画像上に写る顔向きの変化量が求められる。その結果、顔向きや髪型の変化によらず、画像上に写る顔向きの変化量の精度は低下しないことになる。よって、このような変化量が補正角度として用いられて顔向きが補正されることで、顔向きの検出精度がより一段と向上するのである。
【００５５】
＜２．第１実施形態＞
以下、本発明の顔向き補正手法が適用された情報処理システムの実施の形態について説明する。
【００５６】
なお、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。即ち、後述する監視カメラシステムは、１つの装置と把握することも可能である。
【００５７】
図４は、本発明を適用した情報処理システムの第１実施形態としての監視カメラシステムの構成例を示している。
【００５８】
図４の例では、監視カメラシステムには、カメラ１２、顔向き検出部５１、特定部位検出部５２、記憶部５３、顔基準情報検出部５４、補正角度取得部５５、および顔向き補正部５６が設けられている。
【００５９】
カメラ１２は、運転者TSの顔を被写体として撮影し、その結果得られる画像を、顔向き検出部５１と特定部位検出部５２に供給する。
【００６０】
なお、運転席に座った運転者TSの顔を撮影できれば、カメラ１２の設定位置は問わない。例えば、ステアリングコラムの上にカメラ１２を設置させて正面から撮影させることが可能である。また例えば、車両内のルームミラーの根元付近にカメラ１２を設置させて左斜め上から撮影させることが可能である。
【００６１】
顔向き検出部５１は、カメラ１２により撮影された画像から、運転者TSの画像上の顔向きを検出する。顔向き検出部５１の検出結果は、外部に出力されるとともに、顔向き補正部５６に供給される。
【００６２】
なお、顔向きの検出手法自体は、特に限定されず、例えば特許2982204号公報に開示された手法等を採用できる。もっとも、顔の向きをより迅速かつ正確に検出できる手法を採用する方が好ましい。
【００６３】
ここで、図５を参照して、特定部位検出部５２、記憶部５３、および顔基準情報検出部５４について説明する。
【００６４】
図５は、画像上の顔の基準線や基準点といった顔基準情報の生成手法の一例を説明する図である。
【００６５】
図５の例では、画像６１がカメラ１２により撮影されて、特定部位検出部５２に供給される。特定部位検出部５２は、画像６１上の顔の特定部位６２の位置（座標）を検出し、その検出結果とともに画像６１を顔基準情報検出部５４に供給する。
【００６６】
記憶部５３には、顔の形状に関する知識の情報、例えば、図５の例では、特定部位の各点と基準点の関係を表す頭部モデルが記憶されている。
【００６７】
顔基準情報検出部５４は、特定部位６２の座標を用いて、記憶部５３に記憶された頭部モデルを画像６１にあてはめ、そのときの顔基準情報、即ち、顔の基準線または基準点を検出する。
【００６８】
なお、特定部位６２は、図５の例では、両目が採用されたが、記憶部５３に記憶された頭部モデルを画像６１にあてはめることが可能な部位であれば、特に限定されない。換言すると、例えば鼻、口、耳、眉などの顔の基準点との位置関係が定まるものであれば、任意の部位を特定部位６２として採用することができる。
【００６９】
また、特定部位６２の検出手法自体は、特に限定されず、例えば特開２００６−６５６４０号公報に開示された手法等を採用できる。もっとも、特定部位６２をより迅速かつ正確に検出できる手法を採用する方が好ましい。
【００７０】
図４に戻り、顔基準情報検出部５４により検出された顔の基準線または基準点は、補正角度取得部５５に供給される。
【００７１】
補正角度取得部５５は、画像上の顔の基準線または基準点の位置から、画像上に写る顔向きの変化量を取得し、それを補正角度として顔向き補正部５６に供給する。顔向き補正部５６は、この補正角度を用いて、顔向き検出部５１により検出された顔向きを補正し、補正後の顔向きを出力する。
【００７２】
ここで、図６乃至図８を参照して、補正角度取得部５５による補正角度の取得手法について説明する。
【００７３】
図６は、補正角度の取得手法の概略を説明する図である。
【００７４】
顔基準情報検出部５４により顔基準情報として基準線が検出された場合には、図６のＡに示されるように、補正角度取得部５５は、基準線と中心線のズレ量に基づいて、画像上に写る顔向きの変化量、即ち補正角度を求める。また例えば、顔基準情報検出部５４により顔基準情報として基準点が検出された場合には、図６のＢに示されるように、補正角度取得部５５は、基準点と中心点とのズレ量、すなわち、２以上の中心線とのズレ量に基づいて、画像上に写る顔向きの変化量、即ち補正角度を求める。
【００７５】
図７は、基準点と基準線との比較を示す図である。
【００７６】
図７に示されるように、顔基準情報として基準点が採用された場合には、３次元の頭部モデルが記憶部５３に記憶され、特定部位検出部５２により検出される特定部位の座標は２次元座標（X,Y）となる。よって、補正角度取得部５５において求まる補正角度は、左右方向と上下方向の両者になる。
【００７７】
これに対して、顔基準情報として基準線が採用された場合には、２次元の頭部モデルが記憶部５３に記憶され、特定部位検出部５２により検出される特定部位の座標は１次元座標X若しくはYとなる。よって、補正角度取得部５５において求まる補正角度は、左右方向と上下方向のうちどちらか一方になる。
【００７８】
図８は、基準線が画像中の斜めに写る場合の取り扱いについて説明するための図である。
【００７９】
図８のＡに示されるように、画像中の顔７１が斜めを向いている場合には、左右方向の基準線もまた斜め方向になる。このような場合、ズレ量が一意に決まらないため、顔７１の移動が一意に求められないことになる。よって、このような場合には、例えば「画像上で上下に顔は移動しない」などの制約をつけるようにすれば、顔７１の移動を一意に求めることができるようになる。
【００８０】
なお、図８のＢに示されるように、画像中の顔７１が水平方向を向いている場合には、左右方向の基準線は垂直方向（真っ直ぐな方向）になるため、ズレ量が一意に決まり、その結果、顔７１の移動を一意に求めることができ、特に問題とならない。
【００８１】
次に、図９を参照して、図４の構成の監視カメラシステムが補正後の顔向きを出力するまでの一連の処理（以下、このような処理を顔向き補正処理と称する）について説明する。
【００８２】
図９は、第１実施形態の顔向き補正処理を説明するフローチャートである。
【００８３】
ステップＳ１において、カメラ１２は、運転者TSの画像を取得する。
【００８４】
ステップＳ２において、顔向き検出部５１は、画像上の顔向きを検出する。
【００８５】
ステップＳ３において、顔向き検出部５１は、顔向きを検出できたか否かを判定する。
【００８６】
顔向き検出部５１は、顔向きを検出できなかった場合、ステップＳ３においてＮＯであると判定し、ステップＳ４において、顔向き検出エラーを出力する。これにより、顔向き補正処理は終了となる。
【００８７】
これに対して、顔向き検出部５１は、顔向きの検出ができた場合、ステップＳ３においてＹＥＳであると判定し、次のようなステップＳ５以降の処理を実行する。
【００８８】
ステップＳ５において、特定部位検出部５２は、特定部位の位置（座標）を検出する。
【００８９】
なお、図９の例の顔向き補正処理では、頭部モデルとしては、後述する図１０の例のモデルが使用される。この頭部のモデルには、３軸の回転、スケール、および２軸の並進といった６つのパラメータが存在する。このため、顔の基準点を推定するために３ケ所以上の特定部位６２の位置が必要である。
【００９０】
ステップＳ６において、特定部位検出部５２は、特定部位を検出できたか否かを判定する。
【００９１】
検出すべき３ケ所以上の特定部位のうち、少なくとも１ケ所の特定部位が検出されなかった場合、ステップＳ６においてＮＯであると判定されて、ステップＳ４において、顔向き検出エラーが出力されて、顔向き補正処理が終了する。
【００９２】
これに対して、検出すべき３ケ所以上の特定部位の全てが検出された場合、ステップＳ６においてＹＥＳであると判定されて、処理はステップＳ７に進む。
【００９３】
ステップＳ７において、顔基準情報検出部５４は、特定部位の位置を用いて、顔の基準点を推定する。
【００９４】
具体的には例えば、図１０に示される頭部モデルが記憶部５３に記憶されているとする。
【００９５】
図１０は、頭部モデルの一例を示している。
【００９６】
図１０の頭部モデルにおいて、ｎ番目の三次元座標をBnと既述すると、次の式（１）のように表わされる。
【００９７】
【数１】
2010217980.tif 000003
・・・（１）
【００９８】
なお、特定部位は、図１０の例では３ケ所とされているが、当然ながら４ケ所以上でもよい。
【００９９】
また、図１０の頭部モデルには、次の式（２）に示されるような６つのパラメータが存在するとする。
【０１００】
【数２】
2010217980.tif 000004
・・・（２）
【０１０１】
この場合、顔基準情報検出部５４は、次のようなステップ７−１乃至７−４の処理に従って、図１０の頭部モデルを、ステップＳ１の処理で取得された画像にあてはめる。
【０１０２】
ステップＳ７−１において、顔基準情報検出部５４は、３軸の回転角で頭部モデルを回転させる。具体的には例えば、顔基準情報検出部５４は、回転角から回転行列Ｒを作成し、頭部モデルの座標に掛ける。即ち、回転後の座標をBn'と記述すると、次の式（３）のような演算が行われる。
【０１０３】
【数３】
2010217980.tif 000005
・・・（３）
【０１０４】
ステップＳ７−２において、顔基準情報検出部５４は、透視投影変換により頭部モデルの座標を画像座標に変換する。具体的には例えば、カメラの焦点距離をｆと記述し、ｎ番目の画像座標をbn＝(xn , yn)と記述すると、次の式（４）のような演算が行われる。
【０１０５】
【数４】
2010217980.tif 000006
・・・（４）
【０１０６】
ステップＳ７−３において、顔基準情報検出部５４は、投影後の座標をスケールを使って拡大縮小する。具体的には例えば、拡大縮小後の座標をｎ番目の画像座標をbn‘＝(xn’ , yn‘)と記述すると、次の式（５）のような演算が行われる。
【０１０７】
【数５】
2010217980.tif 000007
・・・（５）
【０１０８】
ステップＳ７−４において、顔基準情報検出部５４は、並進を行い、画像上の特定部位の位置に合わせる。具体的には例えば、並進後の座標をｎ番目の画像座標をbn‘’＝(xn’‘ , yn‘’)と記述すると、次の式（６）のような演算が行われる。
【０１０９】
【数６】
2010217980.tif 000008
・・・（６）
【０１１０】
このようなステップＳ７−１乃至Ｓ７−４により、画像に当てはめた頭部モデルの座標bn‘’＝(xn’‘ , yn‘’)が求まることになる。
【０１１１】
そこで、顔基準情報検出部５４は、画像に当てはめた頭部モデルの座標bn‘’ と、ステップＳ５の処理で画像から検出された特定部位の位置との誤差が最小になるパラメータを求めることで、顔の基準点を求める。
【０１１２】
具体的には、画像に当てはめた頭部モデルの座標bn‘’＝(xn’‘ , yn‘’)のうち、xn’‘ 座標は次の式（７）に示されるように、yn‘’座標は次の式（８）に示されるように、それぞれ示される。
【０１１３】
【数７】
2010217980.tif 000009
・・・（７）
【０１１４】
【数８】
2010217980.tif 000010
・・・（８）
【０１１５】
ここで、Ｒ１１乃至Ｒ３３は、次の式（９）に示される回転行列Ｒの各要素であり、３軸の回転角のパラメータから決定される。
【０１１６】
【数９】
2010217980.tif 000011
・・・（９）
【０１１７】
画像から検出された特定部位の座標をPn=(xpn ， ypn)と記述すると、次の式（１０）を最小化するようなパラメータを求めることで、顔の基準点が求まることになる。
【０１１８】
【数１０】
2010217980.tif 000012
・・・（１０）
【０１１９】
これは非線形の最適化問題に他ならない。よって、その解法自体については、特に限定されず、最急降下法など公知の各種手法の他、今後登場するであろう各種手法を採用することが可能である。
【０１２０】
顔基準情報検出部５４は、この最適化問題を解いて得られたパラメータを用いて、顔の基準点の座標b１‘’＝(x１’‘ , y１‘’)を推定演算することができる。
【０１２１】
このようにして、図９のステップＳ７の処理で顔の基準点の座標b１‘’＝(x１’‘ , y１‘’)が推定演算されると、処理はステップＳ８に進む。
【０１２２】
ステップＳ８において、補正角度取得部５５は、頭の回転中心の座標から顔向きの補正角度を算出する。
【０１２３】
この場合の補正角度の算出手法は、特に限定されない。例えば、特開２００７−２４９３５２号公報に開示されているように、回転中心の座標に対応する補正角度を記録したテーブルを予め持ち、このテーブルに従って補正角度を算出するという手法を採用できる。
【０１２４】
また例えば、カメラの焦点距離に基づいて、カメラの光軸からのずれ角度を補正角度として算出するという手法を採用できる。
【０１２５】
図１１は、かかる補正角度の具体的な算出手法の一例を説明する図である。
【０１２６】
図１１に示される横方向のずれ角度θｘは、式（１１）のように表わされる。なお、縦方向のずれ角度θｙも、式（１１）に表わされている。
【０１２７】
【数１１】
2010217980.tif 000013
・・・（１１）
【０１２８】
なお、xcenterは、画像中心のX座標を示し、ycenterは画像中心のY座標を示している。
【０１２９】
即ち、式（１１）は、式（１２）の関係から、式（１３）のように表わされる。
【０１３０】
【数１２】
2010217980.tif 000014
・・・（１２）
【０１３１】
【数１３】
2010217980.tif 000015
・・・（１３）
【０１３２】
このようにして、ステップＳ８の処理で補正角度が算出されると、処理はステップＳ９に進む。
【０１３３】
ステップＳ９において、顔向き補正部５６は、画像上の顔向きを、補正角度を用いて補正する。これにより、カメラ１２から見た顔向きが、車両の正面方向を基準とした顔向きに補正される。具体的には、カメラ１２から見た顔向きの角度から、補正角度を引くことで、車両の正面方向を基準とした顔向きが得られることになる。
【０１３４】
ステップＳ１０において、顔向き補正部５６は、補正後の顔向きを出力する。
【０１３５】
これにより、顔向き補正処理は終了となる。
【０１３６】
以上説明したように、第１実施形態では、図４の監視カメラシステムが、図９のフローチャートに従った顔向き補正処理を実行することができる。これにより、顔向きが大きく変化したり、髪型が頭部輪郭に対して大きく異なる場合でも、補正角度の精度は低下しない。
【０１３７】
以上、本発明を適用した情報処理システムの第１実施形態としての監視カメラシステムについて説明した。
【０１３８】
＜３．第２実施形態＞
【０１３９】
次に、本発明を適用した情報処理システムの第２実施形態としての監視カメラシステムについて説明する。
【０１４０】
図１２は、本発明を適用した情報処理システムの第２実施形態としての監視カメラシステムの構成例を示している。
【０１４１】
図１２において、図４と対応する箇所には対応する符号を付してあり、それらの説明については適宜省略する。
【０１４２】
図１２の構成の第２実施形態の監視カメラシステムの構成要素自体は、図４の構成の第１実施形態の監視カメラシステムの構成要素と変わりない。
【０１４３】
ただし、第１実施形態の顔基準情報検出部５４は、画像上の顔の基準線や基準点を求めるためには、上述の如く、非線形の最適化問題を解く必要があった。このため、処理時間が長くなったり、計算結果が収束しない場合があった。
【０１４４】
そこで、第２実施形態の監視カメラでは、顔基準情報検出部５４には、顔向き検出部５１により検出された画像上の顔向きが入力される。顔基準情報検出部５４においては、画像上の顔向きを用いることで、画像上の顔の基準線や基準点を求めるための計算式を線形にすることができる。これにより、第１実施形態に比較して処理時間を削減でき、また、計算結果が安定する（必ず収束する）ようになる。また、画像上の顔の基準線や基準点の演算に必要な特定部位の数を削減できるようになる。
【０１４５】
次に、図１３を参照して、図１２の構成の監視カメラシステムが実行する顔向き補正処理について説明する。
【０１４６】
図１３は、第２実施形態の顔向き補正処理を説明するフローチャートである。
【０１４７】
図１３のステップＳ２１乃至Ｓ２４の処理は、図９のステップＳ１乃至Ｓ４の処理と基本的に同様の処理であるため、ここではその説明については省略する。
【０１４８】
顔向き検出部５１は、顔向きの検出ができた場合、ステップＳ２３においてＹＥＳであると判定し、次のようなステップＳ２５以降の処理を実行する。
【０１４９】
ステップＳ２５において、特定部位検出部５２は、特定部位の位置として両目の位置（座標）を検出する。
【０１５０】
なお、図１３の例の顔向き補正処理では、後述する図１４の例のモデルが使用される。この頭部のモデルは、両目の２点と回転中心点の３点で作成されているため、ステップＳ２５の処理では両目の位置が検出される。ただし、頭部のモデルは、図１３の例に限定されず、両目以外の２点、例えば、鼻と片目の２点、鼻と口の２点または耳と眉毛の２点などを用いて作成するようにしてもよい。また、回転中心以外の点として、２点だけではなく３点以上を用いて頭部のモデルを作成するようにしてもよい。即ち、特定部位検出部５２は、頭部モデルの作成に用いられた各点（回転中心点除く）のそれぞれを特定部位として、ステップＳ２５の処理で、各特定部位の位置を検出すればよい。
【０１５１】
ステップＳ２６において、特定部位検出部５２は、両目を検出できたか否かを判定する。
【０１５２】
両目のうちの少なくとも一方の目が検出されなかった場合、ステップＳ２６においてＮＯであると判定されて、ステップＳ２４において、顔向き検出エラーが出力されて、顔向き補正処理が終了する。
【０１５３】
これに対して、両目が検出された場合、ステップＳ２６においてＹＥＳであると判定されて、処理はステップＳ２７に進む。
【０１５４】
ステップＳ２７において、顔基準情報検出部５４は、両目の位置を用いて、顔の基準点を推定する。
【０１５５】
具体的には例えば、図１４に示される頭部モデルが記憶部５３に記憶されているとする。
【０１５６】
図１４の頭部モデルにおける三次元座標Bｃ，Bｌ，Bｒは、次の式（１４）のように表わされる。
【０１５７】
【数１４】
2010217980.tif 000016
・・・（１４）
【０１５８】
この場合、顔基準情報検出部５４は、顔の基準点の座標Bｃを、頭部モデルの原点座標とすることで、顔向きの変化による回転と頭部モデルの回転を一致させる。即ち、顔基準情報検出部５４は、次のようなステップ２７−１乃至２７−４の処理に従って、図１４の頭部モデルを、ステップＳ２１の処理で取得された画像にあてはめる。
【０１５９】
ステップＳ２７−１において、顔基準情報検出部５４は、画像上の顔向き角度を用いて頭部モデルを回転させる。
【０１６０】
具体的には例えば、顔基準情報検出部５４は、画像上の顔向き角度θLR，θUD，θrotを用いて回転行列Ｒを作成する。そして、顔基準情報検出部５４は、回転行列Ｒを用いて、回転後の頭部モデルの座標を演算する。
【０１６１】
回転後の座標を次の式（１５）のように記述すると、次の式（１６）のような演算が行われる。
【０１６２】
【数１５】
2010217980.tif 000017
・・・（１５）
【０１６３】
【数１６】
2010217980.tif 000018
・・・（１６）
【０１６４】
ステップＳ２７−２において、顔基準情報検出部５４は、透視投影変換により頭部モデルの座標を画像座標に変換する。具体的には例えば、カメラの焦点距離をｆと記述し、顔の基準点を透視投影変換した後の座標標xｃ’ , yc‘  は、次の式（１７）のように演算される。
【０１６５】
【数１７】
2010217980.tif 000019
・・・（１７）
【０１６６】
他点についても同様の演算が行われ、その結果、次の式（１８）のような透視投影変換した後の座標が得られる。
【０１６７】
【数１８】
2010217980.tif 000020
・・・（１８）
【０１６８】
ステップＳ２７−３において、顔基準情報検出部５４は、両目の間の距離に基づいて、透視投影変換後の頭部モデルのサイズを合わせる。
【０１６９】
具体的には例えば、左右の目の座標により求められる両目の間の距離をLAと記述すると、次の式（１９）のような演算が行われる。
【０１７０】
【数１９】
2010217980.tif 000021
・・・（１９）
【０１７１】
一方、変換後の頭部モデルの座標により求められる両目の間の距離をLBと記述すると、次の式（２０）のような演算が行われる。
【０１７２】
【数２０】
2010217980.tif 000022
・・・（２０）
【０１７３】
距離をLAと距離をLｂとの比をrateと記述すると、即ち、rate=LB／LAとすると、サイズを合わせた後の顔の基準点の座標xｃ’‘ , yc‘’は、次の式（２１）のように演算される。
【０１７４】
【数２１】
2010217980.tif 000023
・・・（２１）
【０１７５】
他点についても同様な演算が行われ、その結果、次の式（２２）に示されるような画像に当てはめた頭部モデルの各座標、即ち、サイズを合わせた後の顔、左目、右目のそれぞれの二次元座標が得られることになる。
【０１７６】
【数２２】
2010217980.tif 000024
・・・（２２）
【０１７７】
そこで、顔基準情報検出部５４は、式（２２）に示される座標と、ステップＳ２５の処理で画像から検出された目の位置に基づいて、顔の基準点を求める。
【０１７８】
具体的には、次の式（２３）に示されるように、サイズを合わせた後の目の位置と、画像から検出された目の位置との差分が求められる。
【０１７９】
【数２３】
2010217980.tif 000025
・・・（２３）
【０１８０】
式（２３）の演算結果に基づいて、次の式（２４）に示されるように、顔の基準点の二次元座標が求められることになる。
【０１８１】
【数２４】
2010217980.tif 000026
・・・（２４）
【０１８２】
このようにして、図１３のステップＳ２７の処理で顔の基準点の座標bｃが推定演算されると、処理はステップＳ２８に進む。
【０１８３】
図１３のステップＳ２８乃至Ｓ３０の処理は、図９のステップＳ８乃至Ｓ１０の処理と基本的に同様の処理であるため、ここではその説明については省略する。
【０１８４】
以上、本発明を適用した情報処理システムの第２実施形態としての監視カメラシステムについて説明した。
【０１８５】
＜４．第３実施形態＞
【０１８６】
次に、本発明を適用した情報処理システムの第３実施形態としての監視カメラシステムについて説明する。
【０１８７】
図１５は、本発明を適用した情報処理システムの第３実施形態としての監視カメラシステムの構成例を示している。
【０１８８】
図１５において、図１２と対応する箇所には対応する符号を付してあり、それらの説明については適宜省略する。
【０１８９】
図１５の構成の第３実施形態の監視カメラシステムには、図４の構成の第１実施形態や図１２の構成の第２実施形態の監視カメラシステムの構成要素と同様の構成要素が存在する他さらに、距離計測部６１が設けられている。
【０１９０】
距離計測部６１は、カメラ１２から運転者TSの顔までの距離を計測し、その計測結果を顔基準情報検出部５４に供給する。
【０１９１】
なお、距離の計測手法自体は、特に限定されず、例えば距離センサを用いる手法や、特開２００５−６６０２３号公報に開示されている画像処理で求める手法等を採用できる。もっとも、顔までの距離をより迅速かつ正確に検出できる手法を採用する方が好ましい。
【０１９２】
即ち、顔基準情報検出部５４には、特定部位検出部５２により検出された顔の特定部位の画像上の位置（座標）、顔向き検出部５１により検出された画像上の顔向き、記憶部５３に記憶された頭部モデルに加えてさらに、距離計測部６１の計測結果が供給される。
【０１９３】
そこで、顔基準情報検出部５４は、顔の特定部位の画像上の位置（座標）、画像上の顔向き、頭部モデルに加えてさらに、距離計測部６１の計測結果（カメラ１２から運転者TSの顔までの距離）を用いて、画像上の顔の基準線や基準点を求める。
【０１９４】
このように、画像上の顔の基準線や基準点の計算に、距離計測部６１の計測結果（カメラ１２から運転者TSの顔までの距離）を加えることで、未知数を減らすことができ、その結果、計算結果の精度が向上する。また、かかる計算のために必要な特定部位の数を削減することもできるようになる。
【０１９５】
次に、図１６を参照して、図１５の構成の監視カメラシステムが実行する顔向き補正処理について説明する。
【０１９６】
図１６は、第３実施形態の顔向き補正処理を説明するフローチャートである。
【０１９７】
図１６のステップＳ４１乃至Ｓ４６の処理は、図１３のステップＳ２１乃至Ｓ２６の処理と基本的に同様の処理であるため、ここではその説明については省略する。
【０１９８】
両目が検出された場合、ステップＳ４６においてＹＥＳであると判定されて、処理はステップＳ４７に進む。
【０１９９】
ステップＳ４７において、距離計測部６１は、カメラ１２から運転者TSの顔までの距離を検出する。
【０２００】
距離の検出に失敗した場合、ステップＳ４８においてＮＯであると判定されて、ステップＳ４４において、顔向き検出エラーが出力されて、顔向き補正処理が終了する。
【０２０１】
これに対して、距離の検出に成功した場合、ステップＳ４８においてＹＥＳであると判定されて、処理はステップＳ４９に進む。
【０２０２】
ステップＳ４９において、顔基準情報検出部５４は、両目の位置を用いて、顔の基準点を推定する。
【０２０３】
第３実施形態における顔の基準点の推定手法は、第２実施形態における顔の基準点の推定手法、即ち、上述したステップＳ２７−１乃至Ｓ２７−４に従った手法に類似している。そこで、以下、第３実施形態における顔の基準点の推定手法の説明として、第２実施形態における顔の基準点の推定手法とは異なる個所についてのみ、説明する。
【０２０４】
第３実施形態における顔の基準点の推定手法では、上述したステップＳ２７−１とＳ２７−２との間に、カメラ１２から運転者TSの顔までの距離に基づいて、頭部モデルが平行移動される。具体的には、顔までの距離をZfaceと記述し、頭部モデルの各点のZ座標をZｃ’’，Zｌ’’，Zｒ’’とそれぞれ記述すると、次の式（２５）のような演算が行われる。
【０２０５】
【数２５】
2010217980.tif 000027
・・・（２５）
【０２０６】
また、第３実施形態における顔の基準点の推定手法では、ステップＳ２７−２の処理後には、ステップＳ２７−３の処理は実行されずに、ステップＳ２７−４の処理が実行される。上述の式（２５）に従って頭部モデルのZ座標を変更したことは、ステップＳ２７−３の処理で行われるサイズ合わせと同等の意味を有するからである。
【０２０７】
図１６のステップＳ４９の処理で顔の基準点の座標bｃが推定演算されると、処理はステップＳ５０に進む。
【０２０８】
図１６のステップＳ５０乃至Ｓ５２の処理は、図１３のステップＳ２８乃至Ｓ３０の処理と基本的に同様の処理であるため、ここではその説明については省略する。
【０２０９】
以上、本発明を適用した情報処理システムの第３実施形態としての監視カメラシステムについて説明した。
【０２１０】
ところで、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、プログラム記録媒体からインストールされる。このプログラムは、例えば、専用のハードウエアに組み込まれているコンピュータにインストールされる。または、このプログラムは、各種のプログラムをインストールすることで各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等にインストールされる。
【０２１１】
図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２１２】
コンピュータにおいて、CPU２０１、ROM（Read Only Memory）２０２、およびRAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０２１３】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７、ハードディスクや不揮発性のメモリ等よりなる記憶部２０８が接続されている。さらに、入出力インタフェース２０５には、ネットワークインタフェース等よりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０２１４】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０２１５】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）であるリムーバブルメディア２１１に記録して提供される。プログラムは、パッケージメディアであるリムーバブルメディア２１１に記録して提供される。なお、パッケージメディアとしては、光ディスク（CD−ROM(Compact Disc−Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等が用いられる。あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２１６】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０２１７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２１８】
本発明の実施形態は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２１９】
１１  頭部
１２  カメラ
５１  顔向き検出部
５２  特定部位検出部
５３  記憶部
５４  顔基準情報検出部
５５  補正角度取得部
５６  顔向き補正部
６１  距離計測部
２０１  CPU
２０２  ROM
２０３  RAM
２０８  記憶部
２１１  リムーバブルメディア
【図１】
2010217980.tif 000028
【図２】
2010217980.tif 000029
【図３】
2010217980.tif 000030
【図４】
2010217980.tif 000031
【図５】
2010217980.tif 000032
【図６】
2010217980.tif 000033
【図７】
2010217980.tif 000034
【図８】
2010217980.tif 000035
【図９】
2010217980.tif 000036
【図１０】
2010217980.tif 000037
【図１１】
2010217980.tif 000038
【図１２】
2010217980.tif 000039
【図１３】
2010217980.tif 000040
【図１４】
2010217980.tif 000041
【図１５】
2010217980.tif 000042
【図１６】
2010217980.tif 000043
【図１７】
2010217980.tif 000044