(57)【要約】【課題】眼球中心と虹彩（瞳孔）を結ぶ方向として視線方向を推定する手法において、眼球中心位置の推定精度を向上させることが可能な視線方向推定装置を提供する。【解決手段】観測領域内において、人間の頭部領域を含む動画像が取得され、頭部領域には、予め複数の基本特徴点が規定されている。特徴点抽出部５６１０は、撮影された動画像の各画像フレームにおいて、基本特徴点を含む特徴点を抽出する。眼球中心位置推定部５６４０は、視線方向の推定処理の対象となる時点の画像フレームまでの動画像おいて抽出された基本特徴点および追加的に抽出された追加特徴点とに基づいて、現時点の画像フレームにおける眼球中心位置を推定する。視線方向推定部５６６０は、眼球中心位置および虹彩中心位置に基づいて、推定対象となる人間の視線の方向を推定する。【選択図】図３
2014194617.tif 000002
【特許請求の範囲】
【請求項１】
観測領域内において、人間の頭部領域を含む動画像を取得するための撮影手段を備え、前記頭部領域には、予め複数の基本特徴点が規定されており、
撮影された前記動画像の各画像フレームにおいて、前記基本特徴点を含む特徴点を抽出する特徴点抽出手段と、
視線方向の推定処理の対象となる時点までの動画像おいて複数の画像フレームで抽出された前記基本特徴点および追加的に抽出された追加特徴点に基づいて、現時点の画像フレームにおける眼球中心位置を推定する眼球中心位置推定手段と、
前記現時点の画像フレームから抽出された虹彩中心位置を抽出する虹彩位置決定手段と、
前記眼球中心位置および前記虹彩中心位置に基づいて、推定対象となる前記人間の視線の方向を推定する視線方向推定手段とを備える、視線方向推定装置。
【請求項２】
前記眼球中心位置推定手段は、
前記追加特徴点の頭部座標における３次元位置を推定する３次元位置推定手段と、
前記基本特徴点および前記追加特徴点の３次元位置に基づいて、推定対象となる前記人間の頭部位置および姿勢を推定する姿勢推定手段と、
推定された前記頭部位置および前記姿勢により、眼球中心の投影位置を算出する眼球中心位置算出部とを含む、請求項１記載の視線方向推定装置。
【請求項３】
前記眼球中心位置推定手段は、
弱透視変換を仮定した場合の前記基本特徴点および前記追加特徴点と眼球中心の投影位置の関係を算出する特徴点関係算出手段と、
前記基本特徴点および前記追加特徴点に基づいて、前記線形変換により前記眼球中心の投影位置を算出する眼球中心位置算出部とを含む、請求項１記載の視線方向推定装置。
【請求項４】
撮像装置により観測領域内において撮影された人間の頭部領域を含む動画像において、当該人間の視線方向を推定する視線方向推定方法であって、
前記頭部領域には、予め複数の基本特徴点が規定されており、
撮影された前記動画像の各画像フレームにおいて、前記基本特徴点を含む特徴点を抽出するステップと、
視線方向の推定処理の対象となる時点までの動画像おいて複数の画像フレームで抽出された前記基本特徴点および追加的に抽出された追加特徴点に基づいて、現時点の画像フレームにおける眼球中心位置を推定するステップと、
前記現時点の画像フレームから抽出された虹彩中心位置を抽出するステップと、
前記眼球中心位置および前記虹彩中心位置に基づいて、推定対象となる前記人間の視線の方向を推定するステップとを備える、視線方向推定方法。
【請求項５】
演算装置と記憶装置とを備えるコンピュータに、撮像装置により観測領域内において撮影された人間の頭部領域を含む動画像において、当該人間の視線方向を推定する処理を実行させるための視線方向推定プログラムであって、
前記頭部領域には、予め複数の基本特徴点が規定されており、
前記プログラムは、
前記演算装置が、撮影され前記記憶装置に格納された前記動画像の各画像フレームにおいて、前記基本特徴点を含む特徴点を抽出するステップと、
前記演算装置が、視線方向の推定処理の対象となる時点までの動画像おいて複数の画像フレームで抽出された前記基本特徴点および追加的に抽出された追加特徴点に基づいて、現時点の画像フレームにおける眼球中心位置を推定するステップと、
前記演算装置が、前記現時点の画像フレームから抽出された虹彩中心位置を抽出するステップと、
前記演算装置が、前記眼球中心位置および前記虹彩中心位置に基づいて、推定対象となる前記人間の視線の方向を推定するステップとを、コンピュータに実行させる、視線方向推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はカメラ等からの画像を処理する画像処理に関し、特に、画像中の人物の視線方向を推定するための画像認識の分野に関する。
【背景技術】
【０００２】
視線情報にはユーザの意図や興味対象などの情報が含まれているため、マーケティングや広告、コミュニケーション支援など様々な用途で有用であり、視線計測を利用した研究が幅広く進められている。
【０００３】
視線計測の手法としては、角膜反射を利用したものが一般的であるが、これらの手法では精度の高い計測が行える一方で、原理的に眼球と装置を近接させる必要があり、遠距離からの計測を行うことは難しい。また、これらの手法では、ユーザが特定の参照点を注視するなど事前にキャリブレーションを行う必要があるという問題があった。そのため、視線計測の用途は実験環境下での特定の被験者を対象とした計測に限られており、日常生活や公共の場において不特定多数のユーザに対して視線情報を取得することは困難であった（非特許文献１，非特許文献２を参照）。
【０００４】
それに対して、近年通常の画像観測を利用した視線計測の研究が盛んに行われている。なかでも眼球の３次元モデルを用いて眼球中心と虹彩（瞳孔）を結ぶ方向として視線方向を推定する手法は、特別な照明を必要とせず、従来の角膜反射による視線推定に比べて格段に低い解像度で視線計測を行うことができるという利点がある。特に、単眼カメラによる計測手法は、一定以上の解像度で観測ができればカメラとの距離に関わらず視線計測が行えることから観測距離の制約を大幅に緩和することが可能となる。また、ユーザに意識させずに自動的にキャリブレーションを行う手法も提案されており、これらの手法により、日常環境において視線を計測することが可能となった（たとえば、非特許文献３，特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−２１６１８０号公報明細書
【非特許文献】
【０００６】
【非特許文献１】Ohno, T., Mukawa, N., and Kawato, S. 2003. Just blink your eyes: A head-free gaze tracking system. In Proc. CHI2003,950-951.
【非特許文献２】Morimoto, C. H., and Mimica, M. R. M. 2005. Eye gaze tracking techniques for interactive applications. Computer Vision and Image Understanding 98, 1, 4-24.
【非特許文献３】山添大丈， 内海章， 米澤朋子，"単眼カメラを用いた視線推定のための三次元眼球モデルの自動キャリブレーション"，電子情報通信学会論文誌 D， Vol. J94-D， No。 6，pp.998-1006， 2011
【発明の概要】
【発明が解決しようとする課題】
【０００７】
この非特許文献３等に開示された手法では、視線方向を眼球中心と虹彩（瞳孔）を結ぶ方向として推定するが、虹彩（瞳孔）が画像から直接観測可能であるのに対して、眼球中心は直接観測することが困難であり、顔面上の特徴点の観測座標から間接的に位置を推定する必要がある。
【０００８】
視線推定の精度は、虹彩（瞳孔）位置と眼球中心位置両方の検出精度に依存するため、眼球中心位置を正確に推定することは視線計測の精度向上にとって極めて重要である。しかしながら、顔面上の特徴点（目尻・目頭・眉毛など）の分布には個人差があり、あらかじめその位置を正確に求めておくことは難しい。そのため、例えば、多数の人の平均的な特徴点位置をもとに顔姿勢を推定して眼球中心位置を求めることが行われる。
【０００９】
ただし、視線方向の推定精度を向上させるためには、眼球中心位置の推定精度をさらに向上させる必要がある。
【００１０】
本発明は、このような問題点を解決するためになされたものであって、その目的は、眼球中心と虹彩（瞳孔）を結ぶ方向として視線方向を推定する手法において、眼球中心位置の推定精度を向上させることが可能な視線方向推定装置、視線方向推定装置および視線方向推定プログラムを提供することである。
【課題を解決するための手段】
【００１１】
この発明の１つの局面に従うと、視線方向推定装置であって、観測領域内において、人間の頭部領域を含む動画像を取得するための撮影手段を備え、頭部領域には、予め複数の基本特徴点が規定されており、撮影された動画像の各画像フレームにおいて、基本特徴点を含む特徴点を抽出する特徴点抽出手段と、視線方向の推定処理の対象となる時点までの動画像おいて複数の画像フレームで抽出された基本特徴点および追加的に抽出された追加特徴点に基づいて、現時点の画像フレームにおける眼球中心位置を推定する眼球中心位置推定手段と、現時点の画像フレームから抽出された虹彩中心位置を抽出する虹彩位置決定手段と、眼球中心位置および虹彩中心位置に基づいて、推定対象となる人間の視線の方向を推定する視線方向推定手段とを備える。
【００１２】
好ましくは、眼球中心位置推定手段は、追加特徴点の頭部座標における３次元位置を推定する３次元位置推定手段と、基本特徴点および追加特徴点の３次元位置に基づいて、推定対象となる人間の頭部位置および姿勢を推定する姿勢推定手段と、推定された頭部位置および姿勢により、眼球中心の投影位置を算出する眼球中心位置算出部とを含む。
【００１３】
好ましくは、眼球中心位置推定手段は、弱透視変換を仮定した場合の基本特徴点および追加特徴点と眼球中心の投影位置の関係を算出する特徴点関係算出手段と、基本特徴点および追加特徴点に基づいて、線形変換により眼球中心の投影位置を算出する眼球中心位置算出部とを含む。
【００１４】
この発明の他の局面に従うと、撮像装置により観測領域内において撮影された人間の頭部領域を含む動画像において、当該人間の視線方向を推定する視線方向推定方法であって、頭部領域には、予め複数の基本特徴点が規定されており、撮影された動画像の各画像フレームにおいて、基本特徴点を含む特徴点を抽出するステップと、視線方向の推定処理の対象となる時点までの動画像おいて複数の画像フレームで抽出された基本特徴点および追加的に抽出された追加特徴点に基づいて、現時点の画像フレームにおける眼球中心位置を推定するステップと、現時点の画像フレームから抽出された虹彩中心位置を抽出するステップと、眼球中心位置および虹彩中心位置に基づいて、推定対象となる人間の視線の方向を推定するステップとを備える。
【００１５】
この発明のさらに他の局面にしたがうと、演算装置と記憶装置とを備えるコンピュータに、撮像装置により観測領域内において撮影された人間の頭部領域を含む動画像において、当該人間の視線方向を推定する処理を実行させるための視線方向推定プログラムであって、頭部領域には、予め複数の基本特徴点が規定されており、プログラムは、演算装置が、撮影され記憶装置に格納された動画像の各画像フレームにおいて、基本特徴点を含む特徴点を抽出するステップと、演算装置が、視線方向の推定処理の対象となる時点までの動画像おいて複数の画像フレームで抽出された基本特徴点および追加的に抽出された追加特徴点に基づいて、現時点の画像フレームにおける眼球中心位置を推定するステップと、演算装置が、現時点の画像フレームから抽出された虹彩中心位置を抽出するステップと、演算装置が、眼球中心位置および虹彩中心位置に基づいて、推定対象となる人間の視線の方向を推定するステップとを、コンピュータに実行させる。
【発明の効果】
【００１６】
本発明の視線方向推定装置、視線方向推定装置および視線方向推定プログラムでは、眼球中心位置の推定精度を向上させ、より正確に視線方向の推定を行うことが可能となる。
【図面の簡単な説明】
【００１７】
【図１】視線方向の推定装置の外観を示す図である。
【図２】コンピュータシステム２０のハードウェアブロック図である。
【図３】ＣＰＵ２０４０がソフトウェアを実行することにより実現する機能を示す機能ブロック図である。
【図４】顔（頭部）の検出が実施された結果を示す図である。
【図５】ガボール表現を用いた顔部品モデルを用いた特徴点の抽出処理を説明するための概念図である。
【図６】ラベリング処理例を示す図である。
【図７】右目および左目の虹彩と眼球モデルとの照合処理の概念を示す図である。
【図８】視線方向を決定するためのモデルを説明する概念図である。
【図９】顔画像から抽出される顔特徴点の例を示す図である。
【図１０】実施の形態１における頭部位置・姿勢の推定の概念を示す概念図である。
【図１１】実施の形態１における眼球中心推定部５６４０の構成を説明するための機能ブロック図である。
【図１２】本実施の形態において、ＣＰＵ２０４０により視線推定のソフトウェアを実行する処理フローを示すフローチャートである。
【図１３】実施の形態２における眼球中心推定部５６４０の構成を説明するための機能ブロック図である。
【図１４】実施の形態２において、ＣＰＵ２０４０により視線推定のソフトウェアを実行する処理フローを示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態の視線方向の推定装置の構成について、図に従って説明する。なお、以下の実施の形態において、同じ符号を付した構成要素および処理工程は、同一または相当するものであり、必要でない場合は、その説明は繰り返さない。
【００１９】
［実施の形態１］
［ハードウェア構成］
以下、本発明の実施の形態にかかる「視線方向の推定装置」について説明する。この視線方向の推定装置は、パーソナルコンピュータ、カメラ付きの携帯情報端末または専用コンピュータ等、演算装置上で実行されるソフトウェアにより実現されるものであって、対象画像から人物の顔を抽出し、さらに人物の顔の映像に基づいて、視線方向を推定・検出するためのものである。
【００２０】
ただし、以下に説明する「視線方向の推定装置」の各機能の一部または全部は、ハードウェアにより実現されてもよい。
【００２１】
図１は、この視線方向の推定装置の外観を示す図である。
【００２２】
以下では、視線方向の推定装置が汎用のパーソナルコンピュータにより実現される構成を例にとって説明する。
【００２３】
図１を参照して、この視線方向の推定装置を構成するシステム２０は、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）またはＤＶＤ−ＲＯＭ（Digital Versatile Disc Read-Only Memory）ドライブ（以下、「光学ディスクドライブ」と呼ぶ）２０３０のような記録媒体からデータを読み取るためのドライブ装置を備えたコンピュータ本体２０１０と、コンピュータ本体２０１０に接続された表示装置としてのディスプレイ２１２０と、同じくコンピュータ本体２０１０に接続された入力装置としてのキーボード２１００およびマウス２１１０と、コンピュータ本体２０１０に接続された、画像を取込むためのカメラ３０とを含む。
【００２４】
記録媒体としては、光学ディスクに限定されず、たとえば、メモリカードのような不揮発性半導体メモリを用いたものであってもよく、その場合は、メモリドライブ２０２０（図示せず）が設けられる。
【００２５】
また、この実施の形態の装置では、各カメラ３０としては、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサのような固体撮像素子を含む単眼カメラを用いることができる。ただし、カメラの台数としては、１台でもよいし、複数台でもよい。以下では、１台の単眼カメラにより画像の撮像がされるものとして説明する。
【００２６】
（ハードウェアの構成）
図２は、コンピュータシステム２０のハードウェアブロック図である。
【００２７】
図２において、コンピュータ本体２０１０は、メモリドライブ２０２０、ディスクドライブ２０３０に加えて、ＣＰＵ２０４０と、ディスクドライブ２０３０及びメモリドライブ２０２０に接続されたバス２０５０と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ２０６０とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ２０７０と、アプリケーションプログラム、システムプログラム、及びデータを記憶するための不揮発性記憶装置（たとえば、ハードディスク（ＨＤＤ））２０８０と、ネットワーク等を介して外部機器、たとえば、サーバ等と通信するための通信インタフェース２０９０と、カメラ３０からの画像信号を受信するための画像入力インタフェース２０９２とを含む。
【００２８】
コンピュータシステム２０に、本実施の形態の視線方向の推定装置の機能を実行させるプログラムは、ＣＤ−ＲＯＭ２２００、またはメモリ媒体２２１０に記憶されて、ディスクドライブ２０３０またはメモリドライブ２０２０に挿入され、さらにハードディスク２０８０に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ本体２０１０に送信され、ハードディスク２０８０に記憶されても良い。プログラムは実行の際にＲＡＭ２０７０にロードされる。
【００２９】
コンピュータシステム２０は、さらに、入力装置としてのキーボード２１００およびマウス２１１０と、出力装置としてのディスプレイ２１２０とを備える。
【００３０】
上述したようなコンピュータシステム２０として機能するためのプログラムは、コンピュータ本体２０１０に、情報処理装置等の機能を実行させるオペレーティングシステム（ＯＳ）は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム２０がどのように動作するかは周知であり、詳細な説明は省略する。
【００３１】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【００３２】
さらに、ＣＰＵ２０４０も、１つのプロセッサであっても、あるいは複数のプロセッサであってもよい。すなわち、シングルコアのプロセッサであっても、マルチコアのプロセッサであってもよい。
【００３３】
［システムの機能ブロック］
本実施の形態では、あらかじめ準備した平均的な顔形状（部品配置）モデルをもとに眼球中心位置を推定しながら、ユーザ固有の顔部品配置と眼球中心位置の関係をオンラインで学習し、眼球中心位置の推定精度を向上させることで高精度な視線推定を可能にする。
【００３４】
以下に説明するとおり、本実施の形態の視線方向の推定装置では、顔特徴点を各画像フレームで検出することにより、単眼カメラを使用して視線方向を推定する。
【００３５】
本実施の形態の視線方向の推定装置では、眼球中心と虹彩中心を結ぶ３次元ベクトルを視線方向として推定する。
【００３６】
ここで虹彩はカメラによって観測可能であるが、眼球中心は直接観測することができない。そこでカメラで得られる観測画像からユーザの顔面上の特徴点を検出し、顔形状の３次元モデルと顔特徴点の２次元観測座標から頭部の位置・姿勢を推定し、間接的に眼球中心の３次元座標を推定する。顔形状の３次元モデル(顔部品の３次元配置)と眼球中心位置の関係は、複数フレームの観測結果から、上述した非特許文献３に開示された手法によりユーザに意識させることなく自動的にキャリブレーションすることができる。
【００３７】
一方で、頭部位置・姿勢の推定結果に基づいて、左右それぞれの目領域の観測画像から虹彩抽出を行う。虹彩領域について楕円形上の当てはめ等の手法により３次元の虹彩中心位置（または虹彩中心の投影位置）を決定し、眼球中心位置と虹彩中心位置から視線方向を算出する。
【００３８】
上記の処理を実現するためには、以下に挙げる各項目についての検討が必要となる。
・顔の３次元モデル
・顔の検出、顔特徴点の決定
・眼球中心位置の推定
・虹彩の抽出
・視線方向の推定
以下では、これらの各項目について説明する。
【００３９】
なお、以下では実施の形態の説明の便宜上、「虹彩中心」との用語を用いるが、この用語は、「虹彩の中心」または「瞳孔の中心」を意味するものとして使用するものとする。つまり、視線の推定処理において、以下の説明のような手続きにより求められるものを「虹彩中心」と呼ぶか「瞳孔中心」と呼ぶかは、その手続きが同様である限りにおいて、本実施の形態の態様において、本質的な相違を有するものではない。
【００４０】
図３は、本実施の形態の視線方向の推定装置において、上述したＣＰＵ５６がソフトウェアを実行するにより実現する機能を示す機能ブロック図である。
【００４１】
なお、図３に示した機能ブロックのうちのＣＰＵ５６が実現する機能ブロックとしては、ソフトウェアでの処理に限定されるものではなく、その一部または全部がハードウェアにより実現されてもよい。
【００４２】
図３を参照して、複数のカメラ３０により撮像された動画に対応する映像信号は、フレームごとに画像キャプチャ処理部５６０２により制御されてデジタルデータとしてキャプチャされ、画像データ記録処理部５６０４により、たとえば、ハードディスク２０８０のような不揮発性記憶装置に格納される。
【００４３】
顔検出部５６０６は、キャプチャされたフレーム画像列に対して、周知の顔検出アルゴリズムにより、顔候補探索を行う。なお、このような周知な顔（頭）検出アルゴリズムとしては、特に限定されないが、たとえば、特開２００８−１０２９０２号公報明細書に記載されるようなアルゴリズムや、後に説明するような公知文献に記載されるアルゴリズムを使用することが可能である。
【００４４】
特徴点抽出部５６１０は、後に説明するように、画像中の顔領域から特徴抽出を行う特徴抽出部５６１２と、抽出された特徴から予め定められた基本特徴点を決定する基本特徴点決定部５６１４ａと、動画の撮像の時間経過に従って、新たに検出される追加特徴点を決定する追加特徴点決定部５６１４ｂとを含む。なお、基本特徴点決定部５６１４ａと追加特徴点決定部５６１４ｂとを総称する場合は、特徴点決定部５６１４と呼ぶ。
【００４５】
眼球中心推定部５６４０は、眼球の３次元モデルに基づいて、処理対象の特定人物の眼球中心の３次元的な位置を推定する。本実施の形態では、追加の特徴点を順次追加していきながら、顔モデルにおける眼球中心位置を算出する構成とすることで、より多くの特徴点により、より精度を向上させながら、眼球中心位置の推定を行うことが可能となる。
【００４６】
虹彩抽出部は５６２０は、後に説明するように画像中から虹彩を抽出し、虹彩中心抽出部５６２２は、後に説明するようなアルゴリズムにより、虹彩の中心の投影位置を検出する。ここで、虹彩位置の推定においては、後に説明する最適化処理により虹彩位置の推定を行ってもよいし、あるいは、これも特許文献１（特開２００８−１０２９０２号公報明細書）に記載されたような処理であって、目の周辺領域に対して、ラプラシアンにより虹彩のエッジ候補を抽出し、円のハフ変換を適用することにより、虹彩の中心の投影位置を検出する、というような処理を行ってもよい。
【００４７】
視線方向推定部５６６０は、抽出された虹彩の中心の投影位置である画像フレーム中の２次元的な位置と、推定された眼球の３次元的な中心位置とに基づいて、視線方向を推定する。推定された視線方向は、眼球中心位置等の推定処理に使用したパラメータとともに、ハードディスク（不揮発性記憶装置）２０８０に格納される。
【００４８】
また、表示制御部５６７０は、以上のようにして推定された視線の方向を、表示装置２１２０において、取得された画像フレーム上に表示するための処理を行なう。
【００４９】
以下、各処理について、さらに詳しく説明する。
【００５０】
（顔の３次元モデル）
顔面上の各特徴点の重心位置を原点として顔の正面方向をＺ軸の正方向とする座標系（Ｘ＝０に対して左右対称)を定義し、複数の被験者についての観測データに基づいて平均的な顔の３次元モデル(顔部品の配置) を生成する。顔面上の基本特徴点としてＮ点(例えば両目尻、目頭と口の両端点の６点(Ｎ＝６))を利用する。ここでp番目の特徴点の３次元位置を以下のように表す。
【００５１】
【数１】
2014194617.tif 000003
（顔の検出，顔特徴点の決定）
顔検出および顔特徴点の検出については、たとえば、それぞれ広く用いられているＨａａｒ−ｌｉｋｅ特徴量を用いた顔検出アルゴリズムおよび、ガボール（Ｇａｂｏｒ）特徴量を利用した顔特徴点抽出を利用することができる。
【００５２】
まず、Ｈａａｒ−ｌｉｋｅ特徴量を用いた顔検出アルゴリズムについては、以下の文献に開示がある。
【００５３】
文献１：Viola, P., and Jones, M. 2001. Rapid object detection using a boosted cascade of simple features. In Proc. CVPR2001, vol. 1, 511-518.
ここで、図４は、このような顔（頭部）の検出が実施された結果を示す図である。このような顔（頭部）の検出処理としては、特に限定されないが、たとえば、以下の公知文献２に開示されたアルゴリズム（AdaBoostと呼ぶ）を使用することができる。
【００５４】
文献２：CVIM研究会 チュートリアルシリーズ(チュートリアル2)  情報処理学会研究報告. 2007-CVIM-159(32), [コンピュータビジョンとイメージメディア] , P.265-272, 2007-05-15.
顔（頭部）の画像フレームからの検出については、周知の他のアルゴリズムを利用することも可能である。
【００５５】
また、顔特徴点の抽出において、顔部品モデルとしては、特徴点を含む部分画像を顔部品テンプレートとして事前に準備しおいてもよいし、あるいは、上述したガボール（Gabor）表現を用いたモデルを使用することも可能である。
【００５６】
図５は、このようなガボール表現を用いた顔部品モデルを用いた特徴点の抽出処理を説明するための概念図である。
【００５７】
ここで、「ガボール表現を用いた顔部品モデル」とは、顔画像領域内の各部分領域をガボール基底ベクトルとの積和演算により低次元ベクトル表現に変換し、あらかじめ変換してハードディスク２０８０に記録してあるモデルのことである。カメラ３０からの画像フレームは、たとえば、図５（ａ）の黒枠で示されるような黒四角の枠の大きさで部分画像に分割してあるものとする。ＣＰＵ２０４０は、このガボール表現を用いた顔部品モデルを顔部品テンプレートとして、各カメラからの画像フレームの各部分画像と比較し、類似度の高いものを特徴点として抽出する。
【００５８】
このような特徴点の抽出処理については、たとえば、以下の公知文献３に記載されている。
【００５９】
文献３：画像処理による顔検出と顔認識(サーベイ(2))情報処理学会研究報告. 2005-CVIM-149(37), [コンピュータビジョンとイメージメディア] , P.343-368, 2005-05-13.
なお、顔特徴点の抽出には、SIFT（Scale-Invariant Feature Transform）、SURF（Speeded Up Robust Features）などの特徴抽出手法を利用してもよい。
【００６０】
（眼球中心位置の推定）
上記の顔の３次元モデルを用いて顔の３次元位置、姿勢を決定する。頭部の位置、姿勢をＲ，Ｔとすると、顔の特徴点pの３次元位置について以下の関係が成り立つ。
【００６１】
【数２】
2014194617.tif 000004
ここで、Ａcはカメラの内部パラメータである。頭部の位置姿勢ＲとＴは次式で計算される再投影誤差を最小にすることで求めることができる。
【００６２】
【数３】
2014194617.tif 000005
推定された頭部位置姿勢に基づいて眼球中心投影位置を推定する。人の頭部には左右２個の眼球があるが、推定手法は共通であるので以下では一方の眼球についてのみ説明する。
【００６３】
眼球中心の投影位置ｘc＝［xc, yc］は、以下のようになる（後に説明する実施の形態１）。
【００６４】
【数４】
2014194617.tif 000006
なお、弱透視変換を仮定すると、顔特徴点位置（ｘp，ｙp）と眼球中心投影位置（ｘC，ｙC）の関係は線形変換Ｐで表されるため、変換式Ｐが既知であれば眼球中心投影位置は次式によって直接推定することもできる（後に説明する実施の形態２）。
【００６５】
【数５】
2014194617.tif 000007
（虹彩の抽出）
以上のようにして得られた頭部位置・姿勢に基づいて、カメラにおける左右の各目領域画像を抽出する。目領域の抽出には、ベジェ曲線を用いてモデル化した瞼形状の当てはめ結果と眼球領域の境界を利用することができる。
【００６６】
抽出後、各画素ごとの輝度値に基づいて虹彩・白目のラベル付けを行う。最後に得られた虹彩領域に対して３次元虹彩モデルを当てはめることで虹彩中心位置ｘiris＝［xiris,ｙiris］を得る。
【００６７】
このような処理については、特許文献１に記載があるので、以下、簡単に説明する。
【００６８】
すなわち、入力画像から目の周辺領域を切り出し、色および輝度情報をもとに、以下の式（１）に従って、虹彩（黒目）、白目、肌領域の３種類にラベル付けを行なう。
【００６９】
【数６】
2014194617.tif 000008
ここで、ｈｓ,ｋは、肌領域のｋ番目の画素の色相（hue）の値を表わす。ｈｉ，ｊは、入力画像中の画素（ｉ，ｊ）（第ｉ番目のフレームのｊ番目の画素）の色相の値を表わす。ｖｓ,ｋは、入力画像中の画素（ｉ，ｊ）の明度の値を表わす。
【００７０】
図６は、このようなラベリング処理例を示す図である。
【００７１】
続いて各画素が虹彩モデルの内側にあるかどうかをチェックし、眼球モデルとの照合度を評価する（最適化処理）。
【００７２】
図７は、このような右目および左目の虹彩と眼球モデルとの照合処理の概念を示す図である。
【００７３】
ここで、このような眼球モデルとの照合度の評価処理を行なうにあたり、以下の式（２）で表される距離ｄ｛LR｝,i,jを導入する。
【００７４】
【数７】
2014194617.tif 000009
一方、ｒ｛LR｝,i,jは、虹彩中心から画素（ｉ，ｊ）方向の虹彩半径を示すとすると、図７に示すとおり、画素（ｉ，ｊ）が虹彩の外側にあれば、ｄ｛LR｝,i,jは、ｒ｛LR｝,i,jよりも大きな値を示す。
【００７５】
ｒ｛LR｝,i,jは、以下の式（３）に示すように、３次元の眼球中心位置Ｘi{LR}（太字）、対象画像フレーム内の画素位置（ｘｉ，ｊ，ｙｉ，ｊ）、眼球半径ｌｉ、虹彩半径ｒｉ、対象画像フレーム内の虹彩中心投影位置ｘ{LR}、ｉ（太字）の関数となる。なお、以下では、下付文字｛ＬＲ｝は、左を意味するＬ、右を意味するＲを総称するものとして使用する。また、添え字のｉは、第ｉ番目の画像フレームであることを示す。
【００７６】
【数８】
2014194617.tif 000010
なお、眼球中心位置は頭部に対して一定の位置にあると考えられる。ここで、眼球中心位置としては、頭部位置・姿勢により推定された位置、または、弱透視変換を仮定して得られた位置を用いるものとする。
【００７７】
最後に、眼周辺の全画素についてｄ｛LR｝,i,jの評価を行ない、入力画像群に尤もよく当てはまる以下の式（４）のモデルパラメータθを、式（５）に従って決定する。
【００７８】
【数９】
2014194617.tif 000011
ここで、ｇi,j｛LR｝は、フレームi、画素jにおけるｄ｛LR｝,i,jの評価値であり、対象画素が虹彩領域か白目領域かによって、以下の式に従い、符合を反転させる。
【００７９】
【数１０】
2014194617.tif 000012
ラベリングｕijが撮影された画像内の虹彩領域を反映し、関数Ｇi,j｛LR｝は、眼球モデルから算出される虹彩領域を反映している。
【００８０】
このようにして、虹彩中心位置ｘiris＝［xiris,ｙiris］を得ることができる。
（視線方向の推定）
以上のようにして得られた虹彩中心投影位置および眼球中心位置の投影位置から視線方向を計算することができる。
【００８１】
より具体的には、以上で求まった眼球中心位置と虹彩中心位置より視線方向を計算する。
【００８２】
図８は、視線方向を決定するためのモデルを説明する概念図である。
【００８３】
すなわち、以上の処理で得た眼球中心位置の画像上での投影座標をｘc＝［xc, yc］、虹彩中心の２次元座標をｘiris＝［xiris,ｙiris］とし、眼球領域の半径ｒとすると視線方向(カメラの光軸と視線方向との間の角度) は以下の式により推定できる。
【００８４】
【数１１】
2014194617.tif 000013
ここで、α，βはｘ軸、ｙ軸方向のそれぞれの視線方向である。
（顔特徴点の追加）
本実施の形態では、事前に用意された平均的な顔モデル等に基づいて、観測画像から抽出した特徴点から頭部の位置・姿勢を推定する。入力画像から新たに観測される特徴点と頭部位置・姿勢の関係は繰り返し観測によって徐々に精度を上げながら推定される。初期の段階では、眼球中心位置は事前に用意された顔モデル等に基づく頭部位置・姿勢推定情報のみから推定されるが、上記の頭部位置・姿勢と新たに観測される特徴点の関係が得られた段階で、それらの特徴点の情報を加えて眼球中心位置をより高精度に推定できるようになる。眼球中心位置と、別途得られる虹彩（瞳孔）位置から視線方向を算出することができる。
【００８５】
図９は、顔画像から抽出される顔特徴点の例を示す図である。
【００８６】
図１０は、実施の形態１における頭部位置・姿勢の推定の概念を示す概念図である。
【００８７】
図９の例では、黒でマークした特徴点（目尻・目頭・口端）６点が基本特徴点であり、平均的な顔モデルにおける位置があらかじめ与えられている。
【００８８】
図１０に示すように、これらの基本特徴点の顔面上の位置は比較的個人差が少なく、平均的なモデルによって頭部の位置・姿勢を推定することが可能である。したがって、基本特徴点としては、（目尻（左右）・目頭（左右）・口端（左右））のうちの少なくとも４点を設定するものとする。しかしながら、特徴点数が限られること、個人差が皆無ではないことから、頭部位置・姿勢推定の精度は比較的低い。
【００８９】
一方、図９の例において白でマークした特徴点は追加で検出された特徴点を示している。これらの特徴点は、眉毛やまぶたなど個人間の位置変化が大きい点であり、初期段階ではその位置は不明である。
【００９０】
しかし、図１０に示すように、繰り返し観測によって上述の通り、頭部位置・姿勢あるいは眼球中心位置とこれらの特徴点の関係を学習し、眼球中心位置の推定精度を向上させることが可能である。
【００９１】
図１１は、実施の形態１における眼球中心推定部５６４０の構成を説明するための機能ブロック図である。
【００９２】
図１１に示すように、眼球中心推定部５６４０は、３次元の頭部位置・姿勢を陽に含む処理により、眼球中心位置の推定を実行する。
【００９３】
すなわち、眼球中心推定部５６４０は、基本特徴点に基づいて、顔位置および顔姿勢の推定処理を行う初期顔位置・姿勢推定部５６４２と、新たな特徴点が観測されると、その新たな特徴点の頭部座標系における３次元位置を推定する特徴点３次元位置推定部５６４４と、頭部位置および顔位置の推定を行う時点で、３次元位置が特定済みの特徴点を用いて、顔位置および顔姿勢の推定処理を行う顔位置・姿勢推定部５６４６と、推定された顔位置および顔姿勢により、眼球中心位置を算出する眼球中心位置算出部５６４８とを含む。
【００９４】
図１２は、本実施の形態において、ＣＰＵ２０４０により視線推定のソフトウェアを実行する処理フローを示すフローチャートである。
【００９５】
図１２を参照して、処理が開始されると、まず、ＣＰＵ２０４０は、処理する画像フレームを時間軸上で特定するためのフレーム数Ｎｆを１に設定する（Ｓ１０２）。
【００９６】
続いて、ＣＰＵ２０４０は、画像キャプチャ処理部５６０２により、カメラ３０で観測される画像を、画像データとしてキャプチャする（Ｓ１０４）。そして、ＣＰＵ２０４０は、顔検出部５６０６により、キャプチャされたカメラ３０からの画像フレームのデータにおいて、顔（頭部）の検出を実施する（Ｓ１０５）。
【００９７】
続いて、ＣＰＵ２０４０は、検出された顔領域において、特徴抽出処理を行い（Ｓ１０６）、基本特徴点を決定する（Ｓ１０８）。
【００９８】
さらに、ＣＰＵ２０４０は、初期顔位置・姿勢推定部５６４２により、決決定されたすべての特徴点を用いて頭部位置・姿勢を推定し（Ｓ１１０）、推定された顔位置および顔姿勢に基づいて、眼球中心位置算出部５６４８により眼球中心位置を算出して眼球中心位置の推定処理を実行する（Ｓ１１８）。
【００９９】
また、ＣＰＵ２０４０は、虹彩を検出して虹彩中心位置を決定し（Ｓ１２０）、推定された眼球中心位置および虹彩中心位置に基づき、視線方向推定部５６６０により視線方向の推定を行う（Ｓ１２２）。
【０１００】
ＣＰＵ２０４０は、表示制御部５６７０により結果を出力し（Ｓ１２６）、現在のフレームでの頭部位置・姿勢の推定結果をハードディスク２０８０に格納する（Ｓ１２８）。
【０１０１】
処理の終了が指示されていなければ（Ｓ１３０でＮ）、ＣＰＵ２０４０は、フレーム数Ｎｆを１だけインクリメントし（Ｓ１４０）、カメラ３０からの次のフレームとして画像をキャプチャし（Ｓ１５０）、前時刻の頭部位置・姿勢の推定結果を取得して（Ｓ１５２）これを利用して、顔検出処理を実行する（Ｓ１５４）。
【０１０２】
ＣＰＵ２０４０は、特徴抽出部５６１２により顔領域から特徴の抽出を行い（Ｓ１５６）、特徴点を決定する（Ｓ１５８）。
【０１０３】
頭部の座標系上で３次元座標（Ｘp，Ｙp，Ｚp)にある顔面上の特徴点は頭部の姿勢・位置がＲ，Ｔであるとき次式により２次元座標（ｘp、ｙp）に観測される。
【０１０４】
【数１２】
2014194617.tif 000014
新たな特徴点ｑ（Ｎ＋１≦ｑ≦Ｍ）が時刻ｔ＝１，…，ｋにおいて観測されたとすると、特徴点ｑの３次元位置については、ＣＰＵ２０４０は、以下のようにして推定する（Ｓ１６０）。
【０１０５】
【数１３】
2014194617.tif 000015
観測回数の増加に従い（ｋの値の増加に従い）、推定される特徴点ｑの３次元位置の精度は向上する。
【０１０６】
処理がＳ１１０にもどると、ＣＰＵ２０４０は、繰り返し観測によって新たな特徴点ｑの３次元推定位置（Ｘq，Ｙq，Ｚq)が得られたら、頭部の位置・姿勢Ｒ，Ｔをこれらの特徴点の情報を考慮して以下の式に従って推定する（Ｓ１１０）。
【０１０７】
【数１４】
2014194617.tif 000016
観測回数の増加に伴い、より精度の向上した特徴点の３次元推定位置に基づいて、頭部の位置・姿勢Ｒ，Ｔを推定することになるので、これらの頭部の位置・姿勢の推定精度も観測回数とともに、向上することになる。
【０１０８】
さらに、ＣＰＵ２０４０は、顔位置・姿勢推定部５６４６により、推定された頭部位置・姿勢Ｒ，Ｔによって眼球中心の投影位置ｘc＝［xc, yc］を次式で計算する。
【０１０９】
【数１５】
2014194617.tif 000017
以下、視線方向の推定のための処理は、同様であるので、説明は繰り返さない。
【０１１０】
以上のような構成により、実施の形態１の視線方向推定装置、視線方向推定装置および視線方向推定プログラムでは、繰り返し観測の回数（撮像フレーム数）の増加に伴って、顔位置および姿勢の推定に利用する特徴点の位置の推定精度が高まることにより、より高精度に眼球中心位置を推定することができ、より正確に視線方向の推定を行うことが可能となる。
【０１１１】
なお、以上の説明では、繰り返し観測によって、頭部座標における推定位置を更新するのは、追加特徴点であるものとした。ただし、本実施の形態において、推定位置の更新は、基本特徴点および追加特徴点の双方を含めて行うこととしてもよい。基本特徴点（目尻・目頭・口端（のうちの所定数））の位置についても、他の特徴点に比べると小さいものの個人差が存在する。そこで、基本特徴点（平均モデル）を使った繰り返し観測によって、基本特徴点（ユーザ個人の位置）と追加特徴点の位置を正確に求める構成とすることも可能である。
【０１１２】
また、以上の説明では、撮像される画像は、単眼カメラの画像であるものとして説明したが、入力画像は距離画像（３次元画像）であってもよい。また、たとえば、初期的な基本特徴点の抽出においては、距離画像を用い、その後は、単眼カメラとしての画像を利用するというような構成でもよい。
［実施の形態２］
図１３は、実施の形態２における眼球中心推定部５６４０の構成を説明するための機能ブロック図である。
【０１１３】
実施の形態２のその他の構成は、実施の形態１と同様であるので、説明は繰り返さない。
【０１１４】
実施の形態２では、３次元の頭部位置・姿勢を陽に含まない場合の例を示している。
【０１１５】
上述したとおり、弱透視変換を仮定すると、顔特徴点位置（ｘp、ｙp）と眼球中心投影位置（xc, yc）の関係は線形変換で表されるため、変換Ｐが既知であれば眼球中心投影位置は次式によって直接推定できる。
【０１１６】
【数１６】
2014194617.tif 000018
実施の形態２では、このような性質を利用して、眼球中心投影位置を推定し、これを利用して、視線方向の推定を行う。
【０１１７】
図１３を参照して、眼球中心位置推定部５６４０は、基本特徴点決定部５６１４ａおよび追加特徴点決定部５６１４ｂで決定された特徴点を用いて、基本特徴点群と追加特徴点（群）と眼球中心投影位置の関係を、弱透視変換を仮定することで求める特徴点関係産出部５６５０と、このようにして求められた顔特徴点位置（ｘp、ｙp）と眼球中心投影位置（xc, yc）の関係を表わす線形変換を用いて、眼球中心投影位置を産出する眼球中心位置算出部５６５２とを含む。
【０１１８】
図１４は、実施の形態２において、ＣＰＵ２０４０により視線推定のソフトウェアを実行する処理フローを示すフローチャートである。
【０１１９】
図１４を参照して、処理が開始されると、まず、ＣＰＵ２０４０は、処理する画像フレームを時間軸上で特定するためのフレーム数Ｎｆを１に設定する（Ｓ１０２）。
【０１２０】
続いて、ＣＰＵ２０４０は、画像キャプチャ処理部５６０２により、カメラ３０で観測される画像を、画像データとしてキャプチャする（Ｓ１０４）。そして、ＣＰＵ２０４０は、顔検出部５６０６により、キャプチャされたカメラ３０からの画像フレームのデータにおいて、顔（頭部）の検出を実施する（Ｓ１０５）。
【０１２１】
続いて、ＣＰＵ２０４０は、検出された顔領域において、特徴抽出処理を行い（Ｓ１０６）、基本特徴点を決定する（Ｓ１０８）。
【０１２２】
さらに、ＣＰＵ２０４０は、特徴点関係算出部５６５０により、決定されたすべての特徴点を用いて顔特徴点位置（ｘp、ｙp）と眼球中心投影位置（xc, yc）の関係を表わす線形変換を推定し（Ｓ１１２）、推定された線形変換に基づいて、眼球中心位置算出部５６５２により眼球中心位置を算出して眼球中心位置の推定処理を実行する（Ｓ１１８）。
【０１２３】
また、ＣＰＵ２０４０は、虹彩を検出して虹彩中心位置を決定し（Ｓ１２０）、推定された眼球中心位置および虹彩中心位置に基づき、視線方向推定部５６６０により視線方向の推定を行う（Ｓ１２２）。
【０１２４】
ＣＰＵ２０４０は、表示制御部５６７０により結果を出力し（Ｓ１２６）、現在のフレームでの頭部位置の推定結果をハードディスク２０８０に格納する（Ｓ１２８）。
【０１２５】
処理の終了が指示されていなければ（Ｓ１３０でＮ）、ＣＰＵ２０４０は、フレーム数Ｎｆを１だけインクリメントし（Ｓ１４０）、カメラ３０からの次のフレームとして画像をキャプチャし（Ｓ１５０）、前時刻の頭部位置の推定結果を取得して（Ｓ１５２）これを利用して、顔検出処理を実行する（Ｓ１５４）。
【０１２６】
ＣＰＵ２０４０は、特徴抽出部５６１２により顔領域から特徴の抽出を行い（Ｓ１５６）、特徴点を決定する（Ｓ１５８）。
【０１２７】
ここで、時刻ｔに新たな特徴点Ｍ−Ｎ個を含む、総数Ｍ個の特徴点の座標が観測されたとする。
【０１２８】
このような特徴点の座標を以下のように表現する。
【０１２９】
【数１７】
2014194617.tif 000019
ここで、既知の特徴点の観測によって上式によって推定される時刻ｔの眼球中心投影位置を（ｘc,t、ｙc,t）とする。なお、ここで眼球中心投影位置は、実施の形態１と同様に、３次元の頭部位置・姿勢に基づく方法によって求めてもよい。
【０１３０】
ここで、新たな特徴点を含むＭ個の特徴点と眼球中心投影位置の関係を表す線形変換をＱとすると、ＣＰＵ２０４０は、特徴点関係産出部５６５０により、繰り返し観測される眼球中心投影位置と特徴点座標からＱを以下のように推定する（Ｓ１１２）。
【０１３１】
【数１８】
2014194617.tif 000020
なお、上式では、ｔ＜１で、基本特徴点（Ｎ個）により眼球中心の推定を行った後、ｔ＝１以降は、追加特徴点（Ｍ−Ｎ個）を含む総数Ｍ個の特徴点により線形変換Ｑを求める構成としている。以下では、説明の簡単のために、眼球中心位置の推定も、このようにｔ＝１以降は、特徴点の総数一定として説明する。ただし、より一般には、時間の経過にしたがって、追加特徴点の個数は、増減があってもよい。
【０１３２】
さらに、ＣＰＵ２０４０は、推定されたＱを利用することによって、新たな特徴点を含むＭ個の特徴点から眼球中心投影位置ｘc＝［xc, yc］を次式によって推定する（Ｓ１１８）。
【０１３３】
【数１９】
2014194617.tif 000021
以下、視線方向の推定のための処理は、同様であるので、説明は繰り返さない。
【０１３４】
以上のような構成により、実施の形態２の視線方向推定装置、視線方向推定装置および視線方向推定プログラムでは、繰り返し観測により、顔特徴点位置（ｘp、ｙp）と眼球中心投影位置（xc, yc）の関係を表わす線形変換の推定に利用する特徴点の位置情報の個数を順次増加させることで、より高精度に眼球中心位置を推定することができ、より正確に視線方向の推定を行うことが可能となる。
【０１３５】
また、実施の形態２においても、撮像される画像は、単眼カメラの画像であるものとして説明したが、入力画像は距離画像（３次元画像）であってもよい。また、たとえば、初期的な基本特徴点の抽出においては、距離画像を用い、その後は、単眼カメラとしての画像を利用するというような構成でもよい。
【０１３６】
以上説明したように、実施の形態１および実施の形態２では、単眼カメラによる視線推定において重要な眼球中心の推定処理について、あらかじめ与えられた特徴点の平均的な位置情報による眼球中心の推定処理に加えて、顔面上のユーザ固有の特徴点の座標を利用することで、眼球中心の推定精度を向上させ、高い視線計測精度を与える。
【０１３７】
実施の形態１および実施の形態２では、基本特徴点による方法で推定される眼球中心位置と、新たに検出されたユーザ固有の特徴点の抽出位置の関係をオンラインで推定する。この際、基本特徴点で推定される眼球中心位置には推定誤差が含まれるが、観測を繰り返すことで眼球中心と特徴点の関係を高精度に推定することができる。得られた関係を利用することで、ユーザ固有の特徴点を含む多数の特徴点を利用した安定で高精度な眼球中心位置の推定が可能となり、結果的に視線推定精度を向上させることができる。
【０１３８】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１３９】
２０  視線方向の推定装置、３０  カメラ、２０１０  コンピュータ本体、２０２０  光学ディスクドライブ、２０３０  光学ディスクドライブ、２０４０  ＣＰＵ、２０５０  バス、２０６０  ＲＯＭ、２０７０  ＲＡＭ、２０８０  ハードディスク、２１００  キーボード、２１１０  マウス、２１２０  ディスプレイ、２２１０  メモリカード、５６０２  画像キャプチャ処理部、５６０４  画像データ記録処理部、５６０６  顔検出部、５６１０  特徴点抽出部、５６１２  特徴抽出部、５６１４ａ  基本特徴点決定部、５６１４ｂ  追加特徴点決定部、５６２０  虹彩抽出部、５６２２  虹彩位置決定部、５６４０  眼球中心位置推定部、５６６０  視線方向推定部、５６７０  表示制御部。
【図１】
2014194617.tif 000022
【図２】
2014194617.tif 000023
【図３】
2014194617.tif 000024
【図７】
2014194617.tif 000025
【図１１】
2014194617.tif 000026
【図１２】
2014194617.tif 000027
【図１３】
2014194617.tif 000028
【図１４】
2014194617.tif 000029
【図４】
2014194617.tif 000030
【図５】
2014194617.tif 000031
【図６】
2014194617.tif 000032
【図８】
2014194617.tif 000033
【図９】
2014194617.tif 000034
【図１０】
2014194617.tif 000035