(57)【要約】【課題】メガネを装着している被写体の視線を検出する他の手法を提供することを目的とする。【解決手段】  被写体の視線検出に利用される角膜反射を検出する検出装置であって、光源から光が照射された被写体側から反射される反射光を検出する検出部と、検出結果から、前記反射光の強度が所定値以上である領域を抽出する抽出部と、前記領域が複数存在する場合であって、かつ、時間の経過に応じて動いていることを示す特徴を有する第一の領域と、動きがないことを示す特徴を有する第二の領域とが混在する場合に、該第一の領域を、前記角膜反射に決定する決定部とを有することを特徴とする検出システム。【選択図】図１
2017151565.tif 000002
【特許請求の範囲】
【請求項１】
被写体の視線検出に利用される角膜反射を検出する検出システムであって、
光源から光が照射された被写体側から反射される反射光を検出する検出部と、
検出結果から、前記反射光の強度が所定値以上である領域を抽出する抽出部と、
前記領域が複数存在する場合であって、かつ、時間の経過に応じて動いていることを示す特徴を有する第一の領域と、動きがないことを示す特徴を有する第二の領域とが混在する場合に、該第一の領域を、前記角膜反射に決定する決定部とを有することを特徴とする検出システム。
【請求項２】
前記検出結果から、前記被写体の瞳孔を検出する瞳孔検出部と、
前記瞳孔と前記角膜反射とに基づき、前記被写体の前記視線検出を行う視線検出部とを有することを特徴とする請求項１に記載の検出システム。
【請求項３】
前記領域が複数存在する場合に、該領域それぞれについて、前記動きの有無によって異なる特徴を示す特徴情報を生成する生成部と、
前記特徴情報に基づき、前記領域各々について、前記動きの有無を判定する動き判定部とを有し、
前記決定部は、前記動き判定部による判定結果に基づき、前記角膜反射を決定することを特徴とする請求項１または２に記載の検出システム。
【請求項４】
前記特徴情報は、前記領域における少なくとも２つの方向の輝度の勾配であることを特徴とする請求項３に記載の検出システム。
【請求項５】
前記動き判定部は、前記領域の各々について、前記少なくとも２つの方向の前記勾配間の差を求め、前記差が閾値以上である前記第一の領域を、動いていることを示す特徴を有すると判定し、前記差が閾値よりも小さい前記第二の領域を、動きがないことを示す特徴を有すると判定することを特徴とする請求項４に記載の検出システム。
【請求項６】
前記特徴情報は、前記領域の形状の楕円性を評価する指標であることを特徴とする請求項３に記載の検出システム。
【請求項７】
前記領域は、前記反射光の強度が前記所定値以上であって、かつ形状が略円形であることを特徴とする請求項１乃至請求項６のいずれか一項に記載の検出システム。
【請求項８】
前記検出部は、前記被写体側を撮影するカメラであって、前記反射光の検出結果として、画像を、前記抽出部へ入力し
前記反射光の強度は、前記画像における各画素の輝度値であることを特徴とする請求項１乃至請求項７のいずれか一項に記載の検出システム。
【請求項９】
被写体の視線検出に利用される角膜反射を検出する検出装置に、
光源から光が照射された被写体側から反射される反射光を検出する検出部から検出結果を取得し、
前記検出結果から、前記反射光の強度が所定値以上である領域を抽出し、
前記領域が複数存在する場合であって、かつ、時間の経過に応じて動いていることを示す特徴を有する第一の領域と、動きがないことを示す特徴を有する第二の領域とが混在する場合に、該第一の領域を、前記角膜反射に決定する
処理を実行させることを特徴とする検出プログラム。
【請求項１０】
メガネ反射と角膜反射とを区別して、被写体の視線検出に利用される角膜反射を検出する検出装置が、
光源から前記被写体に向かって照射された光の、メガネ表面での反射光および角膜表面での反射光を含む反射光を検出し、
検出結果から、前記反射光の強度が所定値以上である領域を抽出し、
前記領域が複数存在する場合であって、かつ、眼球の動きに応じて動く第一の領域と、該眼球の動きによらず静止している第二の領域とが混在する場合に、前記第二の領域は前記メガネ反射に対応する領域とみなすことで、前記第一の領域は前記角膜反射に対応する領域であると決定する
処理を実行することを特徴とする検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の視線を検出する技術に関する。
【背景技術】
【０００２】
近赤外光源および近赤外カメラを利用して、角膜反射法により、被写体である人物の視線を検出する技術がある（例えば、非特許文献１）。角膜反射法は、近赤外光源を用いて角膜上に反射を発生させ、角膜反射の中心位置と瞳孔の中心位置とを画像処理により求める。そして、角膜反射法は、反射の中心位置と瞳孔の中心位置との位置関係から、被写体の視線を検出する。
【０００３】
また、視線を検出する対象の被写体が、例えば、メガネをかけている人物である場合には、近赤外光源から照射された近赤外光が、角膜表面以外にも、メガネのレンズ表面で反射する。以下、メガネのレンズ表面での反射をメガネ反射と称する。角膜反射法において、メガネ反射を角膜反射として検出してしまうと、誤った方向や位置が、視線方向または視線位置として検出される。
【０００４】
そこで、メガネ反射を考慮した視線検出技術が、種々提案されている（例えば、特許文献１および特許文献２）。例えば、ある角膜反射判定装置は、画像データから目の領域を抽出し、画像データの目の領域から角膜反射候補を検出する。そして、角膜反射判定装置は、複数の角膜反射候補のうち、画像データの各フレームで断続的に抽出される角膜反射候補を、角膜反射として決定する。つまり、瞬きの瞬間に撮影された画像データにおいて、角膜反射は消失するのに対して、メガネ反射は消失しないことを利用して、当該角膜反射判定装置は、連続して抽出される角膜反射候補をメガネ反射として除外する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１６７２５６号公報
【特許文献２】特開２０１２−２３９５５０号公報
【非特許文献】
【０００６】
【非特許文献１】大野健彦ら、眼球形状モデルに基づく視線測定システム―視線入力デバイスの実現に向けて―、情報処理学会研究報告２００１−ＨＩ−９３、２００１、ｐｐ４７−５４
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述の通り、正確に視線を検出する為に、メガネ反射を除外することで、正しい角膜反射の検出を試みることが行われている。しかし、上記角膜反射判定装置は、カメラの性能等によっては、うまくメガネ反射を除外できないことがある。例えば、瞬きの瞬間の画像データを取得できない場合にはメガネ反射の除外を行う事が出来ない。そのため、カメラには一定以上のフレームレートが要求される。
【０００８】
したがって、一つの側面では、本発明は、メガネを装着している被写体の視線を検出する他の手法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本実施例に開示の技術は、一つの側面では、被写体の視線検出に利用される角膜反射を検出する検出装置であって、光源から光が照射された被写体側から反射される反射光を検出する検出部と、検出結果から、前記反射光の強度が所定値以上である領域を抽出する抽出部と、前記領域が複数存在する場合であって、かつ、時間の経過に応じて動いていることを示す特徴を有する第一の領域と、動きがないことを示す特徴を有する第二の領域とが混在する場合に、該第一の領域を、前記角膜反射に対応する角膜反射領域として決定する決定部とを有する検出装置に関する。
【発明の効果】
【００１０】
メガネを装着している被写体の視線を検出することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１Ａ、図１Ｂ、および図１Ｃは、本実施例に係る視線検出の手法を説明するための図である。
【図２】図２は、本実施例に係る視線検出のシステムの構成を示す図である。
【図３】図３は、制御部が有する機能を示す機能ブロック図である。
【図４】図４は、角膜反射候補情報を記憶する記憶部のデータ構成例である。
【図５】図５Ａおよび図５Ｂは、円周画素の説明図である。
【図６】図６Ａおよび図６Ｂは、角膜反射候補の輝度勾配を示す図（その１）である。
【図７】図７Ａおよび図７Ｂは、角膜反射候補の輝度勾配を示す図（その２）である。
【図８】図８は、角膜反射情報を記憶する記憶部のデータ構成例である。
【図９】図９は、追跡処理を説明するための図である。
【図１０】図１０は、視線検出処理のフローチャート（その１）である。
【図１１】図１１は、視線検出処理のフローチャート（その２）である。
【図１２】図１２は、視線検出処理のフローチャート（その３）である。
【図１３】図１３は、追跡処理のフローチャートである。
【図１４】図１４は、視線検出装置を含む視線検出システムのハードウェア構成である。
【発明を実施するための形態】
【００１２】
以下に、本発明に関する視線検出技術の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【００１３】
図１Ａ、１Ｂ、および１Ｃは、本実施例に係る視線検出の手法を説明するための図である。図１Ａは、視線検出の被写体の顔が静止しているとともに、眼球も静止している状態で撮影された画像の一部分１００（右目領域）を示す図である。図１Ｂは、被写体の顔が静止している一方で、眼球が動いている状態で撮影された画像の一部分１１０を示す図である。図１Ｃは、被写体の顔が動いている状態で撮影された画像の一部分１２０を示す図である。
【００１４】
図１Ａに示す画像の一部分１００には、２つの反射（１０２、１０４）が撮影されている。これら反射（１０２、１０４）は、動いていない物体（眼球およびメガネ）上での反射である。両反射（１０２、１０４）ともに、反射（１０２、１０４）の輪郭付近の輝度と反射の中心部分の輝度の差が小さく、反射の周囲（黒目）との輝度の差が、後述する反射（１１４、１２２、１２４）と比較して、大きい。よって、両反射（１０２、１０４）ともに、輪郭がはっきりした状態となっている。なお、図１Ａには、反射１０２の拡大図のみ示しているが、反射１０４も同様であって、両反射（１０２、１０４）に特に大きな特徴の違いは見られない。
【００１５】
次に、図１Ｃに示す画像の一部分１２０にも同様に、２つの反射（１２２、１２４）が撮影されている。これら反射（１２２、１２４）は、動いている物体（眼球およびメガネ）上での反射である。両反射（１２２、１２４）ともに、反射（１２２、１２４）の中心付近から、輪郭に向かって、徐々に輝度が低くなっており、領域内での輝度の勾配が、前述の反射（１０２、１０４）よりも緩やかで、周囲（黒目）との輝度の差が、前述の反射（１０２、１０４）と比較して小さくなる。よって、両反射（１２２、１２４）ともに、輪郭がぼけた状態となっている。なお、図１Ｃには、反射１２２の拡大図のみ示しているが、反射１２４も同様であって、両反射（１２２、１２４）に特に大きな特徴の違いは見られない。
【００１６】
ここで、図１Ｃでは、顔が動いていることに起因して、角膜反射もメガネ反射も顔の動き方向へ移動している様子が、カメラの露光時間において記録される。したがって、反射（１２２、１２４）は、ともに、徐々に移動しており、移動した軌跡が、輪郭がぼんやりした状態で撮影される。なお、図１Ａ乃至図１Ｃは、白色がもっとも輝度が高いことを示しており、ハッチングが細かくなるにつれて、輝度が下がることを示している。
【００１７】
一方、図１Ｂに示す画像の一部分１１０には、輪郭がはっきりしている反射１１２と、輪郭がぼけている反射１１４とが、共存する。図１Ｂが撮影された状態においては、メガネ部分を含む顔は動いていないため、メガネ表面におけるメガネ反射の輪郭がぼやけることはない。しかし、眼球が動いているため、角膜反射は動き、画像上ではぼけた状態で撮影される。これは、角膜反射のみが、眼球の動き方向へ移動している様子が、カメラの露光時間において記録されているためである。したがって、この特徴を考慮すると、反射１１２がメガネ反射であって、反射１１４が角膜反射であることが区別できる。
【００１８】
なお、人間の特性として、顔や頭を動かさずとも、目線の移動やカッサード現象が、頻繁に発生している。また、目線の移動やカッサード現象は顔を動かしている間においても発生するが、顔が動いている場合には、顔の動きの方が大きいため、図１Ｃの状態においては顔の動きによる影響が支配的となる。
【００１９】
発明者は、画像が撮影された状態によって、図１Ａ乃至図１Ｃの画像が混在することに着目し、特に図１Ｂの画像を利用する事で、メガネ反射と角膜反射とを区別可能であることを発見した。つまり、発明者は、メガネ反射があっても角膜反射法による視線検出を可能とするために、動いている物体上で反射したことを示す角膜反射候補と、動いていない物体上で反射したことを示す角膜反射候補が共存する場合に、前者を角膜反射と決定するという手法を見出した。
【００２０】
以下詳細に説明するように、本実施例において、被写体の視線検出に利用される角膜反射を検出する検出装置は、光源から光が照射された被写体側から反射される反射光を検出し、検出結果から、前記反射光の強度が所定値以上である領域を抽出し、前記領域が複数存在する場合であって、かつ、時間の経過に応じて動いていることを示す特徴を有する第一の領域と、動きがないことを示す特徴を有する第二の領域とが混在する場合に、該第一の領域を、前記角膜反射に対応する角膜反射領域として決定する。
【００２１】
なお、図１Ａ乃至図１Ｃにおいては、露光時間における反射の移動がぼけとして撮影されることを利用して、動きの有無を識別していたが、動きの有無を識別する手法は、これに限られない。例えば、露光時間が短い複数の画像から動きの有無を識別してもよい。
【００２２】
以上のように、本実施例においては、カメラの性能によらず、メガネ反射が共存しているような場合でも、特徴的な画像を利用する事で、メガネ反射と角膜反射を区別することができる。したがって、本実施例に開示の技術は、角膜反射を正しく検出し、当該角膜反射の検出結果を利用することで、視線の誤検出を防ぐ。
【００２３】
以下、実施例を詳細に説明する。図２は、本実施例に係る視線検出のシステムの構成を示す図である。図２に示すように、視線検出システム１０は、視線検出装置１、光源６、検出部７を含む。光源６は、所定の波長の光を、被写体へ向けて照射する。
【００２４】
検出部７は、光源６から光が照射された被写体側から反射される光を検出する。検出部７は、例えば、光源６が照射する所定の波長の光に感度を有するカメラである。よって、検出部７は、被写体を撮影する事で、光源６から光が照射された被写体側から、反射される光を検出する。なお、被写体は、視線を検出する対象の人物である。また、被写体側は、被写体およびその他の物体（メガネを含む）を意味する。
【００２５】
本実施例においては、所定の波長の光として、被写体には見えない近赤外光を利用する。よって、検出部７の一例であるカメラは、近赤外光カメラであり、光源６は、近赤外光を照射するＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）である。そして、検出部７が、検出結果として取得する画像は、近赤外画像である。近赤外画像には、光源６から照射された近赤外光の反射および、その他の光源から照射された近赤外光（例えば、自然光や蛍光灯の光）の反射の強さに応じた輝度で、被写体側の様子が撮影される。
【００２６】
視線検出装置１は、被写体の視線を検出する。なお、視線検出装置１は、例えば、各種処理を実行するプロセッサーや、情報を記憶するメモリを有するコンピュータである。
【００２７】
視線検出システム１０において、光源６および検出部７は視線検出装置１に接続される。ただし、その接続形態は、有線で接続される以外にも、無線通信で通信する形態であってもよい。例えば、視線検出処理が開始されると、視線検出装置１の制御の下、検出部７は一定の時間間隔で被写体側を撮影するとともに、撮影した画像を視線検出装置１に出力する。また、視線検出処理が開始されると、視線検出装置１により、光源６の点灯が制御される。
【００２８】
本実施例においては、視線検出装置１は、検出部７から取得した近赤外画像に対して視線検出処理を実行する事で、被写体の視線を検出する。例えば、視線検出装置１は、近赤外画像を用いて、光源６から照射された光の角膜反射の中心位置および、被写体の瞳孔の中心位置を検出することで、角膜反射法により、視線を検出する。なお、本実施例にかかる角膜反射の検出以外の処理については、基本的に、従来の角膜反射法の技術が流用される。例えば、非特許文献１の手法が採用される。
【００２９】
ここで、視線検出装置１による処理結果は、例えば、マーケティング分析に活用される。具体的には、店舗内の棚や商品のプレートに、検出部７および光源６が設置されている場合に、視線検出装置１は、店舗に来店した客（被写体）の視線を検出する。そして、マーケティング分析においては、例えば、視線検出結果から、客がどの商品に興味をいだいているかが推定される。また、視線検出結果を統計処理して、視線が多く集まる位置に陳列されている商品を特定する事で、視線検出装置１の出力（視線検出結果）から、多くの客が興味を抱いた商品を把握することができる。
【００３０】
また、視線検出装置１による処理結果は、例えば、危険運転検知に活用される。具体的には、運転席に座るドライバーの目を撮影可能な場所に検出部７が設置され、ドライバーの目に光を照射可能な場所に光源６が設置されている場合に、視線検出装置１は、ドライバー（被写体）の視線を検出する。そして、危険運転検知においては、視線検出結果から、ドライバーが様々な方向に注意を払ったうえで適切な運転をしているか、また、居眠り運転の危険性がないか等が推定される。
【００３１】
図２に示す通り、視線検出装置１は、取得部２、制御部３、記憶部４、出力部５を有する。取得部２は、検出部７による検出結果を、順次取得するとともに、制御部３へ入力する。例えば、取得部２は、被写体の顔を撮影した近赤外画像の画像情報を、順次、検出部７から取得する。画像情報には、各画素における近赤外光の反射の強さを示す輝度情報が含まれる。なお、検出部７と視線検出装置１が無線通信により通信する場合には、取得部２は受信部として機能する。
【００３２】
制御部３は、取得部２から入力された検出結果から、角膜反射および瞳孔を検出するとともに、角膜反射の中心位置および瞳孔の中心位置に基づき視線を検出する視線検出処理を制御する。なお、角膜を検出する際、制御部３は、時間の経過に応じて動いていることを示す特徴を有する角膜反射候補と、動きがないことを示す特徴を有する角膜反射候補とが混在する画像を利用する。角膜反射候補は、検出結果における、反射光の強度が所定値以上である。例えば、近赤外画像（８ビットの場合、輝度の最大値は２５５）において、輝度が２００以上である画素が集合した領域である。詳細は後述する。
【００３３】
記憶部４は、本実施例に係る視線検出処理に必要な各種情報を記憶する。例えば、取得部２が取得した検出部７による検出結果（画像情報）や、角膜反射候補の情報などを記憶する。詳細は後述する。
【００３４】
出力部５は、視線検出結果として、検出した視線情報を、他の装置に出力する。他の装置は、例えば、上述のマーケティング解析を行う装置や、危険運転検知を行う装置であってもよいし、ディスプレイ等の表示装置であってもよい。なお、出力部７と他の装置が無線通信により通信する場合には、出力部７は送信部として機能する。
【００３５】
次に、制御部３について、詳述する。図３は、制御部が有する機能を示す機能ブロック図である。制御部３は、抽出部３１、生成部３２、動き判定部３３、決定部３４、追跡部３５、瞳孔検出部３６、視線検出部３７、出力制御部３８を有する。なお、制御部３のうち、抽出部３１、生成部３２、動き判定部３３、決定部３４、追跡部３５は、角膜反射検出装置として機能する場合もある。
【００３６】
抽出部３１は、検出部７による検出結果から、反射の強度（例えば、輝度）が所定値以上であって、かつ、形状が略円形である領域を、角膜反射候補として、抽出する。
【００３７】
例えば、抽出部３１は、取得した画像から、顔領域を検出し、さらに、顔領域の中から目領域を検出する。なお、顔認識および目の認識は、従来の顔認識技術が利用される。顔認識技術は、例えば、顔や顔の各パーツの特徴を学習したテンプレートを処理対象の画像上に走査させることで、テンプレートに類似した特徴を有する領域を、顔や顔の各パーツとして認識する。
【００３８】
つぎに、抽出部３１は、目領域を二値化することで、二値化画像を生成する。なお、二値化画像を生成する際には、抽出部３１は、例えば、輝度が２００以上である画素には「１」を、２００よりも小さい画素には「０」を付与する。そして、抽出部３１は、さらに、所定画素数以上、「１」が付与された画素が集合している領域をグループ化する。なお、このグループ化処理は、ラべリング処理とも呼ばれる。
【００３９】
次に、抽出部３１は、グループ化された各領域の形状が、略円形かを判定する。略円形判定には、例えば、Ｗｉｌｈｅｌｍ  Ｂｕｒｇｅｒら、「Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ」、ｐｐ２２４−２２５や、村本健一郎ら、「領域および厳格戦による降雪雪片の形状特徴解析」、電子情報通信学会論文誌、１９９３年５月、Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ、Ｎｏ．５、ｐｐ．９４９−９５８に開示された技術を用いることができる。例えば、抽出部３１は、各領域の特徴のうち円形らしさを評価し、円形らしさが閾値以上である場合に、当該領域は、略円形であると判定する。
【００４０】
そして、抽出部３１は、略円形と判断された領域を角膜反射候補として、記憶部４に格納する。例えば、抽出部３１は、角膜反射候補の位置情報と各角膜反射候補の識別情報を、記憶部４に記憶する。なお、角膜反射候補の位置情報は、重心位置と円周上の複数の画素の座標である。さらに、抽出部３１は、角膜反射候補とされた領域に対応する画像情報を、画像情報（二値化画像ではない）から抽出して、併せて、格納してもよい。
【００４１】
図４は、角膜反射候補情報を記憶する記憶部のデータ構成例である。角膜反射候補情報として、記憶部４は、角膜反射候補を識別する識別情報と、重心位置、４つの円周画素の座標とを対応付けて記憶する。例えば、ｍ個の角膜反射候補が抽出された場合、１乃至ｍの整数が、識別情報として、各々の角膜反射候補に付与される。
【００４２】
また、図４では、例えば、重心の上下左右にあたる４つの画素を円周画素として利用する例を示したが、円周画素の位置や個数は、これに限られない。
【００４３】
例えば、識別情報「１」が付与された角膜反射候補の領域は、重心位置が（ＸＧ１，ＹＧ１）で、円周画素の座標が各々、（Ｘ１１，Ｙ１１）、（Ｘ１２，Ｙ１２）、（Ｘ１３，Ｙ１３）、（Ｘ１４，Ｙ１４）であることを示している。なお、図４は、図１Ｂの画像に対して角膜反射候補の抽出処理が行われた結果に対応するものとする。
【００４４】
図５Ａおよび５Ｂは、円周画素の説明図である。図５Ａは、図１Ｂにおける反射１１２の拡大図と、反射１１２における円周画素および重心位置を示す。図５Ａにおいて、重心位置（ＸＧ１，ＹＧ１）と、重心位置の上下左右に存在する円周画素（Ｘ１１，Ｙ１１）、（Ｘ１２，Ｙ１２）、（Ｘ１３，Ｙ１３）、（Ｘ１４，Ｙ１４）が示されている。図５Ｂは、図１Ｂの反射１１４の拡大図と、反射１１４における円周画素および重心位置を示す。図５Ｂにおいて、重心位置（ＸＧ２，ＹＧ２）と、重心位置の上下左右に存在する円周画素（Ｘ２１，Ｙ２１）、（Ｘ２２，Ｙ２２）、（Ｘ２３，Ｙ２３）、（Ｘ２４，Ｙ２４）が示されている。
【００４５】
図３に戻り、生成部３２は、各角膜反射候補の特徴情報を生成する。特徴情報は、動きの有無を判定するために用いられる情報であって、動きの有無によって異なる特徴を示す情報である。例えば、生成部３２は、略円形とされた角膜反射候補の領域について、楕円の長軸と短軸との長さの差分を示す情報や、角膜反射候補領域の輝度勾配を生成する。例えば、長軸と短軸の長さの差分が大きいほど、楕円度が高いということになり、図１Ａ乃至図１Ｃで示したように、角膜反射候補が動いている特徴を有することが分かる。
【００４６】
以下では、生成部３２は、特徴情報として、角膜反射候補領域の輝度勾配を、複数の方向（ｘ方向、ｙ方向等）について生成する例を説明する。ただし、生成部３２が、特徴情報を生成する際には、二値化された状態ではなく、検出部７から取得した画像情報（二値化される前の情報）を利用する。
【００４７】
図６Ａおよび図６Ｂは、角膜反射候補の輝度勾配を示す図（その１）である。図６Ａおよび図６Ｂは、角膜反射候補１１２に対応する。また、ここでは、Ｘ方向およびＹ方向の２方向について、輝度勾配を求める例を説明するが、生成部３２は、４方向や８方向など、任意の数の方向について、輝度勾配を求めてもよい。また、図においては、便宜上角度として、輝度勾配を示しているが、以下の手法で求められる傾きそのものであってもよい。
【００４８】
図６Ａには、Ｘ方向の位置と輝度とをプロットしたグラフ１１６（実線）が示されている。そして、生成部３２は、角膜反射候補１１２の輝度勾配θＸ１１を、以下の式１に基づき求める。Ａ１は、角膜反射候補１１２の輝度の最小値、Ａ２は、角膜反射候補１１２の輝度の最大値である。なお、輝度勾配θＸ１１は、図６Ａの１点鎖線の傾きに相当する。
2017151565.tif 000003
【００４９】
さらに、生成部３２は、輝度勾配θＸ１１を、角膜反射候補１１２のＸ方向の輝度勾配θＸ１とする。ただし、左右各々の輝度勾配（θＸ１１およびθＸ１２）を求め、それらの平均値を角膜反射候補１１２のＸ方向の輝度勾配θＸ１としてもよい。この場合、生成部３２は、式１に基づき、輝度勾配θＸ１２を求め、θＸ１１とθＸ１２との平均値をもとめ、当該平均値を、角膜反射候補１１２のＸ方向の輝度勾配θＸ１とする。
【００５０】
また、輝度勾配の求め方は、式１に限られない。例えば、生成部３２は、以下の式２により、輝度勾配φＸ１１を求めてもよい。輝度勾配φＸ１１は、図６Ａの２点鎖線の傾きに相当する。
2017151565.tif 000004
【００５１】
次に、図６Ｂには、Ｙ方向の位置と輝度とをプロットしたグラフ１１７（実線）が示されている。生成部３２は、式３に基づき、輝度勾配θＹ１１を求める。生成部３２は、輝度勾配θＹ１１を、角膜反射候補１１２のＹ方向の輝度勾配θＹ１とする。なお、生成部３２は、式３に基づき、輝度勾配θＹ１２を求め、θＹ１１とθＹ１２との平均値を、角膜反射候補１１２のＹ方向の輝度勾配θＹ１としてもよい。
【００５２】
2017151565.tif 000005
【００５３】
次に、図７Ａおよび図７Ｂは、角膜反射候補の輝度勾配を示す図（その２）である。図７Ａおよび図７Ｂは、角膜反射候補１１４に対応する。図７Ａには、Ｘ方向の位置と輝度とをプロットしたグラフ１１８（実線）が示されている。図７Ｂには、Ｙ方向の位置と輝度とをプロットしたグラフ１１９（実線）が示されている。
【００５４】
生成部３１は、式１と同様の手法で、Ｘ方向の輝度勾配θＸ２１を求め、角膜反射候補１１４のＸ方向の輝度勾配θＸ２を生成する。そして、生成部３１は、式３と同様の手法で、Ｙ方向の輝度勾配θＹ２１を求め、角膜反射候補１１４のＹ方向の輝度勾配θＹ２を生成する。なお、図６Ａおよび図６Ｂ同様、さらに、輝度勾配θＸ２２やθＹ２２を求め、平均値からθＸ２やθＹ２を求めてもよい。
【００５５】
図３の説明に戻り、動き判定部３３は、生成部３２が生成した各角膜反射候補の特徴情報に基づき、各角膜反射候補が時間の経過に応じて動いていることを示すか否かを判定する。例えば、動き判定部３３は、各角膜反射候補の輝度勾配間の差分を閾値と比較して、閾値以上であれば、角膜反射候補が時間の経過に応じて動いていると判定する。
【００５６】
図６Ａおよび図６Ｂに示されている通り、角膜反射候補１１２については、複数方向で輝度勾配（輝度勾配θＸ１（θＸ１１）と輝度勾配θＹ１（θＹ１１））の間に大きな差はない。一方で、図７Ａおよび図７Ｂに示されている通り、角膜反射候補１１４については、複数方向で輝度勾配（輝度勾配θＸ２（θＸ２１）と輝度勾配θＹ２（θＹ２１））の間に大きな差がある。
【００５７】
また、図１Ｂの状態において、輪郭がはっきりしている角膜反射候補１１２が動いていないメガネ表面での反射であって、輪郭がはっきりしていない角膜反射候補１１４が動いている角膜上での反射であることを推測可能であることを説明した。よって、図１Ｂ、図６Ａおよび図６Ｂ、図７Ａおよび図７Ｂとの対応関係において、複数方向で輝度勾配（輝度勾配θＸ１と輝度勾配θＹ１）の間に大きな差がない場合に、当該角膜反射候補は動きがないと判断できる。一方、複数方向で輝度勾配（輝度勾配θＸ２と輝度勾配θＹ２）の間に大きな差がある場合に、当該角膜反射候補は動きがあると判断できる。
【００５８】
次に、決定部３４は、角膜反射候補の領域が複数存在する場合であって、かつ、時間の経過に応じて動いていることを示す特徴を有する第一の角膜反射候補と、動きがないことを示す特徴を有する第二の角膜反射候補とが混在する場合に、第一の角膜反射候補を、角膜反射に対応する角膜反射として決定する。決定部３４は、角膜反射候補の領域が複数存在する場合であって、かつ、時間の経過に応じて動いていることを示す特徴を有する第一の角膜反射候補と、動きがないことを示す特徴を有する第二の角膜反射候補とが混在しない場合に、角膜反射を特定不能と決定する。また、決定部３４は、角膜反射候補が１つしか存在しない場合には、この角膜反射候補を、角膜反射と決定する。
【００５９】
例えば、決定部３４は、複数方向で輝度勾配（輝度勾配θＸ２と輝度勾配θＹ２）の間に閾値よりも大きな差分がある角膜反射候補と、複数方向で輝度勾配（輝度勾配θＸ１と輝度勾配θＹ１）の間に閾値以上の差分がない角膜反射候補とが混在している画像を利用する事で、動きがある角膜反射候補を、角膜反射として、検出する。
【００６０】
そして、決定部３４は、角膜反射として特定した角膜反射候補の位置を、後述の視線検出部３７に入力する。さらに、決定部３４は、角膜反射として特定した角膜反射候補の位置を、処理対象の画像のフレーム番号と対応付けて、記憶部４に記憶する。
【００６１】
図８は、角膜反射情報を記憶する記憶部のデータ構成例である。角膜反射情報として、記憶部４は、処理対象の画像のフレーム番号と角膜反射位置とを対応付けて記憶する。なお、後述の追跡部３５による追跡処理に利用するために、角膜反射情報は記憶される。図８では、最新の角膜反射情報のみが記憶される例を示したが、過去の数フレーム分の角膜反射情報が記憶されてもよい。
【００６２】
ここで、決定部３４による決定の方法を、詳しく説明する。例えば、図１Ｂの目領域を対象に処理が行われた場合、角膜反射候補１１２と角膜反射候補１１４に対して、動き判定部３３が、角膜反射候補１１２が動きなしの特徴を有すると判定し、角膜反射候補１１４が動きありの特徴を有すると判定する。この場合、決定部３４は、時間の経過に応じて動いていることを示す特徴を有する角膜反射候補１１４と、動きがないことを示す特徴を有する角膜反射候補１１２とが混在すると判定し、さらに、角膜反射候補１１２を、角膜反射として決定する。
【００６３】
一方、図１Ａの目領域を対象に処理が行われた場合、角膜反射候補１０２と角膜反射候補１０４に対して、動き判定部３３が、角膜反射候補１０２および角膜反射候補１０４ともに、動きなしの特徴を有すると判定する。この場合、決定部３４は、時間の経過に応じて動いていることを示す特徴を有する角膜反射候補と、動きがないことを示す特徴を有する角膜反射候補とが混在していないため（両角膜反射候補１０２，１０４ともに動きなし）、角膜反射を特定不能と判定する。
【００６４】
さらに、図１Ｃの目領域を対象に処理が行われた場合、角膜反射候補１２２と角膜反射候補１２４に対して、動き判定部３３が、角膜反射候補１２２および角膜反射候補１２４ともに、動きありの特徴を有すると判定する。この場合、決定部３４は、時間の経過に応じて動いていることを示す特徴を有する角膜反射候補と、動きがないことを示す特徴を有する角膜反射候補とが混在していないため（両角膜反射候補１２２，１２４ともに動きあり）、角膜反射を特定不能と決定する。
【００６５】
図３に戻り、追跡部３５は、決定部３４が、角膜反射を特定不能と決定した場合に、過去の角膜反射の特定結果に基づき、処理対象の画像における角膜反射を追跡する。
【００６６】
図９は、追跡処理を説明するための図である。画像の一部分１１０は、図１Ｂに対応する。つまり、決定部３４により、角膜反射候補１１４が角膜反射であることが決定されている。
【００６７】
画像の一部分１２０は、図１Ｃに対応し、画像の一部分１１０よりも１フレーム後の画像から抽出された目領域である。以下、画像の一部分１２０を処理対象画像、画像の一部分１１０を過去画像と称する。
【００６８】
処理対象画像１２０における角膜反射候補１２２および角膜反射候補１２４は、ともに、動き判定部３３により動きありの特徴を有すると判定されており、決定部３４により角膜反射を特定不能と決定される。
【００６９】
そこで、追跡部３５は、過去画像１１０における角膜反射１１４を利用し、角膜反射１１４の位置により近い角膜反射候補を、角膜反射と決定する。図９のように、例えば、角膜反射候補１２４の位置が、角膜反射候補１２２の位置よりも、角膜反射１１４の位置に近い場合、角膜反射候補１２４が角膜反射として決定される。
【００７０】
次に、瞳孔検出部３６は、瞳孔を検出する。例えば、瞳孔検出部３６は、処理対象の近赤外画像から、所定の特徴を有する領域を、瞳孔として検出する。なお、瞳孔検出は、従来の瞳孔検出技術が適用される。例えば、瞳孔検出部３６は、瞳孔の形状や特徴に対応するテンプレートとのマッチングを行う。
【００７１】
視線検出部３７は、角膜反射の位置および瞳孔の位置を用いて、被写体の視線位置を検出する。なお、角膜反射の位置および瞳孔の位置から、視線位置を決定する手法は、従来の角膜反射法が適用される。
【００７２】
出力制御部３８は、視線検出結果を生成するとともに、出力部５を制御して、他の装置に、視線検出結果を出力させる。
【００７３】
次に、本実施例に係る角膜反射の決定処理を含む視線検出処理を説明する。図１０、図１１、図１２は、視線検出処理のフローチャートである。
【００７４】
まず、取得部２は、検出部７（カメラ）から、近赤外画像を取得するとともに、制御部３に入力する（Ｏｐ．１０）。制御部３の抽出部３１は、処理対象の近赤外画像から、顔領域を抽出する（Ｏｐ．１２）。さらに、抽出部３１は、顔領域からさらに、目領域を抽出する（Ｏｐ．１４）。次に、抽出部３１は、目領域を二値化することで二値化画像を生成する（Ｏｐ．１６）。そして、抽出部３１は、二値化画像に対してラべリング処理を行う事で、所定画素数以上、「１」が付与された画素が集合している領域をグループ化する（Ｏｐ．１８）。このとき、各グループに任意の識別情報を付与する。例えば、グループ化された集合を、グループ１、グループ２、・・・グループｎと、する。
【００７５】
グループの識別情報を示すカウンタＮに初期値として１を設定し（Ｎ＝１）、グループ１を処理対象として、抽出部３１は、当該グループの形状が、略円形かを判定する（Ｏｐ．２０）。形状が略円形であると判定された場合に（Ｏｐ．２０ＹＥＳ）、抽出部３１は、略円形と判断された領域を角膜反射候補として、記憶部４に記憶する（Ｏｐ．２２）。具体的には、角膜反射候補の重心位置と複数の円周上の画素の座標と各角膜反射候補の識別情報とが、記憶部４に記憶される。例えば、ｍ個の角膜反射候補が抽出された場合、１乃至ｍの整数が、識別情報として、各々の角膜反射候補に付与される。
【００７６】
形状が略円形でないと判定された場合（Ｏｐ．２０ＮＯ）、および、Ｏｐ．２２終了後、抽出部３１は、全てのグループにつき、形状判定が終了したかを判定する（Ｏｐ．２４）。すべてのグループにつき形状判定が終了していない場合（Ｏｐ．２４ＮＯ）、処理対象のグループを変更して（Ｎ＝Ｎ＋１）、Ｏｐ．２０を繰り返す。
【００７７】
すべてのグループにつき形状判定が終了している場合（Ｎ＝ｎの場合）（Ｏｐ．２４ＹＥＳ）、生成部３２は、角膜反射候補が複数か否かを判定する（Ｏｐ．２６）。角膜反射候補が複数でない場合（Ｏｐ．２６ＮＯ）、生成部３２はその旨を決定部３４へ通知し、決定部３４は、一つの角膜反射候補を角膜反射として決定するとともに、角膜反射情報を記憶部４に格納する（Ｏｐ．４６）。
【００７８】
一方、角膜反射候補が複数である場合（Ｏｐ．２６ＹＥＳ）、生成部３２は、角膜反射候補の識別情報を示すカウンタＭに初期値として１を設定し（Ｍ＝１）、角膜反射候補１を処理対象として、当該角膜反射候補の複数の方向それぞれの輝度勾配を求める（Ｏｐ．２８）。例えば、上述の方法により、Ｘ方向の輝度勾配およびＹ方向の輝度勾配が求められる。
【００７９】
そして、動き判定部３３は、各方向の輝度勾配の差分が閾値以上かを判定する（Ｏｐ．３０）。差分が閾値以上である場合（Ｏｐ．３０ＹＥＳ）、動き判定部３３は、処理対象の角膜反射候補に対して、動きありと判定する（Ｏｐ．３２）。一方、差分が閾値よりも小さい場合（Ｏｐ．３０ＮＯ）、動き判定部３３は、処理対象の角膜反射候補に対して、動きなしと判定する（Ｏｐ．３４）。
【００８０】
次に、動き判定部３３は、全ての角膜反射候補について、動き判定処理が終了しているかを判定する（Ｏｐ．３６）。なお、Ｍ＝ｍの場合、動き判定処理が終了していると判定される。全ての角膜反射候補について動き判定処理が終了していない場合（Ｏｐ．３６ＮＯ）、処理対象の角膜反射候補を変更して（Ｍ＝Ｍ＋１）、Ｏｐ．２８を繰り返す。
【００８１】
全ての角膜反射候補について動き判定処理が終了している場合（Ｏｐ．３６ＹＥＳ）、決定部３４は、動きありの角膜反射候補と、動きなしの角膜反射候補が混在するか判定する（Ｏｐ．３８）。動きありの角膜反射候補と、動きなしの角膜反射候補が混在する場合（Ｏｐ．３８ＹＥＳ）、決定部３４は、動きありの角膜反射候補を、角膜反射として決定するとともに、角膜反射情報を記憶部４に格納する（Ｏｐ．４０）。
【００８２】
一方、動きありの角膜反射候補と、動きなしの角膜反射候補が混在しない場合（Ｏｐ．３８ＮＯ）、決定部３４は、角膜反射特定不能と判定して、追跡部３５に追跡処理を要求する（Ｏｐ．４２）。決定部３４からの要求に応じて、追跡部３５は、追跡処理を実行する（Ｏｐ．４４）。
【００８３】
図１３は、追跡処理のフローチャートである。追跡部３５は、記憶部４から、過去画像の角膜反射の角膜反射位置を取得する（Ｏｐ．６０）。なお、ここで、過去画像の角膜反射の情報が記憶部４に記憶されていない場合には、追跡不能として、追跡部３５は、処理を終了する。
【００８４】
次に、追跡部３５は、処理対象の画像における各角膜反射候補各々について、角膜反射候補の位置と、過去の角膜反射位置との差（距離）を算出する（Ｏｐ．６２）。そして、追跡部３５は、最も差が小さい角膜反射候補を特定する（Ｏｐ．６４）。さらに、追跡部３５が、当該角膜反射候補の差が閾値以下かを判定する（Ｏｐ．６６）。閾値以下である場合（Ｏｐ．６６ＹＥＳ）、追跡部３５は、Ｏｐ．６４で特定した角膜反射候補を、角膜反射として決定するとともに、角膜反射情報を記憶部４に格納する（Ｏｐ．６８）。一方、閾値よりも大きい場合（Ｏｐ．６６ＮＯ）、追跡部３５は、角膜反射特定不能と判定する（Ｏｐ．７０）。そして、追跡部３５は追跡処理を終了する。
【００８５】
次に、Ｏｐ．４０、Ｏｐ．４４、Ｏｐ．４６のいずれかが終了した場合、図１２のＯｐ．４８が実行される。つまり、決定部３４は、角膜反射を検出できたかを判定する（Ｏｐ．４８）。角膜反射が検出できた場合（Ｏｐ．４８ＹＥＳ）、決定部３４からの通知を受けて、瞳孔検出部３６が、瞳孔を検出する（Ｏｐ．５０）。さらに、視線検出部３７は、角膜反射の位置および瞳孔の位置に基づき、被写体の視線を検出する（Ｏｐ．５２）。
【００８６】
角膜反射が検出されなかった場合（Ｏｐ．４８ＮＯ）や、Ｏｐ．５２が終了した場合、各種処理結果に応じた視線検出結果を、出力制御部３８の制御の下、出力部５は、他の装置に出力する（Ｏｐ．５４）。なお、角膜反射が検出されなかった場合や、瞳孔や視線が検出されなかった場合には、視線検出不能の旨が、視線検出結果として、出力される。視線が検出された場合には、視線の方向や位置を示す視線情報が、視線検出結果として出力される。
【００８７】
そして、制御部３は、視線検出処理を終了するか、判定する（Ｏｐ．５６）。終了する場合（Ｏｐ．５６ＹＥＳ）、制御部３は、一連の視線検出処理を終了する。一方、終了しない場合（Ｏｐ．５６ＮＯ）、制御部３は、Ｏｐ．１０に戻り、一連の処理を繰り返す。
【００８８】
以上の処理によって、本実施例に開示の技術は、メガネ反射があっても角膜反射法による視線検出が可能とするため、動いている物体上で反射したことを示す角膜反射候補と、動いていない物体上で反射したことを示す角膜反射候補が共存する画像において、前者を角膜反射と決定する。
【００８９】
本実施例に開示の技術は、カメラの性能によらず、メガネ反射と角膜反射が混在しているような場合でも、時間の経過に応じて動いていることを示す特徴を有する角膜反射候補の領域と、動きがないことを示す特徴を有する角膜反射候補の領域とが混在する特徴的な画像を利用する事で、メガネ反射と角膜反射を区別することができる。
【００９０】
また、処理対象の画像が特徴的な画像でなかった場合でも、過去の角膜反射の検出結果を利用して、角膜反射を追跡することができる。したがって、本実施例に開示の技術は、メガネ反射が発生している場合でも、角膜反射を検出し、当該角膜反射を利用した視線検出結果の精度向上を図ることができる。
【００９１】
次に、視線検出装置を含む視線検出システムのハードウェア構成例について説明する。図１４は、視線検出装置を含む視線検出システムのハードウェア構成である。視線検出システム１０は、実施例に係る視線検出処理を実行する。
【００９２】
視線検出システム１０に含まれる視線検出装置１は、ハードウェア構成として、プロセッサー１００１、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）１００２、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）１００３、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ（ＨＤＤ）１００４、通信装置１００５、入力装置１００８、表示装置１００９、媒体読取装置１０１０を有する。さらに、視線検出システム１０は、視線検出装置１が備える各ハードウェア構成に加え、インターフェース回路１０１２、光源１００６、カメラ１００７を有する。そして、プロセッサー１００１、ＲＯＭ１００２、ＲＡＭ１００３、ＨＤＤ１００４、通信装置１００５、入力装置１００８、表示装置１００９、媒体読取装置１０１０、インターフェース回路１０１２はバス１０１１を介して相互に接続されている。そして、プロセッサー１００１による制御下で相互にデータの送受を行うことができる。
【００９３】
視線検出処理に係るプログラムは、視線検出システム１０が読み取り可能な記録媒体に記録される。視線検出システム１０が読み取り可能な記録媒体には、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ＨＤＤ、フレキシブルディスク（ＦＤ）、磁気テープ（ＭＴ）などがある。
【００９４】
光ディスクには、Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ（ＤＶＤ）、ＤＶＤ−ＲＡＭ、Ｃｏｍｐａｃｔ  Ｄｉｓｃ  −  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＣＤ−ＲＯＭ）、Ｃｏｍｐａｃｔ  Ｄｉｓｃ  −  Ｒｅｃｏｒｄａｂｌｅ／ＲｅＷｒｉｔａｂｌｅ（ＣＤ−Ｒ／ＲＷ）などがある。光磁気記録媒体には、Ｍａｇｎｅｔｏ  −  Ｏｐｔｉｃａｌ  ｄｉｓｋ（ＭＯ）などがある。各実施例に係る処理が記述されたプログラムを流通させる場合には、例えば、当該プログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売されることが考えられる。
【００９５】
そして本実施例に係るプログラムを実行する視線検出システム１０の媒体読取装置１０１０が、当該プログラムを記録した記録媒体から、該プログラムを読み出す。プロセッサー１００１は、読み出されたプログラムをＨＤＤ１００４若しくはＲＯＭ１００２、ＲＡＭ１００３に格納する。
【００９６】
プロセッサー１００１は視線検出装置１全体の動作制御を司る。プロセッサーは、例えば、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ）などの電子回路を含む。
【００９７】
そして、プロセッサー１００１が、本実施例に関わる処理が記述されたプログラムをＨＤＤ１００４から読み出して実行することで、プロセッサー１００１は、視線検出装置１における取得部２、制御部３として機能する。通信装置１００５は、プロセッサー１００１の制御の下、取得部２として機能する。ＨＤＤ１００４は、各種情報を記憶し、プロセッサー１００１の制御下で記憶部４として機能する。各種情報は、プログラム同様、プロセッサー１００１とアクセス可能なＲＯＭ１００２またはＲＡＭ１００３に格納されても良い。さらに、処理の過程で一時的に生成および保持される各種情報は、例えば、ＲＡＭ１００３に格納される。
【００９８】
入力装置１００８は、各種入力を受け付ける。入力装置１００８は、例えばキーボードやマウスである。表示装置１００９は、各種情報を表示する。表示装置１００９は、例えばディスプレイである。
【００９９】
このように、図２および図３に示した各機能部は、プロセッサー１００１およびメモリ（ＨＤＤ１００２、ＲＯＭ１００２、ＲＡＭ１００３）を含むハードウェアによって実現される。そして、プロセッサー１００１が、メモリに格納されたプログラムを読み出して、実行する事で、図１０乃至図１２に示す視線検出処理が実行される。
【０１００】
また、本実施例に係る視線検出処理は、クラウド上で実行される場合もある。この場合、光源６および検出部７が、被写体が存在する空間に配置される。そして、検出部７から検出結果を受信した視線検出装置１（１つ以上のサーバ）が、図１０乃至図１２に示した視線検出処理を実行する。
【符号の説明】
【０１０１】
１０  視線検出システム
１      視線検出装置
２      取得部
３      制御部
４      記憶部
５      出力部
６      光源
７      検出部
１００１    プロセッサー
１００２    ＲＯＭ
１００３    ＲＡＭ
１００４    ＨＤＤ
１００５    通信装置
１００６    光源
１００７    カメラ
１００８    入力装置
１００９    表示装置
１０１０    媒体読取装置
１０１１    バス
１０１２    インターフェース回路
【図１】
2017151565.tif 000006
【図２】
2017151565.tif 000007
【図３】
2017151565.tif 000008
【図４】
2017151565.tif 000009
【図５】
2017151565.tif 000010
【図６】
2017151565.tif 000011
【図７】
2017151565.tif 000012
【図８】
2017151565.tif 000013
【図９】
2017151565.tif 000014
【図１０】
2017151565.tif 000015
【図１１】
2017151565.tif 000016
【図１２】
2017151565.tif 000017
【図１３】
2017151565.tif 000018
【図１４】
2017151565.tif 000019