(57)【要約】      （修正有）【課題】反射特性が未知の被写体に対して、鏡面反射やランバートの余弦則に従わない拡散反射があっても、ロバストに面法線情報を取得可能とする。【解決手段】画像処理部１０４は、光源の位置が互いに異なる４つ以上の光源条件での被写体の撮像により生成された複数の撮影画像を用いて被写体の表面の法線情報を取得する。画像処理部１０４は、複数の反射特性モデルを記憶したメモリ１１２と、複数の撮影画像から被写体の輝度情報を取得する輝度情報取得部１０４ｅと、輝度情報に基づいて複数の反射特性モデルのうち特定モデルを選択する選択部１０４ａと、光源条件に応じた輝度情報の変化と特定モデルとを用いて法線情報を取得する法線推定部１０４ｂとを有する。【選択図】図２
2017134561.tif 000002
【特許請求の範囲】
【請求項１】
光源の位置が互いに異なる４つ以上の光源条件での被写体の撮像により生成された複数の撮影画像を用いて前記被写体の表面の法線情報を取得する画像処理装置であって、 
複数の反射特性モデルを記憶した記憶手段と、
前記複数の撮影画像から前記被写体の輝度情報を取得する輝度情報取得手段と、
前記輝度情報に基づいて前記複数の反射特性モデルのうち特定モデルを選択する選択手段と、
前記光源条件に応じた前記輝度情報の変化と前記特定モデルとを用いて前記法線情報を取得する法線情報取得手段とを有することを特徴とする画像処理装置。 
【請求項２】
前記輝度情報と前記特定モデルとのずれ量を算出するモデルずれ量算出手段と、
前記ずれ量と所定値との大小を判定するモデル判定手段とを有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記モデルずれ量算出手段は、前記ずれ量を、前記輝度情報と前記特定モデルに基づいて算出される輝度値との比較により算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記モデルずれ量算出手段は、前記ずれ量を、前記輝度情報から算出した前記特定モデルのパラメタに基づいて算出することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記モデルずれ量算出手段は、前記ずれ量を、前記輝度情報から求めた複数の面法線候補のばらつきに基づいて算出することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記モデル判定手段は、前記特定モデルのうち前記ずれ量が前記所定値より小さい領域では該特定モデルの使用を許容し、前記ずれ量が前記所定値より大きい領域では前記特定モデルとは異なる前記反射特性モデルを選択させることを特徴とする請求項２から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記複数の反射特性モデルは、ランバート反射モデルを含むことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
前記複数の反射特性モデルは、ランバート反射モデルとは異なる拡散反射モデルを含むことを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
【請求項９】
前記複数の反射特性モデルは、鏡面反射モデルを含むことを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記複数の反射特性モデルは、拡散反射成分と鏡面反射成分の和からなる拡散／鏡面反射モデルを含むことを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記選択手段は、前記複数の反射特性モデルのうちランバート反射モデルを１番目の前記特定モデルとして選択することを特徴とする請求項７に記載の画像処理装置。
【請求項１２】
前記選択手段は、前記複数の反射特性モデルのうち前記ランバート反射モデルとは異なる前記拡散反射モデルを２番目の前記特定モデルとして選択することを特徴とする請求項８に記載の画像処理装置。
【請求項１３】
前記選択手段は、前記複数の反射特性モデルのうち前記拡散／鏡面反射モデルを２番目の前記特定モデルとして選択することを特徴とする請求項１０に記載の画像処理装置。
【請求項１４】
前記選択手段は、前記４つ以上の光源条件のうち３つ以上の光源条件において拡散反射が取得された場合に、前記ランバート反射モデルまたは該ランバート反射モデルとは異なる前記拡散反射モデルを前記特定モデルとして選択することを特徴とする請求項７、８、１１または１２に記載の画像処理装置。
【請求項１５】
前記選択手段は、前記４つ以上の光源条件のうち４つ以上の光源条件において鏡面反射が取得された場合に、前記鏡面反射モデルを前記特定モデルとして選択することを特徴とする請求項９に記載の画像処理装置。
【請求項１６】
前記選択手段は、前記ずれ量に応じて前記特定モデルを選択することを特徴とする請求項２から１５のいずれか一項に記載の画像処理装置。
【請求項１７】
前記輝度情報取得手段は前記輝度情報を前記撮影画像から取得し、
前記法線情報取得手段は、前記撮影画像の画素ごとに独立して前記法線情報を取得することを特徴とする請求項１から１６のいずれか一項に記載の画像処理装置。
【請求項１８】
請求項１から１７のいずれか一項に記載の画像処理装置と、
前記撮影画像を生成するための撮像を行う撮像手段とを有することを特徴とする撮像装置。
【請求項１９】
少なくとも１つの光源と、該光源の位置を複数の位置に設定する投光手段とを有することを特徴とする請求項１７に記載の撮像装置。
【請求項２０】
コンピュータに、光源の位置が互いに異なる４つ以上の光源条件での被写体の撮像により生成された複数の撮影画像を用いて前記被写体の表面の法線情報を取得する処理を実行させるコンピュータプログラムであって、 
前記コンピュータに、
前記複数の撮影画像から前記被写体の輝度情報を取得させ、
前記輝度情報に基づいて、記憶された複数の反射特性モデルのうち１つを特定モデルとして選択させ、
前記光源条件に応じた前記輝度情報の変化と前記特定モデルとを用いて前記法線情報を取得させることを特徴とする画像処理プログラム。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像により得られた画像を用いて被写体の法線情報を取得する技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置で被写体を撮像して得られた画像から、被写体の形状情報として面法線の情報（以下、法線情報という）を取得する方法が知られている。面法線情報を取得する方法としては、レーザ光を用いた三角測量や２眼ステレオ法等の方法で取得した距離情報から求めた三次元形状を面法線情報に変換する方法や、非特許文献１にて開示された照度差ステレオ法や、偏光情報から法線情報を推定する方法がある。
【０００３】
照度差ステレオ法は、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性とから面法線を決定する方法である。被写体の反射特性としてはランバートの余弦則に従うランバート反射モデルが用いられることが多い。
【０００４】
一般に、物体での反射には、鏡面反射と拡散反射とがある。鏡面反射は、物体表面での正反射であり、物体表面（界面）においてフレネルの式に従うフレネル反射である。拡散反射は、被写体の表面を透過した後に物体内部で散乱されて光が返ってくる反射である。鏡面反射した光は上述のランバートの余弦則では表せず、撮像装置で観測される被写体からの反射光に鏡面反射光が含まれていると、照度差ステレオ法では面法線が正確に求まらない。光源からの光が当たらない陰影部においても仮定した反射モデルからのずれが生じ、被写体の面法線情報を正確に取得することができない。さらに、表面の粗い被写体などでは拡散反射成分もランバートの余弦則からずれを生じる。
【０００５】
例えば、特許文献１には、４つ以上の光源を使用して得られた複数の面法線候補から真の面法線を求める方法が開示されている。
【０００６】
法線情報を偏光情報から推定する方法では、偏光情報として偏光度と偏光方位を用いる方法が知られている。特許文献２には、光源から放射される偏光または光源位置を変化させた場合の偏光状態から拡散反射領域を分割し、拡散反射領域に対して照度差ステレオ法を用いる方法が開示されている。特許文献３には反射特性モデルが既知である被写体に対して、拡散反射と鏡面反射が同時に存在していても面法線を求める方法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−１２２１５８号公報
【特許文献２】特許第４４３５８６５号公報
【特許文献３】特開２００４−２７９１８７号公報
【非特許文献】
【０００８】
【非特許文献１】松下康之、“照度差ステレオ”、情報処理学会研究報告、Ｖｏｌ．２０１１−ＣＶＩＭ−１７７、Ｎｏ．２９、ｐｐ．１−１２、２０１１
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１にて開示された方法では、拡散反射の少ない鏡面被写体に対して、被写体の面法線情報を取得できない。また、光源からの光が当たらない陰影部が生じる場合や鏡面反射が複数の光源条件で観測される場合に誤った面法線情報を取得してしまい、誤った面法線を取得してしまっていること自体も知りえない。さらに、鏡面反射成分を含む複数解がそれぞれ近いベクトルとなる理論的根拠はなく、実際にばらけることがある。よって、複数の面法線候補に正しい解が仮に含まれていても、最も乖離した候補を選ぶことで正しい解を得ることはできない。被写体の拡散反射成分がランバートの余弦則に従わない場合もあり、そのような場合には正しい面法線を推定できない。
【００１０】
また、特許文献２の方法では、拡散反射領域のみで照度差ステレオ法を適用するため、鏡面反射領域では面法線情報を取得できない。また、事前に拡散反射領域を決定する工程が必要となる。さらに、特許文献１と同様、被写体の拡散反射成分がランバートの余弦則に従わない場合に正しい面法線を推定できない。
【００１１】
特許文献３の方法では、事前に被写体の反射特性モデルが既知である必要がある。また、鏡面反射成分が含まれるモデルを使用した場合は、鏡面反射成分が観測されない場合も常に鏡面反射成分が含まれるモデルで面法線を推定するために、推定処理を高速に行うことができない。
【００１２】
本発明は、反射特性が未知の被写体に対して、鏡面反射やランバートの余弦則に従わない拡散反射があっても、ロバストに面法線情報を取得可能な画像処理装置等を提供する。
【課題を解決するための手段】
【００１３】
本発明の一側面としての画像処理装置は、光源の位置が互いに異なる４つ以上の光源条件での被写体の撮像により生成された複数の撮影画像を用いて被写体の表面の法線情報を取得する。該装置は、複数の反射特性モデルを記憶した記憶手段と、複数の撮影画像から被写体の輝度情報を取得する輝度情報取得手段と、輝度情報に基づいて複数の反射特性モデルのうち特定モデルを選択する選択手段と、光源条件に応じた輝度情報の変化と特定モデルとを用いて法線情報を取得する法線情報取得手段とを有することを特徴とする。
【００１４】
なお、上記画像処理装置と撮影画像を得るための撮像を行う撮像手段とを有する撮像装置も、本発明の他の一側面を構成する。
【００１５】
また、コンピュータに上記画像処理装置としての動作を行わせるコンピュータプログラムとしての画像処理プログラムも、本発明の他の一側面を構成する。
【発明の効果】
【００１６】
本発明によれば、反射特性が未知の被写体に対して、鏡面反射やランバートの余弦則に従わない拡散反射があっても、ロバストに面法線情報を取得することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施例１における画像処理を示すフローチャート。
【図２】実施例１の撮像装置の構成を示す図。
【図３】本発明の実施例２における画像処理を示すフローチャート。
【図４】本発明の実施例３における画像処理を示すフローチャート。
【図５】反射特性モデルの模式図。（Ａ）はランバート反射、（Ｂ）は鏡面反射＋ランバート反射、（Ｃ）はランバート反射とは異なる拡散反射を示す。
【図６】簡略化されたTorrance-Sparrowモデルを示す図。
【発明を実施するための形態】
【００１８】
以下、本発明の実施例について図面を参照しながら説明する。
まず具体的な実施例の説明に先立って、各実施例に共通する事項について説明する。各実施例は、被写体の表面の面法線に関する情報である法線情報を取得するために用いられる撮像装置であり、一般の被写体に対してロバストに面法線情報を取得できる。
【００１９】
法線情報（面法線情報）とは、面法線の１自由度の候補を少なくとも１つ以上決定する情報、面法線の複数の解候補から真の解を選択するための情報および求めた面法線の妥当性に関する情報である。
【００２０】
光源位置（光源条件）による輝度情報の変化に基づいて被写体の面法線情報を取得する方法としては照度差ステレオ法を用いるとよい。照度差ステレオ法は、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を決定する方法である。仮定する反射特性はある面法線と光源位置が与えられたときに反射率が一意に定まればよいが、被写体の反射特性が未知の場合はランバートの余弦則に従うランバート反射モデルで近似すればよい。また、鏡面反射成分は図６に示した光源ベクトルｓと視線方向ベクトルｖの２等分線と面法線ｎのなす角に反射率が依存する。したがって、前述した反射特性は視線方向にも基づく特性としてもよい。照度差ステレオ法に用いる輝度情報は、既知の光源が点灯している場合と消灯している場合のそれぞれの画像を撮像し、これらの差分をとることで環境光等、既知の光源以外の光源による影響を除いてもよい。以下では、ランバート反射モデルを仮定した場合を説明する。
【００２１】
反射光の輝度をｉとは、物体のランバート拡散反射率をρｄとし、入射光の強さをＥとし、物体から光源への方向を示す単位ベクトル(光源方向ベクトル)をｓとし、物体の単位面法線ベクトルをｎとする。このとき、ランバートの余弦則から、
【００２２】
【数１】
2017134561.tif 000003
【００２３】
と表せる。ここで異なるＭ個（Ｍ≧３）の光源方向ｓ１，ｓ２，・・・，ｓＭで得られた輝度値ｉ１，ｉ２，・・・ｉＭとすると（１）式から以下のように表せる。
【００２４】
【数２】
2017134561.tif 000004
【００２５】
ここで左辺はＭ行１列の輝度ベクトルであり、右辺の［ｓ１Ｔ,・・・,ｓＭＴ］はＭ行３列の光源方向を示す入射光行列Ｓである。また、ｎは３行１列の単位面法線ベクトルである。Ｍ＝３の場合は入射光行列Ｓの逆行列を左から乗じることで、Ｅρｄｎが下記のように求まる。
【００２６】
【数３】
2017134561.tif 000005
【００２７】
左辺のベクトルのノルムがＥとρｄの積であり、正規化したベクトルが物体の面法線ベクトルとして求まる。ここから分かるように、Ｅとρｄは積の形でのみ条件式に現れるので、Ｅρｄで１つの変数として見ると、単位面法線ベクトルの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。よって、３つの光源条件で輝度情報を取得することで方程式が３つ得られ、解を決定することができる。なお、入射光行列Ｓが正則でない場合は逆行列が存在しないため、光源方向ｓ１〜ｓ３をＳが正則となるように選択する必要がある。つまり、ｓ３をｓ１とｓ２に対して線形独立に選ぶことが望ましい。
【００２８】
一方、Ｍ＞３の場合は求める未知変数より多い条件式が得られる。このときは任意に選択した３つの条件式から上記と同様の方法で面法線ベクトルを求めることができる。４つ以上の条件式を用いる場合は入射光行列Ｓが正方行列ではなくなるため、例えば、Moore-Penrose疑似逆行列を使って近似解を求めればよい。
【００２９】
また、行列計算を用いなくとも、既存のフィッティング手法や最適化手法によって解を求めてもよい。特に、被写体の反射特性をランバート反射モデル以外のモデルで仮定した場合は条件式が単位面法線ベクトルｎの各成分や反射特性モデルの未知係数に対する線形方程式でなくなることがある。この場合は、行列計算ができず、既存のフィッティング手法や最適化手法によって解を求めることとなる。前述のように反射特性モデルｆは、光源ベクトルｓ、視線方向ベクトルｖ、面法線ｎおよび未知係数Ｘに依存し、以下のように表される。
【００３０】
【数４】
2017134561.tif 000006
【００３１】
ここで、Ｘは反射特性モデルの係数ベクトルであり、係数の数と等しい次元を持つ。このうちｍ個の係数が未知であるとすると、（４）式は面法線ベクトルと合わせてｍ＋２個の未知変数を含む。このとき、光源位置の条件数だけ方程式が得られ、既知のフィッティング手法や最適化手法を用いることができる。例えば、
【００３２】
【数５】
2017134561.tif 000007
【００３３】
を最小化すればよい。
また、反射特性モデルｆが視線方向ベクトルｖに依存する場合は、視線方向を変化させることによっても方程式の数を増やすことができる。
【００３４】
また、Ｍ−１以下の条件式から解を得られる場合は、条件式の組み合わせの数だけ解を得ることができ、複数の面法線候補を求めることもできる。この場合は、特許文献１の方法や後述の方法によって解を選択するとよい。
【００３５】
面法線ベクトルの解の候補が複数求まる場合、さらに別の条件から解を選択するとよい。例えば、面法線ベクトルの連続性を条件として用いることができる。面法線を撮像装置の１画素ごとに算出する場合、画素（ｘ，ｙ）での面法線ｎ（ｘ，ｙ）として、ｎ（ｘ−１，ｙ）が既知であれば評価関数である、
【００３６】
【数６】
2017134561.tif 000008
【００３７】
が最小となる解を選択するとよい。ｎ（ｘ＋１，ｙ）やｎ（ｘ，ｙ±１）も既知であれば、
【００３８】
【数７】
2017134561.tif 000009
【００３９】
が最小となるような解を選択するとよい。既知の面法線がなく、全画素位置で面法線の不定性があるとすれば、全画素での総和である、
【００４０】
【数８】
2017134561.tif 000010
【００４１】
が最小となるように解を選択してもよい。
【００４２】
上記は一例であり、注目画素の最近傍以外の画素での面法線情報を用いたり、注目画素の位置からの距離に応じて重みをつけた評価関数としたりしてもよい。
【００４３】
複数候補から解を選択する場合には、奥行き情報を利用してもよい。奥行き情報は前述のレーザ光を用いた三角測量や２眼ステレオなどの方法で取得できる。奥行き情報から求めた三次元形状を面法線情報へ変換することで面法線ベクトルが算出できる。前述したように、この方法で求めた面法線ベクトルは精度が十分ではない。しかし、複数の面法線ベクトルの解候補が既に求まっている場合は、１つの解に決定するための参考情報とすることができる。すなわち、複数の面法線ベクトルの解候補のうち、奥行き情報により求めた面法線ベクトルに最も近い候補を選択するとよい。
【００４４】
各実施例の画像処理装置は、光源位置が互いに異なる４つ以上の光源条件での被写体の撮像により生成された複数の撮影画像を用いて被写体の表面の法線情報を取得する。具体的には、複数の反射特性モデルを記憶した記憶部（記憶手段）と、複数の撮影画像から被写体の輝度情報を取得する輝度情報取得部（輝度情報取得手段）とを有する。さらに、輝度情報に基づいて上記複数の反射特性モデルのうち特定モデルを選択する選択部（選択手段）と、光源位置に応じた輝度情報の変化と特定モデルとを用いて法線情報を取得する法線情報取得部（法線情報取得手段）を有する。
【００４５】
光源位置（光源条件）が異なる複数の画像を取得することで、照度差ステレオ法によって、光源位置に応じた輝度情報の変化から被写体の面法線情報を取得することができる。照度差ステレオ法では、光源位置に応じた輝度情報の変化に基づいて法線情報を推定する際に反射特性モデルを用いる。反射特性モデルとは、被写体の面法線と光源方向ベクトルの関係に対してある角度方向への反射率を一意に定めるものである。また、前述のように視線方向にも基づく特性としてもよい。反射特性モデルとしては、例えば被写体の反射率を被写体の面法線と光源方向ベクトルのなす角の関数として定めればよい。よく使われるモデルとしては、前述したランバート反射モデル以外に、Phongモデル、Torrance-Sparrowモデル、Cook-Torranceモデル、Oren-Nayerモデル等があり、モデルによって適合する被写体が限られる。
【００４６】
既存の手法では、反射特性を事前に測定するか仮定した反射特性モデルを用いて法線情報を推定していた。しかし、一般の被写体で法線情報を推定しようとした場合、あらゆる物体の反射特性を事前に測定することは困難である。一方、仮定した反射特性モデルを用いると、被写体の反射特性がその仮定したモデルと異なる場合に誤った法線情報を推定してしまう。
【００４７】
そこで、反射特性モデルを予め複数記憶しておき、輝度情報に基づいて使用する反射特性モデル（特定モデル）を選択することで、より広範な未知の被写体に対して、法線情報を推定することができる。複数のモデルに対して精度良く法線情報を推定するためには、４つ以上の光源条件で輝度情報を取得する必要がある。また、予め必要十分に記録した反射特性モデルを用いることで、外部との通信により新たに反射特性モデルを取得する必要や被写体に合わせた反射特性モデルを作成する必要がなくなり、高速に法線情報を推定することができる。また、外部との通信の可否によらずに、未知の被写体に対して法線情報を推定することが可能となる。
【００４８】
各実施例の画像処理装置は、輝度情報と反射特性モデル（特定モデル）とのずれ量を算出するモデルずれ量算出部（モデルずれ量算出手段）と、ずれ量と所定値（閾値）との大小を判定するモデル判定部（モデル判定手段）とを有していてもよい。前述したように、被写体の反射特性が仮定したモデルと異なる場合には、誤った法線情報を推定してしまう。ずれ量を算出し、閾値との大小を判定することで、輝度情報に基づいて、各反射特性モデルが被写体に適合するか否かを知ることができる。すなわち、ずれ量が閾値より小さい場合は特定モデルを用いて法線情報を取得することを許容し、ずれ量が閾値より大きい場合は複数の反射特性モデルのうち特定モデルとは異なる反射特性モデルを選択部に選択させるようにすることが望ましい。
【００４９】
各実施例においては、上記ずれ量を輝度情報と反射特性モデル（特定モデル）に基づいて算出される輝度値との比較に基づいて算出してもよい。また、上記ずれ量を、輝度情報から算出した反射特性モデル（特定モデル）の係数値（パラメタ）に基づいて算出してもよい。また、上記ずれ量を輝度情報から求めた複数の面法線候補のばらつきを用いて算出してもよい。
【００５０】
また、特定モデルとしての反射特性モデルのうち上記ずれ量が閾値より小さい領域で該反射特性モデルの使用を許容するようにしてもよい。ずれ量に対して閾値を設定することで、ずれ量が閾値より小さい領域では、ずれ量算出に用いた反射特性モデルが被写体に対して適合していると判定できる。このような領域では反射特性モデルに基づくことで精度良く法線情報の推定を行うことができる。また、上記ずれ量が閾値より大きい領域では、特定モデルとは異なる反射特性モデルを選択部に選択させるようにしてもよい。ずれ量が閾値より大きい領域ではずれ量算出に用いた反射特性モデルが被写体に対して適合していないと判定できる。このような領域では別の反射特性モデルを用いることでより広範な被写体に対応することができる。
【００５１】
複数の反射特性モデルには、ランバート反射モデルを含んでもよい。拡散反射成分は、特に平滑面においてランバート反射モデルに従うことも多く、このような被写体は数多く存在する。このため、反射特性モデルにランバート反射モデルを用いることで鏡面反射の少ない被写体の一部では比較的精度良く法線情報を推定できる。また、輝度が面法線ベクトルと光源方向ベクトルの内積で決まるため、行列演算によって簡易な計算で高速に法線情報を推定することができる。
【００５２】
また、複数の反射特性モデルには、ランバート反射モデルとは異なる拡散反射モデルを含んでもよい。表面の粗い非平滑面においては、一般に、拡散反射成分はランバート反射モデルには適合しない。つまり、被写体の表面構造が取得した輝度情報の解像度より細かい場合は、被写体の拡散反射を観測できてもランバート反射モデルでは誤った法線情報を推定してしまう。そこで、粗面、すなわち輝度情報より細かいピッチのマイクロファセットを考慮した拡散反射モデルを反射特性モデルとして持つ必要がある。これは、被写体と撮像倍率などの撮像条件との相互関係に依存するため、このような反射特性モデルを持つことで、より広範な被写体や撮像条件に対応した法線情報の推定が行えるようになる。
【００５３】
また、複数の反射特性モデルには、鏡面反射モデルを含んでもよい。鏡面反射はほとんどの被写体で観測されるため、反射特性モデルに鏡面反射モデルを含むことで、広範な被写体に対応した法線情報の推定が実現できる。ここでいう鏡面反射モデルとは、拡散反射成分を含まない、鏡面反射のみに対応したモデルのことを指す。
【００５４】
また、複数の反射特性モデルに拡散反射成分と鏡面反射成分の和からなる反射特性モデル（拡散／鏡面反射モデル）を含んでもよい。これにより、さらに広範な被写体に対応した法線情報の推定が実現できる。
【００５５】
また、選択部は、法線情報の推定に用いる１番目の特定モデルとして、ランバート反射モデルを選択してもよい。前述したように、ランバート反射モデルは行列計算を適用できるために高速な法線情報の推定が実行できる。輝度情報のみから事前に被写体の反射特性モデルを決定できない場合にランバート反射モデルを１番目の特定モデルとして選択することで、高速に処理することができる。
【００５６】
また、選択部は、法線情報の推定に用いる２番目の特定モデルとして、ランバート反射モデルとは異なる拡散反射モデルを選択してもよい。鏡面反射成分は特定の光源条件でしか観測されないことが多く、発生頻度が少ない。２番目の特定モデルとしてランバート反射モデルとは異なる拡散反射モデルを選択することで、多くの画像領域において未知の被写体の法線情報を推定することができる。
【００５７】
また、選択部は法線情報の推定に用いる２番目の特定モデルとして、上述した拡散／鏡面反射モデルを選択してもよい。拡散反射における粗さによる誤差を無視した精度での法線情報が必要な場合に拡散／鏡面反射モデルを選択することで、広範な未知の被写体で法線情報を推定することができる。
【００５８】
また。選択部は３つ以上の光源条件において拡散反射が取得された場合に、特定モデルとして拡散反射モデルを選択してもよい。法線情報の推定を行う前に、推定に必要な条件数だけの拡散反射成分が観測されたことが予め判定できた場合は、拡散反射モデルを特定モデルとして選択することで、推定に誤った反射特性モデルを選択する無駄をなくし、高速に法線情報を推定できる。
【００５９】
また、選択部は、４つ以上の光源条件において鏡面反射が取得された場合に、鏡面反射モデルを特定モデルとして選択してもよい。法線情報の推定を行う前に、推定に必要な条件数だけの鏡面反射成分が観測されたことが予め判定できた場合は、鏡面反射モデルまたは鏡面反射成分を含む反射特性モデルを特定モデルとして選択してもよい。この場合、推定に誤った反射特性モデルを選択する無駄をなくし、高速に法線情報を推定できる。
【００６０】
また、選択部は、上記ずれ量に基づいて特定モデルを選択してもよい。選択部は選択した特定モデルと輝度情報のずれ量を算出し、その結果に基づいて反射特性モデルを再度選択してもよい。これによって、輝度情報のみから反射特性モデルを推定するよりも精度良く反射特性が未知の被写体に適合する反射特性モデルを選択することができる。もちろん、再度同じ反射特性モデルを選択してもよい。
【００６１】
また、輝度情報取得部は輝度情報を撮影画像から取得し、法線情報取得部は撮影画像の画素ごとに独立して法線情報を推定してもよい。輝度情報の中で同じ反射特性を持つ被写体領域を知ることで、より少ない光源条件で法線情報を推定することができる。一方で、そのような方法では同じ反射特性を持つ被写体領域を決定する工程が必要となる。このとき処理が複雑になり計算時間がかかる上に、この工程での誤差が法線情報の推定誤差の原因となる。輝度情報から画素ごとに独立した推定を行うことで、このような推定誤差を防ぐことができる。画素ごとに輝度情報からの正確な法線情報の推定を行うためには被写体に適合した反射特性モデルを持つしかないが、本構成により、未知の被写体に対する高精度な法線情報の推定が実現できる。
【実施例１】
【００６２】
図２には、本発明の実施例１である撮像装置の構成を示す。撮像光学系１０１は、不図示の被写体からの光（被写体像）を撮像素子１０２上に結像させる。撮像光学系１０１と撮像素子１０２とにより撮像部（撮像手段）が構成される。撮像光学系１０１は絞り１０１ａを含む。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体像を光電変換する。
【００６３】
撮像素子１０２での光電変換により生成されたアナログ電気信号はＡ／Ｄコンバータ１０３でデジタル信号に変換され、該デジタル信号は画像処理部１０４に入力される。画像処理部１０４は、デジタル信号に対して一般に行われる画像処理と併せて、被写体の法線情報を推定する処理を行う。撮像装置は、投光部（投光手段）１１１に設けられ１つの光源を移動させたり複数の光源を選択的に点灯させたりすることで、光源位置が互いに異なる４つ以上の光源条件での被写体の撮像により複数の撮影画像を取得する。
【００６４】
メモリ（記憶手段）１１２には、複数の反射特性モデルが予め記憶されている。画像処理部１０４は、上記複数の撮影画像から被写体の輝度情報を取得する輝度情報取得部１０４ｅと、該輝度情報に基づいてメモリ１１２内の複数の反射特性モデルのうち使用する特定モデルを選択する選択部１０４ａとを有する。また、画像処理部１０４は、特定モデルに基づいて法線情報を推定する法線推定部（法線情報取得部）１０４ｂと、特定モデルと輝度情報とのずれ量を算出するモデルずれ量算出部１０４ｃとを有する。さらに、画像処理部１０４は、上記ずれ量と所定値としての閾値との大小判定を行うモデル判定部１０４ｄを有する。画像処理部１０４とメモリ１１２とにより画像処理装置が構成される。
【００６５】
画像処理部１０４で処理された出力画像は、半導体メモリや光ディスク等の画像記録媒体１０８に保存される。また、出力画像を、表示部１０５に表示してもよい。
【００６６】
情報入力部１０８は、ユーザが所望の撮像条件、例えば焦点距離、絞り値および露出時間（撮像時間）を選択して入力した情報を検知してシステムコントローラ１１０にそのデータを供給する。撮像制御部１０６は、システムコントローラ１１０からの情報に基づいて、撮像光学系１０１内の不図示のフォーカスレンズを移動させ、投光部１１１の発光を制御し、また絞り値、露出時間、波長選択性撮像フィルタおよび撮像素子１０２を制御する。これにより、必要な撮影画像を取得する。
【００６７】
状態検知部１０７はシステムコントローラ１１０の制御指示に応じて現在の撮像条件の情報を取得する。なお、撮像光学系１０１は、撮像装置１と一体に設けられていてもよいし、一眼レフカメラのように撮像装置１に対して交換可能であってもよい。
【００６８】
図１のフローチャートには、上述した法線情報を推定する画像処理の流れを示している。この画像処理は、それぞれコンピュータであるシステムコントローラ１１０および画像処理部１０４が、コンピュータプログラムとしての画像処理プログラムに従って実行する。このことは、後述する他の実施例でも同じである。また、この画像処理を必ずしもソフトウェア上で行う必要はなく、ハードウェア回路によって行ってもよい。
【００６９】
ステップＳ１０１では、システムコントローラ１１０は、撮像光学系１０１および撮像素子１０２により構成される撮像部を制御して複数（４つ以上）の光源位置での被写体の撮像を行い、複数の撮影画像を取得する。このとき、システムコントローラ１１０は、撮像制御部１０６を通じて、投光部１１１を制御し、さらに光源の発光強度の制御や光源位置の設定を行う。光源位置の設定は、前述したように、１つの光源を移動させることで行ってもよいし、複数の光源を選択的に点灯させることで行ってもよい。そして、画像処理部１０４（輝度情報取得部１０４ｅ）は、取得された複数の撮影画像から被写体の輝度情報を取得する。
【００７０】
次にステップＳ１０２では、画像処理部１０４（選択部１０４ａ）は、ステップＳ１０１で得られた輝度情報に基づいて、メモリ１１２に記憶された複数の反射特性モデルから１番目の特定モデルとしての反射特性モデル１を選択する。
【００７１】
次にステップＳ１０３では、画像処理部１０４（法線推定部１０４ｂ）に、ステップＳ１０１で取得された複数の撮影画像とステップＳ１０２で選択された反射特性モデル１とを用いて被写体の法線情報を推定する。法線情報の推定は、照度差ステレオ法を用いて、ステップＳ１０２で選択された反射特性モデル１と光源位置に応じた輝度情報の変化とに基づいて行う。
【００７２】
次にステップＳ１０４では、画像処理部１０４（モデルずれ量算出部１０４ｃ）は、ステップＳ１０３で推定された法線情報をもとに、輝度情報と反射特性モデル１とのずれ量を算出する。
【００７３】
モデルずれ量算出部１０４ｃにおけるずれ量の算出について詳しく説明する。被写体の法線候補が推定されると、光源方向が既知であれば、法線方向と光源方向から反射特性モデルに基づく被写体の反射率を算出できる。そこで、各光源位置での輝度情報の関係が反射特性モデルより得られる。よって、輝度情報取得部１０４ｅによって得られた被写体の輝度情報（輝度値）と反射特性モデルにより得られた輝度値との差分を光源条件ごとに取得し、二乗平均平方根（ＲＭＳ）を求めることで、実測された輝度情報と反射特性モデルとのずれ量を得ることができる。なお、被写体に当たる光源強度が分からない場合は、各光源位置での輝度情報の絶対値も分からないため、各光源位置での輝度値を撮像装置が検出できる最大輝度等の適当な値で規格化するとよい。ランバート反射モデルを用いる場合は、照度差ステレオ法で得られたＥρｄの値で規格化してもよい。この場合、光源方向ベクトルｓと面法線ｎの内積であるｓ・ｎが規格化された輝度情報に相当する。これによれば、画素ごとの光源強度や反射率の違いがキャンセルされるため、求めたずれ量は各画素に共通の指標とすることができる。
【００７４】
また、ずれ量を、輝度情報から算出した反射特性モデル（特定モデル）の係数値（パラメタ）に基づいて算出してもよい。ランバート反射モデルを用いて法線推定を行った場合を例にすると、同じ材質の被写体に対しては光源強度とランバート反射率の積Ｅρｄはほぼ一定になると考えられる。このため、同じ材質の複数の被写体上の点で算出されたＥρｄの平均値やメディアンからの当該画素における差分をずれ量として用いることができる。また、被写体に照射される光源強度が既知の場合は直接ρｄを用いるとよい。この場合、場所によって照射される光源強度が異なることによる誤差を除くことができる。被写体上の同じ材質の領域を判定するには、Graph-Cutやwatershed法、mean-shift法等の既存の領域分割手法を用いればよい。また、単に近傍の画素を同じ材質と仮定してもよい。被写体の材質が既知であれば、既知のρｄとの差分をとってもよい。
【００７５】
ただし、同じ材質の被写体領域を判定する手法では領域判定に誤差が生じてしまうと、法線情報にも誤差が生じる。そこで、パラメタ自体の絶対値を基準にずれ量を算出してもよい。ρｄは理論上１以下の値をとるため、閾値を１とし、ρｄが閾値より大きいときにずれ量が値を持つようにずれ量を決めてもよい。また、被写体の反射率や吸収が既知の場合や色などの情報から最大の反射率が推定できる場合は、閾値は１でなくともよい。
【００７６】
他の反射特性モデルで法線推定を行った場合も同様である。例えば簡略化されたTorrance-Sparrowモデルでは、反射係数Ｋ、射出角θｒ、表面粗さσ、光源方向ｓと視線方向ｖの２等分線方向と面法線方向ｎのなす角αを用いて、
【００７７】
【数９】
2017134561.tif 000011
【００７８】
と表される（図６）。この反射係数Ｋ、表面粗さσは被写体の材質で決まる量であり、同じ材質では一定の値を示すと考えられるから上記のρｄの変わりにこれらを用いてずれ量を算出することもできる。
【００７９】
また、ずれ量は輝度情報から求めた複数の面法線候補のばらつきに基づいて算出してもよい。被写体の面法線の変化に対して十分細かいピッチで面法線を取得しているとすれば、画素ごとの面法線方向は近傍の画素間で近い値をとる。そこで、例えば隣接する画素との面法線方向の差からずれ量を定めることで、得られた面法線候補の推定精度を判定することができる。
【００８０】
以上のようにずれ量の算出としては様々な方法があり、上述の方法のいずれを用いてもよく、上述の方法に限定されない。
【００８１】
なお、ずれ量の算出は、取得した各光源位置の輝度情報の一部を用いて行ってもよい。一般にずれ量が大きくなる場合として、被写体の物理的な反射特性が用いた反射特性モデルに合わない場合がある。他にも、光源からの光が遮蔽されて当たらない陰影部や、拡散反射成分の観測を想定した反射特性モデルに対して鏡面反射成分や相互反射成分が観測されてしまう場合がある。このような場合、被写体の物理的な反射特性はモデルに合っていても、観測される輝度情報としてはモデルに合わないということになる。反射特性モデルからのずれ量が大きくなると照度差ステレオ法では正しい面法線が得られなくなるため、どちらの場合でも照度差ステレオ法で求めた法線情報の妥当性をずれ量に基づいて判定できる。
【００８２】
しかし、後者の場合は、陰影部や想定以外の反射成分が観測された光源位置の輝度情報を除外してずれ量を算出することで、モデルに合う場合がある。したがって、光源位置の輝度情報が法線推定に十分な数より多くある場合は、上述のような不適当な光源位置の輝度情報を除外してずれ量を算出するとよい。
【００８３】
ある輝度情報を取得した際の光源位置が不適当であるかは、既存の陰影部や鏡面反射部の抽出法を用いればよく、例えば輝度情報の閾値処理をすればよい。しかし、このような場合、法線推定に使用できる光源位置の輝度情報が少なくなり、推定精度が悪化し、推定に必要な数の輝度情報が得られなくなる場合もある。よって、被写体に適合する反射特性モデルを適用できる場合はそちらの方が好ましい。
【００８４】
次にステップＳ１０５では、画像処理部１０４（モデル判定部１０４ｄ）は、ステップＳ１０４で算出されたずれ量と閾値との大小を判別する。ずれ量が閾値より大きい場合はステップＳ１０６に進み、ずれ量が閾値より小さい場合はステップＳ１０３で推定した法線情報を最終的な結果とし（つまりは選択した特定モデルの使用を許容し）、本処理を終了する。
【００８５】
ステップＳ１０６では、画像処理部１０４（選択部１０４ａ）は、メモリ１１２に記録された複数の反射特性モデルから反射特性モデル１とは異なるモデル（反射特性モデル２）を選択する。
【００８６】
次にステップＳ１０７では、画像処理部１０４（法線推定部１０４ｂ）は、ステップＳ１０３と同様に、ステップＳ１０１で取得された複数の撮影画像と反射特性モデル２とを用いて被写体の法線情報を推定する。そして、これを最終的な結果として処理を終了する。
【００８７】
選択部１０４ａは、反射特性モデル１および反射特性モデル２として、予め決められたモデルを選択する。その際、反射特性モデル１にはより計算負荷の軽いモデルやパラメタの少ないモデル、反射特性モデル２にはより複雑なモデルや反射特性モデル１を含有するようなモデルをするとよい。例えば、反射特性モデル１は拡散反射成分のみのモデルとし、反射特性モデル２は拡散反射成分と鏡面反射成分を考慮したモデルとするのがよい。
【００８８】
特許文献３にて開示されているように、被写体の反射特性が既知であっても、１画素のように被写体の小さい領域だけを観測する場合は鏡面反射成分が観測されない場合も多い。この場合、鏡面反射成分を除いたモデルで最適化した方が、計算負荷も計算結果の精度も向上できる。特に拡散反射成分のみのモデルをランバート反射モデルとすると、最適化によらず行列計算により法線を推定することができ、鏡面反射成分を持たない画素について高速に法線情報を推定することができる。
【００８９】
その上で、画像上では限定された領域にしか生じない鏡面反射部では鏡面反射成分を含んだモデルに基づいて法線情報を推定することで、無駄な計算付加を増やさずに、高速で精度よい推定ができる。また、反射特性モデル１はランバート反射モデルとし、反射特性モデル２はOren-Nayarモデル等のランバート反射モデルとは異なる拡散反射モデルとしてもよい。この場合、ランバート反射モデルとの乖離が小さい反射特性を持つ被写体に対しては、高速に法線情報を推定しつつ、ランバート反射モデルとは乖離が大きい反射特性を持つ被写体に対してのみ被写体表面の粗さ等を考慮したより正確なモデルを用いることができる。
【００９０】
もちろん反射特性モデル２についてもずれ量を算出してよい。この場合、ステップＳ１０５〜Ｓ１０７と同様に、ずれ量が大きければ新たに反射特性モデル３を選択してもよい。また、最もずれ量が小さかった反射特性モデルに基づく法線情報を真の法線情報とするとよい。
【００９１】
なお、ステップＳ１０２は法線情報の推定よりも前に行われればよく、本実施例の順に限定するものではない。
【実施例２】
【００９２】
次に、図３を用いて本発明の実施例２について説明する。本実施例は、輝度情報に基づいて反射特性モデルを選択する点で実施例１と異なる。本実施例の撮像装置の構成は、実施例１の撮像装置の構成と共通であり、実施例１と共通する構成要素には実施例１と同符号を付す。
【００９３】
ステップＳ２０１およびＳ２０４は、図１のステップＳ１０１およびＳ１０３と同じである。
【００９４】
ステップＳ２０２では、画像処理部１０４（輝度情報取得部１０４ｅ）は、ステップＳ２０１で取得した輝度情報を鏡面反射成分と拡散反射成分に分離する。ここで分離は既存の方法を用いて行えばよい。例えば、「L. B. Wolff,Constraining Object Features Using a Polarization Reflectance Model,IEEE Trans. Patt. Anal. Mach. Intell.,Vol.13,No.7,pp.635-657(1991)」、「G. J. Klinker,The Measurement of Highlights in Color Images,IJCV,Vol.2,No.1,pp.7-32(1988)」に記載された方法を用いればよい。また、単に輝度値が所定の閾値より大きい場合を鏡面反射とし、閾値より小さい場合を拡散反射としてもよい。
【００９５】
次にステップＳ２０３では、画像処理部１０４（選択部１０４ａ）は、ステップＳ２０２の結果から、拡散反射が観測された光源条件数および鏡面反射が観測された光源条件数を求める。そして、選択部１０４ａは、拡散反射が観測された光源条件数の方が多い場合は拡散反射モデルを選択し、鏡面反射が観測された光源条件数の方が多い場合は鏡面反射モデルまたは鏡面反射と拡散反射を考慮したモデルを選択する。拡散反射モデルを選択した場合は拡散反射の輝度情報のみを用いて、鏡面反射モデルを選択した場合は鏡面反射の輝度情報のみを用いて、拡散反射と鏡面反射を考慮したモデルを選択した場合は両方の輝度情報を用いて法線情報を推定する。これにより、鏡面反射が観測されない被写体に対して鏡面反射を含むモデルを適用する等、被写体の反射特性に適合しないモデルを用いて法線情報を推定することがなくなる。さらに、観測数のより多い反射成分のモデルを選択することができ、推定の精度が向上する。
【００９６】
また、選択部１０４ａは、本実施例が有する拡散反射モデルの未知係数の数より多い光源条件数で拡散反射が観測されたら拡散反射モデルを選択するとしてもよい。これによれば、拡散反射モデルで精度よく法線情報が推定できる場合に、拡散反射モデルを適用することができる。鏡面反射モデル、拡散反射と鏡面反射をともに考慮するモデルでも同様に、モデルの未知係数の数より多い光源条件数で観測された場合に該当するモデルを選択するとしてもよい。
【００９７】
本実施例によれば、法線情報の推定に用いる反射特性モデルを直接輝度情報から求めることができ、初回の法線情報の推定から、被写体に適合する反射特性モデルに基づいた推定が行える。これにより、高速でありながらも、広範な未知の被写体に対応した法線情報の推定が行える。
【実施例３】
【００９８】
次に図４を用いて本発明の実施例３について説明する。本実施例は、事前にある反射特性モデルについて算出したずれ量に基づいて反射特性モデルを選択する点で実施例２と異なる。本実施例の撮像装置の構成は、実施例１の撮像装置の構成と共通であり、実施例１と共通する構成要素には実施例１と同符号を付す。
【００９９】
ステップＳ３０１、Ｓ３０３〜Ｓ３０５およびＳ３０７は、図１のステップＳ１０１、Ｓ１０３〜Ｓ１０５およびＳ１０７と同じである。
【０１００】
ステップＳ３０２では、画像処理部１０４（選択部１０４ａ）は、法線情報の推定に用いる１番目の反射特性モデル（特定モデル）として、ランバート反射モデルを選択する。これにより、ステップＳ３０３での法線情報の推定を高速に行うことができる。
【０１０１】
次にステップＳ３０６では、選択部１０４ａは、ずれ量に基づいて、特定モデルとして反射特性モデル２を選択する。ここでは、ずれ量をランバート反射率ρｄから算出するとよい。ρｄは理論上１以下の値をとるため、閾値を１として、ρｄの閾値との差に基づいてずれ量を決めればよい。また、被写体の反射率や吸収が既知の場合や色などの情報から最大の反射率が推定できる場合は、閾値は１でなくともよい。
【０１０２】
なお、ステップＳ３０５で用いるずれ量とステップＳ３０６で用いるずれ量は同じ基準で算出する必要はない。ステップＳ３０５で用いるずれ量は、例えば、輝度情報取得部１０４ｅによって得られた被写体の輝度情報（輝度値）と反射特性モデルにより得られた輝度値との差分を光源条件ごとに取得し、その二乗平均平方根（ＲＭＳ）とすればよい。
【０１０３】
被写体に鏡面反射や強い相互反射が観測される場合にρｄは閾値を上回る。よって、ρｄの閾値との差が大きい場合には、選択部１０４ａはランバート反射に鏡面反射を加えた反射特性モデルを、反射特性モデル２として選択すればよい。また、一般に相互反射の方が鏡面反射より小さいため、ρｄが理論値を上回りつつも閾値との差がそこまで大きくない場合、選択部１０４ａは反射特性モデル２として相互反射の影響を考慮したモデルを選択してもよい。また、ステップＳ３０５でランバート反射モデルは適合しないと判定されながらもρｄが閾値を下回る場合、鏡面反射はないものの拡散反射特性が異なっていると考えられる。この場合、選択部１０４ａは反射特性モデル２として、ランバート反射とは異なる拡散反射モデルを選択してもよい。ここで、１番目の反射特性モデルをランバート反射モデルとしたのは、ステップＳ３０３の推定処理を高速に行うためであり、ランバート反射モデルでなくてもよい。
【０１０４】
また、ステップＳ３０６で用いるずれ量として得られた輝度情報が特定の光源位置周りに集中しているかをみてもよい。図５に（Ａ）ランバート反射モデル、（Ｂ）ランバート＋鏡面反射モデル、（Ｃ）ランバート反射モデルとは異なる拡散反射モデルの模式図を示す。図５（Ｃ）は表面が粗い場合の拡散反射の一例を示している。横軸が光源位置の角度と面法線のなす角であり、縦軸が反射特性モデルの輝度値（反射率）を表す。図５（Ｂ）を見ると、図５（Ａ）のランバート反射モデルに対し、特定の光源位置周りで高輝度であることがわかる。
【０１０５】
一方、図５（Ｃ）ではランバート反射モデルよりも広い光源位置で拡散反射の強度がゆるやかに変化することがわかる。このため、被写体に対して複数の光源位置で輝度情報を取得したときに、ランバート反射モデルよりも特定の光源位置周りで輝度が急激に大きな値をとる場合は、鏡面反射モデルを選択するとよい。また、ランバート反射モデルよりも光源位置に対してゆるやかな変化を示す場合は、ランバート反射モデルとは異なる拡散反射成分のモデルを選択するとよい。
【０１０６】
このように光源位置に対する反射率の変化を見るためのずれ量としては、例えば光源位置を変数にとったときの微分量を見たり、分散や４次のモーメントなどの統計量を見たりするとよい。
【０１０７】
上記各実施例では、画像処理装置としての画像処理部１０４が撮像装置に内蔵されている場合について説明したが、パーソナルコンピュータ等の撮像装置とは別装置としての画像処理装置でも各実施例で説明した画像処理を行うことができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１０８】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【図１】
2017134561.tif 000012
【図２】
2017134561.tif 000013
【図３】
2017134561.tif 000014
【図４】
2017134561.tif 000015
【図５】
2017134561.tif 000016
【図６】
2017134561.tif 000017