(57)【要約】【課題】  カメラによる自動補正による弊害がなく、撮像環境にあった脈拍の検出手法を提供する。【解決手段】  カメラにより撮像された画像に対し補正を行う自動補正部と、画像から肌色領域を検出する検出領域信号生成部と、肌色領域の時間的な波長の変化を検出して波長差分データ信号を生成する波長揺らぎ検出部と、波長差分データ信号に基づいて脈拍を推定する脈拍検出部と、脈拍の推定が開始されたことを契機に、自動補正部による補正を停止する補正制御部と、を備える生体情報検出装置である。【選択図】  図１
2019170868.tif 000002
【特許請求の範囲】
【請求項１】
カメラにより撮像された画像に対し補正を行う自動補正部と、
前記画像から肌色領域を検出する検出領域信号生成部と、
前記肌色領域の時間的な波長の変化を検出して波長差分データ信号を生成する波長揺らぎ検出部と、
前記波長差分データ信号に基づいて脈拍を推定する脈拍検出部と、
前記脈拍の推定が開始されたことを契機に、前記自動補正部による補正を停止する補正制御部と、
を備える生体情報検出装置。
【請求項２】
前記自動補正部は、前記画像の露光、逆光、およびホワイトバランスの少なくとも一つを補正する、
請求項１記載の生体情報検出装置。
【請求項３】
前記補正制御部は、前記自動補正部による補正を停止する際に、前記自動補正部による補正パラメータを固定する、
請求項１記載の生体情報検出装置。
【請求項４】
前記画像中の所定範囲の検出および追跡を行う範囲検出部を備え、
前記検出領域信号生成部は、前記所定範囲から肌色領域を検出する、
請求項１記載の生体情報検出装置。
【請求項５】
前記補正制御部は、前記自動補正部による補正を停止するとともに、前記範囲検出部による前記所定範囲の検出および追跡を停止し、
前記検出領域信号生成部は、前記範囲検出部による前記所定範囲の検出および追跡が停止した場合には、前記画像から無条件に肌色領域を検出する、
請求項４記載の生体情報検出装置。
【請求項６】
前記所定範囲は人の顔部分であり、前記肌色領域は顔の皮膚の露出している領域である、
請求項４記載の生体情報検出装置。
【請求項７】
前記補正制御部は、前記波長差分データ信号に所定強度を超える信号が得られた場合に、前記脈拍の推定が開始されたと判定する、
請求項１記載の生体情報検出装置。
【請求項８】
前記補正制御部は、前記検出領域信号生成部で検出した肌色領域が所定面積を超えた場合に、前記脈拍の推定が開始されたと判定する、
請求項１記載の生体情報検出装置。
【請求項９】
前記補正制御部は、前記脈拍検出部の出力で所定周波数の信号が得られた場合に、前記脈拍の推定が開始されたと判定する、
請求項１記載の生体情報検出装置。
【請求項１０】
前記補正制御部は、前記脈拍検出部の出力で所定周波数の信号かつ所定振幅を超える信号が得られた場合に、前記脈拍の推定が開始されたと判定する、
請求項１記載の生体情報検出装置。
【請求項１１】
前記補正制御部は、前記脈拍の推定が開始されたことを契機に、前記自動補正部による補正を停止した後、脈拍の推定ができなくなったことを契機に前記自動補正部による補正を再開する、
請求項１記載の生体情報検出装置。
【請求項１２】
さらにノイズ除去部を備え、
前記ノイズ除去部は、前記波長差分データ信号と、前記波長差分データ信号を得ている肌色領域以外の領域の時間的な波長の変化を検出した背景波長差分データ信号とを入力とし、独立成分分析によりノイズを除去する、
請求項１記載の生体情報検出装置。
【請求項１３】
前記背景波長差分データ信号を複数の周波数領域に分割する周波数分解部を備え、分割された前記背景波長差分データ信号を前記ノイズ除去部の入力とする、
請求項１２記載の生体情報検出装置。
【請求項１４】
前記背景波長差分データ信号を画像を分割した複数の領域毎に生成し、前記複数の領域毎に生成した背景波長差分データ信号を前記ノイズ除去部の入力とする、
請求項１２記載の生体情報検出装置。
【請求項１５】
測定対象を撮像する撮像処理と、
前記撮像処理で得られた画像に対し補正を行なう自動補正処理と、
前記画像から肌色領域を検出する検出領域信号生成処理と、
前記肌色領域の時間的な色の変化を検出して波長差分データ信号を生成する波長揺らぎ検出処理と、
前記波長差分データ信号に基づいて前記測定対象の脈拍を推定する脈拍検出処理と、
前記脈拍の推定が開始されたことを契機に、前記自動補正処理を停止する補正制御処理と、
を行なう生体情報検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体情報を検出する技術に関する。
【背景技術】
【０００２】
生体情報を取得する手法として、マイクロ波やカメラを使用した非接触でリアルタイムに検出できる技術がある。特にカメラを用いた脈拍検出は、近年、カメラモジュールの小型化が進み、スマートフォンを含む携帯端末に搭載され、普及が進んでいる。
【０００３】
撮像による脈拍検出を行う技術として、顔映像中のＲＧＢ信号のうち、特にＧ信号をトレースし、脈拍を検出する手法がある（非特許文献１）。また、ＲＧＢ信号を使用しノイズを分離するために、独立成分分析を使用する手法があり（非特許文献２）、さらに時系列信号のスペクトル分布から脈拍信号を特定する手法がある（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２３９６６１号公報
【非特許文献】
【０００５】
【非特許文献１】Ｖｅｒｋｒｕｙｓｓｅ，  Ｗｉｍ，  Ｌａｒｓ  Ｏ．  Ｓｖａａｓａｎｄ，  Ｊ．  Ｓｔｕａｒｔ  Ｎｅｌｓｏｎ，  ”  Ｒｅｍｏｔｅ  ｐｌｅｔｈｙｓｍｏｇｒａｐｈｉｃ  ｉｍａｇｉｎｇ  ｕｓｉｎｇ  ａｍｂｉｅｎｔ  ｌｉｇｈｔ．”，  Ｏｐｔｉｃｓ  ｅｘｐｒｅｓｓ  １６．２６  （２００８）：  ２１４３４−２１４４５.
【非特許文献２】Ｍｉｎｇ−Ｚｈｅｒ  Ｐｏｈ，  Ｄａｎｉｅｌ  Ｊ．  ＭｃＤｕｆｆ，  Ｒｏｓａｌｉｎｄ  Ｗ．  Ｐｉｃａｒｄ，  ”Ｎｏｎ−ｃｏｎｔａｃｔ，  ａｕｔｏｍａｔｅｄ  ｃａｒｄｉａｃ  ｐｕｌｓｅ  ｍｅａｓｕｒｅｍｅｎｔｓ  ｕｓｉｎｇ  ｖｉｄｅｏ  ｉｍａｇｉｎｇ  ａｎｄ  ｂｌｉｎｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ．”，  Ｏｐｔｉｃｓ  Ｅｘｐｒｅｓｓ  １８．１０  （２０１０）：１０７６２−１０７７４．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の技術では、定常的な光が顔にあたる場合は安定して脈拍を検出することが可能である。しかし、撮像環境の外光変化が生じる場合は、各スペクトルが影響を受け、誤検出が生じる。本件出願人は先に、環境による外光の輝度変化に強い手法を提案している（日本国特許出願、特願２０１７−２１０８２８号）。
【０００７】
一般の携帯カメラやＷｅｂカメラでは、環境の変化によって自動の逆光補正（ＡＢＬＣ）、露光補正（ＡＥ）及びホワイトバランス補正（ＡＷＢ）等を行なう自動補正機能がある。このため、環境に応じて撮像に色及び輝度変化が生じる。この時間軸方向の映像変化が顔色変化検出の弊害となり、脈波の誤検出もしくは測定不能となる場合がある。
【０００８】
自動補正機能を止め、手動で調整を行うことも可能である。しかし、シーンによっては被写体が正しく映らない場合が多く、マニュアルで調整する際にも、複数のパラメータを同時に調整することは困難である。
【０００９】
また、脈波の検出のためには、顔色変化を検出できるように映像を調整する必要がある。そのため、カメラの調整範囲に顔を入れるもの、もしくは、自動で顔を検出して調整するものがある。後者は補正が便利であるが、携帯機器等で脈波検出を行う場合にはＣＰＵのコストがかかるため、併用が困難な場合も多い。
【００１０】
そこで本願発明は、カメラによる自動補正による弊害がなく、撮像環境にあった脈拍の検出手法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の好ましい一側面は、カメラにより撮像された画像に対し補正を行う自動補正部と、画像から肌色領域を検出する検出領域信号生成部と、肌色領域の時間的な波長の変化を検出して波長差分データ信号を生成する波長揺らぎ検出部と、波長差分データ信号に基づいて脈拍を推定する脈拍検出部と、脈拍の推定が開始されたことを契機に、自動補正部による補正を停止する補正制御部と、を備える生体情報検出装置である。
【００１２】
本発明の好ましい他の一側面は、測定対象を撮像する撮像処理と、撮像処理で得られた画像に対し補正を行なう自動補正処理と、画像から肌色領域を検出する検出領域信号生成処理と、肌色領域の時間的な色の変化を検出して波長差分データ信号を生成する波長揺らぎ検出処理と、波長差分データ信号に基づいて測定対象の脈拍を推定する脈拍検出処理と、脈拍の推定が開始されたことを契機に、自動補正処理を停止する補正制御処理と、を行なう生体情報検出方法である。
【発明の効果】
【００１３】
本発明によれば、カメラによる自動補正による弊害がなく、撮像環境にあった脈拍の検出手法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例による生体情報検出装置の構成図の例を示すブロック図。
【図２】実施例１に於ける生体情報検出装置の検出領域信号生成部の一例を説明するブロック図。
【図３】ＨＳＶ色空間及び部分色空間の指定範囲を表す概念図。
【図４】実施例１による動的な顔検出と顔色変化の検出の一例を表す概念図。
【図５】実施例１による顔検出用の固定枠と顔色変化の検出の一例を表す概念図。
【図６】実施例１に於ける生体情報検出装置の波長揺らぎ検出部の一例を説明するブロック図。
【図７】実施例１に於ける生体情報検出装置の脈拍検出部の一例を説明するブロック図。
【図８】実施例１の処理の流れを示すフロー図。
【図９】実施例２に於ける生体情報検出装置の外光による誤検出を抑止する機能を追加した波長揺らぎ検出の一例を説明するブロック図。
【図１０】実施例３に於ける生体情報検出装置の２領域に対するノイズ除去部を含む波長揺らぎ検出部の一例を説明するブロック図。
【図１１】実施例３に於ける生体情報検出装置の低周波２領域に対するノイズ除去部を含む波長揺らぎ検出部の一例を説明するブロック図。
【図１２】実施例３に於けるノイズ除去部の２領域の一例を説明する概念図。
【図１３】実施例４に於ける生体情報検出装置の複数周波数領域に対するノイズ除去部を含む波長揺らぎ検出部の一例を説明するブロック図。
【図１４】実施例４に於けるノイズ除去部の複数領域の一例を説明する概念図。
【図１５】実施例５に於ける生体情報検出装置の分割された各空間の複数周波数領域に対するノイズ除去部を含む波長揺らぎ検出部の一例を説明するブロック図。
【図１６】実施例５に於けるノイズ除去部の空間の分割と複数領域の一例を説明する概念図。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面に基づいて説明するが、本発明は必ずしもこれらの実施形態に限定されるものではない。なお、実施形態を説明する各図面において、同一の部材には同一の符号を付し、その繰り返しの説明は省略することがある。
【００１６】
同一あるいは同様な機能を有する要素（例えば変形例）が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。
【００１７】
本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。
【００１８】
図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。
【００１９】
本明細書で引用した刊行物、特許および特許出願は、そのまま本明細書の説明の一部を構成する。
【００２０】
本明細書において単数形で表される構成要素は、特段文脈で明らかに示されない限り、複数形を含むものとする。
【００２１】
本実施例の一つの典型例では、カメラの自動補正により顔色変化の検出が可能となるまで顔映像の補正を行い、それ以降は顔色変化が検出できなくなるまで、自動補正機能を止めておく。より具体的な装置構成では、カメラにより撮像された映像信号に対し、顔検出により検出された顔範囲内の肌色領域を脈拍検出の検出対象領域とする検出領域信号生成部と、生成された検出領域信号と映像信号により得られる検出映像領域と、１フレーム前の検出映像領域とのフレーム間差分により、脈拍を推定する脈拍検出部と、被写体及び環境に応じて映像補正を行う自動補正機能とを備え、顔色変化の検出が可能となるまで自動補正を行い、検出できなくなるまでは自動補正を止める補正制御部とを備える。
【実施例１】
【００２２】
本実施例では、カメラを用いて顔映像から脈拍を検出する機能を備え、顔色変化の検出が可能となるまで自動補正を行い、検出できなくなるまでは自動補正を止める生体情報検出装置の例を説明する。
【００２３】
図１は、本実施例による生体情報検出装置の構成図の例である。本実施例における生体情報検出装置は、カメラ２００と、映像入力部３００と、映像処理部４００と、顔検出部１０３と、補正制御部１０６と、データ表示部１１０とを備える。カメラ２００は例えば一般的な固体撮像素子を用いたカメラでよい。データ表示部１１０は例えば一般的な液晶ディスプレイでよい。
【００２４】
光学系以外のカメラ２００、映像入力部３００、映像処理部４００、顔検出部１０３、補正制御部１０６は、マイクロコンピュータ（図示せず）でソフトウェアを実行させて制御を行なうことで構成できる。あるいは、ソフトウエアで構成する機能と同等の機能は、FPGA（Field Programmable Gate Array）、ASIC（Application Specific Integrated Circuit）などのハードウエアでも実現できる。また、ソフトウェアの格納や実行のため、半導体メモリなどの記憶装置を備える。映像データ記憶部３０３や波長データ記憶部４０３は、記憶装置によって構成される。
【００２５】
カメラ２００は、レンズを通してＣＣＤ２０１に届く光を光電変換して得られる電気信号２０２が、ＡＤコンバータ２０３によりデジタル化され、得られるＲＡＷデータ信号２０４を環境に応じてデータ補正する自動補正部２０５と、を備える。
【００２６】
自動補正部２０５は、既存製品でも一般に行なわれているカメラの自動補正を行なう。カメラの自動補正では、例えば窓から逆光で光が差し込む暗い部屋を撮像した場合には、露光、逆光、ホワイトバランスを部分画面もしくは全画面で調整する。映像の色・輝度を補正することで映像の視認性を向上するが、顔の色や輝度の変化も生じる。
【００２７】
図１に戻り、映像入力部３００は、カメラ２００より取得される撮像データ信号１０１を入力とし、映像のＲＧＢ信号３０２を出力する映像取得部３０１を備える。また、ＲＧＢ信号３０２を入力信号として一時記憶し、遅延ＲＧＢデータ信号１０２を出力する映像データ記憶部３０３を備える。
【００２８】
映像処理部４００は、検出領域信号生成部４２０、波長データ記憶部４０３、波長揺らぎ検出部４４０、および脈拍検出部４８０を備える。
【００２９】
検出領域信号生成部４２０は、遅延ＲＧＢデータ信号１０２と顔領域信号１０４とを入力信号とし、レベル信号４０１と、波長データ信号４０２を出力する。検出領域信号生成部４２０では、被写体の顔領域から肌色の領域を抽出する。検出領域信号生成部４２０は図２で詳しく説明する。本実施例で顔領域とは、顔検出部１０３により人の顔と判定される領域であるが、脈拍を測定するためには手や腕などの他の部分でも良い。また、人以外の動物の肌の露出した領域でも良い。
【００３０】
波長データ記憶部４０３は、波長データ信号４０２を記憶し、遅延波長データ信号４０４を出力する。
【００３１】
波長揺らぎ検出部４４０は、レベル信号４０１と、波長データ信号４０２と、遅延波長データ信号４０４とを入力信号とし、波長のフレーム間差分を取得し、波長差分データ信号１０５を出力する。波長揺らぎ検出部４４０では、被写体の顔領域の肌色の領域における、平均的な色の変化を検出する。
【００３２】
脈拍検出部４８０は、波長差分データ信号１０５を入力信号とし、信号脈拍を検出し、脈拍信号１０９を出力する。
【００３３】
図２は検出領域信号生成部４２０の一例を説明する図である。検出領域信号生成部４２０は画素毎の映像処理を行なう。検出領域信号生成部４２０は、空間フィルタ４２１と、ＨＳＶ変換部４２４と、肌色領域検出部４２７とを備える。
【００３４】
空間フィルタ４２１は、一般に中心画素とその周辺画素の輝度に重み付けを行い、積和演算又は非線形演算によって求めた値をその中心画素の値とする。具体的には、コンボリューションカーネルのタップ分のライン遅延を持つ遅延ＲＧＢデータ信号１０２を入力とし、例えば、画像の注目画素を中心にカーネルと畳み込み演算を施した値が、平滑化したＲＧＢ信号４２２となる。カーネルの値は加重平均の係数で、合計値は１．０になればよく、例えば平滑化には平均値分布でもガウシアン分布でもよい。空間フィルタ４２１による平滑化処理により、画像中のノイズの影響を低減することができる。例えば、撮像中は人の顔は静止していないため、前後のフレーム映像が画素単位で一致することはない。このため、毛穴やホクロなども一種のノイズになるため、映像を空間的に平滑（平均）化することは、波長差分算出部４４１以降で色変化により脈拍を検出する上で有効である。
【００３５】
ＨＳＶ変換部４２４は、空間フィルタ４２１で平滑化したＲＧＢ信号４２２をＲ、Ｇ、Ｂ信号に分解したアンパック信号４２３を入力とし、Ｈ信号（色相）すなわち波長データ信号４０２、Ｓ信号（彩度信号）４２５、Ｖ信号（明度信号）４２６へと変換する。
【００３６】
肌色領域検出部４２７は、波長データ信号（色相信号）４０２、Ｓ信号（彩度信号）４２５、Ｖ信号（明度信号）４２６および顔領域信号１０４を入力とし、顔領域信号内の肌色領域を示すレベル信号４０１を出力する。
【００３７】
顔領域信号１０４は、フレーム中の各画素が顔領域に含まれるかどうかを識別する。本実施例の検出領域信号生成部４２０は、顔領域から肌色領域の波長信号（Ｈ信号）を取り出し、波長信号の変化から脈拍を検出する。
【００３８】
図３はＨＳＶ変換部４２４でＲＧＢ信号を変換したＨＳＶ信号の概念を説明する図である。図３では、ＨＳＶ色空間及び部分色空間の指定範囲を表している。ＨＳＶ色空間は円柱座標で表現している。縦軸はＶａｌｕｅ（Ｖ）すなわち明度で色の明るさを表し、半径方向の軸はＳａｔｕｒａｔｉｏｎ（Ｓ）すなわち彩度で色の濃さを示す。回転角がＨｕｅ（Ｈ）すなわち色相となる。色相は、強さや濃さとは独立で、撮像が光の反射を捉えていると考えると、反射光の波長成分に相当すると考えられる。同様に、明度は特定波長の強度を示すと考えることができる。
【００３９】
尚、肌色領域検出部４２７は、このＨＳＶ色空間に於いて図３の５００のように部分色空間を用いて肌色領域を指定し、各画素のＨＳＶ値が肌色領域に含まれる場合にはレベル信号４０１に“１”を、含まれない場合には“０”を出力すればよい。また、肌色領域検出部４２７は、顔領域信号１０４が“０”である画素については、その画素のＨＳＶ値の判定をすることなく、レベル信号４０１として“０”を出力する。すなわち、肌色領域検出部４２７は、フレーム全体の映像のうち顔検出部１０３により切り出された顔領域に限定して肌色領域を検出する。
【００４０】
図３に示すＨＳＶ色空間に於いて部分色空間を設定するためには、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）それぞれで範囲を指定すればよい。色相（Ｈ）は０度〜３６０度の間で範囲を指定でき、再度と明度は０％〜１００％の間で範囲を指定できる。たとえば色相の０度＝３６０度は赤色、１２０度は緑色、２４０度は青色で、色1と色2で指定した区間が該当範囲とすればよく、彩度は０％を淡色、１００％を濃色、明度は０％を暗色、１００％を明色とし、同様に範囲を指定すればよい。
【００４１】
以上のようにして、肌色領域検出部４２７は、当該画素が人肌の部分であるか否かを、個人の肌の色や照明の状況に応じて適切に判定することができる。なお、本明細書では、肌色領域検出部４２７により人肌の部分と判定され、レベル信号４０１が“１”となった画素により構成される領域を肌色領域と称している。肌色領域は上述した範囲指定によって任意に定義できるため、「肌色」と称してはいるが必ずしも特定の色に限定されるものではない。
【００４２】
図１に戻り、顔検出部１０３は、顔検出機能をオンオフする顔検出切替えスイッチ１０７と遅延ＲＧＢデータ信号１０２を入力信号とし、顔検出を行い、顔領域信号１０４を出力信号とする。顔検出は、例えば公知のＶｉｏｌａ−Ｊｏｎｅｓの手法のように動的に顔を検出する方法でも、固定枠内で顔を検出する手法でもよい。顔検出部１０３は、顔部分を切り出すとともに、フレーム中の各画素が切り出した顔部分に含まれる場合には、顔領域信号１０４に“１”を出力し、含まれない場合には、顔領域信号１０４に“０”を出力する。
【００４３】
動的に顔を検出する方法では、例えばパターン認識で被写体の顔領域を検出し、検出された顔領域の動きをフレーム内で追従する。固定枠内で顔を検出する方法では、固定枠に顔を入れ、例えば肌色を検出することで顔を検出する。
【００４４】
本実施例では、顔領域を検出して追従することで、顔領域の肌色の部分の画像変化に基づいて脈拍を検出することができる。顔領域の追従のためには、既存製品でも実施される周知の技術を適用すればよい。例えばパターン認識で顔領域を抽出し、その後顔領域とフレーム差分が小さくなるような領域を抽出して追従する。
【００４５】
カメラにより撮像された動画は、１フレーム毎に映像データ記憶部３０３で一時的に記憶された後、波長データ信号（色相信号）４０２と遅延波長データ信号（色相信号）４０４とのフレーム差分を取る。顔の動きが大きい場合は差分領域も小さくなる。動的に顔検出を行う際には、例えば矩形範囲毎比較すればよい。また本技術の例では、フレーム差分は色変換後の色相成分にて説明したが、ＲＧＢ信号３０２と遅延ＲＧＢデータ信号１０２とで行ってもよい。
【００４６】
図１に戻り、補正制御部１０６は、波長差分データ信号１０５を入力信号とし、本入力信号に差分データが流れてから所定時間後（例えば数秒後）に顔検出切替えスイッチ１０７及び自動補正部スイッチ１０８をオフとし、差分データが０の場合は顔検出切替えスイッチ１０７及び自動補正部スイッチ１０８をオンにする。
【００４７】
この処理により、波長揺らぎ検出部４４０で波長差分データ信号１０５が検出されることを契機に、自動補正部２０５での画像の自動補正が停止される。これにより、自動補正による撮像の色及び輝度変化がなくなり、脈波の検出に対する影響が抑制される。
【００４８】
また、波長差分データ信号１０５が検出されることを契機に、顔検出部１０３での顔検出が停止される。自動補正部２０５での画像の自動補正を停止することにより、顔検出が誤動作することを抑制することができる。また、ＣＰＵ等のリソースを脈拍検出に集中することができる。ただし、映像処理部の処理能力が高く、顔検出精度が高い場合は、顔検出部のスイッチをオフにする必要はない。顔検出部１０３での顔検出が停止されている間は、顔領域信号１０４は全ての画素で“１”を出力する。
【００４９】
図４は、動的な顔検出と顔色変化の検出の一例を表す図である。４００１はカメラに被写体４００７が入る前の状態で、露光、逆光、ホワイトバランス等の自動補正が行われている状態を示す図である。４００２はカメラフレームに被写体４００７が入り、顔検出が行われ始めた際の状態を示す図である。検出された顔は顔領域４００６として追跡される。４００３は被写体が移動中に逆光となった状態を示す図である。４００４は逆光補正が働き、画像調整が行われたことを示す図である。４００５は顔検出から予め設定された時間経過もしくは画像調整による映像変化が落ち着いた後に顔色変化が検出できる、すなわち、波長差分データ信号１０５が流れるようになり、脈拍検出が開始された状態を示す図である。その後、補正制御部１０６は自動補正部２０５の補正機能をオフにする。
【００５０】
図５は、顔検出用の固定枠と顔色変化の検出の一例を表す図である。５００１はカメラに被写体５００７が入る前の状態で、露光、逆光、ホワイトバランス等の自動補正が行われている状態を示す図である。５００２はカメラフレームの固定枠内５００６に被写体が入り、顔検出が行われ始めた際の状態を示す図である。５００３は被写体が移動中に逆光となった状態を示す図である。５００４は逆光補正が働き、画像調整が行われたことを示す図である。５００５は顔検出から予め設定された時間経過もしくは画像調整による映像変化が落ち着いた後に顔色変化が検出できる、すなわち、波長差分データ信号１０５が流れるようになり、脈拍検出が開始された状態を示す図である。その後、補正制御部１０６は自動補正部２０５の補正機能をオフにする。
【００５１】
図６は実施例１に於ける生体情報検出装置の波長揺らぎ検出部の一例を説明する図である。図６の波長揺らぎ検出部４４０ａは、図１に於ける波長揺らぎ検出部４４０の一例の詳細を説明するものである。波長揺らぎ検出部４４０ａは、波長差分算出部４４１、肌色面積算出部４４３ａ、波長差分積算部４４４、および平均波長差分算出部４４７ａを備えている。
【００５２】
波長差分算出部４４１は、肌色領域を示すレベル信号４０１と、波長データ信号４０２と遅延波長データ信号４０４とを入力とする。波長差分算出部４４１は、肌色領域内の画素の信号が入力された場合（すなわちレベル信号４０１として“１”が入力された場合）に、入力された波長データ信号４０２及び遅延波長データ信号４０４から算出した肌色領域内画素の波長差分データ信号４４２を出力し、肌色領域外の画素の信号が入力された場合は波長差分データ信号４４２として“０”値を出力する。
【００５３】
また肌色面積算出部４４３ａは、肌色領域を示すレベル信号４０１を入力とし、フレーム毎に肌色領域の画素数をカウントし、肌色面積信号４４５を出力する。
【００５４】
波長差分積算部４４４は、肌色領域画素の波長差分データ信号４４２を入力とし、フレーム毎の波長差分を積算し、積算波長差分データ信号４４６を出力する。
【００５５】
平均波長差分算出部４４７ａは、肌色面積信号４４５と積算波長差分データ信号４４６を入力とし、積算波長差分データと肌色面積の除算にて、１フレーム内の肌色領域の全画素について、平均した波長差分データ信号１０５を出力する。
【００５６】
以上より明らかなように、入力される画素信号が肌色領域を含まなくなった場合には、波長差分データ信号４４２はすべて“０”値となり、波長差分積算部４４４の出力および平均波長差分算出部４４７ａの出力も０となる。
【００５７】
図７は実施例１に於ける生体情報検出装置の脈拍検出部４８０の一例の詳細を説明する図である。脈拍検出部４８０はフレーム毎の映像処理を行なう。脈拍検出部４８０は、差分データ記憶部４８１、平滑化フィルタ４８３、平滑データ記憶部４８５、傾き検出部４８７、符号データ記憶部４８９、および極値検出部４９１を備えている。
【００５８】
差分データ記憶部４８１は、波長差分データ信号１０５を入力とし、遅延波長差分データ信号４８２を出力する。また、平滑化フィルタ４８３は、波長差分データ信号１０５及び遅延波長差分データ信号４８２を入力とし、連続時間軸上で複数フレーム分の波長データより平滑化した波長差分データ信号４８４を出力する。平滑化フィルタ４８３は、例えば想定される人間の脈拍の周波数より十分高い周波数成分を阻止するように構成する。この構成により、検出信号中のノイズを除去する。
【００５９】
平滑データ記憶部４８５は、平滑化した波長差分データ信号４８４を入力とし、複数フレーム分の波長差分データを保持し、平滑化した遅延波長差分データ信号４８６を出力する。また、傾き検出部４８７は、連続する２フレームデータの差分を求め、傾きの符号を求める符号データ信号４８８を出力する。この構成により、平滑化した波長差分データの変化（すなわち傾き）を求める。連続する２フレームデータの差分のかわりに、連続する複数のフレームの波長差分データの平均と、それより前の連続する複数のフレームの波長差分データの平均とを比較して、差分の傾きを計算してもよい。
【００６０】
符号データ記憶部４８９は、符号データ信号４８８を入力とし、複数フレーム分の符号データを保持し、遅延符号データ信号４９０を出力する。また、極値検出部４９１は、符号データ信号４８８及び遅延符号データ信号４９０を入力とし、傾きの符合変化が正値から負値へ変化したフレームを極大、負値から正値へ変化したフレームを極小とすることで極値を求め、例えば極大値（あるいは極小値）を脈拍信号１０９として出力する。
【００６１】
上記のように平滑化フィルタ４８３が差分データ信号を平滑化することによって、ノイズ等に起因する差分データ信号の微細な変動による脈拍の誤検出が防止される。傾き検出部４８７が隣接するフレーム間の差分データの変化（傾き）を検出し、その結果に基づいて極値検出部４９１が差分データの極大値又は極小値を検出することによって、精度よく脈拍信号を生成することができる。傾き検出部４８７が連続する近傍の複数フレームの平均フレーム間の差分を求める場合には、上記の平滑化と同様に、脈拍の誤検出が防止される。
【００６２】
以上の実施例では、補正制御部１０６の機能により、波長差分データ信号１０５を検出している間はカメラによる自動補正をオフにすることができる。よって、自動補正による画質の変化がないため、脈拍を安定して検出することができる。ここで、自動補正をオフにするということは、それ以降環境の変化による逆光補正（ＡＢＬＣ）、露光補正（ＡＥ）、あるいはホワイトバランス補正（ＡＷＢ）等を行なわないということである。自動補正をオフにした以降は、オフにする直前の補正パラメータをそのまま固定的に維持してよい。
【００６３】
波長差分データ信号１０５が検出されているということは、フレーム中に脈拍を検出する対象となる肌色領域が検知できていると看做せる。よって、波長差分データ信号１０５が検出されている限り、脈拍検出が可能である。一方、波長差分データ信号１０５が検出できなくなった場合には、補正制御部１０６をオンにして通常の自動補正を再開し、肌色領域の検知を開始する。波長差分データ信号１０５が検出できなくなった場合とは、例えば波長差分データ信号１０５が所定時間（例えば５秒）検出できないことをもって判断することができる。
【００６４】
また、本実施例では補正制御部１０６のオンオフと同期して顔検出部１０３の機能もオンオフする。このメリットとして、補正制御をオフにすることにより、顔検出が誤動作することを防ぐことができる。ただし、顔検出部１０３の性能が高ければ顔検出はオンのままでもよい。
【００６５】
顔検出部１０３がオフ状態の間は、顔領域信号１０４がすべて“１”になるため、検出領域信号生成部４２０は、被験者の背景などに含まれる肌色についても肌色領域として検出することになる。その肌色領域は、被験者の拍動に応じて変動する肌色領域ではないので、脈拍信号１０９にとってはノイズとなる。ただし、通常の使用環境で、フレーム中の顔領域の割合が大きいことを前提とすれば、実質的な問題にはならないと考えられる。
【００６６】
図８は、実施例１の生体情報検出装置の処理の流れを示すフローチャートである。処理は、例えば電源オン、あるいは、生体情報検出処理開始を指示するコマンドの入力を契機に開始される。
【００６７】
処理Ｓ８０１では、自動補正部２０５の自動補正、および顔検出部１０３の顔検出処理をオンとする。この状態では、自動補正により露光やホワイトバランス等が制御され、顔領域の検出および追跡が行なわれる。
【００６８】
処理Ｓ８０２では、顔検出部１０３により顔の検出が成功すると追跡が行なわれるとともに、検出領域信号生成部４２０では肌色領域が検出される。これにより波長揺らぎ検出部４４０では、顔領域の肌色領域の色変化（波長揺らぎ）の検出が可能になる。肌色領域の色変化は波長差分データ信号１０５として出力される。
【００６９】
処理Ｓ８０３では、顔色変化の検出が可能であることの判定を行なう。このために、例えば、顔検出後に肌色の時間差分信号の変化が検出されたか否かで判定する。好ましい例では、波長差分データ信号１０５が安定して検出されているかどうかを判定すために、例えば波長差分データ信号１０５が１０秒間検出された場合、安定して検出されているとする。
【００７０】
波長差分データ信号１０５が安定して検出されない場合は、自動補正部２０５の自動補正、および顔検出部１０３の顔検出処理をオンのまま、処理Ｓ８０２、処理Ｓ８０３を継続する。
【００７１】
波長差分データ信号１０５が安定して検出された場合は、処理Ｓ８０４で補正制御部１０６が、自動補正部２０５の自動補正、および顔検出部１０３の顔検出処理をオフとする。自動補正においては、オフとする直前の補正パラメータを維持するものとする。これらの処理がオフとなっても、波長差分データ信号１０５が安定して検出されている限り、測定対象となる顔領域の肌色領域が検出されているものと看做すことができ、脈拍検出Ｓ８０５が可能となる。なお、既述のように顔検出部１０３の顔検出処理はオフにしなくても良い。
【００７２】
処理Ｓ８０６では、波長差分データ信号１０５が安定して検出されているかをモニタする。なお判定の基準は、処理Ｓ８０３とは変えることもできる。例えば、波長差分データ信号１０５が１秒間途切れた場合、安定して検出されていないと判定してもよい。
【００７３】
波長差分データ信号１０５が安定して検出された後に、安定した検出ができなくなった場合には、処理Ｓ８０５の判定により、処理Ｓ８０１で自動補正部２０５の自動補正、および（処理Ｓ８０４で顔検出処理をオフにした場合には）顔検出部１０３の顔検出処理をオンとする。そして再度顔領域と肌色領域を検出する。
【００７４】
以上の構成によれば、カメラによる自動補正による弊害がなく、撮像環境にあった脈拍の検出手法を提供することができる。
【００７５】
なお、図１および図８の構成では、波長揺らぎ検出部４４０からの波長差分データ信号１０５に基づいて、補正制御部１０６を制御している。補正制御部１０６の制御に用いる信号および判定基準としては、以下が考えられる。
【００７６】
処理Ｓ８０３の判定においては、以下の場合自動補正をオフにする。（１）波長差分データ信号１０５に所定強度を超える信号が得られる。（２）顔領域の肌色面積信号４４５で所定面積を超える信号が得られる。（３）脈拍信号１０９で所定周波数（例えば人の心拍数だと通常の心拍数は毎分５０〜１００だが、任意に設定可能）の信号が得られる。（４）脈拍信号１０９で所定周波数の信号かつ所定振幅を超える信号が得られる。上記（１）〜（４）のうち複数の条件を組み合わせて精度を向上させることもできる。さらに、上記条件を所定時間の間継続して満たすことを条件に加えても良い。
【００７７】
処理Ｓ８０６の判定においては、以下の場合自動補正をオンにする。（１）波長差分データ信号１０５が所定強度以下になる。（２）肌色面積信号４４５が所定面積以下の値を示す。（３）脈拍信号１０９で所定周波数（例えば人の心拍数だと毎分５０〜１００）の信号が得られなくなる。（４）脈拍信号１０９で所定振幅を超える信号が得られなくなる。上記（１）〜（４）のうち複数の条件を組み合わせて精度を向上させることもできる。さらに、上記条件を所定時間の間継続して満たすことを条件に加えても良い。
【実施例２】
【００７８】
図９は、生体情報検出装置の外光による誤検出を抑止する機能を追加した、波長揺らぎ検出の一例を説明する図である。実施例２の波長揺らぎ検出部は、図１の波長揺らぎ検出部４４０を、図６の波長揺らぎ検出部４４０ａより図９の４４０ｂに置き代えたものである。図６と同様の構成は同一の符号を付して説明を省略し、異なる部分を説明する。
【００７９】
まず、肌色領域を示すレベル信号４０１を入力とする肌色面積算出部４４３ｂを備えている。ここで、肌色領域を示すレベル信号４０１には信号の明度レベルを示す情報が付加されている。肌色面積算出部４４３ｂは、フレーム毎に肌色領域すなわちレベル信号４０１が“０”値以外の画素数をカウントし、肌色面積信号４４５と明度レベル信号４４８を出力する肌色面積算出部４４３ｂを備えている。
【００８０】
また、肌色面積信号４４５と明度レベル信号４４８を入力とし、遅延肌色面積信号４５１と遅延明度レベル信号４４９とを出力する面積データ記憶部４５０を備えている。
【００８１】
また、波長差分データ信号１０５を入力とし、複数フレーム間のデータを保持し、遅延積算波長差分データ信号４５７を出力する積算データ記憶部４５６を備えている。
【００８２】
また、肌色面積信号４４５、フレーム間の明度レベル差分信号４５２及び肌色面積差分信号４５３、積算波長差分データ信号４４６および遅延積算波長差分データ信号４５７を入力とし、積算波長差分データと肌色面積の除算にて、フレーム間で平均した波長差分データ信号１０５を出力する平均波長差分算出部４４７ｂを備えている。
【００８３】
ここで、撮像対象である被験者が受ける外光に急激な変化が起きたことを想定する。このような場合には、フレーム間明度レベル差分信号４５２はフレーム間肌色面積差分信号４５３よりも大きく変化すると考えられる。または、フレーム間肌色面積差分信号４５３４が急激に大きくなることが考えられる。
【００８４】
そこで、本実施例では、平均波長差分算出部４４７ｂには、肌色面積信号４４５および積算波長差分データ信号４４６に加えて、フレーム間明度レベル差分信号４５２、フレーム間肌色面積差分信号４５３、明度レベル差分閾値４５５、および肌色面積差分閾値４５４が入力されるものとする。ここで、明度レベル差分閾値４５５および肌色面積差分閾値４５４は、いずれも予め設定された定数値である。
【００８５】
平均波長差分算出部４４７ｂに於いて、急激な外光変化が起きた場合、明度レベル差分信号４５２が明度レベル差分閾値４５５と比べ大きくなる。この場合、平均波長差分算出部４４７ｂでは、現在のフレームによる積算波長差分データ信号４４６の代わりに、過去のフレーム（例えば１フレーム前）による遅延積算波長差分データ信号４５７を用いてもよい。あるいは、遅延積算波長差分データ信号４５７と積算波長差分データ信号４４６との平均値を用いてもよい。
【００８６】
同様に、検出される肌色領域の変化が大きい場合、すなわち、肌色面積差分信号４５３が明度レベル差分閾値４５５と比べ大きい場合も、遅延積算波長差分データ信号４５７、または遅延積算波長差分データ信号４５７と積算波長差分データ信号４４６との平均値を用いることができる。
【００８７】
波長揺らぎ検出部４４０ｂの構成により、外光の急激な変化により、肌色領域の明度や面積が急激に変化しても波長差分データ信号１０５の急激な変化を抑制することができるので、脈拍信号１０９の急激な変動を抑制することができる。
【００８８】
ここで、データ表示部１１０で、脈拍信号の極大値を心拍のＲ波と見立て、極大値間隔すなわちＲ波間隔を複数フレーム分算出し、周波数解析を行うと、高周波成分（ＨＦ）と低周波成分（ＬＦ）のピークが見られる。一般的にＬＦ／ＨＦはストレス指標と呼ばれ、ストレス状態の検知にも利用できる。
【００８９】
以上の構成によれば、カメラによる自動補正による弊害なく、撮像環境にあった脈拍の検出手法を提供することができる。
【実施例３】
【００９０】
実施例１では、カメラを用いて顔映像から脈拍を検出する機能を備え、顔色変化の検出が可能となるまで自動補正を行い、検出できなくなるまでは自動補正を止める生体情報検出装置の例を説明した。本実施例では、実施例１に於いて、顔検出と同時に好適にノイズ除去を行い、脈波検出精度を向上する構成の生体情報検出装置を説明する。本実施例の構成は波長揺らぎ検出部４４０以外は実施例１の図１の構成と同様である。
【００９１】
図１０は、実施例３に於ける生体情報検出装置の２領域に対するノイズ除去部を含む波長揺らぎ検出部の一例を説明する図である。波長揺らぎ検出部４４０ｃは、図１に於ける波長揺らぎ検出部４４０の変形例であるため、図６の波長揺らぎ検出部４４０ａとの差異を中心に説明する。
【００９２】
波長揺らぎ検出部４４０ｃは、波長揺らぎ検出部４４０ａ（図６）と同様、波長差分算出部４４１、肌色面積算出部４４３ａ、波長差分積算部４４４、平均波長差分算出部４４７ａを備えている。
【００９３】
波長揺らぎ検出部４４０ｃでは、上記構成に加え、肌色領域を示すレベル信号４０１を反転する信号反転回路４６１を備えている。信号反転回路４６１では、肌色領域外を示すレベル信号“０”を“１”に反転する。
【００９４】
また、反転された肌色領域外のレベル信号４６２を入力とし、フレーム毎に肌色領域外の画素数をカウントし、肌色外面積信号４６４を出力する肌色外面積算出部４６３ａを備えている。
【００９５】
波長差分算出部４４１ｂは、肌色領域を示すレベル信号４０１の反転信号と、波長データ信号４０２と遅延波長データ信号４０４とを入力とする。なお、肌色領域を示すレベル信号４０１の反転信号は、「顔領域の肌色」以外の領域を示すが、顔検出部１０３の機能をオフにしている場合には、顔領域かどうかを問わず肌色以外の領域を示すレベル信号となる。波長差分算出部４４１ｂは、肌色領域外の画素の信号が入力された場合（すなわちレベル信号４０１として“０”が入力された場合）に、入力された波長データ信号４０２及び遅延波長データ信号４０４から算出した肌色領域外画素の波長差分データ信号４４２ｂを出力し、肌色領域内の画素の信号が入力された場合は波長差分データ信号４４２ｂとして“０”値を出力する。
【００９６】
波長差分積算部４４４ｂは、肌色領域外画素の波長差分データ信号４４２ｂを入力とし、フレーム毎の波長差分を積算し、肌色領域外画素の積算波長差分データ信号４４６ｂを出力する。
【００９７】
また、肌色外面積信号４６４と積算波長差分データ信号４４６ｂを入力とし、積算波長差分データと肌色外面積の除算にて、フレーム間で平均したノイズ処理前の肌色領域外の波長差分データ信号４６６ａを出力する平均波長差分算出部４６５ａを備えている。
【００９８】
また、ノイズ処理前の波長差分データ信号４９９とノイズ処理前の肌色領域外の波長差分データ信号４６６ａとを入力信号とし、２変数の独立成分分析法を用いてノイズを除去し、ノイズの少ない波長差分データ信号１０５を出力するノイズ除去部４６７を備えている。
【００９９】
周知のように、独立成分分析は複数の異なる観測点で計測した観測信号から、信号間の独立性を評価することで複数の原信号に分離する手法である（例えば非特許文献２参照）。平均波長差分算出部４６５ａの出力である肌色領域外の波長差分データ信号４６６ａは、肌色領域外の波長の変動を含むが、この成分は脈拍信号のノイズとして働く。従って、この成分を波長差分データ信号４９９から分離することにより、より正確な脈拍信号を得ることができる。
【０１００】
図１１は、図１０の波長揺らぎ検出部４４０ｃに、周波数分解部４６８ａを追加した波長揺らぎ検出部４４０ｄのブロック図である。周波数分解部４６８ａは、積算波長差分データ信号４４６ｂを入力とし、低周波領域を通過させるローパスフィルタ処理を行い、低周波の積算波長差分データ信号４６９ａを出力する。顔映像の色や明るさの変動要因としては、外光の変化や周辺の状況の変化（例えば傍を他の人が通ることによって生じる影）がある。これらは脈拍の周波数に比べるとゆっくりとした変化である。従って、このように、映像の低周波成分をモニタすることで、外光による色や輝度変化によるノイズも取得しやすくなる。
【０１０１】
図１２は、実施例３に於けるノイズ除去部の２領域の一例を説明する図である。図中の領域１２０１（白い部分）は顔検出後の肌色領域を示し、領域１２０２（グレーの部分）は肌色領域外の背景領域となる。図１０と図１１との構成の差は、２つの独立成分分析で使用する観測変数の内、領域１２０２が低周波領域となるか否かである。
【実施例４】
【０１０２】
図１３は、実施例４に於ける生体情報検出装置の複数周波数領域に対するノイズ除去部を含む波長揺らぎ検出部の一例を説明する図である。波長揺らぎ検出部４４０ｅは、図１１に於ける波長揺らぎ検出部４４０ｄの変形例と考えられるため、図１１の波長揺らぎ検出部４４０ｄとの差異を中心に説明する。
【０１０３】
波長揺らぎ検出部４４０ｅは、波長揺らぎ検出部４４０ｄの周波数分解部４６８ａを複数帯域に拡張した周波数分解部４６８ｂへ、ノイズ除去部４６７ａを複数成分の独立成分分析法に対応したノイズ除去部４６７ｂへと変更したものである。これにより、周波数分解部４６８ｂで分解された周波数領域ごとに、平均波長差分算出部４６５ｂで平均波長差分を算出し、ノイズ除去部４６７ｂでノイズ除去の処理を行なう。
【０１０４】
図１４は、実施例４に於けるノイズ除去部の複数領域の一例を説明する図である。図中の領域１２０１は顔検出後の肌色領域を示す。その他の領域１４０２、領域１４０３、領域１４０４は背景領域となる。例えば、領域１４０２は画像中の空（そら）の部分であり、画像信号としては低周波数の領域である。また、領域１４０３は芝生の部分、領域１４０４は人の胴体の部分であり画像信号としては中〜高周波数の領域である。この場合、周波数領域で分割した４成分を用いた独立成分分析により、脈拍信号の精度を向上することができる。
【実施例５】
【０１０５】
図１５は、実施例５に於ける生体情報検出装置の分割された各空間の複数周波数領域に対するノイズ除去部４６７ｂを含む波長揺らぎ検出部の一例を説明する図である。波長揺らぎ検出部４４０ｆは、図１に於ける波長揺らぎ検出部４４０を説明するもので、波長揺らぎ検出部４４０ｅに対し、反転された肌色領域外のレベル信号４６２を入力とし、領域分割を行う領域分割部４７０を追加したものである。
【０１０６】
図１３の構成と比較して、異なる部分を説明する。図１５の実施例では領域分割部４７０により画像の領域を分割している。波長差分算出部４４１ｃは分割した領域毎に波長差分を算出し、波長差分積算部４４４ｃは領域毎に波長差分を積算する。周波数分解部４６８ｃは分割した領域毎に周波数を分解する。また、肌色外面積算出部４６３ｃでは、分割した領域毎に面積を算出している。平均波長差分算出部４６５ｂでは分割した領域毎かつ周波数領域毎に平均波長差分を算出する。
【０１０７】
図１６は、実施例５に於けるノイズ除去部の空間の分割と複数領域の一例を説明する図である。分割された空間数及び周波数領域数の積として得られる複数成分により、独立成分分析を行うことで脈拍信号の精度を向上することができる。図１６の例では肌色以外の領域については、空間数４×６＝２４、周波数領域数３（領域１４０２，１４０３，１４０４）の場合で７２成分が得られる。
【０１０８】
以上の構成によれば、カメラによる自動補正による弊害なく、撮像環境にあった脈拍の検出手法を提供すると共に、本手法で使用される顔検出及び周波数分解により得られる信号を利用することで脈拍の検出精度も向上することができる。
【符号の説明】
【０１０９】
２００  カメラ、３００  映像入力部、４００  映像処理部、１０３  顔検出部、１０６  補正制御部、２０５  自動補正部
【図１】
2019170868.tif 000003
【図２】
2019170868.tif 000004
【図３】
2019170868.tif 000005
【図４】
2019170868.tif 000006
【図５】
2019170868.tif 000007
【図６】
2019170868.tif 000008
【図７】
2019170868.tif 000009
【図８】
2019170868.tif 000010
【図９】
2019170868.tif 000011
【図１０】
2019170868.tif 000012
【図１１】
2019170868.tif 000013
【図１２】
2019170868.tif 000014
【図１３】
2019170868.tif 000015
【図１４】
2019170868.tif 000016
【図１５】
2019170868.tif 000017
【図１６】
2019170868.tif 000018