(57)【要約】      （修正有）【課題】気づかずに健康に寄与する行動を行っていることを検出できる、または知らせるようにした撮像装置および撮像装置の制御方法を提供する。【解決手段】被写体を撮像しＳ２３、被写体の画像を取得するための撮影行為中の特定状態を検出して、撮影者の生体情報を取得しＳ２７、特定状態が検出された際に、生体情報に基づいて、当該撮影行為が撮影者に与えるストレス状態を判定しているＳ２９。そして、撮影状況等とストレス状態を関連付けて表示しているＳ４７。【選択図】図６Ａ
2020099508.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像部と、  
上記撮像部による画像を取得するための撮影行為中において、特定状態を検出する特定状態検出部と、
撮影者の生体情報を取得する生体情報取得部と、  
上記特定状態検出部によって特定状態が検出された際に、上記生体情報取得部によって取得された上記生体情報に基づいて、当該撮影行為が上記撮影者に与えるストレス状態を判定するストレス判定部と、
を有することを特徴とする撮像装置。
【請求項２】
上記撮像部による撮像結果を表示する表示部を有し、
上記表示部には、上記ストレス判定部によって判定された上記ストレス状態に応じた表示を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記表示部は、上記ストレス判定部によって判定したストレス状態と、上記撮影者の健康診断情報を関連付けた画像を表示することを特徴とする請求項１に記載の撮像装置。
【請求項４】
撮影状況、撮影対象、および撮影操作の少なくとも１つを含む撮影環境を検出する撮影環境検出部と、
上記ストレス状態と上記撮影環境を関連付けて記録部に記録する記録制御部と、
を有することを特徴とする請求項１に記載の撮像装置。
【請求項５】
上記撮像部による撮像結果を表示する表示部を有し、
上記ストレス判定部によって判定されたストレス状態が所定値よりも良好の場合に、その旨を上記表示部に表示することを特徴とする請求項１に記載の撮像装置。
【請求項６】
上記撮像部による撮像結果を表示する表示部を有し、
上記ストレス判定部は、上記撮影行為中の撮影準備状態において、上記撮影者の第１のストレス状態を判定し、さらに上記撮像部による撮影終了後に撮像結果を上記表示部に表示した際に、上記撮影者の第２のストレス状態を判定し、上記第２のストレス状態が上記第１のストレス状態よりも改善されている場合に、上記表示部にストレス状態の改善を表示することを特徴とする請求項１に記載の撮像装置。
【請求項７】
上記生体情報取得部は、心拍、呼吸、脈波、抹消皮膚温、呼吸、皮膚の電気活動、眼球運動、脳波の少なくとも１つの生理反応を検出することを特徴とする請求項１に記載の撮像装置。
【請求項８】
上記撮像部による撮像結果を表示する表示部と、
撮影環境を検出する撮影環境検出部を有し、
上記特定状態検出部は、上記撮影者が同一対象物への集中が所定時間を超えたか否かを判定し、上記判定の結果、所定時間を越えた場合には、上記撮影環境と上記ストレス状態の関連について、上記表示部に表示する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項９】
被写体を撮像する撮像部と、
撮影行為中に撮影者の生体情報を取得する生体情報取得部と、  
上記生体情報取得部によって取得された上記生体情報に基づいて、上記撮影行為が上記撮影者に与えるストレス状態を判定するストレス判定部と、
上記ストレス状態を表示する表示部と、
を有することを特徴とする撮像装置。
【請求項１０】
被写体を撮像し、  
上記被写体の画像を取得するための撮影行為中において、特定状態を検出し、
撮影者の生体情報を取得し、
上記特定状態が検出された際に、上記生体情報に基づいて、当該撮影行為が上記撮影者に与えるストレス状態を判定する、
ことを特徴とする撮像装置の制御方法。
【請求項１１】
被写体を撮像し、
撮影行為中に撮影者の生体情報を取得し、  
上記生体情報に基づいて、上記撮影行為が上記撮影者に与えるストレス状態を判定し、
上記ストレス状態を表示する、
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、健康に寄与する行動を行っていることを知らせるようにした装置および該装置の制御方法の提案に関する。詳しくは、ユーザが撮像装置の撮影行為中の生体情報を測定し、この測定結果に基づいて撮像装置を使用することが楽しみとなるような表示が可能な撮像装置および撮像装置の制御方法に関する。
【背景技術】
【０００２】
人々は健康に関心をもっており、健康に関するコンテンツを一覧表示するようにした端末装置が提案されている（例えば、特許文献１参照）。また、従来より、生体情報を反映した撮影等も検討されており、携帯端末に温度センサを設け、このセンサ出力に基づいて撮影者がレリーズ釦上に手をおいたことを検出することも提案されている（特許文献２参照）。
【０００３】
また、近年では、精神的なストレスを受けた際に、心拍、脈波、抹消皮膚温、呼吸、皮膚の電気活動、眼球運動、脳波などの生理反応変動が知られている。例えば、心電図の波形を例に挙げると、心電図波形の最も振幅が大きいＲ波とＲ波の間隔をＲ−Ｒ間隔という。Ｒ−Ｒ間隔は平均値を中心として変動しており、この変動は、精神的活動の状態により影響を受ける。このため、心拍変動の様子から、精神的なストレスを評価できる可能性がある（非特許文献１参照）。また、突発的なストレスが適度にあると神経細胞が大幅に増殖し、記憶力の向上に役立つという報告もある（非特許文献２参照）。
【０００４】
また、心拍以外にも呼吸を用いても感情状態（ストレス状態）を検出することができる。呼吸とストレス状態は自律神経の機能と係りがあり、心拍と呼吸は同期したゆらぎが観察される（非特許文献３参照）。さらに、スマートフォンに約３０秒、指先を当て、血液の輝度変化から心拍の揺らぎを検出するアプリケーションが提供されている。このアプリケーションを用いて、日常生活時の心拍数に関する研究成果も報告されている（非特許文献４、５参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１８−０９７６０５号公報
【特許文献２】特開２０１０−５２０６８８号公報
【０００６】
【非特許文献１】「心拍変動による精神的ストレスの評価についての検討」電気学会論文誌ｃ，１２０巻１号，インターネット、URL：https://www.jstage.jst.go.jp/article/ieejeiss1987/120/1/120_1_104/_pdf
【非特許文献２】「適度なストレスは脳の活性化に役立つ」、日本生活習慣病予防協会ホームページ、インターネット、URL：http://www.seikatsusyukanbyo.com/calendar/2013/002308.php
【非特許文献３】「ストレスと自律神経の科学」、インターネット、URL：http://hclab.sakura.ne.jp/stress_novice_hartrate.html
【非特許文献４】「COCOLOLOの研究成果が、査読付き国際論文誌に掲載されました」、インターネット、URL：https://www.winfrontier.com/news/2017/07/17/cocololo
【非特許文献５】「日常生活における自律神経機能の計測と評価に関する研究」、インターネット、URL：http://www.lib.kobe-u.ac.jp/repository/thesis2/d1/D1006751.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００７】
適度のストレスは健康にも良いことが分かっている。撮影の際には、ユーザの気に入った写真を撮影するために、目的とする被写体を探すために歩き回ったり、種々の構図を試したり、露出を調整する等、撮影に集中することにより、種々のストレスが掛かってしまう。しかし、ストレスがかかったとしても、適度であれば健康上、好ましい。撮影集中による適度なストレスが健康に役立っていることをユーザは一般には気づいていない。さらに、ストレスがかかった状態で撮影した写真が、ユーザにとって非常に気に入ったものであれば、ストレスも解消に、健康上、好ましいといえる。
【０００８】
しかし、スマートフォンにおいて撮影準備を検出するために、温度センサを設けることは提案されているが（特許文献２参照）、健康に寄与する行動を行っていることを知らせるようにした撮像装置は提案されていない。また、撮影行為中の健康情報について表示できるようした撮像装置は提案されていない。
【０００９】
本発明は、このような事情を鑑みてなされたものであり、気づかずに健康に寄与する行動を行っていることを検出できる、または知らせるようにした装置および装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため第１の発明に係る撮像装置は、被写体を撮像する撮像部と、上記撮像部による画像を取得するための撮影行為中において、特定状態を検出する特定状態検出部と、撮影者の生体情報を取得する生体情報取得部と、上記特定状態検出部によって特定状態が検出された際に、上記生体情報取得部によって取得された上記生体情報に基づいて、当該撮影行為が上記撮影者に与えるストレス状態を判定するストレス判定部と、を有する。
【００１１】
第２の発明に係る撮像装置は、上記第１の発明において、上記撮像部による撮像結果を表示する表示部を有し、上記表示部には、上記ストレス判定部によって判定された上記ストレス状態に応じた表示を行う。
第３の発明に係る撮像装置は、上記第１の発明において、上記表示部は、上記ストレス判定部によって判定したストレス状態と、上記撮影者の健康診断情報を関連付けた画像を表示する。
【００１２】
第４の発明に係る撮像装置は、上記第１の発明において、撮影状況、撮影対象、および撮影操作の少なくとも１つを含む撮影環境を検出する撮影環境検出部と、上記ストレス状態と上記撮影環境を関連付けて記録部に記録する記録制御部と、を有する。
第５の発明に係る撮像装置は、上記第１の発明において、上記撮像部による撮像結果を表示する表示部を有し、上記ストレス判定部によって判定されたストレス状態が所定値よりも良好の場合に、その旨を上記表示部に表示する。
【００１３】
第６の発明に係る撮像装置は、上記第１の発明において、上記撮像部による撮像結果を表示する表示部を有し、上記ストレス判定部は、上記撮影行為中の撮影準備状態において、上記撮影者の第１のストレス状態を判定し、さらに上記撮像部による撮影終了後に撮像結果を上記表示部に表示した際に、上記撮影者の第２のストレス状態を判定し、上記第２のストレス状態が上記第１のストレス状態よりも改善されている場合に、上記表示部にストレス状態の改善を表示する。
【００１４】
第７の発明に係る撮像装置は、上記第１の発明において、上記生体情報取得部は、心拍、呼吸、脈波、抹消皮膚温、呼吸、皮膚の電気活動、眼球運動、脳波の少なくとも１つの生理反応を検出する。
第８の発明に係る撮像装置は、上記第１の発明において、上記撮像部による撮像結果を表示する表示部と、撮影環境を検出する撮影環境検出部を有し、上記特定状態検出部は、上記撮影者が同一対象物への集中が所定時間を超えたか否かを判定し、上記判定の結果、所定時間を越えた場合には、上記撮影環境と上記ストレス状態の関連について、上記表示部に表示する。
【００１５】
第９の発明に係る撮像装置は、被写体を撮像する撮像部と、撮影行為中に撮影者の生体情報を取得する生体情報取得部と、上記生体情報取得部によって取得された上記生体情報に基づいて、上記撮影行為が上記撮影者に与えるストレス状態を判定するストレス判定部と、上記ストレス状態を表示する表示部と、を有する。
【００１６】
第１０の発明に係る撮像装置の制御方法は、被写体を撮像し、上記被写体の画像を取得するための撮影行為中において、特定状態を検出し、撮影者の生体情報を取得し、上記特定状態が検出された際に、上記生体情報に基づいて、当該撮影行為が上記撮影者に与えるストレス状態を判定する。
【００１７】
第１１の発明に係る撮像装置の制御方法は、被写体を撮像し、撮影行為中に撮影者の生体情報を取得し、上記生体情報に基づいて、上記撮影行為が上記撮影者に与えるストレス状態を判定し、上記ストレス状態を表示する。
【発明の効果】
【００１８】
本発明によれば、気づかずに健康に寄与する行動を行っていることを知らせるようにした撮像装置および撮像装置の制御方法を提供することができる。
【図面の簡単な説明】
【００１９】
【図１Ａ】本発明の第１実施形態に係る撮影システムの動作を示すフローチャートである。
【図１Ｂ】本発明の第１実施形態に係る撮影システムの構成を示すブロック図である。
【図２】本発明の第２実施形態に係る撮像端末の主として電気的構成を示すブロック図である。
【図３】本発明の第２実施形態に係る撮像端末の使用方法を説明する図である。
【図４】本発明の第２実施形態に係る撮像端末の使用方法を説明する図である。
【図５】本発明の第２実施形態に係る撮像端末において、生体情報を検出するための推論モデルの生成を説明する図である。
【図６Ａ】本発明の第２実施形態に係る撮像端末の動作を示すフローチャートである。
【図６Ｂ】本発明の第２実施形態に係る撮像端末の動作を示すフローチャートである。
【図６Ｃ】本発明の第２実施形態に係る撮像端末の動作を示すフローチャートである。
【図７Ａ】本発明の第３実施形態に係る撮像システム中の管理サーバの主として電気的構成を示すブロック図である。
【図７Ｂ】本発明の第３実施形態に係る撮像システム中の撮像端末の主として電気的構成を示すブロック図である。
【図８】本発明の第３実施形態に係る撮像システムにおいて、健康診断結果と撮影時に取得した生体情報とをリンクさせることを説明する図である。
【図９】本発明の第３実施形態に係る撮像システム中の撮像端末の動作を示すフローチャートである。
【図１０Ａ】本発明の第３実施形態に係る撮像システム中の管理サーバの動作を示すフローチャートである。
【図１０Ｂ】本発明の第３実施形態に係る撮像システム中の管理サーバの動作を示すフローチャートである。
【図１０Ｃ】本発明の第３実施形態に係る撮像システム中の管理サーバの動作を示すフローチャートである。
【図１１】本発明の各実施形態において、ストレスの判断を行うタイミングの一例を示す図である。
【図１２】本発明の各実施形態において、ストレスの判断を行うタイミングの変形例を示す図である。
【発明を実施するための形態】
【００２０】
本発明の実施形態に係る装置を含むシステムについて、携帯端末で搭載しやすいカメラ機能の例を用いて説明する。カメラのような撮像システム（撮像装置）は、撮影行為中にユーザ（撮影者）の生体情報を計測する。生体情報としては、健康診断等で数値化できる様々な情報がある。ここでは比較的変化が短時間で現れやすく測定しやすい、心拍、呼吸、発汗、眼球運動、脳波、筋力等の情報の内の少なくとも１つを想定している。これ以外の情報でもよく、複数の情報でもよいが、いずれかの生体情報を少なくとも１つを計測する。
【００２１】
人間を二元論的に捉えると、精神的、霊的な状態と、身体的、物理的な状態で捉えられる。精神と身体は共に健全であることが好ましく、これらのいずれかの健全さが損なわれると、不快、不安、不調といった感情、感覚に繋がり、生きがいや生きる意欲などに影響を及ぼす。また、健全さを取り戻すことによって、心身ともに更に元気になり、希望ややりがいに繋がる事が知られている。このような心身両方に適用できる概念としてストレスがある。この分野の研究は、健康を損なわないようにするため、健康を維持するため、健康を増進するために研究が進んでいる。
【００２２】
この概念をもとでは、精神的な状況が身体的な状況に反映されることから、適切な生体信号の分析によって、ユーザの精神的なストレスを評価することはユーザの心身含めての状態を測るのに相応しい。言い換えると、ここで判定する生体情報としては、ストレスに反応する生体情報であればよい。ストレスは、日本語としては否定的な意味合いと、肯定的な意味合いがあるが、ここでは、精神的な緊張等が加わったときの生体反応の意味で使用してもよい。生体情報それ自身が身体的な状態を表す事もあることから、生体情報を判定することによって、例えば、身体的な疲労や体調変化を合わせて推測するようにしてもよい。
【００２３】
また、人間は目で見た情報によって多くのことを処理する生き物である。特定のものを目で鑑賞したり、観察したり、あるいはそれを記録したりすることによって、人生を営んでいる。目で見たものは、絵画的に描くか、言葉で代用して書き留める等によって、記録している。撮像装置による撮影行為は、多くの人が簡単にできるという点で普及した行為である。目で見たものを記録に留めるという以上に、何か心に響くものがあったと考えられ、それを後で見たい、人に伝えたいといった要求に裏打ちされている。撮影行為の結果としての撮影画像には、様々な情報が含まれており、また撮影行為に至るまでの行為にも、また、ユーザの置かれた状態やその中における意図や意志といったものが含まれている。
【００２４】
つまり、撮影行為は、撮像装置を用いて、撮影を行う際の行為を言い、ユーザが被写体を狙って撮影するまでの一連の動作、例えば、被写体の構図を決め、ピントを合わせ、露出調整等を行う撮影準備行為をいう。またレリーズ釦等を操作して写真撮影を行う行為も含まれる。これらの一つ一つの過程に集中した精神活動が凝縮されている。さらに、実際に、被写体を撮影するために撮像装置を構えて撮影のための行為に限らず、狙いとする被写体を探すために、撮像装置を携えて移動する行為も、撮影行為に含まれる。
【００２５】
また、これらの行為の中には、分析に値する過程が単位として存在し、操作の区切りや単位ごとに精神的、肉体的なストレスが現れるので、これらの単位ごとの区切りを利用してもよい。ただ、生体情報の取得には、変化が起きるまでに時間がかかり、変化を正確に検出するのに、短時間で分析できないものが多い。そこで、特に集中して撮影対象物を狙っている状態は、生体情報の検出に適した状況であると言える。その集中して行っている行為を基準とした、いわば「撮影行為」として正規化された状況といえるからである。つまり、同じ条件で比較や分析が有効な状況といえる。ただし、測定には時間がかかるが、特定の瞬間については、その前後の生体情報の変化等で推測してもよい。
【００２６】
まず、図１Ａに示すフローチャートおよび図１Ｂに示すブロック図を用いて、本発明の第１実施形態に係る撮像システム１の動作について説明する。この撮像システム１は、図１Ｂに示すように、撮像部２、操作部３、生体測定部４、表示部５、記録部６、通信部７、および制御部８（ＣＰＵ等の制御プロセッサを含む）を有する。
【００２７】
撮像部２は、撮影レンズ、撮像素子、および撮像回路（撮像制御回路、撮像信号処理回路等を含む）を有し、撮影レンズによって形成された画像を画像データに変換する。操作部３は、ユーザが撮像システム１に対する指示を入力するためのインターフェースであり、レリーズ釦、パワースイッチ等の操作部材を含む。レリーズ釦を押すと、撮影指示が制御部８に出力される。
【００２８】
生体測定部４は、ユーザ、特に撮像システム１を使用する者の生体情報を測定するセンサ等を有する。生体情報としては、前述したように、心拍、呼吸、発汗、眼球運動、脳波、筋力等の情報を測定する。なお、生体測定部４は、撮像システム１内に備えなくてもよい。例えば、外部機器に生体測定部を備え、無線通信等によって外部の生体測定部から生体情報を取得するようにしてもよい。
【００２９】
表示部５は、ディスプレイを有し、撮像部１によって取得したライブビュー画像や、記録部５に記録された画像の再生画像や、生体測定部４によって測定された生体情報に基づいて生成された画像等を表示する。記録部６は、操作部３のレリーズ釦によって撮影指示がなされた際に、撮像部２によって取得された画像データを記録する。通信部７は、外部機器（サーバ等を含む）と通信を行うための通信回路を有する。
【００３０】
制御部８は、プロセッサであり、また、ＡＳＩＣ（Application Specific Integrated Circuit）によって構成してもよく、ＣＰＵ（Central Processor Unit）を有し、不揮発性メモリに記憶されているプログラムに従って、撮像システム１内の各部を制御することによって、全体を制御する。
【００３１】
図１に示すフローが開始すると、まず、撮影行為中に生体情報計測を行う（Ｓ１）。このステップでは、撮像部２によって取得された画像データに基づいて、表示部５に被写体が表示される。ユーザは撮影対象に対して、ユーザの意図する写真が撮影できるように、構図を決め、ピントを決め、露出を決める等の撮影行為を行う。撮影行為としては、前述したように、被写体と向き合って撮影準備を行う期間の行為に限らず、撮影対象を探す等の行為や、撮影後に撮影画像の再生の閲覧行為等も含まれる。
【００３２】
ユーザは、撮影行為中に撮像装置（カメラ）の操作を行うことがあり、この際、撮像システム１に設けられた生体測定部４に設けられたセンサによって、ユーザの心拍、脈波、抹消皮膚温、呼吸、皮膚の電気活動、眼球運動、脳波などの生理反応を検出する（図１１、図１２参照）。なお、生体情報の計測にあたっては、撮像装置以外に設けられた生体情報計測用のセンサからの検知結果を撮像装置が受信するようにしてもよい。例えば、腕時計タイプの情報端末によって、心拍、脈波、呼吸数等の生体情報を検知し、これらの情報を受信してもよい。さらに、生体情報としては、歩数計やＧＰＳ等の情報であってもよい。これらの情報は、ユーザの運動状態や移動情報等の情報を得ることができる。なお、生体情報の検出を撮影行為のための操作時等にタイミングを制限すれば、生体計測部による電源の浪費を防止することができる。また、電源浪費を防止するように、検出タイミングを適宜設定するとよい。
【００３３】
次に、ワンシーンの撮影が終了したか否かを判定する（Ｓ３）。ワンシーンとは、ユーザが意図した被写体の撮影が終わるまでをいう。例えば、ユーザが鳥を狙って撮影が終わるまで言う。ただし、鳥を１枚撮影したら、一連の撮影が終わるということではない。ここでの判断は、１枚の撮影が終わったという一連の撮影の中での一区切りである。このように集中して撮影対象物を狙っている状態は、その行為を基準とした、いわば「撮影行為」として正規化された状況である。この状況は、比較的安定しており、正確な生体情報の検出が可能であると言える。つまり、同じ条件で比較や分析が有効な状況といえる。このステップＳ３での判定の結果、ワンシーンの撮影が終了していない場合には、ステップＳ１に戻る。ワンシーンの撮影が終了するまで、ステップＳ１において、生体情報が繰り返し計測される。
【００３４】
一方、ステップＳ３における判定の結果、ワンシーンの撮影が終了した場合には、次に、ストレスＳＴ１が良好なら表示する（Ｓ５）。このステップでは、まず、撮影行為中に、生体測定部４が検出した、ユーザの心拍、脈波、抹消皮膚温、呼吸、皮膚の電気活動、眼球運動、脳波などの生理反応に基づいて、制御部８がストレスＳＴ１を判定する。この判定の結果、ストレスＳＴ１が良好の場合には、ストレスが良好であることを表示部５に表示する。前述したように、適度のストレスは、健康によいことから、ストレスが過度でなく、適度であるか否かを判定する。この判定の結果、ストレスが良好の場合にその旨を表示する。この表示を見たユーザは、写真撮影を行うことに対して、元気がでてくる。
【００３５】
続いて、撮影画像の再生表示を行う（Ｓ７）。ここでは、ステップＳ３Ｙｅｓの際に撮影した画像を、表示部５に再生表示する。これによって、ユーザは撮影画像を確認することができる。また、ユーザが撮影画像を確認している際に併せて生体測定部４が生体情報の計測を行う。ユーザは、撮影画像を確認した際に、ユーザが意図した写真が撮影できたか、また意図したとおりでなかった等、種々の感想を有し、このことが、生体情報の変化として現れる。この生体情報の変化を見ることにより、ユーザのストレスＳＴ２を判断できる。なお、ステップＳ７における生体情報計測は、撮影画像の再生表示時に行っていることから、測定のタイミングを限ることができ、このため、生体計測部による電源の浪費を防止することができる。ステップＳ７において、撮影画像の再生表示等を行わない場合には、ステップＳ１に戻る。
【００３６】
ステップＳ７において、撮影画像の再生表示を行い、生体情報を計測すると、次に、ストレスＳＴ２が良好なら表示、またはストレスＳＴ１が良好でなくても、ストレスＳＴ２が良好ならばストレスが改善されたことを表示する（Ｓ９）。ここでは、ステップＳ７で測定された生体情報に基づくストレスＳＴ２が良好であれば、良好なストレスであることを表示部５に表示する。撮影された写真をユーザが満足したと推測できる場合である。
【００３７】
また、ステップＳ９において、ストレスＳＴ１が良好でなかったが、ストレスＳＴ２が良好であれば、ストレスが改善されたことを表示部５に表示する。この場合には、ユーザは、最初、適度ではないストレスの下で撮影の準備をしていたが、最終的には十分満足できるような写真撮影ができた場合である。このような場合には、ユーザを元気付け、やりがいを感じさせるような表示を行う。
【００３８】
続いて、一日の撮影が終了か否かを判定する（Ｓ１１）。ここでは、一連の撮影が終了したか否かを判定する。この判定方法としては、ユーザの撮影対象を解析してもよく、単に、時刻から判定してもよく、またユーザが手動で終了を設定してもよい。この判定の結果、終了していない場合には、ステップＳ１に戻る。
【００３９】
ステップＳ１１における判定の結果、終了の場合には、対象物、操作等の行動、および生体情報に基づいて、総括表示を行う（Ｓ１３）。ここでは、一日の一連の撮影が終了したことから、この日に取得した、対象物情報、行動情報、および生体情報に基づいて、ストレス等に関する健康状態を表示する。例えば、撮影を始めた頃はストレスがあったが、最後にはストレスの改善が見られた等を、表示部５に表示する。ユーザは、この表示を見ることにより、撮影に伴う自身のストレスの変化を知ることができる。特に、ストレスの改善が見られた場合には、撮影の効用を知ることができ、元気がでる。ここではストレスを中心に説明しているが、もちろん、撮影行為が血圧や血糖値、体重や体脂肪などに影響し、健康面で効果が現れる場合もある。そこで、生体情報からこのような効果を求めるような仕掛けを行ってもよい。
【００４０】
総括表示を行うと、次に、健診結果との関連性を判定する（Ｓ１５）。撮像装置にユーザの健康診断の結果が記録されている場合、または健康管理サーバと通信で接続できる場合には、制御部８は、撮像システム１によって検出したストレスと、健康診断の結果との関連性が判定できるか否かを判断する。この判定は、当日のストレスのみならず、過去の撮影実績や、生体情報の測定結果の変化等と、過去の健康診断結果の変化に基づいて判定する。判定できない場合には、ステップＳ１に戻る。
【００４１】
一方、ステップＳ１５における判定の結果、関連性が判定できる場合には、因果関係分析レポートを作成する（Ｓ１７）。例えば、ユーザの健康診断結果によれば、血圧が下がった場合に、過去の撮影実績と比較することによって、撮影したことによって、血圧が下がったと判定できる場合がある。この作成された因果関係分析レポートは、撮像システム１の表示部５に表示してもよく、また通信部７を介して、外部のパーソナルコンピュータ等に表示してもよい。なお、健康診断結果とストレスを連携させる具体的な例については、図８を用いて後述する。因果関係のレポートを作成すると、ステップＳ１に戻る。
【００４２】
このように、本実施形態においては、撮影行為中に生体測定部４によって生体情報を計測している。そして、この測定結果に基づいて、ストレスが良好の場合には、その旨を表示部５に表示し、ユーザを元気付け、撮影にやりがいを持ているようしている。
【００４３】
また、本実施形態においては、撮影準備中や画像の確認中に生体測定部４によって生体情報を計測し、ストレスが改善されていれば、その旨を表示部５に表示している。さらに、一日の撮影が終了した際にも総括表示を行っている。ユーザはストレスが改善されたことの表示を見ることにより、撮影に対してやりがいを感じ、撮影が楽しくなる。
【００４４】
また、本実施形態において、撮影準備中や撮影画像の確認中に、所定の操作がなされた際に、生体測定部４によって生体情報の計測を行うようにしている（例えば、Ｓ１、Ｓ７、図１１、図１２参照）。生体情報の計測は、センサの消費エネルギが大きいことから、操作時のタイミングに合わせて計測することにより、消費エネルギを低減することができる。
【００４５】
また、本実施形態においては、一日等、撮影の区切りとなるタイミングで、生体情報等に基づいて、総括表示を行っている（Ｓ１３参照）。このため、一日撮影を行うことにより、ストレス状態がどのように変化したかを確認することができる。
【００４６】
また、本実施形態においては、ユーザ（撮影者）の健康診断結果と、ストレス情報等の関連性を判定している（Ｓ１５、Ｓ１７参照）。健康に良好な影響または健康を悪化させた要因を、ストレス情報を用いて分析することができる。日常、カメラ等の撮像装置を持ち歩いて撮影している場合に、撮影者が気遣いないうちにストレス情報を収集し、健康との関係を分析することができる。
【００４７】
次に、図２ないし図６Ｃを用いて、本発明の第２実施形態について説明する。本実施形態は、第１実施形態における撮像装置をより具体的な例である。
【００４８】
図２は、本実施形態に係る撮像端末２０の主として電気的構成を示すブロック図である。本実施形態においては、撮像端末２０はデジタルカメラを想定して説明する。しかし、撮像端末２０としては、デジタルカメラに限らず、スマートフォン等の携帯情報端末であってもよい。撮像端末２０は、制御部２１、撮像部２２、時計部２３、通信部２４、操作入力部２５、生体情報計測部２６、表示部２７、記録部２８を有する。
【００４９】
撮像部２２は、被写体像形成用のレンズ、撮像素子、撮像制御回路、撮像信号処理回路、ＡＤ変換回路等を有し、被写体像を光電信号に変換し、画像データを出力する。時計部２３は、時計機能やカレンダー機能を有し、日時情報を出力する。撮像部２２は、被写体を撮像する撮像部として機能する。
【００５０】
通信部２４は、外部機器（外部サーバ等を含む）と有線通信または無線通信を行う通信回路を有する。操作入力部２５は、ユーザが撮像端末２０に対して行う指示を入力するためのユーザインターフェースである。操作入力部２５は、パワースイッチ、レリーズ釦、モード設定釦・ダイヤル、十字釦、ＯＫ釦、タッチパネル等の操作部材を有し、この操作部材の操作状態を制御部２１に出力する。
【００５１】
生体情報計測部２６は、制御部２１からの指示に応じて、ユーザの生体情報を検知する（例えば、図６ＡのＳ２７、図１１、図１２等参照）。本実施形態においては、生体情報として、ユーザの心拍および呼吸を検知する。生体情報としては、心拍および呼吸以外にも、脈波、抹消皮膚温、呼吸、皮膚の電気活動、眼球運動、脳波などの生理反応を検出してもよい。生体情報計測部２６は、撮影者の生体情報を取得する生体情報取得部として機能する。また、生体情報取得部は、心拍、呼吸、脈波、抹消皮膚温、呼吸、皮膚の電気活動、眼球運動、脳波の少なくとも１つの生理反応を検出する。生体情報計測部２６は、撮影行為中に撮影者の生体情報を取得する生体情報取得部として機能する（例えば、図６ＡのＳ２７参照）。
【００５２】
生体情報検出部２６は、背面カメラ２６ａ、音声検出部２６ｂ、Ｒ−Ｒ検出部２６ｃを有する。背面カメラ２６ａは、カメラの正面側に設けられた撮影用レンズとは別に、背面に設けられた背面レンズ、背面用撮像素子等を有しする。背面カメラによって取得した画像に基づいて、ヘモグロピン成分の色を検出すれば血流を検出することができる。したがって、背面カメラ２６ａは、ユーザの肌の部分の画像を取得できる位置に配置する。
【００５３】
音声検出部２６ｂは、マイクロフォンや音声処理回路等を有する。音声検出部２６ｂは、ユーザの呼吸の音声を収集することにより、呼吸音を検出できる。Ｒ−Ｒ検出部２６ａは、心臓の収縮時の電気信号の間隔を検出する。心臓が収縮するときに電気信号の山谷が生じ、Ｒ信号は、心臓の心室と呼ばれる部分が急激に収縮して心臓から血液が送りだされる時に発生する電気信号である。Ｒ−Ｒ信号は、この電気信号のピークとピークの間隔であり、Ｒ−Ｒ信号と呼ばれる。心拍間隔検出部２１ｂで代用してもよい。
【００５４】
表示部２７は、モニタ画面等を有し、撮像端末２０の背面等の本体外装部分に設けられ、ライブビュー画像、撮影画像の再生画像、メニュー画面等を表示する。なお、表示部としては、電子ビューファインダであってもよい。また、表示部２７は、生体情報に基づいて判定されたユーザのストレス等も表示する。表示部２７は、撮像部による撮像結果を表示する表示部として機能する（例えば、図６ＡのＳ２３参照）。この表示部には、ストレス判定部によって判定されたストレス状態に応じた表示を行う（例えば、図３、図４参照）。表示部には、ストレス判定部によって判定されたストレス状態が所定値よりも良好の場合に、その旨を表示する（例えば、図１のＳ５、Ｓ９参照）。表示部２７は、ストレス状態を表示する表示部として機能する。
【００５５】
記録部２８は、電気的に書き換え可能な不揮発性メモリであり、撮影画像を記録する。また、記録部２８には、撮影行為中に測定された生体情報、及び／または生体情報に基づいて判定されたストレス情報等を記録してもよい。
【００５６】
制御部２１は、プロセッサであり、また、ＡＳＩＣ（Application Specific Integrated Circuit）によって構成してもよく、ＣＰＵ（Central Processor Unit）を有し、不揮発性メモリに記憶されているプログラムに従って、撮像端末２０内の各部を制御することによって、全体を制御する。制御部２１は、生体情報特徴検出部２１ａ、生体情報検出部２１ｄ、表示制御部２１ｅ、記録制御部２１ｆを有する。これらの各部は、プロセッサ内のハードウエア回路および／またはプログラムによるソフトウエア等によって実現される。
【００５７】
制御部２１は、撮影行為中に、所定のタイミングで生体情報計測部２６による生体情報の測定を指示する。また、生体情報検出部２１ｄによる生体情報（ストレス状態を示す情報）を求めるタイミングも決定する（例えば、図６ＡのＳ２９、図１１、図１２参照）。制御部２１は、撮像部による画像を取得するための撮影行為中の特定状態を検出する特定状態検出部として機能する（例えば、図６ＡのＳ２９、図１１、図１２参照）。特定状態検出部は、撮影者が同一対象物への集中が所定時間を超えたか否かを判定し、判定の結果、所定時間を越えた場合には、撮影環境とストレス状態の関連について、表示部に表示するする（例えば、図６ＡのＳ４５、Ｓ４７参照）。
【００５８】
制御部２１は、撮影状況、撮影対象、および撮影操作の少なくとも１つを含む撮影環境を検出する撮影環境検出部として機能する（例えば、図６ＡのＳ３５、Ｓ３５、Ｓ４７等参照）。制御部２１は、撮影環境を検出する撮影環境検出部として機能する。
【００５９】
生体情報特徴検出部２１ａは、生体情報計測部２６により検出されたデータを入力し、生体情報の特徴を検出する。生体情報の特徴としては、本実施形態においては、心拍間隔検出部２１ｂによって心拍の間隔を検出する。Ｒ―Ｒ検出部２６ｃのように、細かい波形までを判定できない場合に代用してもよい。心拍は心臓が全身に血液を送りだす際の間隔を検出する。生体情報の特徴としては、これ以外にも、脈波、抹消皮膚温、呼吸、皮膚の電気活動、眼球運動、脳波などの生理反応の特徴を検出するようにしてもよい。
【００６０】
生体情報検出部２１ｄは、生体情報特徴検出部２１ａによって検出された生体情報の特徴を入力し、ストレスの有無、大きさ等を検出する。本実施形態においては、生体情報検出部２１ｄは、推論エンジンと、推論エンジンで使用する推論モデルを記憶するメモリを有する。この生体情報検出部２１ｄは、深層学習によって生成された推論モデルを用いて、ユーザのストレス等を推論する。推論モデルの生成については、図５を用いて後述する。なお、推論エンジンを用いる以外にも、生体情報特徴検出部２１ａによって検出された生体情報の特徴に基づいて、ストレスの有無や大きさを検出するようにしてもよい。
【００６１】
生体情報検出部２１ｄは、特定状態検出部によって特定状態が検出された際に、生体情報取得部によって取得された生体情報に基づいて、撮影行為が撮影者に与えるストレス状態を判定するストレス判定部として機能する（例えば、図６ＡのＳ２９参照）。ストレス判定部は、撮影行為中の撮影準備状態において、撮影者の第１のストレス状態を判定し、さらに撮像部による撮影終了後に撮像結果を表示部に表示した際に、撮影者の第２のストレス状態を判定し、第２のストレス状態が上記第１のストレス状態よりも改善されている場合に、表示部にストレス状態の改善を表示する（例えば、図１のＳ５、Ｓ９、図６ＡのＳ２９、Ｓ４７参照）。生体情報検出部２１は、生体情報取得部によって取得された生体情報に基づいて、撮影行為が撮影者に与えるストレス状態を判定するストレス判定部として機能する（例えば、図６ＡのＳ２９参照）。
【００６２】
表示制御部２１ｅは、撮像部２２によって取得されたスルー画像や、記録部２８に記録されている撮影画像や、生体情報検出部２１ｄによって検出されたストレス等を、表示部２７に表示する際の制御を行う。
【００６３】
記録制御部２１ｆは、撮影画像を記録部２８に記録する際の記録制御を行う。また、記録部２８に、撮影行為中に測定された生体情報、及び／または生体情報に基づいて判定されたストレス情報等の記録の制御を行ってもよい。記録制御部２１ｆは、ストレス状態と撮影環境を関連付けて記録部に記録する記録制御部として機能する（例えば、図６ＡのＳ４７参照）。
【００６４】
次に、図３および図４を用いて、撮像端末２０を用いて撮影する場合において、ユーザのストレスを表示する仕方について説明する。図３（ａ）は、ユーザ３１が撮像端末２０を用いて、野鳥３３を撮影しようとしている様子を示す。ユーザは、この場合、意図する構図となるように、カメラの向ける方向や焦点距離を調節し、また適正露光となるように、露出設定を行い、さらにピント合わせを行う（後述する図６ＡのＳ２３〜Ｓ２９参照）。なお、これらの動作の一部を自動で行ってもよい。この間、所定のタイミングで、生体情報計測部２６はユーザの生体情報（例えば、呼吸、心拍等）を取得し、記録する。
【００６５】
図３（ｂ）は、ユーザ３１が撮影を行い、表示部２７に表示された撮影画像を見ている様子を示す（図６ＡのＳ３９〜Ｓ４７参照）。この間にも、所定のタイミングで、生体情報計測部２６はユーザの生体情報（例えば、呼吸、心拍等）を取得し、記録する。図３（ｃ）は、撮影後に、それまでに記録された生体情報に基づいて、ユーザ３１のストレス情報を表示する様子を示す。この例では、ストレスを呼吸によって判定し、適正なストレスであったことが、表示部２７に表示される。
【００６６】
図４は、ストレス情報（健康情報）の表示の別の例を示す。図４において、左側に、記録部２８に記録されている撮影履歴２９を示す。撮影履歴２９中の画像群２９ａ、２９ｂ、２９ｄは、家の近くで撮影した画像であり、いずれも異なる時期に撮影されたものである。また、画像群２９ｃは野鳥を撮影した画像である。これらの画像群２９ａ〜２９ｄのそれぞれについて、生体情報検出部２１ｄによって感情（ストレス）が推定され、推定結果が記録部２８に記録されている。また、撮影履歴２９には、ユーザの移動を示すＧＰＳ情報等も記録されている。
【００６７】
撮像端末２０には、これらの撮影履歴２９が記録されている。図３（ａ）（ｂ）に示す野野鳥３３の撮影後に、ストレス等の判定を行い、判定結果を表示する。図４に示す例では、表示部２７に、「歩いて撮影して元気になりました」と、元気が出るような表示がなされる。すなわち、ＧＰＳ情報や、また各画像群２９ａ〜２９ｄに基づいて、ユーザは撮影回数が多く、また撮影のたびにストレスの良好度が向上していると判定されると、このような表示がなされている。このような表示がなされると、ユーザは撮影することが楽しみになり、また、健康を増進することの励みになる。
【００６８】
次に、図５を用いて、生体情報検出部２１ｄにおいて使用する推論モデルの生成について説明する。推論モデルは、いわゆる深層学習を用いて生成する。まず、深層学習について、説明する。「深層学習（ディープ・ラーニング）」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。順伝搬型ニューラル・ネットワークは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることによって、論理ゲートを容易に形成できる。
【００６９】
ニューラル・ネットワークは、簡単な判別を行うのであれば３層でもよいが、中間層を多数にすることにより、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、９層〜１５２層のものが、学習にかかる時間や判定精度、消費エネルギの観点から実用的になっている。また、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を行い、最小限の処理で動作し、パターン認識に強い「畳み込み型ニューラル・ネットワーク」を利用してもよい。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。
【００７０】
これらの技術を実現するために、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）等の従来からある汎用的な演算処理回路を使用してもよい。しかし、これに限らず、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Graphic Processing Unit）やTensor Processing Unit（TPU）と呼ばれるプロセッサを利用してもよい。近年ではこのような人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵ等その他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。
【００７１】
その他、機械学習の方法としては、例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するものあり、これ以外にも、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要がある。本実施形態においては、画像の判定を、機械学習により導出する手法を採用したが、そのほか、人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を用いてもよい。
【００７２】
図５において、推論モデル３９は、ネットワークデザイン３７において生成する。すなわち、ネットワークデザイン３７は、前述のニューラル・ネットワークに相当し、このネットワークデザイン３７の入力と出力に学習用データを与え、各ニューロンの結合の強さを設定し、推論モデルを生成する。学習用の入力データ３５ａと出力データ３５ｂは、それぞれ対になっている。入力データ３５ａが入力３６に入力された際に、この入力データと対になっている出力データが出力３８から出力されるように、各ニューロンの結合の強さを学習していく。
【００７３】
本実施形態においては、入力データ３５ａは、呼吸間隔である。この呼吸間隔は、図５（ａ）中の左側のグラフに示すように、時間と共に変動しており、すなわち、ゆらぎがある。また、出力データ３５ｂは、呼吸間隔に対応する感情状態（ストレス情報）である。多数の、学習用データを用いて深層学習を行い、ネットワークデザインにおける各ニューロンの結合の強さを決め、推論モデル３９を生成する。学習にあたっては、ユーザが歩いて撮影を繰り返した後、撮影のテーマ（例えば、野鳥の撮影等）も含めて学習する。
【００７４】
また、生体情報検出部２１ｄにおいて使用する推論モデルは、呼吸間隔以外にも、例えば、心拍から生成するようにしてもよい。心拍（血圧変動）は、呼吸と同じく、自律神経の機能と係りがあり、ストレス（感情状態）を検出することができる（前述の非特許文献３参照）。この場合には、図５（ｂ）に示すように、心拍のＲ−Ｒ間隔を入力データ３５ａとし、このＲ−Ｒ間隔に対応するストレス（感情状態）を出力データ３５ｂとして、推論モデルを生成すればよい。
【００７５】
図５（ａ）（ｂ）に示すようにして生成された推論モデルは、生体情報検出部２１ｄのメモリに記録しておく。生体情報（ストレス等）の推論時には、メモリに記憶された推論モデルを推論エンジンに設定し、この推論エンジンを用いて推論する。
【００７６】
次に、図６Ａないし図６Ｃに示すフローチャートを用いて、画像取得装置としての撮像端末２０の動作について説明する。このフローは、制御部２１に設けられたＣＰＵが、メモリに記憶されたプログラムに従って、撮像端末２０内の各部を制御することにより実現する。
【００７７】
図６Ａに示す撮像端末制御のフローが開始すると、まず、撮影モードか否かを判定する（Ｓ２１）。本実施形態に係る撮像端末２０は、撮影モード、推論モデル取得モード、アドバイスモード、再生モードを有するが、これ以外のモードを有していてもよい。撮影モードはデフォルトモードであり、他のモードは、ユーザが操作入力部２５を操作することにより、設定することができる。
【００７８】
ステップＳ２１における判定の結果、撮影モードであった場合には、次に、画像を入力し、スルー画を表示する（Ｓ２３）。ここでは、撮像部２２が被写体像の画像データを入力し、制御部２１によってスルー画表示用の画像処理を施した後、表示部２７にスルー画（ライブビュー画像）を表示する。
【００７９】
続いて、撮影対象物の判定を行う（Ｓ２５）。ここでは、制御部２１が入力した画像を解析し、撮影対象物（被写体）が、何であるか（例えば、野鳥、人物等）を判定する。また、判定の際に、撮影位置、撮影日時、撮影までの移動距離等の撮影状況の判定も行う。これらの情報を、記録部２８または制御部２１内のメモリに記憶しておき、ストレス等の推論の際に使用してもよい。
【００８０】
撮影対象物を判定すると、次に、呼吸検出および記録を行う（Ｓ２７）。ここでは、生体情報計測部２６が、ユーザの呼吸を検出する。具体的には、音声検出部２６ｂがユーザの呼吸時の音声を収集し、この音声に基づいて、呼吸間隔、呼吸数等を検出し、記録部２８等に記録する。なお、生体情報としては、呼吸のみならず、心拍等の他の情報を検出してもよく、さらに、ユーザの目の瞬きや、撮像端末２０を持つ際の手振れ等を検出してもよい。手振れは、撮像端末２０に手振れセンサを設けておけば簡単に検出することができる。さらに、撮像端末２０内の生体情報計測部２６に限らず、外部端末、例えば、時計（スマートウォッチ）、眼鏡等の情報取得機能を有する端末から、生体情報を取得するようにしてもよい。
【００８１】
次に、呼吸状態からストレスを推論する（Ｓ２９）。ここでは、生体情報検出部２１ｄの推論エンジンが、推論モデル（図５参照）を用い、入力層にステップＳ２７で検出した呼吸状態を入力することにより、ユーザのストレス等の状態を推論する。なお、生体情報として、呼吸状態に限らず、心拍、目の瞬き、手振れ等を用いて、推論してもよい。この場合には、それぞれ生体情報に適した推論モデルに置き換える。
【００８２】
推論すると、次に、警告、又はアドバイスするか否かを判定する（Ｓ３１）。ここでは、撮像端末２０が撮影を行うに相応しいか否かを判定する。このために、推論モデルを用いた推論エンジンによって推論を行ってもよい。例えば、被写体の構図が適していない場合、露出が不適正な場合等がある。また、過度なストレスがあると、手振れが起こったり、肝心なものの見逃しがあって、構図や露出の調節が乱れたり、シャッターチャンスを焦って逃したりするので、深呼吸を行わせるようなアドバイスを行ってもよい。その他、決定的な瞬間をこの信号から判定しようという試みもある。ライフログのような用途であれば、ストレスの要因の分析などに使える。
【００８３】
ステップＳ３１における判定の結果、警告、アドバイスがある場合には、警告、アドバイスを実行する（Ｓ３３）。ここでは、撮影が適切でないことを、表示部２７において警告する。また、撮影を適切にするためのアドバイス等を表示してもよい。アドバイスとしては、例えば、撮像端末２０の撮影方向を変えて構図を変更するとか、焦点距離を変更して構図を変更するとか、露出値を変更して適正露光にする等がある。これらの警告やアドバイスは、ステップＳ４７において、ストレスを評価する際に参考にしてもよい。なお、推論の結果、ストレスが過度である場合には、警告表示するようにしてもよい。この場合、休憩などを提案してもよいし、逆にストレスが適度にないと、集中が足りない旨を警告表示してもよい。図３（ｃ）のように、適正なストレスであることを表示などで伝えて、ユーザをリラックスさせてもよい。
【００８４】
ステップＳ３３において、警告、アドバイスを行うと、またはステップＳ３１における判定の結果、警告、アドバイスがない場合には、調整操作を行うか否かを判定する（Ｓ３５）。調整としては、例えば、ユーザが撮像端末２０の距離環を操作してピントを合わせるとか、ズーム環を操作して焦点距離を変更するとか、露出値を変更して適正露光にする等がある。
【００８５】
ステップＳ３５における判定の結果、調整操作を行う場合には、調整を実行し、その操作を記録する（Ｓ３７）。ここでは、ユーザが行った調整操作を記録部２８等に記録する。この調整操作は、ステップＳ４７において、ストレスを評価する際に参考にしてもよい。
【００８６】
ステップＳ３７において、調整操作を記録すると、次に、撮影操作か否かを判定する（Ｓ３９）。ユーザは、撮影の構図が決まると、最適な撮影タイミングで撮影指示操作（例えば、レリーズ釦の操作、表示部の撮影アイコン等のタッチ操作等）を行う。このステップでは、この撮影操作がなされたか否かを判定する。この判定の結果、撮影操作がなされていない場合には、ステップＳ２１に戻る。
【００８７】
一方、ステップＳ３９における判定の結果、撮影操作がなされた場合には、画像データを記録し、また呼吸検出結果を記録する（Ｓ４１）。ここでは、撮影操作がなされたタイミングにおいて撮像部２２から画像データを取得し、この画像データに対して記録用の画像処理を施した後、記録部２８に画像データを記録する。また、撮影操作時または撮影操作の直前に検出された呼吸情報を、画像データに関連付けて記録部２８に記録する。
【００８８】
画像および呼吸検出結果を記録すると、次に、撮影結果を表示する（Ｓ４３）。ここでは、記録部２８に記録したものと同じ画像を表示部２７に表示する。この表示により、ユーザは、撮影画像を確認することができる。この確認時間の間、図１のステップＳ７と同じく生体情報を計測し、計測結果に基づいた表示を行う。この表示としては、撮影行為中に測定したストレスＳＴ１と、撮影画像の再生表示中に測定したストレスＳＴ２を比較し、ストレスが改善しているようであれば、その旨を表示してもよい。また、撮影画像の再生表示中に測定したストレスＳＴ２が良好であれば、その旨を表示してもよい。
【００８９】
撮影結果を表示すると、次に、同一対象物に集中していた時間が所定時間を超えるか否かを判定する（Ｓ４５）。ここでは、生体情報計測部２６による測定結果に基づいて判定してもよい。また取得した画像データが同一対象物であるか否かを画像解析に基づいて判定してもよい。また、ＧＰＳ情報等に基づいてユーザが同一の場所で撮影していかに基づいて判定してもよい。同一対象物に集中して、ピント合わせやフレーミング等を行うことによって、脳が活性化されたといえる。この判定の結果、同一対象物に集中した時間が所定時間未満の場合には、ステップＳ２１に戻る。
【００９０】
ステップＳ４５における判定の結果、同一対象物に所定時間以上集中していた場合には、撮影状況、撮影対象、および操作と、ストレスの関連性を表示する（Ｓ４７）。撮影状況としては、いずれの季節にどのような環境下で何歩歩いたとか、屋外・屋内等、どこで撮影したとか、午前中、日中、夜間等、どの時間帯で撮影したとか、晴天下・雨天時のどの天候の下で撮影したとか、種々の撮影状況がある。撮影対象としては、例えば、人物、ペット、花、風景、建物、野鳥等があり、画像データを解析することにより検出できる。また、操作としては、ステップＳ３３における警告、ステップＳ３７における調整操作がある。また、撮像端末２０のピントを合わせる操作、焦点距離を変更する操作、露出調整操作等がある。これらの情報と、生体情報検出部２１ｄによって検出されたストレスとの関連を求め、この関連を表示部２７に表示する。例えば、「歩いて撮影して元気になりました」、「ストレスを与えた原因があったにも関わらず、撮影画像に満足したことにより、ストレスが減少しました」等の表示を行う。この関連表示を行うと、ステップＳ２１に戻る。
【００９１】
ステップＳ２１に戻り、この判定の結果、撮影モードでない場合には、次に、推論モデルの取得か否かを判定する（Ｓ５１）。本実施形態においては、生体情報検出部２１ｄは、推論モデルを用いて、ストレス等を推論している。この推論モデルは、入力データおよび出力データに応じて、異なった推論モデルとなる。このため、ユーザの意図に応じた推論モデルを生体情報検出部２１ｄにおいて生成する。この推論モデルの取得は操作入力部２５において設定する。推論モデルは用途に合わせて複数用意してもよい。なお、推論モデルの生成にあたっては、大量の学習データを使用し、また演算も膨大であることから、外部の学習装置に依頼してもよい。
【００９２】
ステップＳ５１における判定の結果、推論モデルを取得する場合には、まず、年齢、性別を指定する（Ｓ５３）。ストレス等は、撮像端末２０を使用するユーザの年齢や性別に大きく影響されることから、推論モデルの生成を要求するにあたって、これらの情報を設定する。
【００９３】
続いて、教師データ化する（Ｓ５５）。ここでは、図５において説明したように、生体情報に対するストレス等を示す対のデータを生成し、これらを教師データ（学習用データ）とする。撮像端末２０内に、過去の生体情報と、そのときのストレスが対になって記録しておけば、これらの情報を教師データとして使用することができる。なお、外部の学習装置が、他のサーバに記録されているデータを収集し、教師データとしてもよい。
【００９４】
続いて、推論モデルを生成する（Ｓ５７）。ここでは、生体情報検出部２１ｄが、ステップＳ５５で作成した教師データを用いて、推論モデルを生成する。
【００９５】
推論モデルを生成すると、次に、呼吸間隔と感情（ストレス）の信頼性が所定値以上か否かを判定する（Ｓ５９）。ここでは、ＬＯＳＳ値を求める。具体的には、推論モデルを生成する際に使用しなかった、かつ生体情報（呼吸間隔）と、出力データ（ストレス（感情情報））が分かっている正解を用いて、推論を行い、推論モデルの信頼性を判定する。信頼性を求めると、この信頼性が所定値以上であるか否かを判定する。
【００９６】
ステップＳ５９における判定の結果、信頼性が低い場合には、学習母体を再設定する（Ｓ６３）。ここでは、推論モデルの信頼性が低いことから、推論に使用した学習母体を変更する。学習母体を変更すると、ステップＳ５７に戻り、再度、推論モデルの生成を行う。
【００９７】
一方、ステップＳ５９における判定の結果、信頼性が所定値以上あれば、撮像端末に推論モデルを記録する（Ｓ６１）。ここでは、ステップＳ５７において生成した推論モデルを、記録する。なお、用途毎に複数の推論モデルを記録しておいてもよく、推論モデルを記録する際に用途を関連付けておく。推論モデルを記録するとステップＳ２１に戻る。
【００９８】
ステップＳ５１に戻り、この判定の結果、推論モデルの取得でない場合には、アドバイス表示か否かを判定する（Ｓ７１）。ユーザは撮影にあたって、ユーザの意図するような写真を撮影するためのアドバイスを要望する場合がある。このような場合には、操作入力部２５において、アドバイス表示を設定する。アドバイス表示は、このような手動設定でもよく、また必要に応じて自動表示するようにしても良い。
【００９９】
ステップＳ７１における判定の結果、アドバイス表示であった場合には、撮影対象、操作ストレス変化に従って、分析結果を表示する（Ｓ７３）。ここでは、対象物を発見し、構図や撮影パラメータを調整し、撮影するまでの間のどのタイミングに心の動きがあったかなどをストレス等で判定した結果を表示する。例えば、構図を合わせる時や、ピントがぴったり合った時や、撮影の瞬間（撮影前後の生体情報に基づいて推測してもよい）などのタイミングに分析を行う。この分析により、集中して無意識の状況が、心の平安に繋がっている等が分かり、自分の健康にあった対象物や撮影テクニックなどを知ることができる。また、撮影ごとの差異なども把握でき、また機材やアクセサリの使用時におけるストレス等も分かる。これらのデータを集積して、メーカやサービスステーションに送信し、このデータに基づいて、製品や使い勝手、サービス等の改良を行うことが出来る。
【０１００】
また、ステップＳ７３においては、生体情報変化検出部２１ｄ内の推論エンジンによって、アドバイス表示を行うようにしてもよい。例えば、ストレスが大きくなってきた場合には、その旨を表示してもよく、逆にユーザの満足する写真が撮れ、ストレスが低下してきた場合には、その旨を表示してもよい。なお、アドバイス表示の内容を携帯端末等に送信し、携帯端末等において、アドバイスを表示できるようにしてもよい。アドバイス表示を行うと、ステップＳ２１に戻る。
【０１０１】
一方、ステップＳ７１における判定の結果、アドバイス表示でなかった場合には、一覧表示、および各コマ判定を行う（Ｓ７５）。ここでは、アドバイス表示でないと判定された場合の処理として、再生モードの例を示す。再生表示を行うために、記録部２８に記録されている画像データに基づいて、表示部２７にサムネイル画像によって一覧表示する。また、一覧表示の中からユーザが特定コマを指定したか否かを判定する。
【０１０２】
続いて、指定コマを拡大表示する（Ｓ７７）。ステップＳ７５において、ユーザが操作入力部２５によって、特定のコマを指定した場合には、この指定コマの画像データを記録部２８から読み出し、表示部２７に拡大して表示する。ここで、撮影時のストレスの状態を表示するようにしてもよい。ストレスが多い環境下で撮影したものが、実は、楽しく見られるというような気付きがあれば、次回から、同様の撮影を好んで行い、その分野の撮影の技量が上がる。さらに、アクティブにその撮影を行う行動に駆り立てられることがありうる。このようなカメラは健康カメラと言えるカテゴリの商品ともなりうる。なお、ここで、表示する感情なども生体検出で行ってもよく、また当然手入力も可能である。
【０１０３】
続いて、終了か否かを判定する（Ｓ７９）。ユーザが再生モードを終了する場合には、操作入力部２７によって再生動作の終了操作を行う。ステップＳ７９における判定の結果、終了でない場合には、ステップＳ７５に戻り、再生モードを続行する。一方、終了の場合には、再生モードを終了し、ステップＳ２１に戻る。
【０１０４】
このように、本発明の第２実施形態においては、撮影行為中に生体情報を計測し（Ｓ２７）、この計測結果を記録すると共に計測結果に基づいて、呼吸状態等の生体情報を推論している（Ｓ２９）。そして撮影がなされると、画像を記録すると共に呼吸状態等の生体情報（推論された結果）を記録している（Ｓ４１）。このため、撮影行為中におけるユーザの生体情報を収集し、後にこの情報に基づいて、ストレスを評価することができる。
【０１０５】
また、本発明の第２実施形態においては、ユーザが同一対象物への集中が所定時間を超えると、撮影状況等とストレスの関連について表示している（Ｓ４５、Ｓ４７）。すなわち、同一の被写体に対して、集中してピント合わせやフレーミング等を行った場合であり、脳が活性化されている場合である。このような場合に、撮影状況（例えば、何歩歩いた等）や、撮影対象（例えば、野鳥等）、操作状況（例えば、ズーミングをした、撮影レンズの向きを変えてフレーミングをした等）が、ストレスに与えた影響を関連付けて表示している。例えば、「沢山歩いたけれど、撮影画像を見たら、満足できるような写真だったので、ストレスが低下した」等の表示を行うと、撮影者を元気付けることができる。
【０１０６】
また、本発明の第２実施形態においては、推論モデルを用いてストレスを推論するようにしている。呼吸状態からストレスを知るのは、両者の関係が単純でないが、推論モデルを用いることにより、容易にストレスを推定することができる。
【０１０７】
次に、図７Ａないし図１０Ｃを用いて、第３実施形態について説明する。第２実施形態は、撮像端末２０のみのスタンドアロンであったが、本実施形態では、撮像端末２０は、外部の管理サーバ１０と連携して動作する。管理サーバ１０は、ユーザの健康診断情報を有しており、ユーザのストレス情報を、健康診断情報を関連付けて表示することができる。なお、管理サーバ１０は、他の外部サーバに記録されている健康診断情報にアクセスし、この健康診断情報を取得するようにしても良い。本実施形態によれば、日常の行動と、通院時の安静条件での診察、診断記録が関連付けられ、ユーザの健康判定や健康管理指針の精度を上げ、日常行動においてリアルタイムに健康指導などを受け、より健康的な生活を支援することが可能となる。
【０１０８】
図７Ａは、管理サーバ１０の主として電気的構成を示すブロック図であり、図７Ｂは、撮像端末２０の主として電気的構成を示すブロック図である。両者の通信部１２、２４は、無線通信または有線通信によってインターネット等に接続可能であり、インターネットを介して、データやコマンドの通信が可能である。後述するように、管理サーバ１０は、病院内に設置されたサーバであり、また撮像端末２０は、患者端末としての機能を有する。
【０１０９】
管理サーバ１０は、システムサーバとして機能し、制御部１１、通信部１２、データベース１３、エビデンス記録部１４、時計部１５を有する。
【０１１０】
通信部１２は、撮像端末２０の通信部２４と、送信および受信を行うことのできる通信回路を有しており、通信部２４とはインターネット等を介して接続される。
【０１１１】
データベース（ＤＢ）１３は、健康診断ＤＢ１３ａおよび画像ＤＢ１３ｂを有する。健康診断ＤＢ１３ａは、少なくとも撮像端末２０のユーザの健康診断結果が格納されている。管理サーバ１０中に健康診断ＤＢ１３ａが設けられていない場合には、通信部１２を介して、撮像端末２０のユーザの健康診断結果が格納されているデータベースにアクセスし、健康診断結果を入手する。画像ＤＢ１３ｂは、撮像端末２０のユーザに限らずの第三者の画像データが記録されている。
【０１１２】
エビデンス記録部１４は、メモリであり、撮像端末２０からの要求に応じて、健康診断ＤＢ１３ａから検索し、撮像端末２０に送信したユーザの健康診断結果や、また撮像端末２０から送信されてきた情報を、証拠として記録しておく。この場合、送信・受信日時と撮像端末２０の識別用データと関連付けて記録する。この記録によって、健康診断のような通院して安静にした状態と、撮影行為のような活動中の情報の関係が整理される。この記録に基づいて、どんな活動がどんな診断に結び付き、どのような健康増進策があるのかを、ガイド部１１ｄにおいてガイド情報を創出する時に有益な情報となる。時計部１５は、時計機能やカレンダー機能を有し、日時情報を出力する。
【０１１３】
制御部１１は、プロセッサであり、また、ＡＳＩＣ（Application Specific Integrated Circuit）によって構成してもよく、ＣＰＵ（Central Processor Unit）を有し、不揮発性メモリに記憶されているプログラムに従って、撮像端末２０内の各部を制御することによって、全体を制御する。制御部１１は、対象物判定部１１ａ、タイミング判定部１１ｂ、表示制御部１１ｃ、ガイド部１１ｄを有する。これらの各部は、プロセッサ内のハードウエア回路および／またはプログラムによるソフトウエア等によって実現される。
【０１１４】
対象物判定部１１ａは、撮像端末２０から送信されてきた画像中の対象物を判定する。撮影時に得られる画像には、豊富な情報が含まれており、対象物判定部１１ａは、この情報を有効利用してガイド部１１ｄにアドバイスを出させる。例えば、花の写真を撮るとリラックスしているとか、鳥の写真を撮ると興奮する、とか、本人が気づかないことも判定が可能となる。また、どのような健康状態のときは、どのような写真撮影が向いているかを勧めるなどの具体例が考えられる。ユーザの日常の行為を判定するに、本実施形態においては、撮影、カメラの例で説明しているが、それ以外の家電や機材もありうるので、機材情報（家電情報も含む）を取得できるようにしている。アクセサリの情報などでもよい。
【０１１５】
テレビの特定の番組が健康によさそうとか、この曲をオーディオ機材で聴いている時には体調が安定している、といった情報を使用しても、カメラでの撮影行為と健康の関係を応用したのと同様の効果が期待できる。また、カメラの例で言えば、どの人と旅に出た時、みたいな情報が得られる「顔」の情報が重要で、「家族で」とか「友人と」といった絞り込みが可能となる。ここでは明記していないが、その撮影端末の利用シーンや操作の検出結果も対象物判定部１１ａにおいて判定してもよく、テレビやオーディオの例では、コンテンツの検出を行う事が重要となる。
【０１１６】
対象物判定部１１ａは、顔判定部１１ａ１と利用機材判定部１１ａ２を有する。顔判定部１１ａ１は、画像の中の顔を検出する。ユーザの顔の特徴が予め登録されていれば、容易に判定できる。登録されていない場合には、人物が対象物であると判定される。
【０１１７】
利用機材判定部１１ａ２は、前述のようにカメラを例にとれば、撮像端末２０の機種を判別したり、また撮像端末２０で利用されている機材、例えば、焦点距離ｘｍｍの望遠レンズ等を判定する。利用機材が分かれば、対象物の判定に役立つことがある。例えば、望遠レンズであれば、対象物が野鳥と判定される可能性がある。マクロレンズであれば、花の撮影などを行っていることなども情報の一助となり、望遠か広角か、マクロかどうかなどの情報でお気に入りの機材や、それを使う事の健康上の効果が判定でき、アドバイスを具体化することができる。
【０１１８】
タイミング判定部１１ｂは、制御部１１において、ストレス等の判定を行う場合に、その判定のタイミングを決める。人の生体情報の変化は、その時の活動、行動に依存するので、管理サーバで一元的にタイミングを管理することが好ましい。通院、処置、さらに睡眠とか食事とか、服薬のタイミングなども考慮してエビデンス化が可能になる。さらに他の家電の情報も用いて、、調理の時間や入浴の時間や、お茶の時間などを判定してもよい。例えば、撮影中はストレスがあっても、帰宅しての一服でストレスが解消されるといった総合的な判定も可能となる。また、ユーザの行動は、ネット上では簡単に関連性を見つけられるので、買い物情報や出費の情報、出かけたルートの情報などをカードの手続きなどと関連付けてもよい。
【０１１９】
また、管理サーバ１０は、撮像端末２０のみならず、医師端末や病院内端末等、種々の端末からアクセスを受ける。このため、タイミング判定部１１ｂは、種々の端末への応答のタイミング等の制御も行う。なお、判定のタイミングについては、図１１および図１２を用いて後述する。
【０１２０】
表示制御部１ｃは、通信部１２を介して、撮像端末２０に画像データを送信する場合の表示の制御を行う。ガイド部１ｄは、健康診断ＤＢ１３ａに基づいて、撮像端末２０に表示を行う際に併せて、ガイド表示を行う（例えば、図８参照）。ガイド部１ｄは、この時に、例えば、ストレスと健康診断結果を関連付けるようにしてもよい。
【０１２１】
撮像端末２０は、図２に示した撮像端末２０と類似の構成である。同一のブロック（部）等については、同一の符号を付し、詳しい説明は省略する。通信部２４は、通信回路を有し、管理サーバ１０等と、無線通信または有線通信で、データやコマンドの送受信を行うことができる。表示部２７には、スルー画等の表示がなされ、またストレス状態の判定結果が表示される。また、表示部２７には、ストレス状態の判定結果は、健康診断結果と関連付けて表示される（図８参照）。表示部２７は、ストレス判定部によって判定したストレス状態と、撮影者の健康診断情報を関連付けた画像を表示する表示部として機能する（例えば、図８参照）。
【０１２２】
記録部２８は、電気的に書き換え可能な不揮発性メモリであり、画像２８ａと状況２８ｂを記憶する記憶領域を有する。画像２８ａは撮影画像を記録する。また、状況２８ｂは、撮影行為中の撮影状況、例えば、何歩歩いたとか、夕方に撮影した等を記憶する。また、これらの情報以外にも、図２の記録部２８と同様に、撮影行為中に測定された生体情報、及び／または生体情報に基づいて判定されたストレス情報等を記録してもよい。
【０１２３】
生体情報特徴検出部２１ａ内には、ストレス変化検出部２１ｃを有する。ストレス変化検出部２１ｃは、音声検出部２６ｂによって検出された呼吸の変化や、背面カメラ２６ａおよびＲ−Ｒ検出部によって検出された心拍の変化に基づいて、ユーザのストレス状態の変化を検出する。なお、生体情報計測部２６が、呼吸や心拍以外の生体情報を検出することができる場合には、これらの情報に基づいてストレス変化を検出するようにしてもよい。
【０１２４】
また、管理サーバ１０と連携して、管理サーバ１０あるいは医師の判断などを通信で受信して判定してもよい。生体情報としては、心拍でもよいが、心拍以外の生体情報を取得し、変化を検出してもよい。カメラユーザが所有しているスマートフォンやウエアラブル端末と連携してもよく、脳波や血流や体温や、その他の生体情報を利用してもよい。専用のセンサ付きのアダプタがカメラに付けられ、生体情報をセンシングできるようにしてもよい。アダプタでなくとも、ウエアラブル端末と通信して、必要なデータを集めて判定を行ってもよい。
【０１２５】
次に、図８を用いて、本発明の第３実施形態におけるストレス状態の変化に基づく表示について説明する。管理サーバ１０のＤＢ１３には、健康診断ＤＢ１３ａが記録されている。この健康診断ＤＢには、各検査項目についての経時変化が記録されている。図８に示す例では、例えば、体重についてみると、次第に減量しており、それに連れて腹囲やＢＭＩも低下している。
【０１２６】
撮像端末２０内の記録部２８には、撮影履歴２９が記録されている。撮影履歴２９中の画像群２９ｅ、２９ｆ、２９ｈは、家の近くで撮影した画像であり、これらの画像群は、異なる時期に撮影されたものである。また、画像群２９ｇは伊豆に旅行した際に撮影した画像である。これらの画像群２９ｅ〜２９ｈのそれぞれについて、生体情報検出部２１ｄによって感情（ストレス）が推定され、推定結果が記録部２８に撮影履歴２９として記録されている。また、撮影履歴２９には、ユーザの移動を示すＧＰＳ情報等も記録されている。
【０１２７】
撮影履歴２９は、撮像端末２０から通信部２４、１２を介して、管理サーバ１０の制御部１１に送信される。制御部１１内のガイド部１１ｄは、ＤＢ１３に記録されている健康診断ＤＢ１３ａと、撮像端末２０から受信した撮影履歴に基づいて、何か健康に良かったかを判定する。図８に示す例では、制御部１１は、健康診断ＤＢ１３ａから体重が減少し、健康に関する数値が改善されていることを解析し、撮影履歴２９からその原因を探しだす。この結果、伊豆の温泉に行った前後が、健康が良かったと判定する。撮像端末２０は、この判定を受け、表示部２７に、「前にここにきて元気になりました」のテキスト表示と、伊豆に行った際の画像群２９ｇから画像を選択して表示する。ユーザは、この表示を見ることにより、元気が出てきて、また撮影することが楽しみになる。前述のように、撮影のみならず、その前後の行動を他の機器と連携して推測し、撮影後の一服とか、新幹線に乗った時の富士山の撮影とか、行為の具体性を特定して判定することも可能である。
【０１２８】
次に、図９ないし図１０Ｃに示すフローチャートを用いて、第３実施形態の動作について説明する。図９は、患者端末としての撮像端末２０における動作を示す。このフローは、制御部２１に設けられたＣＰＵが、メモリに記憶されたプログラムに従って、撮像端末２０内の各部を制御することにより実現する。なお、図９に示すフローチャートは、図６Ａに示したフローチャートと略同じであり、相違点を中心に説明する。
【０１２９】
撮像端末制御のフローが開始すると、まず、撮影モードか否かを判定する（Ｓ２１）。図６Ａの場合と同じく、本実施形態においても、撮影モードがデフォルトモードである。この判定の結果、撮影モードでない場合には、再生モードや通信モードを実行する。これらのモードの処理については、詳しい説明を省略する。
【０１３０】
ステップＳ２１における判定の結果、撮影モードの場合には、画像を入力し、スルー画表示を行う（Ｓ２３）。そして、対象物や撮影状況の判定を行い（Ｓ２５）、呼吸を検出し、検出結果を記録し（Ｓ２７）、呼吸状態の推論を行う（Ｓ２９）。推論を行うと、次に、警告、アドバイス、オーダーがあるか否かを判定する（Ｓ３１ａ）。警告やアドバイスは、前述の図６の場合と同じである。オーダーは、後述するステップＳ１２９またはＳ１３１において、オーダー情報が送信されてくる場合がある。このステップでは、オーダー情報を受信したか否かを判定する。
【０１３１】
オーダーは特定の依頼によって撮影を行う場合、そのオーダーに沿った撮影ができ、そのオーダーを出した人の意図を反映ができる。例えば、本願で説明してきたように、生体情報を心拍などから検出するより、具体的に顔色を見たり、患部の変化を目視した方が健康状態を把握しやすい場合がある。この場合には、医師が、そのカメラで顔を撮影して送信してくれとか、患部はどうなっているか見たいので撮影して送信してくれとか、等々のオーダーを受けられるようにすれば、この撮影端末はさらにユーザの健康管理に寄与することが可能となる。
【０１３２】
ステップＳ３１ａにおける判定の結果がＹｅｓの場合には、警告またはアドバイスを行う（Ｓ３３）。ここでは、図６の場合における処理に加えて、オーダー情報を受信した場合には、このオーダーを表示する。
【０１３３】
ステップＳ３３において警告またはアドバイスを行うと、またはステップＳ３１ａにおける判定の結果がＮｏの場合には、次に、調整操作か否かを判定する（Ｓ３５）。この判定の結果がＹｅｓの場合には、調整と操作記録を行う（Ｓ３７）。ここでは、ユーザが撮像端末２０の調整を行う。調整としては、例えば、ユーザが撮像端末２０の撮影方向を変えて構図を変更したとか、焦点距離を変更して構図を変更したとか、露出値を変更して適正露光にする等がある。調整をおこなうと、ユーザが行った調整操作を記録部２８等に記録する。
【０１３４】
ステップＳ３７ａにおいて調整を行うと、またはステップＳ３５における判定の結果がＮｏの場合には、次に、撮影操作が行われたか否かを判定し（Ｓ３９）、撮影操作が行われない場合には、ステップＳ２１に戻る。一方、撮影操作が行われた場合には、画像と撮影状況を記録する（Ｓ４１）。撮影状況は、例えば、何歩歩いたか、いずれの場所で撮影したか、いずれの時間帯で撮影したか等である。また、撮影時の呼吸検出結果を記録する。
【０１３５】
画像および撮影状況等の記録を行うと、次に、撮影結果を表示し、撮影結果を送信する（Ｓ４３ａ）。ここでは、撮影画像を表示部２７に表示し、このときのユーザの生体情報を測定し、記録する。ストレス状態等を検出するためである。また、撮影結果等を管理サーバ１０に送信する。
【０１３６】
次に、同一対象物への集中が所定時間か否かを判定する（Ｓ４５）。ユーザが同一の対象物に集中指定か否かを判定する。この判定の結果、集中していた時間が所定時間以下の場合には、ステップＳ２１に戻る。一方、所定時間以上、集中していた場合には、撮影状況、対象物情報と、生体情報検出結果を送信する（Ｓ４７ａ）。ここでは、それまでに取得した撮影状況、撮影対象物、生体情報検出結果を、管理サーバ１０に送信する。管理サーバ１０は、これらの情報に基づいて、アドバイス表示を作成する。管理サーバからアドバイス表示を受信すると、表示部２７にアドバイス表示を行う（例えば、図８参照）。ステップＳ４７ａの処理を実行すると、ステップＳ２１に戻る。
【０１３７】
なお、図９に示すフローチャートにおいて、ステップＳ４５を省略し、同一対象物に集中した時間に関わりなく、撮影操作が行われた場合には、画像、撮影状況および呼吸検出結果を記録し、撮影結果を表示部に表示した後、記録された情報を管理サーバに送信するようにしてもよい。この場合は、同一対象物の撮影であるかとか、どれぐらいの頻度で操作したかとか、様々な分析、判断が管理サーバでなされることとなる。撮影端末がその一部を分担してもよい。
【０１３８】
次に、図１０Ａないし図１０Ｃに示すフローチャートを用いて、管理サーバ１０の動作について説明する。このフローは、制御部１１に設けられたＣＰＵが、メモリに記憶されたプログラムに従って、管理サーバ１０内の各部を制御することにより実現する。前述したように、管理サーバ１０は、病院内に配置されており、患者端末として撮像端末２０の他、医師が使用する医師端末と、病院内のイントラネットに接続されたパソコン等と接続可能である。
【０１３９】
管理サーバのフローが開始すると、まず、外部端末からアクセスがあったか否かを判定する（Ｓ１０１）。管理サーバ１０は、撮像端末２０以外にも、種々の外部端末と接続可能である。また、管理サーバ１０は、前述したように、本実施形態においては、病院内に設置されているサーバである。このため、院内端末からもアクセスがある（図１０ＣのＳ１４１参照）。このステップＳ１０１においては、撮像端末２０、医師端末等の外部端末からアクセスされたか否かを判定する。
【０１４０】
ステップＳ１０１における判定の結果、外部端末からアクセスがあった場合には、次に、患者端末（撮像端末）からのアクセスか否かを判定する（Ｓ１０３）。ここでは、図７Ｂに示した撮像端末２０からアクセスがあったか否かを判定する。本実施形態においては、生体情報と、健康診断ＤＢ１３ａと関連付け、ストレスの要因として健康状態についても考慮できるように、管理サーバ１０を病院内のサーバとしている。また、患者端末は、患者が携帯している端末、あるいは端末群を意味する。最近では、スマートフォンやウエアラブル情報端末を持って行動する人が増えており、それらが単体で、あるいは連携して患者端末となるが、撮影時のユーザの健康を判定するには、撮像端末でもよい。ただし、撮像端末には撮影以外のアドバイスや生体情報取得の機能が不十分であることもあり、その機能部分は他の情報端末に分担してもらってもよい。
【０１４１】
ステップＳ１０３における判定の結果、患者端末（撮像端末）であった場合には、次に、画像取得か否かを判定する（Ｓ１０５）。撮像端末２０で撮影した画像は、通信部２２から管理サーバ１０に送信されてくる（図９のＳ４７ａ参照）。このステップでは、撮像端末から画像が送信されてきたか否かに基づいて判定する。
【０１４２】
ステップＳ１０５における判定の結果、画像取得でない場合には、学習等を行う（Ｓ１０７）。撮像端末２０は、生体情報検出部２１ｄにおいて行う推論のための推論モデルを外部に依頼してくる。ここでは、この推論モデルの生成依頼があったか否かに基づいて判定する。学習等を行うと、ステップＳ１０１に戻る。
【０１４３】
一方、ステップＳ１０５における判定の結果、画像取得の場合には、次に、健診履歴よりアドバイス有りか否かを判定する（Ｓ１０９）。管理サーバ１０のＤＢ１３には、健診診断ＤＢ１３ａが記録されており、この健診診断ＤＢ１３ａには、健康数値（例えば、体重等）の経時変化が分かるように記録されている。そこで、この健康数値の変化に基づいて、撮像端末２０を使用するユーザにアドバイスがあるか否かを判定する。このアドバイスは、事前に、医師が入力しておいてもよく、また深層学習によって生成した推論モデルを用いて、推論によって作成してもよい。
【０１４４】
ステップＳ１０９における判定の結果、アドバイスがある場合には、健康状態と、ストレス要因に基づいてアドバイスを作成する（Ｓ１１１）。ここでは、健康数値から健康状態が悪いといえる場合には、撮像端末２０に記録されているストレス情報に基づいて健康悪化の要因を推論等により探しだす。同様に、健康数値から健康状態が良好となっている場合にも、撮像端末２０に記録されているストレス情報に基づいて健康が改善された要因を推論等により探しだす。この場合、その根拠を併せて、エビデンス記録部１４の結果を表示してもよい。特に、診察や診断ではなく、行動と健康診断の結果の因果関係をユーザ自らが確認チェックするだけでもニーズがある。
【０１４５】
ステップＳ１１１においてアドバイスを作成すると、またはステップＳ１０９における判定の結果、アドバイスがない場合には、画像を記録し、データベース化する（Ｓ１１３）。ここでは、ステップＳ１０５において取得した画像をＤＢ１３の画像ＤＢ１３ｂに記録する。また、ステップＳ１１１においてアドバイスが作成された場合には、このアドバイスも記録しておく。記録しておくことにより、撮像端末２０からアクセスがあった場合に、このアドバイスを送信し、表示することができる（図８参照）。
【０１４６】
ステップＳ１０３に戻り、この判定の結果、患者端末（撮像端末）でない場合には、該当情報の検索を行う（Ｓ１２１）。患者端末（撮像端末）でない場合は、医師の端末アクセスを想定している。例えば、医師が出先などで、患者から依頼があったり、システムから警告（Ｓ１４９参照）があって、特定の患者の健康状態を確認する必要に迫られた場合、その患者の病歴、受診歴の確認が必要となる。そこで、医師は、病院内の管理サーバ１０に種々の情報を検索するためにアクセスしてくる。また、医師は、患者端末（撮像端末）を使用するユーザに関する情報の検索を要求する場合もある。そこで、このステップでは、管理サーバ１０は、これらの要求に応じた検索を行う。
【０１４７】
続いて、撮影条件の設定等を行う（Ｓ１２３）。患者のさらなる情報を取得するべく、まさに今の状況の電話確認やメール確認を行う場合がある。この場合、撮像端末を持っているユーザに対しては、現在の状況を撮影して（メール添付等で）送れといった指示がありうる。こうした措置を、ステップＳ１２３において、「撮影条件の設定等」と記載している。このステップでは、撮影機能を重視し、医師端末を介して、患者端末としての撮像端末２０に撮影を依頼する場合があり、この撮影の条件等の設定を図示している。例えば、医師が撮像端末で撮影したユーザの顔色が芳しくない場合に、顔色を確かめるために、撮影条件を設定して撮影を依頼する場合がある。
【０１４８】
撮影条件を設定すると、次に、実際に医師からオーダーの依頼があるか否かを判定する（Ｓ１２５）。例えば、ステップＳ１２３において、撮影条件等を設定した場合に、このステップで、撮影依頼のオーダー依頼があると判定される。その他、医師が、撮像端末を使用しているユーザ（患者）に関し、診療に係る依頼（オーダー）を出したい場合であるか否かを判定する。また、健康診断結果から必要なアドバイスがあるかについても判定してもよい。この判定の結果、医師からオーダーがなければ、ステップ１０１に戻る。
【０１４９】
ステップＳ１２５における判定の結果、医師からオーダーがあった場合には、医師が対応するか否かついて判定する（Ｓ１２７）。ここでは、医師端末から、直接、アドバイス（オーダー情報）を患者端末（撮像端末２０）に送信するか否かについて判定する。こうしたオーダーの送信は、医師がマニュアルで指示する場合だけでなく、すでに決められた特定のオーダーを繰り返すだけなら、医師の手を煩わす必要はない。
【０１５０】
ステップＳ１２７における判定の結果、医師が直々に対応する場合には、医師端末からマニュアル操作等によって撮像端末にオーダー情報を送信する（Ｓ１２９）。この場合、自動的に設定されるオーダーでは、指定しきれない細かい注文を入れることが出来る。
【０１５１】
一方、ステップＳ１２７における判定の結果、医師が対応しない場合には、撮像端末にオーダー情報を送信する（Ｓ１３１）。この場合、特定の項目の経過推移だけを検出したいニーズであれば、繰り返し同様のオーダーを出せばよく、医師の手を煩わさずにすむ。ステップＳ１２９またはｓ１３１においては、医師が手動または、医師の監督下で自動的に作成したオーダー（またはアドバイス）を、管理サーバ１０が撮像端末２０に送信する。
【０１５２】
ステップＳ１２９またはＳ１３１においてオーダー情報を送信すると、ステップＳ１０１に戻る。なお、ステップＳ１２９およびＳ１３１において、撮像端末に送信するとしたが、これに限らず、管理サーバ１０内に記録しておき、撮像端末からアクセスがあった場合に、送信するようしてもよい。
【０１５３】
ステップＳ１０１に戻り、このステップにおける判定の結果、外部端末からのアクセスでない場合には、院内端末からのアクセスか否かを判定する（Ｓ１４１）。前述したように、管理サーバ１０は、病院内に設けられており、このステップでは、病院内の端末からアクセスがあったか否かを判定する。
【０１５４】
ステップＳ１４１における判定の結果、院内端末であった場合には、次に、ログインがＯＫか否かを判定する（Ｓ１４３）。院内端末から不正にアクセスされないように、ログインパスワード等によるアクセスがなされたか否かを判定する。ログインが正常になされた場合には、要求のあった患者等の情報やその他の情報を院内端末に表示する。また、院内端末から管理サーバ１０に入力情報がある場合には、それらの情報の入力を行う。
【０１５５】
続いて、医師端末の登録等を行う（Ｓ１４５）。ここでは、医師端末を管理サーバ１０に登録する処理を実行する。また、患者端末（撮像端末）を登録する処理を行ってもよい。端末登録がなければ、このステップをスキップしてもよい。
【０１５６】
次に、ログアウトか否かを判定する（Ｓ１４７）。院内端末から管理サーバ１０にアクセスを終了する場合には、ログアウト処理がなされる。このステップでは、このログアウト処理が実行されたか否かを判定する。この判定の結果、ログアウトがなされていない場合には、ステップＳ１４３に戻る。一方、ログアウト処理がなされた場合には、ステップＳ１０１に戻る。
【０１５７】
ステップＳ１４１に戻り、このステップにおける判定の結果、院内端末からのアクセスでない場合には、取得参照画像の変化管理を定期的に行う（Ｓ１４９）。これは、適宜、患者の画像やストレス状態が蓄えられていくことから実施すべきステップであり、何か特定の変化（プログラムされた検出や人工知能による推論による）があった場合は、医師に知らせる、あるいは患者やその家族に知らせる等の処置が行われる。具体的には、それぞれの端末に通知を送信する。つまり、前述のステップＳ１１３等において、画像を取得し記録している。このステップＳ１４９では、取得した画像を所定期間ごとに、その変化を管理する。例えば、同一の患者について、画像の変化を管理する。この変化の管理は、医師が行ってもよいが、深層学習を利用した人工知能によって行うようにしても良い。画像の変化から、診療・治療等が必要の場合には、患者の担当医師の医師端末に連絡する。担当医師は、必要に応じて、患者端末にオーダー情報を送信する（Ｓ１２９参照）。画像の変化管理を行うと、ステップＳ１０１に戻る。
【０１５８】
このように、本発明の第３実施形態においては、撮像端末２０は管理サーバ１０と連携が可能である。撮像端末２０において検知されたストレス状態の変化に加えて、管理サーバ１０に記録されている健康診断の経時変化を参酌して、的確なアドバイスを表示することができる。すなわち、健康診断時、あるいは診察時の比較的安静状態、または、院内等における特別な状況下での生体情報の取得のみならず、生活シーンにおける活動状態の生体情報、ストレス情報を取得しておく。そして、これらの情報を包括的に判断して、より高度で信頼のおける健康増進、健康維持の方策を提示することができる。例えば、医師に緊急通知をしてもよく、これまで知ることのできなかった生活シーンにおける情報を加味しての診断の元となる情報収集が可能となる。また、患者サイドにも、その行動を続けるべきか否かを含め、具体的な行動ごとに健康に対する良し悪しを提示でき、例えば、何か問題、懸念のある状況下などでは、リアルタイムで撮像端末２０のユーザに的確なアドバイスを表示することができる（図８参照）。
【０１５９】
次に、図１１を用いて、本発明の各実施形態における判定タイミングについて説明する。図１１に示すタイミング判定において、判定タイミング判断部４１およびストレス判断部４３は、撮像端末２０内の制御部２１がその機能を実行する。しかし、第３実施形態においては、管理サーバ１０内の制御部１１が、その機能の一部を実行するようにしてもよい。
【０１６０】
図１１に示す例では、撮像端末２０において、カメラ操作情報およびカメラ生体情報が取得される。ここで、カメラ操作情報は、操作入力部２５の内の、レリーズ操作および釦操作に関する情報がある。またカメラ操作情報としては、撮像部２２において写真撮影した際の撮影情報、例えば、撮影レンズの焦点距離、撮影レンズのピント位置、露出制御値（シャッタ速度、絞り値、ＩＳＯ感度等）が取得される。
【０１６１】
また、カメラ生体情報としては、手振れデータと呼吸データがある。手振れデータは、撮像端末２０に設けられた手振れセンサ等からのデータである。また呼吸データは、生体情報計測部２６内の音声検出部２６ｂによって検出されたユーザの呼気の音声に基づくデータである。なお、生体情報およびカメラ操作情報は、図１１に記載した項目は、例示であり、他の情報を追加してもよい。
【０１６２】
上述のカメラ生体情報およびカメラ操作情報は、判定タイミング判断部４１（制御部２１）によって、所定の時間間隔で、各データを取得できる。すなわち、時刻ｔ１、ｔ２、・・・のタイミングで、各データを取得可能である。
【０１６３】
外部生体情報は、撮像端末２０の外部にある機器によって取得される。例えば、スマートウォッチ等、ユーザが装着する機器に生体情報取得用のセンサを設け、このセンサによって生体情報を取得する。これらの生体情報として、心拍データ、筋力データ、発汗データ等を取得する。外部機器と撮像端末２０との間は、無線通信等によって所定のタイミングでデータの授受を行う。図１１の例では、時刻Ｔ１１、Ｔ１２、Ｔ１３にデータの取得を行う。通信に電力消費がかかることや、外部機器の電力が限られていることから、撮像端末２０の内部センサによって取得する場合に比較し、データの取得間隔を広くしている。
【０１６４】
撮像端末内に設けられたストレス判断部４３は、時刻Ｔ１１、Ｔ１２、Ｔ１３のタイミングで、カメラ生体情報およびカメラ操作情報を取得し、また外部生体情報も取得して、ストレス判断を行う。すなわち、カメラ生体情報およびカメラ操作情報は、時刻ｔ１、ｔ２、・・・と狭い時間間隔で取得可能であるが、外部生体情報については、時刻Ｔ１１、Ｔ１２、Ｔ１３と広い間隔で取得可能である。
【０１６５】
また、判定タイミング判断部４１は、判定タイミング判断部４１がカメラ生体情報またはカメラ操作情報を取得したタイミングの内、特定のタイミングにストレス判断部４３にデータを送信するようにしてもよい。特定のタイミングとしては、例えば、ユーザがレリーズ釦を半押し操作を行ったタイミング、レリーズ釦を全押し操作を行ったタイミング、手振れデータに基づいて動いている状態から静止状態に変化したタイミング等がある。このような特定タイミングで、ストレス判断を行うことにより、常時ストレス判断を行う場合に比較し、電源浪費を防止することができる。特定タイミングを、撮影動作の一区切りとなるタイミングに設定することにより、それまでの一連の撮影行為に対するストレス状態を判断し易く、判断結果の信頼性を高くすることができる。
【０１６６】
次に、図１２を用いて、判定タイミングの変形例について説明する。図１１に示した冷では、判定タイミング判断部４１は、カメラ操作情報およびカメラ生体情報の判定タイミングを決めていた。しかし、本変形例では、判定タイミング判断４１は、カメラ操作情報の判定タイミングのみを決めている。カメラ生体情報の判定タイミングは、ストレス判断部４３が決める。したがって、ストレス判断部４３は、カメラ生体情報および外部生体情報の判定タイミングを決め、このタイミングでストレス状態を判断する。
【０１６７】
このように、手振れデータおよび呼吸データのようなカメラ生体情報について、判定タイミングの間隔を広くすることにより、データ取得のための電源浪費を防止することができる。カメラ操作情報は、カメラの操作状態を検知するだけであることから、カメラ生体情報を取得する場合に比較し、電源を消費が少ないことから、本変形例は更に電源消費を低減させることができる。
【０１６８】
以上説明したように、本発明の各実施形態においては、被写体を撮像し（例えば、図６ＡのＳ２３参照）、被写体の画像を取得するための撮影行為中の特定状態を検出して、撮影者の生体情報を取得し（例えば、Ｓ２７参照）、特定状態が検出された際に、生体情報に基づいて、当該撮影行為が撮影者に与えるストレス状態を判定している（例えば、Ｓ２９参照）。そして、撮影状況等とストレス状態を関連付けて表示している（例えば、Ｓ４７参照）。このため、気づかずに健康に寄与する行動を行っていることを検出できる。すなわち、ストレスは健康に関連しており、撮影をすることによって、健康状態が改善されたことを検出することが可能となる。
【０１６９】
また、本発明の各実施形態においては、被写体を撮像し（例えば、図６ＡのＳ２１）、撮影行為中に撮影者の生体情報を取得し（例えば、Ｓ２７参照）、生体情報に基づいて、撮影行為が撮影者に与えるストレス状態を判定し（例えば、Ｓ２９参照）、ストレス状態を表示している。このため、気づかずに健康に寄与する行動を行っていることを知らせることができる。すなわち、撮影行為中に取得した生体情報に基づいてストレス情報を検出しているので、このストレス状態を確認することにより、撮影者は気づかずに健康に寄与していることを知ることができる。
【０１７０】
また、制御部１１、２１は、プロセッサで構成するが、前述したハードウエア回路、またはプログラム言語によるソフトウエアによって実現する以外にも、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。
【０１７１】
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ、顕微鏡等の科学機器用のカメラ、自動車搭載用カメラ、監視用カメラでも構わない。いずれにしても、生体情報を取得できる機器であれば、本発明を適用することができる。
【０１７２】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【０１７３】
また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。
【０１７４】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【０１７５】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１７６】
１０・・・管理サーバ、１１・・・制御部、１１ａ・・・対象物判定部、１１ａ１・・・顔判定部、１１ａ２・・・利用機材判定部、１１ｂ・・・タイミング判定部、１１ｃ・・・表示制御部、１１ｄ・・・ガイド部、１２・・・通信部、１３・・・データベース（ＤＢ）、１３ａ・・・健康診断ＤＢ、１３ｂ・・・画像ＤＢ、１４・・・エビデンス記録部、１５・・・時計部、２０・・・撮像端末、２１・・・制御部、２１ａ・・・生体情報特徴検出部、
２１ｂ・・・心拍間隔検出部、２１ｃ・・・ストレス変化検出部、２１ｄ・・・生体情報検出部、２１ｅ・・・表示制御部、２１ｆ・・・記録制御部、２２・・・撮像部、２３・・・時計部、２４・・・通信部、２５・・・操作入力部、２６・・・生体情報計測部、２６ａ・・・背面カメラ、２６ｂ・・・音声検出部、２６ｃ・・・Ｒ−Ｒ検出部、２７・・・表示部、２８・・・記録部、２９・・・画像群、３１・・・ユーザ、３３・・・野鳥、３５ａ・・・学習用入力データ、３５ｂ・・・学習用出力データ、３６・・・入力、３７・・・ネットワークデザイン、３８・・・出力、３９・・・推論モデル、４１・・・判定タイミング決定部、４３・・・ストレス判断部
【図１Ａ】
2020099508.tif 000003
【図１Ｂ】
2020099508.tif 000004
【図２】
2020099508.tif 000005
【図３】
2020099508.tif 000006
【図４】
2020099508.tif 000007
【図５】
2020099508.tif 000008
【図６Ａ】
2020099508.tif 000009
【図６Ｂ】
2020099508.tif 000010
【図６Ｃ】
2020099508.tif 000011
【図７Ａ】
2020099508.tif 000012
【図７Ｂ】
2020099508.tif 000013
【図８】
2020099508.tif 000014
【図９】
2020099508.tif 000015
【図１０Ａ】
2020099508.tif 000016
【図１０Ｂ】
2020099508.tif 000017
【図１０Ｃ】
2020099508.tif 000018
【図１１】
2020099508.tif 000019
【図１２】
2020099508.tif 000020