(57)【要約】【課題】スマートフォンを情報端末として使用しながら精神面の解析をする。【解決手段】測定精度と心拍数と標準偏差と色演算とのすべてが各所定範囲にあるときに合格判定をする合格判定処理と、携帯情報端末が情報をダウンロードするごとまたは所定の時刻ごとに、直前に得られた指先ビデオ輝度信号またはＲＲ間隔データと携帯情報端末が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データをサーバに送信するコンテンツ・時刻・指先情報紐付データ送信処理と、サーバからの画面情報を受信して画面表示する画面情報受信表示処理と、をスマートフォン１０のコンピュータに実行させるための、プログラムである。【選択図】図１
2019180666.tif 000002
【特許請求の範囲】
【請求項１】
カメラを内蔵する携帯情報端末のコンピュータに、
前記携帯情報端末が得た情報を操作者が利用中における所定時間ごとに、
カメラで撮像したＲ（赤），Ｇ（緑），Ｂ（青）成分を取得するＲ，Ｇ，Ｂ成分取得処理と、
前記Ｒ，Ｇ，Ｂ成分を加算したビデオ輝度信号を取得するビデオ輝度信号取得処理と、
前記ビデオ輝度信号に含まれるピーク間隔を検出するピーク間隔検出処理と、
（正常ピーク間隔の数）/（全ピーク間隔数）で演算される正常ピークの割合（測定精度）を判定する測定精度判定処理と、
（全ピーク間隔数）/（全ピーク間隔経過時間：単位は分）で演算される前記ピーク間隔の１分間における発生回数（心拍数）を求める心拍数演算処理と、
前記ビデオ輝度信号の振幅の標準偏差（振幅標準偏差）を演算する標準偏差検出処理と、
（前記Ｒ成分−前記Ｇ成分）および（前記Ｒ成分−前記Ｂ成分）の演算（色演算）をする色演算処理と、
前記測定精度と前記心拍数と前記標準偏差と前記色演算とのすべてが各所定範囲にあるときに前記ビデオ輝度信号を指先から検出する良質なる指先ビデオ輝度信号であり、前記ピーク間隔を良質なるＲＲ間隔データであるとの合格判定をする合格判定処理と、
前記携帯情報端末が情報をダウンロードするごとまたは所定の時刻ごとに、直前に得られた前記指先ビデオ輝度信号または前記ＲＲ間隔データと前記携帯情報端末が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データをサーバに送信するコンテンツ・時刻・指先情報紐付データ送信処理と、
前記サーバからの画面情報を受信して画面表示する画面情報受信表示処理と、を実行させるための、
脈波検出端末プログラム。
【請求項２】
携帯情報端末と接続されるサーバのコンピュータに、
前記携帯情報端末から送信される指先ビデオ輝度信号またはＲＲ間隔データと前記携帯情報端末が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データを受信するコンテンツ・時刻・指先情報紐付データ受信処理と、
前記指先ビデオ輝度信号を受信する場合には選択的に前記指先ビデオ輝度信号から前記ＲＲ間隔データを検出するＲＲ間隔データ検出処理と、
前記ＲＲ間隔データを一定サンプリング周期のＲＲ間隔時系列データに変換するリサンプリング処理と、
前記ＲＲ間隔時系列データの高速フーリエ変換をする高速フーリエ変換処理と、
前記高速フーリエ変換された周波数スペクトルの高周波成分と低周波成分とを分離し、前記高周波成分と前記低周波成分とに基づき、または、前記高周波成分と前記低周波成分と心拍数とに基づいて精神面を解析する精神面解析処理と、
前記精神面を前記コンテンツ情報または前記脈波検出時刻と関連づけて画面表示するための画面情報を作成する画面作成処理と、
前記画面情報を前記携帯情報端末に送信する画面情報送信処理と、を実行させるための、
脈波解析サーバプログラム。
【請求項３】
カメラを内蔵する携帯情報端末のコンピュータに、
前記携帯情報端末が得た情報を操作者が利用中における所定時間ごとに、
カメラで撮像したＲ（赤），Ｇ（緑），Ｂ（青）成分を取得するＲ，Ｇ，Ｂ成分取得処理と、
前記Ｒ，Ｇ，Ｂ成分を加算したビデオ輝度信号を取得するビデオ輝度信号取得処理と、
前記ビデオ輝度信号に含まれるピーク間隔を検出するピーク間隔検出処理と、
（正常ピーク間隔の数）/（全ピーク間隔数）で演算される正常ピークの割合（測定精度）を判定する測定精度判定処理と、
（全ピーク間隔数）/（全ピーク間隔経過時間：単位は分）で演算される前記ピーク間隔の１分間における発生回数（心拍数）を求める心拍数演算処理と、
前記ビデオ輝度信号の振幅の標準偏差（振幅標準偏差）を演算する標準偏差検出処理と、
（前記Ｒ成分−前記Ｇ成分）および（前記Ｒ成分−前記Ｂ成分）の演算（色演算）をする色演算処理と、
前記測定精度と前記心拍数と前記標準偏差と前記色演算とのすべてが各所定範囲にあるときに前記ピーク間隔を良質なるＲＲ間隔データであるとの合格判定をする合格判定処理と、
前記携帯情報端末が情報をダウンロードするごとまたは所定の時刻ごとに、前記ＲＲ間隔データと前記携帯情報端末が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けるコンテンツ・時刻・指先情報紐付処理と、
前記ＲＲ間隔データを一定サンプリング周期のＲＲ間隔時系列データに変換するリサンプリング処理と、
前記ＲＲ間隔時系列データの高速フーリエ変換をする高速フーリエ変換処理と、
前記高速フーリエ変換された周波数スペクトルの高周波成分と低周波成分とを分離し、前記高周波成分と前記低周波成分とに基づき、または、前記高周波成分と前記低周波成分と前記心拍数とに基づき、または、前記高周波成分と前記低周波成分と前記心拍数とに基づいて精神面を解析する精神面解析処理と、
前記精神面を前記コンテンツ情報または前記脈波検出時刻と関連づけて画面表示するための画面情報を作成する画面作成処理と、
前記画面情報をディスプレイに画面表示する画面表示処理と、を実行させるための、
脈波検出解析端末プログラム。
【請求項４】
前記測定精度、前記心拍数、前記色演算の各判定処理を前記ビデオ輝度信号の前記ピーク間隔を検出するごとに実行させ、
前記各判定処理のいずれか一つでも合格しない場合には、その時点ですべての処理をリセットし処理を最初に戻し、再び所定期間ごとの処理を開始させる、
請求項１に記載の脈波検出端末プログラム。
【請求項５】
画面作成処理において、
日時と精神面に対応する顔マークとを前記脈波検出時刻の順番に並べて画面表示するための画面情報を作成する処理を実行させるための、
請求項２に記載の脈波解析サーバプログラム。
【請求項６】
画面作成処理において、
読んだ記事とその時の精神面との間にある傾向を解析して、該傾向を画面表示するための画面情報作成する処理を実行させるための、
請求項２に記載の脈波解析サーバプログラム。
【請求項７】
画面作成処理において、
「ニュートラル」、「集中」、「ストレス」、「疲労」、「リラックス」の各々の精神状態を％表示するための画面情報作成する処理を実行させるための、
請求項２に記載の脈波解析サーバプログラム。
【請求項８】
画面作成処理において、
自分の精神面と該サーバと接続する他者の平均的な精神面とを対比して表示するための画面情報作成する処理を実行させるための、
請求項２に記載の脈波解析サーバプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、脈波検出端末プログラム、脈波解析サーバプログラム、脈波検出解析端末プログラムに関する。
【背景技術】
【０００２】
現代人は、常にスマートフォンを持ち歩き、大量の時間をスマホの操作に費やしている。スマートフォンとは、先進的な携帯情報端末用のＯＳ（オペレ―テイングシステム）を備えた携帯電話の一種である。近年のスマートフォンは高解像度カメラを備えている。
【０００３】
本願明細書に記載の発明者（以下では単に発明者と称する）は、スマートフォンのカメラを使用して指先を撮影して脈波を検出して、どのような精神状態であるか（以下では精神面と称する）を測定する装置を提案している。ＲＲ間隔の高周波成分ＨＦは副交感神経の活動を表し、低周波成分ＬＦは交感神経の活動を表す指標として定義されること。高周波成分ＨＦは、フーリエ変換した後、０．１５〜０．４Ｈｚの帯域を通過させるフィルタによって得られる０．１５〜０．４Ｈｚのパワースペクトルの積分値であり低周波成分ＬＦは、０．０４〜０．１５Ｈｚの帯域を通過させるフィルタによって得られるパワースペクトルの積分値であることが記載されている。（特許文献１を参照）。また、特許文献２には、被測定者の心電データを心電図モニタにより測定し、測定された心電データに基づいて、心拍変動の高周波成分ＨＦ、低周波成分ＬＦおよびＣＶＲＲ（心電図Ｒ−Ｒ間隔変動係数）を算出することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2014−140587号公報
【特許文献２】特開2011−120618号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
スマートフォンを使っている時間（例えば、ニュースを閲覧、LINE（登録商標）でメッセージを送る、音楽を聴く、映画を見る等の時間）は、通常はその目的とする情報収集に専念している。現代社会は情報にあふれており、それらの情報の多くはインターネットを介して携帯情報端末の１種類であるスマートフォンによって入手が可能である。それらの情報に対して湧き上がる感情が何であるかを自ら理解しがたいこともあり、自分の感情を客観的に把握する手段を求めている。さらに、同じ情報に接した他者の反応、他者が関心を示す情報か否か、その情報に対してどのような感情を抱くか等を知ることは多様性を積極的に認める社会では重要であり、同じ感動を共有することは共同体の絆形成にとって重要である。
【０００６】
また、スマートフォンは、相互に関連する情報を次々と検索できるという即応性に特徴がある。よって、同一情報に注目している間に、スマートフォンを使っている者（以下では単に操作者と称する）の精神面を客観的に評価し、スマートフォンが提示する情報の内容とスマートフォン操作者の精神面とを紐づけて、圧倒的なビックデータを採取することが出来るならば、情報の取捨選択、情報の評価のための時間制約、自分を客観的に見つめることの困難性、同一情報に接した他者の多様な感情を知ることの困難性、が解決できることとなる。
【０００７】
また、自分の精神面を定期的に知ることは健康管理上も望ましいものであるが、精神面の測定を専らとする機器を用いて、毎日、欠かさずに測定することは億劫であり忘れがちになる。スマートフォンの操作は現代において頻繁におこなわれるので、この機会に同時に精神面を解析できれば、毎日、欠かさずに自分の精神面を知るという課題も容易に解決できることとなる。
【０００８】
本発明は、上述の課題を解決するため、スマートフォン（広くは携帯情報端末）を通常のように使用しながら、スマートフォンのコンピュータに実行させる、脈波検出端末プログラム、脈波解析サーバプログラム、脈波検出解析端末プログラム、を提供するものである。
【課題を解決するための手段】
【０００９】
本発明の脈波検出端末プログラムは、カメラを内蔵する携帯情報端末のコンピュータに、前記携帯情報端末が得た情報を操作者が利用中における所定時間ごとに、カメラで撮像したＲ（赤），Ｇ（緑），Ｂ（青）成分を取得するＲ，Ｇ，Ｂ成分取得処理と、前記Ｒ，Ｇ，Ｂ成分を加算したビデオ輝度信号を取得するビデオ輝度信号取得処理と、前記ビデオ輝度信号に含まれるピーク間隔を検出するピーク間隔検出処理と、（正常ピーク間隔の数）/（全ピーク間隔数）で演算される正常ピークの割合（測定精度）を判定する測定精度判定処理と、（全ピーク間隔数）/（全ピーク間隔経過時間：単位は分）で演算される前記ピーク間隔の１分間における発生回数（心拍数）を求める心拍数演算処理と、前記ビデオ輝度信号の振幅の標準偏差（振幅標準偏差）を演算する標準偏差検出処理と、（前記Ｒ成分−前記Ｇ成分）および（前記Ｒ成分−前記Ｂ成分）の演算（色演算）をする色演算処理と、前記測定精度と前記心拍数と前記標準偏差と前記色演算とのすべてが各所定範囲にあるときに前記ビデオ輝度信号を指先から検出する良質なる指先ビデオ輝度信号であり、前記ピーク間隔を良質なるＲＲ間隔データであるとの合格判定をする合格判定処理と、前記携帯情報端末が情報をダウンロードするごとまたは所定の時刻ごとに、直前に得られた前記指先ビデオ輝度信号または前記ＲＲ間隔データと前記携帯情報端末が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データをサーバに送信するコンテンツ・時刻・指先情報紐付データ送信処理と、前記サーバからの画面情報を受信して画面表示する画面情報受信表示処理と、を実行させるための、プログラムである。
【００１０】
本発明の脈波解析サーバプログラムは、携帯情報端末と接続されるサーバのコンピュータに、前記携帯情報端末から送信される指先ビデオ輝度信号またはＲＲ間隔データと前記携帯情報端末が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データを受信するコンテンツ・時刻・指先情報紐付データ受信処理と、前記指先ビデオ輝度信号を受信する場合には選択的に前記指先ビデオ輝度信号から前記ＲＲ間隔データを検出するＲＲ間隔データ検出処理と、前記ＲＲ間隔データを一定サンプリング周期のＲＲ間隔時系列データに変換するリサンプリング処理と、前記ＲＲ間隔時系列データの高速フーリエ変換をする高速フーリエ変換処理と、前記高速フーリエ変換された周波数スペクトルの高周波成分と低周波成分とを分離し、前記高周波成分と前記低周波成分とに基づき、または、前記高周波成分と前記低周波成分と心拍数とに基づいて精神面を解析する精神面解析処理と、前記精神面を前記コンテンツ情報または前記脈波検出時刻と関連づけて画面表示するための画面情報を作成する画面作成処理と、前記画面情報を前記携帯情報端末に送信する画面情報送信処理と、を実行させるための、プログラムである。
【００１１】
本発明の脈波検出解析端末プログラムは、カメラを内蔵する携帯情報端末のコンピュータに、前記携帯情報端末が得た情報を操作者が利用中における所定時間ごとに、カメラで撮像したＲ（赤），Ｇ（緑），Ｂ（青）成分を取得するＲ，Ｇ，Ｂ成分取得処理と、前記Ｒ，Ｇ，Ｂ成分を加算したビデオ輝度信号を取得するビデオ輝度信号取得処理と、前記ビデオ輝度信号に含まれるピーク間隔を検出するピーク間隔検出処理と、（正常ピーク間隔の数）/（全ピーク間隔数）で演算される正常ピークの割合（測定精度）を判定する測定精度判定処理と、（全ピーク間隔数）/（全ピーク間隔経過時間：単位は分）で演算される前記ピーク間隔の１分間における発生回数（心拍数）を求める心拍数演算処理と、前記ビデオ輝度信号の振幅の標準偏差（振幅標準偏差）を演算する標準偏差検出処理と、（前記Ｒ成分−前記Ｇ成分）および（前記Ｒ成分−前記Ｂ成分）の演算（色演算）をする色演算処理と、前記測定精度と前記心拍数と前記標準偏差と前記色演算とのすべてが各所定範囲にあるときに前記ピーク間隔を良質なるＲＲ間隔データであるとの合格判定をする合格判定処理と、前記携帯情報端末が情報をダウンロードするごとまたは所定の時刻ごとに、前記ＲＲ間隔データと前記携帯情報端末が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けるコンテンツ・時刻・指先情報紐付処理と、前記ＲＲ間隔データを一定サンプリング周期のＲＲ間隔時系列データに変換するリサンプリング処理と、前記ＲＲ間隔時系列データの高速フーリエ変換をする高速フーリエ変換処理と、前記高速フーリエ変換された周波数スペクトルの高周波成分と低周波成分とを分離し、前記高周波成分と前記低周波成分とに基づき、または、前記高周波成分と前記低周波成分と前記心拍数とに基づいて精神面を解析する精神面解析処理と、前記精神面を前記コンテンツ情報または前記脈波検出時刻と関連づけて画面表示するための画面情報を作成する画面作成処理と、前記画面情報をディスプレイに画面表示する画面表示処理と、を実行させるための、プログラムである。
【発明の効果】
【００１２】
本発明によれば、スマートフォンの操作者がインターネット情報に接しながら脈波の検出解析をスマートフォンまたは/およびサーバのコンピュータに実行させるので、インターネット情報によってどのように心が動かされたか、スマートフォンを操作中の脈波検出時刻にどのように心が動かされたかを自ら気付くことができる。また、スマートフォン操作者が接したと同じ情報を他者がどのように受け入れたかを知り、自分と比較対照し、自分の特徴を知ることができる。さらに、操作者の気持ちとスマートフォンがダウンロードした情報とを関係付けたビッグデータをサーバが解析して、操作者の精神面に鑑み有益であろう情報を取捨選択して当該スマートフォンに送ることができる。また、スマートフォンを操作しながら、忘れることなく自分の精神面の管理ができる。
【図面の簡単な説明】
【００１３】
【図１】脈波検出解析システムを示す図である。
【図２】スマートフォンを用いて脈波を検出している状態の図面代用写真である。
【図３】指先をカメラで撮影したときの指先ビデオ輝度信号の波形の一例である。
【図４】ビデオ輝度信号に含まれるピーク間隔を検出するピーク間隔検出処理を模式的に示す図である。
【図５】色判定の指標について説明をする図である。
【図６】脈波検出端末プログラムをスマートフォンのコンピュータにおいて起動させたときのトップ画面である。
【図７】「キモチの変化」の画面表示である。
【図８】「キモチの変化」においてサーバが解析した「傾向分析」を示す画面表示である。
【図９】「あなたのキモチＮＥＷＳ」、「みんなのキモチＮＥＷＳ」の画面表示である。
【図１０】操作者の属性を未だ収集していない場合に、サーバがスマートフォンに表示させる画面である。
【図１１】「ストレス分析」における画面表示である。
【図１２】「キモチログ」、「ライフリズム」の画面表示である。
【図１３】「ストレスレーダーチャート」、「詳細データ」の画面表示である。
【図１４】「マンスリーレポート」、「ライフリズム比較」の画面表示である。
【図１５】「ストレスレーダーチャート比較」、「自律神経年齢」の画面表示である。
【図１６】「詳細データ」、「おすすめコラム」の画面表示である。
【図１７】「ニュートラル」、「集中」、「ストレス」、「疲労」、「リラックス」の各々を示す図である。
【図１８】第１の脈波検出端末プログラムのフローチャートである。
【図１９】脈波解析サーバプログラムのフローチャートである。
【図２０】第２の脈波検出端末プログラムのフローチャートである。
【図２１】脈波検出解析端末プログラムのフローチャートである。
【発明を実施するための形態】
【００１４】
「第１実施形態」
第１実施形態の脈波検出端末プログラムは、カメラを内蔵する携帯情報端末のコンピュータに、携帯情報端末が得た情報を操作者が利用中における所定時間ごとに、カメラで撮像したＲ（赤），Ｇ（緑），Ｂ（青）成分を取得するＲ，Ｇ，Ｂ成分取得処理と、Ｒ，Ｇ，Ｂ成分を加算したビデオ輝度信号を取得するビデオ輝度信号取得処理と、ビデオ輝度信号に含まれるピーク間隔を検出するピーク間隔検出処理と、（正常ピーク間隔の数）/（全ピーク間隔数）で演算される正常ピークの割合（測定精度）を判定する測定精度判定処理と、（全ピーク間隔数）/（全ピーク間隔経過時間：単位は分）で演算されるピーク間隔の１分間における発生回数（心拍数）を求める心拍数演算処理と、ビデオ輝度信号の振幅の標準偏差（振幅標準偏差）を演算する標準偏差検出処理と、（Ｒ成分−Ｇ成分）および（Ｒ成分−Ｂ成分）の演算（色演算）をする色演算処理と、測定精度と心拍数と標準偏差と色演算とのすべてが各所定範囲にあるときにビデオ輝度信号を指先から検出する良質なる指先ビデオ輝度信号であり、ピーク間隔を良質なるＲＲ間隔データであるとの合格判定をする合格判定処理と、携帯情報端末が情報をダウンロードするごとまたは所定の時刻ごとに、直前に得られた指先ビデオ輝度信号またはＲＲ間隔データと携帯情報端末が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データをサーバに送信するコンテンツ・時刻・指先情報紐付データ送信処理と、サーバからの画面情報を受信して画面表示する画面情報受信表示処理と、を実行させるための、プログラムである。
【００１５】
「第２実施形態」
第２実施形態の脈波解析サーバプログラムは、携帯情報端末と接続されるサーバのコンピュータに、携帯情報端末から送信される指先ビデオ輝度信号またはＲＲ間隔データと携帯情報端末が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データを受信するコンテンツ・時刻・指先情報紐付データ受信処理と、指先ビデオ輝度信号を受信する場合には選択的に指先ビデオ輝度信号からＲＲ間隔データを検出するＲＲ間隔データ検出処理と、ＲＲ間隔データを一定サンプリング周期のＲＲ間隔時系列データに変換するリサンプリング処理と、ＲＲ間隔時系列データの高速フーリエ変換をする高速フーリエ変換処理と、高速フーリエ変換された周波数スペクトルの高周波成分と低周波成分とを分離し、高周波成分と低周波成分とに基づき、または、高周波成分と低周波成分と心拍数とに基づき、または、高周波成分と低周波成分と心拍数とに基づいて精神面を解析する精神面解析処理と、精神面をコンテンツ情報または脈波検出時刻と関連づけて画面表示するための画面情報を作成する画面作成処理と、画面情報を携帯情報端末に送信する画面情報送信処理と、を実行させるための、プログラムである。
【００１６】
「第３実施形態」
本発明の脈波検出解析端末プログラムは、カメラを内蔵する携帯情報端末のコンピュータに、携帯情報端末が得た情報を操作者が利用中における所定時間ごとに、カメラで撮像したＲ（赤），Ｇ（緑），Ｂ（青）成分を取得するＲ，Ｇ，Ｂ成分取得処理と、Ｒ，Ｇ，Ｂ成分を加算したビデオ輝度信号を取得するビデオ輝度信号取得処理と、ビデオ輝度信号に含まれるピーク間隔を検出するピーク間隔検出処理と、（正常ピーク間隔の数）/（全ピーク間隔数）で演算される正常ピークの割合（測定精度）を判定する測定精度判定処理と、（全ピーク間隔数）/（全ピーク間隔経過時間：単位は分）で演算されるピーク間隔の１分間における発生回数（心拍数）を求める心拍数演算処理と、ビデオ輝度信号の振幅の標準偏差（振幅標準偏差）を演算する標準偏差検出処理と、（Ｒ成分−Ｇ成分）および（Ｒ成分−Ｂ成分）の演算（色演算）をする色演算処理と、測定精度と心拍数と標準偏差と色演算とのすべてが各所定範囲にあるときにピーク間隔を良質なるＲＲ間隔データであるとの合格判定をする合格判定処理と、携帯情報端末が情報をダウンロードするごとまたは所定の時刻ごとに、ＲＲ間隔データと携帯情報端末が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けるコンテンツ・時刻・指先情報紐付処理と、ＲＲ間隔データを一定サンプリング周期のＲＲ間隔時系列データに変換するリサンプリング処理と、ＲＲ間隔時系列データの高速フーリエ変換をする高速フーリエ変換処理と、高速フーリエ変換された周波数スペクトルの高周波成分と低周波成分とを分離し、高周波成分と低周波成分とに基づき、または、高周波成分と低周波成分と心拍数とに基づいて精神面を解析する精神面解析処理と、精神面をコンテンツ情報または脈波検出時刻と関連づけて画面表示するための画面情報を作成する画面作成処理と、画面情報をディスプレイに画面表示する画面表示処理と、を実行させるための、プログラムである。
【００１７】
第１実施形態の脈波検出端末プログラムと、第２実施形態の脈波解析サーバプログラムとは、それぞれの特別な技術的特徴が相補的に関連している。すなわち、第１実施形態の脈波検出端末プログラムは、指先ビデオ輝度信号またはＲＲ間隔データと、携帯情報端末が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データをサーバに送信するコンテンツ・時刻・指先情報紐付データ送信処理を有する。一方、第２実施形態の脈波解析サーバプログラムは、携帯情報端末から送信される指先ビデオ輝度信号またはＲＲ間隔データを、携帯情報端末が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻と紐付けたコンテンツ・時刻・指先情報紐付データを受信するコンテンツ・時刻・指先情報紐付データ受信処理を有する。このようにそれぞれの特別な技術的特徴が相補的に関連して、プログラムを実行することによって一つの脈波検出解析システムを構成している。また、第３実施形態の脈波検出解析端末プログラムは、第１実施形態の脈波検出端末プログラムと、第２実施形態の脈波解析サーバプログラムのそれぞれと特別な技術的特徴を共有して、これらの特別な技術的特徴を組み合わせスタンドアローン構成によって、両者のプログラムを組み合わせたのと同様の処理を実行している。
【００１８】
「第１実施形態の概要」
第１実施形態の脈波検出端末プログラムは、カメラを内蔵する携帯情報端末のコンピュータのカメラの機能を用いて、「ながら」脈波検出処理を実行させる。「ながら」脈波検出という概念は今までにないものであるので、まず、これについて説明をする。
【００１９】
（本実施形態の「ながら」脈波検出と、従来技術の「集中」脈波検出）
脈波検出解析システムにおいては、スマートフォンの操作者は、スマートフォンを携帯情報端末として活用し「ながら」、「脈波」を「検出」する。この「ながら」「脈波」「検出」を繋げたのが、「ながら」脈波検出の語源であり、発明者が命名したものである。携帯情報端末として活用しながら、とは、スマートフォンの表側の画面表示面を視認し、タッチ入力パネルとしても機能する画面表示面を操作して、ニュースを閲覧、LINE（登録商標）でメッセージを送る、音楽を聴く、映画を見る等に意識が集中している状態においてと言う意味である。このような状態での脈波検出は、いわば、「ながら」脈波検出ともいえるものである。
【００２０】
上述した、LINE（登録商標）に加え、Facebook（登録商標）、Twitter（登録商標）、Instagram（登録商標）、ＣＯＣＯＬＯＬＯ（登録商標）の用語が明細書、図面に記載があるが、ここで、それらが登録商標であることを記載して、登録商標であることをその都度、記載はしない。
【００２１】
一方、従来の脈波検出の技術は、特許文献１に記載の発明も含め、脈波を検出することを専らとするツールを使用して脈波検出をおこなっていた。従来においては、スマートフォンは、脈波を検出することを専らとするツールとして機能する。したがって、スマートフォンの操作者は、意識的に「集中」して「脈波」の「検出」にのみ専念している。このような状態での脈波検出は、いわば、「集中」脈波検出ともいえるものである。
【００２２】
「ながら」脈波検出と、「集中」脈波検出とを対比すると、両者の違いは以下である。「ながら」脈波検出においては、カメラで指先を撮影することに意識を集中しておらず、カメラと指先との位置を所定の関係に保っている時間が不規則である。一方、「集中」脈波検出においては、所定の時間、カメラと指先との位置を所定の関係に保っている時間を意識的に管理しており、カメラと指先との位置を所定の関係に保っている時間を脈波の検出精度を向上させるために、例えば２分以上と、長くしても大きな問題は生じない。
【００２３】
「ながら」脈波検出において、スマートフォンの画面を見ながらの情報のやり取りに意識を集中している操作者が、無意識にどの程度の時間、指先を静止させてカメラに当てているかを測定すると、その長さは区々であり、長ければ１分以上、短ければ１０秒未満である。
【００２４】
一方、「集中」脈波検出においては、操作者は、脈波検出のみに意識を集中させており、操作者は、30秒程度は指先を静止させてカメラに当てることができる。また、「集中」脈波検出においては、「集中」脈波検出が適正に行われたか否かを検出後にチェックして、脈波検出が適正におこなわれなかったことが、スマートフォンからの警告によって判明すると、再び、「集中」脈波検出をすることがあっても問題はない。
【００２５】
「ながら」脈波検出をおこなっているときの操作者が意識していることは、スマートフォンを携帯情報端末として活用することである。よって、「集中」脈波検出におけるように、脈波検出には意識は集中していない。スマートフォンが操作者に対して脈波検出が適正におこなわれなかったとの過度の警告を発すると、操作者のスマートフォンの画面を見ながらの情報の取得、発信の集中力が遮断される。これでは、「ながら」脈波検出とはならないので、「ながら」脈波検出においては集中力が遮断されるような過度の警告をスマートフォンが発することはできない。
【００２６】
また、「ながら」脈波検出においては、操作者は、スマートフォンの表側の画面表示面を視認し、タッチ入力パネルを操作して、様々な情報（コンテンツ）に接しており、頻繁に接する情報の内容が刻々と変わっている場合が多い。そのような状況下で、スマートフォンからの警告の発生によって脈波検出が適正におこなわれなかったことが事後的に判明しても、再び、元のコンテンツに戻って脈波検出を再検出しても、最初にそのコンテンツに接したときとは印象が異なっており、このような理由からも「ながら」脈波検出は、再検出を予定していない。
【００２７】
「ながら」脈波検出を実現するための技術的な困難がどこにあり、発明者がどのようにしてこの技術的な困難を克服したかについて、従来の「集中」脈波検出と対比して説明をする。
【００２８】
（「ながら」脈波検出の目的）
「ながら」脈波検出が目的とするものは以下である。
第１の目的
スマートフォンから得られる情報の内容（コンテンツと称する）によって、スマートフォンを操作する者（以下、操作者と称する）の精神面がどのように変化するかについて、操作者が無意識のうちに、「ながら」脈波検出をおこない精神面の解析ができれば、コンテンツの内容と精神面の対応が明らかになる。よって、操作者はその時々の精神状態に合わせて、コンテンツを選び、自分の精神面を管理でき健康な精神状態を維持できる。
【００２９】
第２の目的
健康管理のために毎日、決まった時間に「集中」脈波検出をおこなって自分の精神面の解析をすることは健康管理上望ましいが、多くの人がこのような煩雑な習慣にはなじまない。しかしながら、スマートフォンを日に何度も操作する習慣には現代人はなじんでいる。よって、スマートフォンで各種コンテンツを検索し、楽しんでいるときに、操作者が無意識のうちに「ながら」脈波検出をおこない精神面の解析ができれば、操作者の負担がなく日常行動の中で定期的な健康管理ができる。
【００３０】
（スマートフォンで検出する脈波の特性）
「ながら」脈波検出について説明をする前に、スマートフォンで検出する脈波の特性について説明をする。通常のスマートフォンはカメラを有している。そこで、スマートフォンは、そのカメラで指先を撮影して輝度信号（指先ビデオ輝度信号と称する）を得て、その指先ビデオ輝度信号を処理することによって脈波を検出している。指先を撮影して得られる指先ビデオ輝度信号は指先の血管を流れる血流量に応じて変化する。血流量は、心臓の筋肉に送られる電気信号に応じて変化する。よって、指先ビデオ輝度信号には、心電計で得られる心臓の筋肉の電気信号（脈波）に対応した成分が含まれることから、指先ビデオ輝度信号を処理することにより脈波の検出が可能となるものである。
【００３１】
特許文献２に記載の心電計は、精神面が反映された心臓の働きを制御する電気信号を直接に検出するものであるから、精度よく精神面に関する情報を取得することができる。精神面の解析のために用いる高周波成分ＨＦと低周波成分ＬＦの求め方は特許文献２の段落「００４３」および図４に述べられている。要約すると、ＲＲ間隔データを検出し、その各々のＲＲ間隔を振幅として後方のＲ波（カメラで検出する指先ビデオ信号の後方ピークが対応するものである）の時間位置にプロットする操作を順次繰り返して、時間不等間隔なＲＲ間隔データを作成する。その後この時間不等間隔なＲＲ間隔データを、時間等間隔なＲＲ間隔時系列データに変換するリサンプリング処理を実行する。この変換は周知の補間方法である。その後、このＲＲ間隔時系列データの周波数スペクトルを、周知の高速フーリエ変換（Ｆ．Ｆ．Ｔ）を用いて求め、０．０４〜０．１５Ｈｚのパワースペクトル成分の積分値である低周波成分ＬＦを求め、０．１５〜０．４０Ｈｚのパワースペクトル成分の積分値である高周波成分ＨＦを求める。
【００３２】
一方、スマートフォンのカメラによって指先ビデオ輝度信号の波形から検出する脈波の成分は微弱であり、（Ｓ／Ｎ；信号対雑音比（signal-to-noise ratio)）は良質ではない。その理由は、心電計のように直接に心臓を制御する電気信号を捉えるのではなく、心臓の動作にともなう結果としての指先の血管を流れる血流の微小な変化をカメラで撮影するからである。その上、カメラによって撮影されるものは、血流以外の画像の写りこみによる画像ノイズ成分、指先とカメラのレンズの位置がぶれて変化することによる画像ノイズ成分、カメラに映る周囲の迷光による画像ノイズ成分、等によって、血流に対応する本来の指先ビデオ輝度信号が汚染される。これのノイズ汚染の除去対策として、特許文献１に記載の発明では、「前倒しロジック処理」、「輝度データの関数化処理」、「Savitzky-Golayフィルタ（サビツキ・ゴレイフィルタ）処理」等をおこなって画像ノイズ成分を除去していた。これらのノイズ除去処理には各々の処理ごとに顕著なノイズ除去効果があった。
【００３３】
（「ながら」脈波検出と従来の技術との組合せ困難性）
従来の「集中」脈波検出は、何時、脈波検出をするかを操作者が自ら知っていた。それ故に、一定の時間に渡る良質な脈波を検出することができた。しかしながら、「ながら」脈波検出を実行するタイミングは、スマートフォンの画面表示面に操作者が意識を集中しているときであり、かつ、操作者自身がそのタイミングを自覚していない場合が殆どである。一方、どのようなタイミングでも、常時、指とカメラとの位置を正しく保ち、動かさないでいることは至難の業である。よって、従来の技術のみでは「ながら」脈波検出が適切におこなえないことは自明である。
【００３４】
（「ながら」脈波検出の方法）
＊第１の「ながら」脈波検出方法
健常者の心拍数は、５０〜１００回/分といわれている。また、上述したように高周波成分ＨＦは０．１５〜０．４Ｈｚのパワースペクトルの積分値であり、低周波成分ＬＦは、０．０４〜０．１５Ｈｚのパワースペクトルの積分値である。低周波成分ＬＦと高周波成分ＨＦとを正確に検出しようとするならば、０．０４Ｈｚの低周波を検出するためには少なくとも２５秒以上連続した指先ビデオ輝度信号が必要となる。すなわち、少なくとも２５秒間の連続したノイズが少ない良質な指先ビデオ輝度を取得する必要がある。
【００３５】
よって、第１の「ながら」脈波検出方法は、短くとも２５秒ごと、望ましくは少し余裕を見て３０秒ごとに、スマートフォンのカメラが指先ビデオ信号を撮像する。以下では、３０秒間を「ながら」脈波検出の基準的時間として説明をする。その後、その３０秒間の連続した指先ビデオ輝度信号の品質を確認して良質な指先ビデオ輝度信号のみを脈波解析の対象データとして用いるという方法である。このときのＲＲ間隔データの数は、心拍数が５０回/分である場合には２５個であり、心拍数が１００回/分である場合には５０個である。この２５個から５０個程度の時間不等間隔なＲＲ間隔データをリサンプリングして時間等間隔なＲＲ間隔時系列データに変換し、高速フーリエ変換をして、その後、高周波成分ＨＦと低周波成分ＬＦとを分離することとなる。
【００３６】
第１の「ながら」脈波検出方法は、従来の「集中」脈波検出法が特定の時間において操作者の意思によって脈波を検出するのとは異なり、常時、ビデオ輝度信号、Ｒ，Ｇ，Ｂ成分を３０秒の所定時間ごとにスマートフォンのコンピュータが、取得する。そして連続して取得したビデオ輝度信号、Ｒ，Ｇ，Ｂ成分が脈波解析に利用可能なノイズが少ない指先ビデオ輝度信号、Ｒ，Ｇ、Ｂ成分であるか否かを４つの基準に照らしてコンピュータが自動判定して、判定に合格したものを指先ビデオ輝度信号、時間不等間隔なＲＲ間隔データ（時間不等間隔ＲＲ間隔データ）として自動抽出する。指先ビデオ輝度信号または時系列ＲＲ間隔データと携帯情報端末が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データをサーバに送信する。判定に合格しなかったデータは廃棄する。
【００３７】
判定の基準となるのは、以下の（１）〜（４）の４つである。（１）（正常ピーク間隔の数）/（全ピーク間隔数）で演算される正常ピークの割合（測定精度）である。ここで、正常ピーク間隔とは、例えば、健常者の心拍数である５０〜１００回/分に対応するＲＲ間隔、１．２秒〜０．６秒である。全ピーク間隔とは、すべてのピーク間隔であり、１．２秒〜０．６秒よりも広い範囲のピークも含むものである。全ピーク間隔において、正常ピーク間隔が発生する原因は、健常者でも突発的に短いＲＲ間隔、長いＲＲ間隔が発生することが稀にあり得るからであり、また、指先がカメラに適切に当たっていないときには、指先ビデオ輝度信号に画像ノイズが漏れこみ、Ｓ/Ｎが悪くなってピーク点の位置がノイズにより影響されるからである。発明者の多数回の実験では、１．２秒〜０．６秒の範囲にピーク間隔が収まる確率は指先ビデオ輝度信号の場合は９４．２％、比較例であるオレンジ色のメモパッドのビデオ輝度信号の場合には、４８％、赤い表紙の書籍のビデオ輝度信号の場合には５４％、等であった。よって、測定精度合格基準として７０〜９０％の適宜な数値を採用できる。
【００３８】
（２）（全ピーク間隔数）/（全ピーク間隔経過時間：単位は分）で演算されるピーク間隔の１分間における発生回数（心拍数）である。健常者の心拍数の範囲である５０〜１００回/分（心拍数合格基準）である場合に合格とすることが望ましい。発明者の多数回の実験では、指先ビデオ輝度信号の場合は（心拍数）は、８７、比較例であるオレンジ色のメモパッドのビデオ輝度信号の場合は（心拍数）は、１１３、赤い表紙の書籍のビデオ輝度信号の場合は（心拍数）は、１４８であった。よって、心拍数合格基準として５０〜１００回/分を採用した。
【００３９】
（３）ビデオ輝度信号の振幅の標準偏差（振幅標準偏差）である。振幅標準偏差は、発明者の実験によって定めた。発明者の多数回の実験では、指先ビデオ輝度信号の場合は０．１５〜０．１７の範囲、比較例であるオレンジ色のメモパッドのビデオ輝度信号の場合は０．００３４〜０．００３６の範囲、赤い表紙の書籍のビデオ輝度信号の場合は０．０４〜０．０００６の範囲であった。よって、標準偏差合格基準として０．１〜０．２の適宜な数値を採用できる。
【００４０】
（４）（Ｒ成分−Ｇ成分）および（Ｒ成分−Ｂ成分）の演算（色演算）である。図５を参照して詳細は後述するが、発明者は、屋外（フラッシュあり）、暗い場所（フラッシュあり）、屋外（フラッシュなし）、指先を正確にカメラのレンズに当てたが暗い場所（フラッシュなし）、指先をカメラの半分に当てで撮像した場合、指先をカメラから離して撮像した場合、端末を机に置いて撮像した場合、の７つの条件で撮像した場合における、指先ビデオ輝度信号のＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の各成分の輝度と、Ｒ/Ｇ、Ｒ/Ｂ、Ｒ−Ｇ、Ｒ−Ｂの関係からこの基準を定めた。発明者は、図５を参照して、色演算合格基準として、（Ｒ成分−Ｇ成分）および（Ｒ成分−Ｂ成分）の各々が輝度の最大値（２５５）の２０％（５１）以上を採用した。
【００４１】
上述したように、３０秒の所定時間ごとに、（測定精度合格基準）、（心拍数合格基準）、（標準偏差合格基準）、（色演算合格基準）のすべてを満たしているか否かを判定して、合格判定の場合には、次の処理ステップに処理は進み、合格判定ではない場合には、再び、３０秒の同様の処理を繰り返す。
【００４２】
＊第２の「ながら」脈波検出方法
第１の「ながら」脈波検出方法においては、３０秒の所定時間ごとに、（測定精度）、（心拍数）、（振幅標準偏差）、（色演算）の合格判定をしたので、判定の結果がでるのは、３０秒の所定時間ごとである。このような方法であると、３０秒の所定時間に不合格判定がでると、再び、３０秒の所定時間後の判定を待つことになって、脈波解析を開始するタイミングが遅れてしまう。そこで、以上の４つの合格基準のうち順次判定可能な合格基準については、当該基準を満たさないことが判明した時点において、それまで集積したデータをリセットして、そのリセット時点を次の３０秒の所定時間の開始の始期とすることによって、判定の結果を早く得ることができる。さらに、異常ピーク間隔排除処理を加え、判定の結果をより早く得ることができる。
【００４３】
（異常ピーク間隔排除処理）
ビデオ輝度信号からピーク間隔を検出するごとに、まず、異常ピーク間隔を検出した場合には、不合格判定として全処理をリセットして最初から脈波検出をやり直す。異常ピーク間隔とは、健常者の心拍数とされる５０〜１００回/分に対応する１．２秒〜０．６秒のピーク間隔から大きく外れたピーク間隔をいう。この異常ピーク間隔排除処理で排除される場合には、（測定精度）、（心拍数）、（色演算）でも合格しない場合が多いので、全処理をリセットして最初から脈波検出をやり直すことに大きな問題はない。
【００４４】
（測定精度）
（所定時間の開始からその時点までの正常ピーク間隔の数）/（所定時間の開始からその時点までのピーク間隔数）を演算して（測定精度合格基準）であれば、合格判定とする。３０秒の所定時間の開始後、ビデオ輝度信号から２つ目のピークを検出した時点からピークを検出するごとに判定が可能である。第２の方法における（測定精度合格基準）は、種々に定め得る、例えば、第１の「ながら」脈波検出方法におけると同様の（測定精度合格基準）としても良い。この場合には、（測定精度合格基準）が一定であるので（全ピーク間隔数）が少ない所定時間の始めの頃に正常ピーク間隔がでないと、不合格判定が出やすく、早めに次の３０秒の所定時間の開始が始まるので効率的ともいえる。反面、後の方で正常ピーク間隔が出続けるものは救えない。この点を考慮して、例えば、所定時間の始めの頃は（測定精度合格基準）を甘くして、暫時厳しくし所定時間の最後に第１の「ながら」脈波検出方法におけると同様の（測定精度合格基準）としても良い。所定時間内において（測定精度合格基準）を満たさない事態が発生した場合には、その時点で、再び、脈波検出の最初の処理に戻る。
【００４５】
（心拍数）
ビデオ輝度信号からピーク間隔を検出するごとに、（所定時間の開始からその時点までのピーク間隔数）/（所定時間の開始からその時点までの全ピーク間隔経過時間：単位は分）を演算すると、その時点における心拍数の演算は可能である。（測定精度）の合格判定と同様に、所定時間の始めの頃に正常ピーク間隔がでないと、不合格判定が出やすく、早めに次の３０秒の所定時間の開始が始まるので効率的ともいえる。反面、後の方で正常ピーク間隔が出続けるものは救えない。例えば、所定時間の始めの頃は（心拍数合格基準）を甘くして、暫時厳しくし所定時間の最後に第１の「ながら」脈波検出方法におけると同様の（心拍数合格基準）としても良い。所定時間内において（心拍数合格基準）を満たさない事態が発生した場合には、その時点で、再び、脈波検出の最初の処理に戻る。
【００４６】
（振幅標準偏差）
ビデオ輝度信号の（振幅標準偏差）は、周知の式である、
｛（１/ｎ）Σ１ｎ（ビデオ輝度信号振幅ｎ−ビデオ輝度信号振幅平均値）２｝１/２で表される。ビデオ輝度信号振幅ｎは、スマートフォンのハードウエアが発生する高周波クロック信号ごとにＣＭＯＳから出力される所定時間の開始からｎ番目のビデオ輝度信号の振幅である。ビデオ輝度信号振幅平均値は１番目からｎ番目までのビデオ輝度信号の振幅の平均値である。ビデオ輝度信号の振幅は、大雑把にみると振幅のピークと谷が交互に並び包絡線はゆっくりと揺らいでいる。したがって、（振幅標準偏差）はｎが小さいときは、刻々と変わり、ｎが大きくなるにつれて略一定の値に落ち着く、従って、他の３つの基準がすべて合格した場合に（標準偏差合格基準）をクリアするか否かを判定すれば足りる。
【００４７】
（色演算）
（Ｒ成分−Ｇ成分）および（Ｒ成分−Ｂ成分）の演算（色演算）である。例えば、各輝度の最大値の２０％以上（色演算合格基準）である場合に合格とすることが望ましい。１画面の（Ｒ成分−Ｇ成分）および（Ｒ成分−Ｂ成分）は、ピーク間隔の２桁以上の短い時間ごとに検出される。しかしながら、血流の変化に応じた、（Ｒ成分−Ｇ成分）および（Ｒ成分−Ｂ成分）の変化は大きくはない。よって、（Ｒ成分−Ｇ成分）および（Ｒ成分−Ｂ成分）を検出するに際しては、例えば、ピーク間隔の検出ごとに（色演算）の平均値を求めノイズを除去することが望ましい。そして、ピーク間隔の検出ごとに（色演算）の平均値が（色演算合格基準）を満たさない事態が発生した場合には、その時点で、再び、脈波検出の最初の処理に戻る。
【００４８】
上述したように、（異常ピーク間隔排除処理）、（測定精度）、（心拍数）、（色演算）のいずれかが、合格基準を満たさない事態が発生した場合には、その時点で、再び、脈波検出の最初の処理に戻るようにすれば、第１の「ながら」脈波検出方法におけるように最終的に不合格となる蓋然性が高い場合でも３０秒の所定時間は処理を続けるようなことがなく、所定時間の経過を待たず、再び、脈波検出の最初の処理に戻ることができる。３０秒の所定時間の経過後に、（異常ピーク間隔排除処理）（測定精度）、（心拍数）、（色演算）のすべてが合格判定である場合に（標準偏差合格基準）を満たしているか否かを判定して、合格判定の場合には、次の処理ステップに処理は進み、合格判定ではない場合には、再び、３０秒間の同様の処理を繰り返して実行する。
【００４９】
（コンテンツ・時刻・指先情報紐付処理）
上述したように、第１の「ながら」脈波検出方法または第２の「ながら」脈波検出方法において合格判定を得たＲＲ間隔データ、または、そのＲＲ間隔データの元となった指先ビデオ輝度信号を以下の処理においては用いる。不合格判定を得たＲＲ間隔データ、または、そのＲＲ間隔データの元となった指先ビデオ輝度信号は、不合格判定の時点でメモリをクリアして破棄する。携帯情報端末が情報をダウンロードするごとまたは脈波検出の時刻ごとに、直前に得られた指先ビデオ輝度信号またはＲＲ間隔データと携帯情報端末が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データをサーバに送信するコンテンツ・時刻・指先情報紐付データ送信処理と、を実行する。
【００５０】
その後のサーバにおける以下の処理がなされる。合格判定を得たＲＲ間隔データは、単なるＲＲ間隔の情報列であるので、その各々のＲＲ間隔を振幅として後方のＲ波（指先ビデオ信号の後方ピーク）の時間位置にプロットする操作を順次繰り返して、時間不等間隔なＲＲ間隔データを作成する。その後に、この時間不等間隔なＲＲ間隔データを、時間等間隔なＲＲ間隔時系列データ（単にＲＲ間隔時系列データと以下称する）に変換するリサンプリング処理を実行する。そして、ＲＲ間隔時系列データの高速フーリエ変換をする高速フーリエ変換処理を実行し、周波数スペクトルの高周波成分と低周波成分とに基づき、または、それと心拍数とに基づき精神面を解析する精神面解析処理を実行する。そして、精神面をコンテンツ情報または脈波検出時刻と関連づけて画面表示するための画面情報を作成する画面作成処理を実行する。以上のサーバにおける処理の終了後に、スマートフォンは、サーバからの画面情報を受信して画面表示する画面情報受信表示処理を実行する。
【００５１】
「第２実施形態の概要」
第２実施形態の脈波解析サーバプログラムは、第１実施形態の脈波検出端末プログラムとは、特別な技術的特徴が相補的に関連するものである。すなわち、第１実施形態の脈波検出端末プログラムは、指先ビデオ輝度信号またはＲＲ間隔データと、携帯情報端末が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データをサーバに送信する、一方、第２実施形態の脈波解析サーバプログラムは、携帯情報端末から送信される指先ビデオ輝度信号またはＲＲ間隔データを、携帯情報端末が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻と紐付けたコンテンツ・時刻・指先情報紐付データを受信する。
【００５２】
サーバは、スマートフォンから指先ビデオ輝度信号を受信する場合には選択的に指先ビデオ輝度信号からＲＲ間隔データを検出するＲＲ間隔データ検出処理を経て得たＲＲ間隔データ、または、スマートフォンから受信したＲＲ間隔データ、を一定サンプリング周期のＲＲ間隔時系列データに変換するリサンプリング処理と、ＲＲ間隔時系列データの高速フーリエ変換をする高速フーリエ変換処理と、高速フーリエ変換された周波数スペクトルの高周波成分と低周波成分とを分離し、高周波成分と低周波成分とに基づき、または、高周波成分と低周波成分と心拍数とに基づいて精神面を解析する精神面解析処理と、精神面をコンテンツ情報または脈波検出時刻と関連づけて画面表示するための画面情報を作成する画面作成処理と、画面情報を携帯情報端末に送信する画面情報送信処理と、を実行する。なお、心拍数は、ＲＲ間隔データまたは指先ビデオ輝度信号から容易に得られる。
【００５３】
操作者が得たいものは、例えば、操作者が特定のコンテンツ（情報）に接する直前の精神面と、その特定のコンテンツに接した後の精神面の変化である。よって、携帯情報端末が特定のコンテンツをダウンロードした直後に、直前に得られた指先ビデオ輝度信号またはＲＲ間隔データと携帯情報端末が得た情報の所在場所を示すコンテンツ情報を紐付けたコンテンツ・時刻・指先情報紐付データをサーバは受信するので、これによって、サーバにおいて操作者が特定のコンテンツに接する直前の精神面を解析することができる。コンテンツ情報は、ＵＲＬ、記事のタイトル、記事の中の種々のキーワード（喜びを表すキーワード、悲しみを表すキーワード、怒りを表すキーワード、恐怖を表すキーワード等々の種々のキーワード）を用いることができる。なお、種々のキーワードの検出は、スマートフォンよりも処理速度が高速なサーバが、紐付けられたＵＲＬを用いて検索した情報元のコンテンツから抜き出すようにするのが、効率が良い。
【００５４】
そして、操作者が別のコンテンツをダウンロードしたとき（すなわち、現在の情報の利用が終了した直後）に、再び、直前に得られた指先ビデオ輝度信号またはＲＲ間隔データと携帯情報端末が得た別のコンテンツの所在場所を示すコンテンツ情報を紐付けたコンテンツ・時刻・指先情報紐付データをサーバに送信するので、これによって、サーバにおいて操作者が特定のコンテンツに接し終わった直後の精神面を解析することができる。また、サーバは、情報の所在場所を示すコンテンツ情報を解析することによって、そのコンテンツの内容を取得することができる。コンテンツ情報とともに脈波検出時刻を紐づければ、サーバは、その特定のコンテンツに接した時刻と、その特定のコンテンツから離れた時刻とを取得することができる。サーバは、コンテンツ情報と脈波検出時刻とからより詳細にそのコンテンツのどの部分が、操作者の精神面にどのように影響を与えたか、操作者の精神面に与えたコンテンツの影響の継時的な変化を解析できる。
【００５５】
また、サーバは、脈波検出時刻にのみ注目して、例えば、操作者の精神面が、朝、昼、晩でどのように変化するかを解析することができる。さらに、スマートフォンに内蔵されているＧＰＳから得られる位置情報がコンテンツ・時刻・指先情報紐付データに紐付されてサーバに送られてくる場合には、サーバは、精神面と操作者の滞在位置または移動速度との関係を解析することができる。
【００５６】
また、サーバには多くのスマートフォンの操作者からの同様な情報が集積されるので、同じコンテンツに接した多数の操作者の精神面のビッグデータが集積される。よって、サーバは、特定の操作者に対に対して、同じコンテンツに接した多数の他者においてどのような精神面の変化が生じたかをその特定の操作者に対して知らせることもできる。さらに、サーバは、多数の操作者に関する、コンテンツと精神面の膨大なビッグデータの中から、特定の操作者に最もふさわしいコンテンツのダウンロードをアドバイスできる。サーバはその他の種々のサービスの提供が可能であり、個々の実施例については後述する。
【００５７】
サーバは、それらの精神面の解析結果を操作者が一目で分かるようにスマートフォンのディスプレイに画面表示する画像情報を作成する画面作成処理を実行し、画面情報をスマートフォンに送信する画面情報送信処理を実行する。
【００５８】
「第１の実施形態、第２の実施形態の実施例」
以下に図面を参照して、第１の実施形態、第２の実施形態の実施例の説明をする。第１の実施形態、第２の実施形態は、特別な技術的特徴が相補的に作用して、脈波解析システムとして機能する。
【００５９】
以下、図を参照して脈波検出解析システムについて説明をする。
【００６０】
「脈波検出解析システム１」
図１は、脈波検出解析システム１を示す図である。脈波検出解析システム１は、スマートフォン１０とサーバ２０とインターネット３０とを有している。スマートフォン１０は、図示しない他のスマートフォンと同様にインターネット３０に接続されている１のスマートフォンである。他のスマートフォンも本実施形態の脈波検出端末プログラムをインストールすることによってスマートフォン１０と同様に機能させることができる。
脈波検出解析システム１においては、発明者が開発したアプリケーションプログラムである「脈波検出解析端末プログラム」を実行することによってスマートフォン１０を脈波検出器として機能させる。
【００６１】
スマートフォンは、携帯電話とコンピュータとの両方の機能を有する携帯情報端末の一種であり、電話機能付携帯情報端末の通称である。スマートフォンの心臓部はＯＳ(Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ)であり、ＯＳはハードウエアとしてのコンピュータ、種々の周辺端末を制御し、アプリケーションプログラムとしての脈波検出解析端末プログラムを実行するための基本機能を提供する。ＯＳの代表例としては、（Ａｎｄｒｏｉｄ）アンドロイド（登録商標）、（ｉＯＳ）アイオーエス（登録商標）が広く普及している。「脈波検出解析端末プログラム」はこのようなＯＳの上で実行可能なアプリケーションプログラムである。
【００６２】
スマートフォンは、電話機器のみならず種々の周辺機器を内蔵することは周知である。内蔵することが周知の周辺機器の例としては、カメラ、暗い場所でも撮影を可能とするためのフラッシュ、加速度センサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ：全地球測位システム）、インターネット接続機器等があり、スマートフォン１０もこれらを内蔵している。
【００６３】
通常のスマートフォンと同様にスマートフォン１０に配されるカメラは撮像素子としてＣＭＯＳイメージセンサ（シーモス・イメージセンサ）を有している。ＣＭＯＳイメージセンサは、Ｒ（赤），Ｇ（緑），Ｂ（青）の３原色に分けて撮影する物に応じたビデオ信号を出力する。
【００６４】
図２は、スマートフォン１０を用いて脈波を検出している状態の図面代用写真である。
【００６５】
図２（Ａ）は、スマートフォン１０を画面表示面の反対側から撮影したものである。図２（Ａ）においては、操作者の手の部分のみが表示され、種々の情報が表示される画面表示面（スマートフォン１０の表面）を視認している操作者は表示されていない。カメラのレンズ（図２（Ａ）においては指先で隠されている）はスマートフォン１０の裏面に配置されている。図２（Ｂ）は、スマートフォン１０の表面に配置されている画面表示面を視認している操作者の視点から見る図である。操作者は上述した「ながら」脈波検出をしながら、スマートフォン１０を操作している。なお、「ながら」脈波検出においては、「集中」脈波検出におけるように操作者の意思によってフラッシュを点灯するのではなく、「ながら」脈波検出の趣旨に基づき自動点灯・消灯を採用している。図５の下段「異常測定と判定」の最初の行の「暗い場所（フラッシュなし）」と図５の上段「正常測定と判定」の2行目の行の「暗い場所（フラッシュあり）」とを対比すると、「暗い場所（フラッシュなし）」では、Ｒ、Ｇ、Ｂのすべてが３０以下である。よって、Ｒ、Ｇ、Ｂのすべてが３０以下（最大値２５５の１２％以下）である場合にはフラッシュを自動点灯し、それ以外ではフラッシュを自動消灯するようにしている。なお、フラッシュの自動点灯・消灯のタイミングは、Ｒ、Ｇ、Ｂの各信号を検出するごとではなく、合格判定ごとにおこないノイズによって頻繁に点灯・消灯を繰り返すことがないようにしている。すなわち、Ｒ、Ｇ、Ｂの各平均値のすべてが所定値以下（実施例では３０以下）の場合にはフラッシュ点灯をし、所定値よりも大（実施例では３０より大）の場合にはフラッシュ消灯をする。各平均値をクリアして次の３０秒間のＲ、Ｇ、Ｂの各平均値の演算に備える。
【００６６】
（スマートフォン１０における処理の概要）
脈波検出解析システム１においては、カメラを内蔵する携帯情報端末であるスマートフォン１０のコンピュータに、スマートフォン１０が得た情報を操作者が利用中における所定時間ごとに、以下の処理を実行させる。２５秒以上である３０秒に所定時間を選んだのは、上述したように、低周波成分ＬＦの最低周波数である０．０４Ｈｚに対応するためである。２５秒以上であれば、３０秒に限定する必要はないが、「ながら」脈波検出の趣旨に整合させるために３０秒を採用している。
【００６７】
（ＴＳ１）カメラで撮像したＲ（赤），Ｇ（緑），Ｂ（青）成分を取得するＲ，Ｇ，Ｂ成分取得処理。
（ＴＳ２）Ｒ，Ｇ，Ｂ成分を加算したビデオ輝度信号を取得するビデオ輝度信号取得処理。
（ＴＳ３）ビデオ輝度信号に含まれるピーク間隔を検出するピーク間隔検出処理。
（ＴＳ４）（正常ピーク間隔の数）/（全ピーク間隔数）で演算される正常ピークの割合（測定精度）を判定する測定精度判定処理。
（ＴＳ５）（全ピーク間隔数）/（全ピーク間隔経過時間：単位は分）で演算されるピーク間隔の１分間における発生回数（心拍数）を求める心拍数演算処理。
（ＴＳ６）ビデオ輝度信号の振幅の標準偏差（振幅標準偏差）を演算する標準偏差検出処理。
（ＴＳ７）（Ｒ成分−Ｇ成分）および（Ｒ成分−Ｂ成分）の演算（色演算）をする色演算処理。
（ＴＳ８）測定精度と心拍数と標準偏差と色演算とのすべてが各所定範囲にあるときにビデオ輝度信号を指先から検出する良質なる指先ビデオ輝度信号であり、ピーク間隔を良質なるＲＲ間隔データであるとの合格判定をする合格判定処理。
（ＴＳ９）スマートフォン１０が情報をダウンロードするごとまたは所定の時刻ごとに、直前に得られた指先ビデオ輝度信号またはＲＲ間隔データとスマートフォン１０が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データをサーバ２０に送信するコンテンツ・時刻・指先情報紐付データ送信処理。
（ＴＳ１０）サーバ２０からの画面情報を受信して画面表示する画面情報受信表示処理。
【００６８】
以下の（ＴＳ１）〜（ＴＳ３）について説明をする。
（ＴＳ１）カメラで撮像したＲ（赤），Ｇ（緑），Ｂ（青）成分を取得するＲ，Ｇ，Ｂ成分取得処理。
（ＴＳ２）Ｒ，Ｇ，Ｂ成分を加算したビデオ輝度信号を取得するビデオ輝度信号取得処理。（ＴＳ３）ビデオ輝度信号に含まれるピーク間隔を検出するピーク間隔検出処理。
【００６９】
図３は、指先をカメラで撮影したときの指先ビデオ輝度信号の波形の一例である。
【００７０】
以上の（ＴＳ１）〜（ＴＳ３）の処理を、図３、図４を参照して説明をする。図３の縦軸は、Ｒ（赤）、Ｇ（青）、Ｂ（青）に対応するセンサのすべてから得られる輝度である。輝度が大きい程（指先ビデオ輝度信号が大きい程）、縦軸の値は大きく、輝度が小さい程（指先ビデオ輝度信号が小さい程）、縦軸の値は小さい。図３の横軸は、原点からの経過時間であり、スマートフォン１０のマイクロプロセッサにおける信号処理はすべて時間離散であるので、横軸の数値はサンプリング番号数（原点から何番目にサンプリングされた信号であるかを表す数）である。上述したように、２５秒以上の時間の指先輝度信号が正確な解析のためには必要であるので、実施例では３０秒間指先輝度信号を取得するようにし、サンプリング数の総数は３０秒に対応した数に設定している。
【００７１】
図３に示すように、指先ビデオ輝度信号は、一定の範囲の輝度を有し、おおむね周期的に輝度のピークが繰り返す信号である。なお、図３の横軸に示すサンプリング周期は、スマートフォン１０のハードウエア（水晶発振器等）が発生するサンプリングクロックが定める。脈波検出解析端末プログラムにおいては、脈波検出端末プログラムは、（ＴＳ１）〜（ＴＳ３）の処理はハードウエア割込みによる割込み処理として実行する。
【００７２】
図４は、（ＴＳ３）のビデオ輝度信号に含まれるピーク間隔を検出するピーク間隔検出処理を模式的に示す図である。図４（Ａ）は図３の一部拡大図である。図４（Ａ）に示す縦軸方向の各破線の時刻ｔ１〜時刻ｔ１４がピーク位置であり隣接するピーク位置の間隔の各々がピーク間隔Ｔ１〜ピーク間隔Ｔ１３である。ピーク点は、ビデオ輝度信号を微分した信号（以下では微分ビデオ輝度信号と称する）を生成して、微分ビデオ輝度信号が零（０）を立ち上がり横切る点を求める。
【００７３】
図４（Ｂ）は、図４（Ａ）から得られる図である。各々のピーク間隔を振幅として後方のピークの時間位置にプロットする操作を順次繰り返して、時間不等間隔なピーク間隔時系列データを作成する。時刻ｔ２における振幅は（ｔ２−ｔ１）、時刻ｔ３における振幅は（ｔ３−ｔ２）・・・時刻ｔ１４における振幅は（ｔ１４−ｔ１３）である。図４（Ｂ）を時間不等間隔なピーク間隔時系列データと称する。時刻ｔｎにおける振幅は（ｔｎ−ｔ（ｎ−１））であるので、Ｔ１・Ｔ２・・・・Ｔ１４と間隔を並べただけで時刻と振幅の両方を表すことができるので、時間不等間隔なピーク間隔時系列データを単にピーク間隔データと称している。また、ビデオ輝度信号が指先ビデオ輝度信号である場合には、図４（Ｂ）をＲＲ間隔データと称している。
【００７４】
以下の（ＴＳ４）〜（ＴＳ７）について説明をする。
（ＴＳ４）（正常ピーク間隔の数）/（全ピーク間隔数）で演算される正常ピークの割合（測定精度）を判定する測定精度判定処理。
（ＴＳ５）（全ピーク間隔数）/（全ピーク間隔経過時間：単位は分）で演算されるピーク間隔の１分間における発生回数（心拍数）を求める心拍数演算処理。
（ＴＳ６）ビデオ輝度信号の振幅の標準偏差（振幅標準偏差）を演算する標準偏差検出処理。
（ＴＳ７）（Ｒ成分−Ｇ成分）および（Ｒ成分−Ｂ成分）の演算（色演算）をする色演算処理。
【００７５】
「ながら」脈波検出においては、「集中」脈波検出とは異なり、検出したものが、指先ビデオ輝度信号であるか否か、また、ノイズ汚染が存在していないかを確認して、初めて脈波解析の対象とする点に大きな意味がある、以上の（ＴＳ４）〜（ＴＳ７）の処理は、検出したビデオ輝度信号がノイズ汚染の少ない指先ビデオ信号であり、検出したピーク間隔信号が良質なＲＲ間隔データであるか否かを判定するための基準を求めるものである。
【００７６】
ビデオ輝度信号にノイズ汚染が存在する場合には、ビデオ輝度信号に明確なピーク点が認められないことがあり、逆に本来はピーク点ではないのにピーク点が検出されることがある。例えば、指先が動いて画像ノイズが発生した場合、指先以外の移動する物体が写りこんだ場合、迷光により輝度が変化した場合、指先が正確にカメラに当てられていなかった場合、暗すぎて血流変化がうまく取れなかった場合、等々がある。（ＴＳ４）〜（ＴＳ７）の処理は、カメラが撮像したビデオ輝度信号が指先を撮像した指先輝度信号であり、かつ、良質なＲＲ間隔データであることを保証するための判定処理である。
【００７７】
（ＴＳ４）（正常ピーク間隔の数）/（全ピーク間隔数）で演算される正常ピークの割合（測定精度）を判定する測定精度判定処理において、正常ピーク間隔とは、所定範囲内のピーク間隔をいう。上述したように、健常人であれば毎分約５０〜１００回程度の心拍数であるので、ピーク間隔は、１.２秒〜０.６秒の間である。そして、（正常ピーク間隔の数）/（全ピーク間隔数）で演算される正常ピークの割合（測定精度）は、８５％以上を合格基準とした。
【００７８】
（ＴＳ５）（全ピーク間隔数）/（全ピーク間隔経過時間：単位は分）で演算されるピーク間隔の１分間における発生回数（心拍数）を求める心拍数演算処理においては、健常者の心拍数の範囲である５０〜１００回/分に対応して、（心拍数）は、５０〜１００回/分、３０秒間の場合は２５〜５０回を合格基準とした。
【００７９】
（ＴＳ６）ビデオ輝度信号の振幅の標準偏差（振幅標準偏差）を演算する標準偏差検出処理においては、（振幅標準偏差）は０．１〜０．２を合格基準とした。
【００８０】
（ＴＳ７）（Ｒ成分−Ｇ成分）および（Ｒ成分−Ｂ成分）の演算（色演算）をする色演算処理においては、（Ｒ成分−Ｇ成分）および（Ｒ成分−Ｂ成分）の各々が輝度の最大値の２０％以上（色演算合格基準）である場合を合格基準とした。
【００８１】
図５は色判定の指標について説明をする図である。
【００８２】
図５の上段「正常測定と判定」の撮影条件は、屋外（フラッシュあり）、暗い場所（フラッシュあり）、屋外（フラッシュなし）の３つの条件で指先を正確にカメラのレンズに当て撮像した場合である。図５の上段の右側は、各々の撮影条件における、指先ビデオ輝度信号のＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の各成分の輝度と、Ｒ/Ｇ、Ｒ/Ｂ、Ｒ−Ｇ、Ｒ−Ｂを示す表の図である。
【００８３】
図５の下段「異常測定と判定」の撮影条件は、指先を正確にカメラのレンズに当てたが暗い場所（フラッシュなし）で撮像した場合、指先をカメラの半分に当てで撮像した場合、指先をカメラから離して撮像した場合、端末を机に置いて撮像した場合、の４つの条件で撮像した場合である。図５の下段の右側は、各々の撮影条件における、指先ビデオ輝度信号のＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の各成分の輝度と、Ｒ/Ｇ、Ｒ/Ｂ、Ｒ−Ｇ、Ｒ−Ｂを示す表の図である。
【００８４】
図５の上段の右側と、下段の右側とを対比すると、正常判定（（測定精度）、（心拍数）、（振幅標準偏差）の３つが合格基準を満すとの判定）と異常判定（（測定精度）、（心拍数）、（振幅標準偏差）３つの合格基準のうち一つでも合格基準を満たさないとの判定）の場合では、（Ｒ−Ｇ）および（Ｒ−Ｂ）の大きさに大きな違いがある。すなわち、正常判定における（Ｒ−Ｇ）および（Ｒ−Ｂ）の各々の大きさは、異常判定における（Ｒ−Ｇ）および（Ｒ−Ｂ）の各々の大きさの１０倍以上である。
【００８５】
よって、（Ｒ−Ｇ）および（Ｒ−Ｂ）の大きさが５１以上（最大値２５５の２０％）であれば、ノイズで汚染されていない指先ビデオ輝度信号を検出しているものと判断する判定基準を追加すると、より判断が正確なものとなる。
【００８６】
以下の（ＴＳ８）〜（ＴＳ９）について説明をする。
（ＴＳ８）測定精度と心拍数と標準偏差と色演算とのすべてが各所定範囲にあるときにビデオ輝度信号を指先から検出する良質なる指先ビデオ輝度信号であり、ピーク間隔を良質なるＲＲ間隔データであるとの合格判定をする合格判定処理。
（ＴＳ９）スマートフォン１０が情報をダウンロードするごとまたは所定の時刻ごとに、直前に得られた指先ビデオ輝度信号またはＲＲ間隔データとスマートフォン１０が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データをサーバ２０に送信するコンテンツ・時刻・指先情報紐付データ送信処理。
【００８７】
（ＴＳ８）においては、（測定精度）が測定精度の合格基準を満たし、（心拍数）が心拍数の合格基準を満たし、（振幅標準偏差）が振幅標準偏差の合格基準を満たし、（色演算）が色演算の合格基準を満たすときに、ビデオ輝度信号を指先から検出する良質なる指先ビデオ輝度信号であり、ピーク間隔を良質なるＲＲ間隔データであるとの合格判定をする。すなわち、この判定を合格した指先ビデオ輝度信号、または、ＲＲ間隔データをサーバ２０において解析して得られた精神面に関する情報は精度が高いものである。なお、フラッシュの自動点灯・消灯の処理を実行する場合には、（ＴＳ８）の処理後に以下の処理を実行する。Ｒ、Ｇ、Ｂの各平均値のすべてが所定値以下（実施例では３０以下）の場合にはフラッシュの点灯をし、所定値よりも大（実施例では３０より大）の場合にはフラッシュの消灯をする。そして、各平均値をクリアして次の３０秒間のＲ、Ｇ、Ｂの各平均値の演算に備える。
【００８８】
（ＴＳ９）においては、スマートフォン１０が情報をダウンロードするごとまたは所定の時刻ごとに、直前に得られた指先ビデオ輝度信号またはＲＲ間隔データとスマートフォン１０が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データをサーバ２０に送信する。
よって、以下の組み合わせを当然に含み、他の組み合わせも可能である。
（１）スマートフォン１０が情報をダウンロードするごとに、直前に得られた指先ビデオ輝度信号またはＲＲ間隔データとスマートフォン１０が得た情報の所在場所を示すコンテンツ情報または脈波脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データをサーバ２０に送信する。
（２）スマートフォン１０が情報をダウンロードするごとに、直前に得られた指先ビデオ輝度信号またはＲＲ間隔データとスマートフォン１０が得た情報の所在場所を示すコンテンツ情報および脈波脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データをサーバ２０に送信する。
（３）所定の時刻ごとに、直前に得られた指先ビデオ輝度信号またはＲＲ間隔データとスマートフォン１０が得た情報の所在場所を示すコンテンツ情報および脈波脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データをサーバ２０に送信する。
（４）所定の時刻ごとに、直前に得られた指先ビデオ輝度信号またはＲＲ間隔データと脈波脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データをサーバ２０に送信する。
【００８９】
ここで、指先ビデオ輝度信号またはＲＲ間隔データとは、指先ビデオ輝度信号またはＲＲ間隔データのいずれかをサーバ２０に送信すればよいことを意味する。指先ビデオ輝度信号を送信する場合には送信するデータ量は多いが、サーバ２０において、スマートフォン１０におけるよりも高精度にＲＲ間隔の検出処理をおこなうことができる。ＲＲ間隔データを送信する場合には送信するデータ量はより少ない。また、コンテンツの所在場所を示すコンテンツ情報とは、例えば、ＵＲＬ：Uniform Resource Locatorユニフォーム リソース ロケータ）である。
【００９０】
（ＴＳ１０）においては、サーバ２０からの画面情報を受信して画面表示する画面情報受信表示処理をコンピュータに実行させる、ディスプレイに表示される画面表示の内容は、サーバ２０で作成される画面情報に応じたものであるので、サーバ２０における処理の部分で説明をする。
【００９１】
図６は、脈波検出端末プログラムをスマートフォン１０のコンピュータにおいて起動させたときのトップ画面である。図６の最上段のＣＯＣＯＬＯＬＯ  ＮＥＷＳの右横のハートマーク（愛称は「ときめきちゃん」）は、（測定精度）、（心拍数）、（標準偏差）のすべてが合格判定の状態である場合に点滅する。操作者は、「ときめきちゃん」の点滅を特別に意識する必要はなく、自然に視覚が認識する範囲で、脈波検出が正しくおこなわれていることを認識できる。
【００９２】
（サーバ２０における処理の概要）
携帯情報端末であるスマートフォン１０を有する脈波検出解析システム１のサーバ２０は、サーバ２０のコンピュータに以下の処理を実行させる。
（ＳＳ１）スマートフォン１０から送信される指先ビデオ輝度信号またはＲＲ間隔データとスマートフォン１０が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データを受信するコンテンツ・時刻・指先情報紐付データ受信処理。
（ＳＳ２）スマートフォン１０から指先ビデオ輝度信号が送信される場合には、選択的な指先ビデオ輝度信号からＲＲ間隔データを検出するＲＲ間隔データ検出処理。
（ＳＳ３）ＲＲ間隔データを一定サンプリング周期のＲＲ間隔時系列データに変換するリサンプリング処理。
（ＳＳ４）ＲＲ間隔時系列データの高速フーリエ変換をする高速フーリエ変換処理。
（ＳＳ５）高速フーリエ変換された周波数スペクトルの高周波成分と低周波成分とを分離し、高周波成分と低周波成分とに基づき、または、高周波成分と低周波成分と心拍数とに基づいて精神面を解析する精神面解析処理。
（ＳＳ６）精神面をコンテンツ情報または脈波検出時刻と関連づけて画面表示するための画面情報を作成する画面作成処理。
（ＳＳ７）画面情報をスマートフォン１０に送信する画面情報送信処理。
【００９３】
（ＳＳ１）〜（ＳＳ２）について説明をする。
（ＳＳ１）スマートフォン１０から送信される指先ビデオ輝度信号またはＲＲ間隔データとスマートフォン１０が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データを受信するコンテンツ・時刻・指先情報紐付データ受信処理。
（ＳＳ２）指先ビデオ輝度信号を受信する場合には選択的に指先ビデオ輝度信号からＲＲ間隔データを検出するＲＲ間隔データ検出処理。
【００９４】
（ＳＳ１）において、サーバ２０のコンピュータは、コンテンツ・時刻・指先情報紐付データを受信して、指先ビデオ輝度信号またはＲＲ間隔データのいずれか、または、その両方をスマートフォン１０から受信し、また、スマートフォン１０が得た情報の所在場所を示すコンテンツ情報または脈波検出時刻を受信する。ＲＲ間隔データを受信した場合には、直ちに（ＳＳ３）に処理を移すことができる。指先ビデオ輝度信号を受信する場合には（ＳＳ２）において、指先ビデオ輝度信号からＲＲ間隔データを検出するＲＲ間隔データ検出処理を選択的におこなうことができる。
【００９５】
サーバ２０のコンピュータは、スマートフォン１０のコンピュータよりも、演算速度が速く、処理能力も高いので、指先ビデオ輝度信号からＲＲ間隔データを検出するＲＲ間隔データ検出処理において、スマートフォン１０におけるよりもより高次数の微分フィルタリングをおこないＲＲ間隔データの精度を高めることができる。指先ビデオ輝度信号のみを受信する場合には、（ＳＳ２）において選択的にサーバ２０においてＲＲ間隔データ検出処理を実行した後に処理を（ＳＳ３）に移す。指先ビデオ輝度信号とＲＲ間隔データの両方を受信する場合には、サーバ２０が、サーバ２０においてＲＲ間隔データ検出処理を実行した後に処理を（ＳＳ３）に移すか、受信したＲＲ間隔データを用いて（ＳＳ３）の処理を実行するかを選択することができる。
【００９６】
（ＳＳ３）〜（ＳＳ５）について説明をする。。
（ＳＳ３）ＲＲ間隔データを一定サンプリング周期のＲＲ間隔時系列データに変換するリサンプリング処理。
（ＳＳ４）ＲＲ間隔時系列データの高速フーリエ変換をする高速フーリエ変換処理。
（ＳＳ５）高速フーリエ変換された周波数スペクトルの高周波成分と低周波成分とを分離し、高周波成分と低周波成分とに基づき、または、高周波成分と低周波成分と心拍数とに基づいて精神面を解析する精神面解析処理。
【００９７】
ＲＲ間隔データは、図４（Ｂ）に示すように時間不等間隔の時系列データである。（ＳＳ４）における高速フーリエ変換においては、ＲＲ間隔データが時間等間隔の時系列データでなければ、高速フーリエ変換の精度が悪くなる。また、サンプリング数が少ないと本来は存在しないスプリアスが発生する。そこで、（ＳＳ３）においてＲＲ間隔データを一定サンプリング周期のＲＲ間隔時系列データに変換する周知のリサンプリング処理をおこなう。リサンプリング処理は高次数の内挿フィルタリング処理であり、リサンプリングの周期に対応した位置に新たなデータを作り出す処理である。リサンプリングの周期は、（ＳＳ４）において実行する高速フーリエ変換の周期と一致させることは周知のであり、リサンプリング周期は、ＲＲ間隔に比べて短くして高速フーリエ変換の精度を高くしている。なお、（ＳＳ４）において実行する高速フーリエ変換に先立ち、周知のエッジ効果の発生を軽減するために周知の窓関数フィルタリング処理（例えば、ハニング窓、ハミング窓によるフィルタリング処理）を実行してもよい。エッジ効果が発生する理由は、３０秒間のＲＲ間隔時系列データの個数が少ないことによっているが、３０秒秒間としている理由は、上述したように「ながら」脈波検出と整合させるためである。
【００９８】
窓関数は、ＲＲ間隔時系列データの長さと同じ時間、すなわち、ＲＲ間隔時系列データのサンプリング数と同じサンプル数の離散関数である。周知のハニング窓は、時系列データの最初と最後のサンプルリング値は０であり、最初と最後のサンプリング点の真中で最大となるＣｏｓｉｎ関数である。ハミング窓もハニング窓と類似するＣｏｓｉｎ関数である。
【００９９】
（ＳＳ５）高速フーリエ変換された周波数スペクトルの高周波成分と低周波成分とを分離し、高周波成分と低周波成分とに基づき、または、高周波成分と低周波成分と心拍数とに基づいて精神面を解析する精神面解析処理については、ＲＲ間隔の高周波成分ＨＦは副交感神経の活動を表し、低周波成分ＬＦは交感神経の活動を表す指標として定義されること。高周波成分ＨＦは、フーリエ変換した後、０．１５〜０．４Ｈｚの帯域を通過させるフィルタによって得られる０．１５〜０．４Ｈｚのパワースペクトルの積分値であり低周波成分ＬＦは、０．０４〜０．１５Ｈｚの帯域を通過させるフィルタによって得られるパワースペクトルの積分値であることは、周知である。通常は高周波成分ＨＦの対数値をＬｎＨＦと標記して副交感神経活動指標を表し、低周波成分ＬＦの対数値をＬｎＬＦと標記して交感神経活動指標を表している。ＬｎＨＦとＬｎＬＦとは、スマートフォン１０の操作者の自覚の有無に関わらず操作者の精神面の客観的な評価である。また、心拍数はＲＲ間隔データから簡単に求められる。
【０１００】
（ＳＳ６）〜（ＳＳ７）について説明をする。
（ＳＳ６）精神面をコンテンツ情報または脈波検出時刻と関連づけて画面表示するための画面情報を作成する画面作成処理。
（ＳＳ７）画面情報をスマートフォン１０に送信する画面情報送信処理。
【０１０１】
「（ＳＳ６）、（ＳＳ７）の各種内容」
（ＳＳ６）において、作成する画面情報の内容は、（ＳＳ７）においてスマートフォン１０に送信され。スマートフォン１０のディスプレイ上に具現化されるので、スマートフォン１０に表示される画面を引用して、サーバ２０のコンピュータに実行させる処理の内容を説明する。
【０１０２】
図６のトップページの上から２段目はコンテンツの分類であり、現在の画面は「主要」の関連記事である、「働き方改革の闇・・・」と記事タイトルが表示されている。
【０１０３】
（キモチの変化）
図７はキモチの変化を表示する画面である。（キモチの変化）とは精神面の変化を、接した情報に応じまたは時系列で画面表示するものである。
【０１０４】
「キモチの変化」を画面表示する例を以下に挙げて説明をする。「幼少からの環境と行動が『スポーツ脳』を作る！？・・・」をタップして開く直前の操作者の「キモチ」を図７（Ａ）に示すように画面表示する。
この表示は、次の順序に従った処理の結果として表示される。
＊順序１「スマートフォン１０のコンピュータが、（ＴＳ９）のコンテンツ・時刻・指先情報紐付データ送信処理において、（１）スマートフォン１０が情報をダウンロードするごとに、直前に得られた指先ビデオ輝度信号またはＲＲ間隔データとスマートフォン１０が得た情報の所在場所を示すコンテンツ情報または脈波脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データをサーバ２０に送信する。」
ここで、直前に得られた指先ビデオ輝度信号またはＲＲ間隔データに基づき解析される、脈波検出時刻１１：０７：２４における精神面は、「幼少からの環境と行動が『スポーツ脳』を作る！？」に未だ接していない時の状態におけるものである。
＊順序２「サーバ２０のコンピュータが、（ＳＳ１）のコンテンツ・時刻・指先情報紐付データ受信処理から（ＳＳ７）の画面情報送信処理までの処理を終了する。」
＊順序３「スマートフォン１０のコンピュータが（ＴＳ１０）の画面情報受信表示処理をする。」この結果として、図７（Ａ）に示す画面がスマートフォン１０に表示される。
図７（Ｂ）は、「幼少からの環境と行動が『スポーツ脳』を作る！？」を読んだ後にスマートフォン１０に表示される「キモチの変化」の画面表示である。
次のコンテンツをタップした時が、「読んだ後」とサーバ２０は判断して、その時以前の最も近い脈波検出時刻１１：１２：３６における精神面に対応する図７（Ｂ）の画面を表示している。なお、上述したように図７（Ｂ）の画面を表示するタイミングは、スマートフォン１０がサーバ２０に対して適宜に設定できる。「読んだ後」と設定するのみならず、「所定の時間ごと」にも設定できる。サーバ２０は、画面表示を図７（Ａ）から図７（Ｂ）に切り替える間に以下の順序４以降の処理をしている。
＊順序４「スマートフォン１０のコンピュータが（ＴＳ９）のコンテンツ・時刻・指先情報紐付データ送信処理において、所定の時刻に、直前に得られた指先ビデオ輝度信号またはＲＲ間隔データとスマートフォン１０が得た情報の所在場所を示すコンテンツ情報および脈波脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データをサーバ２０に送信する。」
ここで、「所定の時刻」とは、スマートフォン１０において設定できるものであり、この場合には、スマートフォン１０が情報をダウンロードしてから次のコンテンツに移動する時刻を「所定の時刻」に設定している。なお、３０秒ごとの「ながら」脈波検出をしているので、この間に複数回の「ながら」脈波検出をしている。複数回の「ながら」脈波検出の全てが合格判定を得ているときには、直前に得られた指先ビデオ輝度信号またはＲＲ間隔データに応じた画面が図７（Ｂ）となる。このコンテンツに移動前の最後の「ながら」脈波検出が不合格判定の場合には、それ以前の最も直前の合格判定の結果に基づきコンテンツ・時刻・指先情報紐付データをサーバ２０に送信して、その時点に応じた画面が図７（Ｂ）となる。
＊順序５「サーバ２０のコンピュータが、（ＳＳ７）の画面情報送信処理の処理を実行する。」
＊順序６「スマートフォン１０のコンピュータが（ＴＳ１０）の画面情報受信表示処理を実行する。」この結果として、図７（Ｂ）に示す画面がスマートフォン１０に表示される。
すなわち、脈波解析サーバプログラムは、サーバ２０のコンピュータに、スマートフォン１０がダウンロードしたコンテンツに接する直前の精神面と、コンテンツに接した後の精神面とを対比してスマートフォン１０に画面表示させるためのプログラムでもある。また、スマートフォン１０がダウンロードしたコンテンツと精神面との間にある傾向を解析して、この傾向をスマートフォン１０に画面表示する画面情報を作成する処理を実行させるためのプログラムでもある。
なお、図７（Ｂ）に示すような画面表示をしなくとも、合格判定が得られるごとにスマートフォン１０はコンテンツ・時刻・指先情報紐付データをサーバ２０に送信するようにし、サーバ２０で（ＳＳ１）〜（ＳＳ６）の処理をおこないビッグデータの蓄積を実行する。
【０１０５】
上述したようにスマートフォン１０のコンピュータは、通常のスマートフォン１０の処理である「幼少からの環境と行動が『スポーツ脳』を作る！？」に関するコンテンツを画面表示する処理のバックグランド処理として、脈波検出プログラムを実行している。時刻１１：０７：２４の顔マーク「ぴりぴり」が時刻１１：１２：３６の顔マーク「バッチリ」に変化している、その下に「ぴりぴりからバッチリになったよ！」の表示がなされている。右隅の▲、左隅の▲をタップすると、他のパターンの結果が表示される。（バッチリ⇒のんびり、のんびり⇒ピリピリなどのケースが表示され、すべてのパターンが表示される。）
【０１０６】
ここで、「バッチリ」、「ぴりぴり」、「ピリピリ」の各々は以下の様にして得ている。発明者が蓄積した自律神経のビックデータに基づき、（低周波成分ＬＦ/高周波成分ＨＦ）の対数である自律神経のバランスＬｎ（ＬＦ/ＨＦ）の分布が図１７に示すように既に作成されている。この自律神経のバランスＬｎ（ＬＦ/ＨＦ）の分布を考慮して、その分布の標準偏差内を「バッチリ」または「ニュートラル」と定義し、標準偏差を超えて副交感神経優位（Ｌｎ（ＬＦ/ＨＦ）が低い）場合を「のんびり」または「リラックス」と定義し、標準偏差を超えて交感神経優位（Ｌｎ（ＬＦ/ＨＦ）が高い）場合を「ピリピリ」または「ストレス」と定義している（標準の範囲を±1σにするかは、分布特性より可変とする。）。よって、脈波検出時刻１１：０７：２４における自律神経のバランスＬｎ（ＬＦ/ＨＦ）の演算の結果が「ピリピリ」の範囲であったので、図７（Ａ）に示す「ピリピリ」に対応した顔マークを表示している。また、脈波検出時刻１１：１２：３６における自律神経のバランスＬｎ（ＬＦ/ＨＦ）の演算の結果が「バッチリ」の範囲であったので、図７（Ｂ）に示す「バッチリ」に対応した顔マークを表示している。
【０１０７】
図８（Ａ）は、「キモチの変化」においてサーバ２０が解析した「傾向分析」を示す画面表示である。
【０１０８】
図８（Ａ）のスマートフォン１０の画面表示面の上段に示すように、サーバ２０が「傾向分析」を完了した場合に、「あなたの傾向分析結果が届いたよ」と表示させる。図８（Ａ）の「あなたの傾向分析結果が届いたよ」のメッセージは点滅する。その右横の「見る」をタップすると、サーバ２０が図８（Ｂ）に示す画面を表示するように、スマートフォン１０に画面情報を送り画面を変化させる。この間、サーバ２０では以下の処理を実行している。
【０１０９】
特定のスマートフォン１０の操作者の現時点における精神面をサーバ２０が解析するとともに、その操作者に関するビッグデータから操作者の傾向をサーバ２０が解析するに至る。解析は、例えば、以下の様におこなう。「ぴりぴり」の精神状態であったときのコンテンツ情報に基づき、特定のスマートフォン１０の操作者の過去における精神面をサーバ２０が検索をして、そのコンテンツの内容に含まれる「キーワード」からコンテンツの種類を分類する。その中から、操作者の精神面が「バッチリ」に変化したコンテンツの内容に含まれる「キーワード」から「バッチリ」に変化をさせたコンテンツの種類を分類する。
【０１１０】
このようなビッグデータの解析をサーバ２０が終了したら、図８（Ａ）に示すような上段の「見る」の表示を出す。なお、上述した解析は常時おこなっており、最新のコンテンツに基づき特定のスマートフォン１０の操作者のデータベースの更新をし続けている。
【０１１１】
図８（Ｂ）は、「キモチの変化」においてサーバ２０が解析した「傾向分析」を示す画面表示である
【０１１２】
図８（Ｂ）に示すように、サーバ２０が「あなたの傾向分析結果はこちら！」のメッセージを表示させ、その下に以下の様に表示させる。『あなたは・・・ＰＯＩＮＴ１「ぴりぴりの時には、動物のニュースを読む傾向がある」  ＰＯＩＮＴ２「ライフスタイルのニュースを読むと、バッチリになりやすい」みたいだよ！』すなわち、サーバ２０は、読んだ記事とその時の精神面との間にある傾向を解析して知らせる。サーバ２０は、ニュース等を読む前のキモチとニュース等を読んだ後のキモチのビッグデータを蓄積する。これにより、どんなキモチのときにどのようなニュース等を読んでいるかの傾向がわかる。どのようなニュース等を読んだ後に、キモチが変化したかの傾向がわかる。ニュース等のテキストマイニングをして、出現する言葉によってキモチがどのように左右されるかがわかる。自分がどのような言葉に接したときにどのような気持ちになるかの情報が蓄積される。天気予報などの外部データとも連携して、晴れの日はスポーツの記事を読む傾向がある、雨の日は政治の記事を読む等の傾向がわかる。他に、歩数等を、加速度センサを活用して採取して活動量とキモチとの関係等も分析できる。これらのデータは、サーバ２０からのアドバイスの作製、ニュース記事のレコメンド等に役立てることができる。
【０１１３】
図９はサーバ２０が、スマートフォン１０に表示させる「あなたのキモチＮＥＷＳ」、「みんなのキモチＮＥＷＳ」の画面表示である。図９（Ａ）に示す画面は、「あなたのキモチＮＥＷＳ」をタップする場合に表示される画面である。最近の「ぴりぴり」から「バッチリ」に変化した記事の一覧が表示される。
【０１１４】
図９（Ｂ）に示す画面は、「みんなのキモチＮＥＷＳ」をタップする場合に表示される画面である。
【０１１５】
「みんなのキモチＮＥＷＳ」は自分（スマートフォン１０の操作者）の精神面と多くの他者の精神面とを対比して自分を認識するためのものである。
すなわち、脈波解析サーバプログラムは、サーバ２０のコンピュータに、自分の精神面と該サーバと接続する他者の平均的な精神面とを対比して表示するための画面情報作成する処理を実行させるための、プログラムでもある。
【０１１６】
「ぴりぴり」から「のんびり」の変化は、「幼少からの環境と行動が『スポーツ脳』を作る！？」に接した操作者の中で、最も多い精神面の傾向を示している。また、スマートフォン１０の操作者と同じ記事を読んだときの多数者の最も多い精神面の傾向を一覧表に示している。
【０１１７】
図９（Ａ）、図９（Ｂ）に示す画面表示をみたスマートフォン１０の操作者は、同じ記事に接した他者の多くは、「ぴりぴり」から「のんびり」へと精神面が変化するのに対して、自分は、「ぴりぴり」から「バッチリ」に変化する傾向があることを知ることになる。
【０１１８】
図１０（Ａ）は、サーバ２０が、スマートフォン１０の操作者の属性を未だ収集していない場合に、サーバ２０が、スマートフォン１０に表示させる画面である。図１０（Ａ）に示すように、「あなたの性別と生年月日を教えてね！」と入力を促すメッセージが表示される。スマートフォン１０の操作者が性別、生年月日を入力し、ＯＫをタップすると、スマートフォン１０はサーバ２０に性別、生年月日に関する情報を送る。スマートフォン１０の操作者がキャンセルをタップすると、「あなたの性別と生年月日を教えてね！」のメッセージは消える。
【０１１９】
図１０（Ｂ）は、右上の歯車アイコンをタップしたときに表示される画面である。サーバ２０は「全ての情報を入力するとより自分にあったニュースやキモチの傾向が表示されるよ！」とのメッセージをスマートフォン１０に表示させる。性別、生年月日、身長、体重、都道府県を入力して「変更」をタップすると、スマートフォン１０は、これらの情報をサーバ２０に送る。
【０１２０】
（ストレス分析処理）
ストレス分析処理とは、上述した、自律神経のバランスＬｎ（ＬＦ/ＨＦ）を用い、精神面を「バッチリ」または「ニュートラル」、「のんびり」または「リラックス」、「ピリピリ」または「ストレス」の３分類に分類するのではなく、心拍数も加えて以下のように精神面を５分類する別の観点からの分類である。
【０１２１】
５分類の内容は、「バッチリ」または「ニュートラル」、「集中」、「ピリピリ」または「ストレス」、「疲労」、「のんびり」または「リラックス」である。「バッチリ」と「ニュートラル」とは意味内容が同義であり、「ピリピリ」と「ストレス」とは意味内容が同義であり、「のんびり」と「リラックス」とは意味内容が同義であるので、以下では、「ニュートラル」、「ストレス」、「リラックス」の用語を用いる。
【０１２２】
図１７は、「ニュートラル」、「集中」、「ストレス」、「疲労」、「リラックス」の各々を示す図である。
【０１２３】
図１７を参照して、「ニュートラル」、「集中」、「ストレス」、「疲労」、「リラックス」の各々の用語の意味を説明する。図１７に示す用語の意味は、発明者が蓄積した自律神経のビックデータより、トータルパワー（副交感神経活動指標ＬｎＨＦ+交感神経活動指標ＬｎＬＦ）の分布及び、自律神経のバランスＬｎ（ＬＦ/ＨＦ）の分布に基づき分類したものである。
【０１２４】
「疲労」
トータルパワー（副交感神経活動指標ＬｎＨＦ+交感神経活動指標ＬｎＬＦ）の分布の標準偏差内を「普通」と定義し、標準偏差を超えてトータルパワー（ＬｎＨＦ+ＬｎＬＦ）が低い場合を「疲労」と定義している（図１７（Ａ）を参照）。この場合、自律神経のバランスＬｎ（ＬＦ/ＨＦ）がどのような値であっても「疲労」と判定される。なお、標準の範囲を±1σにするかは、分布特性より可変とする。
【０１２５】
「ニュートラル」
トータルパワーが一定以上高い場合（普通、活力が高い状態）の時は、自律神経のバランスＬｎ（ＬＦ/ＨＦ）の分布を考慮して、その分布の標準偏差内を「ニュートラル」と定義している（図１７（Ａ）、図１７（Ｂ）を参照）。なお、標準の範囲を±1σにするかは、分布特性より可変とする。
【０１２６】
「リラックス」
標準偏差を超えて副交感神経優位、すなわち、自律神経のバランスＬｎ（ＬＦ/ＨＦ）が低い場合を「リラックス」と定義している（図１７（Ａ）、図１７（Ｂ）を参照）。なお、標準の範囲を±1σにするかは、分布特性より可変とする。
【０１２７】
標準偏差を超えて交感神経優位、すなわち、自律神経のバランスＬｎ（ＬＦ/ＨＦ）が高い場合を「ストレス」と定義している（図１７（Ｃ）を参照）。なお、標準の範囲を±1σにするかは、分布特性より可変とする。
【０１２８】
「ストレス」
自律神経のバランスＬｎ（ＬＦ/ＨＦ）が高く交感神経優位な場合のケースでは、心拍数の分布を考慮して、交感神経優位で心拍数が高い場合は「ストレス」と定義する（図１７（Ｃ）、図１７（Ｄ）を参照）。（心拍数が高いか低いかの閾値は、分布特性より可変とする。）
【０１２９】
「集中」
自律神経のバランスＬｎ（ＬＦ/ＨＦ）が高く交感神経優位な場合のケースでは、心拍数の分布を考慮して、交感神経優位で心拍数が低い状態は「集中」と定義する（図１７（Ｃ）、図１７（Ｄ）を参照）。（心拍数が高いか低いかの閾値は、分布特性より可変とする。）
【０１３０】
図１１（Ａ）は、「ストレス分析」をタップしたときのトップメニューの画面である。「キモチログ」、「ライフリズム」、「ストレスレーダーチャート」、「詳細データ」、「マンスリーレポート」の各項目がタップにより選べる。
【０１３１】
「キモチログ」とは、１日の精神面の状態を表す画面表示である。
「ライフリズム」とは、１日の中で、自分が最も集中力を発揮でいる時間帯がどこか、疲れが溜まる時間帯はどこかなどの生活リズムを表す画面表示である。
「ストレスレーダーチャート」とは、曜日ごとや季節ごとのキモチの傾向や、自分と同じ性別年代との比較などにより、自分のストレスの傾向を表す画面表示である。
「詳細データ」とは、心拍数、ストレス度、トータルパワー、歩数等の指標の詳細指標をグラフ化した画面表示である。
「マンスリーレポート」とは、毎月、その１ヶ月のキモチの傾向をコメント化して説明して、キモチに合わせたリラックスコンテンツ（癒し音楽、アドバイス等）などを表す画面表示である。
【０１３２】
図１１（Ｂ）はストレス分析の課金前にサーバ２０がスマートフォン１０に表示させる画面表示である。
図１１（Ｃ）はストレス分析のチケット申込（課金）のためのサーバ２０がスマートフォン１０に表示させる画面表示である。
【０１３３】
図１２（Ａ）は、「キモチログ」の画面表示である。キモチの移り変わりを顔マークで表している。すなわち、スマートフォン１０からチケット申し込をした後に、図１１（Ａ）の画面表示の「キモチログ」をタップすると、サーバ２０は、日時と精神面に対応する顔マークとを脈波検出時刻の順番に並べて画面表示するための画面情報を作成する。そして、スマートフォン１０に送る。その結果、スマートフォン１０には図１２（Ａ）の画面表示がなされる。すなわち、脈波解析サーバプログラムは、サーバ２０のコンピュータに、日時と精神面に対応する顔マークとを前記脈波検出時刻の順番に並べて画面表示するための画面情報を作成する処理を実行させるための、プログラムでもある。
【０１３４】
図１２（Ｂ）は、「ライフリズム」の画面表示である。縦軸は時刻であり、横軸は精神面である。精神面は、「ストレス」、「集中」、「ニュートラル」、「リラックス」、「疲労」の順に配置されている。色が濃い部分は、横軸の対応する精神面の傾向が強いことを表す。
【０１３５】
図１２（Ｃ）は、「ライフリズム」の別の画面表示である。「あなたにオススメ」の欄が設けられ、操作者の現在の精神面に相応しいコンテンツが表示される。
【０１３６】
図１３（Ａ）は、「ストレスレーダーチャート」の画面表示である。脈波検出時刻と関連づけ「ニュートラル」、「集中」、「ストレス」、「疲労」、「リラックス」の各々を％表示するものである。画面表示の％の計算は以下のようにしておこなう。例えば、1日のうちに測定した総回数が３０回で、以下のような結果であった場合が図１３（Ａ）には表示されている。
・ニュートラルになった回数：３回の場合、割合は３/３０＝１０％
・ストレスになった回数：１９回の場合、割合は１９/３０＝６３％
・疲労になった回数：３回の場合、割合は３/３０＝１０％
・リラックスになった回数：２回の場合、割合は２/３０＝７％
・集中になった回数：３回の場合、割合は３/３０＝１０％ 
すなわち、脈波解析サーバプログラムは、サーバ２０のコンピュータに、「ニュートラル」、「集中」、「ストレス」、「疲労」、「リラックス」の各々の精神状態を％表示するための画面情報作成する処理を実行させるための、プログラムでもある。
【０１３７】
図１３（Ｂ）は、「詳細データ」の画面表示である。「心拍数」、「ストレス」、「トータルパワー」を表示している。
【０１３８】
図１４（Ａ）は、「マンスリーレポート」をタップしたときの画面表示である。「ライフリズム比較」、「ストレスレーダーチャート比較」、「自律神経年齢」、「詳細データ」、「おすすめコラム」の各項目がタップにより選べる。
【０１３９】
図１４（Ｂ）は、「ライフリズム比較」の画面表示である。「自分」と「全体（インターネット３０で接続されるスマートフォンの全体）」とを比較する表示である。
【０１４０】
図１４（Ｃ）は、「ライフリズム比較」の別の画面表示である。「自分」と「全体」とを比較する表示である。「自分」とは自分の精神面であり、「全体」とは、サーバ２０と接続する他者の平均的な精神面である。すなわち、サーバ２０は、自分の精神面と該サーバと接続する他者の平均的な精神面とを対比して表示する処理を実行する。
【０１４１】
図１５（Ａ）は、「ストレスレーダーチャート比較」の画面表示である。「自分」と「３０代女性平均）」とを比較する表示である。２日前、１日前、今日の任意の複数日のデータを選択できる。
【０１４２】
図１５（Ｂ）は、「ストレスレーダーチャート比較」の別の画面表示である。「自分」と「３０代女性平均）」とを比較する表示である。月曜日から日曜日までの一週間の任意の複数日のデータを選択できる。
【０１４３】
図１５（Ｃ）は、「自律神経年齢」の画面表示である。「実年齢」と「自律神経年齢」と「近い実年齢（操作者と実年齢が近い人達）の自律神経年齢」を表示するものである。
【０１４４】
図１６（Ａ）は、「詳細データ」の画面表示である。日、週、月、年ごとの過去の詳細データを選べる。図１６（Ａ）には、「心拍数」、「ストレス」、「トータルパワー」を表示している。
【０１４５】
図１６（Ｂ）は、「おすすめコラム」の画面表示である。キモチに合わせたコンテンツをいくつか紹介しているので、紹介されているコンテンツ表示をタップしてその内容を画面に表示できる。
【０１４６】
図１８は、脈波検出端末プログラムのフローチャートである。
【０１４７】
図１９は、脈波解析サーバプログラムのフローチャートである。
【０１４８】
（第２の脈波検出端末プログラム）
第１実施形態の変形である第２の脈波検出プログラムについて説明をする。第２の脈波検出プログラムは、（異常ピーク間隔排除処理）、（測定精度）、（心拍数）、（色演算）の各判定処理をビデオ輝度信号のピーク間隔を検出するごとに実行するものである。そして、各判定処理のいずれか一つでも合格しない場合には、その時点ですべての処理をリセットし処理は最初に戻り、再び所定期間ごとの処理を開始する。これによって、３０秒待つことなく、不合格判定ができるので、次の３０秒の脈波検出を速やかにおこなうことができる。その他の処理は脈波検出端末プログラムと異なるところはない。
【０１４９】
第２の脈波検出端末プログラムは、ビデオ輝度信号の１画面取得のサンプリング周期に同期するハードウエアクロック割込み処理、ビデオ輝度信号のピークを検出するごとのピーク検出割込み、合格処理ルーチンを有している。
【０１５０】
図２０は、第２の脈波検出端末プログラムのフローチャートを示すものである。
【０１５１】
第２の脈波検出端末プログラムでは、スマートフォン１０のコンピュータは、Ｒ，Ｇ，Ｂ成分取得処理,ビデオ輝度信号取得処理,ピーク間隔検出処理はビデオ輝度信号の１画面取得のサンプリング周期に同期するハードウエアクロック割込み処理を実行する。
（ＴＳ２１）カメラで撮像したＲ（赤），Ｇ（緑），Ｂ（青）成分を取得するＲ，Ｇ，Ｂ成分取得処理を実行する。
（ＴＳ２２）Ｒ，Ｇ，Ｂ成分を加算したビデオ輝度信号を取得するビデオ輝度信号取得処理を実行する。
（ＴＳ２３）ビデオ輝度信号に含まれるピークを検出するピーク検出処理を実行する。
（ＴＳ２４）ピーク検出したか否か、３０秒経過したか否か、を判断する。３０秒経過の場合は合格処理ルーチンへ移る。（異常ピーク間隔排除処理）、（測定精度）、（心拍数）、（色演算）の各合格判定の結果のいずれかが不合格になるとすべての処理をリセットし処理は最初に戻るので、３０秒経過するのは、（異常ピーク間隔排除処理）、（測定精度）、（心拍数）、（色演算）の各判定処理の結果、３つとも合格した場合のみである。また、ピークを検出するごとに処理は、ピーク検出割込み処理を実行する。
【０１５２】
ピーク検出割込みでは、スマートフォン１０のコンピュータは以下の処理を実行する。
（ＴＳ２５）前のピークとの間隔であるピーク間隔を検出する。
（ＴＳ２６）ピーク間隔が、所定回数以上、異常ピーク間隔か否かの判定をする。
ここで、「異常ピーク間隔」、1以上の正の整数である「所定回数」をどのように設定するかが問題となる。健常者の心拍の値は５０〜１００回/分（１．２秒〜０．６秒/ピーク間隔）とされているので、これを基準として、例えば、ｋを１以下の正の数として「異常ピーク間隔」を以下の様に定義する。
１．２秒×（１＋ｋ）＜（異常ピーク間隔）＜０．６秒×（１−ｋ）
ここで、ｋが１に近づく程、上式で表す（異常ピーク間隔）は、健常者のピーク間隔である正常ピーク間隔から離れたものとなり、異常ピーク間隔の排除の効果は薄れる。一方、ｋが０に近づく程、健常者のピーク間隔を異常ピーク間隔と判定しがちになる。また、「所定回数」に関しては、ｋが１に近づく程、少ない回数とし、ｋが０に近づく程、多い回数としなければ、正常ピーク間隔と異常ピーク間隔との分離ができない。「異常ピーク間隔」、「所定回数」をどのように設定するかは、カメラの性能、周囲の明るさ等の環境にも依存しているので、これらを考慮に入れて適宜に設定できる。例えば、ｋ＝０．３として、異常ピーク間隔を健常者のピーク間隔よりも約３割拡大して、所定回数を1回とするような設定であってもよい。所定回数の異常ピーク間隔が検出された場合（ＹＥＳ）には、その時点ですべての処理をリセットし処理は最初に戻る。それ以外（ＮＯ）では処理は（ＴＳ２７）に移る。
【０１５３】
（ＴＳ２７）（正常ピーク間隔の数）/（全ピーク間隔数）、すなわち、（測定精度）が合格基準か否かを判定する。例えば、（測定精度）が８５％未満の場合には、その時点ですべての処理をリセットし処理は最初に戻る。それ以外では処理は（ＴＳ２８）に移る。
（ＴＳ２８）（それまでのピーク間隔数）/（その時点までの経過時間：単位は分）、すなわち、（心拍数）を演算する。例えば、（心拍数）が５０回/分未満、１００回/分より多い場合（３０秒に換算すると、２５回/３０秒〜５０回/３０秒の範囲以外）には、その時点ですべての処理をリセットし処理は最初に戻る。それ以外では処理は（ＴＳ２９）に移る。
（ＴＳ２９）（Ｒ成分−Ｇ成分）および（Ｒ成分−Ｂ成分）の演算（色演算）の結果が最大輝度（２５５）の例えば２０％未満の場合には、すべての処理をリセットして処理は最初に戻る。
【０１５４】
合格処理ルーチンでは、スマートフォン１０のコンピュータは以下の処理を実行する。
（ＴＳ３０）ビデオ輝度信号が標準偏差合格基準をクリアするか否かを判定する。標準偏差合格基準をクリアしない場合には、その時点ですべての処理をリセットし処理は最初に戻る。それ以外では処理は（ＴＳ３１）に移る。
（ＴＳ３１）スマートフォンが情報をダウンロードするごとまたは所定の脈波検出時刻ごとに、直前に得られた指先ビデオ輝度信号またはＲＲ間隔データとスマートフォンが得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けたコンテンツ・時刻・指先情報紐付データをサーバに送信するコンテンツ・時刻・指先情報紐付データ送信処理を実行する。
【０１５５】
「第３実施形態の脈波検出解析端末プログラム」
第３実施形態の脈波解析プログラムは、スマートフォン１０をスタンドアローンの脈波検出解析端末として機能させるための脈波検出解析端末プログラムである。
【０１５６】
脈波検出解析端末プログラムは、カメラを内蔵するスマートフォンのコンピュータに、スマートフォンが得た情報を操作者が利用中における所定時間ごとに、以下の処理を実行させる。所定時間ごととは、３０秒が目安である。
【０１５７】
以下の処理が第１実施形態の脈波検出端末プログラムに対応する部分である。
カメラで撮像したＲ（赤），Ｇ（緑），Ｂ（青）成分を取得するＲ，Ｇ，Ｂ成分取得処理と、Ｒ，Ｇ，Ｂ成分を加算したビデオ輝度信号を取得するビデオ輝度信号取得処理と、ビデオ輝度信号に含まれるピーク間隔を検出するピーク間隔検出処理と、（正常ピーク間隔の数）/（全ピーク間隔数）で演算される正常ピークの割合（測定精度）を判定する測定精度判定処理と、ピーク間隔の１分間における発生回数（心拍数）を求める心拍数演算処理と、ビデオ輝度信号の振幅の標準偏差（振幅標準偏差）を演算する標準偏差検出処理と、（Ｒ成分−Ｇ成分）および（Ｒ成分−Ｂ成分）の演算（色演算）をする色演算処理と、測定精度と心拍数と標準偏差と色演算とのすべてが各所定範囲にあるときにピーク間隔を良質なるＲＲ間隔データであるとの合格判定をする合格判定処理と、スマートフォンが情報をダウンロードするごとまたは所定の時刻ごとに、ＲＲ間隔データとスマートフォンが得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けるコンテンツ・時刻・指先情報紐付処理と、である。
【０１５８】
以下の処理が第２実施形態の脈波解析サーバプログラムに対応する部分である。
ＲＲ間隔データを一定サンプリング周期のＲＲ間隔時系列データに変換するリサンプリング処理と、ＲＲ間隔時系列データの高速フーリエ変換をする高速フーリエ変換処理と、高速フーリエ変換された周波数スペクトルの高周波成分と低周波成分とを分離し、高周波成分と低周波成分とに基づき、または、高周波成分と低周波成分と心拍数とに基づいて精神面を解析する精神面解析処理と、精神面をコンテンツ情報または脈波検出時刻と関連づけて画面表示するための画面情報を作成する画面作成処理とである。
【０１５９】
図２１は、脈波検出解析端末プログラムのフローチャートを示すものである。
（ＫＳ１）カメラで撮像したＲ（赤），Ｇ（緑），Ｂ（青）成分を取得するＲ，Ｇ，Ｂ成分取得処理
（ＫＳ２）Ｒ，Ｇ，Ｂ成分を加算したビデオ輝度信号を取得するビデオ輝度信号取得処理
（ＫＳ３）ビデオ輝度信号に含まれるピーク間隔を検出するピーク間隔検出処理
（ＫＳ４）（正常ピーク間隔の数）/（全ピーク間隔数）で演算される正常ピークの割合（測定精度）を判定する測定精度判定処理
（ＫＳ５）（全ピーク間隔数）/（全ピーク間隔経過時間：単位は分）で演算されるピーク間隔の１分間における発生回数（心拍数）を求める心拍数演算処理
（ＫＳ６）ビデオ輝度信号の振幅の標準偏差（振幅標準偏差）を演算する標準偏差検出処理
（ＫＳ７）（Ｒ成分−Ｇ成分）および（Ｒ成分−Ｂ成分）の演算（色演算）をする色演算処理
（ＫＳ８）測定精度と心拍数と標準偏差と色演算とのすべてが各所定範囲にあるときにピーク間隔を良質なるＲＲ間隔データであるとの合格判定をする合格判定処理
（ＫＳ９）スマートフォンが情報をダウンロードするごとまたは所定の脈波検出時刻ごとに、ＲＲ間隔データとスマートフォンが得た情報の所在場所を示すコンテンツ情報または脈波検出時刻とを紐付けるコンテンツ・時刻・指先情報紐付処理
（ＫＳ１０）ＲＲ間隔データを一定サンプリング周期のＲＲ間隔時系列データに変換するリサンプリング処理
（ＫＳ１１）ＲＲ間隔時系列データの高速フーリエ変換をする高速フーリエ変換処理
（ＫＳ１２）高速フーリエ変換された周波数スペクトルの高周波成分と低周波成分とを分離し、高周波成分と低周波成分とに基づき、または、高周波成分と低周波成分と心拍数とに基づいて精神面を解析する精神面解析処理
（ＫＳ１３）精神面をコンテンツ情報または脈波検出時刻と関連づけて画面表示するための画面情報を作成する画面作成処理
（ＫＳ１４）画面情報をディスプレイに画面表示する画面表示処理
【０１６０】
上述した第１実施形態の各実施例、第２実施形態の各実施例、第３実施形態の各実施例、その他の各実施例に記載の構成部の全部または一部を組み合わせた実施例も実施可能であり、本願の実施形態に含まれる。なお、上述した各実施例に表される構成部の形状が異なっても同一作用を奏する構成部を用いる実施例も本願の実施形態に含まれる。本願発明はこれら実施形態のみならず同一の技術的思想の範囲を含むことはいうまでもない。
【符号の説明】
【０１６１】
１      脈波検出解析システム
１０    スマートフォン
２０    サーバ
３０    インターネット
【図１】
2019180666.tif 000003
【図２】
2019180666.tif 000004
【図３】
2019180666.tif 000005
【図４】
2019180666.tif 000006
【図５】
2019180666.tif 000007
【図６】
2019180666.tif 000008
【図７】
2019180666.tif 000009
【図８】
2019180666.tif 000010
【図９】
2019180666.tif 000011
【図１０】
2019180666.tif 000012
【図１１】
2019180666.tif 000013
【図１２】
2019180666.tif 000014
【図１３】
2019180666.tif 000015
【図１４】
2019180666.tif 000016
【図１５】
2019180666.tif 000017
【図１６】
2019180666.tif 000018
【図１７】
2019180666.tif 000019
【図１８】
2019180666.tif 000020
【図１９】
2019180666.tif 000021
【図２０】
2019180666.tif 000022
【図２１】
2019180666.tif 000023