(57)【要約】【課題】鼓動感覚を共有される対象者の妨げにならない方法で取得した情報から鼓動感間隔と鼓動感強度との少なくとも何れかを推定し、鼓動感情報を生成、呈示する装置、方法を提供する。【解決手段】鼓動感情報生成装置は、動物が自身の心臓の拍動に対して感じる感覚を鼓動感覚とし、鼓動感覚の間隔を鼓動感間隔とし、鼓動感覚の強さを鼓動感強度とし、鼓動感覚を呈示するための情報を鼓動感情報とし、対象者の発話から、鼓動感間隔と鼓動感強度との少なくとも何れかを推定する鼓動感情報推定部と、鼓動感間隔の推定値と鼓動感強度の推定値との少なくとも何れかから鼓動感情報を合成する鼓動感情報合成部とを含む。【選択図】図１
2016051263.tif 000002
【特許請求の範囲】
【請求項１】
動物が自身の心臓の拍動に対して感じる感覚を鼓動感覚とし、鼓動感覚の間隔を鼓動感間隔とし、鼓動感覚の強さを鼓動感強度とし、鼓動感覚を呈示するための情報を鼓動感情報とし、
対象者の発話から、鼓動感間隔と鼓動感強度との少なくとも何れかを推定する鼓動感情報推定部と、
前記鼓動感間隔の推定値と前記鼓動感強度の推定値との少なくとも何れかから鼓動感情報を合成する鼓動感情報合成部とを含む、
鼓動感情報生成装置。
【請求項２】
請求項１の鼓動感情報生成装置であって、
前記鼓動感情報推定部は、
対象者の発話の速度を用いて、対象者の発話の速度が第１値である区間に対応する鼓動感間隔の推定値が、対象者の発話の速度が第1値よりも小さい第２値である区間に対応する鼓動感間隔の推定値よりも小さくなるように、鼓動感間隔を推定する鼓動感間隔推定部と、
対象者の発話の速度を用いて、対象者の発話の速度が第１値である区間に対応する鼓動感強度の推定値が、対象者の発話の速度が第1値よりも小さい第２値である区間に対応する鼓動感強度の推定値よりも大きくなるように、鼓動感強度を推定する鼓動感強度推定部との少なくとも何れかを含む、
鼓動感情報生成装置。
【請求項３】
請求項１または請求項２の鼓動感情報生成装置であって、
前記鼓動感情報推定部は、
対象者の発話の基本周波数を用いて、対象者の発話の基本周波数が第１値である区間に対応する鼓動感間隔の推定値が、対象者の発話の基本周波数が第1値よりも小さい第２値である区間に対応する鼓動感間隔の推定値よりも小さくなるように、鼓動感間隔を推定する鼓動感間隔推定部と、
対象者の発話の基本周波数を用いて、対象者の発話の基本周波数が第１値である区間に対応する鼓動感強度の推定値が、対象者の発話の基本周波数が第1値よりも小さい第２値である区間に対応する鼓動感強度の推定値よりも大きくなるように、鼓動感強度を推定する鼓動感強度推定部との少なくとも何れかを含む、
鼓動感情報生成装置。
【請求項４】
請求項１の鼓動感情報生成装置であって、
前記鼓動感情報推定部は、
0.5<α<1とし、対象者の発話の速度を用いて、対象者の発話の速度が第１値である区間に対応する鼓動感間隔の推定値が、対象者の発話の速度が第1値よりも小さい第２値である区間に対応する鼓動感間隔の推定値よりも小さくなるように、第一鼓動感間隔を推定し、対象者の発話の基本周波数を用いて、対象者の発話の基本周波数が第１値である区間に対応する鼓動感間隔の推定値が、対象者の発話の基本周波数が第1値よりも小さい第２値である区間に対応する鼓動感間隔の推定値よりも小さくなるように、第二鼓動感間隔を推定し、前記第一鼓動感間隔の推定値BD1と前記第二鼓動感間隔の推定値BD2とに基づき、鼓動感間隔の推定値BD3を
【数３】
2016051263.tif 000005
として推定する鼓動感間隔推定部と、
0.5<β<1とし、対象者の発話の速度を用いて、対象者の発話の速度が第１値である区間に対応する鼓動感強度の推定値が、対象者の発話の速度が第1値よりも小さい第２値である区間に対応する鼓動感強度の推定値よりも大きくなるように、第一鼓動感強度を推定し、対象者の発話の基本周波数を用いて、対象者の発話の基本周波数が第１値である区間に対応する鼓動感強度の推定値が、対象者の発話の基本周波数が第1値よりも小さい第２値である区間に対応する鼓動感強度の推定値よりも大きくなるように、第二鼓動感強度を推定し、前記第一鼓動感強度の推定値BS1と前記第二鼓動感強度の推定値BS2とに基づき、鼓動感強度の推定値BS3を
【数４】
2016051263.tif 000006
として推定する鼓動感強度推定部とを含む、
鼓動感情報生成装置。
【請求項５】
請求項２から請求項４の何れかの鼓動感情報生成装置であって、
前記鼓動感間隔推定部は、無音のフレームについては、その直前の無音でないフレームの鼓動感間隔の推定値と同じ値を、鼓動感間隔の推定値とし、
前記鼓動感強度推定部は、無音のフレームについては、その直前の無音でないフレームの鼓動感強度の推定値と同じ値を、鼓動感強度の推定値とする、
鼓動感情報生成装置。
【請求項６】
請求項１から請求項５の何れかの鼓動感情報生成装置であって、
前記鼓動感間隔の推定値と前記鼓動感強度の推定値との少なくとも何れかから合成された鼓動感情報を呈示する鼓動感情報呈示部とを含み、
前記鼓動感情報呈示部が呈示する鼓動感情報は、
（１）予め用意された心拍１拍分の波形が前記鼓動感間隔の推定値で繰り返される波形であって、および／もしくは、前記鼓動感強度の推定値が大きいほど前記波形の振幅が大きくなるように合成された波形である、
ならびに／または、
（２）予め用意された心拍１拍分の音が前記鼓動感間隔の推定値で繰り返される音であって、および／もしくは、前記鼓動感強度の推定値が大きいほど前記音の音量が大きくなるように合成された音である、
ならびに／または、
（３）予め用意された心拍１拍分の振動が前記鼓動感間隔の推定値で繰り返される振動であって、および／もしくは、前記鼓動感強度の推定値が大きいほど前記振動の強度が大きくなるように合成された振動である、
鼓動感情報生成装置。
【請求項７】
配信サーバと鼓動感情報生成装置とを含む配信システムであって、
動物が自身の心臓の拍動に対して感じる感覚を鼓動感覚とし、鼓動感覚の間隔を鼓動感間隔とし、鼓動感覚の強さを鼓動感強度とし、鼓動感覚を呈示するための情報を鼓動感情報とし、
前記配信サーバは、マイクで収音された対象者の発話を含む音声信号を用いて、鼓動感間隔と鼓動感強度との少なくとも何れかを推定し、前記鼓動感間隔の推定値と前記鼓動感強度の推定値との少なくとも何れかを前記鼓動感情報生成装置に配信し、
前記鼓動感情報生成装置は、
前記配信サーバから受け取った前記鼓動感間隔の推定値と前記鼓動感強度の推定値との少なくとも何れかから鼓動感情報を合成して呈示する鼓動感情報呈示部とを含み、
前記鼓動感情報呈示部が呈示する鼓動感情報は、
（１）予め用意された心拍１拍分の波形が前記鼓動感間隔の推定値で繰り返される波形であって、および／もしくは、前記鼓動感強度の推定値が大きいほど前記波形の振幅が大きくなるように合成された波形である、
ならびに／または、
（２）予め用意された心拍１拍分の音が前記鼓動感間隔の推定値で繰り返される音であって、および／もしくは、前記鼓動感強度の推定値が大きいほど前記音の音量が大きくなるように合成された音である、
ならびに／または、
（３）予め用意された心拍１拍分の振動が前記鼓動感間隔の推定値で繰り返される振動であって、および／もしくは、前記鼓動感強度の推定値が大きいほど前記振動の強度が大きくなるように合成された振動である、
配信システム。
【請求項８】
配信サーバと鼓動感情報生成装置とを含む配信システムであって、
動物が自身の心臓の拍動に対して感じる感覚を鼓動感覚とし、鼓動感覚の間隔を鼓動感間隔とし、鼓動感覚の強さを鼓動感強度とし、鼓動感覚を呈示するための情報を鼓動感情報とし、
前記配信サーバは、マイクで収音された対象者の発話を含む音声信号を受け取り、前記鼓動感情報生成装置に配信し、
前記鼓動感情報生成装置は、マイクで収音された対象者の発話を含む音声信号を用いて、鼓動感間隔と鼓動感強度との少なくとも何れかを推定する鼓動感情報生成部と、
前記鼓動感間隔の推定値と前記鼓動感強度の推定値との少なくとも何れかから合成された鼓動感情報を呈示する鼓動感情報呈示部とを含み、
前記鼓動感情報呈示部が呈示する鼓動感情報は、
（１）予め用意された心拍１拍分の波形が前記鼓動感間隔の推定値で繰り返される波形であって、および／もしくは、前記鼓動感強度の推定値が大きいほど前記波形の振幅が大きくなるように合成された波形である、
ならびに／または、
（２）予め用意された心拍１拍分の音が前記鼓動感間隔の推定値で繰り返される音であって、および／もしくは、前記鼓動感強度の推定値が大きいほど前記音の音量が大きくなるように合成された音である、
ならびに／または、
（３）予め用意された心拍１拍分の振動が前記鼓動感間隔の推定値で繰り返される振動であって、および／もしくは、前記鼓動感強度の推定値が大きいほど前記振動の強度が大きくなるように合成された振動である、
配信システム。
【請求項９】
動物が自身の心臓の拍動に対して感じる感覚を鼓動感覚とし、鼓動感覚の間隔を鼓動感間隔とし、鼓動感覚の強さを鼓動感強度とし、鼓動感覚を呈示するための情報を鼓動感情報とし、
対象者の発話から、鼓動感間隔と鼓動感強度との少なくとも何れかを推定する鼓動感情報推定ステップと、
前記鼓動感間隔の推定値と前記鼓動感強度の推定値との少なくとも何れかから鼓動感情報を合成する鼓動感情報合成ステップとを含む、
鼓動感情報生成方法。
【請求項１０】
請求項９の鼓動感情報生成方法であって、
前記鼓動感情報推定ステップは、
対象者の発話の速度を用いて、対象者の発話の速度が第１値である区間に対応する鼓動感間隔の推定値が、対象者の発話の速度が第1値よりも小さい第２値である区間に対応する鼓動感間隔の推定値よりも小さくなるように、鼓動感間隔を推定する鼓動感間隔推定ステップと、
対象者の発話の速度を用いて、対象者の発話の速度が第１値である区間に対応する鼓動感強度の推定値が、対象者の発話の速度が第1値よりも小さい第２値である区間に対応する鼓動感強度の推定値よりも大きくなるように、鼓動感強度を推定する鼓動感強度推定ステップとの少なくとも何れかを含む、
鼓動感情報生成方法。
【請求項１１】
請求項９または請求項１０の鼓動感情報生成方法であって、
前記鼓動感情報推定ステップは、
対象者の発話の基本周波数を用いて、対象者の発話の基本周波数が第１値である区間に対応する鼓動感間隔の推定値が、対象者の発話の基本周波数が第1値よりも小さい第２値である区間に対応する鼓動感間隔の推定値よりも小さくなるように、鼓動感間隔を推定する鼓動感間隔推定ステップと、
対象者の発話の基本周波数を用いて、対象者の発話の基本周波数が第１値である区間に対応する鼓動感強度の推定値が、対象者の発話の基本周波数が第1値よりも小さい第２値である区間に対応する鼓動感強度の推定値よりも大きくなるように、鼓動感強度を推定する鼓動感強度推定ステップとの少なくとも何れかを含む、
鼓動感情報生成方法。
【請求項１２】
請求項９の鼓動感情報生成方法であって、
前記鼓動感情報推定ステップは、
0.5<α<1とし、対象者の発話の速度を用いて、対象者の発話の速度が第１値である区間に対応する鼓動感間隔の推定値が、対象者の発話の速度が第1値よりも小さい第２値である区間に対応する鼓動感間隔の推定値よりも小さくなるように、第一鼓動感間隔を推定し、対象者の発話の基本周波数を用いて、対象者の発話の基本周波数が第１値である区間に対応する鼓動感間隔の推定値が、対象者の発話の基本周波数が第1値よりも小さい第２値である区間に対応する鼓動感間隔の推定値よりも小さくなるように、第二鼓動感間隔を推定し、前記第一鼓動感間隔の推定値BD1と前記第二鼓動感間隔の推定値BD2とに基づき、鼓動感間隔の推定値BD3を
【数５】
2016051263.tif 000007
として推定する鼓動感間隔推定ステップと、
0.5<β<1とし、対象者の発話の速度を用いて、対象者の発話の速度が第１値である区間に対応する鼓動感強度の推定値が、対象者の発話の速度が第1値よりも小さい第２値である区間に対応する鼓動感強度の推定値よりも大きくなるように、第一鼓動感強度を推定し、対象者の発話の基本周波数を用いて、対象者の発話の基本周波数が第１値である区間に対応する鼓動感強度の推定値が、対象者の発話の基本周波数が第1値よりも小さい第２値である区間に対応する鼓動感強度の推定値よりも大きくなるように、第二鼓動感強度を推定し、前記第一鼓動感強度の推定値BS1と前記第二鼓動感強度の推定値BS2とに基づき、鼓動感強度の推定値BS3を
【数６】
2016051263.tif 000008
として推定する鼓動感強度推定ステップとを含む、
鼓動感情報生成方法。
【請求項１３】
請求項１から請求項６の何れかの鼓動感情報生成装置として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動物が自身の心臓の拍動に対して感じる感覚（以下「鼓動感覚」という）を呈示するための技術に関する。
【背景技術】
【０００２】
出演者の心理状態や物理状態を観衆と共有する方法として、出演者から取得した心拍や心電等の生体情報そのものを観客に配信する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３０３７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ヒトは自身の心臓が拍動していることを感じることができる（「鼓動感覚」）。鼓動感覚とは、動物が自身の心臓の拍動に対して感じる感覚であり、動物自身の体内にある心臓の拍動によって生じる身体的な変化が感覚器官を通じて把握される知覚現象である。例えば、静かな部屋で、落ち着いた状態で心臓の拍動に意識を集中すると「ドクン…ドクン…」という間隔の長い拍動を感じ、激しい運動の後では「ドクッドクッドクッ…」という間隔の短い拍動を感じる。そして、ある人が感じる鼓動感覚を、他者に呈示し、他者と共有するためには、その鼓動感覚が生じる時間間隔（以下「鼓動感間隔」ともいう）やその強度（以下「鼓動感強度」ともいう）に関する情報を伝達する必要がある。つまり、鼓動感覚を呈示、共有するための情報（以下、「鼓動感情報」ともいう）は、主に鼓動感間隔と鼓動感強度により表現することができる。鼓動感間隔及び鼓動感強度は、動物が自身の心臓の拍動に対して感じるものであり、主観的なものである。ただし、鼓動感間隔に関しては、以下に説明するような様々な生体センサを用いて容易に取得されるが、鼓動感強度に関しては専用の測定装置や心理学的な実験を通じてでなければ取得することは難しい。
【０００５】
特許文献１などの従来の方法では、出演者の鼓動感間隔（つまり、心拍の間隔）を観客が共有することはできるが、鼓動感強度を観客が共有することはできない。そのため、出演者の緊張状態や興奮状態といった心理的な状態を、観客が共有することは困難であった。また、鼓動感情報を鼓動感間隔のみにより表現したとしても、従来の方法では、出演者は生体センサを装着した状態で演じなければならない。そのため、生体センサが出演者の演技の妨げになってしまうという問題もあった。
【０００６】
本発明は、鼓動感覚を共有される対象者（例えば、出演者）の妨げにならない方法で取得した情報から鼓動感間隔と鼓動感強度との少なくとも何れかを推定し、鼓動感情報を生成、呈示する装置、方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様によれば、鼓動感情報生成装置は、動物が自身の心臓の拍動に対して感じる感覚を鼓動感覚とし、鼓動感覚の間隔を鼓動感間隔とし、鼓動感覚の強さを鼓動感強度とし、鼓動感覚を呈示するための情報を鼓動感情報とし、対象者の発話から、鼓動感間隔と鼓動感強度との少なくとも何れかを推定する鼓動感情報推定部と、鼓動感間隔の推定値と鼓動感強度の推定値との少なくとも何れかから鼓動感情報を合成する鼓動感情報合成部とを含む。
【０００８】
上記の課題を解決するために、本発明の他の態様によれば、配信システムは、配信サーバと鼓動感情報生成装置とを含む。配信システムは、動物が自身の心臓の拍動に対して感じる感覚を鼓動感覚とし、鼓動感覚の間隔を鼓動感間隔とし、鼓動感覚の強さを鼓動感強度とし、鼓動感覚を呈示するための情報を鼓動感情報とし、配信サーバは、マイクで収音された対象者の発話を含む音声信号を用いて、鼓動感間隔と鼓動感強度との少なくとも何れかを推定し、鼓動感間隔の推定値と鼓動感強度の推定値との少なくとも何れかを鼓動感情報生成装置に配信し、鼓動感情報生成装置は、配信サーバから受け取った鼓動感間隔の推定値と鼓動感強度の推定値との少なくとも何れかから鼓動感情報を合成して呈示する鼓動感情報呈示部とを含み、鼓動感情報呈示部が呈示する鼓動感情報は、（１）予め用意された心拍１拍分の波形が鼓動感間隔の推定値で繰り返される波形であって、および／もしくは、鼓動感強度の推定値が大きいほど波形の振幅が大きくなるように合成された波形である、ならびに／または、（２）予め用意された心拍１拍分の音が鼓動感間隔の推定値で繰り返される音であって、および／もしくは、鼓動感強度の推定値が大きいほど音の音量が大きくなるように合成された音である、ならびに／または、（３）予め用意された心拍１拍分の振動が鼓動感間隔の推定値で繰り返される振動であって、および／もしくは、鼓動感強度の推定値が大きいほど振動の強度が大きくなるように合成された振動である。
【０００９】
上記の課題を解決するために、本発明の他の態様によれば、配信システムは、配信サーバと鼓動感情報生成装置とを含む。配信システムは、動物が自身の心臓の拍動に対して感じる感覚を鼓動感覚とし、鼓動感覚の間隔を鼓動感間隔とし、鼓動感覚の強さを鼓動感強度とし、鼓動感覚を呈示するための情報を鼓動感情報とし、配信サーバは、マイクで収音された対象者の発話を含む音声信号を受け取り、鼓動感情報生成装置に配信し、鼓動感情報生成装置は、マイクで収音された対象者の発話を含む音声信号を用いて、鼓動感間隔と鼓動感強度との少なくとも何れかを推定する鼓動感情報生成部と、鼓動感間隔の推定値と鼓動感強度の推定値との少なくとも何れかから合成された鼓動感情報を呈示する鼓動感情報呈示部とを含み、鼓動感情報呈示部が呈示する鼓動感情報は、（１）予め用意された心拍１拍分の波形が鼓動感間隔の推定値で繰り返される波形であって、および／もしくは、鼓動感強度の推定値が大きいほど波形の振幅が大きくなるように合成された波形である、
ならびに／または、（２）予め用意された心拍１拍分の音が鼓動感間隔の推定値で繰り返される音であって、および／もしくは、鼓動感強度の推定値が大きいほど音の音量が大きくなるように合成された音である、ならびに／または、（３）予め用意された心拍１拍分の振動が鼓動感間隔の推定値で繰り返される振動であって、および／もしくは、鼓動感強度の推定値が大きいほど振動の強度が大きくなるように合成された振動である。
【００１０】
上記の課題を解決するために、本発明の他の態様によれば、鼓動感情報生成方法は、動物が自身の心臓の拍動に対して感じる感覚を鼓動感覚とし、鼓動感覚の間隔を鼓動感間隔とし、鼓動感覚の強さを鼓動感強度とし、鼓動感覚を呈示するための情報を鼓動感情報とし、対象者の発話から、鼓動感間隔と鼓動感強度との少なくとも何れかを推定する鼓動感情報推定ステップと、鼓動感間隔の推定値と鼓動感強度の推定値との少なくとも何れかから鼓動感情報を合成する鼓動感情報合成ステップとを含む。
【発明の効果】
【００１１】
本発明によれば、対象者の発話のみから、その対象者の鼓動感情報を生成することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】第一実施形態に係る鼓動感情報生成装置の機能ブロック図。
【図２】第一実施形態に係る鼓動感情報生成装置の処理フローを示す図。
【図３】鼓動感情報として視覚情報（映像）を呈示する場合の映像例を示す図。
【図４】第二実施形態に係る鼓動感情報生成装置の機能ブロック図。
【図５】第二実施形態に係る鼓動感情報生成装置の処理フローを示す図。
【図６】第三実施形態に係る鼓動感情報生成装置の機能ブロック図。
【図７】第三実施形態に係る鼓動感情報生成装置の処理フローを示す図。
【図８】図８ａは発話速度及び基本周波数と鼓動感間隔との関係の例を示す図、図８ｂは発話速度及び基本周波数と鼓動感強度との関係の例を示す図。
【図９】第四実施形態に係る配信システムの構成例を示す図。
【図１０】第四実施形態に係る配信システムの処理フローを示す図。
【図１１】第四実施形態に係る配信システムの使用例を示す図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。
【００１４】
＜第一実施形態のポイント＞
本実施形態では、鼓動感間隔（拍動の間隔）及び鼓動感強度（拍動の強度）と、発話の速度との相関関係を利用して、発話の速度から大まかな鼓動感間隔と鼓動感強度を推定し、鼓動感間隔の推定値と鼓動感強度の推定値とから鼓動感情報を合成し呈示する。
【００１５】
＜第一実施形態：発話速度を利用＞
図１は第一実施形態に係る鼓動感情報生成装置１００の機能ブロック図を、図２はその処理フローを示す。
【００１６】
本実施形態では、発話速度から鼓動感間隔と鼓動感強度を推定する。一般に、ヒトが緊張しているときや興奮しているときの発話速度は平常時の発話速度よりも速くなる傾向がある（参考文献１参照）。また、緊張しているときや興奮しているときは、鼓動感間隔（心拍の間隔）が短く、かつ、鼓動感強度が強くなる傾向がある。そこで、本実施形態では、複数の区間（フレーム）ごとの発話速度に基づいて鼓動感間隔と鼓動感強度を推定する。
（参考文献１）Murray, Iain R. and Arnott, John L.,「Implementation and Testing of a System for Producing Emotion-by-rule in Synthetic Speech」, Speech Communication, Vol.16, No. 4, pp.369-390, 1995.
【００１７】
鼓動感情報生成装置１００は、マイク１０１と、音声認識装置１０３と、発話速度計算部１０５と、鼓動感間隔推定部１１０と、鼓動感強度推定部１２０と、鼓動感情報合成部１４０と、鼓動感情報呈示部１５０とを備える。以下、各部の処理について説明する。
【００１８】
＜マイク１０１＞
マイク１０１は、鼓動感情報を生成したい対象者（例えば舞台等の出演者）に装着され、対象者の発話を収音する（Ｓ１０１）。マイク１０１により収音された対象者の音声信号は、音声認識装置１０３へ入力される。
【００１９】
＜音声認識装置１０３＞
音声認識装置１０３には、マイク１０１で収音された音声信号が、所定時間区間であるフレーム単位で入力される。音声認識装置１０３は、入力されたフレーム単位の音声信号に対して音素ラべリングを行う。これにより、フレーム単位の音声信号に対応する音素の系列が生成される（Ｓ１０３）。音声認識装置１０３から出力されたフレーム単位の音素の系列は、発話速度計算部１０５に入力される。
【００２０】
なお、音素ラべリングの方法としては、従来の音声認識技術を用いればよい（例えば、参考文献２参照）。
（参考文献２）米澤、水野、阿部、「HMM音素モデルによる自動ラベリングのロバスト性の検討」、電子情報通信学会技術研究報告. SP, 音声 102(292), 17-22, 2002-08-23.
【００２１】
＜発話速度計算部１０５＞
発話速度計算部１０５は、入力されたフレーム単位の音素の系列から、発話速度（SR: Speech rate）を求めて（Ｓ１０５）出力する。例えば、発話速度として１秒間あたりの発声音素数を用いる。この場合、フレームに含まれる音素の総数をフレームの長さ（秒）で除算した値を当該フレームの発話速度SRとして出力する。
【００２２】
＜鼓動感間隔推定部１１０＞
鼓動感間隔推定部１１０は、発話速度計算部１０５から出力された発話速度SRを用いて、鼓動感間隔（つまり、心拍の間隔）を推定し（Ｓ１１０）、推定値を鼓動感情報合成部１４０に出力する。
【００２３】
このとき、発話速度SRが第１値であるフレームに対応する鼓動感間隔の推定値が、発話速度SRが第1値よりも小さい第２値であるフレームに対応する鼓動感間隔の推定値よりも小さく（短く）なるように、鼓動感間隔を推定する。
【００２４】
つまり、発話速度SRが大きい（速い）フレームのほうが、発話速度が小さい（遅い）フレームよりも鼓動感間隔の推定値が小さく（短く）なるように、鼓動感間隔が推定される。また、無音のフレーム（つまり、SR=0のフレーム）については、その直前の鼓動感間隔が継続すると仮定し、その直前の無音でないフレームの鼓動感間隔の推定値と同じ値を、鼓動感間隔の推定値として適用することとする。
【００２５】
以下に発話速度SRを用いた鼓動感間隔の推定方法を４つ上げる。
【００２６】
（推定方法１）
例えば、発話速度が予め定めた閾値以下のフレームでは、鼓動感間隔を予め定めた間隔(例えば1200ms)と推定する。「予め定めた間隔」は、例えば、予め平静状態で計測した対象者の心拍数から算出してもよい。また、発話速度が予め定めた閾値より大きいフレームでは、鼓動感間隔を予め定めた間隔よりも短い間隔(例えば750ms)と推定する。閾値は、例えば、予め平静状態で計測した対象者の発話速度の平均などを用いればよい。
【００２７】
（推定方法２）
あるいは、発話速度が予め定めた所定範囲内に含まれるフレームでは、当該フレームの鼓動感間隔を予め定めた間隔（例えば1200ms）と推定し、発話速度が予め定めた所定範囲の下限より小さいフレームでは、予め定めた間隔よりも鼓動感間隔が長い（例えば1400ms）と推定し、発話速度が予め定めた所定範囲の上限より大きいフレームでは、予め定めた間隔よりも鼓動感間隔が短い（例えば750ms）と推定してもよい。所定の範囲は、例えば、予め平静状態で計測した対象者のフレームごとの発話速度のうちの最小値（または最小値−α）、最大値（または最大値＋α）をそれぞれ下限、上限とすればよい。
【００２８】
また、発話速度が予め定めた所定範囲の下限より小さいフレームでは、鼓動感間隔を予め定めた間隔と推定し、発話速度が予め定めた所定範囲の上限より大きいフレームでは、対象者の年齢から推定される最大心拍数を参考に、例えば以下の数式を用いて鼓動感間隔を推定し、発話速度が予め定めた所定範囲内に含まれるフレームでは、上記２つの鼓動感間隔の推定値の算術平均をそのフレームの鼓動感間隔と推定してもよい。
（２２０−年齢）×０．９
【００２９】
さらに、閾値を複数個設定し、それぞれ閾値を下限、上限とする所定範囲を複数個用意して、所定範囲毎に鼓動感間隔を推定してもよい。その場合、所定範囲に含まれる値が大きいほど、鼓動感間隔が大きくなるように推定すればよい。
【００３０】
（推定方法３）
あるいは、推定対象のフレームにおける発話速度と、推定対象のフレームよりも時間的に前の（過去の）フレームにおける発話速度とを比較し、推定対象のフレームにおける発話速度の方が大きい場合には、前のフレームにおける鼓動感間隔の推定値よりも推定対象のフレームにおける鼓動感間隔の推定値を短く（小さく）する。また、推定対象のフレームにおける発話速度の方が小さい場合には、前のフレームにおける鼓動感間隔の推定値よりも推定対象のフレームにおける鼓動感間隔の推定値を長く（大きく）する。
【００３１】
このように、鼓動感間隔推定部１１０は、発話速度が大きいフレームにおける鼓動感間隔の推定値が、発話速度が小さいフレームにおける鼓動感間隔の推定値以下となるように、鼓動感間隔を推定する。このとき、少なくとも一部の区間について、発話速度が大きいフレームにおける鼓動感間隔の推定値が、発話速度が小さいフレームにおける鼓動感間隔の推定値よりも小さい（鼓動感間隔が短い）という関係が必ず成り立つものとする。
【００３２】
（推定方法４）
発話速度SRに関する単調非増加関数をF(SR)とする。F(SR)は、発話速度SRが大きいほど小さな値を返す関数である。このような関数を用いて、F(SR)を鼓動感間隔の推定値として用いてもよい。
【００３３】
フレームごとの発話速度はゆらぎをもった値となる。推定方法４では発話速度SRの大きさに応じてF(SR)の値が変化するので、推定方法４で求まるフレームごとの鼓動感間隔の推定値も時系列でみるとゆらぎを持つ。これにより、鼓動感情報合成部１４０で合成される鼓動感情報はゆらぎを含んだ間隔で心拍動が繰り返されているかのような情報が合成されるので、よりリアリティのある鼓動感情報が合成できる。
【００３４】
このような推定方法１〜４を用いることにより、生体センサ等を用いずに、対象者の妨げにならない方法で取得した情報（マイクで収音された対象者の発話を含む音声信号）から、鼓動感間隔を推定することができる。
【００３５】
鼓動感間隔推定部１１０は、推定したフレームごとの鼓動感間隔を鼓動感情報合成部１４０に出力する。
【００３６】
＜鼓動感強度推定部１２０＞
鼓動感強度推定部１２０は、発話速度計算部１０５から出力された発話速度SRを用いて、鼓動感強度を推定し（ｓ１２０）、推定値を鼓動感情報合成部１４０に出力する。
【００３７】
このとき、発話速度SRが第１値であるフレームに対応する鼓動感強度の推定値が、発話速度SRが第1値よりも小さい第２値であるフレームに対応する鼓動感強度の推定値よりも大きくなるように、鼓動感強度を推定する。
【００３８】
つまり、発話速度SRが大きい（速い）フレームのほうが、発話速度が小さい（遅い）フレームよりも鼓動感強度の推定値が大きくなるように、鼓動感強度が推定される。
【００３９】
また、無音のフレーム（つまり、SR=0のフレーム）については、その直前の鼓動感強度が継続すると仮定し、その直前の無音でないフレームの鼓動感強度の推定値と同じ値を、鼓動感強度の推定値として適用することとする。
【００４０】
以下に発話速度SRを用いた鼓動感間隔の推定方法を４つ上げる。
【００４１】
（推定方法１）
例えば、発話速度が予め定めた閾値以下のフレームでは、鼓動感強度を予め定めた強度（例えば100）と推定する。また、発話速度が予め定めた閾値より大きいフレームでは、鼓動感強度を予め定めた強度よりも大きい強度（例えば150）と推定する。閾値は、例えば、予め平静状態で計測した対象者の発話速度の平均などを用いればよい。
【００４２】
（推定方法２）
あるいは、発話速度が予め定めた所定範囲内に含まれるフレームでは、当該フレームの鼓動感強度を予め定めた強度（例えば強度100）と推定し、発話速度が予め定めた所定範囲の下限より小さいフレームでは、予め定めた強度よりも鼓動感強度が弱い（例えば強度50）と推定し、発話速度が予め定めた所定範囲の上限より大きいフレームでは、予め定めた強度よりも鼓動感強度が強い（例えば強度150）と推定してもよい。所定の範囲は、例えば、予め平静状態で計測した対象者のフレームごとの発話速度のうちの最小値（または最小値−α）、最大値（または最大値＋α）をそれぞれ下限、上限とすればよい。
【００４３】
さらに、閾値を複数個設定し、それぞれ閾値を下限、上限とする所定範囲を複数個用意して、所定範囲毎に鼓動感強度を推定してもよい。その場合、所定範囲に含まれる値が大きいほど、鼓動感強度が大きくなるように推定すればよい。
【００４４】
（推定方法３）
あるいは、推定対象のフレームにおける発話速度と、推定対象のフレームよりも時間的に前の（過去の）フレームにおける発話速度とを比較し、推定対象のフレームにおける発話速度の方が大きい場合には、前のフレームにおける鼓動感強度の推定値よりも推定対象のフレームにおける鼓動感強度の推定値を高く（強く）する。また、推定対象のフレームにおける発話速度の方が小さい場合には、前のフレームにおける鼓動感強度の推定値よりも推定対象のフレームにおける鼓動感強度の推定値を低く（弱く）する。
【００４５】
このように、鼓動感強度推定部１２０は、発話速度が大きいフレームにおける鼓動感強度の推定値が、発話速度が小さいフレームにおける鼓動感強度の推定値以上となるように、鼓動感強度を推定する。このとき、少なくとも一部の区間について、発話速度が大きいフレームにおける鼓動感強度の推定値が、発話速度が小さいフレームにおける鼓動感強度の推定値よりも大きい（鼓動感強度が強い）という関係が必ず成り立つものとする。
【００４６】
（推定方法４）
発話速度SRに関する単調非減少関数をG(SR)とする。G(SR)は、発話速度SRが大きいほど大きな値を返す関数である。このような関数を用いて、G(SR)を鼓動感強度の推定値として用いてもよい。
【００４７】
フレームごとの発話速度はゆらぎをもった値となる。推定方法４では発話速度SRの大きさに応じてG(SR)の値が変化するので、推定方法４で求まるフレームごとの鼓動感強度の推定値も時系列でみるとゆらぎを持つ。これにより、鼓動感情報合成部１４０で合成される鼓動感情報はゆらぎを含んだ強度で心拍動が繰り返されているかのような情報が合成されるので、よりリアリティのある鼓動感情報が合成できる。
【００４８】
このような推定方法１〜４を用いることにより、専用の測定装置や心理学的な実験はもちろん、生体センサさえも用いずに、対象者の妨げにならない方法で取得した情報（マイクで収音された対象者の発話を含む音声信号）から、鼓動感強度を推定することができる。
【００４９】
鼓動感強度推定部１２０は、推定したフレームごとの鼓動感強度を鼓動感情報合成部１４０に出力する。
【００５０】
＜鼓動感情報合成部１４０＞
鼓動感情報合成部１４０は、鼓動感間隔推定部１１０から出力された鼓動感間隔の推定値と、鼓動感強度推定部１２０から出力された鼓動感強度の推定値とを受け取り、これらの値から鼓動感情報を合成し（ｓ１４０）、鼓動感情報呈示部１５０に出力する。
【００５１】
このとき、鼓動感情報が、鼓動感間隔の推定値で繰り返される拍動を呈示するための情報であって、鼓動感強度の推定値に対応する拍動の強さを呈示するための情報となるように合成する。すなわち、予め用意しておいた基準となる心拍１拍分の情報を、鼓動感間隔推定部１１０から出力された鼓動感間隔の推定値で繰り返し、かつ、各フレームにおける拍動の強度が鼓動感強度推定部１２０で推定した当該フレームの鼓動感強度の推定値に対応した強度としてヒトに知覚されるように、鼓動感間隔の推定値と鼓動感強度の推定値とから鼓動感情報を合成する。
【００５２】
鼓動感情報としては、視覚情報（映像）、聴覚情報（音）、触覚情報（振動）等を用いることができる。
【００５３】
（１）後述の鼓動感情報呈示部１５０で、鼓動感情報として視覚情報（映像）を呈示する場合には、鼓動感情報合成部１４０は、基準となる心拍１拍分の波形を鼓動感間隔推定部１１０で推定した鼓動感間隔で繰り返した波形を生成する。このとき、各フレームに含まれる心拍の波形の振幅が、鼓動感強度推定部１２０で推定した当該フレームの鼓動感強度と正の相関関係を持つように（つまり、鼓動感強度の推定値が強いほど振幅が大きくなるように）、波形の振幅を変換する。基準となる心拍１拍分の波形としては、例えば予め取得したヒトの心臓の心拍１拍分の心電波形を映像として表現したものなどを用いる。図３は、鼓動感情報として視覚情報（映像）を呈示する場合の映像例を示す。
【００５４】
（２）後述の鼓動感情報呈示部１５０で、鼓動感情報として聴覚情報（音）を呈示する場合には、鼓動感情報合成部１４０は、基準となる心拍１拍分の音を鼓動感間隔推定部１１０で推定した鼓動感間隔で繰り返し、かつ、その音量が鼓動感強度推定部１２０で推定した当該フレームの鼓動感強度と正の相関関係を持つように（つまり、鼓動感強度が強いほど音量が大きくなるように）、音信号の系列を生成する。基準となる心拍１拍分の音としては、例えば予め取得したヒトの心拍１拍分の音声情報などを用いる。
【００５５】
（３）後述の鼓動感情報呈示部１５０で、鼓動感情報として触覚情報（振動）を呈示する場合には、鼓動感情報合成部１４０は、基準となる心拍１拍分の振動を鼓動感間隔推定部１１０で推定した鼓動感間隔で繰り返し、かつ、その振動の強度が鼓動感強度推定部１２０で推定した当該フレームの鼓動感強度と正の相関関係を持つように（つまり、鼓動感強度が強いほど振動が強くなるように）、振動の情報を生成する。基準となる心拍１拍分の振動としては、例えば予め取得したヒトの心臓の心拍１拍分の波形を振動として表現したものなどを用いる。
【００５６】
＜鼓動感情報呈示部１５０＞
鼓動感情報呈示部１５０は、鼓動感情報合成部１４０で合成した鼓動感情報を映像、振動、音などのヒトに知覚可能な形で呈示する。例えば、映像であれば鼓動感情報呈示部１５０はディスプレイ等の映像を発する装置からなり、振動であれば鼓動感情報呈示部１５０はバイブレータ等の振動する装置からなり、音であれば鼓動感情報呈示部１５０はスピーカ等の音を発する装置からなり、鼓動感情報はそれらの装置を駆動させるための信号として生成される。
【００５７】
＜効果＞
以上の構成により、対象者の発話の速度のみから、鼓動感情報を生成することができる。
【００５８】
＜変形例＞
なお、鼓動感情報生成装置１００は、鼓動感情報呈示部１５０を含まなくともよく、鼓動感情報を、ディスプレイ、バイブレータ、スピーカ等の別装置に出力する構成としてもよい。
【００５９】
また、鼓動感情報生成装置１００は、マイク１０１を含まなくともよく、別装置のマイクから対象者の発話を含む音声信号を入力として受け取る構成としてもよい。同様に、音素の系列や発話速度を入力として受け取ることができる場合には、鼓動感情報生成装置１００は、音声認識装置１０３や発話速度計算部１０５を含まなくともよい。
【００６０】
また、第一実施形態の鼓動感情報生成装置１００は、鼓動感間隔推定部１１０と鼓動感強度推定部１２０とを含むが、少なくとも何れかを含めばよい。鼓動感間隔推定部１１０と鼓動感強度推定部１２０との少なくとも何れかを含む構成を鼓動感覚推定部といい、鼓動感覚推定部は、鼓動感間隔と鼓動感強度との少なくとも何れかを推定する。鼓動感覚推定部が鼓動感間隔または鼓動感強度を推定する場合、鼓動感情報合成部１４０は鼓動感間隔推定部１１０から出力された鼓動感間隔の推定値または鼓動感強度推定部１２０から出力された鼓動感強度の推定値を受け取り、受け取った値から鼓動感情報を合成し（ｓ１４０）、鼓動感情報呈示部１５０に出力する。
【００６１】
このとき、鼓動感情報が、鼓動感間隔の推定値で繰り返される拍動または鼓動感強度の推定値に対応する拍動の強さを呈示するための情報となるように合成する。すなわち、予め用意しておいた基準となる心拍１拍分の情報を、鼓動感間隔推定部１１０から出力された鼓動感間隔の推定値で繰り返すか、または、各フレームにおける拍動の強度が鼓動感強度推定部１２０で推定した当該フレームの鼓動感強度の推定値に対応した強度としてヒトに知覚されるように、鼓動感間隔の推定値または鼓動感強度の推定値から鼓動感情報を合成する。例えば、鼓動感間隔の推定値のみを用いる場合には、拍動の強度は一定の値とすればよい。鼓動感強度の推定値のみを用いる場合には、鼓動感間隔を一定の値とすればよい。なお、鼓動感情報としては、第一実施形態と同様に視覚情報（映像）、聴覚情報（音）、触覚情報（振動）等を用いることができる。
【００６２】
鼓動感情報は上述したものに限定されない。鼓動感情報は単一の光を点滅させるための信号でもよく、例えば、光の点滅により鼓動感間隔を表し、点灯の強度により鼓動感強度を表してもよい。その他、ヒトが鼓動感間隔と鼓動感強度を知覚できるような情報であればどのようなものであってもよい。
鼓動感情報生成装置１００としては、パソコンやスマートフォン等が考えられる。
【００６３】
＜第二実施形態のポイント＞
第一実施形態では発話速度と鼓動感間隔及び鼓動感強度の相関性を利用した。第二実施形態では、発話の基本周波数と、鼓動感間隔及び鼓動感強度との相関性を利用して、基本周波数から大まかな鼓動感間隔と鼓動感強度を推定し、鼓動感間隔の推定値と鼓動感強度の推定値とから鼓動感情報を合成し呈示する。
【００６４】
＜第二実施形態：基本周波数を利用＞
第一実施形態と異なる部分を中心に説明する。
【００６５】
図４は第二実施形態に係る鼓動感情報生成装置２００の機能ブロック図を示す。図５はその処理フローの例を示す。
【００６６】
第二実施形態では、発話速度に代えて、発話の基本周波数から鼓動感間隔と鼓動感強度を推定する。一般に、ヒトが緊張しているときや興奮しているときの基本周波数は平常時の基本周波数よりも高くなる傾向がある。また、緊張しているときや興奮しているときは、鼓動感間隔（心拍の間隔）が短く、かつ、鼓動感強度が強くなる傾向がある。そこで、第二実施形態は基本周波数に基づいて、鼓動感間隔と鼓動感強度を推定する。
【００６７】
第二実施形態の鼓動感情報生成装置２００は、第一実施形態の鼓動感情報生成装置１００の音声認識装置１０３及び発話速度計算部１０５の代わりに、基本周波数分析部２０５を備える。また、鼓動感間隔推定部２１０と鼓動感強度推定部２２０の処理が異なる。第一実施形態と異なる処理のみを説明し、重複部分の説明は省略する。
【００６８】
＜基本周波数分析部２０５＞
基本周波数分析部２０５は、入力されたフレーム単位の音声信号から基本周波数を求めて出力する。基本周波数の算出方法としては、例えば参考文献３の変形相関法などの周知の技術を用いればよい。
（参考文献３）古井、「ディジタル音声処理」、東海大学出版、1985年、pp.69-72.
基本周波数分析部２０５で求めた基本周波数は、鼓動感間隔推定部２１０と鼓動感強度推定部２２０に入力される。
【００６９】
＜鼓動感間隔推定部２１０＞
鼓動感間隔推定部２１０は、基本周波数を用いて、鼓動感間隔（つまり、心拍の間隔）を推定し（Ｓ２１０）、推定値を鼓動感情報合成部１４０に出力する。
【００７０】
このとき、基本周波数が第１値であるフレームに対応する鼓動感間隔の推定値が、基本周波数が第1値よりも小さい第２値であるフレームに対応する鼓動感間隔の推定値よりも小さく（短く）なるように、鼓動感間隔を推定する。
【００７１】
つまり、基本周波数が大きい（高い）フレームのほうが、基本周波数が小さい（低い）フレームよりも鼓動感間隔の推定値が小さく（短く）なるように、鼓動感間隔が推定される。また、無音のフレームについては、その直前の鼓動感間隔が継続すると仮定し、その直前の無音でないフレームの鼓動感間隔の推定値と同じ値を、鼓動感間隔の推定値として適用することとする。
【００７２】
以下に基本周波数を用いた鼓動感間隔の推定方法を４つ上げる。
【００７３】
（推定方法１）
例えば、基本周波数が予め定めた閾値以下のフレームでは、鼓動感間隔を予め定めた間隔(例えば1200ms)と推定する。この予め定めた間隔は、例えば、予め平静状態で計測した対象者の心拍数から算出してもよい。また、基本周波数が予め定めた閾値より大きいフレームでは、鼓動感間隔を予め定めた間隔よりも短い間隔(例えば750ms)と推定する。閾値は、例えば、予め平静状態で計測した対象者の基本周波数の平均などを用いればよい。
【００７４】
（推定方法２）
あるいは、基本周波数が予め定めた所定範囲内に含まれるフレームでは、当該フレームの鼓動感間隔を予め定めた間隔（例えば1200ms）と推定し、基本周波数が予め定めた所定範囲の下限より小さいフレームでは、予め定めた間隔よりも鼓動感間隔が長い（例えば1400ms）と推定し、基本周波数が予め定めた所定範囲の上限より大きいフレームでは、予め定めた間隔よりも鼓動感間隔が短い（例えば750ms）と推定してもよい。所定の範囲は、例えば、予め平静状態で計測した対象者のフレームごとの基本周波数のうちの最小値（または最小値−α）、最大値（または最大値＋α）をそれぞれ下限、上限とすればよい。
【００７５】
また、基本周波数が予め定めた所定範囲の下限より小さいフレームでは、鼓動感間隔を予め定めた間隔と推定し、基本周波数が予め定めた所定範囲の上限より大きいフレームでは、対象者の年齢から推定される最大心拍数を参考に、例えば以下の数式を用いて鼓動感間隔を推定し、基本周波数が予め定めた所定範囲内に含まれるフレームでは、上記２つの鼓動感間隔の推定値の算術平均をそのフレームの鼓動感間隔と推定してもよい。
（２２０−年齢）×０．９
【００７６】
さらに、閾値を複数個設定し、それぞれ閾値を下限、上限とする所定範囲を複数個用意して、所定範囲毎に鼓動感間隔を推定してもよい。その場合、所定範囲に含まれる値が大きいほど、鼓動感間隔が大きくなるように推定すればよい。
【００７７】
（推定方法３）
あるいは、推定対象のフレームにおける基本周波数と、推定対象のフレームよりも時間的に前の（過去の）フレームにおける基本周波数とを比較し、推定対象のフレームにおける基本周波数の方が大きい場合には、前のフレームにおける鼓動感間隔の推定値よりも推定対象のフレームにおける鼓動感間隔の推定値を短く（小さく）する。また、推定対象のフレームにおける基本周波数の方が小さい場合には、前のフレームにおける鼓動感間隔の推定値よりも推定対象のフレームにおける鼓動感間隔の推定値を長く（大きく）する。
【００７８】
このように、鼓動感間隔推定部２１０は、基本周波数が大きいフレームにおける鼓動感間隔の推定値が、基本周波数が小さいフレームにおける鼓動感間隔の推定値以下となるように、鼓動感間隔を推定する。このとき、少なくとも一部の区間について、基本周波数が大きいフレームにおける鼓動感間隔の推定値が、基本周波数が小さいフレームにおける鼓動感間隔の推定値よりも小さい（鼓動感間隔が短い）という関係が必ず成り立つものとする。
【００７９】
（推定方法４）
基本周波数F0に関する単調非増加関数をH(F0)とする。H(F0)は、基本周波数F0が大きいほど小さな値を返す関数である。このような関数を用いて、H(F0)を鼓動感間隔の推定値として用いてもよい。
【００８０】
フレームごとの基本周波数はゆらぎをもった値となる。推定方法４では基本周波数F0の大きさに応じてH(F0)の値が変化するので、推定方法４で求まるフレームごとの鼓動感間隔の推定値も時系列でみるとゆらぎを持つ。これにより、鼓動感情報合成部１４０で合成される鼓動感情報はゆらぎを含んだ間隔で心拍動が繰り返されているかのような情報が合成されるので、よりリアリティのある鼓動感情報が合成できる。
【００８１】
このような推定方法１〜４を用いることにより、生体センサ等を用いずに、対象者の妨げにならない方法で取得した情報（マイクで収音された対象者の発話を含む音声信号）から、鼓動感間隔を推定することができる。
【００８２】
鼓動感間隔推定部２１０は、推定したフレームごとの鼓動感間隔を鼓動感情報合成部１４０に出力する。
【００８３】
＜鼓動感強度推定部２２０＞
鼓動感強度推定部２２０は、基本周波数分析部２０５で求めた基本周波数を用いて、鼓動感強度を推定し（ｓ２２０）、推定値を鼓動感情報合成部１４０に出力する。
【００８４】
このとき、基本周波数が第１値であるフレームに対応する鼓動感強度の推定値が、基本周波数が第1値よりも小さい第２値であるフレームに対応する鼓動感強度の推定値よりも大きくなるように、鼓動感強度を推定する。つまり、基本周波数が高いフレームの鼓動感強度の推定値が、基本周波数が低いフレームの鼓動感強度の推定値よりも大きく（強く）なるように、鼓動感強度を推定する。
【００８５】
また、無音のフレームについては、その直前の鼓動感強度が継続すると仮定し、その直前の無音でないフレームの鼓動感強度の推定値と同じ値を、鼓動感強度の推定値として適用することとする。
【００８６】
鼓動感強度推定部２２０は、フレームごとの基本周波数に基づいて、フレームごとの鼓動感強度を推定する。
【００８７】
以下に基本周波数を用いた鼓動感強度の推定方法を４つ上げる。
【００８８】
（推定方法１）
例えば、基本周波数が予め定めた閾値以下のフレームでは、鼓動感強度を予め定めた強度（例えば100）と推定する。また、基本周波数が予め定めた閾値より大きい（高い）フレームでは、鼓動感強度を予め定めた強度よりも大きい強度（例えば150）と推定する。
【００８９】
（推定方法２）
あるいは、基本周波数が予め定めた所定範囲内に含まれるフレームでは、当該フレームの鼓動感強度を予め定めた強度（例えば強度100）と推定し、基本周波数が予め定めた所定範囲より大きい（高い）フレームでは、予め定めた強度よりも鼓動感強度が強い（例えば強度150）と推定し、基本周波数が予め定めた所定範囲より小さい（低い）フレームでは、予め定めた強度よりも鼓動感強度が弱い（例えば強度50）と推定してもよい。
【００９０】
さらに、閾値を複数個設定し、それぞれ閾値を下限、上限とする所定範囲を複数個用意して、所定範囲毎に鼓動感強度を推定してもよい。その場合、所定範囲に含まれる値が大きいほど、鼓動感強度が大きくなるように推定すればよい。
【００９１】
推定方法１や推定方法２の閾値や所定範囲の上限、下限の取り方は第一実施形態と同様の方法（ただし、発話速度の平均に代えて、基本周波数の平均を用いる）を用いればよい。
【００９２】
（推定方法３）
あるいは、推定対象のフレームにおける基本周波数と、推定対象のフレームよりも時間的に前の（過去の）フレームにおける基本周波数とを比較し、推定対象のフレームにおける基本周波数の方が大きい場合には、前のフレームにおける鼓動感強度の推定値よりも推定対象のフレームにおける鼓動感強度の推定値を大きく（強く）する。また、推定対象のフレームにおける基本周波数の方が小さい場合には、前のフレームにおける鼓動感強度の推定値よりも推定対象のフレームにおける鼓動感強度の推定値を低く（弱く）する。
【００９３】
このように、鼓動感強度推定部２２０は、基本周波数が高いフレームにおける鼓動感強度の推定値が、基本周波数が低いフレームにおける鼓動感強度の推定値以上となるように、鼓動感強度を推定する。このとき、少なくとも一部の区間について、基本周波数が高いフレームにおける鼓動感強度の推定値が、基本周波数が低いフレームにおける鼓動感強度の推定値よりも大きい（鼓動感強度が強い）という関係が必ず成り立つものとする。言い換えれば、鼓動感強度推定部２２０は、基本周波数が第１値であるフレームにおける鼓動感強度の推定値が、基本周波数が第１値よりも小さい第２値であるフレームにおける鼓動感強度の推定値よりも大きくなるように、鼓動感強度を推定する。
【００９４】
（推定方法４）
基本周波数F0に関する単調非減少関数をJ(F0)とする。J(F0)は、基本周波数F0が大きいほど大きな値を返す関数である。このような関数を用いて、J(F0)を鼓動感強度の推定値として用いてもよい。
【００９５】
フレームごとの基本周波数はゆらぎをもった値となる。推定方法４では基本周波数F0の大きさに応じてJ(F0)の値が変化するので、推定方法４で求まるフレームごとの鼓動感強度の推定値も時系列でみるとゆらぎを持つ。これにより、鼓動感情報合成部１４０で合成される鼓動感情報はゆらぎを含んだ強度で心拍動が繰り返されているかのような情報が合成されるので、よりリアリティのある鼓動感情報が合成できる。
【００９６】
このような推定方法１〜４を用いることにより、専用の測定装置や心理学的な実験はもちろん、生体センサさえも用いずに、対象者の妨げにならない方法で取得した情報（マイクで収音された対象者の発話を含む音声信号）から、鼓動感強度を推定することができる。
【００９７】
鼓動感強度推定部２２０は、推定したフレームごとの鼓動感強度を鼓動感情報合成部１４０に出力する。
【００９８】
＜効果＞
このような構成とすることで、第一実施形態と同様の効果を得ることができる。なお、本実施形態と第一実施形態の変形例とを組合せてもよい。例えば、本実施形態の鼓動感情報生成装置２００は、鼓動感間隔推定部２１０と鼓動感強度推定部２２０とを含むが、少なくとも何れかを含めばよい。
【００９９】
＜第三実施形態＞
第一実施形態と異なる部分を中心に説明する。
図６は第三実施形態に係る鼓動感情報生成装置３００の機能ブロック図を示す。図７はその処理フローの例を示す。
【０１００】
本実施形態では、第一実施形態と第二実施形態を組み合わせて鼓動感間隔と鼓動感強度を推定する。すなわち、本実施形態の鼓動感情報生成装置３００の鼓動感間隔推定部３１０及び鼓動感強度推定部３２０は、発話速度と基本周波数との両方に基づいて、それぞれ鼓動感間隔及び鼓動感強度を推定する。
【０１０１】
第一実施形態と異なるのは「基本周波数分析部２０５」「鼓動感間隔推定部３１０」「鼓動感強度推定部３２０」の処理である。このうち、基本周波数分析部２０５は第二実施形態と同じであるので、以下では鼓動感間隔推定部３１０と鼓動感強度推定部３２０の処理のみを説明し、重複部分の説明は省略する。
【０１０２】
＜鼓動感間隔推定部３１０＞
鼓動感間隔推定部３１０は、基本周波数分析部２０５で求めた基本周波数と発話速度計算部１０５で求めた発話速度とを用いて、鼓動感間隔（心拍の間隔）を推定し（Ｓ３１０）、推定値を鼓動感情報合成部１４０に出力する。
このとき、基本周波数が高いほど、かつ、発話速度が速いほど、鼓動感間隔の推定値が小さく（短く）なるように、鼓動感強度を推定する。
【０１０３】
以下に基本周波数及び発話速度を用いた鼓動感間隔の推定方法を３つ上げる。
【０１０４】
（推定方法１）
例えば、発話速度が予め定めた第１閾値以下、かつ、基本周波数が予め定めた第２閾値以下のフレームでは、鼓動感間隔を予め定めた間隔（例えば1200ms）と推定する。また、基本周波数が予め定めた第２閾値よりも大きいフレームでは、（発話速度に関わらず）鼓動感間隔が短い（例えば750ms)と推定する。また、基本周波数が予め定めた第２閾値以下であって、かつ、発話速度が予め定めた第１閾値より大きいフレームでは、鼓動感間隔がやや短い（例えば1000ms）と推定する。この関係をまとめたものを図８ａに示す。また、上記３つの鼓動感間隔の推定値については、最も長い推定値は予め平静状態で計測した対象者の心拍数から算出したものであり、最も短い推定値は対象者の年齢から推定される最大心拍数を参考に、例えば以下の数式を用いて計算されるものであり、中間の推定値は上記２つの鼓動感間隔の推定値の算術平均である。
（２２０−年齢）×０．９
なお、この例では、基本周波数が予め定めた第２閾値よりも大きいフレームでは、（発話速度に関わらず）鼓動感間隔が短いとしたが、発話速度が第１閾値よりも大きく、かつ、基本周波数が第２閾値よりも大きいフレームの方が、発話速度が第１閾値以下、かつ、基本周波数が第２閾値よりも大きいフレームよりも、鼓動感間隔の推定値がより短くなるように設定してもよい（例えば、鼓動感間隔をそれぞれ700ms、800msと推定する）。
【０１０５】
つまり、発話速度が第１閾値よりも大きく、かつ、基本周波数が第２閾値よりも大きいフレームの鼓動感間隔が、発話速度が第１閾値以下で、かつ、基本周波数が第２閾値以下のフレームの鼓動感間隔よりも短くなるように、鼓動感間隔が推定される。
【０１０６】
（推定方法２）
あるいは、推定対象のフレームにおける発話速度および基本周波数と、推定対象のフレームよりも時間的に前の（過去の）フレームにおける発話速度および基本周波数と、を比較し、推定対象のフレームにおける発話速度または基本周波数の少なくともいずれか一方が大きい場合には、前のフレームにおける鼓動感間隔の推定値よりも推定対象のフレームにおける鼓動感間隔の推定値を短く（小さく）する。また、推定対象のフレームにおける発話速度または基本周波数の少なくともいずれか一方が小さい場合には、前のフレームにおける鼓動感間隔の推定値よりも推定対象のフレームにおける鼓動感間隔の推定値を長く（大きく）する。このとき、推定対象のフレームの発話速度および基本周波数の両方が前のフレームの発話速度および基本周波数よりも大きい場合の方が、推定対象のフレームの発話速度および基本周波数のいずれか一方が前のフレームの発話速度および基本周波数のいずれか一方よりも大きい場合よりも、より短い鼓動感間隔の推定値を設定してもよい。同様に、推定対象のフレームの発話速度および基本周波数の両方が前のフレームの発話速度および基本周波数よりも小さい場合の方が、推定対象のフレームの発話速度および基本周波数のいずれか一方が前のフレームの発話速度および基本周波数のいずれか一方よりも小さい場合よりも、より長い鼓動感間隔の推定値を設定してもよい。
【０１０７】
このように、鼓動感間隔推定部３１０は、発話速度および基本周波数が大きいフレームにおける鼓動感間隔の推定値が、発話速度および基本周波数が小さいフレームにおける鼓動感間隔の推定値よりも小さく（短く）なるように、鼓動感間隔を推定する。言い換えれば、鼓動感間隔推定部３１０は、発話速度が第１値で、基本周波数が第３値であるフレームにおける鼓動感間隔の推定値が、発話速度が第１値よりも小さい第２値で、基本周波数が第３値よりも小さい第４値であるフレームにおける鼓動感間隔の推定値よりも小さく（短く）なるように、鼓動感間隔を推定する。あるいは、少なくとも一部の区間について、発話速度が第１値であるフレームにおける鼓動感間隔の推定値が、発話速度が第１値よりも小さい第２値であるフレームにおける鼓動感間隔の推定値よりも小さい（短い）場合が含まれ、かつ、少なくとも一部の区間について、基本周波数が第３値であるフレームにおける鼓動感間隔の推定値が、基本周波数が第３値よりも小さい第４値であるフレームにおける鼓動感間隔の推定値よりも小さい（短い）場合が含まれるように、鼓動感間隔を推定する。
【０１０８】
（推定方法３）
発話速度及び基本周波数を用いて、それぞれ鼓動感間隔を推定し、二つの鼓動感間隔を重み付け加算して、最終的な鼓動感間隔を推定してもよい。
例えば、第一実施形態の推定方法により、発話速度を用いて、第一鼓動感間隔BD1を推定する。第二実施形態の推定方法により、基本周波数を用いて、第二鼓動感間隔BD2を推定する。
【０１０９】
第一鼓動感間隔BD1と第二鼓動感間隔BD2とを次式のように重み付加算し、第三鼓動感間隔BD3を求め、これを鼓動感間隔推定部３１０の出力値として出力する。
【数１】
2016051263.tif 000003
ただし、参考文献１より、基本周波数のほうが発話速度よりも鼓動感間隔に与える影響が大きいと考えられるため、αを0.5より大きな値とし、0.5<α<1とする。
【０１１０】
鼓動感間隔推定部３１０は、推定したフレームごとの鼓動感間隔を鼓動感情報合成部１４０に出力する。
【０１１１】
＜鼓動感強度推定部３２０＞
鼓動感強度推定部３２０は、基本周波数分析部２０５で求めた基本周波数と発話速度計算部１０５で求めた発話速度とを用いて、鼓動感強度を推定し（ｓ３２０）、推定値を鼓動感情報合成部１４０に出力する。
【０１１２】
このとき、基本周波数が高いほど、かつ、発話速度が速いほど、鼓動感強度の推定値が大きくなるように、鼓動感強度を推定する。
【０１１３】
以下に基本周波数及び発話速度を用いた鼓動感強度の推定方法を３つ上げる。
（推定方法１）
例えば、発話速度が予め定めた第１閾値以下、かつ、基本周波数が予め定めた第２閾値以下のフレームでは、鼓動感強度を予め定めた強度（例えば100）と推定する。また、基本周波数が予め定めた第２閾値よりも大きいフレームでは、（発話速度に関わらず）鼓動感強度が強い（例えば強度150）と推定する。また、基本周波数が予め定めた第２閾値以下であって、かつ、発話速度が予め定めた第１閾値より大きいフレームでは、鼓動感強度がやや強い（例えば強度120）と推定する。この関係をまとめたものを図８ｂに示す。なお、この例では、基本周波数が第２閾値よりも大きいフレームでは、（発話速度に関わらず）鼓動感強度が強いとしたが、発話速度が第１閾値よりも大きく、かつ、基本周波数が第２閾値よりも大きいフレームの方が、発話速度が予め定めた第１閾値以下、基本周波数が予め定めた第２閾値よりも大きいフレームよりも鼓動感強度が強くなるように設定してもよい（例えば、それぞれ鼓動感強度を160,140と推定する）。
【０１１４】
つまり、発話速度が第１閾値よりも大きく、かつ、基本周波数が第２閾値よりも大きいフレームの鼓動感強度が、発話速度が第１閾値以下で、かつ、基本周波数が第２閾値以下のフレームの鼓動感強度よりも大きくなるように、鼓動感強度が推定される。
【０１１５】
（推定方法２）
あるいは、推定対象のフレームにおける発話速度および基本周波数と、推定対象のフレームよりも時間的に前の（過去の）フレームにおける発話速度および基本周波数と、を比較し、推定対象のフレームにおける発話速度または基本周波数の少なくともいずれか一方が大きい場合には、前のフレームにおける鼓動感強度の推定値よりも推定対象のフレームにおける鼓動感強度の推定値を高く（強く）する。また、推定対象のフレームにおける発話速度または基本周波数の少なくともいずれか一方が小さい場合には、前のフレームにおける鼓動感強度の推定値よりも推定対象のフレームにおける鼓動感強度の推定値を低く（弱く）する。このとき、推定対象のフレームの発話速度および基本周波数の両方が前のフレームの発話速度および基本周波数よりも大きい場合の方が、推定対象のフレームの発話速度および基本周波数のいずれか一方が前のフレームの発話速度および基本周波数のいずれか一方よりも大きい場合よりも、より大きな鼓動感強度の推定値を設定してもよい。同様に、推定対象のフレームの発話速度および基本周波数の両方が前のフレームの発話速度および基本周波数よりも小さい場合の方が、推定対象のフレームの発話速度および基本周波数のいずれか一方が前のフレームの発話速度および基本周波数のいずれか一方よりも小さい場合よりも、より小さな鼓動感強度の推定値を設定してもよい。
【０１１６】
このように、鼓動感強度推定部３２０は、発話速度および基本周波数が大きいフレームにおける鼓動感強度の推定値が、発話速度および基本周波数が小さいフレームにおける鼓動感強度の推定値よりも大きくなるように、鼓動感強度を推定する。言い換えれば、鼓動感強度推定部３２０は、発話速度が第１値で、基本周波数が第３値であるフレームにおける鼓動感強度の推定値が、発話速度が第１値よりも小さい第２値で、基本周波数が第３値よりも小さい第４値であるフレームにおける鼓動感強度の推定値よりも大きくなるように、鼓動感強度を推定する。あるいは、少なくとも一部の区間について、発話速度が第１値であるフレームにおける鼓動感強度の推定値が、発話速度が第１値よりも小さい第２値であるフレームにおける鼓動感強度の推定値よりも大きい場合が含まれ、かつ、少なくとも一部の区間について、基本周波数が第３値であるフレームにおける鼓動感強度の推定値が、基本周波数が第３値よりも小さい第４値であるフレームにおける鼓動感強度の推定値よりも大きい場合が含まれるように、鼓動感強度を推定する。
【０１１７】
（推定方法３）
発話速度及び基本周波数を用いて、それぞれ鼓動感強度を推定し、二つの鼓動感強度を重み付け加算して、最終的な鼓動感強度を推定してもよい。
【０１１８】
例えば、第一実施形態の推定方法により、発話速度を用いて、第一鼓動感強度BS1を推定する。第二実施形態の推定方法により、基本周波数を用いて、第二鼓動感強度BS2を推定する。
【０１１９】
第一鼓動感強度BS1と第二鼓動感強度BS2とを次式のように重み付加算し、第三鼓動感強度BS3を求め、これを鼓動感強度推定部３１０の出力値として出力する。
【数２】
2016051263.tif 000004
ただし、参考文献１より、基本周波数のほうが発話速度よりも鼓動感強度に与える影響が大きいと考えられるため、βを0.5より大きな値とし、0.5<β<1とする。
【０１２０】
鼓動感強度推定部３２０は、推定したフレームごとの鼓動感強度を鼓動感情報合成部１４０に出力する。
【０１２１】
＜効果＞
このような構成とすることで、第一実施形態と同様の効果を得ることができる。さらに、発話速度だけではなく、基本周波数まで考慮することで、より精度の高い鼓動感情報を得ることができる。なお、本実施形態と第一実施形態の変形例とを組合せてもよい。例えば、本実施形態の鼓動感情報生成装置３００は、鼓動感間隔推定部３１０と鼓動感強度推定部３２０とを含むが、少なくとも何れかを含めばよい。
【０１２２】
＜第四実施形態＞
第四実施形態では、第一〜第三実施形態の何れかの鼓動感情報生成装置を用いた、鼓動感情報配信システム５０を説明する。
鼓動感情報配信システム５０は、ある人（以下「第一人物」ともいう、例えば、舞台の出演者）の鼓動感覚を、他者（例えば観衆）に配信する。
【０１２３】
図９は鼓動感情報配信システム５０の構成例を、図１０はそのフローチャートを、図１１はその使用例を示す。鼓動感情報配信システム５０は、配信サーバ５２とN台の鼓動感情報生成装置１００−ｎとを含む。ただし、ｎ＝１，２，…，Ｎである。鼓動感情報生成装置１００−ｎとしては、図１１に示すようにパーソナルコンピュータやスマートフォン等が考えられる。
【０１２４】
舞台には、第一人物の音声を収音するためのマイク１０１が設置されている。マイク１０１は第一人物の襟元などに装着されていてもよいし、舞台のどこかに設置されていてもよい。
【０１２５】
マイク１０１で第一人物の発話を収音し（Ｓ１０１）、第一人物の発話を含む音声信号は、配信サーバ５２に送信される。
【０１２６】
配信サーバ５２は、音声信号を受信し、それをＮ人の他者が持つ鼓動感情報生成装置１００−ｎにそれぞれ配信する（Ｓ５２）。
【０１２７】
鼓動感情報生成装置１００−ｎは、第一〜第三実施形態のいずれかの鼓動感情報生成装置であり、鼓動感情報生成装置１００−ｎの音声認識装置１０３、および／または、基本周波数分析部２０５に配信サーバ５２から送信された音声信号が入力される。
【０１２８】
鼓動感情報生成装置１００−ｎは、音声信号を用いて、鼓動感情報を合成し、他者が知覚可能な形で鼓動感情報を呈示する（Ｓ１０３及びＳ１０５、並びに／または、Ｓ２０５、Ｓ１１０（またはＳ２１０またはＳ３１０）、Ｓ１２０（またはＳ２２０またはＳ３２０）、Ｓ１４０、Ｓ１５０）。
【０１２９】
この鼓動感情報配信システム５０では、送受信する情報は、音声信号のみであるため、送受信するデータの容量を小さくすることができ、かつ、他者が持つ鼓動感情報生成装置１００−ｎ上でも簡単な演算だけで鼓動感情報を合成し、第一人物の鼓動感覚をＮ人で共有することが可能となる。また、第一人物に生体センサを装着する必要がないため、第一人物を拘束することがなく、第一人物の動作（演技など）を妨げることがない。  
【０１３０】
なお、本実施形態では、Ｓ１０３及びＳ１０５、並びに／または、Ｓ２０５、Ｓ１１０（またはＳ２１０またはＳ３１０）、Ｓ１２０（またはＳ２２０またはＳ３２０）、Ｓ１４０、Ｓ１５０の各処理を鼓動感情報生成装置１００−ｎ側で行っているが、各処理を配信サーバ５２側で行ってもよい。例えば、配信サーバ５２は、音声認識装置１０３および発話速度計算部１０５ならびに／または基本周波数分析部２０５を備え、音声信号に代えて発話速度および／または基本周波数を鼓動感情報生成装置１００−ｎに配信してもよい。配信に際しては、配信サーバは、発話速度ならびに／または基本周波数を、映像音声のLもしくはRに入れて配信する。なお、左右２チャネルの映像音声信号の一方に発話速度ならびに／または基本周波数を乗せるために、発話速度ならびに／または基本周波数を符号化して配信する。鼓動感情報生成装置１００−ｎは、符号化された発話速度ならびに／または基本周波数を復号し、復号した情報に基づき、鼓動感情報を合成し、他者が知覚可能な形で鼓動感情報を呈示する。なお、左右２チャネルの一方に発話速度ならびに／または基本周波数が乗るため、映像の音声はモノラルになる。これにより、鼓動感情報を既存の映像音声の回線の中にいれて配信することができる。また、配信サーバ５２が、音声認識装置１０３および発話速度計算部１０５ならびに／または基本周波数分析部２０５と、鼓動感間隔推定部１１０または２１０と、鼓動感強度推定部１２０または２２０を備え、鼓動感間隔と鼓動感強度とを鼓動感情報生成装置１００−ｎに配信してもよい。また、配信サーバ５２が、音声認識装置１０３および発話速度計算部１０５ならびに／または基本周波数分析部２０５と、鼓動感間隔推定部１１０、２１０または３１０と、鼓動感強度推定部１２０、２２０または３２０と、鼓動感情報合成部１４０を備え、鼓動感情報を鼓動感情報生成装置１００−ｎに配信してもよい。鼓動感情報生成装置１００−ｎ側では、受信した情報に応じて必要な処理を行えばよく、その処理に必要な部を少なくも備えればよい。例えば、鼓動感情報生成装置１００−ｎが発話速度および／または基本周波数を受信する場合には、鼓動感情報生成装置１００−ｎは鼓動感間隔推定部１１０、２１０または３１０、鼓動感強度推定部１２０、２２０または３２０、鼓動感情報合成部１４０及び鼓動感情報呈示部１５０を少なくとも備え、Ｓ１１０（またはＳ２１０またはＳ３１０）、Ｓ１２０（またはＳ２２０またはＳ３２０）、Ｓ１４０、ｓ１５０の各処理を行う。
【０１３１】
配信サーバ５２は、マイクで収音された音声信号を受け取り、この情報をそのまま、またはその音声信号から生成される情報((1)発話速度、(2)基本周波数、(3)発話速度と基本周波数との組合せ、(4) 鼓動感間隔の推定値と鼓動感強度の推定値、または(5)鼓動感情報）を鼓動感情報生成装置１００−ｎに配信する。鼓動感情報生成装置１００−ｎは、鼓動感情報、または、鼓動感情報を生成するための情報（(1)発話速度、(2)基本周波数、(3)発話速度と基本周波数との組合せ、(4) 鼓動感間隔の推定値と鼓動感強度の推定値）を受け取り、必要に応じて鼓動感情報を生成し、鼓動感情報生成装置１００−ｎの鼓動感情報呈示部１５０は、鼓動感情報を映像、振動、音などのヒトに知覚可能な形で呈示する。送受信する情報量や、配信サーバ５２側や鼓動感情報生成装置１００−ｎ側の演算量に応じて、処理部を適宜変更すればよい。
【０１３２】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【０１３３】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【０１３４】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【０１３５】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【０１３６】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１３７】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図２】
2016051263.tif 000009
【図３】
2016051263.tif 000010
【図５】
2016051263.tif 000011
【図７】
2016051263.tif 000012
【図８】
2016051263.tif 000013
【図１０】
2016051263.tif 000014
【図１】
2016051263.tif 000015
【図４】
2016051263.tif 000016
【図６】
2016051263.tif 000017
【図９】
2016051263.tif 000018
【図１１】
2016051263.tif 000019