(57)【要約】【課題】対話の同調性を検出することができる同調性検出装置を提供する。【解決手段】対話中の第１話者１４０及び第２話者１４２の音声をそれぞれ所定の期間測定して、時系列データを生成する第１マイク１２０及び第２マイク１２２を含むデータ生成部と、第１話者の時系列データのうちの第１期間のデータと、第２話者の時系列データのうちの、第１期間をシフト時間だけシフトした第２期間のデータとに関して、対応するデータの積の総和を計算する処理を、シフト時間を変更して所定回数繰返し、得られた複数の総和の最大値を求め、最大値に対応するシフト時間を決定する演算部と、最大値に対応するシフト時間、又は、シフト時間に対応する同調性を示す情報を提示する表示部１３０とを備える。これにより、第１話者は、第２話者の同調状況に応じて対話の方向性を決定することができる。【選択図】図１
2013052049.tif 000002
【特許請求の範囲】
【請求項１】
対話における一方の話者の同調性を検出する装置であって、
前記一方の話者及び他方の話者の生理指標をそれぞれ所定の期間測定して、時系列データを生成するデータ生成手段と、
前記他方の話者の時系列データのうちの第１期間のデータと、前記一方の話者の時系列データのうちの、前記第１期間をシフト時間だけシフトした第２期間のデータとに関して、測定時間順序が対応する２つのデータのそれぞれの積を計算し、得られた積の総和を計算する処理を、前記シフト時間を変更して所定回数繰返し、前記所定回数の繰返しによって得られた複数の総和の最大値を求め、該最大値に対応するシフト時間を決定する演算手段と、
前記最大値に対応するシフト時間、又は、前記最大値に対応するシフト時間に対応する情報を提示する提示手段とを備えることを特徴とする同調性検出装置。
【請求項２】
前記最大値に対応するシフト時間が第１の値以下であれば前記同調性が高いと判定し、前記最大値に対応するシフト時間が、第１の値よりも大きい第２の値以上であれば前記同調性が低いと判定する判定手段をさらに備え、
前記提示手段は、前記最大値に対応するシフト時間に対応する情報として、前記判定手段による判定結果を表す情報を提示することを特徴とする請求項１に記載の同調性検出装置。
【請求項３】
前記時系列データは、各々のデータの時間間隔が０．２秒以下の一定時間であり、０．４秒以上１０秒以下の時間連続するデータであることを特徴とする請求項１又は２に記載の同調性検出装置。
【請求項４】
前記一方の話者の生理指標及び前記他方の話者の生理指標の少なくとも一方は音声であり、
前記音声の前記時系列データは、音声信号を所定のサンプリング周波数でサンプリングして得られたデータ、又は、音声認識装置によって認識された語句の単位時間当たりのシラブル数である話速であることを特徴とする請求項１〜３の何れか１項に記載の同調性検出装置。
【請求項５】
前記一方の話者の生理指標及び前記他方の話者の生理指標の少なくとも一方は、上半身を前方に倒してから戻すトランク動作であり、
前記データ生成手段は、前記一方の話者及び前記他方の話者のうち、前記トランク動作の測定対象である話者を撮像する撮像手段を備え、
前記撮像手段によって撮像された画像データの隣接するフレーム間の、対応する画素の輝度値変化を求め、トランク動作に関する前記時系列データを生成することを特徴とする請求項１〜３の何れか１項に記載の同調性検出装置。
【請求項６】
前記一方の話者の生理指標及び前記他方の話者の生理指標の少なくとも一方は心拍間隔であり、
前記データ生成手段は、所定時間内の複数の心拍間隔の平均値を計算する処理を、前記所定時間を単位シフト時間の整数倍だけシフトして、所定回数繰返すことによって、心拍間隔に関する前記時系列データを生成することを特徴とする請求項１〜３の何れか１項に記載の同調性検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対人コミュニケーションを支援するための装置に関し、特に、対話相手との同調状況に応じて対話の方向性を決定するための同調性検出装置に関する。
【背景技術】
【０００２】
人を必要とする精神状態に誘導する技術が知られている。例えば、下記特許文献１には、人の生体情報（心拍数、脈拍数、呼吸数等）を用いて、その人の生理状態（精神状態、感情状態を含む）を所望の状態に誘導する技術が開示されている。
【０００３】
また、映画、広告、ゲーム等のメディアを対象として人の関心度を評価する技術が知られている。例えば、下記特許文献２には、人をプレゼンテーション（感覚的刺激）に曝し、その人の体験を評価する技術が開示されている。具体的には、視聴者が広告の写真を見たとき、又はビデオゲームを行なったときの生理指標を関数として決定する技術が開示されている。
【０００４】
また、対話における同調性が研究されている。同調には、コミュニケーションによって相互作用する対話相手との間で動作、姿勢（ポーズ）が似るミラーリング等がある。その他、話すペース（単位時間当たりの発話シラブル数）の一致、又は声量の増減傾向の一致も同調に含まれる。また、上記のような眼又は耳の感覚器官による観測によって意図的に類似可能な同調の他に、心拍変動、顔面温度変化、発汗量変動が同じ傾向を持つことも同調に含まれる。同調が発生したとしても、そこには話者間で時間的なズレが生じていることが一般的であり、そのズレが短いほど同調性が高く、そのズレが長い、又は同調が見られない場合には同調性が低いと考えられている。また、同調性は時間によって変化することが一般的であり、一方の同調性に合わせて、他方の同調性を俊敏に追従させるとき、追従性が高いという。
【０００５】
対話における同調を示すものとして、日本人話者が対面対話を行なうとき、頷きや相鎚等の首から上の動作が一般的に頻出することが知られている。さらに話が盛り上がった場合、又は、声が大きくなる場合等に、上半身を前のめりに倒してから戻す動作が表出することがある。これは体幹動作又はトランク動作と呼ばれる。話が盛り上がったときに、このトランク動作が二者間で無意図的に相互に行なわれることがある。このトランク動作とタイミングとから同調性の有無を判定する研究が行なわれている（下記非特許文献１及び２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２２２８１８号公報
【特許文献２】特開２０１０−５０３１０９号公報
【非特許文献】
【０００７】
【非特許文献１】善本淳，水上悦雄，“話量積とトランク動作量積を用いた二者間同調性の検出”，電子情報通信学会総合大会論文集  ２０１０年  基礎・境界，１８２，２２０１０‐０３‐０２
【非特許文献２】善本淳，水上悦雄，“対話時の同調性を知る一手段としてのトランク動作解析”，情報処理学会全国大会講演論文集  第７２回平成２２年（２），“２‐６３”‐“２‐６４”，２０１０‐０３‐０８
【発明の概要】
【発明が解決しようとする課題】
【０００８】
人は元来、対人コミュニケーションに関して得手不得手があり、優劣が存在している。したがって、同調性が読取れず、対人コミュニケーションが不得手な人を補佐するための実用的なツールが要望されるが、上記非特許文献１及び２によっても、未だ実現されていない。また、対人コミュニケーションの優劣の評価方法も明確にはなっていない。
【０００９】
また、上記特許文献１及び２のように、映画、広告、ゲーム等のメディアを対象として人の関心度を評価する従来技術は存在するものの、対人対話状態において人と人との同調性を可視化することはできていない。
【００１０】
したがって、本発明は、対話の同調性を検出することができ、対話の主体者が、相手の同調状況に応じて対話の方向性を決定することができる同調性検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的は、下記によって達成することができる。
【００１２】
即ち、本発明に係る同調性検出装置は、対話における一方の話者の同調性を検出する装置であって、一方の話者及び他方の話者の生理指標をそれぞれ所定の期間測定して、時系列データを生成するデータ生成部と、他方の話者の時系列データのうちの第１期間のデータと、一方の話者の時系列データのうちの、第１期間をシフト時間だけシフトした第２期間のデータとに関して、測定時間順序が対応する２つのデータのそれぞれの積を計算し、得られた積の総和を計算する処理を、シフト時間を変更して所定回数繰返し、所定回数の繰返しによって得られた複数の総和の最大値を求め、最大値に対応するシフト時間を決定する演算部と、最大値に対応するシフト時間、又は、最大値に対応するシフト時間に対応する情報を提示する提示部とを備える。
【００１３】
好ましくは、同調性検出装置は、最大値に対応するシフト時間が第１の値以下であれば同調性が高いと判定し、最大値に対応するシフト時間が、第１の値よりも大きい第２の値以上であれば同調性が低いと判定する判定部をさらに備え、提示部は、最大値に対応するシフト時間に対応する情報として、判定部による判定結果を表す情報を提示する。
【００１４】
より好ましくは、時系列データは、各々のデータの時間間隔が０．２秒以下の一定時間であり、０．４秒以上１０秒以下の時間連続するデータである。
【００１５】
さらに好ましくは、一方の話者の生理指標及び前記他方の話者の生理指標の少なくとも一方は音声であり、音声の時系列データは、音声信号を所定のサンプリング周波数でサンプリングして得られたデータ、又は、音声認識装置によって認識された語句の単位時間当たりのシラブル数である話速である。
【００１６】
好ましくは、一方の話者の生理指標及び前記他方の話者の生理指標の少なくとも一方は、上半身を前方に倒してから戻すトランク動作であり、データ生成部は、一方の話者及び他方の話者のうち、前記トランク動作の測定対象である話者を撮像する撮像部を備え、撮像部によって撮像された画像データの隣接するフレーム間の、対応する画素の輝度値変化を求め、トランク動作に関する時系列データを生成する。
【００１７】
より好ましくは、一方の話者の生理指標及び前記他方の話者の生理指標の少なくとも一方は心拍間隔（ＲＲＩ：Ｒ−Ｒ  ｉｎｔｅｒｖａｌ）であり、データ生成部は、所定時間内の複数のＲＲＩの平均値を計算する処理を、所定時間を単位シフト時間の整数倍だけシフトして、心拍間隔に関する所定回数繰返すことによって、時系列データを生成する。
【発明の効果】
【００１８】
本発明によれば、対話における同調性を検出し、その程度を数値として提示することができる。したがって、対話の主体者は、対話中に提示される数値を見て、対話相手の直前の同調性を評価することができるので、話の方向を修正することができ、対話相手に応じたサービスを提供することができる。
【００１９】
また、対人コミュニケーションの同調性を計るツールを実現することができ、筆記試験で人物を評価するように、コミュニケーションの同調性を定量的に評価することが可能となる。例えば、営業販売員Ａと、別の営業販売員Ｂの対話能力を、客１０人と対話したときの累積ポイント、累積ポイント／対話時間、等で比較することができる。
【００２０】
また、同調性を検出するための生理指標として、種々のものを使用することができるので、対話が行なわれる条件（周囲環境等）に応じて、適切な生理指標を選択することによって、相手に不快感を与えることなく、同調性を検出することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態に係る同調性検出装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る同調性検出装置で実行されるプログラムの制御構造を示すフローチャートである。
【図３】対話における音声波形の例を示すグラフである。
【図４】対話における話量積の時間変化の例を示すグラフである。
【図５】体動情報を測定する同調性検出装置の構成を示すブロック図である。
【図６】図５の同調性検出装置で実行されるプログラムの制御構造を示すフローチャートである。
【図７】心拍間隔ＲＲＩを示す図である。
【図８】心拍間隔ＲＲＩから、同調性を検出するための時系列データを生成する方法を模式的に示す図である。
【発明を実施するための形態】
【００２２】
以下の実施の形態では、同一の部品には同一の参照番号を付してある。それらの名称及び機能も同一である。したがって、それらについての詳細な説明は繰返さない。
【００２３】
図１を参照して、本発明の実施の形態に係る同調性検出装置は、制御部１００、第１マイク１２０、第２マイク１２２、及び表示部１３０を備えている。制御部１００は、演算処理部（以下、ＣＰＵという）１０２、読出専用メモリ（以下、ＲＯＭという）１０４、書換可能メモリ（以下、ＲＡＭという）１０６、ハードディスクドライブ（以下、ＨＤＤという）１０８、インターフェイス部（以下、ＩＦ部という）１１０、タイマ１１２、及びバス１１４を備えている。ＣＰＵ１０２は、制御部１００全体を制御する。ＲＯＭ１０４は不揮発性の記憶装置であり、制御部１００の動作を制御するためのプログラム及びデータが記憶されている。ＲＡＭ１０６は、揮発性の記憶装置である。ＨＤＤ１０８は、通電が遮断された場合にもデータを保持する不揮発性記憶装置であり、フラッシュメモリ等で代替されてもよい。
【００２４】
ＩＦ部１１０は、ＣＰＵ１０２と、第１マイク１２０、第２マイク１２２、及び表示部１３０とのインターフェイスである。バス１１４には、ＣＰＵ１０２、ＲＯＭ１０４、ＲＡＭ１０６、ＨＤＤ１０８、ＩＦ部１１０、及びタイマ１１２が接続されている。各部間のデータ（制御情報を含む）交換は、バス１１４を介して行なわれる。
【００２５】
ＣＰＵ１０２は、バス１１４を介してＲＯＭ１０４からプログラムをＲＡＭ１０６上に読出して、ＲＡＭ１０６の一部を作業領域としてプログラムを実行する。ＣＰＵ１０２は、プログラムにしたがって制御部１００を構成する各部の制御を行なう。制御部１００として、公知のコンピュータを使用することができる。
【００２６】
タイマ１１２は、時計であり、ＣＰＵ１０２に現在時刻を提供する。
【００２７】
ＩＦ部１１０は、第１マイク１２０及び第２マイク１２２からの信号を受信し、受信した信号をＣＰＵ１０２に伝送する。ＩＦ部１１０は、第１マイク１２０及び第２マイク１２２からの信号がアナログ信号であれば、受信したアナログ信号をデジタル信号に変換する機能（ＡＤ変換機能等）を有する。また、ＩＦ部１１０は、ＣＰＵ１０２から伝送される情報を表示部１３０の信号入力形式に変換して、表示部１３０に供給する。例えば、ＣＰＵ１０２から提供される情報が、デジタル画像データ（画像データはＲＡＭ１０６上で生成される）であり、表示部１３０の信号入力形式がアナログ信号（ＮＴＳＣ等）であれば、ＤＡ変換を行ない、デジタル画像データをアナログ信号に変換して、表示部１３０に供給する。
【００２８】
図１には、対話する２人を第１話者１４０及び第２話者１４２として示している。第１マイク１２０は第１話者１４０の音声を受信し、第２マイク１２２は第２話者１４２の音声を受信するように配置されている。また、表示部１３０は、提示する情報が第１話者１４０（対話の主導者）にのみ視認可能に配置されている。
【００２９】
図２を参照して、本同調性検出装置でＣＰＵ１０２が実行するプログラムの制御構造に関して説明する。第１話者１４０が所定の目的（例えば案内ガイド等のサービス提供）で第２話者１４２（例えば客）と対話しているとする。
【００３０】
ステップ３００において、ＣＰＵ１０２は、第１マイク１２０及び第２マイク１２２からの音声信号を連続的に取得して、ＲＡＭ１０６又はＨＤＤ１０８に記憶するプログラムを起動する。ここでは、アナログ信号を受信して、時系列のＰＣＭデータとしてＨＤＤ１０８に記憶するとする。近年では音声データのサンプリング周波数に４８ＫＨｚ以上を用いて、高音質データを取得することが少なくないが、ここでは同調性を検出することが目的であるので、もっと低いサンプリング周波数で十分である。ここでは１０Ｈｚとする。なお、得られたＰＣＭデータのサンプリング周波数が高い場合には、１０Ｈｚにアンチエイリアシングをしながらダウンサンプリングを行なう。また、必要に応じて音量を適切に調整する。
【００３１】
ステップ３０２において、ＣＰＵ１０２は、タイマ１１２から現在時刻を取得して開始時刻として設定する。開始時刻は、ＲＡＭ１０６の所定領域に記憶される。
【００３２】
ステップ３０４において、ＣＰＵ１０２は、タイマ１１２から現在時刻を取得し、ステップ３０２で記憶した開始時刻から所定時間が経過したか否かを判定する。ここでは、５秒経過したか否かを判定する。経過したと判定された場合、制御はステップ３０６に移行する。そうでなければ、ステップ３０４の処理が繰返される。
【００３３】
ステップ３０６において、ＣＰＵ１０２は、ステップ３００で記憶した開始時刻を更新する。具体的には、ＣＰＵ１０２は、ステップ３０２で記憶した開始時刻に所定時間を加算して得られた時刻を、新たな開始時刻として記憶する（ＲＡＭ１０６の所定領域に上書きする）。ここでは、５秒を加算する。なお、更新前の開始時刻は、後述のステップで使用するので、ＣＰＵ１０２は一時的にＲＡＭ１０６の任意領域に記憶する。
【００３４】
ステップ３０８において、ＣＰＵ１０２は、記憶されている音声データの中から、更新前の開始時刻から所定時間（５秒間）のデータを読出す。読出されたデータは、５秒間のアナログ信号がサンプリング周波数１０Ｈｚでサンプリングされて生成されたデータであるので、第１話者１４０及び第２話者１４２のそれぞれに関する、０．１秒間隔の５０個の時系列データである。第１話者１４０の時系列データをＡ（ｉ）（ｉ＝１〜５０）、第２話者１４２の時系列データをＢ（ｉ）（ｉ＝１〜５０）とする。
【００３５】
ステップ３１０において、ＣＰＵ１０２は、読出した音声データ間の「話量積」を計算する。具体的には、次式によってＸ（ｋ）及びＹ（ｋ）（ｋ＝０〜１９）を計算する。
【００３６】
【数１】
2013052049.tif 000003
【００３７】
【数２】
2013052049.tif 000004
図３は上記の演算を模式的に示す。図３は、第１話者１４０及び第２話者１４２の音声波形データを示しており、上段の波形が第１話者１４０のデータＡであり、下段の波形が第２話者１４２のデータＢである。横軸（時間）は共通である。Ｘ（ｋ）は、第１話者１４０の音声データＡ（０〜３秒間のデータ）を基準データとして、先頭を０．１ｋ秒シフトした第２話者１４２の３秒間の音声データＢ（０．１ｋ〜３＋０．１ｋ秒間のデータ）と基準データとの対応するデータの積をとり、それらの総和を計算した値である。５秒間のデータが対象であるので、処理対象とする波形データのシフト可能な時間は、０．１秒間隔で最大１．９秒であり、ｋは０〜１９の範囲の整数値を取り得る。したがって、Ｘ（０）〜Ｘ（１９）の２０個のデータが得られる。
【００３８】
Ｙ（ｋ）は、第２話者１４２の音声データＢ（０〜３秒間のデータ）を基準データとして、先頭を０．１ｋ秒シフトした第１話者１４０の音声データＡ（０．１ｋ〜３＋０．１ｋ秒間のデータ）と基準データとの対応するデータの積をとり、それらの総和を計算した値である。上記と同様に、Ｙ（０）〜Ｙ（１９）の２０個のデータが得られる。
【００３９】
ステップ３１２において、ＣＰＵ１０２は、Ｘ（０）〜Ｘ（１９）及びＹ（０）〜Ｙ（１９）のそれぞれにおける最大値を求め、対応するｋを決定する。Ｘ（０）〜Ｘ（１９）の最大値をＸｍａｘ（ｍ）で表し、Ｙ（０）〜Ｙ（１９）の最大値をＹｍａｘ（ｎ）で表す。
【００４０】
なお、最大値が同じ値で複数存在した場合、最も大きいｋを採用する。例えば、Ｘ（３）とＸ（１６）とが同じ値で最大値であった場合、Ｘ（１６）を採用し、最大値に対応するｋは１６とする（ｍ＝１６）。極端な場合、第１話者１４０だけが一方的に発話し、第２話者１４２が一切発話しない場合には、Ｘ（０）〜Ｘ（１９）は全てゼロとなり、ｍ＝１９となる。Ｙｍａｘ（ｎ）に関しても同様である。
【００４１】
得られたｍは、第１話者１４０の過去３秒間の音声変動と最も相関が高いと考えられる、第２話者１４２の音声変動のズレΔＴに対応する（ΔＴ＝０．１ｍ）。ΔＴ＝０〜１．９（秒）であり、１０Ｈｚのサンプリングデータを対象としているので分解能は０．１秒である。例えばｍ＝５は、第２話者１４２が第１話者１４０に０．５秒遅れで相関の高い音声変動を表出していることを表している。極端な例では、無音の中、第１話者１４０が突然「あっ」と言い、０．５秒後に第２話者１４２が「あっ」と言った場合、ｍ＝５になると考えられる。
【００４２】
ステップ３１４において、ＣＰＵ１０２は、ｍ及びｎを時間に換算し、その結果に応じて同調度Ｓを決定し、表示部１３０に提示する。ｍ及びｎの時間換算値をそれぞれΔＴｍ及びΔＴｎとして、第１話者１４０及び第２話者１４２の対話における同調度Ｓを、例えば表１のように決定する。
【００４３】
【表１】
2013052049.tif 000005
同調度Ｓの値が大きいほど同調性が高いことを意味する。
【００４４】
音声データを検出した場合、ΔＴが０．５秒以下であれば、同調に積極性が見られ、１．５秒以上であれば、同調に消極性が見られることが多い。即ち、ΔＴが比較的短いことは、相手の発話（基準データ）に対して興味を覚え、注意して聞いていることになり、同調性が高いと言える。ΔＴが比較的長いことは、相手の発話に対して興味がなく、注意して聞いていないことになり、同調性が低いと言える。
【００４５】
測定結果の一例を図４に示す。図４において、実線は第１話者１４０の音声データを基準として求めたシフト時間ΔＴｍのグラフである。破線は第２話者１４２の音声データを基準として求めたシフト時間ΔＴｎのグラフである。このグラフから次のことが分かる。最初のピーク（左端の楕円部分参照）では、両者が思案中であり同調していない。その後、３０〜９０秒の期間（下部の楕円部分参照）において両者とも闊達に会話し同調性が高くなった。その後、１００秒頃（右端の楕円部分参照）には、第２話者１４２は積極性を維持しているが、第１話者１４０は積極性が失われ（あまり同意したくない）、同調性が低くなっている。これらのことから、表１のように同調度Ｓを決定することが有効であることが分かる。
【００４６】
ステップ３１５において、ＣＰＵ１０２は、ステップ３１４で求めたΔＴｍ及びΔＴｎを用いて追従度Ｒを決定し、表示部１３０に提示する。第１話者１４０及び第２話者１４２の対話における追従度Ｒを、｜ΔＴｍ−ΔＴｎ｜の大きさに応じて、例えば表２のように決定する。
【００４７】
【表２】
2013052049.tif 000006
同調性の高さを表す同調度Ｓに関しては、第２話者に対する第１話者の同調度、及び第１話者に対する第２話者の同調度という２つの値が決定されるが、追従度Ｒは２人に対して１つ値が決定される。
【００４８】
例えば、図４において１１０秒付近、又は最後の１６０秒以降は、破線と実線とが離れており、このような状態を追従度が低いと定義する。また、３０秒付近の、同調率は低いながらも、破線と実線とが近接（密接）しており、このような状態を追従度が高いと定義する。表２の値は、この定義にしたがって設定された一例である。
【００４９】
相手の同調性を高めることができる人は、相手を話にのめり込ませる能力がある人であると言える。高い追従度を維持できる人は、相手に合わせる能力がある人であると言える。これらは互いに異なる能力であるが、どちらも高いコミュニケーション能力者には備わっている機能である。
【００５０】
ステップ３１６において、ＣＰＵ１０２は、終了の指示を受けたか否かを判定する。終了の指示を受けたと判定された場合、制御はステップ３１８に移行する。そうでなければ、制御はステップ３０４に戻る。終了の指示は、例えば、制御部１００に装備された操作部を、第１話者１４０が操作することによって行なわれる。
【００５１】
ステップ３１８において、ＣＰＵ１０２は、ステップ３００で起動したデータ取得プログラムを停止し、本プログラムを終了する。
【００５２】
以上によって、所定時間（５秒）ごとに同調度Ｓ及び追従度Ｒを決定し、第１話者１４０に提示することができる。したがって、対話の主導者である第１話者１４０は、第２話者１４２の同調性に応じて話の方向を制御することができる。即ち、数秒前に話した内容に関して、表示部１３０に高い同調度が表示されていれば、同じ話題を維持し、低い同調度が表示されていれば、話題を変えることができる。追従度に応じても同様の判断を行なうことができるので、同調度及び追従度を考慮すれば、より適切に話の方向を制御することができる。したがって、対話を伴うサービス分野全般において、サービス提供者にとってより有効な会話戦略を築くための補助ツールとして有効である。例えば、カウンセラーとクライアントとの対話、販売促進員と客との対話等において、対話相手との同調性を、具体的な数値として知ることができることは非常に有効である。
【００５３】
なお、ステップ３１４において、同調度のみを数値で提示するのではなく、対応する文字（高い、低い等）又は図形を提示してもよい。また、同調度に応じて異なる色を提示してもよい。例えば、表示部１３０にＬＥＤを備え、同調度が高い場合には青色を、低い場合には赤色を提示してもよい。追従度に関しても同様に提示することができる。
【００５４】
また、対話の主導者である第１話者１４０に同調度を提示することができれば、第１話者１４０は話の方向を制御することができるので、追従度を決定して提示する処理は不可欠ではない。したがって、図２のフローチャートにおいて、ステップ３１５はなくてもよい。
【００５５】
また、話量積が最大値となるときのシフト時間ΔＴｍ、ΔＴｎの時間変化を、図４のようなグラフとして表示してもよい。図４を具体的に説明すると、第１話者１４０が第２話者１４２に対して、０〜４０秒において第１の話題で話し、４０秒〜８０秒において第２の話題で話し、８０秒〜１２０秒において第３の話題で話したときに得られたグラフである。第１話者１４０が、自分自身に対する第２話者１４２の反応を知るために図４を見た場合、第２話者１４２は第１の話題には興味がない可能性が高く、第２の話題の後半でかなり興味が湧いた可能性が高く、第３の話題は、第１の話題よりも興味深いが、第２の話題ほどではない可能性が高いということが分かる。また、破線及び実線のグラフを両方観察することによって、第１及び第２の話題では高い追従性が発揮されているが、第３の話題では破線と実線との解離具合から追従性が低くなっている可能性が高いことが分かる。
【００５６】
また、決定された同調度を記憶しておき、例えば、５秒間ごとに決定した同調度Ｓの、開始からの累積値を、同調度と併せて表示してもよい。追従度に関しても同様である。
【００５７】
上記では、サンプリング周波数１０Ｈｚでサンプリングされたデータについて説明したが、これに限定されない。サンプリング周波数は、２Ｈｚ以上であれば任意の周波数でよい。反応潜時（人が刺激を受けてから、動き出すまでの時間）等を考慮すると、サンプリング周波数は１５Ｈｚ以下であることが好ましい。
【００５８】
また、話量積の計算に使用する第２話者１４２のデータが５秒間のデータである場合を説明したが、これに限定されない。例えば、約１秒間以上約１０秒間以下の任意の一定期間のデータを用いてもよい。
【００５９】
また、話量積の計算に使用する第１話者１４０のデータ（基準データ）は、３秒間のデータに限定されない。最大２秒間のシフト時間を実現できればよく、約２秒間以上約１０秒間以下のデータを用いて、話量積を計算してもよい。例えば、第２話者１４２の３秒間のデータを対処とする場合、話量積の計算に使用する第１話者１４０のデータが１秒間のデータであれば、シフト時間は最大２秒となる。
【００６０】
また、データを取得するプログラムが別途並行して動作する場合を説明したが、これに限定されない。例えば、所定時間（５秒間）のデータを取得し、その直後にステップ３１０〜３１４の処理を繰返してもよい。ステップ３１０〜３１４の処理を実行中にはデータを取得しないが、計算処理の時間が短ければ、同調性を検出する上で問題はない。
【００６１】
また、対話における同調性を検出するためのデータは、上記の音声データに限定されない。体動情報（トランク動作、頭部動作、四肢動作）、心拍情報、呼吸情報、血圧情報、脳波情報、心電図情報、皮膚発汗情報、皮膚抵抗情報、脳磁図情報、筋電情報、表面温度情報、瞳孔径情報、マイクロバイブレーション情報等の生体指標を使用することができる。なお、対話において、一方の話者の発話に対して、その内容を他方の話者が理解し、興味を覚え共感する場合、一方の話者の発話に対する他方の話速が高まり、話者交代時、又は相槌の間も切り詰められることが一般的である。また、一方の話者の発話内容に、興味がなく共感しない場合には、一方の話者の発話に対する他方の話者の話速は低くなるか、又は、発話しなくなる。また、話も切り出しにくく相槌の間も長くなるのが一般的である。したがって、音声も、話者の生理状態を反映しており生理指標と言える。
【００６２】
対話中の両者の同じ生理指標を観測したときに、約６秒未満のズレを伴った、同調現象を観測できる場合がある。この生理指標におけるズレを伴った同調を「ズレ同調」として説明する。「ズレ同調」は、意図的又は無意図的な筋肉の収縮等が原因であり、不随意筋の変化にも依存する。その他、血中又は脳内ホルモン量変化によって引き起こされる「ズレ同調」もある。
【００６３】
体動情報のうち、対話中に頻出する動作である頭部動作及びトランク動作に関しては、人物Ａがお辞儀をすると人物Ｂも（約６秒未満）遅れてお辞儀をする。人物Ａがトランク動作をすると人物Ｂも（約６秒未満）遅れてトランク動作をする。
【００６４】
その他の体動情報として、ミラーニューロンとも関係がある可能性が低くないアダプター動作に関しては、人物Ａが足を組直すと、人物Ｂも（約６秒未満）遅れて足を組直す。人物Ａが手で髪の毛を（無意味に）触ると、人物Ｂも（約６秒未満）遅れて髪を触る。これらは動作のミラーリングとして知られている。髪の毛を触ることはヘアフリップとして知られている。
【００６５】
発話に関しては、上記したように、人物Ａが何か発話すると人物Ｂも（約６秒未満）遅れて何か発話する。一般に、人物ＡもＢも（吸気なしで）発話し続けることはない。
【００６６】
心拍に関しては、興奮する等して人物Ａの心拍間隔が短くなると、人物Ｂも（約６秒未満）遅れて心拍間隔が短くなる。
【００６７】
発汗に関しては、人物Ａが発汗変動によって皮膚抵抗が変化すると、人物Ｂも（約６秒未満）遅れて発汗変動による皮膚抵抗が変化する。
【００６８】
このようなズレ同調は、発生しない場合もあるが、ズレ時間が短いほど、同調性が高いと言える。ズレ時間＝０の場合（同時お辞儀や、同時トランク動作）は、完全同調と言える。
【００６９】
以下、体動情報を用いる場合について説明する。体動情報を用いて同調性を検出する場合、図５に示した装置を使用する。図５は、図１と異なり、第１マイク１２０及び第２マイク１２２に代えて、第１撮像部４２０及び第２撮像部４２２を使用する。したがって、ＩＦ部も異なるので、ＩＦ部４１０及び制御部４００には、図１と異なる符号を付している。それ以外の構成要素は、図１と同じであるので、それらに関しては説明を繰返さない。
【００７０】
第１撮像部４２０及び第２撮像部４２２は、イメージセンサ（ＣＣＤ等）を有し、第１撮像部４２０は第１話者１４０を撮像し、第２撮像部４２２は第２話者１４２を撮像するように配置されている。第１撮像部４２０及び第２撮像部４２２は例えば、Ｗｅｂカメラである。
【００７１】
ＩＦ部４１０は、第１撮像部４２０及び第２撮像部４２２からの信号を受信し、受信した信号をＣＰＵ１０２に伝送する。ＩＦ部４１０は、第１撮像部４２０及び第２撮像部４２２からの信号がアナログ信号であれば、受信した信号をデジタル信号に変換する機能（ＡＤ変換機能等）を有する。また、ＩＦ部４１０は、ＣＰＵ１０２から伝送される情報を表示部１３０の信号入力形式に変換して、表示部１３０に供給する。
【００７２】
図６を参照して、本同調性検出装置において制御部４００のＣＰＵ１０２が実行するプログラムの制御構造に関して説明する。第１話者１４０が所定の目的（例えば案内ガイド等のサービス提供）で第２話者１４２（例えば客）と対話しているとする。なお、図６は、処理対象のデータが図２とは異なるが、大部分の処理は図２と同様である。したがって、以下では主として異なる点を説明する。
【００７３】
ステップ５００において、ＣＰＵ１０２は、第１撮像部４２０及び第２撮像部４２２からの信号を連続的に取得して、ＲＡＭ１０６又はＨＤＤ１０８に記憶するプログラムを起動する。ここでは、フレーム単位の輝度画像を、時系列データとしてＨＤＤ１０８に記憶するとする。動画像のフレームレートは、通常、毎秒数十フレームであるが、同調性を検出することが目的であるので、毎秒１０フレームとする。なお、得られた動画像データのフレームレートが高い場合には、補間処理等によって毎秒１０フレームの動画像データに変換する。
【００７４】
ステップ５０２において、ＣＰＵ１０２は、図２のステップ３０２と同様に、タイマ１１２から現在時刻を取得して開始時刻として設定する。
【００７５】
ステップ５０４において、ＣＰＵ１０２は、図２のステップ３０４と同様に、タイマ１１２から現在時刻を取得し、ステップ５００で記憶した開始時刻から所定時間が経過したか否かを判定する。
【００７６】
ステップ５０６において、ＣＰＵ１０２は、図２のステップ３０６と同様に、ステップ５００で記憶した開始時刻を更新する。
【００７７】
ステップ５０８において、ＣＰＵ１０２は、図２のステップ３０８と同様に、記憶された動画像データの中から、更新前の開始時刻から所定時間（５秒間）のデータを読出す。読出されたデータは、フレームレートが毎秒１０フレームの５秒間の輝度画像データであるので、第１話者１４０及び第２話者１４２のそれぞれに関する、０．１秒間隔の５１枚の時系列の画像データである。
【００７８】
ステップ５１０において、ＣＰＵ１０２は、読出した画像データを用いて、第１話者１４０及び第２話者１４２のそれぞれの画像データに関して、隣接する画像データ間の、対応する画素の輝度変化（輝度差）の絶対値の総和Ｃ、Ｄを計算する。各フレームの輝度画像データが、横Ｗ画素、縦Ｈ画素から構成されているとし、第１話者１４０のｊ番目の画像データの、左からｘ番目、上からｙ番目の画素の輝度値をｃ（ｘ，ｙ，ｊ）で表し、第２話者１４２のｊ番目の画像データの、左からｘ番目、上からｙ番目の画素の輝度値をｄ（ｘ，ｙ，ｊ）で表すと、ｊ番目の画像データとｊ＋１番目の画像データ間の総和Ｃ（ｊ）、Ｄ（ｊ）は、次式で計算できる。ここで、ｊは０〜５０の整数値である。
【００７９】
【数３】
2013052049.tif 000007
【００８０】
【数４】
2013052049.tif 000008
具体的には、Ｃ（１）は、第１話者１４０の最も古い５．０秒前の画像データと、４．９秒前の画像データとにおける各画素の輝度変化、即ちｃ（ｘ，ｙ，１）−ｃ（ｘ，ｙ，０）の絶対値の総和である。Ｃ（５０）は、０．１秒前の画像データと、直近の画像データとにおける各画素の輝度変化、即ちｃ（ｘ，ｙ，５０）−ｃ（ｘ，ｙ，４９）の絶対値の総和である。
【００８１】
同様に、Ｄ（１）は、第１話者１４０の最も古い５．０秒前の画像データと、４．９秒前の画像データとにおける各画素の輝度変化、即ちｄ（ｘ，ｙ，１）−ｄ（ｘ，ｙ，０）の絶対値の総和である。Ｄ（５０）は、０．１秒前の画像データと、直近の画像データとにおける各画素の輝度変化、即ちｄ（ｘ，ｙ，５０）−ｄ（ｘ，ｙ，４９）の絶対値の総和である。
【００８２】
Ｃ（ｊ）、Ｄ（ｊ）は、被写体の動き（体動情報）を定量的に表す。即ち、Ｃ（ｊ）、Ｄ（ｊ）は、動きが大きければ大きい値となり、動きが小さければ小さい値となり、全く動かなければゼロ（ノイズを考慮しない場合）である。
【００８３】
ステップ５１２において、ＣＰＵ１０２は、図２のステップ３１０と同様に、ステップ５１０で求めた総和Ｃ及びＤを用いて、積和値を計算する。具体的には、次式によってＵ（ｋ）及びＶ（ｋ）（ｋ＝０〜１９）を計算する。
【００８４】
【数５】
2013052049.tif 000009
【００８５】
【数６】
2013052049.tif 000010
Ｕ（ｋ）は、第１話者１４０のデータＣ（０〜３秒間のデータ）を基準データとして、先頭を０．１ｋ秒シフトした第２話者１４２のデータＤ（０．１ｋ〜３＋０．１ｋ秒間のデータ）と基準データとの対応するデータの積をとり、それらの総和を計算した値である。５秒間のデータが対象であるので、処理対象とするフレーム画像のシフト可能な時間は、０．１秒間隔で最大１．９秒であり、ｋは０〜１９の範囲の整数値を取り得る。したがって、Ｕ（０）〜Ｕ（１９）の２０個のデータが得られる。
【００８６】
Ｖ（ｋ）は、第２話者１４２のデータＤ（０〜３秒間のデータ）を基準データとして、先頭を０．１ｋ秒シフトした第１話者１４０のＣ（０．１ｋ〜３＋０．１ｋ秒間のデータ）と基準データとの対応するデータの積をとり、それらの総和を計算した値である。上記と同様に、Ｖ（０）〜Ｖ（１９）の２０個のデータが得られる。
【００８７】
ステップ５１４において、ＣＰＵ１０２は、図２のステップ３１２と同様に、Ｕ（０）〜Ｕ（１９）及びＶ（０）〜Ｖ（１９）のそれぞれの最大値を求め、対応するｋを決定する。Ｕ（０）〜Ｕ（１９）の最大値をＵｍａｘ（ｍ）で表し、Ｖ（０）〜Ｖ（１９）の最大値をＶｍａｘ（ｎ）で表す。なお、最大値が同じ値で複数存在した場合、最も大きいｋを採用する。
【００８８】
ステップ５１６において、ＣＰＵ１０２は、図２のステップ３１４と同様に、ｍ及びｎを時間に換算し、その結果に応じて同調度Ｓを決定し、表示部１３０に提示する。同調度Ｓを決定する条件は、例えば表１と同じである。
【００８９】
ステップ５１８において、ＣＰＵ１０２は、図２のステップ３１４と同様に、終了の指示を受けたか否かを判定する。
【００９０】
ステップ５２０において、ＣＰＵ１０２は、図２のステップ３１８と同様に、ステップ５００で起動したデータ取得プログラムを停止し、本プログラムを終了する。
【００９１】
以上によって、所定時間（５秒）ごとに同調度Ｓを決定し、その結果を第１話者に提示することができる。したがって、音響データを処理対象とした場合と同様に、対話の主導者である第１話者は、第２話者１４２の同調性に応じて話の方向を制御することができる。
【００９２】
なお、図６のフローチャートには、追従度を決定して提示する処理が含まれていないが、図２のステップ３１５と同様の処理が、例えばステップ５１６とステップ５１８との間に含まれていてもよい。
【００９３】
また、同調性の検出にトランク動作を用いる場合、トランク動作を精度よく検出するために、非特許文献２に開示されているように、話者の側面を、上半身を中心として撮像することが好ましい。
【００９４】
また、上記では撮像した１フレームの画像全体を使用して輝度変化の総和を計算する場合を説明したが、フレーム中の一部の領域を対象としてもよい。例えば、トランク動作は、話者の胸部の前後方向の動作であるので、話者を正面から撮像した画像から胸部領域を検出し、その領域のデータのみを用いて、輝度変化の総和を計算してもよい。胸部領域を特定するには、例えば、人の標準体型を仮定して行なうことができる。即ち、処理対象範囲の動画データの先頭フレームにおいて顔領域を検出し、顔領域の位置及び大きさを、標準体型の情報と比較して、相対的に胸部領域を特定することができる。その後のフレームにおいては、特定された領域のデータを用いて、輝度変化の総和を計算する。特定された胸部領域の輝度変化が大きければ、対話中にトランク動作が発生したと考えられる。
【００９５】
上記では、測定されたデータが、強度（振幅）が０．１秒程度のオーダで時間的に変化する１次元の物理量である場合を説明したが、これに限定されない。測定データから、強度が０．１秒程度のオーダで変化するデータ時間的に変化する１次元の物理量を生成することができ、その変化が対話における同調性に関係すれば、音響データと同様に処理することによって、同調性を検出することができる。
【００９６】
例えば、心拍間隔を使用することができる。心拍間隔ＲＲＩは、図７に示すように、心電図波形の隣接するＲ波の間隔である。ＲＲＩは精神的、肉体的な状態に応じて変化するので、対話中の同調性に応じて変化する。
【００９７】
ＲＲＩを使用する場合、皮膚に電極を配置して所定時間の心電図データを取得し、ＲＲＩを求め、その差を用いる。同調性の検出には０．１秒程度で変化するデータが必要であるが、ＲＲＩは１〜数秒程度であるので、そのままでは０．１秒程度でＲＲＩの差を得ることができない。したがって、例えば、所定時間（複数の心拍が観測できる時間）内のＲＲＩ差の平均値を用いる。時系列データとしては、所定時間を０．１秒ずつシフトして、ＲＲＩの平均値Ｅ（１）〜Ｅ（５０）を得ることができる。
【００９８】
具体的には、ある時刻Ｔ０の７．９秒前から時刻Ｔ０までの間に、０．１秒間隔で測定された心電図データを対象として、Ｅ（ｊ）（ｊ＝１〜５０）は、Ｔ０の（８．０−０．１ｊ）秒前〜（５．０−０．１ｊ）秒前の間に発生したＲＲＩの差の平均値である。例えば、Ｅ（１）は、Ｔ０の７．９秒前〜４．９秒前の間に発生したＲＲＩの差の平均値である。Ｅ（２）は、Ｔ０の７．８秒前〜４．８秒前の間に発生したＲＲＩの差の平均値である。Ｅ（５０）は、Ｔ０の３．０秒前〜Ｔ０の間に発生したＲＲＩの差の平均値である。
【００９９】
例えば、図８に示すように、ＲＲＩが、９８０、９７０、９６０、９６５（ミリ秒）と変化し、９７０、９６０、９６５（ミリ秒）が、Ｔ０の７．９秒前〜４．９秒前の３秒間に含まれている場合、その３秒間におけるＲＲＩの差として、９７０−９８０＝−１０、９６０−９７０＝−１０、及び、９６５−９６０＝＋５が得られる。したがって、−１０、−１０、及び、＋５の平均値である−５が、Ｅ（１）の値となる。
【０１００】
このようにして、対話中の２者のそれぞれについて、ＲＲＩの差の時系列データ（０．１秒間隔）を得ることができれば、得られたデータを音響データと同様に処理することによって、対話中の２者の同調性を検出することができる。
【０１０１】
上記のように、同調性を検出するためのデータは、対話の同調性に関連するもの（同調性に応じて変化する測定可能な物理量）であればよい。強度（振幅）が、短時間（約０．１秒以下）で変化する情報であれば、音声データと同様に、対話する両者間の応答の遅れを検出して、同調性を評価することができる。
【０１０２】
皮膚抵抗情報、脳磁図情報、筋電情報、マイクロバイブレーション情報等は、短時間（約０．５秒以下）で変化する情報であり、音声データと同様に測定して得られる時系列データをそのまま処理対象とすればよい。
【０１０３】
また、ＲＲＩの差のように、強度（振幅）が短時間に変化する情報でなくても、元のデータから強度（振幅）が時間的に変化するデータを生成することができれば、そのデータを使用して、音声データと同様に、同調性を検出することができる。呼吸情報、皮膚発汗情報、血圧情報、表面温度情報、瞳孔径情報等に関しては、測定値の変化が生じる時間間隔が約０．５秒よりも長いので、その場合にも、所定期間（例えば３秒間）内の測定値の変化の平均値を計算し、それを処理対象として、音響データと同様に処理すればよい。
【０１０４】
脳波情報に関しては、測定データから公知の算出手法によって、アルファ波強度、ベータ波強度、又は、それら２波の比率（例えば、アルファ波強度／（アルファ波強度＋ベータ波強度）等）の時間変化を使用する。
【０１０５】
生理指標の測定は、器具を肌に直接装着する接触タイプであっても、非接触タイプであってもよい。例えば、心拍情報（ＲＲＩ）を接触タイプで測定する場合、電極を話者の皮膚に装着して心電図を測定すればよい。また、心拍情報（ＲＲＩ）を非接触タイプで測定する場合、話者に送信機から電磁波（マイクロ波）を送信して反射波を受信機で受信し、話者の拍動による反射波の位相の周期的なずれを検出すればよい。また、脳波を測定可能な公知のヘッドセットを使用することもできる。
【０１０６】
また、音声データを直接使用する代わりに、音声認識装置によって認識された語句が示す話速を使用することもできる。話速は、単位時間当たりのシラブル数（例えば４．５シラブル／秒等）である。音声認識装置とは、音声データから、話した内容を自動的に書き起こす公知の装置であり、必然的に１秒当りの発話音節（シラブル）数の計測も可能である。話速は短時間に変化する情報ではないので、話速の時系列データは、例えばＲＲＩの差に関して上記した方法と同様にして得ることができる。
【０１０７】
また、本同調性検出装置は、据置型の装置に限らず、携帯型の装置であってもよい。
【０１０８】
上記では、話者の生理指標の測定装置として、マイク又は撮像装置を用いる場合を説明したが、複数の測定装置を組合せてもよい。例えば、マイク及び撮像装置を用いることができる。
【０１０９】
得られたシフト時間の値は、表１と同様に評価すればよい。例えば、第１話者に対する第２話者１４２のシフト時間として、音声データに関してΔＴ１、画像データに関してΔＴ２が得られた場合、ΔＴ１＋ΔＴ２の値が、１．４秒未満の場合に強同調、１．４秒以上２．６秒未満の場合に中同調、２．６秒以上の場合に弱同調と判定することができる。
【０１１０】
また、対話する両者の異なる生理指標を用いてもよい。例えば、対話を主導する話者に関しては音声データを測定し、対話の従者に関しては、体動情報、心拍情報等を測定してもよい。音声データの場合、上記したように、測定データをそのまま同調性を検出するための時系列データとして使用する。体動情報の場合、上記したように、対話相手（従者）を撮像して、例えばトランク動作を検出するために、フレーム画像間の輝度値変化を計算して時系列データとする。また、心拍情報の場合、上記したように、対話相手（従者）の心拍間隔ＲＲＩの変化を計算して時系列データとする。
【０１１１】
両者に関して、同じタイミングの時系列データ（同じ時間帯及び同じ時間間隔のデータ）を得ることができれば、上記と同様に、次式によって積和値を計算することができる。
【０１１２】
【数７】
2013052049.tif 000011
ここで、Ａ（ｊ）は、対話を主導する話者の音声データ（基準データ）であり、Ｐ（ｊ）は、対話相手（従者）の生理指標（体動情報、心拍情報等）である。そして、上記と同様に、積和値Ｑ（０）〜Ｑ（１９）の最大値を求め、対応するｋを決定する。得られたｋを時間に換算すれば、表１にしたがって同調性を評価することができる。
【０１１３】
例えば、対人対話に不慣れな説明員が、４つの商品Ａ、Ｂ、Ｃ、Ｄを説明するとき、客の反応を見て、客が実際にどの商品に興味を持っているかまで気が回らないことがある。その場合、商品Ａ、Ｂ、Ｃ、Ｄのそれぞれの説明文が予め説明員に提供されており、説明員の音声データと、客の体動情報又は心拍情報とを測定すれば、説明員はそれを読上げるだけで、客の同調性を検出して、説明員に提示することができる。したがって、説明員は、商品Ａ、Ｂ、Ｃ、Ｄの説明文を順に読みながら、提示される同調性の情報を見て、説明員が読上げた内容に対する客の関心の程度を評価することができる。
【０１１４】
このように、対面している両者の一方について音声データを測定し、他方について音声データとは異なる生理指標を測定することによって、相互の発話がなく、一方の話者が一方的に発話している状態でも、他方の同調性を検出することができる。
【０１１５】
したがって、説明員の代わりに、機械が説明文を読上げて、それを聞いている人の同調性を検出することができる。機械が説明文を読上げる場合には、毎回音声データを測定する必要はなく、予め測定したデータを使用すればよいのでより効率的である。
【０１１６】
以上、実施の形態を説明することにより本発明を説明したが、上記した実施の形態は例示であって、本発明は上記した実施の形態に限定されるものではなく、種々変更して実施することができる。
【符号の説明】
【０１１７】
１００    制御部
１０２    ＣＰＵ
１０４    ＲＯＭ
１０６    ＲＡＭ
１０８    ＨＤＤ
１１０    インターフェイス部（ＩＦ部）
１１２    タイマ
１１４    バス
１２０    第１マイク
１２２    第２マイク
１３０    表示部
１４０    第１話者
１４２    第２話者
【図１】
2013052049.tif 000012
【図２】
2013052049.tif 000013
【図３】
2013052049.tif 000014
【図４】
2013052049.tif 000015
【図５】
2013052049.tif 000016
【図６】
2013052049.tif 000017
【図７】
2013052049.tif 000018
【図８】
2013052049.tif 000019