(57)【要約】【課題】  会話中の発話に関心又は興味のある内容であるかを分析する会話音声分析装置を提供すること。【解決手段】  マイクロホンとセンサから得られる信号を用いて。音信号を用いて区間を求め、区間毎にセンサ信号を切り出し、区間毎にセンサ信号の相関を求めることにより、発話における対話者の興味である関心度合いを求め、会話の分析を行なう。【選択図】  図１
2007218933.tif 000002
【特許請求の範囲】
【請求項１】
会話の音声の取り込みを行なうマイクロホンと、会話が行なわれている周辺のセンサ情報を取り込むセンサと、前記マイクロホンおよびセンサに接続されるコンピュータとを有する会話音声分析システムであって、
前記コンピュータは、前記マイクロホン及びセンサからそれぞれ取り込まれた音声情報及びセンサ情報とを格納し、該音声情報のうちの音声区間及び非音声区間における、前記センサから取り込まれたセンサ情報の特徴量を用いて該会話の進行状況を分析して該分析結果を出力することを特徴とする会話音声分析システム。
【請求項２】
請求項１記載の会話音声分析システムであって、前記コンピュータは、前記マイクロホンから取り込まれた音声情報を音声が検出される音声区間と音声が検出されない非音声区間とに区分し、前記センサ情報を前記音声区間と前記非音声区間の区切りの時刻で分割し、該分割された、音声区間及び非音声区間に対応するセンサ情報の対象度合いを用いて、該会話の周辺にいる人物の該会話への関心度を評価することを特徴とする会話音声分析システム。
【請求項３】
請求項２記載の会話音声分析システムであって、前記コンピュータは、前記マイクロホンから取り込まれた音声情報の音声区間に該音声の話者を対応付けて格納し、前記周辺にいる人物の該会話への関心度を、該話者と対応付けて格納することを特徴とする会話音声分析システム。
【請求項４】
請求項２記載の会話音声分析システムであって、前記コンピュータは、前記センサから取り込まれたセンサ情報を該周辺にいる人物のいずれかと対応付けて格納し、前記会話への関心度を、該センサ情報に対応付けられた人物と対応付けて格納することを特徴とする会話音声分析システム。
【請求項５】
請求項１−４のいずれかに記載の会話音声分析システムであって、前記センサは、該会話の周辺にいる人物の身体状態をセンシングするセンサであることを特徴とする会話音声分析システム。
【請求項６】
請求項１−５のいずれかに記載の会話音声分析システムであって、前記コンピュータは、前記センサ情報から、該センサが状態量を検知した検知回数、変化量のうち一つもしくは複数を取り出して特徴量とすることを特徴とする会話音声分析システム。
【請求項７】
請求項２−４のいずれかに記載の会話音声分析システムであって、前記関心度の高い音声区間の音声情報を選択して出力することを特徴とする会話音声分析システム。
【請求項８】
マイクロホンと、センサと、前記マイクロホンおよびセンサに接続されるコンピュータとを有する会話音声分析システムにおける会話音声分析方法であって、
前記マイクロホンを用いて会話の音声を取り込み前記コンピュータのメモリに格納する第１のステップと、
前記センサを用いて該会話が行なわれている周辺のセンサ情報を取り込み前記コンピュータのメモリに格納する第２のステップと、
前記コンピュータにおいて、前記格納された音声情報から抽出される音声区間及び非音声区間に対応する、前記格納されたセンサ情報の特徴量を用いて該会話の進行状況を分析し、該分析結果を出力する第３のステップとを有することを特徴とする会話音声分析方法。
【請求項９】
請求項８記載の会話音声分析方法であって、
前記第３のステップにおいて、前記コンピュータは、前記マイクロホンから取り込まれた音声情報を音声が検出される音声区間と音声が検出されない非音声区間とに区分し、前記センサ情報を前記音声区間と前記非音声区間の区切りの時刻で分割し、該分割された、音声区間及び非音声区間に対応するセンサ情報の対象度合いを用いて、該会話の周辺にいる人物の該会話への関心度を評価することを特徴とする会話音声分析方法。
【請求項１０】
請求項９記載の会話音声分析方法であって、
前記第３のステップにおいて、前記コンピュータは、前記マイクロホンから取り込まれた音声情報の音声区間に該音声の話者を対応付けて格納し、前記周辺にいる人物の該会話への関心度を、該話者と対応付けて格納することを特徴とする会話音声分析方法。
【請求項１１】
請求項９記載の会話音声分析方法であって、
前記第３のステップにおいて、前記コンピュータは、前記センサから取り込まれたセンサ情報を該周辺にいる人物のいずれかと対応付けて格納し、前記会話への関心度を、該センサ情報に対応付けられた人物と対応付けて格納することを特徴とする会話音声分析方法。
【請求項１２】
請求項８−１１のいずれかに記載の会話音声分析方法であって、前記センサは、該会話の周辺にいる人物の身体状態をセンシングすることを特徴とする会話音声分析方法。
【請求項１３】
請求項８−１２のいずれかに記載の会話音声分析方法であって、
前記第３のステップにおいて、前記コンピュータは、前記センサ情報から、該センサが状態量を検知した検知回数、変化量のうち一つもしくは複数を取り出して特徴量とすることを特徴とする会話音声分析方法。
【請求項１４】
請求項９−１１のいずれかに記載の会話音声分析システムであって、
前記第３のステップにおいて、前記コンピュータは前記関心度の高い音声区間の音声情報を選択して出力することを特徴とする会話音声分析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明では、会議など多くの人間が議論する場において、参加者が話している内容についてどのくらい関心を持っているのかを分析し、その結果を図示することによって、会議における参加者の活動の把握、及び、その場にいない人間に対して会議の状況の把握、また、これらを保存することにより後のログ解析に用いることを可能とする、会議の状態の可視化に関する。
【背景技術】
【０００２】
会議の内容を記録する技術が求められており、会議の記録手法が多く提案されている。一番多く用いられているものは、文字による議事録である。しかし、これは会議の決定事項が記載されているだけであり、会議中に醸成されている雰囲気や他の参加者に影響を与えた発話など、会議に参加している人しか得ることができない情報である進行状況、雰囲気、活性度などを記載することは難しい。会議の雰囲気を記録するための方法として、会議音の収録があるが再生には会議が開催した時間と同等の時間を費やしてしまうため、一部でしか使われていない。
【０００３】
さらに、人間関係を図示する技術が報告されている。それは、電子メールやWebのアクセスログなどの電子情報を分析することにより人脈情報を表示する技術である（例えば特許文献１参照）。しかし、人脈情報の表示に用いている情報は、文字だけであり、発話から人間関係を図示することができない。
【０００４】
【特許文献１】特開２００１−１０８１２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
会議は多くの議論が交わされる場であり、参加者全員に活発な意見が望ましい。しかし、活発な議論ができていない場合には、何かしらの問題が生じており、その原因を特定することが重要である。
【０００６】
また、文字による議事録では、決定事項だけ記載されているものが多い。よって、参加者がどれにどのくらい議題に関心を持っているかなど、参加者の活動や行動を把握することが難しい。
【０００７】
我々は、会議中、参加者は重要な発話に対して、首を縦に振る、メモを取るなどの何かしらのアクションをする場合が多い。会議の状況や参加者の活動を分析するためには、これらのアクションをセンサによって検知し、解析することが必要である。
【０００８】
解決しようとする課題は、マイクロホンとセンサから得られた情報を分析することにより、人間の状態や会議における関心度、雰囲気、進行状況などの情報を取得し、この情報を図示することである。
【課題を解決するための手段】
【０００９】
上記の課題を解決するための本願の開示する代表的な発明の概要は、以下の通りである。本願発明の会話音声分析方法では、マイクロホンから音を取り込むための音取り込み手段と、取り込んだ音から音声と非音声の区間を切り取るための音声・非音声区間検出手段と、音声・非音声の区間毎に解析を行なう区間別音解析手段と、センサから信号を取り込むためのセンサ信号取り込み手段と、取り込んだ信号を区間毎に切り取るためのセンサ区間検出手段と、区間毎に信号から特徴を求めるための区間別センサ解析手段と、区間毎に音声とセンサの特徴から関心度を求めるための関心度判定手段と、関心度から図式で表示を行なうための出力手段とを有している。
【００１０】
会話音声分析方法では、マイクロホンとセンサから得られた情報を分析することにより、人間の状態や会議における進行状況、雰囲気、活性度などを求め、そして、これを図式化することにより、会議や参加者の状況の可視化を行なう。
【発明の効果】
【００１１】
会議における進行状況、雰囲気、活性度などの情報を取得し、これらを図式化することによって、会議を運営する側にとって有益な要素を抽出することができる。また、会議を運営する側だけでなく、会議に参加する側にとっても自分がどのくらい会議に寄与しているかなどの情報を得ることが可能となる。
【産業上の利用可能性】
【００１２】
本発明は、会話に対する関心度合いがわかるため、多くの人に関心が持たれた有益な発話がわかるため、有益な発話のみを選択して議事録の作成や有益な発話をした発話者を評価することができる。さらに、多くの人を管理するためのツールであるプロジェクト管理などに利用することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施形態を、図面を参照しながら説明する。図１は会話音声分析方法を実現するための本発明の概略図である。図１に沿った分析手順の１例を以下に述べる。あらかじめ、マイクロホンやセンサに対して、後で扱いやすくするためにＩＤ（１０１〜１０４）を付与しておく。はじめに、音声の発話区間を求めるために、マイクロホンから取り込んだ音１０５に対して、音声・非音声区間検出を行なう。その結果、音声区間１０６が検出される。次に、センサ信号から発話区間を求めることができないので、音声区間１０６の先頭である時刻Ｔ１（１０７）、末尾である時刻Ｔ２（１０８）を用いて、センサ信号の区間検出を行なう。この処理で求めた区間１０９内のセンサ信号と音声区間１０６内の音に対して、それぞれ特徴抽出を行ない特徴量を求める。区間１０９の特徴量は１１０、音声区間１０６の特徴量は１１１である。このような処理を全ての区間に対して行なう。次に、求めた特徴量から関心度を求める。区間１０９の関心度は１１２、音声区間１０６の関心度は１１３である。そして、求めた関心度を保存するために関心度データベース１１４に格納する。次に、データベースに格納された情報を用いて分析を行ない、その結果から可視化を行なう。データベースは複数用いており、関心度が格納されている関心度データベース１１４、ユーザの場所情報が格納されている場所データベース１１５、また、人名情報が格納されている名前データベース１１６である。可視化に必要な情報が名前と関心度ならば、これら３つのデータベースを用いることによって、分析が可能である。その可視化結果を画面１１７に示す。画面１１７では、人名と関心度を求めるために、関心度データベース１１４の場所と場所データベース１１５の場所からＩＤを取得し、場所データベース１１５のＩＤと名前データベース１１６のＩＤから名前を取得する。
【００１４】
次に、本発明を説明するために用いた図について説明する。図１は会話音声分析の概略図である。図２は会話音声分析の利用イメージである。図３は会話音声分析のフローチャートである。図４は音声・非音声区間検出のフローチャートである。図５は区間別音解析のフローチャートである。図６はセンサ区間検出のフローチャートである。図７は区間別センサ解析のフローチャートである。図８は関心度判定のフローチャートである。図９は表示のフローチャートである。図１０は音声データベースである。図１１はセンサデータベースである。図１２は関心度データベース（センサ）である。図１３は関心度データベース（マイク）である。図１４はカスタマイズ値データベースである。図１５は話者認識データベースである。図１６は感情認識データベースである。図１７は会議における時間別人物の関心度合いの可視化である。図１８は会議における時間別有益な発話の可視化を示したものである。
【００１５】
本発明では、マイクロホンとセンサからの信号を用いて解析することにより、参加者が議題に対してどのくらい関心を持っているのかを求める。この結果、会議における進行状況、雰囲気、活性度など、会議を運営する側にとって有益な情報となる。そして、プロジェクト運営を改善するための支援としてこれらの情報を用いる。
【００１６】
図１に示す概略を利用した実施形態について図２を用いて説明する。図２は実施例を実行した利用イメージである。図２は会議が行なわれているシーンであり、机や人物の周りには多くのセンサやマイクロホンが配置されている。マイクロホン２０１やセンサ２１１はリアルタイムに人物の状態を計測するために用いる。さらに、これらマイクロホン２０１やセンサ２１１は、人物に意識されない箇所の設置が望ましい。
【００１７】
マイクロホン２０１は音を取り込むために用いており、取り込んだ音はパーソナルコンピュータ２３１に保存される。パーソナルコンピュータ２３１は、取り込んだ音やセンサ信号、各データベースおよび各処理を行うためのソフトウェアを格納する記憶部や、各処理を実行する処理部、処理分析結果を表示する表示部を有する。マイクロホン２０１は多くの音を収録するために、マイクロホン２０２のように会議机の中心に設置する。直接見える場所にマイクロホンを設置する以外に、マイクロホン２０３のように観葉植物の中に設置、マイクロホン２０４のように説明者が用いているホワイトボードの中に設置、マイクロホン２０５のように会議室の壁の中に設置、マイクロホン２０６のように人物が着席している椅子の中に設置するとよい。
【００１８】
センサ２１１は人の動作を把握するために用いており、センサ２１１の信号を無線を用いて基地局２２１に送信する。基地局２２１はセンサ２１１から送られてくる信号を受信し、受信した信号はパーソナルコンピュータ２３１に保存される。センサ２１１は色々な種類があり、センサ２１２のように床に敷き圧力の変化によって人物の移動を検知するロードセルを設置、センサ２１３のように体重移動を検知するために椅子内重力センサを設置、センサ２１４のように人物の動きを検知するために服、眼鏡、名札に加速度センサを設置、センサ２１５のように手や腕の動きを検知するために腕輪、指輪、ペンに加速度センサを設置してもよい。
【００１９】
パーソナルコンピュータ２３１によってマイクロホン２０１やセンサ２１１から得られた信号を分析した結果をパーソナルコンピュータ２３１の画面上に表示した図を会議ビューア２４１に示す。
【００２０】
会議ビューア２４１は現在の会議室の状態を表わしたものであり、この画面を見ることによって、会議に参加していない人でも会議の様子を把握することができる。さらに、この会議ビューア２４１を保存しておくことによって、ログ解析に用いることができる。
【００２１】
会議ビューア２４１は円と線で構成されている図であり、会議室の状況を示している。会議ビューア２４１では、会議の参加者が有益な発話を行なったかを示すことができる。アルファベットの文字Ａ〜Ｅは人物を示しており、その円は有益な発話量を示し、円を繋ぐ線は次に話した人物を示している。円が大きいほど、有益な発話量が多く、また、線が太いほど繋がっている２人の人物の対話が多いことを示している。このような画面を構成することにより、一見で会議室の状況が把握できる。
【００２２】
会話音声を分析する処理手順を図３のフローチャートを用いて述べる。この分析ではマイクロホン２０１からの音とセンサ２１１からの信号の両方を用いることによって、現在の会話に対して、どのくらい関心を持っているのかを分析する。参加者が提案されている議題についてどのくらい関心を持っているのかの分析が可能になると、会議にとって重要な発話を検出することが可能となる。また、この情報から会議における参加者の貢献度合いを求めることも可能となる。
【００２３】
本特許では、音声と非音声との区間においての信号の相関を求めることにより、分析が行なわれる。分析方法として、はじめに、マイクロホンから収録された音の区間分析を行ない、音声区間と非音声区間に分類する。次に、この分類をセンサから収録されたセンサ信号に対して適用し、音声と非音声の信号に分類する。そして、人物の状態を可視化するのに必要な、音声と非音声の信号の相関を求める。
【００２４】
次に、図３のフローチャートに沿った、会話音声分析の処理手順を述べる。開始３０１は会話音声分析の開始である。音声・非音声区間検出３０２は、パーソナルコンピュータ２３１内で行なわれる処理であり、マイクロホン２０１から取り込んだ音から音声と非音声に分類しその区間を検出する処理である。詳しい処理については図４で示す。
【００２５】
区間別音解析３０３は、パーソナルコンピュータ２３１内で行なわれる処理であり、音声・非音声区間検出３０２によって切り出された音声と非音声に対しての解析を行なう処理である。詳しい処理については図５で示す。
【００２６】
センサ区間検出３０４は、パーソナルコンピュータ２３１内で行なわれる処理であり、音声・非音声区間検出３０２の区間情報を用いて、センサ信号を区間毎に切り分ける処理である。詳しい処理については図６で示す。
【００２７】
区間別センサ解析３０５は、パーソナルコンピュータ２３１内で行なわれる処理であり、センサ区間検出３０４によって切り出された信号の解析を行なう処理である。詳しい処理については図７で示す。
【００２８】
関心度判定３０６は、パーソナルコンピュータ２３１内で行なわれる処理であり、区間別音解析３０３と区間別センサ解析３０５で解析された区間毎の情報を用いて、会話に対してどのくらい関心を持っているのかを判定する処理である。詳しい処理については図８で示す。
【００２９】
表示３０７は、パーソナルコンピュータ２３１内で行なわれる処理であり、関心度判定３０６の結果をユーザにわかりやすい情報に加工し、その結果である図式した１例を画面２４１に示す。詳しい処理については図９で示す。終了３０７は会話音声分析の終了である。
【００３０】
音声・非音声区間検出３０２の処理手順を図４のフローチャートを用いて述べる。本処理では、パーソナルコンピュータ２３１内で行なわれる処理であり、マイクロホン２０１から収録された音を用いて音声と非音声に分類を行ない、音声と非音声とに分類した区間を求め、これを音声データベース（図１０）に格納する。開始４０１は音声・非音声区間検出の開始である。
【００３１】
音声取り込み４０２は、パーソナルコンピュータ２３１内で行なわれる処理であり、マイクロホン２０１から音を取り込む。また、音だけではなく、マイクロホンが持っている固有の情報があるならば、マイクＩＤ固有番号の情報として保存することが望ましく、データを管理している、カスタマイズ値データベース（図１４）に格納することが好ましい。
【００３２】
音声/非音声区間検出４０３は、パーソナルコンピュータ２３１内で行なわれる処理であり、音声取り込み４０２によって取り込まれた音を音声と非音声とに分類する。分類方法は、音を数10msec程度の短時間区間で切り取り、この短時間区間内のエネルギやゼロクロス数を求め、これを判定に用いる。この切り取った短時間区間を分析フレームと呼ぶ。エネルギとは分析フレーム内の値を二乗したものの和である。ゼロクロス数とは分析フレーム内で０地点を交差した数である。最後に、音声と非音声とを識別するための閾値を予め設定しておき、値が閾値より大きい値ならば音声、それ以下ならば非音声とする。
【００３３】
さらに、マイクロホンに収録される人物が特定されている場合には、その人物に適した閾値を用いた方が性能の向上が期待される。すなわち、カスタマイズ値データベース（図１４）にふくまれている該当するマイクＩＤの閾値であるエネルギ１４０５とゼロクロス１４０６を閾値として用いることが好ましい。また、感情認識や話者認識の場合も同様の理由で、その人物に適した係数があるならば、話者認識の場合には図１５の話者認識データベースのカスタマイズ値１５０４、感情認識の場合には図１６の感情認識データベースのカスタマイズ値１６０４に格納することが好ましい。また、この手法は、音から音声と非音声とを識別する処理の１例であり、その他の一般的に知られている手法を用いてもかまわない。
【００３４】
音声切り取り４０４は、パーソナルコンピュータ２３１内で行なわれる処理であり、１話者の１回の発話毎に発話を切り取る処理である。音声/非音声区間検出４０３では、音声・非音声判断を行なっているが、数10msec程度の短時間区間における判定である。よって、短時間区間の判定が連続して同じ結果であるかを分析し、連続して音声と判定されれば、その区間を発話と見なすことができる。
【００３５】
さらに、発話の区間の精度をより高めるために、検出した区間の長さによる判定も加えてもよい。なぜならば、通常、１発話は数秒以上の場合が多く、それ以下の区間はノイズなどの音声とは異なる音の場合が多いからである。
【００３６】
また、この手法は、音声と非音声と区間検出する処理の１例であり、その他の一般的に知られている手法を用いてもかまわない。さらに、区間を検出する際には、区間の開始時間と終了時間を求めておくことが好ましい。この区間検出の結果を基に音声区間と非音声区間共に切り出しを行なった後、それをパーソナルコンピュータ２３１内にあるメモリに保存する。
【００３７】
音声データベース書き込み４０５は、パーソナルコンピュータ２３１内で行なわれる処理であり、音声切り取り４０４で検出した区間を音声データベース（図１０）に出力する処理である。
【００３８】
記載する情報は、区間の開始時間１００２と終了時間１００３と、取り込んだマイクＩＤ１００４、音声・非音声分析における結果１００５、音声切り取り４０４で切り取った音声のファイル名１００６である。区間の開始時間１００２と終了時間１００３とは、切り取った時間と日付である。取り込んだマイクＩＤ１００４は、複数のマイクロホンが接続されており、その識別をするための番号である。音声・非音声分析における結果１００５は、音声切り取り４０４によって識別された結果であり、格納する値は音声と非音声である。
【００３９】
音声切り取り４０４で切り取った音声のファイル名を決める際に、音声切り取り４０４で区間検出の結果から音の切り出しを行ないメモリに保存したが、これをファイル化して保存する。保存する際のファイル名１００６はあとで検索しやすい様に検出した時間など、ユニークなものが好ましく、このファイル名で音声データベースに格納する。終了４０６は音声・非音声区間検出の終了である。
【００４０】
区間別音解析３０３の処理手順を図５のフローチャートを用いて述べる。本処理では、パーソナルコンピュータ２３１内で行なわれる処理であり、音声・非音声区間検出３０２によって出力した音声・非音声区間を用いて、その区間に含まれている音を解析する。開始５０１は区間別音解析の開始である。
【００４１】
音データベース読み込み５０２は、パーソナルコンピュータ２３１内で行なわれる処理であり、音の区間情報を得るために、音声データベース（図１０）からデータを読み出す処理である。
【００４２】
音声・非音声判定５０３は、パーソナルコンピュータ２３１内で行なわれる処理であり、音データベース読み込み５０２の含まれている区間が音声なのか非音声なのかの判定を行なう処理である。これは、音声か非音声により解析すべきものが異なるため、このようにした。音声データベース（図１０）から音声・非音声１００５を参照することにより、音声の場合には感情認識・話者認識・周辺音認識５０４、非音声の場合には終了５０６を選択する。
【００４３】
感情認識・話者認識５０４は、パーソナルコンピュータ２３１内で行なわれる処理であり、音声・非音声判定５０３で音声と判定されたものがこの処理を行なう。切り出した区間に対して、感情認識および話者認識を行なう。
【００４４】
分析方法として、はじめに、この区間の音を数10msec程度の短時間区間で切り取り、この短時間区間で特徴量を求める。特徴量の１つである声の高さ（基本周波数）の求め方として、１、フーリエ変換からパワースペクトルを求める、２、そのパワースペクトルの自己相関関数を行なう、３、自己相関関数のピークを求める、４、ピークの周期を求め、その周期の逆数を求める。これにより、音から声の高さ（基本周波数）を求めることが可能となる。基本周波数の求め方は、これだけでなく、その他の一般に知られている手法を用いることが可能である。特徴は、声の高さだけでなく、この他に、声と声との間、長音、笑い声、声の大きさ、声の速さなどから、雰囲気を検出するための特徴を検出し、雰囲気を特定付けるための特徴量とする。これらは１例であり、音声を分析した結果から、それを特徴量とすることができる。また、先ほど述べた特徴量を時間における変化量も特徴量として加えてもかまわない。さらに、特徴量は、その他の一般に知られている雰囲気の特徴を特徴量として用いてもかまわない。
【００４５】
次に、この特徴量を用いて感情認識を行なう。この感情認識では、判別分析を用いることにより、はじめに学習を行ない、予め明示されている音声データの特徴量から判別関数の係数を求める。この係数は、検出する感情毎で異なり、感情認識データベース（図１６）の係数１〜係数５（１６１０〜１６１３）である。この結果、５個の特徴量X1、X2、．．．X5として、学習で用いた５個の係数a1、a2、．．．a5から判別係数の式は、Z=a1X1+a2X2+．．．+a5X5である。これを感情毎に計算を行ない、一番小さいものがその感情とする。この手法は、感情を特定する際の１例であり、他の一般に知られている手法を用いることができ、例えば、ニューラルネットや多変量解析などの手法を用いてもかまわない。
【００４６】
さらに、話者認識も感情認識と同様な処理を用いてもかまわない。判別関数の係数として、話者認識データベース（図１５）を用いる。また、この手法は、話者を識別する処理の１例であり、他の一般に知られている手法を用いてもかまわない。
【００４７】
さらに、話者認識も感情認識によって識別できなかった場合には、他の音である可能性がある。その音が何であるかを知ることが望ましく、その１例として周辺音認識がある。これは切り出した区間対して、ブザーや音楽などの周囲の環境音の識別を行なう。識別手法として、感情認識・話者認識５０４と同様な処理を用いてもかまわない。また、この手法は、周囲の環境の音を識別する処理の１例であり、他の一般に知られている手法を用いてもかまわない。
【００４８】
音声データベース書き込み５０５は、パーソナルコンピュータ２３１内で行なわれる処理であり、感情認識・話者認識・周辺音認識５０４の結果を音声データベース（図１０）に出力する処理である。記載する情報として、該当する区間に対して、音声の場合には人物１００７と感情１００８、非音声の場合には周辺音１００９に格納する。終了５０６は音声・非音声区間検出の終了である。
【００４９】
センサ区間検出３０３の処理手順を図６のフローチャートを用いて述べる。本処理では、パーソナルコンピュータ２３１内で、音声・非音声区間検出３０２によって出力した音声・非音声区間情報を用いて、センサ２１１からセンシングした信号を同じ区間に切り取る処理である。このような処理を行なうことにより、音声区間と非音声区間における人物のセンシング状態を調べることができる。開始６０１はセンサ区間検出の開始である。
【００５０】
センサ取り込み６０２は、センサによって計測された信号を取り込むパーソナルコンピュータ２３１内で行なわれる処理であり、センサ２１１から信号を取り込む。また、信号だけではなく、センサが持っている固有の情報があるならばセンサＩＤ固有番号として保存すること望ましく、データを管理しているカスタマイズ値データベース（図１４）に格納することが好ましい。
【００５１】
音声データベース読み出し６０３は、パーソナルコンピュータ２３１内で行なわれる処理であり、音声・非音声区間を得るために、音声データベース（図１０）からデータを読み出す処理である。
【００５２】
センサ切り出し６０４は、パーソナルコンピュータ２３１内で行なわれる処理であり、センサ信号から区間を切り取るために、音声データベース読み出し６０３で読み出したデータから開始時間１００２と終了時間１００３を選択する。そして、開始時間１００２と終了時間１００３を用いて、センサの区間を求める。最後に、区間検出の結果を基にセンサ信号の切り出しを行ない、パーソナルコンピュータ２３１内にあるメモリに保存する。
【００５３】
センサデータベース書き込み６０５は、パーソナルコンピュータ２３１内で行なわれる処理であり、センサ切り出し６０４で検出した区間をセンサデータベース（図１１）に出力する処理である。記載する情報は、区間の開始時間１１０２と終了時間１１０３と、センサ区間検出５０４で切り取ったセンサのファイル名１１０４である。区間の開始時間１１０２と終了時間１１０３とは、切り取った時間と日付である。センサ切り出し６０４で切り取った音声のファイル名を決める際に、センサ切り出し６０４で区間検出の結果からセンサ信号の切り出しを行ないメモリに保存したが、これをファイル化して保存する。
【００５４】
さらに、センサ切り出し６０４でセンサ信号以外の情報が保存された場合には、センサ信号と同じように保存することが望ましい。保存する際のファイル名１１０４はあとで検索しやすい様にユニークなものが望ましい。そこで決定したファイル名を音声データベースに格納する。終了６０６は音声・センサ区間検出の終了である。
【００５５】
区間別センサ解析３０５の処理手順を図７のフローチャートを用いて述べる。本処理は、パーソナルコンピュータ２３１内で、センサ区間検出３０４によって切り出した信号を解析する処理である。このような処理を行なうことにより、音声と非音声区間における人物からセンシングした信号を解析することができる。開始７０１は区間別センサ解析の開始である。
【００５６】
センサデータベース読み出し７０２は、パーソナルコンピュータ２３１内で行なわれる処理であり、区間別のセンサ情報を得るために、センサデータベース（図１１）からデータを読み出す処理である。
【００５７】
特徴抽出７０３は、パーソナルコンピュータ２３１内で行なわれる処理であり、区間別のセンサ情報からその区間の特徴を抽出する処理である。特徴としては、センサ毎に、区間内の信号の平均、分散、標準偏差を求めた。また、この手法は特徴抽出の１例であり、その他の一般的に知られている手法を用いてもかまわない。
【００５８】
センサデータベース書き込み７０４は、パーソナルコンピュータ２３１内で行なわれる処理であり、特徴抽出７０３で抽出した特徴をセンサデータベース（図１１）に出力する処理である。センサデータベース（図１１）に格納する情報として、該当する区間の平均１１０６、分散１１０７、標準偏差１１０８である。終了７０５は区間別センサ解析の終了である。
【００５９】
関心度判定３０６の処理手順を図８のフローチャートを用いて述べる。本処理では、パーソナルコンピュータ２３１内で、区間別音解析３０３と区間別センサ解析３０５によって解析された区間毎の特徴から関心度を求める処理である。このような処理を行なうことにより、音声と非音声区間における人物からセンシングした信号を解析することができ、さらに、区間間の差を求めることができる。
【００６０】
この処理では、音声と非音声区間の特徴の相関から関心度を求める。さらに、センサ毎に求めるセンサ別関心度とマイクロホン毎に求めるマイク別関心度を求めた。この２つに分けた理由は、センサ別関心度からは参加者の誰が会議に関心持っているかを、マイク別関心度からはどの発話が多くの人が関心を持たれた発話であるかを求めるためである。開始８０１は関心度判定の開始である。
【００６１】
音データベース読み込みセンサデータベース読み出し８０２は、パーソナルコンピュータ２３１内で行なわれる処理であり、区間別の音情報とセンサ情報を得るために、音データベース（図１０）とセンサデータベース（図１１）からデータを読み出す処理である。
【００６２】
センサ別関心度抽出８０３は、パーソナルコンピュータ２３１内で行なわれる処理であり、区間内のセンサ毎に関心度を求める処理である。センサの近くにいる人間が音声と非音声区間との間で特徴の差を求め、その差が大きいほど、会議に関心持っているとした。この理由は、重要な発話の場合には何かしらアクションが行なわれるため、アクションの差が大きいからである。
【００６３】
関心度は、音声と判定された区間に対して行なう。そして、分析に用いる情報は、分析する区間とその前後の区間の３区間の情報である。はじめに、センサ毎に音声と非音声区間にわけ、正規化を行なう。
【００６４】
計算式は、正規化した音声区間の特徴=音声区間の特徴/(音声区間の特徴+非音声区間の特徴)と、正規化した非音声区間の特徴=非音声区間の特徴/(音声区間の特徴+非音声区間の特徴)である。正規化した理由は、差の最大値を１とすることにより、センサ毎にバラバラな値の影響を少なくするためである。
【００６５】
例えば、センサＩＤＮＯ．１（１１０５）を用いた場合では、正規化した音声区間における特徴（平均）は３．２／（３．２＋１．２）＝０．７３、正規化した非音声区間における特徴（平均）は１．２／（３．２＋１．２）＝０．２７、正規化した音声区間における特徴（分散）は４．３／（４．３＋３．１）＝０．５８、正規化した非音声区間における特徴（分散）は３．１／（４．３＋３．１）＝０．４２、正規化した音声区間における特徴（標準偏差）は０．２／（０．２＋０．８）＝０．２、正規化した非音声区間における特徴（標準偏差）は０．９／（０．２＋０．８）＝０．８となる。
【００６６】
次に、関心度の計算で求める。計算式を数式１に示す。センサの係数とは、センサが用いている人が特定できるならば、その人にカスタマイズされた関心度を求めるために導入するものである。この関心度は、値の範囲が０〜１である。また、求めた値が１に近いほど、関心が高いことを示している。センサ別の関心度が求まればよく、他の手法を用いてもかまわない。
【００６７】
【数１】
2007218933.tif 000003
【００６８】
センサの係数とは、通常は１であるが、センサが用いている人が特定できれば、その人に相応しい係数を導入することにより、その人物に適した係数を用いた方が性能の向上が期待される。すなわち、カスタマイズ値データベース（図１４）に含まれている該当するセンサＩＤの係数である係数（平均）１４１０、係数（分散）１４１１、係数（標準偏差）１４１２を係数として用いることが好ましい。例えば、センサＩＤ１（１１０５）を用いた場合では、カスタマイズ値データベース（図１４）のセンサＩＤＮＯ．１（１４０７）の係数を用い、センサＩＤＮＯ．１の関心度は、数式２のようになる。また、この手法では、センサから関心度を特定する際の１例であり、公知で知られている手法を用いてもかまわない。
【００６９】
【数２】
2007218933.tif 000004
【００７０】
マイク別関心度抽出８０４は、パーソナルコンピュータ２３１内で行なわれる処理であり、区間内のマイク毎に関心度を求める処理である。マイクロホンで収録されている音声の区間の前後の間で特徴の差を求め、その差が大きいほど、その発話に関心がもたれたことがわかる。
【００７１】
計算方法は、センサ別関心度抽出８０３で求めたセンサ毎の関心度の平均を求め、該当するマイクＩＤにその平均である。計算式を数式３に示す。また、この手法はセンサから関心度を特定する際の１例であり、その他の一般的に知られている手法を用いてもかまわない。
【００７２】
【数３】
2007218933.tif 000005
【００７３】
関心度データベース書き込み８０５は、パーソナルコンピュータ２３１内で行なわれる処理であり、センサ別関心度抽出によって求められた情報は関心度データベース（センサ）（図１２）、マイク別関心度抽出によって求められた情報は関心度データベース（マイク）（図１３）に格納する。
【００７４】
関心度データベース（センサ）（図１２）の場合には、区間内のセンサ毎に関心度を格納する。さらに、音データベース読み込みセンサデータベース読み出し８０２で、センサ毎に人物情報が含まれている場合には、その情報を人物情報１２０６に記録しておく。
【００７５】
関心度データベース（マイク）（図１３）の場合には、区間内で検知されたマイクロホンに対して、関心度を格納する。また、音データベース読み込みセンサデータベース読み出し８０２で、マイクロホン毎に音声・非音声、人物、感情、周辺音情報が含まれている場合は、その情報を音声・非音声１３０４、人物１３０６、感情１３０７、周辺音情報１３０８に記録しておく。終了８０６は関心度判定の終了である。
【００７６】
表示３０７の処理手順を図９のフローチャートを用いて述べる。本処理では、パーソナルコンピュータ２３１内で、関心度分析３０６によって出力した関心度を用いた画面を作成する処理を行なう。このような処理を行なうことにより、ユーザに使い勝手を向上させることができる。本処理では、関心度に人間と時間を組み合わせることにより、よりわかりやすい図の作成を目指す。開始９０１は表示の開始である。
【００７７】
関心度データベース読み出し９０２は、パーソナルコンピュータ２３１内で行なわれる処理であり、関心度データベース（センサ、マイク）（図１２、図１３）からデータを読み出す処理である。
【００７８】
データ加工９０３は、パーソナルコンピュータ２３１内で行なわれる処理であり、関心度データベース（センサ、マイク）（図１２、図１３）からデータから必要な情報に加工する処理である。加工する際に、時間による範囲、人物の特定などを予め決めておくことにより、どの時間に一番関心がもたれたのか、また、誰の発話に関心がもたれたのかを表わすことができる。
【００７９】
時間による加工を行なう場合には、開始時間と終了時間を指定する必要がある。リアルタイムの場合には、現在から数秒間と指定する。また、人物による加工を行なう場合には、人物を指定しておく必要がある。さらに、時間や人物だけでなく、場所やチーム名など、有益な情報を得ることができるならばそれを用いてもかまわない。
【００８０】
画面を表示する際に必要な情報を得るために加工を行なう。例えば、図１７は、会議室で行なわれた会議において、参加者の時間毎の関心度の変化を示したものである。これは、図１２の関心度データベース（センサ）から求めることができる。
【００８１】
求め方として、参加者であるＡ〜Ｅ（１７０１〜１７０５）は、１、指定した時間をさらに短時間に分割、２、短時間内で、センサＩＤに含まれている人物における関心度の和を計算、３、正規化を行なうため、加算した回数で割る。このようにすることにより、短時間における関心度が求められる。
【００８２】
また、全体１７０６の場合には、ユーザ毎の関心度の和である。図１７では、参加者の関心度の軸を決める必要があるが、本特許では正規化を行なっており、範囲は０〜１である。よって、この中心である０．５を関心度の軸の値とする。このようにすることにより、参加者が会議に対してどのくらい関心を持っているかを示すことができる。
【００８３】
さらに、図１８では、参加者が関心度を表示することにより、時系列における関心度の変化を示している。すなわち、会議中にどのくらい有益な発話が行なわれたかを示している。図１８では、これに関心度が高い部分だけを切り出すとこにより、どのくらい有益な会議をしたかを示すことができる。さらに、関心度の高い部分の音声のみを再生して聴取することも可能である。これは、図１３の関心度データベース（マイク）から求めることができる。
【００８４】
関心度１８０１の求め方は、１、指定した時間をさらに短時間に分類、３、短時間内、マイクＩＤに含まれている関心度の和を計算、３、正規化を行なうため、加算した回数で割る。このようにすることにより、会議における関心度の変化を示すことができ、有益な発話が含まれている会議をどのくらい行なったのかを示すことができる。また、求めた値が１に近いほど、関心が高いことを示している。さらに、色指定１８０２においては、１に近いほど、黒色を選択する。
【００８５】
さらに、図２の関心度分析の利用イメージにおける、会議ビューア２４１では、どの参加者が有益な発話を行なったかを示した図である。参加者Ａ〜Ｅは人物であり、その円は関心度の高い発話を示し、円をつなぐ線は次に話した人物を示している。円が大きいほど、有益な発話を行なっている、また、線が太いほど次に発話している回数が多いことを示している。
【００８６】
この求め方は、図１３の関心度データベース（マイク）から求めることができる。求め方は、円は指定した時間内に対して、マイクＩＤに含まれている関心度の和であり、線は、発話区間の前後の人物の関係は、発話の順序をトレースすることにより求める。これにより、だれが多くの人が関心を持った、有益な発話を行なっているかを示すことができる。終了９０５は表示の終了である。
【００８７】
音声・非音声区間検出３０２で音から音声・非音声分析を行ない、その際に出力されるデータをデータベースとして管理することが望ましく、これを音声データベースという。音声データベースの１例を図１０に示す。
【００８８】
図１０の音声データベースの構成について以下に示す。ＩＤ（１００１）は固有の番号を示すＩＤである。センサデータベース（図１１）の同じ区間と同ＩＤにすることが望ましい。開始時間１００２は音声・非音声区間検出３０２から出力された区間における開始時間である。終了時間１００３は音声・非音声区間検出３０２から出力された区間における終了時間である。開始時間１００２と終了時間９０３は日付と時間が格納される。マイクＩＤ１００４は音収録に用いたマイクの固有ＩＤである。音声・非音声１００５は音声・非音声区間検出３０２で判定された結果を格納する。保存ファイル１００６は音声・非音声区間検出３０２で判定された区間を基に、音を切り取り、それをファイルとして格納してあるものであり、後で参照しやすくするためにファイル名を格納する。人物１００７は感情認識・話者認識５０４で行なった話者認識の結果を格納する。感情１００８は感情認識・話者認識５０４で行なった感情認識の結果を格納する。また、環境音１００９は周辺音認識５０５の識別結果を格納する。
【００８９】
センサ区間検出３０４では、音声・非音声区間検出３０２によって検出された区間を用いて、センサ信号の区間を検出を行なう際に、出力されるデータをデータベースとして管理することが望ましく、これをセンサデータベースという。センサデータベースの１例を図１１に示す。
【００９０】
図１１のセンサデータベースの構成について以下に示す。ＩＤ（１１０１）は固有の番号を示すＩＤである。音声データベース（図１０）の同じ区間と同ＩＤにすることが望ましい。開始時間１１０２はセンサ区間検出３０４から出力された区間における、開始時間である。終了時間１１０３はセンサ区間検出３０４から出力された区間における、終了時間である。開始時間１１０２と終了時間１１０３は日付と時間が格納される。保存ファイル１１０４はセンサ区間検出３０４で判定された区間を基に、信号を切り取り、それをファイルとして格納してあるものであり、後で参照しやすくするために、ファイル名を格納する。センサＩＤ（１１０５）はセンシングに用いたセンサの固有ＩＤである。平均１００６は特徴抽出７０３で行なった区間内の平均を格納する。分散１００７は特徴抽出７０３で行なった区間内の分散を格納する。また、標準偏差１００８は特徴抽出７０３で行なった区間内の標準偏差を格納する。
【００９１】
関心度を求める際に、出力されるデータベースを管理することが好ましく、これを関心度データベースという。関心度データベースは、マイク・センサ毎に求めることが望ましく、センサ毎に示した関心度データベースの１例を図１２に示す。
【００９２】
図１２のセンサ毎に示した関心度データベースの構成について以下に示す。ＩＤ（１２０１）は固有の番号を示すＩＤである。同じ区間の場合に、ＩＤ（１２０１）は関心度データベース（図１３）のＩＤ（１３０１）と音声データベース（図１０）のＩＤ（１００１）とセンサデータベース（図１１）のＩＤ（１１０１）と同ＩＤにすることが望ましい。開始時間１２０２はセンサ別関心度抽出８０３で求めた開始時間を格納する。終了時間１２０３はセンサ別関心度抽出８０３で求めた終了時間を格納する。音声・非音声１２０４はセンサ別関心度抽出８０３で求めた分析結果を格納する。センサＩＤＮＯ．１（１２０５）はセンサＩＤがＮＯ．１であるセンサの分析結果を格納する。その値として、人物１２０６と関心度１２０７があり、これらはセンサ別関心度抽出８０３で求めた人物と関心度を格納する。
【００９３】
また、マイク毎に示した関心度データベースの１例を図１３に示す。図１３のマイク毎に示した関心度データベースの構成について以下に示す。ＩＤ（１３０１）は固有の番号を示すＩＤである。同じ区間の場合に、ＩＤ（１３０１）は関心度データベース（図１２）のＩＤ（１２０１）と音声データベース（図１０）のＩＤ（１００１）とセンサデータベース（図１１）のＩＤ（１１０１）と同ＩＤにすることが望ましい。開始時間１３０２はマイク別関心度抽出８０４で求めた開始時間を格納する。終了時間１３０３はマイク別関心度抽出８０４で求めた終了時間を格納する。音声・非音声１３０４はマイク別関心度抽出８０４で求めた分析結果を格納する。マイクＩＤＮＯ．１（１３０５）はマイクＩＤがＮＯ．１である音の分析結果を格納する。その値として、人物１３０６、感情１３０７、関心度１３０８、周辺音１３０９があり、これらはマイク別関心度抽出８０４で求めた人物、感情、関心度、周辺音を格納する。
【００９４】
音声・非音声区間検出３０２や関心度判定３０６では、音やセンサの信号を解析を行なっているが、これらの解析の制度を向上するためには、解析される人物にあった情報も追加させることが望ましい。そこで、マイクロホンやセンサの利用する人が決まっているならば、その人に特化した情報を記載されているデータベースを使用することが望ましい。個人の特徴を格納されているデータベースをカスタマイズ値データベースといい、このデータベースの１例を図１４に示す。
【００９５】
ＩＤ（１４０１）はマイクＩＤとセンサＩＤの名前を格納する。マイクＩＤの場合にはマイクＩＤＮＯ．１(１４０２)、センサＩＤの場合にはセンサＩＤＮＯ．１（１４０７）などである。マイクＩＤＮＯ．１(１４０２)では、マイクが設置してある場合には設置場所１４０３、特定の人物のみが使用する場合には人物１４０４、その場所や人物にカスタマイズするための閾値を用いる場合には、閾値（エネルギ）１４０５と閾値（ゼロクロス）１４０６に値を格納する。また、センサＩＤＮＯ．１（１４０７）も同様に、センサが設置してある場合には設置場所１４０８、特定の人物のみが使用する場合には人物１４０９、その場所や人物にカスタマイズするための係数を用いる場合には、係数（平均）１４１０、係数（分散）１４１１、係数（標準偏差）１４１２に値を格納する。
【００９６】
区間別音解析３０３では、音声・非音声区間検出３０２によって切り出した音を解析する処理である。特に、音声から人物の状態を把握するためには、その状態を表わす係数や特徴量が記載されているデータベースが必要であり、これを管理することが望ましい。話者認識に必要な係数や特徴量が記載されているデータベースを話者認識データベース、感情認識に必要な係数や特徴量が記載されているデータベースを感情認識データベースといい、話者認識データベースの１例を図１５、感情認識データベースの１例を図１６に示す。
【００９７】
はじめに、話者認識データベースの１例（図１５）について述べる。項目１５０１は、識別する項目であり、その項目は、男性・女性の識別を示すもの（男性１５０２、女性１５０５）や、個人を識別示すもの（山田太郎１５０６、山田花子１５０７）である。また、これだけではなく、例えば年齢など、識別したい場合には、それも用いてもかまわない。項目に含まれる値として、標準値１５０３とカスタマイズ値１５０４の２つの値に分類する。標準値１５０３は一般の値であり、予めパーソナルコンピュータ２３１に記載されているものである。カスタマイズ値１５０４は個人に適応した値であり、センサ２１１などからセンサ信号と共に送られ、話者認識データベース（図１５）に格納する。さらに、各項目は、数個の係数から構成されており、それを話者認識データベース（図１５）では、係数１〜係数５（１５０８〜１５１２）で示している。
【００９８】
次に、図１６について述べる。項目１６０１は、識別する項目であり、その項目は、男性・女性の識別を示すもの（男性１６０２、女性１６０８）や、個人を識別示すもの（山田太郎１６０９）である。項目１６０１では、人物の感情をしめすものであればよく、図１５の項目１５０１の様に、年代による感情を示すものもあってもかまわない。項目に含まれる値として、感情（怒り１６０２、平静１６０５、笑い１６０６、悲しみ１６０７）がある。また、これだけではなく、他の感情を識別したい場合には、それも用いてもかまわない。そして、各値に対して、標準値１６０３とカスタマイズ値１６０４の２つの値に分類する。カスタマイズ値１６０４は個人に適応した値であり、センサ２１１などから信号と共に送られ、感情認識データベース（図１６）に格納する。さらに、各項目は、数個の係数から構成されており、それを感情認識データベース（図１６）では、係数１〜係数５（１６０９〜１６１２）で示している。
【００９９】
以上説明したように、実施形態は、マイクロホンとセンサからの信号から相関を求めることにより、参加者が話している内容についてどのくらい関心を持っているのかを分析し、その結果を図示することによって、会議における参加者の活動の把握、及び、その場にいない人間に対して会議の状況の把握、また、これらを保存することにより後のログ解析に用いることができる。
【０１００】
さらに、区間を求められる信号をしてマイクロホンから取得できる音を用いたが、区間が求められるならば、カメラから取得できる映像など、他のものを用いてもかまわない。
【０１０１】
さらに、実施例では、センサによって取得できる信号であれば、分析に用いることができるため、重力センサ、加速度センサの他に、ｐＨ及び導電率センサ、ＲＦＩＤセンサ、ガスセンサ、トルクセンサ、マイクロセンサ、モーションセンサ、レーザーセンサ、圧力センサ、位置センサ、液体及びかさレベルセンサ、温度センサ、温度センサ、サーミスター、気象用センサ、近接センサ、傾斜センサ、光センサ、光学センサ、光電センサ、酸素センサ、紫外線センサ、磁気センサ、湿度センサ、色センサ、振動センサ、赤外線センサ、電流及び電圧センサ、流量センサなど、他のものを用いてもかまわない。
【図面の簡単な説明】
【０１０２】
【図１】本発明の会話音声分析の概略図である。
【図２】本発明の会話音声分析の利用イメージである。
【図３】実施例で用いる会話音声分析のフローチャートである。
【図４】音声・非音声区間検出処理とそのフローチャートである。
【図５】区間別音解析処理とそのフローチャートである。
【図６】センサ区間検出処理とそのフローチャートである。
【図７】区間別センサ解析処理とそのフローチャートである。
【図８】関心度判定処理とそのフローチャートである。
【図９】表示処理とそのフローチャートである。
【図１０】区間別に音情報が格納されている音声データベースである。
【図１１】区間別にセンサ情報が格納されているセンサデータベースである。
【図１２】センサ別に関心度が格納されている関心度データベース（センサ）である。
【図１３】マイク別に関心度か格納されている関心度データベース（マイク）である。
【図１４】個人の特性を格納されているカスタマイズ値データベースである。
【図１５】話者認識に用いるデータベースである。
【図１６】感情認識に用いるデータベースである。
【図１７】会議における時間別人物の関心度合いの可視化である。
【図１８】会議における時間別有益な発話の可視化を示したものである。
【符号の説明】
【０１０３】
２０１：マイクロホン、２１１：センサ、２２１：基地局、２３１：パーソナルコンピュータ。
【図１】
2007218933.tif 000006
【図２】
2007218933.tif 000007
【図３】
2007218933.tif 000008
【図４】
2007218933.tif 000009
【図５】
2007218933.tif 000010
【図６】
2007218933.tif 000011
【図７】
2007218933.tif 000012
【図８】
2007218933.tif 000013
【図９】
2007218933.tif 000014
【図１０】
2007218933.tif 000015
【図１１】
2007218933.tif 000016
【図１２】
2007218933.tif 000017
【図１３】
2007218933.tif 000018
【図１４】
2007218933.tif 000019
【図１５】
2007218933.tif 000020
【図１６】
2007218933.tif 000021
【図１７】
2007218933.tif 000022
【図１８】
2007218933.tif 000023