(57)【要約】【課題】評価者の能力に依存せずに、精度高くオペレータの発話内容を自動的に評価する。【解決手段】各々の単語に対して、全ての発話内容のサンプルにわたり、重み付け平均頻度と、平均頻度標準偏差による正規分布の評価式とサンプルのスコアの差分を最小にする値を、出現頻度スコア係数とし、各々の単語に対して、全ての発話内容のサンプルにわたり、重み付け相対出現位置と、出現位置標準偏差による正規分布の評価式とサンプルのスコアの差分を最小にする値を、出現位置スコア係数として計算し、評価する発話内容の各々の単語に対して、出現頻度スコア係数をかけた正規分布評価式の出現頻度の評価値と、出現位置スコア係数をかけた正規分布評価式の出現位置の評価値とを求め、評価する発話内容の単語に対して総和をとって、発話内容の評価値とする。【選択図】  図５
2017054307.tif 000002
【特許請求の範囲】
【請求項１】
各々スコア付けされた一つ以上の発話内容のサンプルに基づき、発話内容を評価する発話内容評価システムであって、
前記発話内容のサンプルの各々の単語の出現頻度と、前記発話内容のサンプルの各々の単語の相対出現位置とを計算し、
各々の単語に対して、前記発話内容のスコアにより重み付けられた出現頻度の重み付け平均頻度と、前記発話内容のスコアにより重み付けられた出現頻度の平均頻度標準偏差とを計算し、
各々の単語に対して、前記発話内容のスコアにより重み付けられた相対出現位置の重み付け平均出現位置と、前記発話内容のスコアにより重み付けられた相対出現位置の出現位置標準偏差とを計算し、
各々の単語に対して、全ての発話内容のサンプルにわたり、前記重み付け平均頻度と、前記平均頻度標準偏差による正規分布の評価式と前記サンプルのスコアの差分を最小にする値を、出現頻度スコア係数として計算し、
各々の単語に対して、全ての発話内容のサンプルにわたり、前記重み付け相対出現位置と、前記出現位置標準偏差による正規分布の評価式と前記サンプルのスコアの差分を最小にする値を、出現位置スコア係数として計算し、
前記評価する発話内容の各々の単語に対して、前記出現頻度スコア係数をかけた前記重み付け平均頻度と、前記平均頻度標準偏差による正規分布の評価式を、評価時の出現頻度の評価式として、その単語に対する出現頻度の評価値を求め、
前記評価する発話内容の各々の単語に対して、前記出現位置スコア係数をかけた前記重み付け平均出現位置と、前記出現位置標準偏差による正規分布の評価式を、評価時の出現位置の評価式として、その単語に対する出現位置の評価値を求め、
前記評価する発話内容の各々の単語にわたり、前記出現頻度の評価値と、前記出現位置の評価値の総和をとって、前記評価する発話内容の評価値とすることを特徴とする発話内容評価システム。
【請求項２】
無意味単語を格納する無意味単語テーブルを保持し、前記発話内容のサンプルの各々の単語の出現頻度とを計算するにあたり、前記無意味単語テーブルに格納された無意味単語を除外することを特徴とする請求項１記載の発話内容評価システム。
【請求項３】
同一カテゴリの単語を定義するユーザ定義カテゴリテーブルを保持し、
前記発話内容のサンプルの各々の単語の出現頻度とを計算するにあたり、前記ユーザ定義カテゴリテーブルにより同一のカテゴリと定義されている複数の単語に対しては、一つの単語としてまとめて頻度を計算することを特徴とする請求項１記載の発話内容評価システム。
【請求項４】
各々スコア付けされた一つ以上の発話内容のサンプルに基づき、発話内容を評価する発話内容評価方法であって、
前記発話内容のサンプルの各々の単語の出現頻度と、前記発話内容のサンプルの各々の単語の相対出現位置とを計算するステップと、
各々の単語に対して、前記発話内容のスコアにより重み付けられた出現頻度の重み付け平均頻度と、前記発話内容のスコアにより重み付けられた出現頻度の平均頻度標準偏差とを計算するステップと、
各々の単語に対して、前記発話内容のスコアにより重み付けられた相対出現位置の重み付け平均出現位置と、前記発話内容のスコアにより重み付けられた相対出現位置の出現位置標準偏差とを計算するステップと、
各々の単語に対して、全ての発話内容のサンプルにわたり、前記重み付け平均頻度と、前記平均頻度標準偏差による正規分布の評価式と前記サンプルのスコアの差分を最小にする値を、出現頻度スコア係数として計算するステップと、
各々の単語に対して、全ての発話内容のサンプルにわたり、前記重み付け相対出現位置と、前記出現位置標準偏差による正規分布の評価式と前記サンプルのスコアの差分を最小にする値を、出現位置スコア係数として計算するステップと、
前記評価する発話内容の各々の単語に対して、前記出現頻度スコア係数をかけた前記重み付け平均頻度と、前記平均頻度標準偏差による正規分布の評価式を、評価時の出現頻度の評価式として、その単語に対する出現頻度の評価値を求めるステップと、
前記評価する発話内容の各々の単語に対して、前記出現位置スコア係数をかけた前記重み付け平均出現位置と、前記出現位置標準偏差による正規分布の評価式を、評価時の出現位置の評価式として、その単語に対する出現位置の評価値を求めるステップと、
前記評価する発話内容の各々の単語にわたり、前記出現頻度の評価値と、前記出現位置の評価値の総和をとって、前記評価する発話内容の評価値とするステップとを有することを特徴とする発話内容評価方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発話内容評価システム、及び、発話内容評価方法に係り、特に、コールセンターにおけるオペレータの応対を評価して応対スキルを診断する用途に好適な発話内容評価システム、及び、発話内容評価方法に関する。
【背景技術】
【０００２】
コールセンターは、企業において顧客への電話対応業務を専門に行う事業所・部門である。コールセンターには、一般消費者向けの通信販売・サービス業・製造業を行う企業が、苦情・各種問い合わせ・注文を受け付けるものや、コンピュータ操作など機器の操作を電話により教えるものなどがある。
【０００３】
そして、いずれの場合でも、コールセンターのオペレータの応答は、顧客に対する企業イメージ、顧客満足になどに大きな影響を与えるため、企業サイドとしては、質の高いオペレータを確保することが重要になる。
【０００４】
従来、このようなコールセンターによるオペレータの応対の評価は人手によって行われていた。しかし、多量の発話を評価するには多大なコストを要するために評価の対象が限定されることと、評価者の先入観等により評価が主観的になりやすいことから、評価の精度を上げることが困難であった。この課題に対し特許文献１では、情報処理装置を用いて、音声認識を利用して自動的に発話内容を評価する技術が提案されている。特許文献１の「電話応答診断装置」では、オペレータの電話応答を音声認識して、テキスト化し、そのテキストを項目ごとにグループ化した後に、表現パターンとマッチングさせることにより、発話者（クリエータ）の電話応答を評価している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３１８１０１号公報
【特許文献２】特開平１−１５６８６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１に記載された技術のように、コールセンターにおけるオペレータの応対を評価する際、コストを削減するために音声認識を利用して自動的に発話内容を評価することが可能である。しかしながら、従来技術の特許文献１では、評価方法としては決められた単語を用いたパターンとマッチングするか否かを判定することになるため、予め評価者が評価基準を作成する必要があり完全な自動評価ではない。また、評価基準の作成時に評価者の主観が含まれる余地があり、客観的な評価とは言い難いことと評価精度が評価者の能力に依存するという問題点があった。
【０００７】
本発明は、上記問題点を解決するためになされたもので、その目的は、複数の評価済みでスコアをつけられた発話内容との差異を評価することより、評価者の能力に依存せずに、精度が高くオペレータの発話内容を自動的に評価することができる発話内容評価システムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の発話内容評価システムは、各々スコア付けされた一つ以上の発話内容のサンプルに基づき、発話内容を評価する発話内容評価システムであって、発話内容のサンプルの各々の単語の出現頻度と、発話内容のサンプルの各々の単語の相対出現位置とを計算し、各々の単語に対して、発話内容のスコアにより重み付けられた出現頻度の重み付け平均頻度と、発話内容のスコアにより重み付けられた出現頻度の平均頻度標準偏差とを計算する。
【０００９】
次に、各々の単語に対して、発話内容のスコアにより重み付けられた相対出現位置の重み付け平均出現位置と、発話内容のスコアにより重み付けられた相対出現位置の出現位置標準偏差とを計算し、各々の単語に対して、全ての発話内容のサンプルにわたり、重み付け平均頻度と、平均頻度標準偏差による正規分布の評価式とサンプルのスコアの差分を最小にする値を、出現頻度スコア係数として計算する。そして、各々の単語に対して、全ての発話内容のサンプルにわたり、重み付け相対出現位置と、出現位置標準偏差による正規分布の評価式とサンプルのスコアの差分を最小にする値を、出現位置スコア係数として計算し、評価する発話内容の各々の単語に対して、出現頻度スコア係数をかけた重み付け平均頻度と、平均頻度標準偏差による正規分布の評価式を、評価時の出現頻度の評価式として、その単語に対する出現頻度の評価値を求める。発話内容の評価時には、評価する発話内容の各々の単語に対して、出現位置スコア係数をかけた重み付け平均出現位置と、出現位置標準偏差による正規分布の評価式を、評価時の出現位置の評価式として、その単語に対する出現位置の評価値を求め、評価する発話内容の各々の単語にわたり、出現頻度の評価値と、出現位置の評価値の総和をとって、評価する発話内容の評価値とする。
【発明の効果】
【００１０】
本発明によれば、複数の評価済みでスコアをつけられた発話内容との差異を評価することより、評価者の能力に依存せずに、精度高くオペレータの発話内容を自動的に評価することができる発話内容評価システムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る発話内容評価システムのブロック図である。
【図２】本発明の一実施形態に係る発話内容評価システムのハードウェア構成図である。
【図３】過去発話内容蓄積部と評価基準生成部の詳細な機能ブロック図である。
【図４】発話内容評価部の詳細な機能ブロック図である。
【図５】発話内容評価基準の生成と、それに基づく発話内容の評価の概要を説明する図である。
【図６Ａ】発話内容Ａの内容を示す図である。
【図６Ｂ】発話内容Ｂの内容を示す図である。
【図６Ｃ】発話内容Ｃの内容を示す図である。
【図７】各発話のスコアを示すスコアテーブルの一例を示す図である。
【図８】正規化頻度計算、相対位置計算までの処理を示すフローチャートである。
【図９】評価式の生成までの処理を示すフローチャートである。
【図１０Ａ】発話内容Ａの頻度テーブルを示す図である。
【図１０Ｂ】発話内容Ｂの頻度テーブルを示す図である。
【図１０Ｃ】発話内容Ｃの頻度テーブルを示す図である。
【図１１】ユーザ定義カテゴリテーブルの一例を示す図である。
【図１２】無意味単語テーブルの一例を示す図である。
【図１３】各発話者の総文字数テーブルの一例を示す図である。
【図１４Ａ】無意味単語除去後の発話内容Ａの正規化頻度テーブルである。
【図１４Ｂ】無意味単語除去後の発話内容Ｂの正規化頻度テーブルである。
【図１４Ｃ】無意味単語除去後の発話内容Ｃの正規化頻度テーブルである。
【図１５Ａ】無意味単語除去後の発話内容Ａの相対出現位置テーブルである。
【図１５Ｂ】無意味単語除去後の発話内容Ｂの相対出現位置テーブルである。
【図１５Ｃ】無意味単語除去後の発話内容Ｃの相対出現位置テーブルである。
【図１６Ａ】無意味、低頻度単語除去後の重み付け平均頻度テーブルの一例を示す図である。
【図１６Ｂ】無意味、低頻度単語除去後の重み付け相対出現位置テーブルである。
【図１７Ａ】無意味、低頻度単語除去後の平均頻度標準偏差テーブルの一例を示す図である。
【図１７Ｂ】無意味、低頻度単語除去後の出現位置標準偏差テーブルの一例を示すである
【図１８Ａ】出現頻度スコア係数テーブルの一例を示す図である。
【図１８Ｂ】出現位置スコア係数テーブルの一例を示す図である。
【図１９】生成された評価式により、発話内容Ｘを評価する処理を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明に係る一実施形態を、図１ないし図１８Ｂを用いて説明する。
【００１３】
先ず、図１ないし図４を用いて本発明の一実施形態に係る発話内容評価システムの構成について説明する。図１は、本発明の一実施形態に係る発話内容評価システムのブロック図である。図２は、本発明の一実施形態に係る発話内容評価システムのハードウェア構成図である。図３は、過去発話内容蓄積部と評価基準生成部の詳細な機能ブロック図である。図４は、発話内容評価部の詳細な機能ブロック図である。
【００１４】
本実施形態の発話内容評価システムは、図１に示されるように、音声認識部１０１、評価基準生成部１０２、発話内容評価部１０３、評価結果格納部１０４、過去発話内容蓄積部１０５からなる。
【００１５】
音声認識部１０１は、評価対象の発話データをテキストデータに変換し、発話内容１０６として発話内容評価部１０３に送信する。  
評価基準生成部１０２は、過去発話内容蓄積部１０５に蓄積された発話内容と対応するスコアを、それぞれ過去発話内容１０８と過去発話スコア１０９として受信し、評価基準を自動生成し、生成評価基準１０７として発話内容評価部１０３に送信する。
【００１６】
発話内容評価部１０３は、評価基準生成部１０２から受信した生成評価基準１０７に基づき、発話のスコアを計算し、発話内容評価結果１１０として評価結果格納部１０４に送信する。  
評価結果格納部１０４は、発話内容評価部１０３から受信した発話内容評価結果１１０を格納する。
【００１７】
過去発話内容蓄積部１０５は、発話内容と対応するスコアを過去発話内容として格納する。
【００１８】
次に、図２を用いて本実施形態の発話内容評価システムのハードウェア構成について説明する。  
発話内容評価システムのハードウェア構成としては、例えば、図２に示されるような一般的な情報処理装置４００で実現される。  
情報処理装置４００は、ＣＰＵ（Central Processing Unit）４０２、主記憶装置４０４、ネットワークＩ／Ｆ４０６、表示Ｉ／Ｆ４０８、入出力Ｉ／Ｆ４１０、補助記憶Ｉ／Ｆ４１２が、バスにより結合された形態になっている。
【００１９】
ＣＰＵ４０２は、情報処理装置４００の各部を制御し、主記憶装置４０４に必要なプログラムをロードして実行する。
【００２０】
主記憶装置４０４は、通常、ＲＡＭなどの揮発メモリで構成され、ＣＰＵ４０２が実行するプログラム、参照するデータが記憶される。
【００２１】
ネットワークＩ／Ｆ４０６は、ネットワークと接続するためのインタフェースである。  表示Ｉ／Ｆ４０８は、ＬＣＤ（Liquid Crystal Display）などの表示装置４２０を接続するためのインタフェースである。
【００２２】
入出力Ｉ／Ｆ４１０は、入出力装置を接続するためのインタフェースである。図５の例では、キーボード４３０とポインティングデバイスのマウス４３２が接続されている。
【００２３】
補助記憶Ｉ／Ｆ４１２は、ＨＤＤ（Hard Disk Drive）４５０やＤＶＤドライブなどの補助記憶装置を接続するためのインタフェースである。  
ＨＤＤ４５０は、大容量の記憶容量を有しており、本実施形態を実行するためのプログラムが格納されている。本実施形態の情報処理装置４００には、音声認識プログラム４６０、評価基準生成プログラム４６２、発話内容評価プログラム４６４がインストールされている。また、データベースとして、過去発話内容ＤＢ４７０、評価基準生成ＤＢ４７２、発話内容評価ＤＢ４７４を保持している。
【００２４】
音声認識プログラム４６０は、評価対象の発話データをテキストデータに変換し、発話内容として発話内容評価プログラム４６４に受け渡す。評価基準生成プログラム４６２は、過去発話内容蓄積ＤＢ４７０に蓄積された発話内容と対応するスコアを、それぞれ過去発話内容と過去発話スコアとして参照し、評価基準を自動生成し、生成評価基準として発話内容評価プログラムに受け渡す。
【００２５】
発話内容評価プログラム４６４は、評価基準生成プログラムで生成された生成評価基準に基づき、発話のスコアを計算し、発話内容評価結果として評価結果格納ＤＢ４７２に格納する。
【００２６】
過去発話内容蓄積ＤＢ４７０は、過去の発話内容と、それに対応するスコアを過去発話内容として格納するデータベースである。
【００２７】
評価基準生成ＤＢ４７２は、評価基準時に作られるテーブル類を格納するデータベースである。
【００２８】
評価結果格納ＤＢ４７４は、発話内容評価時に作られるテーブル類と、発話内容評価結果を格納するデータベースである。
【００２９】
次に、図３を用いて過去発話内容蓄積部と、評価基準生成部の詳細な機能構成を説明する。
【００３０】
発話内容格納部２０１は、過去発話内容１０８の発話内容を、単語リスト抽出部２０８と総文字数カウント部２０３に送信する。  
総文字数カウント部２０３は、発話内容格納部２０１から受信した過去発話内容１０８から各発話毎に総文字数をカウントし、総文字数情報２０４として総文字数格納部２０５に送信する。
【００３１】
総文字数格納部２０５は、総文字数カウント部２０３から受信した総文字数情報２０４を格納し、総文字数データ２０６として正規化頻度計算部２１５と、相対位置計算部２２４に送信する。
【００３２】
単語リスト抽出部２０８は、発話内容格納部２０１から受信した過去発話内容１０８から単語のリストを抽出し、単語リスト２０９として単語頻度カウント部２１１と単語・頻度リスト格納部２１３に送信する。なお、単語の抽出には、特許文献２に記載されている技術等が利用できる。
【００３３】
単語頻度カウント部２１１は、単語リスト抽出部２０８から受信した単語リスト２０９に含まれる単語の発話中の出現頻度をカウントし、頻度リスト２１２として単語・頻度リスト格納部２１４に送信する。
【００３４】
単語、頻度リスト格納部２１３は、単語リスト抽出部２０８から受信した単語リスト２０９を抽出単語リストとして、単語頻度カウント部２１１から受信した頻度リスト２１２を抽出単語頻度リストとして格納し、単語・頻度リスト２１４として正規化頻度計算部２１５に送信する。
【００３５】
正規化頻度計算部２１５は、単語、頻度リスト格納部２１３から受信した単語・頻度リスト２１４にユーザ定義カテゴリテーブル格納部２１７から受信したユーザ定義カテゴリ情報２１６を追加し、総文字数格納部２０５から受信した総文字数データ２０６から、正規化頻度を計算する。正規化頻度の意味については、後述する。そして、ユーザ定義カテゴリ情報２１６を参照して、正規化頻度データ２１８を加工し、それを無意味単語除去部２１９に送信する。
【００３６】
無意味単語除去部２１９は、正規化頻度計算部２１５から受信した正規化頻度データ２１８から、無意味単語テーブル格納部２２１から受信した無意味単語リスト２２０に含まれる単語を除去し、無意味単語除去済正規化頻度情報２２２として正規化頻度格納部２２３と相対位置計算部２２４に送信する。
【００３７】
正規化頻度格納部２２３は、無意味単語除去部２１８から受信した無意味単語除去済正規化頻度情報２２２を格納し、無意味単語除去済正規化頻度リスト２２６として重み付け平均頻度計算部２３２と、重み付け平均出現位置計算部２３６と平均頻度標準偏差計算部２４０と、出現位置標準偏差計算部２４４へ送信する。
【００３８】
ユーザ定義カテゴリテーブル格納部２１７は、ユーザによって同一の扱いをするよう定義された単語を格納し、ユーザ定義カテゴリ情報２１６として正規化頻度計算部に送信する。
【００３９】
無意味単語テーブル２２１は、評価基準の生成から除外する無意味な単語を格納し、無意味単語リスト２２０として無意味単語除去部２１９に送信する。
【００４０】
相対位置計算部２２４は、無意味単語除去部２１９から受信した無意味単語除去済正規化頻度データ２２２と、総文字数データ２０６から相対位置を計算する。そして、相対位置情報２２７として相対位置格納部２２８に送信する。
【００４１】
相対位置格納部２２８は相対位置計算部２２４から受信した相対位置情報２２７を格納し、相対位置情報リスト２２９として重み付け平均出現位置計算部２３６と出現位置標準偏差計算部２４４に送信する。
【００４２】
スコア格納部２３０は、各発話に対応するスコアを格納し、過去発話スコア１０９として、重み付け平均頻度計算部２３２と重み付け平均出現位置計算部２３６と平均頻度標準偏差計算部２４０と出現位置標準偏差計算部２４４へ送信する。
【００４３】
重み付け平均頻度計算部２３２は、正規化頻度格納部２２３から受信した無意味単語除去済み正規化頻度リスト２２６からスコアにより重み付けした平均頻度を計算する。なお、重み付け平均頻度については、後述する。そして、重み付け平均頻度情報２３３として重み付け平均頻度格納部２３４に送信する。
【００４４】
重み付け平均頻度格納部２３４は、重み付け平均頻度計算部２３２から受信した重み付け平均頻度情報２３３を格納し、重み付け平均頻度情報リスト２３５としてスコア係数計算部２４８に送信する。
【００４５】
平均頻度標準偏差計算部２４０は、正規化頻度格納部２２３から受信した無意味単語除去済み正規化頻度リスト２２６から標準偏差を計算する。そして、平均頻度標準偏差情報２４１として、平均頻度標準偏差格納部２４２に送信する。
【００４６】
平均頻度標準偏差格納部２４２は、平均頻度標準偏差計算部２４０から受信した重み付け平均頻度標準偏差情報２４１を格納し、平均頻度標準偏差情報リスト２４３としてスコア係数計算部２４８に送信する。
【００４７】
重み付け平均出現位置計算部２３６は、正規化頻度格納部２２３から受信した無意味単語除去済み正規化頻度リスト２２６と相対位置格納部２２８から受信した相対位置情報リスト２２９からスコアにより重み付けした平均出現位置を計算する。なお、重み付けした平均出現位置については、後述する。そして、重み付け平均出現位置情報２３７として重み付け平均出現位置格納部２３８に送信する。
【００４８】
重み付け平均出現位置格納部２３８は、重み付け平均出現位置計算部２３６から受信した重み付け平均出現位置情報２３７を格納し、重み付け平均出現位置情報リスト２３９としてスコア係数計算部２４８に送信する。
【００４９】
出現位置標準偏差計算部２４４は、正規化頻度格納部２２３から受信した無意味単語除去済み正規化頻度リスト２２６と相対位置格納部２２８から受信した相対位置情報リスト２２９から標準偏差を計算する。そして、出現位置標準偏差情報２４５として、出現位置標準偏差格納部２４６に送信する。
【００５０】
出現位置標準偏差格納部２４６は、出現位置標準偏差計算部２４４から受信した重み付け出現位置標準偏差情報２４５を格納し、出現位置標準偏差情報リスト２４７としてスコア係数計算部２４８に送信する。
【００５１】
スコア係数計算部２４８は、重み付け平均頻度格納部２３４から受信した重み付け平均頻度情報リスト２３５と、平均頻度標準偏差格納部２４２から受信した平均頻度標準偏差情報リスト２４３と、重み付け平均出現位置格納部２３８から受信した重み付け平均出現位置情報リスト２３９と、出現位置標準偏差格納部２４６から受信した重み付け出現位置標準偏差情報リスト２４７から、単語ごとに出現頻度と出現位置の重み付け平均値と標準偏差を抽出する。そして、それらに基づき、単語ごとに、スコア係数を計算し、スコア係数情報２２５をスコア係数格納部２１０に送信する。なお、スコア係数の計算の仕方は、後述する。
【００５２】
スコア係数格納部２１０は、スコア係数計算部２４８から受信したスコア係数情報２２５を格納する。
【００５３】
次に、図４を用いて、発話評価基準生成部の詳細な機能構成を説明する。  
発話評価基準生成部１０３の機能構成は、図４に示されるように、総文字数カウント部２０３、総文字数格納部２０５、単語リスト抽出部２０８、単語頻度カウント部２１１、単語・頻度リスト格納部２１３、正規化頻度計算部２１５、無意味単語除去部２１９、正規化頻度格納部２２３、ユーザ定義カテゴリテーブル格納部２１７、無意味単語テーブル２２１、相対位置計算部２２４、相対位置格納部２２８の部分は、図３に示した評価基準生成部１０２と同様である。
【００５４】
そして、さらに、スコア計算部２５０と、スコア格納部２６０を有する。スコア計算部２５０は、頻度に関するスコアを計算する頻度スコア計算部２５２と、出現位置スコア計算部２５４からなる。
【００５５】
頻度スコア計算部２５２は、評価基準生成部１０２から、単語ごとの重み付け平均頻度と、頻度スコア係数を受信し、頻度に関するスコアを計算する。
【００５６】
出現位置スコア計算部２５４は、評価基準生成部１０２から、単語ごとの重み付け出現位置と、出現位置スコア係数を受信し、出現位置に関するスコアを計算する。そして、両者のスコアは、加算され、最終的に、発話内容に関するスコアとして、スコア係数部２１０に格納される。
【００５７】
次に、図５、図６Ａないし図６Ｃ、図７を用いて本実施形態の発話内容評価基準の生成と、それに基づく発話内容の評価の概要について説明する。図５は、発話内容評価基準の生成と、それに基づく発話内容の評価の概要を説明する図である。図６Ａは、発話内容Ａの内容を示す図である。図６Ｂは、発話内容Ｂの内容を示す図である。図６Ｃは、発話内容Ｃの内容を示す図である。図７は、各発話のスコアを示すスコアテーブルの一例を示す図である。
【００５８】
本実施形態の発話内容評価システムは、図５に示すように、過去の発話内容のサンプルにスコア付けをしておき、それにより評価基準に作成（評価式を生成）して、それにより、ターゲットとなる発話内容を評価するものである。本実施形態の例では、図６Ａないし図６Ｃに示されるように、発話内容Ａ、発話内容Ｂ、発話内容Ｃがあり、それらにスコアとして図７に示すように、それぞれ２０、１０、２がつけられているものとする。そして、それにより評価式を生成し、その評価式により発話内容Ｘを評価する。
【００５９】
各発話内容のスコアは、高いほどよいものとし、コールセンターのオペレータの熟練者、管理者などが、発話者の経歴や技能などを考慮して採点するものとする。
【００６０】
次に、図８及び図９、図１０Ａないし図Ｒ３を用いて本実施形態の評価式生成までの手順を説明する。図８は、正規化頻度計算、相対位置計算までの処理を示すフローチャートである。図９は、評価式の生成までの処理を示すフローチャートである。図１０Ａは、発話内容Ａの頻度テーブルを示す図である。図１０Ｂは、発話内容Ｂの頻度テーブルを示す図である。図１０Ｃは、発話内容Ｃの頻度テーブルを示す図である。図１１は、ユーザ定義カテゴリテーブルの一例を示す図である。図１２は、無意味単語テーブルの一例を示す図である。図１３は、各発話者の総文字数テーブルの一例を示す図である。図１４Ａは、無意味単語除去後の発話内容Ａの正規化頻度テーブルである。図１４Ｂは、無意味単語除去後の発話内容Ｂの正規化頻度テーブルである。図１４Ｃは、無意味単語除去後の発話内容Ｃの正規化頻度テーブルである。図１５Ａは、無意味単語除去後の発話内容Ａの相対出現位置テーブルである。図１５Ｂは、無意味単語除去後の発話内容Ｂの相対出現位置テーブルである。図１５Ｃは、無意味単語除去後の発話内容Ｃの相対出現位置テーブルである。図１６Ａは、無意味、低頻度単語除去後の重み付け平均頻度テーブルの一例を示す図である。図１６Ｂは、無意味、低頻度単語除去後の重み付け相対出現位置テーブルである。図１７Ａは、無意味、低頻度単語除去後の平均頻度標準偏差テーブルの一例を示す図である。図１７Ｂは、無意味、低頻度単語除去後の出現位置標準偏差テーブルの一例を示すである。図１８Ａは、出現頻度スコア係数テーブルの一例を示す図である。図１８Ｂは、出現位置スコア係数テーブルの一例を示す図である。
【００６１】
先ず、図８を追いながら正規化頻度計算までの処理について説明する。
【００６２】
最初に、発話内容格納部３０２の発話から一つを選択する（Ｓ３０１）。  
次に、単語リスト抽出部２０８により、選択した発話から単語を抽出する（Ｓ３０２）。  
次に、単語頻度カウント部２１１により、出現頻度をカウントする（Ｓ３０３）。これにより、図１０Ａないし図１０Ｃに示した頻度テーブルが生成され、単語・頻度格納部２１３に格納される。ここで、頻度テーブルのフォーマットは、図１０Ａないし図１０Ｃに示されるように、それぞれ、発話内容Ａの抽出単語リスト８０１と、発話内容Ａの単語出現頻度８０２、発話内容Ｂの抽出単語リスト９０１と、発話内容Ｂの単語出現頻度９０２、発話内容Ｃの抽出単語リスト１００１、発話内容Ｃの単語出現頻度１００２が対となっている。
【００６３】
そして、総文字数カウント部２０３により、各発話の総文字数をカウントする（Ｓ３０４）。これにより、図１３に示した総文字数テーブルが作成される。
【００６４】
次に、ユーザ定義カテゴリテーブル格納部２１７の図１１に示したユーザ定義カテゴリテーブルを参照し、定義されているユーザ定義カテゴリと、各々の単語に対して、正規化頻度計算部２１５により、正規化頻度を計算する（Ｓ３０５）。ユーザ定義カテゴリとは、そのカテゴリに属する単語は、一つのものとして扱う単位である。例えば、図１１に示されるように、「推奨単語カテゴリ」として、「今回に限り」、「今回だけ」、「今回のみ」は、実質上、同じ単語として扱われる。また、正規化頻度とは、その単語の頻度を、発話の総文字数で割った商である。
【００６５】
次に、無意味単語除去部２１９により、無意味単語テーブル格納部２２１に格納された図１２に示される無意味単語テーブルを参照して、単語のリストの中から、無意味単語を除去する。そして、図１４Ａないし図１４Ｃに示した無意味単語除去後の正規化頻度テーブルを、正規化頻度格納部２２３に格納する（Ｓ３０６）。ここで、無意味単語とは、発話内容の評価には寄与しないとして排除される単語である。ここで、正規化頻度テーブルのフォーマットは、図１４Ａないし図１４Ｃに示されるように、それぞれ、発話内容Ａの無意味単語除去後単語リスト１４０１と、発話内容Ａの正規化頻度リスト１４０２、発話内容Ｂの無意味単語除去後単語リスト１５０１と、発話内容Ｂの正規化頻度リスト１５０２、発話内容Ｃの無意味単語除去後単語リスト１６０１と、発話内容Ｃの正規化頻度リスト１６０２が、それぞれ対になっている。
【００６６】
次に、ユーザ定義カテゴリテーブル格納部２１７の図１１に示したユーザ定義カテゴリテーブルを参照し、定義されているユーザ定義カテゴリと、各々の単語に対して、相対位置計算部２２４により、相対位置を計算する（Ｓ３０７）。また、相対位置とは、発話の全ての文字に対して、その単語の先頭がどこででてくるのかを先頭が０、末尾が１として、スケールとして割り振った数値である。
【００６７】
次に、無意味単語除去部２１９により、無意味単語テーブル格納部２２１に格納された図１２に示される無意味単語テーブルを参照して、単語のリストの中から、無意味単語を除去する。そして、図１５Ａないし図１５Ｃに示した無意味単語除去後の相対出現位置テーブルを、相対出現位置格納部２２８に格納する（Ｓ３０８）。単語が複数の個所で現れるときには、その相加平均をとるものとする。ここで、相対出現位置テーブルのフォーマットは、図１５Ａないし図１５Ｃに示されるように、それぞれ、無意味単語除去後の発話内容Ａの単語リスト２００１、発話内容Ａの相対出現位置リスト２００２、無意味単語除去後の発話内容Ｂの単語リスト２１０１、発話内容Ｂの相対出現位置リスト２１０２、無意味単語除去後の発話内容Ｃ２２０１、発話内容Ｃの相対出現位置リスト２２０２が、それぞれ対になっている。
【００６８】
そして、未処理の発話がないか否かを判定し（Ｓ３０９）、未処理の発話があれば（Ｓ３０９：ＮＯ）、Ｓ３０１に戻り、未処理の発話がなければ（Ｓ３０９：ＹＥＳ）、処理を終了する。
【００６９】
次に、図９を追いながら正規化頻度計算から、評価式生成までの処理について説明する。
【００７０】
先ず、正規化頻度格納部２２３に格納された正規化頻度テーブルの単語を一つ選択する（Ｓ４０１）。  
そして、少なくとも一つの発話で該当の単語の正規化頻度が、所定の閾値より高いか否かを判定する（Ｓ４０２）。全ての発話で正規化頻度が、所定の閾値より高くない単語だった場合には（Ｓ４０２：ＮＯ）、その単語を処理せずに、Ｓ４０２の処理に戻り、少なくとも一つの発話で頻度が、所定の閾値より高い単語だった場合は、Ｓ４０４の処理に進む。これは、正規化頻度があまりに小さい単語については、評価式の生成の対象としないことを意味する。すべての単語を評価式の生成の対象としたいときには、所定の閾値を０とすればよい。
【００７１】
次に、スコア格納部２３０のスコアテーブルのスコアで重み付けした正規化頻度の平均値を、重み付け平均頻度として、重み付け平均頻度計算部２３２により計算する（Ｓ４０３）。重み付け平均頻度ｍＦは、以下の（式１）により計算される。
【００７２】
【数１】
2017054307.tif 000003
【００７３】
ここで、式中のΣは、スコア付けしたサンプルの発話内容Ａ、発話内容Ｂ、発話内容Ｃにわたってとるものとし、Ｆ（ｉ）は、正規化頻度テーブルに格納されている発話内容ｉにおけるその単語の、正規化頻度であり、Ｓ（ｉ）は、スコアテーブルに格納されている発話内容ｉのスコアである。
【００７４】
発話内容Ａ、発話内容Ｂ、発話内容Ｃの各単語の重み付け平均頻度は、図１６Ａに示されるように、重み付け平均頻度テーブルに格納される。
【００７５】
次に、スコア格納部２３０のスコアテーブルのスコアで重み付けした正規化頻度の標準偏差を、平均頻度標準偏差σＦとして、平均頻度標準偏差計算部４０により計算する。平均頻度標準偏差σＦは、以下の（式２）により計算される。
【００７６】
【数２】
2017054307.tif 000004
【００７７】
発話内容Ａ、発話内容Ｂ、発話内容Ｃの各単語の平均頻度標準偏差は、図１７Ａに示されるように、平均頻度標準偏差テーブルに格納される。
【００７８】
次に、スコア格納部２３０のスコアテーブルのスコアで重み付けした出現位置の平均値を、重み付け平均出現位置として、重み付け平均出現位置計算部２３６により計算する（Ｓ４０５）。
【００７９】
重み付け平均出現位置ｍＰは、以下の（式３）により計算される。
【００８０】
【数３】
2017054307.tif 000005
【００８１】
ここで、Ｐ（ｉ）は、相対出現位置テーブルに格納されている発話内容ｉにおけるその単語の相対出現位置である。  
発話内容Ａ、発話内容Ｂ、発話内容Ｃの各単語の相対出現位置は、図１６Ｂに示されるように、相対出現位置テーブルに格納される。
【００８２】
次に、スコア格納部２３０のスコアテーブルのスコアで重み付けした相対出現位置の標準偏差を、出現位置標準偏差σＰとして、出現位置標準偏差計算部２４４により計算する（Ｓ４０６）。出現位置標準偏差σＰは、以下の（式４）により計算される。
【００８３】
【数４】
2017054307.tif 000006
【００８４】
発話内容Ａ、発話内容Ｂ、発話内容Ｃの各単語の出現位置標準偏差は、図１７Ｂに示されるように、出現位置標準偏差テーブルに格納される。
【００８５】
次に、各単語の出現頻度スコア係数を、スコア係数計算部２４８により計算する（Ｓ４０７）。
【００８６】
以下、出現頻度スコア係数の計算の仕方を説明する。  
先ず、発話内容ｉ（ｉ＝Ａ，Ｂ，Ｃ）における出現頻度正規分布評価式Ｅｉ，Ｆを、以下の（式５）とする。
【００８７】
【数５】
2017054307.tif 000007
【００８８】
次に、発話内容ｉにおける出現頻度正規分布評価式と、そのスコアの差を評価する評価関数Ｇｉ，Ｆを、以下の（式６）により定義する。
【００８９】
【数６】
2017054307.tif 000008
【００９０】
ここで、Ｘは、実数を動く変数であり、評価関数Ｇｉ，Ｆは、Ｘの二次式となっていること留意する。
【００９１】
そして、評価関数ＧＦを、評価関数Ｇｉ，Ｆの発話内容ｉ（ｉ＝Ａ，Ｂ，Ｃ）にわたる和として、以下の（式７）により定義する。
【００９２】
【数７】
2017054307.tif 000009
【００９３】
求めるのは、評価関数ＧＦが最小値をとるＸの値である。評価関数ＧＦは、下に凸の二次式であり、初等数学で知られているように、Ｘが、以下の（式８）のときに、最小値をとる。本実施形態では、（式８）の最小値をとるＸの値を、各発話内容ｉにわたり、スコアの差を最小にするものとして、出現頻度スコア係数ＣＦとする。
【００９４】
【数８】
2017054307.tif 000010
【００９５】
各単語の出現頻度スコア係数は、図１８Ａに示されるように、出現頻度スコア係数テーブルに格納される。
【００９６】
次に、各単語の出現位置スコア係数を、スコア係数計算部２４８により計算する（Ｓ４０８）。
【００９７】
以下、出現位置スコア係数の計算の仕方を説明する。出現位置のスコア係数の計算の仕方は、上記の出現頻度スコア係数の求め方と同様である。
【００９８】
先ず、発話内容ｉ（ｉ＝Ａ，Ｂ，Ｃ）における出現位置正規分布評価式Ｅｉ，Ｐを、以下の（式９）とする。
【００９９】
【数９】
2017054307.tif 000011
【０１００】
次に、発話内容ｉにおける出現位置正規分布評価式と、そのスコアの差を評価する評価関数Ｇｉ，Ｐを、以下の（式１０）により定義する。
【０１０１】
【数１０】
2017054307.tif 000012
【０１０２】
ここで、Ｘは、実数を動く変数であり、評価関数Ｇｉ，Ｐは、Ｘの二次式となっていること留意する。
【０１０３】
そして、評価関数ＧＰを、評価関数Ｇｉ，Ｐの発話内容ｉ（ｉ＝Ａ，Ｂ，Ｃ）にわたる和として、以下の（式１１）により定義する。
【０１０４】
【数１１】
2017054307.tif 000013
【０１０５】
求めるのは、評価関数ＧＰの最小値である。評価関数ＧＰは、下に凸の二次式であり、初等数学で知られているように、Ｘが、以下の（式１２）のときに、最小値をとる。本実施形態では、（式１２）の最小値をとるＸの値を、各発話内容ｉにわたり、スコアの差を最小にするものとして、出現位置スコア係数ＣＦとする。
【０１０６】
【数１２】
2017054307.tif 000014
【０１０７】
各単語の出現位置スコア係数は、図１８Ｂに示されるように、出現位置スコア係数テーブルに格納される。
【０１０８】
これを、全ての発話内容ｉ（ｉ＝Ａ，Ｂ，Ｃ）の単語にわたって行ない（Ｓ４０９）、出現頻度スコア係数、出現位置スコア係数を求める。
【０１０９】
次に、図１９を用いて生成された評価式により、発話内容Ｘを評価する処理について説明する。  
図１９は、生成された評価式により、発話内容Ｘを評価する処理を示すフローチャートである。
【０１１０】
ここで、発話内容Ｘに対する評価値（スコア）をＶ（Ｘ）で表すこととする。  
先ず、Ｖ（Ｘ）を初期化するために、０を代入する（Ｓ５００）。  
そして、発話内容Ｘの単語を一つ選択する（Ｓ５０１）。
【０１１１】
次に、選択した単語の出現頻度スコアが、図１８Ａに示した出現頻度スコア係数テーブルにあるか否かを検索し（Ｓ５０２）、出現頻度スコア係数テーブルにあるときには（Ｓ５０２：ＹＥＳ）、選択した単語の出現頻度の評価式のスコアを計算する（Ｓ５０３）。
【０１１２】
以下、出現頻度の評価式のスコアの計算の仕方について説明する。  
ここで、（式８）により求められた出現頻度スコア係数ＣＦは、各単語により異なったものになるので、ある単語ｗに対応した出現頻度スコア係数ＣＦを、ＣＦ（ｗ）と記述するものとする。同様に、（式１）により求められた重み付け平均頻度ｍＦで、ある単語ｗに対応する重み付け平均頻度を、ｍＦ（ｗ）とし、（式２）により求められた平均頻度標準偏差σＦで、ある単語ｗに対応する平均頻度標準偏差を、ｍＦ（ｗ）と記述するものとする。また、ある単語ｗに対応する正規化頻度を、Ｆ（ｗ）と記述する。ここでは、図８に示したフローチャートの処理により、評価発話内容Ｘの単語に対して、無意味単語除去後の正規化頻度が求まっているものと仮定する。
【０１１３】
このときに、ある単語ｗの出現頻度の評価式ＶＦ（ｗ）は、以下の（式１３）で表される。
【０１１４】
【数１３】
2017054307.tif 000015
【０１１５】
次に、選択した単語の出現位置スコアが、図１８Ｂに示した出現位置スコア係数テーブルにあるか否かを検索し（Ｓ５０４）、出現位置スコア係数テーブルにあるときには（Ｓ５０２：ＹＥＳ）、選択した単語の出現位置の評価式のスコアを計算する（Ｓ５０３）。
【０１１６】
以下、出現位置の評価式のスコアの計算の仕方について説明する。出現頻度の評価式の場合と同様に、（式１２）により求められた出現位置スコア係数ＣＰは、各単語により異なったものになるので、ある単語ｗに対応した出現位置スコア係数ＣＰを、ＣＰ（ｗ）と記述するものとする。同様に、（式３）により求められた重み付け出現位置ｍＰで、ある単語ｗに対応する重み付け出現位置を、ｍＰ（ｗ）とし、（式４）により求められた出現位置標準偏差σＰで、ある単語ｗに対応する出現位置標準偏差を、ｍＰ（ｗ）と記述するものとする。また、ある単語ｗに対応する相対出現位置を、Ｐ（ｗ）と記述する。ここでは、図８のフローチャートに示した処理により、評価発話内容Ｘの単語に対して、相対位置が求まっているものと仮定する。
【０１１７】
このときに、ある単語ｗの出現位置の評価式ＶＰ（ｗ）は、以下の（式１４）で表される。
【０１１８】
【数１４】
2017054307.tif 000016
【０１１９】
そして、Ｓ５０３の出現頻度の評価式のスコアと、Ｓ５０４の出現位置の評価式のスコアを、Ｖ（Ｘ）に足しこむ。  
そして、Ｓ５０１ないしＳ５０６の処理を、全ての単語にわたって行う（Ｓ５０７）。
Ｖ（Ｘ）は、最終的に、以下の（式１５）により求められることになる。
【０１２０】
【数１５】
2017054307.tif 000017
【０１２１】
ここで、単語ｗは、評価発話内容Ｘの全ての単語にわたるものとする。ただし、出現頻度スコア係数テーブルにない単語の出現頻度スコアと、出現位置スコア係数テーブルにない単語の出現位置スコアは除かれる。
【０１２２】
上記のように、本実施形態の発話内容評価システムでは、スコア付けされた複数の発話のサンプルを用意し、それとの単語単位の出現頻度と、相対位置の関連を評価する評価式を生成し、それに基づいて、発話内容を評価する。したがって、経験のあるベテランの発話者の発話のサンプルのスコアを高いものにして、それとの比較により、あまり経験のない発話者による発話を自動的に、客観的に評価することができ、その評価値を発話者の発話技能の進歩の基準とすることもできる。
【符号の説明】
【０１２３】
１０１…音声認識部
１０２…評価基準生成部
１０３…発話内容評価部
１０４…評価結果格納部
１０５…過去発話内容蓄積部
１０６…発話内容
１０７…生成評価基準
１０８…過去発話内容
１０９…過去発話スコア
２０１…発話内容格納部
２０３…総文字数カウント部
２０４…総文字数情報
２０５…総文字数格納部
２０６…総文字数データ
２０８…単語リスト抽出部
２０９…単語リスト
２１０…スコア係数格納部
２１１…単語頻度カウント部
２１２…頻度リスト
２１３…単語・頻度リスト格納部
２１４…単語・頻度リスト
２１５…正規化頻度計算部
２１６…ユーザ定義カテゴリ情報
２１７…ユーザ定義カテゴリテーブル格納部
２１８…正規化頻度データ
２１９…無意味単語除去部
２２０…無意味単語リスト
２２１…無意味単語テーブル格納部
２２２…無意味単語除去済正規化頻度情報
２２３…正規化頻度格納部
２２４…相対位置計算部
２２５…スコア係数情報
２２６…無意味単語除去済正規化頻度リスト
２２７…相対位置情報
２２８…相対位置格納部
２２９…相対位置情報リスト
２３０…スコア格納部
２３２…重み付け平均頻度計算部
２３３…重み付け平均頻度情報
２３４…重み付け平均頻度格納部
２３５…重み付け平均頻度情報リスト
２３６…重み付け平均出現位置計算部
２３７…重み付け平均出現位置情報
２３８…重み付け平均出現位置格納部
２３９…重み付け平均出現位置情報リスト
２４０…平均頻度標準偏差計算部
２４１…重み付け平均頻度標準偏差情報
２４２…平均頻度標準偏差格納部
２４３…平均頻度標準偏差情報リスト
２４４…出現位置標準偏差計算部
２４５…重み付け出現位置標準偏差情報
２４６…出現位置標準偏差格納部
２４７…重み付け出現位置標準偏差情報リスト
２４８…スコア係数計算部
８０１…発話内容Ａの抽出単語リスト
８０２…発話内容Ａの単語出現頻度
９０１…発話内容Ｂの抽出単語リスト
９０２…発話内容Ｂの単語出現頻度
１００１…発話内容Ｃの抽出単語リスト
１００２…発話内容Ｃの単語出現頻度
１１０１…商品名カテゴリ単語リスト
１１０２…推奨単語カテゴリ単語リスト
１１０３…ノイズカテゴリ単語リスト
１２０１…無意味単語リスト
１３０１…発話リスト
１３０２…総文字数リスト
１４０１…発話内容Ａの無意味単語除去後単語リスト
１４０２…発話内容Ａの正規化頻度リスト
１５０１…発話内容Ｂの無意味単語除去後単語リスト
１５０２…発話内容Ｂの正規化頻度リスト
１６０１…発話内容Ｃの無意味単語除去後単語リスト
１６０２…発話内容Ｃの正規化頻度リスト
１７０１…発話リスト
１７０２…スコアリスト
１８０１…無意味、低頻度単語除去度単語リスト
１８０２…重み付け平均頻度リスト
１９０１…無意味、低頻度単語除去度単語リスト
１９０２…重み付け平均頻度標準偏差リスト
２００１…無意味単語除去後の発話内容Ａの単語リスト
２００２…発話内容Ａの相対出現位置テーブルである。
２１０１…無意味単語除去後の発話内容Ｂの単語リスト
２１０２…発話内容Ｂの相対出現位置テーブルである。
２２０１…無意味単語除去後の発話内容Ｃの単語リスト
２２０２…発話内容Ｃの相対出現位置テーブルである。
２３０１…無意味、低頻度単語除去後の単語リスト
２３０１…スコアで重み付けした平均相対位置
２４０１…無意味、低頻度単語除去後の単語リスト
２４０２ …スコアで重み付けした平均相対位置の標準偏差
２８０１…無意味、低頻度単語除去後の単語リスト
２８０２…出現頻度スコア係数
２９０１…無意味、低頻度単語除去後の単語リスト
２９０２…出現位置スコア係数
【図１】
2017054307.tif 000018
【図２】
2017054307.tif 000019
【図３】
2017054307.tif 000020
【図４】
2017054307.tif 000021
【図５】
2017054307.tif 000022
【図６Ａ】
2017054307.tif 000023
【図６Ｂ】
2017054307.tif 000024
【図６Ｃ】
2017054307.tif 000025
【図７】
2017054307.tif 000026
【図８】
2017054307.tif 000027
【図９】
2017054307.tif 000028
【図１０Ａ】
2017054307.tif 000029
【図１０Ｂ】
2017054307.tif 000030
【図１０Ｃ】
2017054307.tif 000031
【図１１】
2017054307.tif 000032
【図１２】
2017054307.tif 000033
【図１３】
2017054307.tif 000034
【図１４Ａ】
2017054307.tif 000035
【図１４Ｂ】
2017054307.tif 000036
【図１４Ｃ】
2017054307.tif 000037
【図１５Ａ】
2017054307.tif 000038
【図１５Ｂ】
2017054307.tif 000039
【図１５Ｃ】
2017054307.tif 000040
【図１６Ａ】
2017054307.tif 000041
【図１６Ｂ】
2017054307.tif 000042
【図１７Ａ】
2017054307.tif 000043
【図１７Ｂ】
2017054307.tif 000044
【図１８Ａ】
2017054307.tif 000045
【図１８Ｂ】
2017054307.tif 000046
【図１９】
2017054307.tif 000047