(57)【要約】      （修正有）【課題】Ｗｅｂ経由と同等の分類化、記録化を達成し、本システムの顧客（広告を掲載するメディア）及び顧客の広告主の利便と満足度の向上に資することを可能とする入力テキスト処理装置を提供する。【解決手段】入力テキスト処理装置１０３は、トレーニングに用いる複数の入力コンテンツにそれぞれ対応する複数の入力テキストの各々を正規化入力テキストに変換する入力テキスト正規化部２０１と、正規化入力テキストに基づいて、出力データを生成する第１データ生成部２０３、第２データ生成部２０５、第３データ生成部２０７と、を備える。【選択図】図５
2019029024.tif 000002
【特許請求の範囲】
【請求項１】
トレーニングに用いる複数の入力コンテンツにそれぞれ対応する複数の入力テキストの各々を正規化入力テキストに変換する入力テキスト正規化手段と、
前記正規化入力テキストに基づいて、出力データを生成する出力データ生成手段と、
を備えることを特徴とする入力テキスト処理装置。
【請求項２】
請求項１に記載の入力テキスト処理装置であって、
前記出力データ生成手段は、各入力コンテンツに対応する各正規化入力テキストの所定の範囲の末尾部から抽出された単語のうちの、指定された１以上の所定の品詞のうちの何れかの品詞に属する単語を備えるバッグ・オブ・ワーズであって、前記複数の入力テキストに跨がり正規化されたものを前記出力データの少なくとも一部として各入力コンテンツに対応させて生成するテキスト末尾部バッグ・オブ・ワーズ生成手段を備えることを特徴とする入力テキスト処理装置。
【請求項３】
請求項１又は２に記載の入力テキスト処理装置であって、
前記出力データ生成手段は、各入力コンテンツに対応する各正規化入力テキストから計測された、指定された１以上の所定の品詞に含まれる各品詞の単語数をその入力コンテンツに対して正規化したものを備える一次元以上のベクトルデータを各入力コンテンツに対応する前記出力データの少なくとも一部として生成する単語数ベクトルデータ生成手段を備えることを特徴とする入力テキスト処理装置。
【請求項４】
請求項１乃至３の何れか１項に記載の入力テキスト処理装置であって、
前記出力データ生成手段は、各入力コンテンツに対応する各正規化入力テキストの全体から抽出された単語のうちの、指定された１以上の所定の品詞のうちの何れかの品詞に属する単語を備えるバッグ・オブ・ワーズであって、前記複数の入力テキストに跨がり正規化されたものを前記出力データの少なくとも一部として各入力コンテンツに対応させて生成するテキスト全体バッグ・オブ・ワーズ生成手段を備えることを特徴とする入力テキスト処理装置。
【請求項５】
請求項１乃至４の何れか１項に記載の入力テキスト処理装置であって、
前記入力テキスト正規化手段は、トレーニングに用いる前記複数の入力コンテンツにそれぞれ対応する複数の入力テキストの各々に含まれる文字列であって、指定された１以上の所定の意味カテゴリのうちの何れかの意味カテゴリに属する文字列をその意味カテゴリに対応する所定の文字列に変換することにより各々の前記入力テキストを前記正規化入力テキストに変換することを特徴とする入力テキスト処理装置。
【請求項６】
請求項５に記載の入力テキスト処理装置であって、
前記入力テキスト正規化手段は、指定された１以上の所定の意味カテゴリのうちの何れかの意味カテゴリに対応した所定の規則に従った文字列を、その意味カテゴリに属する文字列として扱うことを特徴とする入力テキスト処理装置。
【請求項７】
請求項５又は６に記載の入力テキスト処理装置であって、
前記意味カテゴリに対応する前記所定の文字列の品詞を名詞として扱うことを特徴とする入力テキスト処理装置。
【請求項８】
請求項１乃至７の何れか１項に記載の入力テキスト処理装置であって、
前記出力データが複数種類ある場合、複数種類の出力データを結合する結合手段を更に備えることを特徴とする入力テキスト処理装置。
【請求項９】
請求項１乃至８の何れか１項に記載の入力テキスト処理装置とこれの出力データを用いて機械学習を行う機械学習装置とを備えることを特徴とする機械学習システム。
【請求項１０】
請求項１乃至８の何れか１項に記載の入力テキスト処理装置により生成された単語リストを記録したことを特徴とするコンピュータ読取り可能な記録媒体。
【請求項１１】
請求項９に記載の機械学習システムに備わる機械学習装置により生成された学習モデルを記録したことを特徴とするコンピュータ読取り可能な記録媒体。
【請求項１２】
請求項１０に記載の単語リストを記録したコンピュータ読取り可能な記録媒体を備えることを特徴とする入力テキスト処理装置。
【請求項１３】
請求項１１に記載の学習モデルを記録したコンピュータ読取り可能な記録媒体を備えることを特徴とする判定装置。
【請求項１４】
請求項１０に記載の単語リストを記録したコンピュータ読取り可能な記録媒体を備える入力テキスト処理装置と、請求項１１に記載の学習モデルを記録したコンピュータ読取り可能な記録媒体を備える判定装置とを備えることを特徴とする判定システム。
【請求項１５】
入力コンテンツに対応する入力テキストを正規化入力テキストに変換する入力テキスト正規化手段と、
前記正規化入力テキストに基づいて、出力データを生成する出力データ生成手段と、
を備えることを特徴とする入力テキスト処理装置。
【請求項１６】
請求項１５に記載の入力テキスト処理装置であって、
前記出力データ生成手段は、所定の単語リストに基づいて、前記入力コンテンツに対応する前記正規化入力テキストの所定の範囲の末尾部から抽出された単語のうちの、指定された１以上の所定の品詞のうちの何れかの品詞に属する単語を備えるバッグ・オブ・ワーズであって、正規化されたものを前記出力データの少なくとも一部として前記入力コンテンツに対応させて生成するテキスト末尾部バッグ・オブ・ワーズ生成手段を備えることを特徴とする入力テキスト処理装置。
【請求項１７】
請求項１５又は１６に記載の入力テキスト処理装置であって、
前記出力データ生成手段は、所定の単語リストに基づいて、前記入力コンテンツに対応する前記正規化入力テキストから計測された、指定された１以上の所定の品詞に含まれる各品詞の単語数をその入力コンテンツに対して正規化したものを備える一次元以上のベクトルデータを前記入力コンテンツに対応する前記出力データの少なくとも一部として生成する単語数ベクトルデータ生成手段を備えることを特徴とする入力テキスト処理装置。
【請求項１８】
請求項１５乃至１７の何れか１項に記載の入力テキスト処理装置であって、
前記出力データ生成手段は、所定の単語リストに基づいて、前記入力コンテンツに対応する前記正規化入力テキストの全体から抽出された単語のうちの、指定された１以上の所定の品詞のうちの何れかの品詞に属する単語を備えるバッグ・オブ・ワーズであって、正規化されたものを前記出力データの少なくとも一部として前記入力コンテンツに対応させて生成するテキスト全体バッグ・オブ・ワーズ生成手段を備えることを特徴とする入力テキスト処理装置。
【請求項１９】
請求項１５乃至１８の何れか１項に記載の入力テキスト処理装置であって、
前記入力テキスト正規化手段は、各入力コンテンツに対応する前記入力テキストに含まれる文字列であって、指定された１以上の所定の意味カテゴリのうちの何れかの意味カテ
ゴリに属する文字列をその意味カテゴリに対応する所定の文字列に変換することにより前記入力テキストを前記正規化入力テキストに変換することを特徴とする入力テキスト処理装置。
【請求項２０】
請求項１９に記載の入力テキスト処理装置であって、
前記入力テキスト正規化手段は、指定された１以上の所定の意味カテゴリのうちの何れかの意味カテゴリに対応した所定の規則に従った文字列を、その意味カテゴリに属する文字列として扱うことを特徴とする入力テキスト処理装置。
【請求項２１】
請求項１９又は２０に記載の入力テキスト処理装置であって、
前記意味カテゴリに対応する前記所定の文字列の品詞を名詞として扱うことを特徴とする入力テキスト処理装置。
【請求項２２】
請求項１５乃至２１の何れか１項に記載の入力テキスト処理装置であって、
前記出力データが複数種類ある場合、複数種類の出力データを結合する結合手段を更に備えることを特徴とする入力テキスト処理装置。
【請求項２３】
請求項１５乃至２２の何れか１項に記載の入力テキスト処理装置とこれの出力データを用いて判定を行う判定装置とを備えることを特徴とする判定システム。
【請求項２４】
コンピュータを請求項１乃至８の何れか１項に記載の入力テキスト処理装置として機能させるための入力テキスト処理用プログラム。
【請求項２５】
コンピュータを請求項９に記載の機械学習システムとして機能させるための機械学習システム用プログラム。
【請求項２６】
コンピュータを請求項１２に記載の入力テキスト処理装置として機能させるための入力テキスト処理用プログラム。
【請求項２７】
コンピュータを請求項１３に記載の判定装置として機能させるための判定用プログラム。
【請求項２８】
コンピュータを請求項１４に記載の判定システムとして機能させるための判定システム用プログラム。
【請求項２９】
コンピュータを請求項１５乃至２２の何れか１項に記載の入力テキスト処理装置として機能させるための入力テキスト処理用プログラム。
【請求項３０】
コンピュータを請求項２３に記載の判定システムとして機能させるための判定システム用プログラム。
【請求項３１】
請求項１４又は請求項２３に記載の判定システムによる判定結果を表示する出力装置。
【請求項３２】
請求項３１に記載の出力装置であって、
前記判定結果の信頼度も前記判定結果に関連付けて表示することを特徴とする出力装置。
【請求項３３】
請求項３１又は３２に記載の出力装置であって、
通話に関する他の事項も前記判定結果に関連付けて表示することを特徴とする出力装置。
【請求項３４】
請求項３１乃至３３の何れか１項に記載の出力装置であって、
判定結果に関連付けて通話の内容をテキスト表示画面、テキストデータ又は音声にて出力することを特徴とする出力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力テキスト処理装置、これを含む機械学習システム及び判定システム、該判定システムに入力テキスト処理装置と共に含まれる判定装置並びに入力テキスト処理用プログラム、機械学習システム用プログラム及び判定システム用プログラムに関する。
【背景技術】
【０００２】
広告等を見たユーザーからの問い合わせ内容を分類化させることは、ＰＣ、スマートフォン等からのＷｅｂエントリによる受け付けでは端末上の選択・入力等の記録操作で実現可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４０７７８６６号
【特許文献２】特許第５２４９２３４号
【特許文献３】特許第５０７５２０２号
【特許文献４】特許第５０７５２０１号
【特許文献５】特許第５０２１０３８号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
だが、電話で受け付けた場合に実運用レベルで対応できる精度の自動分類手法は未だ存在しておらず、オペレーターによる通話時の聴取作業、録音内容の聴き起こしに頼る現状がある。
【０００５】
これを解決するために、本発明は、機械学習の実施により必要な電話問い合わせの音声データの抽出と傾向分析を行うことで高い精度で問い合わせ内容を分類化できる仕組みを実現して当社クラウドサービス「コールトラッカー」のシステムへ導入することにより、Ｗｅｂ経由と同等の分類化、記録化を達成し、本システムの顧客（広告を掲載するメディア）及び顧客の広告主の利便と満足度の向上に資することを可能とする入力テキスト処理装置、これを含む機械学習システム及び判定システム、機械学習システムにより生成された判定装置、入力テキスト処理方法並びに入力テキスト処理用プログラム、機械学習システム用プログラム及び判定システム用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明によれば、
トレーニングに用いる複数の入力コンテンツにそれぞれ対応する複数の入力テキストの各々を正規化入力テキストに変換する入力テキスト正規化手段と、
前記正規化入力テキストに基づいて、出力データを生成する出力データ生成手段と、
を備えることを特徴とする入力テキスト処理装置が提供される。
【０００７】
また、本発明によれば、
上記の入力テキスト処理装置であって、
前記出力データ生成手段は、各入力コンテンツに対応する各正規化入力テキストの所定の範囲の末尾部から抽出された単語のうちの、指定された１以上の所定の品詞のうちの何れかの品詞に属する単語を備えるバッグ・オブ・ワーズ（Ｂａｇ  Ｏｆ  Ｗｏｒｄｓ）で
あって、前記複数の入力テキストに跨がり正規化されたものを前記出力データの少なくとも一部として各入力コンテンツに対応させて生成するテキスト末尾部バッグ・オブ・ワーズ生成手段を備えることを特徴とする入力テキスト処理装置が提供される。
【０００８】
更に、本発明によれば、
上記の入力テキスト処理装置であって、
前記出力データ生成手段は、各入力コンテンツに対応する各正規化入力テキストから計測された、指定された１以上の所定の品詞に含まれる各品詞の単語数をその入力コンテンツに対して正規化したものを備える一次元以上のベクトルデータを各入力コンテンツに対応する前記出力データの少なくとも一部として生成する単語数ベクトルデータ生成手段を備えることを特徴とする入力テキスト処理装置が提供される。
【０００９】
更に、本発明によれば、
上記の入力テキスト処理装置であって、
前記出力データ生成手段は、各入力コンテンツに対応する各正規化入力テキストの全体から抽出された単語のうちの、指定された１以上の所定の品詞のうちの何れかの品詞に属する単語を備えるバッグ・オブ・ワーズであって、前記複数の入力テキストに跨がり正規化されたものを前記出力データの少なくとも一部として各入力コンテンツに対応させて生成するテキスト全体バッグ・オブ・ワーズ生成手段を備えることを特徴とする入力テキスト処理装置が提供される。
【００１０】
更に、本発明によれば、
上記の入力テキスト処理装置であって、
前記入力テキスト正規化手段は、トレーニングに用いる前記複数の入力コンテンツにそれぞれ対応する複数の入力テキストの各々に含まれる文字列であって、指定された１以上の所定の意味カテゴリのうちの何れかの意味カテゴリに属する文字列をその意味カテゴリに対応する所定の文字列に変換することにより各々の前記入力テキストを前記正規化入力テキストに変換することを特徴とする入力テキスト処理装置が提供される。
【００１１】
更に、本発明によれば、
上記の入力テキスト処理装置とこれの出力データを用いて機械学習を行う機械学習装置とを備えることを特徴とする機械学習システムが提供される。
【００１２】
更に、本発明によれば、
上記の入力テキスト処理装置により生成された単語リストを記録したことを特徴とするコンピュータ読取り可能な記録媒体が提供される。
【００１３】
更に、本発明によれば、
上記の機械学習システムに備わる機械学習装置により生成された学習モデルを記録したことを特徴とするコンピュータ読取り可能な記録媒体が提供される。
【００１４】
更に、本発明によれば、
上記の単語リストを備えることを特徴とする入力テキスト処理装置が提供される。
【００１５】
更に、本発明によれば、
上記の学習モデルを備えることを特徴とする判定装置が提供される。
【００１６】
更に、本発明によれば、
上記の単語リストを備える入力テキスト処理装置と、上記の学習モデルを備える判定装置とを備えることを特徴とする判定システムが提供される。
【００１７】
更に、本発明によれば、
入力コンテンツに対応する入力テキストを正規化入力テキストに変換する入力テキスト正規化手段と、
前記正規化入力テキストに基づいて、出力データを生成する出力データ生成手段と、
を備えることを特徴とする入力テキスト処理装置が提供される。
【００１８】
更に、本発明によれば、
上記の入力テキスト処理装置であって、
前記出力データ生成手段は、所定の単語リストに基づいて、前記入力コンテンツに対応する前記正規化入力テキストの所定の範囲の末尾部から抽出された単語のうちの、指定された１以上の所定の品詞のうちの何れかの品詞に属する単語を備えるバッグ・オブ・ワーズであって、正規化されたものを前記出力データの少なくとも一部として前記入力コンテンツに対応させて生成するテキスト末尾部バッグ・オブ・ワーズ生成手段を備えることを特徴とする入力テキスト処理装置が提供される。
【００１９】
更に、本発明によれば、
上記の入力テキスト処理装置であって、
前記出力データ生成手段は、所定の単語リストに基づいて、前記入力コンテンツに対応する前記正規化入力テキストから計測された、指定された１以上の所定の品詞に含まれる各品詞の単語数をその入力コンテンツに対して正規化したものを備える一次元以上のベクトルデータを前記入力コンテンツに対応する前記出力データの少なくとも一部として生成する単語数ベクトルデータ生成手段を備えることを特徴とする入力テキスト処理装置が提供される。
【００２０】
更に、本発明によれば、
上記の入力テキスト処理装置であって、
前記出力データ生成手段は、所定の単語リストに基づいて、前記入力コンテンツに対応する前記正規化入力テキストの全体から抽出された単語のうちの、指定された１以上の所定の品詞のうちの何れかの品詞に属する単語を備えるバッグ・オブ・ワーズであって、正規化されたものを前記出力データの少なくとも一部として前記入力コンテンツに対応させて生成するテキスト全体バッグ・オブ・ワーズ生成手段を備えることを特徴とする入力テキスト処理装置が提供される。
【００２１】
更に、本発明によれば、
上記の入力テキスト処理装置であって、
前記入力テキスト正規化手段は、各入力コンテンツに対応する前記入力テキストに含まれる文字列であって、指定された１以上の所定の意味カテゴリのうちの何れかの意味カテゴリに属する文字列をその意味カテゴリに対応する所定の文字列に変換することにより前記入力テキストを前記正規化入力テキストに変換することを特徴とする入力テキスト処理装置が提供される。
【００２２】
更に、本発明によれば、
上記の入力テキスト処理装置とこれの出力データを用いて判定を行う判定装置とを備えることを特徴とする判定システムが提供される。
【００２３】
更に、本発明によれば、
コンピュータを上記の入力テキスト処理装置として機能させるための入力テキスト処理用プログラムが提供される。
【００２４】
更に、本発明によれば、
コンピュータを上記の機械学習システムとして機能させるための機械学習システム用プログラムが提供される。
【００２５】
更に、本発明によれば、
コンピュータを上記の判定装置として機能させるための判定システム用プログラムが提供される。
【００２６】
更に、本発明によれば、
コンピュータを上記の判定システムとして機能させるための判定システム用プログラムが提供される。
【００２７】
更に、本発明によれば、上記の判定システムによる判定結果を表示する出力装置が提供される。
【００２８】
更に、本発明によれば、上記の出力装置であって、
前記判定結果の信頼度も前記判定結果に関連付けて表示することを特徴とする出力装置が提供される。
【００２９】
更に、本発明によれば、上記の出力装置であって、通話に関する他の事項も前記判定結果に関連付けて表示することを特徴とする出力装置が提供される。
【００３０】
更に、本発明によれば、上記の出力装置であって、判定結果に関連付けて通話の内容をテキスト表示画面、テキストデータ又は音声にて出力することを特徴とする出力装置が提供される。
【発明の効果】
【００３１】
本発明によれば、必要な電話問い合わせの音声データの抽出と傾向分析を行うことで高い精度で問い合わせ内容を分類化できるようになる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施の形態における正規化入力データと第１データ、第２データ及び第３データとの関係を示す図である。
【図２】本発明の実施の形態における入力テキスト、正規化入力テキスト、第１データ、第２データ、第３データ、正規化第1データ及び正規化第２データの関係を示す図である。
【図３】本発明の実施の形態における正規化第１データ、正規化第２データ及び第３データと結合データの関係を示す。
【図４】本実施の形態による機械学習システム及び判定システムの構成を示すブロック図である。
【図５】図４に示す入力処理装置の構成を示すブロック図である。
【図６】本発明の実施の形態による入力テキスト処理装置のトレーニング時の動作を示す第１のフローチャートである。
【図７】本発明の実施の形態による入力テキスト処理装置のトレーニング時の動作を示す第２のフローチャートである。
【図８】本発明の実施の形態による入力テキスト処理装置が入力する正規化前テキストであり、予約が成立した場合の内容を持つものを示す図である。
【図９】本発明の実施の形態による入力テキスト処理装置が入力する正規化前テキストであり、予約が成立しなかった場合の内容を持つものを示す図である。
【図１０】本発明の実施の形態による入力テキスト処理装置が図８に示す正規化前テキストに基づいて生成した正規化後テキストであり、予約が成立した場合の内容を持つものを示す図である。
【図１１Ａ】本発明の実施の形態による入力テキスト処理装置が図１０に示す正規化後テキストに基づいて生成した第１データを示す第１の図である。
【図１１Ｂ】本発明の実施の形態による入力テキスト処理装置が図１０に示す正規化後テキストに基づいて生成した第１データを示す第２の図である。
【図１２】本発明の実施の形態による入力テキスト処理装置が図１０に示す正規化後テキストに基づいて生成した第２データを示す図である。
【図１３】本発明の実施の形態による入力テキスト処理装置が図１０に示す正規化後テキストに基づいて生成した第３データを示す図である。
【図１４】本発明の実施の形態による入力テキスト処理装置が図９に示す正規化前テキストに基づいて生成した正規化後テキストであり、予約が成立しなかった場合の内容を持つものを示す図である。
【図１５Ａ】本発明の実施の形態による入力テキスト処理装置が図１４に示す正規化後テキストに基づいて生成した第１データを示す第１の図である。
【図１５Ｂ】本発明の実施の形態による入力テキスト処理装置が図１４に示す正規化後テキストに基づいて生成した第１データを示す第２の図である。
【図１６】本発明の実施の形態による入力テキスト処理装置が図１４に示す正規化後テキストに基づいて生成した第２データを示す図である。
【図１７】本発明の実施の形態による入力テキスト処理装置が図１４に示す正規化後テキストに基づいて生成した第３データを示す図である。
【図１８Ａ】従来例により図８に示す正規化前テキストに基づいて生成した機械学習装置入力用又は判定装置入力用のデータを示す第１の図である。
【図１８Ｂ】従来例により図８に示す正規化前テキストに基づいて生成した機械学習装置入力用又は判定装置入力用のデータを示す第２の図である。
【図１９Ａ】従来例により図９に示す正規化前テキストに基づいて生成した機械学習装置入力用又は判定装置入力用のデータを示す第１の図である。
【図１９Ｂ】従来例により図９に示す正規化前テキストに基づいて生成した機械学習装置入力用又は判定装置入力用のデータを示す第２の図である。
【図２０】本発明の実施の形態による通話ログ表示画面を示す図である。
【図２１】図２０に示す録音再生ボタンが押された時に表示される通話再生画面を示す図である。
【発明を実施するための形態】
【００３３】
以下、図面を参照して本発明を実施するための形態について詳細に説明する。
【００３４】
本実施形態では、機械学習入力値を得るためにテキストの正規化を行い、そのテキストを元にＮ個（一例として３個）のベクトルデータ作成のうえ当該Ｎ個のデータを結合してこれを機械学習装置又は判定装置の入力データとする。なお、Ｎの値は、１、２又は４以上の数であってもよい。
【００３５】
［入力テキストの正規化］
入力テキストの正規化とは、トレーニングに用いる複数の入力コンテンツにそれぞれ対応する複数の入力テキストの各々に含まれる文字列であって、指定された１以上の所定の意味カテゴリのうちの何れかの意味カテゴリに属する文字列をその意味カテゴリに対応する所定の文字列に変換することにより各々の入力テキストを正規化入力テキストに変換することである。
【００３６】
具体的には、次のことを行う。
【００３７】
意味カテゴリを定義し、その意味に属する単語を全て意味カテゴリに集約する。これにより、複数の次元に分散してしまう特徴を１次元にまとめることで共通の特徴とすることが可能となる。
【００３８】
例えば、下表に示すように変換を行う。
【００３９】
【表１】
2019029024.tif 000003
【００４０】
カテゴリ
置き換える内容
「日付」
ｎ月ｎ日
→
DATE        
「時刻」
ｎ時ｎ分
→
DATETIME    
「時刻文字」
午前、午後、夕方
→
TIMEWORD      
「時間」
ｎ時間、ｎ時間半、ｎ分
→
TIME   
「曜日」
ｎ曜、ｎ曜日
→
DAYW        
「未来日」
明日、明後日等
→
future        
「過去日」
昨日、一昨日等
→
past   
「金額」
ｎ円
→
money  
「電話番号」※1
電話番号と判断された数字
→
phone      
ある数字文字から２０文字以内に数字７つ以上が含まれていた場合、発見された数字を電話番号とする。（テキスト変換精度により”５”＝”号”等と誤変換されることがあるため「７つ以上」という緩い基準として判定する）
本項で置換えされたテキストは分かち書きで「名詞」と判断されるよう生成する。
【００４１】
置き換えによる効果は、月日を例にとれば、最大で４３次元に分散する特徴が１次元となることである。
⇒１月〜１２月（１２次元）、１日〜３１日（３１次元）＝４３次元
テキストを変換しないと同じ「日付」についての文字だが４３次元に分散してしまうため特徴として検出されないが、全て“____DATE____”という単語に置き換わるため特徴として活用することができるようになる。
【００４２】
例えば、図８に示すような入力テキストは、図１０に示すような正規化テキストに変換される。
【００４３】
［３つのベクトルデータの生成］
３つのベクトルデータは、第１データ、第２データ及び第３データを含むが、それぞれは次のようなものである。
【００４４】
第１データは、指定された１以上の所定の品詞のうちの何れかの品詞に属する単語であって、各入力コンテンツに対応する正規化入力テキストの全体から抽出された単語を備えたバッグ・オブ・ワーズ（Ｂａｇ  Ｏｆ  Ｗｏｒｄｓ）である。
【００４５】
第２データは、指定された１以上の所定の品詞のうちの何れかの品詞に属する単語であって、各入力コンテンツに対応する正規化入力テキストの所定の範囲の末尾部から抽出された単語を備えたバッグ・オブ・ワーズである。
【００４６】
第３データは、指定された１以上の所定の品詞に含まれる各品詞に属する単語の数を各
入力コンテンツに対応する正規化入力テキスト毎に数え、それらの数をその入力コンテンツ毎に正規化したものである。
【００４７】
第１データ乃至第３データは、各入力コンテンツに対応して生成される。
【００４８】
第１データ、第２データ及び第３データの各々は、具体的には、次のようなものである。
【００４９】
【表２】
2019029024.tif 000004
【００５０】
系統
作成ポリシー
データ１
「名詞」「動詞」「副詞」「感動詞」「接続詞」に該当する単語だけでBoW（Bag-of-Words）データを作成する。
【００５１】
検索範囲は文章全体  次元 １５０〜程度
データ２
「名詞」「動詞」「副詞」「感動詞」「接続詞」に該当する単語だけでBoWを
作成する。
【００５２】
・  検索範囲は文章末尾 80 語のみとする。
【００５３】
・  概ね会話は終盤につれ意思決定が強くなる（結果に向かう）ため末尾だけ別途 BoW を作成し追加特徴としている
次元 ２５〜程度
データ３
登場単語を品詞別にカウントしベクトル化する。※2
「名詞」「動詞」「形容詞」「副詞」「助詞」「接続詞」「助動詞」「連体詞」「感動詞」「指示詞」「判定詞」「接尾辞」「未定義語」の各々の積を１３次元（※３）のベクトルデータとする
・  1 文書毎に 0〜1 の範囲で正規化を行う ※４
・  肯定的な会話、否定的な会話で品詞の含有率が異なるため、会話の位置づけの特徴としている
・  次 元 １３
※２  品詞ベクトルの根拠は、否定的な会話の場合に店員が「失礼な言い回しにならないように断る」ため助詞や助動詞、感動詞が増えるため１文書毎の品詞の含有率が特徴となるとの考えに拠る。
※３  辞書に含まれる品詞の数が１３である場合の数値である。辞書に含まれる品詞の数が１３である場合、１３次元で最大の効果が得られるが、１３次元未満であってもよい。辞書に含まれる品詞の数がＭであれば、Ｍ次元で良い結果が得られるが、Ｍが１３よりも多い場合には、１３次元程度にとどめておく。一般には、ベクトル化に用いる品詞の数は１以上である。
※４ 通常、機械学習入力値は全体の分布から正規化を行うが、今回正規化をサンプル全
体ではなく１文書毎に行う理由は、長時間の会話、短時間の会話に左右されず全体の雰囲気をつかむためという考え方による。例えば、平均１分の会話で一番長い会話が１０分だった場合、１０分の会話だけ品詞ベクトル特徴が際立ってしまい他の会話では特徴ではなくなり、単純に会話の長さを表す特徴にしかならないため、サンプル全体の分布から正規化するのではなく、１文書毎に正規化を実施する。
【００５４】
図１は、正規化入力テキストと第１データ、第２データ及び第３データとの関係を示す。
【００５５】
［データの正規化］
第１データは、トレーニングに用いる複数の入力コンテンツに跨がりゼロから１の範囲で正規化される。
【００５６】
第２データも、トレーニングに用いる複数の入力コンテンツに跨がりゼロから１の範囲で正規化される。
【００５７】
第３データは、既に、各コンテンツに対して正規化されている。
【００５８】
正規化は、次のことを目的とする。
【００５９】
機械学習は指数を頻繁に取り扱うため小さな数字に収めないとオーバーフローを起こすため。
【００６０】
特徴量を平等にするため。例えば文章全体のＢｏＷ（第１データ）を０〜１で正規化、末尾文章のＢｏＷ（第２データ）を１〜２で正規化した場合には、明らかに末尾ＢｏＷ（第２データ）特徴に引っ張られて精度が落ちる。場合によっては精度が上がることもあるのかもしれないが、その場合は高い値を設定した特徴だけで十分ということかもしれないと推測できる。また、最小最大の異なる正規化を混ぜた場合ＳＶＭでもディープラーニングでも同様に精度が落ちた。
【００６１】
図２は、入力テキスト、正規化入力テキスト、第１データ、第２データ、第３データ、正規化第1データ及び正規化第２データの関係を示す。
【００６２】
［結合データの生成］
各文書に対応する正規化第１データ、正規化第２データ及び第３データを結合することによりその文書に対応する結合データとする。この結合データを機械学習の入力データとする。機械学習で使用するデータは列数を全て揃えたＸＹ形式のデータでなければならない。
【００６３】
例えば、図１０に示すような正規化入力テキストからは、図１１Ａ、図１１Ｂ、図１２及び図１３に示すような正規化第１データ、正規化第２データ及び第３データが生成され、これらを結合したものが、結合データとされる。また、図１４に示すような正規化入力テキストからは、図１５Ａ、図１５Ｂ、図１６及び図１７に示すような正規化第１データ、正規化第２データ及び第３データが生成され、これらを結合したものが、結合データとされる。
【００６４】
図３は、正規化第１データ、正規化第２データ及び第３データと結合データの関係を示す。
【００６５】
なお、正規化第１データのみ、正規化第２データのみ、第３データのみ、正規化第１データ及び正規化第２データのみ、正規化第２データ及び第３データのみ、又は、正規化第１データ及び第３データのみを結合データとした場合であっても、判定の精度向上の効果が奏される場合もある。
【００６６】
次に、本実施形態による機械学習システム及び判定システムの構成について図４及び図５を参照して説明する。
【００６７】
図４を参照すると、機械学習システム１０１は、入力テキスト処理装置１０３、機械学習装置１０５及び出力装置１３１を含む。また、判定システム１１１は、入力テキスト処理部１０３と判定装置１０７を含む。機械学習の過程において、機械学習システム１０１に含まれる入力テキスト処理装置１０３及び機械学習装置１０５は、それぞれ、単語リスト１２１及び学習モデル１２３を生成する。判定システム１１１に含まれる入力テキスト処理装置１０３及び判定装置１０７は、それぞれ、単語リスト１２１及び学習モデル１２３を利用する。また、判定システム１１１に含まれる入力テキスト処理装置１０３及び判定装置１０７は、それぞれ、単語リスト１２１及び学習モデル１２３を備えていてもよい。単語リスト１２１及び学習モデル１２３は、コンピュータ読取り可能な記録媒体に記録
される。
【００６８】
出力装置１３１は、判定システムによる判定結果などを表示する。
【００６９】
単語リストは、一般には、単語とそれに対応したインデックスをレコードとする第１テーブルとインデックスと正規化重要度をレコードとする第２テーブルを含む。単語リストは、文章を入力すると、その文章から第１テーブルにある単語の発生を数え、数えた単語のインデックスとその単語の発生数に応じた正規化重要度を出力する。
【００７０】
機械学習装置１０５、判定装置１０７は、実施例の表における比較項目で示すような各種のものに対応したものであるが、機械学習装置１０５の学習後の状態に対応した学習モデル１２３を判定装置１０７が利用する。
【００７１】
図５を参照すると入力処理装置１０３は、入力テキスト正規化部２０１、第１データ生成部２０３、第２データ生成部２０５、第３データ生成部２０７、第１データ正規化部２０９、第２データ正規化部２１１及び結合部２１３を含む。
【００７２】
入力テキスト正規化部２０１は、入力テキストを正規化する。
【００７３】
第１データ生成部２０３は、正規化された入力テキストに基づいて、第１データを生成する。
【００７４】
第２データ生成部２０５は、正規化された入力テキストに基づいて、第２データを生成する。
【００７５】
第３データ生成部２０７は、正規化された入力テキストに基づいて、第３データを生成する。
【００７６】
第１データ正規化部２０９は、第1データを正規化する。
【００７７】
第２データ正規化部２１１は、第２データを正規化する。
【００７８】
結合部２１３は、正規化された第１データ、正規化された第２データ及び第３データを結合する。
【００７９】
次に、本実施形態による入力テキスト処理装置のトレーニング時の動作について図６及び図７を参照して説明する。
【００８０】
図６を参照すると、まず、入力テキスト正規化部２０１は、トレーニング用の全ての文書を正規化入力テキストに変換する（ステップＳ３０１Ｓ、Ｓ３０３、Ｓ３０１Ｅ）。
【００８１】
次に、第１データ生成部２０３、第２データ生成部３０５及び第３データ生成部３０７は、トレーニング用の全ての文書について、正規化入力テキストから、第１データ、第２データ及び第３データを生成する（ステップＳ３０７Ｓ、Ｓ３０９、Ｓ３１１、Ｓ３１３、Ｓ３０７Ｅ）。
【００８２】
次に、図７を参照すると、第１データ正規化部２０９は、第１データを正規化するための係数を求めてから（ステップＳ３１７）、これを用いて、全ての第１データを正規化第1データに変換する（ステップＳ３１９Ｓ、Ｓ３２１、Ｓ３１９Ｅ）。
【００８３】
次に、第２データ正規化部２１１は、第２データを正規化するための係数を求めてから（ステップＳ３２５）、これを用いて、全ての第２データを正規化第２データに変換する（ステップＳ３２７Ｓ、Ｓ３２９、Ｓ３２７Ｅ）。
【００８４】
図２０（ａ）は、出力装置１３１による通話ログの一覧を表示する画面を示すが、この画面には、本実施形態による入力テキスト処理装置による処理結果も表示される。なお、通話は、美容院の予約に関するものである。
【００８５】
符号５０１は、集計期間を入力し表示するための領域を示す。符号５０３は、代理店を選択し表示するための領域を示す。符号５０５は、広告主名を選択し表示するための領域を示す。符号５０７は、店舗名を選択し表示するための領域を示す。符号５１１は、これらの入力又は選択における検索を実行するためのボタンを示す。符号５１３は、検索結果をＣＳＶ出力するためのボタンを示す。
【００８６】
符号５１５は、検索結果を表示する表を示す。この表には、左から順に、通話番号、録音再生、分類、信頼度、掲載番号、店舗ＩＤ、店舗名、着信日時、開始日時、終了日時、接続秒数、接続料金、通話秒数、操作内容、有効、成果、状況及びメール通知の列が含まれる。
【００８７】
図２０（ｂ）は、表中の通話番号、録音再生、分類、信頼度のみを拡大して示す。
【００８８】
通話番号の列は、各通話に付された識別番号を表示するためのものである。
【００８９】
録音再生ボタンの列は、録音されている通話を再生するためのボタンを表示するためのものである。
【００９０】
分類の列は、入力テキスト処理装置による判定結果である「予約確定」又は「それ以外」を表示するためのものである。
【００９１】
信頼度の列は、分類の列に示された「予約確定」又は「それ以外」の信頼度を示すためのものである。図２０（ｂ）の例では、「９５％以上」、「９０％以上」が表示されているが、設定では、「９５％以上」、「９０％以上」、「８０％以上」、「７０％以上」、「６０％以上」、「５０％以上」が表示されうる。なお、例えば、９０％以上であるとは、実質的には、９０％以上９５％未満であることである。
【００９２】
通話番号が１３の通話については、分類が「予約確定」であり、信頼度が「９５％以上」であるが、これは、９５％以上の信頼度で予約が確定したことを意味する。
【００９３】
通話番号が１１の通話については、分類が「予約確定」であり、信頼度が「９０％以上」であるが、これは、９０％以上の信頼度で予約が確定したことを意味する。
【００９４】
通話番号が９の通話については、分類が「それ以外」であり、信頼度が「９５％以上」であるが、これは、９５％以上の信頼度で予約が確定しなかったことを意味する。
【００９５】
通話番号が８、１２の通話については、分類が「−」であり、信頼度も「−」であるが、これは、分類についての判断ができなかったことを意味する。
【００９６】
掲載番号の列は、ＷＥＢページに表示された電話番号を表示するためのものである。
【００９７】
店舗ＩＤの列は、店舗のＩＤ（識別番号）を表示するためのものである。
【００９８】
店舗名の列は、店舗の名称を表示するためのものである。
【００９９】
着信日時の列は、着信の日時を表示するためのものである。
【０１００】
開始日時の列は、通話開始の日時を表示するためのものである。
【０１０１】
終了日時の列は、通話終了の日時を表示するためのものである。
【０１０２】
接続秒数の列は、着信から通話終了までの時間を秒数で表すためのものである。
【０１０３】
接続料金の列は、会話のための接続に要した接続料金を表示するためのものである。
【０１０４】
通話秒数の列は、通話開始から通話終了までの時間を秒数で表すためのものである。
【０１０５】
操作内容の列、有効の列は、成果の列は、状況の列は、メール通知の列についての説明は省略する。
【０１０６】
通話番号が１３である通話を例にとると、分類は、「予約確定」であり、信頼度は９５％である。これは、通話番号が１３の通話において「予約確定」したことが入力テキスト処理装置により９５％の信頼度で判明したことを示す。
【０１０７】
また、通話番号が１１である通話を例にとると、分類は、「予約確定」であり、信頼度は９０％である。これは、通話番号が１１の通話において「予約確定」したことが入力テキスト処理装置により９０％の信頼度で判明したことを示す。
【０１０８】
更に、通話番号が１０である通話を例にとると、分類は、「それ以外」であり、信頼度は９５％である。これは、通話番号が１０の通話において「それ以外」であること（つまり、予約確定しなかったこと）が入力テキスト処理装置により９５％の信頼度で判明したことを示す。
【０１０９】
従って、店舗に課金するにあたり、接続秒数、通話秒数に基づかずに、予約確定したか否かに基づいた料金体系を導入することが可能になる。また、店舗に課金するにあたり、接続秒数、通話秒数に基づかずに、予約確定したか否かとその信頼度に基づいた料金体系を導入することが可能になる。更に、店舗に課金するにあたり、接続秒数、通話秒数、予約確定したか否かに基づいた料金体系を導入することが可能になる。更に、店舗に課金するにあたり、接続秒数、通話秒数、予約確定したか否かとその信頼度に基づいた料金体系を導入することが可能になる。何れにしても、店舗に課金するにあたり、予約確定したか否かを料金決定のための基礎にすることができる。
【０１１０】
利用者などにより何れかの通話の録音再生ボタンが押下されると、図２１に示すような通話再生画面が表示される。
【０１１１】
通話再生画面の左側５２１には、電話をかけた人の会話内容がテキスト表示され、右側５２３には、電話を受けた人の会話内容がテキスト表示される。これらの会話内容は、上から下にとった時間軸に沿って表示される。このテキストの内容は、判定システム１１１の入力テキスト処理装置１０３の入力でもある。
【０１１２】
また、利用者により再生ボタン５２５が押下されると、録音した通話の内容が音声出力される。
【０１１３】
利用者は、通話再生画面により、通話内容をテキスト又は音声により確認することができる。特に、どのような会話内容の時に、予約が確定したのかを確認することもできる。逆に、どのような会話内容の時に、予約が確定しなかったのかも確認することができる。
【実施例】
【０１１４】
既存の分類化システム（一般的に普及しているライブラリ）に上記の方法により生成した結合データを投入して機械学習を実施する。
【０１１５】
機械学習の実施を経た分類化システムが成果判定を行う。
【０１１６】
実験のソースコードは、下記のとおりである。
【０１１７】
●トレーニング
tuned_parameters = {}
model = GradientBoostingClassifier()
gscv = GridSearchCV(model, tuned_parameters, verbose=3, n_jobs=4, cv=4) gscv.fit(x_data, y_data)
best_model = gscv.best_estimator_  # 最も精度の良かったモデル
●テスト
pred = model.predict(x_data)
# pred に ０(ネガティブ)、１（ポジティブ）の結果が返ってくる。
【０１１８】
実験方法は、下記のとおりである。なお、表記
ポ＝ポジティブ  / ネ＝ネガティブ
を用いる。
■正解データ（４５０件くらい）をシャッフルしてから９：１に分ける。
（ポ９、ポ１とする、各々４０５件、４５件となる）
■不正解データ（５５０件くらい）をシャッフルしてから９：１に分ける。
（ネ９、ネ１とする、各々４９５件、５５件となる）
■ポ９とネ９をつなげてシャッフルしたデータがトレーニングデータ
■ポ１とネ１をつなげてシャッフルしたデータがテストデータとなる。
【０１１９】
以上を１０セット作成し、そのテスト結果の平均値を実験結果の精度としていく。
【０１２０】
精度サンプル
１０００件のデータをトレーニングデータ：試験データ＝９：１に分けて１０パターンを実施したところ、以下の結果を得た。
【０１２１】
【表３】
2019029024.tif 000005
【０１２２】
比較項目
データ未加工時
データ加工後
SVC
７０％〜８０％
８５％〜９４％
ディープラーニング
(全結合 NN)
７５％〜８５％
８５％〜９０％
Random Forest
未集計
８５％〜９５％
Gradient Boosting
未集計
８８％〜９７％
なお、データとしては、電話における予約や申し込みのための会話をテキスト化したものを用いている。予約や申し込みに至った会話のデータを正解データ、至らなかった会話のデータを不正解データとしている。
【０１２３】
正解データの一例は、図８に示すようなものである。不正解データの一例は、図９に示すようなものである。
【０１２４】
図８の正解データを正規化したものは、図１０に示すようなものである。この図１０に示す正規化正解データから取得した正規化第１データ、正規化第２データ及び第３データは、図１１Ａ、図１１Ｂ、図１２及び図１３に示すようなものである。これらを結合したものが、図８の正解データに対応する結合データとなる。
【０１２５】
図９の不正解データを正規化したものは、図１４に示すようなものである。この図１０に示す正規化正解データから取得した正規化第１データ、正規化第２データ及び第３データは、図１５Ａ、図１５Ｂ、図１６及び図１７に示すようなものである。これらを結合したものが、図９の正解データに対応する結合データとなる。
【０１２６】
図８及び図９が本実施形態によるデータであり、上記表における「データ加工後」の結果が出るものである。
【０１２７】
なお、図８の正解データから取得した未加工データは、図１８Ａ、図１８Ｂに示すようなものであり、図１０の不正解データから取得した未加工データは、図１９Ａ、図１９Ｂに示すようなものである。これらが従来例によるデータであり、上記表における「データ未加工時」の結果が出るものである。
【０１２８】
なお、上記の入力テキスト処理装置、機械学習システム、判定装置及び判定システムは、ハードウェア、ソフトウェア又はこれらの組合わせにより実現することができる。また、上記の入力テキスト処理装置、機械学習システム、判定装置及び判定システムにより行なわれる入力テキスト処理方法、機械学習方法、判定方法も、ハードウェア、ソフトウェア又はこれらに組合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
【０１２９】
プログラム、単語リスト、学習モデルは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供
給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁
気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ(Read Only Memory)、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory)）を
含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピ
ュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【０１３０】
本発明はその精神または主要な特徴から逸脱することなく、他の種々の形で実施することができる。そのため、前述した各実施形態は単なる例示にすぎず、限定的に解釈されるべきではない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更はすべて本発明の範囲内のものである。
【産業上の利用可能性】
【０１３１】
本発明は、テキストを用いた機械学習又は判定に利用することができる。
【符号の説明】
【０１３２】
１０１  機械学習システム
１０３  入力テキスト処理装置
１０５  機械学習装置
１０７  判定装置
２０１  入力テキスト正規化部
２０３  第１データ生成部
２０５  第２データ生成部
２０７  第３データ生成部
２０９  第１データ正規化部
２１１  第２データ正規化部
２１３  結合部
【図１】
2019029024.tif 000006
【図２】
2019029024.tif 000007
【図３】
2019029024.tif 000008
【図４】
2019029024.tif 000009
【図５】
2019029024.tif 000010
【図６】
2019029024.tif 000011
【図７】
2019029024.tif 000012
【図８】
2019029024.tif 000013
【図９】
2019029024.tif 000014
【図１０】
2019029024.tif 000015
【図１１Ａ】
2019029024.tif 000016
【図１１Ｂ】
2019029024.tif 000017
【図１２】
2019029024.tif 000018
【図１３】
2019029024.tif 000019
【図１４】
2019029024.tif 000020
【図１５Ａ】
2019029024.tif 000021
【図１５Ｂ】
2019029024.tif 000022
【図１６】
2019029024.tif 000023
【図１７】
2019029024.tif 000024
【図１８Ａ】
2019029024.tif 000025
【図１８Ｂ】
2019029024.tif 000026
【図１９Ａ】
2019029024.tif 000027
【図１９Ｂ】
2019029024.tif 000028
【図２０】
2019029024.tif 000029
【図２１】
2019029024.tif 000030