(57)【要約】      （修正有）【課題】外部の音声認識システムを使用し、音声認識システムの利用料を抑えながらも高精度での通話内容のテキスト化を行うことができる通話システムを提供する。【解決手段】通話システム１において、音声データ抽出部２２が音声通話から抽出した音声データ及びその他録音したデータに関する情報から構成され、録音データ保存部３０３に保存された録音データと、通話情報保存部３０１に保存された情報の内容に基づき、テキスト化を行う時間区間を判断する区間判断部３０４がテキスト化を行うと判断した区間について、音声データ切出部３０５が切り出した音声データを音声データ送信部３０６が外部音声認識装置５に送信し、外部音声認識装置５からテキスト受信部３０７が受信したテキストデータをテキスト保存部３０８が保存し、音声データのテキスト化された時間区間をテキスト化済区間保存部３０９が保存する。【選択図】図１
2020193994.tif 000002
【特許請求の範囲】
【請求項１】
音声通話を録音し、録音した音声の特定時間区間を自動でテキスト化する通話システムであって、
前記通話システム外に設けられ、音声データを受信し該音声データをテキスト化し出力する機能を備えた外部音声認識装置を利用することを特徴とし、
通話に関する情報を保存する通話情報保存部と、
音声通話から音声データを抽出する音声データ抽出部と、
前記音声データ抽出部によって抽出された音声データ及びその他録音したデータに関する情報から構成される録音データを保存する録音データ保存部と、
前記録音データと前記通話情報保存部に保存された情報の内容に基づき、前記音声データのテキスト化を行う時間区間を判断する区間判断部と、
前記区間判断部の判断に基づき、前記音声データ取得部により取得された音声データの該時間区間の音声データを切り出す音声データ切出部と、
前記音声データ切出部によって切り出された音声データを外部音声認識装置に送信する音声データ送信部と、
前記外部音声認識装置によってテキスト化されたデータを受信するテキスト受信部と、
前記テキスト受信部が受信したテキストデータを保存するテキスト保存部と、
該音声データについて前記外部音声認識装置がテキスト化した時間区間を保存するテキスト化済区間保存部を備え、
前記区間判断部は、少なくとも１つの録音された音声データのテキスト化を行う時間区間の判断について、０より大きく該音声データの全時間区間より小さくなることを満たすことを特徴とする通話システム。
【請求項２】
前記通話情報保存部に保存された通話に関する情報を表示する通話情報表示部と、
前記テキスト保存部に保存されたテキストデータを表示する閲覧テキスト表示部と、
ユーザからの音声テキスト化の要求を受信するテキスト化要求受信部を備え、
前記通話情報表示部はそれぞれの通話について、音声データが存在し且つテキスト化が行われていない時間区間があるかどうかがユーザにわかるようになっており、
前記音声データ切出部は前記テキスト化要求受信部が受信した要求内で指定されている音声データの時間区間の音声データを切り出し、
前記音声データ送信部は前記音声データ切出部が切り出した音声データを前記外部音声認識装置に送信し、
前記テキスト受信部は前記外部音声認識装置からテキストデータを受信し、
前記テキスト保存部は前記テキスト受信部が受信したテキストデータを保存し、
前記テキスト化済区間保存部は該音声データにおけるテキスト化が行われた時間区間を保存することを特徴とする請求項１に記載の通話システム。
【請求項３】
前記音声データ抽出部によって抽出された音声データは、前記外部音声認識装置によってテキスト化された区間からの相対時間をユーザが指定して再生できることを特徴とする請求項１または２に記載の通話システム。
【請求項４】
前記通話システムによる通話の音声データの自動テキスト化が行われた後に、該音声データのテキスト化の結果によって、該音声データ内のテキスト化が行われていない時間区間についてテキスト化を行うか否とテキスト化を行う該音声データの時間区間を判断する続テキスト化区間判断部を備え、
前記音声データ切出部は前記続テキスト化区間判断部が判断した音声データの該時間区間の音声データを切り出し、
前記音声データ送信部は前記音声データ切出部が切り出した音声データを前記外部音声認識装置に送信し、
前記テキスト受信部は前記外部音声認識装置からテキストデータを受信し
前記テキスト保存部は前記テキスト受信部が受信したテキストデータを保存し、
前記テキスト化済区間保存部は該音声データにおけるテキスト化が行われた時間区間を保存し、
前記続テキスト化区間判断部によるテキスト化の条件と時間区間は、該通話に係る前記テキスト保存部に保存されたテキストデータと前記テキスト化済区間保存部に保存されたテキスト化済の時間区間と前記録音データ保存部に保存された録音データと前記通話情報保存部に保存された情報の内容に基づくことを特徴とする請求項１〜３のいずれか１項に記載の通話システム。
【請求項５】
前記外部音声認識装置によってテキスト化された音声データの通話に関する情報を表示する通話情報表示部と、
前記外部音声認識装置によってテキスト化された音声データのテキストの一部または全てを表示する閲覧テキスト表示部を備え、
前記閲覧テキスト表示部は、表示するテキストについて、前記続テキスト化区間判断部がテキスト化を行うと判断する条件のうちいずれか１つまたは複数がキーワードのマッチに関する条件で、それらのうち１つまたは複数が満たされるとき、テキスト内の満たされた条件に関連するキーワードにマッチした部分を強調して表示することを特徴とする請求項４に記載の通話システム。
【請求項６】
音声通話を録音し、録音した音声の特定時間区間を自動でテキスト化する通話プログラムであって、
前記通話プログラム外に設けられ、音声データを受信し該音声データをテキスト化し出力する機能を備えた外部音声認識装置を利用することを特徴とし、
通話に関する情報を保存する通話情報保存処理と、
音声通話から音声データを抽出する音声データ抽出処理と、
前記音声データ抽出処理によって抽出された音声データ及びその他録音したデータに関する情報から構成される録音データを保存する録音データ保存処理と、
前記録音データと前記通話情報保存処理によって保存された情報の内容に基づき、前記音声データのテキスト化を行う時間区間を判断する区間判断処理と、
前記区間判断処理の判断に基づき、前記音声データ取得処理により取得された音声データの該時間区間の音声データを切り出す音声データ切出処理と、
前記音声データ切出処理によって切り出された音声データを外部音声認識装置に送信する音声データ送信処理と、
前記外部音声認識装置によってテキスト化されたデータを受信するテキスト受信処理と、
前記テキスト受信処理が受信したテキストデータを保存するテキスト保存処理と、
該音声データについて前記外部音声認識装置がテキスト化した時間区間を保存するテキスト化済区間保存処理を備え、
前記区間判断処理は、少なくとも１つの録音された音声データのテキスト化を行う時間区間の判断について、０より大きく該音声データの全時間区間より小さくなることを満たすことを特徴とする通話プログラム。
【請求項７】
前記通話情報保存処理によって保存された通話に関する情報を表示する通話情報表示処理と、
前記テキスト保存処理によって保存されたテキストデータを表示するテキスト表示処理と、
ユーザーからの音声テキスト化の要求を受信するテキスト化要求受信処理を備え、
前記通話情報表示処理はそれぞれの通話について、音声データが存在し且つテキスト化が行われていない時間区間があるかどうかがユーザにわかるようになっており、
前記音声データ切出処理は前記テキスト化要求受信処理が受信した要求内で指定されている音声データの時間区間の音声データを切り出し、
前記音声データ送信処理は前記音声データ切出処理が切り出した音声データを前記外部音声認識装置に送信し、
前記テキスト受信処理は前記外部音声認識装置からテキストデータを受信し、
前記テキスト保存処理は前記テキスト受信処理が受信したテキストデータを保存し、
前記テキスト化済区間保存処理は該音声データにおけるテキスト化が行われた時間区間を保存することを特徴とする請求項６に記載の通話プログラム。
【請求項８】
前記音声データ抽出処理によって抽出された音声データは、前記外部音声認識装置によってテキスト化された区間からの相対時間をユーザが指定して再生できることを特徴とする請求項６または７に記載の通話プログラム。
【請求項９】
前記通話プログラムによる通話の音声データの自動テキスト化が行われた後に、該音声データのテキスト化の結果によって、該音声データ内のテキスト化が行われていない時間区間についてテキスト化を行うか否とテキスト化を行う該音声データの時間区間を判断する続テキスト化区間判断処理を備え、
前記音声データ切出処理は前記続テキスト化区間判断処理が判断した音声データの該時間区間の音声データを切り出し、
前記音声データ送信処理は前記音声データ切出処理が切り出した音声データを前記外部音声認識装置に送信し、
前記テキスト受信処理は前記外部音声認識装置からテキストデータを受信し、
前記テキスト保存処理は前記テキスト受信部が受信したテキストデータを保存し、
前記テキスト化済区間保存処理は該音声データにおけるテキスト化が行われた時間区間を保存し、
前記続テキスト化区間判断処理によるテキスト化の条件と時間区間は、該通話に係る前記テキスト保存処理によって保存されたテキストデータと、前記テキスト化済区間保存処理によって保存されたテキスト化済の時間区間と、前記録音データ保存処理によって保存された録音データと前記通話情報保存処理によって保存された情報の内容に基づくことを特徴とする請求項６〜８のいずれか１項に記載の通話プログラム。
【請求項１０】
前記外部音声認識装置によってテキスト化された音声データの通話に関する情報を表示する通話情報表示処理と、
前記外部音声認識装置によってテキスト化された音声データのテキストの一部または全てを表示する閲覧テキスト表示処理を備え、
前記閲覧テキスト表示処理は、表示するテキストについて、前記続テキスト化区間判断処理がテキスト化を行うと判断する条件のうちいずれか１つまたは複数がキーワードのマッチに関する条件で、それらのうち１つまたは複数が満たされるとき、テキスト内の満たされた条件に関連するキーワードにマッチした部分を強調して表示することを特徴とする請求項９に記載の通話プログラム。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通話システム、及び通話プログラムに関する。
【背景技術】
【０００２】
従来、音声通話中の内容をテキストに変換、記録する技術が知られている。
【０００３】
特許文献１には、録音された通話音声をテキストに変換し、記録する技術が開示されている。
また、特許文献２には、音声認識の精度を向上させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５―２１０４９７号公報
【特許文献２】特開２０１４―１１９５３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された技術によれば、通話中にユーザが録音ボタンを押すことで録音された通話音声は、テキストに変換された後に記録される。
また、特許文献２に開示された技術によれば、音声認識エンジンの処理によって音声認識の精度を向上させることができる。
【０００６】
近年、いくつかの企業が、高精度な音声認識サービスをクラウドサービスとして提供するようになっている。
そのような音声認識サービスの特徴として、ＡＩ技術により利用者に使われれば使われるほど高精度になっていくということが挙げられる。
上記文献に開示された技術では、クラウドの音声認識サービスを使うことが想定されておらず、それを使う場合の特有の問題を解決する方法については何ら言及されていない。
【０００７】
クラウド型の音声認識サービスの多くは、音声認識を行う音声の量に応じて課金される従量課金制の料金体系が採用されている。
したがって、従来のシステムで行われているように録音した音声のすべてについてテキスト化を行うと、費用対効果が悪くなるという問題があった。
【課題を解決するための手段】
【０００８】
本発明の通話システムは、
音声通話を録音し、録音した音声の特定時間区間を自動でテキスト化する通話システムであって、
前記通話システム外に設けられ、音声データを受信し該音声データをテキスト化し出力する機能を備えた外部音声認識装置を利用することを特徴とし、
通話に関する情報を保存する通話情報保存部と、
音声通話から音声データを抽出する音声データ抽出部と、
前記音声データ抽出部によって抽出された音声データ及びその他録音したデータに関する情報から構成される録音データを保存する録音データ保存部と、
前記録音データと前記通話情報保存部に保存された情報の内容に基づき、前記音声データのテキスト化を行う時間区間を判断する区間判断部と、
前記区間判断部の判断に基づき、前記音声データ取得部により取得された音声データの該時間区間の音声データを切り出す音声データ切出部と、
前記音声データ切出部によって切り出された音声データを外部音声認識装置に送信する音声データ送信部と、
前記外部音声認識装置によってテキスト化されたデータを受信するテキスト受信部と、
前記テキスト受信部が受信したテキストデータを保存するテキスト保存部と、
該音声データについて前記外部音声認識装置がテキスト化した時間区間を保存するテキスト化済区間保存部を備え、
前記区間判断部は、少なくとも１つの録音された音声データのテキスト化を行う時間区間の判断について、０より大きく該音声データの全時間区間より小さくなることを満たすことを特徴とする。
【０００９】
この特徴によれば、通話システムは、外部音声認識装置を用いて、録音した通話音声の一部区間を自動的にテキスト化することができる。
通話の一部区間の音声のみをテキスト化することは、コールセンターの管理者などの通話を行わない第三者が通話の要点を効率的に把握することに加え、従量課金制の音声認識サービスを利用するにあたって課金量を抑えるために非常に重要である。
【００１０】
本発明の通話システムは、
前記通話情報保存部に保存された通話に関する情報を表示する通話情報表示部と、
前記テキスト保存部に保存されたテキストデータを表示するテキスト表示部と、
ユーザーからの音声テキスト化の要求を受信するテキスト化要求受信部を備え、
前記通話情報表示部はそれぞれの通話について、音声データが存在し且つテキスト化が行われていない時間区間があるかどうかがユーザにわかるようになっており、
前記音声データ切出部は前記テキスト化要求受信部が受信した要求内で指定されている音声データの時間区間の音声データを切り出し、
前記音声データ送信部は前記音声データ切出部が切り出した音声データを前記外部音声認識装置に送信し、
前記テキスト受信部は前記外部音声認識装置からテキストデータを受信し、
前記テキスト保存部は前記テキスト受信部が受信したテキストデータを保存し、
前記テキスト化済区間保存部は該音声データにおけるテキスト化が行われた時間区間を保存することを特徴とする。
【００１１】
この特徴によれば、通話システムは、通話音声内において通話システムによって自動的にテキスト化されなかった部分について、ユーザが時間区間を選択し、手動でテキスト化を行うことができる。
通話音声のうち、通話システムによる通話音声自動テキスト化の時間区間の範囲外にあって、ユーザが重要とする部分について個別でテキスト化を行うことができる。
【００１２】
本発明の通話システムは、
前記音声データ抽出部によって抽出された音声データは、前記外部音声認識装置によってテキスト化された区間からの相対時間をユーザが指定して再生できることを特徴とする。
【００１３】
この特徴によれば、通話システムは、通話音声内において通話システムによって自動的にテキスト化されなかった部分について、ユーザがテキスト化済の範囲からの時間区間を選択し、その音声を再生することができる。
例えば、音声データ内の未テキスト化部分を確認するためにテキスト化済区間の先頭部分から遡って６０秒の区間を再生するなど、音声データの絶対時間を指定せずに音声の再生を行うことができる。
【００１４】
本発明の通話システムは、
前記通話システムによる通話の音声データの自動テキスト化が行われた後に、該音声データのテキスト化の結果によって、該音声データ内のテキスト化が行われていない時間区間についてテキスト化を行うか否とテキスト化を行う該音声データの時間区間を判断する続テキスト化区間判断部を備え、
前記音声データ切出部は前記続テキスト化区間判断部が判断した音声データの該時間区間の音声データを切り出し、
前記音声データ送信部は前記音声データ切出部が切り出した音声データを前記外部音声認識装置に送信し、
前記テキスト受信部は前記外部音声認識装置からテキストデータを受信し
前記テキスト保存部は前記テキスト受信部が受信したテキストデータを保存し、
前記テキスト化済区間保存部は該音声データにおけるテキスト化が行われた時間区間を保存し、
前記続テキスト化区間判断部によるテキスト化の条件と時間区間は、該通話に係る前記テキスト保存部に保存されたテキストデータと前記テキスト化済区間保存部に保存されたテキスト化済の時間区間と前記録音データ保存部に保存された録音データと前記通話情報保存部に保存された情報の内容に基づくことを特徴とする。
【００１５】
この特徴によれば、通話システムは、通話システムによる通話音声のこれまでのテキスト化の結果によって、テキスト化が行われなかった他の部分についてテキスト化することができる。
顧客との通話内において顧客への請求金額などユーザが通話内で最重要とする部分について、通話システムによる一回目の自動テキスト化の時間区間の範囲外で発話された場合でも自動でテキスト化を行うことができる。
【００１６】
本発明の通話システムは、
前記外部音声認識装置によってテキスト化された音声データの通話に関する情報を表示する通話情報表示部と、
前記外部音声認識装置によってテキスト化された音声データのテキストの一部または全てを表示する閲覧テキスト表示部を備え、
前記閲覧テキスト表示部は、表示するテキストについて、前記続テキスト化区間判断部がテキスト化を行うと判断する条件のうちいずれか１つまたは複数がキーワードのマッチに関する条件で、それらのうち１つまたは複数が満たされるとき、テキスト内の満たされた条件に関連するキーワードにマッチした部分を強調して表示することを特徴とする。
【００１７】
この特徴によれば、通話システムは、通話音声がテキスト化されたテキストに指定の語句が存在する場合、その範囲を強調して表示することができる。
通話中に発話された金額など、テキスト内においてユーザが求める情報をわかりやすく表示することができる。
【００１８】
本発明の通話プログラムは、
音声通話を録音し、録音した音声の特定時間区間を自動でテキスト化する通話プログラムであって、
前記通話プログラム外に設けられ、音声データを受信し該音声データをテキスト化し出力する機能を備えた外部音声認識装置を利用することを特徴とし、
通話に関する情報を保存する通話情報保存処理と、
音声通話から音声データを抽出する音声データ抽出処理と、
前記音声データ抽出処理によって抽出された音声データ及びその他録音したデータに関する情報から構成される録音データを保存する録音データ保存処理と、
前記録音データと前記通話情報保存処理によって保存された情報の内容に基づき、前記音声データのテキスト化を行う時間区間を判断する区間判断処理と、
前記区間判断処理の判断に基づき、前記音声データ取得処理により取得された音声データの該時間区間の音声データを切り出す音声データ切出処理と、
前記音声データ切出処理によって切り出された音声データを外部音声認識装置に送信する音声データ送信処理と、
前記外部音声認識装置によってテキスト化されたデータを受信するテキスト受信処理と、
前記テキスト受信処理が受信したテキストデータを保存するテキスト保存処理と、
該音声データについて前記外部音声認識装置がテキスト化した時間区間を保存するテキスト化済区間保存処理を備え、
前記区間判断処理は、少なくとも１つの録音された音声データのテキスト化を行う時間区間の判断について、０より大きく該音声データの全時間区間より小さくなることを満たすことを特徴とする。
【００１９】
本発明の通話プログラムは、
前記通話情報保存処理によって保存された通話に関する情報を表示する通話情報表示処理と、
前記テキスト保存処理によって保存されたテキストデータを表示するテキスト表示処理と、
ユーザーからの音声テキスト化の要求を受信するテキスト化要求受信処理を備え、
前記通話情報表示処理はそれぞれの通話について、音声データが存在し且つテキスト化が行われていない時間区間があるかどうかがユーザにわかるようになっており、
前記音声データ切出処理は前記テキスト化要求受信処理が受信した要求内で指定されている音声データの時間区間の音声データを切り出し、
前記音声データ送信処理は前記音声データ切出処理が切り出した音声データを前記外部音声認識装置に送信し、
前記テキスト受信処理は前記外部音声認識装置からテキストデータを受信し、
前記テキスト保存処理は前記テキスト受信処理が受信したテキストデータを保存し、
前記テキスト化済区間保存処理は該音声データにおけるテキスト化が行われた時間区間を保存することを特徴とする。
【００２０】
本発明の通話プログラムは、
前記音声データ抽出処理によって抽出された音声データは、前記外部音声認識装置によってテキスト化された区間からの相対時間をユーザが指定して再生できることを特徴とする。
【００２１】
本発明の通話プログラムは、
前記通話プログラムによる通話の音声データの自動テキスト化が行われた後に、該音声データのテキスト化の結果によって、該音声データ内のテキスト化が行われていない時間区間についてテキスト化を行うか否とテキスト化を行う該音声データの時間区間を判断する続テキスト化区間判断処理を備え、
前記音声データ切出処理は前記続テキスト化区間判断処理が判断した音声データの該時間区間の音声データを切り出し、
前記音声データ送信処理は前記音声データ切出処理が切り出した音声データを前記外部音声認識装置に送信し、
前記テキスト受信処理は前記外部音声認識装置からテキストデータを受信し、
前記テキスト保存処理は前記テキスト受信部が受信したテキストデータを保存し、
前記テキスト化済区間保存処理は該音声データにおけるテキスト化が行われた時間区間を保存し、
前記続テキスト化区間判断処理によるテキスト化の条件と時間区間は、該通話に係る前記テキスト保存処理によって保存されたテキストデータと前記テキスト化済区間保存処理によって保存されたテキスト化済の時間区間と前記録音データ保存処理によって保存された録音データと前記通話情報保存処理によって保存された情報の内容に基づくことを特徴とする。
【００２２】
本発明の通話プログラムは、
前記外部音声認識装置によってテキスト化された音声データの通話に関する情報を表示する通話情報表示処理と、
前記外部音声認識装置によってテキスト化された音声データのテキストの一部または全てを表示する閲覧テキスト表示処理を備え、
前記閲覧テキスト表示処理は、表示するテキストについて、前記続テキスト化区間判断処理がテキスト化を行うと判断する条件のうちいずれか１つまたは複数がキーワードのマッチに関する条件で、それらのうち１つまたは複数が満たされるとき、テキスト内の満たされた条件に関連するキーワードにマッチした部分を強調して表示することを特徴とする。
【００２３】
これらの特徴によれば、本発明の通話システムを機能させる通話プログラムが提供される。
【発明の効果】
【００２４】
本発明によれば、外部音声認識サービスの課金量を抑えながら通話音声の効果的なテキスト化を行う通話システム、及び通話プログラムが提供される。
【図面の簡単な説明】
【００２５】
【図１】通話システムの構成を示す図である。
【図２】通話音声の１回目の自動テキスト化が条件を満たさなかった場合に行われる処理を示すフローチャートである。
【図３】ユーザに表示される通話閲覧機器の画面を示す図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施例について説明する。
【００２７】
図１は通話システムの構成を示す図である。通話システム１は、電話システム２、通話テキスト化システム３及び通話閲覧機器４から構成される。
【００２８】
電話システム２は、電話機器２１、音声データ抽出部２２及び通話録音データ送信部２３を備えている。
【００２９】
ユーザは、電話機器２１により通話を行う。ここで電話機器２１として用いられる機器は、家庭用電話機、オフィス用電話機、コールセンターシステム用のIP電話機、スマートフォン等の携帯通信端末などがあり、そのいずれでもよい。
また、前記にあげた機器以外の機器でもよい。
【００３０】
電話機器２１による通話中に、音声データ抽出部２２が通話音声の音声データを抽出する。通話から音声データを抽出する方法は、電話機器の種類に応じて様々な方法が考えられる。
例えば、電話機器２１がアナログ電話機の場合は、電話機に録音アダプタを接続することにより通話音声のアナログデータを音声データに変換することができる。
電話機器２１がＩＰ電話機の場合は、ネットワークを流れるデータをキャプチャする、もしくは電話システムの各メーカーが定めた独自の方法により音声データを取得することができる。
電話機器２１がスマートフォンの場合は、スマートフォンにアプリをインストールすることで音声データを取得することができる。
【００３１】
通話が行われると、自動的に音声データ抽出部２２が通話音声の音声データを抽出することが望まれる。
ただし、ユーザーが何らかの操作を行ったタイミングで音声データの抽出の開始／終了が行われるとしてもよい。
【００３２】
通話終了後、通話録音データ送信部２３は、通話に関する情報、音声データ抽出部２２が取得した音声データ、録音に関する情報を通話テキスト化システム３に送信する。
【００３３】
通話テキスト化システム３は、通話情報保存部３０１、通話録音データ受信部３０２、録音データ保存部３０３、区間判断部３０４、音声データ切出部３０５、音声データ送信部３０６、テキスト受信部３０７、テキスト保存部３０８、テキスト化済区間保存部３０９、続テキスト化区間判断部３１０、通話情報一覧取得要求受信部３１１、通話情報一覧取得部３１２、通話情報一覧送信部３１３、テキスト化要求受信部３１４及びテキスト送信部３１５を備えている。
【００３４】
通話テキスト化システム３は、通話録音データ受信部３０２が通話録音データ送信部２３から受信した通話に関する情報に基づき、通話情報保存部３０１を更新する。
通話情報保存部３０１が保存するデータは、通話開始時刻、通話終了時刻、通話種別（発信または着信のいずれか）、相手電話番号、自分電話番号から構成される。
【００３５】
通話情報保存部３０１が保存するデータは上記に限定されるものではない。例えば、電話対応を行ったオペレーターの情報（ＩＤや名前）を含めてもよい。
【００３６】
通話テキスト化システム３は、通話録音データ受信部３０２が受信した音声データと録音に関する情報に基づき、録音データ保存部３０３を更新する。
録音データ保存部３０３が保存するデータは、通話ＩＤ、録音開始時刻、録音終了時刻、音声データ、音声データの中の無音時間区間から構成される。
【００３７】
録音データ保存部３０３が保存するデータは上記に限定されるものではない。例えば、録音が自動的に行われたか、それともユーザーの操作によって行われたかという情報が含まれていてもよい。
【００３８】
区間判断部３０４は、通話情報保存部３０１、録音データ保存部３０３に保存された内容に基づいて、テキスト化を行う時間区間を判断する。
具体的には、録音開始時刻と録音終了時刻から計算される音声のデータの長さが２分未満の場合はすべてをテキスト化し、２分以上の場合は音声データの最初の３０秒及び最後の６０秒のテキスト化を行うと判断する。
【００３９】
本実施例では区間判断部３０４が音声データのテキスト化を行うとする範囲について最初の３０秒及び最後の６０秒としているが、区間判断部３０４がテキスト化を行うと判断する時間区間はこれに限らない。
例えば、最後の６０秒のみをテキスト化するとしてもよい。また、音声データの最後に無音区間が存在する場合、該無音区間をテキスト化の範囲から除いた上で最後の６０秒をテキスト化の範囲とするとしてもよい。
【００４０】
時間区間の値は通話システムの製品出荷時に固定してもよいし、ユーザが個別に設定できるようにしてもよい。
【００４１】
区間判断部３０４は、相手電話番号から電話の相手が従業員など通話音声のテキスト化が不要の人物であることを判定し、その場合は音声データの自動テキスト化を行わないとしてもよい。
また、通話種別と自分電話番号から、業務連絡用電話番号など通話音声のテキスト化が不要の電話番号にかかってきた電話であることを判定し、その場合は音声データの自動テキスト化を行わないとしてもよい。
【００４２】
音声データ切出部３０５は、区間判断部３０４の判断に基づき、テキスト化を行う時間区間の音声データを切り出す。
【００４３】
音声データ送信部３０６は、音声データ切出部３０５が切り出した音声データを音声認識装置５に送信する。
【００４４】
テキスト受信部３０７は、音声認識装置５から通話音声をテキスト化したテキストを受信し、テキスト保存部３０８とテキスト化済区間保存部３０９を更新する。
【００４５】
通話音声のテキスト化にあたっては、条件を設定することができる。以上の処理で通話音声テキスト化の結果が設定された条件を満たさなかった場合は、続いて以下の処理を行う。
【００４６】
図２は、通話音声の１回目の自動テキスト化が条件を満たさなかった場合に行われる処理を示すフローチャートである。
【００４７】
通話テキスト化システム３による通話音声の１回目の自動テキスト化処理が完了した後、続テキスト化区間判断部３１０は、音声データの最後の６０秒をテキスト化したテキストの中に、指定の語句Ａ（例えば「ご注文ありがとうございました」という文章）が含まれているか否かを検索する。
検索の結果、指定の語句が検出されなかった場合は、処理を終了する。指定の語句が検出された場合は、検索を行ったテキストの元となった音声データのうち未テキスト化部分の最後の６０秒の区間について、新たにテキスト化するものと判断する。
【００４８】
音声データ切出部３０５は、続テキスト化区間判断部３１０がテキスト化するものと判断した時間区間について切り出しを行う。
音声データ送信部３０６は、音声データ切出部３０５が切り出した音声データを音声認識装置５に送信する。
テキスト受信部３０７は、音声認識装置５から通話音声をテキスト化したテキストを受信し、テキスト保存部３０８とテキスト化済区間保存部３０９を更新する。
【００４９】
続テキスト化区間判断部３１０は、さらに、テキスト化を行うと判断した時間区間をテキスト化したテキストの中に指定の語句Ｂ（例えば「○○円です」という文章）が検出されるまで、繰り返し音声のテキスト化を行うものと判断する。
上記を行うことで、例えば、通話内で注文があったときの金額をテキスト化することができ、金額の集計やチェックが容易になる。
【００５０】
なお、テキスト内から指定の語句Ａ、語句Ｂを検出する方法は文章の完全一致とは限らない。例えば、指定の語句Ｂが「○○円です」というものだった場合、テキスト内から、数字に続いて「円です」という文章を検出する。
この指定により、例えば「１００００円です」「２００００円です」などが検出されることになる。
【００５１】
指定の語句を検出できない場合に、想定外に音声認識サービスの利用料がかかってしまうことを避けるため、指定の語句の検出を行う時間範囲を音声データの最後から１０分までに設定してもよい。
その場合、テキスト化済の区間が、音声データの最後から１０分に到達した場合は繰り返しのテキスト化を終了する。
【００５２】
追加でテキスト化を行う条件は、上記に限定されない。実際に利用される状況に応じて、様々な条件が考えられる。この時、検索及び検出を行う語句の指定や語句の検出を行う時間範囲など、追加でテキスト化を行う条件に関する設定をユーザが行えるようにしてもよい。
【００５３】
通話テキスト化システム３は、物理的に離れた複数のハードウェアで構成されていてもよい。また、録音データ保存部３０３の中身が物理的にわかれていてもよい。
例えば、録音データ保存部３０３に保存されるデータのうち、音声データのみを外部のクラウドストレージに保存するとしてもよい。
【００５４】
次に、通話閲覧機器４の構成と処理について説明する。
【００５５】
通話閲覧機器４は、通話情報一覧取得要求部４１、通話情報一覧受信部４２、通話情報一覧表示部４３、通話情報表示部４３ａ、テキスト表示部４３ｂ、テキスト化要求送信部４４及び閲覧テキスト受信部４５を備えている。
ここで通話閲覧機器４として用いられる機器は、パーソナルコンピュータやタブレット端末などがあり、そのいずれでもよい。また、前記にあげた機器以外の機器でもよい。
【００５６】
ユーザは、通話閲覧機器４で通話情報一覧の画面を開く。その際に画面に表示する対象の日を指定する。この時、画面に表示する対象として日ではなく期間を指定できるようにしてもよい。
また、例えば、本日や過去３０日の通話一覧が表示されるなど、ユーザが日を指定せずともあらかじめ決められた期間の表示がされるとしてもよい。また、日や期間を指定するものではなく、ユーザが何らかの条件で検索し、条件を満たすものの一覧を表示するとしてもよい。
また、ユーザが検索せずとも特定もしくは何らかの条件を満たす１件のみを表示するとしてもよい。
【００５７】
通話情報一覧取得要求部４１は、通話テキスト化システム３の通話情報一覧取得要求受信部３１１に通話情報一覧の取得を要求する。
通話情報一覧取得部３１２は、通話情報一覧取得要求受信部３１１が受信した要求に応じて、通話情報保存部３０１から取得対象の通話情報を、テキスト保存部３０８から取得対象の通話についてテキスト化されたテキストを、テキスト化済区間保存部３０９から取得対象の通話についてテキスト化済の時間区間を取得する。
【００５８】
通話情報一覧送信部３１３は、通話情報一覧取得部３１２が取得した情報を通話情報一覧受信部４２に送信する。通話情報一覧表示部４３は、通話情報一覧受信部４２が受信した情報を、通話情報の一覧として通話閲覧機器４に表示する。
【００５９】
図３は、ユーザに表示される通話閲覧機器４の画面である。通話情報一覧表示部４３には、通話ごとに、通話に関する情報を表示する通話情報表示部４３ａと、テキスト化されたテキストを表示するテキスト表示部４３ｂがある。
なお、この画面は一例であり、ユーザの利便性を向上させるための様々な改良が施されていてもよい。例えば、多くの通話内容を一瞥して確認できるようにするため、図３の閲覧テキスト表示部４３ｂにはテキストがコンパクトに表示されている。
ユーザが閲覧テキスト表示部４３ｂをクリックもしくはタップすることで、表示領域が拡大され、該当の通話の会話の流れが分かりやすいように表示されるという機能を追加してもよい。
【００６０】
テキスト表示部４３ｂでは、続テキスト化区間判断部３１０がテキスト化を行うと判断した語句Ａにマッチする部分と、テキスト化を終了すると判断した語句Ｂにマッチする部分が強調表示される。
なお、マッチする部分のすべてが強調表示されるのではなく、一部のみが強調表示されるとしてもよい。
【００６１】
テキスト表示部４３ｂでは、上記に加えて、特定のキーワードにマッチする部分や特定の条件を満たす部分が強調表示されるとしてもよい。
【００６２】
ユーザは、特定の通話の特定の時間区間を指定して、その通話の音声データを聞くことができる。その際、ユーザは、通話がテキスト化済となっている時間区間からの相対時間を指定できる。
これにより、ユーザは、まだテキスト化されていない最後の３０秒の音声データを聞くといった操作や、テキスト化されている音声データの内容の確認のためにテキスト化済の時間区間の最初の３０秒の音声データを聞くといった操作を容易に行うことができる。
【００６３】
通話ごとに、音声データが存在し且つテキスト化が行われていない時間区間があるかどうかがわかるようになっている。図３にあるように本実施例ではテキスト表示部４３ｂにテキスト化済でない時間の長さを表記するようにしているが、これに限られるものではない。
テキスト化が行われていない時間区間があるかどうかがユーザにわかるようになっていればよい。
【００６４】
ユーザは、音声データのテキスト化済となっていない時間区間を選択して、通話テキスト化システム３にテキスト化を要求することができる。テキスト化要求送信部４４は、ユーザの要求に応じて、テキスト化要求受信部３１４にテキスト化要求を送信する。
【００６５】
テキスト化要求受信部３１４は、テキスト化要求を受信すると、要求のあった音声データの該時間区間について、音声データ切出部３０５に音声データの切り出しを指示し、音声データ切出部３０５は音声データの該時間区間の切り出しを行う。
【００６６】
音声データ送信部３０６は、音声データ切出部３０５が切り出した音声データを音声認識装置５に送信する。
【００６７】
テキスト受信部３０７は、音声認識装置５から音声データをテキスト化したテキストを受信する。テキスト保存部３０８は、テキスト受信部３０７が受信したテキストを保存する。
テキスト化済区間保存部３０９は、テキスト化に使用した音声データについてテキスト化済となった区間の情報を保存する。
【００６８】
テキスト送信部３１５は、テキスト受信部３０７が受信したテキストを閲覧テキスト受信部４５に送信する。
【００６９】
テキスト表示部４３ｂは、閲覧テキスト受信部４５がテキスト送信部３１５から受信したテキストを、通話閲覧機器４に表示する。
【００７０】
以上詳細に説明したように、本実施例の通話システム１によれば、電話機器２１による通話について、従量課金制の外部音声認識装置５を用いて、外部音声認識装置５の利用料を抑えながらも効果的な通話音声のテキスト化を行うことができる。
【００７１】
最後に、電話システム２、音声テキスト化システム３、通話閲覧機器４は、まとめて１つもしくは２つのハードウェアで実現してもよい。また、システム内、機器内の機能の一部の機能のみが、他のシステム、機器と同一のハードウェア上で実現されるという構成をとってもよい。
例えば、ＩＰ電話機を利用する場合に、ネットワークを流れるデータから音声データを抽出するハードウェアを設置することがあるが、そのハードウェアの中で音声テキスト化システム３を動作させるという構成をとってもよい。
【産業上の利用可能性】
【００７２】
音声電話による通話について、外部の音声認識システムを用いながら、その利用料を抑えつつ効果的な通話音声のテキスト化を行う通話システム、及び通話システムを機能させる通話プログラムである。
多量の音声通話について内容の概要のテキスト化を行いたい者、例えば、コールセンターやサービス業の電話予約受付、による利用が考えられる。
【符号の説明】
【００７３】
１      通話システム
２      電話システム
２１    電話機器
２２    音声データ抽出部
２３    通話録音データ送信部
３      通話テキスト化システム
３０１  通話情報保存部
３０２  通話録音データ受信部
３０３  録音データ保存部
３０４  区間判断部
３０５  音声データ切出部
３０６  音声データ送信部
３０７  テキスト受信部
３０８  テキスト保存部
３０９  テキスト化済区間保存部
３１０  続テキスト化区間判断部
３１１  通話情報一覧取得要求受信部
３１２  通話情報一覧取得部
３１３  通話情報一覧送信部
３１４  テキスト化要求受信部
３１５  テキスト送信部
４      通話閲覧機器
４１    通話情報一覧取得要求部
４２    通話情報一覧受信部
４３    通話情報一覧表示部
４３ａ  通話情報表示部
４３ｂ  テキスト表示部
４４    テキスト化要求送信部
４５    閲覧テキスト受信部
５      音声認識装置
【図１】
2020193994.tif 000003
【図２】
2020193994.tif 000004
【図３】
2020193994.tif 000005
【手続補正書】
【提出日】令和1年7月26日(2019.7.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声通話を録音し、録音した音声の特定時間区間を自動でテキスト化する通話システムであって、
前記通話システム外に設けられ、音声データを受信し該音声データをテキスト化し出力する機能を備えた外部音声認識装置を利用することを特徴とし、
通話に関する情報を保存する通話情報保存部と、
音声通話から音声データを抽出する音声データ抽出部と、
前記音声データ抽出部によって抽出された音声データ及びその他録音したデータに関する情報から構成される録音データを保存する録音データ保存部と、
前記録音データと前記通話情報保存部に保存された情報の内容に基づき、前記音声データのテキスト化を行う時間区間を判断する区間判断部と、
前記区間判断部の判断に基づき、前記音声データ抽出部により取得された音声データの該時間区間の音声データを切り出す音声データ切出部と、
前記音声データ切出部によって切り出された音声データを外部音声認識装置に送信する音声データ送信部と、
前記外部音声認識装置によってテキスト化されたデータを受信するテキスト受信部と、
前記テキスト受信部が受信したテキストデータを保存するテキスト保存部と、
該音声データについて前記外部音声認識装置がテキスト化した時間区間を保存するテキスト化済区間保存部と、
前記通話システムによる通話の音声データの自動テキスト化が行われた後に、該音声データのテキスト化の結果と、テキスト化を開始する条件とテキスト化を終了する条件に基づいて、該音声データ内のテキスト化が行われていない時間区間についてテキスト化を行う時間区間を判断する続テキスト化区間判断部を備え、
前記音声データ切出部は前記続テキスト化区間判断部が判断した音声データの該時間区間の音声データを切り出し、
前記音声データ送信部は前記音声データ切出部が切り出した音声データを前記外部音声認識装置に送信し、
前記テキスト受信部は前記外部音声認識装置からテキストデータを受信し
前記テキスト保存部は前記テキスト受信部が受信したテキストデータを保存し、
前記テキスト化済区間保存部は該音声データにおけるテキスト化が行われた時間区間を保存し、
前記続テキスト化区間判断部によるテキスト化を開始する条件もしくはテキスト化を終了する条件もしくはその両方の条件は、該音声データのテキスト化の結果にユーザが予め定めたキーワードまたはキーワードのパターンが含まれるかどうかを条件の一つとすることを特徴とする通話システム。
【請求項２】
前記外部音声認識装置によってテキスト化された音声データの通話に関する情報を表示する通話情報表示部と、
前記外部音声認識装置によってテキスト化された音声データのテキストの一部または全てを表示する閲覧テキスト表示部を備え、
前記閲覧テキスト表示部は、表示するテキストについて、前記続テキスト化区間判断部がテキスト化を開始する条件もしくは終了する条件もしくはその両方の条件としてユーザが予め定めたキーワードまたはキーワードのパターンが含まれるという条件が満たされるとき、テキスト内の該キーワードもしくは該キーワードのパターンにマッチした部分を強調して表示することを特徴とする請求項１に記載の通話システム。
【請求項３】
音声通話を録音し、録音した音声の特定時間区間を自動でテキスト化する通話プログラムであって、
前記通話プログラム外に設けられ、音声データを受信し該音声データをテキスト化し出力する機能を備えた外部音声認識装置を利用することを特徴とし、
通話に関する情報を保存する通話情報保存処理と、
音声通話から音声データを抽出する音声データ抽出処理と、
前記音声データ抽出処理によって抽出された音声データ及びその他録音したデータに関する情報から構成される録音データを保存する録音データ保存処理と、
前記録音データと前記通話情報保存処理によって保存された情報の内容に基づき、前記音声データのテキスト化を行う時間区間を判断する区間判断処理と、
前記区間判断処理の判断に基づき、前記音声データ抽出処理により取得された音声データの該時間区間の音声データを切り出す音声データ切出処理と、
前記音声データ切出処理によって切り出された音声データを外部音声認識装置に送信する音声データ送信処理と、
前記外部音声認識装置によってテキスト化されたデータを受信するテキスト受信処理と、
前記テキスト受信処理が受信したテキストデータを保存するテキスト保存処理と、
該音声データについて前記外部音声認識装置がテキスト化した時間区間を保存するテキスト化済区間保存処理と、
前記通話プログラムによる通話の音声データの自動テキスト化が行われた後に、該音声データのテキスト化の結果と、テキスト化を開始する条件とテキスト化を終了する条件に基づいて、該音声データ内のテキスト化が行われていない時間区間についてテキスト化を行う時間区間を判断する続テキスト化区間判断処理を備え、
前記音声データ切出処理は前記続テキスト化区間判断処理が判断した音声データの該時間区間の音声データを切り出し、
前記音声データ送信処理は前記音声データ切出処理が切り出した音声データを前記外部音声認識装置に送信し、
前記テキスト受信処理は前記外部音声認識装置からテキストデータを受信し
前記テキスト保存処理は前記テキスト受信処理が受信したテキストデータを保存し、
前記テキスト化済区間保存処理は該音声データにおけるテキスト化が行われた時間区間を保存し、
前記続テキスト化区間判断処理によるテキスト化を開始する条件もしくはテキスト化を終了する条件もしくはその両方の条件は、該音声データのテキスト化の結果にユーザが予め定めたキーワードまたはキーワードのパターンが含まれるかどうかを条件の一つとすることを特徴とする通話プログラム。
【請求項４】
前記外部音声認識装置によってテキスト化された音声データの通話に関する情報を表示する通話情報表示処理と、
前記外部音声認識装置によってテキスト化された音声データのテキストの一部または全てを表示する閲覧テキスト表示処理を備え、
前記閲覧テキスト表示処理は、表示するテキストについて、前記続テキスト化区間判断処理がテキスト化を開始する条件もしくは終了する条件もしくはその両方の条件としてユーザが予め定めたキーワードまたはキーワードのパターンが含まれるという条件が満たされるとき、テキスト内の該キーワードもしくは該キーワードのパターンにマッチした部分を強調して表示することを特徴とする請求項３に記載の通話プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の通話システムは、
音声通話を録音し、録音した音声の特定時間区間を自動でテキスト化する通話システムであって、
前記通話システム外に設けられ、音声データを受信し該音声データをテキスト化し出力する機能を備えた外部音声認識装置を利用することを特徴とし、
通話に関する情報を保存する通話情報保存部と、
音声通話から音声データを抽出する音声データ抽出部と、
前記音声データ抽出部によって抽出された音声データ及びその他録音したデータに関する情報から構成される録音データを保存する録音データ保存部と、
前記録音データと前記通話情報保存部に保存された情報の内容に基づき、前記音声データのテキスト化を行う時間区間を判断する区間判断部と、
前記区間判断部の判断に基づき、前記音声データ抽出部により取得された音声データの該時間区間の音声データを切り出す音声データ切出部と、
前記音声データ切出部によって切り出された音声データを外部音声認識装置に送信する音声データ送信部と、
前記外部音声認識装置によってテキスト化されたデータを受信するテキスト受信部と、
前記テキスト受信部が受信したテキストデータを保存するテキスト保存部と、
該音声データについて前記外部音声認識装置がテキスト化した時間区間を保存するテキスト化済区間保存部を備え、
前記区間判断部は、少なくとも１つの録音された音声データのテキスト化を行う時間区間の判断について、０より大きく該音声データの全時間区間より小さくなることを満たすことを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
本発明の通話プログラムは、
音声通話を録音し、録音した音声の特定時間区間を自動でテキスト化する通話プログラムであって、
前記通話プログラム外に設けられ、音声データを受信し該音声データをテキスト化し出力する機能を備えた外部音声認識装置を利用することを特徴とし、
通話に関する情報を保存する通話情報保存処理と、
音声通話から音声データを抽出する音声データ抽出処理と、
前記音声データ抽出処理によって抽出された音声データ及びその他録音したデータに関する情報から構成される録音データを保存する録音データ保存処理と、
前記録音データと前記通話情報保存処理によって保存された情報の内容に基づき、前記音声データのテキスト化を行う時間区間を判断する区間判断処理と、
前記区間判断処理の判断に基づき、前記音声データ抽出処理により取得された音声データの該時間区間の音声データを切り出す音声データ切出処理と、
前記音声データ切出処理によって切り出された音声データを外部音声認識装置に送信する音声データ送信処理と、
前記外部音声認識装置によってテキスト化されたデータを受信するテキスト受信処理と、
前記テキスト受信処理が受信したテキストデータを保存するテキスト保存処理と、
該音声データについて前記外部音声認識装置がテキスト化した時間区間を保存するテキスト化済区間保存処理を備え、
前記区間判断処理は、少なくとも１つの録音された音声データのテキスト化を行う時間区間の判断について、０より大きく該音声データの全時間区間より小さくなることを満たすことを特徴とする。