(57)【要約】【課題】  利用者の負担を軽減することができる音声処理システムおよび音声処理プログラムを提供する。【解決手段】  音声処理システムは、音声データに基づいた音声の話者の精神状態を音声から分析し（Ｓ１６２）、音声データにおける複数の期間のそれぞれの重要度を、Ｓ１６２において分析された精神状態に応じて判定し（Ｓ１６３およびＳ１６４）、Ｓ１６３およびＳ１６４において判定された重要度に基づいて音声データにおける重要な期間を抽出し、抽出した期間に応じた音声の内容を通知することを特徴とする。【選択図】  図８
2019204420.tif 000002
【特許請求の範囲】
【請求項１】
音声データに基づいた音声の話者の精神状態を前記音声から分析する精神状態分析手段と、
前記音声データにおける複数の期間のそれぞれの重要度を、前記精神状態分析手段によって分析された前記精神状態に応じて判定する精神状態方式重要度判定手段と、
前記精神状態方式重要度判定手段によって判定された前記重要度に基づいて前記音声データにおける重要な前記期間を抽出する重要期間抽出手段と、
前記重要期間抽出手段によって抽出された前記期間に応じた前記音声の内容を通知する重要内容通知手段と
を備えることを特徴とする音声処理システム。
【請求項２】
前記精神状態方式重要度判定手段とは異なる方式によって前記重要度を判定する少なくとも１つの他方式重要度判定手段を備え、
前記精神状態方式重要度判定手段および前記少なくとも１つの他方式重要度判定手段からなる複数の重要度判定手段は、互いに異なる方式によって前記重要度を判定し、
前記重要期間抽出手段は、前記複数の重要度判定手段のそれぞれによって判定された前記重要度に基づいて前記音声データにおける重要な前記期間を抽出することを特徴とする請求項１に記載の音声処理システム。
【請求項３】
前記重要度の判定の方式の有効または無効の指示を受け付ける方式指示受付手段を備え、
前記重要期間抽出手段は、前記方式指示受付手段によって有効の指示が受け付けられた方式に対応する前記重要度判定手段によって判定された前記重要度に基づいて前記音声データにおける重要な前記期間を抽出することを特徴とする請求項２に記載の音声処理システム。
【請求項４】
前記重要度の判定の方式毎に前記重要度の大きさの指示を受け付ける重要度指示受付手段を備え、
前記重要度判定手段は、前記重要度指示受付手段によって受け付けられた指示に応じた大きさで前記重要度を判定することを特徴とする請求項２または請求項３に記載の音声処理システム。
【請求項５】
前記重要内容通知手段は、前記重要期間抽出手段によって抽出された前記期間に応じた前記音声に対して音声認識によって生成されたテキストを表示することによって前記内容を通知し、
前記重要内容通知手段は、前記複数の重要度判定手段のそれぞれによって判定された前記重要度に応じた表示態様で前記テキストを表示することを特徴とする請求項２から請求項４までのいずれかに記載の音声処理システム。
【請求項６】
前記重要内容通知手段は、前記重要期間抽出手段によって抽出された前記期間に応じた前記音声に対して音声認識によって生成されたテキストを表示することによって前記内容を通知し、
前記重要内容通知手段は、前記テキストのうち表示する部分を絞り込むための閾値を受け付け、前記複数の重要度判定手段によって判定された前記重要度の合計が前記閾値以上である前記期間に応じた前記部分を表示することを特徴とする請求項２から請求項４までのいずれかに記載の音声処理システム。
【請求項７】
音声データに基づいた音声の話者の精神状態を前記音声から分析する精神状態分析手段と、
前記音声データにおける複数の期間のそれぞれの重要度を、前記精神状態分析手段によって分析された前記精神状態に応じて判定する精神状態方式重要度判定手段と、
前記精神状態方式重要度判定手段によって判定された前記重要度に基づいて前記音声データにおける重要な前記期間を抽出する重要期間抽出手段と、
前記重要期間抽出手段によって抽出された前記期間に応じた前記音声の内容を通知する重要内容通知手段と
をコンピューターに実現させることを特徴とする音声処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声データを処理する音声処理システムおよび音声処理プログラムに関する。
【背景技術】
【０００２】
従来の音声処理システムとして、音声データにおける複数の期間のうち、重要な期間を抽出するものが知られている（例えば、特許文献１、２参照。）。
【０００３】
特許文献１に記載された音声処理システムは、音声データにおける複数の期間のそれぞれの重要度を、音声データに含まれるキーワードに応じて判定する方式と、音声データにおける複数の期間のそれぞれの重要度を、音声データに基づいた音声の話者に応じて判定する方式とを採用している。
【０００４】
特許文献２に記載された音声処理システムは、音声データにおける複数の期間のそれぞれの重要度を、利用者による重要箇所の指示に応じて判定する方式を採用している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５０４５６７０号公報
【特許文献２】特許第５１０４７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載された音声処理システムにおいては、音声データにおける複数の期間のそれぞれの重要度の判定結果がキーワードの設定の影響を大きく受けるので、世の中に無数に存在する語の中から、適切なキーワードを設定することが利用者にとって困難であるという問題がある。
【０００７】
また、特許文献１に記載された音声処理システムにおいては、音声データにおける複数の期間のそれぞれの重要度の判定結果が話者の設定の影響を大きく受けるので、世の中に多数存在する人間の中から、適切な話者を設定することが利用者にとって困難であるという問題がある。
【０００８】
また、特許文献２に記載された音声処理システムにおいては、音声データにおける複数の期間のそれぞれの重要度の判定結果が利用者による重要箇所の指示の影響を大きく受けるので、重要箇所の指示が利用者にとって困難であるという問題がある。
【０００９】
そこで、本発明は、利用者の負担を軽減することができる音声処理システムおよび音声処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の音声処理システムは、音声データに基づいた音声の話者の精神状態を前記音声から分析する精神状態分析手段と、前記音声データにおける複数の期間のそれぞれの重要度を、前記精神状態分析手段によって分析された前記精神状態に応じて判定する精神状態方式重要度判定手段と、前記精神状態方式重要度判定手段によって判定された前記重要度に基づいて前記音声データにおける重要な前記期間を抽出する重要期間抽出手段と、前記重要期間抽出手段によって抽出された前記期間に応じた前記音声の内容を通知する重要内容通知手段とを備えることを特徴とする。
【００１１】
この構成により、本発明の音声処理システムは、音声データに基づいた音声の話者の精神状態を音声から自動で分析し、分析した精神状態に応じて、音声データにおける複数の期間のそれぞれの重要度を判定するので、利用者の負担を軽減することができる。
【００１２】
本発明の音声処理システムは、前記精神状態方式重要度判定手段とは異なる方式によって前記重要度を判定する少なくとも１つの他方式重要度判定手段を備え、前記精神状態方式重要度判定手段および前記少なくとも１つの他方式重要度判定手段からなる複数の重要度判定手段は、互いに異なる方式によって前記重要度を判定し、前記重要期間抽出手段は、前記複数の重要度判定手段のそれぞれによって判定された前記重要度に基づいて前記音声データにおける重要な前記期間を抽出しても良い。
【００１３】
この構成により、本発明の音声処理システムは、複数の方式のそれぞれによって判定した重要度に基づいて重要な期間を抽出するので、１つの方式のみによって判定した重要度に基づいて重要な期間を抽出する構成と比較して、より適切な期間を重要な期間として抽出することができる。
【００１４】
本発明の音声処理システムは、前記重要度の判定の方式の有効または無効の指示を受け付ける方式指示受付手段を備え、前記重要期間抽出手段は、前記方式指示受付手段によって有効の指示が受け付けられた方式に対応する前記重要度判定手段によって判定された前記重要度に基づいて前記音声データにおける重要な前記期間を抽出しても良い。
【００１５】
この構成により、本発明の音声処理システムは、利用者の好みの方式によって判定した重要度に基づいて重要な期間を抽出するので、利便性を向上することができる。
【００１６】
本発明の音声処理システムは、前記重要度の判定の方式毎に前記重要度の大きさの指示を受け付ける重要度指示受付手段を備え、前記重要度判定手段は、前記重要度指示受付手段によって受け付けられた指示に応じた大きさで前記重要度を判定しても良い。
【００１７】
この構成により、本発明の音声処理システムは、複数の方式のそれぞれによって判定される重要度の大きさを利用者の好みに応じて変更可能であるので、利便性を向上することができる。
【００１８】
本発明の音声処理システムにおいて、前記重要内容通知手段は、前記重要期間抽出手段によって抽出された前記期間に応じた前記音声に対して音声認識によって生成されたテキストを表示することによって前記内容を通知し、前記重要内容通知手段は、前記複数の重要度判定手段のそれぞれによって判定された前記重要度に応じた表示態様で前記テキストを表示しても良い。
【００１９】
この構成により、本発明の音声処理システムは、複数の方式のそれぞれによって判定した重要度をテキストの表示態様によって示すので、複数の方式のそれぞれによって判定した重要度を利用者に把握させることができる。
【００２０】
本発明の音声処理システムにおいて、前記重要内容通知手段は、前記重要期間抽出手段によって抽出された前記期間に応じた前記音声に対して音声認識によって生成されたテキストを表示することによって前記内容を通知し、前記重要内容通知手段は、前記テキストのうち表示する部分を絞り込むための閾値を受け付け、前記複数の重要度判定手段によって判定された前記重要度の合計が前記閾値以上である前記期間に応じた前記部分を表示しても良い。
【００２１】
この構成により、本発明の音声処理システムは、音声の内容のうち重要な内容を示すテキストのうち、更に重要な部分を利用者の好みに応じて表示するので、利便性を向上することができる。
【００２２】
本発明の音声処理プログラムは、音声データに基づいた音声の話者の精神状態を前記音声から分析する精神状態分析手段と、前記音声データにおける複数の期間のそれぞれの重要度を、前記精神状態分析手段によって分析された前記精神状態に応じて判定する精神状態方式重要度判定手段と、前記精神状態方式重要度判定手段によって判定された前記重要度に基づいて前記音声データにおける重要な前記期間を抽出する重要期間抽出手段と、前記重要期間抽出手段によって抽出された前記期間に応じた前記音声の内容を通知する重要内容通知手段とをコンピューターに実現させることを特徴とする。
【００２３】
この構成により、本発明の音声処理プログラムを実行するコンピューターは、音声データに基づいた音声の話者の精神状態を音声から自動で分析し、分析した精神状態に応じて、音声データにおける複数の期間のそれぞれの重要度を判定するので、利用者の負担を軽減することができる。
【発明の効果】
【００２４】
本発明の音声処理システムおよび音声処理プログラムは、利用者の負担を軽減することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施の形態に係る音声処理システムのブロック図である。
【図２】図１に示すコンピューターのブロック図である。
【図３】図２に示す判定方式情報の一例を示す図である。
【図４】図２に示す重要度情報の一例を示す図である。
【図５】重要度判定処理を実行する場合の図２に示すコンピューターの動作のフローチャートである。
【図６】図５に示す音声データ生成処理のフローチャートである。
【図７】図５に示すキーワード方式重要度判定処理のフローチャートである。
【図８】図５に示す精神状態方式重要度判定処理のフローチャートである。
【図９】図８に示す精神状態分析処理のフローチャートである。
【図１０】図５に示す利用者指示方式重要度判定処理のフローチャートである。
【図１１】重要内容通知処理を実行する場合の図２に示すコンピューターの動作のフローチャートである。
【発明を実施するための形態】
【００２６】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２７】
まず、本発明の一実施の形態に係る音声処理システムの構成について説明する。
【００２８】
図１は、本実施の形態に係る音声処理システム１０のブロック図である。
【００２９】
図１に示すように、音声処理システム１０は、コンピューター２０と、音声認識の機能をコンピューター２０に提供するクラウドサービスとしての音声認識サービス３０とを備えている。音声認識サービス３０は、１台以上のコンピューターによって構成されている。コンピューター２０と、音声認識サービス３０とは、インターネットなどのネットワーク１１を介して互いに通信可能に接続されている。
【００３０】
図２は、コンピューター２０のブロック図である。
【００３１】
図２に示すように、コンピューター２０は、種々の操作が入力される例えばキーボード、マウスなどの操作デバイスである操作部２１と、種々の情報を表示する例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などの表示デバイスである表示部２２と、音声が入力される音声入力デバイスであるマイク２３と、音声を出力する音声出力デバイスであるスピーカー２４と、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部２５と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などの不揮発性の記憶デバイスである記憶部２６と、コンピューター２０全体を制御する制御部２７とを備えている。コンピューター２０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）によって構成されても良い。
【００３２】
記憶部２６は、音声データを処理するための音声処理プログラム２６ａを記憶している。音声処理プログラム２６ａは、例えば、コンピューター２０の製造段階でコンピューター２０にインストールされていても良いし、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリーなどの外部の記憶媒体からコンピューター２０に追加でインストールされても良いし、ネットワーク上からコンピューター２０に追加でインストールされても良い。
【００３３】
記憶部２６は、音声データのファイルである音声ファイル２６ｂを記憶可能である。
【００３４】
記憶部２６は、音声データにおける複数の期間のそれぞれの重要度を判定するためのキーワードを示すキーワードリスト２６ｃを記憶している。キーワードリスト２６ｃには、デフォルトで特定の少なくとも１つのキーワードが示されていても良い。
【００３５】
記憶部２６は、重要度の判定の方式（以下「重要度判定方式」という。）の有効または無効を示す判定方式情報２６ｄを記憶している。
【００３６】
図３は、判定方式情報２６ｄの一例を示す図である。
【００３７】
図３に示す判定方式情報２６ｄは、重要度判定方式毎に有効または無効を示す。ここで、重要度判定方式には、例えば、キーワードに応じて重要度を判定するキーワード方式と、話者の精神状態に応じて重要度を判定する精神状態方式と、利用者の指示に応じて重要度を判定する利用者指示方式とが存在する。
【００３８】
図２に示すように、記憶部２６は、重要度を示す重要度情報２６ｅを記憶している。
【００３９】
図４は、重要度情報２６ｅの一例を示す図である。
【００４０】
図４に示す重要度情報２６ｅは、重要度判定方式毎に重要度を示す。
【００４１】
図２に示すように、記憶部２６は、話者の平常時の音声の音声データの音声ファイルとしての平常時音声ファイル２６ｆを記憶可能である。
【００４２】
記憶部２６は、音声データにおける重要な期間を判定するための重要期間判定用閾値を示す重要期間判定用閾値情報２６ｇと、音声データにおける重要な期間の直前の特定の期間の長さを示す前期間情報２６ｈと、音声データにおける重要な期間の直後の特定の期間の長さを示す後期間情報２６ｉとを記憶している。
【００４３】
制御部２７は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、プログラムおよび各種のデータを記憶しているＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、制御部２７のＣＰＵの作業領域として用いられるメモリーとしてのＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）とを備えている。制御部２７のＣＰＵは、記憶部２６または制御部２７のＲＯＭに記憶されているプログラムを実行する。
【００４４】
制御部２７は、音声処理プログラム２６ａを実行することによって、重要度判定方式の有効または無効の指示を受け付ける方式指示受付手段２７ａと、重要度判定方式毎に重要度の大きさの指示を受け付ける重要度指示受付手段２７ｂと、マイク２３に入力された音声の音声データを生成する音声データ生成手段２７ｃと、音声データにおける複数の期間のそれぞれの重要度をキーワードに応じて判定するキーワード方式重要度判定手段２７ｄと、音声データに基づいた音声の話者の精神状態を音声から分析する精神状態分析手段２７ｅと、音声データにおける複数の期間のそれぞれの重要度を話者の精神状態に応じて判定する精神状態方式重要度判定手段２７ｆと、音声データにおける複数の期間のそれぞれの重要度を利用者の指示に応じて判定する利用者指示方式重要度判定手段２７ｇと、キーワード方式重要度判定手段２７ｄ、精神状態方式重要度判定手段２７ｆおよび利用者指示方式重要度判定手段２７ｇのそれぞれによって判定された重要度に基づいて音声データにおける重要な期間を抽出する重要期間抽出手段２７ｈと、重要期間抽出手段２７ｈによって抽出された期間に応じた音声の内容を通知する重要内容通知手段２７ｉとを実現する。
【００４５】
ここで、キーワード方式重要度判定手段２７ｄおよび利用者指示方式重要度判定手段２７ｇは、精神状態方式重要度判定手段２７ｆとは異なる方式によって重要度を判定する手段であり、それぞれ、本発明の他方式重要度判定手段を構成している。また、キーワード方式重要度判定手段２７ｄ、精神状態方式重要度判定手段２７ｆおよび利用者指示方式重要度判定手段２７ｇは、それぞれ、本発明の重要度判定手段を構成している。
【００４６】
次に、音声処理システム１０の動作について説明する。
【００４７】
まず、重要度を判定する重要度判定処理を実行する前に各種の設定を実行する場合のコンピューター２０の動作について説明する。
【００４８】
方式指示受付手段２７ａは、重要度判定方式の有効または無効の指示を操作部２１または通信部２５を介して受け付け、受け付けた指示に応じて判定方式情報２６ｄを設定する。なお、方式指示受付手段２７ａは、有効であると設定される重要度判定方式が必ず１つは存在するように、重要度判定方式の有効または無効の指示を受け付ける。また、方式指示受付手段２７ａは、判定方式情報２６ｄにおいていずれかの重要度判定方式の有効または無効の設定を変更する場合に、重要度情報２６ｅに示される重要度判定方式毎の重要度の大きさと、重要期間判定用閾値情報２６ｇに示される重要期間判定用閾値との少なくとも一方を自動で変更しても良いし、重要度情報２６ｅに示される重要度判定方式毎の重要度の大きさと、重要期間判定用閾値情報２６ｇに示される重要期間判定用閾値との少なくとも一方の変更を促すメッセージを表示部２２またはスピーカー２４によって通知しても良い。
【００４９】
重要度指示受付手段２７ｂは、重要度判定方式毎に重要度の大きさの指示を操作部２１または通信部２５を介して受け付け、受け付けた指示に応じて重要度情報２６ｅを設定する。
【００５０】
キーワード方式重要度判定手段２７ｄは、操作部２１または通信部２５を介した指示に応じてキーワードリスト２６ｃに含まれるキーワードを編集する。なお、キーワード方式重要度判定手段２７ｄは、キーワードリスト２６ｃにキーワードを追加する場合、操作部２１または通信部２５を介して入力されたテキストで示されるキーワードをキーワードリスト２６ｃに追加しても良いし、マイク２３を介して入力された音声に対して音声認識サービス３０による音声認識によって生成されたテキストで示されるキーワードをキーワードリスト２６ｃに追加しても良い。
【００５１】
精神状態分析手段２７ｅは、操作部２１または通信部２５を介した指示に応じて平常時音声ファイル２６ｆを生成する。なお、精神状態分析手段２７ｅは、マイク２３を介して入力された音声に基づいて平常時音声ファイル２６ｆを生成しても良いし、通信部２５を介して入力された音声ファイルを平常時音声ファイル２６ｆとして記憶部２６に記憶しても良い。
【００５２】
次に、重要度判定処理を実行する場合のコンピューター２０の動作について説明する。
【００５３】
図５は、重要度判定処理を実行する場合のコンピューター２０の動作のフローチャートである。
【００５４】
利用者は、会話の音声など、任意の音声がマイク２３に入力されることが可能な状態で、重要度判定処理の開始を操作部２１または通信部２５を介して指示することができる。コンピューター２０の制御部２７は、重要度判定処理の開始が操作部２１または通信部２５を介して指示されると、図５に示す動作を実行する。
【００５５】
図５に示すように、音声データ生成手段２７ｃは、マイク２３に入力された音声の音声データを生成する音声データ生成処理を開始する（Ｓ１０１）。
【００５６】
図６は、図５に示す音声データ生成処理のフローチャートである。
【００５７】
図６に示すように、音声データ生成手段２７ｃは、生成した音声データを音声ファイル２６ｂに記憶する処理を開始する（Ｓ１２１）。なお、音声データ生成手段２７ｃは、音声データ生成処理を実行する度に新たな音声ファイル２６ｂを生成する。
【００５８】
音声データ生成手段２７ｃは、Ｓ１２１の処理の後、音声データ生成処理の終了の条件を満たすと判断するまで、音声データ生成処理の終了の条件を満たすか否かを判断する（Ｓ１２２）。ここで、音声データ生成処理の終了の条件は、例えば、音声データ生成処理の終了が操作部２１または通信部２５を介して指示されたという条件である。
【００５９】
音声データ生成手段２７ｃは、音声データ生成処理の終了の条件を満たすとＳ１２２において判断すると、音声データの生成を終了し（Ｓ１２３）、生成した全ての音声データを音声ファイル２６ｂに記憶したと判断するまで、全ての音声データを音声ファイル２６ｂに記憶したか否かを判断する（Ｓ１２４）。
【００６０】
音声データ生成手段２７ｃは、全ての音声データを音声ファイル２６ｂに記憶したとＳ１２４において判断すると、図６に示す音声データ生成処理を終了する。
【００６１】
図５に示すように、キーワード方式重要度判定手段２７ｄは、Ｓ１０１の処理の後、判定方式情報２６ｄにおいてキーワード方式が有効として示されているか否かを判断する（Ｓ１０２）。
【００６２】
キーワード方式重要度判定手段２７ｄは、判定方式情報２６ｄにおいてキーワード方式が有効として示されているとＳ１０２において判断すると、音声データ生成手段２７ｃによって生成された音声データ（以下「入力音声データ」という。）における複数の期間のそれぞれの重要度をキーワードに応じて判定するキーワード方式重要度判定処理を開始する（Ｓ１０３）。
【００６３】
図７は、図５に示すキーワード方式重要度判定処理のフローチャートである。
【００６４】
図７に示すように、キーワード方式重要度判定手段２７ｄは、キーワードリスト２６ｃに含まれるいずれかのキーワードに対応する音声波形と同一または特定の程度の類似の音声波形（以下「キーワード音声波形」という。）が入力音声データに基づいた音声波形に含まれるか否かを判断する（Ｓ１４１）。
【００６５】
キーワード方式重要度判定手段２７ｄは、キーワード音声波形が入力音声データに基づいた音声波形に含まれるとＳ１４１において判断すると、このキーワード音声波形の終了時が、入力音声データに基づいた音声の期間を特定の期間（以下「単位期間」という。）毎に分割した場合のいずれの単位期間に含まれるかを特定する（Ｓ１４２）。ここで、単位期間は、例えば１秒間である。
【００６６】
キーワード方式重要度判定手段２７ｄは、Ｓ１４２の処理の後、Ｓ１４２において特定した単位期間の重要度を、重要度情報２６ｅに示されるキーワード方式の重要度と同一の重要度に設定し（Ｓ１４３）、Ｓ１４１の処理を実行する。
【００６７】
キーワード方式重要度判定手段２７ｄは、キーワード音声波形が入力音声データに基づいた音声波形に含まれないとＳ１４１において判断すると、Ｓ１０１において開始された音声データ生成処理による音声データの生成が終了したか否かを判断する（Ｓ１４４）。
【００６８】
キーワード方式重要度判定手段２７ｄは、音声データ生成処理による音声データの生成が終了したとＳ１４４において判断すると、この音声データ生成処理による最終的な入力音声データの全てに対してＳ１４１の処理を実行したか否かを判断する（Ｓ１４５）。
【００６９】
キーワード方式重要度判定手段２７ｄは、音声データ生成処理による音声データの生成が終了していないとＳ１４４において判断するか、音声データ生成処理による最終的な入力音声データの全てに対してＳ１４１の処理を実行していないとＳ１４５において判断すると、Ｓ１４１の処理を実行する。
【００７０】
キーワード方式重要度判定手段２７ｄは、音声データ生成処理による最終的な入力音声データの全てに対してＳ１４１の処理を実行したとＳ１４５において判断すると、図７に示すキーワード方式重要度判定処理を終了する。
【００７１】
図５に示すように、精神状態方式重要度判定手段２７ｆは、判定方式情報２６ｄにおいてキーワード方式が有効として示されていないとＳ１０２において判断するか、Ｓ１０３の処理を実行すると、判定方式情報２６ｄにおいて精神状態方式が有効として示されているか否かを判断する（Ｓ１０４）。
【００７２】
精神状態方式重要度判定手段２７ｆは、判定方式情報２６ｄにおいて精神状態方式が有効として示されているとＳ１０４において判断すると、入力音声データにおける複数の期間のそれぞれの重要度を話者の精神状態に応じて判定する精神状態方式重要度判定処理を開始する（Ｓ１０５）。
【００７３】
図８は、図５に示す精神状態方式重要度判定処理のフローチャートである。
【００７４】
図８に示すように、精神状態方式重要度判定手段２７ｆは、入力音声データに基づいた音声の期間のうち、最初の単位期間のみを対象にする（Ｓ１６１）。
【００７５】
次いで、精神状態分析手段２７ｅは、入力音声データに基づいた音声の話者の精神状態を対象の単位期間について分析する精神状態分析処理を実行する（Ｓ１６２）。
【００７６】
図９は、図８に示す精神状態分析処理のフローチャートである。
【００７７】
図９に示すように、精神状態分析手段２７ｅは、入力音声データに基づいた音声における声の高さが、平常時音声ファイル２６ｆに基づいた、話者の平常時の音声における声の高さを含む特定の範囲に存在するか否かを、対象の単位期間について判断する（Ｓ１８１）。
【００７８】
精神状態分析手段２７ｅは、入力音声データに基づいた音声における声の高さが話者の平常時の音声における声の高さを含む特定の範囲に存在するとＳ１８１において判断すると、入力音声データに基づいた音声における声の大きさが、平常時音声ファイル２６ｆに基づいた、話者の平常時の音声における声の大きさを含む特定の範囲に存在するか否かを、対象の単位期間について判断する（Ｓ１８２）。
【００７９】
精神状態分析手段２７ｅは、入力音声データに基づいた音声における声の大きさが話者の平常時の音声における声の大きさを含む特定の範囲に存在するとＳ１８２において判断すると、入力音声データに基づいた音声における話す速さが、平常時音声ファイル２６ｆに基づいた、話者の平常時の音声における話す速さを含む特定の範囲に存在するか否かを、対象の単位期間について判断する（Ｓ１８３）。
【００８０】
精神状態分析手段２７ｅは、入力音声データに基づいた音声における話す速さが話者の平常時の音声における話す速さを含む特定の範囲に存在するとＳ１８３において判断すると、対象の単位期間における話者の精神状態が平常時と同様であると判定し（Ｓ１８４）、図９に示す動作を終了する。
【００８１】
精神状態分析手段２７ｅは、入力音声データに基づいた音声における声の高さが話者の平常時の音声における声の高さを含む特定の範囲に存在しないとＳ１８１において判断するか、入力音声データに基づいた音声における声の大きさが話者の平常時の音声における声の大きさを含む特定の範囲に存在しないとＳ１８２において判断するか、入力音声データに基づいた音声における話す速さが話者の平常時の音声における話す速さを含む特定の範囲に存在しないとＳ１８３において判断すると、対象の単位期間における話者の精神状態が平常時と同様ではないと判定し（Ｓ１８５）、図９に示す動作を終了する。
【００８２】
図８に示すように、精神状態方式重要度判定手段２７ｆは、Ｓ１６２の処理の後、対象の単位期間における話者の精神状態が平常時と同様であるとＳ１６２において判定されたか否かを判断する（Ｓ１６３）。
【００８３】
精神状態方式重要度判定手段２７ｆは、対象の単位期間における話者の精神状態が平常時と同様であるとＳ１６２において判定されなかったとＳ１６３において判断すると、対象の単位期間の重要度を、重要度情報２６ｅに示される精神状態方式の重要度と同一の重要度に設定する（Ｓ１６４）。
【００８４】
精神状態方式重要度判定手段２７ｆは、対象の単位期間における話者の精神状態が平常時と同様であるとＳ１６２において判定されたとＳ１６３において判断するか、Ｓ１６４の処理が終了すると、Ｓ１０１において開始された音声データ生成処理による音声データの生成が終了したか否かを判断する（Ｓ１６５）。
【００８５】
精神状態方式重要度判定手段２７ｆは、音声データ生成処理による音声データの生成が終了したとＳ１６５において判断すると、この音声データ生成処理による最終的な入力音声データの全ての単位期間のうち未だ対象にしていない単位期間が存在するか否かを判断する（Ｓ１６６）。
【００８６】
精神状態方式重要度判定手段２７ｆは、音声データ生成処理による音声データの生成が終了していないとＳ１６５において判断するか、音声データ生成処理による最終的な入力音声データの全ての単位期間のうち未だ対象にしていない単位期間が存在するとＳ１６６において判断すると、対象の単位期間の次の単位期間が存在すると判断するまで、対象の単位期間の次の単位期間が存在するか否かを判断する（Ｓ１６７）。
【００８７】
精神状態方式重要度判定手段２７ｆは、対象の単位期間の次の単位期間が存在するとＳ１６７において判断すると、対象の単位期間の次の単位期間のみを新たな対象にして（Ｓ１６８）、Ｓ１６２の処理を実行する。
【００８８】
精神状態方式重要度判定手段２７ｆは、音声データ生成処理による最終的な入力音声データの全ての単位期間のうち未だ対象にしていない単位期間が存在しないとＳ１６６において判断すると、図８に示す精神状態方式重要度判定処理を終了する。
【００８９】
図５に示すように、利用者指示方式重要度判定手段２７ｇは、判定方式情報２６ｄにおいて精神状態方式が有効として示されていないとＳ１０４において判断するか、Ｓ１０５の処理を実行すると、判定方式情報２６ｄにおいて利用者指示方式が有効として示されているか否かを判断する（Ｓ１０６）。
【００９０】
利用者指示方式重要度判定手段２７ｇは、判定方式情報２６ｄにおいて利用者指示方式が有効として示されているとＳ１０６において判断すると、入力音声データにおける複数の期間のそれぞれの重要度を利用者の指示に応じて判定する利用者指示方式重要度判定処理を開始する（Ｓ１０７）。
【００９１】
図１０は、図５に示す利用者指示方式重要度判定処理のフローチャートである。
【００９２】
図１０に示すように、利用者指示方式重要度判定手段２７ｇは、利用者による重要箇所の指示が操作部２１または通信部２５を介して入力されたか否かを判断する（Ｓ２０１）。
【００９３】
利用者指示方式重要度判定手段２７ｇは、利用者による重要箇所の指示が操作部２１または通信部２５を介して入力されたとＳ２０１において判断すると、利用者による重要箇所の指示が操作部２１または通信部２５を介して入力された時が含まれる単位期間を特定する（Ｓ２０２）。
【００９４】
次いで、利用者指示方式重要度判定手段２７ｇは、Ｓ２０２において特定した単位期間の重要度を、重要度情報２６ｅに示される利用者指示方式の重要度と同一の重要度に設定し（Ｓ２０３）、Ｓ２０１の処理を実行する。
【００９５】
利用者指示方式重要度判定手段２７ｇは、利用者による重要箇所の指示が操作部２１または通信部２５を介して入力されなかったとＳ２０１において判断すると、Ｓ１０１において開始された音声データ生成処理による音声データの生成が終了したか否かを判断する（Ｓ２０４）。
【００９６】
利用者指示方式重要度判定手段２７ｇは、音声データ生成処理による音声データの生成が終了していないとＳ２０４において判断すると、Ｓ２０１の処理を実行する。
【００９７】
利用者指示方式重要度判定手段２７ｇは、音声データ生成処理による音声データの生成が終了したとＳ２０４において判断すると、図１０に示す利用者指示方式重要度判定処理を終了する。
【００９８】
図５に示すように、重要期間抽出手段２７ｈは、判定方式情報２６ｄにおいて利用者指示方式が有効として示されていないとＳ１０６において判断するか、Ｓ１０７の処理が終了すると、Ｓ１０３において開始されたキーワード方式重要度判定処理と、Ｓ１０５において開始された精神状態方式重要度判定処理と、Ｓ１０７において開始された利用者指示方式重要度判定処理との全てが終了したと判断するまで、キーワード方式重要度判定処理、精神状態方式重要度判定処理および利用者指示方式重要度判定処理の全てが終了したか否かを判断する（Ｓ１０８）。
【００９９】
重要期間抽出手段２７ｈは、キーワード方式重要度判定処理、精神状態方式重要度判定処理および利用者指示方式重要度判定処理の全てが終了したとＳ１０８において判断すると、キーワード方式重要度判定処理によって判定された重要度と、精神状態方式重要度判定処理によって判定された重要度と、利用者指示方式重要度判定処理によって判定された重要度とを、単位期間毎に加算して（Ｓ１０９）、図５に示す重要度判定処理を終了する。
【０１００】
次に、重要な音声の内容を通知する重要内容通知処理を実行する前に各種の設定を実行する場合のコンピューター２０の動作について説明する。
【０１０１】
重要期間抽出手段２７ｈは、重要期間判定用閾値の指示を操作部２１または通信部２５を介して受け付け、受け付けた指示に応じて重要期間判定用閾値情報２６ｇを設定する。
【０１０２】
重要内容通知手段２７ｉは、音声データにおける重要な期間の直前の特定の期間の長さの指示を操作部２１または通信部２５を介して受け付け、受け付けた指示に応じて前期間情報２６ｈを設定する。
【０１０３】
重要内容通知手段２７ｉは、音声データにおける重要な期間の直後の特定の期間の長さの指示を操作部２１または通信部２５を介して受け付け、受け付けた指示に応じて後期間情報２６ｉを設定する。
【０１０４】
次に、重要内容通知処理を実行する場合のコンピューター２０の動作について説明する。
【０１０５】
図１１は、重要内容通知処理を実行する場合のコンピューター２０の動作のフローチャートである。
【０１０６】
コンピューター２０の制御部２７は、図５に示す重要度判定処理の終了後、重要内容通知処理の開始が操作部２１または通信部２５を介して指示されると、図１１に示す動作を実行する。
【０１０７】
図１１に示すように、重要期間抽出手段２７ｈは、Ｓ１０９の処理で算出した重要度が、重要期間判定用閾値情報２６ｇに示される閾値以上である単位期間を特定する（Ｓ２２１）。
【０１０８】
次いで、重要内容通知手段２７ｉは、Ｓ２２１において特定された単位期間の開始時に対して前期間情報２６ｈに示される期間前の時点を開始時とするとともに、Ｓ２２１において特定された単位期間の終了時に対して後期間情報２６ｉに示される期間後の時点を終了時とする音声データを、図５に示す重要度判定処理において生成された音声ファイル２６ｂから取得する（Ｓ２２２）。
【０１０９】
次いで、重要内容通知手段２７ｉは、Ｓ２２２において取得した音声データに基づいた音声をスピーカー２４によって出力することを開始する（Ｓ２２３）。
【０１１０】
次いで、重要内容通知手段２７ｉは、Ｓ２２２において取得した音声データを音声認識サービス３０に送信することによって、この音声データに基づいた音声に対する音声認識を音声認識サービス３０に依頼する（Ｓ２２４）。
【０１１１】
次いで、重要内容通知手段２７ｉは、音声認識サービス３０による音声認識によって生成されたテキストを表示部２２に表示して（Ｓ２２５）、図１１に示す重要内容通知処理を終了する。
【０１１２】
なお、重要内容通知手段２７ｉは、Ｓ２２５において表示部２２に表示するテキストの表示態様として、キーワード方式重要度判定処理、精神状態方式重要度判定処理および利用者指示方式重要度判定処理のそれぞれにおいて判定された重要度に応じた色およびフォントを採用しても良い。音声処理システム１０は、キーワード方式重要度判定処理、精神状態方式重要度判定処理および利用者指示方式重要度判定処理のそれぞれにおいて判定された重要度に応じた表示態様でテキストを表示することによって、複数の方式のそれぞれによって判定した重要度をテキストの表示態様によって示すので、複数の方式のそれぞれによって判定した重要度を利用者に把握させることができる。
【０１１３】
また、重要内容通知手段２７ｉは、Ｓ２２５において表示部２２に表示したテキストのうち表示する部分を絞り込むための閾値（以下「絞込用閾値」という。）を操作部２１または通信部２５を介して受け付けても良い。重要内容通知手段２７ｉは、絞込用閾値を受け付ける場合、Ｓ１０９の処理で算出された重要度が絞込用閾値以上である期間に応じた部分を表示する。例えば、重要内容通知手段２７ｉは、Ｓ１０９の処理で算出された重要度が絞込用閾値以上である期間に応じた部分を含む文章のみを表示する。この構成により、音声処理システム１０は、音声の内容のうち重要な内容を示すテキストのうち、更に重要な部分を利用者の好みに応じて表示するので、利便性を向上することができる。
【０１１４】
以上に説明したように、音声処理システム１０は、音声データに基づいた音声の話者の精神状態を音声から自動で分析し（Ｓ１６２）、分析した精神状態に応じて、音声データにおける複数の期間のそれぞれの重要度を判定する（Ｓ１６３およびＳ１６４）ので、利用者の負担を軽減することができる。
【０１１５】
音声処理システム１０は、複数の重要度判定方式のそれぞれによって判定した重要度に基づいて重要な期間を抽出する（Ｓ１０９およびＳ２２１）ので、１つの重要度判定方式のみによって判定した重要度に基づいて重要な期間を抽出する構成と比較して、より適切な期間を重要な期間として抽出することができる。
【０１１６】
音声処理システム１０は、重要度判定方式の有効または無効の指示を方式指示受付手段２７ａによって受け付けることによって、利用者の好みの重要度判定方式によって判定した重要度に基づいて重要な期間を抽出するので、利便性を向上することができる。
【０１１７】
音声処理システム１０は、重要度判定方式毎に重要度の大きさの指示を重要度指示受付手段２７ｂによって受け付けることによって、複数の重要度判定方式のそれぞれによって判定される重要度の大きさを利用者の好みに応じて変更可能であるので、利便性を向上することができる。
【０１１８】
音声処理システム１０は、重要な期間に応じた音声データをテキスト化する（Ｓ２２２およびＳ２２４）ので、全ての音声データをテキスト化する構成と比較して、コンピューター２０と、音声認識サービス３０との間の音声データの通信量と、利用者がテキストを確認する時間とを抑えることができる。
【０１１９】
音声処理システム１０は、本実施の形態において、音声の重要な内容を音声およびテキストの両方によって通知する（Ｓ２２３およびＳ２２５）。しかしながら、音声処理システム１０は、音声の重要な内容を音声およびテキストのいずれか１つのみによって通知しても良い。
【０１２０】
音声処理システム１０は、本実施の形態において、重要度判定処理の前に平常時音声ファイル２６ｆが用意される必要がある。しかしながら、音声処理システム１０は、話者の平常時の音声の音声データを精神状態分析処理における最初の特定の時間に取得しても良い。
【０１２１】
精神状態分析手段２７ｅは、本実施の形態において、話者の精神状態が平常時と同様であるか否かを図９に示す精神状態分析処理によって判定する。しかしながら、精神状態分析手段２７ｅは、公知の感情分析技術によって音声に基づいて分析された、話者の感情に基づいて、話者の精神状態が平常時と同様であるか否かを判定しても良い。
【０１２２】
精神状態方式重要度判定手段２７ｆは、本実施の形態において、話者の精神状態が平常時と同様ではない場合（Ｓ１６３でＮＯ）に重要度を上げる（Ｓ１６４）。しかしながら、精神状態方式重要度判定手段２７ｆは、話者の精神状態が平常時と同様ではないというだけでなく、話者の感情が特定の感情である場合に重要度を上げても良い。
【０１２３】
本発明の音声処理システムは、本実施の形態において図１に示す構成であるが、図１に示す構成以外の構成でも良い。例えば、本発明の音声処理システムは、音声認識サービス３０によって提供される音声認識の機能を、コンピューター２０と同一のＬＡＮ上のサーバーが備えることによって、このサーバーと、コンピューター２０とによって構成されても良いし、音声認識サービス３０によって提供される音声認識の機能をコンピューター２０が備えることによって、コンピューター２０のみによって構成されても良い。
【符号の説明】
【０１２４】
１０  音声処理システム
２０  コンピューター
２６ａ  音声処理プログラム
２７ａ  方式指示受付手段
２７ｂ  重要度指示受付手段
２７ｄ  キーワード方式重要度判定手段（他方式重要度判定手段、重要度判定手段）
２７ｅ  精神状態分析手段
２７ｆ  精神状態方式重要度判定手段（重要度判定手段）
２７ｇ  利用者指示方式重要度判定手段（他方式重要度判定手段、重要度判定手段）
２７ｈ  重要期間抽出手段
２７ｉ  重要内容通知手段
【図１】
2019204420.tif 000003
【図２】
2019204420.tif 000004
【図３】
2019204420.tif 000005
【図４】
2019204420.tif 000006
【図５】
2019204420.tif 000007
【図６】
2019204420.tif 000008
【図７】
2019204420.tif 000009
【図８】
2019204420.tif 000010
【図９】
2019204420.tif 000011
【図１０】
2019204420.tif 000012
【図１１】
2019204420.tif 000013