(57)【要約】【課題】  議事録における重要な内容を利用者に容易に理解させることができる議事録生成システムおよび議事録生成プログラムを提供する。【解決手段】  音声データから音声認識によって文字データとしての議事録を生成し、議事録に含まれる用語の重要度を判定し、重要度に基づいた出力内容で用語を出力する議事録生成システムは、音声データにおける音声の音調の変化と、音声データにおける音声の音量の変化と、音声データにおける賛同を示す賛同用語の存在とに基づいて音声データにおける重要な期間を特定し、重要な期間に含まれる用語の重要度を、重要な期間に含まれない用語の重要度より高く判定する（Ｓ５４〜Ｓ５６）ことを特徴とする。【選択図】  図２
2020042229.tif 000002
【特許請求の範囲】
【請求項１】
音声データから音声認識によって文字データとしての議事録を生成する議事録生成部と、
前記議事録に含まれる用語の重要度を判定する重要度判定部と、
前記重要度に基づいた出力内容で前記用語を出力する用語出力部と
を備え、
前記重要度判定部は、前記音声データにおける音声の音調の変化と、前記音声データにおける音声の音量の変化と、前記音声データにおける賛同を示す賛同用語の存在との少なくとも１つに基づいて前記音声データにおける重要な期間を特定し、前記重要な期間に含まれる前記用語の前記重要度を、前記重要な期間に含まれない前記用語の前記重要度より高く判定することを特徴とする議事録生成システム。
【請求項２】
前記用語出力部は、前記重要度が特定の程度以上である前記用語を強調した状態で前記議事録を出力することを特徴とする請求項１に記載の議事録生成システム。
【請求項３】
前記用語出力部は、前記重要度の大きさ順に、または、前記重要度が特定の程度以上である前記用語を強調した状態で、前記用語の一覧を出力することを特徴とする請求項１に記載の議事録生成システム。
【請求項４】
前記用語出力部は、前記音声データにおける音声の音調の変化に基づいた値を示す軸と、前記音声データにおける音声の音量の変化に基づいた値を示す軸と、前記音声データにおける前記賛同用語の存在に基づいた値を示す軸とのうち、少なくとも２軸によって構成される空間上に、前記重要度が特定の程度以上である前記用語を配置したマップを出力することを特徴とする請求項１に記載の議事録生成システム。
【請求項５】
前記用語出力部は、前記重要度が特定の程度以上である前記用語同士の相互の関係を示す相互関係図を出力し、
前記相互関係図は、前記音声データにおいて同一の前記重要な期間に含まれる前記用語同士が相互に関係があることを示すことを特徴とする請求項１に記載の議事録生成システム。
【請求項６】
前記用語出力部は、前記重要度が特定の程度以上である前記用語が含まれるフレーズまたは文を前記議事録から抽出して出力することを特徴とする請求項１に記載の議事録生成システム。
【請求項７】
音声データから音声認識によって文字データとしての議事録を生成する議事録生成部と、
前記議事録に含まれる用語の重要度を判定する重要度判定部と、
前記重要度に基づいた出力内容で前記用語を出力する用語出力部と
をコンピューターに実現させ、
前記重要度判定部は、前記音声データにおける音声の音調の変化と、前記音声データにおける音声の音量の変化と、前記音声データにおける賛同を示す賛同用語の存在との少なくとも１つに基づいて前記音声データにおける重要な期間を特定し、前記重要な期間に含まれる前記用語の前記重要度を、前記重要な期間に含まれない前記用語の前記重要度より高く判定することを特徴とする議事録生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声データから音声認識によって文字データとしての議事録を生成する議事録生成システムおよび議事録生成プログラムに関する。
【背景技術】
【０００２】
従来、音声データから音声認識によって文字データとしての議事録を生成する議事録生成システムが知られている（例えば、特許文献１−３参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−３５２９９５号公報
【特許文献２】特開２００６−２６７９３４号公報
【特許文献３】特開２０１４−１７８９３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の議事録生成システムにおいては、議事録における重要な内容を利用者に容易に理解させることが困難であるという問題がある。
【０００５】
そこで、本発明は、議事録における重要な内容を利用者に容易に理解させることができる議事録生成システムおよび議事録生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の議事録生成システムは、音声データから音声認識によって文字データとしての議事録を生成する議事録生成部と、前記議事録に含まれる用語の重要度を判定する重要度判定部と、前記重要度に基づいた出力内容で前記用語を出力する用語出力部とを備え、前記重要度判定部は、前記音声データにおける音声の音調の変化と、前記音声データにおける音声の音量の変化と、前記音声データにおける賛同を示す賛同用語の存在との少なくとも１つに基づいて前記音声データにおける重要な期間を特定し、前記重要な期間に含まれる前記用語の前記重要度を、前記重要な期間に含まれない前記用語の前記重要度より高く判定することを特徴とする。
【０００７】
この構成により、本発明の議事録生成システムは、音声データにおける音声の音調の変化と、音声データにおける音声の音量の変化と、音声データにおける賛同を示す賛同用語の存在との少なくとも１つに基づいて音声データにおける重要な期間を特定し、重要な期間に含まれる用語の重要度を、重要な期間に含まれない用語の重要度より高く判定し、重要度に基づいた出力内容で用語を出力するので、議事録における重要な用語を利用者に容易に理解させることができ、その結果、議事録における重要な内容を利用者に容易に理解させることができる。
【０００８】
本発明の議事録生成システムにおいて、前記用語出力部は、前記重要度が特定の程度以上である前記用語を強調した状態で前記議事録を出力しても良い。
【０００９】
この構成により、本発明の議事録生成システムは、議事録における重要な用語を議事録上で利用者に容易に理解させることができるので、議事録における重要な内容を利用者に容易に理解させることができる。
【００１０】
本発明の議事録生成システムにおいて、前記用語出力部は、前記重要度の大きさ順に、または、前記重要度が特定の程度以上である前記用語を強調した状態で、前記用語の一覧を出力しても良い。
【００１１】
この構成により、本発明の議事録生成システムは、議事録における重要な用語を用語の一覧上で利用者に容易に理解させることができるので、議事録における重要な内容を利用者に容易に理解させることができる。
【００１２】
本発明の議事録生成システムにおいて、前記用語出力部は、前記音声データにおける音声の音調の変化に基づいた値を示す軸と、前記音声データにおける音声の音量の変化に基づいた値を示す軸と、前記音声データにおける前記賛同用語の存在に基づいた値を示す軸とのうち、少なくとも２軸によって構成される空間上に、前記重要度が特定の程度以上である前記用語を配置したマップを出力しても良い。
【００１３】
この構成により、本発明の議事録生成システムは、音声データにおける音声の音調の変化に基づいた値を示す軸と、音声データにおける音声の音量の変化に基づいた値を示す軸と、音声データにおける賛同用語の存在に基づいた値を示す軸とのうち、少なくとも２軸によって構成される空間上に用語を配置したマップ上で、議事録における重要な用語の重要度の詳細な内容を利用者に容易に理解させることができるので、議事録における重要な内容を利用者に容易に理解させることができる。
【００１４】
本発明の議事録生成システムにおいて、前記用語出力部は、前記重要度が特定の程度以上である前記用語同士の相互の関係を示す相互関係図を出力し、前記相互関係図は、前記音声データにおいて同一の前記重要な期間に含まれる前記用語同士が相互に関係があることを示しても良い。
【００１５】
この構成により、本発明の議事録生成システムは、用語同士の相互の関係を示す相互関係図上で、議事録における重要な用語同士の相互の関係を利用者に容易に理解させることができるので、議事録における重要な内容を利用者に容易に理解させることができる。
【００１６】
本発明の議事録生成システムにおいて、前記用語出力部は、前記重要度が特定の程度以上である前記用語が含まれるフレーズまたは文を前記議事録から抽出して出力しても良い。
【００１７】
この構成により、本発明の議事録生成システムは、重要度が特定の程度以上である用語が含まれるフレーズまたは文を議事録から抽出して出力するので、議事録における重要なフレーズまたは文を利用者に容易に理解させることができ、その結果、議事録における重要な内容を利用者に容易に理解させることができる。
【００１８】
本発明の議事録生成プログラムは、音声データから音声認識によって文字データとしての議事録を生成する議事録生成部と、前記議事録に含まれる用語の重要度を判定する重要度判定部と、前記重要度に基づいた出力内容で前記用語を出力する用語出力部とをコンピューターに実現させ、前記重要度判定部は、前記音声データにおける音声の音調の変化と、前記音声データにおける音声の音量の変化と、前記音声データにおける賛同を示す賛同用語の存在との少なくとも１つに基づいて前記音声データにおける重要な期間を特定し、前記重要な期間に含まれる前記用語の前記重要度を、前記重要な期間に含まれない前記用語の前記重要度より高く判定することを特徴とする。
【００１９】
この構成により、本発明の議事録生成プログラムを実行するコンピューターは、音声データにおける音声の音調の変化と、音声データにおける音声の音量の変化と、音声データにおける賛同を示す賛同用語の存在との少なくとも１つに基づいて音声データにおける重要な期間を特定し、重要な期間に含まれる用語の重要度を、重要な期間に含まれない用語の重要度より高く判定し、重要度に基づいた出力内容で用語を出力するので、議事録における重要な用語を利用者に容易に理解させることができ、その結果、議事録における重要な内容を利用者に容易に理解させることができる。
【発明の効果】
【００２０】
本発明の議事録生成システムおよび議事録生成プログラムは、議事録における重要な内容を利用者に容易に理解させることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施の形態に係る議事録生成システムのブロック図である。
【図２】会議の音声データに基づいて議事録を生成する場合の図１に示す議事録生成システムの動作のフローチャートである。
【図３】図２に示す音調式重要度判定処理のフローチャートである。
【図４】図２に示す音量式重要度判定処理のフローチャートである。
【図５】図２に示す賛同用語式重要度判定処理のフローチャートである。
【図６】議事録を出力する場合の図１に示す議事録生成システムの動作のフローチャートである。
【図７】図１に示す表示部に表示される２次元マップの一例である。
【図８】図１に示す表示部に表示される相互関係図の一例である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２３】
まず、本発明の一実施の形態に係る議事録生成システムの構成について説明する。
【００２４】
図１は、本実施の形態に係る議事録生成システム１０のブロック図である。
【００２５】
図１に示すように、議事録生成システム１０は、種々の操作が入力される例えばキーボード、マウスなどの操作デバイスである操作部１１と、種々の情報を表示する例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などの表示デバイスである表示部１２と、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部１３と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などの不揮発性の記憶デバイスである記憶部１４と、議事録生成システム１０全体を制御する制御部１５とを備えている。議事録生成システム１０は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）などのコンピューターによって構成されている。
【００２６】
記憶部１４は、議事録を生成するための議事録生成プログラム１４ａを記憶している。議事録生成プログラム１４ａは、例えば、議事録生成システム１０の製造段階で議事録生成システム１０にインストールされていても良いし、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリーなどの外部の記憶媒体から議事録生成システム１０に追加でインストールされても良いし、ネットワーク上から議事録生成システム１０に追加でインストールされても良い。
【００２７】
記憶部１４は、議事録のデータ（以下「議事録データ」という。）１４ｂを記憶可能である。記憶部１４は、議事録データ１４ｂ以外にも、議事録データを少なくとも１つ記憶可能である。
【００２８】
記憶部１４は、例えば「なるほど」、「いいね」などの賛同を示す用語（以下「賛同用語」という。）が登録される賛同用語データベース１４ｃを記憶している。
【００２９】
記憶部１４は、会議に参加する可能性がある者の音声の特徴を発声者毎に示す音声特徴情報１４ｄを記憶可能である。
【００３０】
制御部１５は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、プログラムおよび各種のデータを記憶しているＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、制御部１５のＣＰＵの作業領域として用いられるメモリーとしてのＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）とを備えている。制御部１５のＣＰＵは、記憶部１４または制御部１５のＲＯＭに記憶されているプログラムを実行する。
【００３１】
制御部１５は、議事録生成プログラム１４ａを実行することによって、音声データから音声認識によって文字データとしての議事録を生成する議事録生成部１５ａと、議事録に含まれる用語の重要度を判定する重要度判定部１５ｂと、重要度に基づいた出力内容で用語を出力する用語出力部１５ｃとを実現する。
【００３２】
次に、議事録生成システム１０の動作について説明する。
【００３３】
まず、会議の音声データに基づいて議事録を生成する場合の議事録生成システム１０の動作について説明する。
【００３４】
図２は、会議の音声データに基づいて議事録を生成する場合の議事録生成システム１０の動作のフローチャートである。
【００３５】
利用者は、議事録の生成の基になる音声データ（以下「対象音声データ」という。）を操作部１１を介して指定して、議事録生成システム１０に議事録の生成を操作部１１を介して指示することができる。議事録生成システム１０の議事録生成部１５ａは、議事録の生成が指示されると、図２に示す動作を実行する。
【００３６】
図２に示すように、議事録生成部１５ａは、音声特徴情報１４ｄを利用して対象音声データに対して音声認識を実行することによって、対象音声データに含まれる音声の発声者を全て検出する（Ｓ５１）。
【００３７】
次いで、議事録生成部１５ａは、対象音声データに対して音声認識を実行することによって、対象音声データから文字データを生成する（Ｓ５２）。ここで、議事録生成部１５ａは、対象音声データから文字データを生成する場合、対象音声データから生成した文字データにおけるいずれの文字が、Ｓ５１において検出したいずれの発声者による発言に基づいた文字であるかも特定する。
【００３８】
次いで、重要度判定部１５ｂは、Ｓ５２において生成した文字データに含まれる用語を抽出する（Ｓ５３）。重要度判定部１５ｂは、Ｓ５３において、重複がないように用語を抽出する。
【００３９】
次いで、重要度判定部１５ｂは、音声データにおける音調の変化に基づいて用語の重要度を判定する音調式重要度判定処理を実行する（Ｓ５４）。
【００４０】
図３は、音調式重要度判定処理のフローチャートである。
【００４１】
図３に示すように、重要度判定部１５ｂは、Ｓ５１において検出された全ての発声者のうち、今回の音調式重要度判定処理において未だ対象にしていない１人の発声者のみを対象とする（Ｓ６１）。
【００４２】
次いで、重要度判定部１５ｂは、対象音声データにおいて現在の対象の発声者の音声の音調が特定の高さ超になる時点を検索する（Ｓ６２）。ここで、特定の高さは、対象音声データにおける現在の対象の発声者の音声に基づいて設定されても良いし、音声特徴情報１４ｄにおける現在の対象の発声者の音声に基づいて設定されても良い。例えば、特定の高さは、対象音声データにおける現在の対象の発声者の最初の音声の高さでも良いし、対象音声データにおける現在の対象の発声者の全ての音声の高さの平均でも良い。
【００４３】
次いで、重要度判定部１５ｂは、Ｓ６２における検索において現在の対象の発声者の音声の音調が特定の高さ超になる時点が抽出されたか否かを判断する（Ｓ６３）。
【００４４】
重要度判定部１５ｂは、現在の対象の発声者の音声の音調が特定の高さ超になる時点が抽出されたとＳ６３において判断すると、Ｓ６２における検索において抽出された時点のうち、今回の音調式重要度判定処理において未だ対象にしていない１つの時点のみを対象とする（Ｓ６４）。
【００４５】
重要度判定部１５ｂは、Ｓ６４の処理の後、対象音声データにおいて現在の対象の時点を含む特定の期間を重要な期間として特定する（Ｓ６５）。ここで、現在の対象の時点を含む特定の期間とは、例えば、現在の対象の時点を基準として前の１０秒と、後ろの１０秒との合計２０秒間である。
【００４６】
重要度判定部１５ｂは、Ｓ６５の処理の後、Ｓ５３において抽出された用語のうち、対象音声データにおいてＳ６５において特定した期間に含まれる用語の重要度に特定の値を加算する（Ｓ６６）。ここで、重要度判定部１５ｂは、Ｓ６５において特定した期間に対象の用語が１回存在する場合には対象の用語の重要度に１ポイントを加算し、２回存在する場合には対象の用語の重要度に２ポイントを加算し、３回存在する場合には対象の用語の重要度に３ポイントを加算するなど、Ｓ６５において特定した期間に対象の用語が存在する回数に応じたポイントを対象の用語の重要度にＳ６６において加算する。また、重要度判定部１５ｂは、Ｓ６５において特定した期間に用語の後端が含まれる場合にのみ、Ｓ６５において特定した期間に、この用語が含まれるとＳ６６において判定する。
【００４７】
重要度判定部１５ｂは、Ｓ６６の処理の後、Ｓ６２における検索において抽出された全ての時点を今回の音調式重要度判定処理において対象にしたか否かを判断する（Ｓ６７）。
【００４８】
重要度判定部１５ｂは、Ｓ６２における検索において抽出された少なくとも１つの時点を未だ対象にしていないとＳ６７において判断すると、Ｓ６４の処理を実行する。
【００４９】
重要度判定部１５ｂは、現在の対象の発声者の音声の音調が特定の高さ超になる時点が抽出されなかったとＳ６３において判断するか、Ｓ６２における検索において抽出された全ての時点を対象にしたとＳ６７において判断すると、Ｓ５１において検出された全ての発声者を今回の音調式重要度判定処理において対象にしたか否かを判断する（Ｓ６８）。
【００５０】
重要度判定部１５ｂは、Ｓ５１において検出された少なくとも１人の発声者を未だ対象にしていないとＳ６８において判断すると、Ｓ６１の処理を実行する。
【００５１】
重要度判定部１５ｂは、Ｓ５１において検出された全ての発声者を対象にしたとＳ６８において判断すると、図３に示す音調式重要度判定処理を終了する。
【００５２】
図２に示すように、重要度判定部１５ｂは、Ｓ５４の音調式重要度判定処理の後、音声データにおける音量の変化に基づいて用語の重要度を判定する音量式重要度判定処理を実行する（Ｓ５５）。
【００５３】
図４は、音量式重要度判定処理のフローチャートである。
【００５４】
図４に示すように、重要度判定部１５ｂは、Ｓ５１において検出された全ての発声者のうち、今回の音量式重要度判定処理において未だ対象にしていない１人の発声者のみを対象とする（Ｓ７１）。
【００５５】
次いで、重要度判定部１５ｂは、対象音声データにおいて現在の対象の発声者の音声の音量が特定の大きさ超になる時点を検索する（Ｓ７２）。ここで、特定の大きさは、対象音声データにおける現在の対象の発声者の音声に基づいて設定されても良いし、音声特徴情報１４ｄにおける現在の対象の発声者の音声に基づいて設定されても良い。例えば、特定の大きさは、対象音声データにおける現在の対象の発声者の最初の音声の大きさでも良いし、対象音声データにおける現在の対象の発声者の全ての音声の大きさの平均でも良い。
【００５６】
次いで、重要度判定部１５ｂは、Ｓ７２における検索において現在の対象の発声者の音声の音量が特定の大きさ超になる時点が抽出されたか否かを判断する（Ｓ７３）。
【００５７】
重要度判定部１５ｂは、現在の対象の発声者の音声の音量が特定の大きさ超になる時点が抽出されたとＳ７３において判断すると、Ｓ７２における検索において抽出された時点のうち、今回の音量式重要度判定処理において未だ対象にしていない１つの時点のみを対象とする（Ｓ７４）。
【００５８】
重要度判定部１５ｂは、Ｓ７４の処理の後、対象音声データにおいて現在の対象の時点を含む特定の期間を重要な期間として特定する（Ｓ７５）。ここで、現在の対象の時点を含む特定の期間とは、例えば、現在の対象の時点を基準として前の１０秒と、後ろの１０秒との合計２０秒間である。
【００５９】
重要度判定部１５ｂは、Ｓ７５の処理の後、Ｓ５３において抽出された用語のうち、対象音声データにおいてＳ７５において特定した期間に含まれる用語の重要度に特定の値を加算する（Ｓ７６）。ここで、重要度判定部１５ｂは、Ｓ７５において特定した期間に対象の用語が存在する回数に応じたポイントを対象の用語の重要度にＳ７６において加算する。また、重要度判定部１５ｂは、Ｓ７５において特定した期間に用語の後端が含まれる場合にのみ、Ｓ７５において特定した期間に、この用語が含まれるとＳ７６において判定する。
【００６０】
重要度判定部１５ｂは、Ｓ７６の処理の後、Ｓ７２における検索において抽出された全ての時点を今回の音量式重要度判定処理において対象にしたか否かを判断する（Ｓ７７）。
【００６１】
重要度判定部１５ｂは、Ｓ７２における検索において抽出された少なくとも１つの時点を未だ対象にしていないとＳ７７において判断すると、Ｓ７４の処理を実行する。
【００６２】
重要度判定部１５ｂは、現在の対象の発声者の音声の音量が特定の大きさ超になる時点が抽出されなかったとＳ７３において判断するか、Ｓ７２における検索において抽出された全ての時点を対象にしたとＳ７７において判断すると、Ｓ５１において検出された全ての発声者を今回の音量式重要度判定処理において対象にしたか否かを判断する（Ｓ７８）。
【００６３】
重要度判定部１５ｂは、Ｓ５１において検出された少なくとも１人の発声者を未だ対象にしていないとＳ７８において判断すると、Ｓ７１の処理を実行する。
【００６４】
重要度判定部１５ｂは、Ｓ５１において検出された全ての発声者を対象にしたとＳ７８において判断すると、図４に示す音量式重要度判定処理を終了する。
【００６５】
図２に示すように、重要度判定部１５ｂは、Ｓ５５の音量式重要度判定処理の後、音声データにおける賛同用語の存在に基づいて用語の重要度を判定する賛同用語式重要度判定処理を実行する（Ｓ５６）。
【００６６】
図５は、賛同用語式重要度判定処理のフローチャートである。
【００６７】
図５に示すように、重要度判定部１５ｂは、Ｓ５１において検出された全ての発声者のうち、今回の賛同用語式重要度判定処理において未だ対象にしていない１人の発声者のみを対象とする（Ｓ８１）。
【００６８】
次いで、重要度判定部１５ｂは、Ｓ５２において生成した文字データと、賛同用語データベース１４ｃとに基づいて、対象音声データにおいて現在の対象の発声者によって賛同用語が発声された時点を検索する（Ｓ８２）。ここで、重要度判定部１５ｂは、対象音声データにおける賛同用語の後端に対応する時点を、賛同用語が発声された時点として扱う。
【００６９】
次いで、重要度判定部１５ｂは、Ｓ８２における検索において現在の対象の発声者によって賛同用語が発声された時点が抽出されたか否かを判断する（Ｓ８３）。
【００７０】
重要度判定部１５ｂは、現在の対象の発声者によって賛同用語が発声された時点が抽出されたとＳ８３において判断すると、Ｓ８２における検索において抽出された時点のうち、今回の賛同用語式重要度判定処理において未だ対象にしていない１つの時点のみを対象とする（Ｓ８４）。
【００７１】
重要度判定部１５ｂは、Ｓ８４の処理の後、対象音声データにおいて現在の対象の時点を含む特定の期間を重要な期間として特定する（Ｓ８５）。ここで、現在の対象の時点を含む特定の期間とは、例えば、現在の対象の時点を基準として前の１０秒と、後ろの１０秒との合計２０秒間である。
【００７２】
重要度判定部１５ｂは、Ｓ８５の処理の後、Ｓ５３において抽出された用語のうち、対象音声データにおいてＳ８５において特定した期間に含まれる用語の重要度に特定の値を加算する（Ｓ８６）。ここで、重要度判定部１５ｂは、Ｓ８５において特定した期間に対象の用語が存在する回数に応じたポイントを対象の用語の重要度にＳ８６において加算する。また、重要度判定部１５ｂは、Ｓ８５において特定した期間に用語の後端が含まれる場合にのみ、Ｓ８５において特定した期間に、この用語が含まれるとＳ８６において判定する。
【００７３】
重要度判定部１５ｂは、Ｓ８６の処理の後、Ｓ８２における検索において抽出された全ての時点を今回の賛同用語式重要度判定処理において対象にしたか否かを判断する（Ｓ８７）。
【００７４】
重要度判定部１５ｂは、Ｓ８２における検索において抽出された少なくとも１つの時点を未だ対象にしていないとＳ８７において判断すると、Ｓ８４の処理を実行する。
【００７５】
重要度判定部１５ｂは、現在の対象の発声者によって賛同用語が発声された時点が抽出されなかったとＳ８３において判断するか、Ｓ８２における検索において抽出された全ての時点を対象にしたとＳ８７において判断すると、Ｓ５１において検出された全ての発声者を今回の賛同用語式重要度判定処理において対象にしたか否かを判断する（Ｓ８８）。
【００７６】
重要度判定部１５ｂは、Ｓ５１において検出された少なくとも１人の発声者を未だ対象にしていないとＳ８８において判断すると、Ｓ８１の処理を実行する。
【００７７】
重要度判定部１５ｂは、Ｓ５１において検出された全ての発声者を対象にしたとＳ８８において判断すると、図５に示す賛同用語式重要度判定処理を終了する。
【００７８】
図２に示すように、重要度判定部１５ｂは、Ｓ５６の賛同用語式重要度判定処理の後、Ｓ５４〜Ｓ５６の処理によって用語毎に判定された重要度を示す用語重要度情報を生成する（Ｓ５７）。
【００７９】
次いで、議事録生成部１５ａは、Ｓ５２において生成した文字データと、Ｓ５７において生成した用語重要度情報とを含む議事録データを生成する（Ｓ５８）。
【００８０】
次いで、議事録生成部１５ａは、Ｓ５８において生成した議事録データを記憶部１４に記憶して（Ｓ５９）、図２に示す動作を終了する。
【００８１】
次に、議事録を出力する場合の議事録生成システム１０の動作について説明する。
【００８２】
図６は、議事録を出力する場合の議事録生成システム１０の動作のフローチャートである。
【００８３】
利用者は、記憶部１４に記憶されているいずれかの議事録データを操作部１１を介して指定して、議事録生成システム１０に議事録の出力を操作部１１を介して指示することができる。議事録生成システム１０の用語出力部１５ｃは、議事録の出力が指示されると、図６に示す動作を実行する。
【００８４】
図６に示すように、用語出力部１５ｃは、議事録データの用語重要度情報に基づいて、特定の程度、すなわち、特定のポイント以上の重要度が付されている用語を抽出する（Ｓ９１）。
【００８５】
次いで、用語出力部１５ｃは、Ｓ９１において抽出した用語を強調した状態で、議事録データに含まれる文字データ、すなわち、議事録を表示部１２への表示によって出力して（Ｓ９２）、図６に示す動作を終了する。ここで、Ｓ９２における強調の方法としては、種々の方法を採用することが可能である。例えば、用語出力部１５ｃは、Ｓ９１において抽出した用語を、Ｓ９１において抽出していない用語より太字にしたり、Ｓ９１において抽出していない用語よりフォントサイズを大きくしたり、Ｓ９１において抽出していない用語とはフォントの種類を変えたりすることによって強調することができる。
【００８６】
議事録生成システム１０は、重要度が特定の程度以上である用語を強調した状態で議事録を出力する（Ｓ９２）ので、議事録における重要な用語を議事録上で利用者に容易に理解させることができ、その結果、議事録における重要な内容を利用者に容易に理解させることができる。
【００８７】
なお、用語出力部１５ｃは、対象音声データに含まれる用語の出力方法として、図６に示す出力方法以外の方法を採用しても良い。例えば、用語出力部１５ｃは、対象音声データに含まれる用語の出力方法として、以下に説明する種々の方法を採用しても良い。用語出力部１５ｃは、対象音声データに含まれる用語の出力方法を、操作部１１を介した指示に応じて切り替えても良い。
【００８８】
例えば、用語出力部１５ｃは、対象音声データに含まれる用語の一覧を表示部１２に表示することによって、対象音声データに含まれる用語を出力しても良い。なお、用語出力部１５ｃは、対象音声データに含まれる用語の全てではなく、対象音声データに含まれる用語の一部の一覧を表示しても良い。例えば、用語出力部１５ｃは、対象音声データに含まれる用語のうち、議事録データの用語重要度情報における重要度が１ポイント以上である用語の一覧を表示しても良い。用語出力部１５ｃは、議事録データの用語重要度情報における重要度の大きさ順に用語の一覧を表示部１２に表示しても良い。また、用語出力部１５ｃは、用語の一覧を表示部１２に表示する場合に、議事録データの用語重要度情報における重要度が特定の程度以上である用語を強調した状態で表示しても良い。ここで、強調の方法としては、種々の方法を採用することが可能である。例えば、用語出力部１５ｃは、議事録データの用語重要度情報における重要度が特定の程度以上である用語を、議事録データの用語重要度情報における重要度が特定の程度未満である用語より太字にしたり、議事録データの用語重要度情報における重要度が特定の程度未満である用語よりフォントサイズを大きくしたり、議事録データの用語重要度情報における重要度が特定の程度未満である用語とはフォントの種類を変えたりすることによって強調することができるし、議事録データの用語重要度情報における重要度が特定の程度以上である用語を、議事録データの用語重要度情報における重要度が特定の程度未満である用語より上位に配置することによって強調することができる。
【００８９】
議事録生成システム１０は、重要度の大きさ順に、または、重要度が特定の程度以上である用語を強調した状態で、用語の一覧を出力する場合、議事録における重要な用語を用語の一覧上で利用者に容易に理解させることができるので、議事録における重要な内容を利用者に容易に理解させることができる。
【００９０】
例えば、用語出力部１５ｃは、音声データにおける音声の音調の変化に基づいた値を示す軸と、音声データにおける音声の音量の変化に基づいた値を示す軸と、音声データにおける賛同用語の存在に基づいた値を示す軸とのうち、いずれか２軸によって構成される２次元空間上に用語を配置した２次元マップを表示部１２に表示することによって、対象音声データに含まれる用語を出力しても良い。例えば、用語出力部１５ｃは、音声データにおける音声の音調の変化に基づいた値を示す軸と、音声データにおける音声の音量の変化に基づいた値を示す軸と、音声データにおける賛同用語の存在に基づいた値を示す軸とのうち、利用者によって選択された２軸によって構成される２次元空間上に用語を配置した２次元マップを表示部１２に表示しても良い。
【００９１】
ここで、音声データにおける音声の音調の変化に基づいた値としては、例えば、音調式重要度判定処理において用語毎に加算した重要度や、音調式重要度判定処理において重要度を加算した要因になった発声者の、用語毎の人数が採用されることができる。音声データにおける音声の音量の変化に基づいた値としては、例えば、音量式重要度判定処理において用語毎に加算した重要度や、音量式重要度判定処理において重要度を加算した要因になった発声者の、用語毎の人数が採用されることができる。音声データにおける賛同用語の存在に基づいた値としては、例えば、賛同用語式重要度判定処理において用語毎に加算した重要度や、賛同用語式重要度判定処理において重要度を加算した要因になった発声者の、用語毎の人数が採用されることができる。
【００９２】
なお、用語出力部１５ｃは、対象音声データに含まれる用語の全てではなく、対象音声データに含まれる用語の一部を２次元マップ上に表示しても良い。例えば、用語出力部１５ｃは、対象音声データに含まれる用語のうち、議事録データの用語重要度情報における重要度が特定の程度以上である用語のみを２次元マップ上に表示しても良い。
【００９３】
図７は、音声データにおける音声の音調の変化に基づいた値として、音調式重要度判定処理において用語毎に加算した重要度を示す軸と、音声データにおける賛同用語の存在に基づいた値として、賛同用語式重要度判定処理において用語毎に加算した重要度を示す軸との２軸によって構成される２次元空間上に用語を配置した２次元マップ２０の一例である。２次元マップ２０には、用語２１〜２５が配置されている。例えば、２次元マップ２０において、用語２１は、音調が高くなった時点を含む特定の期間に発声されていることと、賛同用語が発声された時点を含む特定の期間に発声されていることとの両方が多く、非常に重要な用語である可能性が高い。また、２次元マップ２０において、用語２２は、賛同用語が発声された時点を含む特定の期間に発声されていることが多いが、音調が高くなった時点を含む特定の期間に発声されていることが少ないので、用語２１よりは重要ではない可能性が高い。また、２次元マップ２０において、用語２４は、音調が高くなった時点を含む特定の期間に発声されていることが多いが、賛同用語が発声された時点を含む特定の期間に発声されていることが少ないので、用語２１よりは重要ではない可能性が高い。また、２次元マップ２０において、用語２５は、音調が高くなった時点を含む特定の期間に発声されていることと、賛同用語が発声された時点を含む特定の期間に発声されていることとの両方が少なく、用語２１〜２４よりは重要ではない可能性が高い。
【００９４】
なお、用語出力部１５ｃは、音声データにおける音声の音調の変化に基づいた値を示す軸と、音声データにおける音声の音量の変化に基づいた値を示す軸と、音声データにおける賛同用語の存在に基づいた値を示す軸との３軸によって構成される３次元空間上に用語を配置した３次元マップを表示部１２に表示することによって、対象音声データに含まれる用語を出力しても良い。
【００９５】
議事録生成システム１０は、音声データにおける音声の音調の変化に基づいた値を示す軸と、音声データにおける音声の音量の変化に基づいた値を示す軸と、音声データにおける賛同用語の存在に基づいた値を示す軸とのうち、少なくとも２軸によって構成される空間上に、重要度が特定の程度以上である用語を配置したマップを出力する場合、このマップ上で、議事録における重要な用語の重要度の詳細な内容を利用者に容易に理解させることができるので、議事録における重要な内容を利用者に容易に理解させることができる。
【００９６】
例えば、用語出力部１５ｃは、用語同士の相互の関係を示す相互関係図を表示部１２に表示することによって、対象音声データに含まれる用語を出力しても良い。なお、用語出力部１５ｃは、対象音声データに含まれる用語の全てではなく、対象音声データに含まれる用語の一部を相互関係図上に表示しても良い。例えば、用語出力部１５ｃは、対象音声データに含まれる用語のうち、議事録データの用語重要度情報における重要度が特定の程度以上である用語のみを相互関係図上に表示しても良い。
【００９７】
図８は、用語同士の相互の関係を示す相互関係図３０の一例である。相互関係図３０には、用語３１〜３６が配置されている。相互関係図３０において、Ｓ６６、Ｓ７６またはＳ８６において同一の特定の期間に含まれていた用語同士は、相互に関係があることを示す矢印３７ａ〜矢印３７ｇによって接続されている。矢印３７ａ〜矢印３７ｇは、Ｓ６６、Ｓ７６またはＳ８６において同一の特定の期間に含まれていた回数が多いほど、太く表示される。また、用語３１〜３６は、議事録データの用語重要度情報において付されている重要度が大きいほど、大きく表示される。
【００９８】
議事録生成システム１０は、重要度が特定の程度以上である用語同士の相互の関係を示す相互関係図を出力する場合、この相互関係図上で、議事録における重要な用語同士の相互の関係を利用者に容易に理解させることができるので、議事録における重要な内容を利用者に容易に理解させることができる。
【００９９】
例えば、用語出力部１５ｃは、議事録データの用語重要度情報における重要度が特定の程度以上である用語が含まれるフレーズを、議事録データに含まれる文字データから抽出して表示部１２に表示することによって、対象音声データに含まれる用語を出力しても良い。また、用語出力部１５ｃは、議事録データの用語重要度情報における重要度が特定の程度以上である用語が含まれる文を、議事録データに含まれる文字データから抽出して表示部１２に表示することによって、対象音声データに含まれる用語を出力しても良い。
【０１００】
議事録生成システム１０は、重要度が特定の程度以上である用語が含まれるフレーズまたは文を、議事録データに含まれる文字データ、すなわち、議事録から抽出して出力する場合、議事録における重要なフレーズまたは文を利用者に容易に理解させることができるので、議事録における重要な内容を利用者に容易に理解させることができる。
【０１０１】
以上に説明したように、議事録生成システム１０は、音声データにおける音声の音調の変化と、音声データにおける音声の音量の変化と、音声データにおける賛同を示す賛同用語の存在との少なくとも１つに基づいて音声データにおける重要な期間を特定し（Ｓ６５、Ｓ７５またはＳ８５）、重要な期間に含まれる用語の重要度を、重要な期間に含まれない用語の重要度より高く判定し（Ｓ６６、Ｓ７６またはＳ８６）、重要度に基づいた出力内容で用語を出力する（Ｓ９２）ので、議事録における重要な用語を利用者に容易に理解させることができ、その結果、議事録における重要な内容を利用者に容易に理解させることができる。
【０１０２】
議事録生成システム１０は、上述のＳ５１において、音声特徴情報１４ｄを利用して対象音声データに対して音声認識を実行することによって、対象音声データに含まれる音声の発声者を全て検出する。しかしながら、議事録生成システム１０は、Ｓ５１において、音声特徴情報１４ｄを利用せずに対象音声データに対して音声認識を実行することによって、対象音声データに含まれる音声の発声者を全て検出しても良い。議事録生成システム１０は、音声特徴情報１４ｄを利用せずに対象音声データに対して音声認識を実行する場合、対象音声データに含まれる音声の発声者を音声特徴情報１４ｄに登録されている特定の人物として識別することはできないが、対象音声データに複数の発声者の音声が含まれるときに、対象音声データに含まれる音声の発声者同士を識別することは可能である。
【０１０３】
議事録生成システム１０は、上述のＳ６６、Ｓ７６およびＳ８６において、Ｓ６５、Ｓ７５またはＳ８５において特定した期間に対象の用語が存在する回数に応じたポイントを対象の用語の重要度に加算する。しかしながら、議事録生成システム１０は、Ｓ６６、Ｓ７６およびＳ８６において、上述の方法以外の方法によってポイントを対象の用語の重要度に加算しても良い。例えば、議事録生成システム１０は、Ｓ６５、Ｓ７５またはＳ８５において特定した期間に対象の用語が存在する回数にかかわらず、Ｓ６６、Ｓ７６およびＳ８６において１ポイントのみを対象の用語の重要度に加算しても良い。
【０１０４】
議事録生成システム１０は、Ｓ６５、Ｓ７５またはＳ８５において特定した期間に用語の後端が含まれる場合にのみ、Ｓ６５、Ｓ７５またはＳ８５において特定した期間に、この用語が含まれると、上述のＳ６６、Ｓ７６およびＳ８６において判定する。しかしながら、議事録生成システム１０は、Ｓ６６、Ｓ７６およびＳ８６において、上述の方法以外の方法によって、Ｓ６５、Ｓ７５またはＳ８５において特定した期間に、この用語が含まれると判定しても良い。例えば、議事録生成システム１０は、Ｓ６５、Ｓ７５またはＳ８５において特定した期間に用語の少なくとも一部が含まれる場合に、Ｓ６５、Ｓ７５またはＳ８５において特定した期間に、この用語が含まれると、Ｓ６６、Ｓ７６およびＳ８６において判定しても良い。
【０１０５】
議事録生成システム１０は、上述のＳ８２において、対象音声データにおける賛同用語の後端に対応する時点を、賛同用語が発声された時点として扱う。しかしながら、議事録生成システム１０は、Ｓ８２において、対象音声データにおける賛同用語の後端に対応する時点以外の時点を、賛同用語が発声された時点として扱っても良い。例えば、議事録生成システム１０は、Ｓ８２において、対象音声データにおける賛同用語の前端に対応する時点を、賛同用語が発声された時点として扱っても良い。
【０１０６】
議事録生成システム１０は、本実施の形態において、議事録や用語の出力方法として、表示を採用している。しかしながら、議事録生成システム１０は、表示以外の方法によって議事録や用語を出力しても良い。例えば、議事録生成システム１０は、印刷によって議事録や用語を出力しても良い。
【０１０７】
議事録生成システム１０は、本実施の形態において、１台のコンピューターによって構成されている。しかしながら、議事録生成システム１０は、複数台のコンピューターによって構成されても良い。
【符号の説明】
【０１０８】
１０  議事録生成システム（コンピューター）
１４ａ  議事録生成プログラム
１５ａ  議事録生成部
１５ｂ  重要度判定部
１５ｃ  用語出力部
２０  ２次元マップ（マップ）
２１〜２５  用語
３０  相互関係図
３１〜３６  用語
３７ａ〜３７ｇ  矢印（用語同士の相互の関係を示す矢印）
【図１】
2020042229.tif 000003
【図２】
2020042229.tif 000004
【図３】
2020042229.tif 000005
【図４】
2020042229.tif 000006
【図５】
2020042229.tif 000007
【図６】
2020042229.tif 000008
【図７】
2020042229.tif 000009
【図８】
2020042229.tif 000010