(57)【要約】【課題】利用者ごとにキーワードリストを作成しなくても発話情報から重要語が抽出できる発話内重要語抽出装置を提供する。【解決手段】  音声認識部は、音声信号を入力として、当該音声信号を音声認識処理して形態素に分割した単語列と品詞列の情報から成るテキスト文を生成して出力する。単語出現頻度計算部は、音声認識部が出力するテキスト文内の単語の所定時間内における出現頻度を計数して、単語とその品詞とその出現頻度とから成る出現頻度付認識結果を出力する。単語登録部は、出現頻度付認識結果を入力として、所定の条件を満たす出現頻度付認識結果の単語を、キーワードとしてキーワードリストに登録する。重要語抽出部は、出現頻度付認識結果を入力として、所定回数以上の出現頻度で且つ、キーワードと一致する単語を重要語として抽出する。【選択図】図１
2015099289.tif 000002
【特許請求の範囲】
【請求項１】
キーワードを登録したキーワードリストと、
入力される音声信号を、音声認識処理して形態素に分割した単語列と品詞列の情報から成るテキスト文を生成して出力する音声認識部と、
上記テキスト文内の単語の所定時間内における出現頻度を計数して、上記単語とその品詞とその出現頻度とから成る出現頻度付認識結果を出力する単語出現頻度計数部と、
上記出現頻度付認識結果を入力として、所定の条件を満たす上記出現頻度付認識結果の単語を、キーワードとして上記キーワードリストに登録する単語登録部と、
上記出現頻度付認識結果を入力として、所定回数以上の出現頻度で、且つ上記キーワードリストに登録されたキーワードの何れかと一致する単語を重要語として抽出する重要語抽出部と、
を具備する発話内重要語抽出装置。
【請求項２】
音声入力端末と、
上記音声入力端末と接続する発話内重要語抽出装置と、
ネットワークと、
上記ネットワークを介して上記発話内重要語抽出装置と通信を行う出現頻度付認識結果生成サーバと、
を具備する発話内重要語抽出システムであって、
上記音声入力端末は、マイクロホンで収音した音声信号を上記発話内重要語抽出装置に出力するものであり、
上記発話内重要語抽出装置は、上記音声信号を音声ファイルとして録音し、録音された音声ファイルから人が発声した音声部分のみを切り出した音声区間の音声信号とその発声開始時刻情報を、上記ネットワークを介して上記出現頻度付認識結果生成サーバに送信し、当該出現頻度付認識結果生成サーバから受信した出現頻度付認識結果から重要語を抽出して出力するものであり、
上記出現頻度付認識結果生成サーバは、上記発話内重要語抽出装置から音声区間の音声信号と発声開始時刻情報とを受信し、上記音声区間の音声信号を音声認識処理して形態素に分割した単語列と品詞列の情報から成るテキスト文を生成し、当該テキスト文の単語の所定時間内における出現頻度を計数して、上記単語とその品詞とその出現頻度とから成る出現頻度付認識結果を生成して上記発話内重要語抽出装置に送信するものである、
ことを特徴とする発話内重要語抽出システム。
【請求項３】
請求項２に記載した発話内重要語抽出システムで用いられる発話内重要語抽出装置であって、
キーワードを登録したキーワードリストと、
音声入力端末から送られて来る音声信号を録音する音声録音部と、
上記音声録音部に録音された音声ファイルから人が発声した音声部分のみを切り出した音声区間の音声信号を抽出し、当該音声区間にその開始時刻を表す発声開始時刻情報を付与する音声区間抽出部と、
上記音声区間抽出部で抽出した音声区間の音声信号と上記発声開始時刻情報をネットワークを介して頻出単語抽出サーバに送信する音声送出部と、
出現頻度付認識結果生成サーバから上記ネットワークを介して送られてくる出現頻出付認識結果を受信する出現頻度付認識結果受信部と、
上記出現頻度付認識結果受信部で受信した出現頻度付認識結果を入力として、所定の条件を満たす上記出現頻度付認識結果の単語を、キーワードとして上記キーワードリストに登録する単語登録部と、
上記出現頻度付認識結果を入力として、所定回数以上の出現頻度で且つ、上記キーワードリストに登録されたキーワードの何れかと一致する単語を重要語として抽出する重要語抽出部と、
を具備する発話内重要語抽出装置。
【請求項４】
請求項１又は３に記載した発話内重要語抽出装置において、
更に、
上記重要語と、当該重要語が抽出された時間帯とを組とした行動履歴を表示する行動履歴表示部を、備えることを特徴とする発話内重要語抽出装置。
【請求項５】
入力される音声信号を、音声認識処理して形態素に分割した単語列と品詞列の情報から成るテキスト文を生成して出力する音声認識過程と、
上記テキスト文内の単語の所定時間内における出現頻度を計数して、上記単語とその品詞とその出現頻度とから成る出現頻度付認識結果を出力する単語出現頻度計数過程と、
上記出現頻度付認識結果を入力として、所定の条件を満たす上記出現頻度付認識結果の単語を、キーワードとしてキーワードリストに登録する単語登録過程と、
上記出現頻度付認識結果を入力として、所定回数以上の上記出現頻度で且つ、上記キーワードリストに登録されたキーワードの何れかと一致する単語を重要語として抽出する重要語抽出過程と、
を備える発話内重要語抽出方法。
【請求項６】
音声入力端末が、マイクロホンで収音した音声信号を発話内重要語抽出装置に出力する音声信号出力過程と、
上記発話内重要語抽出装置が、上記音声信号を録音し、録音された音声信号の音声ファイルから音声区間を抽出して当該音声区間の音声信号とその発声開始時刻情報とを、ネットワークを介して頻出単語抽出サーバに送信する音声区間出力過程と、
出現頻度付認識結果生成サーバが、上記音声区間出力過程で受信した音声区間の音声信号から単語出現頻度を計数して出現頻度付認識結果を生成して、当該出現頻度付認識結果とその発声開始時刻情報とを上記発話内重要語抽出装置に送信する出現頻度付認識結果送信過程と、
上記発話内重要語抽出装置が、上記出現頻度付認識結果送信過程で受信した出現頻度付認識結果から重要語を抽出して出力する重要語抽出過程と、
を有する発話内重要語抽出システムの方法。
【請求項７】
請求項１，３，４の何れかに記載した発話内重要語抽出装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発話内の重要語を抽出する発話内重要語抽出装置と、当該装置を用いた発話内重要語抽出システムと、それらの方法とプログラムに関する。
【背景技術】
【０００２】
我々は、生活の中で声を発声して他者との間でコミュニケーションを取っている。その発声には、様々な発話情報が含まれており、その発話情報の中から重要と思われる単語を効率よく抽出することで、ライフログのような個人活動履歴や備忘録の作成などが可能だと考えられる。
【０００３】
利用者の利便性を考慮すると、履歴を残すために、その都度発話するのではなく、常時音声を録音しておき、普段の無意識の生活の中で発せられる発話情報から、情報が得られる方法が好ましい。その発話情報から得られた重要と思われる単語を用いた個人活動履歴や備忘録は、有用な記録になると考えられる。
【０００４】
従来、発話内容から重要語を抽出する方法としては、予め重要語を登録したキーワードリストを用いてキーワードと一致する認識結果を重要語として抽出する方法が知られている（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２８６９２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、重要語とすべき単語は利用者ごとに違うと考えられるので、従来の方法では利用者ごとにキーワードリストを作成しなくてはならない課題がある。また、各利用者の関心の対象は、日々の生活の中で変化するのが一般的であると考えられるため、関心の対象に直結するキーワードのメンテナンスを日々行う必要がある。しかし、キーワードリストを日々メンテナンスするのは現実的ではない。また、普段の会話の対話音声の発話速度は速く、不明瞭な発音をすることも多いため、誤認識した単語を重要語として誤って抽出しまう場合もある。
【０００７】
本発明は、このような課題に鑑みてなされたものであり、キーワードリストを自動的に最新化すると共に、誤認識した単語を重要語として抽出するリスクを低減させた発話内重要語抽出装置と、その装置を用いた発話内重要語抽出システムとそれらの方法とプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の発話内重要語抽出装置は、キーワードリストと、音声認識部と、単語出現頻度計数部と、単語登録部と、重要語抽出部と、を具備する。キーワードリストにはキーワードが登録される。音声認識部は、入力される音声信号を、音声認識処理して形態素に分割した単語列と品詞列の情報から成るテキスト文を生成して出力する。単語出現頻度計算部は、音声認識部が出力するテキスト文内の単語の所定時間内における出現頻度を計数して、単語とその品詞とその出現頻度とから成る出現頻度付認識結果を出力する。単語登録部は、出現頻度付認識結果を入力として、所定の条件を満たす出現頻度付認識結果の単語を、キーワードとしてキーワードリストに登録する。重要語抽出部は、出現頻度付認識結果を入力として、所定回数以上の出現頻度で且つ、キーワードリストに登録されたキーワードの何れかと一致する単語を重要語として抽出する。
【０００９】
また、この発明の発話内重要語抽出システムは、音声入力端末と、発話内重要語抽出装置と、ネットワークと、出現頻度付認識結果生成サーバと、を具備する。音声入力端末は、マイクロホンで収音した音声信号を発話内重要語抽出装置に出力する。発話内重要語抽出装置は、音声信号を音声ファイルとして録音し、録音された音声ファイルから人が発声した音声部分のみを切り出した音声区間の音声信号とその発声開始時刻情報を、ネットワークを介して出現頻度付認識結果生成サーバに送信し、その出現頻度付き認識結果生成サーバから受信した出現頻度付認識結果から重要語を抽出して出力する。出現頻度付認識結果生成サーバは、発話内重要語抽出装置から音声区間の音声信号と発声開始時刻情報とを受信し、音声区間の音声信号を音声認識処理して形態素に分割した単語列と品詞列の情報から成るテキスト文を生成し、当該テキスト文の単語の所定時間内における出現頻度を計数して、単語とその品詞とその出現頻度とから成る出現頻度付認識結果を生成して発話内重要語抽出装置に送信する。
【発明の効果】
【００１０】
本発明の発話内重要語抽出装置によれば、所定時間内に所定回数以上出現する出現頻度の多い単語のみを、重要語として抽出することができる。重要語を特定するキーワードリストは、出現頻度付認識結果から自動的に作成されるので、キーワードリストを作成する手間を省力化する効果を奏する。また、重要語として抽出されるためには、所定時間内に所定回数以上の回数音声認識される必要があるため、誤認識した単語を重要語にするリスクを小さくすることもできる。
【００１１】
また、本発明の発話内重要語抽出システムによれば、比較的に処理の重い音声認識処理を、ネットワークを介した出現頻度付認識結果生成サーバに分担させるので、発話内重要語抽出装置の構成を簡単にすることができる。その結果、発話内重要語抽出装置を安価にすると共に小型化することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の発話内重要語抽出装置１００の機能構成例を示す図。
【図２】発話内重要語抽出装置１００の動作フローを示す図。
【図３】音声信号を音声認識したテキスト文の一例を示す図。
【図４】図３に示すテキスト文の単語列と品詞列と出現頻度を示す図。
【図５】キーワードリスト１４０の一例を示す図。
【図６】本発明の発話内重要語抽出システム２００のシステム構成を示す図。
【図７】発話内重要語抽出システム２００の動作シーケンスを示す図。
【図８】本発明の発話内重要語抽出システム３００のシステム構成を示す図。
【図９】音声入力端末２１０と発話内重要語抽出装置３２０の外観とその利用場面の一例を示す図。
【図１０】本発明の発話内重要語抽出システム４００のシステム構成を示す図。
【図１１】本発明の発話内重要語抽出システム４００を構成する出現頻度付認識結果生成サーバ４４０の機能構成例を示す図。
【図１２】本発明の発話内重要語抽出システム４００を構成する発話内重要語抽出装置４２０の機能構成例を示す図。
【発明を実施するための形態】
【００１３】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
【実施例１】
【００１４】
図１に、この発明の発話内重要語抽出装置１００の機能構成例を示す。その動作フローを図２に示す。発話内重要語抽出装置１００は、音声認識部１１０と、単語出現頻度計数部１２０と、単語登録部１３０と、キーワードリスト１４０と、重要語抽出部１５０と、制御部１６０と、を具備する。発話内重要語抽出装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。以降で説明する他の実施例についても同様である。
【００１５】
音声認識部１１０は、入力される音声信号を、音声認識処理して形態素に分割した単語列と品詞列の情報から成るテキスト文を生成して出力する（ステップＳ１１０）。入力される音声信号は、例えばサンプリング周波数１６ｋＨｚで離散的なディジタル信号に変換された信号である。音声認識部１１０は、離散値化された音声信号の所定数（例えば３２０個）を１フレームとしたフレーム毎に、例えばメル周波数ケプストラム係数（ＭＦＣＣ）分析によって音響特徴量を求め、音響尤度と言語尤度の最も高い形態素列の情報から成るテキスト文を音声認識結果として出力する。また、テキスト文と同時に単語毎の信頼度を出力してもよい。信頼度はＮベスト候補における単語の事後確率に基づいて求める方法、例えば参考文献１（Frank Wessel , Ralf Schluter , Klaus Macherey and Hermann Ney, “Confidence Measures for Large Vocabulary Continuous Speech Recognition”，IEEE Transactions on Speech and Audio Processing，Vol.9，No.3，March 2001．）などを用いればよい。
【００１６】
単語出現頻度計数部１２０は、音声認識部１１０が出力するテキスト文内の単語の所定時間内における出現頻度を計数して、単語とその品詞とその出現頻度とから成る出現頻度付認識結果を出力する（ステップＳ１２０）。図２を参照してこの単語出現頻度計数過程を詳しく説明する。
【００１７】
単語出現頻度計数部１２０は、先ず、音声認識部１１０が出力する単語列の各単語に時刻ラベルを付与する（ステップＳ１２１）。時刻ラベルは、単語が出現した時刻を表すラベルであり、音声認識部１１０において付与しても良い。
【００１８】
次に、時刻ラベルが付与された単語が、既に出現済みの既出単語であるのか否か判断（ステップＳ１２２）し、既出単語でない初めて出現した単語である場合（ステップＳ１２２のＮｏ）、出現頻度を１回として当該単語とその品詞と出現頻度（１）とから成る出現頻度付認識結果を出力する（ステップＳ１２５）。初めてではない既出単語の場合（ステップＳ１２２のＹｅｓ）、当該単語の時刻ラベルから所定時間内に出現した単語であるのか否かを判断する（ステップＳ１２３）。所定時間内に出現した既出単語の場合（ステップＳ１２３のＹｅｓ）、出現頻度をインクリメント（１増やす）した出現頻度とその単語とその品詞から成る出現頻度付認識結果を出力する（ステップＳ１２４）。所定時間内ではない場合（ステップＳ１２３のＮｏ）は、１回にリセットした出現頻度と当該単語とその品詞を出力する（ステップＳ１２５）。
【００１９】
このように単語出現頻度計数部１２０が動作することで、所定時間内において複数回出現する単語の出現頻度のみが増加する。所定時間内に再び出現しない単語の出現頻度は１にリセットされる。
【００２０】
図３に例示するテキスト文を参照して、単語と出現頻度との関係を説明する。発話者が、例えば著作権法の第１条の条文を諳んじたと仮定すると、音声認識部１１０は図３に示すテキスト文を出力する。このテキスト文は、図４に示す単語列と品詞列の情報で構成される。
【００２１】
図４の１列目は単語、２列目は品詞、３列目は出現頻度であり、この３列を一組として上から下に向けて時間が経過する。１列目の最下行の「する」の次は４列目の最上行の「権利」に、４列目の最下行の「を」の次は７列目の最上行の「図り」につながる関係で時間が経過する。
【００２２】
最初の形態素の単語は「この」、その品詞は「連体詞」、出現頻度は「１」である。次の形態素の単語は「法律」、品詞は「名詞」、出現頻度は「１」である。４つ目の形態素は句読点「、」でありその品詞は「特殊」である。句読点は８つ目の形態素でもあるので、８つ目の形態素が句読点「、」になった時点で出現頻度は「２」にインクリメントされる。
【００２３】
ここで所定時間を、例えば１つの話題が続く５分間と仮定すると、図３に示すテキスト文は、その５分間の間に全て生成されると考えられる。したがって、複数回生成される単語の出現頻度はリセットされずに増加し続けることになる。その結果、出現回数の多い形態素は「７」回の特殊文字（句読点）、「５」回の「助詞」の「の」であり、形態素を名詞とした場合「３」回の「権利」と「２」回の「著作者」とが、出現頻度の多い単語となる。単語出現頻度計数部１２０は、それぞれの単語とその品詞とその出現頻度とから成る出現頻度付認識結果を、その生成された順番に時系列で出力する。つまり、単語出現頻度計数部１２０は、図４に示す「単語」と「品詞」と「出現頻度」とを組にした情報を、形態素ごとに出力する。
【００２４】
単語登録部１３０は、単語出現頻度計数部１２０が出力する出現頻度付認識結果を入力として、所定の条件を満たす出現頻度付認識結果の単語を、キーワードとしてキーワードリスト１４０に登録する（ステップＳ１３０）。ここで所定の条件を、例えば品詞を「名詞」その出現頻度を「１」とすると、図４に灰色の塗つぶしで表す「名詞」の単語が、テキスト文の文頭から「法律」、「著作物」、「実演」、…、「寄与」の順番に、２３個のキーワードとしてキーワードリスト１４０に登録される（ステップＳ１３２）。所定の条件に合致しない「句読点」や「助詞」や「接続詞」は、キーワードリスト１４０に登録されない（ステップＳ１３１のＮｏ）。また、ここで音声認識部１１０が出力する信頼度も利用し、所定の条件を満たす単語であり、ある閾値以上の信頼度を持った認識単語のみを重要語として抽出しても良い。
【００２５】
図５に、キーワードリスト１４０に登録されたキーワードの一例を示す。キーワードリスト１４０には、最低限必要な情報として例えば「渋谷」や「初台」等の単語のみのキーワードを表す単語が登録されれば良い。それらの単語に加えて、図５の１列目に示すようにキーワードを識別する識別子（ＩＤ）を付与しても良い。また、そのキーワードを登録した「登録契機」、「登録日時」、「最終利用日時」、なども登録するようにしても良い。ここで「登録契機」とは、キーワードの種別を表す情報である。「初期登録」は、発話内重要語抽出装置１００が予め持つキーワードであり、消去されないものである。「個人発話頻度」は、ある日時の発話情報から登録されたキーワードであり、所定時間経過後に消去しても良いものである。「共通発話頻度」は、後述するこの発明の発話内重要語抽出システム４００（図１０〜１２）で用いるキーワードの種別である。具体例については後述する。
【００２６】
キーワードは、「登録日時」又は「最終利用日時」を基準に計時した所定時間経過後にリセットするようにしても良い。キーワードをリセットする場合、発話内重要語抽出装置１００は、図１に破線で示すキーワードリストリセット部１７０を具備する。
【００２７】
キーワードリストリセット部１７０は、例えば「最終利用日時」から所定時間の経過を計時した後に、キーワードを個別にリセットする。ここで所定時間の経過は、例えば、２４時間、２日、３日、一週間後など、複数の期間が考えられ、例えば「登録契機」の情報に対応させて、その種別に応じて期間を変えても良い。
【００２８】
又は、例えば利用者からの録音開始を指示する操作入力に連動させた外部から入力されるリセット信号によって、キーワードリスト１４０をリセットするようにしても良い。この場合の所定時間は、利用者が操作する間隔であり不定期な時間となる。又は、キーワードリストリセット部１７０を、所定の時間周期でリセット信号を出力するように構成しても良い。この場合は、所定の時間間隔でキーワードリスト１４０に登録されたキーワードが全部一度に消去される。このように所定時間でキーワードリスト１４０をリセットすることで、最新のキーワードで構成されるキーワードリスト１４０を保持し続けることができる。
【００２９】
重要語抽出部１５０は、単語出現頻度計数部１２０が出力する出現頻度付認識結果を入力として、所定回数以上の出現頻度で且つ、キーワードと一致する単語を重要語として抽出する（ステップＳ１５０）。ここで、例えば所定回数を２回に設定しておくとする。テキスト文が「この法律は、著作物並びに実演、レコード、放送及び有線放送に関し著作者の権利及びこれに隣接する権利」まで生成された時点で、テキスト文内にキーワードと一致（ステップＳ１５１）する単語である「権利」が２回出現する。この時点（ステップＳ１５２）で、「権利」という単語が重要語として抽出される（ステップＳ１５３）。その後、テキスト文が「…を定め、これらの文化的所産の公正な利用に留意しつつ、著作者」まで作成された時点で、テキスト文内に２回出現した「著作者」という単語が重要語として抽出される（ステップＳ１５３）。重要語抽出部１５０で設定する所定回数は、単語登録部１３０で使用する所定回数と異なる値であっても良い。また、ここで音声認識部１１０が出力する信頼度も利用し、所定の条件を満たす単語であり、ある閾値以上の信頼度を持った認識単語のみを重要語として抽出しても良い。
【００３０】
ステップＳ１１０の音声認識過程と、ステップＳ１２０の単語出現頻度計数過程と、ステップＳ１３０の単語登録過程と、ステップＳ１５０の重要語抽出過程は、音声信号が終了するまで繰り返される（ステップＳ１６０のＮｏ）。この例の場合、抽出される重要語は、「権利」と「著作者」の２つである。この繰り返し動作の制御は制御部１６０で行う。制御部１６０は、発話内重要語抽出装置１００の各部の時系列動作を制御する一般的なものであり、特別な処理を行うものではない。他の実施例についても同様であり、以降、制御部の説明は省略する。
【００３１】
なお、単語登録部１３０と重要語抽出部１５０の処理の順番は逆であっても良い。単語登録部１３０が後に動作する場合、重要語抽出部１５０の所定回数以上の回数の条件を１回以上に設定することで、単語が２回出現した時点で重要語として抽出される上記した例と同じ処理を行うことができる。つまり、単語登録部１３０と重要語抽出部１５０の処理の順番を入れ替えても、単語登録部１３０の所定の条件と、重要語抽出部１５０の所定回数の条件の設定によって同じ動作を行わせることが可能である。
【００３２】
以上説明したように発話内重要語抽出装置１００が動作することで、所定時間内に所定回数以上出現する出現頻度の多い単語のみを重要語として抽出することができ、重要語を特定するためのキーワードリストを、出現頻度付認識結果から自動的に作成することができる。また、重要語として抽出されるためには、所定時間内に所定回数以上の回数音声認識される必要があるため、誤認識した単語を重要語とするリスクを小さくすることもできる。
【００３３】
なお、上記した実施例では、キーワードとしてキーワードリスト１４０に登録する単語の品詞を「名詞」のみとする例で説明を行ったが、この例に限定されない。例えば２種類以上の品詞が連結する単語列をキーワードとして登録するようにしても良い。例えば「形容動詞」の「文化的」と「名詞」の「所産」が連続する単語列「文化的所産」、また、３個以上の単語の連結である「文化の発展に寄与する」等の、テキスト文の一節をキーワードとして登録して、重要語として抽出するようにても良い。キーワードを構成する品詞の組み合わせを増やすことで、重要語を限定して特定することができる。
【００３４】
また、上記して説明した例において、１回目と２回目の同一単語が生成する時間間隔を例えば２分、３回目の生成時間を２回目から４分後と仮定した場合、直近の同一単語が生成される時間間隔が所定時間以内であるか否かを判定する図２に示したフローチャートでは、その単語の出現頻度は３回になる。この出現頻度の計数は、他の考え方で行っても良い。例えば、直近の過去所定時間（例えば５分）内に生成された生成回数を計数するようにしても良い。その場合は、１回目の生成時刻が５分より過去になるので、直近の２回が出現頻度になる。このように単語の出現頻度の計数方法も、図２に示す例に限定されない。
【００３５】
〔発話内重要語抽出システム〕
図６に、この発明の発話内重要語抽出装置２２０を含む発話内重要語抽出システム２００のシステム構成を示す。発話内重要語抽出システム２００は、音声入力端末２１０と、発話内重要語抽出装置２２０と、ネットワーク２３０と、出現頻度付認識結果生成サーバ２４０と、を具備する。図７も参照して発話内重要語抽出システム２００の動作を説明する。
【００３６】
音声入力端末２１０は、図示しないマイクロホンで収音（ステップＳ２１０）した音声信号を発話内重要語抽出装置２２０に出力する（ステップＳ２１１）。マイクロホンは、常時、利用者が発声する音声を記録するために、例えば利用者の胸元に装着可能な小型なものが好ましい。マイクロホンと音声入力端末とは一体で構成しても良い。その形態は、例えばネクタイピンのようなものであっても良い。
【００３７】
音声信号は、上記したように、例えばサンプリング周波数１６ｋＨｚで離散的なディジタル信号に変換された信号であり、有線または無線で発話内重要語抽出装置２２０に出力される。無線の場合は、無線ＰＡＮ（Personal Area Network）と称される１０ｍくらいまでの距離をカバーする近距離無線技術である例えばBluetooth（登録商標）や無線ＬＡＮを用いることができる。
【００３８】
〔発話内重要語抽出装置〕
発話内重要語抽出装置２２０は、音声入力端末２１０が出力する音声信号を音声ファイルとして録音し、録音された音声ファイルから人が発声した音声部分のみを切り出した音声区間の音声信号とその発声開始時刻情報を、ネットワーク２３０を介して出現頻度付認識結果サーバ２４０に送信し、当該出力頻度付認識結果サーバ２４０から受信した出現頻度付認識結果から重要語を抽出して出力する。ここで音声区間の抽出は、例えば参考文献２（特開２０１２−４８１１９号公報）に記載された方法を用いることができる。
【００３９】
図６を参照して発話内重要語抽出装置２２０の動作を更に詳しく説明する。発話内重要語抽出装置２２０は、音声録音部２２１と、音声区間抽出部２２２と、音声送出部２２３と、出現頻度付認識結果受信部２２４と、単語登録部２２５と、重要語抽出部２２６と、キーワードリスト２２７と、重要語表示部２２８と、を具備する。
【００４０】
音声録音部２２１は、音声入力端末２１０から送られて来る音声信号を音声ファイルとして録音する（ステップＳ２２１）。この時、音声信号の録音が開始された時刻である録音開始時刻も記録される。音声信号と録音開始時刻は発話内重要語抽出装置２２０を構成するコンピュータの例えばＲＡＭ等の記憶部に記憶される。
【００４１】
音声区間抽出部２２２は、音声録音部２２１が録音した音声ファイルから人が発声した音声部分のみを切り出した音声ファイルを作成し、音声送出部２２３に当該音声ファイルを出力する（ステップＳ２２２）。この時に、切り出した音声ファイルの発声開始時刻情報も音声送出部２２３に出力する。発声開始時刻情報は、音声信号の録音開始時刻と切り出し音声の音声信号録音開始時刻からの経過時間から得られる。つまり、発声開始時刻情報は、音声信号の録音開始時刻に、切り出し音声の音声信号録音開始時刻からの経過時間を加算することで得られる。音声部分のみを切り出す方法は、上記したように周知である。
【００４２】
音声送出部２２３は、音声区間抽出部２２２が抽出した音声区間の音声信号と発声開始時刻情報とをネットワーク２３０を介して出現頻度付認識結果生成サーバ２４０に送信する（ステップＳ２２３）。出現頻度付認識結果受信部２２４は、出現頻度付認識結果生成サーバ２４０からネットワーク２３０を介して送られて来る出現頻度付認識結果を受信する（ステップＳ２２４）。この出現頻度付認識結果は、単語出現頻度計数部１２０（図１）の出力するものと同じである。
【００４３】
単語登録部２２５は、出現頻度付認識結果受信部２２４で受信した出現頻度付認識結果の所定の条件を満たす単語を、キーワードとしてキーワードリスト２２７に登録する（ステップＳ２２５）。所定の条件とは、所定時間内であることと、出現回数が所定の回数以上であることと、所定の品詞であること、という条件である。
【００４４】
所定時間内であるか否かは、発声開始時刻情報を基準に出現頻度付認識結果生成サーバ２４０の単語出現頻度計数部２４３が、単語ごとに付与した時刻ラベルで判定することができる。
【００４５】
重要語抽出部２２６は、出現頻度付認識結果受信部２２４で受信した出現頻度付認識結果を入力として、所定回数以上の出現頻度で、且つキーワードと一致する単語を重要語として抽出する（ステップＳ２２６）。これら単語登録部２２５と重要語抽出部２２６とキーワードリスト２２７は、装置としては別の装置であるので参照符号を変えているが、発話内重要語抽出装置１００（図１）で説明した同一名称の各機能部と同じものである。
【００４６】
重要語表示部２２８は、重要語抽出部２２６が抽出した重要語を表示する（ステップＳ２２８）。重要語の表示は、発話内重要語抽出装置２２０が備える図示しない液晶パネル等の表示手段によって表示される。
【００４７】
なお、単語出現頻度計数部２４３で単語ごとに時刻ラベルを付与せずに、発声開始時刻情報をそのまま出現頻度付認識結果と共に発話内重要語抽出装置に送信するようにしても良い。その場合は、発話内重要語抽出装置２２０の音声区間抽出部２２２で出力される発声開始時刻情報を、出現頻度付認識結果生成サーバ２４０の音声受信部２４１、音声認識部２４２、単語出現頻度計数部２４３、出現頻度付認識結果送信部２４４、再び発話内重要語抽出装置２２０の出現頻度付認識結果受信部２２４の順に伝達し、単語登録部２２５において発声開始時刻情報を用いて所定時間内であるか否かを判定する。
【００４８】
〔出現頻度付認識結果生成サーバ〕
出現頻度付認識結果生成サーバ２４０は、図６に示すように、音声受信部２４１と、音声認識部２４２と、単語出現頻度計算部２４３と、出現頻度付認識結果送信部２４４と、を具備する。音声受信部２４１は、発話内重要語抽出装置２２０からネットワーク２３０を介して送信されて来る音声信号と発声開始時刻情報とを受信する（ステップＳ２４１）。
【００４９】
音声認識部２４２は、音声受信部２４１で受信した音声信号を、音声認識処理して形態素に分割した単語列と品詞列の情報から成るテキスト文を生成して出力する（ステップＳ２４２）。単語出現頻度計数部２４３は、音声認識部２４２が出力するテキスト文の単語の所定時間内における出現頻度を計数して、単語とその品詞とその出現頻度とから成る出現頻度付認識結果を出力する（ステップＳ２４３）。単語出現頻度計数部２４３は、単語出現頻度計数部１２０（図１）と同様に、音声認識部２４２が出力する単語列の各単語に時刻ラベルを付与する。単語出現頻度計数部２４３が付与する時刻ラベルは、音声認識処理する音声信号と共に受信する発声開始時刻情報を基準に計時した時刻である。
【００５０】
出現頻度付認識結果送信部２４４は、単語出現頻度計数部２４３が出力する出現頻度付認識結果をネットワーク２３０を介して発話内重要語抽出装置２２０に出力する（ステップＳ２４４）。出現頻度付認識結果生成サーバ２４０内の音声認識部２４２は、発話内重要語抽出装置１００（図１）の音声認識部１１０に対して時刻ラベルを発声開始時刻情報を基準に付与する点でのみ異なるだけである。単語出現頻度計数部２４３は、発話内重要語抽出装置１００（図１）の単語出現頻度係数部１２０と全く同じものである。
【００５１】
なお、単語出現頻度計数部２４３において各単語に時刻ラベルを付与せず、発話内重要語抽出装置２２０の単語登録部２２５の所定の条件の判定に、発声開始時刻情報を用いても良いのは上記した通りである。
【００５２】
以上説明した発話内重要語抽出システム２００によれば、比較的に処理の重い音声認識処理を、出現頻度付認識結果生成サーバ２４０に分担させるので、発話内重要語抽出装置１００と同じ効果を奏する発話内重要語抽出装置２２０の構成を簡単にすることができる。また、出現頻度付認識結果生成サーバ２４０の機能を実現するコンピュータのＣＰＵパワーを高めることで、発話内重要語抽出装置１００で行う音声認識性能よりも高速・高精度な音声認識処理を行う事も可能である。
【実施例２】
【００５３】
図８に、この発明の発話内重要語抽出システム３００のシステム構成を示す。発話内重要語抽出システム３００は、発話内重要語抽出システム２００に対して発話内重要語抽出装置３２０の構成のみが異なる。
【００５４】
発話内重要語抽出装置３２０は、発話内重要語抽出装置２２０（図６）に対して行動履歴表示部３２１を備える点で異なる。行動履歴表示部３２１は、重要語抽出部２２６が抽出した重要語と、その重要語が抽出された時間帯とを組とした行動履歴を表示する。行動履歴は、発話内重要語抽出装置３２０が備える図示しない液晶パネル等の表示手段によって表示される。
【００５５】
図９に、音声入力端末２１０と発話内重要語抽出装置３２０の外観とその利用場面の一例を示す。音声入力端末２１０は上記した例のネクタイピン型である。発話内重要語抽出装置３２０の表示手段に、重要語とその重要語が抽出された時間帯とが、時間帯別に表示されている。このように重要語と時間帯が表示されることで利用者は、一日の行動履歴を確認することができる。
【００５６】
また、利用者が表示手段の重要語又は時間帯を指先でタップすることで、音声録音部２２１が録音したその時間帯の音声を、図示を省略しているスピーカで再生するようにしても良い。行動履歴に対応する音声を再生する場合、発話内重要語抽出装置３２０は、更に、行動履歴選択入力部３２２と、録音データ選択再生部３２３と、を備える。行動履歴選択入力部３２２は、利用者が行動履歴を選択する指先が表示手段にタップする入力に対応して、重要語又は時間帯に対応した信号を録音データ選択再生部３２３に出力する。
【００５７】
録音データ選択再生部３２３は、音声録音部２２１が録音した音声ファイルを、行動履歴選択入力部３２２が出力する重要語又は時間帯に対応した信号に基づいて読み出してスピーカで再生する。重要語又は時間帯に対応する音声ファイルを、音声として聴取可能にすることで、利用者は行動履歴を詳細に振り返ることができる。
【実施例３】
【００５８】
図１０に、この発明の発話内重要語抽出システム４００のシステム構成を示す。発話内重要語抽出システム４００は、ネットワーク２３０に接続される複数の発話内重要語抽出装置４２０１，４２０２，４２０ｎと、出現頻度付認識結果生成サーバ４４０とで構成される。図１１に、出現頻度付認識結果生成サーバ４４０の機能構成例を示す。出現頻度付認識結果生成サーバ４４０は、出現頻度付認識結果生成サーバ２４０（図６）に対して、複数の発話内重要語抽出装置から送信されてくる音声信号にそれぞれ対応して動作する点と、複数の送信信号から生成された複数のテキスト文から共通する共通キーワードを抽出する点で異なる。
【００５９】
出現頻度付認識結果生成サーバ４４０は、音声受信部４４１と、複数の音声認識部４４２１〜４４２ｎと、複数の単語出現頻度計数部４４３１〜４４３ｎと、出現頻度付認識結果送信部４４４と、共通単語出現頻度計数部４４５と、共通単語登録部４４６と、共通キーワードリスト４４７と、共通キーワード送信部４４８と、を具備する。音声受信部４４１は、複数の発話内重要語抽出装置から送信されてくる音声信号を受信し、それぞれが識別できるように識別子を付与した音声信号を複数の音声認識部４４２１〜４４２ｎに出力する点で、１個の発話内重要語抽出装置に対応する音声受信部２４１（図６）と異なる。
【００６０】
複数備わる音声認識部４４２＊（＊：１〜ｎ）と単語出現頻度計数部４４３＊は、識別子に対応させて動作する点のみが異なるだけで、それぞれの動作は１個の発話内重要語抽出装置に対して動作する音声認識部２４２と単語出現頻度計数部２４３と同じ処理を行う。つまり、１個目の発話内重要語抽出装置２２０１から受信した音声信号は、例えば音声認識部４４２１で音声認識処理され、単語の出現頻度の計数処理が単語出現頻度計算部４４３１で行われる。ｎ個目の発話内重要語抽出装置２２０ｎから受信した音声信号は、例えば音声認識部４４２ｎで音声認識処理され、単語の出現頻度の計数処理が単語出現頻度計算部４４３ｎで行われる。
【００６１】
出現頻度付認識結果送信部４４４は、複数の単語出現頻度計数部４４３１〜４４３ｎが計数した単語とその品詞とその出現頻度とから成る識別子が付与された出現頻度付認識結果をネットワーク２３０を介して複数の発話内重要語抽出装置４２０＊に送信する。
【００６２】
共通単語出現頻度計数部４４５は、複数の音声認識部４４２＊が出力する複数のテキスト文内の単語の所定時間内において共通して出現する単語の共通出現頻度を計数して、単語とその品詞とその共通出現頻度とから成る出現頻度付共通認識結果を出力する。又は、例えば全ての利用者の音声ファイルの認識結果であるテキスト文中の所定時間内の利用者１人あたりの平均出現回数に上限閾値を設け、その閾値以上の回数出現した単語とその品詞を出現頻度付共通認識結果として抽出するようにしても良い。
【００６３】
共通単語登録部４４６は、共通単語出現頻度計数部４４５が抽出した出現頻度付共通認識結果を入力として、所定の条件を満たす出現頻度付共通認識結果の単語を、共通キーワードとして共通キーワードリスト４４７に登録する。共通キーワード送信部４４８は、共通キーワードリスト４４７に登録された共通キーワードを、複数の発話内重要語抽出装置４２０の全てに出力する。
【００６４】
図１２に、発話内重要語抽出システム４００を構成する発話内重要語抽出装置４２０の機能構成例を示す。発話内重要語抽出装置４２０は、発話内重要語抽出装置２２０（図６）に対して共通キーワード受信部４２１を備える点でのみ異なる。
【００６５】
共通キーワード受信部４２１は、ネットワーク２３０を介して出現頻度付認識結果生成サーバ４４０から送信されて来る共通キーワードを受信してキーワードリスト２２７に登録する。共通キーワードの「登録契機」は「共通発話頻度」として登録される。つまり、発話内重要語抽出装置４２０は、複数の発話内重要語抽出装置の間で共通する共通キーワードと一致する単語も重要語として抽出することが可能である。
【００６６】
以上説明したこの発明の発話内重要語抽出装置とその装置を用いた発話内重要語抽出システムは、重要語が発話の中に出現する頻度が多いことに着目し、所定時間内に所定回数以上、音声認識結果として出現した単語をキーワードとして登録し、更にそのキーワードと一致する単語が音声認識結果内に出現した場合に重要語として抽出する考えに基づく。この考えによれば、キーワードリストを自動的に最新化できるので、そのメンテナンスコストを不要にすることができる。また、重要語として抽出されるためには、所定時間内に所定回数以上音声認識結果として出力される必要があるため、誤りを多分に含む対話音声のような音声に対して、偶然、キーワードリストに存在する単語に誤認識した場合でも、発話していない単語を不用意に重要語として抽出してしまうリスクを小さくする効果も得られる。
【００６７】
このように優れた効果を奏する本願発明の発話内重要語抽出装置は、常時、発話音声を録音するだけという簡単な方法で、ライフログのような個人活動履歴や備忘録の作成が可能であり、利用者に高い利便性を提供することができる。また、その発話内重要語抽出装置を用いた発話内重要語抽出システムは、1個の発話内重要語抽出装置で得られる効果に加えて、複数の発話内重要語抽出装置の間で共通に出現する重要語も抽出することができる。
【００６８】
上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００６９】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００７０】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2015099289.tif 000003
【図２】
2015099289.tif 000004
【図３】
2015099289.tif 000005
【図５】
2015099289.tif 000006
【図６】
2015099289.tif 000007
【図７】
2015099289.tif 000008
【図８】
2015099289.tif 000009
【図１０】
2015099289.tif 000010
【図１１】
2015099289.tif 000011
【図１２】
2015099289.tif 000012
【図４】
2015099289.tif 000013
【図９】
2015099289.tif 000014