(57)【要約】【課題】講演時等に適用した場合に、多くの聴講者が筆記したメモ等から特定の音声の一部を要約する。【解決手段】記録媒体に筆記されたことを検出する複数の筆記検出端末２と、音声を入力するとともに筆記検出端末２において検出された筆記検出情撮に基づいて入力された音声を示す音声データを要約する音声データ要約端末４とを備え、筆記検出端末２は筆記していることを検出し、この検出した筆記検出情報を送信し、音声データ要約端末４は、音声が入力された入力時刻とを対応させて記憶し、筆記検出端末２によって送信された筆記検出情報を受信し、この受信した筆記検出情報と時刻とを対応させた筆記頻度データを記憶し、この記憶した筆記頻度データが閾値を超える頻度が生じた頻度時刻を取得し、この取得した頻度時刻に基づいて、記憶した音声データを要約する。【選択図】  図１
2005321731.tif 000002
【特許請求の範囲】
【請求項１】
記録媒体に筆記されたことを検出する複数の筆記検出端末と、
音声を入力すると共に前記筆記検出端末において検出された筆記検出情報に基づいて前記入力された音声を示す音声データを要約する音声データ要約端末とを備え、
前記筆記検出端末は、
筆記していることを検出する筆記検出手段と、
前記筆記検出手段によって検出された筆記検出情報を送信する送信手段とを備え、
前記音声データ要約端末は、
時刻を計る時刻取得手段と、
入力された音声を示す音声データと前記時刻取得手段によって測定された前記音声が入力された入力時刻とを対応させて記憶する音声データ記憶手段と、
前記送信手段によって送信された筆記検出情報を受信する受信手段と、
前記受信手段によって受信された筆記検出情報と前記時刻取得手段によって測定された時刻とを対応させた筆記頻度データを記憶する筆記頻度データ記憶手段と、
前記筆記頻度データ記憶手段によって記憶された筆記頻度データが閾値を超える頻度が生じた頻度時刻を取得する頻度時刻取得手段と、
前記頻度時刻取得手段によって取得された頻度時刻に基づいて前記音声データ記憶手段に記憶されている音声データを要約する要約手段とを備えたこと
を特徴とする音声データ要約システム。
【請求項２】
前記要約手段は、前記音声データ記憶手段に蓄積された音声データの無声区間と有声区間を判定し、前記有声区間に基づき音声データの再生開始時刻を算出すること
を特徴とする請求項１記載の音声データ要約システム。
【請求項３】
音声データの無声区間と有声区間の判定は、前記音声データに基づいて、分析時間毎の音圧を２乗平均して算出されたデータに基づくこと
を特徴とする請求項２記載の音声データ要約システム。
【請求項４】
コンピュータを請求項１から３のいずれか１項に記載の音声データ要約システムを構成する手段として機能させるための音声データ要約プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声データ要約システムに関し、特に、タブレット等によって得られた筆記データに基づいて録音された音声を要約する音声データ要約システムに関する。
【背景技術】
【０００２】
従来、ペンで筆記されたストローク情報を用いて文字を認識したり、紙面上に筆記された文字のイメージ情報をスキャナーやカメラを用いて取り込み、そのイメージ情報をもとにして文字を認識する文字認識装置が知られている（例えば特許文献１参照）。さらに、このような文字認識装置に音声を録音再生する録音再生装置を組み合わせたシステムが考えられている。このシステムは、会議等において音声を連続して録音すると共に、議事録作成メモとして筆記データと音声データとを同期させて記憶し、会議後に筆記データを指示することにより、対応する音声を再生するようになっている。
【特許文献１】特開平８−１６１４３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、前述の従来技術では、講演時等に適用した場合に、多くの聴講者が筆記したメモ等から、例えば、聴講者が興味を示した音声の一部を要約し、再生することができないという課題が残されていた。
【０００４】
本発明は、このような課題を解決するためになされたもので、その目的は、講演時等に適用した場合に、多くの聴講者が筆記したメモ等から、例えば聴講者が興味を示した音声のような特定な音声の一部を要約し、再生することができる音声データ要約システムとそのプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
請求項１記載の音声データ要約システムは、記録媒体に筆記されたことを検出する複数の筆記検出端末と、音声を入力すると共に前記筆記検出端末において検出された筆記検出情報に基づいて前記入力された音声を示す音声データを要約する音声データ要約端末とを備え、
前記筆記検出端末は、筆記していることを検出する筆記検出手段と前記筆記検出手段によって検出された筆記検出情報を送信する送信手段とを備え、
前記音声データ要約端末は、時刻を計る時刻取得手段と、入力された音声を示す音声データと前記時刻取得手段によって得られた前記音声が入力された入力時刻とを対応させて記憶する音声データ記憶手段と、前記送信手段によって送信された筆記検出情報を受信する受信手段と、前記受信手段によって受信された筆記検出情報と前記時刻取得手段によって得られた時刻とを対応させた筆記頻度データを記憶する筆記頻度データ記憶手段と、前記筆記頻度データ記憶手段によって記憶された筆記頻度データが閾値を超える頻度が生じた頻度時刻を取得する頻度時刻取得手段と、前記頻度時刻取得手段によって取得された頻度時刻に基づいて前記音声データ記憶手段に記憶されている音声データを要約する要約手段とを備える。
【０００６】
本発明によれば、複数の筆記検出端末から送信された筆記検出情報から求められる筆記頻度データに基づいて、音声データを要約することができるので、例えば、講演時等に適用した場合に、多くの聴講者が筆記したメモ等から、聴講者が興味を示した音声の一部を要約し、再生することができる。
【０００７】
請求項２記載の音声データ要約システムは、請求項１記載の音声データ要約システムにおいて、前記要約手段は、前記音声データ記憶手段に蓄積された音声データの無声区間と有声区間を判定し、前記有声区間に基づき音声データの再生開始時刻を算出する。
【０００８】
本発明によれば、蓄積された音声データの無声区間と有声区間を判定し、有声区間から音声データの再生開始時刻を算出しているので、有声区間のみにおける音声データの要約が可能となる。
【０００９】
また、請求項３記載の音声データ要約システムのように、請求項２記載の音声データ要約システムにおいて、音声データの無声区間と有声区間の判定は、前記音声データに基づいて、分析時間毎の音圧を２乗平均して算出されたデータに基づくとよい。
【００１０】
以上の音声データ要約システムは、コンピュータとプログラムによっても実現できる。すなわち、コンピュータを請求項１から３のいずれか１項に記載の音声データ要約システムを構成する手段として機能させるためのプログラムをコンピュータ読み取り可能な記録媒体に記録することやネットワークを通して提供すればコンピュータによって実施可能である。前記記録媒体としては、例えばフレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバルディスク等が挙げられる。
【発明の効果】
【００１１】
以上のように本発明の音声データ要約システムとそのプログラムによれば、講演時等に適用した場合に、多くの聴講者が筆記したメモ等から、例えば、聴講者が興味を示した音声のような特定な音声の一部を要約し、再生することができるシステムを提供することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１３】
図１は、本発明の一実施の形態に係る音声データ要約システムの概略構成図であり、図２は、音声データ要約システムの機能構成を示すブロック図である。
【００１４】
図１及び図２に示された音声データ要約システム１は、記録媒体に筆記されたことを検出する複数の筆記検出端末２と、音声を入力する音声入力手段としてのマイク装置３と、筆記検出端末２において検出された筆記検出情報に基づいて入力された音声を示す音声データを要約する音声データ要約端末４と、音声データ要約端末４によって予約された音声データを出力する音声出力手段としてのスピーカ装置５とを備えている。
【００１５】
例えば、講演時に適用した場合、講演者がマイク装置３を用いて音声を連続して録音する。各聴講者は、筆記検出端末２を所持しており、筆記検出端末２上に紙などの記録媒体６を置き、講演を聴きながらペン７を用いて記録媒体６にメモをとる。尚、筆記検出端末２は、タブレットなどのポインティングデバイスによって構成してもよい。
【００１６】
図２に示された筆記検出端末２は、筆記していることを検出する筆記検出手段２０と、筆記検出手段２０によって検出された筆記検出情報を送信する送信手段２１とを備えている。
【００１７】
筆記検出情報は、筆記検出端末２を識別するためのＩＤと、筆記を開始した旨を表す情報とが含まれており、筆記検出手段２０は、筆記検出端末２に置かれた記録媒体６にペン７の先端が触れたときに筆記の開始を検出し、筆記を開始した旨を表す情報を含む筆記検出情報を生成するようになっている。
【００１８】
尚、筆記検出端末２が時計を有する場合には、筆記検出手段２０は、筆記検出情報に時刻情報を含むようにしてもよい。筆記検出情報に時刻情報を含む場合には、送信手段２１は、筆記検出情報を一時的に蓄積し、複数の筆記検出情報をまとめて送信するようにしてもよい。
【００１９】
送信手段２１は、アンテナ、ドライバ、及びレシーバを備え、無線で情報を送受信するようにしてもよく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やネットワーク等のインタフェイスを備え、有線で情報を送受信するようにしてもよい。
【００２０】
一方、音声データ要約端末４は、時刻を測る時刻取得手段４１と、マイク装置３によって入力された音声を示す音声データと時刻取得手段４１によって得られた音声が入力された入力時刻とを対応させて記憶する音声データ記憶手段４２と、送信手段２１によって送信された筆記検出情報を受信する受信手段４３と、受信手段４３によって受信された筆記検出情報と時刻取得手段４１によって得られた時刻とを対応させた筆記頻度データを記憶する筆記頻度データ記憶手段４４と、筆記頻度データ記憶手段４４によって記憶された筆記頻度データが閾値を超える頻度が生じた頻度時刻を取得する頻度時刻取得手段４５と、頻度時刻取得手段４５によって取得された頻度時刻に基づいて、音声データ記憶手段４２に記憶されている音声データを要約する要約手段４６と、要約手段４６によって要約された音声データをスピーカ装置５に出力するよう制御する音声出力制御手段４８とを備えている。
【００２１】
例えば、音声データ記憶手段４２は、講演等における音声データをリアルタイムで連続して蓄積するようになっている。また、音声データは、無圧縮のＰＣＭ形式に対応したデータや、ＭＰ３に準拠して符号化されたデータなどである。
【００２２】
音声データ記憶手段４２は、音声データの格納アドレスと入力時刻とを対応させることによって、入力時刻に対応した音声データと入力時刻とを対応させて記憶するようになっている。
【００２３】
ここで、音声データ記憶手段４２によって記憶された入力時刻及び格納アドレスを対応付けたデータの一例を表１に示す。格納時刻は、音声データが格納アドレスに蓄積されたときの時刻であり、時刻Ｔｎ（ｎは自然数）で表す。格納アドレスは、音声データが格納時刻の時点で記憶されたときの記憶領域を示すアドレスであり、アドレスｎ（ｎは自然数）で表す。尚、表１に示したデータには、一定時間間隔で格納時刻及び格納アドレスを対応付けて蓄積されてもよい。
【００２４】
【表１】
2005321731.tif 000003
【００２５】
音声データ記憶手段４２は、前述した音声データに加えて、音声データに基づいて分析時間毎に求められる分析データを記憶するようになっており、この音声データ記憶手段４２に分析データを記憶させるよう制御する音声入力制御手段４７が音声データ要約端末４にさらに設けられている。
【００２６】
図５は分析時間毎に求められた分析データをグラフ化して表した図である。
【００２７】
例えば、音声データ記憶手段４２は、図５に示されたように、分析時間毎、すなわち、区間Ａ、区間Ｂ、区間Ｃ、及び以降などから求められた分析データを記憶するようになっている。ここで、分析データは、分析時間内の音声データから得られる音圧値を二乗し、二乗して得られたそれぞれの値の平均を意味する。
【００２８】
図６は分析時間毎に求められた筆記頻度データをグラフ化して表した図である。
【００２９】
筆記頻度データ記憶手段４４に記憶される筆記頻度データは、受信手段４３によって受信された筆記検出情報と時刻取得手段４１によって得られた時刻とを対応させたものであり、図６に示されたように、受信手段４３による筆記検出情報の受信回数を分析時間毎に累積したものである。
【００３０】
頻度時刻取得手段４５は、筆記頻度データが閾値を超える頻度が生じた頻度時刻を取得する。図６に示された例においては、区間Ｊ及び区間Ｐで筆記頻度データが閾値を超えているため時刻Ｔ１０及び時刻Ｔ１６が頻度時刻取得手段４５によって取得される。
【００３１】
要約手段４６は、無声区間と有声区間の判定機能を有する。すなわち、音声データ記憶手段４２に蓄積された音声データの無声区間と有声区間を判定し、有声区間から音声データの再生開始時刻を求める。無声区間と有声区間の判定方法は公知であり、例えば、「音響・音声工学」（古井貞熙、近代科学社、１９９２）がある。以下、音圧に基づく要約処理について説明する。
【００３２】
また、要約手段４６は、分析データが閾値を超える音声領域から頻度時刻に対応する音声領域を選択し、選択した音声領域のなかで分析データが閾値を超えた始点時刻及び終点時刻に基づいて、音声データ記憶手段４２に記憶されている音声データを要約する。
【００３３】
さらに、要約手段４６は、分析データが閾値を超える音声領域を音声領域群にグループ化し、頻度時刻取得手段４５によって取得された頻度時刻に基づいて、グループ化した音声領域群から頻度時刻に対応する音声領域群を選択し、この選択した音声領域群のなかで分析データが閾値を超えた始点時刻及び終点時刻に基づいて、音声データ記憶手段４２に記憶されている音声データを要約するようにしてもよい。
【００３４】
ここで、音声領域群は、区間の平均データが所定数連続して閾値を超えていない区間を区切りとして分けられる。例えば、２連続した区間の平均データが閾値を超えていない区間を区切りとすれば、図５に示されたように、区間Ｃ及び区間Ｄ、並びに区間Ｌ及び区間Ｍを区切りとして、音声領域群は、区間Ｅから区間Ｋまで、区間Ｎ及び区間Ｑのように分けられる。
【００３５】
例えば、図６に示すように、区間Ｊで筆記頻度データが閾値を超えているため頻度時刻取得手段４５によって頻度時刻Ｔ１０が取得され、要約手段４６は、頻度時刻Ｔ１０に対応する区間Ｅから区間Ｋまでを選択するようになっている。また、区間Ｐで筆記頻度データが閾値を超えているため、頻度時刻取得手段４５によって頻度時刻Ｔ１６が取得され、要約手段４６は、頻度時刻Ｔ１６に対応する区間Ｎ及び区間Ｑまでを選択する。
【００３６】
また、要約手段４６は、選択した音声領域または音声領域群の音声データを要約する場合に、前述した始点時刻及び終点時刻を調節して要約する。例えば、音声データ要約端末４に設けられた操作手段４ａを操作することによって、ユーザの好みに合わせて設定可能になっている。
【００３７】
さらに、要約手段４６は、分析データの最大値及び最小値の差分に対する任意の割合から得られた値に最小値を加算した値を閾値として用いる。
【００３８】
この閾値は、例示であって、この閾値に換えて、要約手段４６は、分析データの最大値及び最小値の差分を任意の時間間隔で取得し、取得した最大値及び最小値の差分に対する任意の割合から得られた値に最小値を加算した値を閾値として用いるようにしてもよい。
【００３９】
さらに、要約手段４６は、分析データの最大値及び平均値の差分を任意の時間間隔で取得し、取得した最大値及び平均値の差分に対する任意の割合から得られた値に平均値を加算した値を閾値として用いるようにしてもよい。
【００４０】
以上のように構成された音声データ要約システム１の動作について、図３に示されたフローチャートを参照しながら説明する。
【００４１】
音声データ要約システム１における音声データ要約制御動作は、筆記頻度データ記憶手段４４に筆記頻度データの蓄積が完了した場合にスタートする。
【００４２】
先ず、頻度時刻取得手段４５によって筆記頻度データ記憶手段４４に記憶されている筆記頻度データが解析され（Ｓ１）、この解析された筆記頻度データから頻度時刻が取得される（Ｓ２）。そして、この取得された頻度時刻に基づいて要約手段４６によって音声データの要約処理がなされる（Ｓ３）。
【００４３】
次に、図４ａを参照しながら要約手段４６による要約処理の手順について説明する。図４ａは、要約手段４６による音声データ要約処理の一例（第１例）を説明したフローチャートである。
【００４４】
先ず、音声データ記憶手段４２に記憶されている音声データから求められる分析データに基づいて、閾値を超える音声領域を抽出する（Ｓ１１）。次いで、この抽出された音声領域のうち頻度時刻取得手段４５によって取得された頻度時刻に基づいて音声領域を選択する（Ｓ１２）。次いで、この選択された音声領域から閾値を超える始点時刻及び終点時刻を算出する（Ｓ１３）。そして、この算出された始点時刻及び終点時刻を調節した後（Ｓ１４）、この調節された始点時刻及び終点時刻に基づいて音声データ記憶手段４２に記憶されている音声データを要約する（Ｓ１５）。
【００４５】
次いで、要約手段４６によるその他の音声データ要約処理について説明する。
【００４６】
図４ｂは要約手段４６による音声データ要約処理の一例（第２例）を説明したフローチャートである。
【００４７】
先ず、音声データ記憶手段４２に記憶されている音声データから求められる分析データに基づいて、閾値を超える音声領域を抽出する（Ｓ２１）。次いで、前記抽出された音声領域をグループ化する（Ｓ２２）。次いで、グループ化された音声領域群のうち頻度時刻取得手段４５によって取得された頻度時刻に基づいて音声領域群を選択する（Ｓ２３）。次いで、この選択された音声領域群から閾値を超える始点時刻及び終点時刻を算出する（Ｓ２４）。そして、この算出された始点時刻及び終点時刻の調節を実行した後（Ｓ２５）、この調節された始点時刻及び終点時刻に基づいて音声データ記憶手段４２に記憶されている音声データを要約する（Ｓ２６）。
【００４８】
このような本実施形態の音声データ要約システム１によれば、複数の筆記検出端末２から送信された筆記検出情報から求められる筆記頻度データ及び分析データに基づいて、音声データを要約することができるので、例えば、講演時等に適用した場合に、多くの聴講者が筆記したメモ等から、聴講者が興味を示した音声の一部を要約し、再生することができる。
【００４９】
また、筆記頻度データ記憶手段４４において聴講者の技術分野、性別、年齢別に筆記頻度データを記憶しておき、音声要求時にユーザがどのデータを選択するか若しくはユーザの技術分野、性別、年齢別等から最もマッチする頻度データを音声データ要求端末が選択するようにしてユーザの嗜好に合った要約音声を再生することもできる。
【００５０】
本発明の音声データ要約システムは、前述した実施形態に係る装置の機能を実現するソフトウェアのプログラムコードを記録したコンピュータ読み取り可能な記録媒体を、コンピュータに供給し、このコンピュータの演算手段が前記記憶媒体に格納されたプログラムコードを読み出し実行することによっても実現できる。この場合、記録媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、このプログラムコードを記憶した記憶媒体、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成するものである。
【図面の簡単な説明】
【００５１】
【図１】本発明の一実施形態例に係る音声データ要約システムの概略構成図。
【図２】本発明の一実施形態例に係る音声データ要約システムの機能構成を示すブロック図。
【図３】本発明の一実施形態例に係る音声データ要約システムの動作を説明したフローチャート。
【図４ａ】本発明の一実施形態例に係る音声データ要約システムの動作を説明したフローチャート。
【図４ｂ】本発明の一実施形態例に係る音声データ要約システムの動作を説明したフローチャート。
【図５】分析時間毎に求められた分析データのグラフ。
【図６】分析時間毎に求められた筆記頻度データのグラフ。
【符号の説明】
【００５２】
１…音声データ要約システム
２…筆記検出端末
３…マイク装置
４…音声データ要約端末
５…スピーカ装置
２０…筆記検出手段
２１…送信手段
４１…時刻取得手段
４２…音声データ記憶手段
４３…受信手段
４４…筆記頻度データ記憶手段
４５…頻度時刻取得手段
４６…要約手段
４７…音声入力制御手段
４８…音声出力制御手段
【図１】
2005321731.tif 000004
【図２】
2005321731.tif 000005
【図３】
2005321731.tif 000006
【図４ａ】
2005321731.tif 000007
【図４ｂ】
2005321731.tif 000008
【図５】
2005321731.tif 000009
【図６】
2005321731.tif 000010