(57)【要約】【課題】複数の話者の会話が録音されている音声データから、特定の話者の発言を効率良く聴くことができ、その発言に至るまでの他者の発言内容も把握することができる装置を提供する。【解決手段】録音サーバ１０１のネットワークＩ／Ｆ４は、ネットワーク１００で通信される多地点音声会議の音声データを取得し、記録部３は音声データを議事録として記録する。記録部３は、各会議参加者の音声特徴量を記録している。特徴データ抽出部２は、パソコン１０２から再生リクエストを受信すると、記録部３に記録されている議事録の音声データから、音声特徴量を抽出し、各会議参加者の音声特徴量と比較する。その結果、特定の話者の記録音声データを抽出し、この話者の音声データ以外を話速変換（高速再生）し、ダイジェストデータを生成し、ストリーミング配信する。パソコン１０２は、ストリーミングデータを受信し、ダイジェスト再生をする。【選択図】図１
2007298876.tif 000002
【特許請求の範囲】
【請求項１】
複数の話者の発音を録音した音声データ、および特定の話者の音声特徴量を記録する記録手段と、
音声特徴量を抽出する音声特徴量抽出手段と、
前記特定の話者の音声特徴量と、前記音声特徴量抽出手段が抽出した音声特徴量と、を比較し、前記音声データのうち、特定の話者の音声データ記録区間を抽出する話者抽出手段と、
前記特定の話者の音声データ記録区間以外の区間の音声データを、時間軸に圧縮する処理を行う話速変換手段と、
圧縮済みの区間を含んだ音声データを外部に出力する出力手段と、
を備えた音声データ記録再生装置。
【請求項２】
前記話速変換手段は、前記特定の話者の音声データ記録区間以外の区間の音声データを、前記特定の話者の音声データ記録区間に近い区間ほど低い圧縮率で圧縮することを特徴とする請求項１に記載の音声データ記録再生装置。
【請求項３】
前記話速変換手段は、前記特定の話者の音声データ記録区間を、時間軸に伸長する処理を行う請求項１、または請求項２に記載の音声データ記録再生装置。
【請求項４】
音声データと当該音声データの話者を識別する話者識別データとを経時的に取得する前記データ取得手段を備え、
前記記録手段は、前記音声データ、前記話者識別データ、および前記特定の話者の音声特徴量を記録し、
前記話者抽出手段は、前記話者識別データ、または音声特徴量の比較結果、の少なくともいずれか一方に基づいて前記特定の話者の音声データ記録区間を抽出する請求項１、請求項２、または請求項３に記載の音声データ記録再生装置。
【請求項５】
マイクアレイを備えた放収音装置に接続される請求項４に記載の音声データ記録再生装置であって、
前記放収音装置は、前記マイクアレイの各マイクの収音音声信号に基づいて、それぞれに異なる方位に強い指向性を有する複数の収音ビーム信号を形成し、該複数の収音ビーム信号を比較して、最も信号強度の強い収音ビーム信号を選択するとともに、選択された収音ビーム信号に対応する方位を検出して、前記選択された収音ビーム信号を音声データとし、前記検出した方位を話者識別データとして出力することを特徴とする音声データ記録再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、会議音声等の音声を記録して利用する装置に関するものである。
【背景技術】
【０００２】
従来から会議において、各話者の発言を録音した議事録を作成することが一般的である。このような議事録を後から確認するとき、全ての発言を聴き返すことは時間がかかるため、重要な部分だけ（所謂ダイジェスト）を聴きたい場合が多い。
【０００３】
そこで、録音済の音声データから各発話者を識別し、音声認識処理でテキストデータ化する装置（例えば特許文献１参照）、このテキストから要約を作成する装置（例えば、特許文献２、特許文献３参照）が提案されている。
【０００４】
また、話者、話題毎に音声データを分割し、これらの話者、話題をキー検索として検索処理を行う記録情報処理装置が提案されている（例えば特許文献４参照）。この記録情報処理装置によれば、特定の話者の発言だけを聴くことができる。
【０００５】
また、発言内容を聴きとりできなかった場合に、指定時間だけ巻き戻して、先ほどよりも遅い速度で再生する情報再生装置（例えば特許文献５参照）が提案されている。
【特許文献１】特開２００５−４３６２８号公報
【特許文献２】特開２００４−２０７３９号公報
【特許文献３】特開２００２−９９５３０号公報
【特許文献４】特開２００４−２３６６１号公報
【特許文献５】特開平８−１４７７９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１〜３に記載の装置は、音声認識処理を行い、テキストを抽出するが、このような処理は、高度の音声認識技術が要求されていた。
特許文献４に記載の装置は、特定の話者の発言のみ聴く構成であるため、前後の他者の発言を聴くことができず、会議全体の概要を把握しにくかった。
特許文献５に記載の装置は、低速再生したい場合は、ユーザが手動で指定しなければならなかった。
【０００７】
本発明は、上記問題点に鑑みて、複数の話者の会話が録音されている音声データから、特定の話者の発言を効率良く聴くことができ、その発言に至るまでの他者の発言内容も把握することができる装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明の音声データ記録再生装置は、複数の話者の発音を録音した音声データ、および特定の話者の音声特徴量を記録する記録手段と、音声特徴量を抽出する音声特徴量抽出手段と、前記特定の話者の音声特徴量と、前記音声特徴量抽出手段が抽出した音声特徴量と、を比較し、前記音声データのうち、特定の話者の音声データ記録区間を抽出する話者抽出手段と、前記特定の話者の音声データ記録区間以外の区間の音声データを、時間軸に圧縮する処理を行う話速変換手段と、圧縮済みの区間を含んだ音声データを外部に出力する出力手段と、を備えたことを特徴とする。
【０００９】
この発明では、特定の話者の音声特徴量（フォルマント等）を記録手段に記録しておく。音声特徴量抽出手段は、記録されている音声データから音声特徴量を抽出する。話者抽出手段は、予め記録されている特定の話者の音声特徴量と、抽出した音声特徴量を比較し、特定の話者の発話区間を抽出する。この抽出した特定の話者の発話区間以外の区間について、音声データを時間軸に圧縮して話速変換（高速化）を行う。
【００１０】
また、この発明は、前記話速変換手段は、前記特定の話者の音声データ記録区間以外の区間の音声データを、前記特定の話者の音声データ記録区間に近い区間ほど低い圧縮率で圧縮することを特徴とする。
【００１１】
この発明では、話速変換手段は、特定の話者の発話区間に近いほど圧縮率を低くして話速変換する。これにより、特定の話者がその発言に至るまでの、他者の発言内容をより正確に把握することができる。
【００１２】
また、この発明は、前記話速変換手段は、前記特定の話者の音声データ記録区間を、時間軸に伸長する処理を行うとを特徴とする。
【００１３】
この発明では、抽出した特定話者の発話区間について、音声データを時間軸に伸長して話速変換（低速化）を行う。特定話者の音声がゆっくりと再生されるため、より特定話者の発言を理解し易くなる。
【００１４】
また、この発明は、音声データと当該音声データの話者を識別する話者識別データとを経時的に取得する前記データ取得手段を備え、前記記録手段は、前記音声データ、前記話者識別データ、および前記特定の話者の音声特徴量を記録し、前記話者抽出手段は、前記話者識別データ、または音声特徴量の比較結果、の少なくともいずれか一方に基づいて前記特定の話者の音声データ記録区間を抽出することを特徴とする。
【００１５】
この発明では、データ取得手段で音声データと話者識別データとを経時的に取得し、記録手段に記録する。話者抽出手段は、話者識別データから、特定の話者の発話区間を抽出する。これにより、特定の話者の発話区間をさらに精度良く抽出することができる
また、この発明は、マイクアレイを備えた放収音装置に接続される請求項４に記載の音声データ記録再生装置であって、前記放収音装置は、前記マイクアレイの各マイクの収音音声信号に基づいて、それぞれに異なる方位に強い指向性を有する複数の収音ビーム信号を形成し、該複数の収音ビーム信号を比較して、最も信号強度の強い収音ビーム信号を選択するとともに、選択された収音ビーム信号に対応する方位を検出して、前記選択された収音ビーム信号を音声データとし、前記検出した方位を話者識別データとして出力することを特徴とする。
【００１６】
この発明では、音声データ記録再生装置は、放収音装置に接続されている。この放収音装置は、マイクアレイの各マイクの収音音声信号から複数の収音ビーム信号を形成して、最も信号強度の高い収音ビーム信号を選択するとともに、当該収音ビーム信号に対応する方位を検出する。そして、放収音装置は、選択した収音ビーム信号を音声データとし、検出方位を話者識別データとして出力する。
【発明の効果】
【００１７】
この発明によれば、予め記録しておいた特定の話者の音声特徴量と、音声データから抽出した音声特徴量を比較して、特定の話者の発話区間を抽出し、この発話区間以外の区間を話速変換（高速化）したことで、音声認識（テキスト抽出）等の高度な処理は行う必要なく、特定の話者の発言を聴きながら、その発言に至るまでの他者の発言内容も把握することができる。また、特定の話者の発話区間をユーザが手動で指定する必要もなくなる。
【発明を実施するための最良の形態】
【００１８】
図面を参照して、本発明の実施形態である議事録記録、再生システムについて説明する。
図１は、本実施形態の議事録記録、再生システムの構成を示す図である。この議事録記録、再生システムは、ネットワーク１００に接続された音声会議装置１１１、音声会議装置１１２、録音サーバ１０１、およびパソコン１０２を備えている。
【００１９】
音声会議装置１１１、音声会議装置１１２は、それぞれ離れた地点ａ、地点ｂにそれぞれ配置されている。地点ａには、音声会議装置１１１が配置されており、該音声会議装置１１１を囲むように話者Ａ〜Ｇの７人が音声会議装置１１１に対してそれぞれ方位Ｄｉｒ１１〜Ｄｉｒ１６，Ｄｉｒ１８で在席している。地点ｂには、音声会議装置１１２が配置されており、該音声会議装置１１２を囲むように会議者Ｈ〜Ｌの５人が音声会議装置１１２に対してそれぞれ方位Ｄｉｒ２１，Ｄｉｒ２２，Ｄｉｒ２４，Ｄｉｒ２６，Ｄｉｒ２８で在席している。
【００２０】
図２は本実施形態の音声会議装置１１１の主要構成を示すブロック図である。なお、音声会議装置１１２は、音声会議装置１１１と同一構成であり、その説明を省略する。
音声会議装置１１１は、制御部１１、入出力Ｉ／Ｆ１２、Ｄ／Ａコンバータ１４、放音アンプ１５、スピーカＳＰ１、マイクＭＩＣ１０１、収音アンプ１６、Ａ／Ｄコンバータ１７、エコーキャンセル回路２０、操作部３１、表示部３２を備えている。
【００２１】
制御部１１は、音声会議装置１１１を統括的に制御する。入出力Ｉ／Ｆ１２は、ネットワーク１００に接続され、ネットワーク１００を介して入力された相手装置からの音声データを、ネットワーク形式のデータから一般的な音声信号に変換して、エコーキャンセル回路２０を介してＤ／Ａコンバータ１４に出力する。
【００２２】
Ｄ／Ａコンバータ１４はディジタル形式の放音音声信号をアナログ形式に変換し、放音アンプ１５は放音音声信号を増幅してスピーカＳＰ１に与え、スピーカＳＰ１は、放音音声信号を音声変換して放音する。これにより、自装置の会議者に、ネットワークで接続された相手先装置の会議者の音声を放音する。
【００２３】
マイクＭＩＣ１０１は、自装置の会議者の発話音を含む周囲（方位Ｄｉｒ１１〜方位Ｄｉｒ１８）の音を収音して電気信号に変換し、収音音声信号を生成する。収音アンプ１６は収音音声信号を増幅し、Ａ／Ｄコンバータ１７はアナログ形式の収音音声信号をディジタル形式に変換する。
【００２４】
エコーキャンセル回路２０は、適応型フィルタ２１で入力音声信号に基づいて擬似回帰音信号を生成して、ポストプロセッサ２２で収音音声信号から擬似回帰音信号を減算する。これにより、スピーカＳＰからマイクＭＩＣへの回り込み音を抑圧する。入出力Ｉ／Ｆ１２は、エコーキャンセル回路２０からの収音音声信号をネットワーク形式で所定データ長からなる音声データに変換し、制御部１１から得られる収音時間データを添付して、ネットワーク１００に出力する。
【００２５】
このような構成により、ネットワーク１００に接続された音声会議装置１１１、１１２で多地点会議を行うことができる。
【００２６】
図３は、録音サーバ１０１の構成を示すブロック図である。
録音サーバ１０１は、制御部１、特徴データ抽出部２、記録部３、ネットワークＩ／Ｆ４を備えている。録音サーバ１０１は、音声会議装置１１１、１１２のいずれかと同じ場所に配置しても、これらとは全く異なる場所に配置してもよい。
【００２７】
制御部１は、ネットワークＩ／Ｆ４に対するネットワーク通信制御や、記録部３に対する記録制御等の録音サーバ１０１全体制御を行う。
特徴データ抽出部２は、音声データから各会議参加者の音声特徴量を抽出する。音声特徴量は、典型的には各話者のフォルマント、ピッチ等を表し、音声データをフーリエ変換した周波数スペクトル（パワースペクトル）、およびこのパワースペクトルを対数変換後に逆フーリエ変換したケプストラムから抽出する。特徴データ抽出部２は、会議に先立ち、各話者の音声特徴量を抽出し、各話者の音声特徴量（特徴データ）として、記録部３に記録しておく。各話者の識別情報（すなわち各特徴データがどの話者のものであるか）は、会議参加者（議長）が予め登録する。例えば、話者Ａの音声特徴量を記録部３に登録するとき、議長は、話者Ａに発言してもらい、音声会議装置１１１の操作部３１を用いて話者Ａの情報（個人名等）を記録部３に記録する。なお、本実施形態の議事録記録再生システムを社内で用いる場合、会議参加者が変化しない場合、等であれば、各社員の音声特徴量を、予め記録部３に記録しておくようにしてもよい。
【００２８】
また、特徴データ抽出部２は、会議中において、入力される音声データの各部分の属性を識別する音声状況データを生成する。ここで、属性には、音声データの送信元装置、該装置での収音時刻、等が含まれている。
【００２９】
記録部３は、大容量の磁気ディスク等からなり、機能的に音声データ記録部３０１、音声状況データ記録部３０２、および特徴データ記録部３０３を備える。音声データ記録部３０１は、ネットワークＩ／Ｆ４を介して入力される音声データを順次記録する。この際、音声データ記録部３０１には、音声会議装置１１１用の記録領域と、音声会議装置１１２用の記録領域とが用意されており、それぞれ対応する領域に音声データが記録される。音声状況データ記録部３０２は、特徴データ抽出部２から入力される音声状況データ、すなわち音声データの送信元装置、収音時刻等の情報を記録する。特徴データ記録部３０３は、特徴データ抽出部２が会議に先立って抽出した会議参加者の音声特徴量を記録する。
【００３０】
また、特徴データ抽出部２は、パソコン１０２から記録されている音声データの再生を指示されたとき、音声データ記録部３０１に記録されている音声データから音声特徴量を抽出して、特徴データ記録部３０３に記録しておいた音声特徴量と比較する。その結果、特定の話者（例えば議長）の発言による音声データの記録区間を抽出することができる。録音サーバ１０１は、抽出した記録区間はそのままの音声で、この区間以外の音声を話速変換（高速再生）し、会議のダイジェストデータとしてパソコン１０２にストリーミング配信する。これにより、パソコン１０２においては、議事録のダイジェスト再生を行うことができる。
【００３１】
図４は、パソコン１０２の構成を示すブロック図である。
パソコン１０２は、ＣＰＵ１２１、ハードディスク等の記憶部１２２、表示部１２３、操作入力部１２４、ネットワークＩ／Ｆ１２５、スピーカ１２６を備えている。
【００３２】
ＣＰＵ１２１は、通常のパソコンの処理制御を行うとともに、記憶部１２２に記憶されている再生アプリケーションプログラム（以下、再生アプリと言う）を読み出して実行することで、音声データの再生手段として機能する。再生アプリは、ユーザの議事録再生要求に応じ、録音サーバ１０１に、記録音声データの再生リクエストを送信する。また、再生アプリは、ユーザの話者指定を受付け、録音サーバ１０１に記録されている音声データから、特定の話者を指定し、上記ダイジェストデータを受信して再生する。これにより、指定された話者の発言を効率良く聴くことができるダイジェスト再生を実現する。なお、ユーザは、複数の話者を指定することもでき、この場合、指定された複数の話者の音声区間はそのままの音声で、他の区間が高速再生される。
【００３３】
記憶部１２２は、磁気ディスク、半導体メモリ等からなり、再生アプリを記憶するとともに、ＣＰＵ１２１が各機能を実行する際の作業部として利用される。
【００３４】
表示部１２３は、液晶ディスプレイ等により構成され、ＣＰＵ１２１で再生アプリが実行されると、再生アプリが起動してＣＰＵ１２１から表示画面情報が与えられ種々の画面を表示する。
【００３５】
操作入力部１２４は、キーボードやマウスからなり、ユーザの操作入力を受け付けてＣＰＵ１２１に与える。例えば、マウスで表示画面上のカーソルを移動させ、該当位置でマウスをクリックすることにより、クリック情報がＣＰＵ１２１に与えられ、ＣＰＵ１２１はクリック位置とクリック状況から操作入力内容を判断して所定の再生処理を行う。
【００３６】
ネットワークＩ／Ｆ１２５は、パソコン１０２をネットワーク１００に接続させ、ＣＰＵ１２１からの通信制御に応じて、ＣＰＵ１２１からの制御信号や、録音サーバ１０１から音声データ（ストリーミングデータ）を受信する。
【００３７】
スピーカ１２６は、ＣＰＵ１２１の制御に従い音声データを放音する。
【００３８】
次に、録音サーバ１０１の録音フローについて図５を参照して説明する。
図５は、録音サーバ１０１の録音処理フローを示すフローチャートである。なお、この録音処理フローが行われる前に、各会議参加者の音声特徴量は、記録部３に登録しておくものとする。
録音サーバ１０１は、ネットワーク１００での音声データ通信を監視している。録音サーバ１０１は、会議開始トリガを検出すると録音を開始する（Ｓ１→Ｓ２）。この際、会議開始トリガとしては、ネットワーク１００に音声データが通信されたことを検知することで得られたり、各音声会議装置１１１、１１２が会議開始スイッチの押下により会議開始パルスを発してこれを検知することにより得ることができる。また、録音サーバ１０１に録音開始スイッチが備えられていれば、この録音開始スイッチが押下されることにより検知することもできる。
【００３９】
録音が開始されると、録音サーバ１０１（制御部１）は内蔵タイマ等により録音開始時間を取得し、特徴データ抽出部２に与える。特徴データ抽出部２は、この録音開始時刻を１つの音声データファイルのタイトルとして保存する（Ｓ３）。
【００４０】
ネットワークＩ／Ｆ４は、ネットワーク１００で通信される音声データを取得し、制御部１、特徴データ抽出部２、および記録部３に与え、記録部３は順次音声データを記憶する（Ｓ４）。
【００４１】
この際、制御部１は、ネットワークＩ／Ｆ４が取得した音声データに付加された情報から装置データ、時間データを取得して（Ｓ５）、装置データを記録部３に与える。記録部３は、制御部１から取得した装置データに従い、音声データを装置別に順次音声データ記録部３０１に記録する。
【００４２】
また、制御部１は、音声データから装置データ、時間データを取得し、特徴データ抽出部２に与える（Ｓ５）。特徴データ抽出部２は、装置データ、および時間データから音声状況データを生成し、記録部３に与える。記録部３は、特徴データ抽出部２からの音声状況データを音声状況データ記録部３０２に記録する（Ｓ６）。
【００４３】
このような音声状況データの生成、記録処理と音声データの記録処理とは、録音終了トリガが検出されるまで繰り返し行われる。そして、録音終了トリガ、または録音の一時停止のトリガが検出されれば（Ｓ７）、制御部１は、特徴データ抽出部２に録音終了制御指示を与える。なお、録音終了トリガは、ネットワーク１００に接続された音声会議装置１１１、１１２の会議終了スイッチ押下や電源オフ等を検出することにより得られる。特徴データ抽出部２は、最終の音声状況データを生成、記録するとともに、音声状況データ記録部３０２に予め記録された各音声状況データを録音開始時に取得したタイトルでグループ化するグループ化指示データを生成して音声状況データ記録部３０２に記録する（Ｓ８）。
【００４４】
このような構成および処理を行うことで、音声データ記録部３０１には、経時的に連続する音声データが装置毎に記録され、議事録として記録される。
次に、録音サーバ１０１、パソコン１０２の再生フローについて図６、および図７のフローチャートを用いて説明する。
図６は、パソコン１０２の再生処理フローを示すフローチャートである。
まず、ＣＰＵ１２１は、ユーザが操作入力部１２４を用いて議事録検索キーワードを入力したか否かを判断する（Ｓ２１）。議事録検索キーワードは、例えば会議日時、会議名、装置名、等である。ＣＰＵ１２１は、この入力されたキーワードを録音サーバ１０１に送信する（Ｓ２２）。録音サーバでは、キーワードから議事録が検索され、該当する結果がパソコン１０２に受信される（Ｓ２３）。ＣＰＵ１２１は、受信した結果を表示部１２３に表示する（Ｓ２４）。これにより、ユーザは、記録されている議事録の一覧を確認することができ、再生したい議事録を指定することができる。
【００４５】
その後、ユーザが再生リクエストを入力したか否かを判断する（Ｓ２５）。再生リクエストが入力されなければＳ２１から処理を繰り返す。再生リクエストは、表示部１２３に表示された検索結果から、ユーザがマウス等で再生する議事録を指定することによって入力される。再生リクエストには、通常再生（話速変換無し）、ダイジェスト再生の指定情報が含まれている。また、ダイジェスト再生の場合、どの話者の発話を優先的に聴くかを示す話者指定情報（話者指定が複数の場合は、複数話者の優先順位情報も含む）が入力される。
【００４６】
再生リクエストが入力された場合、ＣＰＵ１２１は、再生リクエスト、および話者指定情報を録音サーバ１０１に送信する（Ｓ２６）。録音サーバ１０１では、指定された議事録を読み出し、話者指定情報に基づいて解析処理（後述する）がされ、ストリーミングデータが生成される。このストリーミングデータがパソコン１０２に受信される（Ｓ２７）。ＣＰＵ１２１は、受信したストリーミングを再生し、スピーカ１２６から音声を放音する（Ｓ２８）。
【００４７】
その後、ＣＰＵ１２１は、ユーザが再生変更指示を入力したか否かを判断する（Ｓ２９）。再生変更指示は、例えば一時停止指示、早送り指示、等からなる。ＣＰＵ１２１は、入力された再生変更指示に応じて、再生変更処理を行う（Ｓ３０）。例えば、一時停止指示が入力されていればストリーミングデータの再生を一時停止し、音声の放音を停止する。
【００４８】
その後、ＣＰＵ１２１は、ユーザが終了指示を入力したか否かを判断する（Ｓ３１）。終了指示が有れば終了指示情報を録音サーバ１０１に送信する（Ｓ３２）。終了指示が無ければストリーミングデータの受信から処理を繰り返す。Ｓ３２の終了指示は、上記の一時停止指示とは異なり、ストリーミングデータの受信を停止し、この再生処理フローを終える指示である。
【００４９】
図７は、録音サーバ１０１の再生処理フローを示すフローチャートである。
同図（Ａ）のフローは、パソコン１０２から議事録検索キーワードが送信されたことがトリガとなる。制御部１は、パソコン１０２から議事録検索キーワードを受信すると、このキーワードに該当する議事録を記録部３の音声状況データ記録部３０２から検索する（Ｓ５１）。議事録検索キーワードは、上述したように、会議日時、装置名、等である。制御部１は、キーワードに該当する議事録の会議日時、会議名、装置名、等を検索結果として返信する（Ｓ５２）。この結果、パソコン１０２の表示部１２３に検索結果が表示される。
【００５０】
同図（Ｂ）のフローは、パソコン１０２から再生リクエスト、および話者指定情報が送信されたことがトリガとなる。なお、ダイジェスト再生でない（通常再生）場合は、記録部３から議事録を読み出して配信（ストリーミング配信）するのみであるため、その説明は省略する。制御部１は、パソコン１０２から再生リクエスト、および話者指定情報を受信すると、特徴データ抽出部２にこれらを与える。特徴データ抽出部２は、話者指定情報から、記録部３の特徴データ記録部３０３に記録されている会議参加者の音声特徴量のうち、指定された話者の特徴データを読み出す（Ｓ７１）。また、特徴データ抽出部２は、再生リクエストに指定されている議事録を記録部３の音声データ記録部３０１から読み出す（Ｓ７２）。読み出した音声データから音声特徴量を抽出し、Ｓ７１で読み出した特定の話者の特徴データと比較する解析処理を行う（Ｓ７３）。なお、議事録は、所定の時間長（例えば２〜３秒）だけ読み出して、まずこの数秒分だけの解析処理を行う。
【００５１】
特徴データ抽出部２は、パターンマッチング等の手法により、読み出した音声データから特定の話者の特徴データと合致する音声特徴量を有する区間を抽出する。この区間を特定の話者の発話区間とする。特徴データ抽出部２は、特定の話者の発話区間以外の区間を話速変換し（Ｓ７４）、ストリーミングデータを生成する（Ｓ７５）。変換速度は、例えば２倍速とする。また、変換速度を可変にしてもよい。例えば、特定の話者の発話区間に近い部分は低倍速（１．５倍等）、または通常速度とし、特定の話者の発話区間から遠ざかるほど高倍速に設定する。
【００５２】
また、話速変換処理は、単に音声データを倍速で読み出して出力するだけではなく、以下のようにして行う。すなわち、話速変換処理は、音声データ（音声信号）を１周期の波形に切りわけ、各周期波形の前後１区間を合成した新たな周期波形を生成することで音声信号の周期波形数を減らして、音程を保ちつつ信号を圧縮する処理である。
【００５３】
図８（Ａ）は、話速変換処理の手順を示すフローチャートである。また、同図（Ｂ）は圧縮方法を説明する図である。同図（Ａ）において、まず音声信号の先頭部分の１周期のサンプル数（例えばサンプリング周波数×１／信号周波数）を検出する（Ｓ９１）。この１周期分のサンプルデータである周期波形を２つ取り出して、同図（Ｂ）に示すように、１つめの周期波形Ａに対して減衰利得係数を乗算することによって減衰波を作成し、２つめの周期波形Ｂに対して増加利得係数を乗算することによって増加波を作成する（Ｓ９２）。そして、これらを加算合成することによってＡとＢの中間の形状の周期波形を合成する（Ｓ９３）。この合成波形を周期波形Ａ、Ｂに代えて出力する（Ｓ９４）。周期波形Ａと周期波形Ｂに代えて、合成波形を出力することによって音響的に自然な時間軸圧縮を行う。
【００５４】
また、この話速変換処理を行う周期を規定することで、変換速度を可変とすることができる。例えば、図９（Ａ）に示すように、２周期毎に周期波形を２つ合成することで、２倍速に変換することができ、同図（Ｂ）に示すように、３周期毎に周期波形を２つ合成することで、１．５倍速に変換することができる。なお、図７のＳ７３の処理において、特定の話者の発話区間について話速変換してもよい。この場合、その話者の発言内容の理解を助けるため、音声を伸長する処理をすればよい。伸長処理の場合は、図８（Ｂ）の周期波形Ａと周期波形Ｂとの間に、上述の合成波形を挿入し、音声信号の周期波形数を増やせばよい。なお、この場合、区間の先頭部分（例えば数百ｍｓｅｃ）のみを伸長して、それ以後を通常速度で出力するようにし、必要以上に伸長しないようにしてもよい。また、先頭部分を伸長し、それ以後を圧縮するようにしてもよい。
【００５５】
なお、特定の話者の発話区間以外の区間をスキップ（倍率無限大に圧縮）するようにしてもよい。また、特徴データとして、無意味な発言（例えば「え〜、あ〜」の様な発言）の音声特徴量を記録部３に記録しておき、Ｓ７２の処理において、この発言区間を音声認識により抽出し、無意味な発言のみスキップするようにしてもよい。
【００５６】
以上のような処理により、話速変換後のストリーミングデータを生成する。図７（Ｂ）において、特徴データ抽出部２は、この話速変換後のストリーミングデータを、パソコン１０２に送信する（Ｓ７６）。終了指示情報をパソコン１０２から受信するまでＳ７２〜Ｓ７６の処理を繰り返す（Ｓ７７→Ｓ７２）。パソコン１０２から終了指示情報を受信していれば、動作を終える（Ｓ７７→ＥＮＤ）。Ｓ７２〜Ｓ７６の処理は、所定時間長の音声データ（例えば２〜３秒）に対してそれぞれ行われるため、最初の数秒分のストリーミングデータが配信されるまでは、パソコン１０２は受信待ちとなり、以後はパソコン１０２の再生処理とは別タスクでストリーミングデータが生成される。従って、最初の配信が始まると、以後は待ち時間無く議事録ダイジェストを聴くことができる。
【００５７】
なお、本発明の議事録記録、再生システムは、以下の様な応用例が可能である。図１０は、応用例に係る音声会議装置の構成を示すブロック図である。この音声会議装置は、図１の音声会議装置１１１、１１２のそれぞれに代えて使用される。なお、図２に示した音声会議装置１１１と共通する構成部については同一の符号を付し、その説明を省略する。
【００５８】
応用例に係る音声会議装置は、制御部１１、入出力Ｉ／Ｆ１２、放音指向性制御部１３、Ｄ／Ａコンバータ１４、放音アンプ１５、スピーカＳＰ１〜ＳＰ１６、マイクＭＩＣ１０１〜１１６、２０１〜２１６、収音アンプ１６、Ａ／Ｄコンバータ１７、収音ビーム生成部１８、収音ビーム選択部１９、エコーキャンセル回路２０、操作部３１、表示部３２を備えている。
【００５９】
この音声会議装置の制御部１１は、入出力Ｉ／Ｆ１２から入力される相手装置からの音声データを、ネットワーク形式のデータから一般的な音声信号に変換してエコーキャンセル回路２０を介して放音指向性制御部１３に出力するとともに、入力音声信号に添付された方位データを取得して、放音指向性制御部１３に対して放音制御を行う。
【００６０】
放音指向性制御部１３は、放音制御内容に応じてスピーカＳＰ１〜ＳＰ１６に対する放音音声信号を生成する。スピーカＳＰ１〜ＳＰ１６に対する放音音声信号は、入力音声データを遅延制御や振幅制御等の信号制御処理を行うことにより形成される。Ｄ／Ａコンバータ１４はディジタル形式の放音音声信号をアナログ形式に変換し、放音アンプ１５は放音音声信号を増幅してスピーカＳＰ１〜ＳＰ１６に与え、スピーカＳＰ１〜ＳＰ１６は、放音音声信号を音声変換して放音する。これにより、自装置の会議者に、ネットワークで接続された相手先装置の会議者の音声を放音する。
【００６１】
マイクＭＩＣ１０１〜１１６、２０１〜２１６は自装置の会議者の発声音を含む周囲の音を収音して電気信号変換し、収音音声信号を生成する。
【００６２】
収音ビーム生成部１８は、マイクＭＩＣ１０１〜１１６、２０１〜２１６の収音信号に対して遅延処理等を行い、所定方位に強い指向性を有する収音ビーム音声信号ＭＢ１〜ＭＢ８を生成する。収音ビーム音声信号ＭＢ１〜ＭＢ８はそれぞれ異なる方位に強い指向性を有するように設定されている。図１０の音声会議装置を図１の音声会議装置１１１に置き換えた場合であれば、ＭＢ１を方位Ｄｉｒ１１に、ＭＢ２を方位Ｄｉｒ１２に、ＭＢ３を方位Ｄｉｒ１３に、ＭＢ４を方位Ｄｉｒ１４に、ＭＢ５を方位Ｄｉｒ１５に、ＭＢ６を方位Ｄｉｒ１６に、ＭＢ７を方位Ｄｉｒ１７に、ＭＢ８を方位Ｄｉｒ１８に設定される。一方、図１０の音声会議装置を図１の音声会議装置１１２に置き換えた場合であれば、ＭＢ１を方位Ｄｉｒ２１に、ＭＢ２を方位Ｄｉｒ２２に、ＭＢ３を方位Ｄｉｒ２３に、ＭＢ４を方位Ｄｉｒ２４に、ＭＢ５を方位Ｄｉｒ２５に、ＭＢ６を方位Ｄｉｒ２６に、ＭＢ７を方位Ｄｉｒ２７に、ＭＢ８を方位Ｄｉｒ２８に設定される。
【００６３】
収音ビーム選択部１９は、収音ビーム音声信号ＭＢ１〜ＭＢ８の信号強度を比較して、最も強度の高い収音ビーム音声信号を選択し、収音ビーム音声信号ＭＢとしてエコーキャンセル回路２０に出力する。収音ビーム選択部１９は、選択した収音ビーム音声信号ＭＢに対応する方位Ｄｉｒを検出して制御部１１に与える。入出力Ｉ／Ｆ１２は、エコーキャンセル回路２０からの収音ビーム音声信号ＭＢをネットワーク形式で所定データ長からなる音声データに変換し、制御部１１から得られる方位データと収音時間データとを添付して、ネットワーク１００に出力する。
【００６４】
次に、応用例に係る録音サーバ１０１の録音フローについて図１１を参照して説明する。
図１１は録音サーバ１０１の録音処理フローを示すフローチャートである。
録音サーバ１０１は、ネットワーク１００での音声データ通信を監視している。録音サーバ１０１は、会議開始トリガを検出すると録音を開始する（Ｓ１０１→Ｓ１０２）。
【００６５】
録音が開始されると、録音サーバ１０１（制御部１）は録音開始時間を取得し、特徴データ抽出部２に与える。特徴データ抽出部２は、この録音開始時刻を１つの音声状況データのタイトルとして保存する（Ｓ１０３）。
【００６６】
ネットワークＩ／Ｆ４は、ネットワーク１００で通信される音声データを取得し、記録部３に与え、記録部３は順次音声データを記憶する（Ｓ１０４）。
【００６７】
この際、制御部１は、ネットワークＩ／Ｆ４が取得した音声データから装置データ、方位データ、時間データを取得して、装置データを記録部３に与える。記録部３は、制御部１から取得した装置データに従い、音声データを装置別に順次音声データ記録部３０１に記録する。
【００６８】
また、制御部１は、音声データから装置データ、方位データ、時間データを取得し、特徴データ抽出部２に与える（Ｓ１０５）。特徴データ抽出部２は、これら装置データ、方位データおよび時間データを一時記憶する。
【００６９】
この処理は、装置毎に方位データの変化を制御部１が検出するまで繰り返し行われ、方位データの変化を制御部１が検出すると（Ｓ１０６）、制御部１はセッション終了処理制御を特徴データ抽出部２に与える（Ｓ１０７）。特徴データ抽出部２は、同じ方位データからなる音声データ群を関連付けするため、該当する音声データ群の装置データと方位データと開始時間データとを備える音声状況データを生成して記録部３に与える。記録部３は、特徴データ抽出部２からの音声状況データを音声状況データ記録部３０２に記録する（Ｓ１０８）。このような音声状況データの生成、記録処理と音声データの記録処理とは、録音終了トリガが検出されるまで繰り返し行われ、方位データが変化する毎に音声状況データの生成、記録が行われる。
【００７０】
そして、録音終了トリガが検出されれば（Ｓ１１０）、制御部１は、特徴データ抽出部２に録音終了制御指示を与える。特徴データ抽出部２は、最終の音声状況データを生成、記録するとともに、音声状況データ記録部３０２に予め記録された各音声状況データを録音開始時に取得したタイトルでグループ化するグループ化指示データを生成して音声状況データ記録部３０２に記録する（Ｓ１１１）。
【００７１】
音声データ記録部３０１には、経時的に連続する音声データが装置毎に記録される。この際、音声データは、音声状況データ記録部３０２に記録された音声特徴データにより、方位データ別に区分されている。なお、方位データと各話者の関係（すなわち各方位にどの話者が存在するか）は、会議参加者（議長）が予め登録する。これにより、音声データは、話者毎に区分されることとなる。
【００７２】
地点ａの音声データであれば、話者Ａの音声データ、話者Ｂの音声データ、話者Ｃの音声データ、話者Ｄの音声データ、話者Ｅの音声データ、話者Ｆの音声データ、話者Ｇの音声データ、および話者の指定されていない無音（雑音）の音声データとで区分化される。そして、各区分化音声データには区分の開始時間データが関連付けされる。なお、発言がなければ、音声特徴データには記録されない。
【００７３】
同様に、地点ｂの音声データであれば、話者Ｈの音声データ、話者Ｉの音声データ、話者Ｊの音声データ、話者Ｋの音声データ、話者Ｌの音声データ、および話者の指定されていない無音（雑音）の音声データとで区分化され、区分毎の開始時間データが関連付けされる。この場合も、発言がなければ、音声特徴データには記録されない。
【００７４】
このように、応用例の構成及び処理を用いることで、それぞれの会議参加者に対応する音声特徴データを備えた状態で議事録を記録することができる。そして、時間データも関連付けされていることで、各会議者の発言状況をも含んで議事録を記録することができる。これにより、ダイジェスト再生処理を行う場合に、指定した話者の発言を精度良く抽出することができる。
【００７５】
応用例において、録音サーバ１０１は、図７（Ｂ）の解析処理時（Ｓ７３）に、読み出した音声データから音声特徴量を抽出するとともに、音声データに記録されている話者区分に従って、特定の話者の発話区間を決定する。音声特徴量から抽出した特定の話者の発話区間について、音声データに記録されている話者区間が特定の話者の区間と一致するかをさらに判断して、両者が一致すれば、特定の話者の発話区間として決定する。一致しなければ他の話者の発話区間とする。これにより、特定の話者の発話区間を高精度に抽出する。
【００７６】
なお、本実施形態では、ネットワークに接続する複数の音声会議装置で多地点会議を行う場合を示したが、単一の音声会議装置のみを使う場合であっても、同様の作用・効果を得ることができる。
【００７７】
なお、本実施形態では、音声データを記録する例について説明したが、音声会議装置にカメラ等を設置することで、さらに画像（静止画、動画）データを記録することも可能である。画像データは、音声データと同期して記録し、再生時には、音声データと同時に画像データも同期して表示すればよい。
【図面の簡単な説明】
【００７８】
【図１】本発明の実施形態の議事録記録、再生システムの構成図
【図２】本実施形態の音声会議装置１１１の主要構成を示すブロック図
【図３】本実施形態の録音サーバ１０１の主要構成を示すブロック図
【図４】パソコン１０２の主要構成を示すブロック図
【図５】録音サーバ１０１の録音処理フローを示すフローチャート
【図６】パソコン１０２の再生処理フローを示すフローチャート
【図７】録音サーバ１０１の再生処理フローを示すフローチャート
【図８】話速変換処理を示す図
【図９】可変速度の場合の話速変換処理を示す図
【図１０】応用例に係る音声会議装置の構成を示すブロック図
【図１１】応用例に係る録音サーバ１０１の録音処理フローを示すフローチャート
【符号の説明】
【００７９】
１００−ネットワーク
１０１−録音サーバ
１−制御部
２−特徴データ生成部
３−記録部
４−ネットワークＩ／Ｆ
１１１，１１２−音声会議装置
【図１】
2007298876.tif 000003
【図２】
2007298876.tif 000004
【図３】
2007298876.tif 000005
【図４】
2007298876.tif 000006
【図５】
2007298876.tif 000007
【図６】
2007298876.tif 000008
【図７】
2007298876.tif 000009
【図８】
2007298876.tif 000010
【図９】
2007298876.tif 000011
【図１０】
2007298876.tif 000012
【図１１】
2007298876.tif 000013