(57)【特許請求の範囲】
【請求項１】
入力音声情報を、記録のために処理する記録音声信号処理手段と、
前記記録音声信号処理手段で処理された音声情報を、その先頭から終わりまでの全記録時間に関する付加情報とともに記録媒体に格納する音声情報格納手段と、
前記記録媒体に記録されている前記音声情報の内から再生対象の音声情報を指定する再生指定手段と、
前記再生指定手段により指定された再生対象の音声情報の付加情報から、前記再生対象の音声情報の前記全記録時間中の時間位置に応じた、聴空間上の仮想音源位置を定めるための仮想音源配置情報を生成する仮想音源配置手段と、
前記仮想音源配置手段からの前記仮想音源配置情報を受け取るとともに、前記再生指定手段により指定された音声情報を前記記録媒体から読み出し、その読み出した音声情報について、前記全記録時間中のそれぞれの前記時間位置の音声出力が、前記仮想音源配置情報に基づいて決定される聴空間上位置に定位して聴取されるように再生処理する再生手段と、
前記再生手段で再生処理された音声情報による音声を出力するための音声出力手段と、
前記各手段の動作を制御する制御手段と、
を備えることを特徴とする記録再生装置。
【請求項２】
請求項１に記載の記録再生装置において、
前記再生指定手段は、前記記録媒体に記録されている前記音声情報の内から再生対象の音声情報を指定するとともに、その再生対象の音声情報の内の所望の再生区間を指定するものであり、
前記仮想音源配置手段は、前記指定手段で指定された前記再生区間の情報をも取得して、この指定された再生区間の先頭から終りまでの各時間位置に応じた聴空間上位置を定めるための仮想音源配置情報を生成して、その仮想音源配置情報を前記再生手段に送り、
前記再生手段は、前記指定された再生区間内の音声情報について、それぞれの時間位置の音声出力が、前記仮想音源配置情報に基づいて決定される聴空間上位置に定位して聴取されるように再生処理する
ことを特徴とする記録再生装置。
【請求項３】
請求項１に記載の記録再生装置において、
前記音声情報の時間軸に関連した表示情報を生成する表示情報生成手段と、
前記表示情報生成手段で生成された前記表示情報を、表示画面に表示する表示手段と、
を備え、
前記仮想音源配置手段は、前記再生対象の音声情報の各時間位置に応じた聴空間上位置を、前記表示画面に表示された表示情報上に配置する
ことを特徴とする記録再生装置。
【請求項４】
入力音声情報を、記録のために処理する記録音声信号処理手段と、
前記記録音声信号処理手段で処理された音声情報を、記録媒体に記録して格納する音声情報格納手段と、
前記入力音声情報に関連する関連情報を、前記入力音声情報の前記記録媒体上の記録位置との対応関係とともに、記録して格納する関連情報格納手段と、
前記関連情報格納手段から読み出された前記関連情報の複数個を表示画面に表示する表示手段と、
前記記録媒体に記録されている前記音声情報の内から再生対象の音声情報を指定する再生指定手段と、
を備え、
前記再生指定手段により指定された再生対象の音声情報の各時間位置に対応する前記関連情報を、前記関連情報格納手段からの情報に基づいて検出し、前記指定された再生対象の音声情報の各時間位置に応じた聴空間上位置を、前記表示画面に表示された複数の関連情報の内の、前記再生対象の音声情報の各時間位置に応じた関連情報上に配置する
ことを特徴とする記録再生装置。
【請求項５】
請求項１〜請求項４のいずれかに記載の記録再生装置において、
前記再生手段は、頭部伝達関数を用いた演算を用いて音像の定位を実現することを特徴とする記録再生装置。
【請求項６】
請求項１〜請求項４のいずれかに記載の記録再生装置において、
前記音声出力の聴取者の頭部運動を検出する頭部運動検出手段を備え、
前記仮想音源配置手段は、前記頭部運動検出手段で検出された頭部運動を考慮して、前記仮想音源配置情報を生成することを特徴とする記録再生装置。
【請求項７】
入力音声情報を記録のために処理する記録音声信号処理手段で処理された音声情報を、その先頭から終わりまでの全記録時間に関する付加情報とともに記録媒体に格納する音声情報格納工程と、
前記記録媒体に記録されている前記音声情報の内から再生対象の音声情報が指定されたときに、当該指定された再生対象の音声情報の付加情報から、前記再生対象の音声情報の前記全記録時間中の時間位置に応じた、聴空間上の仮想音源位置を定めるための仮想音源配置情報を生成する仮想音源配置工程と、
前記仮想音源配置工程で生成された前記仮想音源配置情報を受け取るとともに、前記指定された音声情報を前記記録媒体から読み出し、その読み出した音声情報について、前記全記録時間中のそれぞれの前記時間位置の音声出力が、前記仮想音源配置情報に基づいて決定される聴空間上位置に定位して聴取されるように再生処理する再生処理工程と、
前記再生処理工程で再生処理された音声情報による音声を出力する音声出力工程と、
を備えることを特徴とする記録再生方法。
【請求項８】
入力音声情報を記録のために処理する記録音声信号処理手段で処理された音声情報を、記録媒体に記録して格納する音声情報格納工程と、
前記入力音声情報に関連する関連情報を、前記入力音声情報の前記記録媒体上の記録位置との対応関係とともに、関連情報格納部に記録して格納する関連情報格納工程と、
前記関連情報格納工程において記録された前記入力音声情報に関連する関連情報の複数個を前記関連情報格納部から読み出して、表示画面に表示する表示工程と、
前記記録媒体に記録されている前記音声情報の内から再生指定手段により指定された再生対象の音声情報の各時間位置に対応する前記関連情報を、前記関連情報格納部から読み出した情報に基づいて検出し、前記再生指定手段により指定された再生対象の音声情報の各時間位置に応じた聴空間上位置を、前記表示画面に表示された複数の関連情報の内の、前記再生対象の音声情報の各時間位置に応じた関連情報上に配置する配置工程と、
を備えることを特徴とする記録再生方法。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
この発明は、例えば会議などにおける音声情報を記録し、再生する記録再生装置および記録再生方法に関する。
【０００２】
【従来の技術】
従来のこの種の記録再生装置としては、市販の製品でいえば、カセットテープレコーダや、例えばミニディスクを用いたディスクレコーダなどが代表的なものである。それらは、カセットテープやディスクなどの記録媒体に音声情報を記録し、再生の必要があれば、時間や機器のカウンタ数値を指定して所望の箇所の再生を開始することができる。
【０００３】
特に、ミニディスクなどのようなディスク媒体に記録されている音声の場合、ランダムアクセス機能により、所望の音声情報の記録位置に瞬時にアクセスすることが可能となっている。
【０００４】
この種の記録再生装置において、再生時に、記録された音声のどのあたりの箇所を再生しているかは、表示されているカウンタ数値や時刻情報を見ることで確認することができる。
【０００５】
また、これらの市販の機器の機能を更に充実させたシステムとして、特に、会議、講演会などをターゲットにした記録再生システムが、従来から提案されている。それらの代表的な例としては、特開平６−３４３１４６号公報に記載されたものがある。
【０００６】
このシステムでは、会議の音声・映像などのマルチメディア情報を記録する一方で、会議参加者のペン入力やキーボード入力などのユーザ入力情報と、その入力時刻を記録する機能がある。そして、後で、ユーザ入力情報の入力時刻を利用して、そのユーザ入力情報に関連するマルチメディア情報を再現できるような仕組みが備えられている。
【０００７】
そして、記録した音声を再生している時には、時間軸上に音声波形を示した画面を表示させ、そこに再生している箇所を示す印が表示されているので、記録中のどのあたりを再生しているかをユーザは確認することができる。
【０００８】
【発明が解決しようとする課題】
上述の従来技術に挙げたテープレコーダ、ディスクレコーダなどの市販の機器や、特開平６−３４３１４６号公報に記載のような記録再生システムは、記録情報中のどのあたり、あるいは、いつの記録情報を再生しているかを確認するには、カウンタ数値や時刻を表示している視覚的ディスプレイを見て確認する必要がある。
【０００９】
また、ディスクレコーダではランダムアクセス機能により、記録時の本来の時間的流れとは全く関係なく、さまざまな箇所に自由にアクセスすることが容易なため、アクセスが本来の時間の流れとは異なる順序で行われることが良くあるが、このような場合に、個々のアクセス箇所の情報の時間関係を把握しづらいという問題がある。また、再生した音声情報から記録時の時間的な音声情報の流れを把握するためには、個々の再生アクセス位置における時刻やカウンタの値を覚えておき、そこから本来の音声情報の流れを再構成する必要がある。
【００１０】
この発明は、以上の点にかんがみ、記録媒体上の再生箇所の時間的な位置を、聴覚的な情報のみで把握できるようにし、更に、記録されている音声情報の時間的な流れを、聴覚的な情報のみで容易に把握できる記録再生装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するため、請求項１の発明による記録再生装置は、
入力音声情報を、記録のために処理する記録音声信号処理手段と、
前記記録音声信号処理手段で処理された音声情報を、その先頭から終わりまでの全記録時間に関する付加情報とともに記録媒体に格納する音声情報格納手段と、
前記記録媒体に記録されている前記音声情報の内から再生対象の音声情報を指定する再生指定手段と、
前記再生指定手段により指定された再生対象の音声情報の付加情報から、前記再生対象の音声情報の前記全記録時間中の時間位置に応じた、聴空間上の仮想音源位置を定めるための仮想音源配置情報を生成する仮想音源配置手段と、
前記仮想音源配置手段からの前記仮想音源配置情報を受け取るとともに、前記再生指定手段により指定された音声情報を前記記録媒体から読み出し、その読み出した音声情報について、前記全記録時間中のそれぞれの前記時間位置の音声出力が、前記仮想音源配置情報に基づいて決定される聴空間上位置に定位して聴取されるように再生処理する再生手段と、
前記再生手段で再生処理された音声情報による音声を出力するための音声出力手段と、
前記各手段の動作を制御する制御手段と、
を備えることを特徴とする。
【００１２】
また、請求項２の発明は、請求項１に記載の記録再生装置において、
前記再生指定手段は、前記記録媒体に記録されている前記音声情報の内から再生対象の音声情報を指定するとともに、その再生対象の音声情報の内の所望の再生区間を指定するものであり、
前記仮想音源配置手段は、前記指定手段で指定された前記再生区間の情報をも取得して、この指定された再生区間の先頭から終りまでの各時間位置に応じた聴空間上位置を定めるための仮想音源配置情報を生成して、その仮想音源配置情報を前記再生手段に送り、
前記再生手段は、前記指定された再生区間内の音声情報について、それぞれの時間位置の音声出力が、前記仮想音源配置情報に基づいて決定される聴空間上位置に定位して聴取されるように再生処理する
ことを特徴とする。
【００１３】
また、請求項３の発明は、請求項１に記載の記録再生装置において、
前記音声情報の時間軸に関連した表示情報を生成する表示情報生成手段と、
前記表示情報生成手段で生成された前記表示情報を、表示画面に表示する表示手段と、
を備え、
前記仮想音源配置手段は、前記再生対象の音声情報の各時間位置に応じた聴空間上位置を、前記表示画面に表示された表示情報上に配置する
ことを特徴とする。
【００１４】
また、請求項４の発明の記録再生装置は、
入力音声情報を、記録のために処理する記録音声信号処理手段と、
前記記録音声信号処理手段で処理された音声情報を、記録媒体に記録して格納する音声情報格納手段と、
前記入力音声情報に関連する関連情報を、前記入力音声情報の前記記録媒体上の記録位置との対応関係とともに、記録して格納する関連情報格納手段と、
前記関連情報格納手段から読み出された前記関連情報の複数個を表示画面に表示する表示手段と、
前記記録媒体に記録されている前記音声情報の内から再生対象の音声情報を指定する再生指定手段と、
前記再生指定手段により指定された再生対象の音声情報の各時間位置に対応する前記関連情報を、前記関連情報格納手段からの情報に基づいて検出し、前記指定された再生対象の音声情報の各時間位置に応じた聴空間上位置を、前記表示画面に表示された複数の関連情報の内の、前記再生対象の音声情報の各時間位置に応じた関連情報上に配置する
ことを特徴とする。
【００１５】
また、請求項５の発明は、請求項１〜請求項４のいずれかに記載の記録再生装置において、
前記再生手段は、頭部伝達関数を用いた演算を用いて音像の定位を実現することを特徴とする。
【００１６】
また、請求項６の発明は、請求項１〜請求項４のいずれかに記載の記録再生装置において、
前記音声出力の聴取者の頭部運動を検出する頭部運動検出手段を備え、
前記仮想音源配置手段は、前記頭部運動検出手段で検出された頭部運動を考慮して、前記仮想音源配置情報を生成することを特徴とする。
【００１７】
【作用】
上述のような構成の請求項１の発明においては、再生指定手段で再生する音声情報が指定されると、仮想音源配置手段は、その指定された音声情報の付加情報から、その全記録時間を検知し、記録媒体から順次に再生される音声情報の、前記全記録時間中の各時間位置に応じた仮想音源位置を聴空間上に定めるための仮想音源配置情報を生成し、その生成した仮想音源配置情報を再生手段に送る。
【００１８】
再生手段は、再生指定手段で指定された音声情報を記録媒体から読み出し、その読み出した音声情報について、前記仮想音源配置手段からの仮想音源配置情報に基づいて決定される聴空間上位置に定位して聴取されるようにする処理を施す。そして、その処理後の音声情報を、音声出力手段に供給する。
【００１９】
この結果、音声出力手段から出力される音声は、再生音声情報の、全記録時間中の時間位置に応じた聴空間上位置に定位するように聴取される。したがって、音声情報を聴取するだけで、現在再生中の音声情報が、指定した音声情報のどの当たりのものかを知ることができる。また、再生中の音声情報の音像定位位置は、時間の経過とともに変化するので、音声情報の時間的な流れを容易に把握することができる。
【００２０】
また、請求項２の発明によれば、再生指定手段は、再生対象の音声情報のうちの所望の再生区間を指定することが可能であり、仮想音源配置手段は、その指定された再生区間内における各時間位置に応じた聴空間上位置を定めるための仮想音源配置情報を生成する。したがって、音声情報の全体を再生する場合でなくとも、その指定された音声再生区間が、全体のどの当たりのものであるかを知ることができる。また、その再生区間内における音声情報の時間的な流れも容易に把握することができる。
【００２１】
また、請求項３の発明によれば、音声情報の時間軸に関連した表示情報が表示情報生成手段で生成される。例えば、入力音声情報が会議音声の場合において、複数の会議参加者のそれぞれの発言区間が検出され、その各会議参加者の発言区間がチャートとして表示手段の表示画面に表示される。
【００２２】
仮想音源配置手段は、再生対象の音声情報の各時間位置に応じた聴空間上位置を、表示画面の表示情報上に配置する。前記発言区間のチャートが表示される例では、チャート上の当該音声の発言者の発言区間の部分に、再生音声出力が定位するようにする仮想音源配置情報を生成する。
【００２３】
したがって、この仮想音源配置情報により再生手段で、各時間位置の音声情報が処理されて、音声出力手段により音声出力されることにより、例えば、各発言者の音声出力は、その発言者の発言区間の表示部分からあたかも出力されるかの如く聴取される。
【００２４】
また、請求項４の発明においては、音声記録手段により記録される音声情報に関連する関連情報が、音声情報との対応が付けられて、関連情報格納手段に格納されている。この関連情報としては、例えば、会議において提示された文書資料などが挙げられる。
【００２５】
そして、再生時において、複数の関連情報が画面に表示されている時に、音声情報が再生される場合、仮想音源配置手段により、音声出力は、表示画面上に表示されている対応する時間位置に関連して格納されている関連情報から出力されるように定位するようにされる。前述の会議の文書資料の場合であれば、再生されている音声情報が記録された時に、提示されていた文書資料の位置からあたかも音声が出力されるようになり、聴取者は、どの文書資料に関する音声情報であるかを容易に把握することができる。
【００２６】
また、請求項５の発明によれば、頭部伝達関数が用いられて音声処理が行われて、音像が、定位感良く、上述のような聴空間上の所定の位置に配置できる。
【００２７】
また、請求項６の発明によれば、聴取者の頭の位置が変わっても、その頭部の運動を検出して、その頭部運動に応じた仮想音源配置を行うことができるので、聴空間として絶対空間内に音像を位置付けることができる。
【００２８】
【発明の実施の形態】
以下、この発明による記録再生装置の実施の形態を図を参照しながら説明する。
【００２９】
［第１の実施の形態］
図２は、第１の実施の形態の記録再生装置のシステム概観を示すもので、マイクロホン１で収音した音声の信号を、Ａ／Ｄ変換ボード２によりデジタル信号に変換し、例えばパーソナルコンピュータ３に入力する。パーソナルコンピュータ３では、入力されたデジタル音声信号を、必要に応じて圧縮処理を施し、例えば内蔵ハードディスクに記録する。
【００３０】
パーソナルコンピュータ３には、ユーザ操作入力部として、キーボード４やマウス５が接続されている。このユーザ操作入力部からの再生指示があると、パーソナルコンピュータ３では、指示されたデジタル音声情報を、ハードディスクから読み出し、圧縮されている場合には、伸長処理を施して、Ｄ／Ａ変換ボード６を通じて、この例では、ヘッドフォン７に供給し、音声を再生出力する。８は、パーソナルコンピュータ３の表示情報を表示するためのディスプレイである。
【００３１】
そして、この第１の実施の形態では、パーソナルコンピュータ３では、ヘッドフォン７の聴取者が再生音声を聴取するだけで、一塊の音声情報のうちの、どの時間位置部分を再生しているかを容易に把握することができるようにするため、後述するように、聴感上の仮想音源位置（音像位置）を、聴空間上の所定の位置に配置するようにする演算処理を行う。
【００３２】
図１は、この第１の実施の形態の記録再生装置を、その処理機能によりブロック化して示した機能ブロック図である。すなわち、この第１の実施の形態の記録再生装置は、音声入力部１１と、記録音声信号処理部１２と、音声情報格納部１３と、ユーザ入力部１４と、制御部１５と、表示部１６と、再生部１７と、音声出力部１８と、仮想音源配置部１９とから構成される。
【００３３】
音声入力部１１は、記録する音声信号の入力部であり、この例の場合には、マイクロホン１により構成される。記録音声信号処理部１２は、Ａ／Ｄ変換や圧縮処理など、記録のための音声信号処理を施す部分であり、Ａ／Ｄ変換ボード２と、パーソナルコンピュータ３のソフトウエアとからなる。
【００３４】
音声情報格納部１３は、記録音声信号処理部１２からの音声信号を記録媒体に記録して格納するものであって、この例の場合には、記録媒体としてハードディスクを用いるので、ハードディスクドライバにより構成される。なお、記録媒体としては、メモリなどの半導体素子や、いわゆるＭＯやＭＤなどの光磁気ディスク、また、フロッピーディスクなどを用いることもできる。
【００３５】
ユーザ入力部１４は、ユーザ入力を受け付けるものであって、この例の場合には、キーボード４やマウス５により構成される。
【００３６】
制御部１５は、パーソナルコンピュータ３のソフトウエアにより構成されるもので、ユーザ入力部１４からのユーザ入力を受け付けて解析し、そのユーザに応じて、記録音声信号処理部１２、音声情報格納部１３、再生部１６、仮想音源配置部１９を制御し、音声情報の記録媒体への書き込みや読み出し、また、音像の定位処理などを制御する。また、この実施の形態の場合には、制御部１５は、表示部１６や、後述する仮想音源配置部１９なども制御する。
【００３７】
表示部１６は、制御部１５の制御を受けて、所定の情報を表示するもので、この例の場合は、ＣＲＴやＬＣＤ（液晶ディスプレイ）などを表示素子として用いたパーソナルコンピュータ３の表示部を使用する。
【００３８】
再生部１７は、制御部１５の制御を受け、また、後述する仮想音源配置部１９からの仮想音源配置情報を受けて、音声情報格納部１３から読み出された音声情報を、音声出力部１８に供給する信号に変換する処理を行うもので、パーソナルコンピュータ３のソフトウエアと、Ｄ／Ａ変換ボード６とからなる。
【００３９】
この実施の形態の場合、再生部１７では、ユーザにより指定された音声情報のうちの、指定された再生区間内の各時間位置の音声情報が、その各時間位置に応じた聴空間上位置の仮想音源から出力されるように定位させるようにする演算処理を施す。
【００４０】
この実施の形態の再生部１７で用いる演算方法は、日本音響学会誌４９巻７号（１９９３）、Ｐ５１５〜Ｐ５２１の「住空間音疑似体験システムの開発」に記載されている演算方法を用いている。
【００４１】
この方法は、仮想聴空間内で、指定された仮想音源方向から聞こえるように音の定位を実現させる演算方法で、聴取者の頭の位置・方向と、仮想音源の位置を与えると、頭部伝達関数が決定され、この頭部伝達関数と、左右２チャンネルのデジタル音声信号とのコンボリューション演算を行うことにより、仮想聴空間上の指定された仮想音源位置に定位するように音声出力をさせることができるというものである。
【００４２】
この実施の形態の場合、再生部１７は、聴取者の頭の位置・方向および仮想音源の位置と、これらに対する頭部伝達関数との対応テーブルを、例えばＲＯＭなどのメモリに格納して用意している。すなわち、予め、聴取者の頭の位置・方向および仮想音源の位置として想定される複数個の情報が与えられ、それらに対応する頭部伝達関数がそれぞれ計測されることにより得られるテーブルの情報が、例えばＲＯＭに格納されて用意されている。
【００４３】
仮想音源配置部１９は、前記の頭部伝達関数を求める演算のための仮想音源配置情報を生成して、再生部１７に供給する。すなわち、この第１の実施の形態の場合には、再生要求される音声情報の再生区間の時間軸上の位置情報に基づいて、聴空間上において、前記時間軸上の各位置に応じた位置に仮想音源を配置するようにするための仮想音源配置情報を生成し、再生部１８に供給する。この仮想音源配置部１９は、この例ではパーソナルコンピュータ３のソフトウエアにより構成される。
【００４４】
仮想音源配置部１９で用いられる音声情報の時間軸上の位置情報は、後述するように、制御部１５と、音声情報格納部１３から与えられる。制御部１５からの時間軸情報は、ユーザ入力部１４からのユーザ入力に応じたものであり、また、音声情報格納部１３からの時間軸情報は、音声情報に関連して記録された音声記録開始時刻や終了時刻などの情報である。
【００４５】
音声出力部１８は、再生された音声信号から放音音声を出力する音響変換を行うもので、この例の場合には、ヘッドフォン７で構成されている。再生部１７での前記の仮想音源定位処理により、仮想聴空間上において、再生信号の各時間軸上の位置に応じた位置にある仮想音源から音声が出力されているように、ヘッドフォン７で音声出力が聴取される。
【００４６】
この第１の実施の形態における音声情報の記録時の処理および再生時の処理を、以下に詳述する。
【００４７】
［第１の実施の形態の音声記録時の説明］
まず、第１の実施の形態における音声情報の記録シーンについて説明するとともに、音声入力部１１、記録音声信号処理部１２、音声情報格納部１３について説明する。
【００４８】
ユーザ入力部１４から音声記録命令が入力されると、その命令は、制御部１５で処理され、記録音声信号処理部１２および音声情報格納部１３に送られる。記録音声信号処理部１２では、音声記録命令に応じて、Ａ／Ｄ変換ボードにおいて、音声入力部１１からの入力音声信号のＡ／Ｄ変換処理を行い、必要な圧縮処理を施す。音声情報格納部１３では、記録音声信号処理部１２からの音声情報の記録を開始する。
【００４９】
ユーザ入力部１４から記録終了命令が入力されると、制御部１５はその命令を記録音声信号処理部１２および音声情報格納部１３に送る。この記録終了命令に応じて、記録音声信号処理部１２は、音声のＡ／Ｄ変換処理および圧縮処理を終了し、音声情報格納部１３は音声情報の記録を終了する。
【００５０】
この音声記録に際し、音声情報格納部１３では、記録された音声に、記録開始時刻と記録終了時刻の時間情報を対応付けて記録する。
【００５１】
また、音声情報格納部１３では、記録開始から記録終了まで時間的に連続する音声情報を、一つの音声情報ファイルとして格納管理するようにしており、ユーザ入力部１４からのユーザ入力操作により付与された音声情報ファイル名の情報が、制御部１５を通じて音声情報格納部１３に記録される。さらに、複数の音声情報ファイルを格納するために、各音声情報ファイルの記録媒体上の位置も、格納して保持している。
【００５２】
なお、この第１の実施の形態においては、各音声情報ファイルに関する時間情報は、その音声情報ファイルの全記録時間（記録開始から記録終了までの時間）が判れば良いので、記録する時間情報としては、記録開始時刻と、記録音声情報量、あるいは記録音声情報量と記録終了時刻などであっても良い。
【００５３】
この実施の形態の場合、ユーザは、音声情報格納部１３に、どのような音声情報ファイルが格納されているかを表示部１６に表示することが可能である。この例では、格納されている音声情報ファイルのファイル名を表示する。そして、ユーザは、このファイル名の表示によって、どのような音声情報が格納されているかを知ることができるだけでなく、ファイル名をユーザ入力部１４の、例えばマウスを用いる等して選択操作することにより、その選択した音声情報ファイルの再生指定をすることができるように構成されている。
【００５４】
［第１の実施の形態の音声再生時の説明］
次に、この第１の実施の形態の場合の再生時の動作について、以下に説明する。
【００５５】
再生に当たって、ユーザは、ユーザ入力部１４から、再生命令と、音声出力先と、再生音声指定情報とを含む再生要求を入力する。音声出力先は、この例ではヘッドフォン７であり、また、再生音声指定情報は、音声情報ファイル名と、再生開始オフセットと、再生終了オフセットとからなる。
【００５６】
再生開始オフセットは、再生要求する音声情報ファイルの先頭からどれだけ後の時間位置から再生を開始するかの情報であり、ゼロであれば、音声情報ファイルの先頭からの再生の要求である。同様に、再生終了オフセットは、再生要求する音声情報ファイルの記録終了時点からどれだけ前の時間位置までを再生するかの情報であり、ゼロであれば、音声情報ファイルの最後の記録終了時点までの再生要求となる。
【００５７】
制御部１５は、ユーザ入力部１４からのユーザ入力が再生命令を含む再生要求であることを判別すると、再生命令と、音声出力先と、再生音声指定情報とを含む再生要求の情報を再生部１７に送るとともに、その再生要求のあったときの現在時刻を保持しておく。
【００５８】
以下に、制御部１５からの再生要求の情報が渡されたときの再生部１７の動作と、再生部１７に関連して動作する仮想音源配置部１９の動作を説明する。まず、再生部１７の動作を、図３のフローチャートを参照しながら説明する。
【００５９】
再生部１７は、音声情報の再生要求を受け取ると、図３の処理ルーチンを起動して、まず、ステップ１０１において、仮想音源配置部１９に再生音声指定情報（音声情報ファイル名、再生開始オフセット、再生終了オフセット）を送る。
【００６０】
仮想音源配置部１９は、この再生音声指定情報の送付を受けると、後述するようにして、再生開始オフセットから再生終了オフセットまでの再生区間内の音声情報の各時間位置に対応する聴空間上の位置に、仮想音源を配置するようにするための仮想音源配置情報を生成する。
【００６１】
再生部１７は、この仮想音源配置部１９で生成された仮想音源配置情報を、ステップ１０２で受け取る。そして、ステップ１０３に進み、この仮想音源配置情報と、聴取者の頭の位置の情報とを用いて、前記テーブルに記録されている情報を参照し、再生対象の音声情報の各時刻における頭部伝達関数を決定する。
【００６２】
なお、この例では、音声出力部１８は、頭部に装着されたヘッドフォンであるため、聴取者の頭部の方向、位置は、固定されていると考えてよく、予め、それらの情報、すなわち、位置および方向の情報は与えられている。
【００６３】
こうして頭部伝達関数が決定したら、ステップ１０４に進み、音声情報格納部１３に格納されている、指定された再生区間の音声情報のデジタルデータと、頭部伝達関数とのコンボリューション演算を行い、再生対象の音声情報の各時刻のヘッドフォン７への再生音声信号を計算する。そして、ステップ１０５に進み、ステップ１０４で計算された再生音声信号を音声出力部１８としてのヘッドフォン７に供給し、順次、音声出力する。
【００６４】
次に、仮想音源配置部１９の、この再生時の動作を、図４のフローチャートを参照して説明する。
【００６５】
仮想音源配置部１９では、再生部７から再生音声指定情報（音声情報ファイル名、再生開始オフセット、再生終了オフセット）が送られてくると、ステップ２０１に進み、音声情報格納部１３から、指定された音声情報ファイルの記録開始時刻および記録終了時刻の情報を取得して、指定された音声情報ファイルの全記録時間を求める。
【００６６】
次に、ステップ２０２に進み、再生音声の聴空間上の仮想音源位置を決める。この場合の仮想音源位置の決定方法の概念図を図５に示す。
【００６７】
まず、この例においては、図５に示すように、ユーザの頭部９を中心とした半径ｒの円弧状の空間の座標系を仮想的に定義し、これをユーザの頭部座標系とする。そして、この頭部座標系において、所定の聴空間範囲を決定する角度αから角度βまでに相当する時間を定義し、この仮想的な時間空間上に再生音声の各時間位置の仮想音源を配置するようにする。
【００６８】
この場合の聴空間範囲はどのように定義することもできるが、この実施の形態では、上述したように、音声情報格納部１３から取得した音声情報ファイルの記録開始時刻および記録終了時刻を対応させて、音声情報ファイルの記録開始時刻Ｒｓを角度α、記録終了時刻Ｒｅを角度βに対応させる。なお、この例では、角度αは、例えば３０度、角度βは、例えば１５０度とする。
【００６９】
このようにユーザの頭部座標系を定義した後、再生音声指定情報の再生開始オフセットおよび再生終了オフセットで指定される再生開始時刻Ｔｓおよび再生終了時刻Ｔｅの時点にそれぞれ対応する、聴空間上の角度θｓおよび角度θｅを求める。この角度θｓおよび角度θｅが、再生開始時刻Ｔｓおよび再生終了時刻Ｔｅの仮想音源位置となる。
【００７０】
次に、角度αから角度βまでの角度範囲において、単位時間Δｔ当たりの単位角度Δθを求める。これにより、再生開始時刻Ｔｓから再生終了時刻Ｔｅの間の区間においては、単位時間Δｔごとに角度位置が定められ、それぞれの角度位置が、対応する時刻の音声の仮想音源位置と定められる。
【００７１】
こうして、指定された再生区間の各時刻の音声が定位すべき位置、すなわち、仮想音源位置を決めるための情報が得られると、ステップ２０３に進み、仮想音源配置部１９は、聴空間を形成する頭部座標系の半径ｒと、再生開始オフセットにより定まる再生開始時刻Ｔｓの聴空間上の角度と、単位時間Δｔ当たりの角度Δθを、仮想音源配置情報として、再生部１７に送る。
【００７２】
前述したように、再生部１７では、これらの情報に基づいて、再生対象区間内の各時間位置に応じた仮想音源位置から音声が出力されるようにする音声処理を、音声情報格納部１３から読み出された再生対象の音声情報ファイルの指定された再生区間の音声情報に対して施す。
【００７３】
この実施の形態では、以上のようにして再生して、音声出力することにより、聴感上、聴空間上を、音声の時間軸上の変化に応じて、仮想音源が移動するようにして再生されるようになる。
【００７４】
なお、上記例では、頭部を中心にした半径ｒの円上に各時刻の音声出力を配置するようにする例であったが、別の配置方法でもよい。例えば、図６に示すように、直線上に各時刻の音声を配置しても構わない。
【００７５】
この図６の例は、仮想３次元空間上の、点Ａ（ｘａ，ｙａ，ｚａ）と、点Ｂ（ｘｂ，ｙｂ，ｚｂ）の時刻を、指定した音声情報ファイルの記録開始時刻Ｒｓと、記録終了時刻Ｒｅとに対応させる。そして、単位時間Δｔ当たりの移動距離を、移動ベクトルΔｖ（＝（ｓ，ｔ，ｕ））として求める。すると、点Ａと点Ｂの直線方程式から、指定した音声再生区間の各時刻の仮想音源位置が定まる。
【００７６】
この図６の例の場合には、図４のフローチャートのステップ２０３では、開始オフセットの位置と、単位時間Δｔ当たりの移動ベクトルΔｖを再生部１７に送ればよい。
【００７７】
なお、上記例では、角度αと角度β、あるいは点Ａと点Ｂを、指定した音声情報ファイルの記録開始時刻と記録終了時刻に当てはめたが、予めユーザが別の日時を指定しても構わない。また、上述の説明では、一つの音声を聴空間上に定位させるように再生したが、複数の音声を選択して、それらを聴空間上に配置して、並列的に再生させるようにすることもできる。
【００７８】
このように、ユーザは同時に複数の音声を聴取できる。複数の音声を同時に理解することはできないが、単語を拾うことはできる。これにより、記録された音声の文脈や流れを推定することができる。また所望の情報がどれであるか、あるいはどこにあるかの見当をすばやくつけることができる。
【００７９】
［第２の実施の形態］
第１の実施の形態では、聴取者の頭部を中心とした頭部座標系を用いた聴空間上において、再生時間位置に対応して仮想音源を、頭部位置に対して相対的に配置するようにした。すなわち、第１の実施の形態では、音声の再生時間位置に対応して仮想音源を、頭部に対する相対空間上に配置させるようにした。しかし、この発明は、このような相対空間上において、再生時間位置に対応させて仮想音源位置を配置させる場合に限らない。
【００８０】
以下に説明する第２の実施の形態は、絶対空間上に時間軸を位置付け、その絶対空間上の時間軸上において、再生区間の各時間位置に対応した仮想音源位置を配置することができるようにした場合である。
【００８１】
この第２の実施の形態においては、図７に示すように、図１に示した第１の実施の形態の機能ブロック図のブロックに加えて、聴取者の頭部の動きを検出する頭部運動検出部２１を設ける。
【００８２】
頭部運動検出部２１は、例えば３次元磁気センサを用いて構成する。この３次元磁気センサにより頭部の位置、および方向（角度）を検出する。これを用いて、時間軸の位置を、聴取者は絶対空間上に位置づけることが可能になる。
【００８３】
すなわち、頭部が動いたとしても、絶対空間上の時間軸の位置は動かない。この概念を、図８を用いて説明する。
【００８４】
今、時刻Ｔにおける聴取者の位置をＰ（Ｔ）、時刻（Ｔ＋１）における聴取者の位置をＰ（Ｔ＋１）とする。頭部運動検出部２１が無い場合には、頭部がＰ（Ｔ＋１）に移動すると、次の時刻（Ｔ＋２）の音声も、頭部が移動した分だけ移動した位置に聞こえることになる。
【００８５】
この実施の形態の場合には、頭部運動検出部２１によって頭部位置および方向角度情報が検出され、その検出された頭部位置および方向角度情報は、制御部１５を介して仮想音源配置部１９に送られる。仮想音源配置部１９では、頭部位置Ｐ（Ｔ＋１）に基づいて、時刻（Ｔ＋２）以降の音声情報の頭部座標系の位置を計算し、その情報を再生部１７に送る。再生部１７では、送られた仮想音源配置情報から各時刻における頭部伝達関数を特定し、時刻（Ｔ＋２）以降の音声信号を計算し直す。
【００８６】
この頭部の位置が変化した場合における仮想音源配置部１９の動作を、図９のフローチャートを参照して説明する。
【００８７】
すなわち、仮想音源配置部１９は、制御部１５から頭部位置および方向角度情報を受け取ると、ステップ３０１において、頭部位置および方向角度情報が以前の時刻の頭部位置および方向角度情報と同じかを判別する。もし同じであれば、処理を終了し、もし異なれば、ステップ３０２に進む。ステップ３０２では、検出された頭部位置および方向角度情報に基づいて、これから再生する音声の各時刻における頭部座標系における仮想音源位置を特定するための仮想音源配置情報を計算する。そして、ステップ３０３に進み、その仮想音源配置情報を再生部１７に送る。
【００８８】
次に、この場合の再生部１７の処理動作のフローチャートを図１０に示す。
【００８９】
すなわち、仮想音源配置部１９より各時刻の仮想音源位置に関する情報が送られると、ステップ４０１へ進み、その情報に基づいて、指定された再生区間内の各時刻の音声の頭部伝達関数を特定する。そして、ステップ４０２に進み、音声情報格納部１３に記録されている、これから再生する音声信号のデジタルデータを読み出して、特定された頭部伝達関数とコンボリューション演算を行う。次に、ステップ４０３に進み、ステップ４０２の演算結果をＤ／Ａ変換ボードを介してヘッドフォン７に出力する。
【００９０】
このような機能をもつことで、第２の実施の形態によれば、絶対空間上に時間軸を位置づけ、その時間軸上で音声を再生することが可能である。また、特定の音声をよく聞きたいときに、そこに近づくことで聞き易くするようなことが可能である。
【００９１】
また、第２の実施の形態によれば、絶対空間上に時間軸を位置づけ、その時間軸上で音声を再生することが可能であるので、仮想空間上の時間軸において、仮想音源を再生音声の時間位置に応じて単に配置するだけでなく、画面上に表示されたチャート（時間軸を有し、その時間軸にそって情報が視覚的に表現されたもの）上に、再生音声の時間位置に応じて仮想音源を配置することもできる。
【００９２】
以下に、第２の実施の形態のいくつかの実施例について説明する。
【００９３】
［第１の実施例］
この第２の実施の形態の第１の実施例においては、音声情報の時間軸に関連する表示情報が表示部１６の画面に表示される場合に、再生対象の音声情報が、どの表示情報部分に関連するかを、表示画面上の表示情報に仮想音源を配置することにより、容易に把握することができるようにした場合である。
【００９４】
この場合に、前述したように、表示画面のような固定的な空間上において、仮想音源を配置するようにする場合には、聴取者の頭部の位置が変化すると、音源位置が変化してしまうことになるので、聴取者の頭部位置に応じた補正を行うようにしている。
【００９５】
この第１の実施例を、会議情報の記録再生の場合を例に取って、以下に説明することにする。前述した図７は、この第１の実施例の場合の記録再生装置の機能ブロック図でもある。
【００９６】
この第１の実施例においては、図１に示した第１の実施の形態の機能ブロック図のブロックに加えて、聴取者の頭部の動きを検出する頭部運動検出部２１と、音声情報の時間軸上に関連する情報を視覚的に配置したチャートを作成するチャート作成部２２を設ける。
【００９７】
この第１の実施例の場合には、ユーザ入力部１４から、再生命令と、再生開始オフセットおよび再生終了オフセットを含む再生指示情報とが入力されると、表示部１６の画面には、図１１に示すように、再生区間を示す時間軸バー３１が、チャート作成部２２で作成されて表示される。この図１１の例の場合は、再生開始オフセットおよび再生終了オフセットがともにゼロで、会議開始から終了までを再生区間として指定した状態を示している。
【００９８】
このチャートは、ユーザが入力部１４から直接的に入力して表示させるようにすることもできる。すなわち、この実施例の場合に、ユーザは、ユーザ入力部１４より、時間軸バー、文字、画像情報を入力することにより、制御部１５を介して表示部１６に、時間軸バー３１を表示できる。
【００９９】
そして、この第１の実施例の場合には、再生音声信号は、この表示部１６の画面に表示された時間軸バー３１上の、各再生音声の時間位置に対応する位置に仮想音源が定位するように、仮想音源配置部１９で、仮想音源配置情報が生成され、その仮想音源配置情報により、前述と同様にして、再生部１７において、頭部伝達関数を用いた演算処理が行われる。この場合の仮想音源配置部１９での処理は、前述の図６を用いて説明した場合に相当する。
【０１００】
ただし、前述したように、聴取者の頭部の位置が変化した場合には、仮想音源配置部１９で、その変化後の頭部を中心とした仮想音源配置情報の演算がやり直される。そして、その変化後の仮想音源配置情報が再生部１７に与えられる。さらに、頭部運動検出部２１で検出された頭部の位置情報も、再生部１７に与えられる。そして、再生部１７では、それらの情報に基づく変化後の頭部伝達関数が求められ、その頭部伝達関数が用いられて、各時間位置の音声情報のコンボリューション演算が行われる。
【０１０１】
すなわち、この第１の実施例においては、制御部１５は、時間軸バー３１の表示情報（画面の位置、画面中の時間軸バー３１の位置、時間軸バー上の時間情報）を仮想音源配置部１９に送る。すると、仮想音源配置部１９では、３次元磁気センサより検出される聴取者の頭部位置および方向角度情報と、画面上の時間軸バー３１についての情報から、頭部座標系における時間軸バー３１上の、再生音声の各時間位置における仮想音源位置に関する情報を生成して、再生部１７に供給するようにする。
【０１０２】
なお、仮想音源配置部１９では、ユーザからの音声再生命令があった時に、それに伴って送られてくる再生開始オフセット、再生終了オフセットの情報から、再生対象区間の音声の各時刻における仮想音源の配置位置を決定するのは前述の場合と同様である。
【０１０３】
図１１において、丸印３２は、この実施例の場合の仮想音源の定位位置の例を示すものである。すなわち、表示部１６の画面上の時間軸バー３１上において、再生中の音声の時間位置に応じた位置から音声が出力されるように、仮想音源が配置されるものである。なお、図１１では、概念的に判りやすくするために、丸印３２により仮想音源位置を示したが、実際上は、この丸印３２は表示上は、存在せず、当該丸印３２の位置から音声出力が発せられるように聴取されるものである。
【０１０４】
これにより、図１１の模式図に示すようにして、聴取者は、単に、再生音声を聴取するだけで、現在再生中の音声が、時間軸上のどの位置の音声であるかが分かる。
【０１０５】
［第２の実施例］
この第２の実施例も会議情報の記録再生装置の場合の例である。この第２の実施例の場合の記録再生装置の機能ブロック図を図１２に示す。
【０１０６】
この第２の実施例においては、音声入力部１１は、複数人の会議出席者の各々に割り当てられた複数本のマイクロホンで構成され、発言区間検出部２３では、各会議出席者ごとの発言区間を検出し、その検出結果を、音声情報格納部１３に格納するようにする。この第２の実施例の場合には、チャート作成部２２は、各会議出席者ごとの発言区間を時間軸上において表示するようにする発言者チャートの作成部を構成する。
【０１０７】
各会議出席者の発言区間は、図１３のフローチャートおよび図１４の説明図に示すようにして、発言区間検出部２３において検出される。この例では、各会議出席者のマイクロホンからの音声情報が、予め設定されている或るレベル以上、かつ、或る時間だけ継続した場合には、そのマイクロホンを使用する会議出席者が発言しているとして検出する。
【０１０８】
すなわち、図１４に示すように、マイクロホンから、あるレベルＬ１以上の音声信号が出力されると、ステップ５０１へ進み、予め、発言開始を検出するために適切な単位時間長として定められた時間区間Δｔ１以上に渡って、前記レベルＬ１以上の音声信号レベルが持続するかを監視する。もし、持続しなければ、それは発言とはみなさず、発言区間の検知を終了する。もし、持続したと判別した場合、ステップ５０２へ進み、現在の時刻（Ｔ１）を検出し、Ｔ１−Δｔ１を発言開始時刻とする。
【０１０９】
そして、ステップ５０３へ進み、音声の終了時刻を求めるために、音声が、ある時刻Ｔ２から、予め、発言終了を検出するために適切な単位時間長として定められた時間Δｔ２以上、あるレベルＬ２を下回ったか否かを監視する。そして、下回った場合、ステップ５０４へ進み、Ｔ２―Δｔ２を発言終了時刻として検出する。
【０１１０】
なお、上述の例では、発言開始時刻の検出のためのレベルＬ１と、発言終了時刻の検出のためのレベルＬ２とは、Ｌ１＝Ｌ２としたが、レベルＬ１とレベルＬ２とは、必ずしも等しくなくともよい。
【０１１１】
以上のようにして検知された会議参加者毎の発言区間に関する情報は、図１５に示すようなデータ構造にまとめられる。発言区間検出部２３は、この発言区間の関する情報を、発言状況の記録情報として、音声情報格納部１３に格納するようにする。
【０１１２】
図１５に示すように、記録される発言区間に関する情報は、それぞれの発言区間を識別するための発言識別データ（発言ＩＤ）と、その発言者、発言開始時刻および発言終了時刻とからなる。発言者の情報としては、予め登録された会議出席者名が記録される。なお、発言者名と発言者識別データとの対応テーブルを別に用意して、発言者識別データを発言者名の代わりに記録するようにしてもよい。
【０１１３】
この第２の実施例においては、再生に際し、ユーザは、ユーザ入力部１４からチャート作成の命令と、前述の場合と同様にして、再生時間範囲を指定することができる。チャート作成命令および再生時間範囲が入力されると、その命令および再生時間範囲の情報は、制御部１５を介して、チャート作成部２２へ送られる。
【０１１４】
チャート作成部２２は、音声情報格納部１３から指定された再生時間範囲の発言状況の記録情報を読み出して、図１６に示すような発言者チャートを作成し、制御部１５を通じて表示部１６に表示する。
【０１１５】
発言チャートは、図１６に示すように、発言者を識別するための発言者名Ａ，Ｂ，Ｃを表示する発言者名領域４１と、発言の遷移の状態を視覚的に表示するための発言遷移表示領域４２とから構成される。発言遷移表示領域４２には、発言区間検出部２３で検出された、発言者ごとの発言区間が、矩形のバー表示ＶＢにより表示される。
【０１１６】
図１６において、Ｔｓは、ユーザにより指定された再生区間の開始時刻、Ｔｅは当該再生区間の終了時刻である。図１６の例は、再生開始オフセットおよび再生終了オフセットがゼロの場合の例であり、会議の開始から終了までの区間が対象となっている。
【０１１７】
この発言者チャートにより、各会議出席者が、いつ、どのくらいの時間の発言を行ったのかが、矩形の発言区間バーＶＢの表示位置と長さにより示される。そして、この発言遷移表示領域４２の全会議参加者の発言区間バーＶＢの遷移として表示される発言構造を読み取ることで、誰の発言から誰の発言へと遷移したのかという、前記再生区間における発言遷移構造を読み取ることも可能となる。
【０１１８】
そして、聴取者に対する表示部１６の位置や、発言者チャートの表示部１６内の発言区間バーＶＢの表示位置は、制御部１５から仮想音源配置部１９に送られる。仮想音源配置部１９では、再生中の音声に対応する発言区間バーＶＢの位置を、仮想音源位置とするような仮想音源配置情報を生成し、再生部１７に送る。
【０１１９】
再生部１７は、この仮想音源配置情報に基づいて、前述と同様の演算処理を再生する音声信号に対して行い、音声出力部１８としてのヘッドフォン７に出力する。
【０１２０】
図１６の例では、丸印で示す発言区間バーの位置に仮想音源が存在するように、音声出力されている。すなわち、発言者Ａ，Ｂ，Ｃのそれぞれの発言に対応するように定位するようにされる。なお、図１６の例では、３人の発言を同時に再生していることを示している。
【０１２１】
このように、ユーザは、同時に複数の音声を聴取することもできる。複数の音声を同時に理解することは困難であるが、単語を拾うことはできる。これにより、記録された音声情報の文脈や流れを推定することができる。また、所望の情報がどれであるか、あるいはどこにあるかの見当を、素早く付けることができる。
【０１２２】
なお、表示部１６が動く可能性がある場合には、表示部１６の位置を検出する機構を設ければよい。例えば、携帯型のパーソナルコンピュータ上で記録再生装置を実現する場合には、携帯型のパーソナルコンピュータに３次元磁気センサを装着することで実現できる。また、表示部１６は、可搬なパーソナルコンピュータや電子黒板のようなものであってもよい。
【０１２３】
［第３の実施例］
図１７は、第２の実施の形態の記録再生装置の第３の実施例の機能ブロック図である。この第３の実施例は、会議情報の記録再生装置であって、会議において使用した参照資料としての文書の情報を、すべて記録しておき、再生に際して、その文書を表示画面に表示し、会議の再生音声がどの文書に関するものであるかを、仮想音源配置により、再生音声を聴取するだけで把握することができるようにする場合の例である。
【０１２４】
図１７において、文書記録部５１には、会議資料として使用された文書情報が記録されている。この文書情報には、ワープロソフトやプレゼンテーション用のソフトなどで作成されたさまざまな文書を含む。
【０１２５】
表示文書履歴記録部５２では、会議音声情報の記録が行われている際に、表示部１６に表示されていた文書の表示履歴が記録されている。表示文書履歴記録部５２ヘの履歴の記録は、ユーザ入力部１４から文書の表示・非表示の命令が入力される都度、制御部１５によって記録される。
【０１２６】
表示文書履歴記録部５２に記録されている情報の構造を図１８に示す。文書ＩＤは、各文書の識別情報である。同じ文書が異なる時間に再び資料として使用される場合もある。表示開始時刻および表示終了時刻は、文書が表示されていた時間を示すためのものである。
【０１２７】
表示文書記録部５３は、音声情報を再生している時に表示している文書とその表示位置や大きさが記録されている。これは、ある時点での文書の表示状態を表わす記録であり、履歴ではない。したがって、表示状態をユーザが変化させれば、この記録も変化する。
【０１２８】
表示文書記録部５３に記録されている情報の構造の例を図１９に示す。この実施例では、文書の表示位置を、文書の中心位置で記録しているが、文書のどの位置情報をどのように表現するかを限定するものではない。
【０１２９】
文書チャー卜作成部５４は、表示部１６の画面上において、時間軸上に文書を配置する機能を有する。具体的に言えば、文書チャート作成部５４は、会議で使われた文書を、時系列的に表示部１６に表示するための情報を作成するものである。
【０１３０】
図２０は、会議における各文書の表示状況を時間軸上に示したものである。すなわち、図２０では、文書１は、時刻ｔ０〜ｔ１の時間帯において表示され、文書２は、時刻ｔ２〜ｔ３の時間帯において表示され、文書３は、時刻ｔ４〜ｔ５の時間帯において表示されたことを示している。
【０１３１】
図２１は、会議音声の再生に先立ち、表示部１６の表示画面において、前述の第２の実施例と同様の時間軸バー３１に対応して、各文書を並べた文書チャートの例を示すものである。
【０１３２】
この文書チャートは、文書チヤート作成部５４によって作成される。文書チャート作成部１５の処理動作を図２２のフローチャートに示す。
【０１３３】
すなわち、文書チャート作成部５４は、文書チャート作成命令、チャート作成時間、表示文書履歴フアイル名が、ユーザ入力部１４より制御部１５を介して入力されると、この文書チャー卜を作成する。ここで、チャート作成時間とは、表示部１６に表示する時間軸バー３１の時間区間のことを指す。
【０１３４】
文書チャートの作成方法の別の方法としては、ユーザ自身が、時間軸バー３１と文書を、表示文書履歴記録部５２の情報を参照しながら、手入力で表示画面上に作成する方法がある。なお、その場合には、文書チャート作成部５４は使われない。
【０１３５】
この第３の実施例においては、前述の実施例と同様にして、音声情報を再生する場合に、仮想音源配置部１９は、再生対象の音声の時間位置において記録時に表示されていた文書を検索し、その文書位置に仮想音源を配置するように仮想音源配置情報を生成する。このため、仮想音源配置部１９には、制御部１５を通じて、文書チャートに関する表示情報が与えられている。
【０１３６】
再生部１７は、それを受けて、各音声の時間位置に対応した文書位置を仮想音源として音声出力がなされるように音声信号に対して、前述したような演算処理を施す。
【０１３７】
この結果、再生音声は、表示部１６に表示された時間軸バー３１に沿って表示されている文書に定位して出力するようにされる。図２１の丸印で示したのは、それぞれの文書１、文書２、文書３に対応する音声の定位位置を示している。
【０１３８】
なお、再生音声の時間位置に対応する文書がない場合、すなわち、会議中において、文書が表示されていなかった時間帯の音声情報については、図２１において、破線の丸印で示すように、時間軸バー３１上において、その前後の文書の中心に定位させるように仮想音源位置を配置して、当該再生音声情報の時間軸上の位置は知らせることができる。
【０１３９】
表示させている文書の大きさと、時間軸のスケールの関係によっては、ある文書に関する音声情報の定位位置と、文書の位置とにずれが生じることもある。このずれを考慮する場合を考ると、仮想音源配置部１９は、表示文書履歴記録部５２の記録情報から、その文書に関連した音声情報の時間帯を認識し、その時間帯においては、表示文書記録部５３の情報を用いて文書の中心位置に音声を定位させることがより望ましい。
【０１４０】
また、チャート作成部２２と、文書チャート作成部５４を併用することで、表示部１６の表示画面上において、時軸上バー３１に関連させて、発言者チャートと、文書チャートとを重ねて表示させる方法もある。この場合のイメージ図を図２３に示す。この場合には、再生音声の各時間位置に応じた仮想音源位置は、発言者チャート上であってもよいし、文書チャート上であってもよい。
【０１４１】
さらに、別の実施例として、音声再生時に文書を必ずしも時間軸に沿って表示しないような場合も考えられる。図２４は、文書の表示位置が時間軸に沿ってはいない場合の表示例である。
【０１４２】
このような例の場合には、仮想音源配置部１９は、表示文書履暦記録部５２を参照して、文書が表示された時間帯と、その文書ＩＤを認識し、その時間帯になったときに、表示文書記録部５３からその文書が表示されているか否かを判定し、表示されていれば、図２４において、実線の丸印６１で示すように、そこに音声を定位させる。そして、文書が表示されていなければ、予め決められた、例えば図２４で破線の丸印６２で示すような、文書が表示されないような場所に定位させる用にする方法で実施することができる。
【０１４３】
以上のようにして、この発明による記録再生装置の第１および第２の実施の形態においては、再生された音声を聴取するだけで、その再生音声の時間位置が、記録音声情報の全体中で、どの時間位置のものであるかを容易に把握することができる。
【０１４４】
また、いつ、どのような話題があったかを記憶する時に、頭部座標系、または絶対空間の座標系の場所に話題を結び付けて記憶することができる。
【０１４５】
また、様々な音声情報にアクセスした場合、それらの時間関係を記録しておかなくとも、空間的な位置と話題を対応づけて記憶することによって、話題の流れをつかみ易くなる。このようなことは、我々が日常用いる記憶方略にも役立てることが可能である。
【０１４６】
また、再生したい話題を再生するためのインデックスが、音声情報に付与されていなくとも、その話題が再生された時の音声の位置から時刻を連想できるという効果もある。
【０１４７】
また、聴取者は、表示チャート上の視覚情報と重ねあわせて音声情報を聴取することができる。それによって、音声情報の理解が促進される。
【０１４８】
なお、以上の第２の実施の形態において、表示部１６として、頭部搭載型ディスプレイを用いた場合には、頭部運動出部２１は不要である。
【０１４９】
【発明の効果】
以上説明したように、請求項１の発明によれば、再生された音声を聴取するだけで、その再生音声の時間位置が、記録音声情報の全体中で、どの時間位置のものであるかを容易に把握することができる。また、再生中の音声情報の音像定位位置は、時間の経過とともに変化するので、音声情報の時間的な流れを容易に把握することができる。
【０１５０】
また、請求項２の発明によれば、音声情報の全体を再生する場合でなくとも、その指定された音声再生区間が、全体のどの当たりのものであるかを知ることができる。また、その再生区間内における音声情報の時間的な流れも容易に把握することができる。
【０１５１】
また、請求項３の発明によれば、表示画面に表示された音声に関連する表示情報に再生音声出力が定位するようにできるので、例えば、会議における各発言者の音声出力は、その発言者の発言区間の表示部分からあたかも出力されるかの如く聴取されるようにすることができる。
【０１５２】
また、請求項４の発明によれば、指定された再生区間の音声に関連する、例えば、会議において提示された文書資料などを表示画面に表示したときに、その関連する文書に音声出力を定位するようにすることができるため、聴取者は、再生中の音声が、どの文書資料に関する音声情報であるかを容易に把握することができる。
【０１５３】
また、請求項５の発明によれば、頭部伝達関数が用いられて音声処理が行われて、音像が、定位感良く、上述のような聴空間上の所定の位置に配置できる。
【０１５４】
また、請求項６の発明によれば、聴取者の頭の位置が変わっても、その頭部の運動を検出して、その頭部運動に応じた仮想音源配置を行うことができるので、聴空間として絶対空間内に音像を位置付けることができる。
【図面の簡単な説明】
【図１】この発明による記録再生装置の第１の実施の形態の機能ブロック図である。
【図２】この発明による記録再生装置の第１の実施の形態が適用されるシステムの全体の概要を説明するための図である。
【図３】この発明による記録再生装置の第１の実施の形態の再生部の動作の例のフローチャートである。
【図４】この発明による記録再生装置の第１の実施の形態の仮想音源配置部の動作の例のフローチャートである。
【図５】この発明による記録再生装置の第１の実施の形態における仮想音源配置の方法の例を示す概念図である。
【図６】この発明による記録再生装置の第１の実施の形態における仮想音源配置の方法の例を示す概念図である。
【図７】この発明による記録再生装置の第２の実施の形態の第１の実施例の機能ブロック図である。
【図８】頭部の動きと、音の定位位置との関係を説明するための図である。
【図９】この発明による記録再生装置の第２の実施の形態の第１の実施例において、頭部運動検出部を具備した時の仮想音源配置部の動作を説明するためのフローチャートである。
【図１０】この発明による記録再生装置の第２の実施の形態の第１の実施例において、頭部運動検出部を具備した時の再生部の動作を説明するためのフローチャートである。
【図１１】第１の実施例において、表示部上の時間軸上で再生音声出力を定位させている様子を示す図である。
【図１２】この発明による記録再生装置の第２の実施の形態の第２の実施例の機能ブロック図である。
【図１３】第２の実施例における発言区間検出部の動作を説明するためのフローチャートである。
【図１４】第２の実施例における発言区間検出部の動作を説明するために用いる図である。
【図１５】第２の実施例における発言区間検出部の動作を説明するために用いる図である。
【図１６】第２の実施例において、表示部上の発言者チャート上で再生音声出力を定位させている様子を示す図である。
【図１７】この発明による記録再生装置の第２の実施の形態の第３の実施例の機能ブロック図である。
【図１８】第３の実施例における表示文書履歴記録部の記録情報の構造の例を示す図である。
【図１９】第３の実施例における表示文書記録部の記録情報の構造の例を示す図である。
【図２０】第３の実施例において、記録時に文書が表示されていた様子を時間軸上で示した図である。
【図２１】第３の実施例において、表示部上の文書チャート上で再生音声出力を定位させている様子を示す図である。
【図２２】第３の実施例における文書チャート作成部の動作を説明するためのフローチャートである。
【図２３】第３の実施例において、表示部上の発言者チャートあるいは文書チャート上で再生音声出力を定位させる場合の表示画面を示す図である。
【図２４】第３の実施例において、表示部上の文書チャート上で再生音声出力を定位させる場合の表示画面を示す図である。
【符号の説明】
１１  音声入力部
１２  記録音声信号処理部
１３  音声情報格納部
１４  ユーザ入力部
１５  制御部
１６  表示部
１７  再生部
１８  音声出力部
１９  仮想音源配置部
２１  頭部運動検出部
２２  チャート作成部
２３  画像入力部
２４  画像信号記録処理部
２５  画像情報格納部
２６  発言区間検出部
３１  時間軸バー
５１  文書記録部
５２  表示文書履歴記録部
５３  表示文書記録部
５４  文書チャート作成部
【図１】
0003594068.tif 000002
【図２】
0003594068.tif 000003
【図３】
0003594068.tif 000004
【図４】
0003594068.tif 000005
【図５】
0003594068.tif 000006
【図６】
0003594068.tif 000007
【図７】
0003594068.tif 000008
【図８】
0003594068.tif 000009
【図９】
0003594068.tif 000010
【図１０】
0003594068.tif 000011
【図１１】
0003594068.tif 000012
【図１２】
0003594068.tif 000013
【図１３】
0003594068.tif 000014
【図１４】
0003594068.tif 000015
【図１５】
0003594068.tif 000016
【図１６】
0003594068.tif 000017
【図１７】
0003594068.tif 000018
【図１８】
0003594068.tif 000019
【図１９】
0003594068.tif 000020
【図２０】
0003594068.tif 000021
【図２１】
0003594068.tif 000022
【図２２】
0003594068.tif 000023
【図２３】
0003594068.tif 000024
【図２４】
0003594068.tif 000025