(57)【要約】【課題】会議の進行を妨げずに簡単な操作で、しかも会議中に参加者が共有して議事進行状態を一覧することができ、且つ正確な記録となる表示物を作成することにより、会議を効率化する音声記録装置を提供する。【解決手段】このシステムは、システム全体を制御するＣＰＵ１と、ワークメモリとしての役割を担うＲＡＭ２と、プログラムやデータを蓄積するハードディスク３と、入力イベントとしての役割を担うキーボード６およびマウス７と、画像を表示するＣＲＴ、ＬＣＤ等で構成されるモニタ４と、マイク９からの音声データを入力する音声入力インターフェース８と、スピーカ１１に音声データを出力する音声出力インターフェース１０と、各構成要素を接続するシステムバス５を備えて構成される。【選択図】      図１
2004185514.tif 000002
【特許請求の範囲】
【請求項１】
音声入力インターフェースを介して入力された音声データを記録する音声データ記録手段と、該音声データ記録手段により記録された音声データをモニタ上に図形表示する音声表示手段と、ユーザ入力インターフェースを介してポインティングデバイスによる操作若しくはキーボード操作により表示領域に画像を表示する画像表示手段と、を備え、
前記ユーザ入力インターフェースにより入力された入力イベントに基づいて、ファイル記録処理、ファイル入力処理、音声データ貼り付け処理、図形描画処理若しくは音声再生処理の何れかの処理を行うことを特徴とする音声記録装置。
【請求項２】
前記音声データ貼り付け処理は、前記音声表示手段によりモニタ上に表示された音声データに時間範囲が指定されているか否かを判断し、該時間範囲が指定されていた場合、該時間範囲に対応する音声データを切り出して音声データを生成してファイルに保存することを特徴とする請求項１に記載の音声記録装置。
【請求項３】
前記モニタ上に表示された音声データは、各時刻における音量データであり、該音量データは所定の時間毎に更新されることを特徴とする請求項２に記載の音声記録装置。
【請求項４】
複数の音声入力インターフェースを介して入力された各音声データを記録する音声データ記録手段と、該音声データ記録手段により記録された音声データをモニタ上に図形表示する音声表示手段と、ユーザ入力インターフェースを介してポインティングデバイスによる操作若しくはキーボード操作により表示領域に画像を表示する画像表示手段と、を備え、
前記ユーザ入力インターフェースにより入力された入力イベントに基づいて、ファイル記録処理、ファイル入力処理、音声データ貼り付け処理、図形描画処理若しくは音声再生処理の何れかの処理を行うことを特徴とする音声記録装置。
【請求項５】
前記複数の音声入力インターフェースを介して入力される音声データの音量を前記音声表示手段により計測表示し、且つ前記複数の音声データを加算して一つの音声データとして記録することを特徴とする請求項４に記載の音声記録装置。
【請求項６】
２つの音声入力インターフェースを介して入力された各音声データを記録する音声データ記録手段と、該音声データ記録手段により記録された音声データをモニタ上に図形表示する音声表示手段と、ユーザ入力インターフェースを介してポインティングデバイスによる操作若しくはキーボード操作により表示領域に画像を表示する画像表示手段と、画像入力インターフェースを介して入力された画像を記録する画像データ記録手段と、を備え、
前記ユーザ入力インターフェースにより入力された入力イベントに基づいて、ファイル記録処理、ファイル入力処理、音声データ貼り付け処理、図形描画処理若しくは音声再生処理の何れかの処理を行うことを特徴とする音声記録装置。
【請求項７】
前記２つの音声入力インターフェースを介して入力される音声データの位相差により該音声データの音源を計測する音源計測手段を更に備え、
前記音源計測手段は、２チャンネルの音声データから音源方向を推定して結果を前記表示領域にグラフ表示すると共に、前記撮像装置により撮影した画像を同一画面に表示することを特徴とする請求項６に記載の音声記録装置。
【請求項８】
前記音声データ貼り付け処理は、前記音声表示手段によりモニタ上に表示された音声データに時間範囲が指定されているか否かを判断し、該時間範囲が指定されていた場合、該時間範囲内の音源方向の平均値を求め、記録された画像データから前記時間範囲の開始時刻に対応する音源方向の部分画像を切り出して表示領域の所定の位置に表示することを特徴とする請求項６又は７に記載の音声記録装置。
【請求項９】
複数の音声入力インターフェースを介して入力された各音声データを記録する音声データ記録手段と、該音声データ記録手段により記録された音声データをモニタ上に図形表示する音声表示手段と、ユーザ入力インターフェースを介してポインティングデバイスによる操作若しくはキーボード操作により表示領域に画像を表示する画像表示手段と、複数の画像入力インターフェースを介して入力された画像を記録する画像データ記録手段と、を備え、
前記ユーザ入力インターフェースにより入力された入力イベントに基づいて、ファイル記録処理、ファイル入力処理、音声データ貼り付け処理、図形描画処理若しくは音声再生処理の何れかの処理を行うことを特徴とする音声記録装置。
【請求項１０】
前記音声表示手段は、前記各音声データの音量グラフと該音声データに対応する画像データを同一画面上に表示することを特徴とする請求項９に記載の音声記録装置。
【請求項１１】
前記ファイル記録処理は、前記表示領域に描画された画像データ及び前記表示領域に貼り付けられたアイコンと前記音声データの関連を表すリンクデータを夫々与えられた名前のファイルに記録することを特徴とする請求項１、４、６及び９に記載の音声記録装置。
【請求項１２】
前記ファイル入力処理は、前記画像データ及びリンクデータを夫々決められた名前のファイルから読み込み、前記画像データの画像及びリンクデータから関連付けられたアイコンを前記表示領域に表示することを特徴とする請求項１、４、６及び９に記載の音声記録装置。
【請求項１３】
前記図形描画処理は、前記表示領域で生じるマウスドラッグにより画面に折線分を描画することを特徴とする請求項１、４、６及び９に記載の音声記録装置。
【請求項１４】
前記音声再生処理は、前記リンクデータから過去に貼り付けられた一連の音声アイコンの位置を読み込み、ポインタ位置と一致した音声アイコンのファイルを読み込んで音声を再生することを特徴とする請求項１、４、６及び９に記載の音声記録装置。
【請求項１５】
音声入力インターフェースを介して入力された音声データを記録する音声データ記録ステップと、該音声データ記録ステップにより記録された音声データをモニタ上に図形表示する音声表示ステップと、ユーザ入力インターフェースを介してポインティングデバイスによる操作若しくはキーボード操作により表示領域に画像を表示する画像表示ステップと、を備え、
前記ユーザ入力インターフェースにより入力された入力イベントに基づいて、ファイル記録処理、ファイル入力処理、音声データ貼り付け処理、図形描画処理若しくは音声再生処理の何れかの処理を行うことを特徴とする音声記録方法。
【請求項１６】
前記ファイル記録処理は、前記表示領域に描画された画像データ及び前記表示領域に貼り付けられたアイコンと前記音声データの関連を表すリンクデータを夫々与えられた名前のファイルに記録することを特徴とする請求項１５に記載の音声記録方法。
【請求項１７】
前記ファイル入力処理は、前記画像データ及びリンクデータを夫々決められた名前のファイルから読み込み、前記画像データの画像及びリンクデータから関連付けられたアイコンを前記表示領域に表示することを特徴とする請求項１５に記載の音声記録方法。
【請求項１８】
前記図形描画処理は、前記表示領域で生じるマウスドラッグにより画面に折線分を描画することを特徴とする請求項１５に記載の音声記録方法。
【請求項１９】
請求項１５乃至１８の何れか一項に記載の音声記録方法をコンピュータが制御可能にプログラミングしたことを特徴とする音声記録プログラム。
【請求項２０】
請求項１９に記載の音声記録プログラムをコンピュータが読み取り可能な形式で記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声記録装置に関し、さらに詳しくは、動画、音声の記録及び検索技術に関するものである。
【０００２】
【従来の技術】
従来から複数の人間が参加する会議などでは、記載内容、掲示内容等を複数人が同時に観視することが可能なホワイトボードなどが多く利用されている。そしてこのホワイトボードには、発表者等の説明、意見、報告内容、或いは議事進行等が記入、掲示され、ホワイトボード上の各種情報は、会議参加者の間で共有される。ホワイトボードは、口頭による発言は時間が経過すると参照できないため、会議中及び会議後にその内容を参照するために発言された内容を記録する機能と、これまで議論された内容や、これから議論する予定を一覧表示し、会議参加者間でこれを共有することにより議事の進行を促進する機能とを備えている。しかし、記録という目的からは、ボード上の記述内容は詳しいことが望ましいが、詳しい内容を筆記により転写するためには時間がかかるため、その間議事の進行を妨げることになる。また、一項目の記述内容が詳しくなるほどその量が増え、結果的に一覧性は低下する傾向にある。
そこで、口頭で行った議論を手間をかけずに正確に記録し、ボード上に整理して一覧表示する作業を支援することができれば、会議の効率向上に役立つと考えられる。そのようなことから特開平１１−５３３８５号公報には、音声などを記録し、会議後に記録を再生するためのシステムについて開示されている。それによると、発言構造を図形的に表示し、ユーザが指定した発言と同様の発言を図示することにより、検索漏れを減少させるとしている。
【０００３】
また、一連の発言群から意味的な構造を抽出する作業は高度な知的活動であり、これこそ会議中に参加者の行うべき行動である。そこで構造抽出と表示内容記述は人間が担当し、一方、正確な記録と再生は機械が行うよう分担すれば、会議中のユーザ負荷を低減しながら、正確な記録と高度な構造表示を実現することができる。そのようなことから同一出願人から、長時間記録された動画、音声データのうち、一部分をユーザが指定して切り出すマルチメディア文書作成システム及び切り出し部分を再生するシステムが提案されている。それによれば、切り出し位置（時間範囲）を見付けるために、音源方向、加筆情報などの時間的変化を記録し、それを空間的に表示するとしている。また切り出したデータはクリップポードなどにコピーすることで、任意のアプリケーションに貼り付けることができるとしている。
また、特開２００２−２４７４８９公報には、マイクアレイとビデオカメラを組みあわせた装置を使い、マイクにより音源方向を推定するとともに全体の画像を記録し、その画像上で音源方向に対応する位置と名前を入力し、発言と名前を関連付けする技術について開示されている。
【特許文献１】特開平１１−５３３８５号公報
【特許文献２】特開２００２−２４７４８９公報
【０００４】
【発明が解決しようとする課題】
しかし、特許文献１には、図形表示に使用する発言構造としては、発言者別、発言時刻順一覧が例として挙げられているが、複雑な意味的な構造を使用する方法は示されていない。
また、特許文献２は切り出しデータの利用法としてメールに添付する方法が示されているが、その他の利用方法は明らかにされていない。
本発明は、かかる課題に鑑み、会議の進行を妨げずに簡単な操作で、しかも会議中に参加者が共有して議事進行状態を一覧することができ、且つ正確な記録となる表示物を作成することにより、会議を効率化する音声記録装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明はかかる課題を解決するために、請求項１は、音声入力インターフェースを介して入力された音声データを記録する音声データ記録手段と、該音声データ記録手段により記録された音声データをモニタ上に図形表示する音声表示手段と、ユーザ入力インターフェースを介してポインティングデバイスによる操作若しくはキーボード操作により表示領域に画像を表示する画像表示手段と、を備え、前記ユーザ入力インターフェースにより入力された入力イベントに基づいて、ファイル記録処理、ファイル入力処理、音声データ貼り付け処理、図形描画処理若しくは音声再生処理の何れかの処理を行うことを特徴とする。
本発明の特徴は、ユーザ入力インターフェースにより入力された入力イベントに基づいて、各種の処理プログラムを実行することである。そして、それらの処理結果は表示画面の表示領域に表示され、その表示内容もホワイトボード領域には文字や画像が表示され、音声表示領域には音声データが画像として表示される。
かかる発明によれば、会議の進行を妨げずに簡単な操作で、会議中に参加者が共有して議事進行状態を一覧することができ、かつ正確な記録となる表示物を作成することにより、会議を効率的に進行することができる。
請求項２は、前記音声データ貼り付け処理は、前記音声表示手段によりモニタ上に表示された音声データに時間範囲が指定されているか否かを判断し、該時間範囲が指定されていた場合、該時間範囲に対応する音声データを切り出して音声データを生成してファイルに保存することを特徴とする。
会議中の議事録に対応するように、そのときの音声が参照できればより議事録が正確なものとなる。そこで本発明では、モニタ上に表示された音声データに時間範囲を指定し、その指定された時間範囲の音声データを切り出してファイルに保存する。
かかる発明によれば、指定された時間範囲の音声データを切り出してファイルに保存するので、後でそのときの音声データを再生して確認することができる。
【０００６】
請求項３は、前記モニタ上に表示された音声データは、各時刻における音量データであり、該音量データは所定の時間毎に更新されることを特徴とする。
表示部に表示される音声データは各時刻における音量データである。従って、表示される時は一定の時間毎に新しい音量データと更新されるのが好ましい。
かかる発明によれば、表示される音量データは所定の時間毎に更新されるので、常に新しい音量データを表示することができる。
請求項４は、複数の音声入力インターフェースを介して入力された各音声データを記録する音声データ記録手段と、該音声データ記録手段により記録された音声データをモニタ上に図形表示する音声表示手段と、ユーザ入力インターフェースを介してポインティングデバイスによる操作若しくはキーボード操作により表示領域に画像を表示する画像表示手段と、を備え、前記ユーザ入力インターフェースにより入力された入力イベントに基づいて、ファイル記録処理、ファイル入力処理、音声データ貼り付け処理、図形描画処理若しくは音声再生処理の何れかの処理を行うことを特徴とする。
請求項１では、音声入力インターフェースを介して入力された音声データは、１つだけである。しかし、会議は一般に複数の人と行うので、本発明では音声入力インターフェースに複数のマイクを接続して複数の音声データを記録するものである。
かかる発明によれば、参加者個別のマイクを利用し、マイク毎の音量グラフを表示する。また個別の区間音声データを使用せず、全体音声データの一部へのポインタを利用するので、ファイル容量が節約でき、さらに、後から時間範囲を調整することも容易にできる。
請求項５は、前記複数の音声入力インターフェースを介して入力される音声データの音量を前記音声表示手段により計測表示し、且つ前記複数の音声データを加算して一つの音声データとして記録することを特徴とする。
各マイクからの音声データの音量は、音声表示手段により個別に同時に表示される。そして各音声データは加算されて一つの音声データとして記録される。
かかる発明によれば、音声データの音量は個別に表示され、音声データは一つに加算されて記憶されるので、表示内容を共有することができると共に、データの記憶容量を少なくすることができる。
【０００７】
請求項６は、２つの音声入力インターフェースを介して入力された各音声データを記録する音声データ記録手段と、該音声データ記録手段により記録された音声データをモニタ上に図形表示する音声表示手段と、ユーザ入力インターフェースを介してポインティングデバイスによる操作若しくはキーボード操作により表示領域に画像を表示する画像表示手段と、画像入力インターフェースを介して入力された画像を記録する画像データ記録手段と、を備え、前記ユーザ入力インターフェースにより入力された入力イベントに基づいて、ファイル記録処理、ファイル入力処理、音声データ貼り付け処理、図形描画処理若しくは音声再生処理の何れかの処理を行うことを特徴とする。
会議中の発言者の位置、つまり音源方向がわかれば、より会議の内容を正確にしかも誰が発言したかを確認することが容易となる。そこで本発明では、音源方向を検出するために２つの音声データと、その発言者の画像を記録する手段を備える。
かかる発明によれば、音源方向を検出するために２つの音声データと、その発言者の画像を記録する手段を備えるので、発言者を正確に確認することができる。
請求項７は、前記２つの音声入力インターフェースを介して入力される音声データの位相差により該音声データの音源を計測する音源計測手段を更に備え、前記音源計測手段は、２チャンネルの音声データから音源方向を推定して結果を前記表示領域にグラフ表示すると共に、前記撮像装置により撮影した画像を同一画面に表示することを特徴とする。
本発明は２つのマイクアレイに入力する音声データの位相差から音源方向を計測し表示することで、区間を指定しやすくサポートするものである。また、撮影した画像を記録することにより、区間音声の再生時に同時に画像を再生し、より内容を理解しやすくする。さらに区間音声アイコンに、音源方向の画像を使用し、アイコンの内容を理解しやすくする。
かかる発明によれば、音源方向を検出し画像を同時に記録するので、音声データの区間を指定し易くなり、且つ内容を理解しやすくすることができる。
【０００８】
請求項８は、前記音声データ貼り付け処理は、前記音声表示手段によりモニタ上に表示された音声データに時間範囲が指定されているか否かを判断し、該時間範囲が指定されていた場合、該時間範囲内の音源方向の平均値を求め、記録された画像データから前記時間範囲の開始時刻に対応する音源方向の部分画像を切り出して表示領域の所定の位置に表示することを特徴とする。
本発明では指定された区間の音源方向の画像が切り出されるので、コメント以外に発言者の顔も自動的に表示され、より理解しやすい表示が実現できる。また音声再生は、リンクデータに記録された指定区間の音声とともに、画像表示領域で動画データを再生する。
かかる発明によれば、ホワイトボード上の各項目の関連情報として、音声以外に画像も再生されるので、より内容が理解しやすくなる。
請求項９は、複数の音声入力インターフェースを介して入力された各音声データを記録する音声データ記録手段と、該音声データ記録手段により記録された音声データをモニタ上に図形表示する音声表示手段と、ユーザ入力インターフェースを介してポインティングデバイスによる操作若しくはキーボード操作により表示領域に画像を表示する画像表示手段と、複数の画像入力インターフェースを介して入力された画像を記録する画像データ記録手段と、を備え、前記ユーザ入力インターフェースにより入力された入力イベントに基づいて、ファイル記録処理、ファイル入力処理、音声データ貼り付け処理、図形描画処理若しくは音声再生処理の何れかの処理を行うことを特徴とする。
請求項６では、１つのカメラに２つのマイクを備えて、発言者の音源方向と画像を記録するものであった。しかし、その場合音源方向を演算しなければならず、煩わしかった。そこで本発明はカメラとマイクを一体にしたマイクカメラを複数用意し、各発言者に１対１で対応させる。
かかる発明によれば、マイクカメラを発言者に１対１で対応させるので、音源方向を演算する必要がなく、即座に音声データと画像を対応付けることができる。
請求項１０は、前記音声表示手段は、前記各音声データの音量グラフと該音声データに対応する画像データを同一画面上に表示することを特徴とする。
本発明は音声表示領域には、複数のマイクの音量グラフの左端に、各マイクに付属したカメラの画像を表示する。また、アイコンには対応時刻の画像を表示するが、内容は切り出し画像ではなく、その区間内で音声レベルの平均値が最大となるマイクに付属するカメラの画像を選択する。
かかる発明によれば、複数のマイクの音量グラフと画像が対応付けられて表示されるので、画像から必要な音声データを検索することが容易となる。
【０００９】
請求項１１は、前記ファイル記録処理は、前記表示領域に描画された画像データ及び前記表示領域に貼り付けられたアイコンと前記音声データの関連を表すリンクデータを夫々与えられた名前のファイルに記録することを特徴とする。
データをファイルに記録する場合、各関連情報を関連付けて記録する必要がある。そのためには、これらの関連性を記録したリンクデータと共にファイル名と一緒に記録しておく。
かかる発明によれば、リンクデータがファイルと一緒に記録されているので、関連するファイルデータを迅速に検索することができる。
請求項１２は、前記ファイル入力処理は、前記画像データ及びリンクデータを夫々決められた名前のファイルから読み込み、前記画像データの画像及びリンクデータから関連付けられたアイコンを前記表示領域に表示することを特徴とする。
ファイルを読み込む場合は、その読み込まれた画像のアイコンも同時に表示する必要がある。
かかる発明によれば、ファイル読み込み時に、画像データの画像及びリンクデータから関連付けられたアイコンを前記表示領域に表示するので、操作性と利便性が向上する。
請求項１３は、前記図形描画処理は、前記表示領域で生じるマウスドラッグにより画面に折線分を描画することを特徴とする。
表示領域内で生じるマウスイベントに応答することにより、一般的なドローツールと同様にマウスドラッグによって画面に折線分を描画することができる。
かかる発明によれば、マウスドラッグにより画面に折線分を描画するので、通常のコンピュータ動作と互換性が生じて操作性が向上する。
【００１０】
請求項１４は、前記音声再生処理は、前記リンクデータから過去に貼り付けられた一連の音声アイコンの位置を読み込み、ポインタ位置と一致した音声アイコンのファイルを読み込んで音声を再生することを特徴とする。
記録された音声データを検索して再生するために、各音声データに対応したアイコンを読み込む。そしてそのアイコンの中からポインタで指定すると、そのアイコンに該当する音声データが再生される。
かかる発明によれば、再生する音声データのアイコンをポインタで指示するので、簡単な操作で所望の音声データを再生することができる。
請求項１５は、音声入力インターフェースを介して入力された音声データを記録する音声データ記録ステップと、該音声データ記録ステップにより記録された音声データをモニタ上に図形表示する音声表示ステップと、ユーザ入力インターフェースを介してポインティングデバイスによる操作若しくはキーボード操作により表示領域に画像を表示する画像表示ステップと、を備え、前記ユーザ入力インターフェースにより入力された入力イベントに基づいて、ファイル記録処理、ファイル入力処理、音声データ貼り付け処理、図形描画処理若しくは音声再生処理の何れかの処理を行うことを特徴とする。
かかる発明によれば、請求項１と同様の作用効果を奏する。
請求項１６は、前記ファイル記録処理は、前記表示領域に描画された画像データ及び前記表示領域に貼り付けられたアイコンと前記音声データの関連を表すリンクデータを夫々与えられた名前のファイルに記録することを特徴とする。
かかる発明によれば、請求項１１と同様の作用効果を奏する。
【００１１】
請求項１７は、前記ファイル入力処理は、前記画像データ及びリンクデータを夫々決められた名前のファイルから読み込み、前記画像データの画像及びリンクデータから関連付けられたアイコンを前記表示領域に表示することを特徴とする。
かかる発明によれば、請求項１２と同様の作用効果を奏する。
請求項１８は、前記図形描画処理は、前記表示領域で生じるマウスドラッグにより画面に折線分を描画することを特徴とする。
かかる発明によれば、請求項１３と同様の作用効果を奏する。
請求項１９は、請求項１５乃至１８の何れか一項に記載の音声記録方法をコンピュータが制御可能にプログラミングしたことを特徴とする。
かかる発明によれば、本発明の音声記録方法をコンピュータが制御可能なＯＳに従ってプログラミングすることにより、そのＯＳを備えたコンピュータであれば同じ処理方法により制御することができる。
請求項２０は、請求項１９に記載の音声記録プログラムをコンピュータが読み取り可能な形式で記録したことを特徴とする。
かかる発明によれば、前記プログラムをコンピュータが読み取り可能な形式で記録媒体に記録することにより、この記録媒体を持ち運ぶことにより何処でもプログラムを稼動することができる。
【００１２】
【発明の実施の形態】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は本発明の第１の実施形態に係るシステム構成を示す図である。このシステムは、システム全体を制御するＣＰＵ１と、ワークメモリとしての役割を担うＲＡＭ２と、プログラムやデータを蓄積するハードディスク３と、入力イベントとしての役割を担うキーボード６およびマウス７と、画像を表示するＣＲＴ、ＬＣＤ等で構成されるモニタ４と、マイク９からの音声データを入力する音声入力インターフェース８と、スピーカ１１に音声データを出力する音声出力インターフェース１０と、各構成要素を接続するシステムバス５を備えて構成される。
尚、ＰＣの表示を会議参加者が同時に閲覧するために、モニタ４にはプロジェクタなど大画面表示装置が有効である。ただしＣＲＴ、ＬＣＤなども利用することも可能であり、特に会議記録という目的に重点を置く場合、表示を共有せず記録者が個人的に使用することも可能である。
図２は本実施形態のプログラムの表示画面構成を示す。表示画面１５はホワイトボード領域１６と音声表示領域１７の二つから構成されている。この構成ではホワイトボード領域１６が上側に配置されているが、どちらでも構わない。
【００１３】
図３は本実施形態のプログラムの構成を示す図である。同じ構成要素には同じ参照番号が付されているので、重複する説明は省略する。このプログラムはホワイトボード表示サブプログラム２２と、音声記録サブプログラム２５と、音声表示サブプログラム２１の３つのサブプログラムから構成され、これらを時分割に同時に実行するように構成されている。またユーザ入力ＩＦ２０は、一般的なオペレーディングシステムにより提供される機能ブロックで、キーボード６からの入力、及びマウス７によるボタンダウン、アップ、ドラッグの操作をイベントとしてアプリケーションに通知する。音声入力ＩＦ８は、計算機に接続されたマイクロホン９から入力する電気信号を、Ａ／Ｄ変換したデジタル信号をアプリケーションへ入力する。音声出力ＩＦ１０は、アプリケーションから出力するデジタル信号をＤ／Ａ変換し、計算機に接続されたスピーカから音声を出力する。
以下、各サブプログラムの構成と動作を個別に説明する。
１．ホワイトボード表示サブプログラム２２は、一般的なホワイトボードの機能を模し、ユーザによるマウス、またはタブレットなどポインティングデバイスによる操作やキーボード操作を入力して、ホワイトボード表示領域１６にその結果を表示する。さらに音声表示サブプログラム２１から音声データを入力し、その図形表示を音声表示領域１７に表示する。
【００１４】
図４は本サブプログラムのフローチャートである。プログラム開始後、まず表示画面のホワイトボード表示領域１６を白色で塗り潰して初期化する（Ｓ１）。次にキーボードまたはマウスによるユーザ入力を読み込む（イベント待ち）（Ｓ２）。入力が「終了操作」のキー入力イベントであれば（Ｓ３のＹＥＳのルート）、後述のファイル記録処理を実行した後（Ｓ９）、プログラム全体を終了する。終了キーは“Ｑ”キーとする。入力が「ファイル入力操作」のキー入力イベントであれば（Ｓ４のＹＥＳのルート）、ファイル入力処理を実行して（Ｓ１０）プログラム全体を終了する。ファイル入力キーは“Ｒ”キーとする。入力が「貼り付け操作」のキー入力イベントであれば（Ｓ５のＹＥＳのルート）、後述の音声データの貼り付け処理を行い（Ｓ１２）、再びユーザ入力を待つ。読み込んだ入力がマウスボタンの「クリック」イベントであれば（Ｓ６のＹＥＳのルート）、後述の図形描画処理を行い（Ｓ１１）、再びユーザ入力を待つ。読み込んだ入力がマウスボタンの「ダブルクリック」イベントであれば（Ｓ７のＹＥＳのルート）、後述の音声再生処理を行い、再びユーザ入力を待つ。
【００１５】
次に前記各処理について個別に説明する。
図形描画処理は（Ｓ１１）、ホワイトボード表示領域１６内で生じるマウスイベントに次のように応答することにより、一般的なドローツールと同様にマウスドラッグによって画面に折線分を描画する。
ボタンダウン…ポインタの位置を記憶する。
ドラッグ…前回のポインタ位置から  現在のポインタ位置まで直線を描画する。また記憶している位置を現在のポインタ位置に更新する。
ボタンアップ…前回のポインタ位置から現在のポインタ位置まで直線を描画する。
音声データ貼り付け処理（Ｓ１２）は、後述の音声表示サブプログラムにおいて記録されたユーザの指定時間範囲の音声データと関連付けたマークをホワイトボード上に表示する。
▲１▼音声表示サブプログラムにおいて、時間範囲が指定されているか否かを確認する。指定されていなければ貼り付け処理を終了する。
▲２▼時間範囲が指定されていれば、記録された音声データから、対応する時間範囲のデータを切り出した音声データを生成し、一連の番号を名前としてファイルに保存する。音声記録データは後述のように非圧縮のＰＣＭ形式なので、切り出し処理は単なるシークで実現できる。
▲３▼ユーザへプロンプトを表示し、キーボードからその区間音声に対するコメントを入力する。
▲４▼後述の音声貼り付け指定位置として記録されている位置にコメントと並べてアイコンを表示する。
▲５▼記憶中の音声リンクデータへ新しいエントリを追加する。
【００１６】
音声再生処理は（Ｓ８）、ダブルクリックされたポインタの位置を読み込む。
音声リンクデータから、これまでに貼り付けられた一連の音声アイコンの位置を読み込む。
ポインタ位置が、いずれかの音声アイコン上であれば、音声リンクデータに記録された対応する番号のファイルを読み込み、音声出力ＩＦを通してスピーカから音声を再生する。
ポインタ位置がいずれの音声アイコン上でもなければ、次の音声貼り付け指定位置として、その位置を記憶する。
ファイル記録処理（Ｓ９）は、後述のホワイトボード画像データ、リンクデータをそれぞれ与えられた名前のファイルに記録する。
ファイル入力処理（Ｓ１０）は、後述のホワイトボード画像データ、リンクデータをそれぞれ決められた名前のファイルから読み込み、ホワイトボード画像、および音声リンクアイコンをホワイトボード表示領域に表示する。
音声記録サブプログラムは、システムの音声入力ＩＦから音声データを入力し、ハードディスクなど外部記憶装置上にそのデータを記録する。
【００１７】
２．音声表示サブプログラムは、音声記録サブプログラムにより記録された音声データを、モニタ上に図形表示する。またユーザのマウス操作を入力し、ユーザの指定する時間範囲の音声データを、ホワイトボード表示サブプログラムへ出力する。本サブプログラムは、一定時間毎に画面表示を更新する波形表示部と、ユーザ操作により指定区間情報を入力する区間指定部のふたつの実行単位を同時に実行する。また波形表示は、図６のように一定時間毎に音声表示領域１６の画面を更新する。音声表示領域１６は、右向きの時間軸に沿って、つまり、右端が現在時刻を表し左へ進むほど過去さかのぼる、各時刻における音量グラフ３５を表示する。表示は５秒毎に更新し、グラフは左へ移動する。さらに後述の指定区間表示３６があれば、グラフと共に５秒毎に左へ移動する。また音声表示領域１６の幅は６４０画素とし、時間縮尺、つまり１画素に対応する時間を１秒／画素とする。これにより画面内に過去６４０秒分の音声記録状況を表示することができる。
区間指定は音声表示領域１６内へのマウス操作により、ユーザの指定する区間情報を読み取り、記憶し、それを音声表示上に重ねて表示する。音声表示領域で生じるマウスイベントに以下のように対応する。
ボタンダウン…ポインタ位置を読み取り記憶する。その位置に対応する時刻を第一の時間区間端として記憶する。画面上の位置に対応する時刻は、ポインタ位置と時間縮尺、および現在表示中の時間開始時刻、つまり音声表示領域の左端に対応する時刻から求めることができる。
ドラッグ…ボタンダウンポインタ位置と現在のポインタ位置を左および右の端とする矩形を描画し範囲を表示する。
ボタンアップ…ポインタ位置を読み取り、その位置に対応する時刻を第二の時間区間端として記憶する。先の第一の時間区間端と合わせ、ホワイトボード表示サブプログラムの音声データ貼り付け処理からの要求があれば、これを指定時間範囲として送信する。
【００１８】
次に本発明の実施形態のプログラムのデータ構造について説明する。ホワイトボード画像データは、ホワイトボード表示領域に描画された図形を表す６４０ｘ４８０画素モノクロ１ビットのラスタ画像データである。
音声リンクデータは、ホワイトボード表示領域に貼り付けられたアイコンと音声データの関連を表す。図５に音声リンクデータの構造を示す。ホワイトボード上のｘｙ座標（画素単位、整数）３０、３１、区間音声データファイル名（番号）３２、キーボードから入力されたコメントからなる行（テキスト）３３の繰り返しである。音声データは、８ｋＨｚ１６ｂｉｔ／ｓのＰＣＭデータとする。
【００１９】
次に本実施形態の全体の動作を、ユーザからみた使用例として説明する。
１．  開始
２．  本発明の装置を操作する記録者が、会議の開始とともにアプリケーションを起動する。画面には図２のような画面１５が表示される。
３．  発言
４．  通常の会議と同様に参加者はそれぞれ口頭の発言を行う。
５．  切り出し
６．  発言を、ボードに表示すべきだと記録者が判断した場合、記録者は音声表示領域１７に表示された音量グラフ３５を見ながら、その発言の時間区間３６をマウスドラッグにより指定する。
７．  コピー
８．  記録者はホワイトボード表示領域１６の任意の位置をダブルクリックして貼り付け位置を指定した後、“Ｖ”キーを押して音声アイコンを貼り付ける。その後に表示されるプロンプトに従い、キーボード６から発言内容を要約したコメントを入力する。
９．  加筆  ホワイトボード上でマウス７をドラッグし、アイコン間を結ぶ線や、その他の文字、図形などを書き込む。
１０．  再生  参加者は、議論が進む間、貼り付け、加筆を繰り返したホワイトボードを閲覧し、その内容を理解する。そのなかでコメントだけではその内容を正確に思いだせない項目があれば、記録者がアイコンをダブルクリックする。するとそのアイコンに関連付けられた時間区間の音声がスピーカ１１から再生され、会議参加者は正確な内容を思い出すことができる。
１１．  終了  会議が終了するとき、記録者は“Ｑ”キーを押してアプリケーションを終了する。
１２．  後再生  会議終了後、もう一度会議内容を見直したい場合、アプリケーションを起動して“Ｒ”キーを押し、記録されたファイルを読み込む。ホワイトボード表示領域１６に前回の会議終了時と同様の表示が再現される。また、前回の続きの会議を開催する場合に、この状態から始めることもできる。
本実施形態では、音声切り出しデータのコピーアンドペースト操作にキーボード６を利用したが、マウスボタンを押下したままポインタを移動する「ドラッグアンドドロップ」や、右ボタンクリックでコンテキストメニューをポップアップ表示し、その中から「コピー」や「貼り付け」を選択するなど、一般的な「コピーアンドペースト」操作も利用できる構成にすることも好ましい。
また、本実施形態では音声リンクアイコンについて貼り付け処理だけを説明したが、一般的なドローツールと呼ばれる図形編集プログラムと同様に、貼り付けた後で、その位置やコメントを修正することも有効である。
【００２０】
図７は本発明の第２の実施形態に係るシステム構成を示す図である。同じ構成要素には同じ参照番号が付されているので、重複する説明は省略する。図７が図１と異なる点は、参加者個別のマイクを複数（ここでは４個）音声入力インターフェース８に接続した点である。本実施形態は、参加者個別のマイク９ａ〜９ｄを利用し、マイク毎の音量グラフを表示する。また個別の区間音声データを使用せず、全体音声データの一部へのポインタを利用する。これにより、ファイル容量が節約でき、さらに、後から時間範囲を調整することも容易にできる。マイクから入力される音声データに対して、それぞれの音量を計測表示し、また、４つの音声データをすべて加算した結果をひとつの音声データとして記録する。
図８は本実施形態のプログラムの構成を示す図である。同じ構成要素には同じ参照番号が付されているので、重複する説明は省略する。
図９に本実施形態の表示画面例を示す図である。音声表示領域４０が４つの領域に分割され、それぞれのマイクの音量９ａ〜９ｄがグラフ表示される。
以下、第１の実施形態との違いだけを説明する。
ホワイトボード表示サブプログラム４２の音声データ貼り付け処理は、音声表示サブプログラムにおいて、時間範囲が指定されていれば、対応する時間範囲データを読み込む。
キーボードからコメントを入力しアイコンを表示する。
リンクデータを更新する。
音声再生処理は、ダブルクリック位置に対応するアイコンのリンクデータから、区間の開始時刻と継続時間を読み込む。
記録された全体音声データの指定区間部分だけを再生する。
次にデータ構造について説明する。音声リンクデータは、ホワイトボード表示領域に貼り付けられたアイコンと音声データの関連を表す。図１０に音声リンクデータの構造を示す。ホワイトボード上のｘｙ座標（画素単位、整数）５０、５１、区間の開始時刻（記録開始時刻からの相対時間、秒単位）５２と継続時間（秒単位）５３、キーボードから入力されたコメント５４からなる行（テキスト）の繰り返しである。
本実施形態は第１の実施形態と比較して、区間音声データが存在しないため、記録されるデータ全体の容量を小さく抑えることができる。また音声リンクデータを編集することで、各発言に対応する時間区間を修正することも容易である。ただし、第１の実施形態では区間音声データだけ（全体音声データなし）でも各発言を再生することができる。
【００２１】
図１１は本発明の第３の実施形態に係るシステム構成を示す図である。本実施形態が第２の実施形態と異なる点は、画像入力ＩＦ５７を介してカメラ５８が接続されている点である。これは従来技術と同様にマイクアレイに入力する音声データの位相差から音源方向を計測し表示することで、区間を指定しやすくサポートする。また、撮影した画像を記録することにより、区間音声の再生時に同時に画像を再生し、より内容を理解しやすくする。さらに区間音声アイコンに、音源方向の画像を使用し、アイコンの内容を理解しやすくする。
図１２は記録ＰＣに接続するマイクロホンアレイとビデオカメラの外観を示す図である。マイクロホン９ａ、９ｂとカメラ５８が固定されているため、マイクアレイから推定される音源方向と、カメラで撮影される画像上の横方向位置は、あらかじめ計測して対応づけておく。
【００２２】
図１３は本実施形態の表示画面の構成を示す図である。左側にホワイトボード領域６０、右側の音声表示領域６３の上側にビデオ表示領域６１、下側に音源方向表示領域６２が配置される。
図１４は本実施形態の表示画面例を示す図である。音声表示領域６３は、画面右側に縦方向になり、上のビデオ表示領域６１、下の音源方向表示領域６２の２つに分れる。そしてビデオ表示領域６１、および音源方向表示領域６２には、従来技術（特願２００１−４５８３８公報）と同様に、ビデオ画像６１と、その画像に対応した音源方向６２ａ、６２ｂ、６２ｃが表示される。ただし、本発明では領域下端が現在時刻を示す。
図１５は本実施形態のプログラムの構成を示す図である。同じ構成要素には同じ参照番号が付されているので、重複する説明は省略する。以下第２の実施形態との違いについて説明する。
動画記録サブプログラム７０は、画像入力ＩＦ７３から順次画像データを入力し、圧縮してハードディスク３へ記録する。圧縮方式は、周知のＭｏｔｉｏｎＪＰＥＧ方式とし、画像サイズ３２０ｘ２４０画素、１ｆｒａｍｅ／ｓｅｃとする。
音声表示サブプログラム７１は、音声記録サブプログラム２５から２チャンネルの音声データを入力して音源方向を推定し、その結果をグラフ表示する。また、画像記録サブプログラム７０から画像データを入力し、画像表示領域６１に表示する。
ホワイトボード表示サブプログラムの音声データ貼り付け処理は、音声表示領域に時間範囲が指定されていれば、時間範囲を読み込み、その範囲内の音源方向の平均値を求め、記録された画像データから、図１６のように区間開始時刻の音源方向８２の部分画像８１（８０ｘ１２０画素、）を切り出し、切り出した画像をホワイトボード上の指定位置に表示する。
この処理により、その区間の音源方向の画像が切り出されるので、コメント以外に発言者の顔も自動的に表示され、より理解しやすい表示が実現できる。
また音声再生は、リンクデータに記録された指定区間の音声とともに、画像表示領域で動画データを再生する。ホワイトボード上の各項目の関連情報として、音声以外に画像も再生されるので、より内容が理解しやすくなる。
【００２３】
図１７は本発明の第４の実施形態に係るシステム構成を示す図である。同じ構成要素には同じ参照番号が付されているので、重複する説明は省略する。図１７が図７と異なる点は、図１９のようにマイク８６とカメラ８５を１個ずつ組み合わせた装置を複数ならべて、夫々音声入力インターフェース８と画像入力インターフェース５７に接続した点である。
図１８は本実施形態の表示画面例を示す図である。音声表示領域９３には、各マイク９ａ〜９ｄの音量グラフ９２ａ〜９２ｄの左端に、各マイクに付属したカメラ５８ａ〜５８ｄの画像９１ａ〜９１ｄを表示する。また、アイコンには第３の実施形態と同様に対応時刻の画像を表示するが、内容は切り出し画像ではなく、その区間内で音声レベルの平均値が最大となるマイクに付属するカメラの画像を選択する。
【００２４】
【発明の効果】
以上記載のごとく請求項１、１５の発明によれば、会議の進行を妨げずに簡単な操作で、  会議中に参加者が共有して議事進行状態を一覧することができ、かつ正確な記録となる表示物を作成することにより、会議を効率的に進行することができる。
また請求項２、１６では、指定された時間範囲の音声データを切り出してファイルに保存するので、後でそのときの音声データを再生して確認することができる。
また請求項３、１７では、表示される音量データは所定の時間毎に更新されるので、常に新しい音量データを表示することができる。
また請求項４、１８では、参加者個別のマイクを利用し、マイク毎の音量グラフを表示する。また個別の区間音声データを使用せず、全体音声データの一部へのポインタを利用するので、ファイル容量が節約でき、さらに、後から時間範囲を調整することも容易にできる。
また請求項５では、音声データの音量は個別に表示され、音声データは一つに加算されて記憶されるので、表示内容を共有することができると共に、データの記憶容量を少なくすることができる。
また請求項６では、音源方向を検出するために２つの音声データと、その発言者の画像を記録する手段を備えるので、発言者を正確に確認することができる。
また請求項７では、音源方向を検出し画像を同時に記録するので、音声データの区間を指定し易くなり、且つ内容を理解しやすくすることができる。
【００２５】
また請求項８では、ホワイトボード上の各項目の関連情報として、音声以外に画像も再生されるので、より内容が理解しやすくなる。
また請求項９では、マイクカメラを発言者に１対１で対応させるので、音源方向を演算する必要がなく、即座に音声データと画像を対応付けることができる。
また請求項１０では、複数のマイクの音量グラフと画像が対応付けられて表示されるので、画像から必要な音声データを検索することが容易となる。
また請求項１１では、リンクデータがファイルと一緒に記録されているので、関連するファイルデータを迅速に検索することができる。
また請求項１２では、ファイル読み込み時に、画像データの画像及びリンクデータから関連付けられたアイコンを前記表示領域に表示するので、操作性と利便性が向上する。
また請求項１３では、マウスドラッグにより画面に折線分を描画するので、通常のコンピュータ動作と互換性が生じて操作性が向上する。
また請求項１４では、再生する音声データのアイコンをポインタで指示するので、簡単な操作で所望の音声データを再生することができる。
また請求項１９では、本発明の音声記録方法をコンピュータが制御可能なＯＳに従ってプログラミングすることにより、そのＯＳを備えたコンピュータであれば同じ処理方法により制御することができる。
また請求項２０では、前記プログラムをコンピュータが読み取り可能な形式で記録媒体に記録することにより、この記録媒体を持ち運ぶことにより何処でもプログラムを稼動することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るシステム構成を示す図である。
【図２】本発明の第１の実施形態のプログラムの表示画面構成を示す図である。
【図３】本発明の第１の実施形態のプログラムの構成を示す図である。
【図４】本発明のサブプログラムのフローチャートである。
【図５】本発明の音声リンクデータの構造を示す図である。
【図６】本発明の第１の実施形態の表示画面例を示す図である。
【図７】本発明の第２の実施形態に係るシステム構成を示す図である。
【図８】本発明の第２の実施形態のプログラムの構成を示す図である。
【図９】本発明の第２の実施形態の表示画面例を示す図である。
【図１０】本発明の音声リンクデータの構造を示す図である。
【図１１】本発明の第３の実施形態に係るシステム構成を示す図である。
【図１２】本発明の記録ＰＣに接続するマイクロホンアレイとビデオカメラの外観を示す図である。
【図１３】本発明の第３の実施形態の表示画面の構成を示す図である。
【図１４】本発明の第３の実施形態の表示画面例を示す図である。
【図１５】本発明の第３の実施形態のプログラムの構成を示す図である。
【図１６】本発明の切り出し画像を示す図である。
【図１７】本発明の第４の実施形態に係るシステム構成を示す図である。
【図１８】本発明の第４の実施形態の表示画面例を示す図である。
【図１９】本発明のマイクカメラの外観図である。
【符号の説明】
１  ＣＰＵ、２  ＲＡＭ、３  ハードディスク、４  モニタ、５  システムバス、６  キーボード、７  マウス、８  音声入力インターフェース、９  マイク、１０  音声出力インターフェース、１１  スピーカ
【図１】
2004185514.tif 000003
【図２】
2004185514.tif 000004
【図３】
2004185514.tif 000005
【図４】
2004185514.tif 000006
【図５】
2004185514.tif 000007
【図６】
2004185514.tif 000008
【図７】
2004185514.tif 000009
【図８】
2004185514.tif 000010
【図９】
2004185514.tif 000011
【図１０】
2004185514.tif 000012
【図１１】
2004185514.tif 000013
【図１２】
2004185514.tif 000014
【図１３】
2004185514.tif 000015
【図１４】
2004185514.tif 000016
【図１５】
2004185514.tif 000017
【図１６】
2004185514.tif 000018
【図１７】
2004185514.tif 000019
【図１８】
2004185514.tif 000020
【図１９】
2004185514.tif 000021