(57)【要約】【課題】  画像の表示に合わせて発話音声を出力することができる情報処理装置を提供する。【解決手段】  画像を画像データとして入力する静止画像データ入力部２と、音声を音声データとして入力する音声データ入力部５と、画像データの入力タイミングに合わせて音声データを分割し、発話音声が記録されている箇所を分割された音声データの先頭から検出して、音声データの無音区間を検出し、無音区間の音声データを削除するＣＰＵ１０を有している。【選択図】        図１
2009026236.tif 000002
【特許請求の範囲】
【請求項１】
画像を画像データとして入力する画像入力手段と、
音声を音声データとして入力する音声入力手段と、
前記画像データの入力タイミングに合わせて音声データを分割する分割手段と、
発話音声が記録されている箇所を分割された音声データの先頭から検出して、音声データの無音区間を検出する無音区間検出手段と、
前記無音区間の音声データを削除する削除手段と、
を有することを特徴とする情報処理装置。
【請求項２】
画像を画像データとして入力する画像入力手段と、
音声を音声データとして入力する音声入力手段と、
前記画像データの入力タイミングに合わせて音声データを分割する分割手段と、
発話音声が記録されている箇所を分割された音声データの先頭から検出して、音声データ再生時に、音声データを前記発話音声が記録されている箇所から再生するための索引データを生成する生成手段と、
を有することを特徴とする情報処理装置。
【請求項３】
コンピュータを、
画像データを入力する手段と、
音声データを入力する手段と、
前記画像データの入力タイミングに合わせて音声データを分割する手段と、
発話音声が記録されている箇所を分割された音声データの先頭から検出して、音声データの無音区間を検出する手段と、
前記無音区間の音声データを削除する手段として機能させるためのプログラム。
【請求項４】
コンピュータを、
画像データを入力する手段と、
音声データを入力する手段と、
前記画像データの入力タイミングに合わせて音声データを分割する手段と、
発話音声が記録されている箇所を分割された音声データの先頭から検出して、音声データの再生時に、音声データを前記発話音声が記録されている箇所から再生するための索引データを生成する手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ、マイク、コンピュータ等の装置を用いて、会議の様子を記録する技術に関する。
【背景技術】
【０００２】
昨今、通信技術、デバイス技術、コンピューティング技術等の発展に伴い、コンピュータ、カメラ、マイクおよびプロジェクタがオフィスなどに深く浸透してきている。これと相まって、オフィスや教室などで行われる会議、講演、プレゼンテーション、議論などは通信、ネットワークおよびコンピュータの支援を受けることができるようになってきている。
例えば、会議室にいわゆるネットワークコンピュータ、カメラ及びプロジェクタを配置することで、会議を支援することができる。また、近年、いわゆる会議記録システムを使用して、会議で使われた電子的なスライドなどのプレゼンテーション資料や講演者あるいはプレゼンタを撮影したビデオデータおよび音声データを記録ないし蓄積し、いわゆるＷｅｂアプリケーションとしてネットワークを介して閲覧ないし提示することができるようになってきている。
【０００３】
例えば、典型的な会議記録ソフトウェアとして、株式会社リコー社製のＷｅｂコンテンツ自動作成ツール、商品名“ＭＰＭｅｉｓｔｅｒ”（詳細については、http://www.rico.co.jp/mpmeister/full/を参照のこと）が知られている。
このＷｅｂコンテンツ自動作成ツールでは、講演会や社内の技術発表などのプレゼンテーションにおける発表者の映像データ、音声データ、スライド、目次を組み合わせたマルチメディア・ウェブ・コンテンツをプレゼンテーションの終了後に自動的に作成することが可能で、さらに、利用者は作成したコンテンツをウェブブラウザで視聴することができる。
【０００４】
特許文献１の電子アルバムを記録した情報記録媒体では、画像データと、楽曲音声データと、画像データ及び楽曲音声データを関連付けて再生するプログラムとが組になって記録されており、このプログラムは、情報記録媒体に記録された楽曲音声データを分析して演奏時間、テンポ、フレーズ数等を抽出し、楽曲音声データの再生に同期して画像データを表示する。
【０００５】
また、特許文献２では、顧客が提供する画像データの中から日時情報を抽出する手段と、日時情報を参照して画像データを日時順に並び替える手段と、画像データを並び替えた日時順にスライド表示させる手段と、選択した楽曲音声データをスライド表示と同期してスピーカ出力する手段とを備えている。
【０００６】
また、特許文献３では、音声ファイルの中で何らかの特徴や特性が存在する、音声ファイル又は音声ストリーム内の時間情報を取得し、この時間情報に同期させて取得した画像データを自動的に再生する方法を提案している。
【０００７】
【特許文献１】特開２００３−２８８０９４号公報
【特許文献２】特開２００４−１０４６７４号公報
【特許文献３】特開２００４−１１０８２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来のシステムは、プレゼンテーション中にスクリーンにスライド画像が表示されると、これをキャプチャして記録している。また、スクリーンに表示しているスライド画像に変化が生じると、これを検出して新たな画像として記録する。音声を記録する装置は、プレゼンタの発話を表示中のスライドに対応付けて記録していく。
また、記録した画像及び音声の再生の際には、プレゼンテーションを忠実に再現するため、スライド画像の取得タイミングと、プレゼンターの発話開始タイミングとに時間的なズレが生じていても補正することなくそのまま再生していた。しかしながら、記録された画像データと音声データとを後で再生して視聴する利用者にとっては、画像データの表示タイミングと音声データの再生タイミングとにズレが生じているのは好ましいものではない。特許文献１〜３にもこの問題に対する解決策は開示されていない。
【０００９】
本発明は上記事情に鑑みてなされたものであり、画像の表示に合わせて発話音声を出力することができる情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
かかる目的を達成するために本発明の情報処理装置は、画像を画像データとして入力する画像入力手段と、音声を音声データとして入力する音声入力手段と、前記画像データの入力タイミングに合わせて音声データを分割する分割手段と、発話音声が記録されている箇所を分割された音声データの先頭から検出して、音声データの無音区間を検出する無音区間検出手段と、前記無音区間の音声データを削除する削除手段とを有する構成としている。
本発明によれば、画像の表示に合わせて発話音声を出力することができる。
【００１１】
本発明の情報処理装置は、画像を画像データとして入力する画像入力手段と、音声を音声データとして入力する音声入力手段と、前記画像データの入力タイミングに合わせて音声データを分割する分割手段と、発話音声が記録されている箇所を分割された音声データの先頭から検出して、音声データ再生時に、音声データを前記発話音声が記録されている箇所から再生するための索引データを生成する生成手段と、を有する構成としている。
本発明によれば、画像の表示に合わせて発話音声を出力することができる。
【００１２】
本発明のコンピュータプログラムは、コンピュータを、画像データを入力する手段と、音声データを入力する手段と、前記画像データの入力タイミングに合わせて音声データを分割する手段と、発話音声が記録されている箇所を分割された音声データの先頭から検出して、音声データの無音区間を検出する手段と、前記無音区間の音声データを削除する手段として機能させることを特徴としている。
【００１３】
本発明のコンピュータプログラムは、コンピュータを、画像データを入力する手段と、音声データを入力する手段と、前記画像データの入力タイミングに合わせて音声データを分割する手段と、発話音声が記録されている箇所を分割された音声データの先頭から検出して、音声データ再生時に、音声データを前記発話音声が記録されている箇所から再生するための索引データを生成する手段として機能させることを特徴としている。
【発明の効果】
【００１４】
本発明によれば、画像の表示に合わせて発話音声を出力することができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面を参照しながら本発明の好適な実施例を説明する。
【実施例１】
【００１６】
まず、図１を参照しながら本実施例の情報処理装置１の構成について説明する。本実施例の情報処理装置１は、静止画像データ入力部２と、静止画像データ記憶部３と、静止画像データ表示部４と、音声データ入力部５と、音声データ記憶部６と、音声データ出力部７と、同期再生部８と、タイマ９と、ＣＰＵ（Central Processing Unit）１０と、作業用メモリ１１とを有している。
【００１７】
静止画像データ入力部２は、カメラなどによって撮影した画像データや、スライド画像を保持するコンピュータ装置から入力したＪＰＥＧ（Joint Photographic Experts Group）などの静止画像データを入力し、入力した静止画像データを静止画像データ記憶部３に出力する。
【００１８】
静止画像データ記憶部３には、静止画像データが記憶される。静止画像データ表示部４は、ディスプレイなどで構成され、同期再生部８の制御によって静止画像データ記憶部３から読み出された静止画像データが表示される。
【００１９】
音声データ入力部５は、マイクなどで構成され、発話者の音声を取り込んで音声データとして出力する。音声データは音声データ記憶部６に出力され、記憶される。
【００２０】
音声データ記憶部６は、ＤＲＡＭ（Dynamic Random Access Memory）等のメモリで構成され、音声データ入力部５で入力した音声データを記憶する。
音声データ出力部７は、スピーカ等で構成され、同期再生部８の制御によって音声データ記憶部６から読み出された音声データを再生する。
【００２１】
同期再生部８は、静止画像と音声とが同期して再生されるように静止画像データ記憶部３からの静止画像データの取り出し及び再生と、音声データ記憶部６からの音声データの取り出し及び再生を制御する。
【００２２】
タイマ９は、時刻データをＣＰＵ１０に提供する。
ＣＰＵ１０は、内部バスによって図１に示す各部と接続され、メモリ（不図示）に記録された制御プログラムを読み込んで、このプログラムに従って図１に示す各部を制御する。
作業用メモリ１１は、ＤＲＡＭ等のメモリで構成され、ＣＰＵ１０の演算時に、演算途中のデータや演算結果のデータを記憶する等の作業用メモリとして使用される。
【００２３】
静止画像データ及び音声データの入力が開始されると、ＣＰＵ１０は静止画像データの入力タイミングに合わせて音声データを区切り、静止画像データと対応づけて音声データ記憶部６に音声データを記憶させる。静止画像データ入力部２は、スクリーン（不図示）に表示されるスライドに変化が生じるとこれを静止画像データとして取り込むので、静止画像データの入力タイミングで音声データを区切ることで、図２に示すようにスクリーンに表示されるスライドの表示時間ごとに音声データを区切ることができる。
区切られた音声データは、変数が付与されて静止画像データとの対応付けが行われ、音声データ記憶部６に記憶される。
なお、音声データを区切るタイミングは、この他に、静止画像データ入力部２に静止画像データが入力される時刻を基準として、音声データ記憶部６に記憶した音声データを分割してもよい。また、静止画像データ入力部２に静止画像データが入力される時刻を基準とするのではなく、静止画像データを静止画像データ記憶部３から読み出して静止画像データ表示部４で表示するタイミングを基準としてもよい。
【００２４】
図３を参照しながら音声データ記憶部６に記憶されるデータの構成について説明する。
音声データ記憶部６に記憶される音声データは、音声データを区別する変数などの識別子と、音声開始属性と、発話開始属性と、音声データペイロードとを含んでいる。
識別子は、音声データ及び静止画像データを識別する変数を格納したものであり、本実施例ではさらに、静止画像データと、これに対応付けられた音声データとが判るように変数が付与されている。
音声開始属性には、音声データの音声開始時刻が記録されている。発話開始属性には、音声データの発話開始時刻が記録されている。音声データペイロードには、実際の音声データが記録されている。ＣＰＵ１０は、ＭＰ３などの形式で符号化された音声データを、音声データペイロードとして音声データ記憶部６に記憶する。
なお、音声データは、上述したようにスクリーンに表示されたスライドの表示時間ごとに区切られており、この区切られた音声データの先頭の入力時刻を音声開始時刻T_audiostartTimeと呼ぶ（図４参照）。また発話開始時刻は発言者の発言音声の記録が始まった時刻であり（図４参照）、以下ではT_speechStartTimeとも表記する。
ＣＰＵ１０は、静止画像データの入力タイミングに合わせて音声データを区切り、音声開始時刻T_audiostartTimeと発話開始時刻T_speechStartTimeとを検出する。さらにＣＰＵ１０は音声データを識別する変数を設定して、音声データ記憶部６に音声データと、変数と、音声開始時刻T_audiostartTimeと、発話開始時刻T_speechStartTimeとを記憶する。
【００２５】
次に、ＣＰＵ１０は１つのプレゼンテーションが終了し、静止画像データ及び音声データの記録が終了すると、音声データ記憶部６から音声データを読み出して、音声データの先頭から発話開始箇所までの無音区間の音声データを削除する。以下、この処理について説明する。
まず、ＣＰＵ１０は、音声データ記憶部６から音声データを読み出して、読み出した音声データから音声開始時刻T_audiostartTimeと、発話開始時刻T_speechStartTimeを取り出す。音声データ記憶部６には、図３に示すように音声データ開始時刻と発話開始時刻とが記録されている。
次に、ＣＰＵ１０は、音声開始時刻T_audiostartTimeと、発話開始時刻T_speechStartTimeとの時間差ΔＴを算出する。ＣＰＵ１０は、図４に示すように発話開始時刻T_audiostartTimeから音声開始時刻T_audiostartTimeを減算して時間差ΔＴを求める。
ＣＰＵ１０は、音声開始時刻T_audiostartTimeと、発話開始時刻T_speechStartTimeとの時間差ΔＴを算出すると、この時間差ΔＴを無音区間として物理的に削除する。
ＣＰＵ１０は、無音区間を削除した音声データを改めて音声データ記憶部６に記憶する。この後、同期再生部８がＣＰＵ１０の制御に従って、データの読み出しと再生を行うことで、静止画像の表示タイミングに合わせて発話音声を出力することができる。
【００２６】
図５に示すフローチャートを参照しながら本実施例のＣＰＵ１０の処理手順を説明する。
まず、ＣＰＵ１０は演算に使用する変数を初期化する（ステップＳ１）。特に処理対象の静止画像データ及び音声データを識別する変数ｎ（ｎは１以上の任意の自然数）を１に設定する。
【００２７】
次に、ＣＰＵ１０は、静止画像データの継続判定を行う（ステップＳ２）。ＣＰＵ１０は、静止画像データ記憶部３を参照して、未処理の静止画像データが残っているか否かを判定する。未処理の静止画像データが残っている場合には（ステップＳ２／ＹＥＳ）、ステップＳ３に移行する。また、未処理の静止画像データが残っていない場合には（ステップＳ２／ＮＯ）、ステップＳ９に移行する。
【００２８】
ステップＳ３の処理では、ＣＰＵ１０は、音声データ記憶部６から静止画像データｎに対応付けられた音声データｎを取得する。取得した音声データｎは、作業用メモリ１１に書き込まれる。音声データｎには、図３に示すように変数、音声開始時刻属性、発話開始時刻属性、音声データペイロードが含まれる。ＣＰＵ１０は、これらの音声データを作業用メモリ１１に書き込む。
【００２９】
次にＣＰＵ１０は、音声開始時刻T_audiostartTimeと発話開始時刻T_speechStartTimeとを取得して（ステップＳ４及びＳ５）、これらの差分時間ΔＴを求める（ステップＳ６）。すなわち、ＣＰＵ１０は、発話開始時刻T_speechStartTimeから音声開始時刻T_audiostartTimeを減算する。
次にＣＰＵ１０は、算出した差分時間ΔＴを用いて、音声データの先頭、すなわち音声開始時刻からΔＴだけ音声データを削除する（ステップＳ７）。具体的には、ＣＰＵ１０は、作業用メモリ１１に記録された音声データを音声開始時刻からΔＴだけ削除する。削除が終了すると、ＣＰＵ１０は処理が終了した音声データを音声データ記憶部６に再度記憶する。
【００３０】
ＣＰＵ１０は、以上の処理を変数ｎを１インクリメントして（ステップＳ８）繰り返し行う。静止画像データ記憶部３に記憶された未処理の静止画像データの処理が終了すると（ステップＳ２／ＮＯ）、音声データと静止画像データの同期再生が同期再生部８の制御によって行われる（ステップＳ９）。同期再生部８は、ＣＰＵ１０の制御に従って、静止画像データ記憶部３から静止画像データを読み出すと共に、音声データ記憶部６から音声データとを読み出す。そして、同期再生部８は、静止画像データ表示部４と音声データ出力部７とにそれぞれデータを同期を取って出力する（ステップＳ９）。これにより、静止画像の表示タイミングに合わせて発話音声を出力することができる。
なお、ステップＳ９の処理は、利用者によって指定された静止画像データ及び音声データに対して行われる。これ以外に、予め設定された静止画像データ及び音声データに対して行うものであってもよい。
【００３１】
次に図６を参照しながらＣＰＵ１０による発話開始時刻T_speechStartTimeの検出方法について説明する。
図６には、発話開始時刻検出のシグナルフローを示す。
図６に示すｓ０（１０１）は、標本化された入力信号を表し、ｓ１（１０３）は、遅延素子Ｔ（１０２）によって一単位時間（サンプリング時間）が経過した信号を表す。なお、入力される信号は標本化されていることが前提となっている。
Ｔ（１０２）は、信号の遅延素子を示し、Ｄ（１０６，１０７）は入力された信号の信号レベルを半分にして出力する減衰器として機能する。ａｄｄ（１０４，１０５）は、入力信号を加算して出力する加算器として機能する。なお、ａｄｄ１０５は、信号ｓ１の信号レベルを反転させた信号（−ｓ１）と、ｓ０とを加算する。ａｂｓ（１０８，１０９）は、入力された信号の絶対値を出力する。ｂ０（１０９）、ｂ１（１１０）には、ｃｍｐ（１１２，１１３）で比較に使用する基準値が記録されている。ｃｍｐ（１１２）は、入力された２つの信号を、すなわちｂ０（１０９）の基準値と、ａｂｓ（１０８）の絶対値とを比較する。同様にｃｍｐ（１１３）は、入力された２つの信号を、すなわちｂ１（１１０）の基準値と、ａｂｓ（１１１）の絶対値とを比較する。ｃｍｐ（１１２）はｂ０（１０９）で表される基準値よりもａｂｓ（１０８）の絶対値のほうが大きい場合に１を出力する。また、そうでない場合には、ｃｍｐ（１１２）は０を出力する。同様にｃｍｐ（１１３）はｂ１（１１０）で表される基準値よりもａｂｓ（１１１）の絶対値のほうが大きい場合に１を出力する。そうでない場合には、ｃｍｐ（１１３）は０を出力する。ａｎｄ要素（１１４）は、論理積を表現する。
上記では、ｃｍｐ（１１２）およびｃｍｐ（１１３）の出力を０または１のいずれかとしたが、基準値よりもａｂｓ（１０８）もしくはａｂｓ（１１１）から入力される絶対値の値が大きい方が大きい場合には、真(TRUE)を、そうでない場合には、偽(FALSE)を出力し、後段のａｎｄ要素（１１４）でｃｍｐ（１１２）およびｃｍｐ（１１３）の出力の論理積を演算することもできる。
図６に示すシグナルフローでは、以下に示す式（１）の信号処理が行われる。
（（ａｂｓ（（ｓ０＋ｓ１）／２）−ｂ０）＞０）ａｎｄ（（ａｂｓ（（ｓ０−ｓ１）／２）−ｂ１）＞０）・・・・（１）
【００３２】
ＣＰＵ１０は、音声データペイロードの音声データを順次取り出し、各標本ごとに順次図６に示す処理を行う。
ａｎｄ要素（１１４）の出力が１となっている場合に、ＣＰＵ１０はタイマ９から時刻を取得し、取得した時刻を発話開始時刻として音声データ記憶部６に記憶する。逆に、ａｎｄ要素（１１４）の出力が0となっている場合には、発話開始ではないとみなす。
ｃｍｐ（１１２）およびｃｍｐ（１１３）の出力と同様に、図６に示した発話開始時刻検出のシグナルフローの最終段の出力、すなわちａｎｄ要素（１１４）の出力が１の代わりに真(TRUE)の場合に、発話開始として、その時刻を取得することにより、ＣＰＵ１０において発話開始時刻T_speechStartTimeを検出することもできる。なお、逆にａｎｄ要素（１１４）の出力が０の代わりに偽(FALSE)の場合には、発話開始ではないとみなすこともできる。
【００３３】
なお、上述した検出方法はソフトウェアプログラムとして実現しているが、これ以外に、ＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェアとして実装することも可能である。
【実施例２】
【００３４】
添付図面を参照しながら第２実施例について説明する。
上述した実施例１では、音声データの音声開始時刻と発話開始時刻との差分時間ΔＴ分の音声データを音声データの先頭から削除することで、静止画像の表示に合わせて発話音声を出力するものであった。
【００３５】
本実施例では、音声データを削除するのではなく、スキップ、すなわち時間的な飛び越し、あるいは不連続再生を行うことによって音声データの発話開始タイミングと、静止画像データの再生開始タイミングとを同期させる。なお、本実施例の情報処理装置の構成は、上述した実施例１の情報処理装置と同一の構成を有しているので、その説明は省略する。
【００３６】
図７に示すフローチャートを参照しながら同期再生部８の処理手順を説明する。
同期再生部８は、静止画像データ記憶部３から静止画像データを取り出すと共に、音声データ記憶部６から取り出した静止画像データに対応する音声データを取り出す（ステップＳ１１）。次に、同期再生部８は、取り出した音声データの音声開始時刻と、発話開始時刻とを参照する（ステップＳ１２）。そして、静止画像データの再生タイミングに合わせて、発話開始時刻の音声データから再生を開始する（ステップＳ１３）。すなわち、同期再生部８は、無音区間の音声データを読み飛ばす。これによって静止画像の表示に合わせて発話音声を出力することができる。
なお、本実施例では、発話開始時刻属性に記憶された発話開始時刻は、音声データのスキップのための索引データとして使用される。
【００３７】
本実施理では、音声データの削除のための処理時間を不要とし、高速な処理が可能となる。
【００３８】
上述した実施例は本発明の好適な実施の例である。但し、これに限定されるものでななく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
例えば、実施例１において説明した音声データ記憶部６に記憶されるデータ構成は、音声データ開始時刻と、発話開始時刻とを音声データごとに取り扱う、いわばオブジェクト指向的なデータ構成であった。すなわち、音声開始属性の値である音声開始時刻と、発話開始時刻属性の値である発話開始時刻とを音声データとして処理するものであった。
これ以外に、音声開始時刻と発話開始時刻とを音声データとは分離して取り扱うようにしてもよい。例えば、図８に示すように変数、音声開始時刻属性、発話開始時刻属性の項目からかるデータ形式で各音声データに対応する属性を管理することもできる。
【図面の簡単な説明】
【００３９】
【図１】情報処理装置の構成を示すブロック図である。
【図２】静止画像データと音声データとの対応関係を示す図である。
【図３】音声データ記憶部に記憶されるデータの構成を示す図である。
【図４】音声開始時刻と発話開始時刻との関係を示す図である。
【図５】ＣＰＵの処理手順を示すフローチャートである。
【図６】発話開始時刻検出のためのシグナルフローを示す図である。
【図７】同期再生部の処理を示すフローチャートである。
【図８】音声データ記憶部に記憶されるデータ構成の他の例を示す図である。
【符号の説明】
【００４０】
１  情報処理装置
２  静止画像データ入力部（画像入力手段）
３  静止画像データ記憶部
４  静止画像データ表示部
５  音声データ入力部（音声入力手段）
６  音声データ記憶部
７  音声データ出力部
８  同期再生部
９  タイマ
１０  ＣＰＵ（分割手段、無音区間検出手段、削除手段、生成手段）
１１  作業用メモリ
【図１】
2009026236.tif 000003
【図２】
2009026236.tif 000004
【図３】
2009026236.tif 000005
【図４】
2009026236.tif 000006
【図５】
2009026236.tif 000007
【図６】
2009026236.tif 000008
【図７】
2009026236.tif 000009
【図８】
2009026236.tif 000010