(57)【特許請求の範囲】
【請求項１】
記憶すべき音声情報および／または画像情報を入力するための情報入力手段と、
前記情報入力手段から入力された前記音声情報および／または前記画像情報を圧縮して記憶する時系列情報記憶手段と、
前記時系列情報記憶手段に記憶された前記音声情報が、予め設定された所定の条件に合致する条件一致区間を検出する条件一致区間検出手段と、
前記音声情報および／または前記画像情報が前記時系列情報記憶手段に記憶された時刻を示す時刻情報を記憶すると共に、前記記憶された前記時刻情報により示される時刻からの経過時間が、予め設定された時間以上になったときに圧縮処理開始指示を出力する経過時間測定手段と、
前記経過時間測定手段からの前記圧縮処理開始指示により起動され、前記条件一致区間検出手段で検出された前記条件一致区間と他の区間とで、圧縮率あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶されている、前記圧縮された音声情報および／または画像情報のデータ量を、再圧縮する圧縮手段と、
を備えることを特徴とする情報蓄積装置。
【請求項２】
記憶すべき音声情報および／または画像情報を入力するための情報入力手段と、
前記情報入力手段から入力された前記音声情報および／または前記画像情報を圧縮して記憶する時系列情報記憶手段と、
前記情報入力手段から入力された前記音声情報が、予め設定された所定の条件に合致する条件一致区間を検出する条件一致区間検出手段と、
前記条件一致区間検出手段で検出された前記条件一致区間を示す区間情報と、当該区間情報に対応する前記音声情報および／または前記画像情報の前記時系列情報記憶手段における記憶位置との対応関係を記憶する対応関係記憶手段と、
前記音声情報および／または前記画像情報が前記時系列情報記憶手段に記憶された時刻を示す時刻情報を記憶すると共に、前記記憶された前記時刻情報により示される時刻からの経過時間が、予め設定された時間以上になったときに圧縮処理開始指示を出力する経過時間測定手段と、
前記経過時間測定手段からの前記圧縮処理開始指示により起動され、前記対応関係記憶手段に記憶された前記区間情報と前記時系列情報記憶手段における記憶位置との対応関係に基づいて、前記条件一致区間と他の区間とで、圧縮率あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶されている、前記圧縮された音声情報および／または画像情報のデータ量を、再圧縮手段と、
を備えることを特徴とする情報蓄積装置。
【請求項３】
記憶すべき音声情報および／または画像情報を入力するための情報入力手段と、
外部センサからの情報を検出するためのセンサ情報検出手段と、
前記情報入力手段から入力された前記音声情報および／または前記画像情報を圧縮して記憶すると共に、前記センサ情報検出手段からのセンサ情報を記憶する時系列情報記憶手段と、
前記時系列情報記憶手段に記憶された前記センサ情報が、予め設定された所定の条件に合致する条件一致区間を検出する条件一致区間検出手段と、
前記音声情報および／または前記画像情報が前記時系列情報記憶手段に記憶された時刻を示す時刻情報を記憶すると共に、前記記憶された前記時刻情報により示される時刻からの経過時間が、予め設定された時間以上になったときに圧縮処理開始指示を出力する経過時間測定手段と、
前記経過時間測定手段からの前記圧縮処理開始指示により起動され、前記条件一致区間検出手段で検出された前記条件一致区間と他の区間とで、圧縮率あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶されている、前記圧縮された音声情報および／または画像情報のデータ量を、再圧縮する圧縮手段と、
を備えることを特徴とする情報蓄積装置。
【請求項４】
記憶すべき音声情報および／または画像情報を入力するための情報入力手段と、
前記情報入力手段から入力された前記音声情報および／または前記画像情報を圧縮して記憶する時系列情報記憶手段と、
外部センサからの情報を検出するためのセンサ情報検出手段と、
前記センサ情報検出手段からのセンサ情報が、予め設定された所定の条件に合致する条件一致区間を検出する条件一致区間検出手段と、
前記条件一致区間検出手段で検出された前記条件一致区間を示す区間情報と、当該区間情報に対応する前記音声情報および／または前記画像情報の前記時系列情報記憶手段における記憶位置との対応関係を記憶する対応関係記憶手段と、
前記音声情報および／または前記画像情報が前記時系列情報記憶手段に記憶された時刻を示す時刻情報を記憶すると共に、前記記憶された前記時刻情報により示される時刻からの経過時間が、予め設定された時間以上になったときに圧縮処理開始指示を出力する経過時間測定手段と、
前記経過時間測定手段からの前記圧縮処理開始指示により起動され、前記対応関係記憶手段に記憶された前記区間情報と前記時系列情報記憶手段における記憶位置との対応関係に基づいて、前記条件一致区間と他の区間とで、圧縮率あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶されている、前記圧縮された音声情報および／または画像情報のデータ量を、再圧縮する圧縮手段と、
を備えることを特徴とする情報蓄積装置。
【請求項５】
請求項１、請求項２、請求項３、または、請求項４において、
前記時系列情報記憶手段に記憶された前記条件一致区間の画像情報は、前記圧縮手段により、他の区間の画像情報よりも高品質を保つデータ圧縮を施すようにした
ことを特徴とする情報蓄積装置。
【請求項６】
請求項１、請求項２、または、請求項５において、
前記条件一致区間検出手段は、前記音声情報の音声信号レベルと予め定められた閾値とを比較し、その比較結果に基づいて前記条件一致区間の開始点または終了点を検出することを特徴とする情報蓄積装置。
【請求項７】
請求項１、請求項２、または、請求項５において、
前記条件一致区間検出手段は、前記音声情報において、音声の特定の発信者または発信者の交替を検出し、その検出結果に基づいて、前記条件一致区間の開始点または終了点を検出することを特徴とする情報蓄積装置。
【請求項８】
請求項１、請求項２、または、請求項５において、
前記条件一致区間検出手段は、前記音声情報に予め定められた特定のキーワードまたは特定のパターンを検出して、その検出結果に基づいて前記条件一致区間の開始点または終了点を検出することを特徴とする情報蓄積装置。
【請求項９】
請求項１、請求項２、または、請求項５において、
前記センサ情報検出手段は、前記音声情報および／または前記画像情報が入力された場所、または、前記センサ情報が検出された場所に関する情報を検出し、
前記条件一致区間検出手段は、このセンサ情報に基づいて、前記条件一致区間の開始点または終了点を検出することを特徴とする画像形成装置。
【請求項１０】
請求項３、請求項４、または、請求項５において、
前記センサ情報検出手段は、前記外部センサによって特定の人を検出し、
前記条件一致区間検出手段は、このセンサ情報に基づいて、前記条件一致区間の開始点または終了点を検出することを特徴とする情報蓄積装置。
【請求項１１】
請求項３、請求項４、または、請求項５において、
前記センサ情報検出手段は、カメラ操作信号またはカメラ操作信号の変化を検出し、
前記条件一致区間検出手段は、このセンサ情報に基づいて、前記条件一致区間の開始点または終了点を検出することを特徴とする情報蓄積装置。
【請求項１２】
請求項１、請求項２、請求項３、請求項４、または、請求項５において、
前記圧縮手段は、前記時系列情報記憶手段における空き領域がある値以下になったと認識されたときに、または、前記時系列情報記憶手段における記憶量がある値以上になったと認識されたときに、前記圧縮手段での再圧縮処理を実行することを特徴とする情報蓄積装置。
【請求項１３】
請求項２、請求項４、または、請求項５において、
前記圧縮手段は、前記音声情報および／または前記画像情報のデータ量が予め定められた記憶容量に収まるように、前記対応関係記憶手段に記憶された前記条件一致区間または他の区間の前記音声情報および／または前記画像情報の圧縮率あるいは圧縮方式を設定することを特徴とする情報蓄積装置。
【請求項１４】
請求項１、請求項２、請求項４、または、請求項５において、
前記時系列情報記憶手段は、前記情報入力手段から入力された前記音声情報および／または前記画像情報を、周波数帯域別に記憶し、
前記圧縮手段は、圧縮時に、前記時系列情報記憶手段に記憶された前記音声情報および／または前記画像情報の、少なくとも前記条件一致区間以外の区間の高周波数帯域を、前記時系列情報記憶手段の記憶媒体から消去することを特徴とする情報蓄積装置。
【請求項１５】
請求項２、請求項４、または、請求項５において、
前記時系列情報記憶手段は、前記情報入力手段から入力された前記音声情報および／または前記画像情報を周波数帯域別に記憶する際に、前記条件一致区間検出手段が検出した条件一致区間と、条件一致区間以外の区間とで、周波数帯域の分け方を変えて記憶し、
前記圧縮手段は、圧縮時に、前記時系列情報記憶手段に記憶された前記音声情報および／または前記画像情報の、少なくとも前記条件一致区間以外の区間の高周波数帯域を消去することを特徴とする情報蓄積装置。
【請求項１６】
請求項１、請求項２、請求項３、請求項４、または、請求項５において、
前記時系列情報記憶手段は、前記情報入力手段から入力された前記画像情報を、輝度信号と色信号に分けて記憶し、
前記圧縮手段は、圧縮時に、前記時系列情報記憶手段に記憶された前記画像情報の、少なくとも前記条件一致区間以外の区間の前記色情報を削除することを特徴とする情報蓄積装置。
【請求項１７】
請求項１、請求項２、請求項３、請求項４、または、請求項５において、
所定時間内に所定回数以上ユーザから参照された区間と、前記所定時間内に前記所定回数以上ユーザから参照されなかった区間とを区別する情報を記憶する参照状態記憶手段をさらに具備し、
前記圧縮手段は、前記参照状態記憶手段に記憶された情報に基づいて、前記所定時間内に所定回数以上ユーザから参照された区間と、前記所定時間内に前記所定回数以上ユーザから参照されなかった区間とで、圧縮率あるいは圧縮方式を変えて、前記時系列情報記憶手段に記憶されている、前記圧縮された音声情報および／または画像情報のデータ量を、再圧縮することを特徴とする情報蓄積装置。
【請求項１８】
請求項１、請求項２、請求項３、請求項４、または、請求項５において、
前記圧縮手段は、前記条件一致区間検出手段が検出した検出結果を組み合わせて前記音声情報および／または前記画像情報の重要度を決定し、この重要度に基づき、前記条件一致区間検出手段での検出結果から定められる区間と他の区間とで圧縮量あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶されている、前記圧縮された音声情報および／または画像情報のデータ量を、再圧縮することを特徴とする情報蓄積装置。
【請求項１９】
情報入力手段を通じて入力された音声情報および／または画像情報を圧縮して時系列情報記憶手段に記憶する時系列情報記憶工程と、
前記時系列情報記憶工程で記憶された前記音声情報が、予め設定された所定の条件に合致する区間を検出する条件一致区間検出工程と、
前記音声情報および／または前記画像情報が前記時系列情報記憶手段に記憶された時刻を示す時刻情報を記憶する時刻情報記憶工程と、
前記時刻情報記憶工程で記憶された前記時刻情報により示される時刻からの経過時間が、予め設定された時間以上になったかどうかを測定する経過時間測定工程と、
前記経過時間測定工程で、前記経過時間が前記予め設定された時間以上になったと検出した時に起動し、前記条件一致区間検出工程で検出された前記条件一致区間と他の区間とで、圧縮率あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶されている、前記圧縮された音声情報および／または画像情報のデータ量を、再圧縮する圧縮工程と、
を備えることを特徴とする情報蓄積方法。
【請求項２０】
情報入力手段を通じて入力された音声情報および／または画像情報を圧縮して時系列情報記憶手段に記憶する時系列情報記憶工程と、
前記入力された前記音声情報が、予め設定された所定の条件に合致する区間を検出する条件一致区間検出工程と、
前記条件一致区間検出工程で検出された条件一致区間を示す区間情報と、当該区間情報に対応する前記音声情報および／または前記画像情報の前記時系列情報記憶手段における記憶位置との対応関係を記憶する対応関係記憶工程と、
前記音声情報および／または前記画像情報が前記時系列情報記憶手段に記憶された時刻を示す時刻情報を記憶する時刻情報記憶工程と、
前記時刻情報記憶工程で記憶された前記時刻情報により示される時刻からの経過時間が、予め設定された時間以上になったかどうかを測定する経過時間測定工程と、
前記経過時間測定工程で、前記経過時間が前記予め設定された時間以上になったと検出した時に起動し、前記対応関係記憶工程で記憶された前記区間情報と前記時系列情報記憶手段における記憶位置との対応関係に基づいて、前記条件一致区間と他の区間とで、圧縮率あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶されている、前記圧縮された音声情報および／または画像情報のデータ量を、再圧縮する圧縮工程と、
を備えることを特徴とする情報蓄積方法。
【請求項２１】
外部センサからの情報を検出するためのセンサ情報検出工程と、
情報入力手段を通じて入力された音声情報および／または画像情報を圧縮した情報と、前記センサ情報検出工程で検出されたセンサ情報とを時系列情報記憶手段に記憶する時系列情報記憶工程と、
前記時系列情報記憶手段に記憶された前記センサ情報が、予め設定された所定の条件に合致する区間を検出する条件一致区間検出工程と、
前記音声情報および／または前記画像情報が前記時系列情報記憶手段に記憶された時刻を示す時刻情報を記憶する時刻情報記憶工程と、
前記時刻情報記憶工程で記憶された前記時刻情報により示される時刻からの経過時間が、予め設定された時間以上になったかどうかを測定する経過時間測定工程と、
前記経過時間測定工程で、前記経過時間が前記予め設定された時間以上になったと検出した時に起動し、前記条件一致区間検出工程で検出された前記条件一致区間と他の区間とで、圧縮率あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶されている、前記圧縮された音声情報および／または画像情報のデータ量を、再圧縮する圧縮工程と、
を備えることを特徴とする情報蓄積方法。
【請求項２２】
情報入力手段を通じて入力された音声情報および／または画像情報を圧縮して時系列情報記憶手段に記憶する時系列情報記憶工程と、
外部センサからの情報を検出するためのセンサ情報検出工程と、
前記センサ情報検出工程で検出されたセンサ情報が、予め設定された所定の条件に合致する条件一致区間を検出する条件一致区間検出工程と、
前記条件一致区間検出工程で検出された前記条件一致区間を示す区間情報と、当該区間情報に対応する前記音声情報および／または前記画像情報の前記時系列情報記憶手段における記憶位置との対応関係を記憶する対応関係記憶工程と、
前記音声情報および／または前記画像情報が前記時系列情報記憶手段に記憶された時刻を示す時刻情報を記憶する時刻情報記憶工程と、
前記時刻情報記憶工程で記憶された前記時刻情報により示される時刻からの経過時間が、予め設定された時間以上になったかどうかを測定する経過時間測定工程と、
前記経過時間測定工程で、前記経過時間が前記予め設定された時間以上になったと検出した時に起動し、前記対応関係記憶工程で記憶された前記区間情報と前記時系列情報記憶手段における記憶位置との対応関係に基づいて、前記条件一致区間と他の区間とで、圧縮率あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶されている、前記圧縮された音声情報および／または画像情報のデータ量を、再圧縮する圧縮工程と、
を備えることを特徴とする情報蓄積方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えば会議録記録システムや取材記録システムのように、会議や取材での会話音声や会議や取材風景の画像などの情報を記憶蓄積する情報蓄積装置および情報蓄積方法に関する。
【０００２】
【従来の技術】
会議や講演、取材、インタビュー、電話やテレビ電話を使用した会話、テレビ映像等の要点を記録する場合、通常、記録者が筆記で記録することが一般に行われていた。例えば、会議を記録する場合、会議出席者の一人が書記となって会議参加者全員の発言を逐一記録したり、重要な項目のみを選んで記録している。しかし、書き留めたメモから会議内容や話しの経緯を思い出せなかったり、誰の発言だったかを記録していなかったりするために、後で会議議事録を作成するのが困難になる状況がしばしば発生する。
【０００３】
そこで、従来から、会議や講演、取材、インタビュー、電話やテレビ電話を使用した会話、テレビ映像、監視カメラ映像等の記録を、デジタルディスク、デジタルスチルカメラ、ビデオテープ、半導体メモリなどに記憶蓄積し、再生する装置が提案されている。これらの情報蓄積装置を用いて情報の蓄積を行なえば、記録すべき情報の要点のみを記録者が筆記等して記録する方法に比べ、入力情報である音声や画像を漏らさず記録できるという利点がある。
【０００４】
これらの装置には、コンピュータネットワークを介して伝送されたデジタル信号を蓄積媒体に記録するものや、ビデオカメラやマイクロホンからのアナログ入力信号をそのまま蓄積媒体に記録するものや、符号化してデジタル信号に変換し、記録するものなどがある。
【０００５】
しかしながら、限られた記録容量の蓄積媒体中に、長時間の音声信号および／または画像信号を記録することは困難であるという問題があった。一般に、順次入力される音声信号または画像信号などの時系列データを長時間に渡って記録する場合に必要な記憶容量は膨大なものになるからである。
【０００６】
この問題点に対して、例えば、Video for Windows （”Microsoft Video for Windows 1.0 ユーザーズガイド”ｐｐ．５７−５９，ｐｐ．１０２−１０８）のように、音声信号や画像信号を常に圧縮しながら記憶媒体に記憶する方法が提案されている。しかし、その場合、入力されたすべての音声信号または画像信号は同じ圧縮率で記憶されるのが一般的である。このため、記録後に参照される可能性の少ない比較的重要でない情報を大量に記録してしまったり、重要な情報にもかかわらず記憶容量の関係で、品質の良い状態で記録できないという問題があった。
【０００７】
例えばインタビューの風景を、前記Video for Windows を用いて長時間記録しているような場合において、記憶容量を節約する目的で画像信号を５秒間に１フレームだけ記憶するように間引き圧縮率を設定していたとする。このとき、記録者が、記録時に重要だと感じた部分を後から再生したいと思ったとしても、５秒間に１フレームの画像信号しか再生できないため、話者が話しながら行なった動き（ジェスチャなど）や、話しぶりや、微妙なニュアンスを再現できないという問題がある。
【０００８】
しかし、逆に、入力される画像信号を、１秒間３０フレームですべて記憶しようとした場合、長時間のインタビューを記憶するのは、記憶容量として膨大なものが必要になり、実現が非常に困難である。
【０００９】
そこで、特開平５−６４１４４号公報と特開平５−１３４９０７号公報には、画像記憶媒体に記憶したデータ量が予め定めた量を超えた場合に、既に記憶されている画像情報の古いフレームから順に圧縮したり、フレームを間引いたりして、記憶容量を節約しようとする情報蓄積装置が記載されている。これらは、後に記憶された情報ほど重要な情報であると見なすことによって、先に記憶された情報を新しい入力情報によって上書きしたり、先に記憶された情報ほど圧縮率を高くしたりして、記憶容量を節約する装置である。
【００１０】
また、特開平２−３０５０５３号公報と特開平７−１５５１９号公報には、記憶媒体の空き容量が、ある量以下になったと認識された場合に、既に記憶されている音声情報を再圧縮することによって、記憶媒体の空き領域を確保する音声情報蓄積装置が述べられている。
【００１１】
また、特開平６−１４９９０２号公報記載の動画像記録装置は、自動シーンチェンジ検出を行ない、長いシーンほど重要なシーンであると見なすことによって、ダイジェストを生成する際には、ユーザが指定した時間長になるように、高い重要度を持ったシーンから順に抽出する装置である。
【００１２】
この公報記載の装置で生成されたダイジェストに含まれたシーンのみを残し、ダイジェストに含まれなかったシーンを削除するように構成すれば、重要情報を失うことなく記憶容量を節約することができる。
【００１３】
一方、特開平３−９０９６８号公報と特開平６−１４９９０２号公報には、ユーザが指定した時間長になるように映像のダイジェストを自動生成する装置が提案されている。特開平３−９０９６８号公報記載の装置は、シーン毎の重要度をユーザが予めエディタから入力しておき、ダイジェストを生成する際には、ユーザが指定した時間長になるように、高い重要度を持ったシーンから順に抽出する装置である。この装置の場合も、生成されたダイジェストに含まれたシーンのみを残すように構成すれば、重要情報を失うことなく記憶容量を節約できる。
【００１４】
【発明が解決しようとする課題】
しかしながら、特開平２−３０５０５３号公報と特開平７−１５５１９号公報に記載の装置は、記憶されていた音声情報を、全体に渡って同じ圧縮率で再圧縮する装置であり、記録している内容の重要箇所のみを部分的に圧縮率を低くして高音質で記録するというようなことはできないという問題がある。
【００１５】
また、会議、講演、取材、インタビュー等を記憶蓄積する情報蓄積装置において、特開平５−６４１４４号公報または特開平５−１３４９０７号公報に記載されているように、ただ単に、新しい記録を重要情報として残し、古い記録を不要情報として消去するように構成したとすると、重要な会議や重要な取材等の記録が、先に記録されたという理由だけで、新しい入力情報によって上書きされてしまうという問題がある。一般に、会議や取材が行なわれた日時だけに基づいて、その会議内容や取材内容の重要度を判定することはできないからである。
【００１６】
また、シーンの長さによってシーンの重要度を判定する特開平６−１４９９０２号公報記載の装置については、会議や講演を無人カメラで撮影しているような時には、カットチェンジやシーンチェンジによってシーンを切り分けることが非常に困難であり、シーンの長さを検出できないという問題があった。くわえて、会議や講演を撮影しているような場合には、短いシーンの中にでも重要な発言が含まれることがあるため、シーンの長さだけに基づいて、その会議内容や取材内容の重要度を判定することはできないという問題がある。
【００１７】
さらに、ユーザが予めシーン毎の重要度をエディタから入力するという特開平３−９０９６８号公報記載の装置についても、会議や講演を無人カメラで撮影しているような時には、カットチェンジやシーンチェンジによってシーンを切り分けることが非常に困難であるという問題がある。くわえて、撮影が終了した後に、エディタから重要度を入力するという作業は非常に煩わしく、会議や講演を記録するという用途には適さないという問題がある。
【００１８】
ところで、公知の技術として、記録時に情報の取捨選択を行ない、重要と認識された情報のみを記録したり、圧縮率を変化させて記録する装置が知られている。たとえば、特開平７−１２９１８７号公報には、音声取り込みキーを押したときの前後の音声を一定時間分だけ記録する装置が記載されている。また、市販されているテープレコーダの中には、無音区間は音声を記憶しないという無音区間検出機能を持ったものがある。
【００１９】
しかしながら、これらの装置は、一旦記録した後の情報を再圧縮するための手段を持たないため、情報の保存期間の長さによって段階的に圧縮率を変化させたり、記憶媒体の空き記憶容量の変化に応じて動的に圧縮率を変えたりといったことができず、記憶されている画像または音声情報を再圧縮する方法に比べて、圧縮効率が極めて悪いという問題があった。
【００２０】
また、特開平７−１２９１８７号公報記載の装置のように記録時に、リアルタイムに情報の取捨選択を行なう方法では、例えば、会議の中で最も数多く発言した人を特定し、この特定した人の発言部分の音声情報または画像情報のみを高品質で保存するといったようなことや、ユーザが指定した時間長になるように高い重要度を持ったシーンから順に抽出してダイジェストを作成するといったようなことはできない。すなわち、この公報記載の装置では、音声情報または画像情報の記録終了後に初めて得られる情報、または、記録しながらでは得られない情報を元にして、音声情報または画像情報の圧縮を行なうことができないという問題がある。
【００２１】
さらに、特開平７−１２９１８７号公報に述べられているように、トリガを検出した時の少し前の時系列情報を記録するためには、入力された時系列情報を一時記録するための記録用バッファメモリが必要となるため、装置が複雑かつ高価になるという問題があった。
【００２２】
この発明は、上記の問題点に鑑みて、入力される音声または画像信号のうち、特徴的な事象が起こっている重要期間の音声信号または画像信号のみを、記憶容量が限られた蓄積媒体の中に数多く記憶し、重要部分以外の音声信号または画像信号であっても少ないデータ量で長時間記憶できるようにし、さらに重要部分の最初から最後までを確実に再生できるようにすることを目的としている。
【００２３】
【課題を解決するための手段】
上記課題を解決するため、この発明による情報蓄積装置においては、
記憶すべき音声情報および／または画像情報を入力するための情報入力手段と、
前記情報入力手段から入力された前記音声情報および／または前記画像情報を圧縮して記憶する時系列情報記憶手段と、
前記時系列情報記憶手段に記憶された前記音声情報が、予め設定された所定の条件に合致する条件一致区間を検出する条件一致区間検出手段と、
前記音声情報および／または前記画像情報が前記時系列情報記憶手段に記憶された時刻を示す時刻情報を記憶すると共に、前記記憶された前記時刻情報により示される時刻からの経過時間が、予め設定された時間以上になったときに圧縮処理開始指示を出力する経過時間測定手段と、
前記経過時間測定手段からの前記圧縮処理開始指示により起動され、前記条件一致区間検出手段で検出された前記条件一致区間と他の区間とで、圧縮率あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶されている、前記圧縮された音声情報および／または画像情報のデータ量を、再圧縮する圧縮手段と、
を備えることを特徴とする。
【００２４】
条件一致区間検出手段での条件一致検出動作は、時系列情報記憶手段に音声情報を記憶する際に行うこともできるし、時系列情報記憶手段の記憶情報を圧縮する際に、この時系列情報記憶手段から音声情報を読み出して行うこともできる。
【００２５】
前者の場合には、請求項２の発明のように、条件一致区間検出手段で検出された条件一致区間を示す区間情報と、当該区間情報に対応する前記音声情報または前記画像情報の前記時系列情報記憶手段における記憶位置との対応関係を記憶する対応関係記憶手段を設ける。
【００２６】
圧縮処理は、時系列情報記憶手段に音声情報または画像情報を記憶した後の任意の時点で開始することができるが、予め定めた時点で自動的に実施するようにすることもできる。その場合には、請求項１２の発明のように、音声情報または画像情報が時系列情報記憶手段に記憶された時刻を示す時刻情報を記憶する時刻情報記憶手段を設け、圧縮手段は、時刻情報記憶手段に記憶された時刻情報によって定められる時刻からの経過時間が、予め定められた時間以上になったときに、圧縮処理を実行する。
【００２７】
また、時系列情報記憶手段の蓄積媒体の使用容量が所定量を越えたとき、あるいは前記蓄積媒体の空き容量が所定量以下になったときに、圧縮を実行するようにすることもできる。
【００２８】
【作用】
上述の構成のこの発明においては、一旦、時系列情報記憶手段に記憶された音声情報または画像情報は、後の時点において、圧縮されて、蓄積媒体の使用容量の削減が計られるが、予め設定された所定の条件に合致する条件一致区間の音声情報または画像情報は、高品質を保って、圧縮される。このため、重要な情報は高品質を保って保存しながら、時系列情報記憶手段の使用容量を削減することができる。
【００２９】
【実施例】
以下、図を参照して、この発明の実施の形態について説明する。
［第１の実施の形態］
第１の実施の形態は、この発明による情報蓄積装置を会議記録に適用した場合である。
【００３０】
概して、数日前に行なわれた会議を後から参照する可能性に比べて、１ヶ月前に行なわれた会議を参照する可能性は極めて低い。参照する可能性の小さくなった映像情報などの会議情報を高品質で蓄積したままにしておくことは、メモリ容量を節約するという面で非常に非効率的であり、適当なタイミングで、情報を削除または間引き圧縮等を施し、情報量を削減することが望ましい。
【００３１】
しかし、昔の会議記録であっても、重要な場面については、話者が話しながら行なった動き（ジェスチャなど）や、話しぶりや、微妙なニュアンスを再現したいという要求がある。したがって、このような特徴的な事象が起こっている重要期間の音声信号または画像信号は、高品質のままで保存しておくようにすることが要求される。
【００３２】
第１の実施の形態では、会議について音声情報および映像情報を記録し、その記録時点から１ヶ月が経過したときに、記録した会議映像の中で、活発に議論が交わされていた会議の重要部分の映像だけを高品質のまま残し、その他の部分は高圧縮率で圧縮するという、圧縮処理を施す例について説明する。
【００３３】
この第１の実施の形態によれば、後述するように、活発に議論が交わされていた部分の映像を再生した場合には、スムースな動きの高品質の動画が再生され、その他の部分を再生した場合には、いわゆる駒落しであって、動きがぎこちない動画となる。しかし、活発に議論が交わされていた場面以外のあまり重要でない部分を高圧縮率で圧縮できるので、蓄積保存すべき情報量は非常に少なくなる。
【００３４】
図２は、この実施の形態の場合の会議風景を示すもので、複数の会議参加者１６のそれぞれに対してマイクロホン１５が設けられて、各会議参加者１６毎の発声音声がそれぞれのマイクロホン１５で収音される。そして、複数の会議参加者１６間での討議風景や、会議資料として提供された紙文書がビデオカメラ１７で撮影されるものである。
【００３５】
１０は、情報蓄積装置である。この実施の形態の場合には、この情報蓄積装置１０は、音声信号解析器１１と、会議情報蓄積処理装置１２と、蓄積媒体１３と、再生部１４とを備えている。
【００３６】
会議情報蓄積処理装置１２は、会議風景を撮影するカメラ１７からの画像信号と、マイクロホン１５からの音声信号とを、例えばディスクや半導体メモリからなる蓄積媒体１３に蓄積し、また、この蓄積媒体１３に蓄積された音声信号または画像信号を圧縮することができるものである。この実施の形態では、説明をわかりやすくするために、会議情報蓄積処理装置１２は、蓄積媒体１３に蓄積された画像情報のみを圧縮し、蓄積媒体１３に蓄積された音声情報は圧縮しないこととする。なお、この会議情報蓄積処理装置１２は、パーソナルコンピュータであってもよい。
【００３７】
会議情報蓄積処理装置１２は、音声入力端子および画像入力端子を備える。この実施の形態においては、マイクロホン１５により収音された複数の会議出席者１６の発言の音声信号は、一旦、音声信号解析器１１に入力され、この音声信号解析器１１の出力が会議情報蓄積処理装置１２の音声入力端子に入力される。
【００３８】
音声信号解析器１１は、複数のマイクロホン１５から入力された音声信号を解析し、入力音声信号がどのマイクロホンから入力されたのかを識別して、その識別結果を音声信号と共に会議情報蓄積処理装置１２に対し出力する。
【００３９】
また、カメラ１７で撮影された紙文書や会議風景の画像信号は、会議情報蓄積処理装置１２の画像入力端子に入力される。
【００４０】
会議情報蓄積処理装置１２は、図示しないユーザインターフェースを備えており、このユーザインターフェースを介したユーザからの再生要求に応じて、蓄積媒体１３に蓄積された画像信号による画像を、再生部１４の表示画面に表示させるとともに、蓄積媒体１３に蓄積された音声信号による再生音声を再生部１４に取り付けられたスピーカから放音させるようにする機能も備えている。
【００４１】
なお、会議情報蓄積処理装置１２をパーソナルコンピュータで構成した場合、このパーソナルコンピュータを介して、例えばＩＳＤＮによるネットワークに接続することにより、会議の音声情報や画像情報を遠隔地間で同時に共有し、あたかも同じ部屋で会議を行なっているような環境を実現することも可能である。
【００４２】
図１は、この実施の形態の情報蓄積装置１０を、その機能を中心にして示したブロック図である。すなわち、この実施の形態の情報蓄積装置は、システムバスに対して、音声情報入力部１、画像情報入力部２、条件一致区間検出部３、時系列情報記憶部４、対応関係記憶部５、圧縮部６、時刻情報記憶部７、再生部８、制御部９がそれぞれ接続されて構成される。また、この例では、音声情報入力部１は、条件一致区間検出部３にも接続される。制御部９は、全体の処理動作を制御するものである。
【００４３】
各部はそれぞれ別のブロックとして構成されていてもよいし、１つのブロックが幾つかの部を含むように構成されていてもよい。また、１つの部が、幾つかのブロックに分割されて実装されていても構わない。
【００４４】
音声情報入力部１は、マイクロホン１５からの音声信号を受けてデジタル音声信号に変換し、システムバスに送出すると共に、条件一致区間検出部３に送出する。
【００４５】
画像情報入力部２は、ビデオカメラ１７からの画像信号を受け付ける。ビデオカメラ１７からの画像信号がデジタル信号であれば、それを受け付けてシステムバスに送出する。また、入力画像信号がデジタル信号でなければ、画像情報入力部２は、入力画像信号をデジタル画像信号に変換してシステムバスに出力する。
【００４６】
条件一致区間検出部３には、音声情報入力部１からの音声信号がデジタル信号として供給される。この条件一致区間検出部３は、これに入力される音声信号を監視して、予め定められている条件に合致する音声区間を検出する。この実施の形態では、所定レベル以上の音声信号入力が有り、かつ、この入力音声信号から活発な対話のパターンを検出したことを条件として条件一致区間を検出する。これにより、会議参加者が活発に議論を交わした区間を条件一致区間として検出するようにする。この条件一致区間検出部３は、音声信号解析器１１と会議情報蓄積処理部１２の一部とがその役割を果たす。
【００４７】
所定レベル以上の音声信号の有無を検知する方法としては、図３に示すように、条件一致区間検出部３は、入力される音声レベルが所定のレベル以上になったことを検知して話者の発言の開始点を認識し、音声レベルが所定の閾値レベル以下になったことを検知して話者の発言の終了点を認識する検出機能を持つ。
【００４８】
ただし、図３に示すように、音声レベルが閾値レベルと交差する音声レベル変化点Ｆ１０１そのものを発言の開始点または終了点とすると、発言の最初の部分と最後の部分が条件一致区間に含まれないので、音声レベルが小レベルから大レベルに変化するときの変化点Ｆ１０１よりも一定時間Ｔ１だけ前の時点Ｆ１００を発言開始点とし、また、音声信号レベルが大レベルから小レベルに変化するときの変化点Ｆ１０１よりも一定時間Ｔ２だけ後の時点Ｆ１０２を発言終了点とする。
【００４９】
なお、この実施の形態において、ある時刻における音声レベルとは、その時刻の前後の音声レベルを平滑化した値であり、例えば、ある時刻の前後の２秒間の瞬間音声レベルの平均値である。
【００５０】
この実施の形態では、図２に示されるように、マイクロホン１５を発言者毎に設置し、発言者各自のマイクロホンからの音声入力レベルを音声信号解析器１１で比較することで、音声信号解析器１１が、入力音声信号を発信した話者を特定する。
【００５１】
発言者を特定する方法としては、この他にも、音声信号の特徴（声紋など）から話者を特定してもよいし、画像情報による顔や口の動きから発言者を特定してもよい。その場合には、マイクロホンは、会議出席者のすべてに対応して複数本設ける必要はなく、１本あるいは会議出席者の数よりも少ない複数本でよい。また、複数のマイクロホンを設置し、それらのマイクロホンから入力される音声信号の位相差を解析して音源の位置を検知して、発言者を特定するようにすることもできる。
【００５２】
条件一致区間検出部３は、１人の話者が発言を終了してから、他の話者が発言を開始するまでの時間が短いほど、活発な対話が行なわれていると判断する。また、１人の話者が発言を終了しないうちに、他の話者が発言を開始した場合にも、活発な対話が行なわれていると判断する。
【００５３】
図４は、条件一致区間検出部３が、対話が活発な区間を認識する処理を図示したものである。この図は、１人の話者が発言を終了してから、他の話者が発言を開始するまでの時間が短いほど、活発な対話が行なわれていると判断する場合である。各話者からの所定レベル以上の音声信号を当該話者の発言区間ＳＰと認識し、この発言区間ＳＰが、図４中点線の丸印で囲むように、複数の話者の間で、短時間の間に交替しているパターンを、活発な対話パターンとして検出する。
【００５４】
条件一致区間検出部３は、このように短時間に発言者が交替しているパターンを検出するために、１人の話者が発言を終了してから、予め定めた設定時間以内に話者が交代したかどうかを検出する。例えば、この設定時間は０．５秒とされる。この設定時間は、ユーザが変更することができるようにしてもよい。
【００５５】
また、この実施の形態では、１人の話者が発言を終了しないうちに、他の話者が発言を開始したため発言区間ＳＰが一部重なるパターンも、早い話者交代のパターンとして検出する。
【００５６】
そして、条件一致区間検出部３では、早い話者交代のパターンが所定回数、例えば３回以上継続したか否かにより、対話が活発な区間を認定するようにする。例えば、図４に示す例の場合には、区間ＰＰには、早い話者交代のパターンが４回続くので、この区間ＰＰを対話の活発な区間として検出する。すなわち、この４回続く早い話者交代のパターンを含む発言区間の始まりＦ２００を、対話が活発な区間の開始点とし、早い話者交代のパターンを含む発言区間の終わりＦ２０１を、対話が活発な区間の終了点とする。
【００５７】
時系列情報記憶部４は、音声情報および画像情報を蓄積する記憶部であり、記憶媒体として、例えばディスク記憶媒体や半導体メモリを用いる。
【００５８】
対応関係記憶部５は、条件一致区間検出部３が検出した対話が活発な区間のそれぞれと、それぞれの対話が活発な区間に対応して時系列情報記憶部４に記憶される音声情報および画像情報の、前記時系列情報記憶部４における記憶アドレスとを対応させて記憶するものである。対応関係記憶部５も、例えばディスク記憶媒体や半導体メモリ等で構成される。
【００５９】
圧縮部６は、この実施の形態においては、前記時系列情報記憶部４に蓄積された画像情報のデータ圧縮を行なう。この場合、圧縮部６は、対応関係記憶部５からの条件一致区間を示す情報に基づいて、データ圧縮率またはデータ圧縮方法を動的に可変できるように構成されている。
【００６０】
また、この実施の形態においては、圧縮部６は、動画の画像情報を想定して、この動画の画像情報を所定時間長または所定フレーム数を１つの処理単位として扱う。例えば、連続した１０フレームの画像列を１つの単位部分画像列として圧縮処理を行なうが、前記条件一致区間以外の区間の画像情報は、前記１０フレームの中の先頭の１フレームだけを残して、他のフレームの情報を破棄するという間引き圧縮処理を行ない、一方、前記条件一致区間では、画像情報についての前記の間引き処理を行なわず、前記１０フレーム全部を記憶するようにする。
【００６１】
したがって、条件一致区間以外の区間の画像情報を再生した場合、いわゆる駒落しであって、動きがぎこちない動画となるが、情報量は非常に少なくなる。一方、条件一致区間の画像情報を再生した場合、スムースな動きの高品質の動画が再生されることになる。
【００６２】
時刻情報記憶部７は、入力された音声信号および画像信号が、時系列情報記憶部４に記録開始された時刻を記憶するためのもので、例えばディスク記憶媒体や半導体メモリ等で構成される。
【００６３】
さらに、時刻情報記憶部７は、前記記録開始時刻からの経過時間を測定する機能を持つ。このため、この時刻情報記憶部７には、図示しない時計回路部からの現在時刻情報が供給される。そして、この実施の形態では、この時刻情報記憶部７は、前記記録開始時刻からの経過時間が予め定められた所定時間以上となったときに、圧縮部６で時系列情報記憶部４の画像情報の前述したような圧縮を開始する契機となる圧縮トリガタイミング信号を出力する。
【００６４】
再生部８は、前述の図２のモニター装置１４により、時系列情報記憶部４に記憶されている音声信号や画像信号を再生する機能部である。
【００６５】
制御部９は、この情報蓄積装置１０の全体の処理動作を制御するものである。
【００６６】
［記録時の動作］
次に、以上のような構成の情報蓄積装置１０における記録時の動作について説明する。図５は、この実施の形態における記録時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明する図である。
【００６７】
会議が始まり、マイクロホン１５からの音声信号およびカメラ１７からの画像信号が、情報蓄積装置１０に供給されると、音声信号および画像信号は、時系列情報記憶部４に順次に蓄積記憶される。また、音声信号は、条件一致区間検出部３に入力される。
【００６８】
条件一致区間検出部３は、前述したように、マイクロホン１５からの音声情報の音声レベルと所定の閾値レベルとを比較して、会議出席者の発言開始点と発言終了点とを検出し、その間の区間を話者の発言区間ＳＰとする。そして、この発言区間ＳＰの複数の会議出席者間の、短時間の交替や一部重なりを検出して、対話が活発な区間を条件一致区間として検出する。そして、検出した条件一致区間の開始点および終了点の情報が、対応関係記憶部５に供給される。
【００６９】
図６は、条件一致区間検出部３の動作を説明するフローチャートである。
【００７０】
条件一致区間検出部３に、音声情報入力部１からの音声信号がデジタル信号として供給されると、ステップＳ１００において、前述の発言区間ＳＰの検出と、発話者の特定が行なわれる。発話者の特定方法としては、前述したように、発言者毎に設置されたマイクロホンからの音声入力レベルを音声信号解析器１１で比較することで実施される。
【００７１】
このステップＳ１００の後、ステップＳ１０１において、一部重なりを含む短時間に発言者が交替しているパターンを認識し、早い話者交代のパターンが検出された場合には、ステップＳ１０２に進み、そのパターンが所定回数以上継続したかどうかを判別する。前述したように、早い話者交代のパターンが３回以上連続して検出されたときに、そのパターンを含む発言区間を活発な対話が行なわれている区間であると認識するように予め条件が設定されていた場合には、前述した図４の例であれば、区間ＰＰを、対話が活発な区間として検出し、ステップＳ１０３に進む。
【００７２】
ステップＳ１０３では、対話が活発な区間として検出した区間を、条件一致区間として特定する。すなわち、例えば図４の例では、対話が活発な区間の始まりを、区間ＰＰの始まりＦ２００とし、対話が活発な区間の終りを、区間ＰＰの終わりＦ２０１として、区間ＰＰを対話が活発な区間（条件一致区間）であると特定する。なお、条件一致区間を特定する情報としては、当該区間の始まりあるいは終りの一方の情報と、区間の長さの情報であってもよい。
【００７３】
続いてステップＳ１０４では、ステップＳ１０３において特定された条件一致区間を対応関係記憶部５に出力し、その後ステップＳ１００に戻って、新たな条件一致区間の検出を始める。また、ステップＳ１０２において、早い話者交代のパターンが所定回数以下であると認識された場合にも、ステップＳ１００に戻って、新たな条件一致区間の検出を始める。
【００７４】
対応関係記憶部５は、上述のような条件一致区間検出部３からの条件一致区間を特定する情報、すなわち、この例では、条件一致区間の始まりと終りの情報を受けると、以下に説明するようにして、これらの情報と、当該条件一致区間に対応する時系列情報記憶部４の記憶アドレスとを対応付けて記憶する。
【００７５】
図７は、対応関係記憶部５の動作を説明するフローチャートである。この図７において、前述した記録動作に関与するステップは、ステップＳ２００〜Ｓ２０３の部分である。ステップＳ２０４、Ｓ２０５の部分は、後述する圧縮時の動作に関与する。
【００７６】
すなわち、この記録時においては、ステップＳ２００において、条件一致区間検出部３から、条件一致区間を示す情報が入力されたかどうかを検出し、条件一致区間の入力が検出されなかった場合には、ステップＳ２０４を経由してステップＳ２００に戻り、条件一致区間を示す情報の入力有無の検出を行う。
【００７７】
ステップＳ２００において、条件一致区間検出部３からの条件一致区間の入力が検出された場合には、ステップＳ２０１に進む。ステップＳ２０１では、前記条件一致区間に対応して時系列情報記憶部４に記憶されている音声情報または画像情報の、時系列情報記憶部４における記憶アドレスを取得するために、時系列情報記憶部４に対し、前記条件一致区間を示す情報と共に、記憶アドレスの問い合わせ要求を出力し、ステップＳ２０２でその返答を待つ。
【００７８】
時系列情報記憶部４からの返答が返されるとステップＳ２０３に進み、前記条件一致区間を特定する情報と、この条件一致区間に対応して時系列情報記憶部４に記憶されている音声情報および画像情報の、時系列情報記憶部４における記憶アドレスとを対応づけて記憶する。
【００７９】
ステップＳ２０３の次には、ステップＳ２０４を経由してステップＳ２００に戻り、次の条件一致区間を示す情報の入力有無の検出を行う。
【００８０】
図８は、条件一致区間検出部３の検出結果である条件一致区間と、この条件一致区間によって特定される時刻に入力された音声情報および画像情報の、前記時系列情報記憶部４における記憶アドレスとを対応づけて説明した図である。
【００８１】
図８に示すように、対話が活発な区間の開始時刻Ｆ２００は、時系列情報記憶部４の記憶アドレスＦ３００に対応しており、また、対話が活発な区間の終了時刻Ｆ２０１は、記憶アドレスＦ３０１に対応している。
【００８２】
対応関係記憶部５は、この対応関係を、図９に示すようなテーブルの形式で記憶する。この例の場合、開始時刻Ｆ２００および終了時刻Ｆ２０１は、記憶開始時点を起点とした相対時刻である。
【００８３】
例えば、図９の例に示すように、音声情報および画像情報の記憶を開始してから２１０秒の時点に対話の活発な区間の始まりが検出され、同じく２４０秒の時点に対話の活発な区間の終わりが検出されたとすると、この記憶を開始してから２１０秒から２４０秒の間に記憶された音声情報および画像情報が対応した記憶情報となる。図９の例では、時系列情報記憶部４の４２０番地から４８０番地までが、この条件一致区間に対応した音声情報および画像情報の記憶アドレスである。
【００８４】
なお、図９において、ＩＤは、検出された条件一致区間のそれぞれを識別するための識別子であり、この例では３桁の番号とされている。
【００８５】
なお、対応関係記憶部５の記憶形式は、図９の例のテーブル形式に限られず、リスト構造やスタック構造等であっても構わない。
【００８６】
次に、このときの対応する時系列情報記憶部４の動作を、図１０のフローチャートを参照して説明する。
【００８７】
すなわち、図１０は、時系列情報記憶部４の記録時の動作を説明するフローチャートである。まず、この記録動作が開始となると、時系列情報記憶部４は、ステップＳ３００において、音声情報および画像情報の記憶開始時刻を時刻情報記憶部７に出力して、記録させる。次に、ステップＳ３０１、ステップＳ３０２と順次に進み、入力される画像情報と音声情報との入力を受け、順次記憶する。
【００８８】
そして、次のステップＳ３０３では、対応関係記憶部から、条件一致区間に対応する記憶アドレスの要求が到来したか否かを判別し、当該要求が到来したことを検出したときにはステップＳ３０４に進む。ステップＳ３０４では、条件一致区間に対応する音声情報および画像情報の記憶アドレスを、対応関係記憶部５に返答する。
【００８９】
ステップＳ３０３で条件一致区間に対応する記憶アドレスの要求は到来していないと判別された後、またステップＳ３０４の後は、ステップＳ３０１に戻り、画像情報と音声情報の記憶を続ける。
【００９０】
時刻情報記憶部７は、時系列情報記憶部４の前記ステップＳ３００での処理による記憶開始時刻の情報を受信して、当該記憶開始時刻の記憶を行う。
【００９１】
図１１は、時刻情報記憶部７の動作を説明するフローチャートであり、また、図１２は、時刻情報記憶部７の記憶構造を説明するための図である。図１１において、ステップＳ４００およびステップＳ４０１が、記録時の処理であり、時系列情報記憶部４から供給された、音声情報および画像情報の記憶開始時刻をステップＳ４００において検出し、ステップＳ４０１においてこの記憶開始時刻を時刻情報記憶部７に記憶する。
【００９２】
後述するように、時刻情報記憶部７は、音声情報および画像情報が時系列情報記憶部４に記録されてからの経過時間（すなわち情報保存時間）が、所定の時間以上になった場合に、対応関係記憶部５に対し圧縮処理開始指示を出力する。図１１のステップＳ４０２およびステップＳ４０３は、その処理部であり、この圧縮開始指示処理については後述する。
【００９３】
時刻情報記憶部７は、音声情報および画像情報を格納したファイルの名前と、記憶開始時刻との関係を、図１２のようなテーブルで管理している。この例では、１つの会議の記録が１つのファイルに記録されている。ファイル名は各会議記録に付与されたファイル名称であり、図１２のＩＤは各会議記録ファイルを識別する識別子（この例では番号）である。
【００９４】
なお、この記憶開始時刻の記憶形式はテーブル形式に限られず、リスト構造やスタック構造等であっても構わない。さらに、音声情報および画像情報を格納したファイルやファイル名の中に、記憶開始時刻を特定する情報を記憶しておくように構成しても構わない。
【００９５】
さらに、ファイルサイズ、ファイル名、ファイル作成者などのファイル属性や、ディレクトリ作成者、ディレクトリ名などのディレクトリ属性に応じて、圧縮処理開始までの時間が自動的に変わるようにしてもよい。
【００９６】
例えば、図１３に示すように、ファイルサイズが５Ｍバイトを越える場合には、圧縮処理開始までの時間を１ヶ月とし、５Ｍバイトに満たない場合には、圧縮処理開始までの時間を２ヶ月にする。また、ファイル拡張子が、.AVIのファイルの場合には、圧縮処理開始までの時間を１ヶ月とし、ファイル拡張子が、.mpgのファイルの場合には、圧縮処理開始までの時間を２ヶ月とする。これらの場合には、圧縮処理開始までの時間を各ファイル毎に指定する必要がなくなり、ユーザの手間が省けるという効果がある。
【００９７】
以上のようにして、この実施の形態においては、会議が開始され、会議記録が開始されると、その開始時点の時刻が、時刻情報記憶部７に記憶されると共に、会議開始時点（記憶開始時点に対応）から画像情報および音声情報が時系列情報記憶部４に記憶される。
【００９８】
そして、会議進行中の音声情報について、条件一致区間検出部３で、条件一致区間が、対話が活発な区間として検出され、対応関係記憶部５に、その区間を特定する情報と、対応する時系列情報記憶部の記憶アドレスとが対応付けて記憶される。
【００９９】
［圧縮時の動作］
次に、圧縮時の動作について説明する。この第１の実施の形態では、時系列情報記憶部４に記憶した画像情報および／または音声情報は、記憶してから所定期間経過したときには、重要度が小さくなるとして情報圧縮して、時系列情報記憶部４のメモリに、空き容量を形成するようにするが、条件一致区間は、重要区間として、この区間は圧縮せず、あるいは、圧縮率を低くして高品質を保つようにする。
【０１００】
図１４は、この実施の形態における情報圧縮時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明する図である。
【０１０１】
時刻情報記憶部７は、音声情報および画像情報が時系列情報記憶部４に記録されてからの経過時間が、所定の時間以上になった場合に、対応関係記憶部５に対し圧縮処理開始指示を出力する。
【０１０２】
すなわち、図１１の時刻情報記憶部７の処理ルーチンのステップＳ４０２において、図示しない時計回路部から供給される現在時刻と、時刻情報記憶部７に記憶されている記憶開始時刻とを比較し、情報の保存時間が所定の時間を経過したかどうかを判定する。所定の時間が経過したと判定されたときには、ステップＳ４０３に進み、対応関係記憶部５に圧縮処理開始を要求する。
【０１０３】
そして、この要求を出した後に、あるいはステップＳ４０２で所定の時間を経過していないと判定されたときには、ステップＳ４００に戻る。
【０１０４】
例えば、前記所定の時間が、１ヶ月と定めてあった場合には、圧縮処理開始要求が記憶開始時点から１ヶ月後に発生し、時系列情報記憶部４に新規に蓄積された情報は、１ヶ月後に圧縮処理を施されることとなる。例えば、図１２に示した１９９６年４月２５日１３時３０分に記録されたファイル名「ｆｉｌｅ１０」の音声情報および画像情報は、１９９６年５月２５日１３時３０分に前述の圧縮処理を施されることになる。
【０１０５】
この圧縮処理が実行されるまでの時間は、この例では、時刻情報記憶部７に対して固定的に与えるようにするが、この時間はユーザが変更できるようにすることができる。また、この圧縮処理の開始のタイミングは、設定された時間の近辺であればよく、システムがアイドリング状態になるのを待って圧縮処理を行なうように構成してもよい。また、圧縮を施すまでの時間を、各ファイル毎に、変えて設定してもよい。
【０１０６】
対応関係記憶部５は、時刻情報記憶部７から圧縮開始指示が入力されると、図７のステップＳ２０４でその入力を検出する。圧縮開始指示が検出された場合には、ステップＳ２０５に進み、対話の活発な区間を示す前記条件一致区間を特定する情報のそれぞれと、それぞれの条件一致区間に対応して前記時系列情報記憶部４に記憶されている音声情報および画像情報の、前記時系列情報記憶部４における記憶アドレスとを圧縮部６に出力する。すなわち、図９に示したテーブルの、一つの会議についての内容を一括して圧縮部６に出力する。
【０１０７】
なお、もちろん、各条件一致区間を特定する情報と、該条件一致区間に対応した記憶アドレスとの組を、１組１組づつ、順次圧縮部６に出力するように構成してもよい。また、音声情報および画像情報を格納した時系列情報記憶部４のファイルの中に、前記条件一致区間を特定する情報のそれぞれと、それぞれの条件一致区間に対応してファイルに記憶されている音声情報および画像情報の、該ファイルにおける記憶アドレスとを記憶しておくように構成しても構わない。
【０１０８】
対応関係記憶部５からの入力を受信した圧縮部６は、前記時系列情報記憶部４に蓄積された画像情報のデータ圧縮を行なう。この場合、圧縮部６は、対応関係記憶部５からの条件一致区間を示す情報に基づいて、データ圧縮率またはデータ圧縮方法を動的に可変して圧縮を実行する。
【０１０９】
この実施の形態の場合には、条件一致区間の情報については、データ圧縮を行わずに高品質を維持し、条件一致区間以外の区間の画像情報について、データ圧縮を行うようにする。このため、図１４に示すように、圧縮部６は、時系列情報記憶部４から、条件一致区間以外の区間の部分画像列を取得して、それをデータ圧縮し、圧縮後の圧縮画像列を時系列情報記憶部４に書き戻すようにする。
【０１１０】
図１５は、この圧縮部６の動作を説明するフローチャートである。
圧縮部６は、対応関係記憶部５からの圧縮開始要求を受信すると、ステップＳ５００によって、これを検出し、ステップＳ５０１に進む。ステップＳ５０１では、対応関係記憶部５から入力される、対話の活発な区間を示す条件一致区間のそれぞれを特定する情報と、それぞれの条件一致区間に対応して前記時系列情報記憶部４に記憶されている音声情報および画像情報の、前記時系列情報記憶部４における記憶アドレスとを入力し、圧縮部６の、図示しないワークメモリに記憶する。ワークメモリは、記憶媒体として、例えば半導体メモリを用いる。
【０１１１】
圧縮部６は、前記ワークメモリに記憶されている、条件一致区間と記憶アドレスの情報の複数組を参照して、時系列情報記憶部４に記憶されている画像情報の圧縮を行なう。
【０１１２】
ステップＳ５０２では、条件一致区間以外の１０フレームの部分画像列を、１つの単位部分画像列として、時系列情報記憶部４から圧縮部６に順次読み出す。この実施の形態においては、条件一致区間に対応した画像情報を圧縮しないために、条件一致区間以外の画像情報のみを読み出して、圧縮する。もっとも、条件一致区間に対応した画像情報も圧縮する場合には、条件一致区間の画像情報を含めて読み出して圧縮する必要があることは言うまでもない。
【０１１３】
ステップＳ５０３では、１０フレームの部分画像列の、この例では先頭の１フレームだけを残して、他の９フレームを消去するというフレーム間引き処理を行なう。そして、次のステップＳ５０４において、そのフレーム間引き後の圧縮画像列を時系列情報記憶部４に書き戻す。
【０１１４】
そして、次のステップＳ５０５では、会議の記録が蓄積されている前記ファイルに対する圧縮処理が終了したどうかを判定し、ファイル全体の圧縮処理が完了した場合には、圧縮部６の処理を終了する。圧縮すべき部分が残っている場合にはステップＳ５０２に戻って、前記圧縮処理を繰り返す。
【０１１５】
図１６は、圧縮部６の動作を説明するための図である。図１６Ａにおいて、条件一致区間に対応した時系列情報記憶部４の記憶アドレスによって指定されるメモリ領域が、ａ３からａ６、および、ａ１１からａ１２であったとすると、圧縮部６によって圧縮されるのは、記憶メモリ領域ａ１からａ２、および、記憶メモリ領域ａ７からａ１０の画像列となる。ここで、記憶メモリ領域ａ１，ａ２…のそれぞれは、所定複数フレーム、例えば１０フレーム分の容量を備えるものである。
【０１１６】
上述したように、圧縮後でも、記憶メモリ領域ａ３からａ６、および、記憶メモリ領域ａ１１からａ１２に蓄積されていた条件一致区間の画像列は、圧縮前と比べて変化がない。
【０１１７】
一方、記憶メモリ領域ａ１からａ２、および、記憶メモリ領域ａ７からａ１０に蓄積されていた画像列は、フレーム間引き圧縮の対象となるので、記憶メモリ領域ａ１、ａ７、ａ８の内容は、圧縮画像列によって置き換えられる。そして、情報量が減ったことにより、図１６Ｂに示すように、時系列情報記憶部４の記憶媒体には、空きメモリ領域ａ２、ａ９、ａ１０が生成される。
【０１１８】
なお、時系列データが、記憶媒体内に連続して記憶されていることが望ましい場合には、生成された空きメモリの部分を前後の時系列データによって詰めるようにする等して、メモリの隙間をなくすようにすることができる。
【０１１９】
次に、この第１の実施の形態において、記録または圧縮された音声情報または画像情報を再生する場合の動作について説明する。この再生は、前述したように、再生部８において、制御部９からの制御の元に行われ、図示しないユーザインターフェースを通じた再生指示に基づいて実行される。
【０１２０】
記録された音声情報または画像情報を再生するときには、再生速度を変化させたり、少し巻き戻ししてゆっくり再生したい場合がよくあるので、早送り機能、巻き戻し機能、スロー再生機能、一時停止機能を、会議情報蓄積処理装置１３は具備している。また、表示モニターの画面上に、時間軸対応のスライドバーを設け、現在再生している時刻を示すポインタをスライドバーに表示したり、ユーザの入力操作により、バーをスライドさせることによって再生位置を指定できるようにしている。
【０１２１】
また、再現する速度に関して、必ずしも記録された時刻情報の通りに再現する必要はなく、記録された順序関係だけは守って速度を上げて再現するようにすることができるし、条件一致区間のみをサーチして自動再生するようにすることもできる。たとえば、図８の時点Ｆ２００からＦ２０１の区間は、記憶された速度と同じ速度で再生し、それ以外の区間は倍速再生するようにする。
【０１２２】
なお、条件一致区間が一目でわかるように、前記時間軸上のスライドバーに、条件一致区間を示す情報を併せて表示してもよい。また、条件一致区間が検出した発言者名または発言者の顔写真など、条件一致区間が検出した検出結果を、前記時間軸上のスライドバーに重ねて表示するようにしてもよい。
【０１２３】
以上説明した第１の実施の形態では、早い話者交代のパターンが所定個数以上連続して検出されたときに、そのパターンを含む発言区間の両端を、条件一致区間の両端とするようにしているが、早い話者交代のパターンを含む発言区間の開始時点の所定時間前の時点を条件一致区間の始まりとしてもよいし、早い話者交代のパターンを含む発言区間の所定個数前の発言区間を含めて条件一致区間としてもよい。
【０１２４】
また、早い話者交代のパターンを含む発言区間の終了時点の所定時間後の時点を条件一致区間の終わりとしてもよいし、早い話者交代のパターンを含む発言区間の所定個数後の発言区間を含めて条件一致区間としてもよい。
【０１２５】
また、「扉の閉まる音」というような、単発的な音声信号を条件一致区間検出部３で検出するようにすることもできる。この場合には、単発的な音声信号を検出した時点の所定時間前の時点を条件一致区間の開始点として検出し、該単発的な音声信号を検出した時点の所定時間後の時点を条件一致区間の終了点として検出するように構成する。
【０１２６】
また、この実施の形態では、条件一致区間検出部３は、入力音声信号から活発な対話のパターンを検出する場合について説明したが、この他にも、笑い声のパターン、拍手のパターンなどの特徴的な音声パターンを登録しておき、入力音声信号からこれらのパターンを認識し、これらのパターンを含む区間を条件一致区間として検出するように構成することもできる。この場合には、条件一致区間検出部３には、公知のパターン認識技術、例えば、音声信号のパワーまたは周波数成分の時間的遷移を解析する技術などを用いて、パターン認識を行なうパターン認識手段が設けられる。
【０１２７】
また、この実施の形態では、圧縮部６は、画像の間引き圧縮を行う構成になっているが、圧縮部６の構成は、画像情報の圧縮時に、記憶時間、フレーム内圧縮の圧縮率、フレーム間圧縮の圧縮率、間欠記録の時間間隔、色情報間引き率、輝度情報間引き率等の少なくとも一つを動的に変更する装置であればよい。
【０１２８】
特に、動画像情報を圧縮する方法としては、フレーム内での圧縮法とフレーム間の圧縮法があり、フレーム内の圧縮法としてはベクトル量子化を用いた方法と離散コサイン変換を用いた方法などがある。フレーム間の圧縮法としては前後フレームの画像情報の差分のみを記録する方法などがある。すなわち、単位時間あたりの情報量をより少ない情報量に変換する装置は、いずれも本発明でいう圧縮部６に相当する。
【０１２９】
また、この第１の実施の形態では、条件一致区間以外の区間の画像情報であっても、情報量の少ない駒落し映像として保存するように構成しているが、もちろん、条件一致区間以外の区間の画像情報または音声情報を、蓄積媒体から消去するようにしても構わない。
【０１３０】
また、条件一致区間の区間の情報と、条件一致区間以外の区間の情報とを、別々の蓄積媒体に分けて保存するようにしてもよい。たとえば、情報の記録時は、条件一致区間内の情報と、条件一致区間以外の区間の情報とを同一の磁気ディスクに蓄積するようにし、情報の圧縮時に、条件一致区間内の情報のみを前記磁気ディスクに残し、条件一致区間以外の区間の情報を光磁気ディスクや磁気テープに移動するように構成する。一般的に、光磁気ディスクや磁気テープは、磁気ディスクに比べて、情報へのアクセス速度は遅いが大量の情報を安価に蓄積することができるという特徴を有しているため、情報量の少なくなった条件一致区間以外の区間の情報を蓄積するために適している。
【０１３１】
さらに、この実施の形態では、音声情報は圧縮しない構成になっているが、音声情報を圧縮する場合には、音声信号の圧縮時に、記憶時間、サンプリング周波数、符号化ビット数の少なくとも一つを動的に変更するようにすればよい。
【０１３２】
なお、上述した実施の形態の装置に入力される時系列情報は、カメラ／マイクロホン／ビデオデッキ／テープレコーダ／センサ等から入力されたアナログ信号でもよいし、それを符号化したデジタル信号でもよい。さらには、計算機ネットワーク／計算機バスを通じて入力されるデジタル信号でもよい。すなわち、時間の経過とともに順次入力される情報は、いずれも本発明でいう時系列情報に相当する。
上述の第１の実施の形態においては、条件一致区間検出部３が音声情報から条件一致区間を検出し、この検出結果に基づいて、条件一致区間の画像情報は、他の区間よりも高画質を保つように、圧縮率を動的に変更して時系列情報記憶部４に記憶された画像情報を圧縮するように構成したことにより、画像情報のうちの、特徴的な事象が起こっている重要部分を限られた蓄積媒体の中に数多く記憶でき、かつ、重要部分以外の画像情報であっても少ないデータ量で長時間記憶できる効果がある。
また、入力される音声信号の有無または音声信号レベルを条件一致区間検出部３によって検出するように構成したので、音声が発せられている区間の音声または画像情報を、最初から最後まで高音質／高画質で保存でき、かつ、音声が発せられていない区間の音声または画像情報であっても少ないデータ量で記憶できる効果がある。
また、入力される音声の発信者または発信者の交替を条件一致区間検出部３によって検出するように構成したので、特定の発信者の音声または画像情報を、最初から最後まで高音質／高画質で保存でき、かつ、その他の発信者の音声または画像情報であっても少ないデータ量で記憶できる効果がある。
【０１３３】
［第２の実施の形態］
この第２の実施の形態においても、前述と同様に、説明を簡単にするために、圧縮対象は画像のみとして、以下に説明する。
【０１３４】
この第２の実施の形態では、入力画像情報を時系列情報記憶部４に蓄積する際に、例えば低周波数帯域と、高周波数帯域というように、周波数帯域別に記憶しておき、時刻情報記憶部７から圧縮開始指示を受信したときに、画像の高周波数帯域を削除することにより、画像情報の圧縮を行うように構成する。この第２の実施の形態は、画像の高周波数帯域は、いわゆる画像のディテールに関与する成分であり、これを削除しても基本的な画像内容の把握については影響が少ないことを利用するものである。
【０１３５】
第１の実施の形態では、図１４に示したように、時系列情報記憶部４の部分画像列を読み出し、圧縮部６で圧縮処理を施した後、再び時系列情報記憶部４に書き込む構成としたが、この第２の実施の形態の場合には、時系列情報記憶部４から部分画像列を読み出したり、また、画像圧縮処理を施したり、時系列情報記憶部４に書き戻したりする必要がなくなるため、圧縮処理時のシステムの負荷を軽減することができる。
【０１３６】
また、この第２の実施の形態では、前記の周波数帯域別に入力画像情報を記憶する場合において、条件一致区間と、条件一致区間以外の区間とでは、時系列情報記憶部４に蓄積する際の周波数帯域の分け方を変えるように構成する。
【０１３７】
具体的には、条件一致区間以外の区間の画像情報のみを周波数帯域別に記憶するようにし、条件一致区間の画像情報は、周波数帯域別の記憶はしない通常の方法で記憶する。
【０１３８】
図１７は、この第２の実施の形態における記録時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明した図である。この第２の実施の形態の構成は、第１の実施の形態について説明した図１および図５と比較すると、構成要素として、周波数帯域別画像生成部２１が追加されている点が異なっている。
【０１３９】
この周波数帯域別画像生成部２１は、この例では、ハイパスフィルタと、ローパスフィルタとで構成される。そして、この第２の実施の形態の場合、条件一致区間検出部３は、第１の実施の形態の場合と同様な方法で、入力音声情報から条件一致区間を検出し、その条件一致区間を特定する情報を、対応関係記憶部５に供給すると共に、周波数帯域別画像生成部２１に供給する。
【０１４０】
周波数帯域別画像生成部２１は、条件一致区間検出部３からの条件一致区間を特定する情報を受けて、その条件一致区間と、他の区間とで、時系列情報記憶部４に出力する画像信号を変更するようにする。
【０１４１】
図１８は、この第２の実施の形態における周波数帯域別画像生成部２１での処理を説明するフローチャートである。
【０１４２】
図１８に示すように、周波数帯域別画像生成部２１は、ステップＳ６００で音声情報または画像情報の入力を受ける。そして、次のステップＳ６０１において、条件一致区間検出部３からの条件一致区間を特定する情報、すなわち、この例では、条件一致区間の始めの時点の情報と終りの時点の情報により、現時点は、条件一致区間内であるか否か判断する。
【０１４３】
条件一致区間内であると判別された区間の画像情報に関しては、ステップ６０１からステップＳ６０３に進んで、そのまま時系列情報記憶部４に画像情報を出力し、入力画像情報を通常の、周波数帯域別に分けない記憶フォーマットで時系列情報記憶部４に記憶させるようにする。
【０１４４】
一方、ステップＳ６０１において、条件一致区間以外の区間であると判別された場合には、ステップＳ６０２に進み、入力画像情報を高周波数帯域の情報と、低周波数帯域の情報とに分けて、周波数帯域別画像情報を生成する処理を実行する。生成された周波数帯域別画像情報は、ステップＳ６０３において、時系列情報記憶部４に対して出力され、記憶される。以下、ステップＳ６００〜Ｓ６０３を繰り返す。
【０１４５】
図１９は、この第２の実施の形態における画像情報圧縮前の時系列情報記憶部４の記憶状態を説明する図である。図１９に示されるように、この第２の実施の形態の場合の時系列情報記憶部４は、条件一致区間の画像情報を記憶するメモリ部４Ｍａと、条件一致区間以外の区間の画像情報を記憶するメモリ部４Ｍｂとを備える。これらメモリ部４Ｍａおよび４Ｍｂは、それぞれ別々の記憶媒体であっても良いし、一つの記憶媒体のメモリ領域を分割したものであってもよい。
【０１４６】
時系列情報記憶部４の、条件一致区間の画像情報を記憶するメモリ部４Ｍａには、画像情報は周波数帯域分割されずに記憶されている。そして、条件一致区間以外の区間の画像情報を記憶するメモリ部４Ｍｂは、さらに、高域部記憶メモリと、低域部記憶メモリとに領域分割され、それぞれ画像情報の高周波数帯域成分と、低周波数帯域成分とが、対応付けられて記憶されている。すなわち、図１９において、高域部記憶メモリの領域ａ１〜ａ６の記憶内容と、低域部記憶メモリの領域ａ１〜ａ４の記憶内容とは、同一区間の画像信号の高周波数成分と、低周波数成分とを示している。時系列情報記憶部４は、この周波数帯域成分の対応関係も管理している。
【０１４７】
図１９において、各メモリ領域ａ１，ａ２，…内に「・」が付与されているのは、画像列が記憶されていることを示しており、「・」が無いメモリ領域は空きメモリ領域を意味している。
【０１４８】
この第２の実施の形態においても、時刻情報記憶部７で時系列情報記憶部４の記憶内容の保存期間を監視し、例えば１ヶ月のような所定の期間を保存期間が経過したときに、時刻情報記憶部７は圧縮処理開始指示を出力し、画像情報圧縮を実行させる。
【０１４９】
図２０は、この第２の実施の形態における情報圧縮時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明した図である。また、図２１は、この第２の実施の形態における圧縮処理を説明するフローチャートである。
【０１５０】
すなわち、この実施の形態の場合、時刻情報記憶部７からの圧縮開始指示は、圧縮部６に直接供給される。そして、圧縮部６では、図２１のフローチャートに示すように、この圧縮開始指示を受け取って、音声情報および画像情報が時系列情報記憶部４に記録されてからの経過時間、すなわち情報保存時間が、所定の時間以上になったことをステップＳ７００において検出した場合には、ステップＳ７０１に進む。ステップＳ７０１では、時系列情報記憶部４に対して、条件一致区間以外の区間を記憶しているメモリから、高周波数帯域を削除する処理を行なう指示を送る。
【０１５１】
この例では、時系列情報記憶部４は、この圧縮部６からの高周波数成分削除指示を受けて、条件一致区間以外の区間の画像情報を記憶するメモリ部４Ｍｂの高域部記憶メモリの記憶内容をすべて削除する。
【０１５２】
図２２は、画像情報圧縮後の時系列情報記憶部４の記憶状態を説明した図である。圧縮処理前の記憶状態が、前述の図１９に示したような状態であった場合には、圧縮部６からの高周波数成分削除指示を受けて、時系列情報記憶部４は、条件一致区間以外の区間の画像情報を記憶するメモリ部４Ｍｂの中の、高周波数帯域画像成分を記憶する高域部記憶メモリの領域ａ１〜ａ６から画像情報を全て削除する。この結果、時系列情報記憶部４においては、図２２において、網点で示した領域ａ１〜ａ６の部分が、空きメモリ領域として生成される。
【０１５３】
この生成された空きメモリ領域は、条件一致区間以外の区間を記憶する記憶メモリ領域として再利用されても構わないし、条件一致区間を記憶する記憶メモリ領域として充当するようにしても構わない。
【０１５４】
以上に説明した処理によって、圧縮処理を施した後には、活発に議論が交わされていた部分の映像を再生した場合には、スムースな動きの高品質の動画が再生され、その他の部分を再生した場合には、いわゆる低画質映像であって、画質の低い動画となる。しかし、活発に議論が交わされていた場面以外のあまり重要でない部分のみを高圧縮率で圧縮できるので、蓄積すべき情報量は非常に少なくなる。
【０１５５】
この第２の実施の形態の以上の説明では、周波数帯域別に入力画像情報を記憶する方法について説明したが、例えば特開平６−１７８２５０号公報に述べられているように、入力画像情報を時系列情報記憶部４に蓄積する際に、画像信号を輝度信号成分と、色差信号や搬送色信号（色副搬送波信号）などの色信号成分とに分けて、別々の領域に記憶しておき、時刻情報記憶部７から圧縮開始指示が発生したときに、色信号成分のみを消去するように構成してもよい。この場合には、時系列情報記憶部３から部分画像列を読み出したり、書き戻したりする必要がなくなるため、圧縮処理時のシステムの負荷を軽減でき、圧縮処理の速度を早めることができる。
【０１５６】
また、入力画像情報を周波数帯域別に時系列情報記憶部４に蓄積する際に、条件一致区間の画像情報と、条件一致区間以外の区間の画像情報の低周波数帯域成分とを、記憶媒体の連続した領域に記憶し、条件一致区間以外の区間の画像情報の高周波数帯域成分を、記憶媒体の別の領域に記憶するように構成してもよい。この場合には、圧縮時に条件一致区間以外の区間の画像情報の高周波数帯域成分を消去しても、圧縮後の時系列データが、記憶媒体内で連続するため、再生速度の低下を防ぐことができる。
【０１５７】
さらに、この第２の実施の形態では、音声情報は圧縮しない構成になっているが、音声情報を同様にして圧縮することもできる。例えば、特開平７−１５５１９号公報に記載されているように、入力音声情報を時系列情報記憶部４に蓄積する際に周波数帯別に記憶しておき、圧縮部６が、時刻情報記憶部７から圧縮開始指示を受信したときに、音声の高周波数帯域を削除するように構成してもよい。この場合も、条件一致区間以外の区間の音声情報の高周波数帯域成分を優先的に削除するように構成するとよい。
上述の第２の実施の形態においては、入力音声情報または入力画像情報を時系列情報記憶手段に蓄積する際に周波数帯域別に記憶しておき、圧縮時に、高周波数帯域を削除するように構成することにより、圧縮のために時系列情報記憶手段から情報を読み出したり、時系列情報記憶手段に情報を書き戻したりする必要がなくなるため、圧縮処理時のシステムの負荷を軽減できる効果がある。
また、入力音声情報または入力画像情報を周波数帯域別に時系列情報記憶手段に蓄積する際に、条件一致区間検出手段が検出した条件一致区間と、条件一致区間以外の区間とで、周波数帯域の分け方を変えて記憶するように構成した場合には、条件一致区間以外の区間の画像情報のみを周波数帯域別に記憶し、条件一致区間の画像情報は通常の方法（周波数帯域別の記憶はしない）で記憶するというように、入力音声情報または入力画像情報を周波数帯域別に分ける処理を少なくすることができるので、システムの負荷を軽減できる効果がある。
【０１５８】
［第３の実施の形態］
第１の実施の形態および第２の実施の形態では、音声情報または画像情報が時系列情報記憶部４に記録されてからの経過時間が、例えば１ヶ月というような所定の時間以上になった場合に、１度だけ圧縮処理を行う例について説明した。
【０１５９】
しかしながら、１度だけ圧縮処理を行うよりも、段階的に複数回に分けて圧縮を施した方が、より効果的に蓄積媒体を節約できる場合がある。例えば、会議を記録する場合、１週間前に行われた会議を後から参照する可能性に比べて、１ヶ月前に行われた会議を参照する可能性は低く、また同様に、１ヶ月前に行われた会議を後から参照する可能性に比べると、半年前に行われた会議を参照する可能性は低い。このように、後から参照される可能性がより低くなった場合に、より少ない情報量で蓄積するように構成すれば、効果的に蓄積媒体を節約できるようにすることができる。
【０１６０】
この第３の実施の形態では、画像情報が時系列情報記憶部４に記録されてからの経過時間に応じて、圧縮率または圧縮方法を変更し、情報を段階的に圧縮する例について説明する。ただし、昔の会議記録映像であっても、重要な場面については、画像信号を高品質のままで保存しておく必要があるため、第１の実施の形態または第２の実施の形態と同様、記録した会議映像の中で、この例では、活発に議論が交わされていた会議の重要部分の映像だけを高品質のまま残し、その他の部分を高圧縮率で圧縮するようにする。
【０１６１】
また、この第３の実施の形態でも、入力画像情報を時系列情報記憶部４に蓄積する際に周波数帯域別に記憶しておく。このため、この第２の実施の形態と同様に、周波数帯域別画像生成部２１が設けられるが、この第３の実施の形態の場合においては、周波数帯域は、高周波数帯域と、中周波数帯域と、低周波数帯域との３帯域に画像情報を分割して、時系列情報記憶部４に記憶するようにする。この場合の周波数帯域別画像生成部２１は、高域用のハイパスフィルタと、中域用のバンドパスフィルタと、低域用のローパスフィルタとで構成される。
【０１６２】
また、この第３の実施の形態においては、条件一致区間と、条件一致区間以外の区間との区別なく、画像信号は周波数帯域を３帯域に分けて記憶するようにする。
【０１６３】
図２３は、画像情報記録時（画像情報圧縮前）の時系列情報記憶部４の記憶状態を説明した図である。すなわち、この例では、時系列情報記憶部４の条件一致区間の画像情報を記憶するメモリ部４Ｍａおよび条件一致区間以外の区間の画像情報を記憶するメモリ部４Ｍｂのそれぞれは、図２３に示すように、高域部記憶メモリ、中域部記憶メモリ、低域部記憶メモリを有し、それぞれのメモリ領域に、該当区間の画像情報の高域成分、中域成分、低域成分が、それぞれ記憶されるものである。
【０１６４】
そして、この第３の実施の形態においても、時刻情報記憶部７は、記憶時からの時間経過を監視して、所定時間経過したときに圧縮開始指示を、圧縮部６に出力するようにするが、圧縮開始指示は、予め設定された複数の経過時間、例えば１週間後、１ヶ月後、半年後、のそれぞれの時点で出力するようにする。このとき、各圧縮開始指示に、それがどの時点の圧縮開始指示であって、いずれの周波数帯域成分を圧縮するかのデータを付加して圧縮部６に供給するようにする。
【０１６５】
図２４は、時刻情報記憶部７に記憶された圧縮時刻管理テーブルの例を示す図である。図２４に示されるように、例えば、一番先に消去される画像データは、条件一致区間以外の区間の高周波数帯域部分であり、情報の記録後、１週間経過時に消去される。また、情報の記録後、１ヶ月が経過したときには、条件一致区間以外の区間の中周波数帯域部分と、条件一致区間の高周波数帯域部分とが消去される。また、情報の記録後、半年が経過したときには、条件一致区間以外の区間の低周波数帯域部分と、条件一致区間の中周波数帯域部分とが消去される。なお、条件一致区間の低周波数帯域部分に関しては、ユーザからの明示的な消去指示が与えられない限り自動的には消去されないようになっている。
【０１６６】
圧縮部６は、時刻情報記憶部７からの前記圧縮開始指示を受信したときに、その指示内容を解析し、その解析結果により時系列情報記憶部４に対して、いずれの記憶メモリの内容を削除するかの圧縮指示を出す。時系列情報記憶部４は、この圧縮指示に応じて、画像情報の段階的な圧縮処理を実行する。具体的には、前記図２４のテーブルの消去時期にしたがった各部記憶メモリの内容消去を実行する。
【０１６７】
図２５、図２６、図２７は、画像情報圧縮前に図２３のように画像情報が記録されている状態から、それぞれ、１週間、１ヶ月、半年が経過したときの、時系列情報記憶部４の記憶状態を説明した図である。これらの図２３、図２５、図２６、図２７において、各メモリ領域ａ１，ａ２，…内に「・」が付与されているのは、画像列が記憶されていることを示しており、「・」が無いメモリ領域は空きメモリ領域を意味している。
【０１６８】
すなわち、１週間経過のときには、図２５に示すように、時系列情報記憶部４では、条件一致区間以外の区間の画像情報を記憶するメモリ部４Ｍｂの高域部記憶メモリの内容がすべて消去されて、空きメモリ領域とされる。
【０１６９】
また、１ヶ月経過のときには、図２６に示すように、条件一致区間の画像情報を記憶するメモリ部４Ｍａの高域部記憶メモリの内容と、条件一致区間以外の区間の画像情報を記憶するメモリ部４Ｍｂの中域部記憶メモリの内容がすべて消去される。
【０１７０】
さらに、半年経過のときには、図２７に示すように、条件一致区間の画像情報を記憶するメモリ部４Ｍａの中域部記憶メモリの内容と、条件一致区間以外の区間の画像情報を記憶するメモリ部４Ｍｂの低域部記憶メモリの内容がすべて消去される。この結果、時系列情報記憶部４の記憶内容は、条件一致区間の画像情報を記憶するメモリ部４Ｍａの低域部記憶メモリの内容のみが残る。
【０１７１】
こうして、これらの図２５〜図２７で示されるように、時系列情報記憶部４には、時間の経過に伴い、より少ない情報量で画像情報が蓄積されるようになる。
【０１７２】
なお、この第３の実施の形態の上述の例では、時刻情報記憶部７の圧縮時刻の管理にテーブルを使用したが、もちろん、管理テーブルの代わりに、リストやスタックの構造であっても構わない。
【０１７３】
さらに、時刻情報記憶部７で、テーブルやリスト等で圧縮時刻および圧縮対象を管理するのではなく、情報の保存時間をパラメータとした数式演算により、任意の時刻における情報の圧縮率を算出し、この圧縮率に関する情報を圧縮部６に送って情報圧縮を実行させるように構成することもできる。
【０１７４】
例えば、ｙを情報量保持率（％）、ｘを時刻（経過日数）とすると、時刻情報記憶部７では、
ｙ＝９０ｅｘｐ（−Ａｘ）＋１０    …（１）
ただしＡは定数で、Ａ＞０である
で表される上記演算式（１）によって、特定の時刻における情報量保持率を求め、この情報量保持率の情報を圧縮率に関する情報として、圧縮部６に供給する。ここで、情報量保持率は、特定の時刻における情報量の、その情報が始めに記録されたときの情報量に対する割合を指す。
【０１７５】
圧縮部６は、時刻情報記憶部７からの、この情報量保持率に基づき、圧縮率を設定し、その圧縮率により時系列情報記憶部４に蓄積されている画像情報を圧縮する。この場合、時刻情報記憶部７は、ある周期で段階的に再圧縮を実行させるように圧縮開始指示を、前記周期で繰り返し発生する。
【０１７６】
上述の第３の実施の形態のように、音声情報または画像情報が時系列情報記憶手段に記録されてからの経過時間（すなわち情報保存時間）が、所定の時間以上になった場合に圧縮処理を開始するように構成した場合には、参照する可能性の大きい最近の音声または画像情報を、高音質／高画質で保存でき、かつ、昔に記録された音声または画像情報であっても少ないデータ量で記憶できる効果がある。
また、音声情報または画像情報が時系列情報記憶手段に記録されてからの経過時間（すなわち情報保存時間）に応じて段階的に圧縮を施すように構成されている場合には、後から参照される可能性がより低くなった情報は、より少ない情報量で蓄積できるので、より効果的に蓄積媒体を節約できる効果がある。
また、音声情報または画像情報のデータ量が予め定められた記憶容量に収まるように、圧縮量または圧縮方式を設定できるように構成したことにより、圧縮後のデータは、入力された画像情報の中の重要な部分のみを高画質で記憶した、所望記憶サイズのダイジェストとなる効果がある。
なお、この第３の実施の形態は、第２の実施の形態の変形として説明したが、第１の実施の形態の変形として実施することも、もちろんできる。
【０１７７】
［第４の実施の形態］
この第４の実施の形態は、条件一致区間検出部３での検出条件が、入力される音声信号の中に予め登録されたキーワードが出現したこと、あるいは予め登録された音声パターンが出現したこと、である場合である。
【０１７８】
まず、条件一致区間検出部３での検出条件が、入力される音声信号の中に予め登録されたキーワードが出現したことである場合について説明する。
【０１７９】
この場合、条件一致区間検出部３は、音声認識手段と、登録されたキーワードを記憶するメモリと、音声認識結果とメモリに予め登録されたキーワードとを比較して両者の一致を検出するキーワード一致検出手段とを備える。メモリには、ユーザが予めキーワードを登録しておく。
【０１８０】
そして、情報記録時には、条件一致区間検出部３は、入力された音声信号を音声認識手段により順次文字列情報に変換し、形態素解析するなどして、その文字列情報から語句を抽出する。そして、この抽出した語句を、「宿題」「アクションアイテム」「課題」「結論」「決定」「重要」「まとめ」などの、メモリに予め登録されている文字列キーワードと比較する。
【０１８１】
入力音声信号から抽出された語句が、予め登録されていた文字列キーワードのいずれかと一致した場合には、この文字列キーワードの検出時点は、条件一致区間の開始点となる。
【０１８２】
条件一致区間の終了点を定めるために、この例の場合の条件一致区間検出部３には、各キーワード文字列毎に、キーワードが検出されたときから、どれだけの時間の画像信号を高画質で記録するかを決めるキーワード有効期間が、図２８のようなテーブルに設定されている。キーワード有効期間は、重要なキーワードほど、長い時間が割り当てられる。
【０１８３】
そして、時系列情報記憶部４に蓄積されている画像情報を、前述したように所定時間経過後に圧縮する際には、前記条件一致区間の開始点から終了点までの区間の画像情報を高画質で保存し、それ以外の区間を高圧縮率で圧縮するようにする。圧縮方式は、第１〜第３の実施の形態のいずれの方法も採用できる。
【０１８４】
また、さらに、各キーワード文字列毎に重要度を設定できるようにしておけば、各キーワード文字列の重要度に応じた異なる圧縮率で画像信号を圧縮することが可能である。
【０１８５】
次に、入力される音声信号の中に、予め登録された音声パターンが出現したことを検出条件として、条件一致区間検出部３が条件一致区間を検出する場合について説明する。
【０１８６】
音声認識によってキーワードを検出することが困難な場合にも、笑い声のパターン、拍手のパターン、活発な対話のパターンなどの特徴的な音声信号のパターンであれば、これらのパターンを認識できる場合がある。そこで、この特徴的な音声パターンが出現したことをも、検出条件として条件一致区間検出部３は検出するようにする。
【０１８７】
この場合には、条件一致区間検出部３には、笑い声のパターン、拍手のパターン、活発な対話のパターンなどの特徴的な音声信号パターンが予め登録されて記憶されるメモリが設けられる。そして、公知のパターン認識技術、例えば、音声信号のパワーまたは周波数成分の時間的遷移を解析する技術などを用いて、パターン認識を行なうパターン認識手段が設けられる。
【０１８８】
予め登録されている特徴的な音声信号のパターンと、順次入力される音声信号から抽出される音声信号のパターンとを比較して、その一致あるいはその類似度から、当該特徴パターンを認識するようにする。パターン認識の認識率を上げるために、話者毎に、音声パターンを登録しておいてもよい。
【０１８９】
入力音声信号から抽出された音声信号のパターンが、予め登録されている特徴的な音声信号パターンのいずれかと一致したと判定された場合には、音声信号パターンの検出時点は、条件一致区間の開始点となる。
【０１９０】
また、条件一致区間の終了点を定めるために、この例の場合の条件一致区間検出部３には、各音声信号パターン毎に、パターンが検出された時からどれだけの時間の画像信号を高画質で保存するかを決める音声信号パターン有効期間が、図２９のようなテーブルに設定されており、前記条件一致区間の開始点から、この終了点までの区間の画像情報を、高画質で保存すべき情報と判定する。
【０１９１】
そして、時系列情報記憶部４に蓄積されている画像情報を、前述したように所定時間経過後に圧縮する際に、前記条件一致区間の開始点から終了点までの区間の画像情報は、高画質で保存し、その他の区間の画像情報は、情報量を大幅に削減するように圧縮する。圧縮方式は、第１〜第３の実施の形態のいずれの方法も採用できる。
【０１９２】
この例の場合では、入力音声信号から抽出された音声信号のパターンが、予め登録されている特徴的な音声信号パターンのいずれかと一致したと判定された時点を、条件一致区間の開始点と判定したが、音声信号のパターンが検出された時点より前の画像情報を含めて高画質で保存することもできる。そのようにした場合には、例えば、笑い声のパターンや、拍手のパターンが出現する時点の前には、そのパターンが出現する原因が存在することが普通であるので、その原因となる事象を高画質で保存するようにすることができる。
【０１９３】
この場合には、特徴的な音声信号パターンが出現した時点より所定時間前の時点を、条件一致区間の開始点とすることで、パターンが出現した原因となる事象を高画質で保存し、それ以外の区間を高圧縮率で圧縮するように構成する。
以上のように、第４の実施の形態によれば、入力される音声情報の中に予め登録されたキーワードまたはパターンが出現したことを条件一致区間検出手段によって検出するように構成されるので、予め登録されたキーワードまたはパターンが頻繁に出現した期間に記憶された音声または画像情報を、最初から最後まで高音質／高画質で保存でき、かつ、その他の部分の音声または画像情報であっても少ないデータ量で記憶できる効果がある。
【０１９４】
［第５の実施の形態］
この第５の実施の形態は、条件一致区間検出部３が、外部センサによって予め定めた状態変化を検出する場合である。すなわち、この実施の形態では、音声信号からの条件一致区間の検出では困難な事象を条件として、条件一致区間を検出する場合や、入力される音声信号に含まれない情報に状態変化が起きた場合を条件として条件一致区間を検出するために、外部センサを設ける。
【０１９５】
以下に説明するこの実施の形態では、外部センサが、場所を検出する場合について説明する。すなわち、以下の例では、役員会議室、応接会議室、一般会議室のように、会議室に応じた重要度を与えておき、重要な会議室の会議記録ほど、高品質で情報保全を計るようにする。
【０１９６】
音声信号または画像信号が入力された場所が、どの会議室で会議が行なわれたかという情報は、例えばＧＰＳ（グローバル・ポジショニング・システム）などの位置測定装置から出力される位置情報を解析することにより得られる。ＧＰＳを用いた場合には、音声信号または画像信号が入力された場所の緯度／経度を測定し、その情報と、各会議室が存在する予め記憶されている緯度／経度とを比較することによって、前記音声信号または画像信号が入力された会議室を特定できる。
【０１９７】
また、ＧＰＳ以外にも、会議室や廊下などの任意の場所に、それぞれの場所に固有のビットパターンを発振する赤外線送信機を設置するという、特開平７−１４１３８９号公報記載の赤外線送受方式を用いることもできる。この場合には、音声信号または画像信号が入力されたときに、近くの赤外線送信機が発振するビットパターンを受信し、そのパターンから会議室を識別する。
【０１９８】
以下に説明する例では、赤外線送受方式を用いる場合について説明する。この場合、条件一致区間検出部３は、赤外線信号認識手段と、登録された場所名を記憶するメモリと、赤外線信号を認識した結果から判定された場所名とメモリに予め登録された場所名とを比較して両者の一致を検出する場所一致検出手段とを備える。メモリには、ユーザが予め場所名を登録しておく。
【０１９９】
そして、情報の記録時には、条件一致区間検出部３は、入力された赤外線信号を、赤外線信号認識手段により場所名に変換する。そして、この変換した場所名を、メモリに予め登録されている場所名と比較する。そして、条件一致区間検出部３は、場所を検出する場合においては、同じ場所に留まっていると認識された期間の最初を条件一致区間の開始点として検出し、同じ場所に留まっていると認識された期間の最後を条件一致区間の終了点として検出する。
【０２００】
対応関係記憶部５には、条件一致区間を特定する情報として、当該区間の開始点および終了点と、場所名とを記憶する。場所名に代えて対応する識別子を記憶するようにすることもできる。また、対応関係記憶部５は、それぞれの条件一致区間と、その区間に時系列情報記憶部４に記憶される音声信号および画像信号の記憶アドレスとを対応付けて記憶する。
【０２０１】
この例においては、時刻情報記憶部７は、記憶保持期間が所定期間以上となったときに、対応関係記憶部５に圧縮開始指示を出力する。対応関係記憶部５は、この圧縮開始指示を受けて、条件一致区間を特定する情報として、当該区間の情報と場所名あるいは場所の識別子を圧縮部６に送る。
【０２０２】
圧縮部６は、予め登録された会議室名（場所名）と、各会議室の重要度とを対応させて記憶しているテーブルを備える。図３０は、このテーブルの例である。圧縮部６は、対応関係記憶部５からの場所名あるいは識別子を用いて、このテーブルを参照し、当該条件一致区間の会議室名を検出する。そして、その会議室名に割り当てられた重要度を抽出し、この重要度に応じた圧縮率で、対応する条件一致区間の画像信号を圧縮する。すなわち、重要度の高い場所で記録された情報ほど、圧縮時に、高品質を保って保存する。
【０２０３】
このようにすることで、例えば、役員会議室で行なわれた重要会議の記録映像を、他の会議室で行なわれた会議映像よりも、高画質で、より長く保存しておくというようなことができる。
【０２０４】
以上では、外部センサにより場所を検出する場合について説明したが、センサが人を判別するようにしてもよい。例えば、会議出席者に微弱無線発信機を取り付けると共に、会議室に無線受信機を取り付ける。そして、会議出席者が会議室に入室している期間を、前記無線受信機によって検知し、この期間だけを高画質で保存するように構成する。
【０２０５】
さらに、会議出席者ごとに異なる信号を前記微弱無線発信機によって発信するようにして、誰が入室しているかを識別することができるようにすれば、特定の人物が入室している期間だけを高画質で保存するように構成することもできる。
【０２０６】
また、単に物理的な場所、人名だけでなく、「ある会議に出席していた」、「ある人と一緒にいた」など、複数のセンサの検出結果を組み合せて得られる事象から、前記条件一致区間を特定するようにしてもよい。
【０２０７】
さらに、「扉の開閉」というような、単発的なセンサ入力信号（トリガ）を条件一致区間検出部３によって検出する場合には、トリガを検出した時点の所定時間前の時点を条件一致区間の開始点として検出し、該トリガを検出した時点の所定時間後の時点を条件一致区間の終了点として検出するように構成する。扉の開閉を検出するためには、扉に開閉検出センサを取り付けることで実施できる。
以上のように、この第５の実施の形態の場合、音声信号または画像信号が入力された場所を条件一致区間検出手段によって検出するように構成した場合には、重要な会議を特定の会議室で行なっているような場合、重要な場所で撮影された重要事象の音声または画像を、高音質／高画質で保存でき、かつ、それ以外の場所で撮影された音声または画像情報であっても少ないデータ量で記憶できる効果がある。
また、外部センサによって特定の人を検出するように構成した場合には、特定の人の音声または画像情報を、最初から最後まで高音質／高画質で保存でき、かつ、その他の人の音声または画像情報であっても少ないデータ量で記憶できる効果がある。
【０２０８】
［第６の実施の形態］
この第６の実施の形態は、条件一致区間検出部３が、ビデオカメラ１７の動き（以下、カメラワークという）を検出する場合である。
【０２０９】
例えば、人物をズームアップで撮影しているような場合には、重要な画像を撮っていることが多く、カメラ１７がズームインしている期間の音声信号または画像信号は、高音質／高画質で記憶したいことが多い。そこで、以下に説明する例では、同じ倍率で撮影している区間を条件一致区間として、その倍率と共に検出するようにする。そして、倍率の高い条件一致区間ほど重要な画像であるとして、重要度を定め、倍率に応じて高品質になるように、後の情報圧縮を行うようにする。これにより、倍率の高い、カメラ１７がズームアップしている区間の画像は、高品質に保たれる。
【０２１０】
以下に、この第６の実施の形態の場合の一例について説明する。
【０２１１】
この例の場合のビデオカメラ１７は、カメラの倍率として、１倍、５倍、１０倍の３つの倍率モードに設定でき、ズームリングの操作に応じて、カメラ操作情報として倍率を示す情報を出力する。このカメラ操作情報は、条件一致区間検出部３に供給される。上述したように、条件一致区間検出部３は、このカメラ操作情報から、カメラの倍率を同じ区間を条件一致区間とし、その倍率と共に検出する。
【０２１２】
すなわち、条件一致区間検出部３は、カメラワークを検出する場合においては、カメラ操作信号の倍率の変化点の時刻を条件一致区間の開始点として検出し、次にカメラ操作信号の倍率が変化した時刻を条件一致区間の終了点として検出する。したがって、この条件一致区間の終了点は、次の条件一致区間の開始点と同一時刻である。この条件一致区間の情報と、倍率の情報とは、対応関係記憶部５に、当該条件一致区間の画像情報および音声情報の時系列情報記憶部の記憶アドレスと対応つけて記憶される。
【０２１３】
図３１は、カメラ倍率と、条件一致区間の関係を示す図である。この図３１において、Ｔ０，Ｔ１，Ｔ２，Ｔ３はそれぞれ条件一致区間である。倍率が１倍である区間Ｔ０，Ｔ３は、ズームリングが操作されないノーマル倍率の区間である。図３１の例では、時点ｔ１でズームリングが操作されて、ズームイン操作開始となり、その始め区間Ｔ１は、倍率が５倍であり、時点ｔ２で倍率が１０倍にアップし、時点ｔ３で倍率が１倍となって、ズームイン操作終了となる。
【０２１４】
この実施の形態では、圧縮部６では、カメラの倍率の、１倍、５倍、１０倍の３つの倍率モードに対して、それぞれの倍率モード時の画像間引き圧縮率を、１フレーム／秒、５フレーム／秒、１０フレーム／秒、に設定している。
【０２１５】
前述の実施の形態と同様に、画像情報が時系列情報記憶部４に記録されてからの経過時間が、所定の時間以上になった場合に、対応関係記憶部５に時刻情報記憶部から圧縮開始指示が与えられて実行される。このとき、対応関係記憶部５は、それぞれの条件一致区間の情報と、倍率と、時系列情報記憶部の記憶アドレスに組を、圧縮部６に送る。圧縮部６は、取得した倍率の情報から、この場合、図２３の区間Ｔ１は５フレーム／秒で、区間Ｔ２は１０フレーム／秒で、それ以外の区間Ｔ０，Ｔ３は１フレーム／秒で圧縮する。
【０２１６】
以上のようにして、この実施の形態の場合には、カメラワークまたはカメラワークの変化に応じて、重要場面の画像信号と、重要でない場面の画像信号の圧縮率を変えて情報を保存することができる。
そして、カメラ操作信号またはカメラ操作信号の変化を条件一致区間検出部３によって検出するように構成した場合には、重要な音声または画像をアップでカメラ撮影しているような場合、ズームインしている期間の音声または画像を、高音質／高画質で保存でき、かつ、それ以外の期間の音声または画像情報であっても少ないデータ量で記憶できる効果がある。
【０２１７】
なお、条件一致区間検出部３は、カメラの操作情報からカメラワークまたはその変化を検知する場合に限らず、カメラからの画像信号から検知するようにすることもできる。
【０２１８】
カメラからの画像信号から検出することができるカメラワークとしては、パンニング、チルティング、ズーミング、ブーミング、トリミング、ドリーイング、カット開始、カット終了などがあり、これらのカメラワークを検出する際には、入力される画像信号を画像認識して検出するようにする。また、これらのカメラワークも、特開平６−１６５００９号公報や特開平７−２４５７５４号公報に記載されているように、カメラ操作に使用したボタンなどの操作信号を検出しても、もちろんよい。
【０２１９】
［第７の実施の形態］
この第７の実施の形態では、時系列情報記憶部４に記憶された音声情報または画像情報が、ユーザによって参照（アクセス）されたか否かという参照状態に基づいて、圧縮率または圧縮方法を変えて情報を圧縮する場合について説明する。
【０２２０】
一般に、頻繁に参照された情報は重要な情報であることから、頻繁に参照された区間の画像情報は高画質で保存し、参照される頻度が低かった画像情報は高圧縮率で圧縮し、少ない情報量で保存するようにする。
【０２２１】
記憶媒体に蓄積された音声情報または画像情報が、ユーザによってどれくらいの頻繁でアクセスされたかという参照状態を記憶しておき、その参照状態に基づいて、圧縮率を変更する。このために、第７の実施の形態では、ユーザからの参照頻度を記憶するための参照状態記憶部を備えている。
【０２２２】
この実施の形態では、前記参照状態記憶部は、前記時系列情報記憶部４に記憶された画像情報の、ユーザによって映像再生された区間と、その区間の映像再生された回数とを、情報の参照状態として記憶する。
【０２２３】
図３２は、時系列情報記憶部４の記憶状態を説明した図である。図において、区間Ｔ２、Ｔ４、Ｔ６は、前述したいくつかの実施の形態の条件一致区間検出部３によって検出された条件一致区間である。すなわち、例えば第１の実施の形態の場合であれば、対話の活発な区間である。その外の区間Ｔ１、Ｔ３、Ｔ５、Ｔ７は、条件一致区間以外の区間である。これらの区間に関する情報は、前述したように対応関係記憶部５に記憶されている。
【０２２４】
図３３は、参照状態記憶部の記憶状態の例を示した図である。参照状態記憶部は、時系列情報記憶部４に画像情報が記憶されてから現時点までに、何回、前記区間Ｔ１〜Ｔ７の画像情報がアクセスされたか、すなわち、何回その区間の映像が再生されたかを記憶している。
【０２２５】
そして、画像情報が時系列情報記憶部４に記録されてからの経過時間（すなわち情報保存時間）が、所定の時間以上になった場合に、時刻情報記憶部７から圧縮開始指示が発生すると、参照状態記憶部は、図３３の参照回数のテーブルの情報を圧縮部６に送る。圧縮部６は、図３４に示される圧縮率設定テーブルを備える。この圧縮率設定テーブルは、参照回数に対して、条件一致区間および条件一致区間以外の区間のそれぞれに設定される圧縮率の対応テーブルである。
【０２２６】
圧縮部６は、この圧縮率設定テーブルを参照して、各区間毎の画像圧縮率を決定する。そして、圧縮部６は、この圧縮率で時系列情報記憶部４に記憶された画像情報を圧縮するようにする。
【０２２７】
例えば、図３２の区間Ｔ１は、条件一致区間以外の区間であり、図３３のテーブルで示されるように参照された回数が０回であるので、図３４の圧縮率設定テーブルに基づいて、画像圧縮率は９０％に設定される。すなわち、区間Ｔ１は、条件一致区間以外の区間であり、かつ、ユーザからアクセスされたことがない区間であるので、重要でない区間であることがわかる。したがって、圧縮時に、９０％の高圧縮率で圧縮される。
【０２２８】
一方、図３２の区間Ｔ６は、条件一致区間であり、図３３のテーブルで示されるように参照された回数が５回であるので、図３４の圧縮率設定テーブルに基づいて、画像圧縮率は１０％に設定される。すなわち、区間Ｔ６は、条件一致区間であり、かつ、ユーザから５回もアクセスされた区間であるので、非常に重要な区間であると見なせる。したがって、圧縮時には、ほとんど圧縮を行なわず、高画質で画像情報が保存される。
【０２２９】
この第７の実施の形態では、参照状態記憶部は、区間と参照回数の関係をテーブルの形式で記憶したが、もちろん、リストやスタック等、他の形式で記憶しても構わない。また、圧縮率設定テーブルの中の数値は、ユーザが設定できるようにしてもよい。
そして、以上説明した第７の実施形態のように、時系列情報記憶部３に記憶された音声情報または画像情報が、ユーザによってどのくらいの頻度で参照（アクセス）されたかという参照状態に基づいて、圧縮量または圧縮方法を変えて情報を圧縮するように構成した場合には、頻繁に参照された情報は重要な情報であることから、頻繁に参照された区間の音声情報または画像情報は高品質で保存し、参照される頻度が低かった音声情報または画像情報は高圧縮率で圧縮し少ない情報量で保存することができる効果がある。
【０２３０】
［第８の実施の形態］
上述した第１、第２、第３、第４、第５、第６、および、第７の実施の形態では、音声情報または画像情報が時系列情報記憶部４に記録されてからの経過時間（すなわち情報保存時間）が、所定の時間以上になった場合に圧縮処理を開始するようにしたが、この第８の実施の形態では、時系列情報記憶部４における空き領域がある値以下になったと認識されたタイミング、または、時系列情報記憶部４における記憶量がある値以上になったと認識されたタイミングで、前記圧縮処理を開始するようにする。
【０２３１】
したがって、記憶時の処理動作は、前述の各実施の形態と同様であるが、情報圧縮時の動作が異なる。
【０２３２】
図３５は、第８の実施の形態における情報圧縮時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明する図である。この実施の形態の情報蓄積装置は、記憶量検出部３１を備えており、この記憶量検出部３１は、画像情報が予め登録した記憶容量を超えて記録されたことを検出した場合に、前記対応関係記憶部５に対し、圧縮処理開始指示を出力する。この圧縮処理開始指示の後の動作については、前述の各実施の形態と同様に行うことができる。
【０２３３】
図３６は、第８の実施の形態における記憶量検出部３１の処理のフローチャートである。ステップＳ８００において、情報記憶量が所定の量を超えたことが検出された場合には、ステップＳ８０１に進んで、対応関係記憶部５に、圧縮処理開始指示を出力する。例えば、記憶媒体の記憶容量の９０％を超えて情報を記録しようとしたときに、前記圧縮処理を実行するように、記憶量検出部３１に設定しておいた場合には、記憶量が記憶媒体の９０％に達したときに、記憶量検出部３１は、圧縮処理開始指示を出力する。
【０２３４】
記憶量検出部３１から圧縮開始指示を受信した対応関係記憶部５は、条件一致区間のそれぞれと、それぞれの条件一致区間に対応して時系列情報記憶部４に記憶されている画像情報の、当該時系列情報記憶部４における記憶アドレスとを圧縮部６に出力する。前述と同様にして、圧縮部６は、時系列情報記憶部４に蓄積された画像情報のデータ圧縮を行なう。もちろん、この場合、新たな画像信号を記録しながら、圧縮処理をバックグラウンドで実行しても構わない。
【０２３５】
また、この実施の形態の場合、画像情報のデータ量が予め定められた記憶容量に収まるように、圧縮率あるいは圧縮方式を設定するようにしてもよい。例えば、記憶媒体の記憶容量の９０％を超えて情報を記録しようとしたときに、前記圧縮処理によって、記憶媒体の使用量が３０％にまで減少するように設定しておく。この設定値から、条件一致区間および条件一致区間以外の区間の圧縮率を算出するように構成する。
【０２３６】
たとえば、時系列情報記憶部４に非圧縮画像が１００００フレーム分、蓄積されていたとする。この１００００フレームの内分けは、条件一致区間が２０００フレーム、条件一致区間以外の区間が８０００フレームとする。
【０２３７】
このときに、３０００フレームにまで画像情報を減らすようにフレーム間引き圧縮処理を施す場合について説明する。また、条件として、条件一致区間の圧縮率と条件一致区間以外の区間の圧縮率の比が、１：１０になるように予め定めてあったとする。
【０２３８】
この場合、条件一致区間の圧縮率をａとすれば、条件一致区間以外の区間の圧縮率は１０ａである。
【０２３９】
２０００ａ＋８０００×１０ａ＝３０００
を満たす圧縮率ａは０．０３６６であるから、条件一致区間の圧縮率と条件一致区間以外の区間の圧縮率は、それぞれ、３．６６％と３６．６％となる。
【０２４０】
時系列情報記憶部４に記憶されている非圧縮画像１００００フレームを、条件一致区間と、条件一致区間以外の区間とで分けて、それぞれの圧縮率でフレーム間引き圧縮を施せば、所望の３０００フレームにまで画像情報を減らすことができる。
以上のように、第８の実施の形態によれば、順次入力される音声または画像情報が、蓄積媒体の記憶容量を超えて入力される場合に、時系列情報記憶手段における空き領域がある値以下になったと認識されたタイミング、または、時系列情報記憶手段における記憶量がある値以上になったと認識されたタイミングで圧縮処理を開始するように構成したので、新たに入力される音声または画像情報が時系列情報記憶手段の記憶容量を超えて入力される場合にでも、入力を継続できる効果がある。
【０２４１】
［第９の実施の形態］
公知の技術として、記録時に情報の取捨選択を行ない、重要と認識された情報のみを記録したり、圧縮率を変化させて記録する装置が知られている。例えば、特開平７−１２９１８７号公報には、音声取り込みキーを押したときの前後の音声を一定時間分だけ記録する装置が記載されている。また、市販されているテープレコーダの中には、無音区間は音声を記憶しないという無音区間検出機能を持ったものがある。
【０２４２】
しかしながら、特開平７−１２９１８７号公報記載の装置のように記録時に情報の取捨選択を行なう方法では、例えば、会議の中で最も数多く発言した人を特定し、この特定した人の発言部分の音声情報または画像情報のみを高品質で保存するといったようなことや、ユーザが指定した時間長になるように高い重要度を持ったシーンから順に抽出してダイジェストを作成するといったようなことができない。すなわち、音声情報または画像情報の記録終了後に初めて得られる情報、または、記録しながらでは得られない情報を元にして、音声情報または画像情報の圧縮を行なうことができないという問題がある。
【０２４３】
この実施の形態では、音声情報または画像情報の記録終了後に初めて得られる情報に基づいて圧縮方法や圧縮率を設定する場合について説明する。
【０２４４】
例えば、会議の場面において、話者の発話が長く継続している場面は、連絡事項を伝達している場面であったり、まとまった意見を発言している場面であったり、議論のまとめを行なっている場面であったりと、重要な発言が述べられている場面であることが多い。そこで、１つの会議を撮影した後に、発言時間の長い場面から順に高い重要度を割り当て、情報圧縮時には、高い重要度を割り当てられた発言部分を高音質／高画質で保存し、重要度の低いその他の部分を高圧縮率で圧縮するようにする。
【０２４５】
また、他の例として、例えば、予め登録された音声キーワードが、会議の中でどの位の時間に渡って用いられたかを記憶しておき、使用時間の長いキーワードから順に高い重要度を割り当てるようにしてもよい。例えば、会議の場面においては、長時間議論された議論は重要な議論であることが多い。そこで、議論の内容を推定できるようなキーワードを予め登録しておき、そのキーワードを入力音声信号の中から検出するようにする。
【０２４６】
そして、特定のキーワードが長時間に渡って使用されたことを検出することにより、そのキーワードに対応した議論が長時間なされたと認識し、このキーワード出現区間を重要部分と見なす。情報圧縮時には、高い重要度が割り当てられた区間を高音質／高画質で保存し、重要度の低いその他の区間を高圧縮率で圧縮するようにする。
以上説明した第７の実施形態のように、条件一致区間検出部３が検出した検出結果を組み合わせて音声情報または画像情報の重要度を決定し、この重要度に基づき、条件一致区間と他の区間とで圧縮量あるいは圧縮方式を変更して、音声情報または画像情報のデータ圧縮を行なうように構成した場合には、様々な事象が組み合わさった複雑な事象に応じた圧縮率または間欠記録の時間間隔で音声または画像情報を記憶できる効果がある。
【０２４７】
［第１０の実施の形態］
以上に説明した第１の実施の形態〜第９の実施の形態は、情報の入力時に、条件一致区間検出部３によって条件一致区間を検出し、その検出結果と、それぞれの条件一致区間に対応する音声情報または画像情報の時系列情報記憶部４における記憶位置とを対応付けて対応関係記憶部５に記憶し、圧縮部６は、対応関係記憶部５に記憶された対応関係情報に基づいて時系列情報記憶部４に記憶された前記音声情報または画像情報を圧縮するように構成していた。
【０２４８】
この第１０の実施の形態では、情報の入力時には条件一致区間を検出せず、情報の圧縮時に、条件一致区間検出部３によって条件一致区間を検出するようにする。この実施の形態の場合には、対応関係記憶部５が不要となる。
【０２４９】
図３７は、第１０の実施の形態における記録時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明する図である。この第１０の実施の形態の場合の記憶時には、入力音声情報および画像情報を、時系列情報記憶部４に順次に記憶する。時系列情報記憶部４は、記憶開始時刻を時刻情報記憶部７に記憶させるようにする。
【０２５０】
第１の実施の形態における記憶時の動作を説明した図３と、この第１０の実施の形態における記憶時の動作を説明した図３７とを比較すると、図３７では、対応関係記憶部５を備えず、また、記憶時に条件一致区間検出処理を行なわないために、処理が非常に単純化されている。
【０２５１】
図３８は、この第１０の実施の形態における記録時の処理のフローチャートである。まず、ステップＳ９００において、時刻情報記憶部７に記録開始時間が記憶され、ステップＳ９０１に進む。ステップＳ９０１では、音声情報と画像情報とを音声情報入力部１と画像情報入力部２によって入力し、ステップＳ９０２で、この入力された音声情報と画像情報とを時系列情報記憶部４に記憶する。そして、ステップＳ９０１とＳ０２とを繰り返す。
【０２５２】
図３９は、この第１０の実施の形態における圧縮時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明する図である。この第１０の実施の形態においては、例えば記憶時から所定時間経過して、時刻情報記憶部７から圧縮処理開始指示が発生すると、条件一致区間検出部３は、時系列情報記憶部４から音声情報を読み出して、前述したような条件一致区間の検出を行う。この実施の形態では、第１の実施の形態と同様に、対話の活発な区間を条件一致区間として検出する。そして、条件一致区間検出部３は、検出した条件一致区間の情報を時系列情報記憶部４に送ると共に、圧縮部６に送る。
【０２５３】
時系列情報記憶部４は、条件一致区間検出部３からの条件一致区間情報を受け取り、この条件一致区間に対応して時系列情報記憶部４に記憶されている音声情報または画像情報の、時系列情報記憶部４における記憶アドレスを計算する。そして、この記憶アドレスを圧縮部６に出力する。
【０２５４】
圧縮部６は、条件一致区間検出部３からの条件一致区間情報と、時系列情報記憶部４からの前記記憶アドレスとを受け取り、これらの入力情報に基づいて、条件一致区間および条件一致区間以外の区間の画像情報の圧縮率を決定する。すなわち、条件一致区間の画像情報の圧縮率は低く、条件一致区間以外の区間の画像情報の圧縮率は高く決定する。例えば、条件一致区間は圧縮せず、条件一致区間以外の区間の部分画像列を圧縮部６は、時系列情報記憶部４から受け取り、第１の実施の形態と同様に、１／１０に圧縮する。そして、その圧縮後の部分画像列を時系列情報記憶部４に書き戻すようにする。
【０２５５】
図４０は、この第１０の実施の形態の場合の圧縮時の処理のフローチャートである。このフローチャートに示す処理は、図２の会議情報蓄積処理部１２で実行される処理内容に相当する。
【０２５６】
すなわち、この第１０の実施の形態においては、音声情報および画像情報が時系列情報記憶部４に記録されてからの経過時間が所定の時間以上になったことをステップＳ１０００において検出する。これは、図３９の機能ブロックでは時刻情報記憶部７にて行われる処理である。情報の保存期間が所定の時間を超過したときには、ステップＳ１００１に進み、圧縮処理開始指示を発生し、前述したように、条件一致区間検出部３に供給する。
【０２５７】
圧縮処理開始指示を受け取った条件一致区間検出部３は、ステップＳ１００２において、条件一致区間の検出を実行する。そして、ステップＳ１００３において、条件一致区間を検出したか否か判別し、その判別結果を時系列情報記憶部４に送る。条件一致区間検出部３が条件一致区間を検出したときにはステップＳ１００４に進み、低圧縮率で圧縮を実行する。第１の実施の形態と同様に、時系列情報記憶部４の条件一致区間の情報は圧縮しないようにしてもよい。
【０２５８】
一方、ステップＳ１００３で条件一致区間以外の区間であると判別されたときには、ステップＳ１００５に進み、時系列情報記憶部４に記憶された当該条件一致区間以外の区間の画像情報を読み出し、高圧縮率の圧縮、例えば１０フレームの内の最初の１フレームのみを残す間引きによる圧縮を施す。
【０２５９】
そして、ステップＳ１００４およびＳ１００５の後には、ステップＳ１００６に進み、圧縮後の画像情報を時系列情報記憶部４に書き戻す。そして、ステップＳ１００７に進み、時系列情報記憶部４に記憶した情報のすべてについて圧縮処理を終了したか否か判別し、終了していなければステップＳ１００３に戻って、このステップＳ１００３以降を繰り返す。また、すべての情報について圧縮処理を終了していれば、この圧縮処理ルーチンを終了する。
【０２６０】
［その他の変形例］
以上説明した第１の実施の形態から第１０の実施の形態は、各実施の形態の説明中に明記した態様のほかにも、適宜、各実施の形態を組み合わせて、この発明の情報蓄積装置を構成することも可能である。
【０２６１】
例えば、第３の実施の形態で説明した段階的圧縮方法を、第７の実施の形態で説明した参照状態記憶方法と組み合わせて用いることで、画像情報の参照状態に応じて、段階的に画像情報の圧縮率を高めるようにすることができる。
【０２６２】
また、第３の実施の形態は、第２の実施の形態の変形として説明したが、第１の実施の形態の変形として実施してもよい。
【０２６３】
さらに、第８の実施の形態で説明した記憶量検出部は、第１の実施の形態から第７の実施の形態まで、および、第９の実施の形態から第１０の実施の形態までと組み合わせて実施することができる。
【０２６４】
また、第１の実施の形態から第９の実施の形態までの実施の形態は、第１０の実施の形態で説明したように、対応関係記憶部を備えないようにして構成することもできる。
【０２６５】
【発明の効果】
以上説明したように、請求項１の発明による情報蓄積装置によれば、音声情報または画像情報のうちの、特徴的な事象が起こっている重要部分を限られた蓄積媒体の中に数多く記憶でき、かつ、重要部分以外の音声情報または画像情報であっても少ないデータ量で長時間記憶できる効果がある。
【０２６６】
そして、請求項２の発明の場合には、情報圧縮時における条件一致区間検出操作が不要となり、音声情報または画像情報を圧縮する際のシステムの負荷を軽減できる効果がある。
【０２６７】
また、請求項３の発明の場合には、音声信号の状態変化の検出が困難な事象が起きた場合や、入力される音声信号に含まれない情報に状態変化が起きた場合にでも、音声情報または画像情報のうちの、特徴的な事象が起こっている重要部分を限られた蓄積媒体の中に数多く記憶でき、かつ、重要部分以外の音声情報または画像情報であっても少ないデータ量で長時間記憶できる効果がある。
【０２６８】
また、請求項４の発明の場合には、情報圧縮時における条件一致区間検出操作が不要となり、音声情報または画像情報を圧縮する際のシステムの負荷を軽減できる効果がある。
【図面の簡単な説明】
【図１】この発明による情報蓄積装置の第１の実施の形態の全体を示す機能ブロックである。
【図２】この発明による情報蓄積装置の実施の形態が適用されるシステムの概要を説明する図である。
【図３】第１の実施の形態の条件一致区間検出部の、音声レベル検出動作の説明のための図である。
【図４】第１の実施の形態の条件一致区間検出部の、活発な対話区間を検出する動作の説明のための図である。
【図５】第１の実施の形態の情報記録時の動作の流れを示す図である。
【図６】第１の実施の形態における条件一致区間検出部の動作のフローチャートである。
【図７】第１の実施の形態における対応関係記憶部の動作のフローチャートである。
【図８】第１の実施の形態における、条件一致区間検出部の検出結果と、時系列情報記憶部のメモリアドレスとの対応関係を説明するための図である。
【図９】第１の実施の形態における、条件一致区間検出部の検出結果と、時系列情報記憶部のメモリアドレスとの対応関係を管理するテーブルである。
【図１０】第１の実施の形態における時系列情報記憶部の動作のフローチャートである。
【図１１】第１の実施の形態における時刻情報記憶部の動作のフローチャートである。
【図１２】第１の実施の形態における時刻情報記憶部の記憶構造を説明する図である。
【図１３】第１の実施の形態における時刻情報記憶部の記憶構造の他の例を説明する図である。
【図１４】第１の実施の形態の情報圧縮時の動作の流れを示す図である。
【図１５】第１の実施の形態における圧縮部の動作のフローチャートである。
【図１６】第１の実施の形態における、圧縮前と、圧縮後の時系列情報記憶部の記憶状態を、比較して説明するための図である。
【図１７】第２の実施の形態の情報記録時の動作の流れを示す図である。
【図１８】第２の実施の形態における周波数帯域別画像生成部の処理のフローチャートである。
【図１９】第２の実施の形態における時系列情報記憶部の、圧縮処理前のメモリ記憶状態を説明する図である。
【図２０】第２の実施の形態の情報圧縮時の動作の流れを示す図である。
【図２１】第２の実施の形態における圧縮処理のフローチャートである。
【図２２】第２の実施の形態における時系列情報記憶部の、圧縮処理後のメモリ記憶状態を説明する図である。
【図２３】第３の実施の形態における時系列情報記憶部の、情報記録時点のメモリ記憶状態を説明する図である。
【図２４】第３の実施の形態における、段階的な圧縮を実行する時刻を管理する、圧縮時刻管理テーブルである。
【図２５】第３の実施の形態における時系列情報記憶部の、１週間経過後のメモリ記憶状態を説明する図である。
【図２６】第３の実施の形態における時系列情報記憶部の、１ヶ月経過後のメモリ記憶状態を説明する図である。
【図２７】第３の実施の形態における時系列情報記憶部の、半年後のメモリ記憶状態を説明する図である。
【図２８】第４の実施の形態における、音声信号の中に予め登録されたキーワードが出現したことを検出する場合の、キーワード有効期間を管理するテーブルである。
【図２９】第４の実施の形態における、音声信号の中に予め登録された音声信号パターンが出現したことを検出する場合の、パターン有効期間を管理するテーブルである。
【図３０】第５の実施の形態における、条件一致区間検出部が場所を検出する場合の、場所と場所の重要度を対応づけて管理するテーブルである。
【図３１】第６の実施の形態における、条件一致区間検出部がカメラワークを検出する場合の、圧縮率設定処理を説明する図である。
【図３２】第７の実施の形態における時系列情報記憶部の条件一致区間を示す図である。
【図３３】第７の実施の形態における参照状態記憶部の記憶状態を管理するテーブルである。
【図３４】第７の実施の形態における圧縮率設定テーブルの記憶状態を管理するテーブルである。
【図３５】第８の実施の形態の情報圧縮時の動作の流れを示す図である。
【図３６】第８の実施の形態における記憶量検出部の処理のフローチャートである。
【図３７】第１０の実施の形態における情報記録時の動作の流れを示す図である。
【図３８】第１０の実施の形態における情報記録処理のフローチャートである。
【図３９】第１０の実施の形態における情報圧縮時の動作の流れを示す図である。
【図４０】第１０の実施の形態における情報圧縮処理のフローチャートである。
【符号の説明】
１  音声情報入力部
２  画像情報入力部
３  条件一致区間検出部
４  時系列情報記憶部
５  対応関係記憶部
６  圧縮部
７  時刻情報記憶部
８  再生部
９  制御部
１０  情報蓄積装置
１１  音声信号解析器
１２  会議情報蓄積処理装置
１３  蓄積媒体
１４  モニター装置
１５  マイクロホン
１６  会議参加者
２１  周波数帯域別画像生成部
３１  記憶量検出部
【図１】
0003960646.tif 000002
【図２】
0003960646.tif 000003
【図３】
0003960646.tif 000004
【図４】
0003960646.tif 000005
【図５】
0003960646.tif 000006
【図６】
0003960646.tif 000007
【図７】
0003960646.tif 000008
【図８】
0003960646.tif 000009
【図９】
0003960646.tif 000010
【図１０】
0003960646.tif 000011
【図１１】
0003960646.tif 000012
【図１２】
0003960646.tif 000013
【図１３】
0003960646.tif 000014
【図１４】
0003960646.tif 000015
【図１５】
0003960646.tif 000016
【図１６】
0003960646.tif 000017
【図１７】
0003960646.tif 000018
【図１８】
0003960646.tif 000019
【図１９】
0003960646.tif 000020
【図２０】
0003960646.tif 000021
【図２１】
0003960646.tif 000022
【図２２】
0003960646.tif 000023
【図２３】
0003960646.tif 000024
【図２４】
0003960646.tif 000025
【図２５】
0003960646.tif 000026
【図２６】
0003960646.tif 000027
【図２７】
0003960646.tif 000028
【図２８】
0003960646.tif 000029
【図２９】
0003960646.tif 000030
【図３０】
0003960646.tif 000031
【図３１】
0003960646.tif 000032
【図３２】
0003960646.tif 000033
【図３３】
0003960646.tif 000034
【図３４】
0003960646.tif 000035
【図３５】
0003960646.tif 000036
【図３６】
0003960646.tif 000037
【図３７】
0003960646.tif 000038
【図３８】
0003960646.tif 000039
【図３９】
0003960646.tif 000040
【図４０】
0003960646.tif 000041