(57)【特許請求の範囲】
【請求項１】
異なる場所から送られてくるそれぞれ異なる入力情報を受け取る手段と、
前記入力情報に含まれる音声を有音ブロックと無音ブロックとに分け、前記有音ブロックに含まれる音声を認識して前記異なる場所の各々で発言された内容を示すテキストをそれぞれ生成する生成手段と、
前記有音ブロックのそれぞれについて、前記生成手段でテキストが生成されたか否かを判断する判断手段と、
前記有音ブロックのうち前記生成手段によりテキストが生成されたと前記判断手段により判断された各有音ブロックについて、生成された該テキストと、前記入力情報に含まれる画像のうち該テキストに対応した画像とを、それらの発生場所に対応付けられた領域内で且つそれらの発生順に配置して合成する合成手段とを有することを特徴とする情報処理装置。
【請求項２】
前記入力情報に含まれる画像データから得られる静止画像データを、画像認識し、認識されたデータをそれぞれのデータ形式に変換する変換手段を更に備えることを特徴とする請求項１記載の情報処理装置。
【請求項３】
異なる場所から送られてくるそれぞれ異なる入力情報を、受け取る手段が、受け取る工程と、
前記入力情報に含まれる音声を有音ブロックと無音ブロックとに分け、前記有音ブロックに含まれる音声を認識して前記異なる場所の各々で発言された内容を示すテキストを、生成手段が、それぞれ生成する生成工程と、
前記有音ブロックのそれぞれについて、前記生成工程でテキストが生成されたか否かを、判断手段が、判断する判断工程と、
前記有音ブロックのうち前記生成工程によりテキストが生成されたと前記判断工程により判断された各有音ブロックについて、生成された該テキストと、前記入力情報に含まれる画像のうち該テキストに対応した画像とを、それらの発生場所に対応付けた領域内で且つそれらの発生順に、合成手段が、配置して合成する合成工程とを有することを特徴とする情報処理方法。
【請求項４】
異なる場所から送られてくるそれぞれ異なる入力情報を、受け取る手段が、受け取る工程と、
前記入力情報に含まれる音声を有音ブロックと無音ブロックとに分け、前記有音ブロックに含まれる音声を認識して前記異なる場所の各々で発言された内容を示すテキストを、生成手段が、それぞれ生成する生成工程と、
前記有音ブロックのそれぞれについて、前記生成工程でテキストが生成されたか否かを、判断手段が、判断する判断工程と、
前記有音ブロックのうち前記生成工程によりテキストが生成されたと前記判断工程により判断された各有音ブロックについて、生成された該テキストと、前記入力情報に含まれる画像のうち該テキストに対応した画像とを、それらの発生場所に対応付けた領域内で且つそれらの発生順に、合成手段が、配置して合成する合成工程とコンピュータに実行させることを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置およびその方法に関し、例えば、入力情報に基づいて、会議の議事録などを作成することができる情報処理装置およびその方法に関するものである。
【０００２】
【従来の技術】
近年、ネットワークを利用して距離的に離れた各会議室を結んで会議を行うという、いわゆるテレビ会議が一般化しつつある。このテレビ会議では、距離的に離れた各会議室にいる相手の容姿や発言は、会議室に設置されたビデオカメラなどを通して配信される。また、音声認識および画像認識技術を応用すれば、記録された画像および音声に基づいて、会議の内容が記録された議事録を作成することも考えられる。
【０００３】
【発明が解決しようとする課題】
しかし、上述した技術においては、次のような問題がある。
【０００４】
音声認識および画像認識を用いて作成される議事録は、ある程度会議の流れにそった形で発言内容をまとめることができる。しかし、その議事録からそれぞれの発言がどの会議室で発言されたものかを判断することは容易にできない。
【０００５】
本発明は、上記の問題を解決するものであり、例えば、テレビ会議における議事録を生成する場合に、各情報の発生場所および発生順を示すことができる情報処理装置およびその方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【０００７】
本発明にかかる情報処理装置は、異なる場所から送られてくるそれぞれ異なる入力情報を受け取る手段と、前記入力情報に含まれる音声を有音ブロックと無音ブロックとに分け、前記有音ブロックに含まれる音声を認識して前記異なる場所の各々で発言された内容を示すテキストをそれぞれ生成する生成手段と、前記有音ブロックのそれぞれについて、前記生成手段でテキストが生成されたか否かを判断する判断手段と、前記有音ブロックのうち前記生成手段によりテキストが生成されたと前記判断手段により判断された各有音ブロックについて、生成された該テキストと、前記入力情報に含まれる画像のうち該テキストに対応した画像とを、それらの発生場所に対応付けられた領域内で且つそれらの発生順に配置して合成する合成手段とを有することを特徴とする。
【０００８】
本発明にかかる情報処理方法は、異なる場所から送られてくるそれぞれ異なる入力情報を、受け取る手段が、受け取る工程と、前記入力情報に含まれる音声を有音ブロックと無音ブロックとに分け、前記有音ブロックに含まれる音声を認識して前記異なる場所の各々で発言された内容を示すテキストを、生成手段が、それぞれ生成する生成工程と、前記有音ブロックのそれぞれについて、前記生成工程でテキストが生成されたか否かを、判断手段が、判断する判断工程と、前記有音ブロックのうち前記生成工程によりテキストが生成されたと前記判断工程により判断された各有音ブロックについて、生成された該テキストと、前記入力情報に含まれる画像のうち該テキストに対応した画像とを、それらの発生場所に対応付けた領域内で且つそれらの発生順に、合成手段が、配置して合成する合成工程とを有することを特徴とする。
【０００９】
【発明の実施の形態】
以下、本発明にかかる一実施形態の情報処理装置およびその方法について図を参照して詳細に説明する。
【００１０】
［第一実施形態］
図１は、本発明にかかる一実施形態の情報処理装置の構成例を示すブロック図である。
【００１１】
本発明の情報処理装置は画像入力部１０１、画像入力インタフェイス部１０２、音声入力部１０３、音声入力インタフェイス部１０４、ＣＰＵ１０５、ＲＯＭ１０６、ＲＡＭ１０７、出力部１０８、出力インタフェイス部１０９、外部記憶部１１０、外部記憶インタフェイス部１１１、システムバス１１２を備える。
【００１２】
画像入力部１０１は、外部機器などから画像を入力するための画像入力部である。画像入力インタフェイス部１０２は、画像入力部１０１とシステムバス１１２とをインタフェイスする。音声入力部１０３は、外部機器などから音声等の音声を入力するための音声入力部である。音声入力インタフェイス部１０４は、音声入力部１０３とシステムバス１１２とをインタフェイスする。ＣＰＵ１０５は、装置全体の制御および本発明のアプリケーションプログラム等を実行するためのＣＰＵである。
【００１３】
ＲＯＭ１０６は、装置全体を制御するためのプログラムや本発明のアプリケーションプログラム等を格納するためのＲＯＭである。ＲＡＭ１０７は、入力された画像データや音声データの展開領域、ＣＰＵ１０５の作業領域等として使用するためのＲＡＭである。出力部１０８は、本発明の情報処理装置を使用して処理された文書データ等をモニタ等に出力するための出力部である。出力インタフェイス部１０９は出力部１０８とシステムバス１１２とをインタフェイスする。
【００１４】
外部記憶部１１０は、各種データ等を記憶するためのフロッピディスクやハードディスク等の外部記憶部である。外部記憶インタフェイス部１１１は、外部記憶部１１０とシステムバス１１２とをインタフェイスする。システムバス１１２は、画像入力インタフェイス部１０２、音声入力インタフェイス部１０４、ＣＰＵ１０５、ＲＯＭ１０６、ＲＡＭ１０７、出力インタフェイス部１０９、外部記憶インタフェイス部１１１にインタフェイスする。
【００１５】
図２は、本発明にかかる第一実施形態の情報処理装置の処理について説明するためのフローチャートである。
【００１６】
なお、第一実施形態では、例えば、２地点間で行われるテレビ会議に本発明を適用した場合について説明を行う。
【００１７】
ステップＳ２０１では、入力された音声および動画像等を、ＨＴＭＬ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）形式、ＲＴＦ（Ｒｉｃｈ  Ｔｅｘｔ  Ｆｏｒｍａｔ）形式、ＰＤＬ（Ｐａｇｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｌａｎｇｕａｇｅ）形式等の文書フォーマットに変換するために、ユーザが所望する文書フォーマット（ファイル形式）を選択する。第一実施形態では、例えば、ＲＴＦ形式の文書フォーマットがユーザにより選択されたものとして、以下の説明を行う。
【００１８】
ステップＳ２０２では、例えば、ネットワーク等に接続された外部機器等から出力される音声および動画像等を、音声入力部１０３および画像入力部１０１を介して入力する。第一実施形態では、２地点間で行われるテレビ会議を例としているので、このステップＳ２０２では、例えば、地点Ａ側に備付けられた外部機器から出力される音声および動画像等と、地点Ｂ側に備付けられた外部機器から出力される音声および動画像等とが入力される。
【００１９】
ステップＳ２０３では、入力された音声データに基づき、音声データを有音ブロックおよび無音ブロックに分割し、オーディオ・ビジュアル統合データ（以後「ＡＶ統合データ」とする）として、ＡＶ統合データ格納部４１に記録する。また、入力された音声や動画像データの発生場所を示す位置情報や時間情報などを外部機器などから入力し、ＡＶ統合データ格納部４１に含まれる位置情報および時間情報を記憶するためのエリアに記録する。このステップＳ２０３の詳細な処理については、図３のフローチャートに従って説明する。
【００２０】
ステップＳ３０１では、入力された音声データに基づき、音声データを有音ブロックおよび無音ブロックに分割する。上述したブロック化について、図５を用いて説明すると次のようになる。つまり、音声データの再生レベルが所定のレベルに達してから所定のレベル未満になるまでの時間があらかじめ設定された所定の時間以上の場合、その期間に対応する音声データを１ブロックの有音ブロックとし、音声データの再生レベルが所定のレベルに達してから所定のレベル未満になるまでの時間があらかじめ設定された所定の時間未満の期間、または、音声データの再生レベルが所定のレベル未満になってから所定のレベルに達するまでの期間に対応する音声データを１ブロックの無音ブロックとする。
【００２１】
ステップＳ３０２では、一ブロック単位に音声データの有音ブロックに対する音声認識を行ない、音声データからテキストコードへの変換を行なう。なお、この音声認識処理は周知の技術により実行可能である。ステップＳ３０３では、図４に示すように、コード変換した一ブロック分のテキストデータをＡＶ統合データ格納部４１に含まれるテキストデータを記憶するためのエリアに記録する。
【００２２】
ステップＳ３０４では、音声データの一ブロック分の有音ブロックに対応する動画像データを所定の時間間隔Ｔ毎で区切り、区切った時間に対応する動画像データの一部をｎ個の静止画像データとして選択する。そして、そのｎ個の静止画像データを有効画像データとし、音声データの１ブロック分の無音ブロックに対応する動画像データを無効画像データとする。
【００２３】
上述したように動画像データの一部をｎ個の静止画像データとして選択する場合、例えば、システムあるいはユーザなどにより、動画像データの最初のフレームに対応する静止画像データのみを選択するようにしてもよい。このようにすれば、記憶域に余分なデータが記憶されないため、記憶域を有効に使用できるなどの効果を得ることができる。
【００２４】
ステップＳ３０５では、図４に示すように、一ブロック分のｎ個の有効画像データを、ＡＶ統合データ格納部４１に含まれる静止画像（有効画像）データを記憶するためのエリアに記録する。
【００２５】
ステップＳ３０６では、ＡＶ統合データ格納部４１に格納された一ブロック分の静止画像データに含まれる文字や表などを画像認識し、画像認識データに変換する。なお、この画像認識処理は周知の技術により実行可能である。ステップＳ３０７では、図４に示すように、変換した一ブロック分の画像認識データを、ＡＶ統合データ格納部４１に含まれる画像認識データを記憶するためのエリアに記録する。
【００２６】
ステップＳ３０８では、全ブロックに対して、ステップＳ３０２〜ステップＳ３０７までの処理が終了したか否か判断し、終了した場合ステップＳ２０４へ進み、終了していない場合ステップＳ３０２へ戻る。
【００２７】
以上のようにして、各々のブロックに対応する音声データおよび動画像データに基づいて生成されたテキストデータ、静止画像（有効画像）データ、画像認識データは、ＡＶ統合データ格納部４１に含まれるそれぞれの記憶エリアに記録される。
【００２８】
ステップＳ２０４では、ＡＶ統合データ格納部４１に格納されたテキストデータを１ブロック毎にＲＴＦ形式のフォーマットに変換し、さらに、テキストデータに対応するｎ個の静止画像データをＲＴＦ形式に適した画像形式に変換する。このステップでは、ＲＴＦ形式に適した画像形式に変換する静止画像データをｎ個の静止画像データの中から任意に選択することもできる。
【００２９】
ステップＳ２０５では、ユーザあるいは装置により、例えば、ＲＴＦ形式に変換したテキストデータおよび静止画像データ（あるいは、画像認識データ）を、プリンタ等を使用して記録媒体に記録する際のレイアウトが設定される。つまり、第一実施形態では、２地点間で行われるテレビ会議を例としているので、このステップＳ２０５では、例えば、会議中に地点Ａ側で発言された内容等を示す音声データおよび地点Ａ側の会議室の様子等を示す動画像データに基づいて、ＲＴＦ形式に変換したテキストデータおよび静止画像データ（あるいは、画像認識データ）と、会議中に地点Ｂ側で発言された内容等を示す音声データおよび地点Ｂ側の会議室の様子等を示す動画像データに基づいて、ＲＴＦ形式に変換したテキストデータ、および、静止画像データ（あるいは、画像認識データ）とを合成し文書データ化するという処理を行う。なお、第一実施形態では、複数の静止画像データ全てを文書データ化しているが、本発明はこれに限られたものではなく、例えば、複数の静止画像データの中から任意に静止画像データを選択して、文書データ化することも可能である。
【００３０】
ステップＳ２０６では、ステップＳ２０５で合成された文書データに対応する画像をプリンタ等から印刷する。
【００３１】
図６は、合成された文書データの印刷例を示す図である。
【００３２】
７００１は、地点Ａ側で発言された内容等を示す音声データに基づいて生成されたテキストデータである。７００２は、地点Ａ側の会議室の様子等を示す動画像データに基づいて生成された静止画像データ、あるいは、画像認識データである。７００３は、地点Ｂ側で発言された内容等を示す音声データに基づいて生成されたテキストデータである。７００４は、地点Ｂ側の会議室の様子等を示す動画像データに基づいて生成された静止画像データ、あるいは、画像認識データである。
【００３３】
７００５に示すように、地点Ａ側の音声データおよび動画像データに基づいて生成されたテキストデータおよび静止画像データと、地点Ｂ側の音声データおよび動画像データに基づいて生成されたテキストデータおよび静止画像データとを、時系列（直列）に配置すると会議の流れにそった形で会議の議事録などを作成することができる。
【００３４】
また、図７の６００１は、地点Ａ側で発言された内容等を示す音声データに基づいて生成されたテキストデータである。６００２は、地点Ａ側の会議室の様子等を示す動画像データに基づいて生成された静止画像データである。６００３は、地点Ｂ側で発言された内容等を示す音声データに基づいて生成されたテキストデータである。６００４は、地点Ｂ側の会議室の様子等を示す動画像データに基づいて生成された静止画像データである。
【００３５】
６００５に示すように、地点Ａ側の音声データおよび動画像データに基づいて生成されたテキストデータおよび静止画像データを例えば記録紙等の左側に配置し、また、地点Ｂ側の音声データおよび動画像データに基づいて生成されたテキストデータおよび静止画像データを例えば記録紙等の右側に配置する。さらに、発言の順番に縦方向にテキストデータおよび画像データを配置すれば、会議の流れにそった形で会議の議事録などを作成することができる。
【００３６】
［第二実施形態］
第二実施形態では、ＡＶ統合データ格納部４１に格納された静止画像データに含まれる文字や表などを画像認識し、会議中に使用された資料等をテキストコードや表データへ変換して、会議の議事録などを作成することができる。
【００３７】
この第二実施形態の情報処理装置の処理について、図２および図８のフローチャートに従って説明する。
【００３８】
図８は、図２のステップＳ２０３の詳細な処理について説明するためのフローチャートである。なお、第二実施形態では、図２のステップＳ２０３の処理のみが第一実施形態の処理と異なるため、図２のステップＳ２０１、ステップＳ２０２、ステップＳ２０４〜ステップＳ２０６については詳細な説明を省略する。
【００３９】
ステップＳ８０１では、入力された音声データに基づき、音声データを有音ブロックおよび無音ブロックに分割する。上述したブロック化について、図５を用いて説明すると次のようになる。つまり、音声データの再生レベルが所定のレベルに達してから所定のレベル未満になるまでの時間があらかじめ設定された所定の時間以上の場合、その期間に対応する音声データを１ブロックの有音ブロックとし、音声データの再生レベルが所定のレベルに達してから所定のレベル未満になるまでの時間があらかじめ設定された所定の時間未満の期間、または、音声データの再生レベルが所定のレベル未満になってから所定のレベルに達するまでの期間に対応する音声データを１ブロックの無音ブロックとする。
【００４０】
ステップＳ８０２では、一ブロック単位に音声データの音声認識を行ない、音声データからテキストコードへの変換を行なう。なお、この音声認識処理は周知の技術により実行可能である。ステップＳ８０３では、図９に示すように、コード変換した一ブロック分のテキストデータを、ＡＶ統合データ格納部４１に含まれるテキストデータを記憶するためのエリアに記録する。
【００４１】
ステップＳ８０４では、音声データの一ブロック分の有音ブロックに対応する動画像データを所定の時間間隔Ｔ毎に分割してｎ個の静止画像データを選択する。そして、そのｎ個の静止画像データを有効画像データとし、音声データの１ブロック分の無音ブロックに対応する動画像データを無効画像データとする。ステップＳ８０５では、図９に示すように、一ブロック分のｎ個の静止画像（有効画像）データを、ＡＶ統合データ格納部４１に含まれる静止画像（有効画像）データを記憶するためのエリアに記録する。
【００４２】
ステップＳ８０６では、ＡＶ統合データ格納部４１に格納された一ブロック分の静止画像データに含まれる文字や表などを画像認識し、静止画像データに文字領域が含まれている場合、文字認識処理によりテキストコードに変換する。なお、この文字認識処理は周知の技術により実行可能である。ステップＳ８０７では、図９に示すように、変換した一ブロック分のテキストデータを、ＡＶ統合データ格納部４１に含まれる文字認識データを記憶するためのエリアに記録する。
【００４３】
ステップＳ８０８では、ＡＶ統合データ格納部４１に格納された一ブロック分の静止画像データに含まれる文字や表などを画像認識し、静止画像データに表領域が含まれている場合、例えば、表計算ソフトウェアなどで使用することができる表データ形式に変換する。なお、この画像認識処理は周知の技術により実行可能である。ステップＳ８０９では、図９に示すように、変換した一ブロック分の表データを、ＡＶ統合データ格納部４１に含まれる表データを記憶するためのエリアに記録する。
【００４４】
ステップＳ８１０では、一ブロック分の文字認識データｎ個の静止画像データのうち、ほぼ同じ内容の画像データが存在する場合は１つを残し他を無効と判断し廃棄する。例えば、２つの静止画像データの差分をとり、その差分が所定の範囲内である場合、２つの静止画像データはほぼ同じ静止画像データであると判断することができる。
【００４５】
ステップＳ８１１では、ＡＶ統合データ格納部４１にテキストデータが格納されている場合、図９のＡＶ統合データ格納部４１に含まれる有効フラグの内容を記録するためのエリアに、例えば「１」を記録する。また、ＡＶ統合データ格納部４１にテキストデータが格納されていない場合、図９のＡＶ統合データ格納部４１に含まれる有効フラグの内容を記録するためのエリアに、例えば「０」を記録する。ステップＳ８１２では、全ブロックに対して、ステップＳ８０２〜ステップＳ８１１までの処理が終了したか否か判断し、終了した場合ステップＳ８１３へ進み、終了していない場合ステップＳ８０２へ戻る。
【００４６】
ステップＳ８１３では、全ブロックのＡＶ統合データ格納部４１に含まれる有効フラグを参照し、有効フラグの内容が「１」であるブロックを有効ブロックとして選択する。そして、ステップＳ２０４へ進み、選択された有効ブロックに含まれるテキストデータを１ブロック毎にＲＴＦ形式のフォーマットに変換し、さらに、テキストデータに対応するｎ個の静止画像データをＲＴＦ形式に適した画像形式に変換する。
【００４７】
以上のようにして、各々のブロックに対応する音声データおよび動画像データに基づいて生成されたテキストデータ、静止画像（有効画像）データ、表データ、文字認識データ、ＡＶ統合データ格納部４１に含まれるそれぞれの記憶エリアに記録される。
【００４８】
図１０は、合成された文書データの印刷例を示す図である。
【００４９】
１０００１は、地点Ａ側で発言された内容等を示す音声データに基づいて生成されたテキストデータである。１０００２は、地点Ａ側の会議室の様子等を示す動画像データに基づいて生成された静止画像データである。１０００３は、地点Ｂ側で発言された内容等を示す音声データに基づいて生成されたテキストデータである。１０００４は、地点Ｂ側の会議室の様子等を示す動画像データに基づいて生成された静止画像データである。１００６は、静止画像データ１０００２を画像認識することにより生成された画像認識データである。
【００５０】
１０００５に示すように、地点Ａ側の音声データおよび動画像データに基づいて生成されたテキストデータおよび静止画像データを例えば記録紙等の左側に配置し、また、地点Ｂ側の音声データおよび動画像データに基づいて生成されたテキストデータおよび静止画像データを例えば記録紙等の右側に配置し、そして、画像認識データ１０００６を記録紙の任意の位置に配置すると、会議の流れにそった形でさらに詳しい会議の議事録などを作成することができる。
【００５１】
［第三実施形態］
第三実施形態では、ＨＴＭＬ形式の文書フォーマットにより動画像データを取扱う場合について説明する。
【００５２】
図１１は、本発明にかかる第三実施形態の情報処理装置の処理について説明するためのフローチャートである。
【００５３】
ステップＳ１０１では、例えば、ネットワーク等に接続された外部機器等から出力される音声および動画像を、音声入力部１０３および画像入力部１０１を介して入力する。ステップＳ１０２では、入力された音声データに基づき、音声データを有音ブロックおよび無音ブロックに分割する。上述したブロック化について、図１３を用いて説明すると次のようになる。つまり、音声データの再生レベルが所定のレベルに達してから所定のレベル未満になるまでの時間があらかじめ設定された所定の時間以上の場合、その期間に対応する音声データを１ブロックの有音ブロックとし、音声データの再生レベルが所定のレベルに達してから所定のレベル未満になるまでの時間があらかじめ設定された所定の時間未満の期間、または音声データの再生レベルが所定のレベル未満になってから所定のレベルに達するまでの期間に対応する音声データを１ブロックの無音ブロックとする。
【００５４】
ステップＳ１０３では、一ブロック単位に音声データの有音ブロックに対する音声認識を行ない、音声データからテキストコードへの変換を行なう。なお、この音声認識処理は周知の技術により実行可能である。ステップＳ１０４では、図１２に示すようにコード変換した一ブロック分のテキストデータを、ＡＶ統合データ格納部１２１に含まれるテキストデータを記憶するためのエリアに記録する。
【００５５】
ステップＳ１０５では、音声データの一ブロック分の有音ブロックに対応する動画像データを有効画像データとし、音声データの１ブロック分の無音ブロックに対応する動画像データを無効画像データとする。ステップＳ１０６では、図１２に示すように一ブロック分の動画像（有効画像）データを、ＡＶ統合データ格納部１２１に含まれる動画像（有効画像）データを記憶するためのエリアに記録する。
【００５６】
ステップＳ１０７では、全ブロックに対して、ステップＳ１０３〜ステップＳ１０６までの処理が終了したか否か判断し、終了した場合ステップＳ１０８へ進み、終了していない場合ステップＳ１０３へ戻る。ステップＳ１０８では、入力された音声および動画像等を、ＨＴＭＬ形式、ＲＴＦ形式、ＰＤＬ形式等の文書フォーマットに変換するために、ユーザが所望する文書フォーマットが選択される。第三実施形態では、例えば、ＨＴＭＬ形式の文書フォーマットがユーザにより選択されたものとする。
【００５７】
ステップＳ１０９では、ＡＶ統合データ格納部１２１に格納されたテキストデータを１ブロック毎にＨＴＭＬ形式のフォーマットに変換し、さらに、テキストデータに対応する動画像データをＨＴＭＬ形式に適した画像形式（例えば、ＡＶＩファイルなど）に変換してファイルとして保存する。このように、ＨＴＭＬ形式の文書フォーマットを用いると、例えば、ブラウザなどを利用してモニタ上に表示された文字列をマウスなどでクリックすると、そのクリックした文字列に対応する動画像がモニタ上に表示されるなどの効果を得ることができる。
【００５８】
また、ステップＳ１１０に示すように、ステップＳ１０９で作成されたＨＴＭＬ形式の文書データに対応する画像をプリンタ等から印刷することもできる。
【００５９】
［第４実施形態］
第四実施形態では、ＨＴＭＬ形式の文書フォーマットにより音声データを取扱う場合について説明する。
【００６０】
図１４は、本発明にかかる第四実施形態の情報処理装置の処理について説明するためのフローチャートである。
【００６１】
ステップＳ７０１では、例えば、ネットワーク等に接続された外部機器等から出力される音声および動画像を、音声入力部１０３および画像入力部１０１を介して入力する。
【００６２】
ステップＳ７０２では、入力された音声データに基づき、音声データを有音ブロックおよび無音ブロックに分割する。上述したブロック化について、図１３を用いて説明すると次のようになる。つまり、音声データの再生レベルが所定のレベルに達してから所定のレベル未満になるまでの時間があらかじめ設定された所定の時間以上の場合、その期間に対応する音声データを１ブロックの有音ブロックとし、音声データの再生レベルが所定のレベルに達してから所定のレベル未満になるまでの時間があらかじめ設定された所定の時間未満の期間、または、音声データの再生レベルが所定のレベル未満になってから所定のレベルに達するまでの期間に対応する音声データを１ブロックの無音ブロックとする。
【００６３】
ステップＳ７０３では、図１５に示すように、音声データを、ＡＶ統合データ格納部１５１に含まれる音声データを記憶するためのエリアに記録する。ステップＳ７０４では、一ブロック単位に音声データの有音ブロックに対する音声認識を行ない、音声データからテキストコードへの変換を行なう。なお、この音声認識処理は周知の技術により実行可能である。
【００６４】
ステップＳ７０５では、図１５に示すように、コード変換した一ブロック分のテキストデータを、ＡＶ統合データ格納部１５１に含まれるテキストデータを記憶するためのエリアに記録する。ステップＳ７０６では、音声データの一ブロック分の有音ブロックに対応する動画像データを所定の時間間隔Ｔ毎に分割してｎ個の静止画像データを選択する。そして、そのｎ個の静止画像データを有効画像データとし、音声データの１ブロック分の無音ブロックに対応する動画像データを無効画像データとする。
【００６５】
ステップＳ７０７では、図１５に示すように、一ブロック分のｎ個の静止画像（有効画像）データを、ＡＶ統合データ格納部１５１に含まれる静止画像（有効画像）データを記憶するためのエリアに記録する。ステップＳ７０８では、全ブロックに対して、ステップＳ７０３〜ステップＳ７０７までの処理が終了したか否か判断し、終了した場合ステップＳ７０９へ進み、終了していない場合ステップＳ７０３へ戻る。
【００６６】
ステップＳ７０９では、入力された音声および動画像等を、ＨＴＭＬ形式、ＲＴＦ形式、ＰＤＬ形式等の文書フォーマットに変換するために、ユーザが所望する文書フォーマットが選択される。第四実施形態では、例えば、ＨＴＭＬ形式の文書フォーマットがユーザにより選択されたものとする。
【００６７】
ステップＳ７１０では、ＡＶ統合データ格納部１２１に格納されたテキストデータを１ブロック毎にＨＴＭＬ形式のフォーマットに変換し、さらに、テキストデータに対応する音声データをＨＴＭＬ形式に適した音声形式（例えば、ＷＡＶファイルなど）に変換してファイルとして保存する。このように、ＨＴＭＬ形式の文書フォーマットを用いると、例えば、ブラウザなどを利用してモニタ上に表示された文字列をマウスなどでクリックすると、そのクリックした文字列に対応する音声がスピーカなどから出力されるという効果を得ることができる。
【００６８】
また、ステップＳ７１１に示すように、ステップＳ７１０で作成されたＨＴＭＬ形式の文書データに対応する画像をプリンタ等から印刷することもできる。
【００６９】
このように本発明によれば、例えば、ビデオカメラで撮影した映像や音声等に基づいて、音声認識処理、画像認識処理等を行うことにより撮影した映像や音声等を文書化することができる。また、同様にしてテレビなどから出力される音声や画像などを文書化することもできる。
【００７０】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００７１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００７２】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７３】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００７４】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７５】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７６】
【発明の効果】
以上説明したように、本発明によれば、例えば、テレビ会議における議事録を生成する場合に、各情報の発生場所および発生順を示すことができる情報処理装置およびその方法を提供することができる。
【００７７】
【図面の簡単な説明】
【図１】  本発明にかかる一実施形態の情報処理装置の構成例を示すブロック図、
【図２】  本発明にかかる一実施形態の情報処理装置の処理について説明するためのフローチャート、
【図３】  図２のステップＳ２０３の処理を詳細に説明するためのフローチャート、
【図４】  ＡＶ統合データ格納部の構造例を示す図、
【図５】  入力される音声および動画像のブロック化を説明するための図、
【図６】  合成した文書の印刷例を示す図、
【図７】  合成した文書の印刷例を示す図、
【図８】  図２のステップＳ２０３の処理を詳細に説明するためのフローチャート、
【図９】  ＡＶ統合データ格納部の構造例を示す図、
【図１０】  合成した文書の印刷例を示す図、
【図１１】  本発明にかかる一実施形態の情報処理装置の処理について説明するためのフローチャート、
【図１２】  合成した文書の印刷例を示す図、
【図１３】  入力される音声および動画像のブロック化を説明するための図、
【図１４】  本発明にかかる一実施形態の情報処理装置の処理について説明するためのフローチャート、
【図１５】  ＡＶ統合データ格納部の構造例を示す図である。
【図１】
0004154015.tif 000002
【図２】
0004154015.tif 000003
【図３】
0004154015.tif 000004
【図４】
0004154015.tif 000005
【図５】
0004154015.tif 000006
【図６】
0004154015.tif 000007
【図７】
0004154015.tif 000008
【図８】
0004154015.tif 000009
【図９】
0004154015.tif 000010
【図１０】
0004154015.tif 000011
【図１１】
0004154015.tif 000012
【図１２】
0004154015.tif 000013
【図１３】
0004154015.tif 000014
【図１４】
0004154015.tif 000015
【図１５】
0004154015.tif 000016