(57)【要約】【課題】会議音声、資料画像、及び会議の様子を撮影した撮影画像を効率的に検索できる情報処理装置、情報処理システム及び情報処理プログラムを提供する。【解決手段】  会議で取得された会議音声と会議で使用された資料画像と会議の様子を撮影した撮影画像とを取得した時刻で関連付けて記憶部に登録する音声画像登録手段と、音声画像登録手段が記憶部に登録した資料画像又は撮影画像の少なくとも一方と資料画像又は撮影画像の少なくとも一方を分類する分類基準とを関連付けて記憶部に登録する分類基準登録手段と、分類基準登録手段が記憶部に登録した分類基準に基づいて、音声画像登録手段が記憶部に関連付けて登録した会議音声、資料画像、及び撮影画像を検索する検索手段とを備える。  この構成によれば、関連付けられた会議における音声、資料画像、及び撮影画像を分類基準に基づいて検索できる。【選択図】図１
2008048204.tif 000002
【特許請求の範囲】
【請求項１】
会議で取得された会議音声と前記会議で使用された資料画像と前記会議の様子を撮影した撮影画像とを関連付けて記憶部に登録する音声画像登録手段と、
前記音声画像登録手段が前記記憶部に登録した資料画像及び撮影画像の少なくとも一方と前記資料画像及び撮影画像の少なくとも一方を分類する分類基準とを関連付けて前記記憶部に登録する分類基準登録手段と、
前記分類基準登録手段が前記記憶部に登録した前記分類基準に基づいて、前記音声画像登録手段が前記記憶部に関連付けて登録した会議音声、資料画像、及び撮影画像を検索する検索手段とを備える情報処理システム。
【請求項２】
前記分類基準は、前記資料画像、及び前記撮影画像の少なくとも一方から抽出したテキスト情報を含むことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記分類基準は、会議の書誌的情報を含むことを特徴とする請求項１又は２に記載の情報処理システム。
【請求項４】
前記会議の書誌的情報は、前記会議の開催場所、前記会議の開始日時及び終了日時のいずれか１つ以上を含むことを特徴とする請求項３に記載の情報処理システム。
【請求項５】
前記撮影画像を取得するか否かを判定する判定手段を更に有し、
前記判定手段は、前記音声画像登録手段が前記記憶部に登録する資料画像から抽出されたテキスト情報が所定の文字列を有するか否かに基づいて判定することを特徴とする請求項１ないし４のいずれかに記載の情報処理システム。
【請求項６】
前記撮影画像を撮影するか否かを判定する判定手段を更に有し、
前記判定手段は、前記音声画像登録手段が前記記憶部に登録する会議音声から抽出されたテキスト情報が所定の文字列を有するか否かに基づいて判定することを特徴とする請求項１ないし４のいずれかに記載の情報処理システム。
【請求項７】
前記撮影画像を撮影するか否かを判定する判定手段を更に有し、
前記判定手段は、前記音声画像登録手段が前記記憶部に登録する会議音声から抽出された音量が所定の音量を超えるか否かに基づいて判定することを特徴とする請求項１ないし４のいずれかに記載の情報処理システム。
【請求項８】
前記撮影画像を撮影するか否かを判定する判定手段を更に有し、
前記判定手段は、所定時刻を経過したか否かに基づいて判定することを特徴とする請求項１ないし４のいずれかに記載の情報処理システム。
【請求項９】
前記撮影画像を撮影する撮影手段を更に有し、
前記撮影手段は、前記判定手段の判定に従って前記撮影画像を撮影することを特徴とする請求項５から８のいずれかに記載の情報処理システム。
【請求項１０】
前記検索手段が検索した資料画像と撮影画像とを表示する表示手段と、
前記音声画像登録手段が前記記憶部に登録した会議音声を出音する出音手段とを備え、
前記音声画像登録手段は、前記会議音声と前記資料画像と前記撮影画像とを取得した時刻で関連付けて記憶部に登録し、
前記出音手段が出音する会議音声は、前記表示手段が表示する撮影画像及び資料画像の少なくとも一方に時刻で関連付けて前記音声画像登録手段が前記記憶部に登録した会議音声を出音することを特徴とする請求項１ないし９のいずれかに記載の情報処理システム。
【請求項１１】
会議で取得された会議音声と前記会議で使用された資料画像と前記会議の様子を撮影した撮影画像とを関連付けて記憶部に登録する音声画像登録手段と、
前記音声画像登録手段が前記記憶部に登録した資料画像及び撮影画像の少なくとも一方と前記資料画像及び撮影画像の少なくとも一方を分類する分類基準とを関連付けて前記記憶部に登録する分類基準登録手段と、
前記分類基準登録手段が前記記憶部に登録した前記分類基準に基づいて、前記音声画像登録手段が前記記憶部に関連付けて登録した会議音声、資料画像、及び撮影画像を検索する検索手段とを備える情報処理装置。
【請求項１２】
コンピュータに、会議で取得された会議音声と前記会議で使用された資料画像と前記会議の様子を撮影した撮影画像とを関連付けて記憶部に登録する音声画像登録手段と、
前記音声画像登録手段が前記記憶部に登録した資料画像及び撮影画像の少なくとも一方と前記資料画像及び撮影画像の少なくとも一方を分類する分類基準とを関連付けて前記記憶部に登録する分類基準登録手段と、
前記分類基準登録手段が前記記憶部に登録した前記分類基準に基づいて、前記音声画像登録手段が前記記憶部に関連付けて登録した会議音声、資料画像、及び撮影画像を検索する検索手段として機能させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議音声、資料画像、及び会議の様子を撮影した撮影画像を効率的に検索できる情報処理装置、情報処理システム及び情報処理プログラムに関する。
【背景技術】
【０００２】
会議又は講義等において、発表者は、プロジェクタにより資料画像を投影し、投影した資料画像に対して発表を行なう。このようにして行なわれた会議等で投影された資料画像及び発言された音声を予め記録した後、記録した資料画像及び音声を記録した時刻に基づいて同期させて表示及び出音することで、会議に出席しなかった者や会議の内容を再確認しようとする者が会議の内容を参照することができる。
【０００３】
このような機能を有する記録システムとしては、プロジェクタが投影した資料画像をプロジェクタ内部に保存するだけでなく、会議における音声をプロジェクタに接続されたマイクロフォンで取得してプロジェクタ内部に保存した後、資料画像及び会議音声を保存した時刻に基づいて同期させて遠隔端末に表示及び出音できるプロジェクタが知られている（例えば、特許文献１参照）。
【０００４】
また、資料画像及び会議音声を同期させる時刻に基づいた検索のみならず、会議の参加者の動作に基づいて資料画像及び会議音声を検索し、検索した資料画像及び会議音声を表示及び出音できるキャプチャシステムが知られている（例えば、特許文献２参照）。このシステムは、ホワイトボードを撮影した資料画像と会議における音声とを時刻に基づいて関連付けて記憶し、かつホワイトボードに対する書き込み動作を解析し、解析した動作と資料画像及び会議音声とを関連付けて記憶することで、会議の参加者の動作に基づいて資料画像及び会議音声を検索できる。
【０００５】
更に、会議資料及びホワイトボード付近のみならず、例えば、会議の議題に上った製品、活発な議論を繰り広げた者等の人物をも画像として撮影し、撮影した画像と録音された音声とを時刻に基づいて関連付けて記憶した後に、記憶した画像に基づいて画像が撮影された時刻に録音された音声を検索及び視聴する必要がある。このような機能を有するボイスレコーダとしては、会議においてユーザが自発的に会議の様子を手動で撮影した撮影画像と会議音声とを関連付けて記憶するボイスレコーダが知られている（例えば、非特許文献１参照）。
【特許文献１】特開２００５‐２８４１９６
【特許文献２】特開２００４‐８０７５０
【非特許文献１】ソニー株式会社、 "Sony eCatalog"、［online］、［平成１８年０７月１９日検索］、インタネット〈ＵＲＬ：http://www.ecat.sony.co.jp/audio/icrecorder/products/index.cfm?PD=21238&KM=ICD-CX50〉
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ここで、ユーザが撮影した撮影画像と関連付けて記憶する必要があるのは、会議における会議音声のみならず、会議で使用された資料画像についても撮影画像と関連付けて記憶する必要がある。また、関連付けて記憶した資料画像、撮影画像、及び会議音声を効率的に検索するだけでなく、検索した資料画像及び撮影画像を関連付けて表示し、かつ表示する画像と時刻で同期させて会議音声を出音して会議の内容を効率的に参照する必要がある。
【０００７】
本発明は、上記事情に鑑みて成されたものであり、その目的とするところは、会議音声、資料画像、及び会議の様子を撮影した撮影画像を効率的に検索できる情報処理装置、情報処理システム及び情報処理プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明に係る情報処理システムは、会議で取得された会議音声と会議で使用された資料画像と会議の様子を撮影した撮影画像とを関連付けて記憶部に登録する音声画像登録手段と、音声画像登録手段が記憶部に登録した資料画像及び撮影画像の少なくとも一方と資料画像及び撮影画像の少なくとも一方を分類する分類基準とを関連付けて記憶部に登録する分類基準登録手段と、分類基準登録手段が記憶部に登録した分類基準に基づいて、音声画像登録手段が記憶部に関連付けて登録した会議音声、資料画像、及び撮影画像を検索する検索手段とを備えることを特徴としている。
【０００９】
上記構成において、資料画像、及び撮影画像の少なくとも一方から抽出したテキスト情報を含む構成を採用できる。
【００１０】
上記構成において、分類基準は、会議の書誌的情報を含むことを特徴とする構成を採用できる。
【００１１】
上記構成において、会議の書誌的情報は、会議の開催場所、会議の開始日時及び終了日時のいずれか１つ以上を含む構成を採用できる。
【００１２】
上記構成において、撮影画像を取得するか否かを判定する判定手段を更に有し、判定手段は、音声画像登録手段が記憶部に登録する資料画像から抽出されたテキスト情報が所定の文字列を有するか否かに基づいて判定する構成を採用できる。
【００１３】
上記構成において、撮影画像を撮影するか否かを判定する判定手段を更に有し、判定手段は、音声画像登録手段が記憶部に登録する会議音声から抽出されたテキスト情報が所定の文字列を有するか否かに基づいて判定する構成を採用できる。
【００１４】
上記構成において、撮影画像を撮影するか否かを判定する判定手段を更に有し、判定手段は、音声画像登録手段が記憶部に登録する会議音声から抽出された音量が所定の音量を超えるか否かに基づいて判定する構成を採用できる。
【００１５】
上記構成において、撮影画像を撮影するか否かを判定する判定手段を更に有し、判定手段は、所定時刻を経過したか否かに基づいて判定する構成を採用できる。
【００１６】
上記構成において、撮影画像を撮影する撮影手段を更に有し、撮影手段は、判定手段の判定に従って撮影画像を撮影する構成を採用できる。
【００１７】
上記構成において、検索手段が検索した資料画像と撮影画像とを表示する表示手段と、音声画像登録手段が記憶部に登録した会議音声を出音する出音手段とを備え、音声画像登録手段は、会議音声と資料画像と撮影画像とを取得した時刻で関連付けて記憶部に登録し、出音手段が出音する会議音声は、表示手段が表示する撮影画像及び資料画像の少なくとも一方に時刻で関連付けて音声画像登録手段が記憶部に登録した会議音声を出音する構成を採用できる。
【００１８】
本発明に係る情報処理装置は、会議で取得された会議音声と会議で使用された資料画像と会議の様子を撮影した撮影画像とを関連付けて記憶部に登録する音声画像登録手段と、音声画像登録手段が記憶部に登録した資料画像及び撮影画像の少なくとも一方と資料画像及び撮影画像の少なくとも一方を分類する分類基準とを関連付けて記憶部に登録する分類基準登録手段と、分類基準登録手段が記憶部に登録した分類基準に基づいて、音声画像登録手段が記憶部に関連付けて登録した会議音声、資料画像、及び撮影画像を検索する検索手段とを備えることを特徴としている。
【００１９】
本発明に係る情報処理プログラムは、コンピュータに、会議で取得された会議音声と会議で使用された資料画像と会議の様子を撮影した撮影画像とを関連付けて記憶部に登録する音声画像登録手段と、音声画像登録手段が記憶部に登録した資料画像及び撮影画像の少なくとも一方と資料画像及び撮影画像の少なくとも一方を分類する分類基準とを関連付けて記憶部に登録する分類基準登録手段と、分類基準登録手段が記憶部に登録した分類基準に基づいて、音声画像登録手段が記憶部に関連付けて登録した会議音声、資料画像、及び撮影画像を検索する検索手段として機能させることを特徴としている
【発明の効果】
【００２０】
本発明によれば、会議音声、資料画像、及び会議の様子を撮影した撮影画像を効率的に検索できる情報処理装置、情報処理システム及び情報処理プログラムを提供できる。
【００２１】
請求項１の構成によれば、関連付けられた会議における音声、資料画像、及び撮影画像を分類基準に基づいて検索できる。
【００２２】
請求項２の構成によれば、関連付けられた会議音声、撮影画像及び資料画像を撮影画像及び資料画像から抽出したテキスト情報に基づいて検索できる。
【００２３】
請求項３の構成によれば、関連付けられた会議音声、撮影画像及び資料画像を会議の書誌的情報に基づいて検索できる。
【００２４】
請求項４の構成によれば、関連付けられた会議音声、撮影画像及び資料画像を会議の開催場所、会議の開始日時及び終了日時に基づいて検索できる。
【００２５】
請求項５の構成によれば、予め定めた文字列を含む資料画像を用いた場合に撮影された撮影画像を取得できる。
【００２６】
請求項６の構成によれば、予め定めた文字列を含む発言がなされた場合に撮影された撮影画像を取得できる。
【００２７】
請求項７の構成によれば、予め定めた音量を超えた音声が発せられた場合に撮影された撮影画像を取得できる。
【００２８】
請求項８の構成によれば、予め定めた時刻を経過した場合に撮影された撮影画像を取得できる。
【００２９】
請求項９の構成によれば、判定手段の判定に従って撮影画像を撮影できる。
【００３０】
請求項１０の構成によれば、検索された資料画像と撮影画像とを視認できるだけでなく、表示された撮影画像及び資料画像に関連付けられた音声をも確認できる。
【００３１】
請求項１１の構成によれば、関連付けられた会議における音声、資料画像、及び撮影画像を分類基準に基づいて検索できる。
【００３２】
請求項１２の構成によれば、関連付けられた会議における音声、資料画像、及び撮影画像を分類基準に基づいて検索できる。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の最良の実施形態について、添付図面を参照しつつ説明する。
【実施例１】
【００３４】
図１は本発明の情報処理システムの一実施形態を示す構成図である。
本発明の情報処理システムは、情報処理装置１００、第１入力装置１７０及び第２入力装置２１０、第１表示装置１８０及び第２表示装置２２０、第１出音装置１９０及び第２出音装置２３０、遠隔端末装置２００、並びにそれぞれ会議の開催される会場（会議室４０１ないし４０ｎ）毎に少なくとも１組設置される画像生成装置１１０、音声取得装置１２０、撮影装置１３０、画像表示装置１４０、及び音声画像取込装置１５０で構成されている。
【００３５】
情報処理装置１００は、例えば、パーソナルコンピュータで構成される。情報処理装置１００は、音声画像取込装置１５０、第１入力装置１７０、第１表示装置１８０、第１出音装置１９０、及び、遠隔端末装置２００に接続している。尚、情報処理装置１００と遠隔端末装置２００とは、ネットワーク３００を介して接続している。情報処理装置１００の機能及び構成については後述する。
【００３６】
画像生成装置１１０は、例えば、会議における説明者等の持込んだノートパソコン又は会議室４０１ないし４０ｎに予め設置されたパーソナルコンピュータ等で構成され、音声画像取込装置１５０に取外し可能に接続している。画像生成装置１１０は、会議において説明対象とする資料を予め記憶し、記憶している資料に基づいて、例えばＲＧＢ信号等の画像信号を生成する。その後、画像生成装置１１０は、生成した画像信号を音声画像取込装置１５０に出力する。
【００３７】
音声取得装置１２０は、例えば、マイクロフォンで構成され、音声画像取込装置１５０に接続している。音声取得装置１２０は、会議における音声を取得して、取得した音声信号を音声画像取込装置１５０に出力する。
【００３８】
撮影装置１３０は、例えば、デジタルカメラで構成され、音声画像取込装置１５０に対し、有線又は無線回線によって常時接続している。撮影装置１３０は、会議の様子を撮影し、撮影した画像データを撮影する毎に音声画像取込装置１５０へ出力する。尚、会議の様子とは、例えば、会議の開催場所を撮影した画像、会議において使用されたホワイトボードを撮影した画像、会議の参加者を撮影した画像、会議の傍聴者を撮影した画像、又は会議の開催場所に搬入された物を撮影した画像のいずれか１つ以上を含む。
【００３９】
画像表示装置１４０は、例えば、プロジェクタ又はプラズマディスプレイで構成され、音声画像取込装置１５０に接続している。画像表示装置１４０は画像生成装置１１０から出力された画像信号であって、音声画像取込装置１５０を介して入力された画像信号を例えば、スクリーンへ投影する、又は自ら備える表示画面へ表示する。
【００４０】
音声画像取込装置１５０は、例えば、図示は省略するが、ＣＰＵ（Central Processing Unit）等の演算部、ＲＡＭ（Random Access Memory）等の記憶部、及びＲＡＭ（Random Access Memory）等の記憶部に記憶された情報を処理するプログラムで構成されている。音声画像取込装置１５０の機能は、音声画像取込装置１５０の実行するソフトウェア制御により実現される。
【００４１】
音声画像取込装置１５０は、画像生成装置１１０、音声取得装置１２０、撮影装置１３０、画像表示装置１４０、及び情報処理装置１００に接続している。音声画像取込装置１５０は、音声画像取込装置１５０に接続された音声取得装置１２０及び撮影装置１３０が音声又は撮影画像を取得した会議の開催会場を識別する情報を、予め記憶部に記憶している。
【００４２】
音声画像取込装置１５０は、画像生成装置１１０から画像信号を受信する。この後、受信した画像信号を画像表示装置１４０へ出力する。
この構成によれば、例えば、ユーザが所持するノートパソコンである画像生成装置１１０に予め記憶された画像を画像表示装置１４０に表示させることができる。
【００４３】
また、音声画像取込装置１５０は、会議で使用された資料に基づいて画像生成装置１１０が生成した画像信号を受信し、受信した画像信号から、例えば、ＪＰＥＧフォーマット等の画像データである資料画像を生成する。
【００４４】
ここで、音声画像取込装置１５０は、所定の時間間隔で画像信号から画像データを生成する。またこれに限られず、音声画像取込装置１５０は、画像信号に変化が生じた場合にのみ画像信号から画像データを生成する構成を採用できる。
【００４５】
具体的には、比較対照とする２つの画像データにおける各画素が変化したか否かを判断し、変化した画素が所定の閾値以上存在する場合に、２つの画像データは異なると判断する。尚、画素が変化したか否かについては、各画素のＲＧＢ値の差分が所定の閾値以上の場合に当該画素は変化したと判断する。
【００４６】
更に、音声画像取込装置１５０は、撮影装置１３０が撮影した画像データである撮影画像を取得する。また音声画像取込装置１５０は、音声取得装置１２０から音声信号を入力され、入力された音声信号から、例えば、ＭＰ３フォーマット等の音声データを生成する。次に、音声画像取込装置１５０は、資料画像を生成したタイミング及び撮影画像を取得したタイミングで取得した音声データを分割する。
【００４７】
次に、音声画像取込装置１５０は、取得した資料画像、資料画像を取得した日時、分割した会議音声、会議音声を取得した日時、並びに資料画像及び会議音声を取得した会場を識別する情報を関連付けて、資料画像を生成したタイミングで情報処理装置１００へ出力する。
【００４８】
また、音声画像取込装置１５０は、取得した撮影画像、撮影画像を取得した日時、分割した会議音声、会議音声を取得した日時、並びに撮影画像及び会議音声を取得した会場を識別する情報を関連付けて、撮影画像を取得したタイミングで情報処理装置１００へ出力する。
【００４９】
第１入力装置１７０は、例えば、キーボード、マウス、又はタッチパネルで構成され、情報処理装置１００に接続している。第１入力装置１７０は、ユーザに操作されて検索キーワード又は各種の命令を入力する。
【００５０】
第１表示装置１８０は、例えば、液晶ディスプレイ、プラズマディスプレイ、又はＣＲＴ（Cathode Ray Tube）ディスプレイで構成され、情報処理装置１００に接続している。第１表示装置１８０は、情報処理装置１００により制御されて、会議中に画像生成装置１１０から取得した資料画像、資料画像に基づいて生成されたサムネイル、撮影装置１３０から取得した撮影画像、及び資料画像に基づいて生成されたサムネイル等を表示する。
【００５１】
第１出音装置１９０は、例えば、スピーカ等で構成され、情報処理装置１００に接続している。第１出音装置１９０は、情報処理装置１００により制御されて、会議中に音声取得装置１２０から取得した会議音声を出音する。
【００５２】
ネットワーク３００は、ＬＡＮ（Local Area Network ）、ＷＡＮ（Wide Area Network）、又はインタネットで構成され、情報処理装置１００と遠隔端末装置２００とに接続している。
【００５３】
遠隔端末装置２００は、例えば、パーソナルコンピュータ等で構成され、第２入力装置２１０、第２表示装置２２０、第２出音装置２３０、及びネットワーク３００に接続している。遠隔端末装置２００は、第２入力装置２１０から取得した検索キーワード及び各種信号等をネットワーク３００を介して情報処理装置１００へ出力する。
【００５４】
また、遠隔端末装置２００は、ネットワーク３００を介して情報処理装置１００の出力する制御情報を受信し、受信した制御情報に従って、第２表示装置２２０の表示、及び第２出音装置２３０の出音を制御する。
【００５５】
第２入力装置２１０、第２表示装置２２０、及び第２出音装置２３０は、遠隔端末に接続している。第２入力装置２１０、第２表示装置２２０、及び第２出音装置２３０の構成及び機能については、第１入力装置１７０、第１表示装置１８０、及び第１出音装置１９０と同様であるため、説明を省略する。
【００５６】
尚、第１入力装置１７０と第２入力装置２１０とを以下単に、入力装置１７０等と言い、第１表示装置１８０と第２表示装置２２０とを以下単に、表示装置１８０等と言い、第１出音装置１９０と第２出音装置２３０とを以下単に、出音装置１９０等と言う。
【００５７】
次に、図２を参照して本発明に係る情報処理装置の一構成例について説明する。図２は本発明の情報処理装置の一実施形態を示すブロック図である。
【００５８】
情報処理装置１００は、音声画像登録部１０２０、音声画像データベース１０１２、インデックスデータベース１０１３、テキスト抽出部１０３０、分類基準登録部１０４０、閲覧部１０５０、入出力制御部１０６０、及び通信部１０７０で構成される。
【００５９】
図２に示す音声画像登録部１０２０、テキスト抽出部１０３０、分類基準登録部１０４０、閲覧部１０５０、及び入出力制御部１０６０の各機能は、情報処理装置１００が実行するソフトウェア制御により実現できる。
【００６０】
ここで図３を参照して、ソフトウェア制御を実行するための情報処理装置１００の構成について説明する。図３は、このソフトウェア制御を実現するための情報処理装置１００の一構成例を表す構成図である。
【００６１】
情報処理装置１００は、例えば、ＣＰＵ（Central Processing Unit）等の演算部１０１、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の読み出し専用メモリであるＲＯＭ１０２（Read-Only Memory ）、ＤＲＡＭ（Dynamic  RAM）又はＳＲＡＭ（Static  RAM）等の揮発性メモリ及びＮＶＲＡＭ（Non Volatile RAM）等の不揮発性メモリで構成されるＲＡＭ１０３（Random Access Memory）、並びにハードディスク（Hard Disk）等の外部記憶部１０４で構成され、演算部１０１、ＲＯＭ１０２、ＲＡＭ１０３、及び外部記憶部１０４は互いにバス１０５によって接続している。
【００６２】
ソフトウェア制御は、ＲＯＭ１０２、ＲＡＭ１０３、又は外部記憶部１０４の少なくともひとつに格納したプログラムを演算部１０１が読み、読込んだプログラムに従って演算部１０１が演算を行うことにより上記各部の機能を実現する。
【００６３】
ここで、図２に戻り、情報処理装置１００の構成について説明する。
音声画像データベース１０１２は、例えば、外部記憶部１０４で構成される記憶部と、例えば、ＭｙＳＱｌ又はＰｏｓｔｇｒｅＳＱＬ等のプログラムであって、記憶部が記憶した情報を変更、参照、維持、又は管理するプログラムで構成される。
【００６４】
音声画像データベース１０１２は、音声画像登録部１０２０及び閲覧部１０５０に接続している。音声画像データベース１０１２は、記憶部が記憶する情報を変更、参照、維持、又は管理する。
【００６５】
音声画像データベース１０１２によって情報を管理される記憶部は、取得した日時で音声画像登録部１０２０により関連付けられた会議音声、会議で使用された資料画像、及び会議の様子を撮影した撮影画像（以下単に、会議音声等と言う）を記憶する。
【００６６】
具体的には、会議において資料画像が投影されていた時間区間において取得された音声及び撮影画像を同一のディレクトリに保存することで関連付ける。尚、資料画像が投影されていた時間区間は、ある資料画像を取得した日時とそれに続く別の資料画像を取得した日時とで定まる。
【００６７】
更に、記憶部は、会議音声等を識別する情報であるデータ識別情報、データ識別情報で識別される会議音声等を保存した保存先、及び会議の書誌的情報を同一レコードに関連付けて記憶する。尚、会議の書誌的情報は、会議の開催場所、会議の開始日時又は終了日時のいずれか１つ以上を含む。また、音声画像データベース１０１２が管理する記憶部の情報は、閲覧部１０５０により検索される場合に参照される。
【００６８】
ここで、記憶部が記憶する会議音声等を管理するために、音声画像データベース１０１２が用いる音声画像テーブルを以下の表１に示す。
【００６９】
【表１】
2008048204.tif 000003
【００７０】
表１は、データＩＤカラム、保存先ＵＲＬカラム、場所名カラム、及び日時カラムを有している。
データＩＤカラムにはデータ識別情報が、保存先ＵＲＬカラムには会議音声等を保存した保存先をＵＲＬ（Uniform Resource Locator
）を用いて表す情報が、場所名カラムには会場を識別する情報が、及び日時カラムには資料画像又は撮影画像を取得した日時が保存される。
【００７１】
尚、表１には、データ識別情報が重複するレコード、並びに資料画像を取得した日時及び会場を識別する情報の双方が重複するレコードが登録されることはない。
【００７２】
具体的には、表１のデータ識別情報である「３５」で識別される会議音声等は、「http://aaa/data/35/」で識別されるディレクトリに保存されていることを表している。また、データ識別情報である「３５」で識別される会議音声等は、会場を識別する情報「会議室Ａ」で識別される会場で取得されたことを表している。
【００７３】
また、データ識別情報「３５」で識別される資料画像は「２００５年１１月２１日の１０時２５分１０秒」に取得され、データ識別情報「３５」で識別される会議音声は「２００５年１１月２１日の１０時２５分１０秒」から「２００５年１１月２１日の１０時２８分０４秒」の時間区間において取得されたことを表している。
【００７４】
尚、保存先ＵＲＬカラムに蓄積された保存先には、１つの資料画像又は撮影画像、並びに１つの会議音声が保存される。資料画像、会議音声、及び撮影画像は、それぞれが資料画像、会議音声、及び撮影画像であることを識別できるよう、予め定められた文字列を含むファイル名で保存される。
【００７５】
インデックスデータベース１０１３は、音声画像データベース１０１２と同様に、例えば、外部記憶部１０４で構成される記憶部と、例えば、ＭｙＳＱｌ又はＰｏｓｔｇｒｅＳＱＬ等のプログラムであって、記憶部が記憶した情報を変更、参照、維持、又は管理するプログラムとで構成される。
【００７６】
インデックスデータベース１０１３は、分類基準登録部１０４０及び閲覧部１０５０に接続している。インデックスデータベース１０１３は、記憶部が記憶する情報を変更、参照、維持、又は管理する。
【００７７】
インデックスデータベース１０１３によって情報を管理される記憶部は、データ識別情報、並びに資料画像及び撮影画像について分類する基準を、分類基準登録部１０４０により関連付けられて記憶する。また、インデックスデータベース１０１３が情報を管理する記憶部は、閲覧部１０５０が情報を検索する際に参照される。
【００７８】
尚、資料画像及び撮影画像について分類する基準は、データ識別情報で識別される資料画像又は撮影画像から画像認識処理により取得したテキスト情報を構成する１又は複数の単語を含む。
【００７９】
音声画像登録部１０２０は、音声画像データベース１０１２、テキスト抽出部１０３０、及び音声画像取込装置１５０に接続している。音声画像登録部１０２０は、音声画像取込装置１５０から、資料画像、資料画像を取得した日時、会議音声、会議音声を取得した日時、及び会場を識別する情報を関連付けて取得する。また、音声画像登録部１０２０は、撮影画像、撮影画像を取得した日時、会議音声、会議音声を取得した日時、及び会場を識別する情報をも関連付けて取得する。
【００８０】
音声画像登録部１０２０は、取得した資料画像及び撮影画像を基にサムネイルを作成する。次に、音声画像登録部１０２０は、資料画像及び会議音声を識別する情報、若しくは撮影画像及び会議音声を識別するデータ識別情報を生成する。
【００８１】
その後、音声画像登録部１０２０は、記憶部の所定のディレクトリ（表１においては、「http://aaa/data/」）の直下にデータ識別情報で表されるディレクトリを作成し、作成したディレクトリ内にデータ識別情報で識別される会議音声、資料画像、及び資料画像基に作成されたサムネイル、若しくは会議音声、撮影画像、及び撮影画像基に作成されたサムネイルを保存する。
【００８２】
次に、音声画像登録部１０２０は、生成したデータ識別情報、会議音声等の保存先、会場を識別する情報、資料画像の取得日時とを同一レコードのデータＩＤカラム、保存先ＵＲＬカラム、場所名カラム、及び日時カラムに関連付けて登録する。尚、上記の登録処理は、例えば、ＳＱＬ等のＩＮＳＥＲＴ文を作成して音声画像データベース１０１２を構成するプログラムに実行させることで実現できる。
【００８３】
つまり、音声画像登録部１０２０は、会議音声と資料画像と撮影画像とを取得した日時で関連付けて記憶部に登録する。また、これにより音声画像登録部１０２０は、サムネイルとデータ識別情報とを関連付けて記憶部に登録する。
【００８４】
所定のディレクトリに保存される資料画像と資料画像に基づいて作成されたサムネイルとは、それぞれの関係をファイル名から取得できるよう所定の共通した文字列を含む。尚、撮影画像と撮影画像に基づいて作成されたサムネイルとのファイル名も同様であるため説明を省略する。
【００８５】
また音声画像登録部１０２０は、資料画像、撮影画像、並びに資料画像及び撮影画像を識別するデータ識別情報を関連付けてテキスト抽出部１０３０へ出力する。
【００８６】
ここで、図２に戻り、情報処理装置１００の構成について説明する。
テキスト抽出部１０３０は、例えば、ＯＣＲ（Optical Character Reader）装置等で構成される。テキスト抽出部１０３０は、音声画像登録部１０２０及び分類基準登録部１０４０に接続している。
【００８７】
テキスト抽出部１０３０は、音声画像登録部１０２０から資料画像及び資料画像を識別するデータ識別情報、若しくは撮影画像及び撮影画像を識別するデータ識別情報を関連付けて取得する。テキスト抽出部１０３０は、取得した資料画像又は撮影画像に対して文字認識処理を実施し、実施してテキスト情報を抽出する。
【００８８】
その後、テキスト抽出部１０３０は、資料画像、資料画像から取得したテキスト情報、及び資料画像を識別するデータ識別情報、若しくは撮影画像、撮影画像から取得したテキスト情報、及び撮影画像を識別するデータ識別情報とを関連付けて分類基準登録部１０４０へ出力する。
【００８９】
上記実施形態では、テキスト抽出部１０３０は、資料画像及び撮影画像に対して文字認識処理を実施する場合について説明したがこれに限定されるわけではなく、例えば、資料画像又は撮影画像の一方のみに対して文字認識処理を実施する構成を採用することもできる。尚、資料画像と撮影画像とは、例えば、ファイル名に含まれる予め定めた文字列の有無を検査する等して区別できる。
【００９０】
分類基準登録部１０４０は、テキスト抽出部１０３０及びインデックスデータベース１０１３に接続している。分類基準登録部１０４０は、テキスト抽出部１０３０から資料画像、資料画像から抽出されたテキスト情報、及び資料画像を識別するデータ識別情報、若しくは撮影画像、撮影画像から抽出されたテキスト情報、及び撮影画像を識別するデータ識別情報を関連付けて取得する。
【００９１】
分類基準登録部１０４０は、取得したテキスト情報に対して形態素解析により単語を抽出し、特に英語表記された文字列の場合には、空白部分で分割する等して文字列を抽出して単語を抽出する。
【００９２】
その後、分類基準登録部１０４０は、資料画像から抽出した単語を資料画像を分類する基準として資料画像を識別するデータ識別情報と関連付けてインデックスデータベース１０１３へ登録する。また、分類基準登録部１０４０は、撮影画像から抽出した単語を撮影画像を分類する基準として撮影画像を識別するデータ識別情報と関連付けてインデックスデータベース１０１３へ登録する。
【００９３】
また、分類基準登録部１０４０は、会議の書誌的情報を資料画像及び撮影画像を分類する基準としてデータ識別情報と関連付けてインデックスデータベース１０１３へ登録する。
【００９４】
つまり、資料画像及び撮影画像はデータ識別情報に関連付けて記憶部に登録されているので、分類基準登録部１０４０は資料画像及び撮影画像を分類する基準とデータ識別情報とを関連付けることで、資料画像を分類する基準と資料画像とを関連付けて記憶部に登録できる。
【００９５】
閲覧部１０５０は、音声画像データベース１０１２、インデックスデータベース１０１３、及び入出力制御部１０６０に接続している。閲覧部１０５０は、音声画像登録部１０２０が音声画像データベース１０１２が情報を管理する記憶部に登録した資料画像、撮影画像、会議音声、及びサムネイルを検索する検索機能を有する。
【００９６】
ここで、図４を参照して、ユーザが入力装置１７０等を操作して検索キーワードを入力する際、及び閲覧部１０５０が検索した画像を表示する際に、第１表示装置１８０等が表示する閲覧画面ＦＶについて説明する。図４は、表示装置１８０等が表示する閲覧画面ＦＶの一例を説明するための図である。
【００９７】
閲覧画面ＦＶは、検索ワードテキストボックスＴＢＷ、検索ボタンＢＴＳ、及びサムネイルページコントロールＰＣを有する。検索ワードテキストボックスＴＢＷは、ユーザが入力装置１７０等を操作して入力した検索キーワードを表示する。
【００９８】
検索ボタンＢＴＳは、検索ワードテキストボックスＴＢＷに表示された検索キーワードであり、かつ入力装置１７０等が入力した検索キーワードに基づいて検索条件を生成し、生成した検索条件に従って検索を行なうよう閲覧部１０５０へ命じる信号を入力できる事を表すボタン表示である。
【００９９】
サムネイルページコントロールＰＣは、閲覧部１０５０の検索した資料画像又は撮影画像に関連付けられたサムネイル等を、資料画像又は撮影画像を取得した会議の会場毎に表示する。
【０１００】
サムネイルページコントロールＰＣは、会場毎にサムネイル等を分類して表示するページを有する。更に、サムネイルページコントロールＰＣは、ページ毎に１つの場所タブＴＣを有し、ユーザがマウスポインタを場所タブＴＣに合わせてクリックする等して選択することで、選択された場所タブＴＣに対応するページが表示される。
【０１０１】
具体的には、図８においては、サムネイルページコントロールＰＣは、「会議室Ａ」及び「会議室Ｂ」と表示する場所タブＴＣを有し、「会議室Ａ」と表示する場所タブＴＣに対応したページは、会場を識別する情報「会議室Ａ」で識別される会議会場で取得されたサムネイルを表示する。
【０１０２】
サムネイルページコントロールＰＣの有するページはそれぞれ書誌情報表示領域ＡＢ、及びサムネイル表示領域ＡＳを有する。書誌情報表示領域ＡＢと書誌情報表示領域ＡＢの下に表示されるサムネイル表示領域ＡＳとは、それぞれ対となっている。
【０１０３】
つまり、サムネイル表示領域ＡＳは、閲覧部１０５０の検索した資料画像又は撮影画像に関連付けられたサムネイルＳＮを一覧表示する。また、書誌情報表示領域ＡＢは、書誌情報表示領域ＡＢの下に表示されたサムネイル表示領域ＡＳの表示するサムネイルＳＮを取得した会議の書誌的情報を表示する。
【０１０４】
尚、対となった書誌情報表示領域ＡＢとサムネイル表示領域ＡＳとは、まったく表示されない、若しくは１対又は複数が対表示される。更に、複数の書誌情報表示領域ＡＢとサムネイル表示領域ＡＳとの対は、同一ページにおいて、表示対象とする会議の開始日時が早い順、又は遅い順に上から表示される。
【０１０５】
尚、ページ内に全ての書誌情報表示領域ＡＢとサムネイル表示領域ＡＳとを表示するスペースが存在しない場合には、ページは、スクロールバーＳＣを表示して書誌情報表示領域ＡＢとサムネイル表示領域ＡＳとをスクロール表示する。
【０１０６】
書誌情報表示領域ＡＢは、開始日付テキストボックスＴＢＤ及び開始時刻テキストボックスＴＢＴを有する。開始日付テキストボックスＴＢＤは、直下に表示されたサムネイル表示領域ＡＳに表示されたサムネイルを取得した会議の開始日付を表示する。開始時刻テキストボックスＴＢＴは、同様に会議の開始時刻を表示する。
【０１０７】
尚、表示装置１８０等に表示する閲覧画面ＦＶは、例えば、ＨＴＴＰ等の構造化された文書により記述され、例えば、インタネットエクスプローラ等のウェブブラウザを用いて画面として表示される。
【０１０８】
ここで、図５を参照して、閲覧部１０５０が検索機能を提供する際に実行する処理である検索処理の一例について説明する。図５は、閲覧部１０５０の実行する検索処理の一例を説明するためのフローチャートである。
【０１０９】
先ず、閲覧部１０５０は、ユーザが入力装置１７０等を操作して入力した検索キーワードであって、検索ワードテキストボックスＴＢＷに表示した検索キーワードを入出力制御部１０６０から取得する（ステップＳＴ００１）。また、閲覧部１０５０は、検索を行なうよう命じる信号であって、ユーザが入力装置１７０等を操作して入力した命令を入出力制御部１０６０から受信する。
【０１１０】
その後、閲覧部１０５０は、閲覧画面ＦＶのサムネイルページコントロールＰＣを構成するページであって、選択されたページが表示している会場を識別する情報を取得する（ステップＳＴ００２）。
【０１１１】
次に、閲覧部１０５０は、ステップＳＴ００１で取得した検索キーワード及びステップＳＴ００２で取得した会場を識別する情報に基づいて検索条件を作成する（ステップＳＴ００３）。検索条件は、例えば、ＳＱＬ文のＷＨＥＲＥ句等で表される条件であって、検索キーワードを資料画像又は撮影画像を分類する基準に含むと言う条件、検索キーワードで表される時間区間において取得された会議音声、資料画像、又は撮影画像であると言った条件、若しくはステップＳＴ２で取得した会場を識別する情報で識別される会場で取得された会議音声、資料画像、又は撮影画像であると言った条件である。
【０１１２】
次に、閲覧部１０５０は、ステップＳＴ００３で生成した検索条件に合致するレコードを、音声画像データベース又はインデックスデータベース１０１３から検索し、検索したレコードのデータＩＤカラムに記憶されたデータ識別情報を取得する（ステップＳＴ００４）。
【０１１３】
その後、閲覧部１０５０は、ステップＳＴ００４で検索したデータ識別情報をデータＩＤカラムに記憶するレコードを音声画像データベースから取得し、取得したレコードの保存先ＵＲＬカラムに記憶する保存先から資料画像のサムネイル、又は撮影画像のサムネイルを取得する（ステップＳＴ００５）。
【０１１４】
その後、閲覧部１０５０は、ステップＳＴ００５で取得したサムネイルを一覧表示するように入出力制御部１０６０を介して表示装置１８０等を制御する（ステップＳＴ００６）。
【０１１５】
具体的には、閲覧部１０５０は、図４に示した閲覧画面ＦＶを表示するよう表示装置１８０等を制御する。
取得したサムネイルは、取得した会議の会場を識別する情報毎に異なったページに表示され、かつ会議の開始時刻毎に異なったサムネイル表示領域ＡＳに、会議の開始時刻の早い順又は遅い順に一覧表示される。また、閲覧部１０５０は、表示させたサムネイルＳＮとサムネイルＳＮに関連付けて記憶部に記憶させたデータ識別情報とを関連付けて記憶する。
【０１１６】
ここで、図６を参照して、閲覧部１０５０が検索機能を提供する際に実行する処理である検索処理の他例について説明する。図６は、閲覧部１０５０の実行する検索処理の他例を説明するためのフローチャートである。
【０１１７】
先ず、閲覧部１０５０は、例えば、ユーザが入力装置１７０等を操作して入力した信号であって、閲覧画面ＦＶに表示された撮影画像又は資料画像のサムネイルＳＮを選択する信号を取得する。次に、閲覧部１０５０は、撮影画像又は資料画像のサムネイルＳＮを選択する信号を受信し、選択されたサムネイルＳＮと関連付けて記憶したデータ識別情報を取得する（ステップＳＴ１０１）。
【０１１８】
その後、ステップＳＴ１０１で取得したデータ識別情報と関連付けて記憶部が記憶した資料画像又は撮影画像、並びに会議音声を検索する（ステップＳＴ１０２）。具体的には、閲覧部１０５０は、表１に示した音声画像テーブルのデータＩＤカラムにステップＳＴ１０１で取得したデータ識別情報を記憶するレコードを取得し、取得したレコードの保存先ＵＲＬカラムの保存先に保存された資料画像又は撮影画像、並びに会議音声を取得する。
【０１１９】
次に、閲覧部１０５０は、ステップＳＴ１０２で検索した資料画像又は撮影画像を閲覧画面ＦＶと異なる画面に表示するよう、入出力制御部１０６０を介して表示装置１８０等を制御する（ステップＳＴ１０３）。
【０１２０】
その後、閲覧部１０５０は、ステップＳＴ１０２で検索した会議音声であって、表示装置１８０等に表示させる撮影画像又は資料画像に日時で関連付けて音声画像登録部１０２０が記憶部に登録した会議音声を出音するよう入出力制御部１０６０を介して出音装置１９０等を制御する。つまり、閲覧部１０５０は、ステップＳＴ１０２で検索した会議音声を、表示装置１８０等が表示する撮影画像又は資料画像に同期して出力するよう出音装置１９０等を制御する。
【０１２１】
尚、検索手段は、閲覧部１０５０が上記ステップＳＴ００１ないしステップＳＴ００５、ステップＳＴ１０１、及びステップＳＴ１０２の処理を実行することで実現される。
【０１２２】
上記実施形態では、閲覧部１０５０は、ステップＳＴ００６においてサムネイルを一覧表示するように表示装置１８０等を制御し、ステップＳＴ１０１において撮影画像又は資料画像のサムネイルＳＮを選択する信号を受信する場合について説明したがこれに限定されるわけではなく、例えば、閲覧部１０５０は、ステップＳＴ００６において撮影画像又は資料画像を一覧表示するように表示装置１８０等を制御し、ステップＳＴ１０１において撮影画像又は資料画像を選択する信号を受信する構成を採用することもできる。
【０１２３】
ここで、図２に戻り、情報処理装置１００の構成について説明する。
入出力制御部１０６０は、閲覧部１０５０、第１入力装置１７０、第１表示装置１８０、第１出音装置１９０、及び通信部１０７０に接続している。
【０１２４】
入出力制御部１０６０は、第１入力装置１７０又は通信部１０７０から入力された検索キーワード及び各種信号等を閲覧部１０５０へ出力する。逆に、閲覧部１０５０から取得した制御情報を、第１表示装置１８０、第１出音装置１９０、及び通信部１０７０へ出力する。
【０１２５】
通信部１０７０は、例えば、ネットワークアダプタ等で構成され、入出力制御部１０６０及びネットワーク３００に接続している。通信部１０７０は、ネットワーク３００を通じて遠隔端末装置２００から入力された検索キーワード及び各種信号等を入出力制御部１０６０へ出力する。逆に、入出力制御部１０６０から取得した制御情報を、ネットワーク３００を通じて遠隔端末装置２００へ出力する。
【０１２６】
本実施例においては、撮影装置１３０が撮影手段に相当し、第１表示装置１７０及び第２表示装置が表示手段に相当し、第１出音装置１８０及び第２出音装置２３０が出音手段に相当し、音声画像登録部１０２０が音声画像登録手段に相当し、分類基準登録部１０４０が分類基準登録手段に相当し、閲覧部１０５０が実行するステップＳＴ００１ないしステップＳＴ００５、ステップＳＴ１０１、及びステップＳＴ１０２の処理により検索手段が実現される。
【０１２７】
以下、本発明の第２の実施形態について説明する。
第２の実施例においては、音声画像取込装置１５０は音声データを分割しない点で実施例１と異なる。
【実施例２】
【０１２８】
本発明の第２の実施形態における情報処理システムは、第１の実施形態における情報処理システムとほぼ同一構成及び機能を有する。よって、第１の実施形態との差異についてのみ説明する。
【０１２９】
音声画像取込装置１５０は、例えば、ボタンで構成される入力部を更に有し、入力部から会議音声、資料画像、及び撮影画像の取得を開始する命令、及び取得を終了する命令を入力される。音声画像取込装置１５０は、入力された命令に従って、会議音声、資料画像、及び撮影画像の取得を開始又は終了する。
【０１３０】
また、音声画像取込装置１５０は、入力部を有さず、ＲＧＢ信号の入力開始及び終了に伴って会議音声、資料画像、及び撮影画像の取得を開始及び終了する構成を採用できる。
【０１３１】
次に、音声画像取込装置１５０は、取得した資料画像、資料画像を取得した日時、及び資料画像を取得した会場を識別する情報を関連付けて、資料画像を生成したタイミングで情報処理装置１００へ出力する。
【０１３２】
また、音声画像取込装置１５０は、取得した撮影画像、撮影画像を取得した日時、及び撮影画像を取得した会場を識別する情報を関連付けて、撮影画像を取得したタイミングで情報処理装置１００へ出力する。
【０１３３】
また、音声画像取込装置１５０は、取得した会議音声であって、分割されていない会議音声と会議音声を取得した会場を識別する情報を関連付けて、入力部から取得を終了する命令を入力されたタイミングで情報処理装置１００へ出力する。
【０１３４】
音声画像登録部１０２０は、会議音声を取得する前に資料画像及び撮影画像を取得し、資料画像及び撮影画像を取得する度に資料画像及び撮影画像を記憶部に登録する。その後、音声画像登録部１０２０は、会議音声を取得し、取得した会議音声を記憶部に登録する。
【０１３５】
ここで実施例２において、音声画像データベース１０１２が、音声画像登録部１０２０が記憶部に登録した会議音声、資料画像、及び撮影画像を管理するために用いる音声画像テーブルの一例を以下の表２に示す。
【０１３６】
【表２】
2008048204.tif 000004
【０１３７】
表２は、音声データＩＤカラムを有する点で、実施例１で示した表１と異なる。音声データＩＤカラムには、会議音声を識別するための情報である会議音声識別情報を記憶が保存される。
【０１３８】
ここで表２は、音声画像登録部１０２０により資料画像及び撮影画像を記憶部に登録され、かつ会議音声は未だ記憶部に登録されていない場合の音声画像テーブルを表している。つまり、表３は、音声データＩＤカラムに会議音声を保存していない。
【０１３９】
また、保存先ＵＲＬに記憶された保存先には、資料画像及び資料画像のサムネイル、若しくは撮影画像及び撮影画像のサムネイルが保存され、会議音声は保存されない。
【０１４０】
次に、音声画像登録部１０２０が記憶部に登録した会議音声を管理するために音声画像データベース１０１２が用いる音声テーブルの一例を以下の表３に示す。
【０１４１】
【表３】
2008048204.tif 000005
【０１４２】
表３は、音声データＩＤカラム、音声ＵＲＬカラム、場所名カラム、及び日時カラムを有している。
音声データＩＤカラムには会議音声識別情報を、音声ＵＲＬカラムには会議音声を保存した保存先をＵＲＬ（Uniform Resource Locator
）を用いて表す情報が、場所名カラムには会場を識別する情報が、及び日時カラムには会議音声の取得を開始した日時及び終了した日時が保存される。
【０１４３】
尚、表３には、音声データ識別情報が重複するレコード、並びに会議音声を取得した日時及び会場を識別する情報の双方が重複するレコードが登録されることはない。
【０１４４】
具体的には、表３の会議音声識別情報である「８」で識別される会議音声等は、「http://aaa/data/40/」で識別されるディレクトリに保存されていることを表している。また、データ識別情報である「８」で識別される会議音声は、会場を識別する情報「会議室Ａ」で識別される会場で取得されたことを表している。
【０１４５】
また、データ識別情報「８」で識別される会議音声は「２００５年１１月２１日の１０時００分００秒」から「２００５年１１月２１日の１０時３５分００秒」の時間区間において取得されたことを表している。尚、音声ＵＲＬカラムに蓄積された保存先には、１つの分割されていない会議音声が保存される。
【０１４６】
次に、音声画像登録部１０２０が、会議音声を記憶部に登録した後の音声画像テーブルの一例を以下の表４に示す。
【０１４７】
【表４】
2008048204.tif 000006
【０１４８】
表４で示した音声画像テーブルは、音声データＩＤカラムに会議音声識別情報を保存する点で表２において示した音声画像テーブルと異なる。
【０１４９】
音声画像テーブルの音声データＩＤカラムに保存される会議音声識別情報は、表３で示した音声テーブルの音声データＩＤカラムに保存された会議音声識別情報である。
【０１５０】
会議音声識別情報で関連付けられる音声画像テーブルのレコードと音声テーブルのレコードとは、同じ会議室識別情報を場所名カラムに保存する。
【０１５１】
また、会議音声識別情報で関連付けられる音声画像テーブルのレコードの日時カラムに保存する撮影画像又は資料画像の取得日時は、音声テーブルのレコードの日時カラムに保存する会議音声の取得開始日時と終了日時とで定まる時間区間に属する。
【０１５２】
音声画像テーブルの構成が、実施例１と実施例２とで異なるために、閲覧部１０５０の実行する検索処理も異なる。ここで、実施例２における閲覧部１０５０が検索機能を提供する際に実行する処理である検索処理について説明する。
【０１５３】
先ず実施例１と同様に、閲覧部１０５０は、例えば、ユーザが入力装置１７０等を操作して入力した信号であって、閲覧画面ＦＶに表示された撮影画像又は資料画像のサムネイルＳＮを選択する信号を取得する
【０１５４】
次に、閲覧部１０５０は、撮影画像又は資料画像のサムネイルＳＮを選択する信号を受信し、選択されたサムネイルＳＮと関連付けて記憶したデータ識別情報を取得する。
【０１５５】
その後、取得したデータ識別情報と関連付けて記憶部が記憶した資料画像又は撮影画像、並びに会議音声を検索する。具体的には、実施例１と異なり、閲覧部１０５０は、表４に示した音声画像テーブルの画像データＩＤカラムに、取得したデータ識別情報を記憶するレコードを取得し、取得したレコードの保存先ＵＲＬカラムの保存先に保存された資料画像又は撮影画像を取得し、会議音声は取得しない。
【０１５６】
また、閲覧部１０５０は、音声画像テーブルから取得したレコードから音声データＩＤカラムに保存した音声識別情報を取得し、取得した音声識別情報を保存するレコードを音声テーブルから取得する。次に、閲覧部１０５０は、取得した音声テーブルから取得したレコードの音声ＵＲＬカラムに記憶した保存先に保存された会議音声を取得する。
【０１５７】
次に、実施例１と同様に、閲覧部１０５０は、検索した資料画像又は撮影画像を閲覧画面ＦＶと異なる画面に表示するよう、入出力制御部１０６０を介して表示装置１８０等を制御する。  
【０１５８】
その後、閲覧部１０５０は、検索した会議音声であって、表示装置１８０等に表示させる撮影画像又は資料画像に日時で関連付けて音声画像登録部１０２０が記憶部に登録した会議音声を出音するよう入出力制御部１０６０を介して出音装置１９０等を制御する。具体的には、検索した資料画像又は撮影画像の日時と検索した会議音声の記録開始日時の時間差を求め、その差の分だけ進めた位置から検索した会議音声を出音する。
【０１５９】
以下、本発明の第３の実施形態について説明する。
第３の実施例においては、撮影装置１３０は、例えば、デジタルカメラで構成され、音声画像取込装置１５０に対し、取り外し可能に接続する場合について説明する。特に、撮影装置１３０は、撮影時に音声画像取込装置１５０に接続せず、撮影後に接続する場合について説明する。
【実施例３】
【０１６０】
本発明の第３の実施形態における情報処理システムは、第２の実施形態における情報処理システムとほぼ同一構成及び機能を有する。よって、第２の実施形態との差異についてのみ説明する。
【０１６１】
撮影装置１３０は、会議の様子を撮影し、撮影した撮影画像と撮影画像を取得した日時とを関連付けて記憶する。音声画像取込装置１５０は、撮影装置１３０と、例えば、ＵＳＢ（Universal Serial Bus）接続する。
【０１６２】
音声画像取込装置１５０は、新たに接続した機器がデジタルカメラであるかを判断し、デジタルカメラであると判断した場合のみ、撮影画像と撮影画像を取得した日時とを関連付けて取得する。
【０１６３】
次に、音声画像取込装置１５０は、撮影画像と撮影画像を取得した日時と撮影画像を取得した会場を識別する情報とを関連付けて情報処理装置１００へ出力する。
【０１６４】
情報処理装置１００が備える音声画像登録部１０２０は、音声画像取込装置１５０から撮影画像と撮影画像を取得した日時と撮影画像を取得した会場を識別する情報とを関連付けて取得する。音声画像登録部１０２０は、撮影画像と取得日時と会場を識別する情報とを取得すると、記憶部に関連付けて登録する。
【０１６５】
尚、会議が終了している場合には表４で示した音声画像データテーブルが生成される。また、会議が終了してない場合には表２で示した音声識別情報を音声データＩＤカラムに保存しない（つまり、ＮＵＬＬ文字又は空文字列を保存する）音声画像データテーブルが生成され、会議が終了した後に音声識別情報を音声データＩＤカラムに保存する。
【０１６６】
ここで、音声画像登録部１０２０は、資料画像及び会議音声と資料画像及び会議音声を取得した日時とを関連付けて記憶部に登録し、かつ撮影画像と撮影画像を取得した日時とを関連付けて記憶部に登録する。よって、音声画像登録部１０２０が撮影画像の登録を、資料画像及び会議音声の登録よりも早く、同時に、又は遅く登録したとしても、最終的に生成される画像データテーブルは表４で表したテーブルと同様のものとなる。
【０１６７】
以下、本発明の第４の実施形態について説明する。
第４の実施例においては、撮影装置１３０は、例えば、ウェブカメラで構成され、所定の時間間隔（例えば、1秒間隔）で会議の様子を撮影する場合について説明する。
【実施例４】
【０１６８】
本発明の第４の実施形態における情報処理システムは、第１の実施形態における情報処理システムとほぼ同一構成及び機能を有する。よって、第１の実施形態との差異についてのみ説明する。
【０１６９】
音声画像取込装置１５０は、撮影装置１３０から撮影画像を取得し、取得した撮影画像に変化が生じた場合に限って取得した撮影画像を処理し、そうでない場合には取得した撮影画像を破棄する。尚、変化の有無については、実施例１で説明した資料画像の変化を判断する方法と同様であるため、説明を省略する。
【０１７０】
以下、本発明の第５の実施形態について添付図面を参照して説明する。
第５の実施例は、会議音声、資料画像、又は撮影画像からテキスト情報を抽出し、抽出したテキスト情報に基づいて撮影装置１３０に会議の様子を撮影させるか否かを判定する場合について説明する。
【実施例５】
【０１７１】
図７は、本発明の第５の実施形態における情報処理システムの構成図である。
本発明の第５の実施形態における情報処理システムは、第１の実施形態における情報処理システムとほぼ同一構成及び機能を有する。よって、第１の実施形態との差異についてのみ説明する。
【０１７２】
撮影装置１３０は、画像音声読込装置１５０のみならず、情報処理装置１００に接続し、情報処理装置１００から撮影を命じる命令を取得し、取得した命令に従って会議の様子を撮影する。
【０１７３】
音声画像取込装置１５０は、分割した会議音声、資料画像、撮影画像、及び会議音声等を取得した会場を識別する情報を、資料画像を生成したタイミング、及び撮影画像を取得したタイミングで情報処理装置１００へ出力する点で実施例１と同様であるが、別個に会場を識別する情報と会議音声とをリアルタイムで情報処理装置１００へ出力する点で実施例１と異なる。
【０１７４】
情報処理装置１００は、撮影装置１３０と接続する点で実施例１と異なる。情報処理装置１００は、撮影装置１３０へ撮影を命じる命令を出力する。
【０１７５】
情報処理装置１００は、音声処理部１１００、及び重要語判定部１１１０を更に備える点で実施例１と異なる。音声処理部１１００、及び重要語判定部１１１０の機能は、情報処理装置１００の実行するソフトウェア制御により実現される。
【０１７６】
音声処理部１１００は、音声画像取込装置１５０及び重要語判定部１１１０に接続している。音声処理部１１００は、会議音声の発言内容を構成する単語を抽出する発言単語抽出処理を実行する。
【０１７７】
ここで、図８を参照して音声処理部１１００の実行する発言単語抽出処理について説明する。図８は、音声処理部１１００の実行する発言単語抽出処理の一例を説明するためのフローチャートである。
【０１７８】
先ず、音声処理部１１００は、音声画像取込装置１５０から会議音声と会場を識別する情報とをリアルタイムで取得する（ステップＳＴ２０１）。次に、音声処理部１１００は、取得した会議音声に対して音声認識処理を行ってテキスト情報を抽出する（ステップＳＴ２０２）。
【０１７９】
また、音声処理部１１００は、抽出したテキスト情報に対して形態素解析により単語を抽出し、特に英語表記された文字列の場合には、空白部分で分割する等して文字列を抽出して単語を抽出する（ステップＳＴ２０３）。その後、音声処理部１１００は、抽出した単語と会場を識別する情報とを重要語判定部１１１０に出力する（ステップＳＴ２０４）。
【０１８０】
重要語判定部１１１０は、撮影装置１３０、分類基準登録部１０４０、及び音声処理部１１００に接続している。重要語判定部１１１０は、会議音声の発言内容、資料画像、又は撮影画像を構成する単語が重要な単語であるか否かを判定する重要語判定処理を実行する。
【０１８１】
ここで、図９を参照して重要語判定部１１１０の実行する重要語判定処理について説明する。図９は、重要語判定部１１１０の実行する重要語判定処理の一例を説明するためのフローチャートである。
【０１８２】
先ず、重要語判定部１１１０は、分類基準登録部１０４０及び音声処理部１１００から単語と会場を識別する情報とを取得する（ステップＳＴ３０１）。次に、重要語判定部１１１０は、取得した単語が重要であるか否かを判定する（ステップＳＴ３０２）。重要語判定部１１１０は、重要であると判定した場合にはステップＳＴ３０３の処理を、そうでない場合には処理を終了する。
【０１８３】
ステップＳＴ３０２において、重要語判定部１１１０は、取得した単語が重要であると判定した場合には、会場を識別する情報で識別される会場に設置された撮影装置１３０に対して撮影命令を出力する（ステップＳＴ３０３）。その後、重要語判定部１１１０は、処理を終了する。
【０１８４】
尚、重要語判定部１１１０は、過去に取得した単語の取得頻度、及び予め定められた品詞等の単語の属性を記憶しており、例えば、固有名詞である単語の場合には、取得頻度の低い単語（珍しい単語）又は新規に取得した単語を重要と判断する。また、重要語判定部１１１０は、単語と単語の重要度とを予め関係付けて記憶してする構成を採用することもできる。
【０１８５】
また、重要語判定部１１１０は、分類基準登録部１０４０から取得した単語が重要であるか否かの判定結果を分類基準登録部１０４０へ出力する。分類基準登録部１０４０は、資料画像又は撮影画像を分類する基準である単語のみならず、単語の重要度をも資料画像又は撮影画像を分類する基準として資料画像又は撮影画像と関連付けて記憶部に登録する。
【０１８６】
更に、閲覧部１０５０は、会議音声、資料画像、撮影画像、並びに資料画像及び撮影画像のサムネイルの検索と同時に、資料画像又は撮影画像と関連付けて分類基準登録部１０４０が記憶部に登録した分類基準である単語及び単語の重要度をも検索する。
【０１８７】
その後、閲覧部１０５０は、検索したサムネイルＳＮと重要な単語とを、例えば、サムネイルＳＮの下に表示する等して関連付けて表示するよう第１表示部１８０等を制御する。
【０１８８】
本実施例においては、撮影装置１３０が撮影手段に相当し、第１表示装置１７０及び第２表示装置が表示手段に相当し、第１出音装置１８０及び第２出音装置２３０が出音手段に相当し、音声画像登録部１０２０が音声画像登録手段に相当し、分類基準登録部１０４０が分類基準登録手段に相当し、重要語判定部１１１０が判定手段に相当し、閲覧部１０５０が実行するステップＳＴ００１ないしステップＳＴ００５、ステップＳＴ１０１、及びステップＳＴ１０２の処理により検索手段が実現される。
【０１８９】
以下、本発明の第６の実施形態について添付図面を参照して説明する。
第６の実施例は、会議音声の音量に基づいて撮影装置１３０に会議の様子を撮影させるか否かを判定する場合について説明する。
【実施例６】
【０１９０】
図１０は、本発明の第６の実施形態における情報処理システムの構成図である。
本発明の第６の実施形態における情報処理システムは、第５の実施形態における情報処理システムとほぼ同一構成及び機能を有する。よって、第１の実施形態との差異についてのみ説明する。
【０１９１】
情報処理装置１００は、音声処理部１１００を備えるが、重要語判定部１１１０を備えない点で実施例５と異なる。音声処理部１１００の機能は、音声画像取込装置１５０の実行するソフトウェア制御により実現される。
【０１９２】
音声処理部１１００は、音声画像取込装置１５０に接続している。音声処理部１１００は、会議音声の音量に基づいて撮影装置１３０に撮影を行なわせるか否かを判定する判定処理を行なう。
【０１９３】
ここで、図１１を参照して音声処理部１１００の実行する判定処理について説明する。図１１は、音声処理部１１００の実行する判定処理の一例を説明するためのフローチャートである。
【０１９４】
先ず、音声処理部１１００は、音声画像取込装置１５０から会議音声と会場を識別する情報とを取得する（ステップＳＴ４０１）。次に、音声処理部１１００は、取得した会議音声の音量を取得する（ステップＳＴ４０２）。
【０１９５】
音声処理部１１００は、取得した音量が予め定めた音量を超えるか否かを判断する（ステップＳＴ４０３）。ステップＳＴ４０３において、音声処理部１１００は、取得した音量が予め定めた音量を超えると判断する場合にはステップＳＴ４０４の処理を、そうでない場合には処理を終了する。
【０１９６】
ステップＳＴ４０３において、音声処理部１１００は、取得した音量が予め定めた音量を超えると判定した場合には、取得した会場を識別する情報で識別される会場に設置された撮影装置１３０に対して撮影命令を出力する（ステップＳＴ４０４）。その後、音声処理部１１００は、処理を終了する。
【０１９７】
尚、音声処理部１１００は、更に分類基準登録部１０４０に接続し、取得した音量が予め定めた音量を超えた日時と会場を識別する情報とを分類基準登録部１０４０へ出力する構成を採用できる。この構成において、分類基準登録部１０４０は、取得した会議音声の音量が予め定めた音量を超えた日時を分類基準として資料画像又は撮影画像と関連付けて記憶部に登録する構成を採用できる。
【０１９８】
また、閲覧部１０５０は、会議音声、資料画像、撮影画像、並びに資料画像及び撮影画像のサムネイルのみならず、資料画像又は撮影画像と関連付けて分類基準登録部１０４０が記憶部に登録した分類基準であって、会議音声の音量が予め定めた音量を超えた日時をも検索する。
【０１９９】
その後、閲覧部１０５０は、会議音声の音量が予め定めた音量を超えた日時と関連付けられた資料画像又は撮影画像のサムネイルＳＮについては、検索したサムネイルＳＮと会議音声の音量が予め定めた音量を超えたことを表す目印（例えば、所定の音量を超えた日時）とを、例えば、サムネイルＳＮの下に表示する等して関連付けて表示するよう第１表示部１８０等を制御する。
【０２００】
本実施例においては、撮影装置１３０が撮影手段に相当し、第１表示装置１７０及び第２表示装置が表示手段に相当し、第１出音装置１８０及び第２出音装置２３０が出音手段に相当し、音声画像登録部１０２０が音声画像登録手段に相当し、分類基準登録部１０４０が分類基準登録手段に相当し、音声処理部１１００が判定手段に相当し、閲覧部１０５０が実行するステップＳＴ００１ないしステップＳＴ００５、ステップＳＴ１０１、及びステップＳＴ１０２の処理により検索手段が実現される。
【０２０１】
以下、本発明の第７の実施形態について添付図面を参照して説明する。
第７の実施例は、所定の時間間隔で撮影装置１３０に会議の様子を撮影させる場合について説明する。
【実施例７】
【０２０２】
本発明の第７の実施形態における情報処理システムは、第１の実施形態における情報処理システムとほぼ同一構成及び機能を有する。よって、第１の実施形態との差異についてのみ説明する。
【０２０３】
音声画像取得装置１５０は、所定の時間間隔で撮影装置１３０に会議の様子を撮影させる撮影制御処理を実行する点で実施例１と異なる。
【０２０４】
ここで、図１２を参照して、音声画像取得装置１５０の実行する撮影制御処理について説明する。図１２は、音声画像取得装置１５０の実行する撮影制御処理の一例を説明するためのフローチャートである。
【０２０５】
先ず、音声画像取得装置１５０は、撮影開始日時を取得し、撮影開始日時に基づいて撮影予定日時を取得する（ステップＳＴ５０１）。例えば、撮影開始日時を撮影予定日時とする、又は撮影開始日時から所定時間経過後を撮影予定日時とする構成を採用できる。
【０２０６】
また、撮影開始日時は、例えば、音声画像取得装置１５０が画像信号を画像生成装置１１０から入力された日時とする構成を採用できる。また、音声画像取得装置１５０は、例えば、ボタンで構成される入力部を更に有し、入力部から会議音声、資料画像、及び撮影画像の取得を開始する命令を入力され日時とする構成を採用できる。
【０２０７】
次に、音声画像取得装置１５０は、システム日時を取得し、システム日時が撮影予定日時を経過しているか否かを判断する（ステップＳＴ５０２）。音声画像取得装置１５０は、システム日時が撮影予定日時を経過していると判断する場合にはステップＳＴ５０３の処理を、そうでない場合にはステップＳＴ５０５の処理を実行する。
【０２０８】
ステップＳＴ５０２において、音声画像取得装置１５０は、システム日時が撮影予定日時を経過したと判断した場合には、撮影装置１３０へ撮影命令を出力する（ステップＳＴ５０３）。その後、音声画像取得装置１５０は、撮影予定日時を撮影予定日時よりも所定時間だけ後の日時に更新する（ステップＳＴ５０４）。その後、音声画像取得装置１５０は、ステップＳＴ５０２に戻り上記処理を繰り返す。
【０２０９】
ステップＳＴ５０２において、音声画像取得装置１５０は、システム日時が撮影予定日時を経過しない判断した場合には、終了シグナルを受信したか否かを判断する（ステップＳＴ５０５）。音声画像取得装置１５０は、終了シグナルを受信したと判断する場合には処理を終了し、そうでない場合にはステップＳＴ５０６の処理を実行する。
【０２１０】
ステップＳＴ５０５において、音声画像取得装置１５０は、終了シグナルを受信しなかったと判断した場合には所定時間スリープする（ステップＳＴ５０６）。その後、上記ステップＳＴ５０２に戻り上記処理を繰り返す。
【０２１１】
以下、本発明の第８の実施形態について添付図面を参照して説明する。
第８の実施例は、所定の時間間隔で会議の様子を撮影するようユーザに通知する場合について説明する。
【実施例８】
【０２１２】
本発明の第８の実施形態における情報処理システムは、第７の実施形態における情報処理システムとほぼ同一構成及び機能を有する。よって、第７の実施形態との差異についてのみ説明する。
【０２１３】
音声画像取得装置１５０は、例えば、例えば、液晶ディスプレイ、プラズマディスプレイ、又はＣＲＴ（Cathode Ray Tube）ディスプレイで構成される表示部、又はスピーカで構成される出音部を有する。音声画像取得装置１５０は、所定の時間間隔で撮影装置１３０を操作して会議の様子を撮影するよう促す表示を表示部に表示する、又は音声を出音部から出音する通知制御処理を実行する点で実施例１と異なる。
【０２１４】
ここで、図１３を参照して、音声画像取得装置１５０の実行する通知制御処理について説明する。図１３は、音声画像取得装置１５０の実行する通知制御処理の一例を説明するためのフローチャートである。
【０２１５】
音声画像取得装置１５０の実行するステップＳＴ６０１、ＳＴ６０２、ＳＴ６０４ないしＳＴ６０６の処理は、実施例７で説明したステップＳＴ５０１、ＳＴ５０２、ＳＴ５０４ないしＳＴ５０６の処理と同様であるため、説明を省略する。よって、ステップＳＴ６０３の処理について説明する。
【０２１６】
ステップＳＴ６０２において、音声画像取得装置１５０は、システム日時が撮影予定日時を経過したと判断した場合には、音声画像取得装置１５０の有する表示部に撮影装置１３０を操作して会議の様子を撮影するよう促す表示を表示する、又は出音部から撮影するよう促す音声を出音する（ステップＳＴ６０３）。その後、音声画像取得装置１５０は、ステップＳＴ６０４の処理を実行する。
【０２１７】
情報処理装置１００は、機能的には、演算部１０１がＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４の少なくともひとつに格納されたプログラムを実行することにより実現できる。また、このプログラムは、磁気ディスクや光ディスク、半導体メモリ、その他の記録媒体に格納して配布したり、ネットワークを介して配信したりすることにより提供できる。
【０２１８】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【０２１９】
上記実施形態では、外部記憶装置はハードディスク（Hard Disk）で構成されるとして説明したが、これに限定されるわけではなく、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＤＶＤ−ＲＡＭ（Digital Versatile Disk Random Access Memory）、ＭＯ（magneto-optic）、及び、フラッシュメモリ（flash memory）で構成される実施形式を採用できる。
【図面の簡単な説明】
【０２２０】
【図１】本発明の情報処理システムの実施形態を表す機能ブロック図である。
【図２】本発明の情報処理装置の実施形態を表す機能ブロック図である。
【図３】ソフトウェア制御を実現するための情報処理装置１００の一構成例を表す構成図である。
【図４】表示装置が表示する閲覧画面ＦＶの一例を説明するための図である。
【図５】閲覧部の実行する検索処理の一例を説明するためのフローチャートである。
【図６】閲覧部の実行する検索処理の他例を説明するためのフローチャートである。
【図７】本発明の第５の実施形態における情報処理システムの構成図である。
【図８】音声処理部の実行する発言単語抽出処理の一例を説明するためのフローチャートである。
【図９】重要語判定部の実行する重要語判定処理の一例を説明するためのフローチャートである。
【図１０】本発明の第６の実施形態における情報処理システムの構成図である。
【図１１】音声処理部の実行する判定処理の一例を説明するためのフローチャートである。
【図１２】画像音声取得装置の実行する撮影制御処理の一例を説明するためのフローチャートである。
【図１３】画像音声取得装置の実行する通知制御処理の一例を説明するためのフローチャートである。
【符号の説明】
【０２２１】
１００…情報処理装置                          １０１…演算装置
１０２…ＲＯＭ                                １０３…外部記憶装置
１０４…外部記憶装置                          １０５…バス
１１０…画像生成装置                          １２０…音声取得装置
１３０…撮影装置（撮影手段）                  １４０…画像表示装置
１５０…音声画像取込装置                      １７０…第１入力装置（入力手段）
１８０…第１表示装置（表示手段）              １９０…第１出音装置（出音手段）
２００…遠隔端末装置                          ２１０…第２入力装置
２２０…第２表示装置（表示手段）              ２３０…第２出音装置（出音手段）
３００…ネットワーク                          ４０１〜４０ｎ…会議室１〜ｎ
１０１２…音声画像ＤＢ                        １０１３…インデックスＤＢ
１０２０…音声画像登録部（音声画像登録手段）  １０３０…テキスト抽出部
１０４０…分類基準登録部（分類基準登録手段）  １０５０…閲覧部
１０６０…入出力制御部                        １０７０…通信部
１１００…音声処理部                          １１１０…重要語判定部（判定手段）
ＡＢ１，２…書誌情報表示領域                  ＡＳ１，２…サムネイル表示領域
ＢＴＳ…検索ボタン                            ＦＶ…閲覧画面
ＰＣ…サムネイルページコントロール            ＳＢ…スクロールバー
ＳＮ１１〜１４，２１…サムネイル              ＴＢＤ１，２…開始日付テキストボックス
ＴＢＴ１，２…開始時刻テキストボックス        ＴＢＷ…検索ワードテキストボックス
ＴＣ１〜２…場所タブ
【図１】
2008048204.tif 000007
【図２】
2008048204.tif 000008
【図３】
2008048204.tif 000009
【図４】
2008048204.tif 000010
【図５】
2008048204.tif 000011
【図６】
2008048204.tif 000012
【図７】
2008048204.tif 000013
【図８】
2008048204.tif 000014
【図９】
2008048204.tif 000015
【図１０】
2008048204.tif 000016
【図１１】
2008048204.tif 000017
【図１２】
2008048204.tif 000018
【図１３】
2008048204.tif 000019