(57)【要約】【課題】所望の音声及び画像を効率的に検索できる会議システム及び会議方法を提供する。【解決手段】  会議における音声を取得する音声取得手段と、会議において投影される画像を取得する画像取得手段と、音声取得手段で取得された音声である取得音声と取得音声について分類をする基準である取得音声分類基準と、画像取得手段で取得された画像である取得画像と取得画像について分類をする基準である取得画像分類基準と、を関連付けて蓄積するよう制御する制御手段と、を備え、取得音声分類基準は、取得音声を発した者を識別する情報である発言者識別情報を含む。  この構成によれば、会議において取得された音声及び画像を発言者識別情報に基づいて分類して蓄積できる。よって、特定の発言者に関連した音声及び画像を知ることができるだけでなく、特定の音声及び画像に関連した発言者を知ることもできる。【選択図】図１
2007288539.tif 000002
【特許請求の範囲】
【請求項１】
会議における音声を取得する音声取得手段と、
前記会議において投影される画像を取得する画像取得手段と、
前記音声取得手段で取得された音声である取得音声と前記取得音声について分類をする基準である取得音声分類基準とを関連付け、前記画像取得手段で取得された画像である取得画像と前記取得画像について分類をする基準である取得画像分類基準とを関連付け、かつ、前記取得音声と前記取得画像とを関連付けて、蓄積するよう制御する制御手段と、を備え、
前記取得音声分類基準は、前記取得音声を取得した時刻である音声取得時刻を含み、
前記取得画像分類基準は、前記取得画像を取得した時刻である画像取得時刻を含み、
前記制御手段は、前記取得音声と前記取得画像とを、前記取得音声分類基準である音声取得時刻と前記取得画像分類基準である画像取得時刻とに基づいて時刻で関連付けて蓄積するよう制御する会議システムであって、
前記取得音声分類基準は、前記取得音声として取得した音声を発した者を識別する情報である発言者識別情報を含むことを特徴とする会議システム。
【請求項２】
前記制御手段は、前記発言者識別情報と前記発言者を説明する情報である発言者説明情報とを関連付けて蓄積するよう制御することを特徴とする請求項１に記載の会議システム。
【請求項３】
前記発言者説明情報は、氏名、所属、役職、電子メールアカウント、住所、電話番号、ＦＡＸ番号、ＵＲＬ、前記会議の参加者を撮影した画像である参加者撮影画像、又は、前記会議の参加者を撮影した映像である参加者撮影映像の少なくとも１つ以上であることを特徴とする請求項２に記載の会議システム。
【請求項４】
前記会議における参加者を撮影する撮影手段、を更に備え、
前記参加者撮影画像は前記撮影手段が発言時において前記会議の参加者を撮影した画像であること、又は、前記参加者撮影映像は前記撮影手段が発言時において前記会議の参加者を撮影した映像であること、のどちらか又は双方を特徴とする請求項３に記載の会議システム。
【請求項５】
前記取得音声分類基準は、直前の発言者と比べて発言者が異なるか否かに関する情報である交代情報を含むことを特徴とする請求項１ないし４に記載の会議システム。
【請求項６】
前記取得音声分類基準は、前記音声取得手段で取得された取得音声に基づいて得られる発言のなされた時間区間である発言区間を含むことを特徴とする請求項１ないし５に記載の会議システム。
【請求項７】
前記取得音声分類基準は、前記発言区間における取得音声から音声認識処理により取得した発言内容を表すテキスト情報を含むことを特徴とする請求項６に記載の会議システム。
【請求項８】
前記取得音声分類基準は、前記発言区間における発話量を含むことを特徴とする請求項６又は７に記載の会議システム。
【請求項９】
前記発話量とは、前記発言内容を表すテキスト情報を構成する文字数、又は、前記発言区間長であることを特徴とする請求項８に記載の会議システム。
【請求項１０】
前記取得画像分類基準は、前記取得画像から文字認識処理により取得したテキスト情報を含むことを特徴とする請求項１ないし９に記載の会議システム。
【請求項１１】
前記取得画像分類基準は、前記取得画像が会議において投影された時間区間である投影区間を含むことを特徴とする請求項１ないし１０に記載の会議システム。
【請求項１２】
前記取得画像分類基準は、前記取得画像を基に作成されたサムネイルを含むことを特徴とする請求項１ないし１１に記載の会議システム。
【請求項１３】
前記制御手段が蓄積するよう制御した前記取得音声分類基準、又は、前記取得画像分類基準のいずれか１つ以上に基づいて、前記制御手段が蓄積するよう制御した取得画像及び取得音声を検索する検索手段と、
前記検索手段で検索された取得画像を表示する表示手段と、
前記検索手段で検索された取得音声を出音する出音手段と、を更に備え、
前記出音手段は、前記表示手段の表示する取得画像に関連付けられた取得音声を出音し、
前記表示手段は、前記出音手段の出音する取得音声に関連付けられた前記発言者説明情報を表示することを特徴とする請求項１２に記載の会議システム。
【請求項１４】
前記表示手段は、前記制御手段が蓄積するよう制御した交代情報に基づいて、前記発言者の交代を通知する情報である交代通知情報を表示することを特徴とする請求項１３に記載の会議システム。
【請求項１５】
前記交代通知情報とは、前記発言者説明情報であることを特徴とする請求項１４に記載の会議システム。
【請求項１６】
前記表示手段は、前記検索手段で検索された取得画像に関連付けられたサムネイルと、前記サムネイルに関連付けられた取得画像の投影区間に含まれる１又は複数の発言区間に関連付けられた情報である発言区間関連情報と、を関連付けて視覚的に表示することを特徴とする請求項１３ないし１５に記載の会議システム。
【請求項１７】
前記発言区間関連情報は、前記参加者撮影画像、前記参加者撮影映像、前記発話量、又は、前記発言区間間の区間長である沈黙区間長、のいずれか１つ以上の情報であることを特徴とする請求項１６に記載の会議システム。
【請求項１８】
前記表示手段は、前記発話量を前記参加者撮影画像、又は、前記参加者撮影映像の大きさにより表示することを特徴とする請求項１７に記載の会議システム。
【請求項１９】
前記表示手段は、前記沈黙区間長を前記参加者撮影画像、又は、前記参加者撮影映像の表示間隔長により表示することを特徴とする請求項１７に記載の会議システム。
【請求項２０】
前記表示手段は、前記発言区間関連情報を発言の時間的前後、又は、発言量の多少のいずれか１つ以上に基づいて昇順又は降順に表示することを特徴とする請求項１７ないし１９に記載の会議システム。
【請求項２１】
前記検索手段は、前記制御手段が蓄積するよう制御した前記取得音声分類基準、又は、前記取得画像分類基準のいずれか１つ以上に基づいて、前記制御手段が蓄積するよう制御した取得音声に関連付けられた発言区間を検索し、
前記表示手段は、前記検索手段で検索された発言区間に関連付けられた発言区間関連情報を強調表示することを特徴とする請求項１６ないし２０に記載の会議システム。
【請求項２２】
前記表示手段は、前記会議において投影された取得画像に関連付けられたサムネイルを一覧表示し、一覧表示したサムネイルの内で前記検索手段で検索された取得画像に関連付けられたサムネイルを強調表示することを特徴とする請求項１３ないし２１に記載の会議システム。
【請求項２３】
前記強調表示は、縁取り、ハイライト、点滅、又は、色の変換をした画像表示のいずれか１つ以上による表示であることを特徴とする請求項２１又は２２に記載の会議システム。
【請求項２４】
前記表示手段は、前記取得画像と前記発言区間関連情報とを重ね合わせず同時に、重ね合わせて同時に、又は、択一的に、表示することを特徴とする請求項１６ないし２１に記載の会議システム。
【請求項２５】
前記表示手段は、前記取得画像と前記交代通知情報とを重ね合わせず同時に、重ね合わせて同時に、又は、択一的に、表示することを特徴とする請求項１４又は１５に記載の会議システム。
【請求項２６】
前記表示手段で表示したサムネイルを選択する命令を入力する入力手段、を更に備え、
前記表示手段は、前記入力手段で入力された命令で選択されたサムネイルに関連付けられた取得画像を表示し、
前記出音手段は、前記入力手段で入力された命令で選択されたサムネイルに関連付けられた取得画像の投影区間における取得音声を出音することを特徴とする請求項１６ないし２４に記載の会議システム。
【請求項２７】
前記表示手段で表示した発言区間関連情報である参加者撮影画像、又は、参加者撮影映像を選択する命令を入力する入力手段、を更に備え、
前記表示手段は、前記入力手段で入力された命令で選択された発言区間関連情報に関連付けられた発言区間を含む投影区間において投影された取得画像を表示し、
前記出音手段は、前記入力手段で入力された命令で選択された発言区間関連情報に関連付けられた発言区間における取得音声を出音することを特徴とする請求項１７ないし２０に記載の会議システム。
【請求項２８】
前記表示手段は、前記取得画像と、前記取得画像の投影区間と、前記取得画像の投影区間に含まれる１又は複数の発言区間と、を関連付けて視覚的に表示し、
前記表示手段で表示した１又は複数の発言区間を選択する命令を入力する入力手段、を更に備え、
前記出音手段は、前記入力手段で入力された命令で選択された発言区間に関連付けられた取得音声を出音し、
前記表示手段は、前記入力手段で入力された命令で選択された発言区間に関連付けられた取得画像を表示することを特徴とする請求項１３ないし２５に記載の会議システム。
【請求項２９】
会議における音声を取得する音声取得ステップと、
前記会議において投影される画像を取得する画像取得ステップと、
前記音声取得ステップで取得された音声である取得音声と前記取得音声について分類をする基準である取得音声分類基準とを関連付け、前記画像取得ステップで取得された画像である取得画像と前記取得画像について分類をする基準である取得画像分類基準とを関連付け、前記取得音声と前記取得画像とを関連付けて蓄積するよう制御する制御ステップと、を備え、
前記取得音声分類基準は、前記取得音声を取得した時刻である音声取得時刻を含み、
前記取得画像分類基準は、前記取得画像を取得した時刻である画像取得時刻を含み、
前記制御ステップは、前記取得音声と前記取得画像とを、前記取得音声分類基準である音声取得時刻と前記画像音声分類基準である画像取得時刻とに基づいて時刻で関連付けて蓄積するよう制御する会議方法であって、
前記取得音声分類基準は、前記取得音声として取得した音声を発した者を識別する情報である発言者識別情報を含むことを特徴とする会議方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議における音声及び画像を蓄積又は検索できる会議システム及び会議方法に関し、特に、音声及び画像を効率的に検索できる会議システム及び会議方法を提供することにある。
【背景技術】
【０００２】
会議又は講義等において、発表者は、プロジェクタにより資料画像を投影し、投影した画像に対して発表等を行なう。このようにして行なわれた会議等において投影された画像及び発言された音声等を予め記録しておくことで、会議に出席しなかった者や会議の内容を再確認しようとする者等が会議の内容を参照することができる。
しかし、所望のスライド画像又は発言を容易に検索するためには索引付け作業が必要であり、人手によらない索引付け処理が必要となる。
このような機能を有する記録システム等としては、ビデオカメラにより撮影された映像とマイクにより収音された音声とに対し、スライドの切替操作種類と切替時刻とを索引として自動的に関連付けて蓄積しておくことで、スライドの投影時に取得された音声及び映像を容易に検索して視聴できるシステムが知られている（例えば、特許文献１参照）。
また、スライドの説明時におけるカーソル等の動きをも関連付けて蓄積しておくことで、音声及び映像の視聴に伴って記録されたカーソル等の動きを再現できる記録装置が知られている（例えば、特許文献２参照）。
【０００３】
更に、検索結果から所望の発言であるか否かを特定するためには、実際に発言及び画像を視聴して所望の発言であるかを判断する必要があるため、所望の発言を容易に特定できる検索結果の表示方法が必要となる。
このような機能を有する会議情報記録再生装置としては、発言の遷移を発言者の顔写真を用いて示すチャートから成るＧＵＩを備えると伴に、ユーザが発言者の顔写真を選択することで発言者の発言を視聴できる装置が知られている（例えば、特許文献３参照）。
【特許文献１】特開２００２‐１０９０９９
【特許文献２】特開２００３‐５８９０１
【特許文献３】特開平１１‐５３３８５
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上記のような装置又はシステムでは、検索された音声及び画像のみに基づいて発言者を判断するため、発言者が誰であるかを認識することが困難であり、特に、参加者の声の特徴が似ている場合には発言者が交代したことにすら気づき難い。また、会議においてされた発言に係る音声及び画像から特定の人物の発言に係るもののみを選択して視聴できない。よって、所望の音声又は画像を効率的に検索できないという問題があった。
【０００５】
本発明は、上記問題に鑑みて成されたものであり、その目的とするところは、所望の音声及び画像を効率的に検索できる会議システム及び会議方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明に係る会議システムは、会議における音声を取得する音声取得手段と、会議において投影される画像を取得する画像取得手段と、音声取得手段で取得された音声である取得音声と取得音声について分類をする基準である取得音声分類基準とを関連付け、画像取得手段で取得された画像である取得画像と取得画像について分類をする基準である取得画像分類基準とを関連付け、かつ、取得音声と取得画像とを関連付けて、蓄積するよう制御する制御手段と、を備え、取得音声分類基準は、取得音声を取得した時刻である音声取得時刻を含み、取得画像分類基準は、取得画像を取得した時刻である画像取得時刻を含み、制御手段は、取得音声と取得画像とを、取得音声分類基準である音声取得時刻と取得画像分類基準である画像取得時刻とに基づいて時刻で関連付けて蓄積するよう制御する会議システムであって、取得音声分類基準は、取得音声として取得した音声を発した者を識別する情報である発言者識別情報を含むことを特徴としている。
この構成によれば、会議において取得された音声及び画像を、音声又は画像を取得した時刻のみならず、発言者識別情報に基づいても分類して蓄積できる。よって、特定の時刻における音声及び画像のみならず、特定の発言者に関連した音声及び画像を知ることができる。また逆に、特定の音声及び画像に関連した発言者を知ることもできる。
【０００７】
上記構成において、制御手段は、発言者識別情報と発言者を説明する情報である発言者説明情報とを関連付けて蓄積するよう制御する、構成を採用できる。
この構成によれば、発言者識別情報と発言者説明情報とを関連付けて蓄積するため、一例として、発言者識別情報と発言者説明情報とを関連付けない会議システムに比べて発言者を容易に認識できる。
【０００８】
上記構成において、発言者説明情報は、氏名、所属、役職、電子メールアカウント、住所、電話番号、ＦＡＸ番号、ＵＲＬ、会議の参加者を撮影した画像である参加者撮影画像、又は、会議の参加者を撮影した映像である参加者撮影映像の少なくとも１つ以上である、構成を採用できる。
この構成によれば、個人を特徴付ける情報、又は、個人との連絡方法を示す情報である氏名、所属、役職、電子メールアカウント、住所、電話番号、ＦＡＸ番号、ＵＲＬ、参加者撮影画像、又は、参加者撮影映像と、個人を識別する情報と、を関連付けて蓄積するため、ユーザは容易に、個人を認識すること、又は、個人と連絡を取ることができる。
【０００９】
上記構成において、会議における参加者を撮影する撮影手段、を更に備え、参加者撮影画像は、撮影手段が発言時において会議の参加者を撮影した画像である、又は、参加者撮影映像は撮影手段が発言時において会議の参加者を撮影した映像である構成を採用できる。
この構成によれば、発言時の参加者を撮影できるため、一例として、発言時の発言者の表情、身振り、会議の雰囲気、開催時期、開催場所等の発言内容を補完する情報を知ることができる。
【００１０】
上記構成において、取得音声分類基準は、直前の発言者と比べて発言者が異なるか否かに関する情報である交代情報を含む、構成を採用できる。
この構成によれば、発言者の交代を交代情報により知ることができるため、容易に発言者の交代を知ることができる。
【００１１】
上記構成において、取得音声分類基準は、音声取得手段で取得された取得音声に基づいて得られる発言のなされた時間区間である発言区間を含む、構成を採用できる。
この構成によれば、制御手段は発言区間と取得音声とを関連付けて蓄積するよう制御するため、取得音声の内で発言に係る音声を知ることができる。
【００１２】
上記構成において、取得音声分類基準は、発言区間における取得音声から音声認識処理により取得した発言内容を表すテキスト情報を含む、構成を採用できる。
この構成によれば、制御手段は発言内容と取得音声とを関連付けて蓄積するよう制御するため、発言に係る音声を発言内容に基づいて分類できる。
【００１３】
上記構成において、取得音声分類基準は、発言区間における発話量を含む、構成を採用できる。
この構成によれば、制御手段は発言量と取得音声とを関連付けて蓄積するよう制御するため、発言に係る音声を発言量に基づいて分類できる。
【００１４】
上記構成において、発話量とは、発言内容を表すテキスト情報を構成する文字数、又は、発言区間長である、構成を採用できる。
この構成によれば、発話量を、発言内容を表すテキスト情報を構成する文字数又は発言区間長とするため、発言の量を定量的に知ることができる。
【００１５】
上記構成において、取得画像分類基準は、取得画像から文字認識処理により取得したテキスト情報を含む、構成を採用できる。
この構成によれば、制御手段は取得画像から文字認識処理により取得したテキスト情報と取得画像とを関連付けて蓄積するよう制御するため、取得画像を取得画像の有するテキスト情報に基づいて分類できる。
【００１６】
上記構成において、取得画像分類基準は、取得画像が会議において投影された時間区間である投影区間を含む、構成を採用できる。
この構成によれば、制御手段は投影区間と取得画像とを関連付けて蓄積するよう制御するため、特定の時刻に会議において投影されていた画像を知ることができるだけでなく、特定の取得画像の投影されていた時間区間を知ることができる。
【００１７】
上記構成において、取得画像分類基準は、取得画像を基に作成されたサムネイルを含む、構成を採用できる。
この構成によれば、制御手段はサムネイルと取得画像とを関連付けて蓄積するよう制御するため、サムネイルに基づいて取得画像を分類できる。
【００１８】
上記構成において、制御手段が蓄積するよう制御した取得音声分類基準、又は、取得画像分類基準のいずれか１つ以上に基づいて、制御手段が蓄積するよう制御した取得画像及び取得音声を検索する検索手段と、検索手段で検索された取得画像を表示する表示手段と、検索手段で検索された取得音声を出音する出音手段と、を更に備え、出音手段は、表示手段の表示する取得画像に関連付けられた取得音声を出音し、表示手段は、出音手段の出音する取得音声に関連付けられた発言者説明情報を表示する、構成を採用できる。
この構成によれば、検索された音声及び画像の視聴時に発言者説明情報を参照できる。よって、一例として、発言者説明情報を表示しない会議システムに比べて、検索結果が特定の発言者のした発言に係る画像及び音声であるかを容易に確認できるため所望の音声及び画像を効率的に検索できる。
【００１９】
上記構成において、表示手段は、制御手段が蓄積するよう制御した交代情報に基づいて、発言者の交代を通知する情報である交代通知情報を表示する、構成を採用できる。
この構成によれば、既に蓄積された交代情報に基づいて交代通知情報を表示するため、表示のために会議システムが実行する処理を単純化できる。また、ユーザは、発言者の交代を聴覚のみならず、交代通知情報により視覚的に知ることができるため、容易に発言者の交代を認識できる。
【００２０】
上記構成において、交代通知情報とは、発言者説明情報である、構成を採用できる。
この構成によれば、一例として、発言者の交代時に発言者説明情報を表示しない会議システムに比べて、ユーザは交代した発言者を容易に認識できる。
【００２１】
上記構成において、表示手段は、検索手段で検索された取得画像に関連付けられたサムネイルと、サムネイルに関連付けられた取得画像の投影区間に含まれる１又は複数の発言区間に関連付けられた情報である発言区間関連情報と、を関連付けて視覚的に表示する、構成を採用できる。
この構成によれば、検索された取得画像及び取得画像の投影中に行なわれた発言に関する情報を視覚的に表示するため、実際に発言に係る取得音声を聴くまでも無く発言に関する情報を一見して知ることができる。
【００２２】
上記構成において、発言区間関連情報は、参加者撮影画像、参加者撮影映像、発話量、又は、発言区間間の区間長である沈黙区間長、のいずれか１つ以上の情報である、構成を採用できる。
この構成によれば、発言に係る取得音声を実際に聞くことなく、発話量、又は、沈黙区間長、を視覚的に知ることができ、また、発言者を参加者撮影画像又は参加者撮影映像を通じて視覚的に知ることができる。
【００２３】
上記構成において、表示手段は、発話量を参加者撮影画像、又は、参加者撮影映像の大きさにより表示する、構成を採用できる。
この構成によれば、発言に係る取得音声を実際に聞くことなく、発話量を視覚的に知ることができる。
【００２４】
上記構成において、表示手段は、沈黙区間長を参加者撮影画像、又は、参加者撮影映像の表示間隔長により表示する、構成を採用できる。
この構成によれば、発言に係る取得音声を実際に聞くことなく、沈黙区間長を視覚的に知ることができる。
【００２５】
上記構成において、表示手段は、発言区間関連情報を発言の時間的前後、又は、発言量の多少のいずれか１つ以上に基づいて昇順又は降順に表示する、構成を採用できる。
この構成によれば、一例として、会議の所定の時間帯においてなされた発言又は特定の発言の前後に行なわれた発言、若しくは、発言量の多い発言等のように、記憶に残りやすい情報である時間帯の早遅及び発言間の前後関係、並びに、発言量の多少に基づいて、所望の発言を特定できる。また、発言区間関連情報を発言の時間的前後に基づいて昇順又は降順に表示することで、会議における発言の遷移を視覚的に辿ることができる。
【００２６】
上記構成において、検索手段は、制御手段が蓄積するよう制御した取得音声分類基準、又は、取得画像分類基準のいずれか１つ以上に基づいて、制御手段が蓄積するよう制御した取得音声に関連付けられた発言区間を検索し、表示手段は、検索手段で検索された発言区間に関連付けられた発言区間関連情報を強調表示する、構成を採用できる。
この構成によれば、検索された発言区間に関連付けられた発言区間関連情報を強調表示するため、一見して発言区間関連情報の内で検索されたものを知ることができる。
【００２７】
上記構成において、表示手段は、会議において投影された取得画像に関連付けられたサムネイルを一覧表示し、一覧表示したサムネイルの内で検索手段で検索された取得画像に関連付けられたサムネイルを強調表示する、構成を採用できる。
この構成によれば、会議において投影された取得画像のみならず検索した取得画像をも一見して知ることができる。
【００２８】
上記構成において、強調表示は、縁取り、ハイライト、点滅、又は、色の変換をした画像表示のいずれか１つ以上による表示である、構成を採用できる。
この構成によれば、縁取り、ハイライト、点滅、又は、色の変換をした表示をするため、縁取り、ハイライト、点滅、又は、色の変換をしない表示部分と一見して区別できる。
【００２９】
上記構成において、表示手段は、取得画像と発言区間関連情報とを重ね合わせず同時に、重ね合わせて同時に、又は、択一的に、表示する、構成を採用できる。
この構成によれば、取得画像と発言区間関連情報とを重ね合わせず同時に表示するため、取得画像及び出音音声の視聴を中断することなく、発言区間関連情報を確認できる。また、重ね合わせて同時に表示するため、表示スペースを効率よく使用できる。更にまた、択一的に表示するため、表示スペースを効率よく使用できるだけでなく、取得画像が発言区間関連情報の、又は、発言区間関連情報が取得画像の、表示を妨げることがない。
【００３０】
上記構成において、表示手段は、取得画像と交代通知情報とを重ね合わせず同時に、重ね合わせて同時に、又は、択一的に、表示する、構成を採用できる。
この構成によれば、取得画像と交代通知情報とを重ね合わせず同時に表示するため、取得画像及び出音音声の視聴を中断することなく、交代通知情報を確認できる。また、重ね合わせて同時に表示するため、表示スペースを効率よく使用できる。更にまた、択一的に表示するため、表示スペースを効率よく使用できるだけでなく、取得画像が交代通知情報の、又は、交代通知情報が取得画像の、表示を妨げることがない。
【００３１】
上記構成において、表示手段で表示したサムネイルを選択する命令を入力する入力手段、を更に備え、表示手段は、入力手段で入力された命令で選択されたサムネイルに関連付けられた取得画像を表示し、出音手段は、入力手段で入力された命令で選択されたサムネイルに関連付けられた取得画像の投影区間における取得音声を出音する、構成を採用できる。
この構成によれば、予めサムネイルにより分類された所望の取得画像及び取得画像に関連付けられた取得音声を、容易に選択して視聴できる。
【００３２】
上記構成において、表示手段で表示した発言区間関連情報である参加者撮影画像、又は、参加者撮影映像を選択する命令を入力する入力手段、を更に備え、表示手段は、入力手段で入力された命令で選択された発言区間関連情報に関連付けられた発言区間を含む投影区間において投影された取得画像を表示し、出音手段は、入力手段で入力された命令で選択された発言区間関連情報に関連付けられた発言区間における取得音声を出音する、構成を採用できる。
この構成によれば、予め発言区間関連情報により分類された所望の取得画像及び取得画像に関連付けられた取得音声を、容易に選択して視聴できる。
【００３３】
上記構成において、表示手段は、取得画像と、取得画像の投影区間と、取得画像の投影区間に含まれる１又は複数の発言区間と、を関連付けて視覚的に表示し、表示手段で表示した１又は複数の発言区間を選択する命令を入力する入力手段、を更に備え、出音手段は、入力手段で入力された命令で選択された発言区間に関連付けられた取得音声を出音し、表示手段は、入力手段で入力された命令で選択された発言区間に関連付けられた取得画像を表示する、構成を採用できる。
この構成によれば、ユーザは、視聴を希望する１又は複数の発言区間に関連付けられた取得画像及び出音音声を容易に選択して視聴できる。
【００３４】
本発明に係る会議方法は、会議における音声を取得する音声取得ステップと、会議において投影される画像を取得する画像取得ステップと、音声取得ステップで取得された音声である取得音声と取得音声について分類をする基準である取得音声分類基準とを関連付け、画像取得ステップで取得された画像である取得画像と取得画像について分類をする基準である取得画像分類基準とを関連付け、かつ、取得音声と取得画像とを関連付けて蓄積するよう制御する制御ステップと、を備え、取得音声分類基準は、取得音声を取得した時刻である音声取得時刻を含み、取得画像分類基準は、取得画像を取得した時刻である画像取得時刻を含み、制御手段は、取得音声と取得画像とを、取得音声分類基準である音声取得時刻と取得画像分類基準である画像取得時刻とに基づいて時刻で関連付けて蓄積するよう制御する会議方法であって、取得音声分類基準は、取得音声として取得した音声を発した者を識別する情報である発言者識別情報を含むことを特徴としている。
この構成によれば、会議において取得された音声及び画像を、音声又は画像を取得した時刻のみならず、発言者識別情報に基づいて分類して蓄積できる。よって、特定の時刻における音声及び画像をのみならず、特定の発言者に関連した音声及び画像を知ることができる。また逆に、特定の音声及び画像に関連した発言者を知ることもできる。
【発明の効果】
【００３５】
本発明によれば、検索された音声及び画像の視聴時に発言者説明情報を参照できるため、所望の音声及び画像を効率的に検索できる。
【発明を実施するための最良の形態】
【００３６】
以下、本発明の最良の実施形態について、添付図面を参照しつつ説明する。図１は本発明の会議システム１０の一実施形態を示す構成図である。
【００３７】
本発明の会議システム１０は、情報処理装置１００、音声取得手段である１又は複数の音声取得装置１１１ないし１１ｎ、画像投影装置１２０、撮影手段である１又は複数の撮影装置１３１ないし１３ｎ、画像生成装置１４０、分配器１５０、入力手段である第１入力装置１６０及び第２入力装置２１０、表示手段である第１表示装置１７０及び第２表示装置２２０、及び、出音手段である第１出音装置１８０及び第２出音装置２３０、並びに、遠隔端末２００等から構成される。
【００３８】
情報処理装置１００は、例えば、パーソナルコンピュータ等で構成される。
情報処理装置１００は、音声取得装置１１１ないし１１ｎ、分配器１５０、第１入力装置１６０、第１表示装置１７０、第１出音装置１８０、及び、遠隔端末２００に接続している。尚、情報処理装置１００と遠隔端末２００とは、ネットワーク３００を介して接続している。
【００３９】
情報処理装置１００は、Ａ／Ｄ変換部１０１０、発言メタ情報生成部１０２０、時間管理部１０３０、画像取得手段である画像取得部１０４０、新規画像検出部１０５０、格納判定部１０６０、画像変換部１０７０、テキスト抽出部１０８０、制御手段である制御部１０９０、データ格納部１１００、検索手段である検索部１１１０、結果表示制御部１１２０、及び、通信部１１３０等で構成される。
【００４０】
Ａ／Ｄ変換部１０１０は、例えば、Ａ／Ｄコンバータ等で構成され、音声取得装置１１１ないし１１ｎ、発言メタ情報生成部１０２０、及び、時間管理部１０３０に接続している。
【００４１】
ここで、音声取得装置１１１ないし１１ｎは、所定の閾値以上の音量レベルの信号を出力する際には、音声信号のみならず音声取得装置識別情報をも送信する。よって、Ａ／Ｄ変換部１０１０は、音声取得装置１１１ないし１１ｎが取得した音声信号及び音声取得装置１１１ないし１１ｎを識別する情報である音声取得装置識別情報等を関連付けて受信する。その後、Ａ／Ｄ変換部１０１０は、音声取得装置１１１ないし１１ｎが取得した音声信号をＡ／Ｄ変換してデジタル信号に変換する。
【００４２】
また、Ａ／Ｄ変換部１０１０は、音声信号を取得した時刻（以下単に、音声取得時刻と言う）を時間管理部１０３０の管理するシステム時刻に基づいて取得する。その後、デジタル信号、音声取得時刻、及び、音声取得装置識別情報等を関連付けて発言メタ情報生成部１０２０へ送信する。
【００４３】
発言メタ情報生成部１０２０は、発言検出部１０２１、発言者識別部１０２２、及び、発言交代検出部１０２３等から構成される。発言メタ情報生成部１０２０は、Ａ／Ｄ変換部１０１０、制御部１０９０、及び、データ格納部１１００に接続している。
【００４４】
発言メタ情報生成部１０２０は、音声取得装置１１１ないし１１ｎで取得された音声である取得音声に基づいて取得音声を説明する情報であるメタ情報を生成する。
【００４５】
発言検出部１０２１は、例えば、図示は省略するが、ＣＰＵ等の演算装置、ＲＡＭ等の記憶装置、及び、演算装置により実行され記憶装置に記憶された情報を処理するプログラム等で構成されている。
【００４６】
尚、発言者識別部１０２２、発言交代検出部１０２３、時間管理部１０３０、新規画像検出部１０５０、格納判定部１０６０、画像変換部１０７０、テキスト抽出部１０８０、制御部１０９０、検索部１１１０、及び、結果表示制御部１１２０も同様に、例えば、ＣＰＵ等の演算装置、ＲＡＭ等の記憶装置、及び、演算装置により実行され記憶装置に記憶された情報を処理するプログラム等で構成されている。
【００４７】
発言検出部１０２１は、Ａ／Ｄ変換部１０１０、発言者識別部１０２２及び制御部１０９０に接続している。発言検出部１０２１は、Ａ／Ｄ変換部１０１０からデジタル信号、音声取得時刻、及び、音声取得装置識別情報等を関連付けて受信する。
【００４８】
発言検出部１０２１は、Ａ／Ｄ変換部１０１０で変換されたデジタル信号に基づいて、取得音声から発言区間を抽出する。尚、発言区間とは、音声取得装置１１１ないし１１ｎで取得された取得音声に基づいて得られる発言のなされた時間区間を言う。
【００４９】
具体的には、発言検出部１０２１は、取得音声の音量を検査し、所定の閾値以上の音量レベルが所定時間以上継続した場合に発言を開始したと判断し、所定の閾値以下の音量レベルが所定時間以上継続した場合に発言を終了したと判断する。尚、本実施例においては、所定時間を２秒とした。
【００５０】
これにより、発言検出部１０２１は、音声取得時刻の内で発言を開始した時刻を発言開始時刻とし、かつ、発言の終了した時刻を発言終了時刻とし、発言開始時刻及び終了時刻で表される発言区間を取得する。
【００５１】
その後、発言検出部１０２１は、デジタル信号、音声取得装置識別情報、及び、発言区間等を関連付けた情報を発言者識別部１０２２へ送信する。また、発言検出部１０２１は発言の開始を検出した場合に、発言の開始を検出した旨の通知を制御部１０９０へ通知し、発言の開始日時、及び、音声取得装置識別情報等を関連付けて制御部１０９０へ送信する。同様に、発言の終了を検出した場合に、発言の終了を検出した旨の通知を制御部１０９０へ通知し、発言の終了時刻、及び、音声取得装置識別情報等を関連付けて制御部１０９０へ送信する。
【００５２】
発言者識別部１０２２は、発言検出部１０２１、発言交代検出部１０２３、及び、制御部１０９０に接続している。
発言者識別部１０２２は、音声取得装置識別情報と発言者識別情報とを関連付けて記憶装置に記憶している。尚、発言者識別情報とは、取得音声として取得した音声を発した者を識別する情報である。
【００５３】
発言者識別部１０２２は、デジタル信号、音声取得装置識別情報、及び、発言区間等を関連付けた情報を取得する。次に、発言者識別部１０２２は、取得した音声取得装置識別情報に基づいて記憶装置に記憶した発言者識別情報を検索することで、デジタル信号に対する発言者を識別する情報を取得する。
【００５４】
次に、発言者識別部１０２２は、デジタル信号、音声取得装置識別情報、及び、発言区間等を関連付けた情報を発言交代検出部１０２３へ送信し、取得した発言者識別情報と音声取得装置識別情報とを関連付けて制御部１０９０へ送信する。
【００５５】
発言交代検出部１０２３は、発言者識別部１０２２、制御部１０９０、及び、データ格納部１１００に接続している。発言交代検出部１０２３は、発言者識別部１０２２が発言区間において取得した発言者識別情報と直前の発言区間において取得した発言者識別情報とを比較して、両情報が異なる情報であるか否かを検出する。
【００５６】
つまり、発言交代検出部１０２３は、直前の発言区間の発言者と比べて発言者が異なるか否かに関する情報（以下単に、交代情報と言う）を取得する。
【００５７】
その後、発言交代検出部１０２３は、デジタル信号をデータ格納部１１００の所定の位置に所定のファイル名で蓄積する。尚、所定の位置とは、音声取得装置識別情報で定まる所定のディレクトリパス等を言う。また、発言交代検出部１０２３は、取得した交代情報と音声取得装置識別情報と関連付けて制御部１０９０へ送信する。
【００５８】
時間管理部１０３０は、Ａ／Ｄ変換部１０１０、新規画像検出部１０５０、及び格納判定部１０６０に接続している。時間管理部１０３０は、例えば、システムクロック等を言い、ハードウェアクロックを基にシステム時刻を提供する。
【００５９】
画像取得部１０４０は、分配器１５０及び新規画像検出部１０５０に接続している。画像取得部１０４０は、例えば、ＲＧＢキャプチャカード等で構成されている。
【００６０】
画像取得部１０４０は、会議において投影される画像を取得する。具体的には、画像取得部１０４０は、分配器１５０から取得したＲＧＢ画像信号に基づいて、例えば、ＢＭＰフォーマットの画像を取得する。尚、画像取得部１０４０において取得した画像を取得画像と言う。次に、画像取得部１０４０は、取得した取得画像を新規画像検出部１０５０へ送信する。
【００６１】
新規画像検出部１０５０は、画像取得部１０４０、時間管理部１０３０、及び、格納判定部１０６０に接続している。新規画像検出部１０５０は、画像取得部１０４０が新たに取得した取得画像と直前に取得画像した取得画像とを比較して、両者が異なる画像であるかを検出する。
【００６２】
具体的には、２つの画像データにおける各画素が変化したか否かを判断し、変化した画素が所定の閾値以上存在する場合に、２つの画像データは異なると判断する。尚、画素が変化したか否かについては、各画素のＲＧＢ値の差分が所定の閾値以上の場合に当該画素は変化したと判断する。
【００６３】
次に、新規画像検出部１０５０は、取得画像が変化したと判断する場合に取得画像と取得画像を取得した時刻（以下単に、画像取得時刻と言う）とを関連づけて格納判定部１０６０に送信する。
【００６４】
格納判定部１０６０は、時間管理部１０３０、新規画像検出部１０５０、及び画像変換部１０７０に接続している。格納判定部１０６０は、取得画像をデータ格納部１１００に格納するか否かを判断する。
【００６５】
具体的には、格納判定部１０６０は、取得画像が会議において投影された時間区間である投影区間を求める。格納判定部１０６０は、それぞれの取得画像の取得時刻を投影開始時刻とし、次に続く取得画像の画像取得時刻又は会議の終了時刻を投影終了時刻とすることで、投影開始時刻と投影終了時刻とで表される投影区間を求める。
【００６６】
格納判定部１０６０は、投影区間が所定の時間長よりも短い取得画像については、説明又は発言の対象として投影された画像ではないと判断する。つまり、格納判定部１０６０は、取得画像が取得されてから次の異なる取得画像が取得されるまでの時間間隔が所定の閾値を超える場合にのみ取得画像を格納判定部１０６０へ格納べき画像であると判定する。
【００６７】
その後、格納判定部１０６０は、格納すべき画像であると判定した取得画像と取得した投影区間とを画像変換部１０７０へ送信する。
【００６８】
画像変換部１０７０は、格納判定部１０６０及びテキスト抽出部１０８０に接続している。画像変換部１０７０は、格納判定部１０６０から取得した取得画像を記憶サイズがより小さい画像ファイルフォーマットに変換する。本実施例においては、ＢＭＰファイルフォーマットからＪＰＧファイルフォーマットへ変換する。また、画像変換部１０７０は、取得画像に基づいてサムネイルを作成する。
【００６９】
その後、画像変換部１０７０は、記憶サイズを軽量化した取得画像、サムネイル、投影区間等を関連付けてテキスト抽出部１０８０へ送信する。
【００７０】
テキスト抽出部１０８０は、例えば、ＯＣＲ装置等で構成される。テキスト抽出部１０８０は、画像変換部１０７０及び制御部１０９０に接続している。
【００７１】
テキスト抽出部１０８０は、画像変換部１０７０から取得した取得画像に対し文字認識処理を実施して抽出された文字情報から構成されるテキスト情報を抽出する。次に、テキスト抽出部１０８０は、取得画像の変化があった旨の通知を制御部１０９０へ通知した後に、抽出したテキスト情報、サムネイル、及び、投影区間等を関連付けて制御部１０９０へ送信する。
【００７２】
制御部１０９０は、発言検出部１０２１、発言者識別部１０２２、発言交代検出部１０２３、テキスト抽出部１０８０、及び、データ格納部１０９０に接続している。
【００７３】
制御部１０９０は、取得音声と取得音声分類基準とを関連付け、取得画像と取得画像分類基準とを関連付け、また、取得音声と取得画像とを関連付けて蓄積するようプログラムを制御する。具体的には、制御部１０９０は、ＳＱＬ文を作成し、作成したＳＱＬ文を実行するようにデータ格納部１１００に格納された情報を管理するプログラムを制御する。
【００７４】
ここで、取得音声分類基準とは、取得音声について分類をする基準であり、発言メタ情報生成部１０２０から取得した音声取得装置識別情報と発言区間と発言者識別情報と交代情報と発言区間長で表される発言区間における発言量と取得音声の蓄積されたディレクトリパスとを含む。尚、発言区間は音声取得時刻である発言開始時刻と発言終了時刻とで表されるため、取得音声分類基準は音声取得時刻をも含む。
【００７５】
この構成によれば、発言者の交代を交代情報により知ることができるため、容易に発言者の交代を知ることができる。
またこの構成によれば、制御手段は発言区間と取得音声とを関連付けて蓄積するよう制御するため、取得音声の内で発言に係る音声を知ることができる。
更にこの構成によれば、制御手段は発言量と取得音声とを関連付けて蓄積するよう制御するため、発言に係る音声を発言量に基づいて分類できる。また、発話量を発言区間長とするため、発言の量を定量的に知ることができる。
【００７６】
また、取得画像分類基準とは、取得画像について分類をする基準であり、テキスト抽出部１０８０から取得したテキスト情報とサムネイルと投影区間と取得画像の蓄積されたディレクトリパスとを含む。尚、投影区間は画像取得時刻である投影開始時刻と投影終了時刻とで表されるため、取得画像分類基準は画像取得時刻をも含む。
【００７７】
この構成によれば、会議において取得された音声及び画像を、音声又は画像を取得した時刻のみならず、発言者識別情報に基づいて分類して蓄積できる。よって、特定の時刻における音声及び画像のみならず、特定の発言者に関連した音声及び画像を知ることができる。逆に、特定の音声及び画像に関連した発言者を知ることもできる。
【００７８】
またこの構成によれば、制御手段は取得画像から文字認識処理により取得したテキスト情報と取得画像とを関連付けて蓄積するよう制御するため、取得画像を取得画像の有するテキスト情報に基づいて分類できる。
【００７９】
更にこの構成によれば、制御手段は投影区間と取得画像とを関連付けて蓄積するよう制御するため、特定の時刻に会議において投影されていた画像を知ることができるだけでなく、特定の取得画像の投影されていた時間区間を知ることができる。
【００８０】
またこの構成によれば、制御手段はサムネイルと取得画像とを関連付けて蓄積するよう制御するため、サムネイルに基づいて取得画像を分類できる。
【００８１】
更に、制御部１０９０は、発言者識別情報と発言者説明情報とを関連付けて蓄積するよう制御する。発言者説明情報とは、発言者を説明する情報であり、具体的には発言者の氏名、所属、役職、電子メールアカウント、住所、電話番号、ＦＡＸ番号、ＵＲＬ、又は、参加者撮影画像等を言う。
【００８２】
この構成によれば、個人を特徴付ける情報、又は、個人との連絡方法を示す情報である氏名、所属、役職、電子メールアカウント、住所、電話番号、ＦＡＸ番号、ＵＲＬ、参加者撮影画像、又は、参加者撮影映像と、個人を識別する情報と、を関連付けて蓄積するため、ユーザは容易に、個人を認識すること、又は、個人と連絡を取ることができる。
【００８３】
尚、参加者撮影画像とは、会議の参加者を撮影した画像であって撮影装置１３１ないし１３ｎが発言時において会議の参加者を撮影した画像を言い、参加者撮影映像とは、会議の参加者を撮影した映像であって同じく撮影装置１３１ないし１３ｎが発言時において会議の参加者を撮影した映像を言う。
【００８４】
この構成によれば、発言時の参加者を撮影できるため、一例として、発言時の発言者の表情、身振り、会議の雰囲気、開催時期、開催場所等の発言内容を補完する情報を知ることができる。
【００８５】
尚、参加者撮影画像として、予め会議の前、会議中、又は、会議後に撮影された画像を用いる構成を採用できる。更に例えば、人事情報を扱う人事システム等の本会議システム以外のシステムが蓄積する参加者撮影画像を用いる構成を採用できる。
【００８６】
この構成によれば、発言者識別情報と発言者説明情報とを関連付けて蓄積するため、一例として、発言者識別情報と発言者説明情報とを関連付けない会議システムに比べて発言者を容易に認識できる。
【００８７】
データ格納部１１００は、例えば、ハードディスク等の外部記憶装置で構成される。データ格納部１１００は、撮影装置１３１ないし１３ｎ、発言メタ情報生成部１０２０、制御部１０９０、検索部１１１０、及び、結果表示制御部１１２０に接続している。
【００８８】
データ格納部１１００は、撮影装置１３１ないし１３ｎにより参加者撮影画像、又は、参加者撮影映像、並びに、撮影時刻（タイムスタンプ）等を所定のディレクトリに関連付けて蓄積している。
【００８９】
データ格納部１１００は、発言メタ情報生成部１０２０により取得音声であるデジタル信号をデータ格納部１１００の所定の位置に所定のファイル名で蓄積される。
【００９０】
また、データ格納部１１００は、制御部１０９０により取得音声と取得音声分類基準とを関連付けられ、取得画像と取得画像分類基準とを関連付けられ、かつ、取得音声と取得画像とを取得音声分類基準である音声取得時刻と取得画像分類基準である画像取得時刻とに基づいて時刻で関連付けられて蓄積する。
更に、データ格納部１１００は、発言者識別情報と発言者説明情報とを関連付けられて蓄積する。
【００９１】
データ格納部１１００に蓄積された情報は、検索部１１１０が検索する際、並びに、結果表示制御部１１２０が検索結果を第１表示装置１７０又は第２表示装置２２０（以下単に、表示装置１７０等と言う）に表示させる際、第１出音装置１８０又は第２出音装置２３０（以下単に、出音装置１８０等と言う）に出音させる際に参照される。
【００９２】
ここで、図２を参照してデータ格納部１１００の蓄積する発言に関する情報について説明する。図２は、データ格納部１１００の蓄積する発言に関する情報の一例を説明するための図である。
【００９３】
データ格納部１１００は、取得画像テーブルＴＰ、発言イベントテーブルＴＳ、及び、交代イベントビューＶＣを有している。
取得画像テーブルＴＰは、会議において投影した画像であって、画像取得部１０４０で取得した取得画像と、取得画像分類基準である画像取得時刻で表される投影区間等と、を制御部１０９０により関連付けられて蓄積している。
【００９４】
取得画像テーブルＴＰは、取得画像識別カラム、投影開始日付カラム、投影開始時刻カラム、投影終了時刻カラム、及び、格納アドレスカラムを有する。
【００９５】
取得画像識別カラムは取得画像を識別する情報である取得画像識別情報を、投影開始日カラムは取得画像識別情報で識別される画像の投影開始日を、投影開始時刻カラムは投影開始時刻を、投影終了時刻カラムは投影終了時刻を、及び、格納アドレスカラムは取得画像を蓄積したディレクトリを表す情報を蓄積する。
【００９６】
発言イベントテーブルＴＳは、会議において音声取得装置１１１ないし１１ｎによって取得した取得音声と、取得音声分類基準である音声取得時刻で表される発言区間及び発言者識別情報等と、を制御部１０９０により関連付けられて蓄積している。
【００９７】
発言イベントテーブルＴＳは、発言識別情報カラム、発言開始日カラム、発言開始時刻カラム、発言終了時刻カラム、発言者識別情報カラム、交代情報カラム、及び、格納アドレスカラムを有する。
【００９８】
発言識別情報カラムは発言を識別する情報である発言識別情報を、発言開始日時カラムは発言開始日を、発言開始時刻カラムは発言開始時刻を、発言終了時刻カラムは発言終了時刻を、発言者識別情報カラムは発言者識別情報を、交代情報カラムは交代情報を、及び、格納アドレスカラムは取得音声を格納したディレクトリを表す情報を蓄積する。尚、交代情報は、発言者の交代がない場合には予め定められたコード（例えば「Ｎ」）を、そうでない場合には後述する発言イベントテーブルＴＳの交代識別情報を蓄積する。
【００９９】
尚、発言イベントテーブルＴＳは、発言識別情報の重複するレコード、並びに、発言開始日、発言開始時刻、発言終了時刻、及び、発言者識別情報の全てが重複するレコードを有する事はない。
【０１００】
交代イベントビューＶＣは、取得画像テーブルＴＰ及び発言イベントテーブルＴＳに蓄積された情報を加工して得られる情報であって、取得音声と取得画像とを、取得音声分類基準であり音声取得時刻である発言開始時刻及び終了時刻と取得画像分類基準である画像取得時刻である投影開始時刻及び終了時刻とに基づいて、制御部１０９０により時刻で関連付けられて蓄積している。
【０１０１】
具体的には、会議においてなされた発言毎に、発言時に取得された取得音声と発言時に投影されており、取得された取得画像とを、発言区間と投影区間とに基づいて関連付ける。
【０１０２】
また、交代イベントビューＶＣは、発言者の交代に関する情報を蓄積する。交代イベントビューＶＣは、交代識別情報カラム、発言開始日カラム、発言開始時刻カラム、発言終了時刻カラム、遷移元発言者識別情報カラム、遷移先発言者識別情報カラム、発言区間長カラム、及び、取得画像識別情報カラムを有する。
【０１０３】
交代識別情報カラムは、発言交代のあった発言を識別する情報である交代識別情報を、遷移元発言者識別情報カラムは直前の発言の発言者を識別する情報を、遷移先発言者識別情報カラムは当該発言の発言者を識別する情報を、及び、発言区間長カラムは発言区間の時間長を蓄積する。尚、発言開始日カラム、発言開始時刻カラム、発言終了時刻カラム、及び、取得画像識別情報カラムについては、発言イベントテーブルＴＳの発言開始日カラム、発言開始時刻カラム、発言終了時刻カラム、及び、取得画像テーブルＴＰの取得画像識別情報カラムと同じ種類の情報を蓄積する。
【０１０４】
ここで、図３を参照してデータ格納部１１００の蓄積する検索結果を表示するために参照される情報について説明する。図３は、データ格納部１１００の蓄積する検索結果を表示するために参照される情報の一例を説明するための図である。
【０１０５】
データ格納部１１００は、説明情報テーブルＴＩと表示スケジュールビューＶＳとを有する。説明情報テーブルＴＩは、発言者識別情報と発言者説明情報とを関連付けて蓄積する。データ格納部１１００は、識別情報カラム、氏名カラム、所属カラム、役職カラム、電子メールアカウントカラム、住所カラム、電話番号カラム、ＦＡＸ番号カラム、ＵＲＬカラム、及び、撮影画像格納アドレスカラムを有する。尚、図示は省略するが、説明情報テーブルＴＩは撮影映像格納アドレスカラムをも有する。
【０１０６】
説明情報テーブルＴＩの識別情報カラムは発言者識別情報を、氏名カラムは発言者の氏名を、所属カラムは発言者の会社組織等における所属部署等を、役職カラムは発言者の役職を、電子メールアカウントカラムは発言者の電子メールアドレスを、住所カラムは発言者の住所を、電話番号カラムは発言者の連絡先である電話番号を、ＦＡＸ番号カラムは発言者のＦＡＸ番号を、ＵＲＬカラムは発言者に関する情報を掲載するＵＲＬを、撮影画像格納アドレスカラムは発言者を撮影した画像の保存先のフォルダを表す情報を、及び、撮影映像格納アドレスカラムは発言者を撮影した映像の保存先のフォルダを表す情報を蓄積する。尚、説明情報テーブルＴＩは、発言者識別情報が重複するレコードを蓄積することは無い。
【０１０７】
表示スケジュールビューＶＳは、後に説明する結果表示制御部１１２０が検索結果の表示制御を実行する際に参照される情報を蓄積する。表示スケジュールビューＶＳは、図２において説明したＶＣ交代イベントビューに蓄積された情報、及び、説明情報テーブルＴＩに蓄積された情報を加工して得られる情報を蓄積する。
【０１０８】
表示スケジュールビューＶＳは、交代識別情報カラム、発言開始日カラム、発言開始時刻カラム、発言終了時刻カラム、発言者名カラム、遷移元発言者識別情報カラム、遷移先発言者識別情報カラム、発言区間長カラム、取得画像識別情報カラム、取得画像格納アドレスカラム、撮影画像識別情報カラム、撮影画像格納アドレスカラム、及び、発言者説明情報カラムを有している。尚、図示を省略したが、表示スケジュールビューＶＳは、撮影映像識別情報カラム、及び、撮影映像格納アドレスカラムをも有している。
【０１０９】
交代識別情報カラム、発言開始日カラム、発言開始時刻カラム、発言終了時刻カラム、遷移元発言者識別情報カラム、遷移先発言者識別情報カラム、発言区間長カラム、及び、取得画像識別情報カラムの蓄積する情報の種類は、交代イベントビューＶＣの交代識別情報カラム、発言開始日カラム、発言開始時刻カラム、発言終了時刻カラム、遷移元発言者識別情報カラム、遷移先発言者識別情報カラム、発言区間長カラム、及び、取得画像識別情報カラムの蓄積する情報の種類と同じであり、同じ交代識別情報を有するレコードは同じ情報を蓄積する。
【０１１０】
発言者名カラム、撮影画像識別情報カラム、撮影画像格納アドレスカラム、撮影映像識別情報カラム、撮影映像格納アドレスカラム、及び、発言者説明情報カラムの蓄積する情報の種類は、説明情報テーブルＴＩの発言者名カラム、撮影画像識別情報カラム、撮影画像格納アドレスカラム、撮影映像識別情報カラム、撮影映像格納アドレスカラム、及び、発言者説明情報カラムの蓄積する情報の種類と同じであり、遷移先発言者識別情報カラムの蓄積する発言者識別情報と説明情報テーブルＴＩの識別情報カラムの蓄積する発言者識別情報とが一致するレコードの情報を蓄積する。
【０１１１】
取得画像格納アドレスカラムについては、取得画像識別情報で識別される取得画像が保存された所定のファイルパスを表す情報を蓄積する。
【０１１２】
ここで、図１に戻り会議システムの構成の一例について引き続き説明する。
検索部１１１０は、データ格納部１１１０、結果表示制御部１１２０、通信部１１３０、及び、第１入力手段１６０に接続している。
検索部１１１０は、第１入力手段１６０から直接入力された、又は、通信部１１３０を通じてネットワーク３００を介して接続された遠隔端末２００から送信された検索条件に従って、データ格納部１１００に蓄積された情報を検索する。
【０１１３】
具体的には、検索部１１１０は、制御部１０９０がデータ格納部１１００に蓄積するよう制御した取得音声分類基準、又は、取得画像分類基準のいずれか１つ以上に基づいて、制御部１０９０が蓄積するよう制御した取得画像及び取得音声を検索する。また、検索部１１１０は、制御部１０９０が蓄積するよう制御した取得音声分類基準、又は、取得画像分類基準のいずれか１つ以上に基づいて、制御部１０９０が蓄積するよう制御した取得音声に関連付けられた発言区間を検索する。
【０１１４】
更に具体的には、検索部１１１０は、例えば、取得した検索条件を記述したＳＱＬ文を作成してＳＱＬ文による検索を実行する。その後、検索部１１１０は、検索結果を結果表示制御部１１２０へ送信する。
【０１１５】
結果表示制御部１１２０は、プロフィールはめ込み処理部１１２１、写真はめ込み処理部１１２２、及び、表示タイミング監視部１１２３等を有する。結果表示制御部１１２０は、検索部１１１０の検索結果である取得画像及び取得音声等の表示及び出音を制御する。
【０１１６】
プロフィールはめ込み処理部１１２１は、データ格納部１１００、写真はめ込み処理部１１２２、及び、表示タイミング監視部１１２３に接続している。プロフィールはめ込み処理部１１２１は、表示タイミング監視部１１２３から実行命令及び発言者説明情報等を受信する。
【０１１７】
次に、プロフィールはめ込み処理部１１２１は、受信した発言者説明情報を表示装置１７０に表示させる映像の所定の位置にはめ込んで表示するよう表示装置１７０等を制御をする。
【０１１８】
写真はめ込み処理部１１２２は、データ格納部１１００、プロフィールはめ込み処理部１１２１、及び、表示タイミング監視部１１２３に接続している。写真はめ込み処理部１１２２は、表示タイミング監視部１１２３から実行命令、撮影画像格納アドレス又は撮影映像格納アドレス、並びに、発言開始時刻等を受信する。
【０１１９】
会議において定期的に会議の参加者を撮影しない実施例においては予め用意された撮影画像を取得した撮影画像格納アドレスから取得する。
【０１２０】
定期的に会議の参加者を撮影する実施例においては、受信した発言開始時刻よりも遅く、かつ、最も発言開始時刻近いタイムスタンプを有する撮影画像を取得する。
【０１２１】
会議の参加者を動画像である映像にて撮影する実施例においては、受信した発言開始時刻に対応する映像又は映像から取得された画像を取得する。
【０１２２】
その後、写真はめ込み処理部１１２２は、取得した撮影画像又は撮影映像を、表示装置１７０等に表示させる映像の所定の位置にはめ込こんで表示するよう表示装置１７０等を制御をする。
【０１２３】
表示タイミング監視部１１２３は、交代通知情報を表示装置１７０等に表示するタイミングを制御する。尚、交代通知情報とは、発言者の交代を通知する情報であり、交代した発言者の発言者説明情報を言う。
【０１２４】
ここで、図４を参照して表示タイミング監視部１１２３が写真はめ込み処理部１１２２及びプロフィールはめ込み処理部１１２１へ実行命令を通知するタイミングを説明する。図４は、表示タイミング監視部１１２３が実行命令を通知するタイミングを説明するための図である。
【０１２５】
図４は、投影区間ＩＰ、発言区間ＩＳ、交代情報Ｃ、及び、撮影時刻Ｐと表示タイミング監視部１１２３の行なう通知との時間的関係を説明する。尚、撮影時刻Ｐ１ないし１８は、撮影装置１３１ないし１３ｎが、定期的に会議の参加者を撮影した撮影時刻を表す。
【０１２６】
表示タイミング監視部１１２３は、データ格納部１１００に蓄積された取得画像と取得画像の投影区間ＩＰとを参照する。次に、表示タイミング監視部１１２３は、図３に示す表示スケジュールビューＶＳを参照して、発言区間ＩＳと交代情報Ｃの有無とを取得する。
【０１２７】
その後、表示タイミング監視部１１２３は、取得画像の切替後の最初の発言開始時刻、及び、交代情報Ｃと関連付けられた発言区間ＩＳの開始時刻に対応する取得画像を表示、及び、取得音声を出音させる制御を行う際に交代通知情報を表示装置１７０等に表示するようプロフィールはめ込み処理部１１２１及び写真はめ込み処理部１１２２へ実行命令を送信する。これにより、表示装置１７０等は、制御部１０９０が蓄積するよう制御した交代情報に基づいて、交代通知情報を表示する。
【０１２８】
つまり、プロフィールはめ込み処理部１１２１及び写真はめ込み処理部１１２２は、実行命令に従って、発言者説明情報及び発言者撮影画像を表示装置１７０等に短時間（本実施例においては４秒とした）表示させる。
【０１２９】
ここで、例えば、交代情報Ｃ３と関連付けられた発言区間ＩＳ６の開始時刻において、写真はめ込み処理部１１２２がはめ込みを行なう参加者撮影画像を選択する処理について説明する。
【０１３０】
先ず、写真はめ込み処理部１１２２は、表示タイミング監視部１１２３から実行命令と撮影画像格納アドレスと発言開始時刻Ｔ４とを受信する。その後、受信した発言開始時刻Ｔ４よりも遅く、かつ、最も発言開始時刻近いタイムスタンプＰ１４を有する参加者撮影画像を取得する。
【０１３１】
その後、写真はめ込み処理部１１２２は、取得したタイムスタンプＰ１４を有する参加者撮影画像を、表示装置１７０等に表示させる映像の所定の位置にはめ込こんで表示するよう表示装置１７０等を制御をする。
【０１３２】
この構成によれば、既に蓄積された交代情報に基づいて交代通知情報を表示するため、表示のために会議システムが実行する処理を単純化できる。また、ユーザは、発言者の交代を聴覚のみならず、交代通知情報により視覚的に知ることができるため、容易に発言者の交代を認識できる。
【０１３３】
ここで、図１に戻り会議システムの構成の一例について引き続き説明する。
通信部１１３０は、例えば、ネットワークカード等で構成される。通信部１１３０は、検索部１１１０、結果表示制御部１１２０、及び、ネットワーク３００に接続している。
【０１３４】
通信部１１３０は、ネットワークを介して遠隔端末２００から送信された各種命令及び検索条件等を受信する。また、通信部１１３０は、遠隔端末２００に接続された第２表示装置２１０に表示させる情報及び第２出音装置２３０に出音させる情報等を送信する。
【０１３５】
音声取得装置１１１ないし１１ｎは、例えば、マイクロフォン等で構成され、情報処理装置１００に接続している。音声取得装置１１１ないし１１ｎは、会議における音声を取得して音声信号を情報処理装置１００に送信する。また、音声取得装置１１１ないし１１ｎは、それぞれ音声取得装置識別情報を有し、所定の閾値以上の音量レベルの信号を出力する際には、音声信号のみならず音声取得装置識別情報をも送信する。
【０１３６】
画像投影装置１２０は、例えば、プロジェクタ等で構成され、分配器１５０に接続している。画像投影装置１２０は分配器１５０から入力された画像信号をスクリーンなどへ投影する。
【０１３７】
撮影装置１３１ないし１３ｎは、例えば、デジタルカメラ、ウェブカメラ、デジタルビデオカメラ等で構成され、情報処理装置１００に接続している。
撮影装置１３１ないし１３ｎはそれぞれ、会議における参加者それぞれを撮影する。撮影装置１３１ないし１３ｎは、会議の前、会議中、又は、会議の後に予め会議の参加者を撮影する、又は、会議中に定期的に会議の参加者を撮影し、撮影した参加者撮影画像又は参加者撮影映像に撮影時刻（タイムスタンプ）を付けてデータ格納部１１００のそれぞれの会議の参加者毎に割り当てられた所定のディレクトリに蓄積する。
【０１３８】
画像生成装置１４０は、例えば、ノートパソコン等で構成され、分配器１５０に取外し可能に接続している。画像生成装置１４０は、会議において説明対象とする画像の画像信号を生成する。その後、画像生成装置１４０は、生成した画像信号を分配器１５０に送信する。
【０１３９】
分配器１５０は、例えば ＶＧＡスプリッタ等で構成され、画像生成装置１４０、画像投影装置１２０、及び、情報処理装置１００の画像サンプリング部に接続している。分配器１５０は、画像生成装置１４０から受信した画像信号を画像投影装置１２０及び画像取得部１０４０へ分配して送信する。
【０１４０】
第１入力装置１６０は、例えば、キーボード、マウス、又は、タッチパネル等で構成され、情報処理装置１００に接続している。第１入力装置１６０は、ユーザに操作されて検索条件、又は、各種の命令を入力する。
【０１４１】
第１表示装置１７０は、例えば、液晶ディスプレイ、プラズマディスプレイ、又は、ＣＲＴディスプレイ等で構成され、情報処理装置１００に接続している。第１表示装置１７０は、情報処理装置１００により制御されて取得画像及び参加者説明情報等の情報を表示する。特に、検索部１１１０で検索された取得画像を表示する。
【０１４２】
第１出音装置１８０は、例えば、スピーカ等で構成され、情報処理装置１００に接続している。第１出音装置１８０は、情報処理装置１００により制御されて取得音声等を出音する。
【０１４３】
特に、第１出音装置１８０は、検索部１１１０で検索された取得音声等であって、表示装置１７０等の表示する取得画像に関連付けられた取得音声を出音する。
【０１４４】
ネットワーク３００は、ＬＡＮ、ＷＡＮ、又は、インタネット等で構成され、情報処理装置１００と遠隔端末２００とに接続している。
【０１４５】
遠隔端末２００は、例えば、パーソナルコンピュータ等で構成され、入力手段である第２入力装置２１０、表示手段である第２表示装置２２０、出音手段である第２出音装置２３０に接続している。
【０１４６】
遠隔端末２００は、第２入力手段から受領した検索条件及び各種命令等をネットワーク３００を介して情報処理装置１００へ送信する。また、遠隔端末２００は、ネットワーク３００を介して情報処理装置１００の送信する制御情報を受信し、受信した制御情報に従って、第２表示装置２２０の表示、及び、第２出音装置２３０の出音を制御する。
【０１４７】
第２入力装置２１０、第２表示装置２２０、及び、第２出音装置２３０は、遠隔端末に接続している。
第２入力装置２１０、第２表示装置２２０、及び、第２出音装置２３０の構成及び機能については、第１入力装置１６０、第１表示装置１７０、及び、第１出音装置１８０と同様であるため、説明を省略する。尚、第１入力装置１６０と第２入力装置２１０とを以下単に、入力装置１６０等と言う。
【０１４８】
ここで、図５を参照して、ユーザが入力装置１６０等により取得画像又は取得音声を検索するための検索条件を入力する際に、表示装置１７０等が表示する画面である検索画面について説明する。図５は、表示装置１７０等が表示する検索画面の一例である。
【０１４９】
検索画面ＦＳは、取得音声又は取得画像を検索するための検索条件を入力する。検索画面ＦＳは、キーワードを入力するキーワード入力テキストボックスＴＢＫ１ないし５、発言者名の一部又は全部を入力する発言者名入力テキストボックスＴＢＰ１ないし５、結合条件設定ラジオボタン、及び、検索ボタンＢＴ等で構成されている。尚、キーワード入力テキストボックスＴＢＫ１ないし５及び発言者名入力テキストボックスＴＢＰ１ないし５について以下単に、テキストボックスと言う。
【０１５０】
キーワード入力テキストボックスＴＢＫ１ないし５は、取得音声又は取得画像を、取得音声分類基準又は取得画像分類基準であるテキスト情報に従って検索するために用いられる検索キーワードであって、ユーザが入力装置１６０等を操作して入力したキーワードを表示する。
【０１５１】
発言者名入力テキストボックスＴＢＰ１ないし５は、取得音声又は取得画像を、取得音声分類基準である発言者識別情報に関連付けられた発言者名に従って検索するために用いられる検索キーワードであって、ユーザが入力装置１６０等を操作して入力したキーワードを表示する。
【０１５２】
結合条件設定ラジオボタンは、ユーザが入力装置１６０等を操作して入力した複数のキーワードにより表される検索条件の結合条件を表示する。尚、結合条件設定ラジオボタンのグループは、結合条件はＡＮＤ結合とＯＲ結合とが選択可能であることを示している。
【０１５３】
検索ボタンＢＴは、テキストボックスに表示されたキーワードを検索条件押して検索の実行を命令する命令を、ユーザが入力装置１６０等を操作して入力できることを表すボタン表示である。
【０１５４】
ここで、図６を参照して、表示装置１７０等が検索結果を表示する画面である検索結果表示画面について説明する。図６は、表示装置１７０等が表示する検索結果表示画面の一例である。
【０１５５】
検索結果表示画面ＦＲ１は、スライドサムネイル表示領域ＡＳＮ１ないし３、及び、発言遷移表示領域ＡＳＣ１ないし３等から構成される。
【０１５６】
スライドサムネイル表示領域ＡＳＮ１ないし３は、検索部１１１０が検索をした結果、検索条件にマッチしたと判断された１又は複数の取得画像から作成されたサムネイルを表示する。スライドサムネイル表示領域には、唯１つのサムネイルが表示される。
【０１５７】
発言遷移表示領域ＡＳＣ１ないし３は、発言区間関連情報を視覚的に表示する。尚、発言区間関連情報とは、直上に表示することで関連付けて表示されたサムネイルの作成の基礎画像である取得画像であって検索部１１１０で検索された取得画像の投影区間における発言区間に関連付けられた情報を言う。具体的には、発言区間関連情報とは、後に説明するように参加者撮影画像、参加者撮影映像、発話量、又は、沈黙区間長を言う。尚、本実施例において、発話量とは発言区間長を言う。また、沈黙区間長とは、互いに隣接する発言区間と発言区間との間隔長を言う。
【０１５８】
尚、スライドサムネイル表示領域ＡＳＮ１ないし３は、取得画像から作成されたサムネイルを表示するが、取得画像を表示する構成を採用することもできる。
【０１５９】
この構成によれば、検索された取得画像及び取得画像の投影中に行なわれた発言に関する情報を視覚的に表示するため、実際に発言に係る取得音声を聴くまでも無く発言に関する情報を一見して知ることができる。
【０１６０】
また、ユーザが入力装置１６０等を用いてスライドサムネイルを選択する命令を情報処理装置１００へ入力すると、情報処理装置１００は、選択されたサムネイルに関連付けられた取得画像の投影区間における取得音声を出音するよう出音装置１８０等を制御する。
【０１６１】
ここで検索結果表示画面ＦＲ１は、スライドサムネイル表示領域ＡＳＮ１ないし３により取得画像と発言遷移表示領域ＡＳＣ１ないし３により発言区間関連情報とを重ね合わせず同時表示する。
【０１６２】
この構成によれば、取得画像と発言区間関連情報とを重ね合わせず同時に表示するため、取得画像及び出音音声の視聴を中断することなく、発言区間関連情報を確認できる。
【０１６３】
入力装置１６０等は、ユーザに操作されて表示装置１７０等で表示したサムネイルを選択する命令を情報処理装置１００へ入力する。次に、情報処理装置１００は、選択されたサムネイルに関連付けられた取得画像（以下単に、サムネイル関連取得画像と言う）を表示するよう表示装置１７０等を制御し、表示装置１７０等は、入力装置１６０等で入力された命令で選択されたサムネイルに関連付けられた取得画像を表示する構成を採用できる。尚、この際に表示される画面を取得画像表示画面と言う。
【０１６４】
また情報処理装置１００は、同時に、選択されたサムネイルに関連付けられた取得画像の投影区間における取得音声を出力するよう出音装置１８０等を制御し、出音装置１８０等は、入力装置１６０等で入力された命令で選択されたサムネイルに関連付けられた取得画像の投影区間における取得音声を出音する。
【０１６５】
この構成によれば、予めサムネイルにより分類された所望の取得画像及び取得画像に関連付けられた取得音声を、容易に選択して視聴できる。
【０１６６】
ここで、図７を参照して、表示装置１７０等が表示する取得画像表示画面について説明する。図７は、表示装置１７０等が表示する取得画像表示画面の一例を説明するための図である。
【０１６７】
取得画像表示画面ＦＰ１は、取得画像表示領域ＡＰと発言者説明領域ＡＥとを有する。取得画像表示領域ＡＰは、サムネイル関連取得画像を表示する。
【０１６８】
発言者説明領域ＡＥは、交代通知情報を表示する。発言者説明領域ＡＥは、撮影画像表示部ＰＰと説明情報表示部ＰＥとを有する。撮影画像表示部ＰＰは、写真はめ込み処理部１１２２により参加者撮影画像又は参加者撮影映像をはめ込こまれる表示部分である。
【０１６９】
説明情報表示部ＰＥは、プロフィールはめ込み処理部１１２１により発言者説明情報であるプロフィールを、はめ込こまれる表示部分であり、出音装置２３０等の出音する取得音声に関連付けられた発言者説明情報を、取得画像の切替後の最初の発言開始時刻、及び、発言者が交代した発言の開始時刻に対応して表示する表示部分である。
【０１７０】
表示装置１７０等に表示される取得画像表示画面ＦＰ１は、取得画像を表示する取得画像表示領域ＡＰと交代通知情報を表示する発言者説明領域ＡＥとを重ね合わせず同時に表示する。
【０１７１】
この構成によれば、検索された音声及び画像の視聴時に発言者説明情報を参照できる。よって、一例として、発言者説明情報を表示しない会議システムに比べて、検索結果が特定の発言者のした発言に係る画像及び音声であるかを容易に確認できるため所望の音声及び画像を効率的に検索できる。
【０１７２】
またこの構成によれば、一例として、発言者の交代時に発言者説明情報を表示しない会議システムに比べて、ユーザは交代した発言者を容易に認識できる。
【０１７３】
更にこの構成によれば、取得画像と交代通知情報とを重ね合わせず同時に表示するため、取得画像及び出音音声の視聴を中断することなく、交代通知情報を確認できる。
【０１７４】
次に、図８を参照して、取得画像表示画面の他の例について説明する。図８は、表示装置１７０等が表示する取得画像表示画面の他例の初期画面を説明するための図である。
【０１７５】
図８に示す取得画像表示画面ＦＰ２０は、初期状態において、取得画像表示領域ＡＰと操作ボタン表示領域ＡＢとを有する。
取得画像表示領域ＡＰについては、図７に示す取得画像表示領域ＡＰと同一であるため、説明を省略する。
【０１７６】
操作ボタン表示領域ＡＢは、巻き戻しボタンＢＴＲ、発言遷移表示領域表示ボタンＢＴＣ、早送りボタンＢＴＦ、再生ボタンＢＴＰ、一時停止ボタンＢＴＴ、再生停止ボタンＢＴＳ、及び、択一表示ボタンＢＴＡを表示する。
【０１７７】
巻き戻しボタンＢＴＲは、出音装置１８０等が出音する取得音声の巻き戻しを命令する巻戻命令を入力装置１６０等により情報処理装置１００へ入力できることを表すボタン表示である。情報処理装置１００は巻戻命令を入力されると、取得音声を巻き戻した後に出音装置１８０等が出音するよう制御する。
【０１７８】
発言遷移表示領域表示ボタンＢＴＣは、取得画像表示領域ＡＰに代えて択一的に発言遷移表示領域を表示することを命令する発言遷移択一命令、又は、取得画像表示領域ＡＰに重ね合わせて同時に発言遷移表示領域を表示することを命令する発言遷移重合命令を入力装置１６０等により情報処理装置１００へ入力できることを表すボタン表示である。情報処理装置１００は発言遷移択一命令を入力されると図１２において後に説明する取得画像表示画面ＦＰ２３を、発言遷移重合命令を入力されると図１３において後に説明する取得画像表示画面ＦＰ２４を、表示装置１７０等に表示するよう制御する。
【０１７９】
早送りボタンＢＴＦは、出音装置１８０等が出音する取得音声の早送りを命令する早送命令を入力装置１６０等により情報処理装置１００へ入力できることを表すボタン表示である。情報処理装置１００は早送命令を入力されると、取得音声を早送りした後に出音装置１８０等が出音するよう制御する。
【０１８０】
再生ボタンＢＴＰは、出音装置１８０等が出音する取得音声の再生を命令する再生命令を入力装置１６０等により情報処理装置１００へ入力できることを表すボタン表示である。情報処理装置１００は再生命令を入力されると、取得音声を出音装置１８０等が出音するよう制御する。
【０１８１】
一時停止ボタンＢＴＴは、出音装置１８０等が出音する取得音声の再生の一時的な停止を命令する一時停止命令を入力装置１６０等により情報処理装置１００へ入力できることを表すボタン表示である。情報処理装置１００は一時停止命令を入力されると、取得音声の出音を一時的に停止するよう出音装置１８０等を制御する。
【０１８２】
再生停止ボタンＢＴＳは、出音装置１８０等が出音する取得音声の再生の停止を命令する再生停止命令を入力装置１６０等により情報処理装置１００へ入力できることを表すボタン表示である。情報処理装置１００は再生停止命令を入力されると、取得音声の出音を停止するよう出音装置１８０等を制御する。
【０１８３】
択一表示ボタンＢＴＡは、取得画像表示領域ＡＰに代えて択一的に発言者説明領域ＡＥを表示することを命令する説明択一命令、又は、取得画像表示領域ＡＰに重ね合わせて同時に発言者説明領域ＡＥを表示することを命令する説明重合命令を入力装置１６０等により情報処理装置１００へ入力できることを表すボタン表示である。情報処理装置１００は説明択一命令を入力されると図１０において後に説明する取得画像表示画面ＦＰ２２を、説明重合命令を入力されると図９において後に説明する取得画像表示画面ＦＰ２１を、表示装置１７０等に表示するよう制御する。
【０１８４】
次に、図９を参照して、取得画像と交代通知情報とを重ね合わせて同時に表示する取得画像表示画面について説明する。図９は、表示装置１７０等が表示する取得画像と交代通知情報とを重ね合わせて同時に表示する取得画像表示画面の一例を説明するための図である。
【０１８５】
図９に示す取得画像表示画面ＦＰ２１は、図８における取得画像表示画面ＦＰ０の初期状態において、ユーザの入力装置１６０等に対する操作により選択表示ボタンＢＴＡを選択する等して説明重合命令を情報処理装置１００へ入力した場合に表示される画面表示である。
【０１８６】
取得画像表示画面ＦＰ２１は、発言者の交代、又は、取得画像の投影区間の開始に合わせて取得画像表示領域ＡＰに重ね合わせて同時に発言者説明領域ＡＥを短時間表示する。その後、取得画像表示画面ＦＰ２１は、取得画像表示領域ＡＰ及び操作ボタン表示領域ＡＢのみを表示し、次に発言の交代者等があった発言開始時刻に対応する時刻まで発言者説明領域ＡＥを表示しない
【０１８７】
この構成によれば、検索された音声及び画像の視聴時に発言者説明情報を参照できる。よって、一例として、発言者説明情報を表示しない会議システムに比べて、検索結果が特定の発言者のした発言に係る画像及び音声であるかを容易に確認できるため所望の音声及び画像を効率的に検索できる。
【０１８８】
またこの構成によれば、一例として、発言者の交代時に発言者説明情報を表示しない会議システムに比べて、ユーザは交代した発言者を容易に認識できる。
【０１８９】
更にこの構成によれば、取得画像と交代通知情報とを重ね合わせて同時に表示するため、表示スペースを効率よく使用できる。
【０１９０】
次に、図１０を参照して、取得画像と交代通知情報とを択一的に表示する取得画像表示画面について説明する。図１０は、表示装置１７０等が表示する取得画像と交代通知情報とを択一的に表示する取得画像表示画面の一例を説明するための図である。
【０１９１】
図１０に示す取得画像表示画面ＦＰ２２は、図８における取得画像表示画面ＦＰ０の初期状態において、ユーザの入力装置１６０等に対する操作により選択表示ボタンＢＴＡを選択する等して説明択一命令を情報処理装置１００へ入力した場合に表示される画面表示である。
【０１９２】
取得画像表示画面ＦＰ２２は、発言者の交代、又は、取得画像の投影区間の開始に合わせて取得画像表示領域ＡＰの表示領域に代えて択一的に発言者説明領域ＡＥを短時間表示する。その後、表示装置１７０等は、発言者説明情報の表示時間が経過した場合には、再度取得画像表示領域ＡＰを表示する。
【０１９３】
この構成によれば、検索された音声及び画像の視聴時に発言者説明情報を参照できる。よって、一例として、発言者説明情報を表示しない会議システムに比べて、検索結果が特定の発言者のした発言に係る画像及び音声であるかを容易に確認できるため所望の音声及び画像を効率的に検索できる。
【０１９４】
またこの構成によれば、一例として、発言者の交代時に発言者説明情報を表示しない会議システムに比べて、ユーザは交代した発言者を容易に認識できる。
【０１９５】
更にこの構成によれば、取得画像と交代通知情報と択一的に表示するため、表示スペースを効率よく使用できるだけでなく、取得画像が交代通知情報の、又は、交代通知情報が取得画像の、表示を妨げることがない。
【０１９６】
次に、図１１を参照して、表示装置１７０等が表示する発言遷移表示領域ＡＳＣについて説明する。図１１は、表示装置１７０等が表示する発言遷移表示領域ＡＳＣを説明するための図である。
【０１９７】
発言遷移表示領域ＡＳＣは、ある投影区間においてなされた発言に関する発言区間関連情報を表示する。図１１において、発言区間関連情報は、発言区間関連情報に対応する発言区間の開始時刻の早い順に昇順に表示されている。
【０１９８】
具体的には、より左に表示された発言区間関連情報の方が右に表示されたものよりも対応する発言開始時刻が早く、より上に表示された発言区間関連情報の方が下に表示されたものよりも対応する発言開始時刻が早い。
【０１９９】
尚、発言遷移表示領域ＡＳＣは、発言区間関連情報を発言の開始時刻の昇順のみならず降順に表示する構成を採用することもできる。また、後に説明する発言区間長で表される発言量、又は、発言内容を表すテキスト情報を構成する文字数で表される発言量に基づいて昇順又は降順に表示する構成を採用することも可能である。
【０２００】
この構成によれば、一例として、会議の所定の時間帯においてなされた発言又は特定の発言の前後に行なわれた発言、若しくは、発言量の多い発言等のように、記憶に残りやすい情報である時間帯の早遅及び発言間の前後関係、並びに、発言量の多少に基づいて、所望の発言を特定できる。また、発言区間関連情報を発言の時間的前後に基づいて昇順又は降順に表示することで、会議における発言の遷移を視覚的に辿ることができる。
【０２０１】
発言遷移表示領域ＡＳＣは、発言区間関連情報である参加者撮影画像又は参加者撮影映像ＰＡ（以下単に、参加者撮影画像等ＰＡと言う）を表示する。参加者撮影画像ＰＡ等は、対応する発言区間において撮影された画像又は映像である。また、参加者撮影画像等ＰＡを予め会議の前、会議中、会議後に会議の参加者を撮影した画像又は映像とする構成を採用することもできる。
【０２０２】
参加者撮影画像等ＰＡの縦長又は横長（つまり大きさ）は、発言区間の長さを視覚的に表す。更に、参加者撮影画像等ＰＡｎと参加者撮影画像等ＰＡｎ＋１との間隔は、それぞれ対応する発言区間と発言区間との間隔長である沈黙区間長を視覚的に表す。
【０２０３】
つまり、発言遷移表示領域ＡＳＣに表示される参加者撮影画像等ＰＡの横長、若しくは、縦長及び横長と、参加者撮影画像等ＰＡｎと参加者撮影画像等ＰＡｎ＋１との間隔と、はそれぞれの単位時間長を共通の単位ピクセル長で表すことで視覚的に表現される。
【０２０４】
この構成によれば、発言に係る取得音声を実際に聞くことなく、発話量を視覚的に知ることができる。
【０２０５】
更に発言遷移表示領域ＡＳＣは、発言開始時刻の早い参加者撮影画像等ＰＡから直近遅い参加者撮影画像等ＰＡへと矢印Ｊを表示することで発言の遷移順序、及び、矢印Ｊの長さにより沈黙区間長を視覚的に表示する。
【０２０６】
この構成によれば、発言に係る取得音声を実際に聞くことなく、発話量、又は、沈黙区間長、を視覚的に知ることができ、また、発言者を参加者撮影画像又は参加者撮影映像を通じて視覚的に知ることができる。
【０２０７】
また、発言遷移表示領域ＡＳＣは、検索部１１１０が検索した発言区間に関連付けられた発言区間関連情報を強調表示する。尚、強調表示とは、縁取り、ハイライト、点滅、又は、色の変換をした画像表示のいずれか１つ以上による表示を言う。
【０２０８】
図１１においては、検索部１１１０が検索した発言区間に関連付けられた参加者撮影画像等を縁取ることで、参加者撮影画像又は参加者撮影映像、発話量、又は、沈黙区間長を強調して表示している。また、縁取りだけでなく、参加者撮影画像等をハイライト、点滅、又は、例えば、白黒やセピア色等への色の変換をする構成を採用できる。更に、参加者撮影画像等のみならず、参加者撮影画像同士を結ぶ矢印Ｊを強調表示する構成を採用できる。
【０２０９】
この構成によれば、検索された発言区間に関連付けられた発言区間関連情報を強調表示するため、一見して発言区間関連情報の内で検索されたものを知ることができる。
【０２１０】
更にこの構成によれば、縁取り、ハイライト、点滅、又は、色の変換をした表示をするため、縁取り、ハイライト、点滅、又は、色の変換をしない表示部分と一見して区別できる。
【０２１１】
ここで、ユーザは、入力装置１６０等を操作して、発言遷移表示領域ＡＳＣに表示した参加者撮影画像等ＰＡを選択する命令を情報処理装置１００へ入力できる。ユーザが参加者撮影画像等ＰＡを選択する命令を情報処理装置１００へ入力した後に、情報処理装置１００は、選択された参加者撮影画像等ＰＡに関連付けられた発言区間において投影されたいた取得画像を表示するよう表示装置１７０を制御し、同時に、発言区間における発言に係る取得音声を出音するよう出音装置１８０等を制御する。
【０２１２】
つまり、ユーザは、入力装置１６０等を操作して、表示装置１７０等に表示した発言区間関連情報である参加者撮影画像等を選択する命令を入力する。その後、情報処理装置１００は、入力装置１６０等により入力された命令で選択された発言区間関連情報に関連付けられた発言区間を含む投影区間において投影された取得画像を表示するよう表示装置１７０を制御し、同時に、入力装置１６０等で入力された命令で選択された発言区間関連情報に関連付けられた発言区間における取得音声を出音するよう出音装置１８０等を制御する。
【０２１３】
この構成によれば、予め発言区間関連情報により分類された所望の取得画像及び取得画像に関連付けられた取得音声を、容易に選択して視聴できる。
【０２１４】
次に、図１２を参照して、取得画像表示領域ＡＰに代えて発言遷移表示領域ＡＳＣを択一的に表示する取得画像表示画面について説明する。図１２は、取得画像表示領域ＡＰに代えて発言遷移表示領域ＡＳＣを択一的に表示する取得画像表示画面の一例を説明するための図である。
【０２１５】
図１２に示す取得画像表示画面ＦＰ２３は、図８における取得画像表示画面ＦＰ０の初期状態において、ユーザの入力装置１６０等に対する操作により発言遷移表示領域表示ボタンＢＴＣを選択する等して発言遷移択一命令を情報処理装置１００へ入力した場合に表示される画面表示である。取得画像表示画面ＦＰ２３は、取得画像と発言区間関連情報とを択一的に表示する。
【０２１６】
表示装置１７０等は、情報処理装置１００に制御されて、取得画像表示領域ＡＰの代わりに発言遷移表示領域ＡＳＣを表示する。
【０２１７】
この構成によれば、取得画像と発言区間関連情報と択一的に表示するため、表示スペースを効率よく使用できるだけでなく、取得画像が発言区間関連情報の、又は、発言区間関連情報が取得画像の、表示を妨げることがない。
【０２１８】
次に、図１３を参照して、取得画像表示領域ＡＰと重ね合わせて同時に発言遷移表示領域ＡＳＣを表示する取得画像表示画面について説明する。図１３は、取得画像表示領域ＡＰ重ね合わせて同時に発言遷移表示領域ＡＳＣを表示する取得画像表示画面の一例を説明するための図である。取得画像表示画面ＦＰ２４は、取得画像と発言区間関連情報とを重ね合わせて同時に表示する。
【０２１９】
図１３に示す取得画像表示画面ＦＰ２４は、図８における取得画像表示画面ＦＰ０の初期状態において、ユーザの入力装置１６０等に対する操作により発言遷移表示領域表示ボタンＢＴＣを選択する等して発言遷移重合命令を情報処理装置１００へ入力した場合に表示される画面表示である。
【０２２０】
表示装置１７０等は、情報処理装置１００に制御されて、取得画像表示領域ＡＰに重ね合わせて同時に発言遷移表示領域ＡＳＣを表示する。
【０２２１】
この構成によれば、取得画像と発言区間関連情報と重ね合わせて同時に表示するため、表示スペースを効率よく使用できる。
【０２２２】
次に、図１４を参照して、検索された発言区間と検索された発言区間を含む投影区間との関係を視覚的に表す取得画像表示画面について説明する。図１４は、発言区間と投影区間との関係を視覚的に表す取得画像表示画面の一例を説明するための図である。
【０２２３】
図１４に示す取得画像表示画面ＦＰ２５は、図８ないし１０、１２、及び、１３に示す取得画像表示画面ＦＰ２０ないし２４と同一の取得画像表示領域ＡＰ及び操作ボタン表示領域ＡＢを有し、操作ボタン表示領域ＡＢに表示されたボタンを選択する等して入力された巻戻命令、発言遷移択一命令、発言遷移重合命令、早送命令、再生命令、一時停止命令、再生停止命令、説明択一命令、及び、説明重合命令等に従った表示機能は、取得画像表示画面ＦＰ２０ないし２４の有する機能と同一である一方で、音声タイムテーブルＴＡを更に有する点で異なる。
【０２２４】
音声タイムテーブルＴＡの最左点ＰＭＬは、取得画像表示領域ＡＰに表示された取得画像の投影区間の開始時刻を、最右点ＰＭＲは投影区間の終了時刻を表す。音声タイムテーブルＴＡの最左点ＰＭＬと最右点ＰＭＲとの間の部分は、取得画像表示領域ＡＰに表示された取得画像の投影区間を表す。
【０２２５】
音声タイムテーブルＴＡは、非検索発言区間ＮＩＳと検索発言区間ＨＩＳとを有する。
非検索発言区間ＮＩＳとは、音声タイムテーブルＴＡであって検索発言区間ＨＩＳでない部分を言う。
【０２２６】
検索発言区間ＨＩＳとは、取得画像表示領域ＡＰに表示された取得画像の投影区間に含まれる検索された発言区間を視覚的に表示する。つまり、検索された発言区間の発言開始時刻及び終了時刻を投影開始時刻及び終了時刻を表す最左点ＰＭＬと最右点ＰＭＲとの相対的なピクセル位置に基づいて表示する。
【０２２７】
具体的に例を挙げれば、投影区間開始時刻が午前０時０分であり終了時刻が午前０時４分である場合に、発言区間の開示時刻が午前０時２分であり終了時刻が午前０時３分であるとすると、検索発言区間ＨＩＳは音声タイムテーブルＴＡの最左点ＰＭＬと最右点ＰＭＲとの真ん中から３／４までを占める。これにより、検索された発言区間の投影区間に対する相対的な時間関係を知ることができる。
【０２２８】
ユーザは、音声タイムテーブルＴＡ上の任意の点を選択する命令を入力装置１６０等を通じて情報処理装置１００へ入力できる。情報処理装置１００は任意の点を選択する命令を入力されると、選択された点が表す時刻に対応した取得音声を出音装置１８０等から出音する。
【０２２９】
つまり、図１４に示す取得画像表示画面ＦＰ２５は、取得画像表示領域ＡＰにおいて取得画像を表示し、取得画像表示領域ＡＰにおいて表示する取得画像の投影区間を音声タイムテーブルＴＡの最左点ＰＭＬと最右点ＰＭＲとで表示し、取得画像の投影区間に含まれる１又は複数の発言区間を検索発言区間ＨＩＳとして関連付けて視覚的に表示する。
【０２３０】
また、情報処理装置１００は、表示装置１７０等に表示させている取得画像の投影区間における取得音声を出音装置１８０等に出音させる。特に、出音装置１８０等の出音する取得音声を、検索された特定の発言者の発言区間における音声のみをスキップ再生する構成を採用できる。
【０２３１】
更にまた、ユーザは、入力装置１６０等を用いて、表示装置１７０等で表示した１又は複数の発言区間である検索発言区間ＨＩＳの任意の点を選択する命令を入力する事ができる。次に、情報処理装置１００は、入力装置１６０等で入力された命令で選択された発言区間に関連付けられた取得音声を出音するよう出音装置１８０等を制御し、同時に入力装置１６０等で入力された命令で選択された発言区間に関連付けられた取得画像を表示するよう表示装置１７０等を制御する。
【０２３２】
この構成によれば、ユーザは、視聴を希望する１又は複数の発言区間に関連付けられた取得画像及び出音音声を容易に選択して視聴できる。
【０２３３】
ここで、図１５を参照して、表示装置１７０等が検索結果を表示する画面である検索結果表示画面の他例について説明する。図１５は、表示装置１７０等が表示する検索結果表示画面の他例である。
【０２３４】
図１５に示す検索結果表示画面ＦＲ２は、データ格納部１１００に蓄積されたサムネイルＳＮ１ないし１６をサムネイルＳＮ１ないし１６を生成する基礎とされた取得画像の発言区間の開始時刻に従って昇順に表示している。つまり、検索結果表示画面ＦＲ２において左に表示されサムネイルＳＮは、より右に表示されたサムネイルＳＮよりも対応する発言開始時刻が早く、上に表示されサムネイルＳＮは、より下に表示されたサムネイルＳＮよりも対応する発言開始時刻が早い。
【０２３５】
また、スライドサムネイルＳＮ１、２、６、８、１４、及び、１６は、検索部１１１０が検索をした結果、検索条件にマッチしたと判断された１又は複数の取得画像から作成されたサムネイルＳＮであり、スライドサムネイルＳＮの縁を縁取り、ハイライト、点滅して表示するか、又は、スライドサムネイルＳＮの色を例えば、白黒やセピア色に変換をして画像表示することで強調表示されている。
【０２３６】
つまり、会議において投影された取得画像に関連付けられたサムネイルＳＮを一覧表示し、一覧表示したサムネイルＳＮの内で検索部１１１０で検索された取得画像に関連付けられたサムネイルＳＮを強調表示する。
【０２３７】
この構成によれば、会議において投影された取得画像のみならず検索した取得画像をも一見して知ることができる。
【０２３８】
またこの構成によれば、縁取り、ハイライト、点滅、又は、色の変換をした表示をするため、縁取り、ハイライト、点滅、又は、色の変換をしない表示部分と一見して区別できる。
【０２３９】
ここで、ユーザは入力装置１６０等によりサムネイルＳＮを選択する命令を情報処理装置１００へ入力できる。情報処理装置１００は命令を入力された場合には、取得画像表示画面ＦＰを表示装置１７０等に表示させ、かつ、選択された取得画像及び取得画像の投影区間において取得された取得音声を出音装置１８０等に出音させるよう制御をする。尚、この際に表示装置１７０等は取得画像表示画面を表示するよう制御される。
【０２４０】
つまり、ユーザは、入力装置１６０等を通じて、表示装置１７０等で表示したサムネイルを選択する命令を入力し、情報処理装置１００が命令を受領した後に情報処理装置１００は、入力装置１７０で入力された命令で選択されたサムネイルに関連付けられた取得画像を表示装置１７０等に表示するよう制御をし、同時に、入力装置１６０で入力された命令で選択されたサムネイルに関連付けられた取得画像の投影区間における取得音声を出音するよう出音装置１８０等を制御する。
【０２４１】
この構成によれば、予めサムネイルにより分類された所望の取得画像及び取得画像に関連付けられた取得音声を、容易に選択して視聴できる。
【０２４２】
以下、本発明の第２の実施形態について、添付図面を参照しつつ説明する。図１６は本発明の会議システム１０の第２の実施形態の一例を示す構成図である。
【０２４３】
図１６は、図１に示す会議システム１０に比べて、情報処理装置１００が音声認識部１０２４を有する点で異なる。よって、以降は図１に示す会議システム１０と異なる点についてのみ説明することとする。
【０２４４】
発言メタ情報生成部１０２０は、発言検出部１０２１、発言者識別部１０２２、及び、発言交代検出部１０２３のみならず、音声認識部１０２４から構成される点で図１に示した発言メタ情報生成部１０２０と異なる。
【０２４５】
発言交代検出部１０２３は、データ格納部１１００に接続されずに音声認識部１０２４に接続される点で図１に示した発言交代検出部１０２３と異なる。また、発言交代検出部１０２３は、デジタル信号をデータ格納部１１００の所定の位置に所定のファイル名で蓄積せず、音声取得装置識別情報と発言区間と取得音声とを関連付けて音声認識部１０２４に送信する点で図１に示した発言交代検出部１０２３と異なる。
【０２４６】
音声認識部１０２４は、制御部１０９０、及び、データ格納部１１００に接続している。音声認識部１０２４は、音声取得装置識別情報と発言区間と取得音声とを発言交代検出部１０２３から受信する。
【０２４７】
次に、音声認識部１０２４は、発言区間における取得音声から音声認識処理により取得した発言内容を表すテキスト情報を取得する。最後に、取得したテキスト情報を取得音声分類基準とするために音声取得装置識別情報と発言区間とに関連付けて制御部１０９０へ送信する。また、デジタル信号をデータ格納部１１００の所定の位置に所定のファイル名で蓄積する。
【０２４８】
制御部１０９０、及び、データ格納部１１００は、取得音声分類基準として、発言メタ情報生成部１０２０から取得した音声取得装置識別情報と発言区間と発言者識別情報と交代情報と音声取得装置識別情報で定まる取得音声の蓄積されたディレクトリパスとに加えて、取得音声から取得したテキスト情報を含む点で、図１で説明した制御部１０９０、及び、データ格納部１１００と異なる。
【０２４９】
この構成によれば、制御手段は発言内容と取得音声とを関連付けて蓄積するよう制御するため、発言に係る音声を発言内容に基づいて分類できる。
【０２５０】
更に検索部１１１０は、取得音声から取得したテキスト情報に基づいて検索をし、入力装置１６０等は検索条件として取得音声から取得したテキスト情報を入力し、表示装置１７０等は検索条件として取得音声から取得したテキスト情報を表示する点で図１で示した検索部１１１０、入力装置１６０、及び、表示装置１７０と異なる。
【０２５１】
次に、本発明の第３の実施形態について、添付図面を参照しつつ説明する。図１７は本発明の会議システム１０の第３の実施形態における発言メタ情報生成部１０２０の一例を示す構成図である。
【０２５２】
本発明の第３の実施形態は、図１に示した第１の実施形態と発言メタ情報生成部１０２０の構成が異なり、図１に示した会議システム１０を構成する発言メタ情報生成部１０２０以外の装置及び情報処理装置１００の構成部については同一であるとする。また、図１７に図示されていない装置及び情報処理装置１００の構成部についても第３の実施形態に係る会議システム１０は備える。
【０２５３】
第１の実施形態において、発言メタ情報生成部１０２０は取得音声分類基準である発言区間を取得音声の音量レベルの検査により判断するが、第３の実施形態においては、音声認識処理により取得音声から抽出したテキスト情報の検査により判断する点で異なる。
【０２５４】
以下、図１に示す会議システム１０と異なる点についてのみ説明することとする。
Ａ／Ｄ変換部１０１０は、図１で説明したＡ／Ｄ変換部１０１０と構成、接続、及び、機能等がほぼ同一であるが、情報処理装置１００の音声認識部１２５１ないし１２５ｎ及び音声混合部１２９０に接続している点で異なる。
【０２５５】
また、Ａ／Ｄ変換部１０１０は、音声取得装置１１１ないし１１ｎが取得した取得音声であるデジタル信号を音声混合部１２９０へ送信する点で異なる。
【０２５６】
更に、Ａ／Ｄ変換部１０１０は、デジタル信号と音声取得装置識別情報とを関連付けて、それぞれの音声取得装置１１１ないし１１ｎに対応した音声認識部１２５１ないし１２５ｎへ送信する点で異なる。
【０２５７】
発言メタ情報生成部１０２０は、音声認識部１２５１ないし１２５ｎ、テキスト出力状態モニタ部１２６０、テキストセグメント判定部１２７０、発話量算定部１２８０、及び、音声混合部１２９０等で構成されている。尚、音声認識部１２５１ないし１２５ｎ、テキスト出力状態モニタ部１２６０、テキストセグメント判定部１２７０、発話量算定部１２８０、及び、音声混合部１２９０は、例えば、ＣＰＵ等の演算装置、ＲＡＭ等の記憶装置、及び、演算装置により実行され記憶装置に記憶された情報を処理するプログラム等で構成されている。
【０２５８】
音声認識部１２５１ないし１２５ｎは、Ａ／Ｄ変換部１０１０及びテキスト出力状態モニタ部１２６０に接続している。音声認識部１２５１ないし１２５ｎは、Ａ／Ｄ変換部１０１０からデジタル信号と音声取得装置識別情報とを受信する。その後、デジタル信号に対し音声認識処理を実行して会議においてなされた発言の発言内容をテキスト情報として抽出する。その後、抽出したテキスト情報と音声取得装置識別情報とをテキスト出力状態モニタ部１２６０へ送信する。
【０２５９】
テキスト出力状態モニタ部１２６０は、音声認識部１２５１ないし１２５ｎ、テキストセグメント判定部１２７０、及び、時間管理部１０３０に接続している。
【０２６０】
テキスト出力状態モニタ部１２６０は、図１に示した発言検出部１０２１と同様に発言区間を抽出する。具体的には、テキスト出力状態モニタ部１２６０は、音声認識部１２５１ないし１２５ｎからテキスト情報と音声取得装置識別情報とを取得し、時間管理部１０３０によりシステム時刻を取得する。次に、テキスト出力状態モニタ部１２６０は、音声認識部１２５１が出力するテキスト情報の出力開始時刻と終了時刻とを取得する。尚、テキスト情報の出力開始時刻及び終了時刻を発言開始時刻及び終了時刻とする。
【０２６１】
テキスト出力状態モニタ部１２６０は、図１に示した発言検出部１０２１と同様に、所定時間以上テキストの出力が継続した場合に発言を開始したと判断し、所定時間以上テキストの出力がなされない場合に発言を終了したと判断する。また、テキスト出力状態モニタ部１２６０は、取得した発言区間、テキスト情報、及び、音声取得装置識別情報等をテキストセグメント判定部１２７０へ送信する。
【０２６２】
テキストセグメント判定部１２７０は、発言交代検出部１０２３、発話量算定部１２８０、及び、テキスト出力状態モニタ部１２６０に接続している。また、テキストセグメント判定部１２７０は、図示を省略するが、音声取得装置識別情報と発言者識別情報とを関連付けて記憶装置に記憶している。
【０２６３】
テキストセグメント判定部１２７０は、テキスト出力状態モニタ部１２６０から発言区間とテキスト情報と音声取得装置識別情報とを取得する。その後、発言者識別部１０２２は、取得した音声取得装置識別情報に基づいて記憶装置に記憶した発言者識別情報を検索する。
【０２６４】
その後、テキストセグメント判定部１２７０は、発言区間を１つのセグメントとし、セグメント毎に取得した発言者識別情報、発言区間、テキスト情報、及び、音声取得装置識別情報等を関連付けて発言交代検出部１０２３及び音声混合部１２９０へ送信する。
【０２６５】
発言交代検出部１０２３は、テキストセグメント判定部１２７０及び制御部１０９０に接続している。発言交代検出部１０２３は、テキストセグメント判定部１２７０から発言者識別情報、発言区間、及び、テキスト情報等を関連付けて受信する。
【０２６６】
発言交代検出部１０２３は、図１に示した発言交代検出部１０２３と同様に、発言セグメントにおける発言者識別情報と直前の発言セグメントにおける発言者識別情報とを比較して、交代情報を取得する。その後、発言交代検出部１０２３は、取得した交代情報、発言者識別情報、発言区間、及び、テキスト情報等を関連付けて制御部１０９０へ送信する。尚、発言交代検出部１０２３は、図１に示す発言交代検出部１０２３と異なり、デジタル信号をデータ格納部１１００に蓄積しない。
【０２６７】
発話量算定部１２８０は、テキストセグメント判定部１２７０及び制御部１０９０に接続している。発話量算定部１２８０は、テキストセグメント判定部１２７０から発言者識別情報、発言区間、及び、テキスト情報等を関連付けて受信し、それぞれの発言者のそれぞれの発言区間におけるテキスト情報を構成する文字数を取得して取得した文字数を発話量とする。また、発言区間長を発話量としても良い。その後、発話量算定部１２８０は、取得した発話量、発言者識別情報、及び、発言区間等を制御部１０９０へ送信する。
【０２６８】
音声混合部１２９０は、例えば、ミキサー等で構成され、Ａ／Ｄ変換部１０１０、時間管理部１０３０、及び、データ格納部１１００に接続している。音声混合部１２９０は、Ａ／Ｄ変換部１０１０から１又は複数の音声取得装置１１１ないし１１ｎにより得られた１又は複数のデジタル信号を取得する。また、時間管理部１０３０によりシステム時刻を取得する。
【０２６９】
その後、音声混合部１２９０は、取得した１又は複数のデジタル信号を１つの音声ファイルに混合してデジタル信号の取得時刻と関連付けてデータ格納の所定の所定の位置に所定のファイル名で蓄積する。
【０２７０】
制御部１０９０及びデータ格納部１１００の接続、構成、及び、機能は、図１に示す制御部１０９０及びデータ格納部１１００とほぼ同一であるが、図１６に示した制御部１０９０及びデータ格納部１１００と同様に取得音声から取得したテキスト情報を取得音声分類基準として取り扱う点で異なる。更に、図１及び図１６に示した制御部１０９０及びデータ格納部１１００と異なり、取得音声から取得したテキスト情報を構成する文字数により表される発話量を取得音声分類基準として取り扱う点で異なる。
【０２７１】
この構成によれば、制御手段は発言量と取得音声とを関連付けて蓄積するよう制御するため、発言に係る音声を発言量に基づいて分類できる。
【０２７２】
またこの構成によれば、発話量を発言内容を表すテキスト情報を構成する文字数とするため、発言の量を定量的に知ることができる。
【０２７３】
尚、時間管理部１０３０の接続、構成、及び、機能は、図１に示す時間管理部１０３０とほぼ同一であるが、音声混合部１０３０及びテキスト出力状態モニタ部１２６０に接続する点で異なる。
【０２７４】
また、図示を省略したが、表示部１７０等の表示する図１１に示した発言遷移表示領域ＡＳＣに表示される参加者撮影画像等ＰＡの縦長又は横長（つまり大きさ）は、発話量である発言内容を表すテキスト情報を構成する文字数を視覚的に表す点で図１に示した表示装置１７０等と異なる。つまり、発言遷移表示領域ＡＳＣに表示される参加者撮影画像ＰＡの横長、若しくは、縦長及び横長は、発言内容を表すテキスト情報を構成する文字数が多い程、縦長及び横長を長く表示する。
【０２７５】
この構成によれば、発言に係る取得音声を実際に聞くことなく、発話量を視覚的に知ることができる。
【０２７６】
次に図１８を参照して、制御部１０９０がデータ格納部１１００に情報を格納するために実行する制御処理（以下単に、情報格納制御処理と言う）について説明する。図１８は、制御部１０９０の行なう情報格納制御処理の一例を説明するためのフローチャートである。
【０２７７】
先ず、制御部１０９０は、取得画像の変更をテキスト抽出部１０８０により通知されるまで、発言の開始又は終了を発言メタ情報生成部１０２０から通知されるまで、入力装置１６０等から実行終了通知を通知されるまで、若しくは、所定の時刻を経過するまでスリープする（ステップＳＴ００１）。
【０２７８】
次に、制御部１０９０は、発言検出部１０２１から通知を受けたかを判断する（ステップＳＴ００２）。発言検出部１０２１から通知を受けたと判断する場合にはステップＳＴ００３の処理を、そうでない場合にはステップＳＴ００７の処理を実行する。
【０２７９】
ステップＳＴ００２において、制御部１０９０は、発言検出部１０２１から通知を受けたと判断する場合には、発言の開始を検出した旨の通知を受けたかを判断する（ステップＳＴ００３）。発言の開始を検出したと判断する場合にはステップＳＴ００４の処理を、そうでない場合にはステップＳＴ６の処理を実行する。
【０２８０】
ステップＳＴ００３において、制御部１０９０は、発言の開始を検出した旨の通知を受けたと判断した場合には発言開始時処理を実行する（ステップＳＴ００４）。
【０２８１】
ステップＳＴ００４、ステップＳＴ００６、又は、ステップＳＴ００８の処理を実行した後には、制御部１０９０は、テキスト抽出部１０８０による通知、発言検出部１０２１による通知、入力装置１６０等からの通知、又は、所定時刻の経過の全てに対して処理を実行したかを判断する（ステップＳＴ００５）。制御部１０９０は、全てを処理したと判断する場合にはステップＳＴ００１に戻り上記処理を繰り返し、そうでない場合にはステップＳＴ００２に戻り既に行なった処理以外の処理を実行する。
【０２８２】
ステップＳＴ００３において、制御部１０９０は、発言の開始を検出した旨の通知を受けていないと判断した場合には発言終了時処理を実行する（ステップ００ＳＴ６）。その後、ステップＳＴ００５の処理を実行する。
【０２８３】
ステップＳＴ００２において、制御部１０９０は、発言検出部１０２１から通知を受けていないと判断する場合には、取得画像の変更をテキスト抽出部１０８０から通知されたかを判断する（ステップＳＴ００７）。取得画像の変更を通知されたと判断する場合にはステップＳＴ００８の処理を、そうでない場合に実行停止指示を受領したと判断して処理を終了する。
【０２８４】
ステップＳＴ００７において、制御部１０９０は、取得画像の変更を通知されたと判断する場合には画像格納時処理を実行する（ステップＳＴ００８）。その後、ステップＳＴ００５の処理を実行する。
【０２８５】
次に図１９を参照して、制御部１０９０が実行する発言開始時処理について説明する。図１９は、制御部１０９０の行なう発言開始時処理の一例を説明するためのフローチャートである。
【０２８６】
先ず、制御部１０９０は、テキスト抽出部１０９０から取得した投影中の取得画像を識別する取得画像識別情報を生成する（ステップＳＴ１０１）。次に、制御部１０９０は、発言検出部１０２１から発言開始時刻及び音声取得装置識別情報等を取得する（ステップＳＴ１０２）。その後、制御部１０９０は、発言者識別部１０２２から発言者識別情報及び音声取得装置識別情報等を取得する（ステップＳＴ１０３）。次に、制御部１０９０は、発言交代検出部１０２３から発言交代の有無に関する情報及び音声取得装置識別情報等を取得する（ステップＳＴ１０４）。
【０２８７】
その後、制御部１０９０は、ステップＳＴ１０４で取得した発言交代の有無に関する情報により発言者の交代があったかを判断する（ステップＳＴ１０５）。制御部１０９０は、発言者の交代があったと判断する場合にはステップＳＴ１０６の処理を、そうでない場合には処理の実行を終了する。
【０２８８】
ステップＳＴ１０５において、制御部１０９０は、発言者の交代があったと判断する場合には発話の交代を識別する情報である交代識別情報を生成する（ステップＳＴ１０６）。その後、制御部１０９０は、処理を終了する。
【０２８９】
次に図２０を参照して、制御部１０９０が実行する発言終了時処理について説明する。図２０は、制御部１０９０の行なう発言終了時処理の一例を説明するためのフローチャートである。
【０２９０】
先ず、制御部１０９０は、発言検出部１０２１から発言の終了時刻及び音声取得装置識別情報等を取得する（ステップＳＴ２０１）。次に、制御部１０９０は、発言を記録した取得音声が保存された所定のディレクトリパスを取得する（ステップＳＴ２０２）。その後、制御部１０９０は、音声認識部１０２４から取得音声より抽出されたテキスト情報及び音声取得装置識別情報等を取得する（ステップＳＴ２０３）。
【０２９１】
次に、制御部１０９０は、発言開始時処理で取得した情報及び上記ステップステップＳＴ２０１ないし２０３で取得した情報をそれぞれ関連付けて発言イベントテーブルＴＳ等に蓄積する(ステップ２０４)。
【０２９２】
この構成によれば、会議において取得された音声及び画像を発言者識別情報に基づいて分類して蓄積できる。よって、特定の発言者に関連した音声及び画像を知ることができるだけでなく、特定の音声及び画像に関連した発言者を知ることもできる。
【０２９３】
次に図２１を参照して、制御部１０９０が実行する画像格納時処理について説明する。図２１は、制御部１０９０の行なう画像格納時処理の一例を説明するためのフローチャートである。
【０２９４】
先ず、制御部１０９０は、テキスト抽出部１０８０から取得した取得画像を識別する取得画像識別情報を生成する（ステップＳＴ３０１）。次に、制御部１０９０は、テキスト抽出部１０８０から取得画像を取得する（ステップＳＴ３０２）。その後、制御部１０９０は、テキスト抽出部１０８０からスライドサムネイルを取得する（ステップＳＴ３０３）。次に、制御部１０９０は、テキスト抽出部１０８０からスライドサムネイルを識別する情報であるスライドサムネイル識別情報を生成する（ステップＳＴ３０４）。その後、制御部１０９０は、テキスト抽出部１０８０から取得画像により抽出したテキスト情報を取得する（ステップＳＴ３０５）。最後に、制御部１０９０は、上記ステップＳＴ３０１ないし３０５で取得した情報を関連付けてデータ格納部１１００へ蓄積するよう制御する（ステップＳＴ３０６）。
【０２９５】
次に図２２を参照して、表示タイミング監視部１１２３が実行する制御処理について説明する。図２２は、表示タイミング監視部１１２３の行なう制御処理の一例を説明するためのフローチャートである。
【０２９６】
先ず、表示タイミング監視部１１２３は、表示スケジュールビューＶＳを参照して表示切替時刻、及び、表示制御の終了時刻を把握する（ステップＳＴ４０１）。次に、表示タイミング監視部１１２３は、次の表示切替時刻になるか、入力装置１６０等から終了命令を受領するか、又は、表示制御の終了時刻になるまでスリープする（ステップＳＴ４０２）。
【０２９７】
次に、表示タイミング監視部１１２３は、入力装置１６０等から終了命令の受領した、又は、表示制御の終了時刻を経過しかたかを判断する（ステップＳＴ４０３）。表示タイミング監視部１１２３は、終了命令を受領した、又は、表示制御の終了時刻を経過しかたと判断する場合には処理を終了し、そうでない場合にはステップＳＴ４０４の処理を実行する。
【０２９８】
ステップＳＴ４０３において、表示タイミング監視部１１２３は、終了命令を受領しなかった、かつ、表示制御の終了時刻を経過していなかったと判断した場合には、プロフィールはめ込み処理部１１２１へ実行命令及び発言者説明情報等を送信する（ステップＳＴ４０４）。
【０２９９】
次に、表示タイミング監視部１１２３は、写真はめ込み処理部１１２２へ実行命令、撮影画像格納アドレス又は撮影映像格納アドレス、並びに、発言開始時刻等を送信する（ステップＳＴ４０５）。その後、ステップＳＴ４０２に戻り上記処理を繰り返す。
【０３００】
上記実施形態では、画像取得部１０４０はＢＭＰフォーマットの画像を取得する場合について説明したがこれに限定されるわけではなく、例えば、ＪＰＧ、ＧＩＦ、ＴＩＦＦ、又は、ＰＮＧフォーマットの画像を取得する構成を採用することも可能である。
【０３０１】
上記実施形態では、画像変換部１０７０はＪＰＧフォーマットの画像を取得する場合について説明したがこれに限定されるわけではなく、例えば、ＪＰＧ、ＢＭＰ、ＧＩＦ、ＴＩＦＦ、又は、ＰＮＧフォーマットの画像、画像データサイズの縮小された画像、若しくは、色情報の軽減された画像、であって画像変換部１０７０が取得した画像の情報量よりも少ない情報量で表される画像を取得する構成を採用することも可能である。
【０３０２】
上記実施形態では、検索画面ＦＳは検索キーワードとして、取得音声分類基準又は取得画像分類基準であるテキスト情報、及び、取得音声分類基準である発言者識別情報に関連付けられた発言者名を用いる場合について説明したがこれに限定されるわけではなく、例えば、取得音声分類基準である発言者識別情報、交代情報、発言区間、発言開始日、発言開始時刻、発言終了時刻、又は、発話量、若しくは、取得画像分類基準である投影区間、投影開始時刻、投影終了時刻、又は、取得画像を基に作成されたサムネイルを検索キーワードとし、それぞれの入力されたキーワードを表示するテキストボックスを有する構成を採用できる。
【図面の簡単な説明】
【０３０３】
【図１】本発明の会議システムの一実施形態を示す構成図である。
【図２】データ格納部の蓄積する発言に関する情報の一例を説明するための図である。
【図３】データ格納部の蓄積する検索結果を表示するために参照される情報の一例を説明するための図である。
【図４】表示タイミング監視部が実効命令を通知するタイミングを説明するための図である。
【図５】表示装置が表示する検索画面の一例を説明するためのである。
【図６】表示装置が表示する検索結果表示画面の一例を説明するためのである。
【図７】表示装置が表示する取得画像表示画面の一例を説明するための図である。
【図８】表示装置が表示する取得画像表示画面の他例の初期画面を説明するための図である。
【図９】表示装置が取得画像と交代通知情報とを重ね合わせて同時に表示する取得画像表示画面の一例を説明するための図である。
【図１０】表示装置が取得画像と交代通知情報とを択一的に表示する取得画像表示画面の一例を説明するための図である。
【図１１】表示装置が表示する発言遷移表示領域ＡＳＣを説明するための図である。
【図１２】取得画像表示領域ＡＰに代えて発言遷移表示領域ＡＳＣを択一的に表示する取得画像表示画面の一例を説明するための図である。
【図１３】取得画像表示領域ＡＰ重ね合わせて同時に発言遷移表示領域ＡＳＣを表示する取得画像表示画面の一例を説明するための図である。
【図１４】発言区間と投影区間との関係を視覚的に表す取得画像表示画面の一例を説明するための図である。
【図１５】表示装置が表示する検索結果表示画面の他例である。
【図１６】本発明の会議システムの第２の実施形態の一例を示す構成図である。
【図１７】本発明の会議システムの第３の実施形態における発言メタ情報生成部の一例を示す構成図である。
【図１８】制御部の行なう情報格納制御処理の一例を説明するためのフローチャートである。
【図１９】制御部の行なう発言開始時処理の一例を説明するためのフローチャートである。
【図２０】制御部の行なう発言終了時処理の一例を説明するためのフローチャートである。
【図２１】制御部の行なう画像格納時処理の一例を説明するためのフローチャートである。
【図２２】表示タイミング監視部の行なう制御処理の一例を説明するためのフローチャートである。
【符号の説明】
【０３０４】
１０…会議システム
１００…情報処理装置
１１１〜１１ｎ…音声取得装置（音声取得手段）
１２０…画像投影装置
１３１〜１３ｎ…撮影装置（撮影手段）
１４０…画像生成装置
１５０…分配器
１６０…第１入力装置（入力手段）
１７０…第１表示装置（表示手段）
１８０…第１出音装置（出音手段）
２００…遠隔端末
２１０…第２入力装置（入力手段）
２２０…第２表示装置（表示手段）
２３０…第２出音装置（出音手段）
３００…ネットワーク
１０１０…Ａ／Ｄ変換部
１０２０…発言メタ情報生成部
１０２１…発言検出部
１０２２…発言者識別部
１０２３…発言交代検出部
１０２４…音声認識部
１０３０…時間管理部
１０４０…画像取得部（画像取得手段）
１０５０…新規画像検出部
１０６０…格納判定部
１０７０…画像変換部
１０８０…テキスト抽出部
１０９０…制御部（制御手段）
１１００…データ格納部
１１１０…検索部（検索手段）
１１２０…結果表示制御部
１１２１…プロフィールはめ込処理部
１１２２…写真はめ込処理部
１１２３…表示タイミング監視部
１１３０…通信部
１２５１〜１２５ｎ…音声認識部
１２６０…テキスト出力状態モニタ部
１２７０…テキストセグメント判定部
１２８０…発話量算定部
１２９０…音声混合部
ＡＢ…操作ボタン表示領域
ＡＥ…発言者説明領域
ＡＰ…取得画像表示領域
ＡＳＣ１〜３…発言遷移表示領域
ＡＳＮ１〜３…スライドサムネイル表示領域
ＢＴ…検索ボタン
ＢＴＡ…択一表示ボタン
ＢＴＣ…発言遷移表示領域表示ボタン
ＢＴＦ…早送りボタン
ＢＴＰ…再生ボタン
ＢＴＲ…巻き戻しボタン
ＢＴＳ…再生停止ボタン
ＢＴＴ…一時停止ボタン
Ｃ１〜３……交代情報
ＦＰ１，２０〜２５…取得画像表示画面
ＦＲ１，２…検索結果表示画面
ＦＳ…検索画面
ＨＩＳ…検索発言区間
ＩＰ１，２……投影区間
ＩＳ１〜７…発言区間
Ｊ１〜５……矢印…
ＮＩＳ…非検索発言区間
Ｐ１〜１４…撮影時刻
ＰＡ１〜４…参加者Ａの撮影画像
ＰＢ１，２……参加者Ｂの撮影画像…
ＰＥ…説明情報表示部
ＰＭＬ…最左点
ＰＭＲ…最右点
ＰＰ…撮影画像表示部
ＳＮ１〜１６…スライドサムネイル
Ｔ１〜５…時刻
ＴＡ…音声タイムテーブル
ＴＢＫ１〜５……キーワード入力テキストボックス
ＴＢＰ１〜５……発言者名入力テキストボックス
ＴＩ…説明情報テーブル
ＴＳ…発言イベントテーブル
ＴＰ…取得画像テーブル
ＶＣ…交代イベントビュー
ＶＳ…表示スケジュールビュー
【図１】
2007288539.tif 000003
【図２】
2007288539.tif 000004
【図３】
2007288539.tif 000005
【図４】
2007288539.tif 000006
【図５】
2007288539.tif 000007
【図６】
2007288539.tif 000008
【図７】
2007288539.tif 000009
【図８】
2007288539.tif 000010
【図９】
2007288539.tif 000011
【図１０】
2007288539.tif 000012
【図１１】
2007288539.tif 000013
【図１２】
2007288539.tif 000014
【図１３】
2007288539.tif 000015
【図１４】
2007288539.tif 000016
【図１５】
2007288539.tif 000017
【図１６】
2007288539.tif 000018
【図１７】
2007288539.tif 000019
【図１８】
2007288539.tif 000020
【図１９】
2007288539.tif 000021
【図２０】
2007288539.tif 000022
【図２１】
2007288539.tif 000023
【図２２】
2007288539.tif 000024