(57)【要約】【課題】会議の出席者が途中で中座しても、戻ってきたときに中座中の議事内容を知ることができる会議支援装置および会議支援システムおよび会議支援プログラムを提供する。【解決手段】会議の全出席者の映像を撮像部１０５により撮像し、中座者認識部１１３は、その映像を含む入力画像データの変化を画像データのパターンマッチングにより検知し、検知した入力画像データの変化から会議の途中で中座した後に元の場所に戻ってきた出席者を認識して、その出席者が中座した時刻および時間間隔を測定する。そうして、測定された中座した時刻および時間間隔に基づいて、音声信号記憶部１１１に記憶された音声信号を音声出力部１１２により音声に変換して出力することにより、戻ってきた出席者に中座中の議事内容を通知する。【選択図】  図１
2004228737.tif 000002
【特許請求の範囲】
【請求項１】
会議の全出席者の映像を撮像する撮像部と、
上記撮像部からの映像を含む入力画像データの変化を画像データのパターンマッチングにより検知し、検知した入力画像データの変化から会議の途中で中座した後に元の場所に戻ってきた出席者を認識して、その出席者が中座した時刻および時間間隔を測定する中座者認識部と、
上記中座者認識部により測定された上記中座した時刻および時間間隔に基づいて、戻ってきた出席者に中座中の議事内容を通知する議事内容通知部とを備えたことを特徴とする会議支援装置。
【請求項２】
請求項１に記載の会議支援装置において、
通信回線を介して接続された他の装置の利用者と会議を行うために上記他の装置と相互に通信を行う通信部を備えたことを特徴とする会議支援装置。
【請求項３】
請求項２に記載の会議支援装置において、
周囲３６０°の視野領域の少なくとも一部の広視野領域の光学像であって、上記撮像部により広視野画像データとして撮像される光学像を投影する光学系と、
発言者の音声を音声信号に変換して入力する音声入力部と、
上記音声入力部により入力された発言中の発言者を認識し、その発言者コードを特定する発言者認識部と、
上記撮像部により撮像された広視野画像データから会議の全出席者の映像を含むパノラマ画像データまたは上記発言者認識部により認識された発言者の映像を含む透視画像データのうちの少なくとも一方を生成する画像データ生成部とを備え、
上記通信部は、上記音声入力部により入力された上記発言中の発言者の音声信号と一緒に、上記画像データ生成部により生成された上記パノラマ画像データまたは上記透視画像データの少なくとも一方を通信回線を介して上記他の装置に送信することを特徴とする会議支援装置。
【請求項４】
請求項３に記載の会議支援装置において、
上記議事内容通知部は、上記音声入力部により入力された音声信号を上記発言者認識部により特定された発言者コードと対応させて記憶する音声信号記憶部と、上記音声信号記憶部に記憶された音声信号を音声に変換して出力する音声出力部を有し、元の場所に戻ってきた出席者の要求に応じて、上記音声信号記憶部に記憶された音声信号から中座中の音声信号を検索し、上記音声出力部により音声に変換して出力することを特徴とする会議支援装置。
【請求項５】
請求項３に記載の会議支援装置において、
上記発言者認識部により認識された発言者の上記パノラマ画像データまたは上記透視画像データの少なくとも一方における位置座標を特定する位置座標特定部を備えたことを特徴とする会議支援装置。
【請求項６】
請求項３に記載の会議支援装置において、
上記発言者認識部は、上記音声入力部に入力された音声信号と上記音声入力部に予め夫々付加されたＩＤコードに基づいて、上記発言者を認識すると共に、上記他の装置から送信された音声信号と上記他の装置に予め付加された電話番号，登録番号およびＵＲＬのうちの少なくとも１つに基づいて、上記他の装置側の発言者を認識することを特徴とする会議支援装置。
【請求項７】
請求項３に記載の会議支援装置において、
上記光学系は、凸型回転体ミラーを有することを特徴とする会議支援装置。
【請求項８】
請求項３に記載の会議支援装置において、
上記撮像部により撮像された広視野画像データから上記パノラマ画像データまたは上記透視画像データのうちの少なくとも一方を上記画像データ生成部により変換するための変換情報が記憶された変換情報記憶部を備えたことを特徴とする会議支援装置。
【請求項９】
請求項３に記載の会議支援装置を通信回線を介して複数接続したことを特徴とする会議支援システム。
【請求項１０】
請求項１に記載の会議支援装置と、
上記会議支援装置に通信回線を介して接続された端末装置とを備えたことを特徴とする会議支援システム。
【請求項１１】
会議の全出席者の映像を撮像部により撮像する機能と、
上記撮像された全出席者の映像を含む入力画像データの変化を画像データのパターンマッチングにより検知し、検知した入力画像データの変化から会議の途中で中座した後に元の場所に戻ってきた出席者を認識し、その出席者が中座した時刻および時間間隔の測定する機能と、
上記中座した時刻および時間間隔に基づいて、戻ってきた出席者に中座中の議事内容を通知する機能とをコンピュータに実行させることを特徴とする会議支援プログラム。
【請求項１２】
請求項１１に記載の会議支援プログラムにおいて、
周囲３６０°の視野領域の少なくとも一部の広視野領域の光学系により得られた光学像を上記撮像部により広視野画像データとして撮像する機能と、
発言者の音声を音声入力部により音声信号に変換して入力する機能と、
上記入力された発言中の発言者の発言者コードを特定する機能と、
上記撮像された広視野画像データから会議の全出席者の映像を含むパノラマ画像データまたは認識された発言者の映像を含む透視画像データのうちの少なくとも一方を生成する機能と、
上記入力された上記発言中の発言者の音声信号と一緒に、上記パノラマ画像データまたは上記透視画像データの少なくとも一方を通信回線を介して他の装置に送信する機能とをコンピュータに実行させることを特徴とする会議支援プログラム。
【請求項１３】
請求項２の会議支援装置と通信回線を介して相互に通信を行う端末装置であって、
上記会議支援装置からの議事内容に関る情報を受信する通信部と、
上記通信部により受信された上記議事内容に関る情報を記憶する受信情報記憶部と、
利用者が中座して戻ってきたときに、上記受信情報記憶部に記憶された上記議事内容に関る情報に基づいて、戻ってきた利用者に中座中の議事内容を通知する議事内容通知部とを備えたことを特徴とする端末装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、会議支援装置および会議支援システムおよび会議支援プログラムに関し、特に、会議の雰囲気が伝わる画像情報を生成して通信回線を介して外部の装置に送信する会議支援装置および会議支援システムおよび会議支援プログラムに関する。
【０００２】
【従来の技術】
近年、通信回線や文字、図形、画像、音声などの複数のマルチメディア情報を扱うことができるマルチメディア装置の普及により、互いに隔たった地点にある会議室相互間を通信回線で結び、画像情報および音声を互いに伝送することによって、複数の参加者が同一の情報を共有して、モニタで互いに相手を見ながら会議することができる会議支援システムとしてのテレビ会議システムが知られている。
【０００３】
また、特別な会議室を必要としない会議支援システムとして、音声入出力装置または利用者端末（携帯電話機）、会議支援を行う会議サーバ装置、音声管理装置および通話，情報通信のためのネットワーク装置を備え、会議に出席した利用者の端末（携帯電話機）に会議進行中における音声や電子文書（電子メール）を、ネットワーク装置を介して送信し、会議に出席した利用者の端末とネットワーク装置の接続結果により、自動的に電子会議出席予定者の出席／退席／欠席の管理を行うことができる電子会議システムが提案されている（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開平８−７９３９１号公報
【０００５】
【発明が解決しようとする課題】
ところで、上記自動的に電子会議出席予定者の出席／退席／欠席の管理を行う電子会議システムでは、出席者のうちの誰かが途中で抜け出した場合については開示されていない。この電子会議システムでは、出席者のうちの誰かが途中で中座して再び戻ってきたとき、その間の議事内容については他の出席者に確認する必要があり、議事進行を妨げるという問題がある。また。従来のモニタで互いに相手を見ながら会議するテレビ会議システムも、出席者のうちの誰かが途中で抜け出した場合、同様の問題を有する。
【０００６】
さらに、上記電子会議システムでは、会議の議長を含めた出席者が全て端末装置を用いて会議を行う会議支援システムであり、会議の議長を含めた各出席者は、端末装置として携帯電話機を用いて、会議進行中における音声を聴取したり、議事内容を必要に応じて部分的に順次把握したりすることができても、各出席者の顔を見ることもできず、かつリアルタイムで携帯電話機の表示部に表示される議事内容の情報量が限られるので、会議の雰囲気が伝わりにくいという問題がある。
【０００７】
そこで、この発明の目的は、会議の出席者が途中で中座しても、戻ってきたときに中座中の議事内容を知ることができる会議支援装置および会議支援システムおよび会議支援プログラムを提供することにある。
【０００８】
また、この発明のもう１つの目的は、通信回線を介して接続された他の装置の利用者が遠隔地から会議に参加しても、会議の雰囲気を十分に理解しながら討議できる会議支援装置および会議支援システムおよび会議支援プログラムを提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、この発明の会議支援装置は、会議の全出席者の映像を撮像する撮像部と、上記撮像部からの映像を含む入力画像データの変化を画像データのパターンマッチングにより検知し、検知した入力画像データの変化から会議の途中で中座した出席者または元の場所に戻ってきた出席者を認識して、その出席者が中座した時刻および時間間隔を測定する中座者認識部と、上記中座者認識部により測定された上記中座した時刻および時間間隔に基づいて、戻ってきた出席者に中座中の議事内容を通知する議事内容通知部とを備えたことを特徴としている。
【００１０】
この構成によれば、会議の途中で中座した出席者または元の場所に戻ってきた出席者を上記撮像部からの映像を含む入力画像データの変化から上記中座者認識部により認識し、中座した時刻および時間間隔を測定することができ、中座者が戻ったときに、その間の時間間隔や他の中座者を容易に特定できる。そうして、測定された中座した時刻および時間間隔に基づいて、戻ってきた者が議事内容通知部により中座中の議事内容を知ることが可能となる。
【００１１】
また、一実施形態の会議支援装置は、通信回線を介して接続された他の装置の利用者と会議を行うために上記他の装置と相互に通信を行う通信部を備える。
【００１２】
上記実施形態の会議支援装置によれば、上記通信部により通信回線を介して接続された他の装置（例えば、他の会議支援装置や端末装置）と相互に通信を行うことによって、離れた場所から複数の者が会議に参加できる。
【００１３】
また、一実施形態の会議支援装置は、周囲３６０°の視野領域の少なくとも一部の広視野領域の光学像であって、上記撮像部により広視野画像データとして撮像される光学像を投影する光学系と、発言者の音声を音声信号に変換して入力する音声入力部と、上記音声入力部により入力された発言中の発言者を認識し、その発言者コードを特定する発言者認識部と、上記撮像部により撮像された広視野画像データから会議の全出席者の映像を含むパノラマ画像データまたは上記発言者認識部により認識された発言者の映像を含む透視画像データのうちの少なくとも一方を生成する画像データ生成部とを備え、上記通信部は、上記音声入力部により入力された上記発言中の発言者の音声信号と一緒に、上記画像データ生成部により生成された上記パノラマ画像データまたは上記透視画像データの少なくとも一方を通信回線を介して上記他の装置に送信する。
【００１４】
上記実施形態の会議支援装置によれば、例えば１台の周囲３６０°の視野領域の少なくとも一部を撮像するカメラを会議室の所定の箇所に設置することにより、外部の他の装置から会議に出席した利用者に対して、発言者の音声だけでなく、会議の出席者や発言者の画像データを会議支援装置から端末装置に送信することができる。よって、他の装置の利用者が、遠隔地から会議に参加しても、会議の雰囲気を十分に理解しながら討議することができる。
【００１５】
また、一実施形態の会議支援装置は、上記議事内容通知部は、上記音声入力部により入力された音声信号を上記発言者認識部により特定された発言者コードと対応させて記憶する音声信号記憶部と、上記音声信号記憶部に記憶された音声信号を音声に変換して出力する音声出力部を有し、元の場所に戻ってきた出席者の要求に応じて、上記音声信号記憶部に記憶された音声信号から中座中の音声信号を検索し、上記音声出力部により音声に変換して出力する。
【００１６】
上記実施形態の会議支援装置によれば、元の場所に戻ってきた出席者の要求に応じて、上記議事内容通知部は、音声信号記憶部に記憶された音声信号から中座中の音声信号を検索し、音声出力部により音声に変換して出力する簡単な構成によって、中座中の議事内容を知らせることができる。
【００１７】
また、一実施形態の会議支援装置は、上記発言者認識部により認識された発言者の上記パノラマ画像データまたは上記透視画像データの少なくとも一方における位置座標を特定する位置座標特定部を備える。
【００１８】
上記実施形態の会議支援装置によれば、上記発言者認識部により認識された発言者の位置座標を上記位置座標特定部によって特定することにより、上記画像データ生成部は、発言者の映像を含む透視画像データを生成することができる。
【００１９】
また、一実施形態の会議支援装置は、上記発言者認識部が、上記音声入力部に入力された音声信号と上記音声入力部に予め夫々付加されたＩＤコードに基づいて、上記発言者を認識すると共に、上記他の装置から送信された音声信号と上記他の装置に予め付加された電話番号，登録番号およびＵＲＬのうちの少なくとも１つに基づいて、上記他の装置側の発言者を認識する。
【００２０】
ここで、ＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）とは、インターネット上のＷｅｂ（ウェブ）ページのアドレスを示すものである。
【００２１】
上記実施形態の会議支援装置によれば、上記音声入力部に音声を入力した発言者だけでなく、他の装置の音声入力部に音声信号を入力した発言者も識別できる。
【００２２】
例えば、ＩＤコードと氏名や所属を示す発言者コードを対応させるだけで、発言内容に発言者の氏名や所属を付加した議事録を作成することができるので、誰が何を発言したか理解することができる。
【００２３】
また、一実施形態の会議支援装置は、上記光学系は、凸型回転体ミラーを有する。
【００２４】
上記実施形態の会議支援装置によれば、３６０°の視野領域を有する水平方向ならびに上下方向の全方位にわたる光学像を凸型回転体ミラーに投影することができる。
【００２５】
また、一実施形態の会議支援装置は、上記撮像部により撮像された広視野画像データから上記パノラマ画像データまたは上記透視画像データのうちの少なくとも一方を上記画像データ生成部により変換するための変換情報が記憶された変換情報記憶部を備える。
【００２６】
上記実施形態の会議支援装置によれば、上記変換情報記憶部に記憶された変換情報に基づいて、上記撮像部により撮像された全方位画像データから会議の全出席者の映像を含むパノラマ画像データまたは発言者の映像を含む透視画像データのうちの少なくとも一方を上記画像データ生成部により容易に生成することができる。
【００２７】
また、この発明の会議支援システムは、上記通信部を備えた会議支援装置を通信回線を介して複数接続したことを特徴としている。
【００２８】
上記構成の会議支援システムによれば、複数の会議支援装置を通信回線を介して相互に通信することにより、離れた場所から複数の者が参加する会議において、中座した時刻および時間間隔を測定することができ、戻ったときに、その間の時間間隔や他の中座者を容易に特定できる。それによって、各会議支援装置の議事内容通知部は、測定された中座した時刻および時間間隔に基づいて、戻ってきた者が中座中の議事内容を知ることが可能となる。
【００２９】
また、一実施形態の会議支援システムは、上記会議支援装置と、上記会議支援装置に通信回線を介して接続された端末装置とを備える。
【００３０】
上記実施形態の会議支援システムによれば、会議支援装置と端末装置とを通信回線を介して相互に通信することにより、離れた場所から複数の者が参加する会議において、中座した時刻および時間間隔を測定することができ、戻ったときに、その間の時間間隔や他の中座者を容易に特定できる。それによって、上記会議支援装置の議事内容通知部は、測定された中座した時刻および時間間隔に基づいて、戻ってきた者に中座中の議事内容を知らせることが可能となる。なお、上記会議支援装置の議事内容通知部は、上記端末装置の利用者が中座して戻ってきたときに、その利用者に中座中の議事内容を通信回線を介して知らせるようにしてもよい。
【００３１】
また、この発明の別の観点によれば、会議の全出席者の映像を撮像する機能と、上記撮像された全出席者の映像を含む入力画像データの変化を画像データのパターンマッチングにより検知し、検知した入力画像データの変化から会議の途中で中座した出席者または元の場所に戻ってきた出席者を認識し、その出席者が中座した時刻および時間間隔の測定する機能と、上記中座した時刻および時間間隔に基づいて、戻ってきた出席者に中座中の議事内容を通知する機能とをコンピュータに実行させる会議支援プログラムが提供される。
【００３２】
上記会議支援プログラムをコンピュータに実行させることによって、会議の途中で中座した出席者または元の場所に戻ってきた出席者を上記撮像部からの映像を含む入力画像データの変化から上記中座者認識部により認識し、中座した時刻および時間間隔を測定することができ、中座者が戻ったときに、その間の時間間隔や他の中座者を容易に特定でき、測定された上記中座した時刻および時間間隔に基づいて、戻ってきた中座者が中座中の議事内容を知ることが可能となる。
【００３３】
また、一実施形態の会議支援プログラムにおいて、周囲３６０°の視野領域の少なくとも一部の広視野領域の光学系により得られた光学像を上記撮像部により広視野画像データとして撮像する機能と、発言者の音声を音声入力部により音声信号に変換して入力する機能と、上記入力された発言中の発言者の発言者コードを特定する機能と、上記撮像された広視野画像データから会議の全出席者の映像を含むパノラマ画像データまたは認識された発言者の映像を含む透視画像データのうちの少なくとも一方を生成する機能と、上記入力された上記発言中の発言者の音声信号と一緒に、上記パノラマ画像データまたは上記透視画像データの少なくとも一方を通信回線を介して他の装置に送信する機能とをコンピュータに実行させることを特徴とする会議支援プログラムが提供される。
【００３４】
上記実施形態の会議支援プログラムをコンピュータに実行させることによって、外部の他の装置から会議に出席した利用者に対して、発言者の音声だけでなく、会議の出席者や発言者の画像データを会議支援装置から他の装置に送信することができる。よって、端末装置の利用者が、遠隔地から会議に参加しても、会議の雰囲気を十分に理解しながら討議することができる。
【００３５】
また、この発明の端末装置は、上記会議支援装置と通信回線を介して相互に通信を行う端末装置であって、上記会議支援装置からの議事内容に関る情報を受信する通信部と、上記通信部により受信された上記議事内容に関る情報を記憶する受信情報記憶部と、利用者が中座して戻ってきたときに、上記受信情報記憶部に記憶された上記議事内容に関る情報に基づいて、戻ってきた利用者に中座中の議事内容を通知する議事内容通知部とを備えたことを特徴としている。
【００３６】
上記構成の端末装置によれば、利用者が遠隔地から会議に参加しても、会議の雰囲気を十分に理解しながら討議することができ、利用者が中座して戻ってきたときに中座中の議事内容を、上記受信情報記憶部に記憶された上記議事内容に関る情報に基づいて議事内容通知部により知ることができる。
【００３７】
【発明の実施の形態】
以下、この発明の会議支援装置および会議支援システムおよび会議支援プログラムを図示の実施の形態により詳細に説明する。なお、この発明の会議支援装置および会議支援システムおよび会議支援プログラムは、この実施の形態によって限定されるものではない。
【００３８】
図１はこの発明の一実施形態である会議支援システムの会議支援装置の基本構成を示すブロック図である。図１に示すように、この発明の会議支援システムは、互いにデータ通信が可能な会議支援装置１と端末装置２とから構成される。
【００３９】
上記会議支援装置１は、会議支援装置制御部１０１と、プログラムメモリ１０２と、バッファメモリ１０３と、光学系１０４と、撮像部１０５と、変換情報記憶部１０６と、画像データ生成部１０７と、音声入力部１０８と、発言者認識部１０９と、位置座標特定部１１０と、音声信号記憶部１１１と、音声出力部１１２と、中座者認識部１１３と、音声信号変換部１１４と、表示部１１５と、通信部１１６と、受信情報記憶部１１７と、操作部１１８と、記憶媒体１１９と、記憶媒体読取部１２０と、バス１２１とを備えている。
【００４０】
この会議支援装置１は、操作部１１８の接続指示により、通信回線３を介して通信部１１６に外部の端末装置２を接続することができる。
【００４１】
以下、上記会議支援装置１の基本構成について詳細に説明する。
【００４２】
会議支援装置制御部１０１は、例えば、コンピュータのＣＰＵ（中央処理装置）やＭＰＵ（マイクロプロセシング装置）で構成され、プログラムメモリ１０２または記憶媒体１１９に記憶されている制御プログラム（会議支援プログラム）を実行することにより、バス１２１を介して会議支援装置１全体を制御する。
【００４３】
また、プログラムメモリ１０２は、例えば、ＲＯＭ（リード・オンリー・メモリー）、ＥＥＰＲＯＭ（電気的消去書込み可能な読出し専用メモリ）、フラッシュメモリなどの記憶媒体で構成され、会議支援装置制御部１０１が会議支援装置１を制御するための制御プログラムを記憶している。
【００４４】
また、バッファメモリ１０３は、例えば、ＲＡＭ（ランダム・アクセス・メモリー）、フラッシュメモリなどの記憶媒体で構成され、会議支援装置制御部１０１が会議支援装置１全体を制御するときの各部の入出力データを一時記憶すると共に、生成した画像データを記憶する。
【００４５】
また、光学系１０４は、例えば、凸型回転体ミラーの一例としての放物面状または双曲面状の反射ミラーや、ＣＣＤ（チャージ・カップルド・デバイス）カメラを保持する筒状透光体などで構成され、３６０°の視野領域を有する光学像（放物面状または双曲面状の反射ミラーの反射光をレンズで集光して得られる光学像）を投影する。
【００４６】
また、撮像部１０５は、例えば、撮像レンズ、ＣＣＤ、Ａ／Ｄ（アナログ／デジタル）変換回路および画像処理回路からなるＣＣＤカメラで構成され、光学系１０４に投影された光学像を全方位画像データとして撮像する。なお、光学系１０４に投影された光学像を全方位画像データとして撮像せず、周囲３６０°の視野領域の少なくとも一部の広視野画像データとして撮像してもよい。
【００４７】
なお、光学系１０４と撮像部１０５は、撮像カメラとして一体構成してもよい。この撮像カメラを例えば三脚で所定の高さに固定して、会議室に１台設置する。
【００４８】
また、変換情報記憶部１０６は、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリなどの記憶媒体で構成され、光学系１０４により投影される光学像と撮像部１０５により撮像された全方位画像データとの関係式および定数を含む変換情報を記憶している。
【００４９】
また、画像データ生成部１０７は、例えば、画像データ生成プログラムから構成され、撮像された全方位画像データから会議の全出席者の映像を含むパノラマ画像データおよび認識された発言者の映像を含む透視画像データを変換情報記憶部１０６に記憶された変換情報に基づいて生成する。
【００５０】
また、音声入力部１０８は、例えば、予めＩＤコード（識別番号）が付加された複数のマイクロフォン、Ａ／Ｄ変換回路などで構成され、会議に出席した各発言者の音声を音声信号に変換して入力する。例えば、マイクロフォンの前に座る会議の出席者の氏名や所属を示す発言者コードとこのＩＤコード（識別番号、登録番号）を対応させている。
【００５１】
また、発言者認識部１０９は、例えば、発言者認識プログラム、発言者コード記憶テーブルなどで構成され、会議支援装置１の音声入力部１０８に入力された音声信号と音声入力部１０８に予め付加されたＩＤコードに基づいて、会議支援装置側の発言者を認識する。このとき、発言者認識部１０９は、音声入力部１０８のあるマイクロフォンに入力された音声信号の強さにより、他の音声入力部１０８のマイクロフォンに入力された音声信号か否かを判定している。また、発言者認識部１０９は、送信された電話番号，登録番号およびＵＲＬなどにより端末装置側の発言者（利用者）を認識している。
【００５２】
上記発言者認識プログラムは、発言者コード記憶テーブルに記憶されたＩＤコードや端末装置２に付加された電話番号，登録番号およびＵＲＬに基づいて、発言者を認識するプログラムである。上記発言者コード記憶テーブルは、音声入力部１０８のマイクロフォンに付加されたＩＤコードや、端末装置２に付加された電話番号，登録番号およびＵＲＬを記憶している。
【００５３】
また、位置座標特定部１１０は、例えば、位置座標特定プログラムで構成され、発言者認識部１０９により認識された発言者の入力画像の位置座標を特定する。すなわち、先述の通り、会議支援装置１の音声入力部１０８には、予めＩＤコードが付与された複数のマイクロフォンがあり、マイクロフォンには、例えばオン／オフスイッチとオン時に点灯表示する表示灯（図示せず）が備えられている。そして、発言者が、マイクロフォンをオンすると表示灯が点灯する。位置座標特定部１１０は、この表示灯を識別することにより、マイクロフォンの位置を特定することができる。さらに、マイクロフォンの位置から発言者の位置を特定する。これにより、画像データ生成部１０７は、特定された位置座標に基づいて発言者の映像を含む透視画像データを生成することができる。
【００５４】
また、位置座標特定部１１０は、マイクロフォンに識別マークを付けておき、音声が入力されたマイクロフォンの位置を、この識別マークにより特定し、さらに、マイクロフォンの位置から発言者の位置を特定しても良い。またさらに、マイクロフォンが会議用テーブル等に固定されている場合は、その位置座標を予め記憶させておいても良い。この場合は、音声が入力されたマイクロフォンの位置を、予め記憶されている位置座標と対応させて位置を特定することができる。またさらには、直接入力画像上で、例えば人の目を検出し、発言者の位置を特定しても良い。
【００５５】
また、音声信号記憶部１１１は、例えば、ＲＡＭ、フラッシュメモリ、ハードディスク、光磁気ディスクなどの記憶媒体で構成され、発言者コードと対応して発言者の音声信号を記憶する。
【００５６】
また、音声出力部１１２は、例えば、複数のイヤフォン、ヘッドフォン、Ｄ／Ａ（デジタル／アナログ）変換回路などで構成され、音声信号記憶部１１１に記憶された音声信号を音声に変換して出力する。また、音声出力部１１２は、音声入力部１０８と対にして構成してもよい。
【００５７】
また、中座者認識部１１３は、例えば、中座者認識プログラム、タイマーなどから構成され、会議の全出席者の映像を含む画像データの変化を画像データのパターンマッチングで検知し、検知した画像データの変化から会議の途中で中座した出席者または元の場所に戻ってきた出席者を認識し、その出席者が中座した時刻および時間間隔を測定するように構成されている。また、中座者認識部１１３は、所定時間以上中座した出席者が元の場所に戻ってきたとき、音声信号記憶部１１１から中座中の音声信号を検索し音声に変換して音声出力部１１２に出力させる構成にしてもよい。上記音声信号記憶部１１１と音声出力部１１２で議事内容通知部を構成している。なお、この議事内容通知部は、中座中の議事内容を表示部１１５に表示させることにより構成してもよい。
【００５８】
また、音声信号変換部１１４は、例えば、音声信号変換プログラム、音声変換辞書などで構成され、音声信号記憶部１１１に記憶された音声信号を文字データに変換する。
【００５９】
また、表示部１１５は、例えば、無線または有線で接続される大型サイズのＬＣＤ（液晶ディスプレイ）、ＰＤ（プラズマ・ディスプレイ）、またはＥＬＤ（エレクトロ・ルミネンス・ディスプレイ）などで構成され、議事録を画面に表示する。
【００６０】
また、通信部１１６は、例えば、モデム、信号変復調回路などで構成され、通信回線３を介して、所定の端末装置２と接続し、発言者の音声信号と一緒に、会議の全出席者の映像を含むパノラマ画像データと、認識された発言者の映像を含む透視画像データおよび議事録などを端末装置２に送信する機能と、端末装置２から送信された音声信号、画像データ、Ｅメール（文書データ）などを受信する機能を備えている。
【００６１】
また、受信情報記憶部１１７は、例えば、ＲＡＭ、フラッシュメモリなどの記憶媒体で構成され、端末装置２から受信した発言者の音声信号、画像データおよび文書データを記憶する。
【００６２】
また、操作部１１８は、例えば、無線または有線でバス１２１と接続されるキーボード、タッチパネルなどで構成され、会議支援装置制御部１０１の制御により、端末装置２と通信部１１６との接続指示、会議の開始／終了指示、音声信号、画像データ、議事録の送信指示などを入力する。
【００６３】
また、記憶媒体１１９は、例えば、ハードディスク、光磁気ディスクなどの記憶媒体で構成され、制御プログラムを記憶する補助記憶媒体として使用する。
【００６４】
また、記憶媒体読取部１２０は、ＦＤ、ＨＤ、ＣＤ−Ｒ／Ｗを駆動する駆動部とデータの書き込み／読み出しを行うＲ／Ｗ部とを備えている。
【００６５】
また、光学系１０４を用いて最大周囲３６０°の視野領域を有する光学像を投影し、撮像部１０５を用いて光学像を全方位画像データとして撮像する機能と、音声入力部１０８を用いて発言者の音声を音声信号に変換して入力する機能と、発言者認識部１０９を用いて発言中の発言者を認識しその発言者コードを特定する機能と、音声信号記憶部１１１を用いて、入力された音声信号を発言者コードと対応して記憶する機能と、画像データ生成部１０７を用いて、撮像された全方位画像データから会議の全出席者の映像を含むパノラマ画像データまたは認識された発言者の映像を含む透視画像データを生成する機能と、通信部１１６を用いて、通信回線を介して、発言者の音声信号と一緒に上記パノラマ画像データまたは上記透視画像データを所定の端末装置に送信する機能とを会議支援装置１のコンピュータに実行させる会議支援プログラムを記憶媒体１１９に記憶してもよい。
【００６６】
よって、記憶媒体読取部１２０により、記憶媒体１１９に記憶された会議支援プログラムを読み出し、会議支援装置制御部１０１に送出することにより、この発明の会議支援装置を実現することができる。
【００６７】
図２はこの発明の一実施形態の会議支援装置に接続された端末装置の基本構成を示すブロック図である。図２に示すように、この端末装置２は、端末装置制御部２０１と、プログラムメモリ２０２と、バッファメモリ２０３と、通信部２０４と、受信情報記憶部２０５と、表示部２０６と、音声入力部２０７と、音声出力部２０８と、カメラ部２０９と、入力部２１０と、バス２１１とを備えている。この端末装置２は、通信回線３を介して会議支援装置１と接続して外部から会議に参加することができる。
【００６８】
以下、上記端末装置２の基本構成について詳細に説明する。
【００６９】
端末装置制御部２０１は、例えば、コンピュータのＣＰＵやＭＰＵで構成され、プログラムメモリ２０２に記憶されている制御プログラムを実行することにより、バス２１１を介して端末装置全体を制御する。
【００７０】
また、プログラムメモリ２０２は、例えば、ＲＯＭ、ＥＥＰＲＯＭなどの記憶媒体で構成され、端末装置制御部２０１が端末装置２を制御するための制御プログラムを記憶している。
【００７１】
また、バッファメモリ２０３は、例えば、ＲＡＭ、ＥＥＰＲＯＭなどの記憶媒体で構成され、端末装置制御部２０１が端末装置全体を制御するときの各部の入出力データを一時記憶する。
【００７２】
また、通信部２０４は、例えば、モデム、信号変復調回路などで構成され、通信回線３を介して、会議支援装置１と接続し、会議支援装置１から送信された音声信号と一緒に会議の全出席者の映像を含むパノラマ画像データおよび認識された発言者の映像を含む透視画像データ、議事録などを受信する機能と、端末装置２で入力した音声信号、画像データ、ｅメールなどを会議支援装置１に送信する機能を備えている。
【００７３】
また、受信情報記憶部２０５は、例えば、ＲＡＭ、ＥＥＰＲＯＭなどの記憶媒体で構成され、議事内容に関る情報の一例として、会議支援装置１から受信した発言者の音声信号、画像データおよび議事録を記憶する。
【００７４】
また、表示部２０６は、例えば、小型サイズのＬＣＤ（液晶ディスプレイ）、ＰＤ（プラズマ・ディスプレイ）、またはＥＬＤ（エレクトロ・ルミネンス・ディスプレイ）などで構成され、受信した画像データや議事録を表示する。
【００７５】
また、音声入力部２０７は、例えば、小型マイクロフォン、Ａ／Ｄ変換回路などで構成され、端末装置利用者の音声を音声信号に変換して入力する。
【００７６】
また、音声出力部２０８は、例えば、小型スピーカ、Ｄ／Ａ変換回路などで構成され、受信した音声信号を音声に変換して出力する。
【００７７】
また、カメラ部２０９は、例えば、光学系、ＣＣＤ、Ａ／Ｄ変換回路および画像処理回路からなるＣＣＤカメラで構成され、端末装置周辺の画像を撮影する。なお、カメラ部２０９は、例えば、放物面状または双曲面状の反射ミラーや撮像レンズからなる光学系とＣＣＤからなる撮像部で構成してもよい。これにより、３６０°の視野領域を有する水平方向ならびに上下方向の全方位にわたる画像を撮像することができる。
【００７８】
また、入力部２１０は、例えば、テンキー、キースイッチ、タッチパネルなどで構成され、端末装置制御部２０１の制御により、文字の入力、会議支援装置１との接続指示、音声信号、画像データ、議事録の送信要求指示などを入力する。
【００７９】
図３はこの実施形態の会議支援装置１の光学系の構成を示す斜視図である。図３に示す会議支援装置１の光学系１０４は、双曲面ミラー１０４ａで構成される。
【００８０】
図３において、双曲面ミラー１０４ａとは、双曲線をＺ軸を中心として回転して得られる曲面（２葉双曲面）のうちの一方（Ｚ＞０の領域）の曲面の凸状面に鏡面を形成したものである。この２葉双曲面は、
【数１】
2004228737.tif 000003
で表される。ただし、ｃ２＝ａ２＋ｂ２であり、ａおよびｂは双曲面の形状を定義する定数であり、ｃは焦点の位置を定義する定数である。
【００８１】
この双曲面ミラー１０４ａは、２つの焦点▲１▼と▲２▼とを有し、外部から一方の焦点▲１▼に向かう光は双曲面ミラー１０４ａで反射され、全て他方の焦点に向かうという特徴を有する。したがって、双曲面ミラー１０４ａの回転軸と撮像レンズの光軸とを一致させると共に、他方の焦点位置▲２▼に撮像レンズの第１主点を配置することにより、撮像部１０５で撮影された画像が、一方の焦点▲１▼を視点中心として視野方向によって視点位置が変わらない画像となる。
【００８２】
また、上記撮像部１０５は、ビデオカメラ等であり、図３における双曲面ミラー１０４ａを介して得られる光学像を、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用して画像データに変換する。なお、撮像部１０５のレンズは、一般的な球面レンズであっても非球面レンズであってもよく、第一主点が焦点位置▲２▼にあればよい。
【００８３】
上記撮像部１０５は、ＣＣＤやＣＭＯＳなどの固体撮像素子を利用した撮像カメラで構成され、この撮像カメラにより双曲面ミラー１０４ａに投影された光学像を全方位画像データとして撮像する。
【００８４】
図４はこの実施形態による会議の全出席者および発言者の映像を含む画像を示す図である。
【００８５】
また、図４（ａ）に示す画像は、会議室の中央部に設置された撮像カメラ（光学系１０４、撮像部１０５）により撮像された会議の全出席者Ａ、Ｂ、Ｃ、Ｄの映像を含む全方位画像であり、全方位画像データとしてフレーム単位で会議支援装置１のバッファメモリ１０３に順次一時記憶される。
【００８６】
また、図４（ｂ）に示す画像は、画像データ生成部１０７により、バッファメモリ１０３に一時記憶された全方位画像データから変換情報に基づいて生成された会議の全出席者Ａ、Ｂ、Ｃ、Ｄの映像を含むパノラマ画像と発言者認識部１０９により認識された発言者Ａの映像を含む透視画像である。この図４（ｂ）に示す画像が、外部から会議に参加した端末装置２の利用者に送信される。
【００８７】
図５，図６，図７，図８は中座者認識部１１３の動作を説明するための図で、図５は例えば会議の全出席者が揃ったときの映像であり、図６は１人が欠席または中座したときの映像である。また、図７は出席者および座席に対応したマイクのＩＤコードの１例を示す図である。さらに、図８は会議のタイムテーブルの１例を示す図である。
【００８８】
中座者認識部１１３の中座者認識プログラムは、タイマーなどにより逐次所定時間間隔で撮像部１０５で取り込んだ画像データの変化をパターンマッチングにより比較検出しており、例えば図５から図６のように画像データが変化したとき、中座者を図７のＩＤコードから割り出すとともに図８に示すようなタイムテーブルに座席位置と出席者コードを対応させて記録しておき、画像データが図５のように戻ったとき、その間の時間間隔や中座者を容易に特定できる。
【００８９】
図９〜図１１はこの実施形態による会議支援システムの基本動作の手順を示すフローチャートである。なお、図９〜図１１において、会議支援装置１は、所定の端末装置２と、通信回線３を介して、画像データ、音声、議事録、ｅメールなどを通信可能に接続されているものとし、会議支援装置制御部１０１の制御により、会議室内に設置された会議支援装置１が起動し、会議が開始されたとする。
【００９０】
まず、基本動作を開始すると、ステップＳ１で、会議支援装置１において、音声入力部１０８または通信部１１８に入力情報があるか否かを判定する。そうであれば、ステップＳ２に進み、そうでないならば、入力待ち状態になる。
【００９１】
次に、ステップＳ２に進み、音声入力部１０８または通信部１１８に入力情報があれば、会議室内に設置された会議支援装置１の音声入力部１０８（マイクロフォン）からの音声の入力か、端末装置２からの入力かを判定する。音声入力部１０８からの音声の入力ならば、ステップＳ３に進み、端末装置２からの入力ならば、ステップＳ４に進む。
【００９２】
そして、ステップＳ３で音声入力部１０８からの音声の入力であれば、発言者の音声を音声信号に変換する。
【００９３】
また、ステップＳ４で端末装置２からの入力情報が音声信号か、ｅメールの文字データかを判定する。音声信号ならば、図１０に示すステップＳ５に進む一方、ｅメールの文字データならば、図１０に示すステップＳ１３に進む。
【００９４】
次に、図１０に示すステップＳ５で発言者認識部１０９を用いて、使用されたマイクロフォンに付加されたＩＤコードまたは端末装置２のＩＤコードから発言者を認識し、対応する発言者コードを特定する。
【００９５】
次に、ステップＳ６に進み、入力された音声信号を発言者コードと対応して音声信号記憶部１１１に記憶する。
【００９６】
次に、ステップＳ７に進み、光学系１０４において、会議室周囲３６０°の視野領域を有する光学像を投影する。
【００９７】
次に、ステップＳ８に進み、撮像部１０５において、光学系１０４に投影された光学像を全方位画像データとして撮像する。
【００９８】
次に、ステップＳ９に進み、撮像された全方位画像データを会議支援装置１のバッファメモリ１０３にフレーム単位で順次一時記憶する。
【００９９】
次に、ステップＳ１０に進み、画像データ生成部１０７を用いて、バッファメモリ１０３に一時記憶された全方位画像データから会議の全出席者の映像を含むパノラマ画像データおよび発言者認識部１０９により認識された発言者の映像を含む透視画像データを生成する。このとき、位置座標特定部１１０により、発言者の入力画像の位置座標が特定される。生成した画像データを表示部１１７に表示してもよい。
【０１００】
次に、ステップＳ１１に進み、通信部１１８を用いて、通信回線３を介して、発言者の音声信号と一緒に、画像データ生成部１０７により生成画像データ（パノラマ画像データおよび透視画像データ）を所定の端末装置２に送信する。なお、発言者が端末装置２の利用者ならば、音声信号を送信しない。
【０１０１】
次に、ステップＳ１２に進み、音声信号変換部１１４を用いて、音声信号記憶部１１１に記憶された音声信号を文字データに変換する。
【０１０２】
次に、ステップＳ１３に進み、変換された文字データを議事録として議事録記録部の一例としての記憶媒体１１９に記憶する。
【０１０３】
次に、ステップＳ１４に進み、作成した議事録を表示部１１７に表示する。
【０１０４】
次に、図１１に示すステップＳ１５に進み、端末装置２から議事録の送信要求があったか否かを判定する。そうならば、ステップＳ１６に進む一方、そうでないならば、ステップＳ１７に進む。
【０１０５】
そして、ステップＳ１６で端末装置２から議事録の送信要求があれば、画面に表示されている現在の議事録を端末装置２に順次送信する。
【０１０６】
次に、ステップＳ１７で中座者認識部１１３を用いて、会議を中座した出席者がいるか否かを判定する。そうならば、ステップＳ１８に進む一方、そうでないならば、図９のステップＳ１に戻る。
【０１０７】
ここでは、中座者認識部１１３は、バッファメモリ１０３にフレーム単位で相前後して記憶された全方位画像データの中座者の動きにより発生する差を、パターンマッチングにより検知し、検知した画像データの差から中座者であるか否かを認識するように構成されているものとする。
【０１０８】
次に、ステップＳ１８で会議を中座した出席者がいるならば、出席者が中座した時刻および時間間隔を測定する。
【０１０９】
次に、ステップＳ１９に進み、中座した出席者が元の場所に戻ってきたか否かを判定する。そうならば、ステップＳ２０に進み、そうでないならば、ステップＳ１８に戻る。
【０１１０】
そして、ステップＳ２０で元の場所に戻ってきた出席者が、中座中の発言内容の音声出力を要求したか否かを判定する。そうならば、ステップＳ２１に進む一方、そうでないならば、図９のステップＳ１に戻る。
【０１１１】
次に、ステップＳ２１で音声信号記憶部１１１から中座中の発言内容の音声信号を検索して音声出力部１４に出力する。
【０１１２】
次に、ステップＳ２２に進み、会議の終了指示が操作されたか否かを判定する。そうならば、ステップＳ２３に進む一方、そうでないならば、図９のステップＳ１に戻り、入力待ち状態になる。
【０１１３】
次に、ステップＳ２３で会議の終了指示が操作されたならば、端末装置２に会議終了を通知し、会議を終了する。
【０１１４】
以上、会議支援装置１と端末装置２とからなる会議支援システムについて説明したが、例えば、外部の複数の会議室に同じ会議支援装置１を互いに通信可能にそれぞれ設置して、会議支援装置１の各表示部１１７の画面に各会議室の出席者、発言者などを自動表示して、お互いに顔を見ながら会議を進行することができる。
【０１１５】
また、上記実施の形態では、最大周囲３６０°の視野領域を有する光学像を投影する光学系１０４を用いた会議支援装置について説明したが、光学系はこれに限らず、周囲３６０°の視野領域の少なくとも一部を有する光学像を投影する光学系を備えた会議支援装置にこの発明を適用してもよい。
【０１１６】
なお、上記端末装置２において、利用者が中座して戻ってきたときに、受信情報記憶部２０５に記憶された中座中の音声信号を音声出力部２０８により音声に変換して出力し、受信情報記憶部２０５と音声出力部２０８で、戻ってきた利用者に中座中の議事内容を通知する議事内容通知部を構成してもよい。
【０１１７】
ところで、上記実施の形態の会議支援装置の機能は、プログラム記録媒体に記録されたプログラムによって実現される。そこで、このようなプログラムを、コンピュータ読取可能な記録媒体に記録させて、プログラム製品として提供することもできる。
【０１１８】
上記コンピュータ読取可能な記録媒体は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等のプログラムメディアである。あるいは、外部補助記憶装置に装着され読出されるプログラムメディアであってもよい。なお、いずれの場合においても、上記プログラムメディアから情報管理プログラムを読み出すプログラム読出手段は、上記プログラムメディアに直接アクセスして読み出す構成を有してもよいし、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）に設けられたプログラム記憶エリアにロードし、上記プログラム記憶エリアにアクセスして読み出す構成を有してもよい。なお、上記プログラムメディアから上記ＲＡＭのプログラム記憶エリアにロードするためのロードプログラムは、予め装置本体に格納されているものとする。
【０１１９】
ここで、上記プログラムメディアとは、本体側と分離可能に構成され、磁気テープやカセットテープ等のテープ系、フレキシブルディスク、ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＭＯ（ＭａｇｎｅｔＯｐｔｉｃａｌ  ｄｉｓｋ：光磁気）ディスク、ＭＤ（ミニディスク）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ：ディジタル多用途ディスク）等の光ディスクのディスク系、ＩＣ（集積回路）カードや光カード等のカード系、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ：紫外線消去型ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｏｎｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ：電気的消去型ＲＯＭ）、フラッシュＲＯＭ等の半導体メモリ系を含めた固定的にプログラムを坦持する媒体である。
【０１２０】
また、上記実施形態における会議支援システムは、モデム、ＬＡＮカード等を備えてインターネットを含む通信ネットワークと接続可能な構成を有している場合は、上記プログラムメディアは、通信ネットワークからのダウンロード等によって流動的にプログラムを坦持する媒体であっても差し支えない。なお、その場合における上記通信ネットワークからダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。あるいは、別の記録媒体からインストールされるものとする。
【０１２１】
なお、上記記録媒体に記録されるものはプログラムのみに限定されるものではなく、データも記録することができる。
【０１２２】
【発明の効果】
以上より明らかなように、この発明の会議支援装置および会議支援システムおよび会議支援プログラムによれば、会議の全出席者の映像を含む入力画像データの変化を画像データのパターンマッチングにより検知し、検知した入力画像データの変化から会議の途中で中座した出席者または元の場所に戻ってきた出席者を認識し、その出席者が中座した時刻および時間間隔を測定する中座者認識部と、その測定された上記中座した時刻および時間間隔に基づいて、戻ってきた出席者に中座中の議事内容を通知する議事内容通知部とを備えたことにより、出席者のうちの誰かが途中で中座し、戻ってきたとき、その間の議事については他の出席者に確認する必要がなくなり、議事進行の妨げとならず、効率的に支障なく円滑に進めることができる。
【０１２３】
さらに、この発明によれば、通信回線を介して互いにデータ通信が可能な会議支援装置と端末装置とからなる電子会議システムにおいて、例えば１台の３６０°の視野領域を撮像するカメラを会議室の所定の箇所に設置することにより、外部から会議に出席した端末装置の利用者に対して、発言者の音声だけでなく、会議の出席者や発言者の画像データを会議支援装置から端末装置に送信することができる。よって、端末装置の利用者が、遠隔地から会議に参加しても、会議の雰囲気を十分に理解しながら討議できる会議支援システムを提供することができる。
【図面の簡単な説明】
【図１】図１はこの発明の実施の一形態の会議支援システムに用いられる会議支援装置の基本構成を示すブロック図である。
【図２】図２は上記会議支援システムに用いられる端末装置の基本構成を示すブロック図である。
【図３】図３は上記会議支援システムの光学系の構成を示す斜視図である。
【図４】図４は上記会議支援システムによる会議の全出席者および発言者の映像を含む画像を示す図である。
【図５】図５は上記会議支援システムにおいて会議の全出席者が揃ったときの画像を示す図である。
【図６】図６は上記会議支援システムにおいて１人が欠席または中座したときの画像を示す図である。
【図７】図７は上記会議支援システムにおける出席者および座席に対応したマイクのＩＤコードの例を示す図である。
【図８】図８は上記会議支援システムにおける会議のタイムテーブルの例を示す図である。
【図９】図９は上記会議支援システムの基本動作の手順を示すフローチャートである。
【図１０】図１０は図９に続くフローチャートである。
【図１１】図１１は図１０に続くフローチャートである。
【符号の説明】
１…会議支援装置、
１０１…会議支援装置制御部、
１０２…プログラムメモリ、
１０３…バッファメモリ、
１０４…光学系、
１０５…撮像部、
１０６…変換情報記憶部、
１０７…画像データ生成部、
１０８…音声入力部、
１０９…発言者認識部、
１１０…位置座標特定部、
１１１…音声信号記憶部、
１１２…音声出力部、
１１３…中座者認識部、
１１４…音声信号変換部、
１１５…表示部、
１１６…通信部、
１１７…受信情報記憶部、
１１８…操作部、
１１９…記憶媒体、
１２０…記憶媒体読取部、
１２１…バス、
２…端末装置、
２０１…端末装置制御部、
２０２…プログラムメモリ、
２０３…バッファメモリ、
２０４…通信部、
２０５…受信情報記憶部、
２０６…表示部、
２０７…音声入力部、
２０８…音声出力部、
２０９…カメラ部、
２１０…入力部、
２１１…バス。
【図１】
2004228737.tif 000004
【図２】
2004228737.tif 000005
【図３】
2004228737.tif 000006
【図４】
2004228737.tif 000007
【図５】
2004228737.tif 000008
【図６】
2004228737.tif 000009
【図７】
2004228737.tif 000010
【図８】
2004228737.tif 000011
【図９】
2004228737.tif 000012
【図１０】
2004228737.tif 000013
【図１１】
2004228737.tif 000014