(57)【要約】【課題】構成が簡単で、他拠点の意見に影響されない信頼性のある多数決を行うことができる会議装置、会議支援方法、会議支援プログラムを提供する。【解決手段】テレビ会議システム１では、議長端末として機能する端末装置３が、ある議題について多数決を行う際に、端末装置４〜６に多数決の動作情報を送信する。動作情報は多数決で意志表示をする際に行う動作の種類が意見毎に規定されている。意見に対する動作の種類は端末毎に異なる。よって、ディスプレイ２８に他拠点の使用者の様子が映っていても、自拠点と異なる動作をするため、自拠点における判断に影響を与えない。【選択図】図１
2010239327.tif 000002
【特許請求の範囲】
【請求項１】
通信回線を介して複数の端末に接続可能な会議装置であって、
前記複数の端末の撮影手段から出力された使用者の撮影画像を合成して、各端末の前記撮影画像を組み合わせたマルチ画像を表示画面に表示する表示手段と、
複数の前記端末の使用者間で開催される会議において、前記会議装置が前記会議の議長として機能する場合に、前記端末に多数決を指示する多数決指示手段と、
当該多数決指示手段によって前記端末に多数決を指示した場合に、多数決を行う際の使用者の意見の種類毎に意志表示するための動作を各端末毎に割り当てる割り当て手段と、
前記端末毎に、前記割り当て手段によって割り当てられた動作で意思表示した使用者の意見の集計結果の情報である結果情報を取得する結果情報取得手段と、
当該結果情報取得手段により取得された前記結果情報を記憶する結果情報記憶手段と、
当該結果情報記憶手段に記憶された前記結果情報を出力する結果情報出力手段と
を備えたことを特徴とする会議装置。
【請求項２】
前記割り当て手段は、
前記動作の種類の情報である種類情報を前記端末毎に異ならせた動作情報として記憶する動作情報記憶手段と、
当該動作情報記憶手段に記憶された前記動作情報を複数の前記端末にそれぞれ送信する動作情報送信手段と
を備えたことを特徴とする請求項１に記載の会議装置。
【請求項３】
前記複数の端末のうち前記議長として機能する端末である議長端末から送信された前記動作情報を受信する動作情報受信手段と、
当該動作情報受信手段によって受信された前記動作情報を前記表示画面に表示させる動作表示制御手段と
を備えたことを特徴とする請求項２に記載の会議装置。
【請求項４】
前記撮影手段によって撮影された撮影画像から使用者を認識する使用者認識手段と、
当該使用者認識手段によって認識された使用者が、前記表示画面に表示された前記動作情報に従って動作した際の動作画像を記憶する動作画像記憶手段と、
当該動作画像記憶手段に記憶された前記動作画像に基づき、前記使用者認識手段によって認識された使用者が前記動作情報に従って行った動作の種類を、使用者毎に特定する動作種類特定手段と、
当該動作種類特定手段によって特定された前記動作の種類が示す前記意見の種類を、前記動作情報受信手段によって受信された前記動作情報から特定する意見種類特定手段と、
当該意見種類特定手段によって特定された前記意見の種類毎に、使用者の数を集計する意見集計手段と、
当該意見集計手段によって集計された結果の情報を、前記結果情報として前記端末に送信する結果情報送信手段と
を備えたことを特徴とする請求項２又は３に記載の会議装置。
【請求項５】
前記撮影画像から使用者の画像サイズを解析する画像サイズ解析手段と、
当該画像サイズ解析手段によって解析された前記画像サイズが第１閾値以上であるか否かを判断する第１画像サイズ判断手段と
を備え、
前記意志表示するための動作は、
使用者の身体動作であるジェスチャーと、
使用者に視線を前記表示画面上で予め決められた領域内に向けさせる視線動作と
であって、
前記動作情報は、
使用者の意見の種類毎に、前記ジェスチャーを割り当てると共に、前記ジェスチャーの種類を前記端末毎に異ならせた第１動作情報と、
使用者の意見の種類毎に、前記表示画面上で前記視線を向けさせる領域を割り当てると共に、前記領域の位置を前記端末毎に異ならせた第２動作情報と
を備え、
前記動作種類特定手段は、
使用者の前記ジェスチャーを特定するジェスチャー特定手段と、
使用者の前記表示画面上の前記視線が向けられた領域を特定する視線領域特定手段と
を備え、
前記動作表示制御手段は、
前記画像サイズが第１閾値未満であると判断された場合は、前記第１動作情報を前記表示画面に表示させ、
前記画像サイズが前記第１閾値以上であると判断された場合は、前記第２動作情報を前記表示画面に表示させることを特徴とする請求項２乃至４の何れかに記載の会議装置。
【請求項６】
前記撮影画像から使用者の視線方向を検出する視線方向検出手段と、
使用者と前記表示画面との位置関係の情報である位置関係情報を記憶する位置関係情報記憶手段と、
当該位置関係情報記憶手段に記憶された前記位置関係情報に基づき、前記視線方向検出手段によって検出された視線方向の先にある前記表示画面上における視線位置を特定する視線位置特定手段と
を備え、
前記視線領域特定手段は、
前記視線位置特定手段によって特定される前記視線位置に基づき、前記表示画面に前記意見の種類毎に割り当てられた領域のうち、前記視線が向けられた領域を特定することを特徴とする請求項５に記載の会議装置。
【請求項７】
前記画像サイズ解析手段によって解析された前記画像サイズが、前記第１閾値よりも小さい第２閾値未満であるか否かを判断する第２画像サイズ判断手段を備え、
前記動作表示制御手段は、
前記第１画像サイズ判断手段によって、前記画像サイズが前記第１閾値以上と判断された場合は、前記第２動作情報のみを前記表示画面に表示させ、
前記第２画像サイズ判断手段によって、前記画像サイズが前記第２閾値未満と判断された場合は、前記第１動作情報のみを前記表示画面に表示させ、
前記第１画像サイズ判断手段によって、前記画像サイズが前記第１閾値未満と判断され、かつ前記第２画像サイズ判断手段によって、前記画像サイズが前記第２閾値以上と判断された場合は、前記第１動作情報および前記第２動作情報を前記表示画面に表示させることを特徴とする請求項５又は６に記載の会議装置。
【請求項８】
前記結果情報は、前記動作画像を含むことを特徴とする請求項１乃至７の何れかに記載の会議装置。
【請求項９】
前記結果情報記憶手段には、
前記議題の情報である議題情報と、当該議題情報に関連する前記結果情報とが対応付けられて記憶されることを特徴とする請求項１乃至８の何れかに記載の会議装置。
【請求項１０】
通信回線を介して複数の端末に接続可能な会議装置の会議支援方法あって、
前記複数の端末の撮影手段から出力された使用者の撮影画像を合成して、各端末の前記撮影画像を組み合わせたマルチ画像を表示画面に表示する表示ステップと、
複数の前記端末の使用者間で開催される会議において、前記会議装置が前記会議の議長として機能する場合に、前記端末に多数決を指示する多数決指示ステップと、
当該多数決指示ステップにおいて前記端末に多数決を指示した場合に、多数決を行う際の使用者の意見の種類毎に意志表示するための動作を各端末毎に割り当てる動作割り当てステップと、
前記端末から前記割り当て手段によって割り当てられた動作で意思表示した使用者の意見の集計結果の情報である結果情報を取得する結果情報取得ステップと、
当該結果情報取得ステップにおいて取得された前記結果情報を結果情報記憶手段に記憶させる結果情報記憶ステップと、
当該結果情報記憶ステップにおいて前記結果情報記憶手段に記憶された前記結果情報を出力する結果情報出力ステップと
を備えたことを特徴とする会議装置の会議支援方法。
【請求項１１】
請求項１乃至９の何れかに記載の会議装置の各種処理手段として、コンピュータを機能させることを特徴とする会議装置の会議支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を介して多数決を行うことができる会議装置、会議支援方法、会議支援プログラムに関する。
【背景技術】
【０００２】
従来、複数の端末装置をネットワークを介して接続し、画像と音声を双方向に送受信することで、遠隔の地にある者同士の会議を実現するテレビ会議システムが知られている。テレビ会議では、議長が会議参加者の意見を取り上げ、議題について決議を行うことがある。話し合いがつかない場合、多数決で決議を採ることが多い。ところが、テレビ会議の場合、他拠点の意見が映像又は音声で知ってしまうことがあり、自拠点の判断に影響が出ることがあった。
【０００３】
そこで、例えば、テレビ会議端末側に肯定または否定を表明する操作ボタン装置を設けるとともに、システム制御側にこの操作ボタン装置の出力から票決画面を構成する画面合成装置を設け、操作ボタン装置の押下により票決画面上に肯定意見、否定意見を色別に表示する多地点間テレビ会議システムが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−１４５９１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の多地点間テレビ会議システムでは、各拠点において会議参加者が複数人いる場合、会議参加者に対応する数だけ操作ボタンを用意しなければならず、構成が複雑という問題点があった。また、誰がどの意見を持っているかの閲覧、記録をするためには、操作ボタンと使用者との対応付けをしなければならず、使用者が代わる度に更新しなければならなかった。
【０００６】
本発明は、上記課題を解決するためになされたものであり、構成が簡単で、他拠点の意見に影響されない信頼性のある多数決を行うことができる会議装置、会議支援方法、会議支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に係る発明の会議装置は、通信回線を介して複数の端末に接続可能な会議装置であって、前記複数の端末の撮影手段から出力された使用者の撮影画像を合成して、各端末の前記撮影画像を組み合わせたマルチ画像を表示画面に表示する表示手段と、複数の前記端末の使用者間で開催される会議において、前記会議装置が前記会議の議長として機能する場合に、前記端末に多数決を指示する多数決指示手段と、当該多数決指示手段によって前記端末に多数決を指示した場合に、多数決を行う際の使用者の意見の種類毎に意志表示するための動作を各端末毎に割り当てる割り当て手段と、前記端末毎に、前記割り当て手段によって割り当てられた動作で意思表示した使用者の意見の集計結果の情報である結果情報を取得する結果情報取得手段と、当該結果情報取得手段により取得された前記結果情報を記憶する結果情報記憶手段と、当該結果情報記憶手段に記憶された前記結果情報を出力する結果情報出力手段とを備えている。
【０００８】
また、請求項２に係る発明の会議装置は、請求項１に記載の発明の構成に加え、前記割り当て手段は、前記動作の種類の情報である種類情報を前記端末毎に異ならせた動作情報として記憶する動作情報記憶手段と、当該動作情報記憶手段に記憶された前記動作情報を複数の前記端末にそれぞれ送信する動作情報送信手段とを備えている。
【０００９】
また、請求項３に係る発明の会議装置は、請求項２に記載の発明の構成に加え、前記複数の端末のうち前記議長として機能する端末である議長端末から送信された前記動作情報を受信する動作情報受信手段と、当該動作情報受信手段によって受信された前記動作情報を前記表示画面に表示させる動作表示制御手段とを備えている。
【００１０】
また、請求項４に係る発明の会議装置は、請求項２又は３に記載の発明の構成に加え、前記撮影手段によって撮影された撮影画像から使用者を認識する使用者認識手段と、当該使用者認識手段によって認識された使用者が、前記表示画面に表示された前記動作情報に従って動作した際の動作画像を記憶する動作画像記憶手段と、当該動作画像記憶手段に記憶された前記動作画像に基づき、前記使用者認識手段によって認識された使用者が前記動作情報に従って行った動作の種類を、使用者毎に特定する動作種類特定手段と、当該動作種類特定手段によって特定された前記動作の種類が示す前記意見の種類を、前記動作情報受信手段によって受信された前記動作情報から特定する意見種類特定手段と、当該意見種類特定手段によって特定された前記意見の種類毎に、使用者の数を集計する意見集計手段と、当該意見集計手段によって集計された結果の情報を、前記結果情報として前記端末に送信する結果情報送信手段とを備えている。
【００１１】
また、請求項５に係る発明の会議装置は、請求項２乃至４の何れかに記載の発明の構成に加え、前記撮影画像から使用者の画像サイズを解析する画像サイズ解析手段と、当該画像サイズ解析手段によって解析された前記画像サイズが第１閾値以上であるか否かを判断する第１画像サイズ判断手段とを備え、前記意志表示するための動作は、使用者の身体動作であるジェスチャーと、使用者に視線を前記表示画面上で予め決められた領域内に向けさせる視線動作とであって、前記動作情報は、使用者の意見の種類毎に、前記ジェスチャーを割り当てると共に、前記ジェスチャーの種類を前記端末毎に異ならせた第１動作情報と、使用者の意見の種類毎に、前記表示画面上で前記視線を向けさせる領域を割り当てると共に、前記領域の位置を前記端末毎に異ならせた第２動作情報とを備え、前記動作種類特定手段は、使用者の前記ジェスチャーを特定するジェスチャー特定手段と、使用者の前記表示画面上の前記視線が向けられた領域を特定する視線領域特定手段とを備え、前記動作表示制御手段は、前記画像サイズが第１閾値未満であると判断された場合は、前記第１動作情報を前記表示画面に表示させ、前記画像サイズが前記第１閾値以上であると判断された場合は、前記第２動作情報を前記表示画面に表示させることを特徴とする。
【００１２】
また、請求項６に係る発明の会議装置は、請求項５に記載の発明の構成に加え、前記撮影画像から使用者の視線方向を検出する視線方向検出手段と、使用者と前記表示画面との位置関係の情報である位置関係情報を記憶する位置関係情報記憶手段と、当該位置関係情報記憶手段に記憶された前記位置関係情報に基づき、前記視線方向検出手段によって検出された視線方向の先にある前記表示画面上における視線位置を特定する視線位置特定手段とを備え、前記視線領域特定手段は、前記視線位置特定手段によって特定される前記視線位置に基づき、前記表示画面に前記意見の種類毎に割り当てられた領域のうち、前記視線が向けられた領域を特定することを特徴とする。
【００１３】
また、請求項７に係る発明の会議装置は、請求項５又は６に記載の発明の構成に加え、前記画像サイズ解析手段によって解析された前記画像サイズが、前記第１閾値よりも小さい第２閾値未満であるか否かを判断する第２画像サイズ判断手段を備え、前記動作表示制御手段は、前記第１画像サイズ判断手段によって、前記画像サイズが前記第１閾値以上と判断された場合は、前記第２動作情報のみを前記表示画面に表示させ、前記第２画像サイズ判断手段によって、前記画像サイズが前記第２閾値未満と判断された場合は、前記第１動作情報のみを前記表示画面に表示させ、前記第１画像サイズ判断手段によって、前記画像サイズが前記第１閾値未満と判断され、かつ前記第２画像サイズ判断手段によって、前記画像サイズが前記第２閾値以上と判断された場合は、前記第１動作情報および前記第２動作情報を前記表示画面に表示させることを特徴とする。
【００１４】
また、請求項８に係る発明の会議装置は、請求項１乃至７の何れかに記載の発明の構成に加え、前記結果情報は、前記動作画像を含むことを特徴とする
【００１５】
また、請求項９に係る発明の会議装置は、請求項１乃至８の何れかに記載の発明の構成に加え、前記結果情報記憶手段には、前記議題の情報である議題情報と、当該議題情報に関連する前記結果情報とが対応付けられて記憶されることを特徴とする。
【００１６】
また、請求項１０に係る発明の会議支援方法は、通信回線を介して複数の端末に接続可能な会議装置の会議支援方法あって、前記複数の端末の撮影手段から出力された使用者の撮影画像を合成して、各端末の前記撮影画像を組み合わせたマルチ画像を表示画面に表示する表示ステップと、複数の前記端末の使用者間で開催される会議において、前記会議装置が前記会議の議長として機能する場合に、前記端末に多数決を指示する多数決指示ステップと、当該多数決指示ステップにおいて前記端末に多数決を指示した場合に、多数決を行う際の使用者の意見の種類毎に意志表示するための動作を各端末毎に割り当てる動作割り当てステップと、前記端末から前記割り当て手段によって割り当てられた動作で意思表示した使用者の意見の集計結果の情報である結果情報を取得する結果情報取得ステップと、当該結果情報取得ステップにおいて取得された前記結果情報を結果情報記憶手段に記憶させる結果情報記憶ステップと、当該結果情報記憶ステップにおいて前記結果情報記憶手段に記憶された前記結果情報を出力する結果情報出力ステップとを備えている。
【００１７】
また、請求項１１に係る発明の会議支援プログラムは、請求項１乃至９の何れかに記載の会議装置の各種処理手段として、コンピュータを機能させることを特徴とする。
【発明の効果】
【００１８】
請求項１に係る発明の会議装置では、表示手段は、複数の端末の撮影手段から出力された使用者の撮影画像を合成して、各端末の撮影画像を組み合わせたマルチ画像が表示画面に表示する。多数決指示手段は、複数の前記端末の使用者間で開催される会議において、前記会議装置が前記会議の議長として機能する場合に端末に多数決を指示する。割り当て手段は、多数決指示手段によって端末に多数決を指示した場合に、多数決を行う際の使用者の意見の種類毎に意志表示するための動作を各端末毎に割り当てる。意思表示のための動作を割り当てることができるので、例えば、端末毎に動作の種類を異ならせることによって、表示画面に表示されたマルチ画面に映る他拠点の使用者は、自拠点と異なる動作で意見を示すので、自拠点の意見が左右されない。結果情報取得手段は、端末から割り当て手段によって割り当てられた動作で意思表示した使用者の意見の集計結果の情報である結果情報を取得する。結果情報記憶手段は、結果情報取得手段により取得された結果情報を記憶する。結果情報出力手段は、結果情報記憶手段に記憶された結果情報を出力する。これにより、各拠点の多数決の集計結果を閲覧することができる。
【００１９】
また、請求項２に係る発明の会議装置では、請求項１に記載の発明の効果に加え、割り当て手段は、動作情報記憶手段と、動作情報送信手段とを備えている。動作情報記憶手段は、動作の種類の情報である種類情報を端末毎に異ならせた動作情報として記憶する。動作情報送信手段は、動作情報記憶手段に記憶された動作情報を複数の端末にそれぞれ送信する。これにより、各端末に送信される動作情報に基づいて各拠点で多数決が行われるので、多数決を行う際の使用者の意見の種類毎に意志表示するための動作を各端末毎に割り当てることができる。
【００２０】
また、請求項３に係る発明の会議装置では、請求項２に記載の発明の効果に加え、動作情報受信手段は、複数の端末のうち議長として機能する端末である議長端末から送信された動作情報を受信する。動作表示制御手段は、動作情報受信手段によって受信された動作情報を表示画面に表示させる。これにより、各拠点の使用者に、表示画面に表示された動作情報に基づき、自己の意見に対応する動作を行せることができる。
【００２１】
また、請求項４に係る発明の会議装置では、請求項２又は３に記載の発明の効果に加え、使用者認識手段は、撮影手段によって撮影された撮影画像から使用者を認識する。動作画像記憶手段は、使用者認識手段によって認識された使用者が、表示画面に表示された動作情報に従って動作した際の動作画像を記憶する。動作種類特定手段は、動作画像記憶手段に記憶された動作画像に基づき、使用者認識手段によって認識された使用者が動作情報に従って行った動作の種類を使用者毎に特定する。意見種類特定手段は、動作種類特定手段によって特定された動作の種類が示す意見の種類を、動作情報受信手段によって受信された動作情報から特定する。意見集計手段は、意見種類特定手段によって特定された意見の種類毎に使用者の数を集計する。結果情報送信手段は、意見集計手段によって集計された結果の情報を結果情報として端末に送信する。これにより、動作情報を送信した議長端末に対して、その動作情報に基づいた動作で意見を示した結果情報を送信できる。
【００２２】
また、請求項５に係る発明の会議装置では、請求項２乃至４の何れかに記載の発明の効果に加え、画像サイズ解析手段は、撮影画像から使用者の画像サイズを解析する。第１画像サイズ判断手段は、画像サイズ解析手段によって解析された画像サイズが第１閾値以上であるか否かを判断する。意志表示するための動作は、使用者の身体動作であるジェスチャーと、使用者に視線を前記表示画面上で予め決められた領域内に向けさせる視線動作とである。動作情報は、第１動作情報と、第２動作情報とを備えている。第１動作情報は、使用者の意見の種類毎に、ジェスチャーを割り当てると共に、そのジェスチャーの種類を端末毎に異ならせたものである。第２動作情報は、使用者の意見の種類毎に、表示画面上で視線を向けさせる領域を割り当てると共に、領域の位置を前記端末毎に異ならせたものである。動作種類特定手段は、ジェスチャー特定手段と、視線領域特定手段とを備えている。ジェスチャー特定手段は、使用者のジェスチャーを特定する。視線領域特定手段は、使用者の表示画面上の視線が向けられた領域を特定する。動作表示制御手段は、画像サイズが第１閾値未満であると判断された場合は、表示画面に映し出される使用者の画像サイズが小さいので、使用者の動作を判別し易くするため、ジェスチャーに基づいた第１動作情報を表示画面に表示させる。一方、画像サイズが第１閾値以上であると判断された場合は、表示画面に映し出される使用者のサイズは大きいので、視線に基づいた第２動作情報を表示画面に表示させる。このように、表示画面に映し出される使用者の画像サイズに基づき、第１動作情報又は第２動作情報を使い分けることができるので、使用者の動作を撮影画像から正確かつ容易に検出できる。
【００２３】
また、請求項６に係る発明の会議装置では、請求項５に記載の発明の効果に加え、視線方向検出手段は、撮影画像から使用者の視線方向を検出する。位置関係情報記憶手段は、使用者と表示画面との位置関係の情報である位置関係情報を記憶する。視線位置特定手段は、位置関係情報記憶手段に記憶された位置関係情報に基づき、視線方向検出手段によって検出された視線方向の先にある表示画面上における視線位置を特定する。視線領域特定手段は、視線位置特定手段によって特定される視線位置に基づき、表示画面に意見の種類毎に割り当てられた領域のうち視線が向けられた領域を特定する。これにより、使用者は視線位置で自己の意見を示すことができる。
【００２４】
また、請求項７に係る発明の会議装置では、請求項５又は６に記載の発明の効果に加え、第２画像サイズ判断手段は、画像サイズ解析手段によって解析された画像サイズが、第１閾値よりも小さい第２閾値未満であるか否かを判断する。動作表示制御手段は、第１画像サイズ判断手段によって、画像サイズが第１閾値以上と判断された場合は、第２動作情報のみを表示画面に表示させる。第２画像サイズ判断手段によって、画像サイズが第２閾値未満と判断された場合は、第１動作情報のみを表示画面に表示させる。第１画像サイズ判断手段によって、画像サイズが第１閾値未満と判断され、かつ第２画像サイズ判断手段によって、画像サイズが前記第２閾値以上と判断された場合は、第１動作情報および第２動作情報の両方を表示画面に表示させる。つまり、表示画面に映し出される使用者の画像サイズが、第２閾値以上、第１閾値未満の場合に、第１動作情報および第２動作情報の両方を表示画面に表示させるので、他拠点の使用者の動作から意見を推測することがさらに困難になる。これにより、他拠点の意見に影響されない信頼性のある多数決を行うことができる。
【００２５】
また、請求項８に係る発明の会議装置では、請求項１乃至７の何れかに記載の発明の効果に加え、結果情報に含まれた動作画像から、使用者毎の意見を把握できる。
【００２６】
また、請求項９に係る発明の会議装置では、請求項１乃至８の何れかに記載の発明の効果に加え、結果情報記憶手段は、議題の情報である議題情報と、当該議題情報に関連する結果情報とを対応付けて記憶する。これにより、議題とその結果を有する議事録として記憶できる。
【００２７】
また、請求項１０に係る発明の会議支援方法では、表示ステップにおいて、複数の端末の撮影手段から出力された使用者の撮影画像を合成し、各端末の撮影画像を組み合わせたマルチ画像を表示画面に表示する。多数決指示ステップにおいて、複数の端末の使用者間で開催される会議において、会議装置が会議の議長として機能する場合に、端末に多数決を指示する。動作割り当てステップにおいて、多数決指示ステップにて端末に多数決を指示した場合に、多数決を行う際の使用者の意見の種類毎に意志表示するための動作を各端末毎に割り当てる。意思表示のための動作を割り当てることができるので、例えば、端末毎に動作の種類を異ならせることによって、表示画面に表示されたマルチ画面に映る他拠点の使用者は、自拠点と異なる動作で意見を示すので、自拠点の意見が左右されない。結果情報取得ステップにおいて、端末から動作割り当てステップにて割り当てられた動作で意思表示した使用者の意見の集計結果の情報である結果情報を取得する。結果情報記憶ステップにおいて、結果情報取得ステップにおいて取得された結果情報を結果情報記憶手段に記憶させる。結果情報出力ステップにおいて、結果情報記憶ステップにて結果情報記憶手段に記憶された結果情報を出力する。これにより、各拠点の多数決の集計結果を閲覧することができる。
【００２８】
また、請求項１１に係る発明の会議支援プログラムでは、請求項１乃至９の何れかに記載の会議装置の各種処理手段として、コンピュータを機能させるので、請求項１乃至９の何れかに記載に効果を得ることができる。
【図面の簡単な説明】
【００２９】
【図１】テレビ会議システム１の構成を示すブロック図（ジェスチャー情報、視線領域情報送信）である。
【図２】テレビ会議システム１の構成を示すブロック図（意見数データ、結果画像データ受信）である。
【図３】端末装置４のディスプレイ２８に表示されたマルチ画面を示す図である。
【図４】端末装置３の電気的構成を示すブロック図である。
【図５】ＨＤＤ３１の各種記憶エリアを示す概念図である。
【図６】ジェスチャーテーブル３１２１の概念図である。
【図７】視線領域テーブル３１３１の概念図である。
【図８】視線領域９５，９６の配置を示した図（端末装置４）である。
【図９】視線領域９５，９６の配置を示した図（端末装置５）である。
【図１０】視線領域９５，９６の配置を示した図（端末装置６）である。
【図１１】集計テーブル３１５１の概念図である。
【図１２】ＲＡＭ２２の各種記憶エリアを示す概念図である。
【図１３】ジェスチャー情報２２３１の概念図である。
【図１４】視線領域情報２２４１の概念図である。
【図１５】眼球７２とディスプレイ２８との相互の位置関係を示した図である。
【図１６】議長端末処理のフローチャートである。
【図１７】拠点端末処理のフローチャートである。
【図１８】人物画像領域Ｆの解析方法の説明図である。
【図１９】使用者が、ディスプレイ２８に表示されたジェスチャー指示画像に従ってジェスチャーをしている図である。
【図２０】使用者が、ディスプレイ２８に表示された視線領域９５，９６に視線を向けている図である。
【図２１】使用者が、ディスプレイ２８に表示されたジェスチャー指示画像に従ってジェスチャーしつつ、視線領域９５，９６に視線を向けている図である。
【図２２】結果画像１２０を示す図である。
【図２３】結果画像１２１を示す図である。
【図２４】全端末集計画像１３０を示す図である。
【図２５】全端末結果画像１３１を示す図である。
【図２６】全端末結果画像１３２を示す図である。
【発明を実施するための形態】
【００３０】
以下、本発明の一実施形態である端末装置３について、図面を参照して説明する。はじめに、端末装置３を構成とするテレビ会議システム１の構成について、図１，図２を参照して説明する。テレビ会議システム１は、ネットワーク２を介して相互に接続され、かつ各拠点毎に設けられた複数の端末装置３〜６を備えている。テレビ会議システム１では、端末装置３〜６間において、ネットワーク２を介して、画像、音声が互いに送受信されることで遠隔会議が実施される。
【００３１】
各端末装置３〜６のディスプレイ２８には、各拠点の撮像画像を映し出すマルチ画面が表示される。例えば、図３に示す端末装置４のディスプレイ２８には、端末装置３の撮像画像が表示される分割画面２８１と、端末装置４の撮像画像が表示される分割画面２８２と、端末装置５の撮像画像が表示される分割画面２８３とが各々表示される。使用者は、このようなマルチ画面に映し出された他拠点の使用者の顔を見ながら会話ができる。分割画面の数は、会議に参加している端末装置の数に応じて設定される。なお、図３に示すディスプレイ２８が本発明の「表示手段」に相当する。
【００３２】
本実施形態では、このようなテレビ会議システム１において、議長端末として機能する端末装置３が、ある議題について多数決で決議を採る際に、端末装置４，５，６の各拠点に多数決の動作情報（ジェスチャー情報、視線領域情報）を送信する（図１参照）。その動作情報に従ってなされた多数決の集計情報（意見数データ、結果画像データ等）を各拠点から収集して記録できる（図２参照）。記録した結果は必要に応じてディスプレイ２８に表示させることができる。なお、図１に示す端末装置３〜６が本発明の「会議装置」に相当する。
【００３３】
次に、端末装置３の電気的構成について、図４を参照して説明する。端末装置３〜６は全て同じ構成であるので、端末装置３の構成についてのみ説明し、端末装置４〜６については説明を省略する。
【００３４】
端末装置３には、端末装置３の制御を司るコントローラとしてのＣＰＵ２０が設けられている。ＣＰＵ２０には、ＢＩＯＳ等を記憶したＲＯＭ２１と、各種データを一時的に記憶するＲＡＭ２２と、データの受け渡しの仲介を行うＩ／Ｏインタフェイス３０とが接続されている。Ｉ／Ｏインタフェイス３０には、各種記憶エリアを有するハードディスクドライブ３１（以下、ＨＤＤ３１）が接続されている。
【００３５】
Ｉ／Ｏインタフェイス３０には、ネットワーク２と通信するための通信装置２５と、マウス２７と、ビデオコントローラ２３と、キーコントローラ２４と、使用者を撮影するためのカメラ３４と、使用者の音声を取り込むためのマイク３５と、使用者の眼球に赤外線を照射する赤外線ライト３７と、使用者の眼を撮像するＣＣＤカメラ３８と、ＣＤ−ＲＯＭドライブ２６とが各々接続されている。ビデオコントローラ２３には、ディスプレイ２８が接続されている。キーコントローラ２４には、キーボード２９が接続されている。赤外線ライト３７は、ＣＣＤカメラ３８と同一位置に設けられている。ＣＣＤカメラ３８はディスプレイ２８の上端部に固定されている。ＣＣＤカメラ３８及び赤外線ライト３７は、各拠点の使用者の人数に応じて用意される。
【００３６】
なお、ＣＤ−ＲＯＭドライブ２６に挿入されるＣＤ−ＲＯＭ１１４には、端末装置３のメインプログラムや、本発明の会議支援プログラム等が記憶されている。ＣＤ−ＲＯＭ１１４の導入時には、これら各種プログラムが、ＣＤ−ＲＯＭ１１４からＨＤＤ３１にセットアップされて、後述するプログラム記憶エリア３１９（図５参照）に記憶される。
【００３７】
次に、ＨＤＤ３１の各種記憶エリアについて、図５を参照して説明する。ＨＤＤ３１には、参加端末記憶エリア３１１と、ジェスチャーテーブル記憶エリア３１２と、視線領域テーブル記憶エリア３１３と、集計テーブル記憶エリア３１４と、全端末結果画像記憶エリア３１５と、全端末集計画像記憶エリア３１６と、ジェスチャー指示画像記憶エリア３１７と、人物画像動作パターン記憶エリア３１８と、プログラム記憶エリア３１９と、その他の情報記憶エリア３２０と、等が少なくとも設けられている。
【００３８】
参加端末記憶エリア３１１には、会議に現在参加している端末装置の識別ＩＤが記憶される。端末装置３で会議に参加する場合、参加を通知するログイン信号が他の各端末装置に各々送信される。ログイン信号を受信した端末装置３では、ＨＤＤ３１の参加端末記憶エリア３１１に、ログイン信号を送信した端末装置の識別ＩＤが記憶される。これにより現在会議に参加している端末装置を管理できる。識別ＩＤとして、例えばマックアドレス等が利用可能である。また、マックアドレスに対応する識別ＩＤを予め記憶しておいてもよい。
【００３９】
ジェスチャーテーブル記憶エリア３１２には、ジェスチャーテーブル３１２１（図６参照）が記憶されている。視線領域テーブル記憶エリア３１３には、視線領域テーブル３１３１（図７参照）が記憶されている。集計テーブル記憶エリア３１４には、集計テーブル３１５１（図１１参照）が記憶されている。全端末結果画像記憶エリア３１５には、各拠点の結果画像に議題を合成した全端末結果画像１３１（図２５参照）が記憶される。全端末集計画像記憶エリア３１６には、集計テーブル３１５１に登録された各拠点の集計数をまとめた表に議題を付けた全端末集計画像１３０（図２４参照）が記憶される。ジェスチャー指示画像記憶エリア３１７には、議長端末から送信されたジェスチャー情報に基づき、ディスプレイ２８に表示させるジェスチャー指示画像（図示外）が記憶されている。
【００４０】
人物画像動作パターン記憶エリア３１８には、カメラ３４のカメラ画像によって撮像される画像において、ジェスチャーを行ったときの人物画像の領域Ｆ（図１８参照）がジェスチャーのパターン毎に記憶されている。例えば、右手を挙げたときの人物画像領域Ｆ、左手を挙げたときの人物画像領域Ｆ、座ったときの人物画像領域Ｆ、立ったときの人物画像領域Ｆ等が予め記憶されている。各ジェスチャーパターン毎の人物画像領域Ｆは、人物画像解析において取得された人物画像領域Ｆとの比較による形状のパターンマッチングを行う。これにより、その人物がどのようなジェスチャーを行ったかを判別できる。なお、人物動作の動作を検出する方法は、この方法に限定することなく、種々の方法が可能である。
【００４１】
プログラム記憶エリア３１９には、端末装置３のメインプログラムや、他の端末装置４〜６との間で遠隔会議を実行するための通信制御プログラム、多数決を行う際に実行される本発明の会議支援プログラム等が記憶されている。その他の情報記憶エリア３２０には、端末装置３で使用されるその他の情報が記憶されている。なお、端末装置３がＨＤＤ３１を備えていない専用機の場合は、ＲＯＭ２１に各種プログラムが記憶される。
【００４２】
次に、ジェスチャーテーブル３１２１について、図６を参照して説明する。ジェスチャーテーブル３１２１は、多数決を行う際に使用者に意志表示させるためのジェスチャーを示すジェスチャー情報を各拠点毎に記憶する。ジェスチャーテーブル３１２１には、端末ＩＤ欄６１と、ジェスチャー欄６２とが互いに対応づけられて設けられている。端末ＩＤ欄６１には、自拠点以外の端末装置４〜６の端末ＩＤが各々記憶されている。ジェスチャー欄６２は、ＹＥＳ欄６３と、ＮＯ欄６４とに分けられている。
【００４３】
ＹＥＳ欄６３には、使用者が「ＹＥＳ」の意志表示をする際のジェスチャーの種類が記憶されている。ＮＯ欄６４には、使用者が「ＮＯ」の意志表示をする際のジェスチャーの種類が記憶されている。ジェスチャーの種類は、各端末装置毎に異ならせて記憶されている。
【００４４】
例えば、１行目の端末装置４（識別ＩＤ＝００２）では、「ＹＥＳ」に対応するジェスチャーは「右手挙手」、「ＮＯ」に対応するジェスチャーは「左手挙手」である。一方、２行目の端末装置５（識別ＩＤ＝００３）では、「ＹＥＳ」に対応するジェスチャーは「左手挙手」、「ＮＯ」に対応するジェスチャーは「右手挙手」である。さらに、３行目の端末装置４（識別ＩＤ＝００４）では、「ＹＥＳ」に対応するジェスチャーは「起立」、「ＮＯ」に対応するジェスチャーは「両手挙手」である。
【００４５】
次に、視線領域テーブル３１３１について、図７を参照して説明する。視線領域テーブル３１３１は、多数決を行う際に使用者の視線位置を、ディスプレイ２８の特定の領域に向けさせる視線領域の座標範囲のデータを各拠点毎に記憶する。視線領域テーブル３１３１には、端末ＩＤ欄７１と、視線領域範囲欄７３とが互いに対応づけられて設けられている。端末ＩＤ欄７１には、自拠点以外の端末装置４〜６の端末ＩＤが各々記憶されている。視線領域範囲欄７３は、ＹＥＳ欄７７と、ＮＯ欄７８とに分けられている。
【００４６】
ＹＥＳ欄７７には、使用者が「ＹＥＳ」の意志表示をする際に視線を向けさせる視線領域範囲が記憶されている。ＮＯ欄７８には、使用者が「ＮＯ」の意志表示をする際に視線を向けさせる視線領域範囲が記憶されている。視線領域範囲は、各端末装置毎に異ならせて記憶されている。
【００４７】
例えば、１行目の端末装置４（識別ＩＤ＝００２）では、「ＹＥＳ」に対応する視線領域範囲は（０，０）〜（３０，３０）であり、「ＮＯ」に対応する視線領域範囲は（６０，３０）〜（８０，６０）である。一方、２行目の端末装置５（識別ＩＤ＝００３）では、「ＹＥＳ」に対応する視線領域範囲は（３０，０）〜（８０，３０）であり、「ＮＯ」に対応する視線領域範囲は（０，３０）〜（２５，６０）である。さらに、３行目の端末装置６（識別ＩＤ＝００３）では、「ＹＥＳ」に対応する視線領域範囲は（０，０）〜（３０，６０）であり、「ＮＯ」に対応する視線領域範囲は（５０，０）〜（８０，６０）である。
【００４８】
ここで、視線領域テーブル３１３１に記憶された各端末の「ＹＥＳ」「ＮＯ」の視線領域は、ディスプレイ２８上では以下の位置となる。端末装置４に指定された視線領域は、図８に示すように、左上に「ＹＥＳ」の視線領域９５、右下に「ＮＯ」の視線領域９６が対角上に各々配置される。端末装置５に指定された視線領域は、図９に示すように、右上に「ＹＥＳ」の視線領域９５、左下に「ＮＯ」の視線領域９６が対角上に各々配置される。端末装置６に指定された視線領域は、図１０に示すように、左側に「ＹＥＳ」の視線領域９５、右側に「ＮＯ」の視線領域９６が対向して各々配置される。このように、「ＹＥＳ」「ＮＯ」の視線領域は、端末装置毎に異なっている。
【００４９】
なお、後述するが、視線領域テーブル３１３１に記憶された視線領域に従って、「ＹＥＳ」「ＮＯ」の視線領域９５，９６が表示される。これら視線領域９５，９６内には、各範囲をさらに狭くする輪郭線９９（図８〜図１０参照）が設けられる。視線領域９５，９６の境界を輪郭線９９で区切ることで、視線領域９５，９６内に確実に視線を向けさせることができる。
【００５０】
次に、集計テーブル３１５１について、図１１を参照して説明する。集計テーブル３１５１は、各拠点から送信された集計データを各拠点毎にまとめて記憶するものである。集計テーブル３１５１には、端末ＩＤ欄８１と、ＹＥＳ欄８２と、ＮＯ欄８３とが対応付けられて各々設けられている。端末ＩＤ欄８１には、端末ＩＤが記憶される。ＹＥＳ欄８２には、「ＹＥＳ」の意志表示を示した人数が記憶される。ＮＯ欄８３には「ＮＯ」の意志表意を示した人数が記憶される。なお、集計テーブル３１５１の最終行には、全拠点の「ＹＥＳ」「ＮＯ」の総合計が各々記憶される。
【００５１】
次に、ＲＡＭ２２の各種記憶エリアについて、図１２を参照して説明する。ＲＡＭ２２には、ＣＣＤカメラ画像記憶エリア２２１と、視線検出情報記憶エリア２２２と、ジェスチャー情報記憶エリア２２３と、視線領域情報記憶エリア２２４と、採決画像記憶エリア２２５と、意見数記憶エリア２２６と、結果画像記憶エリア２２７と、カメラ画像記憶エリア２２８とが、少なくとも設けられている。
【００５２】
ＣＣＤカメラ画像記憶エリア２２１には、ＣＣＤカメラの撮像画像が記憶される。視線検出情報記憶エリア２２２には、視線検出をする際に算出された後述する各種パラメータや設定値等の情報である視線検出情報が記憶される。
【００５３】
ジェスチャー情報記憶エリア２２３には、議長端末から送信されたジェスチャー情報２２３１（図１３参照）が記憶される。ジェスチャー情報２２３１は、「ＹＥＳ」の意志表示をする際のジェスチャーの種類と、「ＮＯ」の意志表示をする際のジェスチャーの種類とを含むものである。視線領域情報記憶エリア２２４には、議長端末から送信された視線領域情報２２４１（図１４参照）が記憶される。視線領域情報２２４１は、「ＹＥＳ」の意志表示をする際の視線領域と、「ＮＯ」の意志表示をする際の視線領域とを含むものである。
【００５４】
採決画像記憶エリア２２５には、多数決で採決を行ったときの採決画像のデータが記憶される。つまり、ジェスチャーで採決をした場合は、各使用者がジェスチャーをしているときの画像データである。視線位置で採決をした場合は、各使用者が視線位置を所定の視線領域に向けているときの画像データである。意見数記憶エリア２２６には、各拠点の使用者の「ＹＥＳ」の意見数のデータと、「ＮＯ」の意見数のデータとが記憶される。
【００５５】
結果画像記憶エリア２２７には、採決画像記憶エリア２２５に記憶された採決画像に「ＹＥＳ」「ＮＯ」の文字を表示した結果画像１２０（図２２参照）が記憶される。
【００５６】
なお、結果画像１２０は、採決画像に映し出された各人物の頭部の横に「ＹＥＳ」又は「ＮＯ」の文字が付されたものである。これに限らず、例えば、「ＹＥＳ」「ＮＯ」の意見毎に個別画像を切り出し、意見毎に分けて整理した結果画像１２１（図２３参照）を、結果画像記憶エリア２２７に記憶してもよい。カメラ画像記憶エリア２２８には、カメラ３４の撮像画像が記憶される。
【００５７】
次に、使用者の視線位置の検出方法について説明する。視線位置の検出方法は、使用者の目を中心とする顔の部分をＣＣＤカメラ３８（図４参照）で捉え、得られた画像を画像解析することよって視線方向を検出する。その検出された視線方向からディスプレイ２８上の視線位置を検出する。視線方向を検出する方法としては、種々のものが適用可能である。
【００５８】
例えば、特開２０００−１３８８７２号公報には、使用者を撮影した画像データから両目の輪郭を検出し、目の両端および鼻孔の位置の幾何学的な位置関係から、眼球の中心位置及び半径を推定し、視線方向を検出する方法が示されている。
【００５９】
例えば、松本吉央、怡土順一、竹村憲太郎、小笠原司、リアルタイム顔・視線計測システムの開発と知的インタフェースへの応用、情報処理学会論文誌コンピュータビジョンとイメージメディア、ｖｏｌ．４７、Ｎｏ．ＳＩＧ１５（ＣＶＩＭ１６）、ｐｐ．１０−２１、２００６／１０の非特許文献には、画像解析を用いた視線測定法として、ＣＣＤカメラ画像中から顔領域の切り出しを行い、顔発見テンプレートとのモデルフィッティングを行った後、頭部位置・姿勢を求め、眼球中心位置の推定を行い、視線方向をリアルタイムに検出するという手法が示されている。
【００６０】
例えば、大野健彦、視線を用いたインタフェース、情報処理，Ｖｏｌ．４４、Ｎｏ．７、ｐｐ．７２６−７３２、２００３の非特許文献には、近赤外線を用いた視線測定法として、赤外線カメラを用いて、人の眼球形状に関する３次元モデルと、観察された瞳孔像およびプルキニエ像から真の瞳孔位置およびプルキニエ像の位置を推定し、視線方向を算出するという方法が示されている。
【００６１】
本実施形態では、近赤外線を用いた視線測定法を用いて視線を検出する。そこで、近赤外線を用いた視線検出方法について、図１５を参照して説明する。
【００６２】
赤外線ライト３７が、使用者の眼球７２に赤外線を照射すると、照射された赤外線が使用者の眼球７２の角膜反射面において反射され、赤外線ライト３７の虚像（プルキニエ像）７４が生じる。使用者の視線の先に赤外線ライト３７が位置するとき、プルキニエ像７４の発生位置は、瞳孔７５の中心位置と一致する。そして、使用者の視線の先が赤外線ライト３７から離れるにつれて、プルキニエ像７４と瞳孔７５の中心との間隔は広がっていく。
【００６３】
具体的に説明する。プルキニエ像７４と瞳孔７５の中心とが一致する状態からの眼球７２の回転角度をθとする。ディスプレイ２８と赤外線ライト３７（ＣＣＤカメラ３８）との角度をαとする。プルキニエ像７４と瞳孔７５の中心との間隔をＳとすると、間隔Ｓは、回転角度θの正弦にほぼ比例して広がっていく。ＣＣＤカメラ３８により撮影された撮影画像において、プルキニエ像７４の位置、瞳孔７５の中心位置、さらにその間隔Ｓを算出することにより、眼球７２の回転角θ、さらには使用者の視線方向を検出できる。撮影画像におけるプルキニエ像７４及び瞳孔７５の検出は、各画素における濃度変化を示すエッジ値を検出する周知の方法により行われる。
【００６４】
次に、検出された視線方向の先にあるディスプレイ２８上の使用者の視線位置Ｔを検出する方法について説明する。使用者が、端末装置３の前方の床面にマーキングされた位置に立ち、踏み台等を使って高さを調節することによって、使用者の眼球７２の中心と、ディスプレイ２８との間が所定距離Ｌになる。
【００６５】
ここで、マーキング位置は、その位置に立った使用者の眼球７２の中心と、ディスプレイ２８との間が所定距離Ｌになるように調整されている。使用者によって背の高さが異なるので、所定の高さになるように踏み台等を使って眼球７２の位置を調節する。なお、眼球７２の位置を固定するために、使用者の頭部の位置を固定するようにしてもよい。各拠点には複数の使用者がいる場合を想定しているので、ディスプレイ２８の前には複数のマーキングが設定される。マーキング位置はそれぞれ異なるので、所定距離Ｌについても各位置毎に異なっている。
【００６６】
眼球７２の中心からディスプレイ２８に対して直角に交わる交点を中心点Ｏとする。使用者の視線方向の先にあるディスプレイ２８上の視線位置Ｔ１と中心点Ｏとの距離Ｋは、以下の式で示される。
・Ｋ＝Ｌ・ｔａｎβ
・β＝θ−（９０−α）
・Ｋ＝Ｌ・ｔａｎ（θ−（９０−α））
上述の式より、ディスプレイ２８上の使用者の視線位置Ｔを特定することができる。なお、回転角度θ、間隔Ｓ、所定距離Ｌ、角度α等の視線検出に関わるパラメータや、視線位置の算出に関わる値は、ＲＡＭ２２の視線検出情報記憶エリア２２２（図１２参照）に記憶される。所定距離Ｌは、ディスプレイ２８の前にある複数のマーキング位置毎にそれぞれ異なる。従って、各マーキング位置毎の所定距離Ｌが視線検出情報記憶エリア２２２にそれぞれ記憶される。なお、所定距離Ｌ、角度αは、端末装置３のキーボード２９で入力されたものがＲＡＭ２２の視線検出情報記憶エリア２２２に記憶される。
【００６７】
次に、テレビ会議システム１で実行される多数決処理について説明する。多数決処理は、端末装置３〜６のＨＤＤ３１に記憶された会議支援プログラムに基づき行われる。会議支援プログラムは、議長端末が実行する「議長端末処理」と、議長端末以外の端末が実行する「拠点端末処理」とに分かれる。
【００６８】
ここでは、説明の便宜上、端末装置３を議長端末とし、それ以外の端末装置４〜６を議長端末の指示を受けて多数決を行う拠点端末として説明する。会議支援プログラムは、ＨＤＤ３１に記憶された参加端末記憶エリア３１１（図５参照）に、自端末を含めて２以上の端末ＩＤが登録され、他拠点との間で音声と画像を介した会議が開始されると実行される。
【００６９】
はじめに、ＣＰＵ２０による議長端末処理について、図１６のフローチャートを参照して説明する。まず、多数決を行うか否かが判断される（Ｓ１１）。ここでは、多数決で採決をとる場合に、ディスプレイ２８に表示された「多数決実行」ボタン（図示外）が選択されたか否かによって判断される。多数決が行われない間は（Ｓ１１：ＮＯ）、Ｓ１１に戻って、処理が繰り返される。
【００７０】
多数決を行う場合（Ｓ１１：ＹＥＳ）、本端末が「議長端末」となる。次いで、ＨＤＤ３１に記憶されたジェスチャーテーブル３１２１（図６参照）から各端末のジェスチャー情報２２３１（図１３参照）が取得され、視線領域テーブル３１３１（図７参照）から各端末の視線領域情報２２４１（図１４参照）が取得される。そして、取得されたジェスチャー情報２２３１および視線領域情報２２４１は、会議に参加する端末に応じて取得され、各端末装置４〜６に向けてそれぞれ送信される（Ｓ１２）。
【００７１】
後述するが、ジェスチャー情報２２３１および視線領域情報２２４１を受信した端末装置４〜６の各拠点では、受信したジェスチャー情報２２３１又は視線領域情報２２４１に基づいた画像がディスプレイ２８（図１９〜図２１参照）に表示される。各拠点では、ディスプレイ２８に表示された画像に基づき、各使用者が所定の動作をすることで、多数決が行われる。多数決の結果は各拠点で処理され、意見数データと、結果画像１２０（図２２参照）のデータ（以下、結果画像データと呼ぶ）とからなる集計情報が議長端末である端末装置３に向けて送信される（図２参照）。
【００７２】
次いで、図１６に示すように、集計情報を受信したか否かが判断される（Ｓ１３）。集計情報を受信した場合（Ｓ１３：ＹＥＳ）、意見数データは、ＨＤＤ３１に記憶した集計テーブル３１５１（図１１参照）に記憶される（Ｓ１４）。さらに、結果画像データは、議題と関連付けられ、ＨＤＤ３１の全端末結果画像記憶エリア３１５（図５参照）に記憶される（Ｓ１５）。そして、Ｓ１３に戻り、他拠点から集計情報を受信した場合は（Ｓ１３：ＹＥＳ）、上述した処理と同様に、集計テーブル３１５１（図１１参照）に意見数データが追加される（Ｓ１４）。さらに、全端末結果画像記憶エリア３１５（図５参照）に結果画像データが追加される（Ｓ１５）。
【００７３】
このように、Ｓ１３〜Ｓ１５が繰り返されることで、全端末結果画像記憶エリア３１５に各拠点の結果画像１２０のデータが収集され、議題と共に、各拠点の結果画像を並べた全端末結果画像１３１（図２５参照）が合成されて記憶される。全端末結果画像１３１は、例えば、議題「この計画に賛成ですか。」が上部に表示され、例えば、その下に、拠点Ｂ（端末装置４）の結果画像１２０、拠点Ｄ（端末装置６）の結果画像１２０等が並んで表示される。各拠点の結果画像１２０は、多数決に参加する人物の頭部の横に、「ＹＥＳ」「ＮＯ」の文字が表示されている。これにより、誰が「ＹＥＳ」又は「ＮＯ」の意見を持っているかを一目で認識できる。
【００７４】
なお、各拠点から結果画像１２１（図２３参照）のデータを受信するようにした場合、全端末結果画像記憶エリア３１５には、各拠点の結果画像データから「ＹＥＳ」「ＮＯ」の意見毎に個別画像が切り出され、「ＹＥＳ」「ＮＯ」毎に配置した全端末結果画像１３２（図２６参照）が合成されて記憶される。この全端末結果画像１３２であっても、誰が「ＹＥＳ」又は「ＮＯ」の意見を持っているかを一目で認識できる。
【００７５】
一方、図１６に示すように、集計情報を受信しない場合（Ｓ１３：ＮＯ）、全拠点の端末から集計情報を収集したか否かが判断される（Ｓ１６）。ここでは、ＨＤＤ３１の参加端末記憶エリア３１１（図５参照）に登録された全端末の集計情報が、集計テーブル３１５１（図１１参照）に記憶されているか否かが判断される。集計情報をまだ受信していない端末がある場合（Ｓ１６：ＮＯ）、Ｓ１３に戻って、集計情報の受信について、引き続き監視される。
【００７６】
そして、集計テーブル３１５１を参照して、全端末の集計情報を受信したと判断された場合（Ｓ１６：ＹＥＳ）、ＨＤＤ３１に記憶された集計テーブル３１５１（図１１参照）から「ＹＥＳ」「ＮＯ」の意見数を議題と共にまとめて表示した全端末集計画像（図２４参照）が合成されて、ＨＤＤ３１の全端末集計画像記憶エリア３１６（図５参照）に記憶される（Ｓ１７）。
【００７７】
次いで、全端末結果画像記憶エリア３１５（図５参照）に記憶された全端末結果画像１３１（図２５参照）と、全端末集計画像記憶エリア３１６（図５参照）に記憶された全端末集計画像１３０（図２４参照）とが、投票結果としてディスプレイ２８に表示される（Ｓ１８）。さらに、これら投票結果が各端末装置に向けて送信され（Ｓ１９）、処理が終了する。
【００７８】
なお、全端末集計画像１３０のデータおよび全端末結果画像１３１のデータを受信した端末装置４〜６では、これらの画像データがＨＤＤ３１に記憶される。各拠点において、ＨＤＤ３１に記憶された全端末集計画像１３０又は全端末結果画像１３１を、ディスプレイ２８に表示させることで、各拠点において多数決の結果を知ることができる。
【００７９】
次に、ＣＰＵ２０による拠点端末処理について、図１７を参照して説明する。説明の便宜上、拠点端末として機能する端末装置４のＣＰＵ２０が実行する拠点端末処理について説明する。まず、議長端末から送信されたジェスチャー情報２２３１（図１３参照）及び視線領域情報２２４１（図１４参照）を受信したか否かが判断される（Ｓ２１）。ジェスチャー情報２２３１及び視線領域情報２２４１するまでは（Ｓ２１：ＮＯ）、Ｓ２１に戻って待機状態となる。
【００８０】
そして、ジェスチャー情報２２３１及び視線領域情報２２４１を受信したと判断された場合（Ｓ２１：ＹＥＳ）、カメラ３４によって撮像されたカメラ画像が取得される（Ｓ２２）。カメラ画像は、ＲＡＭ２２のカメラ画像記憶エリア２２８（図１２参照）に記憶される。さらに、カメラ画像記憶エリア２２８に記憶されたカメラ画像に基づき、人物画像のサイズ解析処理が実行される（Ｓ２３）。
【００８１】
人物画像のサイズ解析処理について、図１８を参照して説明する。ＲＡＭ２２のカメラ画像記憶エリア２２８に記憶されたカメラ画像から人物Ｕを検出する方法として「背景差分法」を適用する。背景差分法では、まず、予め背景Ｐとするフレーム画像２００を決めておく。それを元にフレーム毎に差分を取る。その差分値が規定値以上の領域を人物Ｆの画像領域Ｆとして検出する。検出された人物画像領域Ｆの面積を人物画像のサイズとして解析する。
【００８２】
次いで、図１７に示すように、カメラ画像に映し出された人物の画像のサイズが全て第１所定値以上であるか否かが判断される（Ｓ２４）。カメラ画像に複数の人物が表示されている場合は、その全ての画像サイズが第１所定値以上であるか否かが判断される。全ての画像サイズが第１所定値以上である場合は（Ｓ２４：ＹＥＳ）、何れの使用者についても視線を検出するには十分の大きさである。この場合、受信した視線領域情報２２４１（図１４参照）に基づき、ディスプレイ２８には、「ＹＥＳ」の視線領域９５および「ＮＯ」の視線領域９６が表示される。
【００８３】
例えば、図１４に示す視線領域情報２２４１を受信した場合、ディスプレイ２８には、図８に示すように、「ＹＥＳ」の視線領域９５が右上に配置され、右側に「ＮＯ」の視線領域９６が左下に配置される。「ＹＥＳ」の視線領域９５において、（３０，０）から（０，３０）の間に湾曲する輪郭線９９が表示され、その内側に「ＹＥＳ」の文字が表示される。輪郭線９９の内側の領域は赤色で表示される。「ＮＯ」の視線領域９６において、（６０，６０）から（８０，３０）の間にも湾曲する輪郭線９９が表示され、その内側に「ＮＯ」の文字が表示される。輪郭線９９の内側は青色で表示される。このように、輪郭線９９によって、視線領域９５，９６をさらに狭くすることで、使用者の視線を、視線領域９５，９６内に確実に向けさせることができる。
【００８４】
そして、図２０に示すように、ディスプレイ２８に、視線領域９５，９６が表示される。ディスプレイ２８に表示された視線領域９５，９６が表示されることで、使用者であるＡさん、Ｂさんは、自らの視線によって「ＹＥＳ」「ＮＯ」の意志表示を行う。ディスプレイ２８に表示される視線領域の位置は端末装置毎に異なる。従って、ディスプレイ２８に表示されたマルチ画面に他拠点の使用者の様子が映っていても、自拠点における判断に影響を与えることがない。
【００８５】
一方、図１７に戻り、人物画像サイズが第１所定値以上ではない人物が存在する場合（Ｓ２４：ＮＯ）、人物画像サイズが全て第２所定値未満か否かが判断される（Ｓ２６）。第２所定値は、第１所定値よりも小さい値である。人物画像サイズが全て第２所定値未満である場合は（Ｓ２６：ＹＥＳ）、人物画像が全て小さ過ぎるため、ディスプレイ２８上における視線位置を検出するのが困難である。この場合、受信したジェスチャー情報２２３１（図１３参照）に対応するジェスチャー指示画像がディスプレイ２８に表示される（Ｓ２７）。具体的には、ジェスチャー指示画像記憶エリア３１７に記憶された複数のジェスチャー指示画像の中から、受信したジェスチャー情報２２３１に対応するジェスチャー指示画像が取得される。
【００８６】
例えば、図１３に示すジェスチャー情報２２３１を受信した場合、図１９に示すジェスチャー指示画像がディスプレイ２８に表示される。即ち、ディスプレイ２８には、分割画面２８５，２８６が左右両側に各々表示される。左側の分割画面２８５には、右手を挙げた人物キャラクタ９１が映し出され、その上部には、「ＹＥＳ：右手を挙げて下さい。」のメッセージが表示される。右側の分割画面２８６には、左手を挙げた人物キャラクタ９２が映し出され、その上部には「ＮＯ：左手を挙げて下さい。」のメッセージが表示される。ディスプレイ２８に表示された動作指示画像が表示されることで、使用者であるＡさん、Ｂさんは、自らのジェスチャーによって「ＹＥＳ」「ＮＯ」の意志表示を行う。ディスプレイ２８に表示されるジェスチャー指示画像は端末装置毎に異なる。従って、ディスプレイ２８に表示されたマルチ画面に他拠点の使用者の様子が映っていても、自拠点における判断に影響を与えることがない。
【００８７】
また、人物画像サイズが人物によってバラバラであった場合（Ｓ２４：ＮＯ、Ｓ２６：ＮＯ）、図２１に示すように、ディスプレイ２８には、視線領域９５，９６と、ジェスチャー指示画像とが重ねて表示される（Ｓ２８）。ディスプレイ２８に表示された視線領域９５，９６と、ジェスチャー指示画像とが表示されることで、使用者であるＡさん、Ｂさんは、自らの視線と、ジェスチャーとによって「ＹＥＳ」「ＮＯ」の意志表示を行う。ディスプレイ２８に表示される視線領域９５，９６の各位置と、ジェスチャー指示画像とは端末装置毎に異なる。従って、各端末における意志表示をするための動作がより複雑になるので、ディスプレイ２８に表示されたマルチ画面に他拠点の使用者の様子が映っていても、自拠点における判断に影響を与えることがない。
【００８８】
次に、使用者のジェスチャー又は視線位置が検出される（Ｓ２９）。図２０に示すように、ディスプレイ２８に視線領域９５，９６が表示されている場合、Ａさん、Ｂさんは自らの意見に対応する視線領域９５又は視線領域９６に視線位置を合わせる。一方、図２１に示すように、ディスプレイ２８にジェスチャー指示画像が表示されている場合、その指示に従って、Ａさん、Ｂさんは自らの意見に対応するジェスチャーをする。
【００８９】
各人物の視線位置は、上述の方法によって検出される。各人物のジェスチャーは、人物画像解析処理によって行われる。具体的には、上述した人物画像解析において取得された人物画像領域Ｆと、ＨＤＤ３１の人物画像動作パターン記憶エリア３１８に記憶されたジェスチャー毎の人物画像領域Ｆとの比較による形状のパターンマッチングを行うことで、その人物がどのようなジェスチャーを行ったかが判別される。
【００９０】
次いで、意見の種類が特定される（Ｓ３０）。意志表示が視線位置によるものであって、ディスプレイ２８上で検出された視線位置が「ＹＥＳ」の視線領域９５内にある場合は、意見は「ＹＥＳ」である。ディスプレイ２８上で検出された視線位置が「ＮＯ」の視線領域９６内にある場合は、意見は「ＮＯ」である。また、意志表示がジェスチャーによるものである場合、種類が検出されたジェスチャーの意味は、ジェスチャー情報記憶エリア２２３に記憶されたジェスチャー情報２２３１を参照して特定される。
【００９１】
撮影画像に映し出された各人物の意見がそれぞれ特定されたら、自拠点における「ＹＥＳ」の意見数と、「ＮＯ」の意見数とが集計される（Ｓ３０）。集計結果は、意見数データとして、ＲＡＭ２２の意見数記憶エリア２２６（図１２参照）に記憶される。
【００９２】
次いで、採決をしたときの採決画像がＲＡＭ２２の採決画像記憶エリア２２５（図１２参照）に記憶される。さらに、採決画像記憶エリア２２５に記憶された採決画像に、各人物の意見結果を表示させた結果画像１２０（図２２参照）が合成され、結果画像記憶エリア２２７（図１２参照）に記憶される（Ｓ３１）。採決画像から個別画像を切り出して、「ＹＥＳ」「ＮＯ」に分けて並べた結果画像１２１（図２３参照）を記憶してもよい。
【００９３】
そして、ＲＡＭ２２の意見数記憶エリア２２６に記憶された意見数データと、結果画像記憶エリア２２７に記憶された結果画像１２０のデータである結果画像データとが、議長端末に送信され（Ｓ３３）、処理が終了する。
【００９４】
このように、議長端末から送信されたジェスチャー情報２２３１および視線領域情報２２４１に基づいて多数決を行い、各拠点で集計した結果を議長端末に送信することで、議長端末において、各拠点の集計結果を取りまとめることができる。また、各端末装置に送信されるジェスチャー情報２２３１および視線領域情報２２４１は、各端末装置毎に異ならせている。つまり、多数決で意志表示するためのジェスチャー又は視線位置を端末毎に異ならせている。これにより、ディスプレイ２８に表示されたマルチ画面に他拠点の使用者の様子が映っていても、自拠点における判断に影響を与えることがない。また、各拠点の多数決の結果として、採決画像を編集した結果画像データと、意見数データとを議長端末に送信するので、議長端末において各拠点の意見を分析する必要がない。
【００９５】
以上説明したように、テレビ会議システム１では、議長端末として機能する端末装置３が、ある議題について多数決で決議を採る際に、端末装置４，５，６の各拠点に多数決の動作情報（ジェスチャー情報、視線領域情報）を送信する。動作情報は、多数決で意志表示をする際に行う動作の種類が意見毎に規定されている。意見に対する動作の種類は端末毎に異ならせている。これにより、ディスプレイ２８に表示されたマルチ画面に他拠点の使用者の様子が映っていても、自拠点と異なる動作をするため、自拠点における判断に影響を与えることがない。従って、部品点数を増やすことなく、他拠点の意見に影響されない信頼性のある多数決を行うことができる。また、その動作情報に従ってなされた多数決の集計情報（意見数データ、結果画像データ等）が各拠点から送信される。それらを受信して記憶することで、ディスプレイ２８に表示できる。これにより、ある議題の採決結果を速やかに把握できる。
【００９６】
以上の説明において、ＨＤＤ３１に記憶されたジェスチャーテーブル３１２１と、視線領域テーブル３１３１とが本発明の「動作情報記憶手段」に相当する。ＨＤＤ３１の集計テーブル記憶エリア３１４と、全端末結果画像記憶エリア３１５とが本発明の「結果情報記憶手段」に相当する。図１６に示すＳ１２の動作を実行するＣＰＵ２０が本発明の「動作情報送信手段」に相当する。Ｓ１３の動作を実行するＣＰＵ２０が本発明の「結果情報受信手段」に相当する。Ｓ１８の動作を実行するＣＰＵ２０が本発明の「結果情報出力手段」に相当する。
【００９７】
図１７に示すＳ３０の動作を実行するＣＰＵ２０が本発明の「意見集計手段」に相当する。Ｓ３３の動作を実行するＣＰＵ２０が本発明の「結果情報送信手段」に相当する。Ｓ２３の動作を実行するＣＰＵ２０が本発明の「画像サイズ解析手段」に相当する。Ｓ２４の動作を実行するＣＰＵ２０が本発明の「第１画像サイズ判断手段」に相当する。Ｓ２６の動作を実行するＣＰＵ２０が本発明の「第２画像サイズ判断手段」に相当する。図１３に示すジェスチャー情報２２３１が本発明の「第１動作情報」に相当する。図１４に示す視線領域情報２２４１が本発明の「第２動作情報」に相当する。図１７のＳ２９の動作を実行するＣＰＵ２０が本発明の「ジェスチャー特定手段」「視線領域特定手段」に相当する。ＲＡＭ２２の視線検出情報記憶エリア２２２が本発明の「位置関係情報記憶手段」に相当する。図１７のＳ２９の動作を実行するＣＰＵ２０が本発明の「視線位置特定手段」に相当する。
【００９８】
なお、本発明は、上記実施形態に限定されることなく、種々の変更が可能である。例えば、上記実施形態では、使用者の意見は「ＹＥＳ」「ＮＯ」の二通りであったが、例えば、「ＹＥＳ」「ＮＯ」「どちらともいえない」等、さらに多くの意見を加えてもよい。また。「ＹＥＳ」「ＮＯ」に限らず、意見の種類を設定してもよい。
【００９９】
また、上記実施形態では、議長端末から各端末に向けて動作情報（ジェスチャー情報
視線領域情報）を送信し、各端末の動作の種類を決めているが、例えば、議長端末から多数決の指示を各端末に送信し、各端末でランダムに意思表示するための動作を選択するようにしてもよい。
【０１００】
また、上述の実施形態では、ユーザの眼球７２とディスプレイ２８との距離は、一定であると近似され、所定距離Ｌとして予め記憶されていたが、これに限定されるものでは無い。たとえば、遠隔会議開始時や視線方向検出時などに、ユーザの眼球７２とディスプレイ２８との距離を算出し、算出された値を前記所定距離Ｌとして、ディスプレイ２８上のユーザの視線位置Ｔを特定しても良い。所定距離Ｌの算出方法としては、周知の方法が適用可能であるが、たとえば、以下の方法が適用可能である。
【０１０１】
この方法では、予めＣＣＤカメラ３８とユーザ（ユーザの眼球７２）とを所定距離とした状態でユーザを撮影する。撮影されたユーザの画像からユーザの各眼球７２について瞳孔７５の位置をそれぞれ抽出し、抽出された瞳孔７５の間隔を、基準瞳孔間隔として予めＨＤＤ３１に記憶する。一般に、撮影画像における瞳孔間隔は、瞳孔７５とＣＣＤカメラ３８との距離に反比例する。よって、ＣＣＤカメラ３８により撮影された実際の瞳孔間隔と、予め記憶された基準瞳孔間隔とから、ＣＣＤカメラ３８と眼球７２との距離を算出できる。ＣＣＤカメラ３８とディスプレイ２８との位置関係を予めＨＤＤ３１に記憶しておくことにより、ディスプレイ２８と眼球７２との距離を算出することができ、算出された値を所定距離Ｌとして用いることができる。
【符号の説明】
【０１０２】
１  テレビ会議システム
２  ネットワーク
３  端末装置
４  端末装置
５  端末装置
６  端末装置
２８  ディスプレイ
３１  ハードディスクドライブ
３４  カメラ
３７  赤外線ライト
３８  ＣＣＤカメラ
２２３１  ジェスチャー情報
２２４１  視線領域情報
３１２  ジェスチャーテーブル記憶エリア
３１２１  ジェスチャーテーブル
３１３  視線領域テーブル記憶エリア
３１３１  視線領域テーブル
３１４  集計テーブル記憶エリア
３１５１  集計テーブル
【図１】
2010239327.tif 000003
【図２】
2010239327.tif 000004
【図３】
2010239327.tif 000005
【図４】
2010239327.tif 000006
【図５】
2010239327.tif 000007
【図６】
2010239327.tif 000008
【図７】
2010239327.tif 000009
【図８】
2010239327.tif 000010
【図９】
2010239327.tif 000011
【図１０】
2010239327.tif 000012
【図１１】
2010239327.tif 000013
【図１２】
2010239327.tif 000014
【図１３】
2010239327.tif 000015
【図１４】
2010239327.tif 000016
【図１５】
2010239327.tif 000017
【図１６】
2010239327.tif 000018
【図１７】
2010239327.tif 000019
【図１８】
2010239327.tif 000020
【図１９】
2010239327.tif 000021
【図２０】
2010239327.tif 000022
【図２１】
2010239327.tif 000023
【図２２】
2010239327.tif 000024
【図２３】
2010239327.tif 000025
【図２４】
2010239327.tif 000026
【図２５】
2010239327.tif 000027
【図２６】
2010239327.tif 000028