(57)【要約】【課題】  発表者から参加者にノンバーバル情報が伝達されていないときに、ノンバーバル情報を伝達すること。【解決手段】  会議システムは、発表者が参加する第１会議室と、参加者が参加する少なくとも１つの第２会議室とを含み、第１会議室に配置されるＰＣは、発表者の視線方向を検出する視線方向検出部と、発表者の視線が表示部を向く方向が検出されている間にカメラが出力する画像データを記憶する視線画像記憶部と、カメラが出力する画像データおよびＨＤＤに記憶された画像データのいずれか一方を選択する選択部と、選択された画像データを含む映像データを第２会議室に配置されたＰＣに送信する映像データ送信部と、を備え、選択部は、カメラが出力する画像データを選択しているときに視線方向が表示部を向く方向でない状態が所定時間継続すると、ＨＤＤに記憶された画像データを選択する。【選択図】        図１１
2012114511.tif 000002
【特許請求の範囲】
【請求項１】
地理的に離れた複数の会議室をそれぞれ撮像した複数の画像を用いて仮想的な会議室を生成する会議システムであって、
前記複数の会議室それぞれに、
画像を表示する表示手段と、
前記表示手段側から該会議室に存在する参加者に向かう被写体方向で参加者を撮像する撮像手段と、
前記表示手段および前記撮像手段を制御する制御手段と、が配置され、
前記複数の会議室は、発表者が参加する第１会議室と、参加者が参加する少なくとも１つの第２会議室とを含み、
前記第１会議室に配置される前記制御手段は、
前記撮像手段が出力する画像データに基づいて、発表者の視線方向を検出する視線方向検出手段と、
前記視線検出手段により発表者の視線が前記表示手段を向く方向が検出されている間に、前記撮像手段が出力する画像データを記憶する視線画像記憶手段と、
前記撮像手段が出力する画像データおよび前記記憶手段に記憶された画像データのうちいずれか一方を選択する選択手段と、
前記選択手段により選択された画像データを含む映像データを、前記少なくとも１つの第２会議室それぞれに配置された前記制御手段に送信する映像データ送信手段と、を備え、
前記選択手段は、前記撮像手段が出力する画像データを選択しているときに、前記視線検出手段により検出された視線方向が前記表示手段を向く方向でない状態が所定時間継続すると、前記記憶手段に記憶された画像データを選択し、
前記第２会議室に配置される前記制御手段は、
前記第１会議室に配置された前記制御手段から映像データを受信する映像データ受信手段と、
前記映像データ受信手段により受信される映像データに含まれる画像データの画像を前記表示手段に表示させる表示制御手段と、を備える会議システム。
【請求項２】
前記選択手段は、前記視線検出手段により検出された視線方向が前記表示手段を向く方向の場合は、前記撮像手段が出力する画像データを選択する、請求項１に記載の会議システム。
【請求項３】
地理的に離れた３つの会議室をそれぞれ撮像した複数の画像を用いて仮想的な会議室を生成する会議システムであって、
前記３つの会議室それぞれに、
２つの表示領域を含む表示手段と、
前記表示手段側から該会議室に参加する参加者に向かう第１の方向で参加者を撮像する第１撮像手段と、
前記第１の方向と交わる第２の方向で参加者を撮像する第２撮像手段と、
前記第２の方向と逆の第３の方向で参加者を撮像する第３撮像手段と、
前記表示手段および前記第１〜第３撮像手段を制御する制御手段と、が配置され、
前記制御手段は、前記第１撮像手段が出力する第１画像データに基づいて、参加者の視線方向が前記第１表示領域に向かう第１視線方向または前記第２表示領域に向かう第２視線方向であるかを検出する視線方向検出手段と、
前記視線方向検出手段による検出結果に基づいて、前記参加者が発話する相手を判定する発話相手判定手段と、
前記第１〜第３撮像手段がそれぞれ出力する第１〜第３画像データのうちから１つの第１選択画像データを選択する第１選択手段と、
前記第１〜第３撮像手段がそれぞれ出力する第１〜第３画像データのうちから１つの第２選択画像データを選択する第２選択手段と、
前記第１選択画像データを含む映像データと、前記発話相手判定手段により判定された発話相手を示す第１発話相手情報と、を他の２つの会議室のうち一方の会議室に配置された前記制御手段に送信する第１会議情報送信手段と、
前記第２選択画像データを含む映像データと前記第１発話相手情報と、を前記他の２つの会議室のうち前記一方の会議室とは異なる他方の会議室に配置された前記制御手段に送信する第２会議情報送信手段と、
前記一方の会議室に配置された前記制御手段から映像データと前記一方の会議室の参加者が発話する相手を示す第２発話相手情報とを受信する第１会議情報受信手段と、
前記他方の会議室に配置された前記制御手段から映像データと前記他方の会議室の参加者が発話する相手を示す第３発話相手情報とを受信する第２会議情報受信手段と、
前記一方の会議室に配置された前記制御手段から受信される映像データに含まれる画像データを前記第１表示領域に表示し、前記他方の会議室に配置された前記制御手段から受信される映像データに含まれる画像データを前記第２表示領域に表示させるように前記表示手段を制御する表示制御手段と、
前記第１〜第３発話相手情報に基づいて、参加者が、前記他の２つの会議室のいずれの参加者と会話しているかを判断する会話相手判断手段と、を備え、
前記発話相手判定手段は、前記視線方向検出手段により検出された視線方向が、前記第１表示領域に向かう場合に前記一方の会議室の参加者に発話していると判定し、前記視線方向検出手段により検出された視線方向が、前記第２表示領域に向かう場合に前記他方の会議室の参加者に発話していると判定し、
前記第１選択手段は、前記会話相手判断手段により前記一方の会議室の参加者と会話していると判断された場合に、前記第１画像データを選択し、前記会話相手判断手段により前記他方の会議室の参加者と会話していると判断された場合に、前記第２画像データおよび前記第３画像データのいずれか一方を選択し、前記他方の会議室の参加者と会話していると判断される状態が第１の所定時間継続すると、前記第１画像データを第２の所定時間選択し、
前記第２選択手段は、前記会話相手判断手段により前記他方の会議室の参加者と会話していると判断された場合に、前記第１画像データを選択し、前記会話相手判断手段により前記一方の会議室の参加者と会話していると判断された場合に、前記第２画像データおよび前記第３画像データのいずれか一方を選択し、前記一方の会議室の参加者と会話していると判断される状態が第１の所定時間継続すると、前記第１画像データを第２の所定時間選択する、会議システム。
【請求項４】
前記第１撮像手段は、参加者を正面から撮影する画角となるように配置され、前記第２撮像手段は、参加者の右側面から撮影する画角となるように配置され、前記第３撮像手段は、参加者の左側面から撮影する画角となるように配置され、
前記第１表示領域と前記第２表示領域とは左右に並んで配置され、
前記制御手段は、前記表示制御手段が前記一方の会議室に配置された前記制御手段から受信される映像データに含まれる画像データを前記第１表示領域に表示していることを示す表示領域情報を前記一方の会議室に配置された前記制御手段に送信する第１表示領域情報送信手段と、
前記表示制御手段が前記他方の会議室に配置された前記制御手段から受信される映像データに含まれる画像データを前記第２表示領域に表示していることを示す表示領域情報を前記他方の会議室に配置された前記制御手段に送信する第２表示領域情報送信手段と、を備え、
前記第１選択手段は、前記会話相手判断手段により前記他方の会議室の参加者と会話していると判断された場合に、前記一方の会議室に配置された前記制御手段から受信される表示領域情報が第１表示領域を示す場合は前記第２画像データを選択し、前記一方の会議室に配置された前記制御手段から受信される表示領域情報が第２表示領域を示す場合は前記第３画像データを選択し、
前記第２選択手段は、前記会話相手判断手段により前記一方の会議室の参加者と会話していると判断された場合に、前記他方の会議室に配置された前記制御手段から受信される表示領域情報が第１表示領域を示す場合は前記第２画像データを選択し、前記一方の会議室に配置された前記制御手段から受信される表示領域情報が第２表示領域を示す場合は前記第３画像データを選択する、請求項３に記載の会議システム。
【請求項５】
前記３つの会議室それぞれは、さらに、
音声を集音するマイクロホンが配置され、
前記制御手段は、前記マイクロホンを、さらに制御し、
前記マイクロホンが出力する音データに基づいて、参加者が発話しているか否かを判断する発話検出手段を、さらに備え、
前記第１選択手段は、前記第２画像データおよび前記第３画像データのいずれか一方を選択しているとき、前記他方の会議室の参加者と会話していると判断される状態が第１の所定時間継続すると、前記発話検出手段により参加者が発話していると判断されることを条件に、前記第１画像データを第２の所定時間選択し、
前記第２選択手段は、前記第２画像データおよび前記第３画像データのいずれか一方を選択しているとき、前記一方の会議室の参加者と会話していると判断される状態が第１の所定時間継続すると、前記発話検出手段により参加者が発話していると判断されることを条件に、前記第１画像データを第２の所定時間選択する、請求項３または４に記載の会議システム。
【請求項６】
前記３つの会議室それぞれは、さらに、
音声を集音するマイクロホンが配置され、
前記制御手段は、前記音声出力装置および前記マイクロホンを、さらに制御し、
前記マイクロホンが出力する音データに基づいて、参加者が発話しているか否かを判断する発話検出手段を、さらに備え、
前記発話相手判定手段は、前記視線方向検出手段により検出された視線方向が、前記第１表示領域に向かい、かつ、前記参加者が発話していると判断される場合に前記一方の会議室の参加者に発話していると判定し、前記視線方向検出手段により検出された視線方向が、前記第２表示領域に向かい、かつ、前記参加者が発話していると判断される場合に前記他方の会議室の参加者に発話していると判定する、請求項３または４に記載の会議システム。
【請求項７】
前記３つの会議室それぞれは、さらに、
音声を出力する音声出力装置が配置され、
前記制御手段は、前記音声出力装置を、さらに制御し、
前記音声出力装置に出力する音声制御手段を、さらに備え、
前記第１会議情報送信手段は、前記第１選択画像データと前記マイクロホンが出力する音データとを含む映像データと、前記発話相手判定手段により判定された発話相手を示す第１発話相手情報と、を前記一方の会議室に配置された前記制御手段に送信し、
前記第２会議情報送信手段は、前記第２選択画像データと前記マイクロホンが出力する音データとを含む映像データと前記第１発話相手情報と、を前記他方の会議室に配置された前記制御手段に送信し、
前記音声制御手段は、前記一方の会議室に配置された前記制御手段から受信される映像データに含まれる音データと、前記他方の会議室に配置された前記制御手段から受信される映像データに含まれる音データと、を前記音声出力装置に出力する、請求項５または６に記載の会議システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、会議システムに関し、特に地理的に離れた複数の会議室を用いて開催される会議に適用可能な会議システムに関する。
【背景技術】
【０００２】
地理的に離れた複数の会議室で開催されるテレビ会議システムが知られている。しかしながら、テレビ会議システムにおいては、異なる場所の様子は、その場所をカメラで撮影した映像でしか知ることができずないため、１つの場所で開催される会議に比較して、臨場感に欠けるといった問題がある。１つの場所で開催される会議に近づけるために、多数の対話者同士の視線を一致させるようにしたテレビ会議システムが特開平６−２５３３０３号公報に記載されている。このテレビ会議システムは、複数の撮影装置Ｘｉj（ｉ＝ａ，ｂ，ｃ、ｊ＝Ｒ，Ｃ，Ｌ）によって、同一対話者Ｘａ，Ｘｂ，Ｘｃを異なる場所から撮影することにより、異なる角度から撮影した複数の映像を得る。これらの映像を遠隔地において投射装置ＰＸｉｊにより表示スクリーンＹ１，Ｙ２，Ｙ３の一つに投射表示するとき、光の入射角度によって散乱度が異なるスクリーンを用い、投射装置ＰＸｉｊの表示スクリーンＹ１，Ｙ２，Ｙ３への投射角度を撮影の方角に対応させ、かつ散乱度が大きい角度にして投射表示する。
【０００３】
このため、従来の会議システムにおいては、例えば、発話者が、ある一方向の参加者と会話する場合には、別の方向の参加者は、発話者と視線が合うことがない。また、発話者が手元の資料などを読みながら発話する場合、参加者と発話者の視線が合うことがない。このため、発話者と視線の会わない参加者は、会議に参加しているという意識が薄れてしまうといった問題がある。
【特許文献１】特開平６−２５３３０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この発明は上述した問題を解決するためになされたもので、この発明の目的の１つは、発表者から参加者にノンバーバル情報が伝達されていないときに、ノンバーバル情報を伝達することが可能な会議システムを提供することである。
【０００５】
この発明の他の目的は、第１会議室の参加者から第２または第３会議室の参加者のいずれかにノンバーバル情報が伝達されていないときに、ノンバーバル情報を伝達することが可能な会議システムを提供することである。
【課題を解決するための手段】
【０００６】
この発明は上述した問題を解決するためになされたもので、この発明のある局面によれば、会議システムは、地理的に離れた複数の会議室をそれぞれ撮像した複数の画像を用いて仮想的な会議室を生成する会議システムであって、複数の会議室それぞれに、画像を表示する表示手段と、表示手段側から該会議室に存在する参加者に向かう被写体方向で参加者を撮像する撮像手段と、表示手段および撮像手段を制御する制御手段と、が配置され、複数の会議室は、発表者が参加する第１会議室と、参加者が参加する少なくとも１つの第２会議室とを含み、第１会議室に配置される制御手段は、撮像手段が出力する画像データに基づいて、発表者の視線方向を検出する視線方向検出手段と、視線検出手段により発表者の視線が表示手段を向く方向が検出されている間に、撮像手段が出力する画像データを記憶する視線画像記憶手段と、撮像手段が出力する画像データおよび記憶手段に記憶された画像データのうちいずれか一方を選択する選択手段と、選択手段により選択された画像データを含む映像データを、少なくとも１つの第２会議室それぞれに配置された制御手段に送信する映像データ送信手段と、を備え、選択手段は、撮像手段が出力する画像データを選択しているときに、視線検出手段により検出された視線方向が表示手段を向く方向でない状態が所定時間継続すると、記憶手段に記憶された画像データを選択し、第２会議室に配置される制御手段は、第１会議室に配置された制御手段から映像データを受信する映像データ受信手段と、映像データ受信手段により受信される映像データに含まれる画像データの画像を表示手段に表示させる表示制御手段と、を備える。
【０００７】
この局面に従えば、発表者が参加する第１会議室に配置される制御手段によって、撮像手段が出力する画像データに基づいて、発表者の視線方向が検出され、発表者の視線が表示手段を向く方向が検出されている間に、撮像手段が出力する画像データが記憶され、撮像手段が出力する画像データおよび記憶手段に記憶された画像データのうちいずれか一方が選択され、選択された画像データを含む映像データが、第２会議室に配置された制御手段に送信される。また、撮像手段が出力する画像データを選択しているときに、検出された視線方向が表示手段を向く方向でない状態が所定時間継続すると、記憶手段に記憶された画像データが選択される。第１会議室の参加者の視線方向が表示手段を向いているときは、第２会議室の参加者は第１会議室の参加者と視線が合うが、第１会議室の参加者の視線方向が表示手段を向いていないときはるときは、第２会議室の参加者は第１会議室の参加者と視線が合わない。第２会議室の参加者は第１会議室の参加者と視線が合わない状態が所定時間継続すると、第１会議室の参加者の視線方向が表示手段を向いているときに記憶された画像データが選択されるので、第２会議室の参加者は第１会議室の参加者と視線が合う画像を見ることになる。このため、発表者から参加者にノンバーバル情報が伝達されていないときに、ノンバーバル情報を伝達することが可能な会議システムを提供することができる。
【０００８】
好ましくは、選択手段は、視線検出手段により検出された視線方向が表示手段を向く方向の場合は、撮像手段が出力する画像データを選択する。
【０００９】
この発明の他の局面によれば、会議システムは、地理的に離れた３つの会議室をそれぞれ撮像した複数の画像を用いて仮想的な会議室を生成する会議システムであって、３つの会議室それぞれに、２つの表示領域を含む表示手段と、表示手段側から該会議室に参加する参加者に向かう第１の方向で参加者を撮像する第１撮像手段と、第１の方向と交わる第２の方向で参加者を撮像する第２撮像手段と、第２の方向と逆の第３の方向で参加者を撮像する第３撮像手段と、表示手段および第１〜第３撮像手段を制御する制御手段と、が配置され、制御手段は、第１撮像手段が出力する第１画像データに基づいて、参加者の視線方向が第１表示領域に向かう第１視線方向または第２表示領域に向かう第２視線方向であるかを検出する視線方向検出手段と、視線方向検出手段による検出結果に基づいて、参加者が発話する相手を判定する発話相手判定手段と、第１〜第３撮像手段がそれぞれ出力する第１〜第３画像データのうちから１つの第１選択画像データを選択する第１選択手段と、第１〜第３撮像手段がそれぞれ出力する第１〜第３画像データのうちから１つの第２選択画像データを選択する第２選択手段と、第１選択画像データを含む映像データと、発話相手判定手段により判定された発話相手を示す第１発話相手情報と、を他の２つの会議室のうち一方の会議室に配置された制御手段に送信する第１会議情報送信手段と、第２選択画像データを含む映像データと第１発話相手情報と、を他の２つの会議室のうち一方の会議室とは異なる他方の会議室に配置された制御手段に送信する第２会議情報送信手段と、一方の会議室に配置された制御手段から映像データと一方の会議室の参加者が発話する相手を示す第２発話相手情報とを受信する第１会議情報受信手段と、他方の会議室に配置された制御手段から映像データと他方の会議室の参加者が発話する相手を示す第３発話相手情報とを受信する第２会議情報受信手段と、一方の会議室に配置された制御手段から受信される映像データに含まれる画像データを第１表示領域に表示し、他方の会議室に配置された制御手段から受信される映像データに含まれる画像データを第２表示領域に表示させるように表示手段を制御する表示制御手段と、第１〜第３発話相手情報に基づいて、参加者が、他の２つの会議室のいずれの参加者と会話しているかを判断する会話相手判断手段と、を備え、発話相手判定手段は、視線方向検出手段により検出された視線方向が、第１表示領域に向かう場合に一方の会議室の参加者に発話していると判定し、視線方向検出手段により検出された視線方向が、第２表示領域に向かう場合に他方の会議室の参加者に発話していると判定し、第１選択手段は、会話相手判断手段により一方の会議室の参加者と会話していると判断された場合に、第１画像データを選択し、会話相手判断手段により他方の会議室の参加者と会話していると判断された場合に、第２画像データおよび第３画像データのいずれか一方を選択し、他方の会議室の参加者と会話していると判断される状態が第１の所定時間継続すると、第１画像データを第２の所定時間選択し、第２選択手段は、会話相手判断手段により他方の会議室の参加者と会話していると判断された場合に、第１画像データを選択し、会話相手判断手段により一方の会議室の参加者と会話していると判断された場合に、第２画像データおよび第３画像データのいずれか一方を選択し、一方の会議室の参加者と会話していると判断される状態が第１の所定時間継続すると、第１画像データを第２の所定時間選択する。
【００１０】
この局面に従えば、参加者が一方の会議室の参加者と会話していると判断された場合に、参加者に向かう第１の方向で参加者を撮像した第１画像データが選択され、他方の会議室の参加者と会話していると判断された場合に、第１の方向と交わる第２の方向または第２の方向と逆の第３の方向で参加者を撮像した第２画像データおよび第３画像データのいずれか一方が選択され、他方の会議室の参加者と会話していると判断される状態が第１の所定時間継続すると、第１画像データが第２の所定時間選択され、選択された画像データが一方の会議室に配置された制御手段に送信される。また、参加者が他方の会議室の参加者と会話していると判断された場合に、参加者に向かう第１の方向で参加者を撮像した第１画像データが選択され、一方の会議室の参加者と会話していると判断された場合に、第１の方向と交わる第２の方向または第２の方向と逆の第３の方向で参加者を撮像した第２画像データおよび第３画像データのいずれか一方が選択され、一方の会議室の参加者と会話していると判断される状態が第１の所定時間継続すると、第１画像データが第２の所定時間選択され、選択された画像データが他方の会議室に配置された制御手段に送信される。このため、参加者に向かう第１の方向で参加者を撮像した第１画像データを見る第２または第３会議室の参加者は、第１会議室の参加者と視線が合うが、第２または第３画像データを見る第２または第３会議室の参加者は、第１会議室の参加者と視線が合わない。他方の会議室の参加者と会話していると判断される状態では、一方の会議室の参加者は第１会議室の参加者と視線が合わないが、第１の所定時間継続すると、第１画像データが第２の所定時間一方の会議室に送信されるので、一方の会議室の参加者は第１会議室の参加者と第２の所定時間視線が合う。また、一方の会議室の参加者と会話していると判断される状態では、他方の会議室の参加者は第１会議室の参加者と視線が合わないが、第１の所定時間継続すると、第１画像データが第２の所定時間他方の会議室に送信されるので、他方の会議室の参加者は第１会議室の参加者と第２の所定時間視線が合う。このため、第１会議室の参加者から第２または第３会議室の参加者のいずれかにノンバーバル情報が伝達されていないときに、ノンバーバル情報を伝達することが可能な会議システムを提供することができる。
【００１１】
好ましくは、第１撮像手段は、参加者を正面から撮影する画角となるように配置され、第２撮像手段は、参加者の右側面から撮影する画角となるように配置され、第３撮像手段は、参加者の左側面から撮影する画角となるように配置され、第１表示領域と第２表示領域とは左右に並んで配置され、制御手段は、表示制御手段が一方の会議室に配置された制御手段から受信される映像データに含まれる画像データを第１表示領域に表示していることを示す表示領域情報を一方の会議室に配置された制御手段に送信する第１表示領域情報送信手段と、表示制御手段が他方の会議室に配置された制御手段から受信される映像データに含まれる画像データを第２表示領域に表示していることを示す表示領域情報を他方の会議室に配置された制御手段に送信する第２表示領域情報送信手段と、を備え、第１選択手段は、会話相手判断手段により他方の会議室の参加者と会話していると判断された場合に、一方の会議室に配置された制御手段から受信される表示領域情報が第１表示領域を示す場合は第２画像データを選択し、一方の会議室に配置された制御手段から受信される表示領域情報が第２表示領域を示す場合は第３画像データを選択し、第２選択手段は、会話相手判断手段により一方の会議室の参加者と会話していると判断された場合に、他方の会議室に配置された制御手段から受信される表示領域情報が第１表示領域を示す場合は第２画像データを選択し、一方の会議室に配置された制御手段から受信される表示領域情報が第２表示領域を示す場合は第３画像データを選択する。
【００１２】
この局面に従えば、他方の会議室の参加者と会話していると判断された場合に、一方の会議室に配置された制御手段から受信される表示領域情報が第１表示領域を示す場合は第２画像データが選択され、一方の会議室に配置された制御手段から受信される表示領域情報が第２表示領域を示す場合は第３画像データが選択され、選択された第１選択画像データが一方の会議室に配置された制御手段に送信される。また、一方の会議室の参加者と会話していると判断された場合に、他方の会議室に配置された制御手段から受信される表示領域情報が第１表示領域を示す場合は第２画像データが選択され、一方の会議室に配置された制御手段から受信される表示領域情報が第２表示領域を示す場合は第３画像データが選択され、選択された第２選択画像データが他方の会議室に配置された制御手段に送信される。このため、３つの会議室それぞれの参加者は、他の２つの会議室の参加者が会話している間は、他の２つの会議室の二人の参加者が向かい合って会話する画像を見ることができる。
【００１３】
好ましくは、３つの会議室それぞれは、さらに、音声を集音するマイクロホンが配置され、制御手段は、マイクロホンをさらに制御し、マイクロホンが出力する音データに基づいて、参加者が発話しているか否かを判断する発話検出手段を、さらに備え、第１選択手段は、第２画像データおよび第３画像データのいずれか一方を選択しているとき、他方の会議室の参加者と会話していると判断される状態が第１の所定時間継続すると、発話検出手段により参加者が発話していると判断されることを条件に、第１画像データを第２の所定時間選択し、第２選択手段は、第２画像データおよび第３画像データのいずれか一方を選択しているとき、一方の会議室の参加者と会話していると判断される状態が第１の所定時間継続すると、発話検出手段により参加者が発話していると判断されることを条件に、第１画像データを第２の所定時間選択する。
【００１４】
この局面に従えば、第２会議室に配置された制御手段に送信する第１選択画像データとして、第２画像データおよび第３画像データのいずれか一方を選択しているとき、他方の会議室の参加者と会話していると判断される状態が第１の所定時間継続すると、第１会議室の参加者が発話していると判断されることを条件に、第１画像データが第２の所定時間第１選択画像データとして選択され、第２会議室に配置された制御手段に送信される。また、第３会議室に配置された制御手段に送信する第２選択画像データとして、第２画像データおよび第３画像データのいずれか一方を選択しているとき、一方の会議室の参加者と会話していると判断される状態が第１の所定時間継続すると、第１会議室の参加者が発話していると判断されることを条件に、第１画像データが第２の所定時間第２選択画像データとして選択され、第３会議室に配置された制御手段に送信される。このため、第２会議室の参加者は、第１および第３会議室の参加者が会話しているときは、二人の参加者が向かい合って会話する画像を見るが、その状態が第１の所定時間継続すると、第１または第３会議室の参加者いずれかが発話していれば、第１または第３会議室の参加者のうち発話している参加者と視線が合う画像を見ることになる。また、第３会議室の参加者は、第１および第２会議室の参加者が会話しているときは、二人の参加者が向かい合って会話する画像を見るが、その状態が第１の所定時間継続すると、第１または第２会議室の参加者が発話していれば、第１または第２会議室の参加者のうち発話している参加者と視線が合う画像を見ることになる。さらに、第１会議室の参加者は、第２および第３会議室の参加者が会話しているときは、二人の参加者が向かい合って会話する画像を見るが、その状態が第１の所定時間継続すると、第２または第３会議室の参加者が発話していれば、第２または第３会議室の参加者のうち発話している参加者と視線が合う画像を見ることになる。このため、３つの会議室それぞれの参加者は、他の２つの会議室の参加者が会話している間は、他の２つの会議室の二人の参加者が向かい合って会話する画像を見るが、他の２つの会議室の参加者が会話している状態が所定時間継続すると、他の２つの会議室の参加者のうち発話している参加者と視線が合う画像を見ることができる。
【００１５】
好ましくは、３つの会議室それぞれは、さらに、音声を集音するマイクロホンが配置され、制御手段は、音声出力装置およびマイクロホンを、さらに制御し、マイクロホンが出力する音データに基づいて、参加者が発話しているか否かを判断する発話検出手段を、さらに備え、発話相手判定手段は、視線方向検出手段により検出された視線方向が、第１表示領域に向かい、かつ、参加者が発話していると判断される場合に一方の会議室の参加者に発話していると判定し、視線方向検出手段により検出された視線方向が、第２表示領域に向かい、かつ、参加者が発話していると判断される場合に他方の会議室の参加者に発話していると判定する。
【００１６】
好ましくは、３つの会議室それぞれは、さらに、音声を出力する音声出力装置が配置され、制御手段は、音声出力装置を、さらに制御し、音声出力装置に出力する音声制御手段を、さらに備え、第１会議情報送信手段は、第１選択画像データとマイクロホンが出力する音データとを含む映像データと、発話相手判定手段により判定された発話相手を示す第１発話相手情報と、を一方の会議室に配置された制御手段に送信し、第２会議情報送信手段は、第２選択画像データとマイクロホンが出力する音データとを含む映像データと第１発話相手情報と、を他方の会議室に配置された制御手段に送信し、音声制御手段は、一方の会議室に配置された制御手段から受信される映像データに含まれる音データと、他方の会議室に配置された制御手段から受信される映像データに含まれる音データと、を音声出力装置に出力する。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施の形態における会議システム全体の概要を示す図である。
【図２】第１の実施の形態におけるＰＣのハードウエア構成の一例を示すブロック図である。
【図３】第１の実施の形態におけるＰＣが備えるＣＰＵの機能の一例を示すブロック図である。
【図４】第１の実施の形態における映像データ送信処理の流れの一例を示すフローチャートである。
【図５】第１の実施の形態の変形例におけるＰＣが備えるＣＰＵの機能の一例を示すブロック図である。
【図６】第２の実施の形態における会議システム全体の概要を示す図である。
【図７】第２の実施の形態におけるＰＣのハードウエア構成の一例を示すブロック図である。
【図８】第１〜第３会議室の参加者とカメラとの位置関係を説明するための図である。
【図９】第１会議室に配置されたＰＣを中心に、第２会議室に配置されたＰＣおよび第３会議室に配置されたＰＣとの間で送受信されるデータの一例を示す図である。
【図１０】表示部の表示領域の一例を示す図である。
【図１１】第２の実施の形態におけるＰＣが備えるＣＰＵの機能の一例を示すブロック図である。
【図１２】第２の実施の形態における映像データ送信処理の流れの一例を示すフローチャートである。
【図１３】発話相手検出処理の流れの一例を示すフローチャートである。
【図１４】会話相手検出処理の流れの一例を示すフローチャートである。
【図１５】選択画像設定処理の流れの一例を示すフローチャートである。
【図１６】第２選択画像データ設定処理の流れの一例を示すフローチャートである。
【図１７】第１選択画像データ設定処理の流れの一例を示すフローチャートである。
【図１８】第１参加者と第２参加者が会話しているときの第１〜第３会議室の表示状態の一例を示す図である。
【図１９】第１参加者と第３参加者が会話しているときの第１〜第３会議室の表示状態の一例を示す図である。
【図２０】第２参加者と第３参加者が会話しているときの第１〜第３会議室の表示状態の一例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。
【００１９】
＜第１の実施の形態＞
図１は、本発明の第１の実施の形態における会議システム全体の概要を示す図である。図１を参照して、第１の実施の形態における会議システム１は、ネットワーク３に接続された６台のパーソナルコンピュータ（以下「ＰＣ」という）１００，１００Ａ〜１００Ｆを含む。ＰＣ１００，１００Ａ〜１００Ｆは、地理的に離れた第１〜第７会議室にそれぞれ設置される。
【００２０】
第１の実施の形態における会議システム１は、第１〜第７会議室にそれぞれ存在する７人の参加者のいずれか一人が発話し、他の６人が発話者を撮像した画像と発話内容の音声を視聴する場合に有効であり、ここでは、第１会議室に存在する参加者が発話し、第２〜第７会議室それぞれに存在する参加者が視聴する場合を例に説明する。第１〜第７会議室それぞれに配置されるＰＣ１００，１００Ａ〜１００Ｆの構成は同じである。以下の説明では、第２〜第７会議室それぞれに配置されるＰＣ１００Ａ〜ＰＣ１００Ｆの構成要素に付す符号を、第１会議室に配置されるＰＣ１００の構成要素に付す符号に添え字Ａ〜Ｆを付して説明する。また、第１〜第７会議室それぞれに配置されるＰＣ１００，１００Ａ〜１００Ｆの構成は同じなので、以下の説明では特に言及しない限り、第１会議室に配置されるＰＣ１００を例に説明する。
【００２１】
第１会議室に配置されるＰＣ１００は、音を集音するマイクロホン３１と、音を出力するスピーカ３３と、ＰＣ１００の正面を撮像するカメラ３５と、を備えている。ネットワーク３は、ローカルエリアネットワーク（ＬＡＮ）である。このため、ＰＣ１００，１００Ａ〜１００Ｆは、互いにデータを送受信することが可能である。なお、ネットワーク３は、ＬＡＮに限らず、インターネット、ワイドエリアネットワーク（ＷＡＮ）、公衆交換電話網等であってもよい。また、ネットワーク３は、有線であってもよく、無線であってもよい。
【００２２】
第１の実施の形態における会議システムにおいては、第１会議室に配置されたＰＣ１００のカメラ３５で参加者を撮像した画像が、第２〜第７会議室にそれぞれ配置されたＰＣ１００Ａ〜１００Ｆそれぞれの表示部に表示され、第１会議室に配置されたＰＣ１００のマイクロホン３１で集音した音声が、第２〜第７会議室にそれぞれ配置されたＰＣ１００Ａ〜１００Ｆそれぞれのスピーカ３３Ａ〜３３Ｆから出力される。
【００２３】
また、第１会議室に配置されたＰＣ１００の表示部には、第１会議室に配置されたＰＣ１００の表示部には、第２〜第７会議室にそれぞれ配置されたＰＣ１００Ａ〜１００Ｆそれぞれのカメラ３５Ａ〜３５Ｆで撮影された６つの画像を並へて配置した画面が表示され、第１会議室に配置されたＰＣ１００のスピーカ３３からは、第２〜第７会議室にそれぞれ配置されたＰＣ１００Ａ〜１００Ｆそれぞれのマイクロホン３１Ａ〜３１Ｆで集音された音を合成した音が出力される。
【００２４】
図２は、第１の実施の形態におけるＰＣのハードウエア構成の一例を示すブロック図である。図２を参照して、ＰＣ１００は、それぞれがバス４１に接続されたＣＰＵ１１と、ＣＰＵ１１が実行するプログラム等を記憶するためのＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１３と、ＣＰＵ１１の作業領域として用いられるＲＡＭ１５と、大容量記憶装置としてのＨＤＤ１７と、メモリカード１８が装着されるカードインターフェース（Ｉ／Ｆ）１９と、ＰＣ１００をネットワーク３に接続するための通信Ｉ／Ｆ２１と、参加者とのインターフェースとなるユーザインターフェース２３と、外部Ｉ／Ｆ２９と、を含む。
【００２５】
ＣＰＵ１１は、ＰＣ１００の全体を制御する。また、ＣＰＵ１１は、ＲＯＭ１３に記憶されたプログラムを実行する。また、ＣＰＵ１１は、カードＩ／Ｆ１９を介してメモリカード１８に記憶されたプログラムをＲＡＭ１５にロードし、実行するようにしてもよい。
【００２６】
さらに、ＣＰＵ１１がネットワーク３に接続されたコンピュータからプログラムをダウンロードしてＨＤＤ１７に記憶する、または、ネットワーク３に接続されたコンピュータがプログラムをＨＤＤ１７に書き込みするようにしてＣＰＵ１１で実行するようにしてもよい。ここでいうプログラムは、ＣＰＵ１１により直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００２７】
ユーザインターフェース２３は、キーボードとマウス等のポインティングデバイスとを含む操作部２５と、データを表示する液晶表示装置等からなる表示部２７とを含む。
【００２８】
外部Ｉ／Ｆ２９には、マイクロホン３１、スピーカ３３およびカメラ３５が接続される。マイクロホン３１は、ＰＣ１００の参加者が発生する音声を集音し、集音した音声の音データを、外部Ｉ／Ｆ２９に出力する。外部Ｉ／Ｆ２９は、マイクロホン３１から入力される音データを、ＣＰＵ１１に出力する。スピーカ３３は、ＣＰＵ１１により制御され、ＣＰＵ１１から入力される音データに基づいて音を出力する。カメラ３５は、ＰＣ１００を操作する参加者を撮像し、撮像した画像の画像データを外部Ｉ／Ｆ２９に出力する。外部Ｉ／Ｆ２９は、カメラ３５から入力される画像データを、ＣＰＵ１１に出力する。カメラ３５は、表示部２７の上側に配置される。これにより、表示部２７を見る参加者の画像を撮像するので、参加者を正面から撮像することができる。
【００２９】
なお、ＣＰＵ１１が実行するためのプログラムを記憶する記録媒体としては、メモリカード１８に限られず、フレキシブルディスク、カセットテープ、光ディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）／ＭＯ（Ｍａｇｎｅｔｉｃ  Ｏｐｔｉｃａｌ  Ｄｉｓｃ）／ＭＤ（Ｍｉｎｉ  Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ））、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）などの半導体メモリ等の媒体でもよい。
【００３０】
図３は、第１の実施の形態におけるＰＣが備えるＣＰＵの機能の一例を示すブロック図である。図３を参照して、ＰＣ１００は、カメラ３５が出力する画像データを取得する画像データ取得部５１と、マイクロホン３１が出力する音データを取得する音データ取得部５３と、画像データに基づいて被写体の視線方向を検出する視線方向検出部５５と、所定の画像データを視線画像データとしてＨＤＤ１７に記憶する視線画像記憶部５７と、カメラ３５から取得された画像データとＨＤＤ１７に記憶された視線画像データのいずれか一方を選択する選択部５９と、音データと画像データとを含む映像データを送信する映像データ送信部６１と、通信Ｉ／Ｆ２１を制御して映像データを受信する映像データ受信部６３と、表示部２７を制御する表示制御部６５と、スピーカ３３を制御する音声制御部６７と、を含む。
【００３１】
画像データ取得部５１は、外部Ｉ／Ｆ２９に接続されたカメラ３５を制御し、カメラ３５が出力する画像データを取得する。画像データは、動画像であってもよいし、静止画像であってもよい。ここでは、画像データを動画像としている。画像データ取得部５１は、画像データを視線方向検出部５５、選択部５９および視線画像記憶部５７に出力する。
【００３２】
音データ取得部５３は、外部Ｉ／Ｆ２１に接続されたマイクロホン３１を制御し、マイクロホン３１が出力する音データを取得する。音データ取得部５３は、音データを映像データ送信部６１に出力する。
【００３３】
視線方向検出部５５は、画像データ取得部５１から入力される画像データに基づいて被写体の視線方向を検出する。具体的には、画像データに含まれる被写体の領域を抽出し、被写体の領域から、目の領域および瞳の領域を抽出する。目の領域に対する瞳の領域の位置関係から視線方向を検出する。瞳の領域を、左、中、右の３つの領域に水平方向に３分割し瞳の領域が、３つの分割領域のいずれに存在するかを判別する。瞳の領域が、目の領域の左の分割領域に存在すれば、右方向の視線方向を検出し、瞳の領域が、目の領域の中の分割領域に存在すれば、正面方向の視線方向を検出し、瞳の領域が、目の領域の右の分割領域に存在すれば、左方向の視線方向を検出する。視線方向検出部５５は、検出した視線方向を選択部５９および視線画像記憶部５７に出力する。視線方向検出部５５は、被写体の領域から目の領域を抽出できない場合、視線方向を検出できないので、この場合には、視線方向が検出できないことを示す信号を出力する。
【００３４】
なお、目の領域を、上中下および左中右の９つの領域に垂直方向および水平方向に９分割し、瞳の領域が、９つの分割領域のいずれに存在するかを判別するようにして、水平方向の視線方向に加えて、垂直方向の視線方向を検出するようにしてもよい。この場合、瞳の領域が、目の領域の垂直方向が中であって水平方向が左の分割領域に存在すれば、右方向の視線方向を検出し、瞳の領域が、目の領域の垂直方向が中であって水平方向が中の分割領域に存在すれば、正面方向の視線方向を検出し、瞳の領域が、目の領域の垂直方向が中であって水平方向が右の分割領域に存在すれば、左方向の視線方向を検出する。視線方向検出部５５は、瞳の領域が、目の領域の垂直方向が上または下の分割領域に存在すれば、上方向または下方向の視線方向を検出する。
【００３５】
視線画像記憶部５７は、画像データ取得部５１から画像データが入力され、視線方向検出部５５から視線方向が入力される。視線画像記憶部５７は、視線方向が正面方向の間、画像データ取得部５１から入力される画像データを視線画像データとしてＨＤＤ１７に記憶する。これにより、視線を正面にした被写体の画像を含む視線画像データ１０１がＨＤＤ１７に記憶される。
【００３６】
選択部５９は、画像データ取得部５１から画像データが入力され、視線方向検出部５５から視線方向が入力される。選択部５９は、視線方向検出部５５から入力される視線方向に基づいて、画像データ取得部５１から入力される画像データと、ＨＤＤ１７に記憶された視線画像データ１０１のいずれか一方を選択する。具体的には、選択部５９は、視線方向検出部５５から正面方向を示す視線方向が入力されなくなってから所定時間Ｔ１が継続すると、ＨＤＤ１７に記憶された視線画像データを、所定時間Ｔ２の間選択し、それ以外の間は画像データ取得部５１から入力される画像データを選択する。
【００３７】
選択部５９は、視線方向検出部５５から正面方向の視線方向が入力される間は、画像データ取得部５１から入力される画像データを選択する。また、選択部５９は、視線方向検出部５５から正面方向の視線方向が入力されない間であっても、視線方向検出部５５から正面方向の視線方向が入力されなくなってから所定時間Ｔ１が経過するまでの間は、画像データ取得部５１から入力される画像データを選択する。さらに、選択部５９は、視線方向検出部５５から正面方向の視線方向が入力されない間は、ＨＤＤ１７に記憶された視線画像データを選択した後、所定時間Ｔ２が経過すると画像データ取得部５１から入力される画像データを選択すする。さらに、選択部５９は、視線方向検出部５５から正面方向の視線方向が入力されない間は、一度でも視線画像データを選択した場合には、画像データ取得部５１から入力される画像データを選択した後、所定時間Ｔ１経過するまでの間は画像データ取得部５１から入力される画像データを継続して選択する。
【００３８】
選択部５９は、画像データ取得部５１から入力される画像データおよびＨＤＤ１７に記憶された視線画像データのうちから選択されたいずれか一方を映像データ送信部６１に出力する。
【００３９】
映像データ送信部６１は、音データ取得部５３から音データが入力され、選択部５９から画像データが入力され、音データと画像データとを含む映像データを、通信Ｉ／Ｆ２１を介して、ＰＣ１００Ａ〜１００Ｆに送信する。なお、第２〜第７会議室に設置されるＰＣ１００Ａ〜１００Ｆは、ＰＣ１００，１００Ａ〜１００Ｆのうち自装置以外のＰＣに、映像データを送信する。
【００４０】
映像データ受信部６３は、通信Ｉ／Ｆ２１を制御して、ＰＣ１００Ａ〜１００Ｆそれぞれが送信する映像データを受信する。映像データ受信部６３は、映像データに含まれる画像データを表示制御部６５に出力し、映像データに含まれる音データを音声制御部６７に出力する。表示制御部６５は、映像データ受信部６３から入力される画像データの画像を表示部２７に表示する。本実施の形態においては、映像データ受信部６３は、第２〜第７会議室にそれぞれ設置されるＰＣ１００Ａ〜１００Ｆそれぞれから映像データを受信するので、６つの画像データに基づき６つ画像を並べて配置した画面を表示部２７に表示する。なお、第２〜第７会議室に設置されるＰＣ１００Ａ〜１００Ｆは、ＰＣ１００，１００Ａ〜１００Ｆのうち自装置以外のＰＣのすべてから映像データを受信するが、それらのうちからＰＣ１００から受信された映像データに含まれる画像データの画像を表示部２７Ａ〜２７Ｆに表示する。
【００４１】
音声制御部６７は、映像データ受信部６３から入力される音データをスピーカ３３に出力し、スピーカ３３に音を出力させる。本実施の形態においては、映像データ受信部６３は、第２〜第７会議室にそれぞれ設置されるＰＣ１００Ａ〜１００Ｆそれぞれから映像データを受信するので、６つの音データに基づき６つ音データを合成した音をスピーカ３３に出力させる。第２〜第７会議室に設置されるＰＣ１００Ａ〜１００Ｆは、ＰＣ１００，１００Ａ〜１００Ｆのうち自装置以外のＰＣのすべてから映像データを受信する。ＰＣ１００Ａ〜１００Ｆは、ＰＣ１００，１００Ａ〜１００Ｆのうち自装置以外のＰＣのすべてから受信される６つの映像データに含まれる６つの音データを合成した音をスピーカ３３Ａ〜３３Ｆにそれぞれ出力させる。
【００４２】
図４は、第１の実施の形態における映像データ送信処理の流れの一例を示すフローチャートである。映像データ送信処理は、ＰＣ１００，１００Ａ〜１００Ｆそれぞれにおいて実行されるが、処理対象とする画像データおよび音データが異なるのみなので、ここではＰＣ１００を例に説明する。映像データ送信処理は、ＰＣ１００が備えるＣＰＵ１１がＲＯＭ１３、ＨＤＤ１７またはメモリカード１８に記憶された映像データ送信プログラムを実行することにより、ＣＰＵ１１により実行される処理である。
【００４３】
図４を参照して、ＣＰＵ１１は、カメラ３５から入力される画像データに基づいて、被写体の視線方向を検出する（ステップＳ０１）。そして、検出された視線方向が所定方向か否かを判断する（ステップＳ０２）。所定方向は、ここでは正面方向としている。ステップＳ０１において検出された視線方向が正面方向ならば処理をステップＳ０３に進め、そうでなければ処理をステップＳ０６に進める。ステップＳ０３においては、タイマをリセットする。タイマは、被写体の視線方向が正面方向から正面方向以外の方向になってからの時間を計時する。タイマをリセットすることによって、タイマ値は、０となり、その後タイマは計時を開始する。
【００４４】
次のステップＳ０４においては、カメラ３５から入力される画像データを視線画像データとしてＨＤＤ１７に記憶する。これにより、ＨＤＤ１７に、視線方向か正面方向の被写体の画像を含む視線画像データ１０１がＨＤＤ１７に記憶される。次のステップＳ０５においては、カメラ３５から入力される画像データを、送信の対象となる画像データに選択し、処理をステップＳ１１に進める。
【００４５】
ステップＳ０６においては、タイマ値が予め定められたしきい値Ｔ１以上か否かを判断する。タイマ値がしきい値Ｔ１以上ならば処理をステップＳ０７に進めるが、そうでなければ処理をステップＳ１０に進める。タイマ値は、ステップＳ０３においてリセットされるため、ステップＳ０３の処理が実行されなくなってからの時間である。換言すれば、ステップＳ０２において被写体の視線方向が正面方向でないと判断されてからの経過時間である。したがって、ステップＳ０６においては、被写体が正面方向を見なくなってからの時間がしきい値Ｔ１以上になるとステップＳ０７の処理が実行される。
【００４６】
ステップＳ０７においては、ステップＳ０４においてＨＤＤ１７に記憶された視線画像データ１０１を、送信の対象とする画像データに選択し、処理をステップＳ０８に進める。ステップＳ０８においては、タイマ値が予め定められたしきい値Ｔ２以上か否かを判断する。しきい値Ｔ２は、しきい値Ｔ１よりも大きな値である。タイマ値がしきい値Ｔ２以上ならば処理をステップＳ０９に進めるが、そうでなければステップＳ０９をスキップして処理をステップＳ１１に進める。ステップＳ０９においては、タイマをリセットする。一方、ステップＳ１０においては、カメラ３５から入力される画像データを、送信の対象となる画像データに選択し、処理をステップＳ１１に進める。
【００４７】
ステップＳ０９においてタイマがリセットされると、次にステップＳ０６が実行される場合に、処理がステップＳ１０に進む。このため、被写体の視線方向が正面方向でなってからその状態がしきい値Ｔ１以上しきい値Ｔ２未満の間は、視線画像データが選択される。換言すれば、しきい値Ｔ２としきい値Ｔ１との差分の時間ＴＭ、視線画像データが選択される。さらに、タイマ値が、しきい値Ｔ２以上になると、タイマがリセットされるので、被写体の視線方向が正面方向でない状態がしきい値Ｔ２以上継続する場合には、しきい値Ｔ１の間はカメラ３５から入力される画像データを選択する処理（ステップＳ０７）、その後の時間ＴＭの間は視線画像データを選択する処理（ステップＳ１０）が繰り返えされる。
【００４８】
ステップＳ１１においては、ステップＳ０５、ステップＳ０７およびステップＳ１０のいずれかで送信の対象に選択された画像データと、マイクロホン３１が入力される音データとを含む映像データを他のＰＣに送信する。ＰＣ１００，１００Ａ〜１００Ｆのうち、自装置以外のＰＣのすべてに対して、通信Ｉ／Ｆ２１を介して送信する。次のステップＳ１２においては、終了指示を受け付けたか否かを判断する。参加者が、操作部２５の備える終了指示が割り当てられたキーを押下すれば、終了指示を受け付ける。終了指示を受け付けたならば処理を終了するが、そうでなければ処理をステップＳ０１に戻す。
【００４９】
本実施の形態におけるＰＣ１００は、第１会議室に配置され、カメラ３５が出力する画像データを解析して、被写体、換言すれば第１会議室に存在する参加者の視線が正面方向を向いているときの画像データをＨＤＤ１７に視線画像データとして記憶しておき、正面方向を向いていない時間が所定時間Ｔ１になると、過去に正面方向を向いていたときの画像データをＨＤＤ１７から読み出して、画像データに代えて他のＰＣ１００Ａ〜１００Ｆに送信する。このため、第１会議室に存在する参加者が、原稿などを見ながら発話するなどであっても、第１会議室の参加者のノンバーバルな情報を他の第２〜第７会議室に配置されたＰＣ１００Ａ〜１００Ｆで表示することができる。
【００５０】
＜変形例＞
上述した第１の実施の形態における会議システム１においては、ＰＣ１００，１００Ａ〜１００Ｆそれぞれが他のすべてのＰＣに映像データを送信する際に、送信側のＰＣが、視線画像データとカメラ３５が出力する実際に撮影した画像データとのいずれかを選択するようにした。変形例における会議システム１においては、送信側のＰＣで実行していた選択処理を、受信側のＰＣで実行するようにしたものである。このため、第２会議室に設置されるＰＣ１００Ａを例に、上述した第１の実施の形態における会議システム１と異なる点を主に説明する。
【００５１】
図５は、第１の実施の形態の変形例におけるＰＣが備えるＣＰＵの機能の一例を示すブロック図である。図５を参照して、ＰＣ１００Ａは、カメラ３７が出力する画像データを取得する画像データ取得部５１Ａと、マイクロホン３１Ａが出力する音データを取得する音データ取得部５３Ａと、音データと画像データとを含む映像データを送信する映像データ送信部６１Ａと、通信Ｉ／Ｆ２１Ａを制御して映像データを受信する映像データ受信部６３Ａと、画像データに基づいて被写体の視線方向を検出する視線方向検出部５５Ａと、所定の画像データを視線画像データとしてＨＤＤ１７Ａに記憶する視線画像記憶部５７Ａと、受信された映像データに含まれる画像データとＨＤＤ１７Ａに記憶された視線画像データのいずれか一方を選択する選択部５９Ａと、表示部２７Ａを制御する表示制御部６５Ａと、スピーカ３３Ａを制御する音声制御部６７Ａと、を含む。
【００５２】
画像データ取得部５１Ａは、外部Ｉ／Ｆ２９Ａに接続されたカメラ３７を制御し、カメラ３７が出力する画像データを取得する。画像データ取得部５１Ａは、画像データを映像データ送信部６１Ａに出力する。音データ取得部５３Ａは、外部Ｉ／Ｆ２１Ａに接続されたマイクロホン３１Ａを制御し、マイクロホン３１Ａが出力する音データを取得する。音データ取得部５３Ａは、音データを映像データ送信部６１Ａに出力する。
【００５３】
映像データ送信部６１Ａは、画像データ取得部５１Ａから画像データが入力され、音データ取得部５３Ａから音データが入力され、音データと画像データとを含む映像データを、通信Ｉ／Ｆ２１Ａを介して、ＰＣ１００，１００Ａ〜１００Ｆのうち自装置以外のＰＣ１００，ＰＣ１００Ｂ〜１００Ｆに送信する。なお、第１、第３〜第７会議室に設置されるＰＣ１００，ＰＣ１００Ｂ〜１００Ｆも、同様に、ＰＣ１００，１００Ａ〜１００Ｆのうち自装置以外のＰＣに映像データを送信する。
【００５４】
映像データ受信部６３Ａは、通信Ｉ／Ｆ２１を制御して、他のＰＣ１００，ＰＣ１００Ｂ〜１００Ｆそれぞれが送信する映像データを受信する。映像データ受信部６３Ａは、ＰＣ１００，ＰＣ１００Ｂ〜１００Ｆそれぞれから受信される映像データのうち、発話する参加者が存在する第１会議室に配置されたＰＣ１００から受信される映像データを選択し、選択された映像データに含まれる画像データを、視線方向検出部５５Ａ、選択部５９Ａに出力する。
【００５５】
また、映像データ受信部６３Ａは、ＰＣ１００，ＰＣ１００Ｂ〜１００Ｆそれぞれから受信される映像データに含まれる６つの音データを音声制御部６７Ａに出力する。音声制御部６７Ａは、映像データ受信部６３Ａから入力される音データをスピーカ３３Ａに出力し、スピーカ３３Ａに音を出力させる。本実施の形態においては、映像データ受信部６３Ａは、第１、第３〜第７会議室にそれぞれ設置されるＰＣ１００、ＰＣ１００Ｂ〜１００Ｆそれぞれから映像データを受信するので、６つの音データに基づき６つ音データを合成した音をスピーカ３３に出力させる。なお、第１、第３〜第７会議室に設置されるＰＣ１００、１００Ａ〜１００Ｆは、ＰＣ１００，１００Ａ〜１００Ｆのうち自装置以外のＰＣのすべてから映像データを受信するので、ＰＣ１００、１００Ａ〜１００Ｆは、ＰＣ１００，１００Ａ〜１００Ｆのうち自装置以外のＰＣのすべてから受信される６つの映像データに含まれる６つの音データを合成した音をスピーカ３３、３３Ｂ〜３３Ｆにそれぞれ出力させる。
【００５６】
視線方向検出部５５Ａは、映像データ受信部６３Ａから入力される画像データに基づいて被写体の視線方向を検出する。ここでは、ＰＣ１００から受信される映像データに含まれる画像データに基づいて被写体の視線方向を検出する。視線方向検出部５５Ａは、検出した視線方向を選択部５９Ａおよび視線画像記憶部５７Ａに出力する。
【００５７】
視線画像記憶部５７Ａは、映像データ受信部６３Ａから画像データが入力され、視線方向検出部５５Ａから視線方向が入力される。視線画像記憶部５７Ａは、視線方向が正面方向の間、映像データ受信部６３Ａから入力されるＰＣ１００から受信された映像データに含まれる画像データを視線画像データとしてＨＤＤ１７Ａに記憶する。これにより、視線を正面にした被写体の画像を含む視線画像データ１０１がＨＤＤ１７に記憶される。
【００５８】
選択部５９Ａは、映像データ受信部６３Ａから画像データが入力され、視線方向検出部５５Ａから視線方向が入力される。選択部５９Ａは、視線方向検出部５５Ａから入力される視線方向に基づいて、映像データ受信部６３Ａから入力されるＰＣ１００から受信された映像データに含まれる画像データと、ＨＤＤ１７Ａに記憶された視線画像データ１０１のいずれか一方を選択する。具体的には、選択部５９Ａは、視線方向検出部５５Ａから正面方向を示す視線方向が入力されなくなってから所定時間Ｔ１が継続すると、ＨＤＤ１７Ａに記憶された視線画像データを、所定時間Ｔ２の間選択し、それ以外の間は映像データ受信部６３Ａから入力される画像データを選択する。選択部５９Ａは、映像データ受信部６３Ａから入力される画像データおよびＨＤＤ１７に記憶された視線画像データのうちから選択された一方を表示制御部６５Ａに出力する。
【００５９】
表示制御部６５Ａは、選択部５９Ａから入力される画像データの画像を表示部２７Ａに表示する。本実施の形態の変形例におけるＰＣ１００Ａは、第１会議室に配置されるＰＣ１００から受信される映像データに含まれる画像データを解析して、被写体、換言すれば第１会議室に存在する参加者の視線が正面方向を向いているときの画像データをＨＤＤ１７Ａに記憶しておき、正面方向を向いていない時間が所定時間Ｔ１になると、過去に正面方向を向いていたときの画像データをＨＤＤ１７Ａから読み出して、表示する。このため、第１会議室に存在する参加者が、原稿などを見ながら発話するなどであっても、第１会議室の参加者のノンバーバルな情報を表示することができる。
【００６０】
なお、第１の実施の形態の変形例においては、第１会議室に配置されたＰＣ１００は、第２〜第７会議室にそれぞれ設置されるＰＣ１００Ａ〜１００Ｆそれぞれから映像データを受信するので、６つの画像データに基づき６つ画像を並べて配置した画面を表示部２７に表示する。
【００６１】
以上説明したように、第１の実施の形態における会議システム１においては、発表者が参加する第１会議室に配置されるＰＣ１００によって、カメラ３５が出力する画像データに基づいて、発表者の視線方向が検出され、発表者の視線が表示部２７を向く方向が検出されている間に、カメラ３５が出力する画像データが記憶され、カメラ３５が出力する画像データおよびＨＤＤ１７に記憶された視線画像データのうちいずれか一方が選択され、選択された画像データを含む映像データが、第２会議室に配置されたＰＣ１００Ａ〜１００Ｄに送信される。また、カメラ３５が出力する画像データを選択しているときに、検出された視線方向が表示部２７を向く方向でない状態が所定時間Ｔ１継続すると、ＨＤＤ１７に記憶された視線画像データが選択される。第１会議室の参加者の視線方向が表示部２７を向いているときは、第２会議室の参加者は第１会議室の参加者と視線が合うが、第１会議室の参加者の視線方向が表示手段を向いていないときはるときは、第２会議室の参加者は第１会議室の参加者と視線が合わない。第２会議室の参加者は第１会議室の参加者と視線が合わない状態が所定時間Ｔ１継続すると、第１会議室の参加者の視線方向が表示部２７を向いているときに記憶された視線画像データが選択されるので、第２会議室の参加者は第１会議室の参加者と視線が合う画像を見ることになる。このため、発表者から参加者にノンバーバル情報が伝達されていないときに、ノンバーバル情報を伝達することができる。
【００６２】
＜第２の実施の形態＞
次に、第２の実施の形態における会議システムについて説明する。第２の実施の形態における会議システムは、地理的に離れて存在する３人で会議する場合に適用できる。
【００６３】
図６は、第２の実施の形態における会議システム全体の概要を示す図である。図６を参照して、第２の実施の形態における会議システム１Ａは、ネットワーク３に接続された３台のＰＣ１００，１００Ａ，１００Ｂを含む。ＰＣ１００，１００Ａ，１００Ｂは、地理的に離れた第１、第２および第３会議室にそれぞれ設置される。ここでは、第１会議室に第１参加者が存在し、第２会議室に第２参加者が存在し、第３会議室に第３参加者が存在する場合を例に説明する。
【００６４】
ネットワーク３は、ローカルエリアネットワーク（ＬＡＮ）である。このため、ＰＣ１００，１００Ａ，１００Ｂは、互いにデータを送受信することが可能である。なお、ネットワーク３は、ＬＡＮに限らず、インターネット、ワイドエリアネットワーク（ＷＡＮ）、公衆交換電話網等であってもよい。また、ネットワーク３は、有線であってもよく、無線であってもよい。
【００６５】
第２の実施の形態における会議システム１Ａにおいて、ＰＣ１００，１００Ａ，１００Ｂの構成は同じである。以下の説明では、第２および第３会議室それぞれに配置されるＰＣ１００Ａ、１００Ｂの構成要素に付す符号を、第１会議室に配置されるＰＣ１００の構成要素に付す符号に添え字ＡおよびＢを付して説明する。また、ＰＣ１００，１００Ａ、１００Ｂの構成は同じなので、以下の説明では特に言及しない限り、第１会議室に配置されるＰＣ１００を例に説明する。
【００６６】
図７は、第２の実施の形態におけるＰＣのハードウエア構成の一例を示すブロック図である。図７を参照して、図２に示したＰＣ１００のハードウエア構成と異なる点は、外部Ｉ／Ｆ２９に接続されていたカメラ３５が第１カメラ３５に変更され、さらに、外部Ｉ／Ｆ２９に、第２カメラ３７および第３カメラ３９が追加して接続される点である。その他の構成は、図２に示したのと同じなので、ここでは説明を繰り返さない。
【００６７】
外部Ｉ／Ｆ２９には、マイクロホン３１、スピーカ３３および第１〜第３カメラ３５，３７，３９が接続される。外部Ｉ／Ｆ２９は、マイクロホン３１から入力される音データを、ＣＰＵ１１に出力する。第１カメラ３５は、ＰＣ１００の正面に存在する被写体、ここでは第１参加者の正面を撮像し、撮像して得られる画像データを外部Ｉ／Ｆ２９に出力する。第２カメラ３７は、被写体である第１参加者の右側面を撮像し、撮像して得られる画像データを外部Ｉ／Ｆ２９に出力する。第３カメラ３９は、被写体である第１参加者の左側面を撮像し、撮像して得られる画像データを外部Ｉ／Ｆ２９に出力する。外部Ｉ／Ｆ２９は、第１〜第３カメラ３５，３７，３９から入力される画像データを、ＣＰＵ１１に出力する。
【００６８】
ここで、第１〜第３会議室の参加者とカメラとの位置関係を説明する。図８（Ａ）は、第１会議室の機器の配置の一例を示す図である。図８（Ａ）は、第１参加者を後方から見た画像を縦線のハッチングで示している。図８（Ａ）を参照して、第１参加者の正面に表示部２７が配置される。第１参加者の正面で表示部２７の上側に第１カメラ３５が配置され、第１参加者の右側に第２カメラ３７が配置され、第１参加者の左側に第３カメラ３９が配置される。第１カメラ３５の撮像範囲は第１参加者の正面であり、第２カメラ３７の撮像範囲は第１参加者の右側面であり、第３カメラ３９の撮像範囲は第１参加者の左側面である。
【００６９】
図８（Ｂ）は、第２会議室の機器の配置の一例を示す図である。図８（Ｂ）は、第２参加者を後方から見た画像を横線のハッチングで示している。図８（Ｂ）を参照して、第２参加者の正面に表示部２７Ａが配置される。第２参加者の正面で表示部２７Ａの上側に第１カメラ３５Ａが配置され、第２参加者の右側に第２カメラ３７Ａが配置され、第２参加者の左側に第３カメラ３９Ａが配置される。第１カメラ３５Ａの撮像範囲は第２参加者の正面であり、第２カメラ３７Ａの撮像範囲は第２参加者の右側面であり、第３カメラ３９Ａの撮像範囲は第２参加者の左側面である。
【００７０】
図８（Ｃ）は、第１会議室の機器の配置の一例を示す図である。図８（Ｃ）は、第３参加者を後方から見た画像をハッチング無しで示している。図８（Ｃ）を参照して、第３参加者の正面に表示部２７が配置される。第３参加者の正面で表示部２７の上側に第１カメラ３５Ｂが配置され、第３参加者の右側に第２カメラ３７Ｂが配置され、第３参加者の左側に第３カメラ３９Ｂが配置される。第１カメラ３５Ｂの撮像範囲は第３参加者の正面であり、第２カメラ３７Ｂの撮像範囲は第３参加者の右側面であり、第３カメラ３９Ｂの撮像範囲は第３参加者の左側面である。
【００７１】
第２の実施の形態における会議システム１Ａにおいては、第１会議室に配置されたＰＣ１００のカメラ３５，３７、３８で同じ第１参加者をそれぞれ撮像した３つの画像のうちから選択された画像が、第２会議室に配置されたＰＣ１００Ａの表示部２７Ａに表示され、第１会議室に配置されたＰＣ１００のカメラ３５，３７、３８で同じ第１参加者をそれぞれ撮像した３つの画像のうちから選択された画像が、第３会議室に配置されたＰＣ１００Ｂの表示部２７Ｂに表示される。また、第２会議室に配置されたＰＣ１００Ａのカメラ３５Ａ，３７Ａ、３８Ａで同じ第２参加者をそれぞれ撮像した３つの画像のうちから選択された画像が、第１会議室に配置されたＰＣ１００の表示部２７に表示され、第２会議室に配置されたＰＣ１００Ａのカメラ３５Ａ，３７Ａ、３８Ａで同じ第２参加者をそれぞれ撮像した３つの画像のうちから選択された画像が、第３会議室に配置されたＰＣ１００Ｂの表示部２７Ｂに表示される。さらに、第３会議室に配置されたＰＣ１００Ｂのカメラ３５Ｂ，３７Ｂ、３８Ｂで同じ第３参加者をそれぞれ撮像した３つの画像のうちから選択された画像が、第１会議室に配置されたＰＣ１００の表示部２７に表示され、第３会議室に配置されたＰＣ１００Ｂのカメラ３５Ｂ，３７Ｂ、３８Ｂで同じ第３参加者をそれぞれ撮像した３つの画像のうちから選択された画像が、第２会議室に配置されたＰＣ１００Ａの表示部２７Ａに表示される。
【００７２】
換言すれば、第１会議室に配置されたＰＣ１００の表示部２７には、第２会議室のカメラ３５Ａ，３７Ａ、３８Ａで同じ第２参加者をそれぞれ撮像した３つの画像のうちから選択された画像と、第３会議室のカメラ３５Ｂ，３７Ｂ、３８Ｂで同じ第３参加者をそれぞれ撮像した３つの画像のうちから選択された画像と、が表示される。また、第２会議室に配置されたＰＣ１００Ａの表示部２７Ａには、第１会議室のカメラ３５，３７、３８で同じ第１参加者をそれぞれ撮像した３つの画像のうちから選択された画像と、第３会議室のカメラ３５Ａ，３７Ｂ、３８Ｂで同じ第３参加者をそれぞれ撮像した３つの画像のうちから選択された画像と、が表示される。さらに、第３会議室に配置されたＰＣ１００Ｂの表示部２７Ｂには、第１会議室のカメラ３５，３７、３８で同じ第１参加者をそれぞれ撮像した３つの画像のうちから選択された画像と、第２会議室のカメラ３５Ａ，３７Ａ、３８Ａで同じ第２参加者をそれぞれ撮像した３つの画像のうちから選択された画像と、が表示される。
【００７３】
第１会議室に配置されたＰＣ１００のスピーカ３３からは、第２会議室に配置されたＰＣ１００Ａのマイクロホン３１Ａで集音された音と、第３会議室に配置されたＰＣ１００Ｂのマイクロホン３１Ｂで集音された音と、を合成した音が出力される。第２会議室に配置されたＰＣ１００Ａのスピーカ３３Ａからは、第１会議室に配置されたＰＣ１００のマイクロホン３１で集音された音と、第３会議室に配置されたＰＣ１００Ｂのマイクロホン３１Ｂで集音された音と、を合成した音が出力される。第３会議室に配置されたＰＣ１００Ｂのスピーカ３３Ｂからは、第１会議室に配置されたＰＣ１００のマイクロホン３１で集音された音と、第２会議室に配置されたＰＣ１００Ａのマイクロホン３１Ａで集音された音と、を合成した音が出力される。
【００７４】
ここで、第１会議室に配置されたＰＣ１００を中心に、第２会議室に配置されたＰＣ１００Ａおよび第３会議室に配置されたＰＣ１００Ｂとの間で送受信されるデータ、およびＰＣ１００の表示部２７に表示される画像およびスピーカ３３から出力される音について説明する。
【００７５】
図９は、第１会議室に配置されたＰＣ１００を中心に、第２会議室に配置されたＰＣ１００Ａおよび第３会議室に配置されたＰＣ１００Ｂとの間で送受信されるデータの一例を示す図である。図９を参照して、第１会議室に配置されるＰＣ１００は、第２会議室に配置されるＰＣ１００Ａに、映像データ、第１発話相手情報および表示領域情報を送信し、第２会議室に配置されるＰＣ１００Ａから映像データ、第２発話相手情報および表示領域情報を受信する。また、第１会議室に配置されるＰＣ１００は、第３会議室に配置されるＰＣ１００Ｂに、映像データ、第１発話相手情報および表示領域情報を送信し、第３会議室に配置されるＰＣ１００Ｂから映像データ、第３発話相手情報および表示領域情報を受信する。
【００７６】
第１会議室に配置されるＰＣ１００が、第２会議室に配置されるＰＣ１００Ａに送信する映像データは、第１〜第３カメラ３５，３７，３９それぞれが出力する３つの画像データのうちから選択された１つの第１選択画像データと、マイクロホン３１が出力する音データとを含む。第１会議室に配置されるＰＣ１００が、第３会議室に配置されるＰＣ１００Ｂに送信する映像データは、第１〜第３カメラ３５，３７，３９それぞれが出力する３つの画像データのうちから選択された１つの第２選択画像データと、マイクロホン３１が出力する音データとを含む。第１会議室に配置されるＰＣ１００が、第２会議室に配置されるＰＣ１００Ａに送信する映像データに含まれる第１選択画像データと、第３会議室に配置されるＰＣ１００Ｂに送信する映像データに含まれる第２選択画像データとは、同じ場合と、異なる場合がある。第１会議室に配置されるＰＣ１００が、第２会議室に配置されるＰＣ１００Ａに送信する映像データに含まれる音データと、第３会議室に配置されるＰＣ１００Ｂに送信する映像データに含まれる音データとは、同じである。
【００７７】
第１会議室に配置されるＰＣ１００は、第２会議室に配置されるＰＣ１００Ａから受信する映像データに含まれる画像データを表示部２７に表示し、第３会議室に配置されるＰＣ１００Ｂから受信する映像データに含まれる画像データを表示部２７に表示する。第１会議室に配置されるＰＣ１００が、第２会議室に配置されるＰＣ１００Ａから受信する映像データに含まれる画像データは、第１〜第３カメラ３５Ａ，３７Ａ，３９Ａそれぞれが出力する３つの画像データのうちからＰＣ１００Ａにより選択された１つであり、第３会議室に配置されるＰＣ１００Ｂから受信する映像データに含まれる画像データは、第１〜第３カメラ３５Ｂ，３７Ｂ，３９Ｂそれぞれが出力する３つの画像データのうちからＰＣ１００Ｂにより選択された１つである。
【００７８】
ここで、ＰＣ１００が備える表示部の表示領域について説明する。図１０は、表示部の表示領域の一例を示す図である。図１０を参照して、表示部２７は、第１表示領域と第２表示領域とを有する。第１表示領域および第２表示領域は、表示部２７の表示領域を左右に２分割した２つの領域である。第１表示領域は、第２表示領域の左側に配置され、第２表示領域は、第１表示領域の右側に配置される。
【００７９】
図９に戻って、第１会議室に配置されるＰＣ１００は、ＰＣ１００Ａから受信される映像データに含まれる画像データを、第１表示領域および第２表示領域のいずれか一方に表示し、ＰＣ１００Ｂから受信される映像データに含まれる画像データを、第１表示領域および第２表示領域のうち他方に表示する。ここでは、第１会議室に配置されるＰＣ１００は、ＰＣ１００Ａから受信される映像データに含まれる画像データを、第１表示領域に表示し、ＰＣ１００Ｂから受信される映像データに含まれる画像データを第２表示領域に表示する場合を例に説明する。
【００８０】
第１会議室に配置されるＰＣ１００が、第２会議室に配置されるＰＣ１００Ａに送信する表示領域情報は、ＰＣ１００がＰＣ１００Ａから受信される映像データに含まれる画像データを第１表示領域と第２表示領域のいずれに表示しているかを示す情報である。また、第１会議室に配置されるＰＣ１００が、第３会議室に配置されるＰＣ１００Ｂに送信する表示領域情報は、ＰＣ１００がＰＣ１００Ｂから受信される映像データに含まれる画像データを第１表示領域と第２表示領域のいずれに表示しているかを示す情報である。ここでは、第１会議室に配置されるＰＣ１００が、第２会議室に配置されるＰＣ１００Ａに送信する表示領域情報は、第１表示領域を示す情報であり、第３会議室に配置されるＰＣ１００Ｂに送信する表示領域情報は、第２表示領域を示す情報である。
【００８１】
第１会議室に配置されるＰＣ１００が、第２会議室に配置されるＰＣ１００Ａから受信する表示領域情報は、第１会議室に配置されるＰＣ１００が第２会議室に配置されるＰＣ１００Ａに送信する映像データに含まれる第１選択画像データが、ＰＣ１００Ａの表示部２７Ａが有する第１表示領域と第２表示領域のいずれに表示されているかを示す情報である。第１会議室に配置されるＰＣ１００が、第３会議室に配置されるＰＣ１００Ｂから受信する表示領域情報は、第１会議室に配置されるＰＣ１００が第３会議室に配置されるＰＣ１００Ｂに送信する映像データに含まれる第２選択画像データが、ＰＣ１００Ｂの表示部２７Ｂが有する第１表示領域と第２表示領域のいずれに表示されているかを示す情報である。
【００８２】
第１発話相手情報は、ＰＣ１００により検出される情報であって、第１会議室の第１参加者が、発話しているか否かを示す情報であり、発話していることを示す場合には第２参加者または第３参加者のいずれに対して発話しているかを示す情報を含む。第２発話相手情報は、ＰＣ１００Ａにより検出される情報であって、第２会議室の第２参加者が、発話しているか否かを示す情報であり、発話していることを示す場合には第１参加者または第３参加者のいずれに対して発話しているかを示す情報を含む。第３発話相手情報は、ＰＣ１００Ｂにより検出される情報であって、第３会議室の参加者が、発話しているか否かを示す情報であり、発話していることを示す場合には第１参加者または第２参加者のいずれに対して発話しているかを示す情報を含む。
【００８３】
図１１は、第２の実施の形態におけるＰＣが備えるＣＰＵの機能の一例を示すブロック図である。図１１を参照して、ＰＣ１００は、第１〜第３カメラ３５，３７，３９がそれぞれ出力する３つの第１〜第３画像データを取得する画像データ取得部５１と、マイクロホン３１が出力する音データを取得する音データ取得部５３と、参加者の発話を検出する発話検出部７１と、３つの第１〜第３画像データのうちから１つを選択する第１および第２選択部７３，７７と、第１画像データに基づいて被写体の視線方向を検出する視線方向検出部７５と、発話相手を判定する発話相手判定部７９と、第２会議室に配置されたＰＣ１００Ａに会議室情報を送信する第１会議室情報送信部８１と、第３会議室に配置されたＰＣ１００Ｂに会議室情報を送信する第２会議室情報送信部８１と、第２会議室に配置されたＰＣ１００Ａから会議室情報を受信する第１会議室情報受信部８５と、第３会議室に配置されたＰＣ１００Ｂから会議室情報を受信する第２会議室情報受信部８７と、会話相手を判断する会話相手判断部８９と、表示部２７を制御する表示制御部９１と、スピーカ３３を制御する音声制御部９３と、を含む。
【００８４】
画像データ取得部５１は、外部Ｉ／Ｆ２９に接続された第１〜第３カメラ３５，３７，３９を制御し、第１〜第３カメラ３５，３７，３９がそれぞれ出力する第１〜第３画像データを取得する。第１〜第３画像データは、動画像であってもよいし、静止画像であってもよい。ここでは、第１〜第３画像データを動画像としている。画像データ取得部５１は、第１〜第３画像データを第１および第２選択部７３，７７に出力し、第１カメラ３５が出力する第１画像データを視線方向検出部７５に出力する。
【００８５】
音データ取得部５３は、外部Ｉ／Ｆ２１に接続されたマイクロホン３１を制御し、マイクロホン３１が出力する音データを取得する。音データ取得部５３は、音データを、発話検出部７１、第１会議室情報送信部８１および第２会議室情報送信部８３に出力する。
【００８６】
視線方向検出部７５は、画像データ取得部５１から入力される第１画像データに基づいて被写体の視線方向を検出する。具体的には、画像データに含まれる被写体の領域を抽出し、被写体の領域から、目の領域および瞳の領域を抽出する。目の領域に対する瞳の領域の位置関係から視線方向を検出する。瞳の領域を、左、右の２つの領域に水平方向に２分割し、瞳の領域が、２つの分割領域のいずれに存在するかを判別する。瞳の領域が、目の領域の左の分割領域に存在すれば、右方向の視線方向を検出し、瞳の領域が、瞳の領域が、目の領域の右の分割領域に存在すれば、左方向の視線方向を検出する。視線方向検出部５５は、検出した視線方向を発話相手判定部７９に出力する。視線方向検出部５５は、画像データから目の領域を抽出できない場合、視線方向を検出することなく、視線方向を発話相手判定部７９に出力しない。
【００８７】
発話検出部７１は、音データ取得部５３から音データが入力され、音データに基づいて、第１会議室の参加者の発話の有無を検出する。音データの音声レベルを予め定められたしきい値と比較し、音声レベルがしきい値以上ならば第１会議室の参加者が発話していると判断する。発話検出部７１は、第１会議室の参加者が発話しているか否か示す発話有無信号を、発話相手判定部７９、第１選択部７３および第２選択部７７に出力する。
【００８８】
発話相手判定部７９は、視線方向検出部７５から視線方向が入力され、発話検出部７１から発話有無信号が入力される。発話相手判定部７９は、視線方向および発話有無信号に基づいて発話相手を判定する。後述する表示制御部９１によって、第２会議室から受信される映像データに含まれる画像データが表示部２７の第１表示領域に表示され、第３会議室から受信される映像データに含まれる画像データは表示部２７の第２表示領域に表示される。このため、発話相手判定部７９は、発話有無信号が発話していることを示す場合に、視線方向が左方向ならば第２会議室の参加者に対して発話していると判断し、視線方向が右方向ならば第３会議室の参加者に対して発話していると判断する。発話相手判定部７９は、特定された発話相手を示す第１発話相手情報を会話相手判断部８９、第１および第２会議室情報送信部８１，８３に出力する。
【００８９】
なお、発話相手判定部７９は、視線方向検出部７５から入力される視線方向のみから発話相手を判定するようにしてもよい。この場合、発話相手判定部７９は、発話有無信号に係わらず、視線方向が左方向ならば第２会議室の参加者に対して発話していると判断し、視線方向が右方向ならば第３会議室の参加者に対して発話していると判断し、特定された発話相手を示す第１発話相手情報を会話相手判断部８９、第１および第２会議室情報送信部８１，８３に出力する。
【００９０】
また、表示制御部９１が、第２会議室から受信される映像データに含まれる画像データを表示部２７の第１表示領域および第２表示領域のいずれに表示するかは、任意である。このため、表示制御部９１が、第２会議室から受信される映像データに含まれる画像データを表示部２７の第２表示領域に表示し、第３会議室から受信される映像データに含まれる画像データを第１表示領域に表示する場合、発話相手判定部７９は、視線方向が左方向ならば第３会議室の参加者に対して発話していると判断し、視線方向が右方向ならば第２会議室の参加者に対して発話していると判断する。
【００９１】
第１会議室情報受信部８５は、通信Ｉ／Ｆ２１を制御して、第２会議室に配置されるＰＣ１００Ａから映像データ、第２発話相手情報および表示領域情報を受信する。第１会議室情報受信部８５は、受信された映像データに含まれる画像データを、表示制御部９１に出力し、音データを音声制御部９３に出力する。また、第１会議室情報受信部８５は、第２発話相手情報および表示領域情報を会話相手判断部８９に出力する。
【００９２】
第２会議室情報受信部８７は、通信Ｉ／Ｆ２１を制御して、第３会議室に配置されるＰＣ１００Ｂから映像データ、第３発話相手情報および表示領域情報を受信する。第２会議室情報受信部８７は、受信された映像データに含まれる画像データを、表示制御部９１に出力し、音データを音声制御部９３に出力する。また、第２会議室情報受信部８７は、第２発話相手情報および表示領域情報を会話相手判断部８９に出力する。
【００９３】
表示制御部９１は、第１会議室情報受信部８５から入力される画像データ、換言すれば、第２会議室から受信される映像データに含まれる画像データを、表示部２７の第１表示領域に表示する。なお、表示制御部９１が、第２会議室から受信される映像データに含まれる画像データを表示部２７の第１表示領域および第２表示領域のいずれに表示するかは、任意である。また、表示制御部９１は、第２会議室情報受信部８７から入力される画像データ、換言すれば、第３会議室から受信される映像データに含まれる画像データを、表示部２７の第２表示領域に表示する。表示制御部９１が、第２会議室から受信される映像データに含まれる画像データを表示部２７の第２表示領域に表示する場合、第３会議室から受信される映像データに含まれる画像データを第１表示領域に表示する。
【００９４】
音声制御部９３は、第１会議室情報受信部８５から入力される音データと、第２会議室情報受信部８７から入力される音データと、を合成した音をスピーカ３３に出力させる。
【００９５】
会話相手判断部８９は、第１会議室情報受信部８５から第２発話相手情報および表示領域情報が入力され、第２会議室情報受信部８７から第３発話相手情報および表示領域情報が入力され、発話相手判定部７９から第１発話相手情報が入力される。第２発話相手情報は、第２参加者が第１参加者および第３参加者のいずれに対して発話しているかを示す情報である。第３発話相手情報は、第３参加者が第１参加者および第２参加者のいずれに対して発話しているかを示す情報である。会話相手判断部８９は、第１発話相手情報が第２参加者に対して発話していることを示す場合で、かつ、第２発話相手情報が第１参加者に対して発話していることを示す場合、第１参加者と第２参加者とが会話している第１会話状態と判断する。また、会話相手判断部８９は、第１発話相手情報が第３参加者に対して発話していることを示す場合で、かつ、第３発話相手情報が第１参加者に対して発話していることを示す場合、第１参加者と第３参加者とが会話している第２会話状態と判断する。
【００９６】
会話相手判断部８９は、第１参加者と第２参加者とが会話している第１会話状態と判断する場合、第１選択部７３に第１会話状態信号を出力し、第１会話状態と判断しない場合、第１選択部７３に第１会議室情報受信部８５から入力される表示領域情報を出力する。第１会議室情報受信部８５から入力される表示領域情報は、第２会議室に配置されたＰＣ１００Ａの表示部２７Ａにおいて、ＰＣ１００からＰＣ１００Ａに送信された映像信号に含まれる第１選択画像データが第１表示領域と第２表示領域とのいずれに表示されているかを示す情報である。
【００９７】
会話相手判断部８９は、第１参加者と第３参加者とが会話している第２会話状態と判断する場合、第２選択部７７に第２会話状態信号を出力し、第２会話状態と判断しない場合、第２選択部７７に第２会議室情報受信部８７から入力される表示領域情報を出力する。第２会議室情報受信部８７から入力される表示領域情報は、第３会議室に配置されたＰＣ１００Ｂの表示部２７Ｂにおいて、ＰＣ１００からＰＣ１００Ｂに送信された映像信号に含まれる第２選択画像データが第１表示領域と第２表示領域とのいずれに表示されているかを示す情報である。
【００９８】
第１選択部７３は、画像データ取得部５１から第１〜第３画像データが入力され、発話検出部７１から発話有無信号が入力され、会話相手判断部８９から第１会話状態信号または表示領域情報のいずれかが入力される。第１選択部７３は、会話相手判断部８９から第１会話状態信号が入力される場合、第１画像データを第１選択画像データとして選択し、表示領域情報が入力される場合は第２および第３画像データのいずれか一方を第１選択画像データとして選択する。第１選択部７３は、表示領域情報が第１表示領域を示す場合、第２画像データを第１選択画像データとして選択し、表示領域情報が第２表示領域を示す場合、第３画像データを第１選択画像データとして選択する。また、第１選択部７３は、会話相手判断部８９から表示領域情報が入力される場合であっても、表示領域情報が入力されてから所定時間Ｔ１が継続すると、発話検出部７１から発話していることを示す発話有無信号が入力されていることを条件に、第１画像データを、所定時間Ｔ２の間、第１選択画像データとして選択する。第１選択部７３は、第１〜第３画像データのうちから選択された第１選択画像データを第１会議室情報送信部８１に出力する。
【００９９】
第２選択部７７は、画像データ取得部５１から第１〜第３画像データが入力され、、発話検出部７１から発話有無信号が入力され、会話相手判断部８９から第２会話状態信号または表示領域情報のいずれかが入力される。第２選択部７７は、会話相手判断部８９から第２会話状態信号が入力される場合、第１画像データを第２選択画像データとして選択し、表示領域情報が入力される場合は第２および第３画像データのいずれか一方を第２選択画像データとして選択する。第２選択部７７は、表示領域情報が第１表示領域を示す場合、第２画像データを第２選択画像データとして選択し、表示領域情報が第２表示領域を示す場合、第３画像データを第２選択画像データとして選択する。また、第２選択部７７は、会話相手判断部８９から表示領域情報が入力される場合であっても、表示領域情報が入力されてから所定時間Ｔ１が継続すると、発話検出部７１から発話していることを示す発話有無信号が入力されていることを条件に、第１画像データを、所定時間Ｔ２の間、第２選択画像データとして選択する。第２選択部７７は、第１〜第３画像データのうちから選択された第２選択画像データを第２会議室情報送信部８３に出力する。
【０１００】
第１会議室情報送信部８１は、音データ取得部５３から音データが入力され、第１選択部７３から第１〜第３画像データのうちから選択された１つの第１選択画像データが入力され、発話相手判定部７９から第１発話相手情報が入力される。第１会議室情報送信部８１は、第１選択画像データと音データとを含む映像データと、第１発話相手情報と、第１表示領域を示す表示領域情報とを、通信Ｉ／Ｆ２１を制御して、第２会議室に配置されたＰＣ１００Ａに送信する。なお、表示領域情報は、表示制御部９１から入力されるようにしてもよい。
【０１０１】
第２会議室情報送信部８３は、音データ取得部５３から音データが入力され、第２選択部７７から第１〜第３画像データのうちから選択された１つの第２選択画像データが入力され、発話相手判定部７９から第１発話相手情報が入力される。第２会議室情報送信部８３は、第２選択画像データと音データとを含む映像データと、第１発話相手情報と、第２表示領域を示す表示領域情報とを、通信Ｉ／Ｆ２１を制御して、第３会議室に配置されたＰＣ１００Ｂに送信する。なお、表示領域情報は、表示制御部９１から入力されるようにしてもよい。
【０１０２】
図１２は、第２の実施の形態における映像データ送信処理の流れの一例を示すフローチャートである。第２の実施の形態における映像データ送信処理は、ＰＣ１００，１００Ａ，１００Ｂそれぞれにおいて実行されるが、処理対象とする画像データおよび音データが異なるのみなので、ここではＰＣ１００が実行する場合を例に説明する。第２の実施の形態における映像データ送信処理は、ＰＣ１００が備えるＣＰＵ１１がＲＯＭ１３、ＨＤＤ１７またはメモリカード１８に記憶された映像データ送信プログラウを実行することにより、ＣＰＵ１１により実行される処理である。
【０１０３】
図１２を参照して、ＣＰＵ１１は、第２会議室に配置されたＰＣ１００Ａから映像データ、第２発話相手情報および表示領域情報を受信し（ステップＳ２１）、第３会議室に配置されたＰＣ１００Ｂから映像データ、第３発話相手情報および表示領域情報を受信する（ステップＳ２２）。
【０１０４】
そして、ステップＳ２１においてＰＣ１００Ａから受信された第２会議室の映像データに含まれる画像データを表示部２７の第１表示領域に表示し（ステップＳ２３）、第２会議室用の表示領域情報に第１表示領域を示す情報を設定する（ステップＳ２４）。さらに、ステップＳ２２においてＰＣ１００Ｂから受信された第３会議室の映像データに含まれる画像データを表示部２７の第２表示領域に表示し（ステップＳ２５）、第３会議室用の表示領域情報に第２表示領域を示す情報を設定する（ステップＳ２６）。
【０１０５】
次のステップＳ２７においては、第１カメラ３５から入力される画像データに基づいて、被写体の視線方向を検出する。次のステップＳ２８においては、発話相手検出処理を実行する。発話相手検出処理の詳細は後述するが、第１会議室の第１参加者が発話する相手が、第２会議室の第２参加者および第３会議室の第３参加者のいずれであるかを検出し、検出された相手を示す情報を含む第１発話相手情報を生成する処理である。次のステップＳ２９においては、会話相手検出処理を実行する。会話相手検出処理の詳細は後述するが、第１会議室の参加者が会話する相手が、第２参加者および第３参加者のいずれであるかを検出する処理である。
【０１０６】
次のステップＳ３０においては、選択画像設定処理を実行する。選択画像設定処理の詳細は後述するが、第２会議室に送信する第１選択画像データに第１〜第３画像データのいずれかを設定するとともに、第３会議室に送信する第２選択画像データに第１〜第３画像データのいずれかを設定する処理である。
【０１０７】
次のステップＳ３１においては、通信Ｉ／Ｆ２１を介して、第２会議室に配置されたＰＣ１００Ａに、映像データ、第１発話相手情報、およびステップＳ２４において設定された第２会議室用の表示領域情報を送信する。映像データは、第１選択画像データおよび音データを含む。次のステップＳ３２においては、通信Ｉ／Ｆ２１を介して、第３会議室に配置されたＰＣ１００Ｂに、映像データ、第１発話相手情報、およびステップＳ２６において設定された第３会議室用の表示領域情報を送信する。映像データは、第２選択画像データおよび音データを含む。
【０１０８】
次のステップＳ３３においては、終了指示を受け付けたか否かを判断する。参加者が、操作部２５の備える終了指示が割り当てられたキーを押下すれば、終了指示を受け付ける。終了指示を受け付けたならば処理を終了するが、そうでなければ処理をステップＳ２１に戻す。
【０１０９】
図１３は、発話相手検出処理の流れの一例を示すフローチャートである。発話相手検出処理は、図１２のステップＳ２８において実行される処理である。図１３を参照して、ＣＰＵ１１は、発話を検出したか否かを判断する（ステップＳ４１）。マイクロホン３１が出力する音データの音声レベルが予め定められたしきい値以上ならば第１会議室の第１参加者の発話を検出する。発話を検出したならば処理をステップＳ４２に進めるが、そうでなければ処理をステップＳ４６に進める。
【０１１０】
ステップＳ４２においては、視線方向が第１表示領域か否かを判断する。第１画像データに含まれる第１参加者の視線方向が左方向ならば視線方向が第１表示領域と判断する。視線方向が第１表示領域ならば処理をステップＳ４３に進めるが、そうでなければ処理をステップＳ４４に進める。ステップＳ４４においては、視線方向が第２表示領域か否かを判断する。第１画像データの第１参加者の視線方向が右方向ならば視線方向が第２表示領域と判断する。視線方向が第２表示領域ならば処理をステップＳ４５に進めるが、そうでなければ処理をステップＳ４６に進める。
【０１１１】
処理がステップＳ４３に進む場合、第１会議室の参加者が発話しており、かつ、視線方向が第１表示領域の場合である。ステップＳ４３においては、第１発話相手情報に第２参加者を設定し、処理を図１２に示した映像データ送信処理に戻す。
【０１１２】
処理がステップＳ４５に進む場合、第１会議室の参加者が発話しており、かつ、視線方向が第２表示領域の場合である。ステップＳ４５においては、第１発話相手情報に第３参加者を設定し、処理を図１２に示した映像データ送信処理に戻す。
【０１１３】
処理がステップＳ４６に進む場合、第１会議室の参加者が発話していない場合、または、視線方向が第１表示領域および第２表示領域のいずれでもない場合である。ステップＳ４６においては、第１発話相手情報にブランクを設定し、処理を図１２に示した映像データ送信処理に戻す。
【０１１４】
図１４は、会話相手検出処理の流れの一例を示すフローチャートである。会話相手検出処理は、図１２のステップＳ２９において実行される処理である。図１４を参照して、ＣＰＵ１１は、第１発話相手情報に、第２参加者が設定されているか否かを判断する。第１発話相手情報に、第２参加者が設定されているならば処理をステップＳ５２に進め、そうでなければ処理をステップＳ５４に進める。ステップＳ５２においては、第２発話相手情報に第１参加者が設定されているか否かを判断する。第２発話相手情報に第１参加者が設定されているならば処理をステップＳ５３に進め、そうでなければ処理をステップＳ５４に進める。第２発話相手情報は、第２会議室に配置されたＰＣ１００Ａから受信され、第２会議室の第２参加者が発話している相手を特定する情報が設定されている。
【０１１５】
処理がステップＳ５３に進む場合、第１発話相手情報に第２参加者が設定されている場合であって、かつ、第２発話相手情報に第１会議室の参加者が設定されている場合である。ステップＳ５３においては、第１参加者の会話相手を第２参加者に設定し、処理を図１２に示した映像データ送信処理に戻す。
【０１１６】
ステップＳ５４においては、第１発話相手情報に、第３参加者が設定されているか否かを判断する。第１発話相手情報に、第３参加者が設定されているならば処理をステップＳ５５に進め、そうでなければ処理を図１２に示した映像データ送信処理に戻す。ステップＳ５５においては、第３発話相手情報に第１参加者が設定されているか否かを判断する。第３発話相手情報に第１参加者が設定されているならば処理をステップＳ５６に進め、そうでなければ処理を図１２に示した映像データ送信処理に戻す。
【０１１７】
処理がステップＳ５６に進む場合、第１発話相手情報に第３会議室の参加者が設定されている場合であって、かつ、第３発話相手情報に第１会議室の参加者が設定されている場合である。ステップＳ５６においては、第１参加者の会話相手を第３参加者に設定し、処理を図１２に示した映像データ送信処理に戻す。
【０１１８】
図１５は、選択画像設定処理の流れの一例を示すフローチャートである。選択画像設定処理は、図１２のステップＳ３０において実行される処理である。図１５を参照して、ＣＰＵ１１は、会話相手は第２参加者か否かを判断する（ステップＳ６１）。会話相手が第２参加者ならば処理をステップＳ６２に進めるが、そうでなければ処理をステップＳ６５に進める。
【０１１９】
ステップＳ６２においては、タイマＢをリセットする。タイマＢは、第１参加者の会話相手が第３参加者である時間を計時する。タイマＢをリセットすることによって、タイマＢ値は、０となり、その後タイマＢは計時を開始する。次のステップＳ６３においては、第１選択画像データに第１カメラ３５が出力する第１画像データを設定する。次のステップＳ６４においては、第２選択画像データ設定処理を実行し、処理を図１２に示した映像データ送信処理に戻す。第２選択画像データ設定処理は、後述するが、第２選択画像データに第１〜第３画像データのいずれかを設定する処理である。
【０１２０】
ステップＳ６５においては、会話相手は第３参加者か否かを判断する。会話相手が第３参加者ならば処理をステップＳ６６に進めるが、そうでなければ処理をステップＳ６９に進める。
【０１２１】
ステップＳ６６においては、タイマＡをリセットする。タイマＡは、第１参加者の会話相手が第２参加者である時間を計時する。タイマＡをリセットすることによって、タイマＡ値は、０となり、その後タイマＡは計時を開始する。次のステップＳ６７においては、第２選択画像データに第１カメラ３５が出力する第１画像データを設定する。次のステップＳ６８においては、第１選択画像データ設定処理を実行し、処理を図１２に示した映像データ送信処理に戻す。第１選択画像データ設定処理は、後述するが、第１選択画像データに第１〜第３画像データのいずれかを設定する処理である。
【０１２２】
ステップＳ６９においては、タイマＡをリセットする。次のステップＳ７０においては、タイマＢをリセットする。そして、第１選択画像データに第１カメラ３５が出力する第１画像データを設定し（ステップＳ７１）、第２選択画像データに第１カメラ３５が出力する第１画像データを設定し（ステップＳ７２）、処理を図１２に示した映像データ送信処理に戻す。
【０１２３】
図１６は、第２選択画像データ設定処理の流れの一例を示すフローチャートである。第２選択画像データ設定処理は、図１５のステップＳ６４において実行される処理である。図１６を参照して、ＣＰＵ１１は、タイマＡ値がしきい値Ｔ１以上か否かを判断する（ステップＳ８１）。タイマＡ値がしきい値Ｔ１以上ならば処理をステップＳ８２に進めるが、そうでなければ処理をステップＳ８８に進める。タイマＡ値は、第１参加者の会話相手が第２参加者である時間を示す。
【０１２４】
ステップＳ８２においては、第１参加者が発話しているか否かを判断する。マイクロホン３１が出力する音データの音声レベルをしきい値と比較することによって、発話しているか否かを判断する、第１参加者が発話しているならば処理をステップＳ８３に進めるが、そうでなければ処理をステップＳ８８に進める。
【０１２５】
ステップＳ８３においては、第２選択画像データに第１カメラ３５が出力する第１画像データを設定する。そして、ステップＳ８４においては、タイマＡ値が予め定められたしきい値Ｔ２以上か否かを判断する。しきい値Ｔ２は、しきい値Ｔ１よりも大きな値である。タイマＡ値がしきい値Ｔ２以上ならば処理をステップＳ８５に進めるが、そうでなければ処理をステップＳ８６に進める。ステップＳ８５においては、タイマＡをリセットし、処理を選択画像設定処理に戻す。
【０１２６】
ステップＳ８６においては、第３参加者の反応があったか否かを判断する。第３会議室に配置されたＰＣ１００Ｂから受信される映像データに含まれる画像データを解析して、画像データに含まれる被写体の動き、または、表情を分析する。被写体の動きが検出される場合、または表示の変化を検出する場合に、反応があったと判断する。第３参加者の反応があったと判断する場合、第１画像データをＨＤＤ１７に記憶し、処理を選択画像設定処理に戻す。ステップＳ８７が実行された後に、ステップＳ８３が実行される場合、第２選択画像データに、第１カメラ３５が出力する第１画像データに代えて、ＨＤＤ１７に記憶された第１画像データを設定する。これにより、第３会議室の第３参加者に影響を与えることのできる画像を視聴させることができる。
【０１２７】
また、第３参加者の反応がなかった場合、または第３参加者の反応の有無に係わらず、表示部２７に注意を喚起するメッセージ、例えば、「第３会議室に視線を向けてください。」等を表示するようにしてもよい。これにより、第１参加者は、説明や議論が第２参加者側に偏っていることを知ることができ、第３参加者に対して話しかける等の対応が可能になる。
【０１２８】
一方、ステップＳ８８においては、第３会議室の表示領域情報によって処理を分岐させる。第３会議室の表示領域情報が第１表示領域ならば処理をステップＳ８９に進めるが、第３会議室の表示領域情報が第２表示領域ならば処理をステップＳ９０に進める。第３会議室の表示領域情報は、第３会議室に配置されたＰＣ１００Ｂが、第１会議室に配置されたＰＣ１００から受信される映像データに含まれる画像データ、換言すれば第２選択画像データを、表示部２７Ｂの第１表示領域および第２表示領域のいずれに表示しているかを示す情報である。
【０１２９】
ステップＳ８９においては、第２選択画像データに第２カメラ３７が出力する第２画像データを設定し、処理を選択画像設定処理に戻す。ステップＳ９０においては、第２選択画像データに第３カメラ３９が出力する第３画像データを設定し、処理を選択画像設定処理に戻す。
【０１３０】
ステップＳ８５においてタイマＡがリセットされると、次にステップＳ８１が実行される場合に、処理がステップＳ８８に進む。このため、第１参加者の会話相手が第２参加者の状態がしきい値Ｔ１以上しきい値Ｔ２未満の間は、第２選択画像データに第１画像データが選択される。換言すれば、しきい値Ｔ２としきい値Ｔ１との差分の時間ＴＭ、第１画像データが選択される。さらに、タイマＡ値が、しきい値Ｔ２以上になると、タイマＡがリセットされるので、第１参加者の会話相手が第２参加者である状態がしきい値Ｔ２以上継続する場合には、タイマＡ値がしきい値Ｔ１の間は第２選択画像データに第１カメラ３５から入力される第１画像データを設定する処理（ステップＳ８３）、その後の時間ＴＭの間は第２選択画像データに第２または第３画像データを選択する処理（ステップＳ８９、ステップＳ９０）が繰り返えされる。
【０１３１】
なお、ここでは第１参加者の会話相手が第２参加者の状態がしきい値Ｔ１以上継続すると、第１画像データを、第２選択画像データに設定するようにしたが、第１参加者の会話相手が第２参加者の状態が継続する時間を、ランダムな時間としてもよい。例えば、第１参加者の発話が中断した場合とすればよい。また、第１画像データを、第２選択画像データに設定する時間を時間ＴＭとしたが、時間ＴＭは、任意に定めることができ、第３参加者が第１画像データの画像を認識できる程度に短い時間であってもよい。
【０１３２】
図１７は、第１選択画像データ設定処理の流れの一例を示すフローチャートである。第１選択画像データ設定処理は、図１５のステップＳ６８において実行される処理である。図１７を参照して、ＣＰＵ１１は、タイマＢ値がしきい値Ｔ１以上か否かを判断する（ステップＳ９１）。タイマＢ値がしきい値Ｔ１以上ならば処理をステップＳ９３に進めるが、そうでなければ処理をステップＳ９８に進める。タイマＢ値は、第１参加者の会話相手が第３参加者である時間を示す。
【０１３３】
ステップＳ９２においては、第１参加者が発話しているか否かを判断する。マイクロホン３１が出力する音データの音声レベルをしきい値と比較することによって、発話しているか否かを判断する、第１参加者が発話しているならば処理をステップＳ９３に進めるが、そうでなければ処理をステップＳ９８に進める。
【０１３４】
ステップＳ９３においては、第１選択画像データに第１カメラ３５が出力する第１画像データを設定する。そして、ステップＳ９４においては、タイマＢ値が予め定められたしきい値Ｔ２以上か否かを判断する。しきい値Ｔ２は、しきい値Ｔ１よりも大きな値である。タイマＢ値がしきい値Ｔ２以上ならば処理をステップＳ９５に進めるが、そうでなければ処理をステップＳ９６に進める。ステップＳ９５においては、タイマＢをリセットし、処理を選択画像設定処理に戻す。
【０１３５】
ステップＳ９６においては、第２参加者の反応があったか否かを判断する。第２会議室に配置されたＰＣ１００Ａから受信される映像データに含まれる画像データを解析して、画像データに含まれる被写体の動き、または、表情を分析する。被写体の動きが検出される場合、または表示の変化を検出する場合に、反応があったと判断する。第２参加者の反応があったと判断する場合、第１画像データをＨＤＤ１７に記憶し、処理を選択画像設定処理に戻す。ステップＳ９７が実行された後に、ステップＳ９３が実行される場合、第１選択画像データに、第１カメラ３５が出力する第１画像データに代えて、ＨＤＤ１７に記憶された第１画像データを設定する。これにより、第２会議室の第２参加者に影響を与えることのできる画像を視聴させることができる。
【０１３６】
また、第２参加者の反応がなかった場合、または第２参加者の反応の有無に係わらず、表示部２７に注意を喚起するメッセージ、例えば、「第２会議室に視線を向けてください。」等を表示するようにしてもよい。これにより、第１参加者は、説明や議論が第３参加者側に偏っていることを知ることができ、第２参加者に対して話しかける等の対応が可能になる。
【０１３７】
一方、ステップＳ９８においては、第２会議室の表示領域情報によって処理を分岐させる。第２会議室の表示領域情報が第１表示領域ならば処理をステップＳ９９に進めるが、第２会議室の表示領域情報が第２表示領域ならば処理をステップＳ１００に進める。第２会議室の表示領域情報は、第２会議室に配置されたＰＣ１００Ａが、第１会議室に配置されたＰＣ１００から受信される映像データに含まれる画像データ、換言すれば第１選択画像データを、表示部２７Ａの第１表示領域および第２表示領域のいずれに表示しているかを示す情報である。
【０１３８】
ステップＳ９９においては、第１選択画像データに第２カメラ３７が出力する第２画像データを設定し、処理を選択画像設定処理に戻す。ステップＳ１００においては、第１選択画像データに第３カメラ３９が出力する第３画像データを設定し、処理を選択画像設定処理に戻す。
【０１３９】
ステップＳ９５においてタイマＢがリセットされると、次にステップＳ９１が実行される場合に、処理がステップＳ９８に進む。このため、第１会議室の参加者の会話相手が第３会議室の参加者の状態がしきい値Ｔ１以上しきい値Ｔ２未満の間は、第１選択画像データに第１画像データが選択される。換言すれば、しきい値Ｔ２としきい値Ｔ１との差分の時間ＴＭ、第１画像データが選択される。さらに、タイマＢ値が、しきい値Ｔ２以上になると、タイマＢがリセットされるので、第１会議室の参加者の会話相手が第３会議室の参加者である状態がしきい値Ｔ２以上継続する場合には、タイマＢ値がしきい値Ｔ１の間は第１選択画像データに第１カメラ３５から入力される第１画像データを設定する処理（ステップＳ９３）、その後の時間ＴＭの間は第１選択画像データに第２または第３画像データを選択する処理（ステップＳ９９、ステップＳ１００）が繰り返えされる。
【０１４０】
なお、ここでは第１参加者の会話相手が第３参加者の状態がしきい値Ｔ１以上継続すると、第１画像データを、第１選択画像データに設定するようにしたが、第１参加者の会話相手が第３参加者の状態が継続する時間を、ランダムな時間としてもよい。例えば、第１参加者の発話が中断した場合とすればよい。また、第１画像データを、第１選択画像データに設定する時間を時間ＴＭとしたが、時間ＴＭは、任意に定めることができ、第２参加者が第１画像データの画像を認識できる程度に短い時間であってもよい。
【０１４１】
図１８は、第１参加者と第２参加者が会話しているときの第１〜第３会議室の表示状態の一例を示す図である。図１８（Ａ）は、第１会議室に配置される表示部２７の画面の一例を示す図である。図１８（Ａ）を参照して、表示部２７の第１表示領域に第２参加者の正面を撮像した画像が表示され、表示部２７の第２表示領域に第３参加者の正面を撮像した画像が表示される。図１８（Ｂ）は、第２会議室に配置される表示部２７Ａの画面の一例を示す図である。図１８（Ｂ）を参照して、表示部２７Ａの第１表示領域に第１参加者の正面を撮像した画像が表示され、表示部２７Ａの第２表示領域に第３参加者の正面を撮像した画像が表示される。図１８（Ｃ）は、第３会議室に配置される表示部２７Ｂの画面の一例を示す図である。図１８（Ｃ）を参照して、表示部２７Ｂの第１表示領域に第２参加者の右側面を撮像した画像が表示され、表示部２７Ｂの第２表示領域に第１参加者の左側面を撮像した画像が表示される。
【０１４２】
第１参加者と第２参加者が会話しているときは、第１参加者は、表示部２７の第１表示領域に表示された第２参加者と視線が合い、第２参加者は、表示部２７Ａの第１表示領域に表示された第１参加者と視線が合う。また、第３参加者は、表示部２７Ｂの第１表示領域に表示された第２参加者と、表示部２７Ｂの第２表示領域に表示された第１参加者と、が会話していることを知ることができる。
【０１４３】
図１８（Ｄ）は、第１参加者と第２参加者が会話して所定時間Ｔ１経過後の第３会議室の表示状態の一例を示す第１の図である。図１８（Ｄ）は、第１参加者と第２参加者が会話して所定時間Ｔ１経過後に、第１参加者が発話しているときに表示される画面の一例を示す。図１８（Ｄ）を参照して、表示部２７Ｂの第１表示領域に第２参加者の右側面を撮像した画像が表示され、表示部２７Ｂの第２表示領域に第１参加者の正面を撮像した画像が表示される。このため、第３参加者は、発話している第１参加者が視線を自分の方に向けた画像を見ることになり、第１参加者からのノンバーバル情報が第３参加者に伝えられる。このため、第３参加者は、会議に集中することができる。
【０１４４】
図１８（Ｅ）は、第１参加者と第２参加者が会話して所定時間Ｔ１経過後の第３会議室の表示状態の一例を示す第２の図である。図１８（Ｅ）は、第１参加者と第２参加者が会話して所定時間Ｔ１経過後に、第２参加者が発話しているときに表示される画面の一例を示す。図１８（Ｅ）を参照して、表示部２７Ｂの第１表示領域に第２参加者の正面を撮像した画像が表示され、表示部２７Ｂの第２表示領域に第１参加者の左側面を撮像した画像が表示される。このため、第３参加者は、発話している第２参加者が視線を自分の方に向けた画像を見ることになり、第２参加者からのノンバーバル情報が第３参加者に伝えられる。このため、第３参加者は、会議に集中することができる。
【０１４５】
図１９は、第１参加者と第３参加者が会話しているときの第１〜第３会議室の表示状態の一例を示す図である。図１９（Ａ）は、第１会議室に配置される表示部２７の画面の一例を示す図である。図１９（Ａ）を参照して、表示部２７の第１表示領域に第２参加者の正面を撮像した画像が表示され、表示部２７の第２表示領域に第３参加者の正面を撮像した画像が表示される。図１９（Ｂ）は、第２会議室に配置される表示部２７Ａの画面の一例を示す図である。図１９（Ｂ）を参照して、表示部２７Ａの第１表示領域に第１参加者の右側面を撮像した画像が表示され、表示部２７Ａの第２表示領域に第３参加者の左側面を撮像した画像が表示される。図１９（Ｃ）は、第３会議室に配置される表示部２７Ｂの画面の一例を示す図である。図１９（Ｃ）を参照して、表示部２７Ｂの第１表示領域に第２参加者の正面を撮像した画像が表示され、表示部２７Ｂの第２表示領域に第１参加者の正面を撮像した画像が表示される。
【０１４６】
第１参加者と第３参加者が会話しているときは、第１参加者は、表示部２７の第２表示領域に表示された第３参加者と視線が合い、第３参加者は、表示部２７Ｂの第２表示領域に表示された第１参加者と視線が合う。また、第２参加者は、表示部２７Ａの第１表示領域に表示された第１参加者と、表示部２７Ａの第２表示領域に表示された第３参加者と、が会話していることを知ることができる。
【０１４７】
図１９（Ｄ）は、第１参加者と第３参加者が会話して所定時間Ｔ１経過後の第２会議室の表示部の表示状態の一例を示す第１の図である。図１９（Ｄ）は、第１参加者と第３参加者が会話して所定時間Ｔ１経過後に、第１参加者が発話しているときに表示される画面の一例を示す。図１９（Ｄ）を参照して、表示部２７Ａの第１表示領域に第１参加者の正面を撮像した画像が表示され、表示部２７Ａの第２表示領域に第３参加者の左側面を撮像した画像が表示される。このため、第２参加者は、発話している第１参加者が視線を自分の方に向けた画像を見ることになり、第１参加者からのノンバーバル情報が第２参加者に伝えられる。このため、第２参加者は、会議に集中することができる。
【０１４８】
図１９（Ｅ）は、第１参加者と第３参加者が会話して所定時間Ｔ１経過後の第２会議室の表示部の表示状態の一例を示す第２の図である。図１９（Ｅ）は、第１参加者と第３参加者が会話して所定時間Ｔ１経過後に、第３参加者が発話しているときに表示される画面の一例を示す。図１９（Ｅ）を参照して、表示部２７Ａの第１表示領域に第１参加者の右側面を撮像した画像が表示され、表示部２７Ａの第２表示領域に第３参加者の正面を撮像した画像が表示される。このため、第２参加者は、発話している第３参加者が視線を自分の方に向けた画像を見ることになり、第３参加者からのノンバーバル情報が第２参加者に伝えられる。このため、第２参加者は、会議に集中することができる。
【０１４９】
図２０は、第２参加者と第３参加者が会話しているときの第１〜第３会議室の表示状態の一例を示す図である。図２０（Ａ）は、第１会議室に配置される表示部２７の画面の一例を示す図である。図２０（Ａ）を参照して、表示部２７の第１表示領域に第２参加者の右側面を撮像した画像が表示され、表示部２７の第２表示領域に第３参加者の左側面を撮像した画像が表示される。図２０（Ｂ）は、第２会議室に配置される表示部２７Ａの画面の一例を示す図である。図２０（Ｂ）を参照して、表示部２７Ａの第１表示領域に第１参加者の正面を撮像した画像が表示され、表示部２７Ａの第２表示領域に第３参加者の正面を撮像した画像が表示される。図２０（Ｃ）は、第３会議室に配置される表示部２７Ｂの画面の一例を示す図である。図２０（Ｃ）を参照して、表示部２７Ｂの第１表示領域に第２参加者の正面を撮像した画像が表示され、表示部２７Ｂの第２表示領域に第１参加者の正面を撮像した画像が表示される。
【０１５０】
第２参加者と第３参加者が会話しているときは、第１参加者は、表示部２７の第１表示領域に表示された第２参加者と、表示部２７の第２表示領域に表示された第３参加者と、が会話していることを知ることができる。また、第２参加者は、表示部２７Ａの第２表示領域に表示された第３参加者と視線が合い、第３参加者は、表示部２７Ｂの第１表示領域に表示された第２参加者と視線が合う。
【０１５１】
図２０（Ｄ）は、第２参加者と第３参加者が会話して所定時間Ｔ１経過後の第１会議室の表示部の表示状態の一例を示す第１の図である。図２０（Ｄ）は、第２参加者と第３参加者が会話して所定時間Ｔ１経過後に、第２会議室の第２参加者が発話しているときに表示される画面の一例を示す。図２０（Ｄ）を参照して、表示部２７の第１表示領域に第２参加者の正面を撮像した画像が表示され、表示部２７の第２表示領域に第３参加者の左側面を撮像した画像が表示される。このため、第１参加者は、発話している第２参加者が視線を自分の方に向けた画像を見ることになり、第２参加者からのノンバーバル情報が第１参加者に伝えられる。このため、第１参加者は、会議に集中することができる。
【０１５２】
図２０（Ｅ）は、第２参加者と第３参加者が会話して所定時間Ｔ１経過後の第１会議室の表示部の表示状態の一例を示す第２の図である。図２０（Ｅ）は、第２参加者と第３参加者が会話して所定時間Ｔ１経過後に、第３参加者が発話しているときに表示される画面の一例を示す。図２０（Ｅ）を参照して、表示部２７の第１表示領域に第２参加者の右側面を撮像した画像が表示され、表示部２７の第２表示領域に第３参加者の正面を撮像した画像が表示される。このため、第１参加者は、発話している第３参加者が視線を自分の方に向けた画像を見ることになり、第３参加者からのノンバーバル情報が第１参加者に伝えられる。このため、第１参加者は、会議に集中することができる。
【０１５３】
以上説明したように第２の実施の形態における会議システム１Ａは、第１会議室の第１参加者が第２参加者と会話していると判断された場合に、第１カメラ３５で第１参加者を撮像した第１画像データが第１選択画像データとして選択され、第３参加者と会話していると判断された場合に、第２および第３カメラ３７，３９それぞれで第１参加者を撮像した第２画像データおよび第３画像データのいずれか一方が第１選択画像データとして選択され、第１会議室の第１参加者が第３参加者と会話していると判断される状態が所定時間Ｔ１継続すると、第１画像データが所定時間Ｔ２第１選択画像データとして選択され、選択された第１選択画像データが第２会議室に配置されたＰＣ１００Ａに送信される。また、第１会議室の第１参加者が第３参加者と会話していると判断された場合に、第１カメラ３５で第１参加者を撮像した第１画像データが第２選択画像データとして選択され、一方の会議室の参加者と会話していると判断された場合に、第２および第３カメラ３７，３９それぞれで第１参加者を撮像した第２画像データおよび第３画像データのいずれか一方が第２選択画像データとして選択され、第１会議室の第１参加者が第２参加者と会話していると判断される状態が所定時間Ｔ１継続すると、第１画像データが所定時間Ｔ２第２選択画像データとして選択され、選択された第２選択画像データが第３会議室に配置されたＰＣ１００Ｂに送信される。このため、参加者に向かう第１の方向で参加者を撮像した第１画像データを見る第２または第３参加者は、第１会議室の第１参加者と視線が合うが、第２または第３画像データを見る第２または第３会議室の参加者は、第１会議室の参加者と視線が合わない。第１参加者が第３参加者と会話していると判断される状態では、第２参加者は第１参加者と視線が合わないが、その状態が所定時間Ｔ１継続すると、第１画像データが所定時間Ｔ２第１会議室に配置されたＰＣ１００Ａに送信されるので、第２参加者は第１参加者と所定時間Ｔ２視線が合う。また、第１参加者が第２参加者と会話していると判断される状態では、第３参加者は第１会議室の参加者と視線が合わないが、その状態が所定時間Ｔ１継続すると、第１画像データが所定時間Ｔ２第３会議室に配置されたＰＣ１００Ｂに送信されるので、第３参加者は第１参加者と所定時間Ｔ２視線が合う。このため、第１参加者から第２または第３参加者のいずれかにノンバーバル情報が伝達されていないときに、ノンバーバル情報を伝達することができる。
【０１５４】
また、第１参加者が第３参加者と会話していると判断された場合に、第２会議室に配置されたＰＣ１００Ａから受信される表示領域情報が第１表示領域を示す場合は第２画像データが第１選択画像データとして選択され、ＰＣ１００Ａから受信される表示領域情報が第２表示領域を示す場合は第３画像データが第１選択画像データとして選択され、選択された第１選択画像データが第２会議室に配置されたＰＣ１００Ａに送信される。また、第１参加者が第２参加者と会話していると判断された場合に、第３会議室に配置されたＰＣ１００Ｂから受信される表示領域情報が第１表示領域を示す場合は第２画像データが第２選択画像データとして選択され、ＰＣ１００Ｂから受信される表示領域情報が第２表示領域を示す場合は第３画像データが第２選択画像データとして選択され、選択された第２選択画像データが第３会議室に配置されたＰＣ１００Ｂに送信される。このため、第１〜第３参加者それぞれは、他の２つの会議室の参加者が会話している間は、他の２つの会議室の二人の参加者が向かい合って会話する画像を見ることができる。
【０１５５】
また、第２会議室に配置されたＰＣ１００Ａに送信する第１選択画像データとして、第２画像データおよび第３画像データのいずれか一方を選択しているとき、第３会議室の第３参加者と会話していると判断される状態が所定時間Ｔ１継続すると、第１参加者が発話していると判断されることを条件に、第１画像データが所定時間Ｔ２第１選択画像データとして選択され、第２会議室に配置されたＰＣ１００Ａに送信される。また、第３会議室に配置されたＰＣ１００Ｂに送信する第２選択画像データとして、第２画像データおよび第３画像データのいずれか一方を選択しているとき、第１参加者と会話していると判断される状態が所定時間Ｔ１継続すると、第１参加者が発話していると判断されることを条件に、第１画像データが所定時間Ｔ２第２選択画像データとして選択され、第３会議室に配置されたＰＣ１００Ｂに送信される。このため、第２会議室の参加者は、第１および第３会議室の参加者が会話しているときは、二人の参加者が向かい合って会話する画像を見るが、その状態が所定時間Ｔ１継続すると、第１または第３参加者いずれかが発話していれば、第１または第３参加者のうち発話している参加者と視線が合う画像を見ることになる。また、第３参加者は、第１および第２参加者が会話しているときは、二人の参加者が向かい合って会話する画像を見るが、その状態が所定時間Ｔ１継続すると、第１または第２参加者が発話していれば、第１または第２参加者のうち発話している参加者と視線が合う画像を見ることになる。さらに、第１参加者は、第２および第３参加者が会話しているときは、二人の参加者が向かい合って会話する画像を見るが、その状態が所定時間Ｔ１継続すると、第２または第３参加者が発話していれば、第２または第３参加者のうち発話している参加者と視線が合う画像を見ることになる。このため、３つの第１〜第３参加者それぞれは、他の２つの会議室の参加者が会話している間は、他の２つの会議室の二人の参加者が向かい合って会話する画像を見るが、他の２つの会議室の参加者が会話している状態が所定時間Ｔ１継続すると、他の２つの会議室の参加者のうち発話している参加者と視線が合う画像を、所定時間Ｔ２見ることができる。
【０１５６】
また、３つの第１〜第３会議室それぞれは、さらに、音声を集音するマイクロホン３１が配置され、ＰＣ１００，１００Ａ,１００Ｂそれぞれは、マイクロホン３１をさらに制御し、マイクロホン３１が出力する音データに基づいて、参加者が発話しているか否かを判断する。ＰＣ１００は、検出された第１参加者の視線方向が第１表示領域に向かい、かつ、第１参加者が発話していると判断される場合に第２参加者に発話していると判定し、検出された第１参加者の視線方向が第２表示領域に向かい、かつ、第１参加者が発話していると判断される場合に第３参加者に発話していると判定する。このため、発話しているか否かの判断を、視線方向と発話していることとで判断するので、正確に会話相手を特定することができる。
【０１５７】
なお、上述した第１の実施の形態においては、制御手段の一例としてＰＣ１００，１００Ａ〜１００Ｆを説明したが、図４に示した処理をＰＣ１００，１００Ａ〜１００Ｆそれぞれに実行させるための表示制御方法または、その表示制御方法をコンピュータに実行させるための表示制御プログラムとして発明を捉えることができるのは言うまでもない。また、上述した第２の実施の形態においては、制御手段の一例としてＰＣ１００，１００Ａ，１００Ｂを説明したが、図１２〜図１７に示した処理をＰＣ１００，１００Ａ，１００Ｂそれぞれに実行させるための表示制御方法または、その表示制御方法をコンピュータに実行させるための表示制御プログラムとして発明を捉えることができるのは言うまでもない。
【０１５８】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１５９】
１，１Ａ  会議システム、３  ネットワーク、１１  ＣＰＵ、１３  ＲＯＭ、１５  ＲＡＭ、１７  ＨＤＤ、１８  メモリカード、１９  カードＩ／Ｆ、２１  通信Ｉ／Ｆ、２３  ユーザインターフェース、２５  操作部、２７  表示部、２９  外部Ｉ／Ｆ、３１  マイクロホン、３３  スピーカ、３５  カメラ、３５，３７，３９  第１〜第３カメラ、５１，５１Ａ  画像データ取得部、５３，５３Ａ  音データ取得部、５５，５５Ａ  視線方向検出部、５７，５７Ａ  視線画像記憶部、５７Ａ  視線画像記憶部、５９，５９Ａ  選択部、６１，６１Ａ  映像データ送信部、６３，６３Ａ  映像データ受信部、６５，６５Ａ  表示制御部、６７，６７Ａ  音声制御部、７１  発話検出部、７３  第１選択部、７５  視線方向検出部、７７  第２選択部、７９  発話相手判定部、８１  第１会議室情報送信部、８３  第２会議室情報送信部、８５  第１会議室情報受信部、８７  第２会議室情報受信部、８９  会話相手判断部、９１  表示制御部、９３  音声制御部、１０１  視線画像データ。
【図１】
2012114511.tif 000003
【図２】
2012114511.tif 000004
【図３】
2012114511.tif 000005
【図４】
2012114511.tif 000006
【図５】
2012114511.tif 000007
【図６】
2012114511.tif 000008
【図７】
2012114511.tif 000009
【図８】
2012114511.tif 000010
【図９】
2012114511.tif 000011
【図１０】
2012114511.tif 000012
【図１１】
2012114511.tif 000013
【図１２】
2012114511.tif 000014
【図１３】
2012114511.tif 000015
【図１４】
2012114511.tif 000016
【図１５】
2012114511.tif 000017
【図１６】
2012114511.tif 000018
【図１７】
2012114511.tif 000019
【図１８】
2012114511.tif 000020
【図１９】
2012114511.tif 000021
【図２０】
2012114511.tif 000022