(57)【要約】【課題】高い臨場感で相互に通信が可能な双方向通信システム及び双方向通信方法並びに制御プログラムの提供。【解決手段】ディスプレイパネル２と撮影カメラ３とスピーカ４とマイク５と照明手段７とを制御する制御装置８又は制御プログラムで、顔のサイズなどの身体的特徴を検出して略等身大となるように表示したり、目の位置を検出して目の高さが合うように表示位置を調整したり、人物の顔の照度を検出して照度が合うように表示輝度を調整したり、人物の顔や室内の照度を検出して照度が合うように室内の照明の明るさを調整する制御を行う。また、複数の発光素子がマトリクス状に配列されるディスプレイパネル１４の所定の位置に撮像素子や発音素子、集音素子を分散して配置し、このディスプレイパネル１４を用いて人物の口の位置を検出して口近傍の発音素子から音声を再生する制御を行う。【選択図】図１
2008005122.tif 000002
【特許請求の範囲】
【請求項１】
複数のサイトの各々に、ディスプレイパネルと撮影カメラとスピーカとマイクとこれらを制御する制御手段とを少なくとも備え、
各々のサイトの前記制御手段は通信ネットワークを介して相互に接続され、
異なるサイト間で画像と音声とがリアルタイムで交信される双方向通信システムにおいて、
所定のサイトの前記制御手段は、他のサイトで撮影された人物の身体的特徴を検出し、該身体的特徴と予め定めた基準値との比較結果に基づいて、前記所定のサイトの前記ディスプレイパネル上で前記他のサイトの人物が略等身大で表示されるように表示倍率を調整することを特徴とする双方向通信システム。
【請求項２】
複数のサイトの各々に、発光素子と、撮像素子、発音素子及び集音素子から選ばれる少なくとも１つの素子とを含むディスプレイパネルと制御手段とを少なくとも備え、
各々のサイトの前記制御手段は通信ネットワークを介して相互に接続され、
異なるサイト間で画像と音声とがリアルタイムで交信される双方向通信システムにおいて、
所定のサイトの前記制御手段は、他のサイトで撮影された人物の身体的特徴を検出し、該身体的特徴と予め定めた基準値との比較結果に基づいて、前記所定のサイトの前記ディスプレイパネル上で前記他のサイトの人物が略等身大で表示されるように表示倍率を調整することを特徴とする双方向通信システム。
【請求項３】
前記身体的特徴が、顔のサイズであることを特徴とする請求項１又は２に記載の双方向通信システム。
【請求項４】
前記顔のサイズが、両目の距離、又は、目、鼻、耳、口及び顎端部から選ばれる少なくとも２つの距離であることを特徴とする請求項３に記載の双方向通信システム。
【請求項５】
前記所定のサイトの前記制御手段は、前記ディスプレイパネル上に表示された、前記他のサイトの人物の目の位置を検出し、前記位置が前記所定のサイトの人物の目の高さと略一致するように、前記ディスプレイパネル上の人物の表示位置を調整することを特徴とする請求項１又は２に記載の双方向通信システム。
【請求項６】
前記所定のサイトの前記制御手段は、前記ディスプレイパネル上に表示された、前記他のサイトの人物の顔の照度を検出し、前記照度が前記所定のサイトの人物の顔の照度と略一致するように、前記ディスプレイパネルの表示輝度を調整することを特徴とする請求項１又は２に記載の双方向通信システム。
【請求項７】
各々のサイトに照明手段を備え、
前記所定のサイトの前記制御手段は、前記ディスプレイパネル上に表示された、前記他のサイトの人物の顔の照度を検出し、前記照度が前記所定のサイトの人物の顔の照度と略一致するように、前記所定のサイトの前記照明手段の明るさを調整するか、又は、前記他のサイトの前記制御手段に該他のサイトの前記照明手段の明るさの調整を指示することを特徴とする請求項１又は２に記載の双方向通信システム。
【請求項８】
各々のサイトに照明手段を備え、
前記所定のサイトの前記制御手段は、前記ディスプレイパネル上に表示された、前記他のサイトの室内の照度を検出し、前記照度が前記所定のサイトの室内の照度と略一致するように、前記所定のサイトの前記照明手段の明るさを調整するか、又は、前記他のサイトの前記制御手段に該他のサイトの前記照明手段の明るさの調整を指示することを特徴とする請求項１又は２に記載の双方向通信システム。
【請求項９】
前記ディスプレイパネルに複数の前記発音素子が分散して配置され、
前記所定のサイトの前記制御手段は、前記ディスプレイパネル上に表示された、前記他のサイトの人物の口の位置を検出し、前記口近傍に配置された前記発音素子から、前記他のサイトで集音された音声を再生させることを特徴とする請求項２に記載の双方向通信システム。
【請求項１０】
前記ディスプレイパネルに複数の前記集音素子と複数の前記発音素子とが分散して配置され、
前記他のサイトの前記制御手段は、各々の前記集音素子で検出した音声情報と前記集音素子の位置情報とを対応付けて前記所定のサイトの前記制御手段に送信し、
前記所定のサイトの前記制御手段は、前記集音素子の位置情報で特定される位置近傍に配置された前記発音素子から、前記他のサイトの前記集音素子で検出した音声情報を再生させることを特徴とする請求項２に記載の双方向通信システム。
【請求項１１】
コンピュータを、
請求項１乃至１０のいずれか一に記載の制御手段として機能させることを特徴とする制御プログラム。
【請求項１２】
通信ネットワークを介して相互に接続される複数のサイトの各々に、ディスプレイパネルと撮影カメラとスピーカとマイクとを少なくとも備えるシステムにおける双方向通信方法であって、
所定のサイトで、
他のサイトで撮影された人物の身体的特徴を検出し、
前記身体的特徴と予め定めた基準値とを比較し、
前記比較の結果に基づいて、前記所定のサイトの前記ディスプレイパネル上で前記他のサイトの人物が略等身大で表示されるように表示倍率を調整することを特徴とする双方向通信方法。
【請求項１３】
通信ネットワークを介して相互に接続される複数のサイトの各々に、発光素子と、撮像素子、発音素子及び集音素子から選ばれる少なくとも１つの素子とを含むディスプレイパネルを少なくとも備えるシステムにおける双方向通信方法であって、
所定のサイトで、
他のサイトで撮影された人物の身体的特徴を検出し、
前記身体的特徴と予め定めた基準値とを比較し、
前記比較の結果に基づいて、前記所定のサイトの前記ディスプレイパネル上で前記他のサイトの人物が略等身大で表示されるように表示倍率を調整することを特徴とする双方向通信方法。
【請求項１４】
前記身体的特徴が、顔のサイズであることを特徴とする請求項１２又は１３に記載の双方向通信方法。
【請求項１５】
前記顔のサイズが、両目の距離、又は、目、鼻、耳、口及び顎端部から選ばれる少なくとも２つの距離であることを特徴とする請求項１４に記載の双方向通信方法。
【請求項１６】
前記所定のサイトで、
前記ディスプレイパネル上に表示された、前記他のサイトの人物の目の位置を検出し、
前記位置が前記所定のサイトの人物の目の高さと略一致するように、前記ディスプレイパネル上の人物の表示位置を調整することを特徴とする請求項１２又は１３に記載の双方向通信方法。
【請求項１７】
前記所定のサイトで、
前記ディスプレイパネル上に表示された、前記他のサイトの人物の顔の照度を検出し、
前記照度が前記所定のサイトの人物の顔の照度と略一致するように、前記ディスプレイパネルの表示輝度を調整することを特徴とする請求項１２又は１３に記載の双方向通信方法。
【請求項１８】
各々のサイトに照明手段を備え、
前記所定のサイトで、
前記ディスプレイパネル上に表示された、前記他のサイトの人物の顔の照度を検出し、
前記照度が前記所定のサイトの人物の顔の照度と略一致するように、前記所定のサイトの前記照明手段の明るさを調整するか、又は、前記他のサイトに対して該他のサイトの前記照明手段の明るさの調整を指示することを特徴とする請求項１２又は１３に記載の双方向通信方法。
【請求項１９】
各々のサイトに照明手段を備え、
前記所定のサイトで、
前記ディスプレイパネル上に表示された、前記他のサイトの室内の照度を検出し、
前記照度が前記所定のサイトの室内の照度と略一致するように、前記所定のサイトの前記照明手段の明るさを調整するか、又は、前記他のサイトに対して該他のサイトの前記照明手段の明るさの調整を指示することを特徴とする請求項１２又は１３に記載の双方向通信方法。
【請求項２０】
前記ディスプレイパネルに複数の前記発音素子を分散して配置し、
前記所定のサイトで、
前記ディスプレイパネル上に表示された、前記他のサイトの人物の口の位置を検出し、
前記口近傍に配置された前記発音素子から、前記他のサイトで集音された音声を再生することを特徴とする請求項１３に記載の双方向通信方法。
【請求項２１】
前記ディスプレイパネルに複数の前記集音素子と複数の前記発音素子とを分散して配置し、
前記他のサイトで、
各々の前記集音素子で検出した音声情報と前記集音素子の位置情報とを対応付けて前記所定のサイトに送信し、
前記所定のサイトで、
前記集音素子の位置情報で特定される位置近傍に配置された前記発音素子から、前記他のサイトの前記集音素子で検出した音声情報を再生することを特徴とする請求項１３に記載の双方向通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信システム及び通信方法並びに制御プログラムに関し、特に、テレビ会議システム等に利用される双方向通信システム及び双方向通信方法並びに制御プログラムに関する。
【背景技術】
【０００２】
遠隔地との双方向通信システムは、ブロードバンドに代表される通信回線容量の増大及び制御装置の高性能化とともに進歩してきた。今日、高画質カラー画像を音声とともにリアルタイムで双方向通信することが可能であり、特にビジネス分野におけるテレビ会議システムでは、複数の相手と会話ができるようになった。また、マイクやスピーカを複数個設置して特定の相手との対話も可能になってきている。
【０００３】
例えば、下記特許文献１には、各サイトに映像画面、カメラ及び画面再生装置並びに録音及び再生装置を備えるシステムにおいて、映像画面が、離れた所にいる全ての人物を同時に表示する画像壁を形成する表示システムを備え、録音及び再生装置が、各人物が発した音声と人物の画像とを整合する装置を備えるテレビ会議システムが開示されている。
【０００４】
【特許文献１】特表２００１−５１７３９５号公報（第９−１６頁、第３図）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のテレビ会議システムでは、以下に示す問題があった。
【０００６】
第１の問題は、画面上に表示される人物の大きさや位置と、その画面を見る人物の大きさや位置とが一致しないため、高い臨場感を得ることができないということである。
【０００７】
また、第２の問題は、画面上に表示される人物や室内の照度と、その画面を見る人物や室内の照度とが一致しないため、高い臨場感を得ることができず、送信側の条件に応じて、受信側の表示画面の明るさをその都度手動で調整する必要があるため、会議の内容に集中できないということである。
【０００８】
また、第３の問題は、特許文献１で提案されているテレビ会議システムでは、撮影カメラ、スピーカ、マイクの設置場所を配慮する必要があり、相互の参加人数に応じて設置すべき撮影カメラ、スピーカ、マイクの数を気にしなければならないなど、準備が煩雑であり、画面上に表示される人物の位置とその人物の音声が出力される位置とが一致しないため、高い臨場感を得ることができないということである。
【０００９】
本発明は、上記問題点に鑑みてなされたものであって、その第１の目的は、高い臨場感で相互に通信を行うことができる双方向通信システム及び双方向通信方法並びに制御プログラムを提供することにある。
【００１０】
また、本発明の第２の目的は、設置の煩雑さを解消し、更に高い臨場感で相互に通信を行うことができる双方向通信システム及び双方向通信方法並びに制御プログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明のシステムは、複数のサイトの各々に、ディスプレイパネルと撮影カメラとスピーカとマイクとこれらを制御する制御手段とを少なくとも備え、各々のサイトの前記制御手段は通信ネットワークを介して相互に接続され、異なるサイト間で画像と音声とがリアルタイムで交信される双方向通信システムにおいて、所定のサイトの前記制御手段は、他のサイトで撮影された人物の身体的特徴を検出し、該身体的特徴と予め定めた基準値との比較結果に基づいて、前記所定のサイトの前記ディスプレイパネル上で前記他のサイトの人物が略等身大で表示されるように表示倍率を調整するものである。
【００１２】
また、本発明のシステムは、複数のサイトの各々に、発光素子と、撮像素子、発音素子及び集音素子から選ばれる少なくとも１つの素子とを含むディスプレイパネルと制御手段とを少なくとも備え、各々のサイトの前記制御手段は通信ネットワークを介して相互に接続され、異なるサイト間で画像と音声とがリアルタイムで交信される双方向通信システムにおいて、所定のサイトの前記制御手段は、他のサイトで撮影された人物の身体的特徴を検出し、該身体的特徴と予め定めた基準値との比較結果に基づいて、前記所定のサイトの前記ディスプレイパネル上で前記他のサイトの人物が略等身大で表示されるように表示倍率を調整するものである。
【００１３】
本発明においては、前記身体的特徴が、顔のサイズであることが好ましく、前記顔のサイズが、両目の距離、又は、目、鼻、耳、口及び顎端部から選ばれる少なくとも２つの距離であることが好ましい。
【００１４】
また、本発明においては、前記所定のサイトの前記制御手段は、前記ディスプレイパネル上に表示された、前記他のサイトの人物の目の位置を検出し、前記位置が前記所定のサイトの人物の目の高さと略一致するように、前記ディスプレイパネル上の人物の表示位置を調整する構成とすることができる。
【００１５】
また、本発明においては、前記所定のサイトの前記制御手段は、前記ディスプレイパネル上に表示された、前記他のサイトの人物の顔の照度を検出し、前記照度が前記所定のサイトの人物の顔の照度と略一致するように、前記ディスプレイパネルの表示輝度を調整する構成とすることができる。
【００１６】
また、本発明においては、各々のサイトに照明手段を備え、前記所定のサイトの前記制御手段は、前記ディスプレイパネル上に表示された、前記他のサイトの人物の顔の照度を検出し、前記照度が前記所定のサイトの人物の顔の照度と略一致するように、前記所定のサイトの前記照明手段の明るさを調整するか、又は、前記他のサイトの前記制御手段に該他のサイトの前記照明手段の明るさの調整を指示する構成とすることができる。
【００１７】
また、本発明においては、各々のサイトに照明手段を備え、前記所定のサイトの前記制御手段は、前記ディスプレイパネル上に表示された、前記他のサイトの室内の照度を検出し、前記照度が前記所定のサイトの室内の照度と略一致するように、前記所定のサイトの前記照明手段の明るさを調整するか、又は、前記他のサイトの前記制御手段に該他のサイトの前記照明手段の明るさの調整を指示する構成とすることができる。
【００１８】
また、本発明においては、前記ディスプレイパネルに複数の前記発音素子が分散して配置され、前記所定のサイトの前記制御手段は、前記ディスプレイパネル上に表示された、前記他のサイトの人物の口の位置を検出し、前記口近傍に配置された前記発音素子から、前記他のサイトで集音された音声を再生させる構成とすることができる。
【００１９】
また、本発明においては、前記ディスプレイパネルに複数の前記集音素子と複数の前記発音素子とが分散して配置され、前記他のサイトの前記制御手段は、各々の前記集音素子で検出した音声情報と前記集音素子の位置情報とを対応付けて前記所定のサイトの前記制御手段に送信し、前記所定のサイトの前記制御手段は、前記集音素子の位置情報で特定される位置近傍に配置された前記発音素子から、前記他のサイトの前記集音素子で検出した音声情報を再生させる構成とすることもできる。
【００２０】
また、本発明のプログラムは、コンピュータを、上記いずれか一に記載の制御手段として機能させるものである。
【００２１】
また、本発明の方法は、通信ネットワークを介して相互に接続される複数のサイトの各々に、ディスプレイパネルと撮影カメラとスピーカとマイクとを少なくとも備えるシステムにおける双方向通信方法であって、所定のサイトで、他のサイトで撮影された人物の身体的特徴を検出し、前記身体的特徴と予め定めた基準値とを比較し、前記比較の結果に基づいて、前記所定のサイトの前記ディスプレイパネル上で前記他のサイトの人物が略等身大で表示されるように表示倍率を調整するものである。
【００２２】
また、本発明の方法は、通信ネットワークを介して相互に接続される複数のサイトの各々に、発光素子と、撮像素子、発音素子及び集音素子から選ばれる少なくとも１つの素子とを含むディスプレイパネルを少なくとも備えるシステムにおける双方向通信方法であって、所定のサイトで、他のサイトで撮影された人物の身体的特徴を検出し、前記身体的特徴と予め定めた基準値とを比較し、前記比較の結果に基づいて、前記所定のサイトの前記ディスプレイパネル上で前記他のサイトの人物が略等身大で表示されるように表示倍率を調整するものである。
【００２３】
このように、本発明では、制御装置又は制御プログラムにより、身体的特徴に基づいて人物を略等身大に表示したり、目の高さが合うように表示位置を調整したり、人物の照度が合うように表示輝度を調整したり、人物や室内の照度が合うように室内の照明の明るさを調整するなどの制御が行われるため、高い臨場感を実現することができる。
【００２４】
また、発光素子が配列されたディスプレイパネルに、撮像素子や発音素子、集音素子などを分散して配置することにより、撮影カメラ、スピーカ、マイクの設置の煩雑さを解消することができ、また、このディスプレイパネルを用いることにより、人物の口の位置から音声を再生することができるため、更に高い臨場感を実現することができる。
【発明の効果】
【００２５】
本発明の双方向通信システム及び双方向通信方法並びに制御プログラムによれば、下記記載の効果を奏する。
【００２６】
本発明の第１の効果は、相手と同じ空間を共有できているような高い臨場感を有し、相手の反応や感触を把握でき、対等の立場で議論できる雰囲気を達成することができるということである。その理由は、制御装置又は制御プログラムで、顔画像のサイズなどの身体的特徴を検出して略等身大となるように表示したり、目の位置を検出して目の高さが合うように表示位置を調整したり、人物の顔画像の照度が合うように表示輝度を調整したり、人物の顔画像の照度を合うように室内の照明の明るさを調整したり、室内の照度が合うように室内の照明の明るさを調整するなどの制御を行うからである。
【００２７】
また、本発明の第２の効果は、撮影カメラ、スピーカ、マイクの設置の煩雑さを解消することができ、かつ、更に高い臨場感を実現することができるということである。その理由は、複数の発光素子がマトリクス状に配列されるディスプレイパネルの所定の位置に撮像素子や発音素子、集音素子を分散して配置することにより、映像及び音声の入出力機能を一体化することができるからである。また、このディスプレイパネルを用いることにより、人物の口の位置を検出して、口に近い位置から音声を再生することができるからである。
【発明を実施するための最良の形態】
【００２８】
本発明は、その好ましい一実施の形態において、双方向の通信を行う複数のサイトの各々に、ディスプレイパネルと撮影カメラとスピーカとマイク（好ましくは、発光素子と共に、撮像素子や発音素子、集音素子が配置されているディスプレイパネル）とこれらを制御する制御装置とが配置され、制御装置で、他のサイトで撮影された人物の身体的特徴を検出してディスプレイパネル上で略等身大で表示したり、目の位置を検出して目の高さが合うように表示位置を調整したり、人物の照度を検出して照度が合うように表示輝度を調整したり、人物の照度を検出して照度が合うように照明の明るさを調整したり、室内の照度を検出して照度が合うように室内の照明の明るさを調整したり、人物の口の位置を検出して口近傍から音声を再生するなどの制御を行う。これにより、相手と同じ空間を共有できているような高い臨場感を有し、相手の反応や感触を把握でき、対等の立場で議論できる雰囲気を達成することができる。
【実施例１】
【００２９】
上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の第１の実施例に係る双方向通信システム及び方向通信方法並びに制御プログラムについて、図１乃至図６を参照して説明する。図１は、本実施例の双方向通信システムの構成を模式的に示す図であり、図２は、制御装置の構成を示すブロック図である。また、図３は、人物を略等身大で表示する手順を示すフローチャート図であり、図４は、目の高さを合わせて表示する手順を示すフローチャート図である。また、図５及び図６は、人物の照度を合わせて表示する手順を示すフローチャート図である。
【００３０】
図１に示すように、本実施例の双方向通信システム１は、テレビ会議などの双方向の通信を行う複数のサイトを含み、各々のサイトには、複数の発光素子で構成され、他のサイトで撮影された人物の画像を表示するディスプレイパネル２と、当該サイトの人物を撮影する撮影カメラ３と、他のサイトの人物の音声などを出力するスピーカ４と、当該サイトの人物の音声などを集音するマイク５と、各種操作を行うための操作端末６と、サイトの室内を照明する照明手段７と、それらを制御する制御装置８と少なくとも備え、各々のサイトの制御装置８は、電話回線やインターネット回線、社内ＬＡＮなどの専用回線等の通信ネットワーク９を介して相互に接続されている。
【００３１】
また、図２に示すように、制御装置８には、ディスプレイパネル２や撮影カメラ３を制御する映像制御手段１０と、スピーカ４やマイク５を制御する音声制御手段１１と、照明手段７を制御する照明制御手段１２と、映像及び音声の送受信を制御する通信制御手段１３とを備えている。
【００３２】
そして、送信側のサイト（例えば第２のサイト）の撮影カメラ３で撮影された画像情報は電気信号に変換されて、通信ネットワーク９を介して受信側のサイト（例えば第１のサイト）の制御装置８に到達し、ディスプレイパネル２上の当該位置の発光素子を点滅させて画像を表示する。同様に、送信側のサイトのマイク５で録音された音声情報は電気信号に変換されて、通信ネットワーク９を介して受信側のサイトの制御装置８に到達し、スピーカ４を振動させて音声を再現する。
【００３３】
一方、受信側のサイトの撮影カメラ３で撮影された画像情報は電気信号に変換されて、通信ネットワーク９を介して送信側のサイトの制御装置８に到達し、ディスプレイパネル２上の当該位置の発光素子を点滅させて画像を表示する。同様に、受信側のサイトのマイク５で録音された音声情報は電気信号に変換されて、通信ネットワーク９を介して送信側のサイトの制御装置８に到達し、スピーカ４を振動させて音声を再現する。
【００３４】
なお、図１及び図２の構成は例示であり、他の要素を含んでいてもよく、例えば、制御装置８に画像情報や音声情報を記録するメモリを有していても良い。また、制御装置８に操作端末６が接続されている構成としても良いが、ディスプレイパネル２にタッチパネル機構を設けてディスプレイパネル２上で操作できるようにしてもよい。また、図２の各制御手段は制御装置８にハードウェアとして構成されていてもよいし、コンピュータを、映像制御手段１０や音声制御手段１１、照明制御手段１２として機能させる制御プログラムとして構成し、該制御プログラムを制御装置８上で動作させる構成としてもよい。以下、本実施例の制御装置８の制御について説明する。
【００３５】
［サイズ調整］
第１のサイトの人物と第２のサイトの人物とが通信を行う場合、例えば、第１のサイトのディスプレイパネル２に表示される第２のサイトの人物のサイズと、第１のサイトの人物のサイズとが一致しないと、各々の人物が対話している実感が沸きにくく臨場感を得ることができない。そこで、本実施例では、所定のサイトの制御装置８は、公知の画像処理技術を利用して、他のサイトで撮影された人物の身体的特徴（例えば、顔画像のサイズ）を検出し、その身体的特徴と予め設定された標準値とを比較し、その比較結果に基づいて、所定のサイトのディスプレイパネル２上で人物が略等身大で表示されるように拡大縮小倍率を調整する制御を行う。
【００３６】
顔画像の標準値は、人類の顔に関する解剖学的なデータを集積し、その平均値などを用いることができる。正面の顔画像が取得できた場合は、両目の間隔、目と口の間隔、顔の巾などの値が利用できるし、斜めからの顔画像が取得できた場合は、頭頂部とあごの間隔、目とあごの間隔、目と鼻先の間隔などの値が利用できる。また、等身大とは、実物のサイズにぴったり一致させる必要はなく、実物の±１０％程度以内であれば本発明の効果を発揮するが、±５％程度以内であることが好ましい。
【００３７】
また、送信側のサイトに複数の人物がいる場合は、図３のフローチャート図に従って表示サイズを決定する。
【００３８】
まず、ステップＳ１０１で、送信側サイト（ここでは第２のサイト）の撮影カメラ３で人物を撮影し、撮影した画像情報を通信ネットワーク９を介して受信側サイト（ここでは第１のサイト）に送信すると、ステップＳ１０２で、受信側サイトの制御装置８は、例えば、画像の輪郭を抽出し、その輪郭と予め記憶した形状とを比較して人物の部位を特定するなどの公知の手法を用いて、撮影画像から人物の部位（ここでは顔）を検出する。
【００３９】
次に、ステップＳ１０３で、制御装置８は検出した顔が１つであるかを判断し、１つの場合は、ステップＳ１０４で、顔のサイズ（例えば、顔の縦横の寸法や両目の間隔など）を算出する。また、顔が複数の場合は、ステップＳ１０５で、テーブルや背景との位置関係などに基づいて、複数の人物の配置（例えば、撮影カメラ３からの距離）が略等しいかを判断し、各人物が撮影カメラ３に対して同等距離に位置してほぼ同じ大きさに撮影される場合は、ステップＳ１０６で、各人物の顔のサイズの平均値を算出する。また、各人物が撮影カメラ３に対してそれぞれ異なる距離に位置している場合は、ステップＳ１０７で、代表人物（例えば、最も撮影カメラ３に近い人物や撮影画像の中心に位置する人物、または任意に指定した人物など）を選択し、ステップＳ１０８で、その代表人物の顔のサイズを算出する。
【００４０】
次に、ステップＳ１０９で、算出した顔のサイズと予め記憶した標準値（例えば、成人の平均的な顔のサイズ）とを比較し、算出した顔のサイズが標準値に対して許容範囲内（例えば、±１０％）の場合（ステップＳ１１０のＹｅｓの場合）は、ステップＳ１１４で、算出した顔のサイズを表示サイズとして決定し、ステップＳ１１５で、顔が略等身大の撮影画像をディスプレイパネル２上に表示する。
【００４１】
一方、算出した顔のサイズが標準値の許容範囲を越えている場合（ステップＳ１１０のＮｏの場合）は、ステップＳ１１１で、算出した顔のサイズが標準値よりも小さいかを判断し、標準値よりも大きい場合（ステップＳ１１１のＮｏの場合）は、ステップＳ１１２で、撮影画像を予め定めた倍率（例えば、１０％）で縮小して再度、ステップＳ１０９に戻って標準値と比較し、標準値よりも小さい場合（ステップＳ１１１のＹｅｓの場合）は、ステップＳ１１３で、撮影画像を予め定めた倍率（例えば、１０％）で拡大して再度、ステップＳ１０９に戻って標準値と比較する。そして、縮小又は拡大した顔のサイズが基準値の許容範囲内になるまで上記処理を繰り返し、許容範囲内になったら、ステップＳ１１４で、縮小又は拡大した顔のサイズを表示サイズとして決定し、ステップＳ１１５で、顔が略等身大の撮影画像をディスプレイパネル上に表示する。
【００４２】
このように、送信側のサイトの人物が、受信側のサイトのディスプレイパネル２上で略等身大に表示されるため、テレビ会議のような双方向通信システムにおいて、遠隔地であるにもかかわらず、高い臨場感、相手との意思疎通の向上、議論の対等性を確保することができる。
【００４３】
［目の高さの調整］
また、第１のサイトの人物と第２のサイトの人物とが通信を行う場合、例えば、第１のサイトのディスプレイパネル２に表示される第２のサイトの人物の目の高さと、第１のサイトの人物の目の高さとが一致しないと、各々の人物が対話している実感が沸きにくく臨場感を得ることができない。そこで、本実施例では、第１のサイトの制御装置８は、第２のサイトで撮影された人物の目の位置を検出し、第１の人物の目の位置と合うように、ディスプレイパネル２上の表示位置を調整する。その場合の動作について、図４のフローチャート図を参照して説明する。
【００４４】
まず、ステップＳ２０１で、送信側サイト（ここでは第２のサイト）の撮影カメラ３で人物を撮影して画像情報を送信し、ステップＳ２０２で、受信側サイト（ここでは第１のサイト）の制御装置８は、公知の手法を用いて、撮影画像から人物の部位（ここでは顔）を検出する。
【００４５】
次に、ステップＳ２０３で、制御装置８は、テーブルや背景との位置関係などに基づいて、画像全体における相手の目の位置を検出し、ステップＳ２０４で、受信側のディスプレイパネル２の床からの設置高さを参照して相手の目の高さを算出する。次に、ステップＳ２０５で、受信側の撮影カメラ３で得られる画像を処理して、テーブルや背景との位置関係などに基づいて、受信側の人物の目の位置の高さを算出する。なお、ディスプレイパネル２の床からの設置高さは、ディスプレイパネル２を設置したときに計測し、そのデータをメモリに記憶しておけばよい。
【００４６】
次に、ステップＳ２０６で、受信側の人物の目の高さとディスプレイパネル２上での送信側の人物の目の高さとを比較し、その差分が許容範囲内（例えば、±１０％）の場合（ステップＳ２０７のＹｅｓの場合）は、ステップＳ２１１で、ディスプレイパネル２上に相手の人物を表示する。
【００４７】
また、許容範囲外の場合は、ステップＳ２０８で、送信側の人物の目の高さが受信側の人物の目の高さよりも低いかを判断し、高い場合（ステップＳ２０８のＮｏの場合）は、ステップＳ２０９で画像の表示位置を予め定めた距離（例えば、１０ｃｍ）だけ下げ、一方、低い場合（ステップＳ２０８のＹｅｓの場合）は、ステップＳ２１０で画像の表示位置を予め定めた距離だけ上げる。その後、ステップＳ２０６で再度、目の高さを比較し、許容範囲内になるまで上記処理を繰り返し、許容範囲内になったら、ステップＳ２１１で、ディスプレイパネル２上に相手の人物を表示する。
【００４８】
なお、送信側の人物の目の位置の高さは、受信側の人物の目の位置の高さに正確に一致させる必要はなく、受信側の人物の目の位置の高さの±１０ｃｍ程度以内であれば本発明の効果を発揮するが、±５ｃｍ程度以内であることが好ましい。また、送信側が複数の人物から構成される場合、前記等身大で表示する場合と同様に、平均値を算出したり、代表者を特定したりして、目の位置の高さを決定することができる。
【００４９】
このように、送信側の人物の目の高さと、受信側の人物の目の高さとを略一致させることによって、テレビ会議のような双方向通信システムにおいて、遠隔地であるにもかかわらず、高い臨場感、相手との意思疎通の向上、議論の対等性を確保することができる。
【００５０】
［表示輝度の調整］
また、第１のサイトの人物と第２のサイトの人物とが通信を行う場合、例えば、第１のサイトのディスプレイパネル２に表示される第２のサイトの人物の照度と、第１のサイトの人物の照度とが一致しないと、各々の人物が対話している実感が沸きにくく臨場感を得ることができない。そこで、本実施例では、第１のサイトの制御装置８は、ディスプレイパネル２上に表示された、第２のサイトの人物の顔画像の照度を検出し、第１のサイトの人物の顔画像の照度に合わせて、ディスプレイパネル２の表示輝度を調整する。その場合の動作について、図５のフローチャート図を参照して説明する。
【００５１】
まず、ステップＳ３０１で、送信側サイト（ここでは第２のサイト）の撮影カメラ３で人物を撮影して画像情報を送信し、ステップＳ３０２で、受信側サイト（ここでは第１のサイト）の制御装置８は、公知の手法を用いて、撮影画像から人物の部位（ここでは顔）を検出する。
【００５２】
次に、ステップＳ３０３で、制御装置８は、画像情報中の各部の出力値などに基づいて、相手の顔画像の照度を算出する。次に、ステップＳ３０４で、撮影カメラ３で受信側の人物の顔を撮影し、得られた画像を処理して、又は、撮影カメラ３の照度計の出力に基づいて受信側の人物の顔の照度を算出する。
【００５３】
次に、ステップＳ３０５で、受信側の人物の顔の照度とディスプレイパネル２上での送信側の人物の顔の照度とを比較し、その差分が許容範囲内（例えば、±１０％）の場合（ステップＳ３０６のＹｅｓの場合）は、ステップＳ３１０で、ディスプレイパネル２の表示輝度を決定し、ステップＳ３１１で、その表示輝度でディスプレイパネル２上に相手の人物を表示する。
【００５４】
また、許容範囲外の場合は、ステップＳ３０７で、送信側の人物の顔の照度が受信側の人物の顔の照度よりも低いかを判断し、高い場合（ステップＳ３０７のＮｏの場合）は、ステップＳ３０８で顔部分の表示輝度を予め定めた値だけ下げ、一方、低い場合（ステップＳ３０７のＹｅｓの場合）は、ステップＳ３０９で顔部分の表示輝度を予め定めた値だけ上げる。その後、ステップＳ３０５に戻って再度、照度を比較し、許容範囲内になるまで上記処理を繰り返し、許容範囲内になったら、ステップＳ３１０でディスプレイパネル２の表示輝度を決定し、ステップＳ３１１で、その表示輝度でディスプレイパネル２上に相手の人物を表示する。
【００５５】
なお、送信側の人物の顔画像の照度は、受信側の人物の顔画像の照度に完全に一致させる必要はなく、受信側の人物の顔画像の照度の±１０％程度以内であれば本発明の効果を発揮するが、±５％程度以内であることが好ましい。また、送信側が複数の人物から構成される場合、前記等身大で表示する場合と同様に、平均値を算出したり、代表者を特定したりして、顔画像の照度を決定することができる。
【００５６】
このように、送信側の人物の顔画像の照度と、受信側の人物の顔画像の照度とを略一致させることによって、テレビ会議のような双方向通信システムにおいて、遠隔地であるにもかかわらず、高い臨場感、相手との意思疎通の向上、議論の対等性を確保することができる。
【００５７】
［照明の明るさ調整］
また、第１のサイトの人物と第２のサイトの人物とが通信を行う場合、例えば、第１のサイトのディスプレイパネル２に表示される第２のサイトの人物の照度と、第１のサイトの人物の照度とが一致しないと、各々の人物が対話している実感が沸きにくく臨場感を得ることができない。そこで、本実施例では、第１のサイト（又は第２のサイト、又は双方のサイト）の制御装置８の映像制御手段１０は、ディスプレイパネル２上に表示された、第２のサイトの人物の顔画像の照度又は室内の照度の少なくとも１つを検出して、少なくとも一方のサイトの室内照明の明るさを調整する。
【００５８】
なお、［表示輝度の調整］で示した方法は、ディスプレイパネル２上の顔画像の部分の表示輝度のみを調整する方法であるが、ここで示す方法は、室内の明るさをコントロールし、その結果としての二次効果によって、送信側の人物の顔画像のディスプレイパネル２上での照度を調整する方法である。その場合の動作について、図６のフローチャート図を参照して説明する。
【００５９】
まず、ステップＳ４０１で、送信側サイト（ここでは第２のサイト）の撮影カメラ３で人物を撮影して画像情報を送信し、ステップＳ４０２で、受信側サイト（ここでは第１のサイト）の制御装置８は、公知の手法を用いて、撮影画像から人物の部位（ここでは顔）を検出する。
【００６０】
次に、ステップＳ４０３で、制御装置８は、画像情報中の各部の出力値などに基づいて、相手の顔画像の照度を算出、又は、送信側のサイトの制御手段８から撮影カメラ３で得られた送信側のサイトの室内の照度を取得する。次に、ステップＳ４０４で、撮影カメラ３で受信側の人物の顔や室内を撮影し、得られた画像を処理して、又は、撮影カメラ３の照度計の出力に基づいて受信側の人物の顔や室内の照度を算出する。
【００６１】
次に、ステップＳ４０５で、受信側の人物の顔の照度とディスプレイパネル２上での送信側の人物の顔の照度とを比較、又は、受信側の室内の照度と送信側の室内の照度とを比較し、その差分が許容範囲内（例えば、±１０％）の場合（ステップＳ４０６のＹｅｓの場合）は、ステップＳ４１０で照明手段７の輝度を決定する。
【００６２】
また、許容範囲外の場合は、ステップＳ４０７で、送信側の人物の顔の照度又は室内の照度が受信側の人物の顔の照度又は室内の照度よりも低いかを判断し、高い場合（ステップＳ４０７のＮｏの場合）は、又は、送信側の室内の照度が受信側の室内の照度よりも高い場合は、ステップＳ４０８で受信側のサイトの照明を明るくし（又は送信側のサイトの照明を暗くするように送信側のサイトの制御装置８に指示を送り）、一方、低い場合（ステップＳ４０７のＹｅｓの場合）は、ステップＳ４０９で受信側のサイトの照明を暗くする（又は送信側の照明を明るくするように送信側のサイトの制御装置８に指示を送る）。その後、ステップＳ４０５に戻って再度、照度を比較し、許容範囲内になるまで上記処理を繰り返し、許容範囲内になったら、ステップＳ４１０でいずれか一方のサイトの照明手段７の輝度を決定する。
【００６３】
なお、双方の室内の明るさが異なり、その結果として双方の顔画像の照度が異なる場合には、職場環境に関する法律（労働安全衛生法など）において定められた、標準的な室内照度値を１つの基準として、それに合わせる方向で調整することが好ましい。あるいは目的に応じて照度を設定可能にし、それに合わせる方向で調整しても構わない。
【００６４】
このように、送信側の人物の顔画像の照度又は室内の照度と、受信側の人物の顔画像の照度又は室内の照度とが略一致するように、少なくとも一方のサイトの照明手段７の明るさを調整することによって、テレビ会議のような双方向通信システムにおいて、遠隔地であるにもかかわらず、高い臨場感、相手との意思疎通の向上、議論の対等性を確保することができる。
【実施例２】
【００６５】
次に、本発明の第２の実施例に係る双方向通信システム及び双方向通信方法並びに制御プログラムについて、図７乃至図１３を参照して説明する。図７は、本実施例の双方向通信システムの構成を模式的に示す図であり、図８は、ディスプレイパネルの構成を模式的に示す図である。また、図９及び図１０は、撮像素子上に配置するレンズを説明するための図であり、図１１は、ディスプレイパネルの断面構造を模式的に示す図である。また、図１２及び図１３は、人物の口に合わせて音声を発音する手順を示すフローチャート図である。なお、本実施例は、本願発明者の先願（特願２００６−１３２３４４号）で開示したディスプレイパネルの制御に特徴を有するものである。
【００６６】
前記した第１の実施例では、画像を表示するためのディスプレイパネル２と音声を出力するためのスピーカ４と人物を撮影するための撮影カメラ３と音声を入力するためのマイク５とを別々に設けたが、この構成では、各々の構成部材の設置場所を配慮する必要があり、また、参加する人物の人数に応じて、設置すべき撮影カメラ３、スピーカ４、マイク５の数を気にしなければならないなど、準備が煩雑になるという問題が生じる。
【００６７】
そこで、本実施例では、図７に示すように、回路基板上に発光素子を配列して画像を表示するディスプレイパネル１４に、発光素子とともに、撮像素子、発音素子、集音素子から選ばれる少なくとも１つの素子を分散して配置し、発光素子による画像表示を主機能とし、撮像機能、発音機能、集音機能から選ばれる少なくとも１つの機能を副機能とし、構成を簡略化して準備を容易にする。
【００６８】
具体的には、本実施例のディスプレイパネル１４は、図８に示すように、回路基板上の素子の大半は発光素子であり、それらの発光素子を駆動するための回路が網目状に配置されている。また、それらの発光素子のマトリクス中に、撮像素子、発音素子、集音素子が同一基板上又は基板近傍に点在しており、その位置に対応して、撮像素子、発音素子、集音素子を駆動するための回路が配置されている。それらの回路は、発光素子を駆動する回路の中に一緒に組み込まれて回路基板を構成し、制御装置８に結合されている。
【００６９】
そして、送信側のサイト（例えば第２のサイト）の画像情報は、ディスプレイパネル１４上の撮像素子によって電気信号に変換されて、通信ネットワーク９を介して受信側のサイト（例えば第１のサイト）の制御装置８に到達し、そこから発光素子を駆動する回路を通って伝達され、ディスプレイパネル１４上の当該位置の発光素子を点滅させて画像を表示する。同様に、送信側のサイトの音声情報は、ディスプレイパネル１４上の集音素子によって電気信号に変換されて、通信ネットワーク９を介して受信側のサイトの制御装置８に到達し、そこから発音素子を駆動する回路を通って伝達され、ディスプレイパネル１４上の当該位置の発音素子を振動させて音声を再現する。
【００７０】
一方、受信側の画像情報は、ディスプレイパネル１４上の撮像素子によって電気信号に変換され、撮像素子を駆動する回路を通って制御装置８に送られ、通信ネットワーク９を介して送信側の制御装置８に到達し、送信側のディスプレイパネル１４上に表示される。同様に、受信側の音声情報は、ディスプレイパネル１４上の集音素子によって電気信号に変換され、集音素子を駆動する回路を通って制御装置８に送られ、通信ネットワーク９を介して送信側の制御装置８に到達し、送信側のディスプレイパネル１４上の当該位置の発音素子を振動させて音声を再現する。
【００７１】
なお、素子を駆動する回路基板としては、パッシブマトリクス型とアクティブマトリクス型があり、本発明はそのいずれでも可能であるが、アクティブマトリクス型の方が素子の駆動を高速化できるという点で好ましい。また、有機ＴＦＴ（Thin Film Transistor）基板を用いることによって、薄くて可撓性があるディスプレイパネルを実現できる。
【００７２】
また、同一回路基板上の発光素子の間に発光素子以外の素子を導入するには、その大部分を占める発光素子を形成する際に、他の素子を導入する場所をマスキングしておき、発光素子の形成が完了後に、今度は発光素子部分をマスキングしておいて他の素子を導入すればよい。あるいは逆に、回路基板上に先に他の素子を導入する場合は、発光素子を形成する場所をマスキングしておき、他の素子の導入が完了後に他の素子部分をマスキングしておいて発光素子を形成すればよい。また、回路基板上への発光素子の形成は一般的に、蒸着法、印刷法、インクジェット法、塗布法などがあり、発光素子の材料に適した方法で行えばよい。また他の素子についても、その材料に応じて最適な方法が採用される。
【００７３】
また、発光素子が多数によって画像を表示するように、撮像素子も多数配置させて画像の向上や、複数人物の位置関係や、さらには３次元画像の再生に貢献することができる。また、発音素子も多数配置させて大きな音を再現したり、あるいは発音素子の位置に応じた電気信号を配分することにより、ステレオシステムやサラウンドシステムのような立体的な音響効果を再現することが可能である。同様に集音素子も多数配置させて、立体的な音響効果再現に貢献することが可能である。なお、同一基板上に設置される、発光素子の数に対する、発光素子以外の素子の数の比率は、前記機能が達成されれば特に制限はないが、１０−８以上〜１０−１未満とすることが好ましい。以下、各々の素子について具体的に説明する。
【００７４】
［発光素子］
発光素子とは、広義には電気信号に基づいて点滅する素子であり、電球、発光ダイオード、プラズマ発光素子、有機エレクトロルミネッセンス素子などがあるが、本発明のディスプレイパネルに用いられる発光素子としては、有機エレクトロルミネッセンス素子であることが好ましい。
【００７５】
有機エレクトロルミネッセンス素子は、画像を構成する最小単位にふさわしく充分小さくできること、応答速度が速いこと、駆動エネルギーが小さいこと、さらには、ディスプレイパネルを構成したときに充分薄くできることなどのメリットがある。さらには本発明のように、同一基板上に有機エレクトロルミネッセンス素子以外の、前記撮像素子、発音素子、集音素子を組み込むことが容易である。有機エレクトロルミネッセンス素子については、例えば、特開平１０−１６２９５８号公報などに詳しく記載されている。
【００７６】
［撮像素子］
撮像素子とは画像を取得できる光センサであり、フォトダイオード、ＣＣＤ(Charge Coupled Device)イメージセンサ、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサを応用できる。すなわち、受光素子を基本とし、撮影対象物から発した光をマイクロレンズなどの光学系によって素子の受光面に配分し、その光情報を光電変換し、電気信号に変換するものである。
【００７７】
一般のデジタルカメラは、１つのレンズ系によって受光面に結像させた画像を、配列された多数の受光素子が光電変換するのに対し、本発明のディスプレイパネルにおける撮像素子は、該受光素子とそのレンズ系を小さく分割したマイクロレンズで構成され、回路基板上の多数の発光素子の間に散在させて配置される。なお、１つの撮像素子は１つの受光素子を有していても良いが、複数の受光素子を有している方が画質の向上や画像の演算処理おいて有利である。
【００７８】
これにより、ディスプレイパネル１４上に散在した位置に応じて撮影対象物から発した光の一部分を受光して電気信号に変換し、ディスプレイパネル１４上の全体の撮像素子の電気信号を制御装置８にて統合処理して、撮影対象物の画像を得ることができる。
【００７９】
すなわち、ディスプレイパネル１４の複数箇所に撮像素子が設置されるので、それぞれに視点の異なる画像が撮影される。これらの画像を統合して演算し、１つの全体画像とすることによって、あたかもディスプレイパネル１４の中心軸の後方に撮影カメラを設置したように、かつ画像の周辺収差が低減された見やすい全体画像を得ることができる。従来のテレビ会議用の撮影カメラは概ね１台であり、かつ会議室全体を撮影すべく広角レンズを使用しているために、周辺収差が大きく不自然な画像であったが、本発明はこれを改善する。
【００８０】
なお、上記マイクロレンズは、図９に示すように、光学レンズを光軸方向に圧縮したフレネル型レンズを分割したものであることが好ましい。この場合、ディスプレイパネル１４上に配置された撮像素子に配分される各マイクロレンズの位置関係は、もとのフレネル型レンズの相互の位置関係を保持していることが好ましい。すなわち、ディスプレイパネル１４上に散在したすべての撮像素子を取り出して、相互の位置関係を保持したままで集積すると、通常のレンズを有する１台のデジタルカメラに相当するように配置されることが好ましい。
【００８１】
具体的には、図１０に示すように、フレネルレンズを分割し、その分割したレンズ片をマイクロレンズとして撮像素子の上に設置したものであることが好ましい。これにより多数配置された個々の撮像素子の画像データを統合して演算処理し、１つの全体画像とすることができる。
【００８２】
このように、ディスプレイパネル１４中に散在された撮像素子は極めて小さいので、撮影カメラの存在を全く意識することなく双方向通信に集中することができるし、ディスプレイパネル１４での表示画像と撮影カメラがほぼ同軸で配置できるので、相手との視線を合わせて双方向通信を行うことができる。
【００８３】
また、ディスプレイパネル１４上において発光素子と撮像素子を同時に駆動して、表示機能と撮像機能の両方を同時に実行することができる。すなわち、ディスプレイパネル１４上で送信側の画像を表示しながら、同時に受信側の画像を撮影することができる。その場合、発光素子によって放出された光を撮像素子が検出すると、撮像素子の機能を低下させたり、誤った画像信号を発生させる可能性がある。そこで、図１１に示すように、発光素子と撮像素子の境界部分に遮光部材を挿入し、撮像素子に対する発光素子の光の影響を最小限にすることが好ましい。
【００８４】
ただし、あらかじめ撮像素子周辺の発光素子の位置を記録しておき、個々の撮像素子が得た光情報から周辺の発光素子の発光情報を差引く演算処理によって、撮像素子が本来の撮影による画像情報だけを取得したように補正することも可能である。
【００８５】
上記遮光部材を設置する場合は、発光素子や撮像素子を同一基板上に設置する工程で前後して、あるいは同時に設置することができる。遮光部材は、発光素子の光が撮像素子に大きく影響を与えない程度に遮光されていれば良いが、まったく影響を与えないように設置することが好ましい。また、遮光部材は、基板上に設置することを考慮して、電気絶縁性が高いことが好ましい。さらに、遮光部材は黒色などに着色して、いわゆるブラックマトリックスとして画像のコントラスト向上に寄与させることもできる。
【００８６】
なお、特開２００６−３９０４号公報には、発光素子の間に光センサ素子を配置した開示があるが、これらは発光素子の発光を検出・制御するための光センサ素子であって、マイクロレンズを有し、画像撮影機能を有する本発明の撮像素子とは、その目的も構成も異なるものであることは明らかである。
【００８７】
［発音素子］
本発明のディスプレイパネル１４に用いられる発音素子は、ピエゾ振動子を用いたマイクロスピーカであることが好ましい。
【００８８】
このピエゾ振動子を用いたマイクロスピーカは、振動板とピエゾ振動子とで構成され、回路基板の音声駆動回路から供給された音声の電気信号はピエゾ振動子によって物理的振動に変換され、ディスプレイパネル１４上で振動板から音声となって再現される。その詳細については、例えば特開２００５−９４５７２号公報などに記載されている。
【００８９】
上記ピエゾ振動子を用いたマイクロスピーカを、発音素子としてディスプレイパネル１４上に多数配置することによって、１個の発音素子だけでは小さい音声であっても、全体として大きな音声として再現できる。また、発音素子は１個１個を独立して駆動できるので、ディスプレイパネル１４上に配置した各々の発音素子に、音声信号の右チャンネル、左チャンネルを配分して供給することによって、ステレオシステムやサラウンドシテムのような立体的な音響効果を再現することもできる。
【００９０】
また、発音素子としてのピエゾ振動子を用いたマイクロスピーカは、ディスプレイパネル１４に対して垂直方向への音波指向性が高いことが好ましく、その指向性を高めるための公知の技術を付加することもできる。
【００９１】
［集音素子］
本発明のディスプレイパネル１４に用いられる集音素子は、エレクトレットシリコンコンデンサマイクロフォンであることが好ましい。
【００９２】
このエレクトレットシリコンコンデンサマイクロフォンは、振動板チップと固定電極チップとで構成され、振動板チップは振動板と電極層とエレクトレット層とスペーサを備え、固定電極チップは電極層と通気孔と気室とＭＯＳＦＥＴとを備え、ディスプレイパネル１４の全面に位置する人物などから発せられた音声は、振動板チップの電極層と固定電極チップの電極層の間隔の変化によって電気信号に変換され、回路基板の集音素子駆動回路から制御装置８に送られる。その詳細については、例えば特開２００３−１６３９９６号公報などに記載されている。
【００９３】
この集音素子としてのエレクトレットシリコンコンデンサマイクロフォンは、１個１個を独立して駆動できるので、ディスプレイパネル１４上に多数配置することによって、必要な人数分の音声情報を得ることができるし、前記ステレオシステムやサラウンドシステムのような立体的な音響効果を再現するために活用することができる。また、従来のようにマイクロフォンの数を気にしながら、配置場所に悩んだり、それらのコード類の引き回しに苦労する必要もない。
【００９４】
また、集音素子としてのエレクトレットシリコンコンデンサマイクロフォンは、ディスプレイパネル１４に対して垂直方向への集音指向性が高いことが好ましく、その指向性を高めるための公知の技術を付加することもできる。
【００９５】
これによって、双方向通信において複数の人物が発生した音声を、その人物の位置によって特定することが可能になるだけでなく、該集音素子と同一基板上に発音素子が設置された場合でも、ハウリングなどの音響上の不都合が発生するのを防止できる。また、双方向通信においてマイクロフォンの位置を気にすることなく、ディスプレイパネル１４上の相手画像に向かって話しかけることができるので、臨場感をもって情報交換に集中することができる。
【００９６】
次に、本実施例の制御装置８の制御について説明する。なお、サイズ調整、目の高さの調整、表示輝度の調整、照明の明るさ調整については前記した第１の実施例と同様であるのでここでは説明は省略する。
【００９７】
［発音位置の調整］
第１のサイトの人物と第２のサイトの人物とが通信を行う場合、例えば、第１のサイトのディスプレイパネル２に表示される第２のサイトの人物の映像と、その人物が発した音声とが同期しないと、各々の人物が対話している実感が沸きにくく臨場感を得ることができない。そこで、本実施例では、所定のサイトの制御装置８は、他のサイトで撮影された人物の口の位置を検出して、その口に近い発音素子の少なくとも１つによってその人物が発した音声を再生する制御を行う。その場合の動作について、図１２のフローチャート図を参照して説明する。
【００９８】
まず、ステップＳ５０１で、送信側サイト（ここでは第２のサイト）のディスプレイパネル１４に配置された撮像素子で人物を撮影すると共にディスプレイパネル１４に配置された集音素子で音声を集音し、撮影した画像情報と集音した音声情報とを通信ネットワーク９を介して受信側サイト（ここでは第１のサイト）に送信する。
【００９９】
次に、ステップＳ５０２で、受信側サイトの制御装置８は、画像情報の変化量などに基づいて、動きの大きい人物を検出し、ステップＳ５０３で、公知の手法を用いて、その人物の口の位置を検出する。そして、ステップＳ５０４で、その口の近傍に配置された発音素子を特定し、その発音素子に音声情報を送り、発音素子から音声を再生する。
【０１００】
すなわち、複数の発音素子の音声出力を個別に調整できるようにしておき、相手の顔画像の口の位置に連動して、その近辺の発音素子を動作させる。なお、複数の発音素子は、ディスプレイパネル１４上において、およそ相手の顔画像が位置すると予想される部分に特に高密度で設置しておくことによって、音声出力を高めることができる。
【０１０１】
このように、ディスプレイパネル１４上に表示された、送信側のサイトの人物の口を検出して、口近傍に配置された発音素子から音声を再生することによって、テレビ会議のような双方向通信システムにおいて、臨場感が極めて高く演出される。
【０１０２】
上記説明は発音する人物が一人の場合の例であるが、複数の人物が発音する場合は、図１３のフローチャート図のように制御する。
【０１０３】
まず、ステップＳ６０１で、送信側サイト（ここでは第２のサイト）のディスプレイパネル１４に配置された撮像素子で人物を撮影すると共にディスプレイパネル１４に配置された集音素子で音声を集音する。
【０１０４】
次に、ステップＳ６０２で、送信側サイトの制御装置８は、複数の集音素子の出力に基づいて発音位置を検出し、ステップＳ６０３で、発音位置と画像とを比較し、ステップＳ６０４で、発音位置に人物がいるか否かを判断する。そして、発音位置に人物がいる場合は、ステップＳ６０５で、撮像素子によって撮影された複数の人物の中から発声人物を特定し、発生人物の情報とその音声情報を関連付けて受信側サイト（ここでは第１のサイト）に送信する。
【０１０５】
次に、ステップＳ６０６で、受信側サイトの制御装置８は、ディスプレイパネル１４上に表示された発声人物の顔画像の口の位置を検出し、ステップＳ６０７で、口に近い位置に配置された発音素子を特定し、その発音素子に音声情報を送り、発音素子から音声を再生する。または、口に近い位置から音声が出力されたかのように、該複数の発音素子からの音波の強度や位相を調整して音声を再生する。
【０１０６】
このように、ディスプレイパネル１４上に表示された、送信側のサイトで発声人物を特定し、受信側のサイトで発声人物の口を検出して、口近傍に配置された発音素子から音声を再生することによって、テレビ会議のような双方向通信システムにおいて、臨場感が極めて高く演出される。
【０１０７】
なお、上記記載では受信側を主体に説明したが、本発明は２以上のサイト間の双方向通信システムに関するものであるから、サイト間で相互に適用することができる。また、前記した第１の実施例では各々のサイトにディスプレイパネル２と撮影カメラ３とスピーカ４とマイク５とを配置し、第２の実施例では各々のサイトに撮像素子や発音素子、集音素子を組み込んだディスプレイパネル１４を配置したが、本発明は上記実施例に限定されるものではなく、一方のサイトにディスプレイパネル２と撮影カメラ３とスピーカ４とマイク５とを配置し、他方のサイトに撮像素子や発音素子、集音素子を組み込んだディスプレイパネル１４を配置することもできる。
【産業上の利用可能性】
【０１０８】
本発明は、複数のサイト間で映像及び音声を送受信する任意の双方向通信システム及び該システムにおける双方向通信方法並びに該システムで動作する制御プログラムに利用可能である。
【図面の簡単な説明】
【０１０９】
【図１】本発明の第１の実施例に係る双方向通信システムの構成を模式的に示す図である。
【図２】本発明の第１の実施例に係る双方向通信システムの制御装置の構成を示すブロック図である。
【図３】本発明の第１の実施例に係る双方向通信システムを用いた表示サイズの制御手順を示すフローチャート図である。
【図４】本発明の第１の実施例に係る双方向通信システムを用いた表示位置の制御手順を示すフローチャート図である。
【図５】本発明の第１の実施例に係る双方向通信システムを用いた表示照度の制御手順を示すフローチャート図である。
【図６】本発明の第１の実施例に係る双方向通信システムを用いた室内照明の制御手順を示すフローチャート図である。
【図７】本発明の第２の実施例に係る双方向通信システムの構成を模式的に示す図である。
【図８】本発明の第２の実施例に係る双方向通信システムのディスプレイパネルの構成を模式的に示す図である。
【図９】フレネルレンズを説明するための図である。
【図１０】フレネルレンズを本発明の撮像素子に適用する様子を示す図である。
【図１１】本発明の第２の実施例に係る双方向通信システムのディスプレイパネルの断面構成を模式的に示す図である。
【図１２】本発明の第２の実施例に係る双方向通信システムを用いた発音位置の制御手順を示すフローチャート図である。
【図１３】本発明の第２の実施例に係る双方向通信システムを用いた発音位置の制御手順を示すフローチャート図である。
【符号の説明】
【０１１０】
１  双方向通信システム
２  ディスプレイパネル
３  撮影カメラ
４  スピーカ
５  マイク
６  操作端末
７  照明手段
８  制御装置
９  通信ネットワーク
１０  映像制御手段
１１  音声制御手段
１２  照明制御手段
１３  通信制御手段
１４  ディスプレイパネル
【図１】
2008005122.tif 000003
【図２】
2008005122.tif 000004
【図３】
2008005122.tif 000005
【図４】
2008005122.tif 000006
【図５】
2008005122.tif 000007
【図６】
2008005122.tif 000008
【図７】
2008005122.tif 000009
【図８】
2008005122.tif 000010
【図９】
2008005122.tif 000011
【図１０】
2008005122.tif 000012
【図１１】
2008005122.tif 000013
【図１２】
2008005122.tif 000014
【図１３】
2008005122.tif 000015