(57)【要約】  【課題】  本発明は、テレビ対話システムに関するもので、第１地点、第２地点の対話が円滑に進むようにすることを目的とする。  【解決手段】  第１地点１００のプロジェクタ１と第２地点２００のプロジェクタ１を用いた資料共有モード動作時には、第１地点１００のプロジェクタ１は、投射部５により第１のパーソナルコンピュータ１０１からの映像を投射面３に投射させるとともに、撮影部７により投射面３の投射映像を撮影し、この撮影映像は、プロジェクタ１の制御部２６、または第１のパーソナルコンピュータ１０１によって、第１のパーソナルコンピュータ１０１からプロジェクタ１に供給した供給映像と比較し、比較により生じた差異映像を、重畳した状態で、第２地点２００のプロジェクタ１に供給する。【選択図】  図１
2013070368.tif 000002
【特許請求の範囲】
【請求項１】
他拠点から映像を受信する受信部と、
会議モードと資料共有モードとを切り替えるモード選択部と、
資料共有モード時に使用する資料データを入力する資料データ入力部と、
会議モード時に参加者を撮影する撮影部と、
会議モード時に受信部を介して他拠点から受け取った映像を投影面に投影し、資料共有モード時に資料データ入力部から入力された資料データを投影面に投影する投影部と、
会議モード時に通信部を介して前記撮影部が撮影した映像を他拠点に送付し、資料共有モード時に前記資料データを他拠点に送付する送信部と、
を有するテレビ対話端末において、
前記撮影部は、資料共有モード時に前記投影面を含む領域を撮影し、
資料共有モード時に前記撮影部が撮影した前記投影面を含む領域の撮影データから前記投影面と前記撮影部との間に配置された指示体を検知する検知部を有し、
前記送信部は、前記検知部の検知結果を他拠点に送付するテレビ対話端末。
【請求項２】
請求項１記載のテレビ対話端末であって、
前記検知部は、前記撮影部が撮影した前記投影面を含む領域の撮影データと前記資料データ入力部から入力された前記資料データとを比較して前記投影面と前記撮影部との間に配置された指示体を検知するテレビ対話端末。
【請求項３】
請求項２記載のテレビ対話端末であって、
前記検知部は前記指示体の投影面に対する位置情報を求め、
前記送信部は、前記検知部によって検知された指示体の位置情報を送信するテレビ対話端末。
【請求項４】
請求項２記載のテレビ対話端末であって、
前記検知部は前記指示体の投影面に対する位置情報を求め、
前記送信部は、前記資料データに前記検知部が検知した位置情報に対応する箇所に図形を合成して送信するテレビ対話端末。
【請求項５】
請求項２記載のテレビ対話端末であって、
前記送信部は、前記撮影データのうち前記検知部によって検知された指示体に対応する領域を含む画像を前記資料データと合成して送信するテレビ対話端末。
【請求項６】
請求項１記載のテレビ対話端末であって、
前記検知部は、前記撮影部が撮影した前記投影部の投影面から事前に学習した指示体の形状を検知することで指示体を検知するテレビ対話端末。
【請求項７】
請求項１記載のテレビ対話端末であって、
前記撮影部は対象までの距離を測る測距可能なステレオカメラであり、撮影データに加え測距データを生成し、
前記検知部は、前記撮影部が前記投影面を含む領域を撮影したの測距データを用いて指示体を検知するテレビ対話端末。
【請求項８】
請求項１記載のテレビ対話端末を用いたテレビ対話システム。
【請求項９】
画像データを保持する画像データ保持ステップと、
投影面に前記画像データを投影する投影ステップと、
前記投影ステップで投影された投影面を含む領域を撮影する撮影ステップと、
前記画像データと前記撮影ステップで撮影した撮影データとを比較し、前記投影面と撮影部との間に配置された指示体を検知する検知ステップと、
前記検知ステップの検知結果と前記画像データとを出力する出力ステップと
を備えるテレビ対話方法。
【請求項１０】
資料データを入力する資料データ入力部と、
資料データ入力部から入力された資料データを投影面に投影する投影部と、
前記資料データを他拠点に送信する送信部と、
を有するテレビ対話端末において、
前記撮影部は、前記投影面を含む領域を撮影し、
前記撮影部が撮影した前記投影面を含む領域の撮影データと前記資料データ入力部から入力された前記資料データとを比較して前記投影部と前記撮影部との間に配置された指示体を検知する検知部を有し、
前記送信部は、前記検知部の検知結果を他拠点に送付するテレビ対話端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ対話システム、端末および方法に関するものである。
【背景技術】
【０００２】
テレビ対話システムはテレビ会議などに活用されている。例えば、テレビ対話システムは、第１地点に配置される第１のプロジェクタと、この第１のプロジェクタに接続される第１のパーソナルコンピュータと、この第１のパーソナルコンピュータとの間で通信可能状態に接続されるとともに、第２地点に配置される第２のプロジェクタとを備えている。
【０００３】
また、第１のプロジェクタと第２のプロジェクタを用いた資料共有モード動作時には、第１のプロジェクタは、その第１の投射部により第１のパーソナルコンピュータからの映像を第１の投射面に投射させるとともに、第１の撮影部により第１の投射面の投射映像を撮影し、第１のプロジェクタ中に照射されるポインタ画像を検出するようにしている（例えば特許文献１参照）。
【０００４】
この従来のシステムにおいて、資料共有モード動作をさせている状態で、第１地点の第１のプロジェクタから第１の投射面に投射させる投射画像に向けてレーザポインタなどでポインタ画像を照射しながら説明を進めている状態では、第１の撮影部により第１の投射面の投射映像を撮影し、第１のプロジェクタ中に照射されるポインタ画像の位置を検出するようにしている。
【０００５】
そして、このポインタ画像の位置を、第２地点の第２のプロジェクタに供給することにより、第２のプロジェクタから第２の投射面に投射させる投射画像に、ポインタ画像を重畳するようにしている。
【０００６】
このため、第１地点の第１の投射面中に指し示したポインタ位置を、第２地点のメンバーも理解することができ、会議の進行が円滑に行えるようになる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１８１０１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来のシステムにおいては、第１地点においてレーザポインタでポインタ画像を表示させ時にだけ、第２地点のメンバーに対して第１の投射面に投射させる投射画像への指示箇所が理解されるだけで、必ずしも会議の進行が円滑に進むとは限らない状況が発生する。
【０００９】
例えば、投射画像への指示を指で行ったり、あるいは他の造形物を重ねたりすることで、指示箇所を表現したり、指示内容を伝えたりする方が、意思を正しく伝えることが出来る場合であっても、ポインタ画像表示を行わなければならず、このときには必ずしも会議の進行、つまり対話が円滑に進むとは限らない状況が発生する。
【００１０】
そこで、本発明は、対話が円滑に進むようにすることのできるテレビ対話システムを提供することを目的とするものである。
【課題を解決するための手段】
【００１１】
そして、この目的を達成するために、本発明のテレビ対話端末は、他拠点から映像を受信する受信部と、会議モードと資料共有モードとを切り替えるモード選択部と、資料共有モード時に使用する資料データを入力する資料データ入力部と、会議モード時に参加者を撮影する撮影部と、会議モード時に受信部を介して他拠点から受け取った映像を投影面に投影し、資料共有モードでは資料データ入力部から入力された資料データを投影面に投影する投影部と、会議モード時に通信部を介して前記撮影部が撮影した映像を他拠点に送付し、資料共有モード時に前記資料データを他拠点に送付する送信部と、を有するテレビ対話端末において、前記撮影部は、資料共有モード時に前記投影部の投影する投影面を撮影し、資料共有モード時に前記撮影部が撮影した投影部の投影面から重畳を検知する重畳検知部を有し、前記送信部は、前記重畳検知部の検知結果を他拠点に送付することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、例えば、投影面へ投影された資料データへの指示を指で行ったり、あるいは他の造形物を重ねたりすることで、指示箇所を表現したり、指示内容を伝えたりする方が、意思を正しく伝えることが出来るときに、その指示内容を他拠点と共有することができ、この結果として対話が円滑に進むようになる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態のテレビ対話システムを示す図
【図２】第１の実施形態のテレビ対話システムの動作を示す図
【図３】第１の実施形態のテレビ対話システムの動作フローチャート図
【図４】第１の実施形態のテレビ対話システムの動作シーケンス図
【図５】第１の実施形態のテレビ対話システムの動作を示す図
【図６】第１の実施形態のテレビ対話システムの動作を示す図
【図７】第１の実施形態のプロジェクタの下方からの斜視図
【図８】第１の実施形態のプロジェクタの正面図
【図９】第１の実施形態のプロジェクタの断面図
【図１０】第１の実施形態のプロジェクタの下面図
【図１１】第１の実施形態のプロジェクタの下ケースの下方からの斜視図
【図１２】第１の実施形態のプロジェクタの下ケースの上方からの斜視図
【図１３】第１の実施形態のプロジェクタの下ケースの平面図
【図１４】第１の実施形態のプロジェクタの下ケースの断面図
【図１５】第１の実施形態のプロジェクタの下ケースの正面図
【図１６】第１の実施形態のプロジェクタの下ケースと上ケースを切断した斜視図
【図１７】第１の実施形態のプロジェクタの下ケースの上方からの斜視図
【図１８】第１の実施形態のプロジェクタの制御ブロック図
【図１９】本発明の第２の実施形態のテレビ会議端末の構成を示すブロック図
【図２０】第２の実施形態のテレビ会議端末の動作を示すフローチャート図
【図２１】第２の実施形態のテレビ会議端末のデータの流れを示すシーケンス図
【図２２】第２の実施形態のテレビ会議端末における画像合成の例を示す図
【図２３】第２の実施形態の重畳検知部の動作を示すフローチャート図
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態にかかるテレビ対話システムを、添付図面を用いて説明する。
【００１５】
（第１の実施形態）
図１は、第１地点１００と、第２地点２００間でテレビ会議を行っている状況を示している。具体的には、第１地点１００には、プロジェクタ１と、このプロジェクタ１に接続された第１のパーソナルコンピュータ１０１と、投射面３が配置されている。また、第２地点２００には、プロジェクタ１と投射面３が配置されている。
【００１６】
そして、第１地点１００の第１のパーソナルコンピュータ１０１は、第２地点２００のプロジェクタ１に光ケーブル３００を介して接続された状態となっている。また、第１地点１００のプロジェクタ１と、第２地点２００のプロジェクタ１も光ケーブル３００を介して接続された状態となっている。
【００１７】
テレビ会議には、図５に示す会議モードと、図６に示す資料共有モードがある。
【００１８】
図５に示す会議モードとは、第１地点１００に参集しているメンバーの顔が、第１地点１００のプロジェクタ１の撮影口（図９の４）を介して撮影部（図９の７）によって撮影され、その顔が、第２地点２００のプロジェクタ１の投射部（図９の５）から投射口（図１０の２）を介して第２地点２００の投射面３に投射される。
【００１９】
逆に、第２地点２００に参集しているメンバーの顔が、第２地点２００のプロジェクタ１の撮影口（図９の４）を介して撮影部（図９の７）によって撮影され、その顔が、第１地点１００のプロジェクタ１の投射部（図９の５）から投射口（図１０の２）を介して第１地点１００の投射面３に投射される。
【００２０】
つまり、会議モードとは、第１地点１００に参集しているメンバーと、第２地点２００に参集しているメンバーが、お互いの顔を見ながら会議を進行するものである。
【００２１】
次に、図６に示す資料共有モードとは、本実施形態では、図１のごとく第１地点１００の第１のパーソナルコンピュータ１０１に保持された情報が、第１地点１００、第２地点２００の両方のプロジェクタ１の投射部（図９の５）から、それぞれの投射面３に投射される状態を指す。
【００２２】
つまり、資料共有モードとは、第１のパーソナルコンピュータ１０１に保持された情報を、第１地点１００に参集しているメンバーと、第２地点２００に参集しているメンバーで共有した状態で、会議を進行するものである。
【００２３】
次に、プロジェクタ１の構造については、図７〜図１８を用いて説明する。
【００２４】
プロジェクタ１は、図７〜図９からも理解されるように、投射部５を収納した下ケース６と、この下ケース６上において水平方向に回動自在に配置されるとともに、撮影部７を収納した上ケース８によって構成されている。
【００２５】
下ケース６は、上面が開口した円筒形となっており、また、上ケース８は下面が開口した円筒形となっている。また、下ケース６の外周面は、下方よりも上方が拡径した円筒形となっており、このような形状の下ケース６の外周面に、図１０のごとく投射口２を設け、この投射口２に対して図９のごとく投射部５が連結されている。
【００２６】
さらに、図７〜図９のごとく、上ケース８の外周面は、下方よりも上方が縮径した円筒形となっており、このような形状の上ケース８の外周面に、撮影口４を設け、この撮影口４に対して撮影部７が連結されている。
【００２７】
また、下ケース６の外周面で、投射口２の近傍には、図１０、図１１のごとく冷却風放出口９を設けており、さらに下ケース６の下面には、冷却取込口１０と、スピーカ放音口１１とを設けている。
【００２８】
つまり、図１０に示す投射部５の送風機１２を駆動すると、冷却取込口１０から冷却風が下ケース６の投射部５内に取り込まれ、この投射部５を冷却したことで温風となった風は、冷却風放出口９から下ケース６外に放出される。
【００２９】
このとき、下ケース６外に放出される温風は、投射口２の近傍の冷却風放出口９から放出されるようにしているので、会議の参加者に不快感を与えることが少ない。すなわち、投射口２の近傍にテレビ会議の参加者が陣取ることはないので、その参加者に向けて温風が吹き付けられることがないのである。
【００３０】
また、投射部５においては、図１３からも理解されるように、その上方に、冷却風放出口９へと温風を導く送風路１３を形成している。なお、図１３は、送風路１３の説明のために、図１２に示す投射部５の上面カバー１４を除いた状態を示したものである。
【００３１】
次に、下ケース６上において水平方向に回動自在に配置されるとともに、撮影部７を収納した上ケース８について説明する。
【００３２】
下ケース６の中心部分には、図９、図１２、図１３に示すように回転軸１５が立設され、この回転軸１５はこの立設状態で水平方向に回転自在となっている。また、この回転軸１５の上部には、図１２〜図１４、図１７に示すように、架台１６が一体化されている。
【００３３】
この架台１６は、水平方向に配置された中央の固定部１７が回転軸１５の上部に一体化され、その両側の上方への立上面１８に、図１２、図１３、図１５、図１７のごとく撮影部７が角度調整つまみ１９で角度調整自在な状態で取り付けられている。
【００３４】
また、上ケース８は、図１６のごとく、その上面下から下方に延長された固定片２０を架台１６の固定部１７に固定することで、架台１６に一体化されている。つまり、下ケース６の下面上に回転自在に配置された回転軸１５に架台１６を固定し、また、この架台１６に撮影部７と上ケース８を一体化させることで、上ケース８を水平方向に回転させれば、撮影部７も一体となって回転することになるのである。
【００３５】
つまり、図１で示したテレビ会議中において、相手方の映像を投射口２から図１、図７に示す投射面３に投射した状態（つまり下ケース６は動かさない状態）で、こちら側の発言者が変わるときには、上ケース８を水平方向に回転させるだけで、その発言者に撮影口４、撮影部７を向けることが出来、極めて操作性の良いものとなる。
【００３６】
また、このときのこちら側の発言者の声は、上ケース８の上面に設けた集音口２１から図９に示すマイクロホン２２に集音されるようになっているので、上ケース８が発言者によって順次回転しても、発言者の声を効果的に集音することが出来る。
【００３７】
また、相手方の発言者の声は、図１０に示す、下ケース６の下面下に設けたスピーカ放音口１１から放出されるが、上述のごとく、上ケース８の上面に集音口２１を設けているので、ハウリングの発生を抑制することが出来る。
【００３８】
この点について、さらに説明すると、下ケース６の外周面は、上述のごとく、下方よりも上方が拡径した円筒形となっており、また上ケース８の外周面は、下方よりも上方が縮径した円筒形となっている。つまり異なる傾斜面としているので、その点からも下ケース６の下面下に設けたスピーカ放音口１１から放出される音が、上ケース８の上面に設けた集音口２１に回り込みにくく、これによって、ハウリングの発生を抑制する効果の高いものとなる。
【００３９】
また、下ケース６の外周面に設けた冷却風放出口９からの送風音も、下ケース６の外周面と、上ケース８の外周面に上述した傾斜を設けることで、送風音が上ケース８の上面に設けた集音口２１に回り込みにくく、これによって、音声のクリア度を阻害することも少なくなる。
【００４０】
なお、本実施形態においては、下ケース６の下面で、投射口２の近傍とその後方に投射調整用の上下脚２３を設けているので、その長さを調整することで、投射調整が行えるようになっている。また、下ケース６の外周面には、電源供給端子２４を設けている。
【００４１】
図１８は、制御ブロック図を示しており、投射部５、撮影部７、送風機１２、マイクロホン２２、スピーカ放音口１１の内側に配置したスピーカ２５はいずれも制御部２６に接続されている。
【００４２】
また、制御部２６には第１のパーソナルコンピュータ１０１、または光ケーブル３００の少なくとも一方が接続されるＩ／Ｆ部２７、電源供給端子２４に繋がる電源部２８が接続されている。
【００４３】
さらに、制御部２６に接続されたモード選択部２９は、第１地点１００に参集しているメンバーと、第２地点２００に参集しているメンバーとの間で、会議モードで会議をするか、または資料共有モードで会議をするかを選択するものである。
【００４４】
以上の構成において、図１のごとく、会議モードで、第１地点１００に参集しているメンバーと、第２地点２００に参集しているメンバーが、お互いの顔を見ながら会議を行う場合には、図１８に示したモード選択部２９で、会議モードを選択する（図３のＳ１）。
【００４５】
また、第１地点１００、第２地点２００ともに、それぞれのプロジェクタ１の撮影口４を、参加者にむける（図３のＳ２）。
【００４６】
すると、第１地点１００に参集しているメンバーの顔が、第１地点１００のプロジェクタ１の撮影口４を介して撮影部７によって撮影され、その顔が、第２地点２００のプロジェクタ１の投射部５から投射口２を介して第２地点２００の投射面３に投射される。
逆に、第２地点２００に参集しているメンバーの顔が、第２地点２００のプロジェクタ１の撮影口４を介して撮影部７によって撮影され、その顔が、第１地点１００のプロジェクタ１の投射部５から投射口２を介して第１地点１００の投射面３に投射される（図３のＳ３、Ｓ４）。
【００４７】
つまり、第１地点１００と、第２地点２００のそれぞれのプロジェクタ１のモード選択部２９で、会議モードを選択すると、第１地点１００に参集しているメンバーと、第２地点２００に参集しているメンバーが、それぞれに配置された投射面３に投射された相手方参加メンバーの顔を見ながら会議を進行することができるものである。
【００４８】
また、この会議モードにおいて、こちら側の発言者が変わるときには、相手方の映像を投射口２から図１、図７に示す投射面３に投射した状態（つまり下ケース６は動かさない状態）で、上ケース８を水平方向に回転させるだけで、その発言者に撮影口４、撮影部７を向けることが出来、極めて操作性の良いものとなる。
【００４９】
また、この時の、こちら側の発言者の声は、上ケース８の上面に設けた集音口２１から図９に示すマイクロホン２２に集音されるようになっているので、上ケース８が発言者によって順次回転しても、発言者の声を効果的に集音することが出来る。
【００５０】
また、相手方の発言者の声は、図１０に示す、下ケース６の下面下に設けたスピーカ放音口１１から放出されるが、上述のごとく、上ケース８の上面に集音口２１を設けているので、ハウリングの発生を抑制することが出来る。
【００５１】
次に、図６に示す資料共有モードで会議を行う時には、第１地点１００と、第２地点２００のそれぞれのプロジェクタ１のモード選択部２９で、資料共有モードを選択する（図３のＳ１）。
【００５２】
すると、本実施形態では、図１のごとく第１地点１００の第１のパーソナルコンピュータ１０１に保持された情報が、第１地点１００、第２地点２００の両方のプロジェクタ１の投射部５から、それぞれの投射面３に投射される。
【００５３】
その結果、第１のパーソナルコンピュータ１０１に保持された情報を、第１地点１００に参集しているメンバーと、第２地点２００に参集しているメンバーで共有した状態で、会議を進行することができる。
【００５４】
この資料共有モードでは、上述のごとく、第１のパーソナルコンピュータ１０１に保持された情報を、第１地点１００に参集しているメンバーと、第２地点２００に参集しているメンバーで共有した状態で、会議を進行することができるので、図１のごとく、例えば、第１地点１００の参加メンバーが、グラフのここが問題と発言することがある。
【００５５】
その声は第２地点２００の参加メンバーにも届いているが、第１地点１００に参集しているメンバーがグラフのどの部分を指しているのかが理解できず、会議の進行がスムーズなものとはならない。
【００５６】
そこで、本実施形態では、プロジェクタ１のモード選択部２９で、資料共有モードを選択したときには、第１地点１００のプロジェクタ１の撮影口４を、この第１地点１００の投射面３に向ける（図３のＳ５）。
【００５７】
つまり、第１地点１００においては、そのプロジェクタ１の投射部５から投射口２を介して投射面３に、第１のパーソナルコンピュータ１０１に保持された情報が投射されているので、この投射面３の状態を、第１地点１００のプロジェクタ１の撮影口４を介して撮影部７で撮影するのである（図３のＳ６）。
【００５８】
すなわち、本実施形態においては、資料共有モード動作時には、第１地点１００のプロジェクタ１の投射部５により第１のパーソナルコンピュータ１０１からの映像（図２のａ）を投射面３に投射させるとともに、撮影部７により投射面３の投射映像を撮影する。
【００５９】
そして、この第１地点１００の撮影部７による撮影映像は、この第１地点１００のプロジェクタ１の制御部２６、または第１のパーソナルコンピュータ１０１によって、第１のパーソナルコンピュータ１０１から第１地点１００のプロジェクタ１に供給した供給映像と比較し、この比較により生じた差異映像を検出する（図２のｄと、図３のＳ７）。
【００６０】
次に、この第１地点１００のプロジェクタ１の制御部２６、または第１のパーソナルコンピュータ１０１は、第１のパーソナルコンピュータ１０１から第１地点１００のプロジェクタ１への供給映像に重畳した状態（図２のｅと、図３のＳ８）で、第２地点２００のプロジェクタ１に供給する（図３のＳ９）。
【００６１】
このため、第１地点１００におけるメンバーが、グラフのどこを指したのかが正しく理解でき、第１地点１００、第２地点２００の対話が円滑に進むようになるのである。
【００６２】
また、第２地点２００のプロジェクタ１に供給されるデータは基本的には、第１のパーソナルコンピュータ１０１に保持された情報であるので、第２地点２００においてもクリアに表示されることとなるので、この点からも第１地点１００、第２地点２００の対話が円滑に進むようになるのである。
【００６３】
また、差異映像を送信するようにすれば、第１地点１００におけるメンバーが、意思を正しく伝えるために、例えば、投射画像への指示を指で行ったり、あるいは他の造形物を重ねたりすることもでき、この点からも、第１地点１００、第２地点２００の対話が円滑に進むようになるのである。
【００６４】
なお、図２における図２のｂは、第１地点１００の投射面３の映像を撮影部７により撮影した状態を示し、この状態では歪んだ映像となって、第１のパーソナルコンピュータ１０１に保持された情報との比較が難しくなるので、図２のｃのごとく、図２のｂの映像を修正し、その状態で比較を行うようにしたものである。
【００６５】
また、図４は、どのタイミングで比較を行うかを示したものである。つまり、プロジェクタ１内には図４のごとくメモリ３０を設けており、このメモリ３０は制御部２６に接続している。
【００６６】
資料共有モード動作時には、第１のパーソナルコンピュータ１０１からの映像をメモリ３０に記憶させるとともに、このメモリ３０に記憶させた映像を投射部５により投射させる構成としている。そして、投射部５からの投射映像を撮影部７で撮影し、この撮影映像をメモリ３０に記憶させる。
【００６７】
メモリ３０にはこのようにして二つの映像が記憶されているので、制御部２６における両者の比較は極めて行いやすいものとなる。
【００６８】
なお、メモリ３０に二番目に記憶された情報と、その時に第１のパーソナルコンピュータ１０１から出力されている映像を比較すると、タイムラグによる差異が発生する場合があるので、このようにメモリ３０を利用する方が好ましい。
【００６９】
また、上記実施形態においては、第２地点２００にはパーソナルコンピュータを設けていないが、第２地点２００にもパーソナルコンピュータを設け、そこのプロジェクタ１と接続しても良く、そうすれば両方向から資料を提供するようにすることも出来る。
【００７０】
また、撮影部７による撮影映像と、第１のパーソナルコンピュータ１０１に保持された情報との比較は、プロジェクタ１の制御部２６で行っても、それに接続したパーソナルコンピュータで行っても良い。
【００７１】
（第２の実施形態）
本発明の第２の実施形態について図を用いて説明する。図１９は本発明の第２の実施形態におけるテレビ会議端末１９００の構成を示すブロック図である。
【００７２】
テレビ会議端末１９００は、他拠点のテレビ会議端末１９６０とネットワーク１９５０を介して接続されている。テレビ会議端末１９００は、他拠点のテレビ会議端末１９６０とデータの送受信を行う受信部１９０１と送信部１９０２、投影を行う投影部１９０３、会議モードか資料共有モードかを選択するモード選択部１９０５、カメラなどの撮影部１９０６、資料共有モードの際に共有される資料の電子データを保持する電子データ保持部１９０７、投影されている資料の上に重畳された内容を検知する重畳検知部１９０８と、資料の電子データと検知された重畳内容とを合成する合成部１９０９を有する。
【００７３】
受信部１９０１は、通信機能を持ち、他拠点のテレビ会議端末１９６０から他拠点での会議の模様の映像をネットワーク１９５０を経由して受け取り、受け取ったデータを投影映像選択部１９０４に送信する。
【００７４】
モード選択部１９０５は、ユーザからの指示にもとづいて会議モードと資料共有モードの２つのモードの切り替えを行い、切り替えたモードに関する情報を投影映像選択部１９０４と撮影部１９０６と送信部１９０２に送信する。会議モードでは、各拠点での会議参加者の撮影映像を他拠点に送信し、自拠点で他拠点から送られた映像が投影される。資料共有モードでは自拠点で保持する資料が他拠点と共有され、自拠点と他拠点とで資料が投影される。モードの切り替え方法としては、本体に設けられたスイッチで選択する方法や、撮影部１９０６の向きを検知して自動で設定する（カメラが参加者に向けた場合は会議モード、投影画面に向けた場合は資料共有モードにする）方法などが考えられる。
【００７５】
電子データ保持部１９０７は、資料共有モード時に使用する資料の電子データを保持する。なお、電子データ保持部１９０７は、必ずしもテレビ会議端末１９００の本体内部に設置される必要はなく、インターフェース（例えばディスプレイケーブルや無線ＬＡＮなど）のみテレビ会議端末１９００に設けておき外部端末（ノートパソコンや記録媒体など）を接続してデータを取得可能にしてもよい。
【００７６】
投影映像選択部１９０４は、モードに応じて投影する内容を選択する。投影映像選択部１９０４はモード選択部１９０５から送信されたモードが会議モードの場合は、受信部１９０１から受け取った他拠点での会議の様子を表す映像を投影部１９０３に送信し、資料共有モードの場合は、電子データ保持部が保持する資料の電子データを投影部１９０３に送信する。
【００７７】
投影部１９０３は、例えばプロジェクタやディスプレイなどであり、映像を投影する機能を持つ。投影部１９０３は投影映像選択部１９０４から送信された映像を投影する。
【００７８】
撮影部１９０６は、例えばカメラなどであり、撮影機能を持つ。撮影部１９０６は投影部１９０３の投影した映像と会議の参加者の両方を撮影範囲に持つ。撮影部１９０６は会議モードの場合は会議の参加者を撮影し撮影映像を送信部１９０２に送信し、資料共有モードの場合は投影部１９０３の投影した投影面を含むように撮影し、投影映像を重畳検知部１９０８に送信する。撮影部１９０６は会議の参加者と投影部１９０３の投影した映像の両方を撮影範囲に持つためにパンチルト機能を持っていてもよいし、広角撮影機能をもっていてもよい。パンチルト機能を持っている場合には、モードが会議モードの場合には会議の参加者を撮影し、資料共有モードの場合には投影部１９０３の投影した映像を撮影するようにカメラの向きを変更する。カメラの向きはあらかじめユーザが設定しておけばよいし、手動で動かしてもよい。
【００７９】
重畳検知部１９０８は、資料共有モードの際に、投影部１９０３から投影された投影面上に会議の参加者の身体の一部（例えば手の先端など）、物体（例えば指し棒など）や光線（レーザポインタの光線など）を重畳させているかどうかを検知する。ここでいう重畳とは、会議において会議の参加者が投影された映像上の箇所を指し示すためにの指示体（手の先、指し棒、レーザポインタの光線など）を撮影部１９０６と投影面との間に配置している（指示体を投影された映像に重ねるようにしている状態である）ことを表す（例えば、図１の第１地点１００での投影面３には人の手が重畳している）。重畳検知部１９０８は、電子データ保持部１９０７が保持する資料の電子データと撮影部が撮影した資料が投影されている映像とに基づいて重畳を検知し、検知した重畳に関する情報を合成部１９０９に送信する。重畳に関する情報としては、重畳している領域の重畳座標情報と、撮影部１９０６が撮影した映像のうち重畳している領域の映像である重畳映像である。
【００８０】
合成部１９０９は、重畳検知部１９０８から受け取った重畳映像を電子データ保持部１９０７が保持する資料の電子データと合成する。合成にあたっては、例えば図２のｅに示すように、資料の電子データの映像上の重畳座標情報に対応する位置に重畳映像を合成する。なお、資料の電子データの映像上の重畳座標情報に対応する位置に重畳映像ではなく、ポインタやアイコンなどの絵を重畳してもよい。合成した映像データは送信部１９０２に送信する。なお、合成部１９０９は自拠点の端末１９００に設けられる必要はなく、自拠点の端末１９００では重畳に関する情報と資料の電子データの両方を送信し、他拠点側で合成などの処理を行ってもよい。自拠点の端末１９００からは他拠点の端末１９６０に資料の電子データと重畳座標情報だけを送り、他拠点の端末１９６０で用意されたポインタやアイコンを重畳座標情報にもとづいて資料の電子データと合成してもよい。
【００８１】
送信部１９０２は、モード選択部１９０５から送信されたモードが、会議モードの場合には撮影部１９０６から送信された映像を、資料共有モードの場合は合成部１９０９から送信された映像を他拠点のテレビ会議端末１９６０に送信する。
【００８２】
なお、自拠点と他拠点が１つずつの場合について説明したが、３拠点以上が接続したテレビ会議においてもPeer to Peer接続型の場合は自拠点の端末から２つ以上の他拠点に対して同じ動作を行えばよく、ＭＣＵ（他拠点接続装置）を介する場合には、他拠点の端末をＭＣＵと読みかえればよい。
【００８３】
図２０は、本発明の第２の実施形態におけるテレビ会議端末１９００の動作を表すフローチャート図である。以下、フローチャート図に沿ってテレビ会議端末１９００の動作について説明する。
【００８４】
はじめに、モード選択部１９０５で会議モードが選択されている場合について説明する（Ｓ２００１のＹｅｓ）。会議モードの場合は、受信部１９０１が受け取った他拠点からの映像を投影部１９０３が投影する（Ｓ２００２）。続いて、撮影部１９０６のカメラを参加者の方向に向け（Ｓ２００３）、撮影部１９０６が参加者を撮影し（Ｓ２００４）、撮影した映像を送信部１９０２が他拠点に送信する（Ｓ２００５）。続いて、モード選択部１９０５で資料共有モードが選択されている場合について説明する（Ｓ２００１のＮｏ）。資料共有モードの場合には、電子データ保持部１９０７の保持する資料の電子データを投影部１９０３が投影面に投影する（Ｓ２００６）。続いて、撮影部１９０６のカメラを投影部１９０３の投影する投影面に向け（Ｓ２００７）、撮影部１９０６が投影画面を撮影する（Ｓ２００８）。撮影部１９０６が撮影した映像と、資料の電子データに基づいて、重畳検知部１９０８が重畳を検知し（Ｓ２００９）、検知内容に基づいて資料の電子データに重畳内容を合成した映像を作成し他拠点に送信する（Ｓ２０１０）。最後に、テレビ会議端末が終了しているかを判定し（Ｓ２０１１）、終了していない場合（Ｓ２０１１のＮｏ）はＳ２００１に戻りモードに応じた動作を継続する。終了の場合（Ｓ２０１１のＹｅｓ）はテレビ会議端末を終了する。
【００８５】
続いて、重畳を検知する際の詳細について説明する。図２１は、本実施形態におけるテレビ会議端末のデータの流れを示すシーケンス図である。電子データ保持部１９０７の保持する資料の電子データは映像やスライド資料などで時刻とともに内容が変化する場合が多い。そのため、重畳を検知する際には撮影部１９０６が撮影した資料の投影映像に対応する電子データを用いる必要がある。重畳検知部１９０８が重畳の検出に用いる撮影部１９０６の撮影した映像と電子データ保持部１９０７の保持する資料の電子データの取得タイミングについて図２１を用いて具体的に説明する。
【００８６】
はじめに、電子データ保持部から時刻ｔ１に資料の映像転送が開始され投影部１９０３は時刻ｔ２に電子データを受け取り、時刻ｔ３に投影処理を行う。撮影部１９０６は時刻ｔ４に時刻ｔ３に投影された投影映像の撮影を行い、撮影部１９０６のメモリに時刻ｔ５に記録する。重畳検知部では時刻ｔ６に撮影部１９０６のメモリから投影映像を取得する。つまり、時刻ｔ６に取得された投影映像に対応する電子データ保持部の保持する電子データは時刻ｔ１のものである必要がある。異なる時刻の電子データと時刻ｔ６で取得した投影映像とを比較すると正しい比較ができない可能性がある。このように、重畳検知部は時刻ｔ６から時刻ｔ１のタイムラグを考慮したデータの比較を行う。
【００８７】
なお、重畳検知部の重畳を検知する方法については第１の実施形態で図２を用いて説明した方法を用いればよい。図２のａが電子データ保持部の保持する図２１の時刻ｔ１での資料の電子データに相当し、図２のｂが撮影部１９０６によって図２１の時刻ｔ４に撮影され時刻ｔ６に重畳検知部に読み込まれた投影映像に相当する。投影映像と電子データは直接比較できないため、図２のｃにあるように、投影映像を補正して電子データと比較できるようにする。この補正は、投影されている領域は輝度が高いことを利用して投影領域だけを切り出すなどすればよい。続いて、図２のｄのように資料データと補正された投影映像との差分領域を検出する。この差分領域が人の身体の一部などの重畳している部分である。差分領域の検出には一般的な画像認識技術で用いられる技術を利用すればよく、それぞれの画像の輝度や色調の補正を行い比較しやすくしてもよい。最後に図２のｅのように検出された差分領域については図２のｃの補正された投影映像の画像を、残りの領域については図２のａの資料の電子データの画像を合成した画像を作成する。なお、差分領域全体について投影映像を合成する必要はなく、差分領域の一部のみを投影画像を合成してもよい。これにより、資料画面を覆う面積を少なくすることができる。図２２は、差分領域の一部のみを投影画像を合成している例である。図２２（ａ）は、検出された差分領域（重畳領域）である。この差分領域に対して、図２２（ｂ）は、差分領域全体を投影画像で置き換えた例である。図２２（ｃ）は、差分領域の一部（指先に相当する部分）を投影画像で置き換えた例である。図２２（ｃ）では、図２２（ｂ）では隠れている資料データを見ることができる。
【００８８】
図２３は、本発明の第２の実施形態における重畳検知部１９０８の動作を表すフローチャート図である。以下、図２３を用いて重畳を検出する際の動作を説明する。はじめに重畳検知部１９０８は電子データ保持部１９０７に保持されている資料の電子データを読み込む（Ｓ２３０１）。続いて、撮影部１９０６が撮影した投影面を含む撮影データを読み込む（Ｓ２３０２）。この撮影データから、投影面に該当する箇所を抽出する（Ｓ２３０３）。抽出の方法は前述したように輝度が高い領域を投影面として抽出する他に、あらかじめ投影面の位置が分かっている場合はその情報に基づいて（例えば、投影面と撮影部１９０６との位置関係と撮影部１９０６のカメラの画角情報が分かればから撮影データ内のどの箇所が投影面に該当するかを計算することができる）求めてもよい。続いて、撮影データから抽出された投影面の画像と資料データとを比較しその差分を抽出する（Ｓ２３０４）。この抽出された差分領域が指示体に該当する。
【００８９】
なお、自拠点の端末で資料共有モード時に投影部１９０３が投影する映像は電子データ保持部が保持する資料の電子データであったが、これを合成部１９０９が出力する映像を投影してもよい。合成部１９０９が出力する映像は他拠点の端末で表示される映像であるため、他拠点でどのように表示されているかを自拠点にいる人が知ることができ、資料の文字などがアイコンやポインタによって隠れていないかなどの確認ができる。この場合は、重畳検知部１９０８は重畳を検知するためには撮影部１９０６の出力と合成部１９０９の出力を比較して差分を取ればよい。
【００９０】
また、会議モードと資料共有モードを並列して同時に動作させてもよい。この場合、投影映像選択部１９０４は画面を分割して右側に受信部１９０１から受け取った他拠点の映像を、左側に電子データ保持部１９０７から受け取った資料の電子データを投影する。
【００９１】
また、重畳検知部１９０８が指示体が撮影部１９０６と投影面との間に配置されているかを検知する方法として差分以外を用いる検出方法でもよい。例えば、あらかじめ指示体の形状を学習しておき、画像内から学習した指示体を検出することで検知してもよい。また、撮影部１９０６をステレオカメラなどの測距可能なカメラにして、撮影部１９０６と投影面との間に指示体が配置されているかを測距結果を用いて検知してもよい。
【００９２】
以上のように、本発明の第２の実施形態ではテレビ会議の資料共有モードにおいて、会議の参加者が資料の投影面を指差すなどした場合に、他拠点の参加者にとってどこを指差しているか分からないという課題を解決し、どこを指差しているかを臨場感を持って理解することができる。このような資料データと投影面とを比較してどこを指し示しているかを検知する方法では、事前にポインタの形状などを学習する必要がなく身体の一部など形状の変わりやすいものを検知する場合に特に適している。
【産業上の利用可能性】
【００９３】
以上のように本発明におけるテレビ対話システムでは、第１のプロジェクタと第２のプロジェクタを用いた資料共有モード動作時には、第１のプロジェクタの第１の投射部により第１のパーソナルコンピュータからの映像を第１の投射面に投射させるとともに、第１の撮影部により第１の投射面の投射映像を撮影し、この第１の撮影部による撮影映像は、この第１のプロジェクタの第１の制御部、または第１のパーソナルコンピュータによって、第１のパーソナルコンピュータから第１のプロジェクタに供給した供給映像と比較し、この比較により生じた差異映像を、第１のパーソナルコンピュータから第１のプロジェクタへの供給映像に重畳した状態で、第１のプロジェクタ、または第１のパーソナルコンピュータから、第２のプロジェクタに供給する構成としたものである。
【００９４】
このため、例えば、投射画像への指示を指で行ったり、あるいは他の造形物を重ねたりすることで、指示箇所を表現したり、指示内容を伝えたりする方が、意思を正しく伝えることが出来るときには、その指示内容映像を第２地点の第２のプロジェクタから第２の投射面に投射することができ、この結果として、第１地点、第２地点の対話が円滑に進むようになるのである。したがって、本発明にかかるテレビ対話システムは、テレビ会議などに活用されることが期待される。
【符号の説明】
【００９５】
１  プロジェクタ
２  投射口
３  投射面
４  撮影口
５  投射部
６  下ケース
７  撮影部
８  上ケース
９  冷却風放出口
１０  冷却取込口
１１  スピーカ放音口
１２  送風機
１３  送風路
１４  上面カバー
１５  回転軸
１６  架台
１７  固定部
１８  立上面
１９  角度調整つまみ
２０  固定片
２１  集音口
２２  マイクロホン
２３  上下脚
２４  電源供給端子
２５  スピーカ
２６  制御部
２７  Ｉ／Ｆ部
２８  電源部
２９  モード選択部
３０  メモリ
１００  第１地点
１０１  第１のパーソナルコンピュータ
２００  第２地点
３００  光ケーブル
１９００  テレビ会議端末
１９０１  受信部
１９０２  送信部
１９０３  投影部
１９０４  投影映像選択部
１９０５  モード選択部
１９０６  撮影部
１９０７  電子データ保持部
１９０８  重畳検知部
１９０９  合成部
【図１】
2013070368.tif 000003
【図２】
2013070368.tif 000004
【図３】
2013070368.tif 000005
【図４】
2013070368.tif 000006
【図６】
2013070368.tif 000007
【図７】
2013070368.tif 000008
【図８】
2013070368.tif 000009
【図９】
2013070368.tif 000010
【図１０】
2013070368.tif 000011
【図１１】
2013070368.tif 000012
【図１２】
2013070368.tif 000013
【図１３】
2013070368.tif 000014
【図１４】
2013070368.tif 000015
【図１５】
2013070368.tif 000016
【図１６】
2013070368.tif 000017
【図１８】
2013070368.tif 000018
【図１９】
2013070368.tif 000019
【図２０】
2013070368.tif 000020
【図２１】
2013070368.tif 000021
【図２２】
2013070368.tif 000022
【図２３】
2013070368.tif 000023
【図５】
2013070368.tif 000024
【図１７】
2013070368.tif 000025