(57)【要約】【課題】装置の大規模化を抑えつつ、視線不一致の問題を解決することができる映像通信装置を提供する。【解決手段】視線一致させる映像通信装置であって、通信相手から送信された映像を投射するプロジェクタと、微小な開口部を有し、プロジェクタによって投射された映像を映し出すスクリーンと、スクリーンの背面に配置され、開口部を透過した光を入射して映像を撮像し、撮像した映像を出力する撮像手段と、撮像手段から出力された映像を通信相手に対して送信する映像送信手段とを備えた。【選択図】図１
2016143998.tif 000002
【特許請求の範囲】
【請求項１】
視線一致させる映像通信装置であって、
通信相手から送信された映像を投射するプロジェクタと、
微小な開口部を有し、前記プロジェクタによって投射された映像を映し出すスクリーンと、
前記スクリーンの背面に配置され、前記開口部を透過した光を入射して映像を撮像し、撮像した前記映像を出力する撮像手段と、
前記撮像手段から出力された前記映像を前記通信相手に対して送信する映像送信手段と
を備えたことを特徴とする映像通信装置。
【請求項２】
前記プロジェクタは、前記開口部に光を投射させないためのマスクを有することを特徴とする請求項１に記載の映像通信装置。
【請求項３】
前記マスクとしてあらかじめマスクパターン画像を生成するマスクパターン生成手段をさらに備え、該マスクパターン画像を投射すべき映像に合成し前記プロジェクタによって映像の投射を行うことを特徴とする請求項２に記載の映像通信装置。
【請求項４】
前記マスクパターン生成手段は、前記マスクの形状及び投射位置を可変としたマスクパターン画像を生成し、前記撮像手段で撮像された画像のコントラストに基づき、前記マスクの形状及び投射位置を決定することを特徴とする請求項３に記載の映像通信装置。
【請求項５】
視線一致させる映像通信装置が行う映像通信方法であって、
前記映像通信装置は、プロジェクタと、スクリーンと、撮像手段と、映像送信手段とを備え、
前記プロジェクタが、通信相手から送信された映像を投射するステップと、
前記スクリーンが、微小な開口部を有し、前記プロジェクタによって投射された映像を映し出すステップと、
前記撮像手段が、前記スクリーンの背面に配置され、前記開口部を透過した光を入射して映像を撮像し、撮像した前記映像を出力するステップと、
映像送信手段が、出力された前記映像を前記通信相手に対して送信するステップと
を有することを特徴とする映像通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像通信装置及び映像通信方法に関する。
【背景技術】
【０００２】
カメラで撮像した映像を使用して、通信相手と通信を行う映像通信装置において、通常のスクリーン（表示装置）とカメラ（撮像装置）を用いた場合、通信相手の画像が提示される位置と、実際に撮像する位置がずれてしまう問題が指摘されている。例えば、近年はパソコンの表示装置の上部にカメラを設け、遠隔地との間で通信相手の画像を伴う通信を行うことができるようになっている。しかしながら、表示装置上に映る通信相手の顔は、表示装置上部に設けられたカメラによって撮像された画像であるため、視線が下を向いてしまうという問題を有している。
【０００３】
これを視線不一致問題と言い、現在まで数種の解決方法が提案されている（例えば、非特許文献１参照）。図５は、代表的な視線一致方式を用いた映像通信装置の構成を示すブロック図である。この図において、符号３０１、３０２は、通信を行う人物の画像を撮像するカメラである。符号６０１、６０２は、ハーフミラーである。符号７０１、７０２は、液晶ディスプレイのような表示装置である。符号８０１、８０２、互いに通信を行うユーザである。図５においては、省略してあるが、これらの他に音声をやり取りする構成も備えているのが一般的である。
【０００４】
次に、図５に示す映像通信装置の動作を説明する。ここでは、音声のやり取りについては、公知であるため、詳細な説明を省略する。まず、カメラ３０１は、ユーザ８０１の画像を撮像する。このとき、ユーザ８０１から発せられた光はハーフミラー６０１を透過してカメラ３０１へ到達する。撮像された画像はミラー反転されて表示装置７０２へ送信される。表示装置７０２に映し出された画像は、ハーフミラー６０２の表面で正反射し、ユーザ８０２へ届く。一方、カメラ３０２は、ユーザ８０２の画像を撮像し、この画像をミラー反転されて表示装置７０１へ送信される。表示装置７０１に映し出された画像は、ハーフミラー６０１の表面で正反射し、ユーザ８０１へ届く。
【０００５】
このようにして、お互いに相手の顔を見ながら通信を行うことが可能となる。特に、ハーフミラー６０１、６０２を使用して、お互いの視線が一致するようにカメラ３０１、３０２が配置されているため、視線不一致問題を解決することができる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Crater,T.V., Bell System Technical Journal, Vol.50 235 (Feb. 1971)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、図５に示す映像通信装置にあっては、液晶等の自発光型の表示装置とハーフミラーを用いているため、表示系の主軸と撮像系の主軸を一致させることができるが、液晶等のディスプレイ装置を大きくすると装置全体が大規模になってしまい使用しづらくなってしまうというという問題がある。
【０００８】
本発明は、このような事情に鑑みてなされたもので、装置の大規模化を抑えつつ、視線不一致の問題を解決することができる映像通信装置及び映像通信方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、視線一致させる映像通信装置であって、通信相手から送信された映像を投射するプロジェクタと、微小な開口部を有し、前記プロジェクタによって投射された映像を映し出すスクリーンと、前記スクリーンの背面に配置され、前記開口部を透過した光を入射して映像を撮像し、撮像した前記映像を出力する撮像手段と、前記撮像手段から出力された前記映像を前記通信相手に対して送信する映像送信手段とを備えたことを特徴とする。
【００１０】
本発明は、前記プロジェクタは、前記開口部に光を投射させないためのマスクを有することを特徴とする。
【００１１】
本発明は、前記マスクとしてあらかじめマスクパターン画像を生成するマスクパターン生成手段をさらに備え、該マスクパターン画像を投射すべき映像に合成し前記プロジェクタによって映像の投射を行うことを特徴とする。
【００１２】
本発明は、前記マスクパターン生成手段は、前記マスクの形状及び投射位置を可変としたマスクパターン画像を生成し、前記撮像手段で撮像された画像のコントラストに基づき、前記マスクの形状及び投射位置を決定することを特徴とする。
【００１３】
本発明は、視線一致させる映像通信装置が行う映像通信方法であって、前記映像通信装置は、プロジェクタと、スクリーンと、撮像手段と、映像送信手段とを備え、前記プロジェクタが、通信相手から送信された映像を投射するステップと、前記スクリーンが、微小な開口部を有し、前記プロジェクタによって投射された映像を映し出すステップと、前記撮像手段が、前記スクリーンの背面に配置され、前記開口部を透過した光を入射して映像を撮像し、撮像した前記映像を出力するステップと、映像送信手段が、出力された前記映像を前記通信相手に対して送信するステップとを有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、反射型の表示装置を用いるようにしたため、装置の大規模化を抑えつつ視線一致画像を得ることができるため、映像通信装置において、視線不一致問題を解決することができるという効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】本発明の従来の視線一致映像通信装置の構成を示すブロック図である。
【図２】図１に示す映像通信装置の動作を示す説明図である。
【図３】本発明の第２実施形態による映像通信装置示す説明図である。
【図４】本発明の第３実施形態による映像通信装置示す説明図である。
【図５】従来技術による視線一致の映像通信装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像通信装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は音響透過スクリーンのような、微小な開口を有するスクリーンであり、光を反射と透過させる特性を有している。スクリーン１の表面１ａは、拡散反射特性を有している。符号２は、通信相手から送信された映像を受信してその映像をスクリーン１に投射するプロジェクタである。
【００１７】
符号２１は、プロジェクタ２から投射する像の一部分に影をつけスクリーン１へ像を映し出すためのマスクである。また、プロジェクタ２は、視線上に配置することはできないため、図１に示すように、視線から外れた位置に配置される。またこのとき、スクリーン１に映しだされる像が歪んだ像となるためにこの歪みを補正する補正機能を有している。ユーザ８は、スクリーン１に映し出された通信相手の像を見ながら通信を行う。
【００１８】
符号３はユーザ８を撮像するカメラであり、撮像した画像を通信相手に送信する。カメラ３は、カメラレンズ３１を備えている。カメラ３は、撮像対象でユーザ８をスクリーン１上の微小な開口１１を通して撮像するが、開口１１の大きさ及びカメラレンズ３１の焦点距離・絞り、スクリーン１からカメラレンズ３１間距離などを適切に設定することで、開口以外の部分の影響を小さくすることができることは広く知られている。このカメラ３の光軸とユーザ８の視線とほぼ一致するようにカメラ３を配置したため、視線不一致問題を解決することができる。
【００１９】
図１に示す構成は、通信相手の場所にも同様の構成が備えられている。また、図１においては省略してあるが、音声をやり取りする構成を備えていてもよい。また、図１に示す構成を設置する場合、カメラ３周囲の照明は暗い方がよく、ユーザ８のみが照明されている状況が望ましい。このようにすることによって、カメラ３によって撮像したユーザ８の画像のコントラストを向上させることができる。
【００２０】
次に、図２を参照して、図１に示す映像通信装置の動作を説明する。図２は、図１に示す映像通信装置の動作を示す説明図である。図２において３は、スクリーン１に投射される画像４（原則通信相手とその背景）、カメラ３、カメラレンズ３１及び開口１１の関係を模式的に示したものである。
【００２１】
無数の開口１１を持つスクリーン１背面に配置したカメラレンズ３１の入射角とプロジェクタ２の投射角の関係から、通常はカメラレンズ３１の入射角内にプロジェクタ２の投射光が直接入ってしまう（図１に示す光線Ｌ１、この光を以下直接光と呼ぶ）。その結果、この直接光が通信相手画像のノイズとなり、カメラ３で撮像される像の品質は著しく低下する。
【００２２】
そこで、本実施形態による映像通信装置では、直接光がカメラ３に入射してしまう部分の開口１１をマスクするため、プロジェクタ２内に所定のマスクパターンを有するマスク２１を設ける。開口１１の部分の像はマスク２１によってマスクされるため影４１のように暗く抜けた領域となる。その結果、カメラ３で撮像される像においては直接光の影響を排除することができ、撮像品質が飛躍的に向上させることができる。
【００２３】
図２においては、１つの開口１１と影４１のみを示したが、実際には開口１１と同数の影４１がスクリーン１に映し出されることになる。なお、光学的に直接光の影響を受けない部分には影４１を映し出す必要がないようなマスク２１をプロジェクタ２内に設けてもよい。また、マスク２１によりできる影４１の形状は円形であってもよい。さらに、マスク２１によりできる影４１の形状は、開口１１の形状に合わせた形状であってもよい。
【００２４】
なお、図２においては簡単のため開口１１を大きく描いているためマスクされた影４１も大きく描かれているが、音響透過スクリーンのように開口１１は投射される像４に対して非常に小さくすることができるから、マスク領域によりできる影４１も小さくすることができ、像４に与える影響は実際には無視することができる。
【００２５】
また、この例では、開口１１が１つだけの例を示したが、１つのカメラに対して複数の開口がある場合にも同様であることはいうまでもない。また、カメラ・開口とも複数ある場合にも同じ手法を用いることができることは言うまでもない。
【００２６】
＜第２実施形態＞
次に、図３を参照して、本発明の第２実施形態による映像通信装置を説明する。図３は、本発明の第２実施形態による映像通信装置示す説明図である。第１実施形態においては、プロジェクタ２内に固定的にマスク２１を設けて、直接光がカメラ３に入射しないようにした例を説明した。
【００２７】
第２実施形態では、マスクパターンの画像を生成するマスクパターン生成部６を設け、任意のマスクパターン画像４３を生成できるようにし、画像合成部７によって、通信相手から送信された映像４２に対して、マスクパターン生成部６において生成されたマスクパターン画像４３を重ね合わせて合成画像５を生成するようにした。プロジェクタ２は、この合成画像５をスクリーン１へ投射する。
【００２８】
このように、マスクパターン生成部６によってマスクをマスクパターン画像４３としてマスクを作成し、通信相手から送信された映像４２に対して、マスクパターン画像４３を合成するようにしたため、マスクの形状、サイズ、及びマスク間隔は、マスクパターン生成部６によって任意にマスクパターン画像４３を変化させることができる。
【００２９】
この構成によって、カメラ３ａ、カメラレンズ３１ａが、カメラ３ｂ、カメラレンズ３１ｂの位置、カメラ３ｃ、カメラレンズ３１ｃの位置、カメラ３ｄ、カメラレンズ３１ｄの位置に移動しても対応が可能である。また、プロジェクタ２の位置が変化した場合や、存在する開口位置や間隔が変化した場合などにも対応可能である。さらに、カメラ３、プロジェクタ２の解像度が変化した場合にも対応可能となる。
【００３０】
なお、マスクパターン生成部６、画像合成部７は、図３に示すプロジェクタ２内に納められていてもよい。また、マスクパターン生成部６、画像合成部７は、通信相手側に備えられ、通信相手側で合成画像５を生成し、この合成画像を図２に示すプロジェクタ２に送信するようにしてもよい。
【００３１】
＜第３実施形態＞
次に、図４を参照して、本発明の第３実施形態による映像通信装置を説明する。図４は、本発明の第３実施形態による映像通信装置示す説明図である。図４では、例えば３つの開口１１と、３つのマスクの形状・配置（以下、マスクパターン２２と呼ぶ）の決定方法を模式的に表したものである。前述の通り、カメラ３に直接光が入射した場合、その強い光によって得られる画像品質、具体的にはコントラストは著しく低下する。
【００３２】
また、プロジェクタ２によって投射される合成画像５に関して考えると、マスクパターン画像４３の影響、すなわちマスクパターン２２によって生じる影４１はできる限り小さいことが望ましいのは言うまでもない。一方、開口１１とマスクパターン２２の位置合わせを考えると、マスクパターン２２によって投射される影４１は大きいほうが位置合わせが容易である。
【００３３】
次に、図４を参照して、第３実施形態における動作を説明する。画像のコントラストをパラメータ（縦軸）とし、開口１１に対してマスクパターン２２を動的に移動することを考える。まず、開口１１のピッチに合わせて大きめのマスクパターン２２を投射し、カメラ３で撮像した画像のコントラストを計測する。そして、マスクパターン２２を水平に移動させる。得られるコントラストは図４に示すように、上に凸の形状のグラフが得られることになる。
【００３４】
次に、この頂点付近にマスクパターン２２を表示させ、上下方向に移動させることにより、同様の曲線を得る。この操作によって、各開口１１に対するマスクの位置をおおよそ中心に合わせることができる。
【００３５】
次に、その位置において個々のマスクの大きさを縮小させながら（または形状を変えながら）、カメラ３によって得られる画像のコントラストを計測する。マスクによる直接光の遮断が十分でなくなった大きさや形状になった時点で画像のコントラストが低下に変化するので、コントラストが最大かつマスクのサイズが最少となる場合のマスク形状を、最適マスクパターンと決定すればよい。
【００３６】
本実施形態では、マスクの形状については同じ形状で大きさだけを変化させた例を示したが、形状そのものを変化させて（四角形から多角形、または円形、さらには、開口１１と同じ形状）も上記方法を適用できることは言うまでもない。
【００３７】
また、本実施形態では撮像するカメラが１台である例を示したが、複数のカメラを用いた場合にも、本手法が同様に適用可能であることは言うまでもない。
【００３８】
また、図１において、プロジェクタ２の光軸の方向とスクリーン１との位置関係を調整して、直接光がカメラ３に入射しないように調整してもよい。この場合、プロジェクタ２の光軸と、スクリーン１とのなす角度が小さい方が直接光がカメラ３に入射しにくくなる。ただし、プロジェクタ２の光軸と、スクリーン１とのなす角度が小さくするほど、スクリーン１に表示される画像は歪むため、公知の方法を使用して、この歪みを補正すればよい。また、開口１１内部の表面は、可視光を吸収する色になっていることが望ましい。
【００３９】
さらに、カメラ３に入射する光が少ないほど通信相手側のプロジェクタ２の輝度を上げるように制御してもよい。
【００４０】
また、前述した方法によれば、プロジェクタ２によって通信相手の像を投射するようにしたため、従来技術のハーフミラーを使用した場合のように画像のミラー反転の処理を省略することができる。
【００４１】
また、表示画像の大きさは、プロジェクタ２の投射面積で決まるため、任意の大きさの表示面積とすることができ、大画面にも対応可能である。
【００４２】
また、従来技術のように、ハーフミラーを用いないため、ユーザ８がスクリーン１を見る位置の自由度を上げることができる。
【００４３】
また、従来技術においては、液晶ディスプレイ等をハーフミラーで眺める構成であっため、表示部の形状は、液晶ディスプレイの形状によって決まる。一方、本実施形態では、スクリーン１の形状、投射画像の形状を任意に変化させることが可能となる。
【００４４】
このように、従来技術のように、ハーフミラーを使用する方式ではなく、プロジェクタによって通信相手の映像を投射して表示するようにしたため、画面の大画面化を図ることが容易になる。そして、スクリーンに微小な開口を設け、スクリーンの裏側からこの微小な開口を通して通信相手を正面から撮像する（視線を一致させる）ようにしたため、視線不一致の問題を解決することができる。また、プロジェクタの直接光がカメラに入射することを防止するために、投射画像において開口部分をマスクするようにしたため、カメラで撮像した像のコントラストを向上させることができる。
【００４５】
以上説明したように、微小な開口部分を有するスクリーンを用い、スクリーンに投射される映像のうち、開口部分に相当する部分をマスク処理し、開口から画像を撮像するようにしたため、大画面かつ視線一致可能な映像通信装置を構成することが可能になり、その効果は極めて大である。
【００４６】
前述した実施形態におけるマスクパターン生成部６、画像合成部７をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００４７】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００４８】
装置の大規模化を抑えつつ、視線不一致の問題を解決することが不可欠な用途に適用できる。
【符号の説明】
【００４９】
１・・・スクリーン、１１・・・開口、２・・・プロジェクタ、２１・・・マスク、３・・・カメラ、３１・・・カメラレンズ、４・・・画像、４１・・・影、４２・・・映像、４３・・・マスクパターン画像、５・・・合成画像、６・・・マスクパターン生成部、７・・・画像合成部、８・・・ユーザ、２２・・・マスクパターン
【図１】
2016143998.tif 000003
【図２】
2016143998.tif 000004
【図３】
2016143998.tif 000005
【図４】
2016143998.tif 000006
【図５】
2016143998.tif 000007