(57)【要約】【課題】表示装置前のデッドスペースを削減する。【解決手段】表示装置１１０の上部には、アーム部６を介して、可視光映像カメラ１０と距離カメラ１１、及びハーフミラー１２から成る撮像部８が設置されている。撮像部８は、回転機構９を介してアーム部６に上下方向に回転可能に固定される。可視光映像カメラ１０は、使用者１００の顔の映像を撮影する。距離カメラ１１は、使用者１００の顔までの距離映像を撮影する。正面顔映像生成部１３は、可視光映像カメラ１０で撮影された使用者１００の顔の映像と、距離カメラ１１で撮影された距離映像とを用いて、可視光映像カメラ１０の位置から撮影した映像（上方向から撮影した映像）とは異なる位置（真正面）から撮影した使用者１００の顔映像を生成する。【選択図】図１
2011166316.tif 000002
【特許請求の範囲】
【請求項１】
映像を表示する表示装置の表示面を正面から見ている被写体の第１の映像を、前記表示装置側から可視光映像カメラにより撮影する第１のステップと、
前記被写体までの距離を示す距離映像を距離カメラにより撮影する第２のステップと、
前記可視光映像カメラで撮影した第１の映像から、前記距離カメラで撮影した距離映像を用いて、前記可視光映像カメラの位置と異なる位置から撮影した第２の映像を生成する第３のステップと
を含むことを特徴とする撮像方法。
【請求項２】
前記第３のステップは、
前記可視光映像カメラにより撮影された第１の映像と前記距離カメラにより撮影された距離映像とから、リアルタイムに３Ｄ映像として生成する第４のステップと、
前記３Ｄ映像を仮想の空間内で回転処理することにより前記可視光映像カメラの位置と異なる位置から撮影した第２の映像を生成する第５のステップと
を含むことを特徴とする請求項１に記載の撮像方法。
【請求項３】
映像を表示する表示装置と、
前記表示装置の表示面を正面から見ている被写体の第１の映像を、前記表示装置側から撮影する可視光映像カメラと、
前記被写体までの距離を示す距離映像を撮影する距離カメラと、
前記可視光映像カメラで撮影した第１の映像から、前記距離カメラで撮影した距離映像を用いて、前記可視光映像カメラの位置と異なる位置から撮影した第２の映像を生成する映像生成部と
を備えることを特徴とする撮像表示装置。
【請求項４】
前記可視光映像カメラと前記距離カメラとの光軸上に配置されたハーフミラーを更に備え、
前記可視光映像カメラと前記距離カメラとは、
前記ハーフミラーを介して同じ視点から前記被写体を撮影することを特徴とする請求項３に記載の撮像表示装置。
【請求項５】
前記可視光映像カメラと前記距離カメラとの光軸上に配置されたハーフミラーを更に備え、
前記可視光映像カメラと前記距離カメラとは、
前記ハーフミラーを介すことにより、双方の光軸を一致させて、前記表示装置の表示面前の被写体を撮影することを特徴とする請求項３に記載の撮像表示装置。
【請求項６】
前記可視光映像カメラと前記距離カメラとの光軸上に配置されたハーフミラーを更に備え、
前記距離カメラは、赤外光を照射する赤外光照射手段を備え、
前記ハーフミラーは、
前記距離カメラの前記赤外光照射手段から照射された赤外光を反射して前記被写体に照射し、前記被写体からの可視光を透過して前記可視光映像カメラへ入射させるハーフミラーであること、あるいは、前記被写体からの可視光を反射して前記可視光映像カメラへ入射させ、前記距離カメラから照射される赤外光を透過して前記被写体に照射するハーフミラーであることを特徴とする請求項３に記載の撮像表示装置。
【請求項７】
撮像表示装置を互いに接続して構成される遠隔対面コミュニケーション装置であって、
前記撮像表示装置は、
映像を表示する表示装置と、
前記表示装置の表示面を正面から見ている被写体の第１の映像を、前記表示装置側から撮影する可視光映像カメラと、
前記被写体までの距離を示す距離映像を撮影する距離カメラと、
前記可視光映像カメラで撮影した第１の映像から、前記距離カメラで撮影した距離映像を用いて、前記可視光映像カメラの位置と異なる位置から撮影した第２の映像を生成する映像生成部と
を備えることを特徴とする遠隔対面コミュニケーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像方法、撮像表示装置、及び遠隔対面コミュニケーション装置に関する。
【背景技術】
【０００２】
図５は、従来の撮像表示装置の概略構成を示す図である。図５において、１００は使用者、１１０は表示装置、１１１はハーフミラー、１２０は撮像装置（カメラ）である。従来の撮像表示装置においては、使用者１００は、ハーフミラー１１１を介して、表示装置１１０を観察できると同時に、ハーフミラー１１１の反射を利用して使用者１００の顔映像を正面から撮影できる。
【０００３】
しかしながら、従来の撮像表示装置では、ハーフミラー１１１が、４５度の角度で、表示装置１１０と使用者との間に設置されているために、ハーフミラー１１１が設置されている空間がデッドスペースとなってしまうという問題点があった。
【０００４】
そこで、図６に示すように、液晶パネルからなる表示装置１１０の背面にハーフミラー１１１を設置する手法が考案されている（例えば、特許文献１参照）。図６において、１４０は第１の偏光板、１５０は第２の偏光板、１６０はバックライトである。
【０００５】
また、図７に示すように、表示装置１１０の表画面に微小な穴１７０を空けて、図示しない使用者を該穴１７０を通して表示装置１１０の後方に設置された撮像装置６で撮影する手法も考案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平４−１４５７８９号公報
【特許文献２】特開平４−１６７６９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示された従来技術では、液晶パネルからなる表示装置１１０の透過率が低く、さらに、液晶パネルの画像構造による回折ボケが発生し、画像がぼけるため、高画質の映像が撮影できないという問題があった。
【０００８】
また、特許文献２に開示された従来技術では、穴１７０による回折を抑制できるほど、穴１７０の直径を大きくすると、表示画像の欠陥（被写体を撮像装置６で撮影するために表示装置１１０にあけた穴１７０によって、表示装置１１０に表示される画像の一部分が欠落する）が看過できなくなるという問題点があった。
【０００９】
本発明は、このような事情を考慮してなされたものであり、その目的は、画質の低下や、表示画像の欠陥を生じさせることなく、映像表示装置前のデッドスペースを削減することができる撮像方法、撮像表示装置、及び遠隔対面コミュニケーション装置を提供することにある。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、本発明は、映像を表示する表示装置の表示面を正面から見ている被写体の第１の映像を、前記表示装置側から可視光映像カメラにより撮影する第１のステップと、前記被写体までの距離を示す距離映像を距離カメラにより撮影する第２のステップと、前記可視光映像カメラで撮影した第１の映像から、前記距離カメラで撮影した距離映像を用いて、前記可視光映像カメラの位置と異なる位置から撮影した第２の映像を生成する第３のステップとを含むことを特徴とする撮像方法である。
【００１１】
本発明は、上記の発明において、前記第３のステップは、前記可視光映像カメラにより撮影された第１の映像と前記距離カメラにより撮影された距離映像とから、リアルタイムに３Ｄ映像として生成する第４のステップと、前記３Ｄ映像を仮想の空間内で回転処理することにより前記可視光映像カメラの位置と異なる位置から撮影した第２の映像を生成する第５のステップとを含むことを特徴とする。
【００１２】
また、上述した課題を解決するために、本発明は、映像を表示する表示装置と、前記表示装置の表示面を正面から見ている被写体の第１の映像を、前記表示装置側から撮影する可視光映像カメラと、前記被写体までの距離を示す距離映像を撮影する距離カメラと、前記可視光映像カメラで撮影した第１の映像から、前記距離カメラで撮影した距離映像を用いて、前記可視光映像カメラの位置と異なる位置から撮影した第２の映像を生成する映像生成部とを備えることを特徴とする撮像表示装置である。
【００１３】
本発明は、上記の発明において、前記可視光映像カメラと前記距離カメラとの光軸上に配置されたハーフミラーを更に備え、前記可視光映像カメラと前記距離カメラとは、前記ハーフミラーを介して同じ視点から前記被写体を撮影することを特徴とする。
【００１４】
本発明は、上記の発明において、前記可視光映像カメラと前記距離カメラとの光軸上に配置されたハーフミラーを更に備え、前記可視光映像カメラと前記距離カメラとは、前記ハーフミラーを介すことにより、双方の光軸を一致させて、前記表示装置の表示面前の被写体を撮影することを特徴とする。
【００１５】
本発明は、上記の発明において、前記可視光映像カメラと前記距離カメラとの光軸上に配置されたハーフミラーを更に備え、前記距離カメラは、赤外光を照射する赤外光照射手段を備え、前記ハーフミラーは、前記距離カメラの前記赤外光照射手段から照射された赤外光を反射して前記被写体に照射し、前記被写体からの可視光を透過して前記可視光映像カメラへ入射させるハーフミラーであること、あるいは、前記被写体からの可視光を反射して前記可視光映像カメラへ入射させ、前記距離カメラから照射される赤外光を透過して前記被写体に照射するハーフミラーであることを特徴とする。
【００１６】
また、上述した課題を解決するために、本発明は、撮像表示装置を互いに接続して構成される遠隔対面コミュニケーション装置であって、前記撮像表示装置は、映像を表示する表示装置と、前記表示装置の表示面を正面から見ている被写体の第１の映像を、前記表示装置側から撮影する可視光映像カメラと、前記被写体までの距離を示す距離映像を撮影する距離カメラと、前記可視光映像カメラで撮影した第１の映像から、前記距離カメラで撮影した距離映像を用いて、前記可視光映像カメラの位置と異なる位置から撮影した第２の映像を生成する映像生成部とを備えることを特徴とする遠隔対面コミュニケーション装置である。
【発明の効果】
【００１７】
この発明によれば、表示装置の表示面を見ている使用者を任意の位置から撮影でき、可視光映像カメラの位置と異なる位置から撮影した使用者の映像をリアルタイムに生成して表示装置に表示することができるため、使用者の前面の作業空間を十分に確保できる。また、撮像表示装置を複数用いて遠隔対面コミュニケーション装置とすることにより、各地点では、他地点にいる相手の顔映像があたかも真正面に向いているように感じられるため、自然なコミュニケーションが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態による撮像表示装置の概略構成を示す図である。
【図２】本発明の実施形態による撮像表示装置の撮像部の概略構成を示す図である。
【図３】本発明の実施形態による撮像表示方法の処理手順を示すフローチャートである。
【図４】本発明の実施形態による撮像表示装置を複数用いた遠隔対面コミュニケーション装置の概略構成を示す図である。
【図５】従来の撮像表示装置の概略構成を示す図である。
【図６】従来の撮像表示装置の他の例の概略構成を示す図である。
【図７】従来の撮像表示装置の他の例の概略構成を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の一実施形態を、図面を参照して説明する。
【００２０】
本発明は、撮像装置と表示装置を組み合わせた遠隔対面コミュニケーション装置（１対１でのＴＶ会議システム）に関するものである。本発明の特徴は、ハーフミラーを用いて可視光カメラと距離カメラとの光軸を一致させ、かつ、可視光カメラで人の顔を捉えるよう、可視光カメラの光軸をあらかじめ調整した撮像部を表示装置に取り付けた構成にある。この構成により、表示装置前のデッドスペースをなくすことができ、かつ、特許文献１、２と比較すると、画像劣化を減らして対話者の任意の向きの顔を画面に表示可能になる。この処理により、カメラが画面上部に設置されている場合であっても、正面を向いた顔を画面に表示可能になり、違和感の無いコミュニケーションが可能になる。
【００２１】
図１は、本発明の実施形態による撮像表示装置の略構成を示す図である。なお、本実施形態を説明するための全図において、同一機能を有するものには同一符号を付け、その繰り返しの説明は省略する。図１において、表示装置１１０の上部には、表示装置１１０の裏側に取り付けられたアーム部６を介して、可視光映像カメラ１０と距離カメラ１１、及びハーフミラー１２から成る撮像部８が設置されている。撮像部８は、回転機構９を介してアーム部６に上下方向に回転可能に固定されている。このため、表示装置１１０の表示面を見ている使用者１００の顔の位置と撮像部８の光軸とが合うように回転機構９によって調整可能となっている。
【００２２】
可視光映像カメラ１０は、使用者１００の顔の映像を撮影する。距離カメラ１１は、当該距離カメラ１１から使用者１００の顔までの距離映像を撮影する。撮像部８の可視光映像カメラ１０で撮影された使用者１００の顔の映像と、距離カメラ１１で撮影された距離映像は、正面顔映像生成部１３に供給される。
【００２３】
正面顔映像生成部１３は、可視光映像カメラ１０で撮影された使用者１００の顔の映像と、距離カメラ１１で撮影された距離カメラから使用者１００の顔までの距離映像とを用いて、可視光映像カメラ１０の位置から撮影した映像（上方向から撮影した映像）とは異なる位置から撮影した使用者１００の顔映像（真正面）を生成する。表示装置１１０は、正面顔映像生成部１３で生成された正面顔の映像を表示する。該表示装置１１０に表示される正面顔の映像は、使用者１００から見ると、あたかも真正面に向いているように感じられる。
【００２４】
なお、本実施形態では、正面から撮影した映像を生成するが、正面だけでなく、任意の位置の映像も生成可能である。
【００２５】
図２は、本実施形態による撮像表示装置の撮像部８の概略構成を示す図である。図２において、可視光映像カメラ１０と距離カメラ１１との視点は、ハーフミラー１２を介して一致させる。各カメラの視点を一致させることにより、使用者１００を同じ位置から撮影することができる。また、可視光映像カメラ１０と距離カメラ１１との光軸は、ハーフミラーを介して一致させている。このように、視点、及び光軸を一致させて撮影することができるため、複数のカメラの設置場所によるデットスペースの削減を行っている。
【００２６】
ハーフミラー１２は、可視光映像カメラ１０、及び距離カメラ１１のレンズ面に対して４５度の角度で設置する。また、なるべくコンパクトにするため、可視光映像カメラ１０、及び距離カメラ１１の画角がハーフミラー１２から外れない位置を確保しつつ、各カメラのレンズに最も近い位置にハーフミラー１２を設置する。
【００２７】
可視光映像カメラ１０は、表示面を見ている使用者１００の顔をハーフミラー１２を透過して撮影する。距離カメラ１１は、当該距離カメラ１１が備え持つ赤外光照射機能によって照射された赤外光がハーフミラー１２に当って使用者１００に照射され、使用者１００にあたった赤外光の反射光がハーフミラー１２にあたり、距離カメラ１１が備え持つＣＣＤカメラでその赤外光を捕らえる。赤外光を照射してから被写体で反射してＣＣＤカメラに戻るまでの到達時間を、距離カメラ１１内のイメージセンサで計測し、距離映像として撮影する。
【００２８】
なお、可視光映像カメラ１０の位置と距離カメラ１１の位置とを入れ換えた場合には、ハーフミラー１２は、距離カメラ１１の赤外光を透過して、可視光映像カメラ１０の可視光を反射するようにしても、被写体の映像と距離映像とを撮影することも可能である。
【００２９】
図３は、本実施形態による撮像表示方法の処理手順を示すフローチャートである。図１に示す撮像表示装置において、使用者１００の顔を撮像部８の可視光映像カメラ１０で撮影した顔のＲＧＢ映像と距離カメラ１１で撮影した距離映像とから、可視光カメラ１０の位置と異なる正面から撮影した顔の映像を生成し、表示装置１１０の表示面に正面顔の映像を出力するまでの手順を示すフローチャートである。
【００３０】
まず、可視光映像カメラ１０で撮影した使用者１００の顔のＲＧＢ映像と距離カメラ１１で撮影した距離映像とを撮像部８から取得する（ステップ１０、Ｓ１２）。次に、顔のＲＧＢ映像と距離映像とを８ｂｉｔテーブルでの調整によるガンマ処理を行う（ステップＳ１４）。次に、ガンマ処理を行った顔のＲＧＢ映像と顔の距離映像とから顔部分の切り出し処理を行う（ステップＳ１６）。
【００３１】
次に、顔部分の切り出し処理を行ったＲＧＢ映像の顔部分と距離映像の顔部分との位置合わせ処理を行う（ステップＳ１８）。ＲＧＢ映像に比べて、距離映像の画素が少ないため、ＲＧＢ映像を距離映像の大きさに合わせる。次に、位置合わせ処理を行ったＲＧＢ映像の顔部分と距離映像の顔部分とを合成して顔の３Ｄ映像を生成する（ステップＳ２０）。
【００３２】
次に、上記顔の３Ｄ映像について３軸回転処理を行い、可視光映像カメラ１０の位置と異なる正面から撮影した顔の正面映像を生成する（ステップＳ２２）。３軸回転処理は、設置した可視光映像カメラ１０の傾き角度を入力し、回転させて正面顔にする方法と、顔検出エンジンにより正面顔にする方法とが可能である。
【００３３】
次に、上記正面顔の映像の中心と表示装置１１０の表示面の中心との位置を合わせる処理を行う（ステップＳ２４）。次に、正面顔映像の中心と表示装置の表示面の中心との位置合わせを行った正面顔の映像について、ステップＳ１４で処理したガンマ（８ｂｉｔテーブルでの調整）を元の状態に戻す処理を行う（ステップＳ２６）。次に、ガンマを元の状態に戻した正面顔の映像の中心と表示面の中心の位置合わせを行った正面顔映像を表示装置１１０の表示面に出力する（ステップＳ２８）。
【００３４】
図４は、本実施形態による撮像表示装置を複数用いた遠隔対面コミュニケーション装置の概略構成を示す図である。遠隔対面コミュニケーション装置は、図４に示すように、上述した撮像表示装置を２台用い、２地点にある表示装置１１０と正面顔映像生成部１３を互いに接続することにより構成される。即ち、撮像表示装置を２台用意し、一方の撮像表示装置の正面顔映像生成部１３に他方の撮像表示装置の表示装置１１０を接続している。接続は、映像配信だけでなく、通信網を用いてもよいことはいうまでもない。各地点では、他地点にいる相手の映像があたかも真正面にいるように感じられるため、自然で、臨場感の高いコミュニケーションが可能となる。
【００３５】
以上、本発明によってなされた発明を、前述の実施例に基づき具体的に説明したが、本発明は、前述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００３６】
また、上述した正面顔映像生成部１３による各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、符号化処理、及び復号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００３７】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００３８】
６  アーム部
８  撮像部
９  回転機構
１０  可視光映像カメラ
１１  距離カメラ
１２  ハーフミラー
１３  正面顔映像生成部
１００  使用者
１１０  表示装置
【図１】
2011166316.tif 000003
【図２】
2011166316.tif 000004
【図３】
2011166316.tif 000005
【図４】
2011166316.tif 000006
【図５】
2011166316.tif 000007
【図６】
2011166316.tif 000008
【図７】
2011166316.tif 000009