(57)【特許請求の範囲】
【請求項１】
被写体の画像会議の参加者を撮影した撮影映像、およびネットワークを介して受信した前記画像会議の相手方に該当する映像を考慮してカメラをリアルタイムで操作し、奥行き映像およびカラー映像を取得する映像取得部と、
前記奥行き映像およびカラー映像を用いて、アイコンタクトのための前記参加者の正面顔に相応する最終奥行き映像および最終カラー映像を生成し、前記画像会議の相手方に伝送する正面顔生成部と、
前記相手方に相応する３次元映像を生成し、ディスプレイ装置に表示する３Ｄ映像生成部とを含み、
前記映像取得部は、
前記撮影映像から検出された前記参加者の目の位置に基づいて前記カメラのそれぞれを左／右に回転させるパン（ｐａｎ）操作を行い、
前記参加者の目の位置、および前記相手方に該当する映像から検出された前記相手方の目の位置の差（ｄｉｆｆｅｒｅｎｃｅ）に基づいて前記カメラのそれぞれを上／下に回転させるチルト（ｔｉｌｔ）操作を行い、
前記相手方に該当する映像の前記相手方の目の高さに基づいて前記カメラを上／下に移動させる高さ（ｈｅｉｇｈｔ）操作を行うことにより、前記カメラをリアルタイムで操作することを特徴とする、アイコンタクトが可能な３次元遠隔会議装置。
【請求項２】
前記アイコンタクトが可能な３次元遠隔会議装置は、
前記撮影映像を用いて前記参加者が予め設定された動作を行ったか否かを判断するジェスチャ認識部と、
前記予め設定された動作に相応する機能を果たすジェスチャ処理部とをさらに含むことを特徴とする、請求項１記載のアイコンタクトが可能な３次元遠隔会議装置。
【請求項３】
前記ジェスチャ処理部は、
前記予め設定された動作が相互作用動作と判断される場合、
相互作用フィードバックを提供することを特徴とする、請求項２記載のアイコンタクトが可能な３次元遠隔会議装置。
【請求項４】
前記相互作用フィードバックは、
前記３次元映像に、前記相互作用動作に相応する前記参加者の身体一部の映像が付加された視覚フィードバックであることを特徴とする、請求項３記載のアイコンタクトが可能な３次元遠隔会議装置。
【請求項５】
前記３Ｄ映像生成部は、
前記参加者に提供された３Ｄテスト映像に対する前記参加者のリアクションに基づいて前記参加者の３Ｄ認識奥行きを測定し、前記３Ｄ認識奥行きを考慮して前記３次元映像を生成することを特徴とする、請求項４記載のアイコンタクトが可能な３次元遠隔会議装置。
【請求項６】
前記カメラは、前記ディスプレイ装置に一体型で具備されることを特徴とする、請求項１記載のアイコンタクトが可能な３次元遠隔会議装置。
【請求項７】
前記カメラは、前記ディスプレイ装置の外部に独立して具備されることを特徴とする、請求項１記載のアイコンタクトが可能な３次元遠隔会議装置。
【請求項８】
前記正面顔生成部は、
前記奥行き映像を対象に奥行きノイズの除去および奥行き補正を行い、前記カラー映像を対象に色補正を行うことで、１枚の前記最終奥行き映像および１枚の前記最終カラー映像を生成することを特徴とする、請求項１記載のアイコンタクトが可能な３次元遠隔会議装置。
【請求項９】
前記３Ｄ映像生成部は、
前記相手方に相応する前記最終奥行き映像および前記最終カラー映像に対してメッシュホール充填を行い、前記相手方に相応する３次元メッシュ形態の映像を復元し、前記３次元メッシュ形態の映像を用いて前記相手方に相応する３次元映像を生成することを特徴とする、請求項１記載のアイコンタクトが可能な３次元遠隔会議装置。
【請求項１０】
被写体の画像会議の参加者を撮影した撮影映像、およびネットワークを介して受信した前記画像会議の相手方に該当する映像を考慮してカメラをリアルタイムでパン（ｐａｎ）、チルト（ｔｉｌｔ）および高さ（ｈｅｉｇｈｔ）操作し、奥行き映像およびカラー映像を取得するステップと、
前記奥行き映像およびカラー映像を用いて、アイコンタクトのための前記参加者の正面顔に相応する最終奥行き映像および最終カラー映像を生成し、前記画像会議の相手方に伝送するステップと、
前記相手方に相応する３次元映像を生成し、ディスプレイ装置に表示するステップとを含み、
前記奥行き映像およびカラー映像を取得するステップは、
前記撮影映像から検出された前記参加者の目の位置に基づいて前記カメラのパン（ｐａｎ）操作を行い、
前記参加者の目の位置、および前記相手方に該当する映像から検出された前記相手方の目の位置の差（ｄｉｆｆｅｒｅｎｃｅ）に基づいて前記チルト（ｔｉｌｔ）操作を行い、
前記相手方の目の高さに基づいて前記カメラの高さ（ｈｅｉｇｈｔ）操作を行うことを特徴とする、アイコンタクトが可能な３次元遠隔会議方法。
【請求項１１】
前記アイコンタクトが可能な３次元遠隔会議方法は、
前記撮影映像を用いて前記参加者が予め設定された動作を行ったか否かを判断するステップと、
前記予め設定された動作に相応する機能を果たすステップとをさらに含むことを特徴とする、請求項１０記載のアイコンタクトが可能な３次元遠隔会議方法。
【請求項１２】
前記予め設定された動作に相応する機能を果たすステップは、
前記予め設定された動作が相互作用動作と判断される場合、前記３次元映像に、前記相互作用動作に相応する前記参加者の身体一部の映像が付加された視覚フィードバックを提供することを特徴とする、請求項１１記載のアイコンタクトが可能な３次元遠隔会議方法。
【請求項１３】
前記ディスプレイ装置に表示するステップは、
前記参加者に提供された３Ｄテスト映像に対する前記参加者のリアクションに基づいて前記参加者の３Ｄ認識奥行きを測定し、前記３Ｄ認識奥行きを考慮して前記３次元映像を生成することを特徴とする、請求項１２記載のアイコンタクトが可能な３次元遠隔会議方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元遠隔会議システムに関するものであって、特に、遠隔地の２人の会議参加者が互いの３次元正面顔を見ながらアイコンタクト（ｅｙｅ−ｃｏｎｔａｃｔ）をし、互いにリアルタイムで相互作用することができる遠隔会議システムおよびこれを用いた方法に関するものである。本出願は、２０１２年６月１１日付で韓国特許庁に提出された韓国特許出願第１０−２０１２−００６２２００号の出願日の利益を主張し、その内容のすべては本明細書に組み込まれる。
【背景技術】
【０００２】
最近、マルチメディア通信サービスの大衆化に伴い、地域的に遠く離れている相手方と顔を向かい合って対話をやり取りできる遠隔会議システムが広く用いられている。遠隔会議システムは、複数の人が共に参加することもでき、複数の地域を同時に連結することもでき、ネットワークを介して相手方の音声や映像などの会議情報をリアルタイムで伝達する。
【０００３】
一般的に、遠隔会議システムは、ユーザを撮影するためのカメラが画面の上端や下端または側面に位置し、ユーザの視線は画面を見つめているので、撮影されたユーザの映像はその視線の方向が正面を向いていないのが一般的である。
【０００４】
対話において、アイコンタクト（ｅｙｅ−ｃｏｎｔａｃｔ）は、対話に没頭したり、相手方に信頼感を与える上で非常に重要な要素であるが、上述のように、一般的に用いられる遠隔会議システムでは、画面に表示されるユーザの視線の方向が正面でないことから、対話の相手方とアイコンタクトが不可能である問題があった。このような遠隔会議システムにおいて、アイコンタクトが不可能な問題は、遠隔会議システムの現実化に致命的な限界として浮上し、実際に多くのユーザが遠隔会議による対話でぎこちなさを感じる重要な要素とされてきた。
【０００５】
特許文献１は、画像会議時、モニタの上端と下端に２台のカメラを設けて画像会議参加者の奥行き情報を計算し、参加者の頭の位置を把握して現在の参加者の位置に合わせた視線映像を生成することにより、対話参加者らが互いに視線を交わすことができる技術を紹介しており、特許文献２は、モニタの上端に設けられたカメラを通して、現在の遠隔会議参加者の頭の位置および方向を分析し、現在の参加者の目の位置が正面を向くように瞳を合成して遠隔会議の相手方との視線合わせを可能とする技術を紹介した。
【０００６】
また、特許文献３は、３台のカメラを用いて各会議参加者らにディスプレイする３次元映像を生成し、３次元ディスプレイする技術を開示しており、特許文献４は、視線一致カメラにおいて受光部だけを別途に移動可能とすることにより、相手方がモニタの真中にディスプレイされなくても適応的に視線一致できるようにする技術を開示している。
【０００７】
しかし、このような従来の遠隔会議システムのためのアイコンタクト支援技術は、アイコンタクト映像を取得するために、固定されたカメラの位置または相手方の画面上の位置のみを考慮した単純な移動による単純な映像取得を開示しているに過ぎず、最適なアイコンタクト映像取得のために考慮されるべき要素、およびこれらを考慮してどのような方式でカメラを操作するかについて具体的な技術を提示していない。また、従来技術は、大部分がリアルタイムでの奥行き計算により奥行き情報を生成する技術を採用していて奥行き情報の正確性が保障されないことから、自然な映像の生成が難しい問題があった。さらに、従来技術は、単に互いに映像を見ながら会議を進行する方式に限定される技術であり、より実感的な遠隔会議のためのリアルタイム相互作用については言及していない。
【０００８】
したがって、実感的なアイコンタクト映像を生成するために考慮されるべき要素を提示し、これら要素を適切に活用してカメラを操作することにより、最適なアイコンタクト映像を提供し、より実感的な遠隔会議のためのリアルタイム相互作用が可能であり、奥行きカメラを通して取得された奥行き情報を用いて、より正確かつ実感的な映像の生成が可能な新たな３次元画像会議技術の必要性が切実に求められる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第６７７１３０３号明細書
【特許文献２】米国特許第６８０６８９８号明細書
【特許文献３】韓国公開特許第１９９７−００５７７７９号公報
【特許文献４】韓国公開特許第２０１０−００２８７２５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、画像会議参加者が立ち上がって会議を進行したり、位置を移動する場合でも、実感的なアイコンタクト映像を撮影するために考慮されるべき要素を定義し、これら要素を適切に活用してカメラを操作することにより、遠隔会議参加者らが実際に同じ空間にいるかのような感覚で自然に会議を進行できるようにすることである。
【００１１】
また、本発明の目的は、３次元遠隔会議時、リアルタイム相互作用により、遠隔会議参加者らに実際に同じ空間で会議しているかのような感覚を与え、遠隔会議システムを現実化することである。
【００１２】
さらに、本発明の目的は、３次元奥行き情報をリアルタイムで計算することによりもたらされる正確度の問題を解決し、より実感的な映像の生成が可能な３次元画像会議システムを提供することである。
【００１３】
なお、本発明の目的は、テストパターンを用いてユーザごとに異なって感じる３次元奥行きを正規化し、正規化の結果を反映して３次元映像を生成することにより、より実感的な画像会議システムを提供することである。
【課題を解決するための手段】
【００１４】
上記の目的を達成するための、本発明にかかるアイコンタクトが可能な３次元遠隔会議装置は、被写体の画像会議参加者を撮影した撮影映像、およびネットワークを介して受信した前記画像会議の相手方に該当する映像を考慮してカメラをリアルタイムで操作し、奥行き映像およびカラー映像を取得する映像取得部と、前記奥行き映像およびカラー映像を用いて、アイコンタクトのための前記参加者の正面顔に相応する最終奥行き映像および最終カラー映像を生成する正面顔生成部と、前記相手方に相応する３次元映像を生成し、ディスプレイ装置に表示する３Ｄ映像生成部とを含む。
【００１５】
この時、映像取得部は、前記カメラのそれぞれを左／右に回転させるパン（ｐａｎ）操作、前記カメラのそれぞれを上／下に回転させるチルト（ｔｉｌｔ）操作、および前記カメラを上／下に移動させる高さ（ｈｅｉｇｈｔ）操作により、前記カメラをリアルタイムで操作することができる。
【００１６】
この時、映像取得部は、前記撮影映像に基づいて前記カメラのパン（ｐａｎ）操作を行い、前記撮影映像、および前記相手方に該当する映像を共に用いてチルト（ｔｉｌｔ）操作を行い、前記相手方に該当する映像に基づいて前記カメラの高さ（ｈｅｉｇｈｔ）操作を行うことができる。
【００１７】
この時、映像取得部は、前記撮影映像から検出された前記参加者の目の位置に基づいて前記カメラのパン（ｐａｎ）操作を行い、前記参加者の目の位置、および前記相手方に該当する映像から検出された前記相手方の目の位置の差（ｄｉｆｆｅｒｅｎｃｅ）に基づいて前記チルト（ｔｉｌｔ）操作を行い、前記相手方の目の高さに基づいて前記カメラの高さ（ｈｅｉｇｈｔ）操作を行うことができる。
【００１８】
この時、アイコンタクトが可能な３次元遠隔会議装置は、前記撮影映像を用いて前記参加者が予め設定された動作を行ったか否かを判断するジェスチャ認識部と、前記予め設定された動作に相応する機能を果たすジェスチャ処理部とをさらに含むことができる。
【００１９】
この時、ジェスチャ処理部は、前記予め設定された動作が相互作用動作と判断される場合、相互作用フィードバックを提供することができる。
【００２０】
この時、相互作用フィードバックは、前記３次元映像に、前記相互作用動作に相応する前記参加者の身体一部の映像が付加された視覚フィードバックであり得る。
【００２１】
この時、前記３Ｄ映像生成部は、前記参加者に提供された３Ｄテスト映像に対する前記参加者のリアクションに基づいて前記参加者の３Ｄ認識奥行きを測定し、前記３Ｄ認識奥行きを考慮して前記３次元映像を生成することができる。
【００２２】
この時、前記カメラは、前記ディスプレイ装置に一体型で具備できる。この時、カメラは、移動および回転可能に前記ディスプレイ装置に取り付けられる。
【００２３】
また、前記カメラは、前記ディスプレイ装置の外部に独立して移動および回転可能となるように具備できる。
【００２４】
この時、前記正面顔生成部は、前記奥行き映像を対象に奥行きノイズの除去および奥行き補正を行い、前記カラー映像を対象に色補正を行うことで、１枚の前記最終奥行き映像および１枚の前記最終カラー映像を生成することができる。
【００２５】
この時、前記３Ｄ映像生成部は、前記相手方に相応する前記最終奥行き映像および前記最終カラー映像に対してメッシュホール充填を行い、前記相手方に相応する３次元メッシュ形態の映像を復元し、前記３次元メッシュ形態の映像を用いて前記相手方に相応する３次元映像を生成することができる。
【００２６】
また、本発明の一実施形態にかかるアイコンタクトが可能な３次元遠隔会議方法は、被写体の画像会議参加者を撮影した撮影映像、およびネットワークを介して受信した前記画像会議の相手方に該当する映像を考慮してカメラをリアルタイムでパン（ｐａｎ）、チルト（ｔｉｌｔ）および高さ（ｈｅｉｇｈｔ）操作し、奥行き映像およびカラー映像を取得するステップと、前記奥行き映像およびカラー映像を用いて、アイコンタクトのための前記参加者の正面顔に相応する最終奥行き映像および最終カラー映像を生成するステップと、前記相手方に相応する３次元映像を生成し、ディスプレイ装置に表示するステップとを含む。
【００２７】
この時、前記奥行き映像およびカラー映像を取得するステップは、前記撮影映像から検出された前記参加者の目の位置に基づいて前記カメラのパン（ｐａｎ）操作を行い、前記参加者の目の位置、および前記相手方に該当する映像から検出された前記相手方の目の位置の差（ｄｉｆｆｅｒｅｎｃｅ）に基づいて前記チルト（ｔｉｌｔ）操作を行い、前記相手方の目の高さに基づいて前記カメラの高さ（ｈｅｉｇｈｔ）操作を行うことができる。
【００２８】
この時、前記アイコンタクトが可能な３次元遠隔会議方法は、前記撮影映像を用いて前記参加者が予め設定された動作を行ったか否かを判断するステップと、前記予め設定された動作に相応する機能を果たすステップとをさらに含むことができる。
【００２９】
この時、前記予め設定された動作に相応する機能を果たすステップは、前記予め設定された動作が相互作用動作と判断される場合、前記３次元映像に、前記相互作用動作に相応する前記参加者の身体一部の映像が付加された視覚フィードバックを提供することができる。
【００３０】
この時、前記ディスプレイ装置に表示するステップは、前記参加者に提供された３Ｄテスト映像に対する前記参加者のリアクションに基づいて前記参加者の３Ｄ認識奥行きを測定し、前記３Ｄ認識奥行きを考慮して前記３次元映像を生成することができる。
【発明の効果】
【００３１】
本発明によれば、画像会議参加者が立ち上がって会議を進行したり、位置を移動する場合でも、カメラが適切に参加者をトラッキング（ｔｒａｃｋｉｎｇ）することにより、遠隔会議参加者らが実際に同じ空間にいるかのような感覚で自然に会議を進行することができる３次元イメージの生成が可能である。
【００３２】
また、本発明は、３次元遠隔会議時、握手やハイタッチなどのリアルタイム相互作用により、遠隔会議参加者らに実際に同じ空間で会議しているかのような感覚を与え、遠隔会議システムを現実化することができる。
【００３３】
さらに、本発明は、３次元奥行き情報をリアルタイムで計算することによりもたらされる正確度の問題を解決し、より実感的な３次元映像の生成が可能である。
【００３４】
なお、本発明は、テストパターンを用いてユーザごとに異なって感じる３次元奥行きを正規化し、正規化の結果を反映して３次元映像を生成することにより、より実感的な遠隔会議が可能である。
【図面の簡単な説明】
【００３５】
【図１】本発明のアイコンタクトが可能な３次元遠隔会議装置が適用されたシステムの一例を示す図である。
【図２】本発明のアイコンタクトが可能な３次元遠隔会議装置が適用されたシステムの他の例を示す図である。
【図３】本発明の一実施形態にかかるアイコンタクトが可能な３次元遠隔会議装置を示すブロック図である。
【図４】図３に示された映像取得部の一例を示すブロック図である。
【図５】図３に示された正面顔生成部の一例を示すブロック図である。
【図６】アイコンタクトのための正面顔生成の一例を示す図である。
【図７】図３に示された３Ｄ映像生成部の一例を示すブロック図である。
【図８】本発明が適用された３次元遠隔会議の進行状況を示す図である。
【図９】本発明にかかる相互作用動作に対する視覚フィードバックの一例を示す図である。
【図１０】本発明の一実施形態にかかるアイコンタクトが可能な３次元遠隔会議方法を示す動作フローチャートである。
【発明を実施するための形態】
【００３６】
以下、本発明を、添付した図面を参照して詳細に説明する。ここで、繰り返される説明、本発明の要旨を不透明にする可能性がある公知の機能、および構成に関する詳細な説明は省略する。本発明の実施形態は、当業界における平均的な知識を有する者に本発明をより完全に説明するために提供されるものである。したがって、図面における要素の形状および大きさなどは、より明確な説明のために誇張されることがある。
【００３７】
以下、本発明にかかる好ましい実施形態を、添付した図面を参照して詳細に説明する。
【００３８】
図１は、本発明のアイコンタクトが可能な３次元遠隔会議装置が適用されたシステムの一例を示す図である。
【００３９】
図１を参照すれば、本発明のアイコンタクトが可能な３次元遠隔会議装置は、３次元映像をディスプレイするディスプレイ装置１１０と、アイコンタクト映像を生成するためのカメラ１２１、１２２とを含む。
【００４０】
すなわち、図１に示されたシステムは、画像会議の相手方の３次元映像をディスプレイ装置１１０を通して表示し、被写体の画像会議参加者をカメラ１２１、１２２を通して撮影する。この時、カメラ１２１、１２２は、リアルタイムでアイコンタクトのための正面立体映像を生成するのに適するように回転および移動することができる。
【００４１】
この時、カメラ１２１、１２２のそれぞれは、カラー映像を取得するＲＧＢカメラと、奥行き映像を作り出すＩＲカメラとから構成されたキネクトカメラ（Ｋｉｎｅｃｔ  Ｃａｍｅｒａ）であり得る。
【００４２】
図１に示されるように、カメラ１２１、１２２は、ディスプレイ装置１１０と独立して具備され、アイコンタクトのための正面映像を生成するのに適するようにユーザをトラッキングするために自由に回転および移動することができる。
【００４３】
図２は、本発明のアイコンタクトが可能な３次元遠隔会議装置が適用されたシステムの他の例を示す図である。
【００４４】
図２を参照すれば、カメラ２２１、２２２がディスプレイ装置２１０に設けられていることが分かる。
【００４５】
図２に示されたシステムは、画像会議の相手方の３次元映像をディスプレイ装置２１０を通して表示し、被写体の画像会議参加者をカメラ２２１、２２２を通して撮影する。この時、ディスプレイ装置２１０に一体型で具備されたカメラ２２１、２２２は、リアルタイムでアイコンタクトのための正面立体映像を生成するのに適するように回転および移動することができる。
【００４６】
この時、カメラ２２１、２２２のそれぞれは、カラー映像を取得するＲＧＢカメラと、奥行き映像を作り出すＩＲカメラとから構成されたキネクトカメラ（Ｋｉｎｅｃｔ  Ｃａｍｅｒａ）であり得る。
【００４７】
図２に示されるように、カメラ２２１、２２２は、ディスプレイ装置２１０に一体型で具備され、アイコンタクトのための正面映像を生成するのに適するようにユーザをトラッキングするために自由に回転および移動することができる。
【００４８】
図３は、本発明の一実施形態にかかるアイコンタクトが可能な３次元遠隔会議装置を示すブロック図である。
【００４９】
図３を参照すれば、本発明の一実施形態にかかるアイコンタクトが可能な３次元遠隔会議装置は、映像取得部３１０と、正面顔生成部３２０と、３Ｄ映像生成部３３０と、ジェスチャ認識部３４０と、ジェスチャ処理部３５０とを含む。
【００５０】
映像取得部３１０は、被写体の画像会議参加者を撮影した撮影映像、およびネットワークを介して受信した前記画像会議の相手方に該当する映像を考慮してカメラをリアルタイムで操作し、奥行き映像およびカラー映像（２Ｃ＋２Ｄ）を取得する。
【００５１】
この時、映像取得部３１０は、カメラを含むこともでき、カメラと独立した装置で実現されてもよい。
【００５２】
この時、カメラは、２台のキネクトカメラであり得る。このように奥行き映像を作り出すＩＲカメラを含むキネクトカメラを用いることにより、奥行き情報をリアルタイムで計算する負担を低減し、より正確な奥行き情報に基づいてより実感的な３次元映像の生成が可能である。
【００５３】
この時、カメラは、カラー映像取得のためのＲＧＢカメラを含むことができる。
【００５４】
また、カメラは、色映像と奥行き情報を同時に取得できるすべての種類のカメラであり得、カメラの種類やタイプによって本発明の権利範囲が制限されてはならない。
【００５５】
会議参加者が会議を立ち上がって進行したり、会議途中に位置を変える場合でも、アイコンタクトのための正面映像を生成するためにカメラが最適な位置に移動する必要がある。
【００５６】
映像取得部３１０は、カメラのそれぞれを左／右に回転させるパン（ｐａｎ）操作、前記カメラのそれぞれを上／下に回転させるチルト（ｔｉｌｔ）操作、および前記カメラを上／下に移動させる高さ（ｈｅｉｇｈｔ）操作により、前記カメラをリアルタイムで操作することができる。
【００５７】
この時、映像取得部３１０は、画像会議参加者を撮影した撮影映像に基づいてカメラのパン（ｐａｎ）操作を行い、画像会議参加者を撮影した撮影映像、および相手方に該当する映像を共に用いてチルト（ｔｉｌｔ）操作を行い、相手方に該当する映像に基づいてカメラの高さ（ｈｅｉｇｈｔ）操作を行うことができる。
【００５８】
より具体的には、映像取得部３１０は、画像会議参加者を撮影した撮影映像から前記参加者の目の位置を検出し、検出された前記参加者の目の位置に基づいて前記カメラのパン（ｐａｎ）操作を行うことができる。このように参加者の目の位置に基づいてカメラの左／右回転を操作し、水平的に参加者の正面映像の合成に適した映像を撮影することができる。
【００５９】
また、映像取得部３１０は、画像会議参加者の目の位置、および画像会議の相手方の目の位置の差（ｄｉｆｆｅｒｅｎｃｅ）に基づいてチルト操作を行うことができる。このように参加者の目の位置、および相手方の目の位置の間の差に基づいてカメラの上／下回転を操作し、会議参加者らが互いに互いを眺める状況を反映し、会議参加者らの間の身長（背）の差によってアイコンタクトが難しい状況においても、垂直的に参加者の正面映像の合成に適した映像を撮影することができる。
【００６０】
また、映像取得部３１０は、相手方の目の高さに基づいてカメラが高さ（ｈｅｉｇｈｔ）操作を行うことができる。このように相手方の目の高さに基づいてカメラの高さを操作し、実際に会議参加者の目の高さに合わせた映像を撮影することができる。
【００６１】
このように、映像取得部３１０は、遠隔画像会議で現実感を極大化するために、会議の相手方とアイコンタクトが可能な現実感のある会議進行のために、会議参加者が眺める視線を考慮して、参加者の現在の視線と最も類似する位置でカメラが映像を取得できるようにカメラの位置を移動させ、カメラの上／下および左／右の角度を回転させる。
【００６２】
正面顔生成部３２０は、前記奥行き映像およびカラー映像を用いて、アイコンタクトのための前記参加者の正面顔に相応する最終奥行き映像および最終カラー映像（１Ｃ＋１Ｄ）を生成し、ネットワーク３６０を介して前記画像会議の相手方に伝送する。
【００６３】
３Ｄ映像生成部３３０は、ネットワーク３６０を介して前記画像会議の相手方に対応する最終奥行き映像および最終カラー映像（１Ｃ＋１Ｄ）を受信し、これを用いて相手方に相応する３次元映像を生成し、ディスプレイ装置に表示する。
【００６４】
この時、３Ｄ映像生成部３３０は、前記参加者に提供された３Ｄテスト映像に対する前記参加者のリアクションに基づいて前記参加者の３Ｄ認識奥行きを測定し、前記３Ｄ認識奥行きを考慮して前記３次元映像を生成することができる。すなわち、人それぞれが感じる３次元映像の奥行きが異なるため、３Ｄ映像生成部３３０は、ユーザにテスト立体映像を提供し、当該ユーザが感じる３次元映像の奥行きを測定し、これを反映して前記３次元映像を生成することにより、画像会議システムの３次元映像を正規化することができる。
【００６５】
３Ｄ映像生成部３３０は、画像会議の相手方に相応する前記最終奥行き映像および前記最終カラー映像に対してメッシュホール充填を行い、前記相手方に相応する３次元メッシュ形態の映像を復元し、前記３次元メッシュ形態の映像を用いて前記相手方に相応する３次元映像を生成することができる。
【００６６】
ジェスチャ認識部３４０は、前記撮影映像を用いて前記参加者が予め設定された動作を行ったか否かを判断する。
【００６７】
ジェスチャ処理部３５０は、前記予め設定された動作に相応する機能を果たす。この時、ジェスチャ処理部３５０は、予め設定された動作が相互作用動作と判断される場合、相互作用フィードバックを提供することができる。この時、相互作用フィードバックは、３次元映像に、前記相互作用動作に相応する前記参加者の身体一部の映像が付加された視覚フィードバックであり得る。
【００６８】
例えば、予め設定された動作は、握手やハイタッチなどであり得る。例えば、相互作用フィードバックは、相手方と握手する自分の手の一部または相手方とハイタッチする自分の手の一部の映像が相手方に該当する３次元映像に付加された視覚フィードバックであり得る。
【００６９】
このように、図３に示されたアイコンタクトが可能な３次元遠隔会議装置は、ジェスチャ認識部３４０およびジェスチャ処理部３５０を介して会議参加者らのジェスチャ認識が可能で、画像会議時、リアルタイムでの情報共有が可能であり、会議参加者間のハイタッチや握手のような相互作用が可能で、遠隔会議の没頭感を極大化させることができる。また、画像会議途中にジェスチャ認識を通じた仮想オブジェクトの縮小／拡大／移動／回転などのリアルタイムでの操作が可能であり、画像会議参加者らの間の握手やハイタッチのような相互作用も可能である。
【００７０】
図４は、図３に示された映像取得部の一例を示すブロック図である。
【００７１】
図４を参照すれば、図３に示された映像取得部３１０は、目検出部４１０と、ＰＴＨパラメータ決定部４２０と、カメラ移動／回転部４３０と、奥行き／カラー映像取得部４４０とを含む。
【００７２】
目検出部４１０は、アイコンタクト映像を取得するために現在の会議参加者の目の位置を探し、現在の参加者の目の高さと会議の相手方の目の高さを考慮してカメラを操作できるようにする。
【００７３】
ＰＴＨパラメータ決定部４２０は、目検出部４１０を介して検出された会議参加者の目の位置と会議の相手方の目の位置を考慮してパン（ｐａｎ）、チルト（ｔｉｌｔ）および高さ（ｈｅｉｇｈｔ）操作のためのパラメータを決定する。
【００７４】
カメラ移動／回転部４３０は、ＰＴＨパラメータ決定部４２０によって決定されたパン（ｐａｎ）、チルト（ｔｉｌｔ）および高さ（ｈｅｉｇｈｔ）操作のためのパラメータを用いてカメラを操作する。このような操作により、会議参加者が会議中に自由に動く場合でも、参加者の位置を適切にトラッキング（ｔｒａｃｋｉｎｇ）しながら会議参加者の視線と最も類似する位置で映像を取得することができる。
【００７５】
奥行き／カラー映像取得部４４０は、カメラ移動／回転部４３０によって会議参加者らの間のアイコンタクトのための最適なポジションにおいて、カメラから奥行き映像およびカラー映像（２Ｃ＋２Ｄ）を生成する。
【００７６】
図５は、図３に示された正面顔生成部の一例を示すブロック図である。
【００７７】
図５を参照すれば、図３に示された正面顔生成部３２０は、奥行き情報ノイズフィルタリング部５１０と、奥行き補正部５２０と、色補正部５３０と、奥行き併合およびホール充填部５４０とを含む。
【００７８】
図５に示された正面顔生成部は、画像会議参加者らの間のアイコンタクトを維持するために、２台のカメラで取得した映像を用いて３次元正面顔映像を生成するためのアルゴリズムを行う。
【００７９】
奥行き情報ノイズフィルタリング部５１０は、取得した奥行き映像から奥行きノイズを除去する。
【００８０】
奥行き補正部５２０は、奥行きカメラが有している奥行きエラーを補正する。
【００８１】
色補正部５３０は、互いに異なる位置で取得した映像の色差を合わせるための色補正を行う。
【００８２】
奥行き併合およびホール充填部５４０は、奥行き併合およびホール充填を行って会議参加者の正面映像を生成し、１枚の最終奥行き映像および１枚の最終カラー映像として提供する（１Ｄ＋１Ｃ）。それぞれ１枚の最終奥行き映像および最終カラー映像は、それぞれの会議参加者らがアイコンタクトできるようにするために正面顔を生成した結果の映像である。このように生成された最終奥行き映像および最終カラー映像は、ミドルウェアステップで映像圧縮を実行し、リアルタイムで相手方に伝送可能である。
【００８３】
図６は、アイコンタクトのための正面顔生成の一例を示す図である。
【００８４】
図６を参照すれば、カメラによって撮影された映像６１０が３Ｄ映像生成部によって正面顔（正面映像）を生成することが分かる。３Ｄ映像生成部は、画像会議参加者の動きに応じて自動的に適切な位置にカメラを移動させて映像を撮影し、撮影された映像を用いて参加者の位置に相応する正面映像を生成する。
【００８５】
図７は、図３に示された３Ｄ映像生成部の一例を示すブロック図である。
【００８６】
図７を参照すれば、図３に示された３Ｄ映像生成部３３０は、３Ｄメッシュモデリング部７１０と、メッシュホール充填部７２０と、奥行き補正および調整部７３０と、ステレオスコピック３Ｄ映像生成部７４０とを含む。
【００８７】
３Ｄメッシュモデリング部７１０は、３次元メッシュモデリングを行う。
【００８８】
メッシュホール充填部７２０は、メッシュホール充填を行う。
【００８９】
奥行き補正および調整部７３０は、画像会議参加者に３Ｄテスト映像を提供し、提供された３Ｄテスト映像に対する参加者のリアクションに基づいて参加者の３Ｄ認識奥行きを測定し、測定された３Ｄ認識奥行きを用いて奥行き補正を行う。
【００９０】
ステレオスコピック３Ｄ映像生成部７４０は、最終的にディスプレイに表示される２枚の色映像から構成された３次元映像を生成する。
【００９１】
この時、ディスプレイ装置は、大型ディスプレイ、家庭用３Ｄテレビ、コンピュータ用３Ｄモニタまたはモバイル装置であり得る。
【００９２】
図８は、本発明が適用された３次元遠隔会議の進行状況を示す図である。
【００９３】
図８を参照すれば、画像会議に参加する参加者らは、それぞれディスプレイ画面を通して３次元で提供される画像会議の相手方の映像を見ながらアイコンタクトをし、参加者の映像は参加者の適切な位置をトラッキングするカメラによって撮影され、撮影された映像が正面顔映像に合成されて相手方に伝達される。
【００９４】
画像会議途中に、画像会議参加者は、相手方とハイタッチや握手などの相互作用を行うことができ、予め設定されたパターンの動作を行うことにより、仮想オブジェクトを相互操作することもできる。
【００９５】
図９は、本発明にかかる相互作用動作に対する視覚フィードバックの一例を示す図である。
【００９６】
図９を参照すれば、画像会議参加者９１３は、画像会議の相手方９１４との会議途中に予め設定されたパターンの動作を行うことにより、相互作用動作モードに入ることができる。
【００９７】
図９に示された例において、画像会議参加者９１３は、ハイタッチのために手の平をスクリーン方向にして手を持ち上げる動作により、ハイタッチのための相互作用動作モードに入ることができる。アイコンタクトが可能な３次元遠隔会議装置は、参加者９１３の動作を感知してハイタッチのための相互作用動作モードに進入することができる。
【００９８】
この時、ディスプレイ装置には、画像会議の相手方９１４に相応する３次元映像９１０が表示され得、ハイタッチのための相互作用動作に該当する視覚フィードバックが３次元映像９１０に含まれて表示され得る。この時、視覚フィードバックは、画像会議参加者９１３のハイタッチのために持ち上げた手の一部分９１１を示す映像であり得る。
【００９９】
この時、画像会議の相手方側においても、ハイタッチのための相互作用動作モードに該当する映像が表示される。すなわち、画像会議の相手方９２３には、画像会議参加者９２４に相応する３次元映像９２４が表示され、ハイタッチのための相互作用動作に対抗する視覚フィードバックが３次元映像９２４に含まれて表示され得る。この時、視覚フィードバックは、画像会議の相手方９２３のハイタッチのために持ち上げた手の一部分９２１を示す映像であり得る。
【０１００】
図１０は、本発明の一実施形態にかかるアイコンタクトが可能な３次元遠隔会議方法を示す動作フローチャートである。
【０１０１】
図１０を参照すれば、本発明の一実施形態にかかるアイコンタクトが可能な３次元遠隔会議方法は、被写体の画像会議参加者を撮影した撮影映像、およびネットワークを介して受信した前記画像会議の相手方に該当する映像を考慮してカメラをリアルタイムでパン（ｐａｎ）、チルト（ｔｉｌｔ）および高さ（ｈｅｉｇｈｔ）操作し、奥行き映像およびカラー映像を取得する（Ｓ１０１０）。
【０１０２】
この時、ステップＳ１０１０は、前記撮影映像から検出された前記参加者の目の位置に基づいて前記カメラのパン（ｐａｎ）操作を行い、前記参加者の目の位置、および前記相手方に該当する映像から検出された前記相手方の目の位置の差（ｄｉｆｆｅｒｅｎｃｅ）に基づいて前記チルト（ｔｉｌｔ）操作を行い、前記相手方の目の高さに基づいて前記カメラの高さ（ｈｅｉｇｈｔ）操作を行うことができる。
【０１０３】
また、本発明の一実施形態にかかるアイコンタクトが可能な３次元遠隔会議方法は、前記奥行き映像およびカラー映像を用いて、アイコンタクトのための前記参加者の正面顔に相応する最終奥行き映像および最終カラー映像を生成する（Ｓ１０２０）。
【０１０４】
さらに、本発明の一実施形態にかかるアイコンタクトが可能な３次元遠隔会議方法は、前記相手方に相応する３次元映像を生成し、ディスプレイ装置に表示する（Ｓ１０３０）。
【０１０５】
この時、ステップＳ１０３０は、画像会議参加者に提供された３Ｄテスト映像に対する参加者のリアクション（ｒｅａｃｔｉｏｎ）に基づいて参加者の３Ｄ認識奥行きを測定し、測定された３Ｄ認識奥行きを考慮して３次元映像を生成することができる。
【０１０６】
図１０には示していないが、本発明の一実施形態にかかるアイコンタクトが可能な３次元遠隔会議方法は、前記撮影映像を用いて前記参加者が予め設定された動作を行ったか否かを判断するステップと、前記予め設定された動作に相応する機能を果たすステップとをさらに含むことができる。
【０１０７】
この時、予め設定された動作に相応する機能を果たすステップは、前記予め設定された動作が相互作用動作と判断される場合、前記３次元映像に、前記相互作用動作に相応する前記参加者の身体一部の映像が付加された視覚フィードバックを提供することができる。
【０１０８】
以上、本発明にかかる３次元遠隔会議装置および方法は、上記のように説明された実施形態の構成と方法が限定されて適用されるのではなく、上記の実施形態は、多様な変形が可能となるように各実施形態の全部または一部が選択的に組み合わされて構成されてもよい。
【図１】
0005839427.tif 000002
【図２】
0005839427.tif 000003
【図３】
0005839427.tif 000004
【図４】
0005839427.tif 000005
【図５】
0005839427.tif 000006
【図７】
0005839427.tif 000007
【図１０】
0005839427.tif 000008
【図６】
0005839427.tif 000009
【図８】
0005839427.tif 000010
【図９】
0005839427.tif 000011