(57)【要約】【課題】多眼カメラを用いることなく、画像合成によるアーティファクトを最小限に抑えた視線一致画像を生成する。【解決手段】顔面領域抽出部２０１は、顔面領域を含むカメラ画像から顔面領域を抽出する。三次元モデル生成部２０２において、ポリゴン生成部２０２ａは、抽出された顔面領域の奥行データに基づいて、そのポリゴンモデルを生成する。テクスチャ貼付部２０２ｂは、ポリゴンモデルの各ポリゴンに対応するテクスチャを前記カメラ画像の顔面領域から抽出して各ポリゴンに貼り付けることで三次元モデルを生成する。回転画像生成部２０３は、顔面領域の三次元モデルをディスプレイ視線L1とカメラ視線L1との角度差θに応じて回転させることで回転画像を生成する。顔面領域置換部２０４は、カメラ画像の顔面領域をその三次元モデルの回転画像に置換することで視線一致画像を生成する。【選択図】図５
2015191537.tif 000002
【特許請求の範囲】
【請求項１】
遠隔対話するメンバー同士の視線を一致させる視線一致画像生成装置において、
顔面領域を含むカメラ画像およびその奥行データを入力する手段と、
前記カメラ画像から顔面領域を抽出する手段と、
前記顔面領域およびその奥行データに基づいて当該顔面領域の三次元モデルを生成する手段と、
前記顔面領域の三次元モデルをディスプレイ視線とカメラ視線との角度差に応じて回転させた回転画像を生成する手段と、
前記カメラ画像の顔面領域を前記回転画像に置換する手段とを具備したことを特徴とする視線一致画像生成装置。
【請求項２】
前記顔面領域を抽出する手段は、眉よりも下の顔面領域を抽出し、
前記置換する手段は、カメラ画像の顔面領域の眉よりも下の領域を前記回転画像に置換することを特徴とする請求項１に記載の視線一致画像生成装置。
【請求項３】
前記回転画像を生成する手段は、前記顔面領域の三次元モデルをその中心線またはその近傍の線分中心で回転させることを特徴とする請求項１または２に記載の視線一致画像生成装置。
【請求項４】
前記回転画像を生成する手段は、前記顔面領域の三次元モデルをその鼻領域を通る線分中心で回転させることを特徴とする請求項１または２に記載の視線一致画像生成装置。
【請求項５】
前記三次元モデルを生成する手段は、
顔面領域の奥行データに基づいて、そのポリゴンモデルを生成する手段と、
各ポリゴンに対応するテクスチャをカメラ画像の顔面領域から抽出して各ポリゴンに貼り付ける手段とを含むことを特徴とする請求項１ないし４のいずれかに記載の視線一致画像生成装置。
【請求項６】
遠隔対話するメンバー同士の視線を一致させる視線一致画像生成方法において、
カメラ画像から顔面領域を抽出する手順と、
顔面領域およびその奥行データに基づいて当該顔面領域の三次元モデルを生成する手順と、
顔面領域の三次元モデルをディスプレイ視線とカメラ視線との角度差だけ回転させて回転画像を生成する手順と、
カメラ画像の顔面領域を回転画像に置換する手順とを含むことを特徴とする視線一致画像生成方法。
【請求項７】
遠隔対話するメンバー同士の視線を一致させる視線一致画像生成プログラムにおいて、
顔面領域を含むカメラ画像およびその奥行データをインタフェースから入力する手順と、
前記カメラ画像から顔面領域を抽出する手順と、
前記顔面領域およびその奥行データに基づいて当該顔面領域の三次元モデルを生成する手順と、
前記顔面領域の三次元モデルをディスプレイ視線とカメラ視線との角度差に応じて回転させた回転画像を生成する手順と、
前記カメラ画像の顔面領域を前記回転画像に置換する手順とをコンピュータに実行させる視線一致画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ会議メンバーの視線を一致させる視線一致画像生成方法および装置に係り、特に、多眼カメラを用いることなく、画像加工によるアーティファクトが抑えられた視線一致画像を生成できる視線一致画像生成方法、装置およびプログラムに関する。
【背景技術】
【０００２】
一般的なビデオ会議システムでは、会議のメンバーが注視するディスプレイ正面とカメラの設置位置とが異なるため、ディスプレイに移る顔映像の視線がディスプレイを見る他のメンバーの視線と合わない視線不一致が生じる。その結果、実際の対面時では可能なアイコンタクト（視線の一致）が得られず、特に非言語コミュニケーションでは、情報不足によりメンバー同士がコミュニケーションを十分に図れないという問題があった。
【０００３】
このような技術課題に対して、特許文献１、２には、ビデオ会議システムにおいて、遠隔メンバー間の視線不一致の問題を解消するため技術が開示されている。非特許文献１には、撮影時にステレオカメラ等を用いて対象シーンの奥行データを生成し，ユーザが注視するディスプレイ中央から観測した場合の映像を合成する技術が開示されている。非特許文献２には、Microsoft Kinectのような安価な距離画像センサを利用することにより、各視点における映像と高精度な奥行データとを安定して取得可能な環境が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2008-140271号公報
【特許文献２】特開2010-206307号公報
【非特許文献】
【０００５】
【非特許文献１】Yo-Sung Ho et al., ``Gaze-corrected view generation using stereo camera system for immersive videoconferencing,'' IEEE Trans. Consumer Electronics, August 2011
【非特許文献２】K. H. Tan et al., " ConnectBoard: Enabling Genuine Eye Contact and Accurate Gaze in Remote Collaboration" IEEE Trans. Multimedia, June 2011.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、複数第のカメラを用いて、カメラ間の対応点マッチングに基づく平行化処理による視線一致画像の生成手法が提案されているが、カメラ間隔や色味の違いにより、対応点マッチングの精度が不十分となり、結果として合成される視線一致画像の画質が劣化するという技術課題があった。
【０００７】
特許文献２では、ユーザの頭部モデルを生成し、実写テクスチャをマッピングすることで視線一致画像を生成する手法が提案されており、対応点マッチングに基づく手法に比べてロバスト性の向上が期待される。しかしながら、頭部モデル生成とテクスチャ取得が別の段階で実施されるため、モデルとテクスチャとの整合性を担保できず、テクスチャマッピング時にアーティファクトが生じるという技術課題があった。
【０００８】
非特許文献１では、ユーザの視線は一致するものの、奥行データの精度不足から、画像合成によるアーティファクトが大きく、映像品質が不十分であるという技術課題があった。
【０００９】
非特許文献２で用いられるようなセンサは、ジェスチャー認識等の動き予測に用いる上では十分な精度であるものの、実際にはカメラが存在しない視点での見え方をレンダリングするという目的においては、特にエッジ部分等で十分な奥行推定精度が得られないという課題もあり、ステレオマッチングによる奥行データ推定に基づく手法と同様、画像合成によるアーティファクトの問題が避けられなかった。
【００１０】
本発明の目的は、上記の技術課題を解決し、多眼カメラを用いることなく、画像加工によるアーティファクトが最小限に抑えられた視線一致画像を生成できる視線一致画像生成方法、装置およびプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明は、遠隔対話するメンバー同士の視線を一致させる視線一致画像生成装置において、以下のような構成を具備した点に特徴がある。
【００１２】
(1)顔面領域を含むカメラ画像および奥行データを入力する手段と、カメラ画像から顔面領域を抽出する手段と、顔面領域およびその奥行データに基づいて当該顔面領域の三次元モデルを生成する手段と、顔面領域の三次元モデルをディスプレイ視線とカメラ視線との角度差に応じて回転させた回転画像を生成する手段と、カメラ画像の顔面領域を前記回転画像に置換する手段とを具備した。
【００１３】
(2)顔面領域を抽出する手段は、眉よりも下の顔面領域を抽出し、置換する手段は、カメラ画像の顔面領域の眉よりも下の領域を回転画像に置換するようにした。
【発明の効果】
【００１４】
本発明によれば、以下のような効果が達成される。
【００１５】
(1) 多眼カメラを用いることなく、画像合成によるアーティファクトを最小限に抑えた視線一致画像生成が可能となり、ビデオ会議システムにおけるコミュニケーションの活性化に寄与できるようになる。
【００１６】
(2) カメラ画像の顔面領域と置換する回転画像を眉から下の顔面領域に限定したので、顔面領域の輪郭を正確に識別することができ、視線一致画像における置換境界近傍の画像破綻を防止できるようになる。
【図面の簡単な説明】
【００１７】
【図１】本発明の視線一致画像生成装置が適用されるテレビ会議システムの構成の示したシステム構成図である。
【図２】テレビ会議端末１の主要部の構成を示したブロック図である。
【図３】入出力デバイスの設置例を示した図である。
【図４】カメラ画像と奥行データとの関係を示した図である。
【図５】テレビ会議端末の機能ブロック図である。
【図６】視線一致画像の生成手順を示したフローチャートである。
【図７】顔面領域のポリゴンモデルを示した図である。
【図８】三次元モデルの回転方法を説明するための図である。
【図９】カメラ画像とその視線一致画像とを比較した図（その１）である。
【図１０】カメラ画像とその視線一致画像とを比較した図（その２）である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の視線一致画像生成装置が適用されるテレビ会議システムの構成の示したシステム構成図である。
【００１９】
テレビ会議システムは、複数の拠点Aに複数のテレビ会議端末１が分散され、各拠点Aでは各テレビ会議端末１が内部ネットワーク（LAN）で相互接続され、各拠点同士は広域ネットワーク（WAN）で接続されている。
【００２０】
図２は、前記テレビ会議端末１の主要部の構成を示したブロック図であり、HDD１０１には、オペレーティングシステムや各種のアプリケーション、データが記憶されている。ROM１０２には、各種のデータやプログラムが不揮発に記憶されている。CPU１０５は、前記アプリケーションやプログラムを実行して視線一致画像を生成す。
【００２１】
RAM１０３は、前記CPU１０５にワークエリアを提供する。通信インタフェース１０４は、各テレビ会議端末１とLANとの接続を制御する。入力インタフェース１０６には、カメラ５、マイク６、キーボード７等の入力デバイスが接続される。出力インタフェース１０７には、スピーカ８、ディスプレイ９などの出力デバイスが接続される。
【００２２】
図３は、前記入出力デバイスの設置例を示した図であり、ディスプレイ９の下方にカメラ５および照明用のLEDライト４が設けられている。前記カメラ５は、図４に示したように、単眼でRGBカラー画像（カメラ画像）[同図(a)]および各画素の同時刻における奥行データ[同図(b)]を出力することができるRGB-Dカメラであり、例えばマイクロソフト社のKinect（登録商標）やASUS社のXtion（登録商標）を利用できる。
【００２３】
前記ディスプレイ９の向きL1とカメラ５の向きL2との角度差θは既知である。なお、ディスプレイ９とカメラ５との相対位置は上下関係に限定されずカメラ５がディスプレイ９の右側又は左側に設けられていても良い。
【００２４】
図５は、前記テレビ会議端末１の機能ブロック図であり、このような機能はCPU１０５がHDD１０１およびROM１０２に記憶されているアプリケーションを実行することにより実現される。
【００２５】
顔面領域抽出部２０１は、カメラ５から出力される顔面領域を含むカメラ画像から顔面領域を抽出する。本実施形態では、頭髪が顔面領域内に写り込まないようにするために、眉よりも下の顔面領域のみが抽出される。
【００２６】
三次元モデル生成部２０２は、ポリゴン生成部２０２ａおよびテクスチャ貼付部２０２ｂを含み、顔面領域のカメラ画像およびその同時刻における奥行データに基づいて当該顔面領域の三次元モデルを生成する。
【００２７】
前記ポリゴン生成部２０２ａは、前記抽出された顔面領域の奥行データに基づいて、そのポリゴンモデルを生成する。テクスチャ貼付部２０２ｂは、ポリゴンモデルの各ポリゴンに対応するテクスチャを前記カメラ画像の顔面領域から抽出して各ポリゴンに貼り付けることで三次元モデルを生成する。
【００２８】
回転画像生成部２０３は、前記顔面領域の三次元モデルをディスプレイ視線L1とカメラ視線L1との角度差θに応じて回転させることで回転画像を生成する。顔面領域置換部２０４は、カメラ画像の顔面領域をその三次元モデルの回転画像に置換することで視線一致画像を生成する。
【００２９】
次いで、図６のフローチャートを参照して本実施形態の動作を説明する。ステップS１では、前記カメラ５により撮影されたカメラ画像からオペレータの顔面領域が抽出されてフェイストラッキングが開始される。本実施形態では、カメラ画像から既知の手法によりオペレータの両眼、鼻、口、眉、顔輪郭等の特徴部を識別することで顔領域が特定され、これを顔面モデルと照合することで顔面の追跡が開始される。
【００３０】
ステップS２では、前記顔面領域のポリゴンモデルが生成される。本実施形態では、図７に示したように、奥行データの各画素値に基づいて顔面領域のポリゴンモデルが、前記ポリゴンモデル生成部２０２ａにより生成される。なお、奥行データを正しく取得できていない画素については、その近傍画素の奥行データのブロック領域に基づいて前記正しく取得できなかった奥行データを補正するようにしても良い。
【００３１】
ステップＳ３では、前記テクスチャ貼付部２０２ｂが、カメラ画像の顔面領域から前記ポリゴンモデルの各ポリゴン部分に相当するテクスチャを抽出して各ポリゴン部分に貼り付けることで、眉から下の顔面領域の三次元モデルが生成される。
【００３２】
ステップＳ４では、前記回転画像生成部２０３により、別途に測定されたディスプレイ９の向きL1とRGB-Dカメラ５の向きL2との角度差θが取り込まれ、前記顔面領域の三次元モデルが前記角度差θだけ回転されて回転画像が生成される。
【００３３】
図８は、前記三次元モデルの回転方法を示した図であり、前記ディスプレイ９とカメラとの相対位置が上下関係にある場合は、顔面領域の鼻領域または中心領域を通る横線分AAを中心に三次元モデルが縦回転され、前記ディスプレイ９とカメラとの相対位置が左右関係にある場合は、顔面領域の鼻領域または中心領域を通る縦線分BBを中心に三次元モデルが横回転される。
【００３４】
ステップＳ５では、前記カメラ画像の顔面領域が前記回転画像に置換されて視点一致画像が生成される。図９，１０はいずれも、撮影されたカメラ画像[同図(a)]と、その視線一致画像[同図(b)]とを比較した図であり、図では判り難いものの各視線一致画像ではオペレータの視線がカメラ視線となっている。
【００３５】
本実施形態によれば、多眼カメラを用いることなく、画像合成によるアーティファクトを最小限に抑えた視線一致画像生成が可能となり、ビデオ会議システムにおけるコミュニケーションの活性化に寄与できるようになる。
【００３６】
また、本実施形態によれば、カメラ画像の顔面領域と置換する回転画像を眉から下の顔面領域に限定したので、顔面領域の輪郭を正確に識別することができ、視線一致画像における置換境界近傍の画像破綻を防止できるようになる。
【符号の説明】
【００３７】
１…テレビ会議端末，４…LEDライト，５…カメラ，６…マイク，７…キーボード，８…スピーカ，９…ディスプレイ，１０１…HDD，１０２…ROM，１０３…RAM，１０４…通信インタフェース，１０５…CPU，１０６…入力インタフェース，１０７…出力インタフェース，２０１…顔面領域抽出部，２０２…三次元モデル生成部，２０２ａ…ポリゴン生成部，２０２ｂ…テクスチャ貼付部，２０３…回転画像生成部，２０４…顔面領域置換部
【図１】
2015191537.tif 000003
【図２】
2015191537.tif 000004
【図３】
2015191537.tif 000005
【図４】
2015191537.tif 000006
【図５】
2015191537.tif 000007
【図６】
2015191537.tif 000008
【図７】
2015191537.tif 000009
【図８】
2015191537.tif 000010
【図９】
2015191537.tif 000011
【図１０】
2015191537.tif 000012