(57)【要約】【課題】対話装置のための画像処理装置において、対話者の視線が一致するように補正しオクルージョン」の問題を同時に解決しかつ顔美化も行う。【解決手段】視線補正により発生した穴埋め処理用の顔再構成処理のための第１の辞書行列（Φ）を格納する第１の辞書メモリと、顔美化処理のための第２の辞書行列（Ψ）を格納する第２の辞書メモリとを備え、顔画像ベクトル（ｘ）に基づいて、第１の辞書行列（Φ）に対する第１のスパースコードベクトル（α）と、第２の辞書行列（Ψ）に対する第２のスパースコードベクトル（β）と、再構成された顔画像データから顔美化処理された簡易画像データへの線形変換（Ｌ）とを含む目的関数を最小化するときの第１のスパースコードベクトル（α）と第２のスパースコードベクトル（β）と線形変換（Ｌ）との各最適値を求め、顔再構成処理及び顔美化処理を行った顔画像データを生成して出力する。【選択図】図１
2016085579.tif 000002
【特許請求の範囲】
【請求項１】
複数の顔画像データから複数のパッチを抽出した後クラスタリングして構成され、視線補正により発生した穴埋め処理用の顔再構成処理のための第１の辞書行列（Φ）を格納する第１の辞書メモリと、
複数の顔画像データから美しい顔の複数の構成要素毎にクラスタリングして構成され、顔美化処理のための第２の辞書行列（Ψ）を格納する第２の辞書メモリと、
入力される顔画像ベクトル（ｘ）に基づいて、上記第１の辞書行列（Φ）に対する第１のスパースコードベクトル（α）と、上記第２の辞書行列（Ψ）に対する第２のスパースコードベクトル（β）と、上記再構成された顔画像データから上記顔美化処理された簡易画像データへの線形変換行列（Ｌ）とを含む目的関数であって、上記顔再構成及び上記顔美化のための目的関数を最小化するときの上記第１のスパースコードベクトル（α）と上記第２のスパースコードベクトル（β）と上記線形変換行列（Ｌ）との各最適値を求めることにより、上記入力される顔画像ベクトル（ｘ）に対して顔再構成処理及び顔美化処理を行った顔画像データを生成して出力する画像処理手段とを備えることを特徴とする画像処理装置。
【請求項２】
上記目的関数は、上記線形変換行列（Ｌ)に代えて、入力される顔画像データ（Ａ）を顔美化された顔画像データ（Ｂ）にワーピング処理するワーピング演算子Ｗ（Ａ，Ｂ）と、スケール不変特徴変換法を用いて画素領域のベクトルを選択された特徴空間におけるベクトルにマッピングするマッピング関数Ｓ（・）とをさらに含み、
上記画像処理手段は、上記顔再構成及び上記顔美化のための目的関数を最小化するときの上記第１のスパースコードベクトル（α）と上記第２のスパースコードベクトル（β）との各最適値を求めることにより、上記入力される顔画像ベクトル（ｘ）に対して顔再構成処理及び顔美化処理を行った顔画像データを生成して出力することを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記目的関数は次式で表され、
【数１】
2016085579.tif 000055
ここで、μは所定の定数であり、ｕは所定の線形制約を満たすための上記第２のスパースコードベクトル（β）を変調するための重みベクトルであり、
上記画像処理手段は、上記式を用いて上記第１のスパースコードベクトル（α）及び上記第２のスパースコードベクトル（β）を求め、上記入力される顔画像ベクトル（ｘ）に対して顔再構成処理及び顔美化処理を行った顔画像データを生成して出力することを特徴とする請求項２記載の画像処理装置。
【請求項４】
上記画像処理手段の前段に設けられ、撮像される顔画像データに対して、当該顔画像データの顔の視線が対話者の視線に一致するように視線補正して顔画像ベクトル（ｘ）を出力する視線補正処理手段をさらに備えることを特徴とする請求項１〜３のうちのいずれか１つに記載の画像処理装置。
【請求項５】
上記画像処理手段の後段に設けられ、上記画像処理手段からの顔画像データに対して、複数の顔輪郭データを用いて当該顔の輪郭を調整して調整された顔画像データを出力する顔輪郭調整手段をさらに備えることを特徴とする請求項１〜４のうちのいずれか１つに記載の画像処理装置。
【請求項６】
上記顔輪郭調整手段の後段に設けられ、上記顔輪郭調整手段からの顔画像データに対して、上記撮像される顔画像データの背景を含むようにワーピング処理を行って顔画像データを出力する画像ワーピング処理手段をさらに備えることを特徴とする請求項５記載の画像処理装置。
【請求項７】
相手方の対話装置からの顔画像データを受信し、当該対話装置の顔画像データを上記相手方の対話装置に送信する送受信手段と、
上記各顔画像データを表示する表示部とを備えた対話装置であって、
請求項１〜６のうちのいずれか１つに記載の画像処理装置を備え、
上記送受信手段は、上記画像処理装置からの顔画像データを相手方の対話装置に送信することを特徴とする対話装置。
【請求項８】
複数の顔画像データから複数のパッチを抽出した後クラスタリングして構成され、視線補正により発生した穴埋め処理用の顔再構成処理のための第１の辞書行列（Φ）を格納する第１の辞書メモリと、
複数の顔画像データから美しい顔の複数の構成要素毎にクラスタリングして構成され、顔美化処理のための第２の辞書行列（Ψ）を格納する第２の辞書メモリとを備えた画像処理装置のための画像処理方法であって、
上記画像処理装置が、入力される顔画像ベクトル（ｘ）に基づいて、上記第１の辞書行列（Φ）に対する第１のスパースコードベクトル（α）と、上記第２の辞書行列（Ψ）に対する第２のスパースコードベクトル（β）と、上記再構成された顔画像データから上記顔美化処理された簡易画像データへの線形変換（Ｌ）とを含む目的関数であって、上記顔再構成及び上記顔美化のための目的関数を最小化するときの上記第１のスパースコードベクトル（α）と上記第２のスパースコードベクトル（β）と上記線形変換（Ｌ）との各最適値を求めることにより、上記入力される顔画像ベクトル（ｘ）に対して顔再構成処理及び顔美化処理を行った顔画像データを生成して出力するステップを含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ電話又はテレビ会議などに利用される対話装置のための画像処理装置及び方法、並びに対話装置に関する。
【背景技術】
【０００２】
安価であって高品質のビデオキャプチャと高信頼性の広帯域伝送を可能にする画像化技術やネットワーク技術の出現により、物理的に長い距離によって分離された二者間を結ぶビデオ会議システムは、例えばスカイプやグーグルプラスのハングアウトなどのツールを用いて容易に実現できるユビキタスなシステムとなっている。
【０００３】
これらのツールに共通の問題は、視線の不一致の問題である。キャプチャカメラは、典型的には、ディスプレイモニタの上側又は下側に置かれるが、ユーザは相手方の顔を見て通話するので、ユーザ同士は視線を一致させて通話をすることができず、ビジュアルコミュニケーションの品質を低下させているという問題点があった。
【０００４】
３次元画像化（例えば、非特許文献１参照）における最近の進歩を活用した場合において、視線不一致の問題への１つの一般的なアプローチは、テクスチャ画像と奥行きを有する視点画像がキャプチャカメラ（例えば、非特許文献３〜５参照）から入手可能であるという条件のもとで、奥行き画像に基づくレンダリング（Depth-Image-Based Rendering（以下、ＤＩＢＲという。））を用いてスクリーン（仮想画像）の中心から見た視点画像を合成することである（例えば、非特許文献６〜８参照）。
【０００５】
また、特許文献１では、対話型通信において対話者同士の視線が一致した自然な対話環境を容易に実現できる対話装置を提供するために、画像処理モジュールは、入力された画像データに含まれる人物の視線が画像データの正面を向くように、画像データに含まれる人物の眼瞼裂領域（眼球の露出領域）の画素を変更することによって虹彩及び瞳孔の位置を変更する。ここで、画像処理モジュールは、顔認識部、視線判定部及び視線変更部を有する。顔認識部は、顔認識処理の結果にもとづいて、顔全体の向きを規定するベクトル（顔ベクトル）の情報を抽出する。視線変更部は、顔ベクトルの向きにもとづいて顔が表示画面を向いていると判定されると、人物の視線が画像データの正面を向くよう、眼瞼裂領域内の画素を変更する。
【０００６】
さらに、特許文献２及び３においても、通話者等の視線を一致させて補正する方法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２４６４０８号公報
【特許文献２】特開２００５−１１７１０６号公報
【特許文献３】特開２０１３−１８２６１６号公報
【特許文献４】特開２００４−１４７２８８号公報
【非特許文献】
【０００８】
【非特許文献１】M. Tanimoto, M. P. Tehrani, T. Fujii and T. Yendo, "Free-Viewpoint TV," IEEE Signal Processing Magazine, vol.28, no.1, January 2011.
【非特許文献２】D. Tian, P.-L. Lai, P. Lopez and C. Gomila, "View Synthesis Techniques for 3D Video," Applications of Digital Image Processing XXXII, Proceedings of the SPIE, 7443 (2009), 2009.
【非特許文献３】S.-B. Lee, I.-Y. Shin and Y.-S. Ho, "Gaze-corrected View Generation Using Stereo Camera System for Immersive Videoconferencing," IEEE Transactions on Consumer Electronics, vol.57, no.3, pp.1033-1040, August 2011.
【非特許文献４】C. Kuster, T. Popa, J.-C. Bazin, C. Gotsman and M. Gross, "Gaze Correction for Home Video Conferencing," ACM SIG-GRAPH Asia, vol.31, no.6, November 2012.
【非特許文献５】W. Eng, D. Min, V.-A. Nguyen, J. Lu and M. Do, "Gaze Correction for 3D Tele-immersive Communication System," 11th IEEE IVMSP Workshop: 3D Image/Video Technologies and Applications, Seoul, Korea, June 2013.
【非特許文献６】K.-J. Oh, S. Yea and Y.-S. Ho, "Hole-Filling Method Using Depth Based In-Painting Fore View Synthesis in Free Viewpoint Television FTV and 3D Video," Picture Coding Symposium, Chicago, IL, May 2009.
【非特許文献７】S. Reel, G. Cheung, P. Wong and L. Dooley, "Joint Texture-Depth Pixel Inpainting of Dis-occlusion Holes in Virtual View Synthesis," APSIPA ASC, Kaohsiung, Taiwan, October 2013.
【非特許文献８】B. Macchiavello, C. Dorea, E. M. Hung and G. Cheung and I. Bajic, "Low-Saliency Prior for Disocclusion Hole Filling in DIBR-Synthesized Images," IEEE International Conference on Acoustics, Speech and Signal Processing, Florence, Italy, May 2014.
【非特許文献９】T. Leyvand, D. Cohen-Or, G. Dror and D. Lischinski, "Data-Driven Enhancement of Facial Attractiveness," ACM SIG-GRAPH, vol.27, no.3, August 2008.
【非特許文献１０】H. Yue, X. Sun, J. Yang and F. Wu, "Cloud-based Image Coding for Mobile Devices-Towards Thousands To One Compression," IEEE Transactions on Multimedia, vol.15, no.4, pp.845-857, June 2013.
【非特許文献１１】J. Gemmell, k. Toyama, C. L. Zitnick, T. Kang, and S. Seitz, "Gaze awareness for video conferencing: A software approach, IEEE Multimedia, vol.7, no.4, pp. 2635, Oct-Dec 2000.
【非特許文献１２】A. Criminisi, J. Shotton, A. Blake, and P. Toor, "Gaze manipulation for one-to-one teleconferencing, IEEE International Conference on Computer Vision, Nice, France, October 2003.
【非特許文献１３】R. Yang and Z. Zhang, "Eye gaze correction with stereovision for video-teleconferencing, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.26, no.7, pp.956960, July 2004.
【非特許文献１４】G. Cheung, J. Ishida, A. Kubota, A. Ortega, "Transform Domain Sparsification of Depth Maps using Iterative Quadratic Programming," IEEE International Conference on Image Processing, Brussels, Belgium, September 2011.
【非特許文献１５】W. Hu, G. Cheung, X. Li, O. Au, "DepthMap Compression using Multi-resolution Graph-based Transform for Depth-image based Rendering," IEEE International Conference on Image Processing, Orlando, FL, September 2012.
【非特許文献１６】Yael Eisenthal, Gideon Dror, Eytan Ruppin, "Facial Attractiveness: Beauty and the Machine," Neural Computation vol.18, no.1, pp.119-142, 2006.
【非特許文献１７】M. Aharon, M. Elad, and A.M. Bruckstein, "The K-SVD: An Algorithm for Designing of Overcomplete Dictionaries for Sparse Representation," IEEE Transactions On Signal Processing, vol.54, no.11, pp.4311-4322, November 2006.
【非特許文献１８】X. Liu, D. Zhai, D. Zhao, W. Gao, "Image Super-Resolution via Hierarchical and Collaborative Sparse Representation," Proceeding of Data Compression Conference, pp.93-102, 2013.
【非特許文献１９】W. Dong, L. Zhang, G. Shi, and X.Wu,, "Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization," IEEE Transactions On Image Processing, vol.20, no.7, pp. 1838-1857, July 2011.
【非特許文献２０】Allen Y. Yang, Z. Zhou, A. Ganesh, S. Sastry, and Y.Ma, "Fast ｌ１-minimization algorithms for robust face recognition," IEEE Transactions On Image Processing, vol.22, no.8, pp. 3234-3246, Aug. 2013.
【非特許文献２１】X. Zhu and D. Ramanan, "Face detection, pose estimation, and landmark localization in the wild," IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2879-2886, June 2012.
【非特許文献２２】I. Ahn and C. Kim, "Depth-based disocclusion filling for virtual view synthesis," in IEEE International Conference on Multimedia and Expo, Melbourne, Australia, July 2012.
【非特許文献２３】Tommer Leyvand, Daniel Cohen-Or, Gideon Dror and Dani Lischinski, "Data-driven enhancement of facial attractiveness," in ACM SIG-GRAPH, vol. vol.27, no.3, August 2008.
【非特許文献２４】M. Dumont, S. Maesen, S. Rogmans, and P. Bekaert, "A prototype for practical eye-gaze corrected video chat on graphics hardware," in Inter-national Conference on Signal Processing and Multimedia Applications, Porto, Portugal, July 2008.
【非特許文献２５】L. Wolf, Z. Freund, and S. Avidan, "An eye for an eye: A single camera gaze-replacement method," in 11th European Conference on Computer Vision, Crete, Greece, September 2010.
【非特許文献２６】S.-B. Lee and Y.-S. Ho, "Generation of eye contact image using depth camera for realistic telepresence," in APSIPA ASC, Kaohsiung, Taiwan, October 2013.
【非特許文献２７】D. Guo and T. Sim, "Digital face makeup by example," in IEEE Conference on Computer Vision and Pattern Recognition, Miami, FL, June 2007.
【非特許文献２８】C.-Y. Yang, S. Liu, and M.-H. Yang, "Structured face hallucination," in IEEE International Conference on Computer Vision and Pattern Recognition, Portland, OR, June 2013.
【非特許文献２９】J. Mairal, F. Bach, J. Ponce, G. Sapiro, A. Zisserman, T. Cog, J. Mairal, F. Bach, J. Ponce, G. Sapiro, A. Zisserman, quipes-projets Willow, and E. N. Suprieure, "Supervised dictionary learning," 2008.
【非特許文献３０】J. Mairal, F. Bach, J. Ponce, and G. Sapiro, "Online dictionary learning for sparse coding," in Proceedings of the 26th Annual International Conference on Machine Learning, ser. ICML ’09. New York, NY, USA： ACM, 2009, pp. 689-696.
【非特許文献３１】J. Yang, Z. Wang, Z. Lin, S. Cohen, and T. Huang, "Coupled dictionary training for image super-resolution," Image Processing, IEEE Transactions on, vol. 21, no. 8, pp. 3467-3478, Aug 2012.
【非特許文献３２】S. Wang, D. Zhang, Y. Liang, and Q. Pan, "Semi-coupled dictionary learning with applications to image super-resolution and photo-sketch synthesis," in Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on, June 2012, pp. 2216-2223.
【非特許文献３３】J. Wright, A. Yang, A. Ganesh, S. Sastry, and Y. Ma, "Robust face recognition via sparse representation," Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 31, no. 2, pp. 210-227, Feb 2009.
【非特許文献３４】D. Lowe, "Object recognition from local scale-invariant features," in IEEE International Conference on Computer Vision, September 1999.
【非特許文献３５】Y. Yang, B. Geng, Y. Cai, A. Hanjalic, and X.-S. Hua, "Object retrieval using visual query context," in IEEE Transactions on Multimedia, vol. 13, no.6, December 2011, pp. 1295-1307.
【非特許文献３６】I. Daubechies, R. Devore, M. Fornasier, and S. Gunturk, "Iteratively reweighted least squares minimization for sparse recovery," in Commun. Pure Appl. Math, 2009.
【非特許文献３７】S. Boyd and L. Vandenberghe, Convex Optimization. Cambridge, 2004.
【非特許文献３８】M. Taylor and C. Creelman, "PEST: Efficient estimates on probability functions," in The Journal of the Acoustical Society of America, vol. 41, 1988, pp. 782-787.
【非特許文献３９】H. Hadizadeh, I. Bajic, and G. Cheung, "Video error concealment using a computation-efficient low saliency prior," in IEEE Transactions on Multimedia, vol. 15, no.8, December 2013, pp. 2099-2113.
【非特許文献４０】D. J. Sheskins, Handbook of Parametric and Nonparametric Statistical Procedures. Chapman & Hall/CRC, 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述のＤＩＢＲを用いたアプローチの重要な問題は、被写体のテクスチャを生成するときに被写体同士が重なって遮蔽領域が発生するいわゆる「オクルージョン」の問題を解決するための、遮蔽領域をいかに穴埋めするかという「遮蔽除去穴埋め問題」である。ディジタルカメラで撮影視点における前景の構成要素によって遮蔽された仮想画像内の空間領域は画素欠けが含まれており、満足がゆくように完成する必要がある。ＤＩＢＲで合成された画像のための穴埋めは、非特許文献２〜４で対処されてきたが、発明者の知る限り誰もまだ、一般的な人間の顔に対する「オクルージョン」の穴埋めのためのアルゴリズムをいまだ提案していない。
【００１０】
本発明の目的は以上の問題点を解決し、対話装置のための画像処理装置において、対話者の視線が一致するように補正するとともに、「オクルージョン」の問題を同時に解決しかつ顔美化も行うことができる対話装置のための画像処理装置及び方法、並びに対話装置を提供することにある。
【課題を解決するための手段】
【００１１】
第１の発明に係る画像処理装置は、
複数の顔画像データから複数のパッチを抽出した後クラスタリングして構成され、視線補正により発生した穴埋め処理用の顔再構成処理のための第１の辞書行列（Φ）を格納する第１の辞書メモリと、
複数の顔画像データから美しい顔の複数の構成要素毎にクラスタリングして構成され、顔美化処理のための第２の辞書行列（Ψ）を格納する第２の辞書メモリと、
入力される顔画像ベクトル（ｘ）に基づいて、上記第１の辞書行列（Φ）に対する第１のスパースコードベクトル（α）と、上記第２の辞書行列（Ψ）に対する第２のスパースコードベクトル（β）と、上記再構成された顔画像データから上記顔美化処理された簡易画像データへの線形変換行列（Ｌ）とを含む目的関数であって、上記顔再構成及び上記顔美化のための目的関数を最小化するときの上記第１のスパースコードベクトル（α）と上記第２のスパースコードベクトル（β）と上記線形変換行列（Ｌ）との各最適値を求めることにより、上記入力される顔画像ベクトル（ｘ）に対して顔再構成処理及び顔美化処理を行った顔画像データを生成して出力する画像処理手段とを備えることを特徴とする。
【００１２】
上記画像処理装置において、上記目的関数は、上記線形変換行列（Ｌ)に代えて、入力される顔画像データ（Ａ）を顔美化された顔画像データ（Ｂ）にワーピング処理するワーピング演算子Ｗ（Ａ，Ｂ）と、スケール不変特徴変換法を用いて画素領域のベクトルを選択された特徴空間におけるベクトルにマッピングするマッピング関数Ｓ（・）とをさらに含み、
上記画像処理手段は、上記顔再構成及び上記顔美化のための目的関数を最小化するときの上記第１のスパースコードベクトル（α）と上記第２のスパースコードベクトル（β）との各最適値を求めることにより、上記入力される顔画像ベクトル（ｘ）に対して顔再構成処理及び顔美化処理を行った顔画像データを生成して出力することを特徴とする。
【００１３】
また、上記画像処理装置において、上記目的関数は次式で表され、
【数１】
2016085579.tif 000003
ここで、μは所定の定数であり、ｕは所定の線形制約を満たすための上記第２のスパースコードベクトル（β）を変調するための重みベクトルであり、
上記画像処理手段は、上記式を用いて上記第１のスパースコードベクトル（α）及び上記第２のスパースコードベクトル（β）を求め、上記入力される顔画像ベクトル（ｘ）に対して顔再構成処理及び顔美化処理を行った顔画像データを生成して出力することを特徴とする。
【００１４】
さらに、上記画像処理装置において、上記画像処理手段の前段に設けられ、撮像される顔画像データに対して、当該顔画像データの顔の視線が対話者の視線に一致するように視線補正して顔画像ベクトル（ｘ）を出力する視線補正処理手段をさらに備えることを特徴とする。
【００１５】
またさらに、上記画像処理装置において、上記画像処理手段の後段に設けられ、上記画像処理手段からの顔画像データに対して、複数の顔輪郭データを用いて当該顔の輪郭を調整して調整された顔画像データを出力する顔輪郭調整手段をさらに備えることを特徴とする。
【００１６】
またさらに、上記画像処理装置において、上記顔輪郭調整手段の後段に設けられ、上記顔輪郭調整手段からの顔画像データに対して、上記撮像される顔画像データの背景を含むようにワーピング処理を行って顔画像データを出力する画像ワーピング処理手段をさらに備えることを特徴とする。
【００１７】
第２の発明に係る対話装置は、
相手方の対話装置からの顔画像データを受信し、当該対話装置の顔画像データを上記相手方の対話装置に送信する送受信手段と、
上記各顔画像データを表示する表示部とを備えた対話装置であって、
請求項１〜８のうちのいずれか１つに記載の画像処理装置を備え、
上記送受信手段は、上記画像処理装置からの顔画像データを相手方の対話装置に送信することを特徴とする。
【００１８】
第３の発明に係る画像処理方法は、
複数の顔画像データから複数のパッチを抽出した後クラスタリングして構成され、視線補正により発生した穴埋め処理用の顔再構成処理のための第１の辞書行列（Φ）を格納する第１の辞書メモリと、
複数の顔画像データから美しい顔の複数の構成要素毎にクラスタリングして構成され、顔美化処理のための第２の辞書行列（Ψ）を格納する第２の辞書メモリとを備えた画像処理装置のための画像処理方法であって、
上記画像処理装置が、入力される顔画像ベクトル（ｘ）に基づいて、上記第１の辞書行列（Φ）に対する第１のスパースコードベクトル（α）と、上記第２の辞書行列（Ψ）に対する第２のスパースコードベクトル（β）と、上記再構成された顔画像データから上記顔美化処理された簡易画像データへの線形変換（Ｌ）とを含む目的関数であって、上記顔再構成及び上記顔美化のための目的関数を最小化するときの上記第１のスパースコードベクトル（α）と上記第２のスパースコードベクトル（β）と上記線形変換（Ｌ）との各最適値を求めることにより、上記入力される顔画像ベクトル（ｘ）に対して顔再構成処理及び顔美化処理を行った顔画像データを生成して出力するステップを含むことを特徴とする。
【発明の効果】
【００１９】
本発明によれば、対話装置のための画像処理装置において、対話者の視線が一致するように補正するとともに、「オクルージョン」の問題を同時に解決しかつ顔美化も行うことができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態１に係る画像処理部１５を備えた対話装置の構成を示すブロック図である。
【図２】本発明の実施形態２に係る画像処理部１５Ａを備えた対話装置の構成を示すブロック図である。
【図３】図２の画像処理部１５Ａにおいて実行されるデユアルコードベクトルの検索を説明するための図である。
【図４】図２の画像処理部１５Ａにおいて実行される典型的な画像のアライメント（位置合わせ）で用いるランドマークの一例を示す図である。
【図５Ａ】図２の画像処理部１５Ａによる画像処理結果であって、無表情のフレームに対する小さな撮像角度のときの画像処理結果の写真であり、上段は穴埋め処理のみの画像処理結果であり、下段は画像再構成及び顔美化処理の画像処理結果である。
【図５Ｂ】図２の画像処理部１５Ａによる画像処理結果であって、少し笑みの表情のフレームに対する小さな撮像角度のときの画像処理結果の写真であり、上段は穴埋め処理のみの画像処理結果であり、下段は画像再構成及び顔美化処理の画像処理結果である。
【図６】図２の画像処理部１５Ａによる顔美化された正面画像に対する投票結果を示すテーブルである。
【図７】図２の画像処理部１５Ａによる画像処理結果であって、顔美化された顔画像をキャプチャされた画像に統合した結果であり、上段は元のキャプチャされた顔画像であり、下段は統合された顔画像である。
【発明を実施するための形態】
【００２１】
以下、本発明に係る実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。
【００２２】
実施形態１．
１−１．まえがき．
本実施形態では、統一化されたスパースコーディングのフレームワークにおける顔美化の問題と一緒に人間の顔に対する遮蔽除去穴埋め問題も解決することを提案する。顔美化はレンダリングされた顔の魅力を高めるために顔の特徴を微小に変形する処理である（例えば、非特許文献９、特許文献４参照）。現在撮影された画像にのみ利用可能なデータを用いて欠落している画素を埋めることを試みる従来の穴埋め処理（例えば、非特許文献６〜８参照）とは異なり、オフラインの２つの対応辞書を用いて学習して、レンダリングの再構成処理された対象画像と多くの美しい顔の両方を含む大容量のコーパスを利用することを特徴としており、膨大な画像データベースがソーシャルネットワークや検索エンジンを通じて簡単にアクセスできるビッグデータの時代において利用可能となったものである。画像合成中において、以下のコードベクトルを同時に求める。
（１）１つは、第１の辞書に対するスパースコードベクトルであり、利用可能なＤＩＢＲ合成画素データを含む。
（２）もう１つは、第２の辞書に対するスパースコードベクトルであり、制約された線形変換まで最初のベクトルとよく一致している。
【００２３】
ここで、予め決められたセットに対する線形変換の制約は、アトラクティブさ（魅力的な引きつけ度合い）を改善するために、キャプチャされた対象画像の認識度と、美しい顔の特徴との間の良好なバランスを確立することができる。後述する本実施形態の実験結果は、認識可能に改善されたアトラクティブさを有する自然にレンダリング処理された人間の顔を示している。
【００２４】
１−２．関連技術等
視線不一致の問題はテレビ会議システム（例えば、非特許文献１参照）ではよく知られた問題であり、従来技術文献において多数の解決策が存在する（例えば、非特許文献１２〜１３、３〜５、特許文献１〜３参照）。初期の段階での解決法（例えば、非特許文献１２，１３参照）は、ステレオでキャプチャされた視点画像に対して、画像を基礎とするレンダリング処理を実行し、この処理はディジタル計算が集約的である傾向がある。奥行きのセンシング技術の最近の進歩を活用することにより、キャプチャカメラを仮定するより最近の提案（例えば、非特許文献３、４、５参照）は、視線一致の修正画像の合成のＤＩＢＲ合成のためにテクスチャ画像及び奥行き画像の両方を提供する。ここで、このテクスチャ画像及び奥行き画像のフォーマットは、送信側での奥行き画像の圧縮を必要としており、昨今研究される（例えば、非特許文献１４，１５参照）。
【００２５】
リアルタイムの実施に向け、「遮蔽除去穴埋め問題」に対するこれらの提案の解決策は、簡単でかつアドホック的であり、カメラ視点と目標仮想視点とが遠く離れていない場合にうまく機能する傾向がある。しかし、ビデオ会議中に強化された没入のために、大型ディスプレイがしばしば使用され、キャプチャカメラは画面中心から遠くに配置することができる。このように得られた穴は大きく、特定の被験者に合わせた辞書を用いて、発明者らのより洗練されたデュアルスパースコーディング方式がより有益であり得る。
【００２６】
本発明者らのアプローチで必要な辞書は、複数の画像についての利用可能なコーパスを使用してオフラインで学習されるので、会議中のみの複雑さは、適切なスパースコードベクトルの計算のみである。このことは、例えばＬａｓｓｏなどの最新の最適化ツールを使用して、適度なサイズの辞書をリアルタイムで行うことができると考えられる。
【００２７】
顔美化処理については、個別の静止画像に対する文献（例えば、非特許文献９参照）において研究されており、テレビ会議の状況における人間の顔画像のためにそうすることは、時間的一貫性とリアルタイム実装に対して新たな課題をもたらす。本実施形態では、実験を行っていないが、スパースコーディングのアプローチは前の瞬間の最適化されたベクトルを用いて新しい時刻のスパースコードベクトルを初期化することで両方の目的を達成することができると考えられる。
【００２８】
１−３．対話装置のシステム構成
図１は本発明の実施形態１に係る画像処理部１５を備えた対話装置の構成を示すブロック図である。図１において、左側カメラ１１と、右側カメラ１２と、一時メモリ１３ｍを有する画像データ取得部１３と、視線補正処理部１４と、画像処理部１５と、画像通信部１６と、表示制御部１７と、ディスプレイ１８とを備えて構成される。ここで、画像処理部１５は、再構成処理部２１と、それに接続される辞書メモリ３１と、顔美化処理部２２と、それに接続される辞書メモリ３２とを備えて構成される。辞書メモリ３１，３２は以下に詳細後述するようにオフラインで学習されてなる各辞書行列Φ，Ψを格納する。また、再構成処理部２１及び顔美化処理部２２とは詳細後述するように一括の画像処理部２１にて行い、画像処理を実質的にリアルタイムで行うことを特徴としている。
【００２９】
当該対話装置は、ディスプレイ１８の左右側のユーザと対向する２つのカメラ１１，１２を使用する。画像データ取得部１３は２つのカメラ１１，１２からの画像データを取得して一部メモリ１３ｍに一時的に格納した後、視線補正処理部１４に出力する。視線補正処理部１４は、公知のＤＩＢＲに基づく視線補正方法（ディスプレイ方向に向いたユーザの視線を、あたかもカメラ方向（実質的に画像中心）に向くように視線補正することで、相手方の対話者の視線と、当該対話装置のユーザの視線とを一致させる。）を用いて、最初のテクスチャと奥行きマッピングはディジタルカメラでキャプチャされた視点画像データから利用可能であると仮定して、視線が補正された画像データを合成して、画像処理部１５の再構成処理部２１に出力する。自己遮蔽のために、充填が必要なＤＩＢＲの視線補正方法で合成された画像内の画素欠落が発生する。ここで、人間の顔に属さない画素の充填は、一般的な穴埋め技術（例えば、非特許文献６〜８参照）を使用して解決可能な直交問題である。
【００３０】
なお、本実施形態に係る対話装置において２つのカメラ１１，１２を備えているが、本発明はこれに限らず、１つのカメラで撮像した後、画像処理を行ってもよい。
【００３１】
本実施形態において、主要な構成要素は、統一化されたデュアルスパースコーディングのフレームワークを用いて、人間のための自己遮蔽穴埋め問題及び顔美化の問題を一緒に解くための画像処理部１５であり、画像処理部１５は再構成処理部２１と顔美化処理部２２とを備えて構成される。画像処理部１５は、先験的に収集することができる２つのオフライン学習セットを使用して学習される２個の辞書行列Φ，Ψをそれぞれ備える辞書メモリ３１，３２を用いる。
【００３２】
顔画像データの再構成に使用する辞書メモリ３１内の辞書行列Φはビデオ会議における現在の人物の特定の顔写真を使用して学習される。このことは、顔の外見によって張られる空間が比較的小さく、特定の面で張られる空間が大幅に小さいことが観察される。従って、このような辞書行列Φを使用することによって、高品質の顔再構成を得るために有用な事前確率を導出することができる。
【００３３】
また、顔の美化のために使用される辞書メモリ３２内の辞書行列Ψは、本実施形態の場合、インターネットからのアジアの映画スターの美しい真正面の顔画像を集めている一般的な美しい顔のセットを使用して学習される。それを通じて、顔の美化を行うために、スパース表現の識別的な性質を利用することができる。最もコンパクトな表現をもたらすアトム（最小表現の画像データ）は美化の候補として優先されるべきであって好ましい。すなわち、顔美化は、これらのアトムの線形結合として表すことができる。さらに、制限された線形変換行列Ｌは美化のレベルを制約するために使用され、すなわち、変形は微小であるべきである。再構成処理及び顔美化の処理はより良い結果を得るために反復して実行することができる。
【００３４】
なお、画像処理部１５の再構成処理及び顔美化処理については詳細後述する。画像処理部１５の処理後の画像データは画像通信部１６に出力されて、所定の動画データに変換された後、他の対話装置に送信される。画像通信部１６は相手方の対話装置からの動画データも受信して、双方の動画データは表示制御部１７によりディスプレイ１８に表示される。
【００３５】
１−４．穴埋めと顔美化処理の結合
以下では、画像処理部１５により実行される穴埋め及び顔美化処理の詳細について以下に説明する。発明者らは、成功する変換は、次の３つの基準を満たしている必要があることを提案している。
（１）フィデリティ（忠実性）：ＤＩＢＲの視線補正方法で合成された顔画像の穴は自然な人間の顔として穴埋めされる必要がある。
（２）アトラクティブさ（魅力性）：レンダリング処理された顔が「美しい」の局所的な特徴を持つ顔の魅力を高めておく必要がある。
（３）識別可能：ターゲット被験者は紛れもなく認識可能であるようにだけ微小な変形は、元の顔の画像データに実行する必要がある。
【００３６】
第１及び第２の基準は、デュアルスパースコーディングの問題として定式化することができる。ここで、パッチベースのオーバーコンプリート辞書は現在の顔の構造ドメインを特徴づけるために、現在の人の例面から学習される。また、特徴（フィーチャー）ベースのオーバーコンプリート辞書は複数の美しい顔の特徴領域を特徴づけるために映画スターの美しい顔の集合から学習される。第三の基準は、美化の度合いを制限するために異なる顔の特徴を行う線形変換の種類を制限することによって満たすことができる。これらの基準のすべてが最終的な結果を得るために、統一された最適化フレームワークに落とし込むことができる。
１−４−１．デュアル辞書学習．
どのようにデュアルスパースコーディングのための適切な辞書行列Φ，Ψを導き出すことは、提案方式における重要な問題である。２つの独立した辞書行列Φ，Ψは、それぞれ顔の再構成と顔美化のために学習される。
１−４−１−１．再構成のための辞書学習．
顔の再構成のために、本実施形態の目的は、合成された顔画像にＤＩＢＲの視線補正方法によって露出された穴を埋めることである。従来技術文献では、局所パッチを用いて画像再構成は非常にポピュラーとなっており、高度に有効であることが示された（例えば、非特許文献１７，１８参照）。そのため、顔の再構成のために、辞書行列Φ，Ψを学習するためのパッチベースのローカル適応法を提案する。現在の人間の与えられた複数の顔画像データ例に対して、オーバーラップを有するすべてのパッチを抽出する。そして、収集された複数のパッチを、Ｋ−ｍｅａｎｓクラスタリング法を用いて同様の幾何学的構造を有する複数のクラスタに分類し、コンパクトなサブ辞書を学習することによって、各クラスタをモデル化する。具体的には、符号化されるべきｎｉ個の画像パッチを含むあるクラスタｉに対して、複数のパッチのベクトルをｘｉで示された行列で格納する。次いで、主成分分析法（ＰＣＡ）を行列ｘｉに適用することで行列ｘｉに最も関連する適応サブ辞書行列Φｉを学習する。ＰＣＡは、辞書行列Φのアトムが行列ｘｉの共分散行列の固有ベクトルデュアル辞書行列Φｉを生成する。
【００３７】
１つのクラスタ内の複数のパッチは互いに類似しているので、サブ辞書はオーバーコンプリートである必要はないが、すべてのサブ辞書が顔のすべての可能な局所構造を特徴づけるために、大容量のオーバーコンプリート辞書を構築するために組み合わされる（例えば、非特許文献１９参照）。
【００３８】
１−４−１−２．顔美化のための辞書学習．
複数の顔は大きい多様性を持つオブジェクトであるにもかかわらず、それらは、目、眉、鼻、口などのいくつかの基本的な特徴で構成される。従来技術文献では、美しさの判断課題における顔の特徴の重要性を示している（例えば、非特許文献１６参照）。顔の美化処理のために、特徴ベースの辞書学習のアプローチを取る。正面の顔が入力として与えられると、まず、顔のランドマークのセットを識別する（例えば、非特許文献２１参照）。次いで、ランドマークの位置に応じて、左目、右目、左眉、右眉、鼻、口を含む顔の特徴の６つのクラスを抽出する。実用的な実装では、口を美化しない。なぜならば、通常、テレビ会議の間に、高速で頻繁に動くからである。そして、各特徴のサブ辞書を構築する。
【００３９】
具体的には、現在の顔の特徴ベクトルｘｉのために、美しい顔データセットから学習サンプルとして次式の十分な例の特徴行列Ａｉを収集する。
【００４０】
【数２】
2016085579.tif 000004
【００４１】
光の正規化は、異なる照明条件の影響をキャンセルするために学習サンプルに対して行われる。発明者らは、光の正規化のための次のモデルを提案する。
【００４２】
【数３】
2016085579.tif 000005
【００４３】
ここで、ｍｉｎ（）とｍａｘ（）はそれぞれ最小値演算子と最大値演算子を表す。光正規化後の、学習サンプル自体が辞書メモリ３２内の美化用辞書行列Ψの基本要素として使用される。
１−４−２．結合されたスパースコーディング．
本実施形態では、以下のエネルギー関数の最小化を用いて、線形変換行列Ｌと同様に、２つの学習された辞書行列Φ，Ψに関するスパースコードベクトルα，βを見つけることによって全体の目的を達成する。
【００４４】
【数４】
2016085579.tif 000006
【００４５】
ここで、目的関数の最初の２項は、特定の人物の辞書行列Φに関する顔ベクトルｘを再構成するための標準的なスパースコーディングである。第３及び第４項は顔美化の目的のための美しい顔の辞書行列Ψに関する再構成された顔画像データのベクトルΦαを表すためのスパースコーディングを実行するものである。ここで、２つのスパースコードベクトルα，β間の関係は線形変換行列Ｌを介して確立される。なお、線形変換行列Ｌは再構成された顔から合成された美しい顔への変換を示す。線形変換行列Ｌに対して制約を行うことによって、識別可能性の基準を満たすように実行される美化の度合い及びタイプを制限することができる。
【００４６】
目的関数はスパースコードベクトルα、β及び線形変換行列Ｌに対してともに凸関数（極大又は極小を有する関数）ではないが、もし他の変数が固定されれば、１つの変数に対して凸関数となる。従って、これらの変数を最適化するために交互の手順を繰り返し用いて実行する。具体的には、式（２）における目的関数に対処するためには、目的関数を３つの問題に分離し、すなわち、
（１）現在の顔に対するスパースコーディングと、
（２）美しい顔に対するスパースコーディングと、
（３）マッピング関数の更新と
に分離する。この手順は、収束するまで、又は所定の最大反復回数Ｔに達するまで繰り返される。以下では、初期化処理、３つのサブ問題と、それらの最適な解決法について説明する。
【００４７】
１−４−２−１．初期化処理．
次式の問題を解くことにより、初期スパース表現の係数ベクトルαを得る。
【００４８】
【数５】
2016085579.tif 000007
【００４９】
ここで、λ１はラグランジュ乗数であり、係数ベクトルαの最適解は、拡張されたラグランジアン法（Augmented Lagrangian Methods（ＡＬＭ））（例えば、非特許文献２０参照）として公知である高速ｌ１最小化アルゴリズムによって有効的にかつ効率的に解くことができる。そして、線形変換行列Ｌは、現在の顔の特徴とスターの顔の特徴のグローバルな線形結合の目的のためのスカラー行列としてまた初期化される。具体的には、美化のレベルを制限するために、線形変換行列ＬをＬ＝０．４Ｉとして初期化する。ここで、Ｉは単位行列である。
【００５０】
１−４−２−２．βに関する最適化．
線形変換を行う対角行列Ｌを初期化した行列と、上記導出した係数ベクトルαとを用いて、係数ベクトルβに関する最適化問題は次式で表される。
【００５１】
【数６】
2016085579.tif 000008
【００５２】
ここで、λ２はラグランジュ乗数である。最後に、係数ベクトルαに対して前に行ったようにＡＬＭを用いて、スパース表現の係数ベクトルβをまた得ることができる。
【００５３】
１−４−２−３．Ｌに関する最適化．
上記導出した係数ベクトルα，βを用いて、次式の最小化問題として線形変換行列Ｌを更新する。
【００５４】
【数７】
2016085579.tif 000009
【００５５】
実用的な実装では、セットＬｓを構成する、例えば回転、スケーリング、シフトなどの簡単な線形変換であるように線形変換行列Ｌを制限する。その後、線形変換行列Ｌを最適化する問題は、上記定義された複数の変換を用いて簡単に検索するように変換する。このようにして、美化の度合い及びタイプが制約され、認識度が顔美化処理において保持される。
【００５６】
１−４−２−４．コードベクトルαに関する最適化．
係数ベクトルβ及び線形変換行列Ｌを固定することで、コードベクトルαに対するサブ問題は次式で表される。
【００５７】
【数８】
2016085579.tif 000010
【００５８】
簡単な代数演算と、定数の削除を行うことで、上記目的関数は標準的なスパースコーディングの問題として次式のように再定式化することができる。
【００５９】
【数９】
2016085579.tif 000011
【００６０】
上記の式はまた、効率的にＡＬＭアルゴリズムによって解くことができる。そして、画像処理部１５は次式を用いて出力顔画像データｙを生成して出力する。
【００６１】
【数１０】
2016085579.tif 000012
【００６２】
１−６．結論．
視線の不一致は、ビデオ会議での既知の問題である。本実施形態では、１つの統一されたスパースコーディングのフレームワークの中でＤＩＢＲで合成された視線補正済み画像と顔美化の穴埋めを行うことを提案した。ビッグデータ時代の合理的な仮定として、大容量のーパスの利用可能性を仮定すると、本実施形態の要旨は、１つは目標の人間対象でありもう１つは美しい顔生成のための２つのオフライン辞書行列Φ，Ψを学習することである。その結果、リアルタイムで２つのスパースコードベクトルを求めることができる。１つのスパースコードベクトルは、カメラでキャプチャされた画像から合成された画素を記述しており、もう１つのスパースコードベクトルは、複数の美しい顔の近似特徴を記述している。１つの再構成画像からもう１つの再構成画像にマッピングする線形変換はテレビ会議の参加者の被写体画像の認識度を確実にするように注意深く選択される。発明者らによる実験結果によれば、改善された魅力性を有する自然にレンダリング処理された顔画像を得ることができた。
【００６３】
実施形態２．
２−１．まえがき
本実施形態では、実施形態１の改良された拡張版であって、以下の相違点（主要な改善点）を有することを特徴としている。主要な改善は以下のとおりである。
（１）制約付き線形変換の代わりに、テレビ会議の参加者の被写体画像の認識度を確実にするための、特徴空間の距離における第１及び第２のコードベクトル間のより一般的なマッチング基準を導入する。
（２）追加された魅力のために、参加者の顔の輪郭を修正するための新しいスパース隣接選択手順を追加した。
【００６４】
本実施形態のアプローチでは、必要な辞書が、複数の画像の利用可能なコーパスを用いてオフラインで学習され、その結果、テレビ会議注の複雑さは、適切なスパースコードベクトルの計算のみとなる。このことは、後述するように、最新のｌ０−ノルムの最適化ツールを使用して、適度なサイズの辞書のためにリアルタイムで行うことができると考えられる。
【００６５】
２−２．関連技術等
２−２−１．顔美化
例えばサポートベクトル回帰法（ＳＶＲ）などの機械学習技術を用いて、人間の評価者により入力された人間の顔に対する美スコアを予測することができることが開示される（例えば、非特許文献１６参照）が、人間の顔の美しさの正確な技術的な定義は、とらえどころのない理解しにくいままの状態となっている。非特許文献９、２３では、強化された魅力な人間の顔に変更して適切な変換を決定するために、同様のＳＶＲ技術を使用する。ＳＶＲ技術の代わりの方法としては、遺伝的アルゴリズムに基づく対話型進化計算（Interactive Evolutionary Computing(IEC)）と呼ばれる新しい方法が用いられる。顔美化の代わりには、例えば非特許文献２７は、女性の顔に対するメイクアップ効果を適用し、魅力性を高めるためのアルゴリズムを考案した。
【００６６】
非特許文献９、２３の関連技術と比較して、本実施形態では、下記の２つの主要な点で異なっている。
（１）第一に、２つの辞書行列Φ，Ψをオフラインで構築するために、インターネット上の画像の膨大なデータベースを活用することであり、１つの辞書行列Φはテレビ会議の参加者の顔を目標対象とし、もう１つの辞書行列Ψは美しい顔に関するものである。後者の辞書行列Ψでは、例えば２０歳代から４０歳代までの中国、日本、韓国のテレビスター及び映画スターの美しい顔を学習データとして用いる。このことは、実際のビデオ会議中にリアルタイムで美しさのスコアを推定する必要がないことを意味する。ここで、ただ２つのスパースコードベクトルが、レンダリング処理された顔画像の画素を、第２の辞書行列Ψにおける美しい特徴にマッピングするように識別される必要がある。
（２）第二に、本実施形態の顔の美化の目的は、単一の画像に対して行うものではなく、リアルタイムにテレビ会議でエンコードされて送信される動画のために行うことにある。すなわち、リアルタイムの実装に適していない過度に複雑な顔美化プロセスは、アプリケーションに適していないことを意味する。なお、スパースコードベクトル探索の効率的な実装は詳細後述される。
【００６７】
２−２−２．スパース表現
スパース表現は、オーバーコンプリート辞書行列Φ，Ψ内の複数のアトムのスパース線形結合への信号の分解を意味する。ここで、Ｄを次式のように辞書行列とする。
【００６８】
【数１１】
2016085579.tif 000013
【００６９】
ここで、ｎ＜Ｋであり、各ベクトルｄｉは辞書行列Ｄ内のアトムである。信号ベクトルｘ（ｘ∈Ｒｎ）は、辞書行列Ｄにおける複数のアトムの線形結合にいくらかの摂動εを加えたものとして表すことができる。すなわち、次式で表される。
【００７０】
【数１２】
2016085579.tif 000014
【００７１】
ここで、
【数１３】
2016085579.tif 000015
でかつ
【数１４】
2016085579.tif 000016
であることを同時に達成できるならば、上記式（８）の表現は「スパース」であるということができる。
【００７２】
辞書行列はスパース表現において重要な役割を果たしている。従来技術文献では、辞書の学習に強い関心がある。例えば、学習データにオーバーコンプリート辞書の適応化を行うために、機械学習技術を使用する。一例としては、Ｋ−ＳＶＤ法（例えば、非特許文献１７参照）、教師あり辞書学習（例えば、非特許文献２９参照）、オンラインの大容量辞書（例えば、非特許文献１８参照）などがある。これらの方法は、主に、単一の特徴空間でオーバーコンプリート辞書の育成に重点を置いている。最近では、一部の研究者は、結合された疎な特徴空間から辞書を学習することを提案した。例えば、ヤンら（例えば非特許文献３１参照）は、高解像度（ＨＲ）と低解像度（ＬＲ）の画像パッチ空間用の２つの辞書を学習し、ＨＲ及びＬＲパッチの各ペアに対して同じスパース表現を行わせるための協働の辞書学習法を提案した。この方法とその追随者（例えば非特許文献３２参照）は、スパース表現のために用いられる２つの辞書は結合され、もしくは半結合される必要がある。すなわち、観測空間と対象空間から来る２つの辞書中のアトムは、同一の内容を共用するが、例えばＬＲ−ＨＲパッチや、フォトスケッチパッチなどの異なった表現形式である必要がある。新しい観測画像が入力されると、上記観測辞書に関するスパースコードがまず取得され、次いで当該スパースコードは最終結果を得るために、同等又は線形の関係に基づいて、対象空間にマッピングされる。
【００７３】
これに対して、本実施形態の方法では、これらの制約を受けない。本実施形態では、モデリング能力とスパース表現の弁別の両方の性質を利用するために２つの非結合辞書を構築する。第１の辞書行列Φは、顔の再構成に使用される。これは、ビデオ会議の現在のテーマの具体的な顔の写真を使用して学習される。第２の辞書行列Ψは一般的に美しい顔のセットを使用して学習される顔美化のために使用される。明らかに、本実施形態では、両方の辞書行列Φ，Ψが目標空間から見ることができる。また、２つのスパースコードの間に直接的な関係が存在しない。そして、再構成されたパッチと美化パッチとの間の関係を確立する特徴空間の制約を使用する。上記の特徴点は、従来技術に係る結合された辞書の学習とは明らかに異なる。
【００７４】
２−３．システム構成
図２は本発明の実施形態２に係る画像処理部１５Ａを備えた対話装置の構成を示すブロック図である。図２において、実施形態２に係る対話装置は、図１の対話装置に比較して、画像処理部１５に代えて、画像処理部１５Ａ及び１９を備え、画像処理部１９は、顔輪郭調整部２３と、それに接続される顔輪郭メモリ３３と、画像ワーピング処理部２４とを備えたことを特徴とする。なお、画像処理部１５Ａでの画像処理は、詳細後述するように、画像処理部１５の画像処理とは若干異なる。ここで、再構成処理部２１及び顔美化処理部２２とは詳細後述するように一括の画像処理部２１にて行い、画像処理を実質的にリアルタイムで行うことを特徴としている。
【００７５】
本実施形態の対話装置は、低コストと展開の容易さという目標に向けて、ディスプレイ１８の下部に、例えばマイクロソフトのＫｉｎｅｃｔのような、テクスチャ画像（色）及び奥行き画像を同時に取り込むことができる、単一の深度感知カメラ１１Ａを採用する。カメラ１１Ａによりキャプチャされた画像データは、実施形態１と同様の処理を行う、一時メモリ１３ｍを有する画像データ取得部１３及び視線補正処理部１４を介して画像処理部１５Ａに入力される。
【００７６】
ビデオ会議セッションの開始に先立ち、種々の表情を持つ正面の美しい人の画像データを収集してなる、大きな画像セットはオフライン辞書学習に利用可能であると仮定する。辞書メモリ３１，３２内の２つの辞書行列Φ，Ψは以下のように学習される。すなわち、まず、辞書メモリ３１，３２は画素パッチ毎に動作して画像の補完のために使用され、次いで、顔の構成要素毎に（例えば、目や眉）動作し、顔構成要素の美化のために使用される。ここで、技術的に人間の顔の美しさの概念を定義することは困難である。従って、本実施形態では、単純に２０歳代から４０歳代までの齢でインターネットを介して、男性又は女性で公的に入手可能であり、例えば中国、日本、韓国のテレビスターや映画スターなどの顔画像を収集する。本実施形態では、２つの辞書行列Φ，Ψの学習のために、テレビスターや映画スターの顔画像の構成要素（構成要素）を使用する。再構成処理部２１による再構成処理及び顔美化処理部２２による顔美化処理により、例えば目及び眉毛などを美化するように顔の構成要素を再構成する。
【００７７】
次いで、以下のようにビデオ会議中に、同じ時刻にキャプチャされたテクスチャ画像及び深度画像の各対が処理される。まず、最初に、前景／背景分割処理は、深度画像をしきい値処理することにより行われる。すなわち、事前に選択された値τよりも小さな値を持つ深度の画素は、前景とみなされる。第二に、ディスプレイ１８の中心が所望の仮想視点として、分割処理されて識別された画素の画像データに対してＤＩＢＲに基づく視線補正処理が行われる。ここで、キャプチャされたカメラ画像の視点からのテクスチャ画像の画素を、仮想的な視点が与えられた対応する利用可能な深度画像の画素にマッピングすることができる。上記マッピングするＤＩＢＲのために必要な、本質的な固有の行列と、非本質的な外来の行列は、標準的なカメラ１１Ａを使用して導出することができる。キャプチャされた深度画像における自己遮蔽及び欠落深度画素のために、充填を必要とするＤＩＢＲに基づく処理で合成された前景の画素において欠落部が存在する。例えば非特許文献６、９、１０などの従来技術文献に開示された一般的な穴埋め（インペインティングと呼ばれる）技術を使用することに代えて、本実施形態では、穴埋め及び顔構成要素の美化処理を結合して視覚的に満足な顔を再構成するために実行する。次に、顔輪郭調整部２３は顔輪郭メモリ３３を用いてスパース隣接選択手順を使用して顔の輪郭をオプショナルで調整し、画像ワーピング処理部２４は、再構成され視線補正された顔データが転置処理及びワーピング処理されて、視線不一致の顔を置き換えることで元のキャプチャされた顔画像に元の顔画像の背景を含むようにワーピング処理が実行される。また、取り込まれた画像の背景を再利用することで、仮想的な画像に起因するオクルージョンによる背景画像を完成する必要はない。画像ワーピング処理部２４から出力される顔画像データは画像通信部１６に出力され、その後の処理は実施形態１と同様に行われる。
【００７８】
本実施形態において重要な技術的貢献は、統一された二重のスパースコーディングのフレームワークを経由して視線補正後の顔画像データの再構成と顔構成要素美化処理である。本実施形態では、２つのオフラインで学習された辞書行列Φ，Ψが与えられ、２つの辞書行列Φ，Ψのために２つのスパースコードベクトルα，βを協働して検索する。ここで、辞書行列Φ，Ψはそれぞれ、観測されたＤＩＢＲで合成された顔画像の画素を記述し、美しい顔の構成要素への近接性を向上させるために用いられる。
【００７９】
図３は図２の画像処理部１５Ａにおいて実行されるデユアルコードベクトルの検索を説明するための図である。図３では、幾何学的に、協働最適化について図示している。図３（ａ）に示すように、観測ベクトルｘが与えられたときに、顔再構成ベクトルΦαが黒い円４１内のｌ２−ノルム空間に近接する必要がある。また、顔美化ベクトルΨβは特徴空間の距離内（領域４２）におけるベクトルΦαに近接する必要がある。個別に解を求めた場合は、スパースコードベクトルβの探索領域は、円４１内の中心を有するすべての領域４２の集合というよりはむしろ、１つのスパースコードベクトルαが与えられたときの１つの領域４２である。図３（ｂ）に示すように、１つの不規則な形状の領域４２は二次関数で近似することができる。
【００８０】
図３において、不完全でかつ雑音で破損した観測ベクトルｘが与えられたときに、２次元空間における円になるｌ２−ノルム空間内において観測ベクトルｘに近いスパース顔再構成データを求めている。同時に、テレビ会議の被写体画像の認識度を所望のレベルに維持するために、実行する顔美化の量を制限する特徴空間の距離拘束Ｓを設定する。数学的には、顔美化ベクトルΨβは、与えられたαのための領域４２で、定義された特徴空間における再構成ベクトルΨαに近接する必要があることを意味する。
【００８１】
本実施形態では、協働して同時に遮蔽物除去穴埋めと顔構成要素の美化処理を行うことにより、潜在的に全体的な目的関数を最小化することができ、コードベクトルα及びβの最適なペアを識別することができる。ここで、当該目的関数は両方のベクトルの穴埋め、顔美化の量とスパース性の忠実度を考慮している。幾何学的には、これらのベクトルのこのペアのための探索空間は、コードベクトルαのための全体の円と、コードベクトルβのための円内の中心を持つすべての領域４２の和集合である。これに対して、穴埋めと顔美化を個別に実行する場合には、固定されたコードベクトルαについて解いた後に、再構成ベクトルΦαを中心とした唯一の領域４２はコードベクトルβの探索空間として考えられ、この場合ははるかに多くの制限がかけられることになる。本実施形態では、協働した最適化を実行することで、個々の最適化よりもより高い美化度スコアを有する顔の構成要素を再構成することができる。
【００８２】
２−４．デユアルスパース表現を用いた顔再構成及び顔美化の協働処理
以下では、再構成処理部２１及び顔美化部２２の処理の詳細について説明する。成功したアルゴリズムは、以下の３つの基準を満たす必要があることを提案している。
【００８３】
（１）フィデリティ（忠実性）：ＤＩＢＲで合成された顔画像の穴は、自然な人間の顔が得られるように、満足して完成させる必要がある。
（２）アトラクティブさ（魅力性）：レンダリング処理された顔は、美しい顔の構成要素を有する顔の魅力を高めておく必要がある。
（３）認識度：対象の被験者が間違いなく認識可能であるように、微妙な修正を元の顔データに対して処理を実行する必要がある。
【００８４】
図１の再構成処理部２１及び顔美化処理部２２に対して上記第１及び第２の基準を満たすように適用し、第３の基準は、顔美化処理部２２における顔美化の量を制限するように適切な特徴空間の制約を導入することによって満たすことができる。
【００８５】
２−４−１．典型的な画像アライメント（位置合わせ）
図４は図２の画像処理部１５Ａにおいて実行される典型的な画像のアライメント（位置合わせ）で用いるランドマークの一例を示す図である。図４の例では、図４（ｂ）の顔正面画像から検出された１０３個のランドマークを図示しており、図４（ａ）ではその２次元プロットを図示している。
【００８６】
テスト画像と学習画像を含むそれぞれの顔データは、すべての顔の構成要素との輪郭を正確に識別できるように、ランドマークのセットによって識別される。図４に示すように、例えば非特許文献２１に記載の手順を用いて、１０３個のランドマークを識別する。スケールシフト及び回転の影響を回避するために、学習セットにおける各見本の顔画像は、予め決定されたデフォルトの面に位置合わせされる。
【００８７】
２−４−２．顔再構成におけるスパース表現
自己遮蔽（オクルージョン）のために、ＤＩＢＲで合成された顔画像中において画素の欠落が存在することになり、良好な充填を達成するために有効な顔の再構成手順が必要となる。顔の再構成の目的は、その劣化した観測ベクトルｘをより、高品質の顔のベクトルｙを得ることにあり、これをモデル化すると次式で表される。
【００８８】
【数１５】
2016085579.tif 000017
【００８９】
ここで、Ｈは、穴の位置を示す劣化行列であり、ｖは、投影後の２次元画素グリッドに丸めること、捕捉された深度画素の不正確さによるＤＩＢＲに基づく処理の合成誤差をモデル化したベクトルである。
【００９０】
統計的な観点からは、劣化した形式から顔データを再構成することは、本質的に不良設定された逆問題である。顔の再構成アルゴリズムの性能は、主に、数値問題を解くときに事前分布を使用することができるどうかの度合いに依存する。画像について事前知識を組み込むことに対する１つの一般的な技術は、いわゆるスパースモデルを介して行われる。ここで、顔画像は適切に選択された辞書行列Φの要素のスパース線形結合で次式のように近似される。
【００９１】
【数１６】
2016085579.tif 000018
【００９２】
ここで、εは近似誤差である。観測ベクトルｘを生成する劣化行列Ｈ及び入力画像ベクトルｙをスパース的に表すための辞書行列Φの事前データを協働して表すために、顔の再構成問題は次式のように定式化される。
【００９３】
【数１７】
2016085579.tif 000019
【００９４】
ここで、λはラグランジュ乗数である。
【００９５】
上記スパース再構成の重要なポイントは、顔画像が高スパース性を示す、辞書行列のアトムが存在する空間をどのように発見するかにある。顔の再構成は、画像再構成問題とみなすことができる。例えば従来技術文献１７，１８では、局所パッチを用いた画像再構成は非常に一般的であり、非常に有効であることが示されている。また、顔画像が空間的に変化する疎表現を有する非定常で統計的であるので、本実施形態では、局所的な統計を学習して表す適応パッチ単位を有し、スパースを基礎とする再構成方法を示す。テレビ会議の参加者の与えられた顔画像例から、重複を有するすべてのパッチを抽出する。顔の複数の特徴は、画像面を通して多くの部分で変化するが、顔のマイクロ構造は少数の構造的な原始的元データで表すことができることを発見した。これらの原始的元データは、セルの受容フィールドを簡単化するための形式と質的に似ている。そこで、収集された複数のパッチデータを、Ｋ−ｍｅａｎｓクラスタリング法（例えば、非特許文献１９参照）を用いて同様の幾何学的構造を有する複数のクラスタにクラスタリングし、コンパクトなサブ辞書を学習することにより各クラスタをモデル化する。具体的には、符号化対象のｎｉ個の画像パッチを含むある特定のクラスタｉについて、複数のパッチのベクトルをＹｉで示される行列に積み重ねる。そして、パッチベクトルＹｉに対して主成分分析法（ＰＣＡ）を適用することにより、パッチベクトルＹｉに最も関連する適応化サブ辞書行列Φｉを学習させる。ＰＣＡはサブ辞書行列Φｉを生成し、サブ辞書行列ΦｉのアトムはパッチベクトルＹｉの共分散行列の固有ベクトルである。
【００９６】
クラスタ内の複数のパッチが互いに類似しているので、サブ辞書行列Φｉはオーバーコンプリートである必要はない。しかし、すべてのサブ辞書行列Φｉは、顔のすべての可能な局所構造を特徴づけるために、大容量のオーバーコンプリート辞書行列Φを構築するために一緒に結合される。
【００９７】
２−４−３．顔美化処理のスパース表現
顔画像の構造は、顔の構成要素の輪郭と平滑領域の連結であると解釈することができる
（例えば、非特許文献２８参照）。顔美化処理部２２の顔美化処理は、以下の３つの部分を含む。
（１）顔の構成要素美化（例えば眼の拡大など）、
（２）顔の輪郭調整（顔形状の調整など）、及び
（３）皮膚の滑らかさ。
【００９８】
顔の再構成は、ある度合いまで、皮膚の滑らかさの効果を得ることができる。それは、オーバーラップされた複数のパッチに基づいているからである。以下、顔美化処理部２２による顔の構成要素美化、及び、顔輪郭調整部２３による顔の輪郭調整について説明する。
【００９９】
まず、顔の構成要素美化について以下に説明する。顔が大きい多様性を持つオブジェクトであるにもかかわらず、目、眉、鼻、口などのいくつかの基本的な構成要素から構成される。従来の研究では、美しさの判断課題における顔の構成要素の重要性を示している（例えば、非特許文献１６参照）。再構成された顔データが入力されると、ランドマークの位置に応じて、左目、右目、左眉、右眉の顔の構成要素の４つのクラスを抽出する。そして、次のように個別に構成要素毎に１つのサブ辞書を構築する。
【０１００】
美的観点から、顔の構成要素の美しさは、構成要素の形状や大きさによって反映され、これは、ランドマークの位置によって記述される。従って、美しい顔の構成要素がランドマークのより美しい分布を持っていることを前提とする。それに対応して、本実施形態では、顔の構成要素美化のためのパラメータベースの辞書学習アプローチを採用する。具体的には、現在の顔の構成要素ｘｉのために、学習サンプルとして美しい顔データセットから、十分な量の例示的な構成要素Ｘｉを収集する。ここで、構成要素Ｘｉは次式で表される。
【０１０１】
【数１８】
2016085579.tif 000020
【０１０２】
テストサンプルと学習サンプルの両方から、それぞれｖｉ及び
【数１９】
2016085579.tif 000021
によって表されるそれらのランドマークの位置を抽出する。学習する美しい構成要素の位置パラメータは顔美化辞書行列Ψｉの基本要素として使用される。顔美化辞書行列Ψｉは次式で表される。
【０１０３】
【数２０】
2016085579.tif 000022
【０１０４】
顔美化処理は、顔美化辞書行列Ψｉにおけるアトム（ベクトル）
【数２１】
2016085579.tif 000023
にアプローチすることである。再構成された構成要素が最も近接したアトム
【数２２】
2016085579.tif 000024
に近くなるにつれて、再構成ベクトルがより美しくなる。数学的には、最適な再構成されたランドマーク分布βｉ＊を次式のように求める。
【０１０５】
【数２３】
2016085579.tif 000025
【０１０６】
ここで、βｉ（ｊ）は、ランドマーク分布βｉのｊ番目の要素を示す。この調整項は、最も近接する学習サンプルが再構成の美化を評価するときに用いられることを保証する。そして、顔美化されたランドマークの位置は次式のように表すことができる。
【０１０７】
【数２４】
2016085579.tif 000026
【０１０８】
次いで、入力される構成要素を次式のその美化バージョンにワーピングする（ひずませる）ために上記計算されランドマーク分布を用いる。
【０１０９】
【数２５】
2016085579.tif 000027
【０１１０】
ここで、Ｗ（・，・）はワーピング演算子であり、Φｉαｉは構成要素ｘｉに対応する再構成された顔の構成要素である。
【０１１１】
本実施形態でのもう１つの課題は、結果として得られる美化された顔が元の顔から頑強で間違いなく認識可能であることを保持するように、元の顔に対してただ微小で微妙な修正を導入することで顔美化の目的を達成することである。本実施形態では、それぞれの顔の構成要素の認識性を個別に検討し、次のように視認性制約を記述する。
【０１１２】
【数２６】
2016085579.tif 000028
【０１１３】
ここで、Ｓ（）は例えばスケール不変特徴変換法（ＳＩＦＴ）（例えば、非特許文献３４参照）を用いて、画素領域のベクトルを、選択された特徴空間におけるベクトルにマッピングする関数である。ここで、スケール不変特徴変換法（ＳＩＦＴ）は、ある度合いまでスケーリング、回転、変換（これらにより、小さな変化がなされても認識度に対して影響を与えることはない）を行う。また、γは認識性の所望の度合いを指定する制約パラメータである。換言すれば、式（１５）は、顔美化の前後のパッチ間の特徴ベクトル差のｌ２−ノルムが大きすぎないようにする必要があることを示している。視認性のための基準として特徴ベクトル差のｌ２−ノルムを使用すると、オブジェクト検索の文献（例えば、非特許文献３３参照）と一致している。
【０１１４】
視認性の制約によって、顔再構成と顔構成要素の美化の問題を、次式で示すように、１つの統一されたデュアルスパースコーディングのフレームワークにまとめることができる。
【０１１５】
【数２７】
2016085579.tif 000029
【０１１６】
ここで、λ１，λ２はラグランジュ乗数であり、μは所定の繰り返し定数である。
【０１１７】
目的関数の最初の２つの項は、顔が特定された辞書行列Φｉに関する顔ベクトルｘｉを構成するためのスパースコーディングにおいて一般的である。第３項において、２つのスパースコードベクトルαｉ及びβｉの間の関係が確立される。そして、画像処理部１５Ａは次式を用いて出力顔画像データｙを生成して出力する。
【０１１８】
【数２８】
2016085579.tif 000030
【０１１９】
なお、式（１６）をどのようにして効率的に計算するかを詳細後述する。
【０１２０】
２−４−５．顔の輪郭調整
顔の輪郭は図２の顔輪郭調整部２３により実行され、人間の顔の魅力に高度に影響を与える。本実施形態では、以下の４つのステップを含み、基本的な考え方は、次のとおりである。
【０１２１】
（１）テストの顔と、学習美化された顔との両方について、平面のグラフは頂点として検出されたランドマークを有して構成され、当該グラフ中の辺の長さに対応する距離のベクトルが抽出される。
（２）テストの顔に対して、より美しい輪郭に対応する修正された距離ベクトルは、学習美しい距離ベクトルを使用して発見される。
（３）変形された距離ベクトルに従って、新たな平面グラフは、変更された距離にできるだけ近い新たなエッジの長さを形成するように生成される。
（４）美化された顔の輪郭は、複数のランドマークの結果の新しい位置にテストの顔をワープすることにより得られる。
【０１２２】
第１のステップのために、例えば非特許文献２３のようにランドマークのすべての対の間の距離を計算しないが、図４において１〜２５のように索引付けされた、顔の輪郭に沿った複数のランドマークの対の間の距離を計算する。主な課題は、修正された距離ベクトルをどのように検索するかにある。例えば非特許文献２３では、顔空間内のその顔のＫ個の最近傍（ＫＮＮ）の美しさでの重み付けされた平均を用いて距離ベクトルを修正することを提案している。しかし、これらのすべての固定されたＫ個の隣接ベクトルが、入力ベクトルに対して最初のＫ個の最も関連したものであることを保証するものではない。類似した最近傍の数がＫ未満である場合には、ＫＮＮは美化の性能を制限する関係のないサンプルを導入する。これとは対照的に、本実施形態では、適応型で柔軟なスパース隣接選択方法を提案する。修正されたものを再構成するために最小限の密接に関連する学習距離ベクトルを見つけることによって、この問題を解消することが可能である。
【０１２３】
Θは距離辞書を表し、その距離辞書のアトムは学習する美しい顔の距離ベクトルから構成される。次いで、テスト距離ベクトルｄのスパース表現は次式で表される。
【０１２４】
【数２９】
2016085579.tif 000031
【０１２５】
ここで、
【数３０】
2016085579.tif 000032
はスパース表現の係数ベクトルを示し、ｎは、辞書行列中のアトムの数である。次いで、近傍選択は、以下の基準に従って達成される。
【０１２６】
【数３１】
2016085579.tif 000033
【０１２７】
ここで、Ｎ（ｄ）はｄの近傍物であり、δは次式のように定義される近傍選択関数である。
【０１２８】
【数３２】
2016085579.tif 000034
【０１２９】
ここで、τはしきい値である。近傍物が決定されると、以下のように、Ｎ（ｄ）のすべての隣接の重みが計算される。
【０１３０】
【数３３】
2016085579.tif 000035
【０１３１】
最後に、修正された距離ベクトルは次式のように導出することができる。
【０１３２】
【数３４】
2016085579.tif 000036
【０１３３】
２−５．最適化アルゴリズム
本実施形態では、式（１６）で定式化したように、統一されたスパースコーディングのフレームワークにおける顔の構成要素の美化問題とともに、人間の顔に対する遮蔽物除去穴埋め問題を協働して解決する。しかし、式（１６）で定式化された目的関数は非凸であり（極値が存在しない）、スパースコードベクトルβｉ’に対する制約が存在し、その結果、制約された非凸最適化問題が生じる。これは直接的に解くことが難しい問題にしている。
【０１３４】
式（１６）における第３の調整項の正味の効果は、顔美化における原理の学習サンプルの数を制限することにある。すなわち、スパースコードベクトルβｉを構成するときにスパース性を促進することができる。これにより、スパースコーディングにおけるｌ０−ノルムなどと同様の効果がある。そこで、式（１６）の最適化問題を次式のように緩和する。
【０１３５】
【数３５】
2016085579.tif 000037
【０１３６】
ここで、すべての顔の構成要素が同じ目的関数を共有しているので、簡単に記述するために下付きインデックスｉを削除した。ＨΦをΦとして記載し、ｕは、式（１６）における線形制約をほぼ満たすように、スパースコードベクトルβにおける要素を変調するための重みｕｉのベクトルである。ベクトルｕは、式（１５）が次に説明されるように繰り返して解かれるので更新する必要がある。
【０１３７】
上記の目的関数はスパースコードベクトルα及びβに対してともに凸関数となっていない。上記目的関数を直接に最適化する代わりに、より効果的に問題を解決するための代替手順を採用する。具体的には、式（２２）の目的関数に取り込むために、上記目的関数を２つのサブ問題に分離する。すなわち、スパースコードベクトルαに関する最適化と、スパースコードベクトルβに関する最適化との２つのサブ問題に分離する。この手順は、収束するまで、又は所定の繰り返し数Ｔに達するまでのいずれか早い方になるまで繰り返される。以下では、初期化処理、２つのサブ問題とその最適な解法について説明する。
【０１３８】
２−５−１．初期化処理
次式の問題を解くことにより、固定されたスパースコードベクトルβのもとで初期のスパースコードベクトル（スパース表現の係数）αを得る。
【０１３９】
【数３６】
2016085579.tif 000038
【０１４０】
スパースコードベクトルαの最適解は、拡張ラグラジアン法（ＡＬＭ）（例えば、非特許文献３４参照）として知られる高速ｌ１−最小化アルゴリズムによって、効果的かつ効率的に解くことができる。
【０１４１】
２−５−２．スパースコードベクトルβに関する最適化
式（２３）で導出されたスパースコードベクトルαを用いて、スパースコードベクトルβに関する最適化問題は次式で表される。
【０１４２】
【数３７】
2016085579.tif 000039
【０１４３】
ここで、Ｓ（）は一般的な非線形マッピングであり、式（２４）における顔美化のペナルティ項（第１項）は画素領域での形状が不規則である実現可能な空間を記述する。このことは、図３中の領域４２によって図示されている。このことは、式（２４）における最適化を解くことを難しくしている。
【０１４４】
そこで、ベクトルΦαを中心とする二次のペナルティ項を有する式（２４）における顔美化のペナルティを近似する。
【０１４５】
図３は図２の画像処理部１５Ａにおいて実行されるデユアルコードベクトルの検索を説明するための図である。図３（ｂ）に示すように、不規則な形の領域４２は楕円（二次ペナルティ関数の断面）で近似されることがわかる。具体的には、フル行列として二次ペナルティ関数を記載することの代わりに、二次のペナルティ項を、線形変換行列Ｌを介して「座標の変化」を有するより簡単な重み付けされたｌ２−ノルムとして次式のように記載する。
【０１４６】
【数３８】
2016085579.tif 000040
【０１４７】
ここで、Ｗは、行列要素（ｉ，ｉ）に対して重みｗｉを有する対角行列である。
【０１４８】
上記の「座標の変化」については、下記の慣性のシルベスターの法則を用いる。慣性のシルベスターの法則は、基本の適切な変化を経由して、ｎ個の変数の実際の二次形式Ｑは次式の重み付けされた和の対角形式に変換できることを示している。
【数３９】
2016085579.tif 000041
【０１４９】
次いで、最適化問題は次式のように再定式化することができる。
【０１５０】
【数４０】
2016085579.tif 000042
【０１５１】
いまスパースコードベクトルαが固定されかつスパースコードベクトルが未知であるので、計算の便宜のため、ベクトルΦαを逆にパラメータ空間に折り返し、次の等価な最適化問題を得る。
【０１５２】
【数４１】
2016085579.tif 000043
【０１５３】
ここで、Ｗ−１（）は逆ワーピング演算子を表す。
【０１５４】
スパースコードベクトルβの重み付けされたスパース項であるｌ０−ノルムはまだ取り扱いが難しい。上記の最適化の近似された二次形式が与えられるとき、反復再重み付け最小二乗法（ＩＲＬＳ）を用いて（例えば、非特許文献３６参照）、重み付けされたｌ０−ノルムを、スパース促進法で重み付けされたｌ２−ノルムβＴＵβに置き換える。ここで、Ｕは要素（ｉ，ｉ）での重みｕｉを有するもう１つの対角行列である。最適化はいま次式のように書くことができる。
【０１５５】
【数４２】
2016085579.tif 000044
【０１５６】
ここで、Ｕｔが反復ｔにおけるＩＲＬＳ重み行列である。ある与えられた反復ｔにおける式（２１）の最小化はいま、次式で示すように、閉じた形式の解を有する制約なしの二次計画問題である（例えば、非特許文献３７参照）。
【０１５７】
【数４３】
2016085579.tif 000045
【０１５８】
ここで、Λ及びΞは２つの行列である。
【０１５９】
スパース性促進すべき重み付けされたｌ２−ノルムβＴＵβに対して、式（２８）は複数回解く必要があり、各反復ｔに対して、ＩＲＬＳ重み行列Ｕｔにおける複数の重みを調整する必要がある。具体的には、
【数４４】
2016085579.tif 000046
は数値の安定性のために選択されたパラメータε＞０に対して前の反復ｔ−１の解βｔ−１を用いて次式に更新される（詳細については、例えば、非特許文献３６参照）。
【数４５】
2016085579.tif 000047
【０１６０】
唯一残っている問題は、式（２５）における近似は良いものになるようにいかに線形変換行列Ｌ及び重みｗｉを選択するかにある。説明を容易にするために、スパースコードベクトルαが固定される場合、
【数４６】
2016085579.tif 000048
がベクトルΦαから外れたベクトルであるとする。二次ペナルティ関数Ｐ（ｖ）は、個別の構成要素の単純な重み付けされた和のみになるように、線形変換行列Ｌは座標系を変更する。すなわち、次式で表される。
【０１６１】
【数４７】
2016085579.tif 000049
【０１６２】
ここで、（）ｉがベクトル内のｉ番目の要素を表す。
【０１６３】
固定されたベクトルα０が与えられたときに、ベクトルα１に対して少量だけ摂動させるとする。ベクトルΦα０からベクトルΦα１への画素領域における変化は、ベクトルｖ１で表され、特徴ベクトルの変化は次式で表される。
【０１６４】
【数４８】
2016085579.tif 000050
【０１６５】
【数４９】
2016085579.tif 000051
は本質的に二次ペナルティ関数Ｐ（）を評価することを用いたサンプルポイントである。ここで、Ｋをそのようなサンプルであるとし、Ｋ＜Ｎとすると、次式を得る。
【０１６６】
【数５０】
2016085579.tif 000052
【０１６７】
これらのＫ個のベクトルｖＫは線形独立であると仮定すると、Ｋ次元空間を過ごすＫ個の直交基底のセットを構築するために、反復投影を行うことができる。これらの基底ベクトルを与えられると、これらのサンプル点を通過するようにＫ次元二次ペナルティ関数Ｐ（Ｋ）を設計することができる。もし次元の残り（Ｎ−Ｋ）がまた、Ｋ個の計算重みの平均である重みｗｉをそれぞれ有する直交基底ベクトルを有すると仮定すると、完全な１つのペナルティ関数を得る。
【０１６８】
２−５−３．スパースコードベクトルαに関する最適化
スパースコードベクトルβを固定すると、スパースコードベクトルαを最適化するためのサブ問題は次式で表される。
【０１６９】
2016085579.tif 000053
【０１７０】
簡単な代数学を用いて定数を削除すると、上記の目的関数は次のように再定式化することができる。
【０１７１】
2016085579.tif 000054
【０１７２】
これは事実式（２９）と同じ形式を有する。従って、当該問題は反復再重み付け最小二乗アルゴリズムによって解くことが効果的であることがわかる。
【０１７３】
Ｄ．スピードアップと時間的整合性
発明者らは、ただ単に単一の画像のために動作するものではなくテレビ会議用対話装置に適用するための最適化アルゴリズムを意図している。本手法では、前のフレームの計算された解ベクトルαｔ−１及びβｔ−１は、現在のフレームｔのベクトルαｔ及びβｔを解くためのＩＲＬＳ最適化の処理中において重み行列Ｕｔの初期化のために用いることができる。式（１８）における二次関数パラメータＬ及びｗはまた再使用され又はさらに精度を上げるように計算（リファイン）することができる。このパラメータの再使用には下記の２つの明白な利点がある。
（１）第一に、最適化処理中のＩＲＬＳに対して必要な繰り返し数を大幅に減少させることができ、従って、顔の再構成と美化の処理をスピードアップすることができる。
（２）第二に、実験で示されるように、類似の美化顔の構成要素を選択することで、すべてのフレーム間で時間的な一貫性を達成することができる。
【０１７４】
２−６．実験
当該実験及び実験結果は、提案された図２の画像処理部１５Ａのシステム性能を実証するために提示される。
【０１７５】
図４は図２の画像処理部１５Ａにおいて実行される典型的な画像のアライメント（位置合わせ）で用いるランドマークの一例を示す図である。発明者らの実験設定において、ディスプレイ１８の下部に配置されたＫｎｅｃｔカメラ１１Ａを用いて、図４に示すように、発明者らは、８人の顔画像をキャプチャしてテストサンプルとして使用した。図４から明らかなように、カメラ１１Ａでキャプチャされた顔画像と、ディスプレイ１８の中心から観測されるように視線補正された顔画像との角度差は従来技術文献（例えば、非特許文献２参照）のシステムよりもるかに大きいことに注意する必要がある。
【０１７６】
まず、辞書学習について以下に説明する。実験では、顔の再構成の処理が顔のディジタルカメラで撮影視点の領域及び現在の人の他の正面の写真で構成される特定顔データセットに基づいている。顔再構成のための辞書行列Φはパッチが賢明である。発明者らの実験では、辞書行列Φの学習のための５×５の小さなパッチをオーバーラップ抽出した。顔美化のプロセスは、オフライン美しい顔データセットに依存する。当該データセットは、それぞれ男性と女性、６００個のサンプルを含み、ウェブ上から収集された。年齢、肌の色や他の無関係な要因の影響を低減するために、発明者らは、美しい顔学習セットを構築するために、メガネなしで、正面にある４０代の二十代から年齢とともに中国、日本、韓国のテレビスターや映画スターを選択してその顔画像データを収集した。発明者らは、図３に示すように、顔領域を検出し、１０３個のランドマークを識別するためのアルゴリズム（例えば、非特許文献２１参照）を使用した。すべてのスターの顔はテストの顔の瞳孔間の距離で規格化され、２つの目が同一の位置になるように位置合わせされた。男性及び女性の美化顔が独自の辞書行列Ψとして使用された。
【０１７７】
顔美化のための辞書行列Ψは、顔の構成要素に基づいている。目と眉毛に対して、複数のマスクが、隣接するランドマークによって形成された凸ポリゴンで生成した。ここで、鼻のランドマークは近接する多角形を形成しなかった。従って、鼻のマスクが上部及び下部ランドマークポイントをカバーする三角形によって定義される。
【０１７８】
次いで、小さい視野角での撮像顔画像データについて以下に説明する。発明者らの実験において、完全を期すために、発明者らはまた、より小さな角度のケースについて検討した。ここで、自己遮蔽された画素は画面中央のビュー画像へのインパルス雑音のランダムな挿入によってシミュレーションした。実際の実験では、３０％の画素がランダムに挿入された。
【０１７９】
図５Ａは図２の画像処理部１５Ａによる画像処理結果であって、無表情のフレームに対する小さな撮像角度のときの画像処理結果の写真であり、上段は穴埋め処理のみの画像処理結果であり、下段は画像再構成及び顔美化処理の画像処理結果である。また、図５Ｂは図２の画像処理部１５Ａによる画像処理結果であって、少し笑みの表情のフレームに対する小さな撮像角度のときの画像処理結果の写真であり、上段は穴埋め処理のみの画像処理結果であり、下段は画像再構成及び顔美化処理の画像処理結果である。
【０１８０】
知覚的評価において、ＤＩＢＲで視線補正された顔を再構成し、顔美化の画像処理結果を図５Ａ及び図５Ｂに示した。図５Ａ及び図５Ｂの結果では、二人の男性のテストサンプル及び三人の女性のテストサンプルを含む。図５Ａ及び図５Ｂから明らかなように、視覚的に明らかに提案された方法は満足の再構成の結果を達成できたことがわかる。また、すべての穴を埋め、輪郭などの細かい顔の細部を再構成したことがわかる。良い顔再構成は、発明者らが構築し、特定の顔の辞書行列Φから有用な事前分布を導き出すことができるという事実に起因している可能性がある。顔の特徴は、顔画像を通して多くのことを変化させることができるが、顔の微細構造は、少数の元画像で表すことができることが見出される。これらの元画像は、単純なセルで受容可能なフィールドの形式で定性的に似ている。従って、いくつかの学習用の顔画像から抽出された多くのパッチを使用して、発明者らは良好にテスト用の顔画像を表すことができる辞書行列Φを学習することができる。
【０１８１】
図５Ａ及び図５Ｂの下段の結果から、発明者らは全てのテストサンプルは、顔の構成要素を美化していることをできる。全てのサンプルは、それらをより美しく見えるように拡大された目を持っている。最初の４つのサンプルは、より顕著に眉毛を持っている。なお、第２ないし第４のテストサンプルは、顔の輪郭を調整したより美しい顔の形になっている。また、第２のテストサンプルは、目の周りのしわが除去される。再構成のみの顔は鼻と髪の光を遮断による目の周りの暗い色合いを持っている。美化の面は、被験者がより活発に見えるようにするには、この影響を排除する。さらに重要なことは、いまだ再構成専用の顔に視線不一致少量が存在することに注意する必要がある。ここで、美化プロセスは完璧な視線補正を実現する。元の顔美化一つの違いは非常に微妙であり、そして、このように２つの面の間の類似は紛れもないである。しかし、微妙な変化は、明らかに、これらの面の魅力に顕著な影響を与える。ビデオ会議システムでは、時間的一貫性の問題を考慮すべきである。
【０１８２】
次いで、統計的評価について以下に説明する。
【０１８３】
美しさは主観的であるため、オブザーバーを選択して上で投票するために、発明者らは、ウエブページ上で美化前及び美化後の画像対を掲載した。具体的には、同じ人（ランダムな順序で美化前及び美化後）の顔画像対を発表し、好みの画像を「左」又は「右」を選択するようにユーザに要求した。これは、基本的に例えば非特許文献３８で説明された２つの代替強制選択（２ＡＦＣ）法である。画像を比較するこの方法は、そのような平均オピニオンスコア（ＭＯＳ）などの品質の評価によりよりノイズに対して敏感ではない方法である。
【０１８４】
図６は図２の画像処理部１５Ａによる顔美化された正面画像に対する投票結果を示すテーブルである。発明者らは、３７人の観測者から票を集めており、その結果は図６に要約される。例えば非特許文献３９に開示されたように、発明者らは、ある人の元の顔画像と美化後のバージョンの選択が一様にランダムであるという帰無仮説を想定しており、ピアソンのカイ二乗検定（例えば、非特許文献４０参照）を行い、各画像対のｐ値を計算した。経験則として、帰無仮説は、ｐ＜０．０５あれば拒否される。図６に示したように、視聴者は高い尤度を持つ三人の女性被験者（Ｂ１，Ｂ２，Ｃ１，Ｃ２、Ｄ１，Ｄ２）の美化画像（小さいｐ値）を選択する傾向があり、このように視聴者が元画像と美化画像の間で尤度がない帰無仮説は棄却できる。男性被験者（Ａ１，Ａ２）の場合は、視聴者の尤度は区別することが困難である。男性の美化はり主観的となりコンセンサスを達成することが難しくなる。
【０１８５】
図７は図２の画像処理部１５Ａによる画像処理結果であって、顔美化された顔画像をキャプチャされた画像に統合した結果であり、上段は元のキャプチャされた顔画像であり、下段は統合された顔画像である。図７において２つのテストサンプルの統合結果を示している。再構成された完全な顔画像は、視線一致とともに、前後での統合及び顔表情を保持している。
【０１８６】
以上説明したように、視線の不一致は、ビデオ会議システムでの既知の問題であるが、本実施形態では、デユアルスパースコードベクトルを用いて、ＤＩＢＲで合成された視線補正された顔画像に対して穴埋めと顔美化を協働して実行することで、知覚的に現実そのものよりも優れている実体験のように感じる没入型コミュニケーションの仮想現実画像を生成することを提供することを目的としている。大容量のコーパスデータの利用可能性を仮定すると、キーアイデアは、２つの辞書行列Φ，Ψをオフライン（ターゲットのテレビ会議用と美化顔用）を学習させることであり、これにより、リアルタイムに２つのスパースコードベクトルを求めることができる。１つのスパースコードベクトルは利用可能なＤＩＢＲで合成された画像に対するスパースコードベクトルであり、もう１つは、美化された顔に近接させながら受容可能なレベルの認識性を確立するように特徴空間の距離に関する第１のベクトルによく一致させるものである。さらに、必要に応じて、スパース近傍選択手順を経由して対象者の顔の輪郭を絞り込む。本発明者らは、大規模な実験を通して、強化された魅力性と一貫して自然に見える顔を合成することができることを示している。
【産業上の利用可能性】
【０１８７】
以上詳述したように、本発明によれば、対話装置のための画像処理装置において、対話者の視線が一致するように補正するとともに、「オクルージョン」の問題を同時に解決しかつ顔美化も行うことができる。
【符号の説明】
【０１８８】
１１…左側カメラ、
１１Ａ…カメラ、
１２…右側カメラ、
１３…画像データ取得部、
１４…視線補正部、
１５，１５Ａ，１９，２０…画像処理部、
１６…画像通信部、
１７…表示制御部、
１８…ディスプレイ、
２１…再構成処理部、
２２…顔美化処理部、
２３…顔輪郭調整部、
２４…画像ワーピング処理部、
３１，３２…辞書メモリ、
３３…顔輪郭メモリ。
【図１】
2016085579.tif 000056
【図２】
2016085579.tif 000057
【図３】
2016085579.tif 000058
【図６】
2016085579.tif 000059
【図４】
2016085579.tif 000060
【図５Ａ】
2016085579.tif 000061
【図５Ｂ】
2016085579.tif 000062
【図７】
2016085579.tif 000063