(57)【要約】入力された画像から被写体の顔器官の位置である顔器官情報を検出する顔器官情報検出部と、前記顔器官情報から前記被写体の顔向き情報を算出する顔向き情報算出部と、前記顔器官情報と前記顔向き情報とから前記被写体の顔向きを変更した画像を生成する任意顔向き画像生成部と、を備え、前記任意顔向き画像生成部は前記顔向き情報により顔が傾いていると判定した場合に、前記被写体の正面顔における顔器官配置である正面顔器官情報に基づいて前記顔向き情報に補正を施した後、任意の顔向きの画像を生成することを特徴とする画像処理装置。
2015186519.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像から被写体の顔器官の位置である顔器官情報を検出する顔器官情報検出部と、
前記顔器官情報から前記被写体の顔向き情報を算出する顔向き情報算出部と、
前記顔器官情報と前記顔向き情報とから前記被写体の顔向きを変更した画像を生成する任意顔向き画像生成部と、を備え、
前記任意顔向き画像生成部は前記顔向き情報により顔が傾いていると判定した場合に、前記被写体の正面顔における顔器官配置である正面顔器官情報に基づいて前記顔向き情報に補正を施した後、任意の顔向きの画像を生成することを特徴とする画像処理装置。
【請求項２】
前記任意顔向き画像生成部は、前記顔器官情報と前記顔向き情報とから、前記顔器官の位置を変更する処理と前記顔器官を変形する処理とにより前記被写体の顔向きを変更した画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記任意顔向き画像生成部は、前記顔器官情報に応じて前記顔器官の位置を変更する処理と前記顔器官を変形する処理との割合を調整することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記任意顔向き画像生成部は、前フレームにおいて正面顔であると判定された被写体の顔配置を正面顔器官情報とする処理と、顔の黄金比に基づいて算出された顔器官の位置を正面顔器官情報とする処理との少なくとも一つを用いて前記顔向き情報を補正することを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
【請求項５】
被写体を撮像する撮像部と、前記撮像部で撮像された前記被写体の画像を処理する請求項１に記載の画像処理装置と、を備えることを特徴とする画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像部の撮像方向と表示部の表示方向が揃うような場合に好適な画像を生成する画像処理装置、及びその画像処理装置を備える画像表示装置に関する。
【背景技術】
【０００２】
携帯電話、タブレット端末、ノートＰＣやテレビなどの各種ディスプレイにおいて、撮像部の撮像方向と表示部の表示方向とを同一の方向に向けて配置し、自分の顔を被写体として撮像する方法がある。【０００３】
この方法の代表的なアプリケーションには以下の２つがある。１つは、撮像した画像を左右反転させて鏡像表示することで自分の顔の確認が必要な化粧などの作業を可能にするミラー機能である。もう１つは、遠隔地の相手が保有するディスプレイに撮像画像を表示することで遠隔地の相手との会話を可能にするビデオチャット、もしくはＴＶ会議機能である。【０００４】
ミラー機能では表示部に自分の顔が表示され、ビデオチャットでは表示部に相手の顔が表示されるため、使用者は撮像部ではなく、表示部に顔を向けることになる。撮像される被写体の顔の向きと撮像部の撮像方向が一致しないため、撮像される被写体は正面を向いておらず、ディスプレイに対して撮像部が上側に配置されている場合は下向きの顔が、ディスプレイに対して撮像部が下側に配置されている場合は上向きの顔が、ディスプレイに対して撮像部が左右いずれかに設置されている場合は横向きの顔が表示部に表示される。この被写体の顔向きを変更する方法として、例えば、下記特許文献１では、被写体となる人物の二次元顔写真に基づいて、当該人物の三次元ポートレートを正確に作成する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−９７５８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の方法では、二次元顔写真の向きを調整した上で頭部三次元モデルを生成しており、二次元顔写真の向きと調整された向きとが異なる値の場合、好適な画像を生成することは困難であった。例えば、二次元顔写真の向きよりも調整された向きが小さい場合、生成画像における被写体の目と鼻との間の長さが縮んでしまったり、二次元顔写真の向きよりも調整された向きが大きい場合、生成画像における被写体の目と鼻との間の長さが伸びてしまったりと、実際の顔に近い好適な任意の顔向き画像を生成することは難しかった。【０００７】
本発明は上記課題を鑑みて発明されたものであり、撮像部の撮像方向と表示部の表示方向が揃うような場合に、好適な画像を生成する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一観点によれば、入力された画像から被写体の顔器官の位置である顔器官情報を検出する顔器官情報検出部と、前記顔器官情報から前記被写体の顔向き情報を算出する顔向き情報算出部と、前記顔器官情報と前記顔向き情報とから前記被写体の顔向きを変更した画像を生成する任意顔向き画像生成部と、を備え、前記任意顔向き画像生成部は前記顔向き情報により顔が傾いていると判定した場合に、前記被写体の正面顔における顔器官配置である正面顔器官情報に基づいて前記顔向き情報に補正を施した後、任意の顔向きの画像を生成することを特徴とする画像処理装置が提供される。【０００９】
本発明において、顔向き情報が不正確な場合、あらかじめ設定されている被写体の正面顔における目や鼻などの顔器官の位置と、顔向き情報から算出した正面顔における顔器官の位置とを用いて、顔向き情報のずれを補正してから、任意の顔向き画像を生成する。【００１０】
本明細書は本願の優先権の基礎である日本国特許出願２０１４−１１８０２４号の明細書および／または図面に記載される内容を包含する。
【発明の効果】
【００１１】
本発明によれば、撮像部の撮像方向と表示部の表示方向が揃うような場合に、被写体の顔向きと正面顔における顔器官の配置を考慮して、任意の顔向き画像を生成することができ、好適な画像を生成できるようになる。
【図面の簡単な説明】
【００１２】
【図１Ａ】本発明の第１の実施の形態による画像処理装置を備える撮像部付き画像表示装置の一構成例を示す機能ブロック図である。
【図１Ｂ】本実施の形態による任意顔向き画像生成部の一構成例を示す機能ブロック図である。
【図２】顔器官情報部で検出される顔器官情報を説明する図である。
【図３】被写体の顔向きを表す軸を説明する図である。
【図４】軸に対する被写体の顔向きを説明する図である。
【図５】ｘ軸、ｙ軸、ｚ軸に対する顔の傾きの算出方法を説明する図である。
【図６】本発明の第１の実施の形態における画像処理の流れを示すフローチャート図である。
【図７】特徴点と目標点とを用いた座標変換を説明する図である。
【図８】顔器官ごとに特徴点と目標点との位置を調整した例を説明する図である。
【図９】正面顔器官情報を説明する図である。
【図１０】顔器官の位置を変更する方法を説明する図である。
【図１１】本発明の第３の実施の形態による画像処理装置を備える撮像部付き画像表示装置の一構成例を示す機能ブロック図である。
【図１２】本発明の第３の実施の形態における画像処理の流れを示すフローチャート図である。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して本発明の実施の形態について説明する。なお、添付図面は本発明の原理に則った具体的な実施の形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。また、各図における構成は、理解しやすいように誇張して記載しており、実際の間隔や大きさとは異なる。
【００１４】
以下においては、例えば、携帯電話、タブレット、ノートＰＣやテレビなどの各種画像表示装置において、撮像部の撮像方向と表示部の表示方向とを同一の方向に向けて配置し、自分の顔を被写体として撮像することができるようにする画像処理の例について説明する。
＜第１実施の形態＞
図１Ａは、本発明の第１の実施の形態による画像処理装置１０１と、画像処理装置１０１を備える撮像部付き画像表示装置１０２の一構成例を示す機能ブロック図であり、撮像部１０３で被写体を撮像して、撮像した画像から好適な画像を生成し、生成画像を表示部１０４に表示する装置の例を示す図である。
【００１５】
以下、本発明の第１の実施の形態のシステム構成例及び動作例の詳細を、図１Ａを参照して詳細に説明する。
【００１６】
図１Ａに示すように、本実施の形態による画像表示装置１０２は、撮像部１０３と、表示部１０４と、記憶部１０５と、画像処理装置１０１と、入出力部１０６と、を備える。
【００１７】
撮像部１０３は、撮像レンズ及びＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔaｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備えており、被写体の静止画や動画を撮像できる。
【００１８】
表示部１０４は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ：液晶ディスプレイ）や有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示画面であり、画像や文字などの情報や被写体の画像等を表示する。
【００１９】
画像処理装置１０１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：中央処理装置）やＧＰＵ（Ｇｒａｐｈｉｃ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：画像用処理装置）等で構成することができ、撮像部１０３、記憶部１０５、入出力部１０６等から画像を取得して処理し、表示部１０４、記憶部１０５等へ処理後の画像を出力する。
【００２０】
また、画像処理装置１０１は、例えば、顔器官情報検出部１０７と顔向き情報算出部１０８と任意顔向き画像生成部１０９と、表示制御部１１０と、を備えている。
【００２１】
顔器官情報検出部１０７は、画像処理装置１０１に入力される画像から、顔器官情報、すなわち被写体の顔器官の位置を検出する。
【００２２】
顔向き情報算出部１０８は、顔器官情報検出部１０７で検出された顔器官情報を基に、被写体の顔向き情報を算出する。
【００２３】
任意顔向き画像生成部１０９は、顔向き情報算出部１０８で算出された顔向き情報を基に被写体の顔向きが、例えば正面方向など所定の方向でないと判定した場合、顔器官情報検出部１０７で検出された顔器官情報と、顔向き情報算出部１０８で算出された顔向き情報と、正面顔における被写体の顔器官配置を表す正面顔器官情報とを用いて、被写体の顔向きを任意の顔向きに変更した画像を生成する。なお、正面顔器官情報は予め生成された情報であり、詳細は後述する。
【００２４】
表示制御部１１０は、任意顔向き画像生成部１０９で生成された画像を表示部１０４に表示する制御を行う。
【００２５】
記憶部１０５は、例えばフラッシュメモリやハードディスクであり、画像と正面顔器官情報等を記憶したり、機器固有のデータを保存したりする。
【００２６】
入出力部１０６は、キーボタンやマイクやスピーカー等の音声入出力装置等、ユーザの命令や音声、指定した目標顔向きなどを画像処理装置１０１に入力したり音声を出力したりする。
【００２７】
以上が第１の実施の形態のシステム構成例を示す図である。
【００２８】
次に、第１の実施の形態における画像表示装置１０２の動作について図２乃至図９を用いて詳しく説明する。まず、顔器官情報検出の動作について、図２を用いて詳しく説明する。図２は、顔器官情報検出部１０７で検出される顔器官情報を説明する図である。
【００２９】
図３は、被写体の顔向きを表す軸を説明する図であり、図４は、３次元座標の各軸に対する被写体の顔向きを説明する図であり、図５は、ｘ軸、ｙ軸、ｚ軸に対する顔の傾きの算出方法を説明する図である。図６は、本実施の形態における画像処理の流れを示すフローチャート図である。
【００３０】
まず、処理が開始され（ＳＴＡＲＴ）、ステップＳ１において、撮像部１０３により撮像された画像を画像処理装置１０１が取得し、ステップＳ２において、顔器官情報検出部１０７は、画像から、被写体の顔器官情報を抽出する。ここで、顔器官情報とは、被写体の目や鼻や口などの顔の構成要素の位置である。図２において、顔器官情報の一つである被写体Ｈの左目中心の位置を座標２０１で表す。ここで、被写体Ｈの左目を画像の左側に写っている目のこと、すなわち、被写体Ｈにとっての右目、とする。左目中心の位置を表す座標２０１とは、画像の横方向をｘ軸２０２、縦方向をｙ軸２０３、画像の左上座標を原点２０４（ｘ、ｙ）＝（０、０）としたとき、（ｘ、ｙ）＝（ｘ軸成分２０５、ｙ軸成分２０６）となる位置である。同様に、被写体Ｈの左目目頭の位置を座標２０７、左目目尻の位置を座標２０８、右目中心の位置を座標２０９、右目目頭の位置を座標２１０、右目目尻の位置を座標２１１、鼻中心の位置を座標２１２、そして、口中心の位置を座標２１３で表す。ここでは、顔器官情報を目６点、鼻１点、口１点として説明したが、さらに、鼻左端、鼻右端、口左端、口右端など、顔を構成する目や鼻、口などの要素１つに対し、複数点を割り当てると、顔器官の変形度合いを細かく設定でき、違和感のない画像を生成できるため好適である。
【００３１】
画像から顔器官情報を検出する方法は、例えば、テンプレートを利用したパターンマッチングによる方法や、多数の顔器官画像と顔器官以外の画像（非顔器官）の学習サンプルから統計的に識別関数を求め、顔器官情報を検出する方法（Ｐ．Ｖｉｏｌａ  ａｎｄ  Ｍ．Ｊｏｎｅｓ，“Ｒａｐｉｄ  ｏｂｊｅｃｔ  ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  ｂｏｏｓｔｉｎｇ  ｃａｓｃａｄｅ  ｏｆ  ｓｉｍｐｌｅ  ｆｅａｔｕｒｅｓ”，Ｐｒｏｃ．ＩＥＥＥ  Ｃｏｎｆ．ＣＶＰＲ，ｐｐ．５１１−５１８，２００１）が知られており、上述した方法を用いることで実現できる。以上により、顔器官情報の検出がなされる。
【００３２】
次に、ステップＳ３において、顔向き情報算出部１０８が、顔器官情報を用いて被写体の顔向き情報を算出する。顔向き情報算出部１０８の動作について、図３から図５までを参照して説明する。
【００３３】
顔向き情報算出部１０８では、顔器官情報を用いて被写体の顔向きを算出する。被写体の顔向きは図３に示すｘ軸３０１、ｙ軸３０２、ｚ軸３０３に対する傾きで表す。ｘ軸３０１は被写体の顔の左端から右端を通る水平の軸のことで、ｙ軸３０２は被写体の顔の下端から上端への垂直方向の軸のことで、ｚ軸３０３は被写体の顔の前面から背面を通る軸のことである。
【００３４】
次に、図４を用いて各軸に対する顔の傾きと顔向きとの関係を説明する。図４（ａ）、（ｂ）に示すように、被写体Ｈを上方から見ると、ｘ軸に対する顔の傾き４０１（θ１）が正の値の場合は（ａ）、顔の向きが右方向、すなわち被写体にとっては左方向であることを、顔の傾き４０２（θ１）が負の値の場合は（ｂ）、顔の向きが左方向、すなわち被写体にとっては右方向であることを表す。
【００３５】
図４（ｃ）、（ｄ）に示すように、被写体Ｈを側方から見ると、ｙ軸に対する顔の傾き４０３（θ２）が正の値の場合は（ｃ）、顔向きが上方向であることを、顔の傾き４０４（θ２）が負の値の場合は（ｄ）、顔向きが下方向であることを表す。
【００３６】
図４（ｅ）、（ｆ）に示すように、被写体Ｈを側方から見ると、ｚ軸に対する顔の傾き４０５（θ３）が正の値の場合は、顔の傾きが時計回りに傾いていることを、顔の傾き４０６（θ３）が負の値の場合は、顔の傾きが反時計回りに傾いていることを表す。ｘ軸に対する顔の傾きと、ｙ軸に対する顔の傾きが０のとき、被写体は正面を向いていることを表す。
【００３７】
次に、図５を用いてｘ軸、ｙ軸、ｚ軸に対する顔の傾きの算出方法を説明する。適宜、図４を参照する。ｘ軸に対する顔の傾きは、例えば、左右の目の長さの比から算出する。左右の目の長さをそれぞれ、目頭の位置と目尻の位置との長さとする。図示しないが、例えば、点Ａの座標を（ｘ１，ｙ１）、点Ｂの座標を（ｘ２，ｙ２）とすると、点Ａと点Ｂ間の長さＬは点Ａと点Ｂ間のユークリッド距離として式（１）で算出できる。
2015186519.tif 000003
【００３８】
式（１）を用い、左目の目頭の位置の座標と左目の目尻の位置の座標とから左目の長さ５０１（Ｌ１）を算出する。同様に、式（１）を用い、右目の目頭の位置の座標と右目の目尻の位置の座標とから、右目の長さ５０２（Ｌ２）を算出する（図５（ａ））。次に、式（２）を用いて、左右の目の長さの比Ｃ１を算出する。
2015186519.tif 000004
【００３９】
ここで、左目の長さをＬ１、右目の長さをＬ２とする。左右の目の長さの比Ｃ１からｘ軸に対する被写体の顔の傾きθ１を、式（３）を用いて算出する。
2015186519.tif 000005
【００４０】
以上の処理により、ｘ軸に対する被写体の顔の傾きθ１を算出する。
【００４１】
ｙ軸に対する顔の傾きは、図５（ｂ）に示すように、被写体の目と鼻との長さ５０３と瞳孔間の長さ５０４との比と、ｘ軸に対する顔の傾きθ１から算出する。被写体の瞳孔間の長さ５０４は、式（１）を用いて、被写体の左目中心の位置座標５０５と右目中心の位置座標５０６との長さを算出する。このとき、瞳孔間の長さは被写体のｘ軸に対する顔の傾きθ１が大きくなると、短く算出されてしまうため、被写体の正面顔における瞳孔間の長さを算出するために、式（４）を用いて瞳孔間の長さを補正する。
2015186519.tif 000006
【００４２】
ここで、補正前の瞳孔間の長さをＬ３、補正後の瞳孔間の長さをＬ３’とする。被写体の目と鼻との長さ５０３は、被写体の左目中心と右目中心との中間点の位置座標５０７と、鼻の位置座標とから式５０８を用いて算出する。被写体の目と鼻との長さＬ４と補正後の瞳孔間の長さＬ３’との比Ｃ２は、式（５）を用いて算出する。
2015186519.tif 000007
【００４３】
被写体の目と鼻との長さＬ４と補正後の瞳孔間の長さＬ３’との比Ｃ２から、ｙ軸に対する被写体の顔の傾きθ２を、式（６）を用いて算出する。
2015186519.tif 000008
【００４４】
ここでＫ１を正面顔における目と鼻との長さと瞳孔間の長さとの比とする。このＫ１は、事前に複数人の正面顔を撮影しておき、それらから算出した目と鼻との長さと瞳孔間の長さとの比の平均値や中間値を用いてもよいし、事前に被写体の正面顔を撮影しておき、それから算出した比を設定してもよい。以上の処理により、ｙ軸に対する被写体の顔の傾きθ２を算出する。
【００４５】
ｚ軸に対する被写体の顔の傾きは、図５（ｃ）に示すように、瞳孔間の長さ５０４と左目と右目との縦方向のずれ５０９とから算出する。左目と右目との縦方向のずれ５０９は、左目の位置座標５１０と右目の位置座標５１１とのｙ座標の差の絶対値で表す。Ｚ軸に対する被写体の顔の傾きθ３を式（７）で算出する。
2015186519.tif 000009
【００４６】
ここで、左目の位置座標５１０と右目の位置座標５１１とのｙ座標の差の絶対値５０９をＧとする。
【００４７】
以上の処理により、顔向き情報として被写体のｘ、ｙ、ｚ軸に対する顔の傾きを表す顔向きθ１、θ２、θ３［度］を算出し、任意顔向き画像生成部１０９に出力する。
【００４８】
最後に、任意顔向き画像生成部１０９の動作について、図１Ｂと、図６と、図７乃至図１０を参照して詳細に説明する。図１Ｂは、任意顔向き画像生成部１０９の一構成例を示す機能ブロック図である。図７は特徴点と移動点との関係を説明するための図である。図８は顔器官ごとに特徴点と目標点との位置を調整した例を説明するための図である。図９は、正面顔器官情報を説明するための図である。図１０は、顔器官の位置を変更する方法を説明する図である。
【００４９】
図１Ｂに示すように、任意顔向き画像生成部１０９は、目標顔向き情報取得部１０９−１と、正面顔判定部１０９−２と、正面顔器官情報取得部１０９−３と、補正顔器官情報算出部１０９−４と、顔向き情報補正部１０９−５と、任意顔向き画像生成処理部１０９−６と、を有している。このように、任意顔向き画像生成部１０９は、顔器官の位置を変更し、顔器官を変形させることで、任意の顔向き画像を生成する処理を行う。
【００５０】
まず、ステップＳ４において、目標顔向き情報取得部１０９−１、入出力部１０６からユーザが指定した目標顔向き情報を取得する。
【００５１】
ステップＳ５において、正面顔判定部１０９−２が、ステップＳ３において算出した顔向き情報を基に、被写体の顔が正面顔か否かの判定を行う。被写体の顔が正面顔であれば、ステップＳ９〜Ｓ１０の処理を実行する。被写体の顔が正面顔でなければ、ステップＳ６〜Ｓ１０の処理を実行する。
【００５２】
入力された画像の被写体の顔向きが正面顔でない場合（ステップＳ５でＮｏ）、まずステップＳ６において、正面顔器官情報取得部１０９−３が、記憶部１０５から正面顔器官情報を取得する。次いで、ステップＳ７において、補正顔器官情報算出部１０９−４が、ステップＳ２で抽出した顔器官情報とステップＳ３で算出した顔向き情報とから正面顔における顔器官情報を算出する。
【００５３】
ステップＳ８において、補正顔器官情報算出部１０９−４が、ステップＳ６で取得した正面顔器官情報とステップＳ７で算出した正面顔における顔器官情報とから顔向き情報を補正する。すなわち、正面顔における顔器官の位置を算出し、算出した顔器官の位置と、あらかじめ設定されている正面顔器官情報とを比較して顔向き情報に補正を施す。
【００５４】
次に、ステップＳ９において、任意顔向き画像生成処理部１０９−６が、顔器官情報と顔向き情報とから任意顔向き画像を生成する。
【００５５】
次に、ステップＳ１０において、任意顔向き画像生成部１０９が、生成した画像を表示部１０４に出力することで、表示部１０４に適切な画像を表示させることができる。
【００５６】
以上のようにして、第１の実施の形態の画像表示装置１０２は動作する(END)。これにより、顔器官の位置が不自然な位置に移動せず、違和感の少ない好適な画像を生成する。
【００５７】
ステップＳ８に示すように、画像中の顔器官の位置を変更、及び、形を変形させる方法として、アフィン変換やＢ−ｓｐｌｉｎｅ変換、ｒｉｇｉｄＭＬＳ（Ｓ．Ｓｃｈａｅｆｅｒ、  Ｔ．ＭｃＰｈａｉｌ  ａｎｄ  Ｊ．Ｗａｒｒｅｎ，“Ｉｍａｇｅ  Ｄｅｆｏｒｍａｔｉｏｎ  ｕｓｉｎｇ  ｍｏｖｉｎｇ  ｌｅａｓｔ  ｓｑｕａｒｅｓ”，  ＡＣＭ  Ｔｒａｎｓ．Ｇｒａｐｈ，ｖｏｌ．２５，ｎｏ．３，ｐｐ．５３３−５４０，２００６）がある。これらは、画像中に設定した特徴点と、その特徴点の移動先の点、すなわち目標点を設定し、特徴点と目標点とを近づけるような座標変換を行う方法である。図７（ａ）、（ｂ）を用いて特徴点と目標点とを用いた座標変換を説明する。例えば、入力された顔画像６０１において検出された顔器官の位置を特徴点６０２とし、その特徴点すべてに対し、特徴点からｙ軸方向に画素数６０３だけずれた位置を目標点６０４に設定し、座標変換を施すと、顔器官がｙ軸方向に画素数６０３だけ、移動した画像６０５を生成できる。
【００５８】
さらに、図８（ａ）、（ｂ）を用いて、顔器官ごとに特徴点と目標点との位置を調整した例を説明する。入力画像７０１において、顔器官の目７０２と鼻７０３と口７０４とで特徴点と目標点との差を変更する。すなわち、顔器官の目、すなわち特徴点７０２に対し、特徴点７０２から画素数７０５ずれた位置を目標点７０６に設定する。次に、顔器官の鼻、すなわち特徴点７０３に対し、特徴点７０３から画素数７０７ずれた位置を目標点７０８に設定する。顔器官の口、すなわち特徴点７０４に対し、特徴点７０４から画素数７０９ずれた位置を目標点７１０に設定する。以上の特徴点と目標点との設定を基に座標変換を施すと、入力画像７０１の目と鼻との長さ７１１よりも、生成画像７１２の目と鼻との長さ７１３が長くなるため、顔器官の位置関係、すなわち顔器官の配置を変更した画像を生成できる。このとき、画像端や被写体の輪郭周辺に特徴点と目標点とが同じ位置となる点、すなわち入力画像と出力画像とで位置が変化しない点を設定しておくと、被写体の顔以外の領域における歪みが抑えられるため好適である。
【００５９】
まず、被写体の正面顔における顔器官の位置を算出し（ステップＳ７）、算出した顔器官の位置と、あらかじめ設定されている正面顔器官情報とを比較して顔向き情報に補正を施す（ステップＳ８）方法を説明する。被写体の正面顔とは、顔向き情報のうちｘ軸に対する傾きθ１と、ｙ軸に対する傾きθ２が０となる顔向きのことである。入力された顔の瞳孔間の長さＬ３と、目と鼻との長さＬ４と顔向き情報θ１とθ２とから、正面顔における顔の瞳孔間の長さＬ３’と目と鼻との長さＬ４’とを算出する。ｘ軸に対する顔向きの傾きを表す顔向き情報θ１を用いて、正面顔における瞳孔間の長さＬ３’を式（４）で算出する。次に、ｙ軸に対する顔向きの傾きを表す顔向き情報θ２を用いて、補正後の目と鼻との長さＬ４’を式（８）で算出する。
2015186519.tif 000010
【００６０】
次に、正面顔器官情報に基づいた顔向き情報を補正する方法を説明する。顔向き情報に基づき算出した正面顔における瞳孔間の長さＬ３’と、正面顔における目と鼻との長さＬ４’と、あらかじめ定められた正面顔器官情報における瞳孔間の長さＬ３”と目と鼻との長さＬ４”とを用いて、顔向き情報を補正する。ｘ軸に対する傾きθ１の補正量θ１’を式（９）で算出する。
2015186519.tif 000011
【００６１】
ｙ軸に対する傾きθ２の補正量θ２’は式（１０）で算出する。
2015186519.tif 000012
【００６２】
次に、正面顔器官情報について図９を用いて説明する。正面顔器官情報は、予め入力された正面顔の画像から生成する。このとき入力される正面顔の画像は、静止画でも動画でも良い。また、入力が複数フレームある動画像の場合、撮像部からリアルタイムで撮影された動画でも良い。この場合、撮影された動画の全てのフレームが正面顔である可能性は低く、このような場合は、過去フレームにおいて正面顔と判定された被写体の顔器官の位置を用いて、正面顔器官情報を生成する。過去フレームにおいて正面顔と判定された被写体の顔器官の位置が複数ある場合は、顔器官の位置の平均値や中間値などを用いる。上述で説明した入力画像が、いずれも静止画の場合や、過去フレームにおいて正面顔と判定されなかった場合は、人間の顔の黄金比（標準値）を用いて正面顔器官の位置を算出する。黄金比とは、平均的な人間８０１の顔器官の配置のことである。例えば、瞳孔間の長さ８０２と、目と鼻との長さ８０３との比が、３２：２５となるように設定したり、頭上端８０４と目８０５との長さ８０６と、目８０５と顎下８０７との長さ８０８の比が、１：１となるように設定したり、左目の目頭８０９と右目の目頭８１０との間の長さ８１１と、目の長さ８１２との比が１：１となるように設定するなど、生成した画像中の顔器官の位置が平均的な人間の顔器官配置から逸脱しないように設定する。
【００６３】
以上の処理により、正面顔器官情報を算出する際、入力される正面顔の画像が動画の場合、被写体の正面顔における顔器官の配置を用いることができ、被写体の正面顔を正確に生成することができるため好適である。また、入力される正面顔の画像が静止画や、動画でも過去フレームにおいて正面顔と判定されることがなかった場合、顔の黄金比を用いて被写体の正面顔における顔配置を設定することで、生成した画像中の顔器官の位置を平均的な人間の顔器官配置に近づけることができるため好適である。
【００６４】
次に、ステップ９に示すように、任意の顔向き画像を生成するために、被写体の顔器官の位置を変更する方法と、顔器官を変形する方法の２つを用いる。まず、顔器官の位置を変更する方法を、図１０を用いて説明する。顔器官の位置変更は、顔向き情報算出部１０８で算出した顔向き情報θ１、θ２、θ３と、正面顔位置情報を用いて算出した顔向き情報の補正量θ１’とθ２’と、生成される顔向きを表す目標顔向き情報φ１、φ２を用いて行う。すなわち、顔向き情報θ１＋θ１’、θ２＋θ２’と、目標顔向き情報φ１、φ２との差分が変更させる顔向き情報となる。ここで、顔向き差分情報をφ１’（＝θ１＋θ１’−φ１）、φ２’ （＝θ２＋θ２’−φ２）とする。顔器官の位置のｘ軸方向の移動量９０１と、ｙ軸方向の移動量９０２を算出し、ｚ軸に対する顔向き情報θ３を用いてｚ軸方向の移動量を付加し、顔向き変更後の顔器官の位置を算出する。ｘ軸に対する顔向き差分情報φ１’を用いて、顔向き変更後の瞳孔間の長さ９０３を式（１１）で算出する。
2015186519.tif 000013
【００６５】
ここで、顔向き変更後の瞳孔間の長さをＭ３とする。
【００６６】
入力画像における瞳孔間の長さ９０４と顔向き変更後の瞳孔間の長さ９０３との差が、顔器官の横方向、すなわちｘ軸方向の移動量９０１となる。次に、ｙ軸方向の移動量９０２の算出方法を説明する。ｙ軸に対する顔向き差分情報φ２’を用いて、顔向き変更後の目と鼻との長さ９０５を式（１２）で算出する。
2015186519.tif 000014
【００６７】
ここで、入力画像における目と鼻との長さをＬ４，顔向き変更後の目と鼻との長さをＭ４とする。入力画像における目と鼻との長さ９０６と、顔向き変更後の目と鼻との長さ９０５との差が、顔器官の縦方向、すなわちｙ軸方向の移動量９０２となる。算出されたｘ軸方向の移動量９０１とｙ軸方向の移動量９０２は、ｚ軸に対する顔傾きθ３が考慮されていないため、式（１３）と（１４）を用いて、目標点（Ｑｘ，Ｑｙ）を算出する。
2015186519.tif 000015
【００６８】
2015186519.tif 000016
【００６９】
ここで、ｘ軸方向の移動量をＥ１，ｙ軸方向の移動量をＥ２、入力画像中の特徴点を（Ｐｘ、Ｐｙ）とする。
【００７０】
次に、顔器官の形を変形する方法について説明する。顔向きがｘ軸に対して傾いている場合、目の長さを正面顔器官情報から算出される値に揃えるよう目標点を設定する。例えば、左目の長さＬ１と右目の長さＬ２との比Ｌ１：Ｌ２が、正面顔器官情報から算出した左目の長さＤ１と右目の長さＤ２との比Ｄ１：Ｄ２とが等しくなるように目の長さを補正するよう目標点を設定する。左目の長さと右目との長さとの比Ｄ１：Ｄ２とは、過去フレームにおける正面顔配置の左目の長さＤ１と右目の長さＤ２である。過去フレームが利用できない場合は、Ｄ１：Ｄ２＝１：１を用いる。
【００７１】
顔向きがｙ軸に対して傾いている場合、左目の長さと右目の長さと鼻の長さと口の長さとがそれぞれ拡大または縮小するため、正面顔配置から算出される値に揃えるよう目標点を設定する。例えば、左目の長さＬ１と、正面顔器官情報から算出した左目の長さＤ１とが等しくなるように、左目の長さＬ１を拡大または縮小するように目標点を設定する。右目の長さ、鼻の長さ、口の長さも、同じ様に正面顔器官情報から算出した各々対応する顔器官の長さと等しくなるように目標点を設定する。設定した入力画像中の１つ以上の特徴点と、特徴点に対応する目標点を用いて、入力画像に画像変形を施し、顔器官を変形させた画像を生成する。
【００７２】
また、顔器官の長さだけでなく、目の大きさや鼻の向き、口角の位置などを変更するように目標点を設定すると、顔向きを変更した効果を強調できるため好適である。
【００７３】
このようにして、任意顔向き画像生成部１０９は、設定した入力画像中の１つ以上の特徴点と、特徴点に対応する目標点を用いて、入力画像に画像変形を施し、顔器官の位置が変更された画像を生成する。
【００７４】
ここで、任意顔向き画像生成部１０９は、上記のように生成した画像に対し、正面顔器官情報を用いて、さらに顔器官を変形させる。
【００７５】
以上のようにして、第１の実施形態の画像表示装置１０２は動作する。
【００７６】
上述した本発明に係る画像処理装置１０１を備える画像表示装置１０２によれば、被写体の顔向きと正面顔配置を考慮して適切に画像処理することができ、好適な画像を表示することができる。
＜第２実施の形態＞
本発明の第２の実施の形態について説明する。本実施の形態では、さらに、顔器官の位置を変更させる処理と、顔器官を変形させる処理を、被写体の顔器官情報に応じて、入力画像に施す割合を変化させると、顔向きが大きい場合や顔器官が全て検出されなかった場合でも、顔向きが変わったかのような効果を得ることができるため、好適である。例えば、顔器官情報から算出した入力画像中の顔向きがｘ軸に対して９０度、すなわち横顔で、目標顔向きが０度、すなわち正面顔を生成するように指定されている場合、顔器官の位置を変更させる処理は目標顔向きがｘ軸に対して７０度の段階までとし、顔器官を変形させる処理において、目の形が正面を向くように補正する処理を施すことで、顔向きを変更した効果を強調させる。
【００７７】
次に、目や鼻、口などの顔器官が全て検出できなかった場合の例を説明する。左目と右目とが検出され、鼻と口とが検出されなかった場合、左目と右目との位置関係から、被写体の顔領域の左上座標と右上座標、左下座標、右下座標、中心座標とを算出する。この顔領域を示す５点を特徴点とし、顔向きに応じて目標点を設定する。全ての顔器官が検出されなかった場合、入力画像中の被写体の顔向き情報は、検出された顔器官のみで算出したり、カメラと被写体との位置関係により算出したり、動画のときは前フレームの顔向き情報を用いるなどして取得する。入力画像中の被写体の顔向きがｙ軸に対して−１０度、すなわち下向きで、目標顔向きがｙ軸に対して０度、すなわち正面顔を生成するように指定されている場合、顔領域の左上座標と右上座標とを近づける方向に、左下座標と右下座標とを遠ざける方向に、中心座標を画像上方向に設定することで、顔向きが変わったかのような効果を得ることができる。
【００７８】
このように、顔器官の位置と形を変える２つの処理を適応的に組み合わせることにより、顔の向きを大きく変える場合であっても、オクルージョンや、顔の歪みの影響を軽減することができる。さらに、顔器官が全て検出されなかった場合でも、顔向きが変わったかのような効果を得ることができる。
【００７９】
以上の処理により顔向き情報が不正確な場合でも、正面顔を生成して顔器官配置に補正を施してから、任意の顔向き画像を生成することにより、顔の目と鼻の位置が不自然な位置に移動せず、違和感の少ない好適な画像を生成できる。
＜第３の実施形態＞
次に、本発明の第３の実施の形態に係る画像処理装置１１０１を備える画像表示装置１１０２の構成例について、図１１を用いて説明する。図１１において、図１と同じ構成要素には同じ番号を付しており、これらの要素は図１の実施の形態と同じ処理を行うため説明を省略する。
【００８０】
本実施の形態と第１の実施の形態の違いは、本実施の形態では、送受信部１１０３を備えた構成になっていることである。画像表示装置１１０２は、送受信部１１０３を介して外部ネットワークと接続され、他の通信機器につながっている。送受信部１１０３は、携帯電話の通信部やケーブル等であり、外部と画像、顔位置情報、顔大きさ情報等を送受信する。
【００８１】
第３の実施の形態では、画像表示装置１１０２で撮像された画像と顔器官情報とを送受信部１１０３を通して他の画像表示装置１１０２に送信し、他の画像表示装置１１０２で撮像された画像と顔器官情報とを受信する。すなわち、ユーザ１の画像表示装置１１０２に遠隔地にいるユーザ２の撮像画像を表示させ、ユーザ２の画像表示装置１１０２にユーザ１の撮像画像を表示させる。これは、ビデオチャットやテレビ会議システムを実現するための構成となる。ここで、ユーザ１を撮像した画像表示装置１１０２を第一画像表示装置、ユーザ２を撮像した画像表示装置１１０２を第二画像表示装置として区別する。
【００８２】
以下、上記動作の流れを図１２に示すフローチャートを用いて説明をする。
【００８３】
まず、ステップＳ２１において、画像処理装置１１０１は、撮像部１０３から第一画像を取り込む。
【００８４】
次に、ステップＳ２２において、顔器官情報検出部１０７が、第一画像から第一顔器官情報を検出する。
【００８５】
次に、ステップＳ２３において、顔向き情報算出部１０８が、顔器官情報を用いて被写体の第一顔向き情報を算出する。
【００８６】
次に、ステップＳ２４において、送受信部１１０３が第一画像と第一顔器官情報と第一顔向き情報とを第二画像表示装置に送信する。
【００８７】
次に、ステップＳ２５において、送受信部１１０３が第二画像と第二顔器官情報と第二顔向き情報とを受信する。
【００８８】
次に、ステップＳ２６において、画像処理装置１１０１が、入出力部１０６から第二目標顔向き情報を取得する。
【００８９】
次に、ステップＳ２７において、任意顔向き画像生成部１０９が、第二顔向き情報を基に、被写体の顔が正面顔か否か判定を行う。被写体の顔が正面顔であれば、ステップＳ３１とＳ３２を実行する。被写体の顔が正面顔でなければ、ステップＳ２８〜３２までを実行する。
【００９０】
次に、ステップＳ２８において、画像処理装置１１０１は、記憶部１０５から正面顔器官情報を取得する。
【００９１】
次に、ステップＳ２９において、任意顔向き画像生成部１０９が、第二顔器官情報と第二顔向き情報とから正面顔における顔器官情報を算出する。
【００９２】
次に、ステップＳ３０において、任意顔向き画像生成部１０９が、取得した正面顔器官情報と算出した正面顔における顔器官情報とから第二顔向き情報を補正する。
【００９３】
次に、ステップＳ３１において、任意顔向き画像生成部１０９が、第二顔器官情報と第二顔向き情報とから任意顔向き画像を生成する。
【００９４】
次に、ステップＳ３２において、任意顔向き画像生成部１０９が、生成した画像を表示部１０４に出力する。
【００９５】
以上のようにして、第３の実施の形態の画像表示装置は動作する。
【００９６】
上述した本実施の形態に係る画像処理装置１１０１を備える画像表示装置１１０２によればビデオチャットやテレビ会議などでユーザ１とユーザ２が対話している場合、画像とともに送信された顔器官情報と顔向き情報とを用いて任意の顔向き画像を生成することで、好適な画像を表示することができる。
【００９７】
なお、本発明は、上述した実施例によって限定的に解釈されるものではなく、特許請求の範囲に記載した事項の範囲内で、種々の変更が可能であり本発明の技術的範囲に含まれる。また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。
【００９８】
本発明による画像処理装置で動作するプログラムは、本発明に関わる上記実施例の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）であっても良い。そして、これら装置で取り扱われる情報は、その処理時に一時的にＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）に蓄積され、その後、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの各種ＲＯＭやＨＤＤに格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行われる。
【００９９】
また、図１Ａ、Ｂの各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、ＣＰＵなどが実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
【０１００】
また、上述した実施例における画像処理装置の一部、または全部を典型的には集積回路であるＬＳＩとして実現してもよい。画像処理装置の各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。
【０１０１】
また、上述の実施の形態において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
【産業上の利用可能性】
【０１０２】
本発明は、画像表示装置に利用可能である。
【符号の説明】
【０１０３】
１０１…画像処理装置、１０２…画像表示装置、１０３…撮像部、１０４…表示部、１０５…記憶部、１０６…入出力部、１０７…顔器官情報検出部、１０８…顔向き情報算出部、１０９…任意顔向き画像生成部、１０９−１…目標顔向き情報取得部、１０９−２…正面顔判定部、１０９−３…正面顔器官情報取得部、１０９−４…補正顔器官情報算出部、１０９−５…顔向き情報補正部、１０９−６…任意顔向き画像生成処理部、１１０…表示制御部、１１０３…送受信部。
（付記）
本発明は以下の開示を含む。
（１）
入力された画像から被写体の顔器官の位置である顔器官情報を検出する顔器官情報検出部と、
前記顔器官情報から前記被写体の顔向き情報を算出する顔向き情報算出部と、
前記顔器官情報と前記顔向き情報とから前記被写体の顔向きを変更した画像を生成する任意顔向き画像生成部と、を備え、
前記任意顔向き画像生成部は前記顔向き情報により顔が傾いていると判定した場合に、前記被写体の正面顔における顔器官配置である正面顔器官情報に基づいて前記顔向き情報に補正を施した後、任意の顔向きの画像を生成することを特徴とする画像処理装置。【０１０４】
顔向き情報が不正確な場合、あらかじめ設定されている被写体の正面顔における目や鼻などの顔器官の位置と、顔向き情報から算出した正面顔における顔器官の位置とを用いて、顔向き情報のずれを補正してから、任意の顔向き画像を生成する。
（２）
前記任意顔向き画像生成部は、前記顔器官情報と前記顔向き情報とから、前記顔器官の位置を変更する処理と前記顔器官を変形する処理とにより前記被写体の顔向きを変更した画像を生成することを特徴とする（１）に記載の画像処理装置。
（３）
前記任意顔向き画像生成部は、前記顔器官情報に応じて前記顔器官の位置を変更する処理と前記顔器官を変形する処理の割合を調整することを特徴とする（２）に記載の画像処理装置。【０１０５】
調整を行えるようにして、より適切な画像を得ることができる。
（４）
前記任意顔向き画像生成部は、前フレームにおいて正面顔であると判定された被写体の顔配置を正面顔器官情報とする処理と、顔の黄金比に基づいて算出された顔器官の位置を正面顔器官情報とする処理との少なくとも一つを用いて前記顔向き情報を補正することを特徴とする（１）から（３）までのいずれか１に記載の画像処理装置。【０１０６】
黄金比を用いることで、簡単な処理で適切な画像を得ることができる。
（５）
被写体を撮像する撮像部と、前記撮像部で撮像された前記被写体の画像を処理する（１）に記載の画像処理装置と、を備えることを特徴とする画像表示装置。
（６）
前記顔向き情報算出部は、
被写体の顔の左端から右端を通る水平の軸であるｘ軸に対する顔の傾きを、器官の水平方向の長さの比から算出することを特徴とする（１）から（４）までのいずれか１に記載の画像処理装置。【０１０７】
左右の目の長さをそれぞれ、目頭の位置と目尻の位置との長さとする。
（７）
前記顔向き情報算出部は、
被写体の顔の下端から上端への垂直方向の軸であるｙ軸に対する顔の傾きを、被写体の目と鼻との長さと瞳孔間の長さとの比と、ｘ軸に対する顔の傾きθ１から算出することを特徴とする（６）に記載の画像処理装置。
（８）
前記顔向き情報算出部は、
被写体の顔の前面から背面を通る軸であるｚ軸に対する被写体の顔の傾きを、瞳孔間の長さと左目と右目との縦方向のずれとから算出することを特徴とする（６）又（７）に記載の画像処理装置。
（９）
前記任意顔向き画像生成部は、
画像中に設定した特徴点と、その特徴点の移動先の点である目標点を設定し、前記特徴点と前記目標点とを近づけるような座標変換を行うことで、画像中の顔器官の位置を変更、及び、形を変形させることを特徴とする（１）又は（２）に記載の画像処理装置。
（１０）
前記任意顔向き画像生成部は、設定した入力画像中の１つ以上の特徴点と、特徴点に対応する目標点を用いて、入力画像に画像変形を施し、顔器官の位置が変更された画像を生成することを特徴とする（１）又は（２）に記載の画像処理装置。
（１１）
入力された画像から被写体の顔器官の位置である顔器官情報を検出する顔器官情報検出ステップと、
前記顔器官情報から前記被写体の顔向き情報を算出する顔向き情報算出ステップと、
前記顔器官情報と前記顔向き情報とから前記被写体の顔向きを変更した画像を生成する任意顔向き画像生成ステップと、を有し、
前記任意顔向き画像生成ステップは、前記顔向き情報により顔が傾いていると判定した場合に、前記被写体の正面顔における顔器官配置である正面顔器官情報に基づいて前記顔向き情報に補正を施した後、任意の顔向きの画像を生成することを特徴とする画像処理方法。
（１２）
コンピュータに、（１１）に記載の画像処理方法を実行させるためのプログラム。【０１０８】
本明細書で引用した全ての刊行物、特許および特許出願をそのまま参考として本明細書にとり入れるものとする。
【図１Ａ】
2015186519.tif 000017
【図１Ｂ】
2015186519.tif 000018
【図２】
2015186519.tif 000019
【図３】
2015186519.tif 000020
【図４】
2015186519.tif 000021
【図５】
2015186519.tif 000022
【図６】
2015186519.tif 000023
【図７】
2015186519.tif 000024
【図８】
2015186519.tif 000025
【図９】
2015186519.tif 000026
【図１０】
2015186519.tif 000027
【図１１】
2015186519.tif 000028
【図１２】
2015186519.tif 000029
【国際調査報告】
2015186519.tif 000030
2015186519.tif 000031