(57)【要約】【課題】表示対象の動作を精度よく表示できると共に、表示対象に適した画像モデルを表示できる画像表示装置を提供することである。【解決手段】画像表示装置は、画像を表示する表示部と、被写体を撮像し、被写体画像を取得する撮像部と、前記被写体画像を用いて前記被写体の動作を検出し、前記被写体の姿勢情報を取得する動作検出部と、前記被写体画像を用いて前記被写体の顔認識を行い、前記被写体の属性情報を取得する顔認識部と、前記被写体の画像モデルを作成し、前記表示部に表示させる制御部と、を備え、前記制御部は、前記被写体が前記表示部の表示対象であるかを前記属性情報に基づいて判断し、前記被写体が前記表示部の表示対象であると判断されると、前記属性情報に基づいて作成された前記画像モデルを、前記姿勢情報による前記被写体の動作に応じて前記表示部に表示させる。【選択図】図１
2018055619.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示部と、
被写体を撮像し、被写体画像を取得する撮像部と、
前記被写体画像を用いて前記被写体の動作を検出し、前記被写体の姿勢情報を取得する動作検出部と、
前記被写体画像を用いて前記被写体の顔認識を行い、前記被写体の属性情報を取得する顔認識部と、
前記被写体の画像モデルを作成し、前記表示部に表示させる制御部と、
を備え、
前記制御部は、
前記被写体が前記表示部の表示対象であるかを前記属性情報に基づいて判断し、
前記被写体が前記表示部の表示対象であると判断されると、前記属性情報に基づいて作成された前記画像モデルを、前記姿勢情報による前記被写体の動作に応じて前記表示部に表示させる、
画像表示装置。
【請求項２】
前記制御部は、
前記属性情報を用いて、前記画像モデルとして３次元ＣＧモデルを作成するモデル作成部と、
前記被写体の動作に応じた前記姿勢情報の変化に合わせて前記３次元ＣＧモデルを動かして前記表示部に表示させる表示制御部と、
を含む請求項１に記載の画像表示装置。
【請求項３】
前記動作検出部は、前記被写体の姿勢特徴点の位置を検出し、
前記顔認識部は、前記被写体の顔特徴点の位置を検出し、
前記制御部は、前記姿勢特徴点の位置と前記顔特徴点の位置とに基づいて、前記姿勢情報と前記属性情報とを関連付ける関連付け部を更に含み、
前記モデル作成部は、前記関連付け部によって関連付けられた前記姿勢情報と前記属性情報とを用いて、前記３次元ＣＧモデルを作成する、
請求項２に記載の画像表示装置。
【請求項４】
前記関連付け部は、
前記姿勢特徴点の位置の座標系と前記顔特徴点の位置の座標系とを共通座標系にそれぞれ変換し、
前記共通座標系において、前記姿勢特徴点の位置と前記顔特徴点の位置とを照合することによって、前記姿勢情報と前記属性情報とを関連付ける、
請求項３に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置に関する。
【背景技術】
【０００２】
試着者が実際に衣服を試着しなくても、仮想的に衣服を試着した試着者の画像を生成して、表示手段に表示する仮想試着装置が知られている。
【０００３】
特許文献１には、動画像撮影手段と、試着者の三次元体型データ及び様々な姿勢データから動画像に映る試着者の姿勢を推定する姿勢推定手段と、時系列の推定姿勢から滑らかで自然な姿勢時系列データを生成する姿勢修正手段と、衣服の動きを計算する衣服運動生成手段と、試着者が衣服を試着した状態を表示する表示手段と、から構成された仮想試着装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２４９６１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の仮想試着装置は、試着者の３次元人体形状を予め計測して記憶しておいた３次元人体形状データと、様々な姿勢データを予め計測して記憶しておいた姿勢辞書とを用いて、試着者の現在の動作や姿勢を推定する。すなわち、特許文献１の仮想試着装置は、試着者の動作を推定するためには、予め膨大な計測が必要になると共に、推定の計算量も膨大な量となる。また、特許文献１の仮想試着装置は、この計算量を減らすために姿勢辞書に記憶された姿勢データを減らすと、推定の精度が低下する。このため、特許文献１の仮想試着装置は、簡易な構成で試着者の動作を精度よく表現することが困難であり、容易に導入され難い。
【０００６】
また、特許文献１の仮想試着装置は、動画像撮影手段から得られた動画像中の試着者の画像上に試着する衣服の画像を重ねる表示する。すなわち、特許文献１の仮想試着装置では、表示手段に表示される画像には試着者が現在着用している衣服の画像が写り込み、試着する衣服の画像と現在着用している衣服の画像とが干渉してしまうことがある。このため、特許文献１の仮想試着装置は、真に試着者に適した試着画像を表示することが難しい。
【０００７】
また、特許文献１の仮想試着装置は、試着者が単数であることが前提であり、従来の試着室の代替品としての使用を想定している。すなわち、特許文献１の仮想試着装置は、複数の試着者が動画像撮影手段に同時に撮像された場合の処理を実行できように構成されていない。このため、特許文献１の仮想試着装置は、複数の試着者が動画像撮影手段に同時に撮像されることが想定される状況で使用することは難しい。
【０００８】
本発明は、上述の事情に鑑みてなされたものであり、上述のような問題点を解決することを課題の一例とする。すなわち、本発明の課題の一例は、表示対象の動作を精度よく表示できると共に、表示対象に適した画像モデルを表示できる画像表示装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明の１つの観点に係る画像表示装置は、画像を表示する表示部と、被写体を撮像し、被写体画像を取得する撮像部と、前記被写体画像を用いて前記被写体の動作を検出し、前記被写体の姿勢情報を取得する動作検出部と、前記被写体画像を用いて前記被写体の顔認識を行い、前記被写体の属性情報を取得する顔認識部と、前記被写体の画像モデルを作成し、前記表示部に表示させる制御部と、を備え、前記制御部は、前記被写体が前記表示部の表示対象であるかを前記属性情報に基づいて判断し、前記被写体が前記表示部の表示対象であると判断されると、前記属性情報に基づいて作成された前記画像モデルを、前記姿勢情報による前記被写体の動作に応じて前記表示部に表示させる。
【００１０】
好適には、前記制御部は、前記属性情報を用いて、前記画像モデルとして３次元ＣＧモデルを作成するモデル作成部と、前記被写体の動作に応じた前記姿勢情報の変化に合わせて前記３次元ＣＧモデルを動かして前記表示部に表示させる表示制御部と、を含む。
【００１１】
好適には、前記動作検出部は、前記被写体の姿勢特徴点の位置を検出し、前記顔認識部は、前記被写体の顔特徴点の位置を検出し、前記制御部は、前記姿勢特徴点の位置と前記顔特徴点の位置とに基づいて、前記姿勢情報と前記属性情報とを関連付ける関連付け部を更に含み、前記モデル作成部は、前記関連付け部によって関連付けられた前記姿勢情報と前記属性情報とを用いて、前記３次元ＣＧモデルを作成する。
【００１２】
好適には、前記関連付け部は、前記姿勢特徴点の位置の座標系と前記顔特徴点の位置の座標系とを共通座標系にそれぞれ変換し、前記共通座標系において、前記姿勢特徴点の位置と前記顔特徴点の位置とを照合することによって、前記姿勢情報と前記属性情報とを関連付ける。
【００１３】
また、好適には、前記制御部は、前記被写体が前記表示対象であるかを前記属性情報を用いて判断する判断部を更に含み、前記撮像部は、複数の被写体が写り込んだ前記被写体画像を取得し、前記動作検出部は、前記複数の被写体に対応する複数の前記姿勢情報を取得し、前記顔認識部は、前記複数の被写体に対応する複数の前記属性情報を取得し、前記関連付け部は、前記複数の姿勢情報と前記複数の属性情報とをそれぞれ関連付け、前記判断部は、前記関連付け部によって関連付けられた複数の前記姿勢情報及び前記属性情報のうち、所定条件に適合した前記姿勢情報及び前記属性情報を選定し、選定された前記姿勢情報及び前記属性情報に対応する被写体を、前記表示対象であると判断し、前記モデル作成部は、前記判断部によって選定された前記姿勢情報及び前記属性情報を用いて、前記判断部によって前記表示対象であると判断された前記被写体の前記３次元ＣＧモデルを作成し、前記表示制御部は、前記判断部によって前記表示対象であると判断された前記被写体の動作に応じた前記姿勢情報の変化に合わせて、前記モデル作成部によって作成された前記３次元ＣＧモデルを動かして前記表示部に表示させる。
【発明の効果】
【００１４】
本発明の１つの観点に係る画像表示装置は、簡易な構成であっても表示対象の動作を精度よく表示できると共に、真に表示対象に適した画像モデルを表示できる。
【図面の簡単な説明】
【００１５】
本発明のいくつかの実施形態を、単なる例として、添付の図面を参照して以下に説明する。
【図１】本発明の実施形態に係る画像表示装置の外観構成を示す図である。
【図２】本発明の実施形態に係る画像表示装置の機能的構成を示すブロック図である
【図３】本発明の実施形態に係る画像表示装置で取得される被写体画像及び姿勢特徴点を示す図である。
【図４】本発明の実施形態に係る画像表示装置で取得される被写体画像に含まれる顔画像及び顔特徴点を示す図である。
【図５】本発明の実施形態に係る画像表示装置において行われる画像表示処理の詳細な流れを示すフローチャートである。
【図６】本発明の実施形態に係る画像表示装置で表示される表示画像を示す図である。
【図７】本発明の実施形態に係る画像表示装置において行われる関連付け処理の詳細な流れを示すフローチャートである。
【図８】本発明の実施形態に係る画像表示装置において行われる表示対象判断処理の詳細な流れを示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、図面を参照しながら詳しく説明する。以下に説明される実施形態は、本発明のいくつかの例を示すものであって、本発明の内容を限定するものではない。また、各実施形態で説明される構成及び動作の全てが本発明の構成及び動作として必須であるとは限らない。なお、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。
【００１７】
［１．画像表示装置の構成］
図１は、本発明の実施形態に係る画像表示装置１の外観構成を示す図である。図２は、本発明の実施形態に係る画像表示装置１の機能的構成を示すブロック図である。図３は、本発明の実施形態に係る画像表示装置１で取得される被写体画像及び姿勢特徴点を示す図である。図３（ａ）は、被写体画像を示す。図３（ｂ）は、姿勢特徴点を示す。図４は、本発明の実施形態に係る画像表示装置１で取得される被写体画像に含まれる顔画像及び顔特徴点を示す図である。図４（ａ）は、顔画像を示す。図４（ｂ）は、顔特徴点を示す。
【００１８】
画像表示装置１は、画像及び情報を表示する装置である。画像表示装置１は、画像及び情報を表示することで通行人等に広告を宣伝するデジタルサイネージ装置と、通行人等が衣服等の服飾品を仮想的に試着した画像を表示するバーチャルフィッティング装置とを兼ねた装置であってもよい。画像表示装置１は、例えば、マネキン等が配置されるショーウインドウ内の陳列スペースに設置されてもよい。
【００１９】
なお、画像には、静止画像と動画像との両方が含まれる。また、画像表示装置１によって表示される画像には、必要に応じて、画像に関連するテキスト等の情報も含まれるとする。
【００２０】
画像表示装置１は、図１及び図２に示されるように、表示部１０と、モーションセンサ２０と、情報機器３０とを備える。表示部１０とモーションセンサ２０と情報機器３０とは、互いに有線又は無線で各種情報を通信可能に接続されている。
【００２１】
表示部１０は、情報機器３０からの制御に基づいて画像を表示するディスプレイである。表示部１０は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイ等の各種ディスプレイで構成されてもよい。
【００２２】
モーションセンサ２０は、通行人等の被写体を撮像し、被写体の動作をリアルタイムで検出可能なセンサである。モーションセンサ２０は、モーションキャプチャシステムに用いられる市販のモーションセンサによって構成されてもよい。なお、被写体には、通行人等の人物の他、通行人に同伴するペット等の動物が含まれる。
【００２３】
モーションセンサ２０は、画像表示装置１は表示部１０の上部中央に設置されてもよい。モーションセンサ２０は、表示部１０と一体的に設置されてもよい。また、表示部１０と分離して設置されてもよい。
【００２４】
モーションセンサ２０は、撮像部２１と、動作検出部２２とを備える。
【００２５】
撮像部２１は、被写体を撮像する１又は複数台のカメラである。撮像部２１は、撮像された被写体の画像である被写体画像を取得する。被写体画像は、好適には、被写体の全身（全体）が写り込んだ画像であり、被写体の顔画像を含んでいる。撮像部２１は、取得された被写体画像を、動作検出部２２、及び、情報機器３０の後述する顔認識部４０に出力する。
【００２６】
また、撮像部２１は、深度センサ等の被写体との距離を計測するセンサを含んでおり、被写体の位置を検出することができる。撮像部２１は、検出された被写体の位置情報を、取得された被写体画像と共に、動作検出部２２及び顔認識部４０に出力する。
【００２７】
動作検出部２２は、被写体画像に基づいて被写体の動作を検出する機能を有する。動作検出部２２は、モーションキャプチャシステムの動作解析プログラム等によって構成されてもよい。
【００２８】
動作検出部２２は、撮像部２１によって取得された被写体画像を用いて、被写体の姿勢に関する情報である姿勢情報を取得する。姿勢情報には、姿勢特徴点の位置を示す情報が含まれる。姿勢特徴点は、頭部、胴体部、四肢部、各関節部等の、被写体の体型及び姿勢を特徴付ける部位（ノード）である。動作検出部２２は、撮像部２１によって取得された被写体画像から姿勢情報をリアルタイムに取得し、情報機器３０の後述する関連付け部５１に出力する。
【００２９】
例えば、図３（ａ）に示されるように、被写体Ａの被写体画像Ｇａ及び被写体Ｂの被写体画像Ｇｂを含む撮像画像Ｇが撮像部２１によって取得されたとする。この場合、動作検出部２２は、被写体画像Ｇａを解析して、図３（ｂ）に示されるように、被写体Ａの姿勢特徴点Ｐａ１、Ｐａ２、・・・、Ｐａｎ（ｎ個）を抽出し、これらを含む姿勢情報Ｐａを取得する。また、動作検出部２２は、被写体画像Ｇｂを解析して、被写体Ｂの姿勢特徴点Ｐｂ１、Ｐｂ２、・・・・、Ｐｂｎ（ｎ個）を抽出し、これらを含む姿勢情報Ｐｂを取得する。なお、ｎは２以上の正の整数であって、動作検出部２２の解析能力に応じて予め定められた数である。ｎは、例えば２５であってもよい。
【００３０】
なお、モーションセンサ２０は、上述のように、撮像部２１によって取得された被写体画像が動作検出部２２と顔認識部４０との両方に出力可能なように構成されている。すなわち、モーションセンサ２０は、顔認識部４０で用いられる被写体画像と、動作検出部２２で用いられる被写体画像とが、１つの撮像部２１によって取得されるように構成されている。しかしながら、画像表示装置１はこれに限定されず、顔認識部４０で用いられる被写体画像と、動作検出部２２で用いられる被写体画像とが、別々の撮像部によって取得されるように構成されてもよい。すなわち、画像表示装置１は、モーションセンサ２０とは別に、顔認識部４０で用いられる被写体画像を取得する専用の顔認識カメラを備えるように構成されてもよい。そして、画像表示装置１は、顔認識カメラによって取得された被写体画像は顔認識部４０に出力され、モーションセンサ２０の撮像部２１によって取得された被写体画像は動作検出部２２に出力されるように構成されてもよい。
【００３１】
情報機器３０は、被写体画像及び姿勢情報等のモーションセンサ２０から出力された情報に基づいて、表示部１０への画像表示を制御する機器である。情報機器３０は、パーソナルコンピュータで構成されてもよい。
【００３２】
情報機器３０は、顔認識部４０と、制御部５０とを備える。
【００３３】
顔認識部４０は、被写体画像に基づいて被写体の顔認識を行う機能を有する。顔認識部４０は、情報機器３０に含まれる不図示のプロセッサによって実行される顔認識アプリケーションプログラムによって構成されてもよい。
【００３４】
顔認識部４０は、撮像部２１によって取得された被写体画像に含まれる顔画像を用いて顔認識を行い、被写体の属性に関する情報である属性情報を取得する。属性情報は、被写体の年齢及び性別等の情報である。また、属性情報には、顔特徴点の位置を示す情報が含まれる。顔特徴点は、目、鼻、口、眉等の、被写体の顔を特徴付ける部位である。顔認識部４０は、取得された属性情報を、制御部５０の関連付け部５１に出力する。
【００３５】
例えば、図４（ａ）に示されるように、被写体Ａの被写体画像Ｇａ及び被写体Ｂの被写体画像Ｇｂを含む撮像画像Ｇが撮像部２１によって取得されたとする。この場合、顔認識部４０は、被写体画像Ｇａに含まれる顔画像Ｆａ、及び、被写体画像Ｇｂに含まれる顔画像Ｆｂを特定する。そして、顔認識部４０は、顔画像Ｆａを解析して、図４（ｂ）に示されるように、被写体Ａの顔特徴点Ｑａ１、Ｑａ２、・・・、Ｑａｍ（ｍ個）を抽出し、これらを含む属性情報Ｑａを取得する。また、顔認識部４０は、顔画像Ｆｂを解析して、被写体Ｂの顔特徴点Ｑｂ１、Ｑｂ２、・・・、Ｑｂｍ（ｍ個）を抽出し、これらを含む属性情報Ｑｂを取得する。なお、ｍは２以上の正の整数であって、顔認識部４０の解析能力に応じて予め定められた数である。ｍは、例えば１４であってもよい。
【００３６】
制御部５０は、少なくとも属性情報に基づいて被写体の画像モデルを作成し、表示部１０に表示させる機能を有する。具体的には、制御部５０は、撮像部２１によって取得された被写体画像に示された被写体が表示部１０の表示対象であるかを、その属性情報に基づいて判断する。そして、制御部５０は、この被写体が表示部１０の表示対象であると判断されると、その属性情報に基づいて作成された画像モデルを、この被写体の動作に応じて、表示部１０に表示させる。画像モデルは、表示対象であると判断された被写体の属性情報に基づいて作成可能であるが、表示対象であると判断された被写体の姿勢情報と属性情報との両方に基づいて作成される方が好適である。制御部５０は、情報機器３０に含まれる不図示のプロセッサによって実行される３次元ＣＧ（computer graphics）アプリケーションプログラムによって構成されてもよい。
【００３７】
制御部５０は、関連付け部５１と、判断部５２と、モデル作成部５３と、服飾決定部５４と、モデル合成部５５と、シーン決定部５６と、表示制御部５７とを備える。
【００３８】
関連付け部５１は、姿勢情報に含まれる姿勢特徴点の位置と、属性情報に含まれる顔特徴点の位置とに基づいて、姿勢情報と属性情報とを関連付ける機能を有する。なお、姿勢情報と属性情報とを関連付ける処理を、「関連付け処理」とも称する。
【００３９】
撮像部２１によって取得された画像には複数の被写体画像が含まれていることがある。この場合、動作検出部２２によって取得される姿勢情報は同時に複数の姿勢情報で構成され、顔認識部４０によって取得された属性情報は同時に複数の姿勢情報で構成されることがある。そして、制御部５０には、動作検出部２２から出力された複数の姿勢情報と、顔認識部４０から出力された複数の属性情報とが、互いに異なるデータ形式であり、互いに関連付けられていない状態で入力されることがある。すなわち、制御部５０には、動作検出部２２から出力された複数の姿勢情報と、顔認識部４０から出力された複数の属性情報との対応関係が明らかでない状態で、入力されることがある。このため、関連付け部５１は、動作検出部２２から出力された複数の姿勢情報と、顔認識部４０から出力された複数の属性情報とをそれぞれ関連付ける処理を行う。そして、関連付け部５１は、関連付けられた複数の姿勢情報及び複数の属性情報を、判断部５２に出力する。
【００４０】
なお、関連付け部５１を用いて行われる関連付け処理の詳細については、図７を用いて後述する。
【００４１】
判断部５２は、属性情報を用いて、この属性情報に対応する被写体が表示部１０の表示対象であるかを判断する機能を有する。なお、表示部１０の表示対象となる被写体の有無を判断すると共に、どの被写体が表示対象となるかを判断する処理を、「表示対象判断処理」とも称する。
【００４２】
上述のように、撮像部２１によって取得された画像には複数の被写体画像が含まれることがある。この場合、制御部５０は、判断部５２を用いて、複数の被写体画像に示された複数の被写体の中から、１又は複数の被写体を表示部１０の表示対象とし、その被写体の画像モデルを表示部１０に表示させる。この際、判断部５２は、関連付け部５１によって関連付けられた複数の姿勢情報及び複数の属性情報の中から、所定条件に適合した姿勢情報及び属性情報を選定する。そして、判断部５２は、選定された姿勢情報及び属性情報に対応する被写体を、表示部１０の表示対象であると判断する。そして、判断部５２は、表示対象と判断された被写体の姿勢情報及び属性情報を、モデル作成部５３、服飾決定部５４及びシーン決定部５６に出力する。
【００４３】
なお、判断部５２を用いて行われる表示対象判断処理の詳細については、図８を用いて後述する。
【００４４】
モデル作成部５３は、表示部１０に表示させる被写体の画像モデルを作成する機能を有する。モデル作成部５３によって作成される画像モデルは、３次元ＣＧモデルであってもよい。被写体が人物であれば、モデル作成部５３によって作成される３次元ＣＧモデルは、被写体の体型、姿勢及び属性に即した人体モデルであって、人体の形状モデルと、この形状モデルに付加される肌の色等の色彩を含む。なお、モデル作成部５３において３次元ＣＧモデルを作成する処理を、「モデル作成処理」とも称する。
【００４５】
モデル作成部５３は、判断部５２によって選定された姿勢情報及び属性情報を用いて、判断部５２によって表示対象であると判断された被写体に適合する３次元ＣＧモデルを作成する。すなわち、モデル作成部５３は、表示対象と判断された被写体の姿勢情報及び属性情報を用いて、表示対象と判断された被写体の体型、姿勢及び属性に即した３次元ＣＧモデルを作成する。そして、モデル作成部５３は、作成された３次元ＣＧモデルをモデル合成部５５に出力する。
【００４６】
服飾決定部５４は、モデル作成部５３によって作成された３次元ＣＧモデルに合成する服飾モデルを決定する機能を有する。服飾モデルは、衣服、靴、装身具等の服飾品の形状モデルと、この形状モデルに付加される模様及び色彩等とを含む３次元ＣＧモデルである。なお、服飾モデルを決定する処理を、「服飾決定処理」とも称する。
【００４７】
情報機器３０が備える不図示の記憶部には、予め複数の服飾モデルが記憶されている。記憶部に記憶された複数の服飾モデルは、例えば、お薦め商品に係る服飾モデルが含まれており、日付、時間帯、季節、イベント、ロケーション、企画等に合わせて分類されている。服飾決定部５４は、記憶部に記憶された複数の服飾モデルの中から、所定の服飾決定条件に適合した服飾モデルを選定し、モデル作成部５３によって作成された３次元ＣＧモデルに合成する服飾モデルに決定する。この所定の服飾決定条件は、表示対象と判断された被写体の属性情報に基づいて設定される。そして、服飾決定部５４は、決定された服飾モデルを、モデル合成部５５及びシーン決定部５６に出力する。
【００４８】
モデル合成部５５は、服飾決定部５４によって決定された服飾モデルを、モデル作成部５３によって作成された３次元ＣＧモデルに合成する機能を有する。モデル合成部５５は、服飾決定部５４によって決定された服飾モデルを、モデル作成部５３によって作成された３次元ＣＧモデルに即して変形させて合成する。そして、モデル合成部５５は、服飾モデルが合成された３次元ＣＧモデルを、表示制御部５７に出力する。なお、モデル作成部５３において作成された３次元ＣＧモデルに服飾モデルを合成する処理を、「モデル合成処理」とも称する。
【００４９】
シーン決定部５６は、表示部１０に表示させるシーン情報を決定する機能を有する。シーン情報は、モデル合成部５５によって合成された３次元ＣＧモデルが配置される仮想的な３次元空間を形成可能な空間情報である。シーン情報には、背景画像やシーンオブジェクトが含まれる。シーンオブジェクトは、モデル合成部５５によって合成された３次元ＣＧモデル以外のオブジェクトである。なお、シーン情報を決定する処理を、「シーン決定処理」とも称する。
【００５０】
情報機器３０が備える記憶部には、予め複数のシーン情報が記憶されている。記憶部に記憶された複数のシーン情報は、例えば、日付、時間帯、季節、イベント、ロケーション、企画テーマ等に合わせて分類されており、複数の服飾モデルに対応付けられて記憶されている。シーン決定部５６は、記憶部に記憶された複数のシーン情報の中から、服飾決定部５４によって決定された服飾モデルに対応するシーン情報を選定し、表示部１０に表示させるシーン情報に決定する。そして、シーン決定部５６は、決定されたシーン情報を、表示制御部５７に出力する。
【００５１】
表示制御部５７は、表示部１０の表示画像を生成し、表示部１０への表示制御を行う機能を有する。すなわち、表示制御部５７は、モデル合成部５５によって合成された３次元ＣＧモデルと、シーン決定部５６によって決定されたシーン情報とを用いてレンダリングを行って、表示部１０の表示画像を生成する。そして、表示制御部５７は、生成された表示画像を示す画像信号を表示部１０に出力し、生成された表示画像を表示部１０に表示させる。なお、表示部１０の表示画像を生成し表示部１０への表示制御を行う処理を、「表示制御処理」とも称する。
【００５２】
表示制御部５７は、表示対象と判断された被写体の画像モデルを、その被写体の動作に応じて表示部１０に表示させる。具体的には、表示制御部５７は、表示対象と判断された被写体の姿勢情報を判断部５２から受け取り、この被写体の動作に応じた姿勢情報の変化に合わせて、モデル合成部５５によって合成された３次元ＣＧモデルを動かして、表示部１０に表示させる。それにより、表示部１０に表示される被写体及び服飾品の３次元ＣＧモデルの画像は、表示対象と判断された被写体の動作に追従して動くこととなる。
【００５３】
なお、情報機器３０は、画像表示装置１を管理するサーバ装置及び他の画像表示装置１との間で双方向通信が可能な通信部を備えてもよい。例えば、情報機器３０は、通信部を用いて、サーバ装置から服飾モデル及びシーン情報並びにアプリケーションプログラム等をダウンロードし、情報機器３０の記憶部に記憶させることができる。それにより、情報機器３０は、服飾モデル及びシーン情報並びに各種アプリケーションプログラム等を適宜アップデートすることができる。
【００５４】
［２．各種処理の詳細な流れ］
図５は、本発明の実施形態に係る画像表示装置１において行われる画像表示処理の詳細な流れを示すフローチャートである。図６は、本発明の実施形態に係る画像表示装置１で表示される表示画像を示す図である。図６（ａ）は、デモ画像を示す。図６（ｂ）は、姿勢情報及び属性情報に基づいて表示される、被写体の３次元ＣＧモデルの画像を示す。図６（ｃ）は、被写体の動作に応じて動く３次元ＣＧモデルの画像を示す。図６（ｄ）は、服飾モデルが変更された画像を示す。
【００５５】
図５に示された画像表示処理は、画像表示装置１の起動後に所定の周期で行われる処理であってもよい。
【００５６】
ステップＳ５０１において、画像表示装置１は、表示部１０にデモ画像を表示させる。デモ画像は、被写体が撮像部２１の画角内に存在しない場合に表示部１０に表示される画像である。デモ画像は、図６（ａ）に示されるように、例えば、人体モデルの画像が静止画像であってもよい。図６（ａ）に示された人体モデルの画像は、マネキンを３次元ＣＧモデルで表した画像であってもよい。図６（ａ）に示された服飾モデルの画像は、例えば、お薦め商品に係る服飾モデルの画像であってもよい。
【００５７】
ステップＳ５０２において、画像表示装置１は、被写体が撮像部２１の画角内に進入すると、撮像部２１を用いて被写体画像を取得する。被写体画像は、上述の図３（ａ）のように示される。
【００５８】
ステップＳ５０３において、画像表示装置１は、動作検出部２２を用いて、被写体画像に基づいて被写体の動作を検出し、姿勢特徴点を含む姿勢情報を取得する。図３（ａ）及び図３（ｂ）の例では、画像表示装置１は、被写体画像Ｇａの姿勢情報Ｐａ及び被写体画像Ｇｂの姿勢情報Ｐｂを取得する。姿勢情報Ｐａには、姿勢特徴点Ｐａ１〜Ｐａｎが含まれる。姿勢情報Ｐｂには、姿勢特徴点Ｐｂ１〜Ｐｂｎが含まれる。
【００５９】
ステップＳ５０４において、画像表示装置１は、顔認識部４０を用いて、被写体画像から顔認識を行い、顔特徴点を含む属性情報を取得する。図４（ａ）及び図４（ｂ）の例では、画像表示装置１は、被写体画像Ｇａに含まれる顔画像Ｆａから被写体Ａの属性情報Ｑａを取得すると共に、被写体画像Ｇｂに含まれる顔画像Ｆｂから被写体Ｂの属性情報Ｑｂを取得する。属性情報Ｑａには、顔特徴点Ｑａ１〜Ｑａｍが含まれる。属性情報Ｑｂには、顔特徴点Ｑｂ１〜Ｑｂｍが含まれる。
【００６０】
ステップＳ５０５において、画像表示装置１は、関連付け部５１を用いて、関連付け処理を行う。関連付け処理の実行により、画像表示装置１は、姿勢情報と属性情報との対応関係を明らかにし、姿勢情報及び属性情報を互いに関連付けることができる。
【００６１】
なお、関連付け処理の詳細な流れについては、図７を用いて後述する。
【００６２】
ステップＳ５０６において、画像表示装置１は、判断部５２を用いて、表示対象判断処理を行う。表示対象判断処理の実行により、画像表示装置１は、表示対象となる被写体の有無を判断すると共に、どの被写体が表示対象であるかを判断し、表示対象と判断された被写体の姿勢情報及び属性情報を選定することができる。
【００６３】
なお、表示対象判断処理の詳細な流れについては、図８を用いて後述する。
【００６４】
ステップＳ５０７において、画像表示装置１は、表示対象判断処理によって表示対象の被写体が無いと判断されたか否かを判定する。表示対象の被写体が無いと判断されなかった場合、画像表示装置１は、ステップＳ５０８に移行する。一方、表示対象の被写体が無いと判断された場合、画像表示装置１は、本処理を終了する。
【００６５】
ステップＳ５０８において、画像表示装置１は、モデル作成部５３を用いて、モデル作成処理を行う。画像表示装置１は、表示対象判断処理によって選定された姿勢情報及び属性情報を用いて、表示対象と判断された被写体の体型、姿勢及び属性に即した３次元ＣＧモデルを作成する。
【００６６】
ステップＳ５０９において、画像表示装置１は、服飾決定部５４を用いて、服飾決定処理を行う。画像表示装置１は、情報機器３０の記憶部に記憶された複数の服飾モデルの中から、表示対象判断処理によって選定された属性情報に基づいて設定された所定の服飾決定条件に適合した服飾モデルを選定する。そして、画像表示装置１は、選定された服飾モデルを、モデル作成処理によって作成された３次元ＣＧモデルに合成する服飾モデルに決定する。
【００６７】
ステップＳ５１０において、画像表示装置１は、モデル合成部５５を用いて、モデル合成処理を行う。画像表示装置１は、服飾決定処理によって決定された服飾モデルを、モデル作成処理によって作成された３次元ＣＧモデルに即して変形させて合成する。
【００６８】
ステップＳ５１１において、画像表示装置１は、シーン決定部５６を用いて、シーン決定処理を行う。画像表示装置１は、情報機器３０の記憶部に記憶された複数のシーン情報の中から、服飾決定処理によって決定された服飾モデルに対応するシーン情報を選定する。そして、画像表示装置１は、選定されたシーン情報を、モデル合成処理によって合成された３次元ＣＧモデルと共に表示させるシーン情報に決定する。
【００６９】
ステップＳ５１２において、画像表示装置１は、表示制御部５７を用いて、表示制御処理を行う。画像表示装置１は、モデル合成処理によって合成された３次元ＣＧモデルと、シーン決定処理よって決定されたシーン情報とを用いてレンダリングを行って、表示部１０の表示画像を生成する。そして、画像表示装置１は、生成された表示画像を示す画像信号を表示部１０に出力し、生成された表示画像を表示部１０に表示させる。
【００７０】
例えば、図６（ｂ）に示されるように、表示対象と判断された被写体が、２０歳代後半のスリム体型の男性である被写体Ａであるとする。そして、表示対象と判断された被写体Ａの姿勢が、腰に手を当てた状態で立っている姿勢である。そして、サッカー場付近等のサッカーに興味がある人物が通行し易いロケーションに画像表示装置１があるとする。そして、服飾決定処理において、２０歳代後半のスリム体型の男性にお薦めの商品としてサッカーのトレーニングウェアに係る服飾モデルが決定されたとする。この場合、図６（ｂ）に示されるように、表示部１０には、被写体Ａの体型、姿勢及び属性に即した３次元ＣＧモデルに、被写体の属性に即したサッカーのトレーニングウェアに係る服飾モデルを合成した画像が表示される。また、例えば、表示部１０には、決定された服飾モデルに対応するサッカー場を示すシーン情報の画像が表示される。
【００７１】
ステップＳ５１３において、画像表示装置１は、表示対象と判断された被写体の姿勢が変化したか否かを判定する。画像表示装置１は、表示対象と判断された被写体の姿勢情報に含まれるに姿勢特徴点の位置が変化したか否かを確認することによって、表示対象と判断された被写体の姿勢が変化したか否かを判定してもよい。被写体の姿勢が変化していない場合、画像表示装置１は、ステップＳ５１２に移行し、表示部１０に表示された画像を継続して表示部１０に表示させる。一方、被写体の姿勢が変化した場合、画像表示装置１は、ステップＳ５１４に移行する。
【００７２】
ステップＳ５１４において、画像表示装置１は、表示部１０の表示を終了するか否かを判定する。画像表示装置１は、表示対象と判断された被写体の動作が、予め定められた表示終了動作であるか否かを判定する。表示終了動作は、例えば、画像表示装置１の前から立ち去るような動作であってもよい。画像表示装置１は、表示対象と判断された被写体の姿勢情報に含まれるに姿勢特徴点の位置が、表示終了動作を示すように変化したか否かを確認することによって、表示部１０の表示を終了するか否かを判定してもよい。姿勢特徴点の位置が表示終了動作を示すように変化することとは、例えば、この姿勢特徴点の位置が一定時間に亘って一定速度以上で変化することであってもよい。表示部１０の表示を終了する場合、画像表示装置１は、本処理を終了する。一方、表示部１０の表示を終了しない場合、画像表示装置１は、ステップＳ５１５に移行する。
【００７３】
ステップＳ５１５において、画像表示装置１は、表示部１０に表示された服飾モデルを変更するか否かを判定する。画像表示装置１は、表示対象と判断された被写体の動作が、予め定められた服飾モデルの変更動作であるか否かを判定する。服飾モデルの変更動作は、例えば、衣服を脱ぐような動作であってもよい。画像表示装置１は、表示対象と判断された被写体の姿勢情報に含まれるに姿勢特徴点の位置が、服飾モデルの変更動作を示すように変化したか否かを確認することによって、表示部１０に表示された服飾モデルを変更するか否かを判定してもよい。
【００７４】
服飾モデルを変更する場合、画像表示装置１は、ステップＳ５０９に移行し、再び服飾決定処理を行う。その際、画像表示装置１は、現在表示された服飾モデルとは異なる服飾モデルが選定されるよう服飾決定条件を修正する。
【００７５】
一方、服飾モデルを変更しない場合、画像表示装置１は、ステップＳ５１２に移行し、再び表示制御処理を行う。その際、画像表示装置１は、表示対象と判断された被写体の姿勢情報に含まれる姿勢特徴点の位置の変化に合わせて、モデル合成部５５によって合成された３次元ＣＧモデルを動かすように、表示制御処理を行う。
【００７６】
例えば、図６（ｃ）に示されるように、表示対象と判断された被写体Ａが、図６（ｂ）に示されるような腰に手を当てた状態で立っている姿勢から、サッカーボールを蹴るような姿勢へと変化するような動作を行ったとする。そして、この動作が、表示終了動作にも、服飾モデルの変更動作にも該当しないとする。この場合、図６（ｃ）に示されるように、表示部１０には、図６（ｂ）に示されたサッカーのトレーニングウェアのままで、腰に手を当てた状態で立っている姿勢から、サッカーボールを蹴るような姿勢へと変化するように動作する３次元ＣＧモデルの画像が表示される。
【００７７】
また、例えば、図６（ｄ）に示されるように、表示対象と判断された被写体Ａが、図６（ｂ）に示されるような腰に手を当てた状態で立っている姿勢から、衣服を脱ぐような姿勢へと変化するような動作を行ったとする。そして、この動作が服飾モデルの変更動作に該当するとする。この場合、例えば、図６（ｄ）に示されるように、表示部１０には、図６（ｂ）に示されたトレーニングウェアとは異なる色のトレーニングウェアに変更された３次元ＣＧモデルの画像が表示される。
【００７８】
その後、例えば、表示対象と判断された被写体Ａが上述の表示終了動作を行うと、表示部１０には、図６（ａ）に示されるようなデモ画像が表示される。
【００７９】
図７は、本発明の実施形態に係る画像表示装置１において行われる関連付け処理の詳細な流れを示すフローチャートである。
【００８０】
被写体が単数である場合、取得された姿勢情報と属性情報との対応関係は、１対１の関係で明らかであるため、自ずと関連付けられる。一方、被写体が複数である場合には、取得された複数の姿勢情報と複数の属性情報との対応関係は明らかではない。そこで、図７及び図８の説明では、被写体が被写体Ａ及び被写体Ｂの２人であった場合を例に挙げて説明する。
【００８１】
ステップＳ７０１において、画像表示装置１の関連付け部５１には、図５のステップＳ５０３において取得された姿勢情報Ｐａ及びＰｂと、図５のステップＳ５０４において取得された属性情報Ｑａ及びＱｂとが入力される。
【００８２】
ステップＳ７０２−１において、画像表示装置１は、姿勢情報Ｐａに含まれる姿勢特徴点Ｐａ１〜Ｐａｎの位置、姿勢情報Ｐｂに含まれる姿勢特徴点Ｐｂ１〜Ｐｂｎの位置、及び、これらの位置座標系ＸＰを確認する。
【００８３】
ステップＳ７０２−２において、画像表示装置１は、属性情報Ｑａに含まれる顔特徴点Ｑａ１〜Ｑａｍの位置、属性情報Ｑｂに含まれる顔特徴点Ｑｂ１〜Ｑｂｍの位置、及び、これらの位置座標系ＸＱを確認する。なお、ステップＳ７０２−１とステップＳ７０２−２とは、並列的に処理されてもよい。
【００８４】
ステップＳ７０３において、画像表示装置１は、姿勢特徴点の位置座標系ＸＰ及び顔特徴点の位置座標系ＸＱを、共通座標系Ｘに座標変換する。なお、位置座標系ＸＰで表された姿勢特徴点Ｐａ１〜Ｐａｎは、共通座標系Ｘへの座標変換によって、姿勢特徴点Ｐａ１’〜Ｐａｎ’にそれぞれ変換されたとする。同様に、位置座標系ＸＰで表された姿勢特徴点Ｐｂ１〜Ｐｂｎは、共通座標系Ｘへの座標変換によって、姿勢特徴点Ｐｂ１’〜Ｐｂｎ’にそれぞれ変換されたとする。また、位置座標系ＸＱで表された顔特徴点Ｑａ１〜Ｑａｍは、共通座標系Ｘへの座標変換によって、顔特徴点Ｑａ１’〜Ｑａｍ’にそれぞれ変換されたとする。同様に、位置座標系ＸＱで表された顔特徴点Ｑｂ１〜Ｑｂｍは、共通座標系Ｘへの座標変換によって、顔特徴点Ｑｂ１’〜Ｑｂｍ’にそれぞれ変換されたとする。
【００８５】
ステップＳ７０４−１において、画像表示装置１は、共通座標系Ｘでの姿勢特徴点Ｐａ１’〜Ｐａｎ’の位置、及び、姿勢特徴点Ｐｂ１’〜Ｐｂｎ’の位置を確認する。
【００８６】
ステップＳ７０４−２において、画像表示装置１は、共通座標系Ｘでの顔特徴点Ｑａ１’〜Ｑａｍ’の位置、及び、顔特徴点Ｑｂ１’〜Ｑｂｍ’の位置を確認する。なお、ステップＳ７０４−１とステップＳ７０４−２とは、並列的に処理されてもよい。
【００８７】
ステップＳ７０５において、画像表示装置１は、姿勢特徴点Ｐａ１’〜Ｐａｎ’の平均位置、姿勢特徴点Ｐｂ１’〜Ｐｂｎ’の平均位置、顔特徴点Ｑａ１’〜Ｑａｍ’の平均位置、及び、顔特徴点Ｑｂ１’〜Ｑｂｍ’の平均位置を算出する。
【００８８】
ステップＳ７０６において、画像表示装置１は、姿勢特徴点Ｐａ１’〜Ｐａｎ’の平均位置、及び、姿勢特徴点Ｐｂ１’〜Ｐｂｎ’の平均位置と、顔特徴点Ｑａ１’〜Ｑａｍ’の平均位置、及び、顔特徴点Ｑｂ１’〜Ｑｂｍ’の平均位置とを照合する。
【００８９】
例えば、画像表示装置１は、姿勢特徴点Ｐａ１’〜Ｐａｎ’の平均位置と、顔特徴点Ｑａ１’〜Ｑａｍ’の平均位置との距離を算出する。画像表示装置１は、姿勢特徴点Ｐａ１’〜Ｐａｎ’の平均位置と、顔特徴点Ｑｂ１’〜Ｑｂｍ’の平均位置との距離を算出する。同様に、画像表示装置１は、姿勢特徴点Ｐｂ１’〜Ｐｂｎ’の平均位置と、顔特徴点Ｑａ１’〜Ｑａｍ’の平均位置との距離を算出する。画像表示装置１は、姿勢特徴点Ｐｂ１’〜Ｐｂｎ’の平均位置と、顔特徴点Ｑｂ１’〜Ｑｂｍ’の平均位置との距離を算出する。そして、画像表示装置１は、姿勢特徴点の平均位置と顔特徴点の平均位置との距離が最も短い組み合せを求める。この距離が最も短い姿勢特徴点と顔特徴点との組み合わせは、姿勢特徴点の平均位置と顔特徴点の平均位置とが最も近い。このため、画像表示装置１は、この距離が最も短い姿勢特徴点と顔特徴点との組み合わせを、同一の被写体画像から特徴点が抽出された組み合わせであると推定する。
【００９０】
ここでは、姿勢特徴点Ｐａ１’〜Ｐａｎ’の平均位置は、顔特徴点Ｑｂ１’〜Ｑｂｍ’の平均位置よりも、顔特徴点Ｑａ１’〜Ｑａｍ’の平均位置に近いとする。姿勢特徴点Ｐｂ１’〜Ｐｂｎ’の平均位置は、顔特徴点Ｑａ１’〜Ｑａｍ’の平均位置よりも、顔特徴点Ｑｂ１’〜Ｑｂｍ’の平均位置に近いとする。
【００９１】
ステップＳ７０７−１において、画像表示装置１は、互いの平均位置が近い、姿勢特徴点Ｐａ１’〜Ｐａｎ’に対応する姿勢特徴点Ｐａ１〜Ｐａｎを含む姿勢情報Ｐａと、顔特徴点Ｑａ１’〜Ｑａｍ’に対応する顔特徴点Ｑａ１〜Ｑａｍを含む属性情報Ｑａとを、関連付ける。
【００９２】
ステップＳ７０７−２において、画像表示装置１は、互いの平均位置が近い、姿勢特徴点Ｐｂ１’〜Ｐｂｎ’に対応する姿勢特徴点Ｐｂ１〜Ｐｂｎを含む姿勢情報Ｐｂと、顔特徴点Ｑｂ１’〜Ｑｂｍ’に対応する顔特徴点Ｑｂ１〜Ｑｂｍを含む属性情報Ｑｂとを、関連付ける。なお、ステップＳ７０７−１とステップＳ７０７−２とは、並列的に処理されてもよい。
【００９３】
ステップＳ７０８−１において、画像表示装置１は、関連付けられた姿勢情報Ｐａ及び属性情報Ｑａを、被写体Ａの被写体情報Ｔａとして記憶する。
【００９４】
ステップＳ７０８−２において、画像表示装置１は、関連付けられた姿勢情報Ｐｂ及び属性情報Ｑｂを、被写体Ｂの被写体情報Ｔｂとして記憶する。なお、ステップＳ７０８−１とステップＳ７０８−２とは、並列的に処理されてもよい。その後、画像表示装置１は、本処理を終了し、図５のステップＳ５０６に移行する。
【００９５】
なお、画像表示装置１は、ステップＳ７０５において姿勢特徴点の平均位置及び顔特徴点の平均位置を算出し、ステップＳ７０６において姿勢特徴点の平均位置と顔特徴点の平均位置とを照合した。しかしながら、画像表示装置１はこれに限定されず、ステップＳ７０５において姿勢特徴点の代表位置及び顔特徴点の代表位置を特定し、ステップＳ７０６において姿勢特徴点の代表位置と顔特徴点の代表位置とを照合してもよい。姿勢特徴点の代表位置は、例えば、頭部を示す姿勢特徴点の位置であってもよい。顔特徴点の代表位置は、例えば、鼻部を示す顔特徴点の位置であってもよい。
【００９６】
図８は、本発明の実施形態に係る画像表示装置１において行われる表示対象判断処理の詳細な流れを示すフローチャートである。
【００９７】
ステップＳ８０１において、画像表示装置１は、姿勢情報Ｐａ及び属性情報Ｑａを含む被写体Ａの被写体情報Ｔａと、姿勢情報Ｐｂ及び属性情報Ｑｂを含む被写体Ｂの被写体情報Ｔｂとを確認する。
【００９８】
ステップＳ８０２において、画像表示装置１は、条件１に適合する属性情報を含む被写体情報を検索する。条件１は、被写体が表示対象となり得る条件を示す表示対象条件の１つであって、属性情報に関係した条件であってもよい。例えば、条件１は、被写体の属性情報に含まれる年齢が３０歳代以下であると設定されてもよい。属性情報Ｑａの年齢に関する情報が２０歳代後半であり、属性情報Ｑｂの年齢に関する情報が２０歳代前半であれば、条件１に係る検索結果の中には、属性情報Ｑａを含む被写体情報Ｔａ及び属性情報Ｑｂを含む被写体情報Ｔｂが共に含まれる。
【００９９】
ステップＳ８０３において、画像表示装置１は、条件１に係る検索結果の中に、条件１に適合する属性情報を含む被写体情報が有るか否かを判定する。条件１に適合する属性情報を含む被写体情報が無い場合、画像表示装置１は、ステップＳ８０８に移行する。一方、条件１に適合する属性情報を含む被写体情報が有る場合、画像表示装置１は、ステップＳ８０４に移行する。
【０１００】
ステップＳ８０４において、画像表示装置１は、条件１に係る検索結果の中から、条件２に適合する属性情報を含む被写体情報を検索する。条件２も、条件１と同様に、被写体が表示対象となり得る条件を示す表示対象条件の１つであって、属性情報に関係した条件であってもよい。例えば、条件２は、被写体の属性情報に含まれる性別が男性であると設定されてもよい。属性情報Ｑａの性別に関する情報が男性であり、属性情報Ｑｂの性別に関する情報が女性であれば、条件２に係る検索結果の中には、属性情報Ｑａを含む被写体情報Ｔａだけが含まれる。
【０１０１】
ステップＳ８０５において、画像表示装置１は、条件２に係る検索結果の中に、条件２に適合する属性情報を含む被写体情報が有るか否かを判定する。条件２に適合する属性情報を含む被写体情報が無い場合、画像表示装置１は、ステップＳ８０８に移行する。一方、条件２に適合する属性情報を含む被写体情報が有る場合、画像表示装置１は、ステップＳ８０６に移行する。
【０１０２】
ステップＳ８０６において、画像表示装置１は、条件２に係る検索結果の中から、条件３に適合する姿勢情報を含む被写体情報を検索する。条件３は、条件１及び条件２と同様に、被写体が表示対象となり得る条件を示す表示対象条件の１つであるが、条件１及び条件２とは異なり、姿勢情報に関係した条件であってもよい。例えば、条件３は、被写体の姿勢情報に含まれる姿勢特徴点の位置が、変化しない、又は、所定速度以下で変化すると設定されてもよい。すわなち、条件３は、被写体の移動速度が、ゼロ以上所定速度以下であると設定されてもよい。この条件３は、画像表示装置１の前に立ち止まっていたり、画像表示装置１に注目しながら通行したり等、画像表示装置１に興味を抱き易い被写体を表示対象とするための条件である。被写体Ａは、画像表示装置１の前に立ち止まっていれば、姿勢情報Ｐａに含まれる姿勢特徴点Ｐａ１〜Ｐａｎの位置が変化する速度は、少なくとも所定速度以下であり、条件３に係る検索結果の中には、姿勢情報Ｐａを含む被写体情報Ｔａが含まれる。
【０１０３】
ステップＳ８０７において、画像表示装置１は、条件３に適合する被写体情報に対応する被写体を表示対象の被写体に選定する。画像表示装置１は、被写体Ａの被写体情報Ｔａに含まれる姿勢情報Ｐａが条件３に適合するため、被写体Ａを表示対象の被写体に選定する。その後、画像表示装置１は、本処理を終了し、図５のステップＳ５０７に移行する。
【０１０４】
ステップＳ８０８において、画像表示装置１は、表示対象の被写体が無いと判断する。そして、画像表示装置１は、表示対象の被写体が無いと判断したことを記憶した後、本処理を終了し、図５のステップＳ５０７に移行する。
【０１０５】
なお、画像表示装置１は、被写体が表示対象となり得る条件を示す表示対象条件に適合する被写体情報を検索するにあたって、上述の条件１〜３の順番で検索した。しかしながら、画像表示装置１はこれに限定されず、例えば、最初に姿勢情報に関係する条件３で検索してもよい。また、表示対象条件の数も上述の条件１〜３に限定されない。また、表示対象条件は、全て属性情報に関係する条件であってもよいし、その内容も上述の条件１〜３に限定されない。
【０１０６】
［３．作用効果］
以上のように、本実施形態に係る画像表示装置１は、被写体を撮像して被写体画像を取得する撮像部２１と、この被写体画像を用いて被写体の動作をリアルタイムに検出し姿勢情報を取得する動作検出部２２とを備える。このため、本実施形態に係る画像表示装置１は、被写体の３次元人体形状データや姿勢データを予め膨大に計測して記憶していなくてもよく、被写体の姿勢や動作を推定するために計算量が膨大になることもない。よって、本実施形態に係る画像表示装置１は、簡易な構成であっても、表示対象の被写体の姿勢及び動作を精度よく表現することができるため、低コスト化が図れ、容易な導入が可能となる。
【０１０７】
また、本実施形態に係る画像表示装置１は、撮像部２１によって取得された被写体画像に、服飾モデルを合成して表示させるのではなく、被写体の３次元ＣＧモデルの画像を表示させる。このため、本実施形態に係る画像表示装置１は、表示部１０の表示画像において、試着させたい服飾品の画像と、被写体が現在着用している服飾品の画像とが干渉することがない。しかも、本実施形態に係る画像表示装置１は、姿勢情報と属性情報とに基づいて、被写体の３次元ＣＧモデルを作成し、被写体の姿勢及び動作に応じて表示することができる。その上、本実施形態に係る画像表示装置１は、被写体の３次元ＣＧモデルには、被写体の属性情報に基づいて決定された服飾モデルが合成される。このため、本実施形態に係る画像表示装置１は、被写体の体型、姿勢及び属性に即した３次元ＣＧモデル及び服飾モデルの画像を、被写体の姿勢及び動作に合わせて動かして表示させることができる。よって、本実施形態に係る画像表示装置１は、真に表示対象の被写体に適した試着画像を表示することができる。
【０１０８】
更に、本実施形態に係る画像表示装置１は、姿勢情報と属性情報とを関連付ける関連付け部５１を備える。このため、本実施形態に係る画像表示装置１は、姿勢情報を取得する動作検出部２２と属性情報を取得する顔認識部４０とが別個に開発されて、姿勢情報と属性情報とのデータ形式が異なっても、両者を関連付けて３次元ＣＧモデルを作成することができる。それにより、本実施形態に係る画像表示装置１は、例えば、姿勢情報を取得する市販のモーションセンサをそのまま導入しても、被写体の体型、姿勢及び属性に即した３次元ＣＧモデルを容易に作成することができる。よって、本実施形態に係る画像表示装置１では、表示対象の被写体の姿勢及び動作を精度よく表現できると共に、真に表示対象の被写体に適した試着画像を表示できる画像表示装置を、簡易な構成で実現し容易な導入が可能となる。
【０１０９】
更に、本実施形態に係る画像表示装置１は、複数の被写体が同時に撮像され、複数の姿勢情報と複数の属性情報とが取得されても、関連付け部５１によってこれらを適切に関連付け、判断部５２によって意図的に表示対象の被写体を選定し、表示させることができる。よって、本実施形態に係る画像表示装置１は、複数の被写体が同時に撮像されることが想定される状況であっても使用することができる。特に、本実施形態に係る画像表示装置１は、従来の試着室の代替品としてだけでなく、複数の通行人等が往来するショーウインドウにおいて真に表示対象の被写体に適した試着画像を表示するという新しい使用形態を提供することができる。
【０１１０】
また、本実施形態に係る画像表示装置１は、被写体が撮像部２１に撮像されない状況では、画像表示装置１の提供側が薦める服飾品が装着されたマネキンの３次元ＣＧモデル画像をデモ画像として表示させることができる。そして、本実施形態に係る画像表示装置１は、被写体が撮像部２１に撮像される状況では、画像表示装置１の提供側が薦め、且つ、被写体に適した服飾品の服飾モデルを被写体の３次元ＣＧモデルに合成させて表示させることができる。このため、本実施形態に係る画像表示装置１は、表示対象の被写体が服飾品を仮想的に試着した画像を表示するバーチャルフィッティング装置としてだけでなく、通行人等に服飾品の広告を宣伝するデジタルサイネージ装置としての役割をも果たすことができる。よって、本実施形態に係る画像表示装置１は、バーチャルフィッティング装置とデジタルサイネージ装置とを兼用する画像表示装置の新しい用途を提供することができる。
【０１１１】
特に、本実施形態に係る画像表示装置１は、デモ画像の表示中には、服飾品が装着されたマネキンの静止画像を表示させておき、表示対象の被写体が出現した際には、この被写体の姿勢及び動作に合わせて動く３次元ＣＧモデルの画像を表示させることができる。このため、本実施形態に係る画像表示装置１は、表示対象の被写体を含む通行人等に対し、表示部１０に表示された３次元ＣＧモデルの画像が突然動き出すように感じさせることができる。よって、本実施形態に係る画像表示装置１は、従来のデジタルサイネージ装置よりも、宣伝効果の高い広告媒体として機能することができる。
【０１１２】
［４．その他］
上述の実施形態において、画像表示装置１は、特許請求の範囲に記載された「画像表示装置」の一例に該当する。表示部１０は、特許請求の範囲に記載された「表示部」の一例に該当する。撮像部２１は、特許請求の範囲に記載された「撮像部」の一例に該当する。動作検出部２２は、特許請求の範囲に記載された「動作検出部」の一例に該当する。顔認識部４０は、特許請求の範囲に記載された「顔認識部」の一例に該当する。制御部５０は、特許請求の範囲に記載された「制御部」の一例に該当する。モデル作成部５３は、特許請求の範囲に記載された「モデル作成部」の一例に該当する。表示制御部５７は、特許請求の範囲に記載された「表示制御部」の一例に該当する。関連付け部５１は、特許請求の範囲に記載された「関連付け部」の一例に該当する。
【０１１３】
上述の実施形態は、変形例を含めて各実施形態同士で互いの技術を適用し得ることは、当業者には明らかであろう。
【０１１４】
上述の説明は、制限ではなく単なる例示を意図している。従って、特許請求の範囲を逸脱することなく本発明の実施形態に変更を加えることができることは、当業者には明らかであろう。
【０１１５】
本明細書及び特許請求の範囲全体で使用される用語は、「限定的でない」用語と解釈されるべきである。例えば、「含む」及び「含まれる」という用語は、「含まれるものとして記載されたものに限定されない」と解釈されるべきである。「有する」という用語は、「有するものとして記載されたものに限定されない」と解釈されるべきである。
【符号の説明】
【０１１６】
１              画像表示装置
１０            表示部
２０            モーションセンサ
２１            撮像部
２２            動作検出部
３０            情報機器
４０            顔認識部
５０            制御部
５１            関連付け部
５２            判断部
５３            モデル作成部
５４            服飾決定部
５５            モデル合成部
５６            シーン決定部
５７            表示制御部
Ａ              被写体
Ｂ              被写体
Ｆａ            顔画像
Ｆｂ            顔画像
Ｇ              撮像画像
Ｇａ            被写体画像
Ｇｂ            被写体画像
Ｐａ            姿勢情報
Ｐａ１〜Ｐａｎ  姿勢特徴点
Ｐｂ            姿勢情報
Ｐｂ１〜Ｐｂｎ  姿勢特徴点
Ｑａ            属性情報
Ｑａ１〜Ｑａｍ  顔特徴点
Ｑｂ            属性情報
Ｑｂ１〜Ｑｂｍ  顔特徴点
Ｔａ            被写体情報
Ｔｂ            被写体情報
【図１】
2018055619.tif 000003
【図２】
2018055619.tif 000004
【図３】
2018055619.tif 000005
【図４】
2018055619.tif 000006
【図５】
2018055619.tif 000007
【図６】
2018055619.tif 000008
【図７】
2018055619.tif 000009
【図８】
2018055619.tif 000010