(57)【要約】【課題】被写体の動作に応じて着用状態を変化させることが可能な情報処理装置、表示制御方法、およびプログラムを提供する。【解決手段】撮像された被写体の動作を検出する動作検出部と、前記動作検出部により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる表示制御部と、を備える、情報処理装置。【選択図】図１
2013101526.tif 000002
【特許請求の範囲】
【請求項１】
撮像された被写体の動作を検出する動作検出部と、
前記動作検出部により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる表示制御部と、
を備える、情報処理装置。
【請求項２】
前記表示制御部は、前記被写体の動作位置に応じて、前記仮想的な服飾品の一部、または全部を変化させる、請求項１に記載の情報処理装置。
【請求項３】
前記表示制御部は、前記服飾品の変化の程度を、前記服飾品に対応付けられる素材情報に基づいて決定する、請求項２に記載の情報処理装置。
【請求項４】
前記表示制御部は、前記動作検出部により検出された動作の位置に応じて、前記仮想的な服飾品の形状の特徴を示す特徴点を移動させる、請求項２に記載の情報処理装置。
【請求項５】
前記動作検出部は、前記被写体が手でつまんで引っ張る動作を検出し、
前記表示制御部は、前記仮想的な服飾品の一部を、前記被写体により引っ張られた方向に伸ばすことで、着用状態を変化させる、請求項２に記載の情報処理装置。
【請求項６】
前記動作検出部は、前記被写体が、一方の手を他方の手首から肘に向けて動かす腕まくり動作を検出し、
前記表示制御部は、前記被写体に重畳表示される仮想衣服の袖を、前記腕まくり動作に応じて肘方向に移動させることで、着用状態を変化させる、請求項２に記載の情報処理装置。
【請求項７】
前記動作検出部は、前記被写体が襟を立てる動作を検出し、
前記表示制御部は、前記被写体に重畳表示される仮想衣服の襟を、前記襟を立てる動作に応じて立てることで、着用状態を変化させる、請求項２に記載の情報処理装置。
【請求項８】
前記動作検出部は、前記被写体が衣服の腰位置を上下させる動作を検出し、
前記表示制御部は、前記被写体に重畳表示される仮想衣服の位置を、前記衣服の腰位置を上下させる動作に応じて調整することで、着用状態を変化させる、請求項２に記載の情報処理装置。
【請求項９】
撮像された被写体の動作を検出するステップと、
前記動作を検出するステップにより検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させるステップと、
を含む、表示制御方法。
【請求項１０】
撮像された被写体の動作を検出する処理と、
前記動作を検出する処理により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる処理と、
をコンピュータに実行させる、プログラム。
【請求項１１】
前記変化させる処理は、前記被写体の動作位置に応じて、前記仮想的な服飾品の一部、または全部を変化させる、請求項１０に記載のプログラム。
【請求項１２】
前記変化させる処理は、前記服飾品の変化の程度を、前記服飾品に対応付けられる素材情報に基づいて決定する、請求項１１に記載のプログラム。
【請求項１３】
前記変化させる処理は、前記検出する処理により検出された動作の位置に応じて、前記仮想的な服飾品の形状の特徴を示す特徴点を移動させる、請求項１１に記載のプログラム。
【請求項１４】
前記検出する処理は、前記被写体が手でつまんで引っ張る動作を検出し、
前記変化させる処理は、前記仮想的な服飾品の一部を、前記被写体により引っ張られた方向に伸ばすことで、着用状態を変化させる、請求項１１に記載のプログラム。
【請求項１５】
前記検出する処理は、前記被写体が、一方の手を他方の手首から肘に向けて動かす腕まくり動作を検出し、
前記変化させる処理は、前記被写体に重畳表示される仮想衣服の袖を、前記腕まくり動作に応じて肘方向に移動させることで、着用状態を変化させる、請求項１１に記載のプログラム。
【請求項１６】
前記検出する処理は、前記被写体が襟を立てる動作を検出し、
前記変化させる処理は、前記被写体に重畳表示される仮想衣服の襟を、前記襟を立てる動作に応じて立てることで、着用状態を変化させる、請求項１１に記載のプログラム。
【請求項１７】
前記検出する処理は、前記被写体が衣服の腰位置を上下させる動作を検出し、
前記変化させる処理は、前記被写体に重畳表示される仮想衣服の位置を、前記衣服の腰位置を上下させる動作に応じて調整することで、着用状態を変化させる、請求項１１に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、表示制御方法、およびプログラムに関する。
【背景技術】
【０００２】
仮想的な試着システムとして、ユーザを撮像した撮像画像に衣服の画像を合成する試着画像生成技術が様々提案されている。
【０００３】
例えば、特許文献１では、ユーザの身体画像に衣服画像を合成する処理が開示されている。具体的には、特許文献１に記載の画像処理サーバは、ユーザの身体画像に添付されている身体プロファイルデータ（身長、肩幅等）および画像における身体の向きなどの情報に基づき、衣服画像のサイズ変更および向きの調整を行い、身体画像に合成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３０４３３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載されるような試着画像生成技術において、合成される衣服画像はサイズ変更および向き調整が行われるのみであって、衣服画像の襟や袖などの状態は予め決まっており、衣服画像を部分的に変化させることは困難であった。しかし、実際ユーザが衣服を試着する場合は、好みによって襟や袖の状態（総じて、着用状態とも称す）を変えた状態も試したいという要望がある。
【０００６】
そこで、本開示では、被写体の動作に応じて着用状態を変化させることが可能な、新規かつ改良された情報処理装置、表示制御方法およびプログラムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、撮像された被写体の動作を検出する動作検出部と、前記動作検出部により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる表示制御部と、を備える情報処理装置を提案する。
【０００８】
本開示によれば、撮像された被写体の動作を検出するステップと、前記動作を検出するステップにより検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させるステップと、を含む表示制御方法を提案する。
【０００９】
本開示によれば、撮像された被写体の動作を検出する処理と、前記動作を検出する処理により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる処理と、をコンピュータに実行させるプログラムを提案する。
【発明の効果】
【００１０】
以上説明したように本開示によれば、被写体の動作に応じて着用状態を変化させることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態によるＡＲ試着システムの概要を説明するための図である。
【図２】本開示の一実施形態による情報処理装置の構成を示すブロック図である。
【図３】実空間におけるカメラと被写体の位置関係、および被写体を撮像した撮像画像を説明するための図である。
【図４】本開示の一実施形態による骨格情報を説明するための図である。
【図５】仮想空間における仮想カメラと仮想衣服の位置関係、および仮想衣服を投影した仮想的な衣服画像を説明するための図である。
【図６】本開示の一実施形態によるＡＲ試着画像表示における基本的な表示制御処理を示すフローチャートである。
【図７】本開示の一実施形態によるジェスチャーに応じた着用状態の制御処理を示すフローチャートである。
【図８】本開示の一実施形態による有効なジェスチャーに応じた着用状態の制御例１を説明するための図である。
【図９】本開示の一実施形態による有効なジェスチャーに応じた着用状態の制御例４を説明するための図である。
【図１０】本開示の一実施形態によるＡＲ試着システムにおいてカメラが被写体の後ろに配置変更された場合を説明するための図である。
【図１１】本開示の一実施形態によるＡＲ試着システムにおいて、３次元形状が復元された被写体に仮想衣服を重畳表示する場合を説明するための図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態によるＡＲ試着システムの概要
２．情報処理装置の構成
３．表示制御
３−１．基本的な表示制御
３−２．ジェスチャーに応じた着用状態の制御
３−３．客観的な視点からの表示
４．まとめ
【００１４】
＜１．本開示の一実施形態によるＡＲ試着システムの概要＞
近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。ＡＲ技術の主要な適用分野の１つは、実世界でのユーザ活動の支援である。以下では、このＡＲ技術を試着システムに適用する。
【００１５】
ＡＲ技術を利用した試着システムは、ユーザの動作に合わせて仮想的な衣服画像を重畳表示することで、リアルタイムに仮想試着を体験することができる。また、本開示の一実施形態によるＡＲ試着システムは、ユーザの動作に応じて仮想衣服の着用状態を変化させ、インタラクティブな試着を提供することができる。これにより、試着の自由度が上がり、ユーザは仮想試着において着こなしを楽しむことができる。
【００１６】
このような本開示の一実施形態によるＡＲ試着システムの概要を、図１を参照しながら説明する。図１に示すように、本開示の一実施形態によるＡＲ試着システム１は、情報処理装置１０、カメラ１５、センサ１７、および表示装置１９を有する。なお、ＡＲ試着システム１が設置される場所は特に限定されない。例えば、ＡＲ試着システム１は、ユーザの自宅内に設置されてもよいし、店頭に設置されてもよい。
【００１７】
また、図１に示した例では、ＡＲ試着システム１を構成する複数の装置（情報処理装置１０、カメラ１５、センサ１７および表示装置１９）が別体に構成されているが、本開示によるＡＲ試着システム１の構成はこれに限定されない。例えば、ＡＲ試着システム１を構成する上記複数の装置のいずれかの組み合わせが一体化されていてもよい。また、例えば、ＡＲ試着システム１を構成する複数の装置は、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器に内蔵されていてもよい。
【００１８】
カメラ１５（撮像装置）は、実空間に存在する物体を撮像する。実空間に存在する物体は、特に限定されないが、例えば、人物や動物などの生き物であってもよく、車庫やテレビ台などといった生き物以外であってもよい。図１に示した例では、実空間に存在する物体として被写体Ａ（例えば、人物）がカメラ１５により撮像される。カメラ１５により撮像された画像（撮像画像とも称す）は表示装置１９に表示される。表示装置１９に表示される撮像画像は、ＲＧＢ画像であってもよい。また、カメラ１５は、撮像画像を情報処理装置１０に送る。
【００１９】
センサ１７は、実空間からパラメータを検出する機能を有し、検出データを情報処理装置１０に送る。例えば、センサ１７が赤外線センサにより構成されている場合、センサ部１７は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして情報処理装置１０に供給することができる。情報処理装置１０は、例えば、検出データに基づいて実空間に存在する物体を認識することができる。センサ１７の種類は、赤外線センサに限定されない。なお、図１に示した例では、検出データがセンサ１７から情報処理装置１０に供給されることとしているが、情報処理装置１０に供給される検出データは、カメラ１５により撮像された画像であってもよい。
【００２０】
情報処理装置１０は、実空間に存在する物体の認識結果に応じて、撮像画像に対して仮想オブジェクトを合成したり撮像画像を変形したりすることにより、撮像画像を処理することができる。表示装置１９は、情報処理装置１０により処理された画像を表示することも可能である。
【００２１】
例えば、図１に示すように、情報処理装置１０は、実空間の被写体Ａを認識し、衣服画像を合成した試着画像を表示装置１９にリアルタイムに表示させることができる。ここでは、ユーザの身体が実空間の映像であり、試着対象の衣服画像が実空間の映像に重畳表示された仮想オブジェクトである。これにより、ＡＲ試着システム１は、仮想的な試着をリアルタイムに提供することができる。
【００２２】
また、本開示による情報処理装置１０は、被写体Ａの動作を検出する機能を有する。これにより、情報処理装置１０は、検出した動作に応じて撮像画像に合成する衣服画像を変化させ、着用状態を変化させることができる。このように被写体Ａの動作に応じて着用状態が変化するＡＲ試着画像を表示装置１９にリアルタイム表示することで、インタラクティブな試着を提供することができる。
【００２３】
＜２．情報処理装置の構成＞
次に、本開示によるＡＲ試着システムを実現する情報処理装置１０の構成について、図２を参照して説明する。図２に示すように、情報処理装置１０は、制御部１００、操作入力部１２０、および記憶部１３０を有する。制御部１００は、骨格位置算出部１０１、動作検出部１０３および表示制御部１０５を有する。また、情報処理装置１０には、カメラ１５、センサ１７および表示装置１９が、有線または無線により接続されている。
【００２４】
制御部１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。制御部１００は、記憶部１３０または他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する制御部１００の様々な機能を動作させる。なお、制御部１００を構成する各ブロックは、全てが同一の装置に組み込まれていなくてもよく、一部が他の装置（例えば、サーバ）に組み込まれていてもよい。
【００２５】
記憶部１３０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、情報処理装置１０による処理のためのプログラムおよびデータを記憶する。例えば、制御部１００としてコンピュータを機能させるためのプログラムを記憶する。さらに、例えば、記憶部１３０は、制御部１００により使用されるデータを記憶する。また、本実施形態による記憶部１３０は、表示対象となる仮想オブジェクトとして、服飾品の３次元データや、服飾品に関連付けられた素材情報およびサイズ情報などを記憶する。本明細書において、服飾品とは、衣服または装飾品を含む。また、装飾品とは、メガネ、帽子およびベルトなどを含む。
【００２６】
操作入力部１２０は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチ、レバーおよびリモートコントローラーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、制御部１００に出力する入力制御回路などから構成されている。ユーザは、操作入力部１２０を操作することにより、情報処理装置１０の電源ＯＮ／ＯＦＦや、ＡＲ試着システムプログラムの起動などを指示したりすることができる。
【００２７】
カメラ１５（撮像装置）は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて実空間を撮像することにより、撮像画像を生成する。本開示の実施形態においては、カメラ１５が情報処理装置１０と別体に構成されていることを想定しているが、カメラ１５は、情報処理装置１０の一部であってもよい。
【００２８】
また、カメラ１５は、撮像時におけるカメラ１５の設定情報を情報処理装置１０に供給する。ここで、図３に、実空間におけるカメラ１５と被写体Ａの位置関係、および被写体Ａを撮像した撮像画像Ａ’を説明するための図を示す。図３では、カメラ１５のレンズ（不図示）の光学的な中心である主点から、カメラ１５の撮像素子（不図示）までの焦点距離ｆｒｅａｌと、撮像素子に写る被写体Ａ（３次元、ｘｙｚ座標）の撮像画像Ａ’（２次元、ｘｙ座標）を、便宜上被写体側に示す。カメラ１５から被写体Ａまでの距離ｄｒｅａｌは、後述するように深度情報として算出される。また、カメラ１５の画角θｒｅａｌは、主に焦点距離ｆｒｅａｌに応じて決定される。カメラ１５は、カメラ１５の設定情報として、例えば焦点距離ｆｒｅａｌ（または画角θｒｅａｌ）および撮像画像Ａ’の画素数（すなわちピクセル数）を、情報処理装置１０に供給する。
【００２９】
センサ１７は、実空間からパラメータを検出する機能を有している。例えば、センサ１７が赤外線センサにより構成されている場合、センサ１７は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして情報処理装置１０に供給することができる。センサ１７の種類は、赤外線センサに限定されない。なお、カメラ１５により撮像された画像が検出データとして情報処理装置１０に供給される場合には、センサ１７は存在しなくてもよい。
【００３０】
表示装置１９は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ  ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）またはＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）などにより構成される表示モジュールである。本開示の実施形態においては、表示装置１９が情報処理装置１０と別体に構成されていることを想定しているが、表示装置１９は、情報処理装置１０の一部であってもよい。
【００３１】
続いて、上記制御部１００の機能構成について説明する。上述したように、制御部１００は、骨格位置算出部１０１、動作検出部１０３、および表示制御部１０５を有する。
【００３２】
（骨格位置算出部１０１）
骨格位置算出部１０１は、検出データに基づいて撮像画像に映る物体の骨格位置を算出する。撮像画像に映る物体の実空間上の骨格位置を算出する手法は特に限定されない。例えば、骨格位置算出部１０１は、まず、撮像画像において物体の存在する領域（以下、「物体存在領域」とも称す。）を認識するとともに、撮像画像内の物体の深度情報を取得する。そして、骨格位置算出部１０１は、物体存在領域の深度と形（特徴量）に基づいて、撮像画像に映る物体の実空間上の部位（頭、左肩、右肩、腹部など）を認識し、各部位における中心位置を骨格位置として算出してもよい。ここで、骨格位置算出部１０１は、記憶部１３０に記憶された特徴量辞書を用いて、撮像画像から決定される特徴量を、当該特徴量辞書に予め登録された物体の部位ごとの特徴量と照合することにより、撮像画像に含まれる物体の部位を認識することができる。
【００３３】
物体存在領域を認識する手法としては様々な手法が想定される。例えば、撮像画像が検出データとして情報処理装置１０に供給された場合には、骨格位置算出部１０１は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値に基づいて、物体存在領域を認識することができる。より詳細には、骨格位置算出部１０１は、物体が映る前の撮像画像と物体が映っている撮像画像との差分値が閾値を超える領域を、物体存在領域として認識することができる。
【００３４】
また、例えば、センサ１７により検出されたパラメータが検出データとして情報処理装置１０に供給された場合には、骨格位置算出部１０１は、検出データに基づいて、物体存在領域を認識することができる。より詳細には、骨格位置算出部１０１は、検出される赤外線量が閾値を超える領域を、物体存在領域として認識することができる。
【００３５】
また、撮像画像内の物体の深度情報を取得する手法として様々な手法が想定される。例えば、カメラ１５と物体との距離をあらかじめ定めておくことが可能である。すなわち、あらかじめ定められた距離だけカメラ１５から離れた位置に物体が配置されるような制限を設ければよい。このような制限を設ければ、骨格位置算出部１０１は、物体の深度情報（ここでは、カメラ１５と物体との距離）を固定値（例えば、２ｍなど）として扱うことができる。
【００３６】
また、骨格位置算出部１０１は、撮像画像内の物体の深度情報を、センサ１７により検出されたパラメータに基づいて算出することも可能である。より詳細には、骨格位置算出部１０１は、図示しない照射装置から赤外線などの光を物体に向けて照射した場合に、センサ１７により検出された光を解析することにより、撮像画像内の物体の深度情報を算出することができる。
【００３７】
また、例えば骨格位置算出部１０１は、センサ１７により検出された光の位相遅れに基づいて、撮像画像内の物体の深度情報を算出することができる。この手法は、ＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）方式とも言われる。あるいは、図示しない照射装置から照射される光が既知のパターンから構成される場合には、骨格位置算出部１０１は、センサ１７により検出された光を構成するパターンの歪み具合を解析することにより、撮像画像内の物体の深度情報を算出してもよい。
【００３８】
なお、撮像画像内の物体の深度情報を算出する機能を有する撮像装置はデプスカメラと称され、ステレオカメラやレーザーレンジスキャナにより実現され得る。骨格位置算出部１０１は、情報処理装置１０に接続されるデプスカメラから深度情報を取得してもよい。
【００３９】
以上説明した各手法により取得した物体存在領域の深度と形（特徴量）に基づいて、骨格位置算出部１０１は、撮像画像に映る物体の実空間上の部位（頭、肩など）を認識し、各部位の骨格位置の座標を算出する。次に、骨格位置算出部１０１が算出した被写体Ａを構成する１以上の部位の骨格位置を含む骨格情報について図４を参照して説明する。
【００４０】
図４は、骨格情報を説明するための図である。図４に示した例では、骨格情報は、被写体Ａを構成する１５の部位の位置を示す座標Ｂ１〜Ｂ３、Ｂ６、Ｂ７、Ｂ９、Ｂ１２、Ｂ１３、Ｂ１５、Ｂ１７、Ｂ１８、Ｂ２０〜Ｂ２２、Ｂ２４として示されているが、骨格情報に含まれる部位の数は特に限定されない。
【００４１】
なお、座標Ｂ１は「Ｈｅａｄ」の座標を示し、座標Ｂ２は「Ｎｅｃｋ」の座標を示し、座標Ｂ３は「Ｔｏｒｓｏ」の座標を示し、座標Ｂ６は「Ｒｉｇｈｔ  Ｓｈｏｕｌｄｅｒ」の座標を示し、座標Ｂ７は「Ｒｉｇｈｔ  Ｅｌｂｏｗ」の座標を示している。また、座標Ｂ９は「Ｒｉｇｈｔ  Ｈａｎｄ」の座標を示し、座標Ｂ１２は「Ｌｅｆｔ  Ｓｈｏｕｌｄｅｒ」の座標を示し、座標Ｂ１３は「Ｌｅｆｔ  Ｅｌｂｏｗ」の座標を示し、座標Ｂ１５は「Ｌｅｆｔ  Ｈａｎｄ」の座標を示している。
【００４２】
座標Ｂ１７は「Ｒｉｇｈｔ  Ｈｉｐ」の座標を示し、座標Ｂ１８は「Ｒｉｇｈｔ  Ｋｎｅｅ」の座標を示し、座標Ｂ２０は「Ｒｉｇｈｔ  Ｆｏｏｔ」の座標を示し、座標Ｂ２１は「ｌｅｆｔ  Ｈｉｐ」の座標を示している。座標Ｂ２２は「Ｌｅｆｔ  Ｋｎｅｅ」の座標を示し、座標Ｂ２４は「Ｌｅｆｔ  Ｆｏｏｔ」の座標を示している。
【００４３】
また、本実施形態による骨格位置算出部１０１は、上述したように、撮像画像内の物体の深度情報を取得するが、具体的には、例えば深度の深さに応じて濃淡が変化する撮像画像（不図示）として上記デプスカメラから取得してもよい。
【００４４】
（動作検出部１０３）
動作検出部１０３は、骨格位置算出部１０１により算出された骨格位置の時間経過に伴う変化に基づいて、動作を検出し、有効なジェスチャーであった場合は、検出した有効なジェスチャーを表示制御部１０５に出力する。動作検出部１０３は、検出した動作を、予め記憶部１３０に記憶したジェスチャーＤＢ（データベース）に登録されている各ジェスチャーと比較し、検出した動作が有効なジェスチャーであるか否かを判断する。例えば、ジェスチャーＤＢには、仮想衣服が被写体Ａに重畳表示されている位置から外側に向けて手が動く動作を、衣服をつまんで引っ張る有効なジェスチャーとして登録されている。また、ジェスチャーＤＢには、一方の手が他方の手首から肘に向けて動く動作を、袖をまくる有効なジェスチャーとして登録されている。
【００４５】
なお、実空間における被写体（例えば人物）の動作検出は、上述した骨格情報に基づく動作検出の他、一般的にモーションキャプチャと総称される他の技術により実現してもよい。例えば、動作検出部１０３は、被写体の関節部に取り付けられた加速度センサなどから検出されたパラメータに基づいて被写体の動作を検出してもよい。また、動作検出部１０３は、被写体に装着されたマーカーの動きを検出することで、動作を検出してもよい。
【００４６】
（表示制御部１０５）
表示制御部１０５は、撮像画像に映る被写体に仮想衣服を重畳表示したＡＲ試着画像を生成し、表示装置１９に表示させる制御を行う。また、本実施形態による表示制御部１０５は、動作検出部１０３により検出された動作（有効なジェスチャー）に応じてＡＲ試着の着用状態を変化させることができる。具体的には、表示制御部１０５は、被写体のジェスチャー（座標の時系列変化）およびジェスチャーの位置（座標）に応じて、仮想衣服の一部または全部を変化させることで着用状態を変化させ、インタラクティブな試着を提供することができる。
【００４７】
ここで、撮像画像に重畳する仮想画像の生成について、図５を参照して説明する。図５は、仮想空間における仮想カメラ２５と仮想衣服Ｃの位置関係、および仮想衣服Ｃを投影（レンダリング）した仮想的な衣服画像Ｃ’（仮想画像とも称す）を説明するための図を示す。図５では、図３に示す実空間を撮像した撮像画像Ａ’と同様に、レンダリングした仮想的な衣服画像Ｃ’を、仮想衣服側に示す。
【００４８】
仮想カメラ２５の設定（内部パラメータ）は、実空間を撮像するカメラ１５の設定（内部パラメータ）に合わせて決定される。カメラの設定（内部パラメータ）とは、例えば、焦点距離ｆ、画角θおよび画素数等である。表示制御部１０５は、仮想カメラ２５の設定を、実空間のカメラ１５と一致するよう設定する（初期化とも称す）。
【００４９】
次に、表示制御部１０５は、撮像画像内の物体の深度情報に基づいて、実空間におけるカメラ１５から被写体Ａまでの距離ｄｒｅａｌと同じ距離ｄｖｅｒｔｕａｌだけ仮想カメラ２５から離れた位置に、被写体の骨格位置に合わせて仮想衣服Ｃを配置する。表示制御部１０５は、仮想衣服Ｃを、予めモデリングされた３次元データに基づいて生成してもよい。また、表示制御部１０５は、例えば図５に示すように、仮想衣服Ｃの表面を三角形のポリゴンの集合により構成することで、仮想衣服の３次元形状をよりリアルに表現することができる。また、被写体Ａの骨格位置が時間経過と共に変化する場合、表示制御部１０５は、骨格位置をトラッキングするよう仮想衣服Ｃの配置を変化させることができる。
【００５０】
次に、表示制御部１０５は、仮想カメラ２５でレンダリング、すなわち３次元の衣服画像Ｃを２次元の平面画像に投影することで、衣服画像Ｃ’（仮想画像）を取得する。そして、表示制御部１０５は、撮像画像Ａ’（図３参照）に仮想的な衣服画像Ｃ’を重畳表示することでＡＲ試着画像を生成することができる。なお、表示制御部１０５によるＡＲ試着画像の表示制御については、次の＜３．表示制御＞において詳細に説明する。
【００５１】
以上、本開示の一実施形態によるＡＲ試着システムを実現する情報処理装置１０の構成について詳細に説明した。続いて、情報処理装置１０によるＡＲ試着画像の表示制御について説明する。
【００５２】
＜３．表示制御＞
［３−１．基本的な表示制御］
図６は、情報処理装置１０によるＡＲ試着画像の基本的な表示制御処理を示すフローチャートである。図６に示すように、まず、ステップＳ１１０において、表示制御部１０５は、仮想空間における仮想カメラ２５の設定を、実空間のカメラ１５の設定に一致させる初期化を行う。
【００５３】
次いで、ステップＳ１１３において、骨格位置算出部１０１は、撮像した実空間における被写体Ａの骨格位置（ｘｙｚ座標）を算出し、動作検出部１０３および表示制御部１０５に出力する。
【００５４】
次に、ステップＳ１１６において、表示制御部１０５は、仮想空間において、仮想衣服Ｃを被写体Ａの骨格位置（ｘｙｚ座標）に合わせて配置する。
【００５５】
そして、ステップＳ１１９において、表示制御部１０５は、仮想衣服Ｃをレンダリングして衣服画像Ｃ’（仮想画像）を取得し、衣服画像Ｃ’を撮像画像Ａ’に重ねてＡＲ試着画像を描画し、表示装置１９に表示するよう制御する（ＡＲ表示制御）。
【００５６】
また、情報処理装置１０は、ステップＳ１２２において、終了指示がなされるまで上記ステップＳ１１３からＳ１１９を繰り返し行う。これにより、情報処理装置１０は、被写体Ａの動きをトラッキングするＡＲ試着画像をリアルタイムで提供することができる。
【００５７】
以上、基本的な表示制御処理について説明した。さらに、本実施形態による情報処理装置１０は、被写体Ａの動作に応じて仮想衣服の着用状態を変化させることができる。以下、本実施形態によるジェスチャーに応じた着用状態の制御について図７を参照して具体的に説明する。
【００５８】
［３−２．ジェスチャーに応じた着用状態の制御］
図７は、本実施形態の情報処理装置１０によるジェスチャーに応じた着用状態の制御処理を示すフローチャートである。図７に示す処理は、図６に示すステップＳ１１６およびＳ１１９による表示制御ａにおいて行われる着用状態の制御示す。
【００５９】
まず、図７のステップＳ１１６において、図６に示す同ステップの処理と同様に、仮想空間において仮想衣服Ｃを被写体Ａの骨格位置に合わせて配置する。次に、ステップＳ１１９において、図６に示す同ステップの処理と同様に、仮想衣服Ｃをレンダリングして取得した衣服画像Ｃ’を、撮像画像Ａ’に重畳表示することで、基本的なＡＲ試着画像を表示装置１９に表示する。
【００６０】
次いで、ステップＳ１２５において、動作検出部１０３は、手の骨格位置（座標）の時系列変化に基づき、ジェスチャー（動作）を検出する。
【００６１】
続いて、ステップＳ１２８において、動作検出部１０３は、検出したジェスチャーが有効なジェスチャーであるか否か判断する。
【００６２】
そして、ステップＳ１３１において、表示制御部１０５は、動作検出部１０３により有効なジェスチャーと判断されたジェスチャーに応じて、着用状態を制御する。着用状態の制御は、３次元空間（仮想空間）において仮想衣服Ｃの一部または全部を変形させてもよいし、レンダリングにより取得した２次元画像（仮想画像）において仮想的な衣服画像Ｃ’の一部または全部を変形させてもよい。
【００６３】
上述した有効なジェスチャーと、着用状態の制御（変化）との組み合わせは様々考え得る。以下、本開示による有効なジェスチャーに応じた着用状態の制御について、複数の例を挙げて具体的に説明する。
【００６４】
（着用状態の制御例１）
図８は、本実施形態による有効なジェスチャーに応じた着用状態の制御例１を説明するための図である。なお、図８左側には撮像画像および被写体の骨格情報を重ねたイメージの遷移図を示す。動作検出部１０３は図８左側に示すような骨格位置の時系列変化に基づいて動作を検出する。また、図８右側には、表示制御部１０５が表示装置１９に表示させるＡＲ試着画像の遷移図を示す。表示制御部１０５は、骨格位置算出部１０１により算出された図８左側に示すような骨格位置に基づいて仮想衣服を重畳表示する。また、表示制御部１０５は、動作検出部１０３により検出された図８左側に示すような動きに応じて仮想衣服の着用状態を変化させる。
【００６５】
図８左側の骨格位置の遷移図に示すように、被写体の座標Ｂ１５「Ｌｅｆｔ  Ｈａｎｄ」の座標が、仮想衣服が重畳表示されている位置から外側に時系列変化した場合、動作検出部１０３は、衣服をつまんで引っ張る有効なジェスチャーと判断する。この場合、表示制御部１０５は、図８右側のＡＲ試着画像の遷移図に示すように、被写体の動作に合わせて仮想衣服Ｃの一部を変化させる（具体的には、仮想衣服Ｃの一部の特徴点を外側に移動させる）。これにより、仮想衣服Ｃが引っ張られた状態が表現され、ＡＲ試着において着用状態を変化させることができる。
【００６６】
なお、表示制御部１０５は、被写体の動作に応じて仮想衣服Ｃを変化させる際に、仮想衣服Ｃに関連付けて記憶されている素材情報に基づいて仮想衣服Ｃの変化の程度を決定してもよい。これにより、仮想衣服Ｃが伸び易い素材であるか否かに応じて引っ張られた状態の表現等が異なり、ＡＲ試着のリアリティをより増すことができる。
【００６７】
（着用状態の制御例２）
また、被写体の一方の手の座標が、他方の手の座標から肘の座標方向へ時系列変化した場合、動作検出部１０３は、袖をまくる有効なジェスチャー（腕まくり動作）と判断する。この場合、表示制御部１０５は、被写体の腕まくり動作に合わせて、仮想衣服Ｃの一部を変化させる（例えば、仮想衣服Ｃの袖部分の特徴点を肘方向に移動させる）ことで、仮想衣服Ｃの袖がまくられた状態を表現し、ＡＲ試着において着用状態を制御することができる。
【００６８】
また、被写体の手の座標が、首元から顎の方向に時系列変化した場合、動作検出部１０３は、襟を立てる有効なジェスチャーと判断する。この場合、表示制御部１０５は、被写体の動作に合わせて、仮想衣服Ｃを変化させる（具体的には、仮想衣服Ｃの襟部分の特徴点を顎方向に移動させる）ことで、仮想衣服Ｃの襟が立てられた状態を表現し、ＡＲ試着において着用状態を変化させることができる。
【００６９】
なお、上記腕まくりや襟立て動作の逆の動作が検出された場合も、同様にＡＲ試着において着用状態を制御することができる。
【００７０】
（着用状態の制御例４）
さらに、表示制御部１０５は、被写体の動作に応じて、ズボンやスカートの腰位置を調整することできる。図９は、本実施形態による有効なジェスチャーに応じた着用状態の制御例４を説明するための図である。
【００７１】
図９左側の骨格位置の遷移図に示すように、被写体の座標Ｂ９および座標Ｂ１５の座標が、座標Ｂ１７および座標Ｂ２１の座標付近で略垂直方向に下がる時系列変化があった場合、動作検出部１０３は、衣服の腰位置を下げる有効なジェスチャーと判断する。この場合、表示制御部１０５は、図９右側のＡＲ試着画像の遷移図に示すように、被写体の動作に合わせて仮想衣服Ｃを変化させる（具体的には、仮想衣服Ｃ全体の特徴点を下に移動させる）。これにより、仮想衣服Ｃの腰位置を下げた状態を表現し、ＡＲ試着の着用状態を変化することができる。
【００７２】
また、仮想衣服Ｃの腰位置が手の動作に合わせて調整されるので、ユーザは、ＡＲ試着においてズボンやスカートを浅めに履いたり深めに履いたり等の着こなしを試すことができる。
【００７３】
ここで、被写体に重畳表示される仮想衣服のサイズは、通常、被写体の大きさに合わせて変形される。具体的には、例えば図５に示す仮想空間において仮想衣服Ｃを被写体の骨格位置に合わせて配置することで、仮想衣服Ｃのサイズが被写体の大きさに合わせて変形される。しかし、ユーザは、ＡＲ試着システムにおいても、実際に所定サイズの衣服を試着した場合のサイズ感を試したい場合もある。
【００７４】
そこで、表示制御部１０５は、例えば図５に示す仮想空間において、所定サイズの仮想衣服を、実空間の深度ｄｒｅａｌと同じ深度（距離）ｄｖｅｒｔｕａｌに配置し、これを投影した仮想画像を撮像画像に重ねたＡＲ試着画像を表示してもよい。これにより、ユーザは、自身の大きさと、所定サイズの仮想衣服の大きさとを比較することができる。
【００７５】
そして、このように所定サイズの仮想衣服が重畳表示される場合に、上述したような被写体の動作に応じた仮想衣服の着用状態制御を行うことで、仮想衣服のサイズ感を確認することができる。例えば、仮想的なズボンやスカートの腰位置を、最適な腰位置に調整することで、最適な腰位置における仮想衣服Ｃのサイズ感を確認することができる。
【００７６】
以上、本実施形態による被写体の動作に応じた着用状態の制御について複数の具体例を挙げて説明した。続いて、ＡＲ試着システム１に含まれるカメラ１５の配置について具体的に説明する。
【００７７】
［３−３．客観的な視点からの表示］
上述した本開示の一実施形態によるＡＲ試着システムでは、図１に示すように、被写体Ａの正面にカメラ１５および表示装置１９が配置され、正面を向いた被写体Ａに仮想衣服を重畳表示することで、鏡の前で試着姿を見た場合と同視点のＡＲ試着画像を表示していた。しかしながら、この場合は第三者から見た場合の自分の試着姿を確認することが困難であった。そこで、本開示による一実施形態によるＡＲ試着システムは、以下に説明する複数の手法により、客観的な視点からのＡＲ試着画像の表示を実現することができる。
【００７８】
（カメラ１５の配置変更）
図１では、被写体Ａの正面にカメラ１５および表示装置１９が配置されるが、カメラ１５を図１０に示すように被写体Ａの後ろ側に配置変更してもよい。この場合、カメラ１５により被写体Ａの後ろ姿が撮像され、表示制御部１０５は、被写体Ａの後ろ姿に仮想衣服を重畳したＡＲ試着画像を、被写体Ａの正面に位置する表示装置１９に表示する。これにより、ユーザは、ＡＲ試着を行った自分の後ろ姿を確認できる。また、この場合、被写体の後ろ姿に重畳される仮想衣服も当然に後ろ向きとする必要があり、表示制御部１０５は、後ろ向きの仮想衣服データに基づいて描画する。
【００７９】
以上、カメラ１５を被写体Ａの後ろ側に配置変更する場合を例に挙げたが、この他、横や斜めなど、カメラ１５を配置変更することで、客観的な視点からのＡＲ試着画像の表示制御を実現することができる。なお、被写体Ａの向きに応じて仮想衣服の向きも異なるので、情報処理装置１０は、様々な向きの仮想衣服データを有することで対応することができる。若しくは、情報処理装置１０は、予めモデリングされた仮想衣服の３次元データを利用することで、様々な向きの仮想衣服の描画を実現することができる。
【００８０】
（遅延表示）
また、カメラ１５が図１に示す配置であっても、表示制御部１０５が表示装置１９にリアルタイムでＡＲ試着画像を表示せず、多少のタイムラグを設けて遅延して表示することで、ユーザは客観的な視点からの自身のＡＲ試着姿を確認することができる。
【００８１】
例えば、表示制御部１０５が、ＡＲ試着画像を１秒送れて表示装置１９に表示する制御を行う場合、ユーザが２秒かけて身体を略水平方向に１回転させた直後には、表示装置１９には一秒前の後ろ向きのＡＲ試着画像が表示される。このように、ＡＲ試着画像が遅延して表示されることにより、ユーザは、客観的な視点から自身のＡＲ試着姿を確認することができる。
【００８２】
また、情報処理装置１０は、被写体が回転しているＡＲ試着画像（動画）を録画し、ユーザの指示に応じて早送りや巻き戻しを行いながらＡＲ試着画像を再生してもよい。これにより、ユーザは、客観的な視点からの自身のＡＲ試着姿を確認することができる。
【００８３】
（３次元形状復元による表示）
また、情報処理装置１０は、撮像した被写体を３次元形状復元し、かかる３次元形状復元を行った被写体に仮想衣服を重畳して任意の向きで表示することで、客観的な視点からのＡＲ試着画像を表示することができる。
【００８４】
被写体の３次元形状を復元するために、例えば図１１に示すように、カメラ１５およびセンサ１７を多数配置し、多視点から被写体を撮像する。これにより、情報処理装置１０は、リアルタイムで被写体の３次元形状を復元することができる。なお、図１１に示す例では、多視点から被写体を撮像し、３次元形状を復元しているが、３次元形状の復元手法はこれに限定されず、二眼や単眼により復元してもよい。
【００８５】
このように、リアルタイムに３次元形状が復元された被写体に仮想衣服が重畳表示され、ユーザは、図１１に示すようにマウスアイコン３０を操作することで、かかる３次元復元された被写体を自由に回転させることができる。これにより、ユーザは、仮想衣服を試着した自分の姿を様々な角度からリアルタイムで確認することができる。
【００８６】
また、情報処理装置１０は、予め撮影した被写体の画像に基づいて後から３次元形状復元を行い、これに任意の仮想衣服を重畳表示させてもよい。この場合も、ユーザはマウスアイコン３０を操作して３次元復元された被写体を自由に回転させることで、様々な角度から仮想衣服を試着した被写体を確認することができる。
【００８７】
なお、マウスアイコン３０を操作するデバイスは、マウスの他、例えば図１１に示すようにリアルタイムで自身のＡＲ試着画像が表示される場合では、リモートコントローラー（不図示）であってもよい。
【００８８】
＜４．まとめ＞
上述したように、本開示の一実施形態によるＡＲ試着システムによれば、被写体の動作に応じて着用状態を制御することで、ユーザは様々な着こなしを試すことができる。また、本実施形態によるＡＲ試着システムによれば、インタラクティブな試着を実現することで、よりリアリティがあるＡＲ試着を提供することができる。
【００８９】
また、本実施形態によれば、被写体の後ろ姿や、横向きの姿など、客観的な視点から被写体のＡＲ試着姿を確認することもできる。
【００９０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属
するものと了解される。
【００９１】
例えば、上述したＡＲ試着システムでは、主に仮想衣服の試着を例として説明したが、試着対象は衣服に限定されず、例えばメガネ、帽子およびベルトなどの装飾品であってもよい。
【００９２】
また、上述したＡＲ試着システムでは、被写体が人物の場合について説明したが、被写体は人物に限らず、例えば犬や猫などの動物であってもよい。この場合、動物を撮像した撮像画像に、例えばペット用の衣服画像を重畳表示するＡＲ試着システムを提供することができる。
【００９３】
なお、本技術は以下のような構成も取ることができる。
（１）
撮像された被写体の動作を検出する動作検出部と、
前記動作検出部により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる表示制御部と、
を備える、情報処理装置。
（２）
前記表示制御部は、前記被写体の動作位置に応じて、前記仮想的な服飾品の一部、または全部を変化させる、前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記服飾品の変化の程度を、前記服飾品に対応付けられる素材情報に基づいて決定する、前記（２）に記載の情報処理装置。
（４）
前記表示制御部は、前記動作検出部により検出された動作の位置に応じて、前記仮想的な服飾品の形状の特徴を示す特徴点を移動させる、前記（１）から（３）のいずれか１項に記載の情報処理装置。
（５）
前記動作検出部は、前記被写体が手でつまんで引っ張る動作を検出し、
前記表示制御部は、前記仮想的な服飾品の一部を、前記被写体により引っ張られた方向に伸ばすことで、着用状態を変化させる、前記（１）から（４）のいずれか１項に記載の情報処理装置。
（６）
前記動作検出部は、前記被写体が、一方の手を他方の手首から肘に向けて動かす腕まくり動作を検出し、
前記表示制御部は、前記被写体に重畳表示される仮想衣服の袖を、前記腕まくり動作に応じて肘方向に移動させることで、着用状態を変化させる、前記（１）から（５）のいずれか１項に記載の情報処理装置。
（７）
前記動作検出部は、前記被写体が襟を立てる動作を検出し、
前記表示制御部は、前記被写体に重畳表示される仮想衣服の襟を、前記襟を立てる動作に応じて立てることで、着用状態を変化させる、前記（１）から（６）のいずれか１項に記載の情報処理装置。
（８）
前記動作検出部は、前記被写体が衣服の腰位置を上下させる動作を検出し、
前記表示制御部は、前記被写体に重畳表示される仮想衣服の位置を、前記衣服の腰位置を上下させる動作に応じて調整することで、着用状態を変化させる、前記（１）から（７）のいずれか１項に記載の情報処理装置。
（９）
撮像された被写体の動作を検出するステップと、
前記動作を検出するステップにより検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させるステップと、
を含む、表示制御方法。
（１０）
撮像された被写体の動作を検出する処理と、
前記動作を検出する処理により検出された動作に応じて、前記被写体に重畳して表示される仮想的な服飾品の着用状態を変化させる処理と、
をコンピュータに実行させる、プログラム。
（１１）
前記変化させる処理は、前記被写体の動作位置に応じて、前記仮想的な服飾品の一部、または全部を変化させる、前記（１０）に記載のプログラム。
（１２）
前記変化させる処理は、前記服飾品の変化の程度を、前記服飾品に対応付けられる素材情報に基づいて決定する、前記（１１）に記載のプログラム。
（１３）
前記変化させる処理は、前記検出する処理により検出された動作の位置に応じて、前記仮想的な服飾品の形状の特徴を示す特徴点を移動させる、前記（１０）から（１２）のいずれか１項に記載のプログラム。
（１４）
前記検出する処理は、前記被写体が手でつまんで引っ張る動作を検出し、
前記変化させる処理は、前記仮想的な服飾品の一部を、前記被写体により引っ張られた方向に伸ばすことで、着用状態を変化させる、前記（１０）から（１３）のいずれか１項に記載のプログラム。
（１５）
前記検出する処理は、前記被写体が、一方の手を他方の手首から肘に向けて動かす腕まくり動作を検出し、
前記変化させる処理は、前記被写体に重畳表示される仮想衣服の袖を、前記腕まくり動作に応じて肘方向に移動させることで、着用状態を変化させる、前記（１０）から（１４）のいずれか１項に記載のプログラム。
（１６）
前記検出する処理は、前記被写体が襟を立てる動作を検出し、
前記変化させる処理は、前記被写体に重畳表示される仮想衣服の襟を、前記襟を立てる動作に応じて立てることで、着用状態を変化させる、前記（１０）から（１５）のいずれか１項に記載のプログラム。
（１７）
前記検出する処理は、前記被写体が衣服の腰位置を上下させる動作を検出し、
前記変化させる処理は、前記被写体に重畳表示される仮想衣服の位置を、前記衣服の腰位置を上下させる動作に応じて調整することで、着用状態を変化させる、前記（１０）から（１６）のいずれか１項に記載のプログラム。
【符号の説明】
【００９４】
１０      情報処理装置
１５      カメラ
１７      センサ
１９      表示装置
１００    制御部
１０１    骨格位置算出部
１０３    動作検出部
１０５    表示制御部
１２０    操作入力部
１３０    記憶部
Ａ        被写体
Ｂ        座標（骨格位置）
Ｃ        仮想衣服
【図１】
2013101526.tif 000003
【図２】
2013101526.tif 000004
【図３】
2013101526.tif 000005
【図４】
2013101526.tif 000006
【図５】
2013101526.tif 000007
【図６】
2013101526.tif 000008
【図７】
2013101526.tif 000009
【図８】
2013101526.tif 000010
【図９】
2013101526.tif 000011
【図１０】
2013101526.tif 000012
【図１１】
2013101526.tif 000013