(57)【特許請求の範囲】
【請求項１】
撮像画像に仮想オブジェクトを合成する画像処理部を備え、
前記画像処理部は、前記撮像画像に映る物体の状態または種類に基づいて前記仮想オブジェクトを決定し、
前記画像処理部は、前記撮像画像に２つの物体が映る場合、前記２つの物体の関係に基づいて、前記仮想オブジェクトの画像処理を決定する、
画像処理装置。
【請求項２】
前記画像処理部は、前記撮像画像に映る物体と前記撮像画像に合成された前記仮想オブジェクトとの隣接が検出された場合に、前記撮像画像に映る物体を他の物体に置換する、
請求項１に記載の画像処理装置。
【請求項３】
前記撮像画像に映る物体と前記仮想オブジェクトとの隣接は、前記撮像画像に映る物体と隣接する物体の色および形状の少なくともいずれか一方に基づいて検出される、
請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記画像処理部は、前記撮像画像に映る２つの物体の重なりが検出された場合に、前記重なりに応じて変形された仮想オブジェクトを前記撮像画像に合成する、
請求項１に記載の画像処理装置。
【請求項５】
前記撮像画像に映る２つの物体との重なりは、前記２つの物体の境界線の位置に基づいて検出される、
請求項４に記載の画像処理装置。
【請求項６】
前記画像処理部は、前記撮像画像に映る物体の種類が検出された場合に、前記撮像画像に映る物体の種類に応じて選択された仮想オブジェクトを前記撮像画像に合成する、
請求項１に記載の画像処理装置。
【請求項７】
前記画像処理部は、前記撮像画像に映る物体の種類が検出された場合に、前記撮像画像に映る物体の種類に応じた形状に前記撮像画像に映る他の物体を変形する、
請求項１に記載の画像処理装置。
【請求項８】
前記画像処理装置は、
前記撮像画像に映る物体の状態または種類を検出する検出部をさらに備える、
請求項１に記載の画像処理装置。
【請求項９】
前記画像処理装置は、
前記画像処理部により処理された後の画像が表示部に表示されるように前記表示部を制御する表示制御部をさらに備える、
請求項１に記載の画像処理装置。
【請求項１０】
撮像画像に映る物体の状態または種類に基づいて、前記撮像画像に合成される仮想オブジェクトを決定することを含み、
前記撮像画像に２つの物体が映る場合、前記２つの物体の関係に基づいて、前記仮想オブジェクトの画像処理を決定する、
画像処理方法。
【請求項１１】
コンピュータを、
撮像画像に仮想オブジェクトを合成する画像処理部を備え、
前記画像処理部は、前記撮像画像に映る物体の状態または種類に基づいて前記仮想オブジェクトを決定し、
前記画像処理部は、前記撮像画像に２つの物体が映る場合、前記２つの物体の関係に基づいて、前記仮想オブジェクトの画像処理を決定する画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、撮像により得られた画像（以下、「撮像画像」とも言う。）に各種のオブジェクトを合成する技術が知られている。撮像画像には様々なオブジェクトが合成され得るが、例えば、被写体（例えば、人物や動物など）が撮像される場合にはその被写体が身に着ける物（例えば、衣装や鞄など）の画像がオブジェクトとして撮像画像に合成され得る。撮像画像に対してオブジェクトを合成する技術としては、様々な技術が開示されている。
【０００３】
例えば、衣装画像を人物画像に合成する技術が開示されている（例えば、特許文献１参照）。このように人物画像に衣装画像が合成されることにより得られる合成画像を見れば、実際に衣装を試着しなくても自分が衣装を着たときの見た目を把握しながら衣装を選択することができる。
【０００４】
一方、撮像画像にオブジェクトを合成する技術ばかりではなく、撮像画像自体を変形する技術も存在する。撮像画像自体を変形する技術の一例としては、減損現実（Ｄｉｍｉｎｉｓｈｅｄ  Ｒｅａｌｉｔｙ）という技術が存在する。かかる技術によれば、撮像画像に映っている物体がユーザにより指定されると、指定された物体が撮像画像から消去される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１３６８４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、例えば、撮像画像に映る物体の状態または種類に基づいた画像処理を行う技術は開示されていない。そのため、物体の状態や物体の種類が考慮されずに撮像画像が処理される可能性があった。例えば、撮像画像に映るユーザが身体に衣装を当てている場合、既にユーザが着用している服が衣装からはみ出しても、はみ出している部分を撮像画像から自動的に消去することができなかった。
【０００７】
また、撮像画像に映るユーザがどのように衣装を着こなしているかによって撮像画像に合成されるオブジェクトを調整したり、撮像画像に映るユーザがどのようなアクセサリを身に着けているかによって撮像画像に合成されるオブジェクトを変更したりすることができなかった。したがって、撮像画像に映る物体の状態または種類に基づいて、撮像画像に合成される仮想オブジェクトを決定する技術が実現されることが望ましい。
【課題を解決するための手段】
【０００８】
本開示によれば、撮像画像に仮想オブジェクトを合成する画像処理部を備え、前記画像処理部は、前記撮像画像に映る物体の状態または種類に基づいて前記仮想オブジェクトを決定する、画像処理装置が提供される。
【０００９】
また、本開示によれば、撮像画像に映る物体の状態または種類に基づいて、撮像画像に合成される仮想オブジェクトを決定する、画像処理方法が提供される。
【００１０】
また、本開示によれば、コンピュータを、撮像画像に仮想オブジェクトを合成する画像処理部を備え、前記画像処理部は、前記撮像画像に映る物体の状態または種類に基づいて前記仮想オブジェクトを決定する画像処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【００１１】
以上説明したように本開示によれば、撮像画像に映る物体の状態または種類に基づいて、撮像画像に合成される仮想オブジェクトを決定することが可能である。
【図面の簡単な説明】
【００１２】
【図１】本開示の実施形態に係る画像処理システムの概要を説明するための図である。
【図２】画像処理装置の構成例を示すブロック図である。
【図３】骨格情報および深度情報を説明するための図である。
【図４】画像処理部が有する機能の一例を説明するための図である。
【図５】画像処理部が有する機能の一例を説明するための図である。
【図６】画像処理装置の動作の流れの一例を示すフローチャートである。
【図７】画像処理部が有する機能の第１の変形例を説明するための図である。
【図８】画像処理部が有する機能の第１の変形例を説明するための図である。
【図９】第１の変形例に係る画像処理装置の動作の流れを示すフローチャートである。
【図１０】画像処理部が有する機能の第２の変形例を説明するための図である。
【図１１】画像処理部が有する機能の第２の変形例を説明するための図である。
【図１２】画像処理部が有する機能の第２の変形例を説明するための図である。
【図１３】第２の変形例に係る画像処理装置の動作の流れを示すフローチャートである。
【図１４】画像処理部が有する機能の第３の変形例を説明するための図である。
【図１５】画像処理部が有する機能の第３の変形例を説明するための図である。
【図１６】画像処理部が有する機能の第３の変形例を説明するための図である。
【図１７】第３の変形例に係る画像処理装置の動作の流れを示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１５】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．画像処理システムの概要
２．画像処理装置が有する機能
３．画像処理装置の動作
４．第１の変形例における機能
５．第１の変形例における動作
６．第２の変形例における機能
７．第２の変形例における動作
８．第３の変形例における機能
９．第３の変形例における動作
１０．むすび
【００１６】
＜１．画像処理システムの概要＞
以下では、まず、本開示の実施形態に係る画像処理システムの概要について図１を参照して説明する。
【００１７】
図１は、本開示の実施形態に係る画像処理システムの概要を説明するための図である。図１に示したように、本開示の実施形態に係る画像処理システム１０は、画像処理装置１００と表示部１３０と撮像部１４０とセンサ部１５０とを含む。画像処理システム１０が設置される場所は特に限定されない。例えば、画像処理システム１０は、被写体２０の自宅内に設置されてもよい。
【００１８】
また、図１に示した例では、画像処理システム１０を構成する複数のブロック（例えば、画像処理装置１００、表示部１３０、撮像部１４０およびセンサ部１５０）が別体に構成されているが、画像処理システム１０を構成する複数のブロックのいずれかの組み合わせが一体化されていてもよい。例えば、画像処理システム１０を構成する複数のブロックは、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器に内蔵されていてもよい。
【００１９】
撮像部１４０は、実空間に存在する物体を撮像する。実空間に存在する物体は、特に限定されないが、例えば、人物や動物などの生き物であってもよく、車庫やテレビ台などといった生き物以外であってもよい。図１に示した例では、実空間に存在する物体として被写体２０（例えば、人物）が撮像部１４０により撮像される。撮像部１４０により撮像された画像（以下、「撮像画像」とも言う。）は表示部１３０により表示され得る。表示部１３０により表示される撮像画像は、ＲＧＢ画像であってもよい。図１に示した例では、被写体２１が映った撮像画像１３１が表示部１３０により表示されている。
【００２０】
センサ部１５０は、実空間からパラメータを検出する機能を有している。例えば、センサ部１５０が赤外線センサにより構成されている場合、センサ部１５０は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして画像処理装置１００に供給することができる。画像処理装置１００は、例えば、検出データに基づいて実空間に存在する物体を認識することができる。センサ部１５０の種類は、赤外線センサに限定されない。なお、図１に示した例では、検出データがセンサ部１５０から画像処理装置１００に供給されることとしているが、画像処理装置１００に供給される検出データは、撮像部１４０により撮像された画像であってもよい。
【００２１】
撮像画像は、画像処理装置１００により処理される。例えば、画像処理装置１００は、実空間に存在する物体の認識結果に応じて、撮像画像に対して仮想オブジェクトを合成することにより撮像画像を処理することができる。表示部１３０は、画像処理装置１００により処理された後の撮像画像を表示することも可能である。例えば、画像処理装置１００により被写体２１の位置が認識された場合には、被写体２１の位置に仮想オブジェクト（例えば、衣装画像）が合成された撮像画像が、表示部１３０により表示され得る。仮想オブジェクトの合成は、撮像画像とは別にあらかじめ登録されている画像を撮像画像に重畳することにより行われてもよいし、撮像画像を変形することにより（例えば、撮像画像からキャプチャされた画像を撮像画像に重畳することにより）行われてもよい。
【００２２】
被写体２０は、このように処理された撮像画像を見ることにより、実際に衣装を試着しなくても自分が衣装を着たときの見た目を把握しながら衣装を選択することができる。しかし、例えば、被写体２０が身に着けている衣装の状態または種類に応じた画像処理を行う技術は開示されていない。そのため、被写体２０が身に着けている衣装の状態または種類が考慮されていない仮想オブジェクトが被写体２１に合成される可能性があった。したがって、撮像画像に映る物体の状態または種類に基づいて、撮像画像に合成される仮想オブジェクトを決定する技術が実現されることが望まれる。
【００２３】
そこで、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態によれば、撮像画像に映る物体の状態または種類に基づいて、撮像画像に合成される仮想オブジェクトを決定することができる。以下、図２〜５を参照しながら、本開示の実施形態に係る画像処理装置１００が有する機能を説明する。
【００２４】
＜２．画像処理装置が有する機能＞
図２は、画像処理装置１００の構成例を示すブロック図である。図２を参照すると、画像処理装置１００は、制御部１１０および記憶部１２０を備える。制御部１１０は、検出部１１１、画像処理部１１２および表示制御部１１３を備える。画像処理装置１００には、表示部１３０、撮像部１４０およびセンサ部１５０が接続されている。
【００２５】
（制御部）
制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。制御部１１０は、記憶部１２０または他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する制御部１１０の様々な機能を動作させる。なお、制御部１１０を構成する各ブロックは、全てが同一の装置に組み込まれていなくてもよく、一部が他の装置（例えば、サーバ）に組み込まれていてもよい。
【００２６】
（記憶部）
記憶部１２０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、画像処理装置１００による処理のためのプログラムおよびデータを記憶する。例えば、制御部１１０としてコンピュータを機能させるためのプログラムを記憶する。さらに、例えば、記憶部１２０は、制御部１１０により使用されるデータを記憶する。例えば、記憶部１２０は、物体認識のために使用される特徴量辞書および表示対象となる仮想オブジェクトを記憶することができる。
【００２７】
（表示部）
表示部１３０は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ  ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）またはＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）などにより構成される表示モジュールである。本開示の実施形態においては、表示部１３０が画像処理装置１００と別体に構成されていることを想定しているが、表示部１３０は、画像処理装置１００の一部であってもよい。
【００２８】
（撮像部）
撮像部１４０は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて実空間を撮像することにより、撮像画像を生成する。本開示の実施形態においては、撮像部１４０が画像処理装置１００と別体に構成されていることを想定しているが、撮像部１４０は、画像処理装置１００の一部であってもよい。
【００２９】
（センサ部）
センサ部１５０は、実空間からパラメータを検出する機能を有している。例えば、センサ部１５０が赤外線センサにより構成されている場合、センサ部１５０は、実空間から赤外線を検出し、赤外線量に応じた電気信号を検出データとして画像処理装置１００に供給することができる。センサ部１５０の種類は、赤外線センサに限定されない。なお、撮像部１４０により撮像された画像が検出データとして画像処理装置１００に供給される場合には、センサ部１５０は存在しなくてもよい。
【００３０】
（検出部）
検出部１１１は、検出データに基づいて撮像画像に映る物体の状態または種類を検出する。検出部１１１により検出される物体の状態または種類の例については後に説明するが、検出部１１１により検出される物体の状態または種類は特に限定されない。また、撮像画像に映る物体の状態または種類を検出する手法は特に限定されない。例えば、検出部１１１は、撮像画像から決定される特徴量を物体の特徴量と照合することにより、撮像画像に含まれる物体の状態または種類を検出することができる。
【００３１】
より具体的には、検出部１１１は、ＳＩＦＴ法またはＲａｎｄｏｍ  Ｆｅｒｎｓ法などの特徴量決定法に従って撮像画像内の特徴量を決定し、決定した特徴量を物体の特徴量と照合する。そして、検出部１１１は、撮像画像内の特徴量と最も適合する特徴量と関連付けられている物体の種類（例えば、物体を識別するための情報）、撮像画像における物体の状態（例えば、物体の位置および姿勢）を認識する。
【００３２】
ここで、検出部１１１により、物体の特徴量データと物体の種類を識別するための情報とが関連付けられてなる特徴量辞書が使用されるが、特徴量辞書は、記憶部１２０により記憶されていてもよいし、サーバから受信されてもよい。物体の特徴量データは、例えば、ＳＩＦＴ法またはＲａｎｄｏｍ  Ｆｅｒｎｓ法に従って物体の学習用画像から決定された特徴量の集合であってもよい。
【００３３】
あるいは、検出部１１１は、撮像画像の代わりにセンサ部１５０から供給される検出データから決定される特徴量を物体の特徴量と照合することにより、物体の状態または種類を検出することもできる。このとき、例えば、検出部１１１は、撮像画像から物体の状態または種類を検出する手法と同様の手法により、センサ部１５０から供給される検出データに基づいて物体の状態または種類を検出することができる。
【００３４】
以上に説明したような手法により、検出データに基づいて撮像画像に映る物体の状態または種類を検出することができる。検出部１１１は、画像処理装置１００の代わりにセンサ部１５０に組み込まれていてもよい。
【００３５】
検出部１１１は、物体を認識する場合と同様に、撮像画像から決定される特徴量を物体の部位ごとの特徴量と照合することにより、撮像画像に含まれる物体の部位を認識することができる。あるいは、検出部１１１は、撮像画像の代わりにセンサ部１５０から供給される検出データから決定される特徴量を物体の部位ごとの特徴量と照合することにより、物体の部位を認識することができる。
【００３６】
物体の状態を検出するために、公知技術（例えば、Ｍｉｃｒｏｓｏｆｔ（登録商標）社が開発したＫｉｎｅｃｔ（登録商標））を使用することもできる。かかる公知技術を使用すれば、検出部１１１は、被写体２０を構成する１以上の部位の各々の位置を示す座標の例として、骨格情報を取得することができる。検出部１１１は、骨格情報に基づいて、被写体２０の状態を検出することができる。あるいは、検出部１１１は、骨格情報および深度情報に基づいて、被写体２０の状態を検出することができる。まず、この骨格情報および深度情報について、図３を参照しながら説明する。
【００３７】
図３は、骨格情報および深度情報を説明するための図である。検出部１１１は、上記公知技術を使用することにより、図３に示すような骨格情報を取得することができる。図３に示した例では、骨格情報は、被写体２０を構成する１５の部位の位置を示す座標Ｂ１〜Ｂ３、Ｂ６、Ｂ７、Ｂ９、Ｂ１２、Ｂ１３、Ｂ１５、Ｂ１７、Ｂ１８、Ｂ２０〜Ｂ２２、Ｂ２４として示されているが、骨格情報に含まれる部位の数は特に限定されない。
【００３８】
なお、座標Ｂ１は「Ｈｅａｄ」の座標を示し、座標Ｂ２は「Ｎｅｃｋ」の座標を示し、座標Ｂ３は「Ｔｏｒｓｏ」の座標を示し、座標Ｂ６は「Ｌｅｆｔ  Ｓｈｏｕｌｄｅｒ」の座標を示し、座標Ｂ７は「Ｌｅｆｔ  Ｅｌｂｏｗ」の座標を示している。また、座標Ｂ９は「Ｌｅｆｔ  Ｈａｎｄ」の座標を示し、座標Ｂ１２は「Ｒｉｇｈｔ  Ｓｈｏｕｌｄｅｒ」の座標を示し、座標Ｂ１３は「Ｒｉｇｈｔ  Ｅｌｂｏｗ」の座標を示し、座標Ｂ１５は「Ｒｉｇｈｔ  Ｈａｎｄ」の座標を示している。
【００３９】
座標Ｂ１７は「Ｌｅｆｔ  Ｈｉｐ」の座標を示し、座標Ｂ１８は「Ｌｅｆｔ  Ｋｎｅｅ」の座標を示し、座標Ｂ２０は「Ｌｅｆｔ  Ｆｏｏｔ」の座標を示し、座標Ｂ２１は「Ｒｉｇｈｔ  Ｈｉｐ」の座標を示している。座標Ｂ２２は「Ｒｉｇｈｔ  Ｋｎｅｅ」の座標を示し、座標Ｂ２４は「Ｒｉｇｈｔ  Ｆｏｏｔ」の座標を示している。
【００４０】
また、検出部１１１は、上記公知技術を使用することにより、図３に示すような深度情報を取得することもできる。深度情報はセンサ部１５０からの距離を示す情報であり、図３には、簡単のため、深度が閾値よりも低い領域（センサ部１５０からの距離が閾値よりも小さい領域）である物体存在領域Ｒとその他の領域Ｒ’とが深度情報の一例として示されている。
【００４１】
（画像処理部）
画像処理部１１２は、撮像画像に映る物体の状態または種類に基づいて撮像画像を処理する。撮像画像に映る物体の状態または種類は、上記したように、検出部１１１により検出され得る。画像処理部１１２がどのように撮像画像を処理するかについては特に限定されない。例えば、上記したように、画像処理部１１２は、撮像画像に映る物体の状態または種類に基づいて、撮像画像に対して仮想オブジェクトを合成することにより撮像画像を処理することができる。上記したように、仮想オブジェクトの合成は、撮像画像とは別にあらかじめ登録されている画像を撮像画像に重畳することにより行われてもよいし、撮像画像を変形することにより（例えば、撮像画像からキャプチャされた画像を撮像画像に重畳することにより）行われてもよい。
【００４２】
続いて、画像処理部１１２が有する機能の一例について、図４および図５を参照しながら説明を行う。図４は、画像処理部１１２が有する機能の一例を説明するための図である。
【００４３】
例えば、画像処理部１１２は、撮像画像に映る物体と撮像画像に映る所定の物体との隣接が検出された場合に、撮像画像に映る物体を他の物体に置換する処理により撮像画像に仮想オブジェクトを合成してもよい。図４には、撮像画像１３１Ａに映る物体の例として物体３１Ａが示され、撮像画像１３１Ａに映る所定の物体の例として物体３２Ａが示されている。また、図４には、他の物体の例として物体３３Ａが示されている。また、図４に示した例では、物体３１Ａはスカートであり、物体３２Ａはズボンであり、物体３３Ａが脚であるが、物体３１Ａ、物体３２Ａおよび物体３３Ａは、特に限定されない。
【００４４】
撮像画像１３１Ａにおいては、被写体２１がズボンを着用中であり、ズボンの上にスカートを当てている。被写体２０は、表示された撮像画像１３１Ａを見ることにより、スカートを着用したときの見た目を把握することができる。しかし、撮像画像１３１Ａにおいては、スカートの下からズボンがはみ出てしまっている一方、実際にスカートを着用したときにはスカートの下から脚がはみ出るはずである。このため、被写体２０は、撮像画像１３１Ａにより実際にスカートを着用したときの見た目とは異なった見た目を把握することになってしまう。
【００４５】
そこで、画像処理部１１２は、スカートとズボンとの隣接が検出された場合に、ズボンを脚（例えば、肌色部分）に置換すればよい。図４には、画像処理部１１２により、ズボンのうちスカートからはみ出た部分が消され、当該部分が脚に置換された撮像画像１３１Ａ’が示されている。スカートとズボンとの隣接は、検出部１１１により検出されるが、検出手法は特に限定されない。
【００４６】
例えば、撮像画像に映る物体と所定の物体との隣接は、撮像画像に映る物体と隣接する物体の色および形状の少なくともいずれか一方に基づいて検出され得る。例えば、検出部１１１は、スカートからはみ出ている部分の形状が脚の形状であるか否かを判定し、当該部分が脚の形状ではないと判定した場合には、スカートからズボンがはみ出ていると予想されるため、スカートとズボンとの隣接を検出してもよい。
【００４７】
また、例えば、検出部１１１は、スカートからはみ出ている部分の色が脚の色（例えば、肌色）であるか否かを判定し、当該部分が脚の色ではないと判定した場合には、スカートからズボンがはみ出ていると予想されるため、スカートとズボンとの隣接を検出してもよい。さらに、検出部１１１は、スカートからはみ出ている部分の色が脚の色であると判定した場合であっても、脚の色である部分が閾値を超えるサイズを有していない場合には、脚の色である部分が脚ではないと予想されるため、スカートとズボンとの隣接を検出してもよい。
【００４８】
このように、検出部１１１は、スカートからはみ出ている部分の形状または色に基づいて、スカートとズボンとの隣接を検出することができる。脚の形状や脚の色は、あらかじめ登録されていてもよいし、学習により蓄積されていってもよい。なお、画像処理部１１２は、撮像画像に映る物体と撮像画像に重畳された所定の物体との隣接が検出された場合に、撮像画像に映る物体を他の物体に置換する処理により撮像画像に仮想オブジェクトを合成してもよい。図４に示した例では、被写体２０が実空間に存在するスカートを身体に当てているが、仮想オブジェクトであるスカートが被写体２１の身体に当てられている場合にも、ズボンのうちスカートからはみ出ている部分を消す処理が実行され得る。
【００４９】
図５は、画像処理部１１２が有する機能の一例を説明するための図である。図５には、撮像画像１３１Ｂに映る物体の例として物体３１Ｂが示され、撮像画像１３１Ｂに映る所定の物体の例として物体３２Ｂが示されている。また、図５には、他の物体の例として物体３３Ｂが示されている。また、図５に示した例では、物体３１Ｂは半袖シャツであり、物体３２Ｂは長袖シャツであり、物体３３Ｂが腕であるが、物体３１Ｂ、物体３２Ｂおよび物体３３Ｂは、特に限定されない。
【００５０】
撮像画像１３１Ｂにおいては、被写体２１が長袖シャツを着用中であり、長袖シャツの上に半袖シャツを当てている。被写体２０は、表示された撮像画像１３１Ｂを見ることにより、半袖シャツを着用したときの見た目を把握することができる。しかし、撮像画像１３１Ｂにおいては、半袖シャツの下から長袖シャツがはみ出てしまっている一方、実際に半袖シャツを着用したときには半袖シャツの下から腕がはみ出るはずである。このため、被写体２０は、撮像画像１３１Ｂにより実際に半袖シャツを着用したときの見た目とは異なった見た目を把握することになってしまう。
【００５１】
そこで、画像処理部１１２は、長袖シャツと半袖シャツとの隣接が検出された場合に、長袖シャツを腕（例えば、肌色部分）に置換すればよい。図５には、画像処理部１１２により、長袖シャツのうち半袖シャツからはみ出た部分が消され、当該部分が腕に置換された撮像画像１３１Ｂ’が示されている。長袖シャツと半袖シャツとの隣接は、検出部１１１により検出されるが、検出手法は特に限定されない。例えば、検出部１１１は、半袖シャツからはみ出ている部分の形状が腕の形状であるか否かを判定し、当該部分が腕の形状ではないと判定した場合には、半袖シャツから長袖シャツがはみ出ていると予想されるため、長袖シャツと半袖シャツとの隣接を検出してもよい。
【００５２】
また、例えば、検出部１１１は、半袖シャツからはみ出ている部分の色が腕の色（例えば、肌色）であるか否かを判定し、当該部分が腕の色ではないと判定した場合には、半袖シャツから長袖シャツがはみ出ていると予想されるため、半袖シャツと長袖シャツとの隣接を検出してもよい。さらに、検出部１１１は、半袖シャツからはみ出ている部分の色が腕の色であると判定した場合であっても、腕の色である部分が閾値を超えるサイズを有していない場合には、腕の色である部分が腕ではないと予想されるため、半袖シャツと長袖シャツとの隣接を検出してもよい。
【００５３】
このように、検出部１１１は、半袖シャツからはみ出ている部分の形状または色に基づいて、半袖シャツと長袖シャツとの隣接を検出することができる。腕の形状や腕の色は、あらかじめ登録されていてもよいし、学習により蓄積されていってもよい。なお、図５に示した例では、被写体２０が実空間に存在する半袖シャツを身体に当てているが、仮想オブジェクトである半袖シャツが被写体２１の身体に当てられている場合にも、長袖シャツのうち半袖シャツからはみ出ている部分を消す処理が実行され得る。
【００５４】
なお、服からはみ出ている部分が存在した場合であっても、当該部分が消されない方が好ましい場合もある。例えば、被写体２０が着用中のシャツの上にジャケットを重ね着したときにシャツが消去されない状態での見た目を把握したい場合などである。このような要求を満たすため、例えば、撮像画像に映る物体が所定の位置で撮像画像に映る所定の物体と隣接している場合には、撮像画像に映る所定の物体が他の物体に置換されないようにしてもよい。
【００５５】
例えば、画像処理部１１２は、ジャケットからシャツがはみ出ており、はみ出ている部分が被写体２１の首であれば、撮像画像に映る所定の物体を首（例えば、肌色部分）に置換しないようにすればよい。したがって、画像処理部１１２は、隣接位置が所定の位置（例えば、腕の位置、脚の位置など）である場合には、撮像画像に映る物体に隣接する物体を他の物体に置換し、隣接位置がその他の位置（例えば、首の位置など）である場合には、撮像画像に映る物体に隣接する物体を他の物体に置換しないようにしてもよい。隣接位置は、撮像画像から判定されてもよいし、骨格情報から判定されてもよい。
【００５６】
（表示制御部）
画像処理部１１２により仮想オブジェクトが合成された後の撮像画像は、表示部１３０に表示されるように表示制御部１１３により表示部１３０が制御される。
【００５７】
以上、図４および図５を参照しながら、本開示の実施形態に係る画像処理装置１００が有する機能の一例を説明した。以下、図６を参照しながら、本開示の実施形態に係る画像処理装置１００の動作の流れの一例を説明する。
【００５８】
＜３．画像処理装置の動作＞
図６は、本開示の実施形態に係る画像処理装置１００の動作の流れの一例を示すフローチャートである。なお、図６を参照しながら説明する画像処理装置１００の動作は、特に、被写体２０が着用している服の状態を検出する場合における画像処理装置１００の動作である。被写体２０が着用している服は、撮像画像に映る物体の一例である。
【００５９】
図６に示すように、まず、検出部１１１は、被写体２１が服を身体に当てていない場合には（ステップＳ１１で「Ｎｏ」）、ステップＳ１１に戻る。一方、検出部１１１は、被写体２１が服を身体に当てている場合には（ステップＳ１１で「Ｙｅｓ」）、その服の状態を検出する。画像処理部１１２は、身体に当てられた服から他の服が被写体２０の腕においてはみ出ていることが検出された場合には（ステップＳ１２で「Ｙｅｓ」）、他の服のうち身体に当てられた服から腕においてはみ出ている部分を削除する（ステップＳ１３）。
【００６０】
一方、画像処理部１１２は、身体に当てられた服から他の服が被写体２０の腕においてはみ出ていることが検出されない場合には（ステップＳ１２で「Ｎｏ」）、ステップＳ１４に進む。画像処理部１１２は、身体に当てられた服から他の服が被写体２０の脚においてはみ出ていることが検出された場合には（ステップＳ１４で「Ｙｅｓ」）、他の服のうち身体に当てられた服から脚においてはみ出ている部分を削除する（ステップＳ１５）。
【００６１】
一方、画像処理部１１２は、身体に当てられた服から他の服が被写体２０の脚においてはみ出ていることが検出されない場合には（ステップＳ１４で「Ｎｏ」）、他の服のうち身体に当てられた服から脚においてはみ出ている部分を削除しなくてよい。画像処理部１１２により処理された撮像画像は、表示部１３０に表示されるように表示制御部１１３により表示部１３０が制御されてもよい。
【００６２】
以上、図６を参照しながら、画像処理装置１００の動作の流れの一例について説明した。
【００６３】
＜４．第１の変形例における機能＞
続いて、画像処理部１１２が有する機能の第１の変形例について、図７および図８を参照しながら説明を行う。図７は、画像処理部１１２が有する機能の第１の変形例を説明するための図である。
【００６４】
例えば、画像処理部１１２は、撮像画像に映る物体と撮像画像に映る所定の物体との重なりが検出された場合に、重なりに応じて変形された仮想オブジェクトを撮像画像に合成してもよい。図７には、撮像画像１３１Ｃに映る物体の例として物体３１Ｃが示され、撮像画像１３１Ｃに映る所定の物体の例として物体３２Ｃが示されている。また、図７に示した例では、物体３１Ｃはシャツであり、物体３２Ｃはズボンであり、物体３３Ｃはズボンであるが、物体３１Ｃ、物体３２Ｃおよび物体３３Ｃは、特に限定されない。
【００６５】
撮像画像１３１Ｃにおいては、被写体２１がズボンおよびシャツを着用中である。被写体２０は、撮像画像１３１Ｃにズボンが合成された撮像画像を見ることにより、ズボンを着用したときの見た目を把握することができる。しかし、ズボンの上にシャツを出しているか否かに関わらず、一律にズボン全体を撮像画像１３１Ｃに合成してしまうと、被写体２０のズボンの着こなし方を自然に反映した撮像画像は得られない。このため、被写体２０は、自分の着こなし方とは異なった着こなし方でズボンを着用した場合の見た目を把握することになってしまう。
【００６６】
そこで、画像処理部１１２は、シャツとズボンとの重なりが検出された場合に、重なりに応じて変形されたズボンを撮像画像に合成すればよい。図７には、画像処理部１１２により、シャツとズボンとの重なりが検出されていないため、ズボン全体が撮像画像１３１Ｃに合成された撮像画像１３１Ｃ’が示されている。シャツとズボンとの重なりは、検出部１１１により検出されるが、検出手法は特に限定されない。
【００６７】
例えば、撮像画像に映る物体と所定の物体との重なりは、撮像画像に映る物体と所定の物体との境界線の位置に基づいて検出され得る。例えば、検出部１１１は、シャツとズボンとの境界線の位置が被写体２１の腰の位置であるか否かを判定し、当該境界線の位置が被写体２１の腰の位置であると判定した場合には、被写体２０はズボンの内側にシャツをしまっていると予想されるため、シャツとズボンとの重なりを検出してもよい。検出部１１１は、撮像画像に映っている物体のうち白い領域をシャツの領域として扱い、シャツの領域の下端をシャツとズボンとの境界線として扱ってもよい。腰の位置は、撮像画像から判定されてもよいし、骨格情報から判定されてもよい。また、腰の位置は、腰付近の位置を含んでいてもよい。
【００６８】
また、例えば、検出部１１１は、境界線の位置が被写体２１の腰の位置であり、かつ、境界線が直線に類似している場合に、シャツとズボンとの重なりを検出してもよい。例えば、検出部１１１は、シャツの領域の下端を複数の点で近似し、この複数の点を順に結んで得られる線が直線に類似している場合に、シャツとズボンとの重なりを検出してもよい。類似の範囲は、あらかじめ定めておくことができる。このように、検出部１１１は、シャツとズボンとの境界線の位置に基づいて、シャツとズボンとの重なりを検出することができる。
【００６９】
図８は、画像処理部１１２が有する機能の変形例を説明するための図である。図８には、撮像画像１３１Ｄに映る物体の例として物体３１Ｄが示され、撮像画像１３１Ｄに映る所定の物体の例として物体３２Ｄが示されている。また、図８に示した例では、物体３１Ｄはシャツであり、物体３２Ｄはズボンであり、物体３３Ｄはズボンであるが、物体３１Ｄ、物体３２Ｄおよび物体３３Ｄは、特に限定されない。
【００７０】
上記したように、画像処理部１１２は、シャツとズボンとの重なりが検出された場合に、重なりに応じて変形されたズボンを撮像画像に合成すればよい。図８には、画像処理部１１２により、シャツとズボンとの重なりが検出されたため、ズボンの一部が撮像画像１３１Ｃに合成された撮像画像１３１Ｄ’が示されている。シャツとズボンとの重なりは、検出部１１１により検出されるが、検出手法は特に限定されない。検出手法の例については、上記した通りである。
【００７１】
以上、図７および図８を参照しながら、本開示の実施形態に係る画像処理装置１００が有する機能の第１の変形例を説明した。以下、図９を参照しながら、第１の変形例に係る画像処理装置１００の動作の流れを説明する。
【００７２】
＜５．第１の変形例における動作＞
図９は、第１の変形例に係る画像処理装置１００の動作の流れを示すフローチャートである。なお、図９を参照しながら説明する画像処理装置１００の動作は、特に、被写体２０が着用しているシャツの状態を検出する場合における画像処理装置１００の動作である。被写体２０が着用しているシャツは、撮像画像に映る物体の一例である。
【００７３】
図９に示すように、まず、検出部１１１は、シャツを検出しない場合には（ステップＳ２１で「Ｎｏ」）、ステップＳ２１に戻る。一方、検出部１１１は、シャツを検出した場合には（ステップＳ２１で「Ｙｅｓ」）、そのシャツの状態を検出する。画像処理部１１２は、被写体２１がシャツをズボンの内側にしまっていることが検出された場合には（ステップＳ２２で「Ｙｅｓ」）、ズボン全体を撮像画像に重畳する（ステップＳ２３）。
【００７４】
一方、画像処理部１１２は、被写体２１がシャツをズボンの外に出していることが検出された場合には（ステップＳ２２で「Ｎｏ」）、ズボンのうちシャツに重ならない部分を撮像画像に重畳する（ステップＳ２４）。画像処理部１１２により処理された撮像画像は、表示部１３０に表示されるように表示制御部１１３により表示部１３０が制御されてもよい。
【００７５】
以上、図９を参照しながら、第１の変形例に係る画像処理装置１００の動作の流れについて説明した。
【００７６】
＜６．第２の変形例における機能＞
続いて、画像処理部１１２が有する機能の第２の変形例について、図１０〜図１２を参照しながら説明を行う。図１０は、画像処理部１１２が有する機能の第２の変形例を説明するための図である。
【００７７】
例えば、画像処理部１１２は、撮像画像に映る物体の種類が検出された場合に、撮像画像に映る物体の種類に応じて選択された仮想オブジェクトを撮像画像に合成する処理により撮像画像に仮想オブジェクトを合成してもよい。また、画像処理部１１２は、撮像画像に映る物体の種類が検出された場合に、撮像画像に映る物体の種類に応じた形状に撮像画像に映る他の物体を変形することにより撮像画像に仮想オブジェクトを合成してもよい。
【００７８】
図１０には、撮像画像１３１Ｅに映る物体の例として物体３１Ｅが示され、撮像画像１３１Ｅに映る他の物体の例として物体３２Ｅが示されている。また、図１０には、他の物体の例として物体３３Ｅが示されている。図１０に示した例では、物体３１Ｅは垂直方向の長さが短いネックレス（例えば、垂直方向の長さｘ１が閾値よりも短いネックレス）であり、物体３２Ｅは被写体２１が着用している服であり、物体３３Ｅはラウンドネックの服であるが、物体３１Ｅ、物体３２Ｅおよび物体３３Ｃは、特に限定されない。
【００７９】
撮像画像１３１Ｅにおいては、被写体２１が垂直方向の長さが短いネックレスを着用中である。被写体２０は、表示された撮像画像１３１Ｅを見ることにより、垂直方向の長さが短いネックレスを着用したときの見た目を把握することができる。しかし、例えば、被写体２０が店内でネックレスを試着している場合には、ネックレスにふさわしい服を着ているとは限らない。このため、被写体２０は、撮像画像１３１Ｅによりネックレスにふさわしい服を着用し直したときの見た目とは異なった見た目を把握することになってしまう。
【００８０】
そこで、画像処理部１１２は、検出されたアクセサリの種類に応じて、服の形状を変更すればよい。図１０には、垂直方向の長さが短いネックレスが検出されたため、画像処理部１１２により、服の形状がラウンドネックに変更された撮像画像１３１Ｅ’が示されている。アクセサリの種類は、検出部１１１により検出されるが、検出手法は特に限定されない。例えば、アクセサリの種類は、上記したような物体の種類を認識する手法により検出され得る。
【００８１】
服の形状を変更する手法も特に限定されない。例えば、画像処理部１１２は、垂直方向の長さが短いネックレスが検出された場合に、垂直方向の長さが短いネックレスに対応するラウンドネックの服を撮像画像に合成する処理により服の形状を変更してもよい。また、例えば、画像処理部１１２は、垂直方向の長さが短いネックレスが検出された場合に、垂直方向の長さが短いネックレスに応じた形状であるラウンドネック形状に撮像画像１３１Ｅに映る服を変形することにより服の形状を変更してもよい。
【００８２】
なお、図１０に示した例では、被写体２０が実空間に存在するアクセサリを着用しているが、仮想オブジェクトであるアクセサリが被写体２１に重畳されている場合にも、服の形状を変更する処理が実行され得る。
【００８３】
図１１は、画像処理部１１２が有する機能の第２の変形例を説明するための図である。図１１には、撮像画像１３１Ｆに映る物体の例として物体３１Ｆが示され、撮像画像１３１Ｆに映る他の物体の例として物体３２Ｆが示されている。また、図１１には、他の物体の例として物体３３Ｆが示されている。図１１に示した例では、物体３１Ｆは垂直方向の長さが長いネックレス（例えば、垂直方向の長さｘ２が閾値よりも長いネックレス）であり、物体３２Ｆは被写体２１が着用している服であり、物体３３ＦはＶネックの服であるが、物体３１Ｆ、物体３２Ｆおよび物体３３Ｆは、特に限定されない。
【００８４】
図１１には、垂直方向の長さが長いネックレスが検出されたため、画像処理部１１２により、服の形状がＶネックに変更された撮像画像１３１Ｆ’が示されている。例えば、画像処理部１１２は、垂直方向の長さが長いネックレスが検出された場合に、垂直方向の長さが長いネックレスに対応するＶネックの服を撮像画像に合成する処理により服の形状を変更してもよい。また、例えば、画像処理部１１２は、垂直方向の長さが長いネックレスが検出された場合に、垂直方向の長さが長いネックレスに応じた形状であるＶネック形状に撮像画像１３１Ｆに映る服を変形することにより服の形状を変更してもよい。
【００８５】
図１２は、画像処理部１１２が有する機能の第２の変形例を説明するための図である。図１２には、撮像画像１３１Ｇに映る物体の例として物体３１Ｇが示され、撮像画像１３１Ｆに映る他の物体の例として物体３２Ｇが示されている。また、図１２には、他の物体の例として物体３３Ｇが示されている。図１２に示した例では、物体３１Ｇはピアスであり、物体３２Ｇは被写体２１が着用している服であり、物体３３Ｇはボートネックの服であるが、物体３１Ｇ、物体３２Ｇおよび物体３３Ｇは、特に限定されない。
【００８６】
図１２には、ピアスが検出されたため、画像処理部１１２により、服の形状がボートネックに変更された撮像画像１３１Ｇ’が示されている。例えば、画像処理部１１２は、ピアスが検出された場合に、ピアスに対応するボートネックの服を撮像画像に合成する処理により服の形状を変更してもよい。また、例えば、画像処理部１１２は、ピアスが検出された場合に、ピアスに対応する形状であるボートネック形状に撮像画像１３１Ｇに映る服を変形することにより服の形状を変更してもよい。
【００８７】
以上、図１０〜図１２を参照しながら、本開示の実施形態に係る画像処理装置１００が有する機能の第２の変形例を説明した。以下、図１３を参照しながら、第２の変形例に係る画像処理装置１００の動作の流れを説明する。
【００８８】
＜７．第２の変形例における動作＞
図１３は、第２の変形例に係る画像処理装置１００の動作の流れを示すフローチャートである。なお、図１３を参照しながら説明する画像処理装置１００の動作は、特に、被写体２０が着用しているアクセサリの種類を検出する場合における画像処理装置１００の動作である。被写体２０が着用しているアクセサリは、撮像画像に映る物体の一例である。
【００８９】
図１３に示すように、まず、検出部１１１は、撮像画像に映るアクセサリの種類を検出する。検出部１１１は、撮像画像からネックレスを検出した場合には（ステップＳ３１で「Ｙｅｓ」）、ネックレスの垂直方向の長さを検出する。画像処理部１１２は、検出部１１１によりネックレスの垂直方向の長さが短いことが検出された場合には（ステップＳ３２で「Ｙｅｓ」）、撮像画像に映っている服の形状をラウンドネックに変更する（ステップＳ３３）。
【００９０】
一方、画像処理部１１２は、検出部１１１によりネックレスの垂直方向の長さが長いことが検出された場合には（ステップＳ３２で「Ｎｏ」）、撮像画像に映っている服の形状をＶネックに変更する（ステップＳ３４）。画像処理部１１２は、検出部１１１により撮像画像からネックレスが検出されない場合（ステップＳ３１で「Ｎｏ」）、撮像画像からピアスを検出した場合には（ステップＳ３５で「Ｙｅｓ」）、撮像画像に映っている服の形状をボートネックに変更する（ステップＳ３６）。画像処理部１１２により処理された撮像画像は、表示部１３０に表示されるように表示制御部１１３により表示部１３０が制御されてもよい。
【００９１】
以上、図１３を参照しながら、第２の変形例に係る画像処理装置１００の動作の流れについて説明した。
【００９２】
＜８．第３の変形例における機能＞
続いて、画像処理部１１２が有する機能の第３の変形例について、図１４〜図１６を参照しながら説明を行う。図１４は、画像処理部１１２が有する機能の第３の変形例を説明するための図である。
【００９３】
図１４には、撮像画像１３１Ｈに映る物体の例として物体３１Ｈが示されている。また、図１４には、他の物体の例として物体３３Ｈが示されている。図１４に示した例では、物体３１Ｈはボートネックの服であり、物体３３Ｈはピアスであるが、物体３１Ｈおよび物体３３Ｈは、特に限定されない。
【００９４】
撮像画像１３１Ｈにおいては、被写体２１は服を着用しているが、アクセサリを着用していない。例えば、被写体２１が着用している服にふさわしいアクセサリが撮像画像１３１Ｈに合成されれば、被写体２０は、そのアクセサリが合成された撮像画像を見ることにより、着用している服にふさわしいアクセサリを把握することができる。さらに、被写体２０は、そのアクセサリを気に入る可能性が高い。
【００９５】
そこで、画像処理部１１２は、検出された服の種類に応じて、撮像画像に合成するアクセサリの種類を変更すればよい。図１４には、ボートネックの服が検出されたため、画像処理部１１２により、ピアスが合成された撮像画像１３１Ｈ’が示されている。ここで合成されるピアスは、垂れ下がるタイプのピアスがより好ましい。ピアスにより縦長のラインを作ると全体のバランスが良くなることが期待されるからである。服の種類は、検出部１１１により検出されるが、検出手法は特に限定されない。例えば、服の種類は、上記したような物体の種類を認識する手法により検出され得る。
【００９６】
なお、図１４に示した例では、被写体２０が実空間に存在する服を着用しているが、仮想オブジェクトである服が被写体２１に重畳されている場合にも、アクセサリの種類を変更する処理が実行され得る。
【００９７】
図１５は、画像処理部１１２が有する機能の第３の変形例を説明するための図である。図１５には、撮像画像１３１Ｉに映る物体の例として物体３１Ｉが示されている。また、図１５には、他の物体の例として物体３３Ｉが示されている。図１５に示した例では、物体３１ＩはＶネックの服であり、物体３３Ｉは垂直方向の長さが長いネックレスであるが、物体３１Ｉおよび物体３３Ｉは、特に限定されない。
【００９８】
図１５には、Ｖネックの服が検出されたため、画像処理部１１２により、垂直方向の長さが長いネックレスが合成された撮像画像１３１Ｉ’が示されている。
【００９９】
図１６は、画像処理部１１２が有する機能の第３の変形例を説明するための図である。図１６には、撮像画像１３１Ｊに映る物体の例として物体３１Ｊが示されている。また、図１６には、他の物体の例として物体３３Ｊが示されている。図１６に示した例では、物体３１Ｊはラウンドネックの服であり、物体３３Ｊは垂直方向の長さが短いネックレスであるが、物体３１Ｊおよび物体３３Ｊは、特に限定されない。
【０１００】
図１６には、ラウンドネックの服が検出されたため、画像処理部１１２により、垂直方向の長さが短いネックレスが合成された撮像画像１３１Ｊ’が示されている。
【０１０１】
＜９．第３の変形例における動作＞
図１７は、第３の変形例に係る画像処理装置１００の動作の流れを示すフローチャートである。なお、図１７を参照しながら説明する画像処理装置１００の動作は、特に、被写体２０が着用している服の種類を検出する場合における画像処理装置１００の動作である。被写体２０が着用している服は、撮像画像に映る物体の一例である。
【０１０２】
図１７に示すように、まず、検出部１１１は、撮像画像に映る服の種類を検出する。画像処理部１１２は、その服の形状がボートネックであることが検出部１１１により検出された場合には（ステップＳ４１で「Ｙｅｓ」）、ピアスを撮像画像に重畳する（ステップＳ３３）。一方、画像処理部１１２は、その服の形状がボートネックではないことが検出部１１１により検出された場合には（ステップＳ４１で「Ｎｏ」）、ステップＳ４３に進む。
【０１０３】
画像処理部１１２は、その服の形状がＶネックであることが検出部１１１により検出された場合には（ステップＳ４３で「Ｙｅｓ」）、垂直方向の長さが長いネックレスを撮像画像に重畳する（ステップＳ４４）。一方、画像処理部１１２は、その服の形状がＶネックではないことが検出部１１１により検出された場合には（ステップＳ４３で「Ｎｏ」）、ステップＳ４５に進む。
【０１０４】
画像処理部１１２は、その服の形状がラウンドネックであることが検出部１１１により検出された場合には（ステップＳ４５で「Ｙｅｓ」）、垂直方向の長さが短いネックレスを撮像画像に重畳する（ステップＳ４６）。画像処理部１１２により処理された撮像画像は、表示部１３０に表示されるように表示制御部１１３により表示部１３０が制御されてもよい。
【０１０５】
以上、図１７を参照しながら、第３の変形例に係る画像処理装置１００の動作の流れについて説明した。
【０１０６】
＜１０．むすび＞
以上説明したように、本開示の実施形態によれば、撮像画像に仮想オブジェクトを合成する画像処理部を備え、画像処理部は、撮像画像に映る物体の状態または種類に基づいて仮想オブジェクトを決定する、画像処理装置が提供される。かかる画像処理装置によれば、撮像画像に映る物体の状態または種類を考慮して仮想オブジェクトを決定することができる。かかる画像処理装置によれば、例えば、撮像画像に映る服のうち他の服からはみ出ている部分を消去したり、ユーザの服の着こなし方を反映するように新たな服を合成したりすることができる。また、ユーザが着用している服に合うようなアクセサリを撮像画像に合成したり、ユーザが着用しているアクセサリに合うような形状に服を変更したりすることができる。
【０１０７】
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１０８】
例えば、画像処理部１１２を備える画像処理装置１００は、サーバに備えられていてもよいし、サーバと通信可能な端末に備えられていてもよい。また、例えば、上記では、物体の状態または種類を検出する機能を、画像処理装置１００が有する例を主に説明したが、かかる機能は、画像処理装置１００の代わりに他の装置が有していてもよい。例えば、かかる機能は、センサ部１５０が有していてもよい。例えば、画像処理装置１００が撮像画像を他の装置に送信した場合、他の装置は画像処理装置１００の代わりに撮像画像から物体の状態または種類を検出してもよい。
【０１０９】
また、例えば、上記では、表示制御部１１３は、画像処理装置１００に備えられている例を主に説明したが、表示制御部１１３は、画像処理装置１００の代わりに他の装置が有していてもよい。例えば、画像処理部１１２はサーバに備えられており、表示制御部１１３は端末に備えられていてもよい。例えば、サーバにより処理された撮像画像が端末に送信された場合、端末はその撮像画像が表示部１３０に表示されるように表示部１３０を制御してもよい。このように、本開示の技術は、クラウドコンピューティングにも適用することが可能である。
【０１１０】
また、例えば、第３の変形例では、画像処理部１１２が、アクセサリの種類に応じて服の形状を変更したり、服の形状に応じてアクセサリの種類を変更したりする例を主に説明した。すなわち、アクセサリの種類と服の形状との相性を考慮して仮想オブジェクトを決定することとした。しかし、アクセサリと服の形状との組み合わせ以外にも、相性の良し悪しのある組み合わせは存在する。例えば、スカートの丈とブーツの丈との組み合わせにも相性の良し悪しが認められる。したがって、画像処理部１１２は、スカートの丈とブーツの丈との相性を考慮して仮想オブジェクトを決定することも可能である。同様に、画像処理部１１２は、靴の高さ（例えば、ヒールの高さ、ブーツの丈など）とズボンの丈との相性を考慮して仮想オブジェクトを決定することも可能である。
【０１１１】
また、画像処理部１１２は、検出部１１１によりベルトが検出された場合に、ベルトと一緒に被写体により着用されているワンピースのウェスト部分を絞るような画像処理を行ってもよい。被写体により着用されているワンピースは、撮像画像に重畳されていてもよいし、撮像画像に映っていてもよい。このような画像処理が行われれば、被写体がベルトによりワンピースを実際に絞る動作を行わなくても、ベルト付きでワンピースを着用したときの見た目を把握することができる。
【０１１２】
また、画像処理部１１２は、服同士の相性を考慮して仮想オブジェクトを決定してもよい。例えば、画像処理部１１２は、マフラーの着用が検出された場合には、マフラーと同時に着用されている服の袖を半袖から長袖に変更するように仮想オブジェクトを決定してもよい。このような画像処理が行われれば、例えば、服を試着する時期とその服を実際に着用する時期とが異なっても、その服を着用したときの見た目をより正確に把握することができる。
【０１１３】
また、本明細書の画像処理装置１００の動作における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、画像処理装置１００の動作における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１１４】
また、画像処理装置１００に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した画像処理装置１００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【０１１５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像画像に仮想オブジェクトを合成する画像処理部を備え、
前記画像処理部は、前記撮像画像に映る物体の状態または種類に基づいて前記仮想オブジェクトを決定する、画像処理装置。
（２）
前記画像処理部は、前記撮像画像に映る物体と前記撮像画像に映る所定の物体との隣接が検出された場合に、前記撮像画像に映る物体を他の物体に置換する処理により前記撮像画像に仮想オブジェクトを合成する、
前記（１）に記載の画像処理装置。
（３）
前記画像処理部は、前記撮像画像に映る物体と前記撮像画像に重畳された所定の物体との隣接が検出された場合に、前記撮像画像に映る物体を他の物体に置換する処理により前記撮像画像に仮想オブジェクトを合成する、
前記（１）に記載の画像処理装置。
（４）
前記撮像画像に映る物体と前記所定の物体との隣接は、前記撮像画像に映る物体と隣接する物体の色および形状の少なくともいずれか一方に基づいて検出される、
前記（２）または前記（３）に記載の画像処理装置。
（５）
前記画像処理部は、前記撮像画像に映る物体と前記撮像画像に映る所定の物体との重なりが検出された場合に、前記重なりに応じて変形された仮想オブジェクトを前記撮像画像に合成する、
前記（１）に記載の画像処理装置。
（６）
前記撮像画像に映る物体と前記所定の物体との重なりは、前記撮像画像に映る物体と前記所定の物体との境界線の位置に基づいて検出される、
前記（５）に記載の画像処理装置。
（７）
前記画像処理部は、前記撮像画像に映る物体の種類が検出された場合に、前記撮像画像に映る物体の種類に応じて選択された仮想オブジェクトを前記撮像画像に合成する、
前記（１）に記載の画像処理装置。
（８）
前記画像処理部は、前記撮像画像に映る物体の種類が検出された場合に、前記撮像画像に映る物体の種類に応じた形状に前記撮像画像に映る他の物体を変形することにより前記撮像画像に仮想オブジェクトを合成する、
前記（１）に記載の画像処理装置。
（９）
前記画像処理装置は、
前記撮像画像に映る物体の状態または種類を検出する検出部をさらに備える、
前記（１）に記載の画像処理装置。
（１０）
前記画像処理装置は、
前記画像処理部により処理された後の画像が表示部に表示されるように前記表示部を制御する表示制御部をさらに備える、
前記（１）に記載の画像処理装置。
（１１）
撮像画像に映る物体の状態または種類に基づいて、前記撮像画像に合成される仮想オブジェクトを決定することを含む、画像処理方法。
（１２）
コンピュータを、
撮像画像に仮想オブジェクトを合成する画像処理部を備え、
前記画像処理部は、前記撮像画像に映る物体の状態または種類に基づいて前記仮想オブジェクトを決定する画像処理装置として機能させるためのプログラム。
【符号の説明】
【０１１６】
１０    画像処理システム
１００  画像処理装置
１１０  制御部
１１１  検出部
１１２  画像処理部
１１３  表示制御部
１２０  記憶部
１３０  表示部
１３１（１３１Ａ〜１３１Ｊ）  撮像画像
１４０  撮像部
１５０  センサ部
【図１】
0005994233.tif 000002
【図２】
0005994233.tif 000003
【図３】
0005994233.tif 000004
【図４】
0005994233.tif 000005
【図５】
0005994233.tif 000006
【図６】
0005994233.tif 000007
【図７】
0005994233.tif 000008
【図８】
0005994233.tif 000009
【図９】
0005994233.tif 000010
【図１０】
0005994233.tif 000011
【図１１】
0005994233.tif 000012
【図１２】
0005994233.tif 000013
【図１３】
0005994233.tif 000014
【図１４】
0005994233.tif 000015
【図１５】
0005994233.tif 000016
【図１６】
0005994233.tif 000017
【図１７】
0005994233.tif 000018