(57)【要約】【課題】本発明が解決しようとする課題は、リアルタイムに人物を映すサイネージ上において人物の動きに追随する形で見栄えの良い背景合成画像を提供することである。【解決手段】実施形態の画像処理システムは、ユーザ画像およびデプスマップを取得する撮影部と、取得した前記デプスマップからユーザ特徴情報を取得する撮影情報解析部と、透明度マスク、マスク情報および背景画像を保存する記憶部と、前記ユーザ特徴情報および前記記憶部に保存されたマスク情報を参照し、前記背景画像に透明度マスクを適用し、前記透明度マスク適用部分の画像領域を透明化したマスク適用背景画像を生成する背景画像生成部と、前記ユーザ画像と、前記背景画像生成部で生成された前記マスク適用背景画像と、の合成画像を生成する合成部と、前記合成画像を表示する表示部と、を備える。【選択図】  図１
2018073091.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ画像およびデプスマップを取得する撮影部と、
取得した前記デプスマップからユーザ特徴情報を取得する撮影情報解析部と、
透明度マスク、マスク情報および背景画像を保存する記憶部と、
前記ユーザ特徴情報および前記記憶部に保存された前記マスク情報を参照し、前記背景画像に前記透明度マスクを適用し、前記透明度マスク適用部分の画像領域を透明化したマスク適用背景画像を生成する背景画像生成部と、
前記ユーザ画像と、前記背景画像生成部で生成された前記マスク適用背景画像と、の合成画像を生成する合成部と、
前記合成画像を表示する表示部と、
を備えた、画像処理システム。
【請求項２】
前記記憶部は、前記ユーザ特徴情報と、衣服画像と、を少なくとも対応づけた衣服情報を保存し、
取得した前記ユーザ特徴情報に基づいて、前記記憶部に保存された前記衣服画像を調整する衣服画像調整部をさらに備え、
前記合成部は、前記ユーザ画像と、前記マスク適用背景画像と、前記衣服画像調整部で調整された衣服画像と、の合成画像を生成する、請求項１に記載の画像処理システム。
【請求項３】
前記記憶部は、前記マスク適用背景画像を保存し、
前記合成部は、前記記憶部に保存された前記マスク適用背景画像を参照し、合成画像を生成する、請求項１または２に記載の画像処理システム。
【請求項４】
前記ユーザ特徴情報は、前記ユーザのデプスマップおよび骨格情報および体型パラメータの少なくとも１つを含む、請求項１乃至３のいずれか一項に記載の画像処理システム。
【請求項５】
前記記憶部は、マスク形状と、マスク参照座標と、を少なくとも対応付けた前記マスク情報として保存し、
前記背景画像生成部は、前記ユーザ特徴情報からユーザ参照座標を取得し、前記ユーザ参照座標および前記マスク参照座標に基づいて前記透明度マスクを拡大縮小する、請求項１乃至４のいずれか一項に記載の画像処理システム。
【請求項６】
前記ユーザ特徴情報に基づいて前記透明度マスクを生成するマスク生成部をさらに備えた、請求項１乃至５のいずれか一項に記載の画像処理システム。
【請求項７】
前記マスク生成部は、前記透明度マスクの縁にグラデーションを施した透明度グラデーションマスクを生成し、
前記背景画像生成部は、前記透明度グラデーションマスクを使用、または、前記透明度マスク適用部分の画像領域と背景画像の境界に透明度グラデーションを施す、請求項６に記載の画像処理システム。
【請求項８】
コンピュータに、
ユーザ画像およびデプスマップを取得する撮影ステップと、
取得した前記デプスマップからユーザ特徴情報を取得する解析ステップと、
透明度マスク、マスク情報および背景画像を記憶する記憶ステップと、
前記ユーザ特徴情報および前記記憶ステップで保存された前記マスク情報を参照し、前記記憶ステップで保存された前記背景画像に前記透明度マスクを適用し、前記マスク適用部分の画像領域を透明化したマスク適用背景画像を生成する背景画像生成ステップと、
前記ユーザ画像と、前記背景画像生成ステップで生成された前記マスク適用背景画像と、の合成画像を生成する合成ステップと、
前記合成画像を表示する表示ステップと、を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
画像処理システム、およびプログラムに関する。
【背景技術】
【０００２】
従来より、ある風景の中にあたかも人物が存在するような背景画像を合成する技術が種々開示されている。例えば、グリーンバックを利用したクロマキー合成の技術や背景差分除去アルゴリズムによって人物領域を切り抜き、背景画像に合成する技術が知られている。しかしながら、従来の処理方法では処理負担が大きく、リアルタイムに人物を映すサイネージ上において人物の動きに追随する形で背景画像を合成できないという問題があった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１９０９７４号公報
【非特許文献】
【０００４】
【非特許文献１】中島剛史、他２名、「仮想試着による動画  ファッションコーディネートシステム」、情報処理学会研究報告、一般社団法人情報処理学会、２０１２年３月２２日、第８３巻、第１９号、ｐ.１−６
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、リアルタイムに人物を映すサイネージ上において人物の動きに追随する形で見栄えの良い背景合成画像を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、実施形態の画像処理システムは、ユーザ画像およびデプスマップを取得する撮影部と、取得した前記デプスマップからユーザ特徴情報を取得する撮影情報解析部と、透明度マスク、マスク情報および背景画像を保存する記憶部と、前記ユーザ特徴情報および前記記憶部に保存されたマスク情報を参照し、前記背景画像にマスクを適用し、前記マスク適用部分の画像領域を透明化したマスク適用背景画像を生成する背景画像生成部と、前記ユーザ画像と、前記背景画像生成部で生成された前記マスク適用背景画像と、の合成画像を生成する合成部と、前記合成画像を表示する表示部と、を備える。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態に係る画像処理システムの機能ブロック図。
【図２】第１の実施形態に係るユーザの特徴情報取得のフローを示す図。
【図３】第１の実施形態に係るユーザ端末とユーザの位置関係を示す模式図。
【図４】第１の実施形態に係る特徴情報記憶部のデータ構造の一例を示す図。
【図５】第１の実施形態にマスク適用背景画像生成フローを示す図。
【図６】第１の実施形態において人型マスクを適応した背景画像の一例を示す図。
【図７】第１の実施形態に係る画像の合成・描画フローを示す図。
【図８】第１の実施形態に係る画像合成のイメージ図。
【図９】第２の実施形態に係る画像処理システムの機能ブロック図。
【図１０】第２の実施形態にマスク適用背景画像生成フローを示す図。
【発明を実施するための形態】
【０００８】
以下、発明を実施するための実施形態について説明する。
【０００９】
(第１の実施形態)
図１は第１の実施形態に係る画像処理システムの機能ブロック図である。本実施形態では、リアルタイムに人物を映すサイネージを用いる画像処理システムの一例として、仮想試着システムを挙げている。ここで、リアルタイム性を必要とする画像処理システムであれば、仮想試着システムに限定されない。
【００１０】
本実施形態の画像処理システムのユーザ端末１００は、ユーザ画像撮影部１０１と、デプスマップ撮影部１０２と、表示部１０３と、入出力部１０４を備える。ユーザ端末１００は、公知のネットワーク３００を介してサーバ２００と接続されている。
【００１１】
ユーザ画像撮影部１０１は、所定時間毎にユーザを撮影し、ユーザの人物領域を含む画像（以下ユーザ画像とする）を得る。ユーザは、本システムを使用する対象である。
【００１２】
デプスマップ撮影部１０２は、撮影によりデプスマップを取得する。
【００１３】
表示部１０３は、サーバ２００の合成部２２５で生成された合成画像を表示する。
【００１４】
本実施形態の画像処理システムのサーバ２００は、入出力部２１０と、処理部２２０と、記憶部２３０を備える。
【００１５】
入出力部２１０は、ユーザ端末１００とデータの送受信を行う。
【００１６】
処理部２２０は、制御部２２１と、撮影情報解析部２２２と、背景画像生成部２２３と、衣服画像調整部２２４と、合成部２２５を含む。
【００１７】
制御部２２１は、ユーザ端末１００のユーザ画像撮影部１０１およびデプスマップ撮影部１０２の撮影のタイミングを制御する。さらに、ユーザ端末１００の表示部１０３に表示する情報を制御する。撮影情報解析部２２２は、ユーザのデプスマップから、体型パラメータおよび骨格情報を算出する。背景画像生成部２２３は、ユーザ端末１００のユーザ画像撮影部１０１で撮影されたユーザ画像に重ねて描画するために一部透明化した背景画像を生成する。衣服画像調整部２２４は、ユーザ端末１００のユーザ画像撮影部１０１で撮影されたユーザ画像の人物領域に重ねて描画するために衣服画像の大きさ等を調整する（公知の仮想試着技術）。合成部２２５は、ユーザ端末１００のユーザ画像撮影部１０１で撮影されたユーザ画像と、背景画像生成部２２３で生成された背景画像と、衣服画像調整部２２４で調整された衣服画像を重ねて描画し、合成画像を生成する。
【００１８】
記憶部２３０は、各種データを記憶する公知の記憶デバイスであり、特徴情報記憶部２３１、マスク記憶部２３２と、背景画像記憶部２３３と、衣服画像記憶部２３４と、生成背景画像記憶部２３５を持つ。
【００１９】
特徴情報記憶部２３１には、撮影情報解析部２２２でデプスマップから算出したユーザの特徴情報が保存される。マスク記憶部２３２には、背景画像生成部２２３が切り抜き背景画像を生成する際に使用するマスクが保存される。背景画像記憶部２３３は、撮影されたユーザ画像に背景として使用する加工前の画像が保存される。衣服画像記憶部２３４には、撮影されたユーザ画像に重ねて描画する衣服の画像が保存される。生成背景画像記憶部２３５には、合成を行うために生成したマスク適用背景画像が保存される。
【００２０】
ここで、サーバ２００の入出力部２１０、制御部２２１、撮影情報解析部２２２、背景画像生成部２２３、衣服画像調整部２２４および合成部２２５の一部またはすべては、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。なお、ユーザ端末１００とサーバ２００は機能的に分離しているが、ネットワーク３００を介さず同一のサーバ内で処理しても良いし、複数のユーザ端末やサーバを以て実現しても良い。
【００２１】
続いて、本実施形態に係るユーザの特徴情報取得のフローを説明する。本実施形態に係るユーザ特徴情報取得のフローを図２に示す。このフローにより取得したユーザの特徴情報に基づき、画像の様々な調整や加工を行う（後述する）。
【００２２】
本実施形態では、ユーザ端末１００の表示部１０３は、例えば、液晶表示装置等の公知の表示装置であり、人物の等身大以上の大きさで構成されている場合を説明する。なお、表示部１０３の大きさは、この大きさに限定されない。また、本実施形態では、表示部１０３の前に対峙したユーザが、鏡を視認する感覚で合成画像を確認可能となるように、試着者画像を鏡像反転させた画像に、マスク適用背景画像および衣服画像を合成する。
【００２３】
図３は、本実施形態における、ユーザ端末１００とユーザPの位置関係を示す模式図である。サーバ２００の制御部２２１は（図３では図示省略）、ユーザＰが晴れた屋外にいて、各種衣服を着用している状態を示す合成画像Ｗを、表示部１０３に表示する。図３には、一例として、ユーザ画像３０と生成したマスク適用背景画像３１と衣服画像３２の合成画像Ｗを示す。人物等のユーザＰは、例えば、表示部１０３の表示面に対面した位置から、表示部１０３に提示された合成画像Ｗを視認する。
【００２４】
また、デプスマップ撮影部１０２およびユーザ画像撮影部１０１は、表示部１０３の表示面に対面した位置のユーザＰを撮影可能となるように、撮影方向を予め調整されている。さらに、制御部２２１は（図３では図示省略）、公知のキャリブレーションを実行することにより、ユーザ画像撮影部１０１の座標系とデプスマップ撮影部１０２の座標系が一致するように予め調整している。これにより、デプスマップ撮影部１０２の座標系を、ユーザ画像撮影部１０１の座標系に変換することができる。加えて、ユーザ端末１００やサーバ２００には、合成画像を印刷する印刷装置や、ネットワークなどを介して合成画像を外部装置へ送信する送信部を更に備えていてもよい。
【００２５】
図２に戻り、まず、ユーザがユーザ端末１００の表示部１０３の前に対峙する等すると撮影が開始される。撮影を開始すると、ユーザ端末１００のユーザ画像撮影部１０１およびデプスマップ撮影部１０２が、所定時間毎にユーザを撮影し、ユーザ画像およびデプスマップを得る（S1およびS2）。次に、撮影したユーザ画像およびデプスマップをサーバの入出力部２１０を介してサーバ２００へ送信する。ユーザ画像撮影部１０１およびデプスマップ撮影部１０２が連続してユーザを撮影してサーバ２００へ送信することで、サーバ２００は、ユーザの動画像および複数の連続したデプスマップを取得する。
【００２６】
ここで、ユーザは、本システムを使用する対象であればよく、生物であってもよいし、非生物であってもよい。生物には、例えば、人物が挙げられる。なお、生物は、人物に限られず、犬や猫等の、人物以外の動物であってもよい。また、非生物には、人体や動物の形状を模したマネキンや、その他の物体等が挙げられるが、これに限られない。また、ユーザは、衣服を着用した状態の生物や非生物であってもよい。また、衣服とは、試着者が着用可能な品物である。衣服としては、例えば、上着、スカート、ズボン、靴、帽子などが挙げられる。なお、衣服は、上着、スカート、ズボン、靴、帽子などに限定されない。
【００２７】
なお、本実施形態におけるユーザ画像とは、ビットマップ画像である。ユーザ画像は、画素毎に、ユーザの色や輝度等を示す画素値の規定された画像である。ユーザ端末１００のユーザ画像撮影部１０１は、ユーザ画像を取得可能な公知の撮影装置である。
【００２８】
デプスマップは、画素毎に、デプスマップ撮影部１０２からの距離を測定した画像である。本実施形態におけるデプスマップは、ユーザ画像から、ステレオマッチング等の公知の方法により作成してもよいし、ユーザ画像と同じ撮影条件で、デプスマップ撮影部１０２を用いて撮影することで取得してもよい。デプスマップ撮影部１０２には、デプスマップを取得可能な公知の撮影装置を用いる。
【００２９】
本実施形態では、ユーザ画像撮影部１０１およびデプスマップ撮影部１０２は、同じタイミングでユーザの撮影を行う。ユーザ画像撮影部１０１およびデプスマップ撮影部１０２は、制御部２２１によって、設定したタイミングで撮影を順次行うように制御されている。そして、ユーザ画像撮影部１０１およびデプスマップ撮影部１０２は、撮影によって得たユーザのユーザ画像及びデプスマップを、順次、サーバ２００の処理部２２０へ送信する。
【００３０】
撮影によって得たデプスマップは、処理部２２０の撮影情報解析部２２２に渡される。ユーザのデプスマップを元に、ユーザの特徴情報を算出する。ユーザの特徴情報とは、例えば身体的な特徴である体型パラメータや骨格情報等である。撮影情報解析部２２２は、ユーザの体型パラメータをデプスマップから算出する。体型パラメータは、ユーザの体型を示す情報である。詳細には、撮影情報解析部２２２は、まず、デプスマップ撮影部１０２で取得したデプスマップから、人物領域を抽出し（S3）、ユーザのデプスマップを取得する（S4）。撮影情報解析部２２２は、例えば、デプスマップを構成する各画素の３次元位置のうち、奥行き方向の距離について閾値を設定することで、人物領域を抽出する。デプスマップ撮影部１０２のカメラ座標系において、デプスマップ撮影部１０２の位置を原点とし、Ｚ軸正方向が、デプスマップ撮影部１０２の原点から被写体（ユーザ）方向に伸びるカメラの光軸であるとする。この場合、デプスマップを構成する各画素の内、奥行き方向（Ｚ軸方向）の位置座標が予め定めた閾値（例えば、１ｍを示す値）以上の画素を除外する。これにより、撮影情報解析部２２２は、デプスマップ撮影部１０２から該閾値の範囲内に存在する人物領域の画素からなるデプスマップ、すなわち、ユーザのデプスマップを得る。
【００３１】
次に、撮影情報解析部２２２は、デプスマップ撮影部１０２で取得したユーザのデプスマップから、ユーザの体型パラメータを算出する。例えば、撮影情報解析部２２２は、ユーザのデプスマップに、人体の三次元モデルデータ（三次元ポリゴンモデル）をあてはめる。そして、撮影情報解析部２２２は、デプスマップと、試着者にあてはめた三次元モデルデータと、を用いて、体型パラメータに含まれる各パラメータの値（例えば、身長、胸囲、胴囲、腰囲、肩幅、などの各々の値）を算出する。このようにして、撮影情報解析部２２２は、ユーザの体型パラメータを取得する。なお、ユーザがユーザ端末１００等を利用して直接入力したパラメータを利用しても良い。
【００３２】
また、撮影情報解析部２２２は、取得したユーザのデプスマップを構成する画素毎に、人体の骨格位置を示す、骨格情報を生成する（S5)。骨格情報はユーザの特徴情報の１つである。撮影情報解析部２２２は、デプスマップに人体形状を当てはめることでユーザの骨格情報を生成する。なお、撮影情報解析部２２２は、生成した骨格情報から、ユーザの姿勢情報を算出しても良い。また、ユーザの骨格情報によって示される各関節の位置から、公知の方法により、ユーザの向き（姿勢情報）を算出しても良い。なお、撮影情報解析部２２２は、ユーザのデプスマップから、ＯｐｅｎＮＩ（Ｏｐｅｎ  Ｎａｔｕｒａｌ  Ｉｎｔｅｒａｃｔｉｏｎ）などを用いて、ユーザの姿勢情報を算出してもよい。
【００３３】
図４は、本実施形態に係る特徴情報記憶部のデータ構造の一例を示している。図４で例示するように、ユーザのデプスマップの識別情報である、デプスマップIDと、特徴情報として算出した各パラメータの値（例えば、身長、胸囲、胴囲、腰囲、肩幅、などの各々の値）と、骨格情報（例えば、各関節の各々の座標情報）と、デプスマップの撮影時間である撮影時間等が関連付けられて保存される。
【００３４】
次に、本実施形態に係るマスク適用背景画像生成フローを説明する。図６は本実施形態にマスク適用背景画像生成フローを示す。
【００３５】
まず、ユーザ端末１００は、使用する背景画像の情報を入力する（S6）。ここで、あらかじめ背景画像記憶部２３３に保存しておき、ユーザがUIを通して背景として使用する画像を選択する等する。なお、背景画像記憶部２３３には、図示しないが、ID等が付与されて、背景として使用する画像が保存される。背景画像記憶部２３３に保存される情報は、データベースであってもよいし、テーブルであってもよく、データ形式は限定されない。なお、保存される情報は、少なくとも、背景画像と、背景画像の識別情報（ID等）を対応づけた情報であればよく、更に他の情報を対応づけた形態であってもよい。
【００３６】
背景情報が選択されると、背景画像生成部２２３は、背景画像記憶部２３３を参照し背景として使用する背景画像の調整を行う（S7）。例えば、ユーザ端末１００の表示部１０３の縦横比に合わせて拡大縮小したり、あるいは画像の端を切ったり、連続表示させたり、画像を表示する領域を決定することで、画像サイズの調整を行う。なお、背景として使用する画像を背景画像記憶部２３３に保存する際に、あらかじめユーザ端末１００の表示部１０３の縦横比に合うように加工を施してから保存しても良い。
【００３７】
続いて、撮影情報解析部２２２におけるユーザのデプスマップ解析結果に基づいて、ユーザの頭部の中心座標を特定する（S8）。ここで、頭部の中心座標は、後述する透明度マスクの位置合わせに使用するものであり、ユーザの位置座標が特定できれば、頭頂部の座標等、頭部の中心座標でなくても良い。（透明度マスクの位置合わせで使用する、ユーザのある部位の座標をユーザ画像の参照座標とする。）また、ユーザの人物領域が特定できれば、手足部の座標を使用する等、頭部の座標に限らなくてもよい。さらに、参照する座標は１つに限らなくても良い。（透明度マスクの位置合わせで使用する、透明度マスク上の座標をマスクの参照座標とする。）
【００３８】
次に、マスク記憶部２３２を参照し、ユーザの形に合った透明度マスクを選択する（S9)。透明度マスクとは、適用部分の背景画像を透明化するためのマスクである。（以下、マスクと略す。）本実施形態では、人型マスクを使用する。マスク記憶部２３２は、図示しないが、例えば、各マスクにIDが付与され、マスクの形状と、頭部の中心座標の情報と、共に保存される。マスク記憶部２３２に保存される情報は、データベースであってもよいし、テーブルであってもよく、データ形式は限定されない。なお、保存される情報は、少なくとも、マスクの形状と、マスク上における参照座標の位置情報と、マスクの識別情報（ID等）を対応づけた情報であればよく、更に他の情報を対応づけた形態であってもよい。マスクの形状とは、マスクのサイズを拡大縮小する際に元となるマスクの型やサイズ情報のことである。
【００３９】
なお、人型マスクの種類は複数用意するのが望ましい。例えば、体型に合わせて、身長と横幅の比率が異なるものを用意しても良いし、手部の位置や足部の位置が異なるパターンを用意してもよい。また、ユーザがUI等を通して使用するマスクを選択できるようにしてもよいし、撮影情報解析部２２２で取得したユーザの特徴情報から、システムが自動で選択するようにしても良い。さらに、用意されているマスクは、人物に向けた人型マスク限らず、犬や猫等の、人物以外の動物に向けたマスクであってもよい。また、非生物には、人体や動物の形状を模したマネキンや、その他の物体等に向けたマスクが挙げられるが、これに限らない。
【００４０】
続いて、背景画像上へのマスクの適用とサイズ調整を行う（S10）。ここでは、取得したデプスマップから特定したユーザの頭部の位置などを利用して、サイネージ上の人物が映るべき領域を推定し、背景画像の該当領域を覆うようにマスクを拡大縮小移動させて適用する。
【００４１】
具体的には、ユーザの頭部の中心座標とマスク上の参照座標を参照し、重なる場所にマスクを適用、マスクのサイズ調整を行う。本実施形態では、特定したユーザの頭部の中心座標とその真下の座標（X方向座標が共通でY方向が背景画像の下端となる座標）までの距離（ユーザの身長とする）を算出し、選択したマスクを算出した距離に合うように、縦横比を保ったまま拡大縮小する。具体的には、マスクの形状の参照座標（この例では頭部の中心座標）とその真下の座標との距離を参照し、ユーザの身長と同じ長さとなるように倍率を算出し、その倍率をもとに拡大縮小する等する。なお、取得した体型パラメータ等を使用することで、横方向に拡大縮小を加えても良い。また、骨格情報等から足の座標を特定し、頭部の座標と足の座標を参照してユーザの縦方向の距離を算出しても良いし、マスクの拡大縮小に必要な情報が得られればその方法は問わない。さらに、参照座標の位置合わせとサイズ調整は、どちらを先に行っても構わない。
【００４２】
本実施形態において人型マスクを適応した背景画像の一例を図５に示す。この例では図面左上を原点（０, ０）としており、右下の座標は（W, h）である。ユーザの頭部の中心座標（X0, Y0）の上に人型マスク３３の参照座標を重ねて適用する。また、ユーザの頭部の中心座標とその真下の座標（X0, h）との距離hを参照し、人型マスクを拡大縮小する。
【００４３】
続いて、マスクを適用した部分の背景画像を透明化する（S11)。この時、マスクと背景の境目を透明から不透明になだらかなグラデーションにすることで、単純に合成後より自然な合成画像を生成することができる。なお、あらかじめマスク端部にグラデーションを施したマスクを用意しても良い。
【００４４】
この工程により生成したマスク適用背景画像は、生成背景画像記憶部２３５に保存される（S12)。このマスク適用背景画像生成フローはユーザ画像等の後述する画像の合成・描画フローとは分離したフローで行う。また、一連のフローが終了すると、再びマスク適用背景画像生成を開始するといったように、定期的に繰り返される。その都度、生成背景画像記憶部２３５に保存されるマスク適用背景画像が更新される。この繰り返しのタイミングは、ユーザやシステムの管理者が設定しても良い。
【００４５】
次に、本実施形態に係る画像の合成・描画フローを説明する。図７は本実施形態に係る画像の合成・描画フローを示す図である。
【００４６】
まず、ユーザ画像撮影部１０１から取得したユーザ画像を一層目に描画する（S13）。制御部２２１は、ユーザ画像の描画のタイミングを指示する。描画を指示するタイミングは、ユーザ画像撮影部１０１から取得された画像をサーバ２００が受信したタイミングと同じである。このタイミングは、ユーザやシステムの管理者が設定できるようにしても良いし、ユーザ画像取得のタイミングと描画のタイミングを別に設定しても良い。しかし、表示部１０３上で、あたかも鏡を視認する感覚で画像を確認可能となるためには、比較的描画頻度を多くすることが望ましい。
【００４７】
それと同時に、デプスマップ撮影部１０２からデプスマップを取得し、撮影情報解析部２２２でユーザの特徴情報を取得する（S14）。（詳細は、図２ユーザの特徴情報取得のフローを参照）
【００４８】
続いて、生成背景画像記憶部２３５を参照し、マスク適用背景画像をユーザ画像の上に重ねて描画する（S15）。なお、マスク適用背景画像生成とその描画は、ユーザ画像描画と分離して行われており、マスク適用背景画像の描画は、一層目のユーザ画像描画のタイミングと異なる。
【００４９】
その上に衣服画像調整部２２４で調整し（S16）、最新の衣服画像を重ねて描画する（S17）。衣服画像の調整のタイミングに関して、本実施形態では、ユーザ画像の描画のタイミングで行うが、マスク適用背景画像と同様に別のタイミングで行っても良い。衣服画像を描画する際に、公知の方法である仮想試着のシステムを使用する。衣服画像記憶部２３４に保存された衣服情報は、衣服の種類と、衣服の識別情報（衣服ＩＤ）と、特徴情報と、姿勢情報と、重畳順と、位置合せ情報と、衣服画像を対応づけた情報である。衣服情報は、データベースであってもよいし、テーブルであってもよく、データ形式は限定されない。なお、衣服情報は、少なくとも、衣服画像と、特徴情報と、を対応づけた情報であればよく、更に他の情報を対応づけた形態であってもよい。衣服画像調整部２２４は、衣服画像記憶部２３４を参照し、特徴情報記憶部２３１に保存したユーザの特徴情報を使用することで、ユーザの体形に合うように衣服画像を調整する。
【００５０】
このように、マスク適用背景画像の上から仮想試着を施すことで、マスク適用背景画像とユーザ画像の境目を隠すことができ、より見栄えの良い合成画像を生成することができる。
【００５１】
図８は、本実施形態に係る画像合成のイメージを示す。左からユーザPのユーザ画像、背景画像生成部２２３で生成したマスク適用背景画像３１、衣服画像調整部２２４で調整した衣服画像３２を示す。左から順に描画していくことで、合成画像Wを得る。
【００５２】
最後に生成した合成画像をユーザ端末１００の表示部１０３に表示する。このように、本実施形態の画像処理システムは、最初にユーザ画像、次にマスク適用背景画像、最後に衣服画像の順に描画を行うことで実現される。
【００５３】
なお、上述したように、本実施の形態では、合成部２２５は、ユーザ端末１００の表示部１０３の前に対峙したユーザが、鏡を視認する感覚で合成画像を確認可能となるように、ユーザ画像を鏡像反転させた画像に、選択された背景画像と衣服画像を描画することで、合成画像を生成する。また、ユーザ画像撮影部１０１で取得するユーザ画像の描画頻度を多くすればするほど、ユーザの動きに追随した動画像を取得できる。
【００５４】
リアルタイムに人物を映すサイネージにおいて、従来のように、ユーザ画像の人物領域外に透明化処理を適用する場合、エンドユーザが行ったアクションに対してサイネージのリアクションが遅延し、著しくユーザビリティを失う。しかしながら、本実施形態では、人物映像自体には画像処理を行わず、単純に描画するためリアクションが遅延しない。
【００５５】
また、ユーザ画像の描画の度に、背景画像生成部２２３でマスク適用背景画像の生成を行い、マスク適用背景画像を描画するのではなく、生成背景画像記憶部２３５に保存されたマスク適用背景画像を描画することで、リアルタイム性を保ちながら処理負担を軽減することが可能となる。そのため、これによりリアルタイムに人物を映すサイネージ上においても、人物の動きに追随する形で見栄えの良い背景合成画像を提供することができる。さらに、本実施形態では、大掛かりな装置は必要なく、比較的低性能・安価な装置を使用しても、見栄えの良い背景合成画像を提供することができる。
【００５６】
加えて、VRAM(Video Random Access Memory)にあらかじめマスク適用背景画像や衣服画像を送信可能なために、描画を高速化できる。ユーザ画像はあらかじめ送信できず、一定以上の描画の高速化はできないが、本実施例における、マスク適用背景画像や衣服画像についてはあらかじめ送信しておき、最後にVRAMの拡大・縮小機能を利用して高速に描画する事が可能となる。
【００５７】
(第２の実施形態)
第２の実施形態を実現するための画像処理システムの機能ブロック図を図９に示す。本実施形態では、サーバ２００の処理部２２０にマスク生成部２２６を加える。マスク生成部２２６は、撮影情報解析部２２２で取得したユーザの特徴情報に基づき、ユーザの体型・手足の位置等について、より正確に反映したマスクを生成する。
【００５８】
特徴情報取得のフローは、第１の実施形態と同一であるので詳細な説明を省略する。図１０を参照し、本実施形態に係るマスク適用背景画像生成フローを説明する。
【００５９】
まず、使用する背景画像の情報を入力する（S18）。ここで、あらかじめ背景画像記憶部２３３に保存しておき、ユーザがUIを通して背景として使用する画像を選択する等する。背景情報が選択されると、背景画像生成部２２３は、背景画像記憶部２３３を参照し背景として使用する背景画像の調整を行う（S19）。例えば、ユーザ端末１００の表示部１０３の縦横比に合わせて拡大縮小したり、あるいは画像の端を切ったり、連続表示させたり、画像を表示する領域を決定することで、画像サイズの調整を行う。
【００６０】
次に、マスク生成部２２６は、撮影情報解析部２２２におけるユーザのデプスマップ解析結果に基づいて、ユーザのマスクを生成する（S20）。例えば、ユーザの特徴情報の１つである骨格情報に基づき、ユーザの各関節・骨の位置を特定し、その骨に肉づけを行うことで、ユーザに合ったマスクの形状を生成する。肉づけの際に、ユーザの体型パラメータを利用しても良い。なお、体型パラメータを利用したり、ユーザがUIを通して入力した体型に対する情報に基づき、マスクを生成する等してもよい。
【００６１】
続いて、背景画像上へのマスクの適用を行う（S21）。ユーザの参照座標とマスク上の参照座標を参照し、重なる場所にマスクを適用する。次に、マスクを適用した部分の背景画像を透明化する（S22)。この時、マスクと背景の境目をなだらかなグラデーションにすることで、合成後より自然な合成画像を生成することができる。なお、あらかじめマスク端部にグラデーションを施したマスクを用意しても良い。
【００６２】
この工程により生成した背景画像は、生成背景画像記憶部２３５に保存される（S23)。このマスク適用背景画像生成フローはユーザ画像等の後述する画像の合成・描画フローとは分離したフローで行う。また、一連のフローが終了すると、再びマスク適用背景画像生成を開始するといったように、定期的に繰り返される。その都度、生成背景画像記憶部２３５に保存されるマスク適用背景画像が更新される。この繰り返しのタイミングは、ユーザやシステムの管理者が設定しても良い。
【００６３】
画像の合成・描画フローは、第１の実施形態と同一であるので詳細な説明を省略する。最後に、生成した合成画像をユーザ端末１００の表示部１０３に表示する。
【００６４】
このように、マスク適用背景画像生成フローにおいてマスクの生成を行うことで、よりユーザの動きに追随し、生成したマスク適用背景画像とユーザ画像の境目とが自然な合成画像を生成することができる。
【００６５】
なお、上記の実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（ハードディスク等）、光ディスク（CD−ROM、DVD等）、光磁気ディスク（MO）、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【００６６】
ここで、記憶媒体としては、プログラムを記憶でき、且つコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
【００６７】
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のMW（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行しても良い。
【００６８】
さらに、本実施形態における記憶媒体は、コンピュータと独立した媒体に限らず、LANやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
【００６９】
また、記憶媒体は１つに限らず、複数の媒体から本実施形態における処理が実行される場合も本実施形態における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。
【００７０】
なお、本実施形態におけるコンピュータとは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。
【００７１】
また、本実施形態の各記憶装置は１つの記憶装置で実現しても良いし、複数の記憶装置で実現しても良い。
【００７２】
そして、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン（マイクロプロセッサ）等も含み、プログラムによって本実施形態の機能を実現することが可能な機器、装置を総称している。
【００７３】
以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、説明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７４】
１００…ユーザ端末
１０１…ユーザ画像撮影部
１０２…デプスマップ撮影部
１０３…表示部
１０４…ユーザ端末の入出力部
２００…サーバ
２１０…サーバの入出力部
２２０…処理部
２２１…制御部
２２２…撮影情報解析部
２２３…背景画像生成部
２２４…衣服画像調整部
２２５…合成部
２３０…記憶部
２３１…特徴情報記憶部
２３２…マスク記憶部
２３３…背景画像記憶部
２３４…衣服画像記憶部
２３５…生成背景画像記憶部
３０…ユーザ画像
３１…生成した背景画像
３２…衣服画像３２
３３…人型マスク
Ｗ…合成画像
Ｐ…ユーザ
【図１】
2018073091.tif 000003
【図２】
2018073091.tif 000004
【図３】
2018073091.tif 000005
【図４】
2018073091.tif 000006
【図５】
2018073091.tif 000007
【図６】
2018073091.tif 000008
【図７】
2018073091.tif 000009
【図８】
2018073091.tif 000010
【図９】
2018073091.tif 000011
【図１０】
2018073091.tif 000012