(57)【要約】【課題】人の画像と衣類の画像とから衣類を着用した後の画像を合成する。【解決手段】記憶部と、調節部と、変換部とを有する画像変換装置を提供する。記憶部は、対象物を撮影した第１画像に、その撮影された対象物の輪郭により囲まれる領域を分割するメッシュを、配置した情報を記憶する。調節部は、第２画像に、前記のメッシュの複製を配置し、配置された前記のメッシュの頂点の第２画像における位置を調節する。変換部は、第２画像情報に配置され、位置が調節された前記のメッシュの複製の辺により囲まれる第２画像の部分画像を、第１画像に配置されたメッシュの対応する辺により囲まれる形状に変換してその位置に配置する。【選択図】図１
2015176316.tif 000002
【特許請求の範囲】
【請求項１】
対象物を撮影した第１画像に、前記撮影された対象物の輪郭により囲まれる領域を分割するメッシュを、配置した情報を記憶する記憶部と、
第２画像に、前記メッシュの複製を配置し、前記メッシュの頂点の位置を調節する調節部と、
前記第２画像に配置された前記メッシュの複製の辺により囲まれる前記第２画像の部分画像を、前記第１画像に配置されたメッシュの対応する辺により囲まれる形状に変換して前記形状の位置に配置する変換部と、
を有する画像変換装置。
【請求項２】
前記対象物は人または人形であり、前記第２画像は、衣類を撮影した画像である請求項１に記載の画像変換装置。
【請求項３】
前記メッシュは、前記撮影された対象物の輪郭により囲まれる領域をドロネーの三角形により分割する請求項１または２に記載の画像変換装置。
【請求項４】
前記調節部は、前記メッシュの複製の輪郭部の点列をベジエ曲線上に配置する請求項３に記載の画像変換装置。
【請求項５】
計算機に、
対象物を撮影した第１画像に、前記撮影された対象物の輪郭により囲まれる領域を分割するメッシュを、配置した情報を前記計算機の記憶装置に記憶し、
第２画像に、前記メッシュの複製を配置し、前記メッシュの頂点の位置を調節して前記計算機のメモリに記憶し、
前記第２画像に配置された前記メッシュの複製の辺により囲まれる前記第２画像の部分画像を、前記第１画像に配置されたメッシュの対応する辺により囲まれる形状に変換して前記形状の位置に配置する計算を前記計算機のＣＰＵにより行う
ことを前記計算機に実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像変換装置およびプログラムなどに関する。特に、本発明は衣類を着用した場合の画像を生成する画像変換装置およびプログラムなどに関する。
【背景技術】
【０００２】
人（被写体）の画像に、衣類の画像を重ね合わせ、人がその衣類を着用した後の画像を合成する技術が知られている。例えば、特許文献１においては、被写体の動作に応じて着用状態を変化させる技術が開示されている。また、特許文献２および３においては、衣類の型紙の情報から衣類の形状の変化をシミュレートする技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１０１５２６号公報
【特許文献２】特開２００２−２７５７２１号公報
【特許文献３】国際公開第２００８／０１６０２７号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１においては、被写体の骨格を検出し、骨格の変化に応じて衣類の画像を変化させている。しかしながら、衣類は被写体の人の体形によって変形し、人が異なると体型も異なる。このため、人の体形を測定して入力する必要があり、この点についての開示が特許文献１にはされていない。特許文献２および３においては、衣類の型紙の情報を入手する必要があるが、市販の衣類の型紙の情報を入手することは困難である。
【０００５】
そこで、以下では、人の画像と衣類の画像とから従来よりも簡便な処理により、利用者が衣類を着用した画像を生成する技術についての開示を主に行う。
【課題を解決するための手段】
【０００６】
本発明の一実施形態として、記憶部と、調節部と、変換部とを有する画像変換装置を提供する。記憶部は、対象物を撮影した第１画像に、その撮影された対象物の輪郭により囲まれる領域を分割するメッシュを、配置した情報を記憶する。調節部は、第２画像に、前記のメッシュの複製を配置し、配置された前記のメッシュの頂点の第２画像における位置を調節する。変換部は、第２画像情報に配置され位置が調節された前記のメッシュの複製の辺により囲まれる第２画像の部分画像を、第１画像に配置されたメッシュの対応する辺により囲まれる形状に変換してその位置に配置する。
【０００７】
本発明の一実施形態として、対象物を撮影した第１画像に、撮影された対象物の輪郭により囲まれる領域を分割するメッシュを配置した情報を計算機の記憶装置に記憶し、第２画像に、前記のメッシュの複製を配置し、前記のメッシュの頂点の第２画像における位置を調節して計算機のメモリに記憶し、第２画像に配置された前記のメッシュの複製の辺に囲まれる第２画像の部分画像を、第１画像に配置されたメッシュの対応する辺により囲まれる形状に変換し、その位置に配置する計算を計算機のＣＰＵにより行うことを計算機に実行させるためのプログラムを提供する。
【発明の効果】
【０００８】
本発明によれば、人の画像と衣類の画像とから衣類を着用した画像を生成することができる。また、伸縮および屈曲が可能な素材により物体の全体または一部を覆った画像を生成することもできる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る画像変換装置の機能ブロック図。
【図２】本発明の一実施形態に係る画像変換装置に入力された第１画像を表示するための画面の一例図。
【図３】本発明の一実施形態に係る画像変換装置に入力された第１画像に配置するメッシュを選択するための画面の一例図。
【図４】第１画像に、選択されたメッシュを配置した画像を表示する一例図。
【図５】メッシュの頂点と辺とに関する情報を記憶するデータ構造の一例図。
【図６】本発明の一実施形態に係る画像変換装置により表示される、第２画像を選択するための画面の一例図。
【図７】第２画像に、選択されたメッシュを配置した一例図。
【図８】第２画像に配置されたメッシュの頂点の位置を調節した後の一例図。
【図９】頂点の位置を調節したメッシュの頂点に関する情報を記憶するデータ構造の一例図。
【図１０】第２画像に配置されたメッシュの辺に囲まれる部分画像を第１画像に配置されたメッシュの対応する辺により囲まれる形状に変換することを説明するための図。
【図１１】本発明の一実施形態に係る画像変換装置およびプログラムにより得られる画像の一例図。
【図１２】本発明の一実施形態に係る画像変換装置およびプログラムによる処理のフローチャート。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について説明する。なお、本発明は以下の説明に限定されることはなく、本発明の要旨を逸脱しない限り、種々に変形を行って実施することができる。
【００１１】
図１は、本発明の一実施形態に係る画像変換装置の機能ブロック図を示す。画像変換装置１００は、記憶部１０１と、調節部１０２と、変換部１０３とを有する。
【００１２】
記憶部１０１は、第１画像にメッシュを配置した情報を記憶する。ここに、第１画像は、対象物を撮影した画像である。対象物は、例えば人や人形（マネキンなど）の衣類を着用するものとすることができる。第１画像はカメラなどにより対象物を撮影して得られる画像である。第１画像は、１枚であってもよいし、対象物を多方向から撮影した複数の画像であってもよい。
【００１３】
また、メッシュとは、複数の頂点と複数の辺との集合である。辺は、複数の頂点の中の２頂点を接続する。辺は、２頂点を線分により接続するということもできる。複数の頂点と複数の辺との集合であることから、メッシュはグラフ構造である。なお、メッシュは、グラフ構造のうち、平面に頂点と辺とを配置した場合、辺が交差しないものであるのが好ましい。このとき、メッシュにより覆われる領域（メッシュの頂点が配置される領域）がメッシュの辺により複数の領域に分割される。また、複数の領域のそれぞれの形状は、辺が線分であれば多角形となる。好ましくは、これらの複数の領域の形状は、いずれも三角形になるのが好ましい。また、特に、複数の領域の形状のいずれもが三角形となっているときに、任意の三角形の外接円の内部にメッシュの頂点が含まれないようになっていることが好ましい。言い換えると、複数の領域の形状のいずれもがドロネーの三角形になっているのが好ましい。この理由の一つは、ドロネーの三角形については、種々の性質が知られており、これらの性質により、様々な処理を行うことができるからである。
【００１４】
第１画像にメッシュを配置するとは、第１画像の内に、メッシュの頂点と辺とを配置することである。第１画像にメッシュを配置するときには、撮影された対象物の輪郭により囲まれる領域が、メッシュの辺により分割されるようにすることができる。
【００１５】
図１は、第１記憶部に記憶するべき第１画像を、画像変換装置１００などに接続されたディスプレイ内のウィンドウ２００に表示させた一例図である。第１画像は、例えば、画像変換装置１００には、図示されないカメラが接続されており、このカメラによる撮影により、対象物２０１の画像情報が取得される。また、あらかじめ対象物２０１を撮影した画像情報を格納しているファイルを選択することにより、第１画像を指定することもできる。また、画像変換装置１００にインターネットなどの通信回線を介して接続された端末などより、画像を表わす情報をアップロードすることによっても画像変換装置１００が第１画像を取得することができる。
【００１６】
第１画像に配置するメッシュは、あらかじめ決められているものとすることができる。また、図３に示すように、複数のメッシュを表示するウィンドウ３００が表示されるなどして、複数のメッシュ３０１、３０２、…から選択することができるようになっていてもよい。
【００１７】
このようにあらかじめ決められているメッシュや選択されたメッシュを第１画像に配置した場合、メッシュの頂点を、利用者などがマウスなどを利用して、第１画像の中における位置を調節することができるようになっているのが好ましい。
【００１８】
また、利用者などが第１画像の中の複数の位置を複数の頂点として、マウスなどにより、指定し、また、辺も指定することにより、任意のメッシュを第１画像に配置することができる。また、第１画像から背景の部分と対象物の部分とに分割などすることにより、対象物の輪郭を自動的に検出し、メッシュを配置したり、あらかじめ決められているメッシュや選択されたメッシュの頂点の位置を調節したりすることもできる。
【００１９】
図４は、ウィンドウ４００内に、第１画像にメッシュ３０１を配置してえられる画像を表示する一例図である。図４においては、対象物２０１の輪郭により囲まれる領域がメッシュ３０１により分割されている。なお、対象物２０１の輪郭により囲まれる領域の全てがメッシュ３０１により分割される必要はなく、図４のように、対象物２０１である人の上半身のみがメッシュ３０１により分割されるようになっていてもよい。もちろん、対象物２０１の輪郭により囲まれる領域の全体がメッシュにより分割される場合もある。また、メッシュにより分割される領域は、対象物２０１の輪郭により囲まれる領域と正確に一致している必要はなく、図４に示すように、対象物２０１の輪郭により囲まれる領域の外部の領域の一部もメッシュにより分割されていてよい。
【００２０】
記憶部１０１は、以上のように第１画像にメッシュを配置して得られる情報を記憶する（このことを「第１画像にメッシュを配置した情報を記憶する」という場合がある）。このような画像の情報の記憶は、第１画像とメッシュの情報とを記憶することにより実現することができる。記憶部１０１は、例えば、コンピュータのメモリ、ディスク装置、ソリッドステートドライブなどの記憶装置により実現することが可能である。
【００２１】
図５は、第１画像にメッシュを配置した画像におけるメッシュの情報を格納するデータ構造を示す。図５に示す情報を記憶することにより、メッシュの情報を記憶することができる。図５（Ａ）に示すテーブルのデータ構造は、メッシュの頂点の第１画像の中の座標位置を保持するためのデータ構造である。例えば、「１」という番号の頂点の第１画像の中の座標位置は、（Ｖ１、Ｗ１）として保持されている。
【００２２】
図５（Ｂ）に示すテーブルのデータ構造は、メッシュにより分割される第１画像の領域の情報を保持するためのデータ構造である。図５（Ｂ）においては、第１画像の領域は、三角形により表現されている。例えば、「１」という番号の領域は、メッシュの頂点「Ｚ１」、「Ｚ２」および「Ｚ３」を結ぶ辺により囲まれていることが示される。
【００２３】
調節部１０２は、第２画像に、第１画像に配置されたメッシュの複製を配置し、そのメッシュの複製の頂点の位置を調節するための部である。ここに、頂点の位置は、第２画像における位置となる。
【００２４】
第２画像とは、第１画像に写っている対象物２０１に重ねる画像である。対象物２０１が人である場合には、人が着用する衣類、靴、手袋や人を装飾するアクセサリなどである。好ましくは、第２画像は、対象物２０１の表面の一部または全てを覆う物の画像である。
【００２５】
第２画像は、画像変換装置１００の利用者がカメラなどにより撮影してもよいし、ドローイングソフトウェアなどを用いて作図をして得られる画像であってもよい。また、第２画像が衣類などの画像である場合には、インターネットショップなどにおいて商品画像として閲覧することができる商品の画像から選択されるものであってもよい。
【００２６】
図６は、複数の衣類の画像が表示され、画像を選択することにより、第２画像とするためのウィンドウ６００の一例図である。衣類６０１、６０２、６０３の画像が表示され、また、必要に応じて、スクロールバー６０４を用いて別の衣類の画像が表示される。画像変換装置１００の利用者は、例えばマウスなどを用いることにより、第２画像とする衣類の画像を選択することができる。
【００２７】
第２画像が選択などにより決定されると、調節部１０２は、第２画像に、第１画像に配置されたメッシュの複製を配置する。メッシュＡの複製Ｂとは、メッシュＡと同型のメッシュを意味する。すなわち、Ｂは、メッシュＡの頂点および辺それぞれと１対１に対応する頂点および辺を有し、メッシュＡの２つの頂点を接続する辺に対応するＢの辺は、Ａのその２つの頂点に対応するＢの２つの頂点を接続する。メッシュの複製は、例えば、図５（Ａ）に示すデータ構造の複製を画像変換装置１００内において生成することにより実行できる。
【００２８】
したがって、調節部１０２は、第２画像の情報をメモリなどに読み込み、また、図５（Ａ）に示されるデータ構造を読み込み、メモリなどに複製を生成し、利用者に表示することができる。
【００２９】
図７は、第２画像に、第１画像に配置されたメッシュの複製を、配置して得られる画像をウィンドウ７００に表示する一例である。すなわち、第２画像が、衣類６０２である場合、衣類６０２の画像に、対象物２０１の輪郭により囲まれる領域を分割するメッシュ３０１の複製を表示している。図７においては、例えば、衣類６０２の袖の先端を含む部分がメッシュ３０１により覆われていない。また、衣類６０２の上の背景部分がメッシュ３０１により覆われている。
【００３０】
そこで、調節部１０２は、メッシュの複製の頂点の位置を調節することができる。メッシュの複製の輪郭と第２画像に写っているものとの輪郭を一致させることができる。なお、厳密に一致させる必要はない。
【００３１】
調節部１０２は、メッシュの複製の輪郭部の頂点列をベジエ曲線上に配置がされるようにしてもよい。例えば、衣類の場合には、輪郭は滑らかな曲線となっている場合が多い。そこで、メッシュの複製の輪郭部の頂点列をベジエ曲線上に配置するようにすることにより、輪郭の全ての頂点の位置を調節せずに一部の頂点の位置を調節することにより、メッシュの複製の輪郭部の形状が、衣類の輪郭に沿ったものとすることができ、利用者の手間を少なくすることができる。
【００３２】
図８は、メッシュ３０１の複製の頂点の位置を調節した後のメッシュ８０１を第２画像に配置してウィンドウ７００に表示する一例である。図８においては、衣類６０２が、メッシュ８０１により覆われているように表示がされている。ただし、必ずしも第２画像に表示されている物を覆うようにメッシュの複製が調節される必要はない。
【００３３】
図９は、メッシュ３０１の複製を調節した後のメッシュ８０１の頂点の位置を格納するテーブルのデータ構造の一例である。例えば、「１」という番号の頂点は、第２画像では、（Ｖ１’、Ｗ１’）という第２画像における位置となることが示されている。
【００３４】
変換部１０３は、第２画像に配置されたメッシュの複製の辺に囲まれる第２画像の部分画像を、第１画像に配置されたメッシュの対応する辺により囲まれる形状に変換し、その形状の位置に配置する。これにより、第２画像に写っている物の画像を変形などした画像を第１画像の対象物の上に配置した画像を得ることができる。
【００３５】
図１０は、変換部１０３が行う変換および配置について説明する図である。頂点１００５、１００６、１００７は、第２画像の中に配置され、調整されたメッシュの複製の頂点である。調節部１０２により位置が調節された後の座標位置が、それぞれ（Ｖ’ｎ、Ｗ’ｎ）、（Ｖ’ｎ＋１、Ｗ’ｎ＋１）、（Ｖ’ｎ＋２、Ｗ’ｎ＋２）となっている。頂点１００５および１００６、１００６および１００７ならびに１００７および１００５それぞれを結ぶ辺により囲まれている領域１００８は、第２画像の部分画像となる。
【００３６】
また、頂点１００１、１００２、１００３は、第１画像に配置されたメッシュの頂点である。座標位置は、それぞれ（Ｖｎ、Ｗｎ）、（Ｖｎ＋１、Ｗｎ＋１）、（Ｖｎ＋２、Ｗｎ＋２）である。また、頂点１００５、１００６および１００７のそれぞれが、メッシュを複製した場合における頂点１００１、１００２および１００３それぞれに対応する場合、頂点１００５、１００６および１００７のそれぞれの頂点の番号は、頂点１００１、１００２および１００３それぞれの頂点の番号と同じとすることができる。したがって、例えば図５（Ｂ）のテーブルのデータ構造を参照すれば、領域１００８と領域１００４とには同じ領域の番号が付されていることがわかり、領域１００８と領域１００４とは対応していることがわかる。
【００３７】
本発明の一実施形態においては、変換部１０３は、領域１００８内の点を領域１００４の点に移す写像を生成し、領域１００８内の第２画像の部分領域を第１画像の領域１００４内に変換する。その写像は、例えば次のような平行移動と行列演算とにより表わすことができる。領域１００８を領域１００４に移動させる平行移動により、領域１００８内の点を平行移動させる。次に、平行移動後の領域１００８について、頂点１００７および１００５を接続する線分を頂点１００３および１００１を接続する線分と一致するように回転させ拡大縮小を行うとともに、頂点１００５および１００６を接続する線分を頂点１００１および１００２を接続する線分と一致するように回転させ拡大縮小を行う行列演算により、平行移動後の領域１００８内の各点を領域１００４内に移動させる。
【００３８】
なお、ここでは、領域が三角形の場合について説明したが、多角形の場合においても、多角形を三角形に分割することにより、同様に写像を生成し、変換を行うことができる。
【００３９】
具体的に変換部１０３は、メッシュ８０１の辺により分割される第２画像の部分画像それぞれについて、上記の写像を生成し、第２画像の部分画像それぞれの中のピクセルの情報を第１画像に配置されたメッシュ３０１により覆われる領域内に移動し、第１画像またはその複製情報を書き換える処理を行う。
【００４０】
このような処理により、図１１に示すように、対象物２０１である人または人形の上半身（符号２０１−１の首から上の部分、右手２０１−３、左手２０１−３および下半身２０１−２を除く部分）に、衣服６０２を着用させ、着用により伸縮、屈曲が生じ変形されたのと同じまたは似ている衣服１１０１の画像を重ねた映像が得られる。
【００４１】
図１２は、画像変換装置１００による処理のフローチャートの一例である。ステップＳ１２０１において、第１記憶部１０１に、第１画像にメッシュを配置した情報を記憶させる。具体的には、第１画像を表わす情報とメッシュを表わす情報とを、コンピュータのＣＰＵによりプログラムを実行させることにより、取得・生成し、取得・生成された情報をコンピュータの記憶装置に記憶する。
【００４２】
次に調節部１０２により、ステップＳ１２０２の処理として、第２画像にメッシュの複製を配置し、ステップＳ１２０３の処理として、メッシュの複製を調節する。具体的には、コンピュータのＣＰＵによりプログラムを実行させることにより、第２画像を表わす情報を取得し、ステップＳ１２０１により記憶されたメッシュの情報の複製を作り、メッシュの情報の複製における頂点の位置を調節し、第２画像の情報と調節後のメッシュの複製を表わす情報とをコンピュータの記憶装置に記憶する。
【００４３】
次に、変換部１０３により、ステップＳ１２０４の処理として、第２画像の各メッシュの辺で囲まれる部分画像を第１画像のメッシュで囲まれる対応する部分の形状に変換して記憶する。具体的には、メッシュの複製の辺により囲まれる領域それぞれについて、上述の変換を表わす情報をコンピュータのＣＰＵによりプログラムを実行させて生成し、第２画像の情報の中のピクセルの情報を第１画像または複製情報に移動させ、第２画像を変換して第１画像に重ねた情報を生成する。
【００４４】
上述の説明において、第２画像が選択される都度、メッシュの複製を生成し、メッシュの複製を調節するとして説明したが、第１画像が入力される前に、第１画像に配置されるべきメッシュの複製を予め生成しておき、第２画像それぞれに対してメッシュの調節を行っておき、第２画像と関連付けて記憶させておくこともできる。このようにすることにより、利用者が自分の画像を画像変換装置に第１画像として入力し、メッシュを配置させ第１記憶部１０１に記憶させ、利用者が第２画像を選択する都度、変換部１０３が、第２画像を第１画像に重ねた情報を生成するようにしてもよい。これにより、利用者は、一回の自分の姿の撮影により、複数の衣類を試着した画像を得ることができる。
【００４５】
また、図４において、第１画像に一つのメッシュが配置されているが、複数のメッシュを配置することもできる。例えば、上半身にメッシュを配置し、下半身に別のメッシュを配置することができる。これにより、上半身に着用する衣服と下半身に着用する衣服とをそれぞれ選択し、組み合わせて着用した場合の画像を得ることができる。また、重ね着などおこなった画像も得ることができる。
【００４６】
衣服の着用について主に説明を行ったが、本発明は、伸縮および屈曲が可能な物により、別の物を覆った画像を生成することにも適用が可能である。例えば、カーテンにより窓を覆う場合にも適用が可能である。
【符号の説明】
【００４７】
１００  画像変換装置、１０１  記憶部、１０２  調節部、１０３  変換部
【図１】
2015176316.tif 000003
【図２】
2015176316.tif 000004
【図３】
2015176316.tif 000005
【図４】
2015176316.tif 000006
【図５】
2015176316.tif 000007
【図６】
2015176316.tif 000008
【図７】
2015176316.tif 000009
【図８】
2015176316.tif 000010
【図９】
2015176316.tif 000011
【図１０】
2015176316.tif 000012
【図１１】
2015176316.tif 000013
【図１２】
2015176316.tif 000014