(57)【要約】【課題】撮影対象物の2次元像をリアルタイムに取得する画像技術において、撮影対象物を実際に変更（変形または新たな対象物を追加）することなく、変更後の2次元画像を合成し、その2次元画像は解像度を損なうことなく、かつリアルタイムに取得できる画像処理装置及び画像処理方法を提供する。【解決手段】のモデルＭの3次元情報を線形結合することで、短時間で対象物ＯＢの3次元情報を再現することができるから、線形結合結果に基づき得られた線形結合係数と、選択された2種類以上のモデルの3次元情報と関連付けられた2種類以上の2次元情報とを用いて2次元画像を合成することで、リアルタイムでも高精細な２次元画像を表示できる。【選択図】図５
2014002515.tif 000002
【特許請求の範囲】
【請求項１】
標本対象物の標本3次元情報と前記標本3次元情報と関連づけられた標本2次元情報とを一組とした複数の標本情報群を格納したデータベースと、
対象物の３次元情報を取得する３次元情報取得手段と、
対象物の２次元画像データを取得する２次元情報取得手段と、
3次元情報および2次元情報を合成する計算手段とを含み、
前記3次元情報取得手段による対象物の3次元情報取得を行い、
前記計算手段により、前記対象物の3次元情報と形状が近い前記標本3次元情報を前記データベースから2種類以上選択し、選択された2種類以上の標本3次元情報を線形結合することにより前記対象物の3次元情報を再現し、
また、前記計算手段により、前記実施された線形結合結果に基づき得られた線形結合係数と、前記選択された2種類以上の標本3次元情報と関連付けられた2種類以上の標本2次元情報と、を用いて2次元画像を合成することを特徴とする画像処理装置。
【請求項２】
前記複数の標本情報群と、前記標本対象物とは別の第二の標本対象物の第二の標本3次元情報と関連づけられた第二の標本2次元情報とを一組とした第二の複数の標本情報群と、を合成することにより得られた第三の複数の標本情報群を格納した第二のデータベースと
対象物の３次元情報を取得する３次元情報取得手段と、
対象物の２次元画像データを取得する２次元情報取得手段と、
3次元情報および2次元情報を合成する計算手段を含み、
前記計算手段により、前記3次元情報取得手段による対象物の3次元情報取得を行い、
また、前記計算手段により、前記対象物の3次元情報と形状が近い前記標本3次元情報を前記第二のデータベースから2種類以上選択し、選択された2種類以上の標本3次元情報を線形結合することにより前記対象物の3次元情報を再現し、
前記実施された線形結合結果に基づき得られた線形結合係数と、前記選択された2種類以上の標本3次元情報と関連付けられた2種類以上の標本2次元情報と、を用いて2次元画像を合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記対象物の情報取得を行う前に、前記3次元情報取得手段および前記2次元情報取得手段により前記対象物の基本形状情報を取得し、前記標本情報群の基本形状を前記対象物の基本形状情報に置き換え、新たな置換標本情報群を格納した第三のデータベースと、
対象物の３次元情報を取得する３次元情報取得手段と、
対象物の２次元画像データを取得する２次元情報取得手段と、
3次元情報および2次元情報を合成する計算手段を含み、
前記3次元情報取得手段による対象物の3次元情報取得を行い、
前記計算手段により、前記対象物の3次元情報と形状が近い前記標本3次元情報を前記第三のデータベースから2種類以上選択し、選択された2種類以上の標本3次元情報を線形結合することにより前記対象物の3次元情報を再現し、
また、前記計算手段により、前記実施された線形結合結果に基づき得られた線形結合係数と、前記選択された2種類以上の標本3次元情報と関連付けられた2種類以上の標本2次元情報と、を用いて2次元画像を合成することを特徴とする請求項1または２に記載の画像処理装置。
【請求項４】
標本対象物の標本3次元情報と前記標本3次元情報と関連づけられた標本2次元情報とを一組とした複数の標本情報群をデータベースに格納するステップと、
対象物の3次元情報取得を行うステップと、
前記対象物の3次元情報と形状が近い前記標本3次元情報を前記データベースから2種類以上選択し、選択された2種類以上の標本3次元情報を線形結合することにより前記対象物の3次元情報を再現するステップと、
前記実施された線形結合結果に基づき得られた線形結合係数と、前記選択された2種類以上の標本3次元情報と関連付けられた2種類以上の標本2次元情報と、を用いて2次元画像を合成するステップとを有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特に、対象物の２次元画像を合成することができる画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
近年、パソコンや携帯端末等の高性能化に伴い、静止画像を合成することが広く行われている又、ＣＭなどでは、実際の映像にＣＧなどを合成することも行われている。しかるに、現在撮影している対象物を背景から切り出してリアルタイムで合成することは現在の技術をもってしても難しく、リアルタイム表示が必要な場合には、例えばクロマキー処理にて対象物の一部を切り出して、他の画像と合成することが行われている。
【０００３】
これに対し特許文献１には、入力された2次元画像および取得された3次元情報から、新たな3次元情報を作成（または変形）して、その3次元画像から作成される2次元画像と、元の入力された2次元画像とを自然な状態で合成するシステムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１５２１６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、ポリゴンモデルにテクスチャーデータをマッピングする、または、ボクセルモデルに対応する色情報を持たせることで、3次元の情報を生成し、その中の1面を切り取ることで、2次元情報を生成している。しかしながら、この方法では、2次元情報と比較して膨大なデータ量の3次元情報を作成することから、リアルタイムで高精細な画像を表示することは困難となる。一方で、リアルタイム表示のため、データを間引くと解像度の低い画像しか得られない。
【０００６】
本発明は、上述の問題に鑑みてなされたものであり、撮影対象物の2次元像をリアルタイムに取得する画像技術において、撮影対象物を実際に変更（変形または新たな対象物を追加）することなく、変更後の2次元画像を合成し、その2次元画像は解像度を損なうことなく、かつリアルタイムに取得できる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の画像処理装置は、
標本対象物の標本3次元情報と前記標本3次元情報と関連づけられた標本2次元情報とを一組とした複数の標本情報群を格納したデータベースと、
対象物の３次元情報を取得する３次元情報取得手段と、
対象物の２次元画像データを取得する２次元情報取得手段と、
3次元情報および2次元情報を合成する計算手段とを含み、
前記3次元情報取得手段による対象物の3次元情報取得を行い、
前記計算手段により、前記対象物の3次元情報と形状が近い前記標本3次元情報を前記データベースから2種類以上選択し、選択された2種類以上の標本3次元情報を線形結合することにより前記対象物の3次元情報を再現し、
また、前記計算手段により、前記実施された線形結合結果に基づき得られた線形結合係数と、前記選択された2種類以上の標本3次元情報と関連付けられた2種類以上の標本2次元情報と、を用いて2次元画像を合成することを特徴とする。
【０００８】
本発明によれば、予めデータベースに、標本対象物の標本3次元情報と前記標本3次元情報と関連づけられた標本2次元情報とを一組とした複数の標本情報群を格納しておき、前記3次元情報取得手段による対象物の3次元情報取得を行ったときに、前記計算手段により、前記対象物の3次元情報と形状が近い前記標本3次元情報を前記データベースから2種類以上選択し、選択された2種類以上の標本3次元情報を線形結合することにより前記対象物の3次元情報を再現するので、既知の標本3次元情報を線形結合することで、短時間で前記対象物の3次元情報を再現することができる。よって、前記計算手段により、前記実施された線形結合結果に基づき得られた線形結合係数と、前記選択された2種類以上の標本3次元情報と関連付けられた2種類以上の標本2次元情報と、を用いて2次元画像を合成することで、リアルタイムでも高精細な２次元画像を表示できるのである。
【０００９】
請求項２に記載の画像処理装置は、請求項１に記載の発明において、
前記複数の標本情報群と、前記標本対象物とは別の第二の標本対象物の第二の標本3次元情報と関連づけられた第二の標本2次元情報とを一組とした第二の複数の標本情報群と、を合成することにより得られた第三の複数の標本情報群を格納した第二のデータベースと
対象物の３次元情報を取得する３次元情報取得手段と、
対象物の２次元画像データを取得する２次元情報取得手段と、
3次元情報および2次元情報を合成する計算手段を含み、
前記計算手段により、前記3次元情報取得手段による対象物の3次元情報取得を行い、
また、前記計算手段により、前記対象物の3次元情報と形状が近い前記標本3次元情報を前記第二のデータベースから2種類以上選択し、選択された2種類以上の標本3次元情報を線形結合することにより前記対象物の3次元情報を再現し、
前記実施された線形結合結果に基づき得られた線形結合係数と、前記選択された2種類以上の標本3次元情報と関連付けられた2種類以上の標本2次元情報と、を用いて2次元画像を合成することを特徴とする。
【００１０】
例えば請求項１の発明では、例えば標本対象物としてモデルを、対象物としての消費者に置換することができる。消費者がモニタの前で任意にポーズを変えることで、同じようにポーズを変えたモデルの画像がリアルタイムで表示されることとなる。一方、請求項２の発明では、同様に第二の標本対象物として複数種類の服を予め撮影してデータを格納しておくことで、モデルが着用している服を、消費者の所望する服に置換することができる。このようにすることで、消費者と、試着しようとしている服とを合成した２次元画像を取得して、リアルタイムで表示することが可能になる。
【００１１】
請求項３に記載の画像処理装置は、請求項１又は２に記載の発明において、
前記対象物の情報取得を行う前に、前記3次元情報取得手段および前記2次元情報取得手段により前記対象物の基本形状情報を取得し、前記標本情報群の基本形状を前記対象物の基本形状情報に置き換え、新たな置換標本情報群を格納した第三のデータベースと、
対象物の３次元情報を取得する３次元情報取得手段と、
対象物の２次元画像データを取得する２次元情報取得手段と、
3次元情報および2次元情報を合成する計算手段を含み、
前記3次元情報取得手段による対象物の3次元情報取得を行い、
前記計算手段により、前記対象物の3次元情報と形状が近い前記標本3次元情報を前記第三のデータベースから2種類以上選択し、選択された2種類以上の標本3次元情報を線形結合することにより前記対象物の3次元情報を再現し、
また、前記計算手段により、前記実施された線形結合結果に基づき得られた線形結合係数と、前記選択された2種類以上の標本3次元情報と関連付けられた2種類以上の標本2次元情報と、を用いて2次元画像を合成することを特徴とする。
【００１２】
請求項３の発明では、例えば消費者をプレ撮影することで、体型や顔の情報を取得してデータベースを修正し、新たなデータベースを作成するものである。これにより合成された２次元画像が、より消費者に近い特徴を有するものである。
【００１３】
請求項４に記載の画像処理方法は、
標本対象物の標本3次元情報と前記標本3次元情報と関連づけられた標本2次元情報とを一組とした複数の標本情報群をデータベースに格納するステップと、
対象物の3次元情報取得を行うステップと、
前記対象物の3次元情報と形状が近い前記標本3次元情報を前記データベースから2種類以上選択し、選択された2種類以上の標本3次元情報を線形結合することにより前記対象物の3次元情報を再現するステップと、
前記実施された線形結合結果に基づき得られた線形結合係数と、前記選択された2種類以上の標本3次元情報と関連付けられた2種類以上の標本2次元情報と、を用いて2次元画像を合成するステップとを有することを特徴とする。
【００１４】
本発明によれば、予めデータベースに、標本対象物の標本3次元情報と前記標本3次元情報と関連づけられた標本2次元情報とを一組とした複数の標本情報群を格納しておき、その後、対象物の3次元情報取得を行ったときに、前記対象物の3次元情報と形状が近い前記標本3次元情報を前記データベースから2種類以上選択し、選択された2種類以上の標本3次元情報を線形結合することにより前記対象物の3次元情報を再現するので、既知の標本3次元情報を線形結合することで、短時間で前記対象物の3次元情報を再現することができる。よって、前記実施された線形結合結果に基づき得られた線形結合係数と、前記選択された2種類以上の標本3次元情報と関連付けられた2種類以上の標本2次元情報と、を用いて2次元画像を合成することで、リアルタイムでも高精細な２次元画像を表示できるのである。
【発明の効果】
【００１５】
本発明によれば、撮影対象物の2次元像をリアルタイムに取得する画像技術において、撮影対象物を実際に変更（変形または新たな対象物を追加）することなく、変更後の2次元画像を合成し、その2次元画像は解像度を損なうことなく、かつリアルタイムに取得できる画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】画像処理装置１０の構成を示すブロック図である。
【図２】画像処理装置１０による画像処理方法を示すフローチャート図である。
【図３】第１の画像処理方法を説明するための図である。
【図４】第２の画像処理方法を説明するための図である。
【図５】第２の画像処理方法を説明するための図である。
【図６】変形例にかかる画像処理装置１０’の構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態にかかる画像処理装置について説明する。図１を参照して、本発明の実施の形態に係る画像処理装置１０の構成を説明する。例えばＰＣからなる画像処理装置１０は、不図示のサーバー等内に構築されるデータベース１１と、３次元情報を取得する３次元情報取得手段１３と、２次元画像データを取得する２次元情報取得手段１４と、同期手段１５と、３次元骨格データ選択手段１６と，３次元骨格データ生成手段１７と、２次元画像生成手段１８と、２次元画像表示手段１９と、正規化手段２０と、リスケール手段２１とを有している。３次元情報取得手段１３と、２次元情報取得手段１４と、同期手段１５とで情報入力手段を構成する。３次元骨格データ生成手段１７と、２次元画像生成手段１８とで計算手段を構成する。図６は、変形例にかかる画像処理装置１０’の構成を示す図であり、図１の画像処理装置１０に対してメモリ１２を更に有している点が異なる。
【００１８】
図２は、本発明の実施の形態に係る画像処理装置１０による画像処理方法を示すフローチャート図である。図３は、画像処理方法を説明するための図である。ここでは、モデルや対象者のデータを取得するのに、３次元情報取得手段１３としてステレオカメラを用いているが、３次元スキャナ等であっても良い。
【００１９】
図２のステップＳ１０１において、前処理として、図３（ａ）に示すように、標本対象物としての複数のモデル（人）Ｍに色々な定型アクション（ポーズ）をしてもらい、これをステレオカメラで撮影して画像処理装置内で、３次元座標データである３次元骨格データ（標本３次元情報）を取得し、正規化手段２０が、得られた3次元骨格データを正規化し、それに対応する２次元画像データ（標本２次元情報）を２次元情報取得手段１４により取得し、同期手段１５により対応づけた状態で、データベース１１内に格納する。尚、２次元画像データは、３次元座標データを２次元に変換することで得られる。正規化とは、取得された3次元骨格データの各ポイント間の距離を基準の3次元骨格データの対応するポイント間の距離に合わせる処理のことを指す。基準の3次元骨格データの決め方に関しては、特に制限はないが、平均的な形状を有したモデル自体を基準とすることが好ましい。
【００２０】
次いで、ステップＳ１０２において、図３（ｂ）に示すように、対象物としての対象者ＯＢを、複数のポーズでプレ撮影して、２次元情報取得手段１４が２次元画像データを取得し、胴幅、胸幅、腕幅などの予め設定したパラメータのサイズ情報を取得する。次いで、前記サイズ情報と、データベース１１に格納された前記パラメータのサイズとのスケール比を、リスケール手段２１に記憶する。または、図６に示す変形例では、リスケール手段２１により、前記スケール比をデータベース１１に格納された２次元画像データにかけてリスケールすることにより得られた２次元画像とそれに対応する３次元骨格データを、メモリ１２に記憶することもできる。以上で、前処理が完了する。
【００２１】
更に、ステップＳ１０３において、図３（ｃ）に示すように、実際に対象者ＯＢを撮影する。更にステップＳ１０４において、３次元骨格データ選択手段１６は、データベース１１にアクセスして、撮影により得られた対象者ＯＢの３次元骨格データに最も近い３次元骨格データ（Ａ）と、２番目に近い３次元骨格データ（Ｂ）とを決定する。
【００２２】
ステップＳ１０５で、３次元骨格データ生成手段１７は、決定した３次元骨格データのベクトル和によりアクションフレームを作成する。具体的には、対象者ＯＢの実際の骨格（3次元）データのフレームショットXに近いデータベース内の３次元骨格データをA、Bとすると、X=mA＋nBで表すことができる（線形結合を行う）。ステップＳ１０６で、２次元画像生成手段１８は、骨格（3次元）データのそれぞれX,A,Bに対応する2次元画像x,a,bとすると、リスケール手段２１（又は図６のメモリ１２）からのスケール比に基づいて、２次元画像を拡大又は縮小（リスケーリングという）した上で、上記の係数（線形結合係数）m,nを用いてx=ma+nbと表すことで、２次元画像の合成を行う。撮影が連続する場合には、このようにして2次元画像を逐次作っていく。
【００２３】
更にステップＳ１０７で、モニタとしての２次元画像表示手段１９が、合成された２次元画像を表示する。ステップＳ１０８で、処理が終了でない場合、再びステップＳ１０３に戻って、対象者ＯＢを撮影して、同様に２次元画像の合成を行うことができる。
【００２４】
本発明によれば、既知のモデルＭの3次元情報を線形結合することで、短時間で対象物ＯＢの3次元情報を再現することができるから、線形結合結果に基づき得られた線形結合係数と、選択された2種類以上のモデルの3次元情報と関連付けられた2種類以上の2次元情報とを用いて2次元画像を迅速に合成することで、リアルタイムでも高精細な２次元画像を表示できるのである。
【００２５】
次に、第２の実施の形態について述べる。上述した第１の実施の形態では、対象者ＯＢに合成される洋服は、モデルＭが着用していたものである。第２の実施の形態では、対象者ＯＢが選択した洋服を、２次元画像に合成できる。
【００２６】
図４，５は、第２の実施の形態にかかる画像処理方法を説明するための図である。ここでは、図１の画像処理装置１０を用いる。まず前処理として、図４に示すように、第二の標本対象物としての複数の洋服Ｃをマネキンに着用させ種々の角度から撮影して、３次元座標データである３次元骨格データ（第二の３次元情報）を取得し、それに対応する２次元画像データ（第二の２次元情報）を２次元情報取得手段１４により取得し、同期手段１５により対応づける。これを、第二の標本情報群とする。そして、データベース１１内に格納されたモデルの３次元骨格データ及び２次元画像データと、洋服Ｃの３次元骨格データ及び２次元画像データとをセット（第三の標本情報群）にして、第二のデータベース１１’に格納する。
【００２７】
ここで、対象者ＯＢが所望の洋服を選択したものとする。対象者ＯＢを撮影することで、３次元骨格データ選択手段１６は、第二のデータベース１１’にアクセスして、選択された服とそれに関連付けられた３次元骨格データに最も近い３次元骨格データと、２番目に近い３次元骨格データとを決定する。
【００２８】
３次元骨格データ生成手段１７は、上述と同様にして、決定した３次元骨格データのベクトル和によりアクションフレームを作成する。２次元画像生成手段１８は、作成された対象者ＯＢのアクションフレームとアクションフレームとに基づいて２次元画像の合成を行う。これにより、図５に示すように、例えばモニタとしての２次元画像表示手段１９の脇に表示された洋服の選択肢（Ｃ）の中から、対象者ＯＢが選択した洋服を、対象者ＯＢが仮想的に着用した２次元画像が得られる。従って、仮想的に試着した洋服で種々のポーズをとる対象者ＯＢの２次元画像を、リアルタイムで表示することができるのである。対象者ＯＢが洋服を選択し直す毎に、表示された対象者ＯＢが着用する洋服は新たなものに変換される。
【００２９】
次に、第３の実施の形態について述べる。ここでは、図６の画像処理装置１０’を用いて説明する。
対象物としての対象者ＯＢを、複数のポーズでプレ撮影して、２次元情報取得手段１４が２次元画像データを取得し、胴幅、胸幅、腕幅などの予め設定したパラメータのサイズ情報を取得する。次いで、前記サイズ情報と、データベース１１‘に格納された前記パラメータのサイズとのスケール比を、リスケール手段２１により、データベース１１に格納された２次元画像データにかけてリスケールすることにより得られた２次元画像とそれに対応する３次元骨格データを、メモリ１２に記憶し、データベース１１‘に格納された第三の標本情報群をリスケーリングすることもできる。リスケーリングされメモリ１２に格納された標本情報群を使用すること以外は上述した実施の形態と同様である。
【００３０】
次に、第４の実施の形態について述べる。上述した第１から第３の実施の形態では、対象者ＯＢの顔は、モデルＭの特徴に置き換えられる。これに対し第４の実施の形態では、対象者ＯＢの特徴を、２次元画像に合成できる。
【００３１】
画像処理装置１０又は１０’を用いて、対象物としての対象者ＯＢのポーズ撮影し、３次元座標データである３次元骨格データ（第三の３次元情報）を取得し、それに対応する２次元画像データ（第三の２次元情報）を２次元情報取得手段１４により取得し、同期手段１５により対応づける。そして、データベース１１またはデータベース１１‘を用いて画像処理された画像データの首から上の顔部分のみを第三の2次元情報における首から上の顔部分に置き換えて表示する。それ以外は上述した実施の形態と同様である。
【符号の説明】
【００３２】
１０ 画像処理装置
１１ データベース
１１’ 第二のデータベース
１２ メモリ
１３ ３次元情報取得手段
１４ ２次元情報取得手段
１５ 同期手段
１６ ３次元骨格データ選択手段
１７ ３次元骨格データ生成手段
１８ ２次元画像生成手段
１９ ２次元画像表示手段
【図１】
2014002515.tif 000003
【図２】
2014002515.tif 000004
【図４】
2014002515.tif 000005
【図６】
2014002515.tif 000006
【図３】
2014002515.tif 000007
【図５】
2014002515.tif 000008