(57)【要約】【課題】入力画像に対する装飾あるいは変形などの画像処理が効率良く正確に実行でき、リアルタイムで入力画像に対して画像処理を行うことが可能な画像処理装置を提供する。【解決手段】予め設定された３次元のモデル画像を持ち、前記モデル画像と第１の動き・モデルパラメータに基づいて３次元画像を描画する３Ｄモデル描画部１１と、静止画像または動画像の入力画像が入力される画像入力部１２と、前記３次元画像上と前記入力画像上とにおいて、互いに対応する点を探索し対応点位置情報を求める対応点探索部１３と、前記対応点位置情報を用いて、前記第１の動き・モデルパラメータの値を改善し、第２の動き・モデルパラメータを求める動き・モデルパラメータ改善部１４とを備える。【選択図】    図２
2004213481.tif 000002
【特許請求の範囲】
【請求項１】
予め設定された３次元のモデル画像を持ち、前記モデル画像と第１の処理パラメータに基づいて３次元画像を描画する画像描画部と、
静止画像及び動画像のいずれかの入力画像が入力される画像入力部と、
前記画像描画部により描画された前記３次元画像上と、前記画像入力部に入力された前記入力画像上とにおいて、互いに対応する点を探索し、対応点位置情報を求める対応点探索部と、
前記対応点探索部により求めた前記対応点位置情報を用いて、前記第１の処理パラメータの値を改善し、第２の処理パラメータを求める処理パラメータ改善部と、
を具備することを特徴とする画像処理装置。
【請求項２】
静止画像及び動画像のいずれかの入力画像を用いて、３次元のモデル画像と第１の処理パラメータを作成するモデル画像作成部と、
前記モデル画像作成部により作成された、前記モデル画像と第１の処理パラメータに基づいて３次元画像を描画する画像描画部と、
前記静止画像及び動画像のいずれかの入力画像が入力される画像入力部と、
前記画像描画部により描画された前記３次元画像上と、前記画像入力部に入力された前記入力画像上とにおいて、互いに対応する点を探索し、対応点位置情報を求める対応点探索部と、
前記対応点探索部により求めた前記対応点位置情報を用いて、前記第１の処理パラメータの値を改善し、第２の処理パラメータを求める処理パラメータ改善部と、
を具備することを特徴とする画像処理装置。
【請求項３】
前記対応点探索部は、前記３次元画像上に複数の点を配置し、これら複数の点の各々に対して、前記入力画像上において対応する点を探索することにより、前記対応点位置情報を求めることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記処理パラメータ改善部は、前記画像描画部により前記モデル画像と前記第２の処理パラメータに基づいて３次元画像を描画したとき、前記３次元画像上に配置された複数の点と、これらに対応する前記入力画像上における複数の点とにおいて、各々の対応する２点間の距離が最小になるように、前記第２の処理パラメータを求めることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記処理パラメータ改善部により求められた前記第２の処理パラメータは、前記画像描画部に入力され、
前記画像描画部により前記モデル画像と前記第２の処理パラメータに基づいて３次元画像が描画され、
前記対応点探索部により前記３次元画像上と前記入力画像上において対応点位置情報が求められ、
前記処理パラメータ改善部により前記対応点位置情報を用いて、前記第２の処理パラメータの値が改善され、第３の処理パラメータが求められることを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
【請求項６】
前記画像描画部により前記モデル画像と前記第３の処理パラメータに基づいて描画された３次元画像を外部に出力する画像出力部を、さらに具備することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像描画部及び対応点探索部が単一の半導体基板上に形成されていることを特徴とする請求項１乃至６のいずれか１つに記載の画像処理装置。
【請求項８】
前記半導体基板上には、前記処理パラメータ改善部がさらに形成されていることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記処理パラメータ改善部により求められた前記処理パラメータをネットワークに出力するネットワーク接続部を、さらに具備することを特徴とする請求項１乃至８のいずれか１つに記載の画像処理装置。
【請求項１０】
前記ネットワーク接続部は、前記ネットワークから前記処理パラメータを受け取り、前記画像描画部に出力することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記画像入力部に入力された前記入力画像が人物像である場合、前記人物像と近似した動き、姿勢及び表情のアバタの画像を、前記画像出力部から出力することを特徴とする請求項６に記載の画像処理装置。
【請求項１２】
３次元のモデル画像と第１の処理パラメータに基づいて、３次元画像を描画する工程と、
静止画像及び動画像のいずれかの入力画像が入力される工程と、
前記３次元画像上と前記入力画像上とにおいて、互いに対応する点を探索し、対応点位置情報を求める工程と、
前記対応点探索部により求めた前記対応点位置情報を用いて、前記第１の処理パラメータの値を改善し、第２の処理パラメータを求める工程と、
を具備することを特徴とする画像処理方法。
【請求項１３】
静止画像及び動画像のいずれかの入力画像を用いて、３次元のモデル画像と第１の処理パラメータを作成する工程と、
前記モデル画像と第１の処理パラメータに基づいて、３次元画像を描画する工程と、
前記静止画像及び動画像のいずれかの入力画像が入力される工程と、
前記３次元画像上と前記入力画像上とにおいて、互いに対応する点を探索し、対応点位置情報を求める工程と、
前記対応点位置情報を用いて、前記第１の処理パラメータの値を改善し、第２の処理パラメータを求める工程と、
を具備することを特徴とする画像処理方法。
【請求項１４】
前記対応点位置情報を求める工程は、前記３次元画像上に複数の点を配置し、これら複数の点の各々に対して、前記入力画像上において対応する点を探索する工程であることを特徴とする請求項１２または１３に記載の画像処理方法。
【請求項１５】
前記第２の処理パラメータを求める工程は、前記モデル画像と前記第２の処理パラメータに基づいて３次元画像を描画したとき、前記３次元画像上に配置された複数の点と、これらに対応する前記入力画像上における複数の点とにおいて、各々の対応する２点間の距離が最小になるように、前記第２の処理パラメータを算出する工程であることを特徴とする請求項１４に記載の画像処理方法。
【請求項１６】
前記モデル画像と前記第２の処理パラメータに基づいて３次元画像を描画する工程と、
前記３次元画像上と前記入力画像上において対応点位置情報を求める工程と、前記対応点位置情報を用いて、前記第２の処理パラメータの値を改善し、第３の処理パラメータを求める工程と、
をさらに有することを特徴とする請求項１２乃至１５のいずれか１つに記載の画像処理方法。
【請求項１７】
前記モデル画像と前記第３の処理パラメータに基づいて描画された３次元画像は外部に出力されることを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】
前記第２の処理パラメータはネットワークに出力されることを特徴とする請求項１２乃至１７のいずれか１つに記載の画像処理方法。
【請求項１９】
前記第１の処理パラメータはネットワークから入力されることを特徴とする請求項１２または１３に記載の画像処理方法。
【請求項２０】
前記入力画像が人物像である場合、前記人物像と近似した動き、姿勢及び表情のアバタの画像を出力することを特徴とする請求項１２乃至１９のいずれか１つに記載の画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、入力された画像に対して装飾あるいは変形などの画像処理を施し、ディスプレイに出力する画像処理装置に関するものであり、特に人物の顔画像に対し、髪型を変更したり化粧を行ったり等の装飾を施した画像をディスプレイに表示する、あるいはネットワークを通じて送信する画像処理装置に関するものである。
【０００２】
【従来の技術】
従来より、入力された人物の画像に装飾あるいは変形などの画像処理を施し、ディスプレイなどに出力する画像処理装置が使用されている。例えば、顔画像に対して髪型の変更、メガネの装着、あるいは化粧の修飾などを行い、その使用状態を、静止画にてシミュレーションするための装置やソフトウェアは、現在広く利用されている。
【０００３】
これらに利用されている画像処理装置には、例えば、顔画像中の特徴点の抽出を行い、これらに対して予め決められた画像を重ねることにより、装飾画像を表示するものが提案されている（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２０００−３２２５８８号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、前述した画像処理装置による画像は、実画像のシミュレーションとしては満足できるものではなかった。すなわち、仮想画像の生成の基となる顔画像中の特徴点や特徴領域の検出が正確でないため、表情の変化や動き等に十分に対応できるものではなく、リアルタイムで入力画像に対して装飾あるいは変形などを施し出力することは困難であった。
【０００６】
そこでこの発明は、前記課題に鑑みてなされたものであり、入力画像に対する装飾あるいは変形などの画像処理が効率良く正確に実行でき、リアルタイムで入力画像に対して画像処理を行うことが可能な画像処理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
前記目的を達成するために、この発明に係る画像処理装置は、予め設定された３次元のモデル画像を持ち、前記モデル画像と第１の処理パラメータに基づいて３次元画像を描画する画像描画部と、静止画像及び動画像のいずれかの入力画像が入力される画像入力部と、前記画像描画部により描画された前記３次元画像上と、前記画像入力部に入力された前記入力画像上とにおいて、互いに対応する点を探索し、対応点位置情報を求める対応点探索部と、前記対応点探索部により求めた前記対応点位置情報を用いて、前記第１の処理パラメータの値を改善し、第２の処理パラメータを求める処理パラメータ改善部とを具備することを特徴とする。
【０００８】
また、前記目的を達成するために、この発明に係る画像処理方法は、３次元のモデル画像と第１の処理パラメータに基づいて、３次元画像を描画する工程と、静止画像及び動画像のいずれかの入力画像が入力される工程と、前記３次元画像上と前記入力画像上とにおいて、互いに対応する点を探索し、対応点位置情報を求める工程と、前記対応点探索部により求めた前記対応点位置情報を用いて、前記第１の処理パラメータの値を改善し、第２の処理パラメータを求める工程とを具備することを特徴とする。
【０００９】
【発明の実施の形態】
以下、図面を参照してこの発明の実施の形態の画像処理装置としての仮想鏡装置及び画像処理方法について説明する。説明に際し、全図にわたり、共通する部分には共通する参照符号を付す。
【００１０】
［第１の実施の形態］
まず、この発明の第１の実施の形態の仮想鏡装置について説明する。
【００１１】
図１は、第１の実施の形態の仮想鏡装置とその周辺部の構成を示す図である。
【００１２】
仮想鏡装置１は、カメラ２等の撮像装置から取り込んだ画像、例えば人物の顔画像等に対し、装飾あるいは変形などの画像処理を施してディスプレイ３に出力する。また、カメラ２から取り込んだ画像に対して、装飾あるいは変形などの画像処理を施し符号化を行い、ネットワーク４に送出する。さらに、ネットワーク４から符号化された情報を受け取り、情報の復号、及び修飾により得られた画像をディスプレイに出力する。
【００１３】
なお、カメラ２は精度の高い画像を得るために、複数のカメラを備えていても良い。さらに、仮想鏡装置１は、複数のカメラ２から得られる画像を処理するために、十分な処理能力を備えている。
【００１４】
前記装飾あるいは変形とは、例えば顔画像に化粧を追加する場合や、表情を移植する場合などを指す。顔画像に化粧を追加する場合は、カメラ２からの入力画像に対して仮想的に口紅の色を変更するなどの化粧を施し、ディスプレイ３に表示する。また、表情を移植する場合は、カメラ２から入力された顔の表情を、他の人物もしくは動物などの顔に移植しディスプレイ３に表示する。これにより、使用者がカメラ２の前で微笑むと、ディスプレイ３上の動物が同じように微笑むといった処理が行える。
【００１５】
また、ネットワーク４越しに同様の操作を行うことで、テレビ電話のように使用することも可能である。テレビ電話として使用する際に、例えば人の表情を動物の表情へ移植する処理を行えば、相手先には使用者ではなく、動物の表情を表示できる。このため、使用者がだれなのかわからないが、表情の変化や動きは読みとれるという、匿名性が高く、かつ臨場感のある通話を行うことができる。
【００１６】
次に、前記仮想鏡装置１の構成について説明する。
【００１７】
図２は、第１の実施の形態の仮想鏡装置の構成を示すブロック図である。
【００１８】
仮想鏡装置は、図２に示すように、３Ｄモデル描画部１１、画像入力部１２、対応点探索部１３、動き・モデルパラメータ改善部１４、画像出力部１５、及びネットワーク接続部１６から構成される。
【００１９】
３Ｄモデル描画部１１の出力部は、対応点探索部１３の第１入力部に接続されており、画像入力部１２の出力部は対応点探索部１３の第２入力部に接続されている。画像入力部１２の入力部には、外部に設けられたカメラ２が接続されている。
【００２０】
前記対応点探索部１３の出力部は、動き・モデルパラメータ改善部１４の入力部に接続される。動き・モデルパラメータ改善部１４の出力部は、３Ｄモデル描画部１１の入力部に接続されている。さらに、前記３Ｄモデル描画部１１の出力部は、画像出力部１５の入力部に接続されており、画像出力部１５の出力部はディスプレイ３に接続されている。
【００２１】
また、ネットワーク接続部１６には、外部に設けられたネットワーク４が接続されている。動き・モデルパラメータ改善部１４の出力部は、ネットワーク接続部１６の入力部に接続されている。さらに、ネットワーク接続部１６の出力部は、３Ｄモデル描画部１１の入力部に接続されている。
【００２２】
前記３Ｄモデル描画部１１は、予め一般的な使用者の３次元のモデル画像（以下、３Ｄモデルと記す）を持ち、与えられた動き・モデルパラメータに応じて３次元の画像を描画し出力する。これは、従来のグラフィックス・プロセシング・ユニット（ＧＰＵ）と同様の機能である。前記動き・モデルパラメータは、画像における動きや姿勢、表情等を表現するためのパラメータである。すなわち、動き・モデルパラメータを３Ｄモデル描画部１１に与えれば、３Ｄモデルを任意の動きや姿勢、表情で描画し、３次元の描画画像を作成することができる。
【００２３】
前記画像入力部１２は、カメラ２により取り込まれた静止画像あるいは動画像の入力画像を対応点探索部１３に出力する。
【００２４】
前記対応点探索部１３は、３Ｄモデル描画部１１で描画した３次元の描画画像と、画像入力部１２から入力された入力画像との間で、対応点の探索を行う。対応点の探索とは、描画画像上と入力画像上との間で、２つの画像上において対応する点を探索する操作である。
【００２５】
前記動き・モデルパラメータ改善部１４は、対応点の探索により求めた情報より動き・モデルパラメータ改善する。前記画像出力部１５は、３Ｄモデル描画部１１で描画された３次元の描画画像を受け取り、ディスプレイに出力する。
【００２６】
前記ネットワーク接続部１６は、動き・モデルパラメータ改善部１４から動き・モデルパラメータを受け取り、ネットワーク４を介して他の画像処理装置に出力する。また、ネットワーク接続部１６は、他の画像処理装置からネットワーク４を介して情報、例えば動き・モデルパラメータを受け取り、３Ｄモデル描画部１１に出力する。
【００２７】
次に、図２に示した仮想鏡装置１の動作について説明する。
【００２８】
図３は、仮想鏡装置の動作のフローを示す図である。
【００２９】
まず、外部から動き・モデルパラメータの初期解（Ｓ１）が３Ｄモデル描画部１１に入力され、３Ｄモデル描画部１１は、予め設定された３Ｄモデルと与えられた動き・モデルパラメータの初期解に応じて、３次元の描画画像を描画する（Ｓ２）。
【００３０】
また、画像入力部１２には、カメラ２から、静止画像あるいは動画像の入力画像、例えば人物の顔画像などが取り込まれる。これら描画画像（Ｓ３）及び入力画像（Ｓ４）は、対応点探索部１３に入力される。
【００３１】
前記対応点探索部１３は、受け取った描画画像と入力画像との間で対応点の探索を行う（Ｓ５）。対応点の探索とは、描画画像と入力画像の２つの画像上において、対応する点を探索する操作である。例えば、図４（ａ）に示す描画画像上の目の部分に配置された注目点Ａが、図４（ｂ）に示す入力画像上のどの位置に対応するかを探索し、注目点Ａに対応する対応点Ｂの位置情報を求める。この対応点位置情報（Ｓ６）は、動き・モデルパラメータ改善部１４に入力される。
【００３２】
動き・モデルパラメータ改善部１４は、対応点位置情報をもとに、描画画像を再度、描画したときの対応点Ｂと注目点Ａとの距離が短くなるように、動き・モデルパラメータの初期解の改善を行い（Ｓ７）、動き・モデルパラメータの２次解（Ｓ８）を算出する。これら対応点探索部１３、及び動き・モデルパラメータ改善部１４の動作は、後で詳述する。
【００３３】
こうして得られた動き・モデルパラメータの２次解は、再び、３Ｄモデル描画部１１にフィードバックされ、前述と同様に、３次元描画画像の描画、対応点の探索、及び動き・モデルパラメータの算出の処理を行うことにより、さらに精度の高い動き・モデルパラメータを求める。
【００３４】
このように、３次元描画画像の描画から、対応点の探索、動き・モデルパラメータの算出までの処理が複数回繰り返し実行され、高い精度の動き・モデルパラメータが算出される。算出された動き・モデルパラメータは、３Ｄモデル描画部１１に入力される。そして、３Ｄモデル描画部１１により３次元の描画画像が描画されて、画像出力部１５に出力される。さらに、３次元の描画画像は、画像出力部１５よりディスプレイ３に出力され表示される。
【００３５】
また、画像入力部１２に入力される入力画像が動画の場合、所定の時間間隔で入力画像が対応点探索部１３に取り込まれる。まず、最初の入力画像が対応点探索部１３に取り込まれると、前述した３次元の描画画像の描画から、動き・モデルパラメータの算出までの処理が繰り返し実行されて、高い精度の動き・モデルパラメータが求める。そして、この動き・モデルパラメータを用いて、３次元の描画画像が描画され、画像出力部１５に出力される。続いて、対応点探索部１３に新しい入力画像が取り込まれると、同様に、３次元の描画画像の描画から、動き・モデルパラメータの算出までの処理が繰り返し実行されて、高い精度の動き・モデルパラメータの算出、さらに３次元の描画画像の出力が行われる。
【００３６】
このように、入力画像が動画の場合、所定時間が経過する毎に入力画像が取り込まれ、次の入力画像が取り込まれるまでの間に、前記３次元描画画像の描画、対応点の探索、及び動き・モデルパラメータの算出までの処理が繰り返し実行されて高い精度の動き・モデルパラメータが求められる。そして、この動き・モデルパラメータを用いて、３Ｄモデル描画部１１により３次元の描画画像が描画され、画像出力部１５を介してディスプレイ３に表示される。
【００３７】
また、ネットワーク４を用いて画像の入出力を行う場合、最終的に算出された高い精度の動き・モデルパラメータが動き・モデルパラメータ改善部１４よりネットワーク接続部１６を介してネットワーク４に出力される。一方、ネットワーク４からは、ネットワーク接続部１６を介して動き・モデルパラメータを受け取る。そして、この動き・モデルパラメータを用いて、３Ｄモデル描画部１１により３次元の描画画像を描画し、画像出力部１５を介してディスプレイ３に表示する。
【００３８】
なお、ここではネットワーク４により動き・モデルパラメータの授受を行う例を示したが、これに限るわけではなく、画像データの授受を直接行うようにしてもよい。
【００３９】
次に、前述した対応点探索部１３、及び動き・モデルパラメータ改善部１４の動作を詳細に述べる。
【００４０】
図４（ａ）及び図４（ｂ）は、対応点探索部１３における対応点位置情報を求める様子を示す図である。図４（ａ）に３Ｄモデル描画部１１によって描画した描画画像を示し、図４（ｂ）に画像入力部１２に入力される入力画像を示す。
【００４１】
対応点探索部１３は、描画画像と入力画像との間で、以下のような処理により対応点の探索を行い、対応点の位置情報を求める。その後、動き・モデルパラメータ改善部１４は、最小二乗法などを用いて、描画画像上と入力画像上とにおける対応点間の距離が最小となるように、動き・モデルパラメータを改善する。
【００４２】
図４（ａ）に示すように、３Ｄモデル上に定義された注目点Ａの描画画像上の位置を（ｘｉ、ｙｉ）とする。ただし、ｉ＝１、２、…、Ｎである。Ｎは注目点Ａの数であり、描画画像上に所定の間隔で数十から数千点程度配置される。
【００４３】
まず、対応点探索部１３は、注目点Ａ（ｘｉ、ｙｉ）が存在する周辺画像Ｃと似た対応画像Ｄが入力画像上でどこに存在するか探索する。さらに、周辺画像Ｃ内における注目点Ａの位置関係から、図４（ｂ）に示すように、探索した対応画像Ｄ内における対応点Ｂ（ｕｉ、ｖｉ）の位置情報を算出する。
【００４４】
続いて、動き・モデルパラメータ改善部１４は、ｉ＝１、２、…、Ｎの全ての点において、注目点Ａと対応点Ｂとの距離が最小となるように、動き・モデルパラメータを改善する。
【００４５】
例えば、注目点Ａ（ｘｉ、ｙｉ）と対応点Ｂ（ｕｉ、ｖｉ）との距離の二乗和をＲとすると、
Ｒ＝Σ｜（ｘｉ、ｙｉ）−（ｕｉ、ｖｉ）｜２
ここで、ｘｉ、ｙｉは動き・モデルパラメータＰの関数であるため、ＲもＰの関数でＲ（Ｐ）と表現できる。したがって、Ｒが最小になるようなＰを求めることにより、動きや姿勢、表情を表現する動き・モデルパラメータを改善することができる。
【００４６】
また例えば、関数Ｒ（Ｐ）として、以下のような二乗和以外の関数を使用することもできる。
【００４７】
Ｒ＝Σλｉ｜（ｘｉ、ｙｉ）−（ｕｉ、ｖｉ）｜２（λｉは点ごとに定められた定数）
次に、前記仮想鏡装置１を、単一の半導体装置内に形成した例を示す。
【００４８】
図５は、仮想鏡装置の一部を単一の半導体基板上に配置した一例を示すレイアウト図である。
【００４９】
半導体基板２１上には、図５に示すように、データの転送路２２に接続された入出力画像処理ユニット２３、行列演算ユニット２４、バスインタフェース２５、入力回路２６、及び出力回路２７が配置されている。
【００５０】
前記入出力画像処理ユニット２３では、前記３Ｄモデル描画部１１、対応点探索部１３にて行う処理が実行される。行列演算ユニット２４では、前記動き・モデルパラメータ改善部１４にて行う処理が実行される。なお、動き・モデルパラメータ改善部１４にて行う処理は、入出力画像処理ユニット２３で実行してもよい。また、動き・モデルパラメータ改善部１４にて行う処理データが大きい場合は、バスインタフェース２５を介して半導体基板２１の外部に設けられた処理装置などにより処理を実行しても良い。
【００５１】
前記入力回路２６には、外部に設けられたカメラより入力画像が入力される。出力回路２７には、入出力画像処理ユニット２３にて処理された３次元の描画画像が入力され、この描画画像は外部に設けられたディスプレイに出力される。
【００５２】
このように、前述した仮想鏡装置の構成を単一の半導体基板上に集積することにより、入力画像の動きや表情を高精度で示す、動き・モデルパラメータをリアルタイムで高速に算出できる。この結果、３次元の描画画像をリアルタイムで高速にディスプレイ３に表示することが可能になる。
【００５３】
この第１の実施の形態では、３Ｄモデルを用いて作成した描画画像と入力画像とのマッチングを行うことにより、効率よくかつ高精度に人の姿勢や表情などを算出することができる。
【００５４】
また、単一の半導体基板上に、３Ｄモデル描画部、対応点検索部、及び動き・モデルパラメタ改善部を集積することにより、半導体装置外でデータ転送を行う必要がなく、処理が高速化でき、リアルタイム処理が可能になる。
【００５５】
また、ネットワークに接続されているため、遠隔地に使用者の姿勢や表情などを効率よく送信できる。さらに、遠隔地の使用者とテレビ電話のように対面することが可能である。また、仮想空間でのジェスチャや表情を使ったコミュニケーションが可能になる。さらに、アバタを用いた場合、匿名性も保持できる。
【００５６】
［第２の実施の形態］
次に、この発明の第２の実施の形態の仮想鏡装置について説明する。この第２の実施の形態は、図２に示した前記第１の実施の形態の構成に、さらに３Ｄモデル作成部を追加したものである。その他の構成は、前記第１の実施の形態と同様である。
【００５７】
図６は、第２の実施の形態の仮想鏡装置の構成を示すブロック図である。図７は、前記仮想鏡装置の動作のフローを示す図である。
【００５８】
仮想鏡装置５は、図６に示すように、３Ｄモデル作成部３１、３Ｄモデル描画部１１、画像入力部１２、対応点探索部１３、動き・モデルパラメータ改善部１４、画像出力部１５、及びネットワーク接続部１６から構成される。
【００５９】
複数のカメラ２から複数の入力画像が、３Ｄモデル作成部３１に入力される。３Ｄモデル作成部３１は、入力された複数の入力画像に基づいて、３次元のモデル画像（３Ｄモデル）と動き・モデルパラメータを作成する（Ｓ９）。３Ｄモデル（Ｓ１０）と動き・モデルパラメータは、３Ｄモデル描画部１１に入力され、３次元の描画画像が描画される。
【００６０】
また、複数のカメラ２から前記複数の入力画像が、画像入力部１２に入力される。さらに、前記描画画像と入力画像は、対応点探索部１３に入力される。
【００６１】
前記対応点探索部１３は、受け取った描画画像と入力画像との間で対応点の探索を行う。対応点の探索以降に処理は、前記第１の実施の形態と同様であり、説明は省略する。
【００６２】
このように構成された仮想鏡装置５では、カメラ２などから入力された入力画像を用いて、３Ｄモデル及び動き・モデルパラメータを作成する３Ｄモデル作成部３１を備えている。これにより、３Ｄモデル描画部１１に、予め３Ｄモデルと動き・モデルパラメータを与えなくても、３Ｄモデル作成部３１により３次元の描画画像を作成できる。言い換えると、３Ｄモデル描画部１１で使用する３Ｄモデルの設定や、３Ｄモデル描画部１１への動き・モデルパラメータの入力を行わなくても、３Ｄモデル作成部３１、及び３Ｄモデル描画部１１により３次元の描画画像を作成できる。これにより、仮想鏡装置５を動作させることができる。
【００６３】
この第２の実施の形態では、３Ｄモデルを用いて作成した描画画像と入力画像とのマッチングを行うことにより、効率よくかつ高精度に人の姿勢や表情などを算出することができる。
【００６４】
また、単一の半導体基板上に、３Ｄモデル作成部、３Ｄモデル描画部、対応点検索部、及び動き・モデルパラメタ改善部を集積することにより、半導体装置外でデータ転送を行う必要がなく、処理が高速化でき、リアルタイム処理が可能になる。
【００６５】
また、ネットワークに接続されているため、遠隔地に使用者の姿勢や表情などを効率よく送信できる。さらに、遠隔地の使用者とテレビ電話のように対面することが可能である。また、仮想空間でのジェスチャーや表情を使ったコミュニケーションが可能になる。さらに、アバターを用いた場合、匿名性も保持できる。
【００６６】
また、３Ｄモデル作成部をもつことにより、任意の使用者がこの仮想鏡装置を使用することが可能になる。
【００６７】
以上説明したようにこの発明の実施の形態によれば、例えば人物の画像が入力され、この入力画像を分析、修飾、表示する過程において、前述したような３次元のモデル画像と入力画像とのマッチングを行うアルゴリズムを用いることにより、顔の表情の変化や動きなどを精度良く抽出することができる。前記アルゴリズムを実行する装置を半導体基板上に集積化すれば、アルゴリズムをより効率よく実行することが可能である。
【００６８】
また、半導体装置に一部機能を集積化することで、汎用プロセッサでは難しい、リアルタイムでの処理が行える。これにより、画像処理後の出力画像を鏡のようにインタラクティブに使用できる。さらに、テレビ電話などで相手先に表示される画像を修飾したり、制限したりといった、リアルタイム処理が必要な用途に使用できるようになる。
【００６９】
また、前述した各実施の形態はそれぞれ、単独で実施できるばかりでなく、適宜組み合わせて実施することも可能である。さらに、前述した各実施の形態には種々の段階の発明が含まれており、各実施の形態において開示した複数の構成要件の適宜な組み合わせにより、種々の段階の発明を抽出することも可能である。
【００７０】
【発明の効果】
以上述べたようにこの発明によれば、入力画像に対する装飾あるいは変形などの画像処理が効率良く正確に実行でき、リアルタイムで入力画像に対して画像処理を行うことが可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】この発明の第１の実施の形態の仮想鏡装置とその周辺部の構成を示す図である。
【図２】前記第１の実施の形態の仮想鏡装置の構成を示すブロック図である。
【図３】前記第１の実施の形態の仮想鏡装置の動作フローを示す図である。
【図４】前記第１の実施の形態の仮想鏡装置における対応点探索部の対応点位置情報を求める様子を示す図である。
【図５】前記第１の実施の形態の仮想鏡装置を単一の半導体基板上に形成した一例を示すレイアウト図である。
【図６】この発明の第２の実施の形態の仮想鏡装置の構成を示すブロック図である。
【図７】前記第２の実施の形態の仮想鏡装置の動作フローを示す図である。
【符号の説明】
１…仮想鏡装置、２…カメラ、３…ディスプレイ、４…ネットワーク、５…仮想鏡装置、１１…３Ｄモデル描画部、１２…画像入力部、１３…対応点探索部、１４…動き・モデルパラメータ改善部、１５…画像出力部、１６…ネットワーク接続部、２１…半導体基板、２２…転送路、２３…入出力画像処理ユニット、２４…行列演算ユニット、２５…バスインタフェース、２６…入力回路、２７…出力回路、３１…３Ｄモデル作成部
【図１】
2004213481.tif 000003
【図２】
2004213481.tif 000004
【図３】
2004213481.tif 000005
【図４】
2004213481.tif 000006
【図５】
2004213481.tif 000007
【図６】
2004213481.tif 000008
【図７】
2004213481.tif 000009