【手続補正書】
【提出日】平成25年11月18日(2013.11.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
３枚以上のソース画像と各ソース画像の特徴ベクトルとに基づいてモーフィング画像を生成する画像生成装置であって、
ソース画像の枚数に対応する数だけ用意された設定値を、前記ソース画像のそれぞれに対応づけて割り当てる設定値割当手段と、
全ての設定値の和に対する各設定値の割合を求めることにより各ソース画像の貢献度を算出する貢献度算出手段と、
各ソース画像の前記特徴ベクトルに対して、各ソース画像の貢献度の値を乗算することにより重み付きベクトルを求め、求められた全てのソース画像の重み付きベクトルを足し合わせることにより、前記モーフィング画像の特徴ベクトルを生成する特徴ベクトル生成手段と、
生成された前記モーフィング画像の特徴ベクトルと、前記各ソース画像と、各ソース画像の前記特徴ベクトルとに基づいて、各ソース画像をそれぞれのワープ画像に変形するワープ画像生成手段と、
各ワープ画像の画素値を、貢献度に応じて調整し、調整後の各ワープ画像の画素値を足し合わせてモーフィング画像を生成するモーフィング画像生成手段と
を備えることを特徴とする画像生成装置。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項３
【補正方法】変更
【補正の内容】
【請求項３】
３枚以上のソース画像と各ソース画像の特徴ベクトルとに基づいてモーフィング画像を生成する画像生成プログラムであって、
コンピュータに、
ソース画像の枚数に対応する数だけ用意された設定値を、前記ソース画像のそれぞれに対応づけて割り当てさせる設定値割当機能と、
全ての設定値の和に対する各設定値の割合を求めることにより各ソース画像の貢献度を算出させる貢献度算出機能と、
各ソース画像の前記特徴ベクトルに対して、各ソース画像の貢献度の値を乗算することにより重み付きベクトルを求め、求められた全てのソース画像の重み付きベクトルを足し合わせることにより、前記モーフィング画像の特徴ベクトルを生成させる特徴ベクトル生成機能と、
生成された前記モーフィング画像の特徴ベクトルと、前記各ソース画像と、各ソース画像の前記特徴ベクトルとに基づいて、各ソース画像をそれぞれのワープ画像に変形させるワープ画像生成機能と、
各ワープ画像の画素値を、貢献度に応じて調整し、調整後の各ワープ画像の画素値を足し合わせてモーフィング画像を生成させるモーフィング画像生成機能と
を実行させることを特徴とする画像生成プログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、画像生成装置および画像生成プログラムに関し、より詳細には、３枚以上のソース画像に基づいて全ての画像の部分的特徴を備えたモーフィング画像を生成するための画像生成装置および画像生成プログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
従来より、２枚の画像から両方の画像の部分的特徴を備えつつ違和感のない新たな画像を生成する技術としてモーフィング画像生成方法が知られている（例えば、特許文献１参照）。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
モーフィング画像を生成するための２枚の画像のうち、一方の画像を第一画像、他方の画像を第二画像とする。モーフィング画像の生成を行う場合には、モーフィング画像に違和感を生じさせないようにするため、第一画像と第二画像とにおいて共通する特徴データを定義する必要がある。この共通する特徴データは、第一画像と第二画像との特徴点や特徴線（これを、特徴ベクトルという）を元に定義する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
例えば第一画像および第二画像が人の顔画像である場合において、特徴線を特徴ベクトルとして利用する場合には、それぞれの画像の目のライン、鼻のライン、口の輪郭、眉毛のライン、顔の輪郭等の共通する特徴部分が、画像の特徴ベクトルとして定義できる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
このようにして定義された第一画像の特徴ベクトルと第二画像の特徴ベクトルのうち、それぞれに対応する特徴量を抽出して、対応箇所の値をｍ：１−ｍ（但し、０≦ｍ≦１）の割合で調整した中間特徴量（モーフィング画像の特徴ベクトルに該当する）を算出する。ここで、中間特徴量を算出するために設定されるｍの値をモーフィング率と呼ぶ。モーフィング率は、対応する特徴量毎に異なる値であってもよく、また同一の値を用いることも可能である。このように算出した特徴量をまとめて中間特徴ベクトルという。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
そして、第一画像のワープ画像と第二画像のワープ画像との画素値をモーフィング率に応じて調整し、最終的に、調整後の第一画像のワープ画像と第二画像のワープ画像との画素値を足し合わせることによって違和感のないモーフィング画像を合成（生成）することが可能となる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
このようなモーフィング技術を利用することにより、２枚の画像から、違和感のないモーフィング画像を生成することができる。例えば、２枚の画像が人間の顔画像の場合には、２枚の顔画像のそれぞれの部分的特徴を備えながら、その２枚の顔画像とは異なる顔画像であって、見た目に違和感のない顔画像を生成することが可能となる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
特に、今日では、例えば携帯電話における電話帳設定データに該当者の画像データを記録したり、Ｔｗｉｔｔｅｒ（登録商標）においてそのユーザを画像で示したり、ネットワーク上の仮想空間において操作されるアバターに顔画像を付加したりすることが多い。このため、ユーザ自身の画像（例えば、顔画像）でなく、そのユーザの部分的特徴を備えた他の画像を生成して使用したいというニーズが多く存在する。モーフィング技術を使用することによって、ユーザに類似する他の画像を生成することは、このニーズに合致するものである。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また、２枚の顔画像だけでなく、複数（３枚以上）の顔画像に基づいて、各顔画像の部分的特徴を備えた顔画像を生成したいというニーズも存在する。例えば、特定の人間の顔の特徴だけがモーフィング画像に反映されないように、２枚の画像だけでなく、多くの画像を用いて、１枚のモーフィング画像を生成させたいニーズなども存在していた。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
上記課題を解決するために、本発明に係る画像生成装置は、３枚以上のソース画像と各ソース画像の特徴ベクトルとに基づいてモーフィング画像を生成する画像生成装置であって、ソース画像の枚数に対応する数だけ用意された設定値を、前記ソース画像のそれぞれに対応づけて割り当てる設定値割当手段と、全ての設定値の和に対する各設定値の割合を求めることにより各ソース画像の貢献度を算出する貢献度算出手段と、各ソース画像の前記特徴ベクトルに対して、各ソース画像の貢献度の値を乗算することにより重み付きベクトルを求め、求められた全てのソース画像の重み付きベクトルを足し合わせることにより、前記モーフィング画像の特徴ベクトルを生成する特徴ベクトル生成手段と、生成された前記モーフィング画像の特徴ベクトルと、前記各ソース画像と、各ソース画像の前記特徴ベクトルとに基づいて、各ソース画像をそれぞれのワープ画像に変形するワープ画像生成手段と、各ワープ画像の画素値を、貢献度に応じて調整し、調整後の各ワープ画像の画素値を足し合わせてモーフィング画像を生成するモーフィング画像生成手段とを備えることを特徴とする。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、本発明に係る画像生成プログラムは、３枚以上のソース画像と各ソース画像の特徴ベクトルとに基づいてモーフィング画像を生成する画像生成プログラムであって、コンピュータに、ソース画像の枚数に対応する数だけ用意された設定値を、前記ソース画像のそれぞれに対応づけて割り当てさせる設定値割当機能と、全ての設定値の和に対する各設定値の割合を求めることにより各ソース画像の貢献度を算出させる貢献度算出機能と、各ソース画像の前記特徴ベクトルに対して、各ソース画像の貢献度の値を乗算することにより重み付きベクトルを求め、求められた全てのソース画像の重み付きベクトルを足し合わせることにより、前記モーフィング画像の特徴ベクトルを生成させる特徴ベクトル生成機能と、生成された前記モーフィング画像の特徴ベクトルと、前記各ソース画像と、各ソース画像の前記特徴ベクトルとに基づいて、各ソース画像をそれぞれのワープ画像に変形させるワープ画像生成機能と、各ワープ画像の画素値を、貢献度に応じて調整し、調整後の各ワープ画像の画素値を足し合わせてモーフィング画像を生成させるモーフィング画像生成機能とを実行させるプログラムであることを特徴とする。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
また、ソース画像の特徴ベクトルに対して各ソース画像の貢献度を乗算して重み付きベクトルを求め、全てのソース画像の重み付きベクトルを足しあわせることにより、モーフィング画像の特徴ベクトルを生成することができる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
装置本体部５は、データ記録部１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、ＣＰＵ（Central Processing Unit：設定値割当手段、貢献度算出手段、特徴ベクトル生成手段、ワープ画像生成手段、モーフィング画像生成手段、乱数値生成手段）１４とを有している。ＲＯＭ１２は、画像生成装置１の起動時に実行される処理プログラム等が記録される記録手段である。画像生成装置１の起動時等に、ＣＰＵ１４がＲＯＭ１２の処理プログラム等を読み出して実行することによって、起動処理等を行うことが可能となっている。ＲＡＭ１３は、ＣＰＵ１４において行われる処理のワークエリア等として用いられる記録手段である。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
図２は、ＲＯＭ１２に記録されるプログラムに従ってＣＰＵ１４がモーフィング画像を生成する処理を示したフローチャートである。本実施の形態に示すモーフィング画像の生成処理では、複数枚（Ｎ枚とする）の顔画像（ソース画像）のうち、その一部の顔画像（ソース画像：一部の画像の枚数をＫ枚とする。但し、Ｋ＞２の整数を示す）を用いることにより、Ｋ枚のソース画像の部分的特徴を備えたモーフィング画像を生成する場合について説明する。従って、データ記録部１１には、既にＮ枚のソース画像とそれぞれのソース画像における特徴ベクトルとが予め記録されているものとする。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
なお、式２に示される特徴ベクトルｆは、モーフィング画像の特徴ベクトルを示し、特徴ベクトルｆjkは、ソース画像ｐjkの特徴ベクトルを示している。なお、式２におけるｗkｆjkは、各ソース画像における貢献度を対応するソース画像の特徴ベクトルに乗算したベクトルを示しており、本発明に係る重み付きベクトルに該当するものである。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
図４は、３枚のソース画像に基づいて生成された複数のモーフィング画像の画像例を示した図である。図４に示された三角形の頂点に位置する画像が、各ソース画像である。そして、三角形の各辺に沿って示された画像は、辺の両端に位置する２枚のソース画像に基づいて生成されたモーフィング画像である。さらに、三角形の中心に位置する画像が、３枚のソース画像に基づいて生成されたモーフィング画像を示している。このように、２枚のソース画像に基づいて生成されたモーフィング画像はもちろんのこと、３枚のソース画像に基づいて生成されたモーフィング画像も、顔の表情などに違和感がなく、さらにそれぞれのソース画像の部分的特徴を備えた顔画像とすることが可能となる。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
また、多数のソース画像に基づいて、その全てのソース画像の部分的特徴を備えた１枚のモーフィング画像を生成することも可能である。例えば、多人数の人気アイドルにより構成されるアイドルグループのそれぞれの顔写真を合成することにより、そのアイドルグループにおける標準的な顔写真を擬似的に生成することも可能である。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
その他、本実施の形態に係る画像生成装置１を用いることにより、多数の顔画像をソース画像として、各ソース画像の部分的特徴を有するモーフィング画像を生成することが可能であるため、様々な画像分野に利用・応用することが可能となる。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
１     …画像生成装置
３     …ディスプレイ部
４     …データ入力部
５     …装置本体部
１１   …データ記録部
１２   …ＲＯＭ
１３   …ＲＡＭ
１４   …ＣＰＵ（設定値割当手段、貢献度算出手段、特徴ベクトル生成手段、ワープ画像生成手段、モーフィング画像生成手段、乱数値生成手段）