(57)【特許請求の範囲】
【請求項１】
被写体の裏側を擬似的に表す裏面画像を生成する画像生成装置を用いた画像生成方法であって、
被写体領域が含まれる被写体画像を取得する取得ステップと、
取得された被写体画像の被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭の色情報を特定する第１特定ステップと、
特定された前記裏面画像の被写体対応領域の輪郭の色情報に基づいて、前記裏面画像の被写体対応領域における輪郭よりも内側領域の色情報を特定する第２特定ステップと、
特定された前記裏面画像の被写体対応領域の輪郭の色情報及び前記内側領域の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭及び前記内側領域をそれぞれ描画して生成する生成ステップと、
を含むことを特徴とする画像生成方法。
【請求項２】
前記第１特定ステップは、更に、
前記被写体画像内で被写体領域の位置を示す二値画像の輪郭の形状を基準として、前記裏面画像の被写体対応領域の輪郭の色情報を特定することを特徴とする請求項１に記載の画像生成方法。
【請求項３】
前記第１特定ステップは、更に、
前記二値画像の輪郭上に存する一の着目点と、当該一の着目点から所定の一方向に延在する直線上に存し、前記二値画像の前記一の着目点と反対側の境界を構成する境界点とを特定し、前記被写体画像の被写体領域の輪郭部分における前記一の着目点及び前記境界点の各々に対応する各画素の画素値に基づいて、当該一の着目点に対応する前記裏面画像の被写体対応領域の輪郭を構成する画素の画素値を特定することを特徴とする請求項２に記載の画像生成方法。
【請求項４】
前記第１特定ステップは、更に、
前記被写体画像の被写体領域の輪郭部分における前記一の着目点及び前記境界点の各々に対応する各画素よりも所定の画素数内側の各画素の画素値に基づいて、前記裏面画像の被写体対応領域の輪郭を構成する画素の画素値を特定することを特徴とする請求項３に記載の画像生成方法。
【請求項５】
前記第１特定ステップは、更に、
前記被写体画像の被写体領域の輪郭部分における前記一の着目点及び前記境界点の各々に対応する各画素を基準とする各所定領域内の複数の画素の画素値に基づいて、前記裏面画像の被写体対応領域の輪郭を構成する画素の画素値を特定することを特徴とする請求項３に記載の画像生成方法。
【請求項６】
前記第２特定ステップは、更に、
前記裏面画像の被写体対応領域の輪郭の色情報に基づいて当該輪郭の色が描画された輪郭線画像を基準として、所定領域内の少なくとも一の画素の画素値に重みを付けて演算して前記裏面画像における前記内側領域を構成する処理対象の画素の画素値を算出するためのウィンドウの形状を前記処理対象の画素の位置に応じて異ならせた収縮処理を行って、前記裏面画像における前記内側領域の色情報を特定することを特徴とする請求項１〜５の何れか一項に記載の画像生成方法。
【請求項７】
前記取得ステップは、背景と被写体とが存在する画像から被写体が含まれる被写体領域を切り抜いた画像を前記被写体画像として取得することを特徴とする請求項１〜６の何れか一項に記載の画像生成方法。
【請求項８】
被写体の裏側を擬似的に表す裏面画像を生成する画像生成装置であって、
被写体領域が含まれる被写体画像を取得する取得手段と、
この取得手段により取得された被写体画像の被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭の色情報を特定する第１特定手段と、
この第１特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報に基づいて、前記裏面画像の被写体対応領域における輪郭よりも内側領域の色情報を特定する第２特定手段と、
前記第１特定手段及び前記第２特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報及び前記内側領域の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭及び前記内側領域をそれぞれ描画して生成する生成手段と、
を備えたことを特徴とする画像生成装置。
【請求項９】
被写体の裏側を擬似的に表す裏面画像を生成する画像生成装置のコンピュータを、
被写体領域が含まれる被写体画像を取得する取得手段、
この取得手段により取得された被写体画像の被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭の色情報を特定する第１特定手段、
この第１特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報に基づいて、前記裏面画像の被写体対応領域における輪郭よりも内側領域の色情報を特定する第２特定手段、
前記第１特定手段及び前記第２特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報及び前記内側領域の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭及び前記内側領域をそれぞれ描画して生成する生成手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、正面画像から裏面画像を生成する画像生成方法、画像生成装置及びプログラムに関する。
【背景技術】
【０００２】
従来、二次元の静止画像内の所望の位置に制御点を設定して、動きをつけたい制御点に所望の動きを指定することで当該静止画像を動かす技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４６１３３１３号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の技術において、静止画像を所定方向に回転させる場合、当該静止画像の裏側（背面側）を表現する上で当該裏側の画像を別途用意しなければならないといった問題がある。
【０００５】
本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、裏面画像の生成を簡便に行うことができる画像生成方法、画像生成装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る画像生成方法は、
被写体の裏側を擬似的に表す裏面画像を生成する画像生成装置を用いた画像生成方法であって、被写体領域が含まれる被写体画像を取得する取得ステップと、取得された被写体画像の被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭の色情報を特定する第１特定ステップと、特定された前記裏面画像の被写体対応領域の輪郭の色情報に基づいて、前記裏面画像の被写体対応領域における輪郭よりも内側領域の色情報を特定する第２特定ステップと、特定された前記裏面画像の被写体対応領域の輪郭の色情報及び前記内側領域の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭及び前記内側領域をそれぞれ描画して生成する生成ステップと、を含むことを特徴としている。
【０００７】
また、本発明に係る画像生成装置は、
被写体の裏側を擬似的に表す裏面画像を生成する画像生成装置であって、被写体領域が含まれる被写体画像を取得する取得手段と、この取得手段により取得された被写体画像の被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭の色情報を特定する第１特定手段と、この第１特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報に基づいて、前記裏面画像の被写体対応領域における輪郭よりも内側領域の色情報を特定する第２特定手段と、前記第１特定手段及び前記第２特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報及び前記内側領域の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭及び前記内側領域をそれぞれ描画して生成する生成手段と、を備えたことを特徴としている。
【０００８】
また、本発明に係るプログラムは、
被写体の裏側を擬似的に表す裏面画像を生成する画像生成装置のコンピュータを、被写体領域が含まれる被写体画像を取得する取得手段、この取得手段により取得された被写体画像の被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭の色情報を特定する第１特定手段、この第１特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報に基づいて、前記裏面画像の被写体対応領域における輪郭よりも内側領域の色情報を特定する第２特定手段、前記第１特定手段及び前記第２特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報及び前記内側領域の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭及び前記内側領域をそれぞれ描画して生成する生成手段、として機能させることを特徴としている。
【発明の効果】
【０００９】
本発明によれば、裏面画像の生成を簡便に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を適用した一実施形態の動画生成システムの概略構成を示すブロック図である。
【図２】図１の動画生成システムを構成するユーザ端末の概略構成を示すブロック図である。
【図３】図１の動画生成システムを構成するサーバの概略構成を示すブロック図である。
【図４】図３のサーバによる裏面画像の生成を説明するための図である。
【図５】図１の動画生成システムによる動画生成処理に係る動作の一例を示すフローチャートである。
【図６】図５の動画生成処理の続きを示すフローチャートである。
【図７】図５の動画生成処理における裏面画像生成処理に係る動作の一例を示すフローチャートである。
【図８】図７の裏面画像生成処理における輪郭描画処理に係る動作の一例を示すフローチャートである。
【図９】図７の裏面画像生成処理に係る画像の一例を模式的に示す図である。
【図１０】図７の裏面画像生成処理に係る画像の一例を模式的に示す図である。
【図１１】図７の裏面画像生成処理に係る画像の一例を模式的に示す図である。
【図１２】図７の裏面画像生成処理に係る画像の一例を模式的に示す図である。
【図１３】図７の裏面画像生成処理に係る画像の一例を模式的に示す図である。
【発明を実施するための形態】
【００１１】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の動画生成システム１００の概略構成を示すブロック図である。
【００１２】
本実施形態の動画生成システム１００は、図１に示すように、撮像装置１と、ユーザ端末２と、サーバ３とを備え、ユーザ端末２とサーバ３とが所定の通信ネットワークＮを介して各種情報を送受信可能に接続されている。
【００１３】
先ず、撮像装置１について説明する。
撮像装置１は、被写体を撮像する撮像機能や撮像画像の画像データを記録媒体Ｃに記録する記録機能等を具備する。即ち、撮像装置１は、公知のものを適用可能であり、例えば、主要な機能を撮像機能とするデジタルカメラだけでなく、主要な機能としないものの撮像機能を具備する携帯電話機等の携帯端末なども含む。
【００１４】
次に、ユーザ端末２について図２を参照して説明する。
ユーザ端末２は、例えば、パーソナルコンピュータ等により構成され、サーバ３により開設されるＷｅｂページ（例えば、動画生成用ページ）にアクセスして、当該Ｗｅｂページ上で各種の指示を入力する。
【００１５】
図２は、ユーザ端末２の概略構成を示すブロック図である。
図２に示すように、ユーザ端末２は、具体的には、中央制御部２０１と、操作入力部２０２と、表示部２０３と、音出力部２０４と、記録媒体制御部２０５と、通信制御部２０６等を備えている。
【００１６】
中央制御部２０１は、ユーザ端末２の各部を制御する。具体的には、中央制御部２０１は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、ＲＯＭに記憶されたユーザ端末２用の各種処理プログラム（図示略）に従って各種の制御動作を行う。その際に、ＣＰＵは、ＲＡＭ内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部２０３に表示させる。
ＲＡＭは、例えば、ＣＰＵにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ＲＯＭは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、ユーザ端末２で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
【００１７】
操作入力部２０２は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等を備え、ユーザにより押下されたキーの押下信号やマウスの操作信号を中央制御部２０１のＣＰＵに出力する。
なお、操作入力部２０２としてタッチパネル（図示略）を表示部２０３の表示画面に配設して、タッチパネルの接触位置に応じて各種の指示を入力するような構成としても良い。
【００１８】
表示部２０３は、例えば、ＬＣＤ、ＣＲＴ（Cathode Ray Tube）等のディスプレイから構成され、中央制御部２０１のＣＰＵの制御下にて各種情報を表示画面に表示する。
即ち、表示部２０３は、例えば、サーバ３から送信され通信制御部２０６により受信されたＷｅｂページ（例えば、動画生成用ページ）のページデータに基づいて、対応するＷｅｂページを表示画面に表示する。具体的には、表示部２０３は、動画生成処理（後述）に係る各種の処理画面の画像データに基づいて、各種の処理画面を表示画面に表示する。
【００１９】
音出力部２０４は、例えば、Ｄ／Ａコンバータ、ＬＰＦ（Low Pass Filter）、増幅器、スピーカ等により構成され、中央制御部２０１のＣＰＵの制御下にて放音する。
即ち、音出力部２０４は、例えば、サーバ３から送信され通信制御部２０６により受信された演奏情報に基づいて、当該演奏情報のデジタルデータをＤ／Ａコンバータによりアナログデータに変換し、増幅器を介してスピーカから、所定の音色、音高、音長で曲を放音する。また、音出力部２０４は、一の音源（例えば、楽器）の音を放音しても良いし、複数の音源の音を同時に放音しても良い。
【００２０】
記録媒体制御部２０５は、記録媒体Ｃが着脱自在に構成され、装着された記録媒体Ｃからのデータの読み出しや記録媒体Ｃに対するデータの書き込みを制御する。即ち、記録媒体制御部２０５は、撮像装置１から取り外されて装着された記録媒体Ｃから動画生成処理（後述）に係る被写体存在画像（図示略）の画像データ（ＹＵＶデータ）を読み出して通信制御部２０６に出力する。
ここで、被写体存在画像とは、所定の背景内に主要な被写体が存在する画像のことである。また、記録媒体Ｃには、撮像装置１の画像処理部（図示略）により所定の符号化形式（例えば、ＪＰＥＧ形式等）に従って符号化された被写体存在画像の画像データが記録されている。
そして、通信制御部２０６は、入力された被写体存在画像の画像データをサーバ３に所定の通信ネットワークＮを介して送信する。
【００２１】
通信制御部２０６は、例えば、モデム（MODEM:Modulater/DEModulater）、ターミナルアダプタ（Terminal Adapter）等によって構成され、所定の通信ネットワークＮを介してサーバ３等の外部機器との間で情報の通信制御を行うためのものである。
【００２２】
なお、通信ネットワークＮは、例えば、専用線や既存の一般公衆回線を利用して構築された通信ネットワークであり、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の様々な回線形態を適用することが可能である。また、通信ネットワークＮには、例えば、電話回線網、ＩＳＤＮ回線網、専用線、移動体通信網、通信衛星回線、ＣＡＴＶ回線網等の各種通信回線網と、それらを接続するインターネットサービスプロバイダ等が含まれる。
【００２３】
次に、サーバ３について図３を参照して説明する。
サーバ３は、Ｗｅｂ（World Wide Web）サーバとしてインターネット上にＷｅｂページ（例えば、動画生成用ページ）を開設する機能を具備するものであり、ユーザ端末２からのアクセスに応じて当該ユーザ端末２にＷｅｂページのページデータを送信する。また、サーバ３は、画像生成装置として、被写体画像の被写体領域Ｐｓの輪郭部分の色情報に基づいて、裏面画像Ｐ９の被写体対応領域の輪郭Ｌの色情報を特定し、当該裏面画像Ｐ９の被写体対応領域の輪郭Ｌの色情報に基づいて、裏面画像Ｐ９の被写体対応領域における輪郭Ｌよりも内側領域Ｍの色情報を特定した後、これら裏面画像Ｐ９の被写体対応領域の輪郭Ｌの色情報及び内側領域Ｍの色情報に基づいて、被写体の裏側を擬似的に表す裏面画像Ｐ９を生成する。
【００２４】
図３は、サーバ３の概略構成を示すブロック図である。
図３に示すように、サーバ３は、具体的には、中央制御部３０１と、表示部３０２と、通信制御部３０３と、被写体切抜部３０４と、記憶部３０５と、動画処理部３０６等を備えて構成されている。
【００２５】
中央制御部３０１は、サーバ３の各部を制御する。具体的には、中央制御部３０１は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、ＣＰＵは、ＲＯＭに記憶されたサーバ３用の各種処理プログラム（図示略）に従って各種の制御動作を行う。その際に、ＣＰＵは、ＲＡＭ内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部３０２に表示させる。
ＲＡＭは、例えば、ＣＰＵにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ＲＯＭは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、サーバ３で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
【００２６】
表示部３０２は、例えば、ＬＣＤ、ＣＲＴ等のディスプレイから構成され、中央制御部３０１のＣＰＵの制御下にて各種情報を表示画面に表示する。
【００２７】
通信制御部３０３は、例えば、モデム、ターミナルアダプタ等によって構成され、所定の通信ネットワークＮを介してユーザ端末２等の外部機器との間で情報の通信制御を行うためのものである。
具体的には、通信制御部３０３は、例えば、動画生成処理（後述）にてユーザ端末２から所定の通信ネットワークＮを介して送信された被写体存在画像の画像データを受信して、当該画像データを中央制御部３０１のＣＰＵに出力する。
中央制御部３０１のＣＰＵは、入力された被写体存在画像の画像データを被写体切抜部３０４に出力する。
【００２８】
被写体切抜部３０４は、被写体存在画像から被写体切り抜き画像Ｐ１（図９（ａ）参照）を生成する。
即ち、被写体切抜部３０４は、公知の被写体切抜手法を用いて、被写体存在画像から被写体が含まれる被写体領域Ｐｓが切り抜かれた被写体切り抜き画像Ｐ１を生成する。具体的には、被写体切抜部３０４は、中央制御部３０１のＣＰＵから出力された被写体存在画像の画像データを取得して、例えば、ユーザによるユーザ端末２の操作入力部２０２（例えば、マウス等）の所定操作に基づいて、表示部２０３に表示されている当該被写体存在画像上に描画された境界線（図示略）により当該被写体存在画像を区分する。続けて、被写体切抜部３０４は、被写体存在画像の切抜線により区分される複数の区分領域の中で、被写体の背景を推定して当該背景の各画素の画素値に基づいて所定の演算を行って、被写体の背景色を所定の単一色として推定する。その後、被写体切抜部３０４は、所定の単一色の背景用画像と被写体存在画像との間で対応する各画素の差分情報（例えば、相違度マップ等）を生成する。そして、被写体切抜部３０４は、生成した差分情報の各画素の画素値を所定の閾値と比較して二値化した後、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理を行って面積が最大の画素集合を被写体部分とする。
その後、被写体切抜部３０４は、例えば、上記の面積が最大の画素集合が「１」、その他の部分が「０」である二値化された差分情報に対してローパスフィルタを施して境界部分に中間値を生じさせることでアルファ値を生成し、被写体切り抜き画像Ｐ１内で被写体領域Ｐｓの位置を示す位置情報としてのアルファマップ（図示略）を生成する。
アルファ値（０≦α≦１）とは、例えば、被写体存在画像の各画素について、被写体領域Ｐｓの画像を所定の背景に対してアルファブレンディングする際の重みを表すものである。この場合、被写体領域Ｐｓはアルファ値が「１」となり、被写体存在画像の所定の背景に対する透過度が０％となる。一方、被写体の背景部分はアルファ値が「０」となり、当該被写体存在画像の所定の背景に対する透過度が１００％となる。
【００２９】
そして、被写体切抜部３０４は、アルファマップに基づいて、被写体存在画像の各画素のうち、アルファ値が「１」の画素を所定の単一色画像に対して透過させずに、且つ、アルファ値が「０」の画素を透過させるように、被写体画像を所定の単一色画像と合成して被写体切り抜き画像Ｐ１の画像データを生成する。
また、被写体切抜部３０４は、アルファマップに基づいて、被写体領域（図９（ｂ）中、白で表す領域）の各画素を第１の画素値（例えば、「１」等）とし、背景領域（図９（ｂ）中、黒で表す領域）の各画素を第１の画素値と異なる第２の画素値（例えば、「０」等）とする二値画像Ｐ２（図９（ｂ）参照）、即ち、被写体切り抜き画像Ｐ１内で被写体領域の位置を示す位置情報としての二値画像Ｐ２を生成する。
被写体切り抜き画像Ｐ１の画像データは、例えば、生成されたアルファマップや二値画像Ｐ２等の位置情報と対応付けられたデータである。
【００３０】
なお、上記した被写体切抜部３０４による被写体切抜手法は、一例であってこれに限られるものではなく、被写体存在画像から被写体が含まれる被写体領域Ｐｓを切り抜く公知の手法であれば如何なる手法を適用しても良い。
また、被写体切り抜き画像Ｐ１の画像データとしては、例えば、ＲＧＢＡ形式の画像データを適用しても良く、具体的には、ＲＧＢ色空間で規定される各色に透過度（Ａ）の情報が付加されている。この場合には、被写体切抜部３０４は、透過度（Ａ）の情報を利用して、被写体切り抜き画像Ｐ１内で被写体領域の位置を示す二値画像（図示略）を生成しても良い。
【００３１】
記憶部３０５は、例えば、半導体の不揮発メモリやＨＤＤ（Hard Disc Drive）等により構成され、ユーザ端末２に送信されるＷｅｂページのページデータや被写体切抜部３０４により生成された被写体切り抜き画像Ｐ１の画像データ等を記憶する。
【００３２】
また、記憶部３０５は、動画生成処理に用いられる動き情報３０５ａを複数記憶している。
各動き情報３０５ａは、所定空間、即ち、例えば、互いに直交する二軸（例えば、ｘ軸、ｙ軸等）により規定される二次元の平面空間やこれら二軸に加えて当該二軸に直交する軸（例えば、ｚ軸等）により規定される三次元の立体的空間内における複数の可動点の動きを示す情報である。なお、動き情報３０５ａは、二次元の平面空間を所定の回動軸周りに回転させることで複数の可動点の動きに奥行きをもたせるような情報であっても良い。
ここで、各可動点の位置は、動きのモデルとなる動体モデル（例えば、ヒトや動物等）の骨格の形状や関節の位置等を考慮してそれぞれ規定されている。また、可動点の個数は、動体モデルの形状や大きさ等に応じて適宜任意に設定可能である。
また、各動き情報３０５ａは、所定空間内にて複数の可動点の全て若しくは少なくとも一つを移動させた座標情報を所定の時間間隔で連続して並べることで、複数の可動点の動きが連続して表されている。なお、複数の可動点の座標情報の各々は、例えば、基準となる可動点の座標情報に対する各可動点の移動量を規定した情報であっても良いし、各可動点の絶対位置座標を規定した情報であっても良い。
【００３３】
また、記憶部３０５は、動画生成処理に用いられる演奏情報３０５ｂを複数記憶している。
演奏情報３０５ｂは、動画処理部３０６の動画再生部３０６ｈ（後述）により動画像とともに自動的に曲を演奏するための情報である。即ち、演奏情報３０５ｂは、例えば、テンポ、拍子、音程、音階、調、発想標語等を異ならせて複数規定され、それぞれ曲名と対応付けて記憶されている。
また、各演奏情報３０５ｂは、例えば、ＭＩＤＩ（Musical Instruments Digital Interface）規格等に従って規定されたデジタルデータであり、具体的には、トラック数や四分音符の分解能（Tickカウント数）等が規定されたヘッダ情報と、各パートに割り当てられた音源（例えば、楽器等）に供給させるイベント及びタイミングかならなるトラック情報等を有している。このトラック情報のイベントとして、例えば、テンポあるいは拍子の変更や、NoteOn・Offを指示する情報などがある。
【００３４】
動画処理部３０６は、画像取得部３０６ａと、第１色特定部３０６ｂと、第１描画部３０６ｃと、第２色特定部３０６ｄと、第２描画部３０６ｅと、制御点設定部３０６ｆと、フレーム生成部３０６ｇと、動画再生部３０６ｈとを具備している。
【００３５】
画像取得部３０６ａは、動画生成処理に用いられる静止画像を取得する。
即ち、画像取得部３０６ａは、取得手段として、背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域Ｐｓが切り抜かれた被写体切り抜き画像（被写体画像）Ｐ１を取得する。具体的には、画像取得部３０６ａは、被写体切抜部３０４により生成された被写体切り抜き画像Ｐ１の画像データを処理対象の静止画像として取得する。
【００３６】
第１色特定部３０６ｂは、被写体の裏側を擬似的に表す裏面画像Ｐ９の被写体対応領域の輪郭Ｌの色情報を特定する。
即ち、第１色特定部３０６ｂは、第１特定手段として、画像取得部３０６ａにより取得された被写体切り抜き画像Ｐ１の被写体領域Ｐｓの輪郭部分の色情報に基づいて、裏面画像Ｐ９の被写体対応領域の輪郭Ｌの色情報を特定する。ここで、第１色特定部３０６ｂは、被写体切抜部３０４により生成された被写体切り抜き画像Ｐ１内で被写体領域Ｐｓの位置を示す二値画像Ｐ２（図９（ｂ）参照）を取得して、当該二値画像Ｐ２の輪郭の形状を基準として、裏面画像Ｐ９の被写体対応領域の輪郭Ｌの色情報を特定する。
【００３７】
具体的には、第１色特定部３０６ｂは、二値画像Ｐ２の被写体領域の輪郭を構成する所定数（例えば、一つ）の画素からなる輪郭画像Ｐ３（図１０（ａ）参照）を生成した後、当該輪郭画像Ｐ３を構成する複数の画素の各々の座標（ｘ，ｙ）を取得する。
次に、第１色特定部３０６ｂは、輪郭画像Ｐ３を構成する複数の画素の各々を着目点Ａ１として指定して、当該各着目点Ａ１の座標（ｘ，ｙ）を取得する（図１０（ｂ）参照）。即ち、第１色特定部３０６ｂは、二値画像Ｐ２の輪郭に対応する輪郭画像Ｐ３上に存する各画素を一の着目点Ａ１として指定する。なお、図１０（ｂ）には、図１０（ａ）に示す輪郭画像Ｐ３の一部分の拡大図を模式的に示し、一の着目点Ａ１に斜線を付して表している。
続けて、第１色特定部３０６ｂは、各着目点Ａ１に対応する二値画像Ｐ２上の各対応着目点Ｂ１から所定の一方向に延在する直線上に存し、当該二値画像Ｐ２の被写体領域における対応着目点Ｂ１と反対側の境界を構成する各境界点Ｂ２を特定する。即ち、輪郭画像Ｐ３上の一の着目点Ａ１に対応する二値画像Ｐ２上の対応着目点Ｂ１の周辺の画素の何れかが必ず背景領域（第２の画素値「０」）となることから、第１色特定部３０６ｂは、各対応着目点Ｂ１の水平方向（ｘ軸方向）に隣合う二つの画素のうち、何れの画素が第２の画素値「０」の背景領域となるかによって当該対応着目点Ｂ１に対する内側方向（図１１（ａ）中、矢印で図示）を特定する。なお、対応着目点Ｂ１の水平方向（ｘ軸方向）に隣合う二つの画素の何れもが第２の画素値「０」の背景領域となる場合については、後述する。
次に、第１色特定部３０６ｂは、特定された内側方向に延在する直線上を内側方向に一画素ずつ探索していき、画素値が第１の画素値「１」から第２の画素値「０」に変化する画素の一つ前の画素、即ち、二値画像Ｐ２の対応着目点Ｂ１と反対側の境界を構成し、第２の画素値「０」の画素に隣接する第１の画素値「１」を有する一の画素を境界点Ｂ２として特定する。そして、第１色特定部３０６ｂは、特定された境界点Ｂ２の座標（ｘ，ｙ）を取得する（図１１（ａ）参照）。なお、図１１（ａ）には、二値画像Ｐ２における図１０（ｂ）に示す輪郭画像Ｐ３の一部分に対応する部分を模式的に示し、一の対応着目点Ｂ１及び境界点Ｂ２に斜線を付して表している。
【００３８】
次に、第１色特定部３０６ｂは、被写体切り抜き画像Ｐ１の被写体領域Ｐｓの輪郭部分における一の対応着目点Ｂ１及び境界点Ｂ２の各々に対応する各画素の画素値に基づいて、当該一の対応着目点Ｂ１に対応する裏面画像Ｐ９の被写体対応領域の輪郭Ｌを構成する画素の画素値（平均値）を特定する。
即ち、第１色特定部３０６ｂは、取得した対応着目点Ｂ１及び境界点Ｂ２の各々の座標（ｘ，ｙ）に基づいて、被写体切り抜き画像Ｐ１の被写体領域Ｐｓの輪郭部分における当該一の対応着目点Ｂ１及び境界点Ｂ２の各々に対応する各画素の画素値を取得する。そして、第１色特定部３０６ｂは、取得した各画素の画素値に基づいて所定の演算を行って代表値（例えば、平均値等）を算出し、裏面画像Ｐ９における対応着目点Ｂ１に対応する画素の画素値として特定する。
【００３９】
また、第１色特定部３０６ｂは、被写体領域Ｐｓの切り抜きの際に被写体存在画像の背景の一部が誤って切り抜かれている虞があることも考慮して、被写体切り抜き画像Ｐ１の被写体領域Ｐｓの輪郭部分における一の対応着目点Ｂ１及び境界点Ｂ２の各々に対応する各画素よりも所定の画素数（例えば、対応着目点Ｂ１と境界点Ｂ２との間の画素数の１／１０程度等）内側の各画素の画素値に基づいて、裏面画像Ｐ９の被写体対応領域の輪郭Ｌを構成する画素の画素値を特定しても良い。即ち、第１色特定部３０６ｂは、被写体領域Ｐｓの輪郭部分における一の対応着目点Ｂ１に対応する画素よりも所定の画素数だけ境界点Ｂ２側の画素や、被写体領域Ｐｓの輪郭部分における一の境界点Ｂ２に対応する画素よりも所定の画素数だけ対応着目点Ｂ１側の画素を特定する。そして、第１色特定部３０６ｂは、特定された各画素の画素値に基づいて所定の演算を行って代表値（例えば、平均値等）を算出し、裏面画像Ｐ９の被写体対応領域の輪郭Ｌを構成する画素の画素値を特定しても良い。
同様に、第１色特定部３０６ｂは、被写体領域Ｐｓの輪郭部分における一の対応着目点Ｂ１及び境界点Ｂ２の各々に対応する各画素を基準とする各所定領域内の複数の画素の画素値に基づいて、裏面画像Ｐ９の被写体対応領域の輪郭Ｌを構成する画素の画素値を特定しても良い。即ち、第１色特定部３０６ｂは、被写体領域Ｐｓの輪郭部分における一の対応着目点Ｂ１や境界点Ｂ２に対応する各画素から被写体領域Ｐｓの内側に所定の距離分（例えば、対応着目点Ｂ１と境界点Ｂ２との間の画素数の１／１０程度等）入り込んだ各所定領域を設定する。そして、第１色特定部３０６ｂは、設定された各所定領域内の複数の周辺画素の画素値に基づいて所定の演算を行って代表値（例えば、平均値等）を算出し、裏面画像Ｐ９の被写体対応領域の輪郭Ｌを構成する画素の画素値を特定しても良い。このとき、第１色特定部３０６ｂは、対応着目点Ｂ１や境界点Ｂ２に対応する各画素の画素値と各所定領域の周辺画素の画素値とを比較して、対応着目点Ｂ１や境界点Ｂ２に対応する各画素の画素値が周辺画素の画素値に対して所定値以上大きい場合には、周辺画素の画素値を裏面画像Ｐ９の被写体対応領域の輪郭Ｌを構成する画素の画素値として採用しても良い。
【００４０】
また、対応着目点Ｂ１に対して境界点Ｂ２を特定できなかった場合、即ち、対応着目点Ｂ１の水平方向（ｘ軸方向）に隣合う二つの画素の何れもが第２の画素値「０」の背景領域となった場合、第１色特定部３０６ｂは、被写体切り抜き画像Ｐ１の被写体領域Ｐｓにおける当該一の対応着目点Ｂ１に対応する画素の画素値を、当該一の対応着目点Ｂ１に対応する裏面画像Ｐ９の被写体対応領域の輪郭Ｌを構成する画素の画素値として特定する。
【００４１】
また、第１色特定部３０６ｂは、輪郭画像Ｐ３を構成する複数の画素の全てを着目点Ａ１として、上記の各処理を実行して、裏面画像Ｐ９の被写体対応領域の輪郭Ｌを構成する各画素の色情報を取得する。
【００４２】
第１描画部３０６ｃは、裏面画像Ｐ９の被写体対応領域の輪郭Ｌを描画する。
即ち、第１描画部３０６ｃは、生成手段として、第１色特定部３０６ｂにより特定された裏面画像Ｐ９の被写体対応領域の輪郭Ｌを構成する各画素の色情報に基づいて、裏面画像Ｐ９の被写体対応領域の輪郭Ｌを構成する各画素を描画する。具体的には、第１描画部３０６ｃは、例えば、被写体切り抜き画像Ｐ１と水平方向（ｘ軸方向）及び垂直方向（ｙ軸方向）の画素数が等しい背面生成用画像Ｐ５を生成した後、第１色特定部３０６ｂにより特定された各対応着目点Ｂ１の座標（ｘ，ｙ）及び裏面画像Ｐ９における各対応着目点Ｂ１に対応する各画素の画素値（例えば、平均値等）に基づいて、背面生成用画像Ｐ５上に当該裏面画像Ｐ９の被写体対応領域の輪郭Ｌを構成する各画素を描画する。これにより、第１描画部３０６ｃは、背面生成用画像Ｐ５上に裏面画像Ｐ９の被写体対応領域の輪郭Ｌのみが描画された輪郭線画像Ｐ４（図１１（ｂ）参照）を生成する。
【００４３】
第２色特定部３０６ｄは、裏面画像Ｐ９の被写体対応領域における輪郭Ｌの内側領域Ｍの色情報を特定する。
即ち、第２色特定部３０６ｄは、第２特定手段として、第１色特定部３０６ｂにより特定された裏面画像Ｐ９の被写体対応領域の輪郭Ｌの色情報に基づいて、裏面画像Ｐ９の被写体対応領域における輪郭Ｌよりも内側領域Ｍの色情報を特定する。
具体的には、第２色特定部３０６ｄは、被写体切抜部３０４により生成された二値画像Ｐ２（図９（ｂ）参照）を取得して、当該二値画像Ｐ２の被写体領域に対して収縮処理を施す。即ち、第２色特定部３０６ｄは、二値画像Ｐ２内で所定形状のウィンドウＷ（カーネル；図４（ａ）及び図４（ｂ）参照）を所定方向に走査していき、当該二値画像Ｐ２の被写体領域に対する収縮処理を行う。
ウィンドウＷは、処理対象の画素に対応する一の領域を基準位置（例えば、中心）とするとともに、所定数の画素に対応する所定数の所定領域からなる。そして、第２色特定部３０６ｄは、ウィンドウＷの所定領域内の少なくとも一の画素の画素値に重みを付けて演算して処理対象の画素の画素値を算出する。つまり、第２色特定部３０６ｄは、ウィンドウＷの所定領域内の少なくとも一の画素の画素値を利用し、一の領域内の画素を処理対象の画素として、所定の演算式に従って代表値（例えば、平均値）を算出して当該処理対象の画素の画素値とする。例えば、第２色特定部３０６ｄは、処理対象の画素に対応する中央領域の左側（図４（ｃ）及び図４（ｄ）参照）や右側や上側や下側の所定数の領域を所定領域として、当該所定領域内の少なくとも一の画素の画素値を利用して代表値（処理対象の画素の画素値）を算出する。
【００４４】
また、第２色特定部３０６ｄは、二値画像Ｐ２の被写体領域における処理対象の画素の位置に応じて、ウィンドウＷ（カーネル；図４（ａ）及び図４（ｂ）参照）の形状を異ならせて収縮処理を行う。具体的には、第２色特定部３０６ｄは、例えば、二値画像Ｐ２の被写体領域のうち、垂直方向の略中央部よりも上側（被写体の頭側）に存する画素に対しては、水平方向及び垂直方向の画素値の影響を略均等に受けるように正方形（例えば、３×３画素等）のウィンドウＷ１を収縮処理に適用し（図４（ａ）参照）、その一方で、略中央部よりも下側（被写体の足側）に存する画素に対しては、水平方向の画素値の影響を強くし、垂直方向の画素値の影響を弱くするように横長の矩形（例えば、３画素）のウィンドウＷ２を収縮処理に適用する（図４（ｂ）参照）。例えば、図４（ａ）に示すように、第２色特定部３０６ｄは、処理対象の画素に対応する中央領域の左側の３つの領域を所定領域として、当該３つの領域内の各画素の画素値を利用して処理対象の画素の画素値を算出する。また、例えば、図４（ｂ）に示すように、第２色特定部３０６ｄは、処理対象の画素に対応する中央領域の左側の１つの領域を所定領域として、当該１つの領域内の画素の画素値を利用して処理対象の画素の画素値を算出する。
【００４５】
これにより、第２色特定部３０６ｄは、二値画像Ｐ２の被写体領域の輪郭位置を一画素分内側に収縮させた収縮二値画像Ｐ６（図１２（ａ）参照）を生成する。そして、第２色特定部３０６ｄは、収縮二値画像Ｐ６の被写体領域の輪郭を構成する複数の画素のみからなる収縮輪郭画像Ｐ７（図１２（ｂ）参照）を生成した後、当該収縮輪郭画像Ｐ７を構成する複数の画素の各々の座標（ｘ，ｙ）を取得する。
また、第２色特定部３０６ｄは、上記の二値画像Ｐ２の収縮処理を収縮後の二値画像Ｐ２（Ｐ６）に被写体領域が残っていないと判定されるまで繰り返し実行する。
【００４６】
また、第２色特定部３０６ｄは、第１描画部３０６ｃにより背面生成用画像Ｐ５上に裏面画像Ｐ９の被写体対応領域の輪郭Ｌのみが描画された輪郭線画像Ｐ４を基準として、上記の二値画像Ｐ２の収縮処理と同様に、輪郭線画像Ｐ４の処理対象の画素の位置に応じてウィンドウＷの形状を異ならせて収縮処理を行う。
即ち、第２色特定部３０６ｄは、輪郭線画像Ｐ４を処理対象の画像として、輪郭線画像Ｐ４を構成する各画素のうち、垂直方向の略中央部よりも上側（被写体の頭側）に存する画素に対しては、水平方向及び垂直方向の画素値の影響を略均等に受けるように正方形（例えば、３×３画素等）のウィンドウＷ１を収縮処理に適用し（図４（ａ）参照）、その一方で、略中央部よりも下側（被写体の足側）に存する画素に対しては、水平方向の画素値の影響を強くし、垂直方向の画素値の影響を弱くするように横長の矩形（例えば、３画素）のウィンドウＷ２を収縮処理に適用する（図４（ｂ）参照）。
そして、第２色特定部３０６ｄは、裏面画像Ｐ９の被写体対応領域の輪郭Ｌの内側領域Ｍに対応する画素を処理対象の画素として、裏面画像Ｐ９の被写体対応領域の輪郭Ｌを構成する各画素のうち、ウィンドウＷの所定領域内の少なくとも一の画素の画素値に基づいて、所定の演算式に従って代表値（例えば、平均値）を算出する。即ち、第２色特定部３０６ｄは、裏面画像Ｐ９の被写体対応領域の輪郭Ｌ（輪郭線画像Ｐ４）を構成する各画素の画素値に基づいて、ウィンドウＷの所定領域内の少なくとも一の画素の画素値に重みを付けて演算し、裏面画像Ｐ９における輪郭よりも一画素分内側の領域の処理対象の画素の画素値を算出する。
【００４７】
また、第２色特定部３０６ｄは、上記の裏面画像Ｐ９の被写体対応領域における輪郭Ｌよりも内側領域Ｍの各画素の画素値の算出処理を、収縮後の二値画像Ｐ２（Ｐ６）に被写体領域が残っていないと判定されるまで繰り返し実行する。即ち、第２色特定部３０６ｄは、第２描画部３０６ｅにより背面生成用画像Ｐ５上に裏面画像Ｐ９の被写体対応領域における輪郭Ｌよりも所定画素分内側の領域Ｍが描画された背面生成途中画像Ｐ８（図１３（ａ）参照）が生成される毎に（後述）、当該背面生成途中画像Ｐ８を基準として、上記の画素値の算出処理を繰り返し実行して、当該背面生成途中画像Ｐ８の描画済みの最も内側の各画素よりも一画素分内側の領域Ｍの画素の画素値を逐次算出する。
【００４８】
第２描画部３０６ｅは、裏面画像Ｐ９の被写体対応領域における輪郭Ｌよりも内側領域Ｍを描画する。
即ち、第２描画部３０６ｅは、生成手段として、第２色特定部３０６ｄにより特定された裏面画像Ｐ９の被写体対応領域の輪郭Ｌよりも内側領域Ｍを構成する各画素の色情報に基づいて、裏面画像Ｐ９の内側領域Ｍを構成する各画素を描画する。具体的には、第２描画部３０６ｅは、例えば、第２色特定部３０６ｄにより特定された収縮輪郭画像Ｐ７を構成する複数の画素の各々の座標（ｘ，ｙ）及び裏面画像Ｐ９の被写体対応領域の輪郭Ｌよりも一画素分内側の領域Ｍを構成する各画素の画素値（例えば、平均値等）に基づいて、輪郭線画像Ｐ４上に当該裏面画像Ｐ９の被写体対応領域の輪郭Ｌよりも一画素分内側の領域Ｍを構成する各画素を描画する。これにより、第２描画部３０６ｅは、背面生成用画像Ｐ５上に裏面画像Ｐ９の被写体対応領域の輪郭Ｌ及び当該輪郭Ｌよりも一画素分内側の領域Ｍが描画された背面生成途中画像Ｐ８（図１３（ａ）参照）を生成する。
【００４９】
また、第２描画部３０６ｅは、上記の背面生成途中画像Ｐ８の生成処理を、第２色特定部３０６ｄにより背面生成途中画像Ｐ８の描画済みの最も内側の各画素よりも一画素分内側の領域Ｍの画素の画素値が逐次算出される毎に繰り返し実行する。即ち、第２描画部３０６ｅは、第２色特定部３０６ｄにより特定された収縮後の二値画像Ｐ２に対応する収縮輪郭画像Ｐ７を構成する複数の画素の各々の座標（ｘ，ｙ）及び背面生成途中画像Ｐ８の描画済みの最も内側の各画素よりも一画素分内側の領域Ｍの画素の画素値（例えば、平均値等）に基づいて、背面生成途中画像Ｐ８上に当該描画済みの最も内側の各画素よりも一画素分内側の領域Ｍを構成する各画素を逐次描画する。
そして、第２描画部３０６ｅは、最終的に被写体対応領域の輪郭Ｌ及び当該輪郭Ｌよりも内側の全ての領域Ｍが描画された裏面画像Ｐ９（図１３（ｂ）参照）を生成する。
【００５０】
制御点設定部３０６ｆは、処理対象となる被写体切り抜き画像Ｐ１の被写体画像内で動き制御点を複数設定する。
即ち、制御点設定部３０６ｆは、画像取得部３０６ａにより取得された被写体切り抜き画像Ｐ１の被写体画像内で複数の可動点に対応する各位置に動き制御点を複数設定する。具体的には、制御点設定部３０６ｆは、記憶部３０５から動体モデル（例えば、動物）の動き情報３０５ａを読み出して、被写体切り抜き画像Ｐ１の被写体画像内で、当該動き情報３０５ａに規定されている基準フレーム（例えば、１フレーム目等）の複数の可動点の各々に対応する動き制御点を、ユーザによるユーザ端末２の操作入力部２０２の所定操作に基づいて指定された所望の位置にそれぞれ設定する。また、制御点設定部３０６ｆは、被写体切り抜き画像Ｐ１の被写体画像内で動き制御点をそれぞれ設定することで、当該被写体切り抜き画像Ｐ１に対応する裏面画像Ｐ９内の所定位置に対してもそれぞれ対応する動き制御点を自動的に設定する。
このとき、動体モデルと被写体画像について、例えば、顔などの主要部の大きさを合わせるように寸法の調整（例えば、動体モデルの拡大や縮小、変形等）を行うようにしても良い。また、例えば、動体モデルと被写体画像を重ね合わせて被写体画像における複数の可動点の各々が対応する位置を特定しても良い。
さらに、制御点設定部３０６ｆは、動き情報３０５ａに規定されている複数の可動点の全てについて、対応する動き制御点を設定しても良いし、被写体の中央部や各先端部等の代表的な所定数の可動点に対応する動き制御点のみ設定しても良い。
【００５１】
なお、制御点設定部３０６ｆは、被写体切り抜き画像Ｐ１の被写体画像内で、記憶部３０５から読み出された動き情報３０５ａに規定されている基準フレーム（例えば、１フレーム目等）の複数の可動点の各々が対応する位置を自動的に特定しても良い。例えば、動き制御点設定部３０６ｆは、被写体の骨格の形状や関節の位置等を考慮して複数の可動点の各々が対応する位置を特定する。そして、制御点設定部３０６ｆは、特定された複数の可動点の各々が対応する位置に動き制御点をそれぞれ設定する。
また、制御点設定部３０６ｆによる動き制御点の設定が自動的に行われた場合であっても、ユーザによる操作入力部の所定操作に基づいて動き制御点の設定位置の修正（変更）を受け付けるようにしても良い。
【００５２】
フレーム生成部３０６ｇは、動画像を構成する複数のフレーム画像を逐次生成する。
即ち、フレーム生成部３０６ｇは、動画処理部３０６により指定された動き情報３０５ａの複数の可動点の動きに追従させるように、被写体切り抜き画像Ｐ１の被写体画像内に設定されている複数の動き制御点を移動させて複数のフレーム画像を逐次生成する。具体的には、フレーム生成部３０６ｇは、例えば、動き情報３０５ａに従って所定の時間間隔で移動する複数の可動点の座標情報を逐次取得して、当該可動点の各々に対応する各動き制御点の座標を算出する。そして、フレーム生成部３０６ｇは、算出された座標に動き制御点を逐次移動させていくとともに、少なくとも一の動き制御点を基準として被写体画像内に設定される所定の画像領域（例えば、三角形や矩形のメッシュ状の領域）を移動させたり変形させることで、基準フレーム画像（図示略）を生成する。
なお、動き制御点を基準とした所定の画像領域を移動させたり変形させる処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００５３】
また、フレーム生成部３０６ｇは、移動後の可動点の各々に対応する複数の制御点に基づいて生成される時間軸に沿って隣合う二つの基準フレーム画像どうしの間を補間する補間フレーム画像（図示略）を生成する。即ち、フレーム生成部３０６ｇは、動画再生部３０６ｈにより複数のフレーム画像が所定の再生フレームレート（例えば、３０ｆｐｓ等）で再生されるように、二つの基準フレーム画像どうしの間を補間する補間フレーム画像を所定数生成する。
具体的には、フレーム生成部３０６ｇは、隣合う二つの基準フレーム画像間における、動画再生部３０６ｈにより演奏される所定の曲の演奏の進行度合を逐次取得して、当該進行度合に応じて、隣合う二つの基準フレーム画像間で再生される補間フレーム画像を逐次生成する。例えば、フレーム生成部３０６ｇは、ＭＩＤＩ規格の演奏情報３０５ｂに基づいてテンポの設定情報及び四分音符の分解能（Tickカウント数）を取得して、動画再生部３０６ｈにより演奏される所定の曲の演奏の経過時間をTickカウント数に変換する。続けて、フレーム生成部３０６ｇは、所定の曲の演奏の経過時間に対応するTickカウント数に基づいて、所定のタイミング（例えば、各小節の一拍目等）に同期させた隣合う二つの基準フレーム画像間における所定の曲の演奏の相対的な進行度合を、例えば百分率で算出する。そして、フレーム生成部３０６ｇは、所定の曲の演奏の相対的な進行度合に応じて、当該隣合う二つの基準フレーム画像に対する重み付けを変えて補間フレーム画像を生成する。
なお、補間フレーム画像を生成する処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００５４】
また、フレーム生成部３０６ｇによる基準フレーム画像や補間フレーム画像の生成は、被写体切り抜き画像Ｐ１の画像データ及びアルファマップ等の位置情報の両方について行われる。
【００５５】
動画再生部３０６ｈは、フレーム生成部３０６ｇにより生成された複数のフレーム画像の各々を再生する。
即ち、動画再生部３０６ｈは、ユーザによるユーザ端末２の操作入力部２０２の所定操作に基づいて指定された演奏情報３０５ｂに基づいて所定の曲を自動的に演奏するとともに、当該所定の曲の所定のタイミングで複数のフレーム画像の各々を再生する。具体的には、動画再生部３０６ｈは、所定の曲の演奏情報３０５ｂのデジタルデータをＤ／Ａコンバータによりアナログデータに変換して当該所定の曲を自動的に演奏させ、このとき、所定のタイミング（例えば、各小節の１拍目や各拍等）に同期させるように隣合う二つの基準フレーム画像を再生するとともに、隣合う二つの基準フレーム画像間における所定の曲の演奏の相対的な進行度合に応じて、当該進行度合に対応する各々の補間フレーム画像を再生する。
なお、動画再生部３０６ｈは、動画処理部３０６により指定された速さで被写体画像に係る複数のフレーム画像を再生しても良い。この場合には、動画再生部３０６ｈは、隣合う二つの基準フレーム画像を同期させるタイミングを変化させることで、所定の単位時間内に再生されるフレーム画像の数を変更して被写体画像の動きの速さを可変させる。
【００５６】
次に、ユーザ端末２及びサーバ３を用いた動画生成処理について図５〜図１３を参照して説明する。
ここで、図５及び図６は、動画生成処理に係る動作の一例を示すフローチャートである。また、図７は、動作生成処理における裏面画像生成処理に係る動作の一例を示すフローチャートである。また、図８は、裏面画像生成処理における輪郭描画処理に係る動作の一例を示すフローチャートである。
なお、以下の説明にあっては、被写体存在画像の画像データから生成された被写体切り抜き画像Ｐ１（図９（ａ）参照）の画像データがサーバ３の記憶部３０５に記憶されているものとする。
【００５７】
図５に示すように、ユーザ端末２の中央制御部２０１のＣＰＵは、ユーザによる操作入力部２０２の所定操作に基づいて、サーバ３により開設される動画生成用ページのアクセス指示が入力されると、当該アクセス指示を通信制御部２０６により所定の通信ネットワークＮを介してサーバ３に送信させる（ステップＳ１）。
サーバ３の通信制御部３０３によって、ユーザ端末２から送信されたアクセス指示が受信されると、中央制御部３０１のＣＰＵは、動画生成用ページのページデータを通信制御部３０３により所定の通信ネットワークＮを介してユーザ端末２に送信させる（ステップＳ２）。
そして、ユーザ端末２の通信制御部２０６によって、動画生成用ページのページデータが受信されると、表示部２０３は、当該動画生成用ページのページデータに基づいて、動画生成用ページの画面（図示略）を表示する。
【００５８】
次に、ユーザ端末２の中央制御部２０１は、ユーザによる操作入力部２０２の所定操作に基づいて、動画生成用ページの画面内にて操作された各種ボタンに対応する指示信号を通信制御部２０６により所定の通信ネットワークＮを介してサーバ３に送信させる（ステップＳ３）。
図６に示すように、サーバ３の中央制御部３０１のＣＰＵは、ユーザ端末２からの指示の内容に応じて処理を分岐させる（ステップＳ４）。具体的には、中央制御部３０１のＣＰＵは、ユーザ端末２からの指示が、被写体画像の指定に関する内容の場合（ステップＳ４；被写体画像の指定）、処理をステップＳ５１に移行させ、また、背景画像の指定に関する内容の場合（ステップＳ４；背景画像の指定）、処理をステップＳ６１に移行させ、また、動き及び曲の指定に関する内容の場合（ステップＳ４；動き及び曲の指定）、処理をステップＳ７１に移行させる。
【００５９】
＜被写体画像の指定＞
ステップＳ４にて、ユーザ端末２からの指示が、被写体画像の指定に関する内容の場合（ステップＳ４；被写体画像の指定）、動画処理部３０６の画像取得部３０６ａは、記憶部３０５に記憶されている被写体切り抜き画像Ｐ１の画像データの中からユーザにより指定された被写体切り抜き画像Ｐ１の画像データを読み出して取得する（ステップＳ５１）。
次に、制御点設定部３０６ｆは、取得された被写体切り抜き画像Ｐ１の被写体画像内で動き制御点が既に設定されているか否かを判定する（ステップＳ５２）。
【００６０】
ステップＳ５２にて、制御点設定部３０６ｆにより動き制御点が設定されていないと判定されると（ステップＳ５２；ＮＯ）、動画処理部３０６は、被写体切り抜き画像Ｐ１の画像データに基づいて、被写体画像の所定位置（例えば、中心位置等）を基準として当該被写体切り抜き画像Ｐ１のトリミングすることで被写体画像と動きモデル（例えば、動物）の大きさが等しくなるように補正する（ステップＳ５３）。
なお、被写体切り抜き画像Ｐ１のトリミングは、当該被写体切り抜き画像Ｐ１の画像データと対応付けられている、例えば、アルファマップや二値画像Ｐ２等の位置情報についても行われる。
その後、動画処理部３０６は、トリミング後の画像の被写体画像の裏側を擬似的に表す裏面画像Ｐ９（図１３（ｂ）参照）を生成する裏面画像生成処理を行う（ステップＳ５４；図７及び図８参照）。
【００６１】
以下に、裏面画像生成処理について図７及び図８を参照して詳細に説明する。
図７に示すように、先ず、動画処理部３０６の第１色特定部３０６ｂは、被写体切抜部３０４により生成済みの二値画像Ｐ２の画像データ（図９（ｂ）参照）を取得する（ステップＳ１０１）。その後、第１色特定部３０６ｂは、二値画像Ｐ２の被写体領域の輪郭を構成する所定数（例えば、一つ）の画素からなる輪郭画像Ｐ３（図１０（ａ）参照）を生成した後（ステップＳ１０２）、当該輪郭画像Ｐ３を構成する複数の画素の各々の座標（ｘ，ｙ）を取得する（ステップＳ１０３）。なお、取得された複数の画素の各々の座標は、所定の格納手段（例えば、所定のメモリ等）に一時的に格納される。
次に、動画処理部３０６は、裏面画像Ｐ９の被写体対応領域の輪郭Ｌを構成する各画素を描画する輪郭描画処理（図８参照）を実行する（ステップＳ１０４）。
【００６２】
以下に、輪郭描画処理について図８を参照して詳細に説明する。
図８に示すように、動画処理部３０６の第１色特定部３０６ｂは、輪郭画像Ｐ３を構成する複数の画素の中で、何れか一の画素を着目点Ａ１として指定した後、当該着目点Ａ１の座標（ｘ，ｙ）を取得する（ステップＳ２０１；図１０（ｂ）参照）。
次に、第１色特定部３０６ｂは、着目点Ａ１に対応する二値画像Ｐ２上の対応着目点Ｂ１を特定した後、当該対応着目点Ｂ１の水平方向（ｘ軸方向）に隣合う二つの画素のうち、何れの画素が第２の画素値「０」の背景領域となるかによって当該対応着目点Ｂ１に対する内側方向（図１１（ａ）中、矢印で図示）を特定する（ステップＳ２０２）。続けて、第１色特定部３０６ｂは、特定された内側方向に延在する直線上を内側方向に一画素ずつ探索していき、当該二値画像Ｐ２の被写体領域における対応着目点Ｂ１と反対側の境界を構成する境界点Ｂ２を特定する（ステップＳ２０３）。
【００６３】
次に、第１色特定部３０６ｂは、裏面画像Ｐ９の被写体対応領域の輪郭Ｌを構成する画素の画素値を算出する（ステップＳ２０４）。
具体的には、第１色特定部３０６ｂは、取得した対応着目点Ｂ１及び境界点Ｂ２の各々の座標（ｘ，ｙ）に基づいて、被写体切り抜き画像Ｐ１の被写体領域Ｐｓの輪郭部分における当該一の対応着目点Ｂ１及び境界点Ｂ２の各々に対応する各画素の画素値を取得した後、各画素の画素値に基づいて所定の演算を行って代表値（例えば、平均値等）を算出し、裏面画像Ｐ９における対応着目点Ｂ１に対応する画素の画素値として特定する。
【００６４】
次に、第１描画部３０６ｃは、第１色特定部３０６ｂにより特定された裏面画像Ｐ９の被写体対応領域の輪郭Ｌを構成する画素の画素値に基づいて、当該画素を描画する（ステップＳ２０５）。
具体的には、第１描画部３０６ｃは、第１色特定部３０６ｂにより特定された対応着目点Ｂ１の座標（ｘ，ｙ）及び裏面画像Ｐ９における対応着目点Ｂ１に対応する各画素の画素値（例えば、平均値等）に基づいて、背面生成用画像Ｐ５上に当該裏面画像Ｐ９の被写体対応領域の輪郭Ｌを構成する画素を描画する。
【００６５】
次に、動画処理部３０６は、輪郭画像Ｐ３を構成する全ての画素を着目点Ａ１として処理したか否かを判定する（ステップＳ２０６）。
ここで、全ての画素を着目点Ａ１として処理していないと判定されると（ステップＳ２０６；ＮＯ）、第１色特定部３０６ｂは、輪郭画像Ｐ３を構成する複数の画素のうち、所定方向（例えば、垂直方向等）に隣合う次の画素を次の着目点Ａ１として指定した後（ステップＳ２０７）、処理をステップＳ２０２に移行させる。
動画処理部３０６は、ステップＳ２０６にて、全ての画素を着目点Ａ１として処理したと判定されるまで（ステップＳ２０６；ＹＥＳ）、上記の処理を繰り返し実行する。
【００６６】
ステップＳ２０６にて、全ての画素を着目点Ａ１として処理したと判定されると（ステップＳ２０６；ＹＥＳ）、動画処理部３０６は、輪郭描画処理を終了する。
これにより、背面生成用画像Ｐ５上に裏面画像Ｐ９の被写体対応領域の輪郭Ｌのみが描画された輪郭線画像Ｐ４（図１１（ｂ）参照）が生成される。
【００６７】
図７に戻り、動画処理部３０６の第２色特定部３０６ｄは、被写体切抜部３０４により生成済みの二値画像Ｐ２の画像データ（図９（ｂ）参照）を取得して、当該二値画像Ｐ２の被写体領域における処理対象の画素の位置に応じて所定形状のウィンドウＷ（図４（ａ）及び図４（ｂ）参照）を用いて、当該被写体領域Ｐｓに対する収縮処理を行う（ステップＳ１０５）。
具体的には、第２色特定部３０６ｄは、二値画像Ｐ２の被写体領域のうち、垂直方向の略中央部よりも上側（被写体の頭側）に存する画素に対しては正方形（例えば、３×３画素等）のウィンドウＷ１を適用し（図４（ａ）参照）、その一方で、略中央部よりも下側（被写体の足側）に存する画素に対しては横長の矩形（例えば、３画素）のウィンドウＷ２を適用し、当該所定形状のウィンドウＷ１、Ｗ２（図４（ａ）及び図４（ｂ）参照）を所定方向に走査していき、当該二値画像Ｐ２の被写体領域に対する収縮処理を行う。
これにより、二値画像Ｐ２の被写体領域の輪郭が一画素分内側に収縮された収縮二値画像Ｐ６（図１２（ａ）参照）が生成される。
【００６８】
次に、動画処理部３０６は、収縮処理後の二値画像Ｐ２（収縮二値画像Ｐ６）に被写体領域が残っているか否かを判定する（ステップＳ１０６）。
ここで、被写体領域が残っていると判定されると（ステップＳ１０６；ＹＥＳ）、即ち、収縮二値画像Ｐ６が生成されているので、第２色特定部３０６ｄは、生成された収縮二値画像Ｐ６の被写体領域の輪郭を構成する複数の画素のみからなる収縮輪郭画像Ｐ７（図１２（ｂ）参照）を生成した後（ステップＳ１０７）、当該収縮輪郭画像Ｐ７を構成する複数の画素の各々の座標（ｘ，ｙ）を取得する（ステップＳ１０８）。なお、取得された複数の画素の各々の座標は、所定の格納手段（例えば、所定のメモリ等）に一時的に格納される。
【００６９】
次に、第２色特定部３０６ｄは、第１描画部３０６ｃにより描画された輪郭線画像Ｐ４における処理対象の画素の位置に応じて所定形状のウィンドウＷ（図４（ａ）及び図４（ｂ）参照）を用いて、当該輪郭線画像Ｐ４に対する収縮処理を行って、処理対象の画素の画素値を算出する（ステップＳ１０９）。
具体的には、第２色特定部３０６ｄは、上記の二値画像Ｐ２の収縮処理と同様に、輪郭線画像Ｐ４のうち、垂直方向の略中央部よりも上側（被写体の頭側）に存する画素に対しては正方形（例えば、３×３画素等）のウィンドウＷ１を適用し（図４（ａ）参照）、その一方で、略中央部よりも下側（被写体の足側）に存する画素に対しては横長の矩形（例えば、３画素）のウィンドウＷ２を適用し、当該所定形状のウィンドウＷ１、Ｗ２（図４（ａ）及び図４（ｂ）参照）を所定方向に走査していく。そして、第２色特定部３０６ｄは、輪郭線画像Ｐ４の各画素を処理対象の画素として、ウィンドウＷの所定領域内の少なくとも一の画素の画素値に基づいて、所定の演算式に従って各画素の画素値を算出する。
【００７０】
次に、第２描画部３０６ｅは、第２色特定部３０６ｄにより特定された収縮輪郭画像Ｐ７を構成する複数の画素の各々の座標（ｘ，ｙ）及び輪郭線画像Ｐ４を構成する各画素の画素値に基づいて、輪郭線画像Ｐ４上に被写体領域の輪郭Ｌよりも一画素分内側の領域Ｍを構成する各画素を描画する（ステップＳ１１０。これにより、背面生成用画像Ｐ５上に裏面画像Ｐ９の被写体対応領域の輪郭Ｌ及び当該輪郭Ｌよりも一画素分内側の領域Ｍが描画された背面生成途中画像Ｐ８（図１３（ａ）参照）が生成される。
その後、動画処理部３０６は、処理をステップＳ１０５に移行し、それ以降の処理を逐次実行する。即ち、ステップＳ１０６にて、被写体領域が残っていないと判定されるまで（ステップＳ１０６；ＮＯ）、上記の各処理を繰り返し実行する。
具体的には、第２色特定部３０６ｄは、ステップＳ１１０にて、第２描画部３０６ｅにより背面生成用画像Ｐ５上に裏面画像Ｐ９の被写体対応領域における輪郭Ｌよりも所定画素分内側の領域Ｍが描画された背面生成途中画像Ｐ８（図１３（ａ）参照）が生成される毎に、当該背面生成途中画像Ｐ８を基準として、当該背面生成途中画像Ｐ８の描画済みの最も内側の各画素よりも一画素分内側の領域Ｍの画素の画素値を逐次算出する（ステップＳ１０５）。
また、第２描画部３０６ｅは、ステップＳ１０５にて、第２色特定部３０６ｄにより背面生成途中画像Ｐ８の描画済みの最も内側の各画素よりも一画素分内側の領域Ｍの画素の画素値が逐次算出される毎に、背面生成途中画像Ｐ８上に当該描画済みの最も内側の各画素よりも一画素分内側の領域Ｍを構成する各画素を逐次描画する（ステップＳ１１０）。
【００７１】
上記の各処理が繰り返し実行されて、最終的に、被写体対応領域の輪郭Ｌ及び当該輪郭Ｌよりも内側の全ての領域Ｍが描画された裏面画像Ｐ９（図１３（ｂ）参照）が生成される。
これにより、裏面画像生成処理を終了する。
【００７２】
図６に戻り、次に、中央制御部３０１のＣＰＵは、生成された裏面画像Ｐ９と対応づけられた被写体切り抜き画像Ｐ１の画像データを通信制御部３０３により所定の通信ネットワークＮを介してユーザ端末２に送信させる（ステップＳ５５）。その後、制御点設定部３０６ｆは、被写体切り抜き画像Ｐ１の被写体画像内で複数の可動点に対応する各位置に動き制御点を複数設定する（ステップＳ５６）。
具体的には、制御点設定部３０６ｆは、記憶部３０５から動体モデル（例えば、動物）の動き情報３０５ａを読み出して、被写体切り抜き画像Ｐ１の被写体画像内で、当該動き情報３０５ａに規定されている基準フレーム（例えば、１フレーム目等）の複数の可動点の各々に対応する動き制御点を、ユーザによるユーザ端末２の操作入力部２０２の所定操作に基づいて指定された所望の位置にそれぞれ設定する。
そして、動画再生部３０６ｈは、当該被写体画像に対して設定された複数の動き制御点、並びに被写体画像の合成位置やサイズ等の合成内容を所定の格納手段（例えば、所定のメモリ等）に登録する（ステップＳ５７）。
その後、中央制御部３０１のＣＰＵは、処理をステップＳ８に移行させる。ステップＳ８の処理の内容については、後述する。
【００７３】
なお、ステップＳ５２にて、既に動き制御点が設定されていると判定されると（ステップＳ５２；ＹＥＳ）、中央制御部３０１のＣＰＵは、ステップＳ５３〜Ｓ５７の処理をスキップして、処理をステップＳ８に移行させる。
【００７４】
＜背景画像の指定＞
ステップＳ４にて、ユーザ端末２からの指示が、背景画像の指定に関する内容の場合（ステップＳ４；背景画像の指定）、動画処理部３０６の動画再生部３０６ｈは、ユーザによる操作入力部２０２の所定操作に基づいて所望の背景画像（他の画像）の画像データを読み出して（ステップＳ６１）、当該背景画像の画像データを動画像の背景として所定の格納手段に登録する（ステップＳ６２）。
具体的には、サーバ３には、ユーザ端末２の表示部２０３に表示されている動画生成用ページの画面内の複数の画像データの中で、ユーザによる操作入力部２０２の所定操作に基づいて指定された何れか一の画像データの指定指示が、通信ネットワークＮ及び通信制御部３０３を介して入力される。動画再生部３０６ｈは、当該指定指示に係る背景画像の画像データを記憶部３０５から読み出して取得した後（ステップＳ６１）、当該背景画像の画像データを動画像の背景として登録する（ステップＳ６２）。
【００７５】
次に、中央制御部３０１のＣＰＵは、背景画像の画像データを通信制御部３０３により所定の通信ネットワークＮを介してユーザ端末２に送信させる（ステップＳ６３）。
その後、中央制御部３０１のＣＰＵは、処理をステップＳ８に移行させる。ステップＳ８の処理の内容については、後述する。
【００７６】
＜動き及び曲の指定＞
ステップＳ４にて、ユーザ端末２からの指示が、動き及び曲の指定に関する内容の場合（ステップＳ４；動き及び曲の指定）、動画処理部３０６は、ユーザによる操作入力部２０２の所定操作に基づいて動き情報３０５ａや動きの速さを設定する（ステップＳ７１）。
具体的には、サーバ３には、ユーザ端末２の表示部２０３に表示されている動画生成用ページの画面内の複数の動きモデルのモデル名の中で、ユーザによる操作入力部２０２の所定操作に基づいて指定された何れか一のモデル名（例えば、フラダンス等）の指定指示が、通信ネットワークＮ及び通信制御部３０３を介して入力される。動画処理部３０６は、記憶部３０５に記憶されている複数の動き情報３０５ａ、…の中で、当該指定指示に係る動きモデルのモデル名と対応付けられている動き情報３０５ａを設定する。なお、動画処理部３０６は、複数の動き情報３０５ａ、…の中で、例えば、デフォルトとして設定されている動き情報３０５ａやユーザにより前回指定された動き情報３０５ａを自動的に指定するようにしても良い。
また、サーバ３には、ユーザ端末２の表示部２０３に表示されている動画生成用ページの画面内の複数の動きの速さ（例えば、１／２倍、標準（等倍）、２倍等）の中で、ユーザによる操作入力部２０２の所定操作に基づいて指定された何れか一の速さ（例えば、標準等）の指定指示が、通信ネットワークＮ及び通信制御部３０３を介して入力される。動画処理部３０６は、当該指定指示に係る速さを被写体画像の動きの速さとして設定する。
その後、動画処理部３０６の動画再生部３０６ｈは、設定された動き情報３０５ａや動きの速さを動画像の動きの内容として所定の格納手段に登録する（ステップＳ７２）。
【００７７】
次に、動画処理部３０６は、ユーザによる操作入力部２０２の所定操作に基づいて自動的に演奏される曲を設定する（ステップＳ７３）。
具体的には、サーバ３には、ユーザ端末２の表示部２０３に表示されている動画生成用ページの画面内の複数の曲名の中で、ユーザによる操作入力部２０２の所定操作に基づいて指定された何れか一の曲名の指定指示が、通信ネットワークＮ及び通信制御部３０３を介して入力される。動画処理部３０６は、当該指定指示に係る曲名の曲を設定する。
その後、中央制御部３０１のＣＰＵは、処理をステップＳ８に移行させる。ステップＳ８の処理の内容については、後述する。
【００７８】
ステップＳ８では、中央制御部３０１のＣＰＵは、動画像の生成が可能な状態であるか否かを判定する（ステップＳ８）。即ち、ユーザによる操作入力部２０２の所定操作に基づいて、サーバ３の動画処理部３０６は、被写体画像に対する動き制御点の登録、被写体画像の動きの内容の登録、背景画像の登録等を行うことで、動画像の生成準備が整って動画像を生成可能か否か判定する。
ここで、動画像の生成が可能な状態でないと判定されると（ステップＳ８；ＮＯ）、中央制御部３０１のＣＰＵは、処理をステップＳ４に戻し、ユーザ端末２からの指示の内容に応じて処理を分岐させる（ステップＳ４）。
一方、動画像の生成が可能な状態であると判定されると（ステップＳ８；ＹＥＳ）、図４に示すように、中央制御部３０１のＣＰＵは、処理をステップＳ１０に移行させる。
【００７９】
ステップＳ１０では、サーバ３の中央制御部３０１のＣＰＵは、ユーザによるユーザ端末２の操作入力部２０２の所定操作に基づいて動画像のプレビュー指示が入力されたか否かを判定する（ステップＳ１０）。
即ち、ステップＳ９にて、ユーザ端末２の中央制御部２０１が、ユーザによる操作入力部２０２の所定操作に基づいて入力された動画像のプレビュー指示を、通信制御部２０６により所定の通信ネットワークＮを介してサーバ３に送信させる（ステップＳ９）。
そして、ステップＳ１０にて、サーバ３の中央制御部３０１のＣＰＵによって、動画像のプレビュー指示が入力されたと判定されると（ステップＳ１０；ＹＥＳ）、動画処理部３０６の動画再生部３０６ｈは、設定済みの曲名に対応する演奏情報３０５ｂを動画像とともに自動的に演奏される情報として所定の格納手段に登録する（ステップＳ１１）。
【００８０】
次に、動画処理部３０６は、格納手段に登録されている演奏情報３０５ｂに基づいて動画再生部３０６ｈによる所定の曲の演奏を開始させるとともに、動画像を構成する複数のフレーム画像のフレーム生成部３０６ｇによる生成を開始させる（ステップＳ１２）。
続けて、動画処理部３０６は、動画再生部３０６ｈによる所定の曲の演奏が終了したか否かを判定する（ステップＳ１３）。
ここで、曲の演奏が終了していないと判定されると（ステップＳ１３；ＮＯ）、動画処理部３０６のフレーム生成部３０６ｇは、動き情報３０５ａに応じて変形させた被写体画像の基準フレーム画像を生成する（ステップＳ１４）。具体的には、フレーム生成部３０６ｇは、格納手段に登録されている動き情報３０５ａに従って所定の時間間隔で移動する複数の可動点の座標情報をそれぞれ取得して、当該可動点の各々に対応する各動き制御点の座標を算出する。そして、フレーム生成部３０６ｇは、算出された座標に動き制御点を逐次移動させていくとともに、動き制御点の移動に応じて被写体画像内に設定される所定の画像領域を移動させたり変形させることで、基準フレーム画像を生成する。
また、動画処理部３０６は、基準フレーム画像と背景画像とを公知の画像合成手法を用いて合成する。具体的には、動画処理部３０６は、例えば、背景画像の各画素のうち、アルファ値が「０」の画素は透過させ、アルファ値が「１」の画素は基準フレーム画像の対応する画素の画素値で上書きし、さらに、背景画像の各画素のうち、アルファ値が「０＜α＜１」の画素は１の補数（１−α）を用いて基準フレーム画像の被写体領域Ｐｓを切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて基準フレーム画像を生成した際に単一背景色とブレンドした値を計算し、当該値を基準フレーム画像から減算し、それを被写体領域Ｐｓを切り抜いた画像（背景画像×（１−α））と合成する。
【００８１】
続けて、フレーム生成部３０６ｇは、動画再生部３０６ｈにより演奏される所定の曲の演奏の進行度合に応じて、隣合う二つの基準フレーム画像どうしの間を補間する補間フレーム画像を生成する（ステップＳ１５）。具体的には、フレーム生成部３０６ｇは、隣合う二つの基準フレーム画像間における、動画再生部３０６ｈにより演奏される所定の曲の演奏の進行度合を逐次取得して、当該進行度合に応じて、隣合う二つの基準フレーム画像間で再生される補間フレーム画像を逐次生成する。
また、動画処理部３０６は、補間フレーム画像と背景画像とを、上記基準フレーム画像の場合と同様に、公知の画像合成手法を用いて合成する。
【００８２】
次に、中央制御部３０１のＣＰＵは、動画再生部３０６ｈにより自動的に演奏される曲の演奏情報３０５ｂとともに、当該曲の所定のタイミングで再生される基準フレーム画像及び補間フレーム画像からなるプレビュー動画のデータを、通信制御部３０３により所定の通信ネットワークＮを介してユーザ端末２に送信させる（ステップＳ１６）。ここで、プレビュー動画のデータは、所定数の基準フレーム画像及び補間フレーム画像からなる複数のフレーム画像とユーザ所望の背景画像とが合成された動画像を構成している。
次に、動画処理部３０６は、処理をステップＳ１８に戻し、曲の演奏が終了したか否かを判定する（ステップＳ１３）。
上記の処理は、ステップＳ１３にて、曲の演奏が終了したと判定されるまで（ステップＳ１３；ＹＥＳ）、繰り返し実行される。
そして、曲の演奏が終了したと判定されると（ステップＳ１３；ＹＥＳ）、図６に示すように、中央制御部３０１のＣＰＵは、処理をステップＳ４に戻し、ユーザ端末２からの指示の内容に応じて処理を分岐させる（ステップＳ４）。
【００８３】
ステップＳ１６にて、サーバ３から送信されたプレビュー動画のデータがユーザ端末２の通信制御部３０３によって受信されると、中央制御部２０１のＣＰＵは、音出力部２０４及び表示部２０３を制御してプレビュー動画を再生させる（ステップＳ１７）。
具体的には、音出力部２０４は、演奏情報３０５ｂに基づいて曲を自動的に演奏してスピーカから放音するとともに、表示部２０３は、当該自動的に演奏される曲の所定のタイミングで基準フレーム画像及び補間フレーム画像からなるプレビュー動画を表示画面に表示する。
【００８４】
なお、上記の動画生成処理にあっては、プレビュー動画を再生するようにしたが、一例であってこれに限られるものではなく、例えば、逐次生成された基準フレーム画像や補間フレーム画像や背景画像の画像データ並びに演奏情報３０５ｂを一つのファイルとして所定の記憶手段に記憶していき、動画像に係る全てのデータの生成完了後に、当該ファイルをサーバ３からユーザ端末２に送信して当該ユーザ端末２にて再生させるようにしても良い。
【００８５】
以上のように、本実施形態の動画生成システム１００によれば、被写体切り抜き画像Ｐ１の被写体領域Ｐｓの輪郭部分の色情報に基づいて、裏面画像Ｐ９の被写体対応領域の輪郭Ｌの色情報を特定し、当該裏面画像Ｐ９の被写体対応領域の輪郭Ｌの色情報に基づいて、裏面画像Ｐ９の被写体対応領域における輪郭Ｌよりも内側領域Ｍの色情報を特定した後、これら裏面画像Ｐ９の被写体対応領域の輪郭Ｌの色情報及び内側領域Ｍの色情報に基づいて、裏面画像Ｐ９の被写体対応領域の輪郭Ｌ及び内側領域Ｍをそれぞれ描画して被写体の裏側を擬似的に表す裏面画像Ｐ９を生成するので、被写体切り抜き画像Ｐ１の被写体領域Ｐｓの輪郭部分の色情報を利用して、視認者に違和感を生じさせ難い裏面画像Ｐ９の生成を簡便に行うことができる。つまり、裏面画像Ｐ９の被写体対応領域の輪郭Ｌ及び内側領域Ｍの各々を、被写体切り抜き画像Ｐ１の被写体領域Ｐｓの輪郭部分の色から視認者が想像し易い色で描画することができ、被写体切り抜き画像Ｐ１の被写体領域Ｐｓに対して裏面画像Ｐ９を視認者に違和感を生じさせ難くすることができる。
これにより、静止画像（正面画像）である被写体切り抜き画像Ｐ１を所定方向に回転させる場合に、当該静止画像の裏側の表現を裏面画像Ｐ９により適正に行うことができる。また、被写体切り抜き画像Ｐ１の被写体画像内で動き制御点を設定するだけで、当該被写体切り抜き画像Ｐ１に対応する裏面画像Ｐ９内の所定位置に対してもそれぞれ対応する動き制御点を自動的に設定することができ、動画像の生成処理をより簡便なものとすることができる。
【００８６】
また、被写体切り抜き画像Ｐ１内で被写体領域Ｐｓの位置を示す二値画像Ｐ２の輪郭上に存する一の対応着目点Ｂ１と、当該二値画像Ｐ２の一の対応着目点Ｂ１と反対側の境界を構成する境界点Ｂ２とを特定し、被写体切り抜き画像Ｐ１の被写体領域Ｐｓの輪郭部分における一の対応着目点Ｂ１及び境界点Ｂ２の各々に対応する各画素の画素値に基づいて、当該一の対応着目点Ｂ１に対応する裏面画像Ｐ９の被写体対応領域の輪郭Ｌを構成する画素の画素値を特定するので、裏面画像Ｐ９の被写体対応領域の輪郭Ｌの色情報を、被写体切り抜き画像Ｐ１内で被写体領域Ｐｓの位置を示す二値画像Ｐ２の輪郭の形状を基準として特定することができる。即ち、二値画像Ｐ２の輪郭の形状及び裏面画像Ｐ９の被写体対応領域の輪郭Ｌの色を基準として、被写体切り抜き画像Ｐ１の被写体領域Ｐｓの輪郭部分の色から視認者が想像し易い色で裏面画像Ｐ９の被写体対応領域における輪郭Ｌよりも内側領域Ｍを描画することができる。
【００８７】
また、被写体切り抜き画像Ｐ１の被写体領域Ｐｓの輪郭部分における一の対応着目点Ｂ１及び境界点Ｂ２の各々に対応する各画素よりも所定の画素数内側の各画素の画素値や、被写体切り抜き画像Ｐ１の被写体領域Ｐｓの輪郭部分における一の対応着目点Ｂ１及び境界点Ｂ２の各々に対応する各画素を基準とする各所定領域内の複数の画素の画素値に基づいて、裏面画像Ｐ９の被写体対応領域の輪郭Ｌを構成する画素の画素値を特定するので、被写体領域Ｐｓの切り抜きの際に被写体存在画像の背景の一部が誤って切り抜かれている場合であっても、当該被写体存在画像の背景の影響を小さくして裏面画像Ｐ９の被写体対応領域の輪郭Ｌを構成する画素の画素値を適正に特定することができる。これにより、視認者に違和感を生じさせ難い裏面画像Ｐ９を適正に生成することができる。
【００８８】
また、裏面画像Ｐ９の被写体対応領域の輪郭Ｌの色が描画された輪郭線画像Ｐ４を基準として、所定領域内の少なくとも一の画素の画素値に重みを付けて演算して裏面画像Ｐ９における内側領域Ｍを構成する処理対象の画素の画素値を算出するためのウィンドウＷの形状を処理対象の画素の位置に応じて異ならせた収縮処理を行うので、処理対象の画素の位置に応じて水平方向や垂直方向の画素値の影響を変化させて処理対象の画像に対して収縮処理を施すことができ、視認者に違和感を生じさせ難い裏面画像Ｐ９を適正に生成することができる。つまり、輪郭線画像Ｐ４を基準として収縮処理を行う場合、例えば、股下などの被写体領域Ｐｓの内側への食い込みが相対的に大きい箇所では、輪郭を構成する一の画素の影響が大きくなって、裏面画像Ｐ９の当該箇所にて色のグラデーションが不自然になる虞がある。そこで、処理対象の画素の位置に応じて水平方向や垂直方向の画素値の影響を変化させて処理対象の画像に対して収縮処理を施すことで、色のグラデーションが自然な視認者に違和感を生じさせ難い裏面画像Ｐ９を適正に生成することができる。
【００８９】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、ユーザによるユーザ端末２の所定操作に基づいて、Ｗｅｂサーバとして機能するサーバ（画像生成装置）３によって動画像を生成するようにしたが、一例であってこれに限られるものではなく、画像生成装置の構成は適宜任意に変更可能である。即ち、裏面画像Ｐ９の生成に係る動画処理部３０６の機能をソフトウェアにより実現される構成として、ユーザ端末２にインストールすることで通信ネットワークＮを必要とすることなく、当該ユーザ端末２単体で動画生成処理を行うようにしても良い。
【００９０】
また、上記実施形態にあっては、被写体切り抜き画像Ｐ１を処理対象としたが、一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、最初から被写体領域Ｐｓのみの画像を用いても良い。
また、上記実施形態の動画生成処理にあっては、被写体画像の合成位置やサイズを調整可能に構成されても良い。即ち、ユーザ端末２の中央制御部２０１は、ユーザによる操作入力部２０２の所定操作に基づいて、被写体画像の合成位置やサイズの調整指示が入力されたと判定すると、当該調整指示に対応する信号を通信制御部２０６により所定の通信ネットワークＮを介してサーバ３に送信させる。そして、サーバ３の動画処理部３０６は、通信制御部を介して入力された調整指示に基づいて、被写体画像の合成位置を所望の合成位置に設定したり、当該被写体画像のサイズを所望のサイズに設定するようにしても良い。
【００９１】
また、上記実施形態にあっては、ユーザ端末２として、パーソナルコンピュータを例示したが、一例であってこれに限られるものではなく適宜任意に変更可能であり、例えば、携帯電話機等を適用しても良い。
なお、被写体切り抜き画像Ｐ１や動画像のデータには、ユーザによる所定の改変を禁止する制御情報を埋め込むようにしても良い。
【００９２】
加えて、上記実施形態にあっては、取得手段、第１特定手段、第２特定手段、生成手段としての機能を、中央制御部３０１の制御下にて、画像取得部３０６ａ、第１色特定部３０６ｂ、第１描画部３０６ｃ、第２色特定部３０６ｄ、第２描画部３０６ｅが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部３０１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、第１特定処理ルーチン、第２特定処理ルーチン、生成処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部３０１のＣＰＵを、被写体領域Ｐｓが含まれる被写体画像を取得する取得手段として機能させるようにしても良い。また、第１特定処理ルーチンにより中央制御部３０１のＣＰＵを、取得手段により取得された被写体画像の被写体領域Ｐｓの輪郭部分の色情報に基づいて、裏面画像Ｐ９の被写体対応領域の輪郭Ｌの色情報を特定する第１特定手段として機能させるようにしても良い。また、第２特定処理ルーチンにより中央制御部３０１のＣＰＵを、第１特定手段により特定された裏面画像Ｐ９の被写体対応領域の輪郭Ｌの色情報に基づいて、裏面画像Ｐ９の被写体対応領域における輪郭Ｌよりも内側領域Ｍの色情報を特定する第２特定手段として機能させるようにしても良い。また、生成処理ルーチンにより中央制御部３０１のＣＰＵを、第１特定手段及び第２特定手段により特定された裏面画像Ｐ９の被写体対応領域の輪郭Ｌの色情報及び内側領域Ｍの色情報に基づいて、裏面画像Ｐ９の被写体対応領域の輪郭Ｌ及び内側領域Ｍをそれぞれ描画して生成する生成手段として機能させるようにしても良い。
【００９３】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【００９４】
〔付記〕
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
＜請求項１＞
被写体の裏側を擬似的に表す裏面画像を生成する画像生成装置を用いた画像生成方法であって、
被写体領域が含まれる被写体画像を取得する取得ステップと、
取得された被写体画像の被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭の色情報を特定する第１特定ステップと、
特定された前記裏面画像の被写体対応領域の輪郭の色情報に基づいて、前記裏面画像の被写体対応領域における輪郭よりも内側領域の色情報を特定する第２特定ステップと、
特定された前記裏面画像の被写体対応領域の輪郭の色情報及び前記内側領域の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭及び前記内側領域をそれぞれ描画して生成する生成ステップと、
を含むことを特徴とする画像生成方法。
＜請求項２＞
前記第１特定ステップは、更に、
前記被写体画像内で被写体領域の位置を示す二値画像の輪郭の形状を基準として、前記裏面画像の被写体対応領域の輪郭の色情報を特定することを特徴とする請求項１に記載の画像生成方法。
＜請求項３＞
前記第１特定ステップは、更に、
前記二値画像の輪郭上に存する一の着目点と、当該一の着目点から所定の一方向に延在する直線上に存し、前記二値画像の前記一の着目点と反対側の境界を構成する境界点とを特定し、前記被写体画像の被写体領域の輪郭部分における前記一の着目点及び前記境界点の各々に対応する各画素の画素値に基づいて、当該一の着目点に対応する前記裏面画像の被写体対応領域の輪郭を構成する画素の画素値を特定することを特徴とする請求項２に記載の画像生成方法。
＜請求項４＞
前記第１特定ステップは、更に、
前記被写体画像の被写体領域の輪郭部分における前記一の着目点及び前記境界点の各々に対応する各画素よりも所定の画素数内側の各画素の画素値に基づいて、前記裏面画像の被写体対応領域の輪郭を構成する画素の画素値を特定することを特徴とする請求項３に記載の画像生成方法。
＜請求項５＞
前記第１特定ステップは、更に、
前記被写体画像の被写体領域の輪郭部分における前記一の着目点及び前記境界点の各々に対応する各画素を基準とする各所定領域内の複数の画素の画素値に基づいて、前記裏面画像の被写体対応領域の輪郭を構成する画素の画素値を特定することを特徴とする請求項３に記載の画像生成方法。
＜請求項６＞
前記第２特定ステップは、更に、
前記裏面画像の被写体対応領域の輪郭の色情報に基づいて当該輪郭の色が描画された輪郭線画像を基準として、所定領域内の少なくとも一の画素の画素値に重みを付けて演算して前記裏面画像における前記内側領域を構成する処理対象の画素の画素値を算出するためのウィンドウの形状を前記処理対象の画素の位置に応じて異ならせた収縮処理を行って、前記裏面画像における前記内側領域の色情報を特定することを特徴とする請求項１〜５の何れか一項に記載の画像生成方法。
＜請求項７＞
前記取得ステップは、背景と被写体とが存在する画像から被写体が含まれる被写体領域を切り抜いた画像を前記被写体画像として取得することを特徴とする請求項１〜６の何れか一項に記載の画像生成方法。
＜請求項８＞
被写体の裏側を擬似的に表す裏面画像を生成する画像生成装置であって、
被写体領域が含まれる被写体画像を取得する取得手段と、
この取得手段により取得された被写体画像の被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭の色情報を特定する第１特定手段と、
この第１特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報に基づいて、前記裏面画像の被写体対応領域における輪郭よりも内側領域の色情報を特定する第２特定手段と、
前記第１特定手段及び前記第２特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報及び前記内側領域の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭及び前記内側領域をそれぞれ描画して生成する生成手段と、
を備えたことを特徴とする画像生成装置。
＜請求項９＞
被写体の裏側を擬似的に表す裏面画像を生成する画像生成装置のコンピュータを、
被写体領域が含まれる被写体画像を取得する取得手段、
この取得手段により取得された被写体画像の被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭の色情報を特定する第１特定手段、
この第１特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報に基づいて、前記裏面画像の被写体対応領域における輪郭よりも内側領域の色情報を特定する第２特定手段、
前記第１特定手段及び前記第２特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報及び前記内側領域の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭及び前記内側領域をそれぞれ描画して生成する生成手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００９５】
１００    動画生成システム
１        撮像装置
２        ユーザ端末
３        サーバ
３０１    中央制御部
３０６    動画処理部
３０６ａ  画像取得部
３０６ｂ  第１色特定部
３０６ｃ  第１描画部
３０６ｄ  第２色特定部
３０６ｅ  第２描画部
【図１】
0005776442.tif 000002
【図２】
0005776442.tif 000003
【図３】
0005776442.tif 000004
【図５】
0005776442.tif 000005
【図６】
0005776442.tif 000006
【図７】
0005776442.tif 000007
【図８】
0005776442.tif 000008
【図４】
0005776442.tif 000009
【図９】
0005776442.tif 000010
【図１０】
0005776442.tif 000011
【図１１】
0005776442.tif 000012
【図１２】
0005776442.tif 000013
【図１３】
0005776442.tif 000014