(57)【要約】【課題】  動画の動きを活用した娯楽性の高い占いサービスを提供する。【解決手段】  カメラ付き携帯電話で撮影された顔の動画が、ネットワークを介してサーバに送られる。サーバは、顔の動画を受信すると、占い結果を示すための涙、ハートマークなどの立体画像のデータを記憶装置から読み出す。サーバは、それらの立体画像を用いて、動画中の顔の動きに追従して向き、位置及び大きさが変化するように涙、ハートマークなどの動画像を作成し、顔の動画像と合成して、携帯電話に送る。【選択図】図１
2006227838.tif 000002
【特許請求の範囲】
【請求項１】
顔画像データを取得する入力部と、
３次元形状に関する情報を含む装飾画像データを記憶する記憶部と、
前記顔画像データから顔の向きを抽出する抽出部と、前記顔の向きは表示画面の法線と異なる回転軸の周りの回転角を含むパラメータによって特定され、
前記顔の向きに一致するように前記装飾画像データから装飾画像を作成して前記顔画像データと合成して合成画像を作成する画像合成部
とを具備する
画像処理装置。
【請求項２】
請求項１に記載された画像処理装置であって、
前記記憶部は３次元形状に関する情報を含む標準顔モデルデータを記憶し、
前記抽出部は、前記標準顔モデルデータを複数の斜影方向に斜影して得られる複数の平面顔モデルデータの各々と前記顔画像データとを比較して最も近似した前記平面顔モデルデータの前記斜影方向から前記顔の向きを抽出する
画像処理装置。
【請求項３】
請求項１に記載された画像処理装置であって、
前記顔画像データは動画のデータであり、
前記抽出部は、前記顔画像データを時系列的に構成する複数の静止画像の各々から前記パラメータを抽出し、
前記画像合成部は前記複数の静止画像の各々から前記合成画像を作成し、作成された前記合成画像を時系列的に再生されるように構成した合成動画データを作成する
画像処理装置。
【請求項４】
請求項１に記載された画像処理装置であって、
前記記憶部は複数の装飾画像データ候補を記憶し、
更に、前記顔画像データから特徴量を抽出し、前記特徴量を用いて前記複数の装飾画像データ候補のなかからいずれかを前記装飾画像データとして選び出す占い部
を具備する
画像処理装置。
【請求項５】
携帯端末と、
画像処理装置
とを具備し、
前記携帯端末は、
動画を撮影するカメラと、
前記動画を通信ネットワークを介して送信する通信部
とを備え、
前記画像処理装置は、
３次元形状に関する情報を含む装飾画像データを記憶する記憶部と、
前記動画に写されている顔の向きを時系列的に抽出する抽出部と、前記顔の向きは表示画面の法線と異なる回転軸の周りの回転角を含むパラメータによって特定され、
前記顔の向きに一致するように前記装飾画像データから複数の装飾画像を時系列的に作成して前記動画と合成して合成動画を作成する動画合成部
とを備える
画像処理システム。
【請求項６】
動画を取得するステップと、
３次元形状に関する情報を含む装飾画像データを取得するステップと、
前記動画に写されている顔の向きを時系列的に抽出するステップと、前記顔の向きは表示画面の法線と異なる回転軸の周りの回転角を含むパラメータによって特定され、
前記顔の向きに一致するように前記装飾画像データから複数の装飾画像を時系列的に作成して前記動画と合成して合成画像を作成するステップ
とを具備する方法をコンピュータに実行させる
画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像を加工する技術に関する。
【背景技術】
【０００２】
近年、携帯電話端末のデータ通信料の定額制に伴い、データ量の多いムービーコンテンツの利用が増加することが見込まれている。動画像を用いた魅力的なサービスの開発が望まれている。
【０００３】
特許文献１には、クライアントサーバシステムにおける装飾動画像作成装置であって、素材情報データベースに格納され、クライアント端末によって選択される動画像と装飾素材情報とによって作成される装飾動画像視聴のための同期マルチメディア統合言語ファイルを作成する装飾動画像作成手段を備えたことを特徴とする装飾動画像作成装置が開示されている。
【０００４】
特許文献２には、認識対象の画像から物体の位置姿勢を認識する位置姿勢認識装置において、前記物体の３次元形状と、当該物体の表面の各位置の輝度値とから成る３次元物体モデルを生成し、前記３次元物体モデルに基づいて、前記認識対象の画像中における前記物体の位置姿勢を認識することを特徴とする位置姿勢認識装置が開示されている。
【特許文献１】特開２００４−１５７５２号公報
【特許文献２】特開２００３−５８８９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、３次元的な動きをする顔画像に装飾画像を付加する画像処理装置及び画像処理プログラムを提供することである。
本発明の他の目的は、動画像の３次元的な動きを活用した占いサービスを行う画像処理装置及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００６】
以下に、［発明を実施するための最良の形態］で使用される番号を括弧付きで用いて、課題を解決するための手段を説明する。これらの番号は、［特許請求の範囲］の記載と［発明を実施するための最良の形態］との対応関係を明らかにするために付加されたものである。ただし、それらの番号を、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。
【０００７】
本発明による画像処理装置（１５０）は、顔画像データ（１７８）を取得する入力部（１６０）と、３次元形状に関する情報を含む装飾画像データ（１８６）を記憶する記憶部（１５４）と、顔画像データ（１７８）から顔の向きを抽出する抽出部（１７１）とを備える。顔の向きは表示画面（１１０）の法線（ｘ軸）と異なる回転軸の周りの回転角を含むパラメータによって特定される。画像処理装置（１５０）は更に、顔の向きに一致するように装飾画像データ（１８６）から装飾画像を作成して顔画像データと合成して合成画像を作成する画像合成部（１７２）を備える。
【０００８】
こうした画像処理装置によれば、表示画面に正対せずに斜めを向いている顔（すなわち、視線が表示画面の法線に平行な方向からずれている顔）の画像に対してもその角度に適合した形状の装飾画像が付けられる。さまざまなポーズの人物の画像にアイテムを貼り付けることができるため、画像を加工する楽しみが広がる。
【０００９】
本発明による画像処理装置（１５０）において、記憶部（１５４）は３次元形状に関する情報を含む標準顔モデルデータ（１６２）を記憶する。抽出部（１７１）は、標準顔モデルデータ（１６２）を複数の斜影方向に斜影して得られる複数の平面顔モデルデータの各々と顔画像データとを比較して最も近似した平面顔モデルデータの斜影方向から顔の向きを抽出する。
【００１０】
本発明による画像処理装置（１５０）において、顔画像データ（１７８）は動画のデータである。抽出部（１７１）は、顔画像データ（１７８）を時系列的に構成する複数の静止画像の各々からパラメータを抽出する。画像合成部（１７２）は複数の静止画像の各々から合成画像を作成し、作成された合成画像を時系列的に再生されるように構成した合成動画データを作成する。
【００１１】
本発明による画像処理装置（１５０）において、記憶部（１５４）は複数の装飾画像データ候補を記憶する。画像処理装置（１５０）は更に、顔画像データ（１７８）から特徴量を抽出し、特徴量を用いて複数の装飾画像データ候補のなかからいずれかを装飾画像データ（１８６）として選び出す占い部（１７０）を備える。
【００１２】
抽出される特徴量は、画像の明暗、色彩、顔の部品の配置の特徴などである。こうした特徴量に対応して、占いの結果を象徴する装飾画像が顔に貼り付けられる。
【００１３】
本発明による画像処理システムは、携帯端末（１００）と、画像処理装置（１５０）とを備える。携帯端末（１００）は、動画（１７８）を撮影するカメラ（１０８）と、動画（１７８）を通信ネットワークを介して送信する通信部（１１２）とを備える。画像処理装置（１５０）は、３次元形状に関する情報を含む装飾画像データ（１８６）を記憶する記憶部（１５４）と、動画（１７８）に写されている顔の向きを時系列的に抽出する抽出部（１７１）とを備える。顔の向きは表示画面（１１０）の法線と異なる回転軸の周りの回転角を含むパラメータによって特定される。画像処理装置（１５０）は更に、顔の向きに一致するように装飾画像データ（１８６）から複数の装飾画像を時系列的に作成して動画と合成して合成動画を作成する動画合成部（１７２）を備える。
【００１４】
本発明による画像処理プログラム（１６８）は、動画（１７８）を取得するステップ（Ｓ２０３）と、３次元形状に関する情報を含む装飾画像データ（１８６）を取得するステップ（Ｓ２０５）と、動画（１７８）に写されている顔の向きを時系列的に抽出するステップ（Ｓ２０６）とを備え、顔の向きは表示画面（１１０）の法線と異なる回転軸の周りの回転角を含むパラメータによって特定され、更に顔の向きに一致するように装飾画像データ（１８６）から複数の装飾画像を時系列的に作成して動画（１７８）と合成して合成画像を作成するステップ（Ｓ２０７、Ｓ２０８）を備える方法をコンピュータに実行させる。
【発明の効果】
【００１５】
本発明によれば、３次元的な動きをする顔画像に装飾画像を付加する画像処理装置及び画像処理プログラムが提供される。
更に本発明によれば、動画像の３次元的な動きを活用した占いサービスを行う画像処理装置及び画像処理プログラムが提供される。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明による画像処理装置及び画像処理プログラムについて詳細に説明する。
【００１７】
図１は、本実施の形態における画像処理装置を用いた画像処理システムの構成を示す。画像処理システムは、携帯端末１００と画像処理装置１５０とを含んでいる。携帯端末１００は携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等である。携帯端末１００は、ＣＰＵ１０２、記憶装置１０４、入力装置１０６、カメラ１０８、表示画面１１０及び通信装置１１２を備える。携帯端末１００は、カメラ１０８を用いて動画の撮影が可能である。画像処理装置１５０は、ＣＰＵ１５２、記憶装置１５４、入力装置１５６、出力装置１５８及び通信装置１６０を備える。画像処理装置１５０は、パーソナルコンピュータ、ワークステーション等により構成可能である。携帯端末１００の通信装置１１２と画像処理装置１５０の通信装置１６０とは通信可能に接続される。
【００１８】
図２は、画像処理装置１５０の記憶装置１５４に格納されているデータの構成を示す。記憶装置１５４は、Ｗｅｂサイト１６１、３次元標準顔モデル１６２、顔動画データベース１６３、３次元装飾画像データベース１６４、占いデータベース１６６及び占いプログラム１６８を格納する。占いプログラム１６８は、占い部１７０、姿勢抽出部１７１、装飾顔画像作成部１７２及びデータ送受信部１７４を備える。
【００１９】
３次元標準顔モデル１６２は、多数の人から顔の３次元データを収集し、それらの３次元データに平均化処理を施すことにより作成された標準顔モデルである。顔の３次元データとは、顔の立体的な形状に関する情報を含むデータであり、そのデータに基づいて所望の角度から見たときの顔の画像データを生成できるものである。
【００２０】
図３は、顔動画データベース１６３の構成を示す。顔動画データベース１６３は、受付番号１７６と顔動画データ１７８とを対応づけて格納する。
【００２１】
図４は、３次元装飾画像データベース１６４の構成を示す。３次元装飾画像データベース１６４は、装飾画像ＩＤ１８４と３次元装飾画像データ１８６とを対応づけて格納する。装飾画像ＩＤ１８４は、３次元装飾画像データ１８６を個別に特定するための識別子である。３次元装飾画像データ１８６は、顔画像に付加される装飾画像（例えば星、ハートマーク、涙、炎など）の３次元データである。
【００２２】
３次元装飾画像データ１８６には、３次元標準顔モデル１６２に対して空間的にどのような位置関係にあるのかを示す情報が含まれている。これにより、例えば装飾画像が涙であれば目から下の位置にあり、かぶり物（動物などを模した人工品であって人の頭部に装着されるもの）であれば顔を取り巻く位置にあることが指定される。
【００２３】
図５は、占いデータベース１６６の構成を示す。占いデータベース１６６は、占いパラメータ１８０と、占い結果テキスト１８２と、装飾画像ＩＤ１８４とを対応付けて格納する。
【００２４】
占い結果テキスト１８２と３次元装飾画像データ１８６とは装飾画像ＩＤ１８４を媒介項として意味的に乃至象徴的に対応している。例えば、顔のまわりをハートマークが取り囲む３次元装飾画像データ１８６には、「恋愛運最高！」という占い結果テキスト１８２が対応する。
【００２５】
図６と図７に画像処理システムの動作が示されている。以下の説明において、ＣＰＵ１５２が記憶装置１５４に格納されているプログラムを読み出し、そのプログラムに記述されている手順に従って実行する動作は、そのプログラム自身が行う動作として記述される。
【００２６】
ステップＳ２００：携帯端末１００のユーザは、カメラ１０８を用いて自分または他人の動画を撮影する。撮影された動画は記憶装置１０４に記憶される。
【００２７】
ステップＳ２０１：携帯端末１００のユーザは、通信装置１１２を介してＷｅｂサイト１６１にアクセスする。
【００２８】
ステップＳ２０２：携帯端末１００のユーザは、表示画面１１０に表示されるＷｅｂサイト１６１のサービス受付画面表示に従って、撮影された動画を画像処理装置１５０にアップロードする。
【００２９】
ステップＳ２０３：占いプログラム１６８のデータ送受信部１７４は、動画（ムービーファイル）がアップロードされると受付番号１７６を発行する。占いプログラム１６８は、受付番号と動画とを顔動画データベース１６３に受付番号１７６及び顔動画データ１７８として保存する。
【００３０】
ステップＳ２０４：占いプログラム１６８の占い部１７０は、アップロードされた顔動画に対応する占いパラメータ１８０を生成する。占いパラメータ１８０の生成は、例えば、受付番号１７６を用いて、あるいは顔動画データ１７８から抽出される特徴量（色彩、明暗等）を用いて、所定のアルゴリズムにより行われる。または占いパラメータ１８０は、ユーザから収集された誕生日、血液型等の情報を用いて生成される。
【００３１】
ステップＳ２０５：占い部１７０は、生成された占いパラメータ１８０を用いて占いデータベース１６６を検索し、対応する占い結果テキスト１８２と装飾画像ＩＤ１８４とを抽出する。占いプログラム１６８の装飾顔画像作成部１７２は、抽出された装飾画像ＩＤ１８４を検索キーとして３次元装飾画像データベース１６４を検索し、対応する３次元装飾画像データ１８６を抽出する。
【００３２】
ステップＳ２０６：姿勢推定部１７１は、顔動画データ１７８から静止画像（動画の１コマに当たる）を抽出する。姿勢推定部１７１は、抽出された静止画像を３次元標準顔モデル１６２と照合する。例えば、姿勢推定部１７１は３次元顔標準モデル１６２をさまざまな角度に斜影することにより得られる平面の顔画像データを生成し、生成された平面の顔画像データを抽出された静止画像と比較し、両者の類似度が最も大きい場合の斜影の角度を算出し、その角度を静止画像に含まれる顔の姿勢を示す情報として保存する。
【００３３】
判定される顔の姿勢には、顔の大きさ（あるいはカメラからの距離）、表示画面に直行する軸、表示画面に斜行する軸または表示画面に平行な軸のまわりの回転角が含まれる。
【００３４】
ステップＳ２０７：装飾顔画像作成部１７２は、顔の姿勢に一致するような装飾画像を作成する。即ち、ステップＳ２０６において保存された顔の姿勢を示す情報を用いて、ステップＳ２０５において抽出された３次元化装飾画像データ１８６から、顔の姿勢に一致する２次元の装飾画像データを作成する。
【００３５】
ステップＳ２０８：装飾顔画像作成部１７２は、ステップＳ２０６において抽出された静止画像とステップＳ２０７において作成された装飾画像とを合成する。
【００３６】
ステップＳ２０９：装飾顔画像作成部１７２は、顔動画データ１７８に含まれる静止画像が時系列の最後まで読み出されていないならば、ステップＳ２０６に移行して時系列的に次の静止画像の処理を行う。静止画像が時系列の最後まで読み出されたならば、ステップＳ２１０へ移行する。
【００３７】
ステップＳ２１０：装飾顔画像作成部１７２は、ステップＳ２０６〜Ｓ２０９で作成された顔画像と装飾画像とが合成された静止画像の群を時系列的に統合して装飾動画像ファイル（合成ムービーファイル）を作成する。
【００３８】
ステップＳ２１１：データ送受信部１７４は、装飾動画像ファイルとステップＳ２０５において抽出された占い結果テキスト１８２とを携帯端末１００に送信する。
【００３９】
ステップＳ２１２：携帯端末１００のユーザが所定の操作を行うと、携帯端末１００が備える動画再生プレーヤーにより合成動画ファイルが表示画面１１０の一領域に再生され、他の領域に占い結果テキスト１８２が表示される。
【００４０】
図８Ａは、合成動画の１コマを示す。顔画像１９０ａに、占い結果に対応する装飾画像１９２ａが合成されている。図８Ｂは、同じ顔動画データから作成された合成動画の他の１コマを示す。顔画像１９０ｂは顔画像１９０ａと異なる姿勢である。装飾画像１９２ｂは、顔画像１９０ｂの姿勢の変化に追従して、装飾画像１９０ａと比較して姿勢が変化している。図８Ａと図８Ｂの例では顔の姿勢が表示画面１１０に平行なｚ軸の周りに回転している。これ以外にも、顔の姿勢は任意の方向に変化してよい。特に顔の姿勢がｘ軸（表示画面１１０に垂直な軸）に平行でない軸の周りに回転すると、奥行きを含む立体感が感じられて面白い。
【００４１】
本実施例では顔の動きに合わせて装飾画像が貼り付けられる。その他の例として、画像処理装置１５０が顔の表情を検出し、記憶装置１５４に格納されたデータベースにおいてその表情に対応する装飾画像を貼り付けるようにした構成が可能である。装飾画像として、動画像の顔の部分に予め記憶されていた別の顔を貼り付ける構成も可能である。更に、顔画像データから陰影（光の明るさの分布）に関する陰影情報を抽出し、その陰影情報に基づいて、顔画像データと陰影が一致するように装飾画像が加工されると、装飾顔画像がよりリアルになり好ましい。
【００４２】
占いプログラム１６８又はその一部はダウンロードファイル化されてもよい。その場合、携帯端末１００からプログラムがダウンロードされ、動画像と装飾画像の合成が携帯端末１００の処理機能により行われる。
【００４３】
本実施例における画像処理システムにＤＲＭ（Ｄｉｇｉｔａｌ  Ｒｉｇｈｔ  Ｍａｎａｇｅｍｅｎｔ）技術を適用することも可能である。この場合、Ｗｅｂサイト１６１で占いサービスの細かい設定項目（例えば、サービス利用期間、回数）を設定することができるようにし、画像処理装置１５０が利用権を発行する。これにより、占いサービスの利用料金を細かく設定することが可能になる。
【図面の簡単な説明】
【００４４】
【図１】図１は、画像処理システムの構成を示す。
【図２】図２は、記憶装置に格納されているデータの構成を示す。
【図３】図３は、顔動画データベースのデータ構成を示す。
【図４】図４は、３次元装飾画像データベースのデータ構成を示す。
【図５】図５は、占いデータベースのデータ構成を示す。
【図６】図６は、画像処理システムの動作を示すフローチャートである。
【図７】図７は、画像処理システムの動作を示すフローチャートである。
【図８Ａ】図８Ａは、合成顔画像の例を示す。
【図８Ｂ】図８Ｂは、合成顔画像の例を示す。
【符号の説明】
【００４５】
１５４…記憶装置
１６３…顔動画データベース
１６４…３次元装飾画像データベース
１６６…占いデータベース
１９０…顔画像
１９２…装飾画像
【図１】
2006227838.tif 000003
【図２】
2006227838.tif 000004
【図３】
2006227838.tif 000005
【図４】
2006227838.tif 000006
【図５】
2006227838.tif 000007
【図６】
2006227838.tif 000008
【図７】
2006227838.tif 000009
【図８Ａ】
2006227838.tif 000010
【図８Ｂ】
2006227838.tif 000011