(57)【要約】【課題】たとえば人物をキャラクタに変換した動画像を作成し、撮影対象の顔を単に隠すだけでなく、面白みのある映像を作成することができる映像作成装置を提供。【解決手段】ビデオコンテンツ作成装置14は、画像入力部30で元情報の顔画像データ26を入力し、顔特徴抽出部34で供給される顔画像データ40から変形情報である特徴点データ42を生成し、キャラクタ変形部36で基準とするキャラクタ画像データ24を変形情報に応じて変形させ、画像合成部32で画像入力部28から供給される背景画像データ38と変形したキャラクタ画像データ44とを合成して合成した画像データ46をビデオコンテンツとして生成する。【選択図】図１
2007026090.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像を入力する第１画像入力手段と、
基準とするモデル画像における顔の部位を第１の特徴点とし、第１の特徴点の移動を反映した情報を入力する情報入力手段と、
該情報を基に第１の特徴点の部位それぞれが移動した位置を第２の特徴点として解析し、第２の特徴点を変形情報として生成する解析処理手段と、
前記モデル画像に対する第１の特徴点それぞれを前記変形情報に応じて移動させ変形したモデル画像を作成するモデル変形手段と、
第１の画像と前記変形したモデル画像とを合成し合成画像を作成する画像合成手段とを含むことを特徴とする映像作成装置。
【請求項２】
請求項１に記載の装置において、前記情報入力手段は、第２の画像として顔画像を入力する第２画像入力手段であり、
前記解析処理手段は、前記顔画像を基に第２の特徴点を抽出する顔特徴抽出手段であることを特徴とする映像作成装置。
【請求項３】
請求項１または２に記載の装置において、前記情報入力手段は、周囲の音を入力する音入力手段であり、
前記解析処理手段は、入力された音を認識し、認識に応じた第２の特徴点を作成するデータ作成手段であることを特徴とする映像作成装置。
【請求項４】
請求項１、２または３に記載の装置において、該装置は、指定した情報を受け、該情報に対応して用いる第２の特徴点を登録し、登録した第２の特徴点を前記モデル変形手段に出力する動作作成手段を含むことを特徴とする映像作成装置。
【請求項５】
請求項１に記載の装置において、該装置は、前記情報入力手段に周囲の音を入力する音入力手段と、あらかじめ登録された音と前記音入力手段から出力される音とを比較し、比較して一致した音に対応する情報を出力する比較手段とを具備し、
さらに、該装置は、前記情報に対応して用いる第２の特徴点をあらかじめ登録し、登録した第２の特徴点を前記モデル変形手段に出力する動作作成手段とを含むことを特徴とする映像作成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像作成装置に関するものである。本発明の映像作成装置は、とくに、キャラクタ画像を合成したビデオコンテンツを作成するシステムに関する。
【背景技術】
【０００２】
ネットワークの普及にともなって、さまざまな内容のコンテンツを配信するサービスが実施されている。通信技術の向上により配信するコンテンツも動画像が一般的になりつつある。たとえば、特許文献１のように教育用コンテンツ、特許文献２のように動画を含むニュースコンテンツが作成または配信されている。
【０００３】
【特許文献１】特開2004−207948号公報
【特許文献２】特開2002−244957号公報
【特許文献３】日本国特許第3593067号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、現状の動画像のコンテンツは、作成のコストを下げるために、過去に用いた講演会等のビデオのように映像資源の流用が行われる。解説者・公演者の映像としては、解説用のスライド画像等の静止画像および説明用のビデオ等の動画像を組み合わせて作成されたものが多い。
【０００５】
このような過去の映像資源を使用する際に、映っている解説者・講演者本人自身が不特定多数に映像を見られることを嫌う場合がある。また、社内教育用ビデオコンテンツを作成する場合に解説者として社員を使用する場合には肖像権の問題が生じ、そのまま使えないことがある。実際、そのまま解説している人物を映しても、面白みに欠けるコンテンツになる可能性が高い。
【０００６】
本発明はこのような従来技術の欠点を解消し、たとえば人物をキャラクタに変換した動画像を作成し、撮影対象の顔を単に隠すだけでなく、面白みのある映像を作成することができる映像作成装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は上述の課題を解決するために、第１の画像を入力する第１画像入力手段と、基準とするモデル画像における顔の部位を第１の特徴点とし、第１の特徴点の移動を反映した情報を入力する情報入力手段と、この情報を基に第１の特徴点の部位それぞれが移動した位置を第２の特徴点として解析し、第２の特徴点を変形情報として生成する解析処理手段と、モデル画像に対する第１の特徴点それぞれを変形情報に応じて移動させ変形したモデル画像を作成するモデル変形手段と、第１画像入力手段から供給される第１の画像と変形したモデル画像とを合成し合成画像を作成する画像合成手段とを含むことを特徴とする。
【０００８】
本発明の映像作成装置によれば、情報入力手段で情報を入力し、解析処理手段で供給される情報から変形情報を生成し、モデル変形手段で基準とするモデル画像を変形情報に応じて変形させ、画像合成手段で第１の画像と変形したモデル画像とを合成して合成画像をビデオコンテンツとして生成することにより撮影した人物に同期して動く画像を生成し、生成した画像に対して視聴者が違和感を抱くことのないビデオコンテンツを容易に作成することができる。
【発明を実施するための最良の形態】
【０００９】
次に添付図面を参照して本発明による映像作成装置の一実施例を詳細に説明する。
【００１０】
本実施例は、本発明の映像作成装置をビデオコンテンツ作成システム10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１１】
ビデオコンテンツ作成システム10は、図１に示すように、外部情報提供部12およびビデオコンテンツ作成装置14を含む。外部情報提供部12は、ストレージ部16および18、ならびにディジタルカメラ20を含む。ストレージ部16は、スライド画像や１フレームの動画像等の背景画像データを格納し、読出しに応じて出力する機能を有する。ストレージ部18は、キャラクタ画像データを格納し、読出しに応じて出力する機能を有する。ストレージ部16および18は、格納する画像データに対して検索を可能にするキーワードが対応した組にデータベース化して記憶されている。
【００１２】
ストレージ部16は、背景画像データ22をビデオコンテンツ作成装置14に出力する。また、ストレージ部18もキャラクタ画像データ24をビデオコンテンツ作成装置14に出力する。ディジタルカメラ20は、とくに、被写体として顔を撮影し、得られた顔画像データを出力する機能を有する。ディジタルカメラ20は、撮影した顔画像データ26をビデオコンテンツ作成装置14に出力する。ディジタルカメラ20は、静止画に限定されることなく、動画撮影、すなわちムービー撮影可能なディジタルビデオカメラでも構わない。
【００１３】
ビデオコンテンツ作成装置14は、画像入力部28および30、画像合成部32、顔特徴抽出部34、ならびにキャラクタ変形部36を含む。画像入力部28は、供給される背景画像データ22をビデオコンテンツ作成装置14内に取り込む入力インタフェース機能を有する。画像入力部28は、背景画像データ38を画像合成部32に出力する。また、画像入力部30は、供給される顔画像データ26をビデオコンテンツ作成装置14内に取り込む入力インタフェース機能を有する。画像入力部30は、顔画像データ40を顔特徴抽出部34に出力する。
【００１４】
顔特徴抽出部34は、供給される顔画像データ40から顔の部位に対応してあらかじめ設けた特徴点の位置を検出する機能を有する。顔特徴抽出部34は、たとえば一つ前の情報を基に得られた特徴点に対して現在供給された情報から移動した特徴点の位置を検出する。顔特徴抽出部34は、位置検出として求めてもよいし、距離および方向を有するベクトル情報として求めてもよい。顔特徴抽出部34は、顔画像データ40から得た特徴点データ42をキャラクタ変形部36に出力する。
【００１５】
キャラクタ変形部36は、ストレージ部18から読み出したキャラクタ画像データ24に含まれる特徴点データを顔の部位に対応するそれぞれの特徴点データ42にあわせてたとえば、位置データを置き換える機能を有する。この特徴点は、この置換機能によりキャラクタ画像の特徴点を移動させることができる。この移動は、すなわちキャラクタ画像の顔を変形させることである。キャラクタ変形部36は、変形させたキャラクタ画像データ44を画像合成部32に出力する。
【００１６】
画像合成部32は、キャラクタ画像データ44を用いて２次元や３次元のキャラクタ画像になるようにレンダーする機能を有する。また、画像合成部32はレンダーしたキャラクタ画像と背景画像とを合成する機能も有する。画像合成部32は、合成した画像データ46を作成したビデオコンテンツとして出力する。
【００１７】
次にビデオコンテンツ作成システム10の動作について図２、図３および図４を参照しながら説明する。図２に示すように、背景画像データ22の一例としてスライド画像データを読み出す。また、ディジタルカメラ20は、被写体48の顔画像を撮影し取り込む。画像入力部30には、カメラ20で撮影された顔画像でもよいし、あらかじめ録画された画像でもよい。
【００１８】
画像入力部30から出力された顔画像データ40は顔特徴抽出部34でたとえば、顔の向き、目や口といった顔の各部位の開き具合や位置等を基にした特徴点データに変換する。変換した特徴点データ42は、キャラクタ変形部36に供給される。キャラクタ変換部36では、供給された特徴点データ42と同期するようにキャラクタ画像を変形させる。作成したキャラクタ画像データ44を画像合成部32に出力する。
【００１９】
ここで、顔画像から特徴点データを作成する方法は特許文献３を利用すればよい。
【００２０】
画像合成部32では、キャラクタ変形部36で作成したキャラクタ画像データ44を基にしてレンダリングし、生成したキャラクタ画像と画像入力部28から供給される背景画像データ38とを合成する。これにより、最終的に作成されるビデオコンテンツの１フレームの合成画像データ46が作成される。
【００２１】
ここで、ビデオコンテンツ作成システム10は、合成画像中のキャラクタの大きさ・位置・向きを変更でき、合成画像を表示する画面一杯にキャラクタ画像を表示することも可能である。また、ビデオコンテンツ作成システム10は、撮影対象が画面の中央に存在しなくても、キャラクタの位置を中央に設定できる機能を有する。このような機能を適用すると、ホワイトボードと公演者の全体を撮影している講習会のビデオからでも適切な位置にキャラクタを表示する合成画像を容易に作成できる。
【００２２】
さらに、ビデオコンテンツの作成を簡単にするために、図３に示すように、コンテンツ編集ツールにおける編集画面50を利用すると便利である。コンテンツ編集ツールは、画像入力部28および30の画像入力における制御を視覚化したツールである。この制御は、図示しない制御部により制御される。具体的に、コンテンツ編集ツールでは、画像入力部28に供給される画像を図３に示すように画像１とし、画像入力部30に供給される画像を画像２とする。画像１および２に供給される画像は、それぞれ枠52および54内に入力画像または動画像の対象を明示し、最初から入力する時間を指定する。編集画面50は、この時間指定に応じた時間範囲をたとえば矢印で表わしてもよい。コンテンツ編集ツールは、画像１と画像２に入力される画像を時間指定に応じて制御するとよい。
【００２３】
キャラクタ変形部36は、作成されるキャラクタ画像に透過情報を持たせてもよい。透過情報とは、キャラクタ画像におけるキャラクタ以外の部分、たとえば図4(a)に示すように、背景領域56がどの範囲にあるかを示す情報である。この透過情報を参照しながら、画像入力部28に入力される背景画像にキャラクタ画像だけを合成すると、図4(b)に示すビデオコンテンツ画像を容易に作成できる。キャラクタ以外の入力情報をそのままに、キャラクタ画像を変更すると、表示されるキャラクタだけを簡単に変更することもできる。子供向けにはアニメキャラなどコンテンツの対象に合わせてキャラクタを設定することで、より適したコンテンツを作成することができる。
【００２４】
このような処理を繰り返すことによりフレーム毎に合成画像データ46を作成し、複数の合成画像から動画像を作成したり、合成画像１枚ずつスートリームとして配信したりすることで、所望のビデオコンテンツを容易に作成することができる。すなわち、撮影した人物の代わりに人物に同期したキャラクタによるビデオコンテンツの作成をリアルタイムに処理することが可能になる。これにより顔を隠したビデオコンテンツの即時配信も可能になる。
【００２５】
ビデオコンテンツ作成システム10におけるキャラクタの変形は、顔画像に限定されるものでなく、音、または音声、ならびに特定データを用いてもよい。以下のビデオコンテンツ作成システム10は、外部情報提供部12およびビデオコンテンツ作成装置14の一部構成要素を他の構成要素で置き換える。同じ共通する構成要素には先の実施例で用いた参照符号を付す。同じ説明の繰返しによる煩雑さを回避するため共通する構成要素については、説明を省略する。
【００２６】
図５に示すビデオコンテンツ作成システム10には、音を基にキャラクタを変形させる場合、外部情報提供部12には共通する構成要素とともに、マイクロフォン58が配設される。マイクロフォン58はカメラ18と置き換えられている。マイクロフォン58は収集した音をアナログ信号に変換する機能を有する。マイクロフォン58は変換したアナログ信号60をビデオコンテンツ作成装置14に出力する。
【００２７】
ビデオコンテンツ作成装置14は、共通する構成要素とともに、音声入力部62および音声認識部64を含む。音声入力部62は、供給されるアナログ信号60を入力するインタフェースを有し、入力したアナログ信号60をディジタル信号66に変換する機能を有する。本実施例において、供給されるアナログ信号60は、音声信号である。音声入力部62は、音声認識部64にディジタル信号66を出力する。
【００２８】
音声認識部64は、供給されるディジタル信号66を基に音声を認識する機能を有する。音声認識部64は、公知技術である音声認識を使用し、とくに、母音を認識する。音声認識部64は、さらに顔部位における対象を口にして、認識した母音の口形状を変形させる特徴点データ68を生成する。音声認識部64は、特徴点データ68をキャラクタ変形部36に出力する。
【００２９】
本実施例では、音声に同期してキャラクタを変形させて、とくに、口が動くキャラクタ画像を合成することができる。音声認識部68は、口以外の顔部位に対してあらかじめ作成した特徴点データをキャラクタ変形部36に出力するとよい。ここでの動作例としては、頭を揺らす、定期的に瞬きをさせる等がある。これを供給することで、合成した画像に対してより自然に動かすことができる。
【００３０】
本実施例のビデオコンテンツ作成システム10は、ラジオなどのように音声しかないコンテンツからでも、あたかもテレビを見ているようなビデオコンテンツを作成することができる。このとき画像入力部28に入力する画像は景色など普通の背景でもよいが、英会話に使用するならばテキストの内容が書かれたスライドを入力するとより分かりやすいビデオコンテンツを作成できるようになる。
【００３１】
また、先の実施例、すなわち顔画像と上述した音声とを組み合わせた構成にすることにより、キャラクタの口の動きは音声、その他の動きは顔画像を基に画像を作成することよりリアルにキャラクタを動作させることができる。
【００３２】
この場合、音声と同期してキャラクタの口が動くビデオコンテンツを作成することができる。映像がなくても、音声だけでビデオコンテンツを作成することができる。
【００３３】
図６に示すビデオコンテンツ作成システム10には、特定データを基にキャラクタを変形させる場合、外部情報提供部12には共通する構成要素とともに、操作部70が配設される。操作部70はカメラ18と置き換えられている。操作部70は、特定データとして動作を指定する指示データを生成する機能を有する。操作部70は、個々のキーやキーの組合せに応じて割り付けられた指示データ72をビデオコンテンツ作成装置14に出力してもよい。本実施例の指示データ72は、登録されている動作の種類を示す通番である。操作部70は、この通番を指示データ72として出力する。
【００３４】
ビデオコンテンツ作成装置14は、共通する構成要素とともに、動作作成部74を含む。動作作成部74は、供給される指示データ72に応じて特徴点データを生成する機能を有する。動作作成部74は、ストレージ部18からキャラクタに行なわせる動作に関する特徴点データ24を入力し、記憶または登録する。また、動作に関する特徴点データ24は、ストレージ部18にあらかじめキャラクタデータの一部として登録されている。動作作成部74は、記憶する特徴点データの中から指示データ72に応じた特徴点データ76をキャラクタ変形部36に出力する。特徴点データ76は、たとえばおじぎや笑う等、あらかじめ決まった動作をキヤラクタに行なわせるデータである。動作指定のないときに対応して、前述した実施例で示したような構成要素を備えることが望ましい。このように特徴点データを作成することでキャラクタの動きを多様化させることができる。
【００３５】
ところで、前述した実施例だけでは作成されるビデオコンテンツが単調になってしまいかねないと考えられる。そこで、本実施例は、たとえばスライドの中をキャラクタが歩き回ったり、キャラクタが説明している箇所を指したり、キャラクタが喜んだりする動作を途中に挿入する。これにより、作成されるビデオコンテンツの単調さを軽減することができる。
【００３６】
このように指定動作を含めてキヤラクタを合成すると、より複雑に効果的に演出することができる。たとえば、キャラクタに先の実施例では表現できないような喜怒哀楽を大げさに表現させた、より効果的なビデオコンテンツも作成することができる。
【００３７】
さらに、音を基に特定データを生成し画像合成するようにしてもよい。図７に示すビデオコンテンツ作成システム10において外部情報提供部12にはマイクロフォン58およびストレージ部78が追加する構成要素が含まれる。ストレージ部78は単語や慣用句等の登録された音声データによる言葉を格納し、読み出す機能を有する。ストレージ部78は、格納した音声データ80をビデオコンテンツ作成装置14に出力する。
【００３８】
ビデオコンテンツ作成装置14には、共通する構成要素とともに、音声入力部62、音声比較部82および動作作成部74が含まれる。音声比較部82はディジタル信号66と読み出したデータ80とを比較し、この比較により認識した結果に応じた指示データを出力する機能を有する。音声比較部82は、指示データ84を動作作成部74に出力する。動作作成部74は、指示データ84に応じた特徴点データ76をキャラクタ変形部36に供給する。
【００３９】
動作を簡単に説明すると、音声比較部82で入力された音声データ66と登録されている音声データ80とを比較し、同じ言葉であると認識した場合に自動的に動作を指定する。具体的な登録するデータとしては、「これ」という音声データには指示を表していることから対象に対して指を指すよう動作させる。また、「こんにちは」という音声データにはおじぎさせる等の動作を登録する。この登録で、ビデオコンテンツ作成者の負担を小さくしながら、効果的に演出する。動作の未設定や動作指定のないときに対応して、前述した実施例で示したような構成要素を備えることが望ましい。このように特徴点データを作成することでキャラクタの動きを多様化させることができる。
【００４０】
このように登録した音声データと入力された音声データとを比較することにより、ビデオコンテンツ作成者がとくに、操作部から操作しなくても、適切に動作するキャラクタを合成したビデオコンテンツを簡単に作製することができる。
【図面の簡単な説明】
【００４１】
【図１】本発明に係る映像作成装置を適用したビデオコンテンツ作成システムの概略的な構成を示すブロック図である。
【図２】図１のビデオコンテンツ作成システムの動作原理を説明する図である。
【図３】図１のビデオコンテンツ作成システムにおけるコンテンツ編集ツール画面の一例である。
【図４】図１のビデオコンテンツ作成システムにおける透過情報を適用した原理を説明する図である。
【図５】図１のビデオコンテンツ作成システムにおける概略的な他の構成を示すブロック図である。
【図６】図１のビデオコンテンツ作成システムにおける概略的な他の構成を示すブロック図である。
【図７】図１のビデオコンテンツ作成システムにおける概略的な他の構成を示すブロック図である。
【符号の説明】
【００４２】
10  ビデオコンテンツ作成システム
12  外部情報提供部
14  ビデオコンテンツ作成装置
16、18  ストレージ部
20  ディジタルカメラ
28、30  画像入力部
32  画像合成部
34  顔特徴抽出部
36  キャラクタ変形部
【図１】
2007026090.tif 000003
【図２】
2007026090.tif 000004
【図３】
2007026090.tif 000005
【図４】
2007026090.tif 000006
【図５】
2007026090.tif 000007
【図６】
2007026090.tif 000008
【図７】
2007026090.tif 000009