(57)【要約】【課題】イベントに対応して作成されたシナリオに基づきつつ、多彩なコンテンツを容易に作成することが可能な装置を提供する。【解決手段】コンテンツ作成者は所望のシナリオを選択した後、カメラ及びマイクロフォンを用いてコンテンツ作成端末に音声情報及び映像情報を入力する。入力された情報は、入力情報解析手段において解析され、コンテンツ作成のために必要なパラメータが算出される。算出されたパラメータの値はシナリオに反映され、反映されたシナリオに基づきコンテンツを作成する。【選択図】図１
2006039705.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツ作成者が入力する情報を受け付ける入力情報受付手段と、前記コンテンツ作成者が入力する情報を解析し、コンテンツの作成に必要なパラメータを決定する入力情報解析手段と、決定された前記パラメータの値を反映させた前記コンテンツのシナリオを作成し、前記シナリオに基づいて前記コンテンツを作成するコンテンツ作成手段を備えることを特徴とするコンテンツ作成装置。
【請求項２】
コンテンツ作成者が入力する情報は、前記コンテンツ作成者の音声であることを特徴とする請求項１記載のコンテンツ作成装置。
【請求項３】
入力情報受付手段は、コンテンツ作成者の音声の入力を受け付け、入力情報解析手段は、入力された前記音声の音量特性及び周波数特性を解析し、コンテンツ作成手段は、解析された前記音量特性及び前記周波数特性のうち少なくとも１種類の指標を反映させたシナリオを作成し、コンテンツを作成することを特徴とする請求項２記載のコンテンツ作成装置。
【請求項４】
コンテンツ作成者が入力する情報は、前記コンテンツ作成者を撮影した静止画または動画であることを特徴とする請求項１記載のコンテンツ作成装置。
【請求項５】
入力情報受付手段は、コンテンツ作成者を撮影した動画の入力を受け付け、入力情報解析手段は、入力された前記動画を構成する画像のフレーム間の変化量を算出し、コンテンツ作成手段は、算出された前記動画を構成する画像のフレーム間の変化量を反映させたシナリオを作成し、コンテンツを作成することを特徴とする請求項４記載のコンテンツ作成装置。
【請求項６】
入力情報受付手段は、コンテンツ作成者の音声及び動画の入力を受け付け、入力情報解析手段は、入力された前記音声の音量特性及び周波数特性を解析するとともに、入力された前記動画を構成する画像のフレーム間の変化量を算出し、コンテンツ作成手段は、解析された前記音量特性及び前記周波数特性のうち少なくとも１種類の指標と、算出された前記動画を構成する画像のフレーム間の変化量を反映させたシナリオを作成し、コンテンツを作成することを特徴とする請求項１記載のコンテンツ作成装置。
【請求項７】
現在位置を取得する位置情報取得手段をさらに備え、コンテンツ作成手段は、取得された前記現在位置を反映させたシナリオを作成し、コンテンツを作成することを特徴とする請求項１記載のコンテンツ作成装置。
【請求項８】
コンテンツのシナリオは、あらかじめ定められた記述子を用いて記述されるメタファイルであることを特徴とする請求項１から請求項７のいづれか一項に記載のコンテンツ作成装置。
【請求項９】
コンテンツ作成手段は、入力情報解析手段において決定されたパラメータの値によって、メタファイルに記述されている条件分岐の分岐先を決定することを特徴とする請求項８記載のコンテンツ作成装置。
【請求項１０】
コンテンツ作成者が入力する情報を受け付ける入力情報受付ステップと、前記コンテンツ作成者が入力する情報を解析し、コンテンツの作成に必要なパラメータを決定する入力情報解析ステップと、決定された前記パラメータの値を反映させた前記コンテンツのシナリオを作成し、前記シナリオに基づいて前記コンテンツを作成するコンテンツ作成ステップを含むことを特徴とするコンテンツ作成方法。
【請求項１１】
コンテンツを作成するための素材を提供するシナリオ・コンテンツサーバとコンテンツ作成端末が通信ネットワークを介して接続されて構成されるコンテンツ作成システムであって、前記シナリオ・コンテンツサーバは、コンテンツのシナリオを保持するシナリオ保持手段と、前記シナリオを配信する配信手段と、前記コンテンツ作成端末は、コンテンツ作成者が入力する情報を受け付ける入力情報受付手段と、前記コンテンツ作成者が入力する情報を解析し、コンテンツの作成に必要なパラメータを決定する入力情報解析手段と、決定された前記パラメータの値を反映させた前記シナリオを作成し、前記シナリオに基づいて前記コンテンツを作成するコンテンツ作成手段を備えることを特徴とするコンテンツ作成システム。
【請求項１２】
情報入力端末とコンテンツ作成サーバが通信ネットワークを介して接続されて構成されるコンテンツ作成システムであって、前記情報入力端末は、コンテンツ作成者が入力する情報を符号化してから多重化する情報多重化手段と、前記多重化された情報を前記コンテンツ作成サーバに配信するデータ受送信手段と、前記コンテンツ作成サーバは、コンテンツのシナリオを保持するシナリオ保持手段と、前記情報入力端末より配信される前記多重化された情報を分離してから復号化し、復号化された前記情報を解析し、前記コンテンツの作成に必要なパラメータを決定する多重化情報解析手段と、解析された前記パラメータの値を反映させた前記シナリオを作成し、前記シナリオに基づいて前記コンテンツを作成するコンテンツ作成手段を備えることを特徴とするコンテンツ作成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータグラフィックス、画像、音声を組み合わせてコンテンツを作成するコンテンツ作成装置に関し、特に状況に応じて内容を変更するコンテンツを作成するコンテンツ作成装置に関する。
【背景技術】
【０００２】
電子メールは、今や電話と並んで遠隔地間を結ぶ重要なコミュニケーションツールのひとつになっている。また、近年の通信ネットワークの広帯域化に伴って、テキストのみを使用するメールだけでなく、音声や画像を含んだものが増えている。更に最近では、携帯電話において、文字の大きさや色を変えたり、画像を挿入することによってカラフルで多彩なメールを作成することが可能になっている。コンテンツメーカーのウェブサイトには、この技術を利用して作成されたコンテンツが用意されている。ユーザーがその中から所望のコンテンツを選択し、送り先アドレスを指定するだけで、相手にカラフルで楽しいメールを容易に送ることを可能にするサービスも開始されている。
【０００３】
しかし、上述したサービスでは、あらかじめ用意されたコンテンツを利用するしかないため、例えば状況（場所、時間、背景に流れている音楽の曲調など）に応じてキャラクタの動作などを変化させることはできなかった。これらの問題に対処するための従来技術として、特開２００１−１１８０８４号公報に開示された「オブジェクト表示制御システムおよび記録媒体」がある（特許文献１参照）。この従来技術を、図１５を用いて説明する。図１５のオブジェクト表示制御システムでは、まずプレーヤ１６またはスピーカ＆イヤホン１７より入力されたサウンドデータの波形データを、ソフトウェア本体１１を用いて解析することにより、音量レベルと周波数レベルが算出される。算出されたそれらのデータに基づき、振り付けデータやフォーメーションなどの、キャラクタのダンスアニメーションに使用する動き情報を変更する。音量レベル及び周波数レベルとその時の振り付けデータやフォーメーションとの関係は予め決定されているため、使用する動き情報の変更は、その対応関係に従って行われる。
【特許文献１】特開２００１−１１８０８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の従来技術では、サウンドデータと振り付けやフォーメーション、すなわち動作データとを対応させる方法についてしか言及されておらず、多彩なコンテンツを作成する仕組みとしては不十分であるという問題があった。
【０００５】
そこで、本発明はこのような状況に鑑みなされたもので、誕生日やお正月などのイベントに応じたシナリオに基づきつつ、コンテンツ作成者自身の映像や音声、居場所などを反映して内容を変更することで、多彩なコンテンツを容易に作成することが可能なコンテンツ作成装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の請求項１に記載のコンテンツ作成装置は、コンテンツ作成者が入力する情報を受け付ける入力情報受付手段と、前記コンテンツ作成者が入力する情報を解析し、コンテンツの作成に必要なパラメータを決定する入力情報解析手段と、決定された前記パラメータの値を反映させた前記コンテンツのシナリオを作成し、前記シナリオに基づいて前記コンテンツを作成するコンテンツ作成手段を備えるものである。
【０００７】
また、本発明の請求項２に記載のコンテンツ作成装置は、請求項１に記載のコンテンツ作成装置において、コンテンツ作成者が入力する情報は、前記コンテンツ作成者の音声であるものである。
【０００８】
また、本発明の請求項３に記載のコンテンツ作成装置は、請求項２に記載のコンテンツ作成装置において、入力情報受付手段は、コンテンツ作成者の音声の入力を受け付け、入力情報解析手段は、入力された前記音声の音量特性及び周波数特性を解析し、コンテンツ作成手段は、解析された前記音量特性及び前記周波数特性のうち少なくとも１種類の指標を反映させたシナリオを作成し、コンテンツを作成するものである。
【０００９】
また、本発明の請求項４に記載のコンテンツ作成装置は、請求項１に記載のコンテンツ作成装置において、コンテンツ作成者が入力する情報は、前記コンテンツ作成者を撮影した静止画または動画であるものである。
【００１０】
また、本発明の請求項５に記載のコンテンツ作成装置は、請求項４に記載のコンテンツ作成装置において、入力情報受付手段は、コンテンツ作成者を撮影した動画の入力を受け付け、入力情報解析手段は、入力された前記動画を構成する画像のフレーム間の変化量を算出し、コンテンツ作成手段は、算出された前記動画を構成する画像のフレーム間の変化量を反映させたシナリオを作成し、コンテンツを作成するものである。
【００１１】
また、本発明の請求項６に記載のコンテンツ作成装置は、請求項１に記載のコンテンツ作成装置において、入力情報受付手段は、コンテンツ作成者の音声及び動画の入力を受け付け、入力情報解析手段は、入力された前記音声の音量特性及び周波数特性を解析するとともに、入力された前記動画を構成する画像のフレーム間の変化量を算出し、コンテンツ作成手段は、解析された前記音量特性及び前記周波数特性のうち少なくとも１種類の指標と、算出された前記動画を構成する画像のフレーム間の変化量を反映させたシナリオを作成し、コンテンツを作成するものである。
【００１２】
また、本発明の請求項７に記載のコンテンツ作成装置は、請求項１に記載のコンテンツ作成装置において、現在位置を取得する位置情報取得手段をさらに備え、コンテンツ作成手段は、取得された前記現在位置を反映させたシナリオを作成し、コンテンツを作成するものである。
【００１３】
また、本発明の請求項８に記載のコンテンツ作成装置は、請求項１から請求項７の何れか一項に記載のコンテンツ作成装置において、コンテンツのシナリオは、あらかじめ定められた記述子を用いて記述されるメタファイルであるものである。
【００１４】
また、本発明の請求項９に記載のコンテンツ作成装置は、請求項８に記載のコンテンツ作成装置において、コンテンツ作成手段は、入力情報解析手段において決定されたパラメータの値によって、メタファイルに記述されている条件分岐の分岐先を決定するものである。
【００１５】
また、本発明の請求項１０に記載のコンテンツ作成方法は、コンテンツ作成者が入力する情報を受け付ける入力情報受付ステップと、前記コンテンツ作成者が入力する情報を解析し、コンテンツの作成に必要なパラメータを決定する入力情報解析ステップと、決定された前記パラメータの値を反映させた前記コンテンツのシナリオを作成し、前記シナリオに基づいて前記コンテンツを作成するコンテンツ作成ステップを含むものである。
【００１６】
また、本発明の請求項１１に記載のコンテンツ作成システムは、コンテンツを作成するための素材を提供するシナリオ・コンテンツサーバとコンテンツ作成端末が通信ネットワークを介して接続されて構成されるコンテンツ作成システムであって、前記シナリオ・コンテンツサーバは、コンテンツのシナリオを保持するシナリオ保持手段と、前記シナリオを配信する配信手段と、前記コンテンツ作成端末は、コンテンツ作成者が入力する情報を受け付ける入力情報受付手段と、前記コンテンツ作成者が入力する情報を解析し、コンテンツの作成に必要なパラメータを決定する入力情報解析手段と、決定された前記パラメータの値を反映させた前記シナリオを作成し、前記シナリオに基づいて前記コンテンツを作成するコンテンツ作成手段を備えるものである。
【００１７】
また、本発明の請求項１２に記載のコンテンツ作成システムは、情報入力端末とコンテンツ作成サーバが通信ネットワークを介して接続されて構成されるコンテンツ作成システムであって、前記情報入力端末は、コンテンツ作成者が入力する情報を符号化してから多重化する情報多重化手段と、前記多重化された情報を前記コンテンツ作成サーバに配信するデータ受送信手段と、前記コンテンツ作成サーバは、コンテンツのシナリオを保持するシナリオ保持手段と、前記情報入力端末より配信される前記多重化された情報を分離してから復号化し、復号化された前記情報を解析し、前記コンテンツの作成に必要なパラメータを決定する多重化情報解析手段と、解析された前記パラメータの値を反映させた前記シナリオを作成し、前記シナリオに基づいて前記コンテンツを作成するコンテンツ作成手段を備えるものである。
【発明の効果】
【００１８】
以上説明したように、本発明に係るコンテンツ作成装置は、コンテンツ作成者が入力する情報を受け付ける入力情報受付手段と、前記コンテンツ作成者が入力する情報を解析し、コンテンツの作成に必要なパラメータを決定する入力情報解析手段と、決定された前記パラメータの値を反映させた前記コンテンツのシナリオを作成し、前記シナリオに基づいて前記コンテンツを作成するコンテンツ作成手段を備えることを特徴とする。
【００１９】
従って、コンテンツの内容を記述するシナリオに基づきつつ、コンテンツ作成者の顔画像や音声、動きの情報を反映させることができ、多様なコンテンツを容易に作成することが可能である。
【００２０】
また、本発明に係るコンテンツ作成装置は、現在位置を取得する位置情報取得手段をさらに備え、コンテンツ作成手段は、取得された前記現在位置を反映させたシナリオを作成し、コンテンツを作成することを特徴とする。
【００２１】
これにより、コンテンツ作成端末が現在設置されている場所に応じて、シナリオを変更することができ、個性豊かなコンテンツを容易に生成することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００２３】
（実施の形態１）
以下、本発明の実施の形態１に係るコンテンツ作成装置を、図面を参照しながら説明する。
【００２４】
図１は、本発明の実施の形態１におけるコンテンツ作成装置の構成の一例を示す図である。
【００２５】
本発明の実施の形態１に係るコンテンツ作成装置は、シナリオ・コンテンツサーバ１０、通信ネットワーク２０、コンテンツ作成端末３０により構成される。シナリオ・コンテンツサーバ１０は、コンテンツ全体の内容を記述するシナリオを格納するシナリオ保持手段１１、各シナリオに対応したコンテンツを作成するための様々な素材（以降、コンテンツパーツと称す。）を格納するコンテンツパーツ保持手段１２、及びデータを受送信するための配信手段１３により構成される。通信ネットワーク２０は、サーバと端末間のデータのやり取りを行うためのインターネットなどのネットワークである。コンテンツ作成端末３０は、データの受送信を行うデータ受送信手段３１、コンテンツ作成に用いるシナリオを選択するためのシナリオ選択手段３２、作成したコンテンツやダウンロードしたコンテンツパーツを保持するためのコンテンツ保持手段３３、コンテンツを作成するためのコンテンツ作成手段３４、コンテンツ作成者の音声情報３７や映像情報３８などの情報の入力を受け付ける入力情報受付手段３６、及び入力された情報を解析するための入力情報解析手段３５により構成される。以下で、本発明の実施の形態１に係るコンテンツ作成装置の処理の流れについて詳しく説明する。
【００２６】
まず、本発明におけるコンテンツについて説明する。コンテンツとは、例えば「誕生日」、「結婚式」、「年賀状」などのイベントに対応し、コンピュータグラフィックス（以降、ＣＧと称す。）で作成されたキャラクタや、カメラなどを用いて取得された静止画、動画、及びマイクロフォンなどを用いて取得された音楽や音声（これらの総称がコンテンツパーツである。）を組み合わせて作成される一連の情報の集合である。また、どのコンテンツパーツをどのようなタイミングでどのように組み合わせるかなど、コンテンツ全体の内容を記述したものをシナリオと呼ぶことにする。図２に「誕生日」イベントに対応したコンテンツの一例を示す。図２のコンテンツでは、ＣＧで作成された大きなケーキのまわりで２人のＣＧキャラクタがダンスをしており、画面の上部にはコンテンツ作成者自身の映像とともに、「誕生日おめでとう！！」というテキストが表示されている。また、スピーカーからはコンテンツ作成者自身の音声による「誕生日おめでとう」というメッセージが流れる。ユーザーはこの作成したコンテンツを誕生日の友人に送ることで、多彩なコミュニケーションを実現できる。
【００２７】
シナリオ保持手段１１には、様々なイベントに対応するコンテンツの一覧表が保持されている。コンテンツは、各イベントに対して一種類のみであっても良いし、複数個存在しても良い。以降、この一覧表をコンテンツテーブルと称す。コンテンツテーブルは、シナリオ保持手段１１より読み出され、配信手段１３、通信ネットワーク２０、データ受送信手段３１を介して、シナリオ選択手段３２に送られる。コンテンツ作成者は、送信されてきたコンテンツテーブルを参照し、作成したいコンテンツを選択する。選択された情報は、通信ネットワーク２０を介してシナリオ保持手段１１に送信される。シナリオ保持手段１１では、選択されたコンテンツの情報を取得すると、当該コンテンツに対応するシナリオを読み出し、配信手段１３、通信ネットワーク２０、データ受送信手段３１を介してコンテンツ作成手段３４に送信する。
【００２８】
シナリオを記述する方法は特に限定しないが、ＭＰＥＧ−７や、ＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｇｒａｔｉｏｎ  Ｌａｎｇｕａｇｅ）、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）などのシーン記述言語に則した形式で表現しても良い。図３に、シナリオ記述の一例を示す。図３に示すように、本発明の実施の形態１におけるシナリオは、＜＞で括られた記述子（タグ）とタグに囲まれた値や内容によって記述される。以下で、図３に示されているシナリオについて詳しく説明する。
【００２９】
＜ＨａｐｐｙＢｉｒｔｈｄａｙ＞タグは、このシナリオが「誕生日」に対応するコンテンツであることを表す。＜ＩＤ＞は、登場するコンテンツパーツを識別する記述子であり、＜ＭｏｄｅｌＮａｍｅ＞はＣＧオブジェクトの形状データファイル名、＜Ｐｏｓｉｔｉｏｎ＞は形状データを配置する初期位置を表す。＜Ａｎｉｍａｔｉｏｎ＞はアニメーションに関する記述の開始／終了を表し、＜ＳｔａｒｔＴｉｍｅ＞はアニメーションの開始時刻、＜Ａｎｉｍ＞はＣＧオブジェクトに適用するアニメーションデータのファイル名を表す。＜Ｔｅｘｔｕｒｅ＞はテクスチャに関する記述の開始／終了を表し、＜ＴｅｘＮａｍｅ＞はマッピングするテクスチャデータのファイル名を表す。従って、図３の６行目から１６行目までを解釈すると、“Ｍａｎ．ｍｄｌという形状データファイルを読み込み、Ｐｉｃｔ．ｔｅｘテクスチャをマッピングして、［０．０  １０．０  ０．０］の位置に置き、１．０秒からＡｎｉｍ０．ａｎｉｍのアニメーションを開始する。”となる。２２行目の＜ｗｈｅｎ＞から３０行目の＜ｏｔｈｅｒｗｉｓｅ＞までは条件分岐を表し、Ｍｏｍｅｎｔｕｍの値が０以上５０未満の場合にはＡｎｉｍ１．ａｎｉｍのアニメーションデータを利用し、５０以上１００未満の場合にはＡｎｉｍ２．ａｎｉｍを、それ以外の場合にはＡｎｉｍ３．ａｎｉｍを利用することを意味する。Ｍｏｍｅｎｔｕｍの内容に関しては後述する。＜Ｅｆｆｅｃｔ＞は、エフェクトに関する記述の開始／終了を表し、＜Ｋｉｎｄ＞はエフェクトの種類、＜ＥｆｆｅｃｔＡｎｉｍ＞は利用するエフェクトの属性を表す。
【００３０】
コンテンツ作成者はシナリオ保持手段１１よりシナリオを取得すると、次にコンテンツ作成端末３０に取り付けられたカメラ及びマイクロフォン（図１ではともに入力情報受付手段３６として図示されている。）を用いて、音声情報３７及び映像情報３８を入力する。例えば、「誕生日」イベントであればカメラに向かって手を振りながら、「お誕生日おめでとう」というメッセージを入力する。以降、コンテンツ作成者により入力された音声情報及び映像情報をまとめて映像メッセージと称す。入力された映像メッセージは入力情報受付手段３６を介して入力情報解析手段３５に送られる。
【００３１】
図３のシナリオにおいて、ＭｏｍｅｎｔｕｍやＶｏｉｃｅＰｉｔｃｈは、ユーザーが入力した映像メッセージに基づいて決定される量である。従って、ユーザーが入力した情報に応じて条件分岐の判定結果が変わることになる。その結果、利用するアニメーションやエフェクトの属性を変化させ、多彩なコンテンツを作成することができる。入力情報解析手段３５は、映像メッセージからこれらの値を算出する。
【００３２】
Ｍｏｍｅｎｔｕｍは、コンテンツ作成者が作成した映像メッセージの映像情報の変化の大きさ（動き量）を表す。入力された映像情報３８からＭｏｍｅｎｔｕｍを算出する方法は特に限定しないが、例えば以下の２通りの方法が考えられる。
【００３３】
（差分画像を利用する方法）
差分画像を利用する方法では、画像のフレーム間の差分を求めることで動き量を算出する。具体的には以下の手順に従う。
【００３４】
（１）動き総量ＡＭＯＵＮＴ＝０とする。
【００３５】
（２）第Ｉフレームのｊ行ｋ列目の画素値Ｐ［ｊ］［ｋ］と第Ｉ−１フレームの同じ位置の画素値Ｐ‘［ｊ］［ｋ］の差分（Ｐ［ｊ］［ｋ］−Ｐ‘［ｊ］［ｋ］）を算出する。
【００３６】
（３）（２）で算出した値が０でない場合にはＡＭＯＵＮＴに１を加算する。０の場合には何もしない。図４の例では、斜線で表された領域がＡＭＯＵＮＴに１を加算する領域である。
【００３７】
（４）（２）（３）の処理を映像情報のすべてのフレームのすべての画素で実行する。
【００３８】
（５）Ｍｏｍｅｎｔｕｍ＝ＡＭＯＵＮＴとする。
【００３９】
（動きベクトルを利用する方法）
動きベクトルを利用する方法では、映像情報を構成する画像を固定サイズのブロックに分割し、各ブロックとひとつ前のフレームを構成する画像内で最も相関の高いブロックを求め、そのブロックへの移動ベクトルを用いる。具体的には以下の手順に従う（図５を参照）。
【００４０】
（１）映像情報を構成する画像を固定サイズのブロック（例えば１６×１６画素のブロック）に分割する。
【００４１】
（２）第Ｉフレームのあるブロックと第Ｉ−１フレームの画像のブロックと同じ大きさの部分領域との相関を、ブロック内の同じ位置にある画素の差分二乗和Ｓを取ることによって求める。そして、Ｓが最小となるブロックを決定する。
【００４２】
（３）第Ｉフレームのあるブロックの中心座標を（Ｘｃ，Ｙｃ）、当該ブロックと最も相関の高い第Ｉ−１フレームのブロックの中心座標を（Ｘｒｃ，Ｙｒｃ）とすると、動きベクトルｖは、ｖ＝（ｖｘ，ｖｙ）＝（Ｘｃ−Ｘｒｃ，Ｙｃ−Ｙｒｃ）で表される。
【００４３】
（４）ｖの大きさ｜ｖ｜＝ｓｑｒｔ（ｖｘ＊ｖｘ＋ｖｙ＊ｖｙ）を求める。ここで、ｓｑｒｔは平方根を取ることを意味し、＊は積を表す。
【００４４】
（５）（３）（４）の処理を映像メッセージのすべてのフレームのすべてのブロックで実行する。
【００４５】
（６）（５）の総和をＭｏｍｅｎｔｕｍとする。
【００４６】
ＶｏｉｃｅＰｉｔｃｈは、コンテンツ作成者が入力した音声情報の高さ（ピッチ）を表す。入力された音声情報３７からＶｏｉｃｅＰｉｔｃｈを算出する方法は特に限定しないが、例えば以下のような２通りの方法がある。
【００４７】
（周波数のピーク値を利用する方法）
（１）入力された音声情報をフーリエ変換などにより周波数領域に変換する。
【００４８】
（２）各周波数成分のパワー値を調べ、パワー値が最大である周波数ｆｐをＶｏｉｃｅＰｉｔｃｈとする。
【００４９】
（周波数の相対値を利用する方法）
周波数のピーク値を利用する方法では、例えば低い声の作成者の場合にはＶｏｉｃｅＰｉｔｃｈの値は常に低くなる。そこで、周波数の相対値を利用する方法では、コンテンツ作成者が以前に入力した音声情報を解析して抽出したピッチ情報をコンテンツ保持手段３３に記録しておく。そして、それとの相対値をＶｏｉｃｅＰｉｔｃｈとする。具体的には以下の手順に従う。
【００５０】
（１）入力された音声情報を周波数領域に変換する。
【００５１】
（２）各周波数成分のパワー値を調べ、パワー値が最大である周波数ｆｐを求める。
【００５２】
（３）コンテンツ保持手段３３に記録されている、以前に抽出したピッチ情報ｆｐｒｅｆを読み出し、ＶｏｉｃｅＰｉｔｃｈ＝ｆｐ／ｆｐｒｅｆとする。
【００５３】
以上の方法により算出されたＭｏｍｅｎｔｕｍやＶｏｉｃｅＰｉｔｃｈの値はコンテンツ作成手段３４に送信される。
【００５４】
コンテンツ作成手段３４では、シナリオ・コンテンツサーバ１０より送られてきたシナリオと入力情報解析手段３５で決定されたパラメータを用いてコンテンツを作成する。まず、シナリオで条件分岐になっている部分の処理を決定する。例えば、図３の例ではＬａｄｙ．ｍｄｌに利用するアニメーションデータがＭｏｍｅｎｔｕｍにより決定され、エフェクトの属性がＶｏｉｃｅＰｉｔｃｈにより決定される。ここで、図３の２２行目から３０行目に示されている条件分岐に関して、Ａｎｉｍ１．ａｎｉｍは、最も動きの変化が乏しいアニメーションデータであり、Ａｎｉｍ２．ａｎｉｍ、Ａｎｉｍ３．ａｎｉｍになるにつれて変化の激しいアニメーションデータになっている。これは、コンテンツ作成者が映像メッセージを作成した時の動きの度合いを、コンテンツにも反映させられることを意味する。また、３７行目から４２行目に示されている条件分岐では、キャラクタのまわりに星を降らせるエフェクトを決定しているが、Ａｎｉｍ５．ｅｆｔの方がＡｎｉｍ４．ｅｆｔよりも星の個数が多くなるように設定されている。これは、映像メッセージを作成した時の声の高まり度合いを反映させられることを意味する。
【００５５】
コンテンツ作成手段３４はシナリオが確定すると、コンテンツ作成に必要なＣＧ形状データ、アニメーションデータ、テクスチャデータなどのコンテンツパーツの取得要求を、通信ネットワーク２０を介してシナリオ・コンテンツサーバ１０に出す。シナリオ・コンテンツサーバ１０は要求を受け取ると、コンテンツパーツ保持手段１２より必要なコンテンツパーツを読み出し、配信手段１３、通信ネットワーク２０、データ受送信手段３１を通じてコンテンツ作成手段３４に送る。ここで、コンテンツ作成手段３４は、コンテンツパーツをすべてシナリオ・コンテンツサーバ１０から受け取るとしたが、その限りではない。例えば、以前コンテンツを作成した際にダウンロードしたパーツやコンテンツ作成端末３０にあらかじめ保持されているパーツなどはコンテンツ保持手段３３から取得して用いても良い。また、コンテンツ作成者が入力した映像メッセージをそのままコンテンツパーツとして利用しても良い。
【００５６】
コンテンツパーツがすべて揃うと、それらを用いてコンテンツが作成される。コンテンツ作成手段３４は、シナリオを解釈しながら、それに従ってＣＧの分野で一般的に用いられる以下のような処理を実行し、コンテンツを作成する。
【００５７】
（１）輝度計算
（２）隠線・隠面消去
（３）投影変換、ビューポート変換
（４）シェーディング
（５）テクスチャマッピング
また、音声や音楽に関してもシナリオに記述されたタイミングで再生する。図６に最終的に作成されたコンテンツの一例を示す。
【００５８】
作成されたコンテンツは、コンテンツ保持手段３３に記録されるが、その形式は特に限定しない。非圧縮のまま保存しても良いし、ＭＰＥＧ−４などの形式で符号化したものを保存しても良い。また、作成したコンテンツをメールなどに添付して送ることもできる。
【００５９】
図７は、「結婚祝い」イベントに関するコンテンツのシナリオの一部である。図７において、＜ＢＧＣｏｌｏｒ＞は背景色を表すタグであり、＜Ｖｏｉｃｅ＞は音声に関する記述の開始／終了、＜Ｍｏｖｉｅ＞は映像に関する記述の開始／終了、＜Ｐｌａｙ＞は音声または映像の再生に関する記述の開始／終了を表すタグである。ＶｏｉｃｅＡｍｐは、コンテンツ作成者が映像メッセージを作成した時の音声情報の大きさを表す。ＶｏｉｃｅＡｍｐの算出方法は特に限定しない。例えば入力された音声情報３７の振幅を調べ、その最大値をＶｏｉｃｅＡｍｐとすることなどが考えられる。図７のシナリオでは、ＶｏｉｃｅＡｍｐの値に応じて、背景色が変化する。ＶｏｉｃｅＡｍｐの値が大きくなるにつれて、青→緑→黄に設定されることから、図７のシナリオでは、映像メッセージの音声の振幅が大きいほど明るい背景色が用いられることになり、その結果、コンテンツも明るく派手な印象を与えるものになる。
【００６０】
これまでの説明ではＭｏｍｅｎｔｕｍやＶｏｉｃｅＡｍｐなどを別々に用いてシナリオ中のアニメーションデータやエフェクトの属性を決定してきたが、その限りではない。例えば、図１６に示すシナリオであれば、Ｍｏｍｅｎｔｕｍ、ＶｏｉｃｅＡｍｐともに小さい場合に背景色は紫色となり、逆にＭｏｍｅｎｔｕｍ、ＶｏｉｃｅＡｍｐともに大きければ黄色になる。また、Ｍｏｍｅｎｔｕｍは大きいが、ＶｏｉｃｅＡｍｐが小さい場合には緑色になる。このように、複数の指標の組み合わせによりシナリオを決定しても良い。
【００６１】
図７の１３行目のＭｙＰｉｃｔは、Ｍａｎ２．ｍｄｌの形状データにコンテンツ作成者自身の顔画像をテクスチャとしてマッピングすることを表している。使用する顔画像は、コンテンツ保持手段３３に予め保存されている静止画像でも良いし、映像メッセージを作成する前に静止画像を撮影して用いても良いが、ＣＧキャラクタのテクスチャとして利用するためには、取得した静止画像から顔領域を切り出す必要がある。以下、顔領域を抽出するための２通りの方法について説明する。
【００６２】
（１）テンプレートマッチングを用いる方法
テンプレートマッチングは、図８に示すような、様々な大きさ、姿勢を持つ顔参照画像をあらかじめ用意しておき（これらの画像をテンプレートと呼ぶ）、入力された静止画像の部分領域との相関を取ることによって、領域を特定する方法である。具体的には、用意されたテンプレートを用いて入力画像を走査していき、入力画像の画素値と、テンプレートの画素値の差分二乗和Ｓを順次求める。この処理をすべてのテンプレートについて行い、Ｓが最小となるテンプレートの位置、姿勢が入力画像における顔領域の位置、姿勢となる。
【００６３】
（２）色情報を併用する方法
色情報を併用する方法では、入力画像からまず肌色の領域を抽出する。抽出された肌色の領域が顔領域の候補となる。これらの候補に対して（１）と同様の処理を施し、顔領域を抽出する。
【００６４】
以上の方法を用いて、図９に示すように静止画像から顔領域のみを抽出する。抽出された顔画像はコンテンツ作成手段３４に送られ、ＣＧキャラクタにマッピングされる。このように、登場するＣＧキャラクタにコンテンツ作成者自身の顔画像をマッピングすることにより、親しみやすいコンテンツを作成することができる。
【００６５】
図７の１６行目のＭｙＶｏｉｃｅは、コンテンツ作成者が作成した映像メッセージの音声を再生することを表し、２２行目のＭｙＭｏｖｉｅは、映像を再生することを表す。従って、図７のシナリオでは、コンテンツ作成者の顔画像がマッピングされたＣＧキャラクタが登場して５．０秒後からコンテンツ作成者が作成した映像メッセージ、例えば結婚を祝うメッセージが再生される。このように、コンテンツに作成者の音声や動きの情報を反映させるとともに、映像メッセージそのものをコンテンツに埋め込むことも可能である。
【００６６】
これまでの説明では、コンテンツ作成者が入力する情報に応じて、ＣＧキャラクタの動作を制御するアニメーションデータや背景色、エフェクトの属性を変更する例について説明したが、それ以外の内容を変更することも可能である。例えば、登場するＣＧキャラクタの人数や、背景で流れる音楽を変更することができる。登場するキャラクタの人数を変更する場合には、入力された情報に応じて読み込むＣＧ形状データファイル数を変えるようにシナリオを記述しておけば良い。また、背景で流れる音楽を変更する場合には、＜Ｍｕｓｉｃ＞や＜ＭｕｓｉｃＮａｍｅ＞などのタグを定義し、条件に応じて再生する音楽データファイルを変更するようにシナリオを記述しておけば良い。
【００６７】
以上のように、本発明の実施の形態１に係るコンテンツ作成装置によれば、コンテンツの全体の内容を記述するシナリオに基づきつつ、コンテンツ作成者の顔画像や音声、動きの情報を反映させることができる。従って、多彩なコンテンツを容易に作成することが可能である。
【００６８】
（実施の形態２）
以下、本発明の実施の形態２に係るコンテンツ作成装置を、図面を参照しながら説明する。
【００６９】
図１０は、本発明の実施の形態２におけるコンテンツ作成装置の構成の一例を示す図である。図１０のコンテンツ作成端末３０は、本発明の実施の形態１で説明した構成に加えて、位置情報取得手段４１を備えている。なお、本発明の実施の形態１と対応する機能構成については同一番号を付し、詳細な説明を省略する。
【００７０】
コンテンツ作成者はまず、シナリオ選択手段３２を用いて、作成したいコンテンツを選択する。本発明の実施の形態２では、「お礼状」イベントに関するコンテンツを選択したとする。選択された情報はシナリオ保持手段１１に送られ、それに対応するシナリオが通信ネットワーク２０を介してコンテンツ作成手段３４に送られる。
【００７１】
図１１は、「お礼状」コンテンツに対応するシナリオの一部である。図１１において、＜Ｔｅｘｔ＞はテキストを表示することを表すタグである。また、４行目のＧｌｏｂａｌＰｏｓｉｔｉｏｎは、コンテンツ作成端末３０が現在設置されている位置（場所）を表す。従って、図１１のシナリオでは、端末の存在場所に応じて条件分岐し、表示するテキストが変更される。コンテンツ作成手段３４は、シナリオを受け取ると、まずその内容を解析し、ＧｌｏｂａｌＰｏｓｉｔｉｏｎが設定されていることを確認すると、位置情報取得手段４１に対して、現在端末が設置されている位置に関する情報（以降、位置情報と称す。）を取得するように要求する。位置情報取得手段４１は、要求を受けると、位置情報４２を取得する。位置情報の取得方法は特に限定しないが、近年様々な機器に搭載されているＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）を用いれば良い。取得された位置情報４２は、コンテンツ作成手段３４に送られる。
【００７２】
コンテンツパーツ保持手段１２には、“本当にありがとう”の文章を様々な地方の言葉で表現したテキストデータが格納されている。従って、図１１の例では送信されてきた位置情報４２を参照し、位置情報４２が○以上□未満であると、“本当にありがとう”のテキストデータが選択され、位置情報４２が□以上△未満であると、“ほんまおおきに”のテキストデータが選択されて、コンテンツパーツの取得要求が出される。コンテンツパーツ保持手段１２は、コンテンツを作成するために必要な他のコンテンツパーツと同様に選択されたテキストデータをコンテンツ作成手段３４に送信する。コンテンツ作成手段３４では、本発明の実施の形態１と同様の手順でコンテンツを作成し、コンテンツ保持手段３３に格納する。図１２に、最終的に作成されたコンテンツの例を示す。
【００７３】
このように、本発明の実施の形態２に係るコンテンツ作成装置によれば、コンテンツ作成端末が現在設置されている位置（場所）に応じて、コンテンツの内容を変更することができ、個性豊かなコンテンツを容易に作成することができる。
【００７４】
（実施の形態３）
以下、本発明の実施の形態３に係るコンテンツ作成装置を、図面を参照しながら説明する。
【００７５】
図１３は、本発明の実施の形態３におけるコンテンツ作成装置の構成の一例を示す図である。本発明の実施の形態３におけるコンテンツ作成装置は、コンテンツ作成者に関する情報をシナリオに反映させることで、多彩なコンテンツを作成することに代わりはないが、本発明の実施の形態１におけるコンテンツ作成装置では、コンテンツ作成端末でコンテンツを作成するのに対し、本発明の実施の形態３におけるコンテンツ作成装置では、サーバ側で作成し、端末側では音声情報や映像情報を入力するのみである点が異なる。なお、本発明の実施の形態１と対応する機能構成については同一番号を付し、詳細な説明を省略する。
【００７６】
本発明の実施の形態３に係るコンテンツ作成装置は、コンテンツ作成サーバ５０、通信ネットワーク２０、及び情報入力端末６０により構成される。コンテンツ作成サーバ５０は、シナリオ保持手段１１、コンテンツパーツ保持手段１２、配信手段１３に加えて、作成されたコンテンツを保持するコンテンツ保持手段３３、シナリオ及びコンテンツパーツを用いてコンテンツを作成するコンテンツ作成手段３４、及び多重化されて送られてくる音声情報３７や映像情報３８を分離して復号化し、それぞれの情報からシナリオを決定するためのパラメータを算出する多重化情報解析手段５１を備えている。情報入力端末６０は、データ受送信手段３１、シナリオ選択手段３２、入力情報受付手段３６に加えて、入力された音声情報３７や映像情報３８を符号化し、多重化する情報多重化手段６１を備えている。以下、本発明の実施の形態３に係るコンテンツ作成装置の処理の流れを詳細に説明する。
【００７７】
コンテンツ作成者はまず、シナリオ保持手段１１より送られてくるコンテンツテーブルの中から、シナリオ選択手段３２を用いて、所望のコンテンツを選択する。選択されたコンテンツに関する情報は、シナリオ保持手段１１に送信される。シナリオ保持手段１１は、選択されたコンテンツに対応するシナリオをコンテンツ作成手段３４に送信する。次に、コンテンツ作成者は情報入力端末６０に取り付けられているカメラやマイクロフォンを用いて、映像メッセージを作成する。映像メッセージを構成する音声情報３７及び映像情報３８は入力情報受付手段３６を介して、情報多重化手段６１に送られる。
【００７８】
情報多重化手段６１では、送られてきた音声情報３７及び映像情報３８を受け取り、通信ネットワーク２０を介してコンテンツ作成サーバ５０に伝送可能なデータ形式に変換する。具体的には、図１４に示すように、まず音声情報３７及び映像情報３８をそれぞれ独立に符号化し、ビットストリームを作成する。符号化の形式は特に限定しないが、例えばＭＰＥＧ−４形式などがある。次に、作成されたビットストリームを多重化する。多重化方式についても特に限定しないが、例えばＭＰ４形式などがある。多重化されたビットストリームは、通信ネットワーク２０、配信手段１３を介して、多重化情報解析手段５１に送られる。
【００７９】
多重化情報解析手段５１では、送られてきた多重化ビットストリームを分離し、復号化して音声情報３７及び映像情報３８を取得する。コンテンツ作成手段３４は、選択されたシナリオにおいて、内容を確定させるためにどのような情報が必要か（本発明の実施の形態１におけるＭｏｍｅｎｔｕｍ、ＶｏｉｃｅＰｉｔｃｈ、ＶｏｉｃｅＡｍｐなど）を解釈し、その結果を多重化情報解析手段５１に伝える。多重化情報解析手段５１は、前述した方法を用いて動き量や音声の高さなどの必要なパラメータを算出する。算出されたパラメータはコンテンツ作成手段３４に送られる。また、本発明の実施の形態２と同様に、情報入力端末６０の情報多重化手段６１に位置情報取得手段４１を備えることもできる（図示せず）。位置情報取得手段４１を備えた場合には、ＧＰＳなどを用いて位置情報４２を取得し、音声情報３７、及び映像情報３８とともに情報多重化手段６１で多重化して送信する。多重化情報解析手段５１では、多重化されたビットストリームを分離して位置情報４２を取得する。そして、選択されたシナリオでＧｌｏｂａｌＰｏｓｉｔｉｏｎが使用されている場合には、この値を参照してシナリオを決定する。
【００８０】
コンテンツ作成手段３４は、選択されたシナリオと多重化情報解析手段５１で算出されたパラメータに基づき、コンテンツ作成に必要なコンテンツパーツをコンテンツパーツ保持手段１２より読み出し、シナリオに従ってコンテンツを作成する。作成されたコンテンツは、コンテンツ保持手段３３に記録しても良いし、メールに添付して相手に直接送信しても良い。
【００８１】
このように本発明の実施の形態３に係るコンテンツ作成装置によれば、コンテンツの作成をすべてサーバで行い、端末は情報を入力するのみで良い。従って、端末にかかる計算負荷を最小限に抑えて、多彩なコンテンツを容易に生成することができる。これは、性能の低い端末を使用する場合に特に有効である。
【産業上の利用可能性】
【００８２】
本発明のコンテンツ作成装置は、例えば、カメラやＧＰＳ機能の付いた携帯電話等に搭載して好適に利用できる。
【図面の簡単な説明】
【００８３】
【図１】本発明の実施の形態１におけるコンテンツ作成装置の構成を示す図
【図２】本発明を用いて作成されるコンテンツの一例を示す図
【図３】本発明の実施の形態１で利用されるシナリオを表す図
【図４】差分画像を利用して動き量を算出する方法を説明する図
【図５】動きベクトルを利用して動き量を算出する方法を説明する図
【図６】選択されたシナリオに基づいて作成されたコンテンツの一例を示す図
【図７】本発明の実施の形態１で利用されるシナリオを表す図
【図８】顔領域の抽出に利用するテンプレートを説明する図
【図９】テンプレートを用いて画像中の顔領域を抽出した結果を示す図
【図１０】本発明の実施の形態２におけるコンテンツ作成装置の構成を示す図
【図１１】本発明の実施の形態２で利用されるシナリオを表す図
【図１２】（ａ）選択されたシナリオに基づいて作成されたコンテンツの一例を示す図（ｂ）選択されたシナリオに基づいて作成されたコンテンツの一例を示す図
【図１３】本発明の実施の形態３におけるコンテンツ作成装置の構成を示す図
【図１４】音声情報と映像情報を多重化する手順を説明する図
【図１５】従来技術を説明する図
【図１６】本発明の実施の形態１で利用されるシナリオを表す図
【符号の説明】
【００８４】
１０    シナリオ・コンテンツサーバ
１１    シナリオ保持手段
１２    コンテンツパーツ保持手段
１３    配信手段
２０    通信ネットワーク
３０    コンテンツ作成端末
３１    データ受送信手段
３２    シナリオ選択手段
３３    コンテンツ保持手段
３４    コンテンツ作成手段
３５    入力情報解析手段
３６    入力情報受付手段
３７    音声情報
３８    映像情報
４１    位置情報取得手段
４２    位置情報
５０    コンテンツ作成サーバ
５１    多重化情報解析手段
６０    情報入力端末
６１    情報多重化手段
【図１】
2006039705.tif 000003
【図２】
2006039705.tif 000004
【図３】
2006039705.tif 000005
【図４】
2006039705.tif 000006
【図５】
2006039705.tif 000007
【図６】
2006039705.tif 000008
【図７】
2006039705.tif 000009
【図８】
2006039705.tif 000010
【図９】
2006039705.tif 000011
【図１０】
2006039705.tif 000012
【図１１】
2006039705.tif 000013
【図１２】
2006039705.tif 000014
【図１３】
2006039705.tif 000015
【図１４】
2006039705.tif 000016
【図１５】
2006039705.tif 000017
【図１６】
2006039705.tif 000018