(57)【特許請求の範囲】
【請求項１】
応募された複数のコンテンツを登録するデータベース、
複数の被験者の表現から前記複数の被験者の感性をそれぞれ検出する感性検出手段、
前記データベースに登録された複数のコンテンツのうち前記感性検出手段によって検出された複数の感性に適合するコンテンツと前記複数の被験者の表現とを含む複合コンテンツを出力する出力手段、
前記感性検出手段によって検出された複数の感性が互いに近似する程度を示す協調度を検出する協調度検出手段、および
前記複合コンテンツを形成するコンテンツの出力態様を前記協調度検出手段によって検出された協調度に基づいて変化させる変化手段を備える、感性共有システム。
【請求項２】
前記被験者の表現は身体表現である、請求項１記載の感性共有システム。
【請求項３】
前記複合コンテンツの評価結果を受け付ける受付手段、および
前記評価結果に基づいて前記データベースに登録された前記コンテンツを選別する選別手段をさらに備える、請求項１または２記載の感性共有システム。
【請求項４】
前記評価結果は前記複合コンテンツに含まれる前記コンテンツ毎の評価である、請求項３記載の感性共有システム。
【請求項５】
前記出力手段は同じコンテンツを含む前記複合コンテンツを複数回にわたって出力し、
前記選別手段は前記同じコンテンツを含む複合コンテンツに対する複数回の前記評価結果に基づいて選別を行う、請求項３または４記載の感性共有システム。
【請求項６】
前記コンテンツは映像および音楽を含み、
前記変化手段は、前記協調度が閾値を超えたとき空間共有性の高い映像と協調状態の感性に対応する音楽とを出力する、請求項１ないし５のいずれかに記載の感性共有システム。
【請求項７】
前記同じコンテンツに合わせて表現をする被験者は必ずしも一致しない、請求項６記載の感性共有システム。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は、人間の身体表現に基づいて決定される感性に応じて、募集された音楽と映像ならびに身体映像を用いたマルチメディア表現を変化させて出力し、そのマルチメディア表現を評価する、新規な感性共有システムに関する。
【０００２】
【従来の技術】
人間の身体表現の物理量に基づいて分類された人間の感性に応じて、音楽と映像を用いたマルチメディア表現を変化させることによって、感性を表現するシステムの例が、平成１２年１０月５日付で出願された特願平２０００−３０６０７９号〔Ａ３６Ｂ  ２４／００〕に開示されている。この従来技術では、感性を表すマルチメディア表現はシステム側が予め用意した音楽コンテンツおよび映像コンテンツによって行われている。
【０００３】
【発明が解決しようとする課題】
従来の技術においては、システムの管理者が追加／変更するコンテンツによってのみマルチメディア表現が可能であり、被験者の感性表現を支援する環境および効果（マルチメディアを構成するコンテンツ）の多様性に限界があり、時間の経過とともに飽きがきて陳腐化するという問題があった。また、視聴者の感性はマルチメディア表現に反映されえなかった。
【０００４】
それゆえに、この発明の主たる目的は、広く応募した多様性のあるマルチメディア表現によって人間の感性表現を行うことができる、感性共有システムを提供することである。
【０００５】
【課題を解決するための手段】
この発明に従う感性共有システムは、応募された複数のコンテンツを登録するデータベース、複数の被験者の表現から複数の被験者の感性をそれぞれ検出する感性検出手段、データベースに登録された複数のコンテンツのうち感性検出手段によって検出された複数の感性に適合するコンテンツと複数の被験者の表現とを含む複合コンテンツを出力する出力手段、感性検出手段によって検出された複数の感性が互いに近似する程度を示す協調度を検出する協調度検出手段、および複合コンテンツを形成するコンテンツの出力態様を協調度検出手段によって検出された協調度に基づいて変化させる変化手段を備える。
【０００６】
【作用】
複数のコンテンツはデータベースに登録される。感性検出手段は、複数の被験者の表現から複数の被験者の感性をそれぞれ検出し、出力手段は、データベースに登録された複数のコンテンツのうち感性検出手段によって検出された複数の感性に適合するコンテンツと複数の被験者の表現とを含む複合コンテンツを出力する。感性検出手段によって検出された複数の感性が互いに近似する程度を示す協調度は、検出手段によって検出される。複合コンテンツを形成するコンテンツの出力態様は、協調度検出手段によって検出された協調度に基づいて、変化手段によって変化される。
【０００７】
なお、被験者の表現は被験者自身の身体表現であることが望ましい。
【０００８】
この発明の１つの局面では、受付手段は複合コンテンツの評価結果を受け付け、選別手段は複合コンテンツの評価結果に基づいてデータベースに登録されたコンテンツの選別を行う。なお、受付手段は複合コンテンツに含まれるコンテンツ毎の評価結果を受け付けることが望ましい。
【００１１】
その他の好ましい実施例では、コンテンツには映像および音楽が含まれ、出力態様変化手段は協調度が所定の閾値を超えたときに空間共有性の高い映像と協調状態の感性に対応する音楽とを出力する。
【００１２】
出力手段は同一のコンテンツを含む複合コンテンツを複数回にわたって出力し、選別手段は同一コンテンツを含む複合コンテンツに対する複数回の評価結果に基づいて選別を行う。なお、同一のコンテンツに合わせて表現をする被験者必ずしも同一人物ではなくてもよい。
【００１３】
【発明の効果】
この発明によれば、広く募集したコンテンツによって、被験者の感性にふさわしいマルチメディア表現（複合コンテンツによる表現）が行われる。したがって、多様性のあるマルチメディア表現によって被験者の感性表現を行うことができる。
【００１４】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【００１５】
【実施例】
［実施例１］
図１は本発明の感性共有システム１の全体構成を示しており、同図を参照して、この実施例の感性共有システム１の全体の動作を司る中央装置１０は、インターネットのような通信ネットワーク１００に接続される。通信ネットワーク１００には、中央装置１０のほかに、イベント管理者のパーソナルコンピュータ（以下単に「ＰＣ」と表記）４０，音楽コンテンツ提供者のＰＣ５０，映像コンテンツ提供者のＰＣ６０，ダンサー（被験者）ＡのＰＣ７０およびダンサーＢのＰＣ８０，ならびに視聴者のＰＣ９０がそれぞれ接続される。ＰＣ７０およびＰＣ８０にはカメラ７２およびカメラ８２がそれぞれ接続されている。なお、音楽コンテンツ提供者のＰＣ５０，映像コンテンツ提供者のＰＣ６０および視聴者のＰＣ９０は複数接続されてもよい。また、ダンサーのＰＣもＰＣ７０およびＰＣ８０の２つに限るものではない。
【００１６】
中央装置１０は具体的には、図２に示すように構成されている。図２に示すように、バス３２にメモリ１４，サウンドボード２０，グラフィックボード２２，データベース２４，スピーカ２６，モニタ２８および通信回線３０が接続され、これらは同じくバス３２に接続されたＣＰＵ１２によって制御される。また、通信回路３０は外部のネットワークに接続される。
【００１７】
イベント管理者は感性共有システム１を用いてインターネット上で「感性表現仮想ダンス大会」を開催する。イベント管理者はダンス大会の開催に先立ってダンス大会のホームページ上に募集要領を公表し、ダンサー，音楽コンテンツおよび映像コンテンツの募集を行う。ダンサーはダンス大会でダンスを行う人員である。音楽コンテンツおよび映像コンテンツはダンサーの表現する感性に基づいて再生されるコンテンツであるが、詳細については後述する。
【００１８】
このダンス大会では、予め募集されたダンサーＡおよびダンサーＢがカメラ７２およびカメラ８２の前で身体動作（踊り）を行うことによって各自の感性を表現する。カメラ７２およびカメラ８２によって撮影されたダンス映像は、たとえば（１／３０）秒のフレームレートでＰＣ６０およびＰＣ８０に取り込まれ、リアルタイムで通信ネットワーク１００を経由して中央装置１０にディジタルデータとして送られる。このときネットワークの許容伝送速度が小さければ、必要に応じて送信側および受信側にＰＣに内蔵可能なたとえばＭＰＥＧ２，ＭＰＥＧ４などの符号化／復号化転送ボードを用いて帯域圧縮されたディジタルデータとして送受信する。なお、ダンサーは予めダンス映像を録画しておき、この映像を再生して中央装置１０に送信するようにしてもよい。
【００１９】
送信された複数のダンス映像はたとえば（１／３０）秒毎にリアルタイムで中央装置１０によって取り込まれる。中央装置１０では、取り込んだそれぞれのダンス映像からダンサーの感性を表すパラメータとして「時性」，「力性」および「空間性」が求められる。また、ダンス映像からはダンスをしているダンサーの人物画像も抽出される。ここで、「時性」とはダンサーの身体の運動、リズムに関連するパラメータを意味し、「力性」とは身体動作の加速度に関連するパラメータで、「空間性」は身体の空間的な広がりに関連するパラメータである。図３を参照して、「時性」は、ダンサーのシルエット画像の重心座標（Ｘｃ，Ｙｃ）の１次微分によって求められ、「力性」は、重心座標（Ｘｃ，Ｙｃ）の２次微分によって求められる。また、「空間性」は、ダンサーのシルエット画像がそのシルエット画像に外接する矩形（幅Ｘｓ、高さＹｓの矩形）に占める割合から求められる。
【００２０】
こうして３つのパラメータが得られると、中央装置１０はその時点の３つのパラメータに統計解析を施し、ダンサーの感性を推定する。統計解析の手段としてはニューラルネットワークあるいは重回帰分析が適用できる。推定される感性は、“Natural”，“Happy”，“Dynamic”，“Flowing”，“Sharp”，“Lonely”，“Solemn”の７つの感性カテゴリが予め準備されており、ニューラルネットワークあるいは重回帰分析の結果が最も高い値となる感性カテゴリが当該ダンサーの感性（主要感性）として選択される。なお、ニューラルネットワークあるいは重回帰解析によってもとまる７つの感性カテゴリの値を「感性ベクトル」と呼ぶ。
【００２１】
中央装置１０は、それぞれのダンサーの感性を推定すると共に、それぞれのダンサーの感性の純度および協調度を決定する。感性の純度とは主要感性の値が他の６つの感性の値に占める割合であり、“０．０”〜“１．０”の間の値である。つまり、純度が高いほどダンサーの感性が当該感性のカテゴリによく適合していることを示している。協調度とはそれぞれのダンサーの感性がどれほど近いかを表し、それぞれのダンサーの感性ベクトルに基づいて決定される。中央装置１０は、これらの（１／３０）秒毎に決定される感性，純度，協調度をたとえば２小節に相当する時間（１２０ビート／分のリズムで計れば４秒間）にわたって時間方向に平滑化することにより、この間の感性および協調度を特定する。
【００２２】
そして、特定された感性および協調度にふさわしい音楽コンテンツおよび映像コンテンツ（背景コンテンツ）をデータベース２４から選び出し、各参加者、すなわちイベント管理者，視聴者，音楽コンテンツ提供者，映像コンテンツ提供者，ダンサーＡおよびダンサーＢのＰＣにディジタルデータとして送信する。このとき配信する映像は、図４に示すようにデータベース２４から読み出した背景映像の上に、参加しているダンサー全員の人物画像をオーバレイしたものである。なお、背景映像もダンサーの人物画像も（１／３０）秒のフレームレートを持つ動画である。
【００２３】
ここで、データベース２４には音楽コンテンツ提供者および映像コンテンツ提供者から募集した音楽コンテンツおよび映像コンテンツが蓄積されている。音楽コンテンツ提供者は上述の７つの感性に対応して、通常状態（協調度が一定レベルに達していない状態）の７種類および協調状態（協調度が一定レベルに達している状態）の７種類さらに、ダンス大会導入用の１つ合わせて計１５種類の音楽コンテンツを応募し、これらがデータベース２４に蓄積される。音楽コンテンツはたとえば１６秒分とすることができ、１６秒以上の再生はこれを繰り返して再生する。同様に映像コンテンツ提供者は通常状態，協調状態およびダンス大会導入用の計１５種類の映像コンテンツを応募する。このようにして、感性共有システム１０のデータベース２４には１５種類の音楽コンテンツおよび映像コンテンツが複数セット蓄積されている。映像コンテンツも同様に１６秒分とし、１６秒以上の再生はこれを繰り返し再生する。音楽コンテンツおよび映像コンテンツの応募方法としては、ＦＴＰプロトコルを用いてファイルを転送する方法が考えられる。
【００２４】
感性共有システム１は、参加しているダンサーの全員、あるいはダンス大会の趣旨によってはたとえば最もよく協調している２人の協調状態が所定の時間継続するか、もしくはダンス開始から所定の時間が経過するとダンスを終了させる。
【００２５】
ダンスが終了すると感性共有システム１はイベント管理者のＰＣ４０からの指示に従って視聴者に対してダンスの評価を求める。このとき、視聴者は音楽コンテンツの評価，映像コンテンツの評価，音楽コンテンツおよび映像コンテンツの総合評価を行うとともに、ダンサーに順位付けをして評価する。なお、視聴者が行う音楽コンテンツの評価および映像コンテンツの評価は、上述の１５種類のコンテンツを１セットとするセット毎の評価である。通信ネットワーク１００を介して視聴者による各評価が転送されると中央装置１０は項目ごとに評価を集計し、その集計結果をイベント管理者のＰＣ４０，視聴者のＰＣ９０，ダンサーＡのＰＣ７０およびダンサーＢのＰＣ８０に出力する。集計結果は次のダンスが開始されるまで表示される。
【００２６】
集計結果を参照することによって、ダンサーはより好ましいダンス動作を会得するための参考とし、またコンテンツ提供者はより好ましいコンテンツを提供するための参考とすることができる。さらに、データベース２４に蓄積された音楽コンテンツおよび映像コンテンツは集計結果によって上述の１５種類のコンテンツを１セットとするセット単位で選別され、より好ましい音楽コンテンツのセットおよび映像コンテンツのセットのみがデータベース２４に残される。
【００２７】
なお、ダンサーの数は、人物画像をＰＣに表示する必要から一度に５人程度までとすることが望ましい。だだし、この実施例ではダンサーは２人として説明する。
【００２８】
つぎに本発明感性共有システム１の全体動作について説明する。図８〜図１４は中央装置１０が行う処理を示しており、図８および図９に示すルーチンは、カメラ（カメラ７２およびカメラ８２）から出力された撮影画像信号に基づいてダンサー（ダンサーＡおよびダンサーＢ）の感性ベクトルを推定するためのルーチンである。なお、図８および図９の各ルーチンは同期を取ることなく個別に実行される。図１０〜図１４に示すルーチンは、推定されたダンサーの感性ベクトルに基づいて出力する音楽コンテンツおよび映像コンテンツ（マルチメディア表現）を制御するためのルーチンである。
【００２９】
まず、図８を参照してステップＳ１ａではダンスゲーム開始の初期化処理を行い、ステップＳ３ａではシステム起動から（１／３０）秒が経過したかどうか判断する。（１／３０）秒が経過していると、ステップＳ５ａでカメラ７２からの撮影画像信号を受信し、ステップＳ７ａで撮影画像信号に背景画像以外にダンサーＡの人物画像が含まれているかどうかを判断する。この判断にはたとえばクロマキー技術が適用できる。
【００３０】
撮影画像信号に背景画像しか含まれていなければ、ステップＳ７ａからステップＳ３ａに戻り、次の撮影画像信号の取り込みに備える。一方、撮影画像信号に背景画像以外の何らかの被写体画像が含まれておれば、その被写体画像はダンサーＡの人物画像とみなしてステップＳ９ａに進む。
【００３１】
ステップＳ９ａでは、取り込まれた撮影画像信号から人物画像を抽出し、抽出された人物画像から図３に示すシルエット画像を作成する。続くステップＳ１１ａでは作成されたシルエット画像から重心座標（Ｘｃ，Ｙｃ）とシルエット画像の面積Ｈｓとを求め、求められた重心座標（Ｘｃ，Ｙｃ）および面積Ｈｓに数１に従う演算を施す。これによって、ダンサーＡについて「時性」，「力性」および「空間性」の３つのパラメータが測定される。
【００３２】
【数１】
0003786345.tif 000002
【００３３】
「時性」は、重心座標を１次微分することによって、つまり（１／３０）秒前の重心座標と現時点の重心座標の差分を（１／３０）秒で割り算することによって、求められる。「力性」は、重心座標を２次微分することによって、つまり前回の１次微分値と今回の１次微分値との差分を（１／３０）秒で割り算することによって求められる。「空間性」は、シルエット画像の面積をこのシルエット画像に外接する矩形の面積で割り算することによって求められる。
【００３４】
ステップＳ１３ａでは、測定された「時性」，「力性」および「空間性」の３つのパラメータに基づいて、ダンサーＡの感性ベクトルを推定する。すなわち、“Natural”，“Happy”，“Dynamic”，“Flowing”，“Sharp”，“Lonely”および“Solemn”の７種類の感性に対応する７つの重回帰式の右辺に、ステップＳ１１ａで求めたダンサーＡの３つのパラメータを代入する。これによって、ダンサーＡについて推定された７次元感性ベクトルの各要素が、７つの重回帰式の左辺に現れる。上述のように、この感性ベクトルの各要素は、ダンサーＡのダンス映像から推定された７種類の感性の得点を示す。推定された感性ベクトル値は、メモリ１４のデータ記憶領域１６ａ（図２参照）に格納される。
【００３５】
ステップＳ１５ａではゲーム終了フラグＦの状態を判別する。ゲーム終了フラグＦは、後述するステップＳ２５（図１０参照）でリセットされ、ステップＳ６１（図１１）でセットされる。ゲーム終了フラグＦがリセット状態であれば、次の（１／３０）秒後のダンサーＡの撮影画像信号を取り込むべくステップＳ３ａに戻る。一方、ゲーム終了フラグＦがセット状態であれば、ステップＳ１７ａに進む。ステップＳ１７ａでは、イベント管理者によってダンス大会（イベント）終了のシステム指示が与えられたかどうかをチェックする。ダンス大会終了のシステム指示が与えられていなければ、次のゲーム開始に備えるべくステップＳ１ａに戻る。一方、ダンス大会終了のシステム指示が与えられると、このルーチンを終了する。
【００３６】
図９は、カメラ８２から取り込んだダンサーＢの撮影画像信号を処理するルーチンであるが、図８および図９を比較すれば分かるように、このルーチンは図８に示すルーチンと同様であるため、詳しい説明は省略する。
【００３７】
異なる点は、ステップＳ１ｂにおいてダンサーＢ用のデータ記憶領域１６ｂがクリアされる点、およびステップＳ１３ｂにおいてダンサーＢのダンス映像から推定された感性ベクトル値がデータ記憶領域１６ｂに格納される点である。なお、図８および図９に示すルーチンは、互いに同期をとられることなく独立して実行されるが、データ記憶領域１６ａおよび１６ｂには、常に最新の推定感性ベクトルが残される。
【００３８】
つぎに、図１０〜図１４を参照して、映像コンテンツおよび音楽コンテンツを制御するための処理について説明する。まず、ステップＳ２１で、データ記憶領域１６ｃのクリアを含むイベント開始用の初期化を行い、次にステップＳ２３で導入用の背景画像（イベント開催タイトル）と導入用の音楽とを配信するとともに、モニタ２８およびスピーカ２６から出力する。つぎにステップＳ２５においてデータ記憶領域１６ａ，データ記憶領域１６ｂ，カウンタ１８ａおよびカウンタ１８ｂのクリアおよびゲーム終了フラグＦのクリアを含むダンスゲーム開始用の初期化処理を行う。
【００３９】
ステップＳ２７では今回のダンスゲームのマルチメディア表現に使用する音楽コンテンツおよび映像コンテンツの決定を行う。ここで決定される音楽コンテンツおよび映像コンテンツは、上述の通り７つの感性に対応して、通常状態（協調度が一定レベルに達していない状態）および協調状態（協調度が一定レベルに達している状態）さらに、ダンス大会導入用の計１５種類を１セットとする音楽コンテンツおよび映像コンテンツである。これらの音楽コンテンツおよび映像コンテンツは音楽コンテンツ提供者および映像コンテンツ提供者からそれぞれ提供されたコンテンツであり、データベース２４に蓄積されているものから選択される。選択の方法は、ランダムに選択する方法もあるが、後述するようにコンテンツに対する評価が高いものから順に選択するようにしてもよい。なお、ステップＳ２７では前回と同様の音楽コンテンツおよび映像コンテンツを複数回にわたって選択するようにしてもよい。こうすることによって、同じ音楽コンテンツと映像コンテンツとが異なるダンサーによってマルチメディア表現される。したがって、音楽コンテンツおよび映像コンテンツの評価のダンサーによる偏りを回避することができる。
【００４０】
使用する音楽コンテンツおよび映像コンテンツが決定すると、ステップＳ２９でゲーム開始のタイトル文字（映像）および音声の配信を行い、ステップＳ３１では、今回のダンス大会に参加するダンサーの名前，音楽コンテンツの制作者名および映像コンテンツの制作者名を発表する文字（映像）および音声の配信を行う。さらに、ステップＳ３３ではゲーム導入用の背景映像コンテンツおよび音楽コンテンツの配信を行う。
【００４１】
ステップＳ３５では起動から（１／３０）秒が経過したかどうか判断し、ＹＥＳであれば、参加する全てのダンサー（ダンサーＡおよびダンサーＢ）が存在するかどうかをステップＳ３７で判断する。この判断は、ダンサーＡおよびダンサーＢの両方の感性ベクトル値がデータ記憶領域１６ａおよびデータ記憶領域１６ｂに存在するか、ならびにダンサーＡおよびダンサーＢの人物画像が存在するかどうかによって行う。
【００４２】
最初の（１／３０）秒が経過した直後のステップＳ３７では、ダンサーＡおよびダンサーＢのいずれの感性ベクトル値も存在しないおそれがある。また、一方のダンサーが登場し、このダンサーの感性ベクトルが得られたとしても、他方のダンサーが登場せず、このダンサーの感性ベクトルが得られていないおそれもある。このような場合、ステップＳ３７からステップＳ３９に進み、存在するダンサーの人物画像のみをすでに出力されている導入用背景画像にオーバレイする。オーバレイ処理が完了すると、ステップＳ３５に戻る。
【００４３】
したがって、ダンサーＡおよびダンサーＢのいずれも登場していなければ、導入用背景画像だけが配信される。この状態でダンサーＡが先に登場したときは、ダンサーＡの人物映像が導入用背景画像の向かって右半分にオーバレイされる。ただし、いずれの場合でも、配信された導入用音楽が流れ続ける。
【００４４】
オーバレイ処理は、次のようにして実行される。中央装置１０は、グラフィックボード２２を備えており、ＣＧ（Computer Graphics）処理によって作成された背景画像などのＣＧ画像信号と、カメラ７２およびカメラ８２から取り込んだ撮影画像（図８のステップＳ５ａおよび図９のステップＳ５ｂにて（１／３０）秒毎に取り込んだ撮影画像信号）とがグラフィックボード２２に供給される。グラフィックボード２２は、導入用背景画像の上にダンサーＡの人物画像をオーバレイしたり、人物画像をシルエット化したり、さらには人物画像のシルエット部分を別の模様で表すなどの特殊効果を与えたりすることができる。中央装置１０は、このようなグラフィックボード２２に対して合成用の画像ソースおよび合成方法を指定し、かつグラフィックボード２２上の対応出力を選択すれば、指定された要領で作成された合成画像信号が（１／３０）秒のフレームレートでグラフィックボード２２から出力され通信回路３０を介して配信される。ステップＳ３９の処理は、具体的には、グラフィックボード２２に対して合成用画像ソースおよび合成方法を指定し、グラフィックボード２２上の対応出力を選択する処理である。
【００４５】
ダンサーＡおよびダンサーＢが登場するとステップＳ３７でＹＥＳと判断されてステップＳ４１に進み、データ記憶領域１６ａおよびデータ記憶領域１６ｂに格納されている最新の感性ベクトルに基づいてダンサーＡおよびダンサーＢの主要感性を決定するとともに、決定された主要感性の出現回数をカウントする。主要感性は、感性ベクトルを形成する７つの要素のうち、最大値を示す要素に対応する感性である。主要感性の出現回数は、ダンサーＡおよびダンサーＢについて個別に用意された７つのカウンタ１８ａ−１〜１８ａ−７および１８ｂ−1〜１８ｂ−７によってカウントされる。つまり、カウンタ１８ａ−１〜１８ａ−７がダンサーＡによって表現される７つの感性にそれぞれ割り当てられ、カウンタ１８ｂ−１〜１８ｂ−７がダンサーＢによって表現される７つの感性にそれぞれ割り当てられ、そして決定された主要感性に対応するカウンタがインクリメントされる。
【００４６】
ダンサーＡの最新の感性ベクトルＭAおよびダンサーＢの最新の感性ベクトルＭBを数２によって定義したとき、仮に数３が成立すると、ダンサーＡの主要感性は番号２に対応する感性すなわち“Happy”と決定され、ダンサーＢの主要感性は番号６に対応する感性すなわち“Lonely”と決定される。なお、最大値が複数存在した場合は、小さい番号に対応する感性が主要感性とされる。
【００４７】
【数２】
0003786345.tif 000003
【００４８】
【数３】
0003786345.tif 000004
【００４９】
続くステップＳ４３では、最新の感性ベクトルの純度をダンサーＡおよびダンサーＢの各々について求める。純度は、主要感性を示す要素の値（主要感性の得点）の絶対値を感性ベクトルの長さで割り算することによって求められ、算出された数値は“０．０”〜“１．０”間で変化する。ダンサーＡの純度をＰAと定義し、ダンサーＢの純度をＰBと定義すれば、ＰAおよびＰBは数４に従って算出される。算出された純度は、データ記憶領域１６ｃに蓄積される。
【００５０】
【数４】
0003786345.tif 000005
【００５１】
ステップＳ４５では、最新の感性ベクトルに基づいて、ダンサーＡおよびダンサーＢの間の感性協調度を次のようにして算出する。まず、ダンサーＡの最新の感性ベクトルＭAおよびダンサーＢの最新の感性ベクトルＭBを正規化して正規化感性ベクトルＭNAおよびＭNBを求める。正規化感性ベクトルとは、推定した感性ベクトルの全要素に関する平均値が０．０となり、分散値が１．０になるように修正した感性ベクトルのことである。数２によって定義される感性ベクトルＭAおよびＭBに対して、正規化感性ベクトルＭNAおよびＭNBは数５によって定義される。
【００５２】
【数５】
0003786345.tif 000006
【００５３】
ＭA−およびσMAは、ダンサーＡの感性ベクトルＭAの全要素（７つの感性の得点）に関する平均値と分散値である。またＩは７次元の単位ベクトル、すなわちＩ＝（1,1,1,1,1,1,1）である。ダンサーＢの正規化感性ベクトルＭNBも同様に求められる。
【００５４】
次に正規化感性ベクトルＭNAおよびＭNBを用いて、ダンサーＡおよびダンサーＢの間の感性協調度Ｈを数６にて求める。
【００５５】
【数６】
0003786345.tif 000007
【００５６】
ここで、ＭNAkおよびＭNBkはそれぞれ正規化感性ベクトルＭNAおよびＭNBの第ｋ番目の要素を示し、したがって第１項は、ダンサーＡおよびダンサーＢの正規化感性ベクトルＭNAおよびＭNBの類似の度合いを評価する量である。またＷ1はこの評価量に対する重みである。この評価量は、正規化感性ベクトルＭNAおよびＭNBの差分ベクトルの長さの２乗でもあり、２つの正規化ベクトルが近ければ近いほど、その値は０に近づく。
【００５７】
また第２項は、感性ベクトルＭAを形成する全要素の平均値と感性ベクトルＭBを形成する全要素の平均値との近さを評価する量である。ただし、全要素の平均値が持つ意味は分散が大きいほど薄くなると考え、平均値をそれぞれの標準偏差（分散値の平方根）で除している。またＷ2はこの評価量に対する重みである。この評価量も、感性ベクトルＭAの平均値と感性ベクトルＭBの平均値とがこの意味で近ければ近いほど０に近づく。
【００５８】
第３項は、感性ベクトルＭAを形成する全要素の分散値と感性ベクトルＭBを形成する全要素の分散値との近さを評価する量であり、Ｗ3はこの評価量に対する重みである。この評価量も、感性ベクトルＭAの分散値と感性ベクトルＭBの分散値とが近ければ近いほど０に近づく。
【００５９】
こうして求められた感性協調度も、データ記憶領域１６ｃに蓄積される。なお、ダンサーＡおよびダンサーＢの間の感性協調度を評価するにあたり、第２項および第３項の評価量も使用しているのは、第１項に示す正規化感性ベクトルの近さだけではなく、正規化前の感性ベクトルの全要素に関する平均値や分散値の差異も有効であると考えられるためである。
【００６０】
ステップＳ４７では、２小節期間が経過したかどうかを判断する。この期間は、たとえば１２０ビート／秒のリズムで計れば４秒に相当する。ここでＮＯであればステップＳ３５に戻り、上述のステップＳ３５〜Ｓ４５の処理を繰り返す。これによって、カウンタ１８ａ−１〜１８ａ−７および１８ｂ−1〜１８ｂ−７が更新され、ダンサーＡおよびダンサーＢの純度および感性協調度がデータ記憶領域１６ｃに蓄積されていく。
【００６１】
４秒が経過するとステップＳ４９に進み、最近４秒間にカウントされた各主要感性の出現回数に基づいてダンサーＡおよびダンサーＢの最大優勢感性を決定する。つまり、カウンタ１８ａ−１〜１８ａ−７のうち最大値を示すカウンタに対応する感性をダンサーＡの最大優勢感性として決定し、カウンタ１８ｂ−１〜１８ｂ−７のうち最大値を示すカウンタに対応する感性をダンサーＢの最大優勢感性として決定する。ステップＳ５１では、カウンタ１８ａ−１〜１８ａ−７および１８ｂ−1〜１８ｂ−７をリセットする。また、４秒という時間を計測するためのカウンタも、このステップでクリアする。
【００６２】
ステップＳ５３では最新の４秒間に算出された純度を数７に従って時間方向に平滑化し、ステップＳ５５では最新の４秒間に算出された協調度を数８に従って時間方向に平滑化する。なお、数７および数８による平滑化処理は、移動平均を求める処理である。
【００６３】
【数７】
0003786345.tif 000008
【００６４】
【数８】
0003786345.tif 000009
【００６５】
ステップＳ５７では、スピーカ２６およびモニタ２８から出力するとともに視聴者に配信する映像コンテンツおよび音楽コンテンツ（マルチメディア表現）を図１３および図１４に示すサブルーチンに従って変化させる。
【００６６】
ステップＳ５９では、１ゲームに相当する時間が経由したか、あるいはダンサーＡおよびダンサーＢによる感性表現がゴールに達したかどうかを判断する。そして、いずれの条件も満たされていなければステップＳ３５に戻り、次の４秒間について上述と同じ処理を繰り返す。一方、いずれかの条件が満たされると、ステップ６１でゲーム終了フラグＦをセットしてからステップＳ６３に進み、ゲーム終了画面と音声を配信する。
【００６７】
ゲームが終了すると、ステップＳ６５でダンス，音楽コンテンツ，映像コンテンツならびに音楽コンテンツおよび映像コンテンツの総合についての評価を受け付けるための評価受付用画面および音楽を配信する。そして、ステップＳ６７で一定時間が経過したかどうかを判断し、一定期間が経過しない間はステップＳ６９で視聴者達のＰＣ９０から送信される評価を受け付ける。このとき視聴者は、全ダンサーのダンスの評価を全ダンサーに順位を付けて評価する。また、音楽コンテンツ，映像コンテンツならびに音楽コンテンツおよび映像コンテンツの総合評価をたとえば５段階の値をつけて評価する。一定期間が経過すると、ステップＳ７１で評価受付締め切りの画面および音楽を配信して評価の受け付けを終了する。評価の受付が終了すると、ステップＳ７３では受け付けた各評価データの集計を行い集計結果をデータベース２４に蓄積する。このときの音楽コンテンツ，映像コンテンツおよび総合コンテンツの集計結果は、たとえば５段階で評価された評価値の平均値である。そして、ステップＳ７５では集計結果を表示するための画面と音楽とを視聴者のＰＣ９０をはじめとする参加者全員のＰＣに配信する。このとき、視聴者のＰＣ９０をはじめとする参加者全員のＰＣのモニタおよび中央装置１０のモニタ２８には図７に示すような画面が表示される。図７に示すように、ダンサー評価表示部９２にはダンサーの優劣が順位で示され、サウンド評価表示部９４，ビジュアル評価表示部９６およびサウンドアンドビジュアル評価表示部９８にはそれぞれ、音楽コンテンツの評価，映像コンテンツの評価ならびに音楽コンテンツおよび映像コンテンツの総合評価が５段階のゲージで表示される。
【００６８】
本発明感性共有システム１によれば、参加ダンサーはこのような評価を受けることによって、より好ましいダンス動作を会得するための参考とすることができ、音楽コンテンツ提供者および映像コンテンツの提供者はより好ましいコンテンツを提供するための参考とすることができる。また、データベース２４に蓄積される音楽コンテンツおよび映像コンテンツへの評価は、データベース２４に蓄積される音楽コンテンツおよび映像コンテンツの洗練にも利用される。つまり、データベースに蓄積される膨大な音楽コンテンツおよび映像コンテンツのうち、視聴者による評価が一定値に満たないものは削除することにより、より好ましい音楽コンテンツおよび映像コンテンツが残り、より洗練されたデータベース２４が出来上がる。データベース２４の洗練の方法としては、たとえば評価値が所定の値以上である音楽コンテンツおよび映像コンテンツを残す方法、音楽については評価値が上位１０００個の音楽コンテンツを残し、映像については、評価値の上位２００個の映像コンテンツを残す方法などが考えられる。
【００６９】
今回のダンスに対する評価が終了すると、ステップＳ７７でイベント管理者からダンス大会終了のシステム指示が出されているかどうかを判断する。ここでダンス大会終了のシステム指示が出されていなければ、次のゲームのための動作に入るべくステップＳ２５に戻る。一方、システム終了指示が出されていれば、処理を終了する。
【００７０】
続いて、図１３および図１４に示すサブルーチンと図４〜図６に示す表示例を参照して、具体的なマルチメディア表現とゲーム性について説明する。このサブルーチンへの到達時点で、たとえばダンサーＡの最大優勢感性が“Happy”であり、ダンサーＢについての最大優勢感性が“Lonely”であり、ダンサーＡの純度の方がダンサーＢの純度より高く、さらに両者の協調度がある閾値よりも悪かったとする。このときは、ステップＳ９１における感性一致の条件およびステップＳ９３における協調度の条件のいずれも満たされず、ステップＳ９５に進む。なお、よく協調している状態を一般には協調度が高いというが、数６による協調度Ｈは、よく調和していればいるほど数値Ｈは０に近づく量であるため、ここでは混乱を避けるべく、よく協調していればいるほど協調度が良いといい、その逆の状態を協調度が悪いという表現を用いる。
【００７１】
ステップＳ９５では、ダンサーＡおよびダンサーＢの最大優勢感性に対応する背景画像コンテンツをデータベース２４から読み出す。今の場合、ダンサーＡの背景画像としては、ダンサーＡの最大優勢感性“Happy”を連想させるような画像（たとえば図４において画面右側に示す６角形の模様がピンク色に輝きながらリズミカルに順番に大きくなるような画像）が選ばれる。またダンサーＢの背景画像としては、ダンサーＢの最大優勢感性“Lonely”を連想させるような画像（たとえば図４において画面左側に示すダークブルーの雨だれ模様がゆっくりと降下するような画像）が選ばれる。もちろん、このような背景画像に限らず、“Happy”側には華やかな花模様をさらに追加したり、“Lonely”側には風にそよぐ白黒の草花を追加してさらに寂しさを表現するようにしてもよい。背景画像は映像コンテンツの提供者から募集した映像から選ばれるため、これらの背景画像による感性の表現は映像コンテンツの提供者の感性がいかんなく発揮されたものとなる。
【００７２】
ステップＳ９７〜Ｓ１０１では、ダンサーＡの純度に応じた態様で、ダンサーＡの人物映像を背景画像にオーバレイする。具体的には、ダンサーＡの純度が閾値以上であれば、ステップＳ９７からステップＳ１０１に進み、ダンサーＡの人物画像をシルエット化したり、人物画像の輪郭内に特定の模様を表示した特殊効果画像を画面左側の背景画像にオーバレイする。また、ダンサーＡの純度が閾値よりも低ければ、ステップＳ９７からステップＳ９９に進み、ダンサーＡの実写画像を画面左側の背景画像にオーバレイする。ダンサーＢについても、ステップＳ１０３〜Ｓ１０７で同様の処理を実行する。図４の表示例では、ダンサーＡおよびダンサーＢの純度がいずれも閾値よりも低く、それゆえ両者とも実写画像が背景画像にオーバレイされている。
【００７３】
以上のステップＳ９５〜Ｓ１０７の処理によって背景画像および人物画像がグラフィックボード２２に設定されると、ステップＳ１０９でグラフィックボード２２上の今回対応出力を選択する。これによって、図４に示すような分割画像が作成され視聴者のＰＣ９０をはじめとする参加者全員のＰＣに配信される。なお、図１３および図１４に示すサブルーチンは４秒毎にしか実行されないので、ダンサーＡおよびダンサーＢの背景画像コンテンツや人物画像輪郭内の模様も４秒毎にしか切り換えられない。しかし、グラフィックボード２２の使用によって、オーバレイ表示された各ダンサーの実写人物画像やその輪郭画像および背景画像は（１／３０）秒のフレームレートで変化する。
【００７４】
ステップＳ１１１では、ダンサーＡの純度およびダンサーＢの純度を互いに比較し、比較結果に応じてステップＳ１１３またはステップＳ１１５の処理を行う。つまり、ダンサーＡの純度の方が大きければ、ステップＳ１１５でダンサーＡの最大優勢感性に対応する音楽コンテンツをデータベース２４から読み出す。一方、ダンサーＢの最大優勢感性の方が大きければ、ステップＳ１１３でダンサーＢの最大優勢感性に対応する音楽コンテンツをデータベース２４から読み出す。なお、各々の純度が等しければ、ダンサーＡの最大優勢感性が優先される。
【００７５】
ステップＳ１１７ではサウンドボード２０の今回用の対応出力を選択し、これによって設定された音楽コンテンツがスピーカ２０から出力されるとともに視聴者のＰＣ９０をはじめとする参加者全員のＰＣに配信される。今の場合は、ダンサーＡの純度の方が高いので、ダンサーＡの最大優勢感性“Happy”を連想させるような明るいにぎやかな音楽が選ばれる。ステップＳ１１７の処理を終えると、上階層のルーチンに戻る。
【００７６】
上記のような状況下では、ダンサーＢは、早い段階でダンサーＡの感性に合わせるように表現内容を変更し、ダンサーＡおよびダンサーＢのペアとして感性（お互いの最大優勢感性）を一致させると同時にその協調度を上げていく。また、ダンス大会の趣旨によっては、ダンサーＢはあくまでも自分が表現している感性にこだわり、一定時間内にその純度を上げて、音楽を自分のダンスに合ったものに変えるべくダンサーＡと競争してもよい。
【００７７】
上記のような状態の後、何回目かにこのサブルーチンに移行したときに、ダンサーＡおよびダンサーＢの最大優勢感性が“Happy”として一致し、かつ両者間の協調度がある閾値に達していると、ステップＳ９１およびＳ９３のいずれにおいてもＹＥＳと判断され、図１４のステップＳ１１９を経てステップＳ１２１に進む。ステップＳ１２１では、まずダンサーＡおよびダンサーＢが一致して表現している最大優勢感性に対応する背景画像コンテンツをデータベース２４から読み出し、これを画面一杯に広がる一つの背景画像としてグラフィックボード２２に設定する。今の場合は、図５に示すように“Happy”を示す背景画像が画面一杯に広げられる。
【００７８】
続くステップＳ１２３〜Ｓ１３３では、上述のステップＳ９７〜Ｓ１０７と同様の処理を行い、ダンサーＡおよびダンサーＢの人物画像を純度に応じた態様で背景画像にオーバレイする。図５に示す表示例では、ダンサーＡについては、純度が閾値以上となり、人物画像のシルエット部分を別の模様で表すなどの特殊効果を与えた特殊効果画像が背景画像にオーバレイされる。一方、ダンサーＢについては、純度は閾値よりも低く、実写画像が背景画像にオーバレイされる。
【００７９】
ステップＳ１３５では、グラフィックボード２２上の今回対応出力を選択し、これによって図５に示す画像が実際にモニタ２８に表示されるとともに視聴者のＰＣ９０をはじめとする参加者全員のＰＣに配信される。上述のように、背景画像や人物画像輪郭内の模様が示す感性は４秒毎にしか更新されないが、オーバレイされた各ダンサーの人物画像やその輪郭画像および背景画像は（１／３０）秒のフレームレートで変化する。
【００８０】
ステップＳ１３７では、ダンサーＡおよびダンサーＢが一致して表現している最大優勢感性に合致した音楽コンテンツをデータベース２４から読み出し、サウンドボード２０に設定する。続くステップＳ１３９ではサウンドボード２０上の今回対応出力を選択し、これによって一致感性に応じた音楽がスピーカ２０から出力されるとともに視聴者のＰＣ９０をはじめとする参加者全員のＰＣに配信される。今の場合は、一致感性“Happy”を連想させるような明るいにぎやかな音楽が選ばれ、さらにたとえばオーケストラによるメロディが追加される。つまり、図４に示す分割画像の段階の音楽よりもさらに盛り上がった感じの音楽が出力される。ステップＳ１３９の処理を終えると、上階層のルーチンに復帰する。
【００８１】
上記のような状況の後、ダンサーＡおよびダンサーＢの感性が一致しかつ両者の協調度が閾値より良かったかまたは閾値と等しい状態が３２秒間以上継続すると、ステップＳ１１９からステップＳ１４１に進む。このステップに進むのは、このゲームの終了段階である。ステップＳ１４１ではダンサーＡおよびダンサーＢの高い空間共有性を表す模様（図６における同心円状に重なった模様）を背景画像に追加し、続くステップＳ１４３では“ゴール！”という文字を画面一杯にオーバレイする。そして、ステップＳ１４５でグラフィックボード２２上の対応出力を選択するとともに参加者全員のＰＣに向けて配信する。これによって、図６に示すように、ダンサーＡおよびダンサーＢを取り巻く渦巻き模様が“Happy”に対応した背景画像に追加され、かつ“ゴール！”という文字が画面一杯に表示される。ダンサーおよび観客は、この画面表示によって、ゲーム終了段階を知り、かつ満足感を得る。
【００８２】
ステップＳ１４７では、ダンサーＡおよびダンサーＢが一致して表現している最大優勢感性に合致したオーケストラによる追加メロディーコンテンツ，派手な効果音コンテンツ，“ゴール！”という音声コンテンツなどをデータベース２４から読み出し、サウンドボード２０に設定する。ステップＳ１４９では、サウンドボード２０上の対応出力を選択し、これによって図５に示す表示段階の音楽よりもさらに盛り上がった音楽が配信されるとともにスピーカ２６から出力される。
【００８３】
続いて、図１５に示すルーチンを参照して、データベース２４に蓄積された音楽コンテンツおよび映像コンテンツの選別方法について説明する。ところで、音楽コンテンツおよび映像コンテンツの評価は、ダンサーのダンスの上手下手によって影響を受けると考えられる。そのため、異なるダンサーで複数回の評価を得た後に、音楽コンテンツおよび映像コンテンツをデータベース２４に残すかどうかの選別を行う。したがって、１５種類１セットの音楽コンテンツおよび映像コンテンツには複数の評価結果データが付随することになる。
【００８４】
まず、ステップＳ１５１ではデータベース２４に１５種類からなるコンテンツのセットがあるかどうかを判断する。コンテンツありと判断すると、ステップＳ１５３においてコンテンツに付随している評価結果データを取得する。そして、ステップＳ１５５で当該コンテンツは３回以上の評価を得ているかどうか、つまり評価結果データが３つ以上存在するかどうかを判断する。評価回数が３回よりも少ないときにはステップＳ１５１に戻って次のコンテンツが存在するかどうかを判断する。一方、評価回数が３回以上であるときにはステップＳ１５７でたとえば３回の評価結果の平均値を算出し、算出された平均値が所定の閾値以上であるかどうかを判断する。そして、評価結果の平均値が所定の閾値よりも小さいときにはステップＳ１５９において当該コンテンツをデータベース２４から削除する。なお、ここでの削除は１５種類を１セットとするセット単位で行われる。つまり、ステップＳ１５９では１５個のコンテンツが同時に削除される。一方、評価結果の平均値が所定の閾値以上であるときには、ステップＳ１５９での削除処理をスキップしてステップＳ１５１に戻る。このようにして、データベース２４には視聴者の評価が所定のレベルに達している音楽コンテンツおよび映像コンテンツのみが残される。
【００８５】
以上説明したように、実施例１の感性共有システム１では、まず音楽コンテンツ提供者および映像コンテンツ提供者から音楽コンテンツおよび映像コンテンツの提供を受けて中央装置１０のデータベース２４に蓄積する。そして、各々のダンサーが行う身体表現から感性を推測し、その感性および感性の協調度に応じた音楽コンテンツおよび映像コンテンツをデータベース２４から読み出してマルチメディア表現による感性表現を行う。視聴者はマルチメディア表現に対する表現を評価し、その評価結果はデータベース２４に蓄積される。データベース２４に蓄積された音楽コンテンツおよび映像コンテンツは視聴者による評価が高いものだけが残され、それ以外は削除される。
【００８６】
したがって、多様なマルチメディア表現によってダンサーの感性を表現できる。また、マルチメディア表現にはダンサー以外にダンサーと同じ空間に居合わせないコンテンツの提供者や視聴者の感性までが含まれることになり、より大規模な集団の感性表現の共有が実現される。さらに、視聴者の評価に基づいてデータベースが洗練されることによりダンサーの身体動作による感性表現を支援する環境および効果（マルチメディア表現）が自動的に改善される。
［実施例２］
実施例１の感性共有システム１では、ダンスの終了後に視聴者による評価を行っているが、実施例２の感性共有システム１ではダンスの途中にも評価を行いその評価結果をリアルタイムで視聴者のＰＣ９０をはじめとする参加者全員のＰＣに表示する。
【００８７】
実施例２においてもカメラから出力された撮影画像信号に基づいて各ダンサーの感性ベクトルを推定するルーチンが存在するが、実施例１の図８および図９と同じであるため説明を省略する。
【００８８】
図１６〜図２１を参照して、推定されたダンサーの感性ベクトルに基づいてマルチメディア表現（出力する音楽コンテンツおよび映像コンテンツ）の変化を制御するルーチンについて説明する。図１６および図１７ならびに実施例１の図１０および図１１を比較すると分かるように、各ダンサーの感性ベクトルから、感性ベクトル純度の移動平均の算出（図１７のステップＳ１９３）および感性協調度の移動平均の算出（図１７のステップＳ１９５）を行うまでの処理は実施例１と同じである。実施例１と異なる点は、ステップＳ１９９〜ステップＳ２１１、つまりダンスのゲーム中において３２秒ごとに視聴者からのマルチメディア表現に対する評価を受け付ける点、および受け付けた評価の集計結果をマルチメディア表現の制御処理（ステップＳ１９７）内で視聴者のＰＣ９０をはじめとする参加者全員のＰＣに向けて配信する点である。また、ダンスゲームの終了後（図１８のステップＳ２１３でＹＥＳ）にマルチメディア表現に対する評価を受け付け、受け付けた評価の集計結果を視聴者のＰＣ９０をはじめとする参加者全員のＰＣに向けて配信する点は実施例１と同じである。なお、ダンスゲーム中に集計された評価結果はデータベース２４には蓄積されず、ダンス終了後の評価結果のみがデータベース２４に蓄積される。したがって、データベース２４に蓄積された音楽コンテンツおよび映像コンテンツの選別には、ダンス終了後の評価結果のみが使用される。
【００８９】
まず、ステップＳ１９７で一度目のマルチメディア表現の制御処理を終えた後、ステップＳ１９９で３２秒が経過したか、つまりダンス開始から３２秒が経過したかどうかを判断する。３２秒が経過していないときにはステップＳ１７５に戻るが、３２秒が経過しているときにはステップＳ２０１以下で評価の受付処理を行う。まず、ステップＳ２０１で評価受付用の画面を映像コンテンツの一部に入れて配信する。つぎに、ステップＳ２０３で一定時間が経過しているかどうかを判断する。一定時間が経過していない間はステップＳ２０５で評価の受付を行う。このとき視聴者は、全てのダンサーのダンスの評価を各ダンサーに順位をつけて評価し、音楽コンテンツ，映像コンテンツならびに音楽コンテンツおよび映像コンテンツの総合評価についてはたとえば５段階の値をつけて評価する。そして一定時間が経過するとステップＳ２０７では評価受付締切用の画面を映像コンテンツの一部に入れて配信する。ステップＳ２０９では、受け付けた評価データの集計を行い、ステップＳ２１１では、集計結果データをデータ記憶領域１６ｃに格納する。よって、データ記憶領域１６ｃに格納された集計結果データは評価の集計を行うごとに更新される。こうして得られた集計結果はマルチメディア表現の制御処理（ステップＳ１９７）内でオーバレイされた人物画像および背景画像とともに視聴者のＰＣ９０をはじめとする参加者全員のＰＣに配信される。なお、ここでの集計結果はデータベース２４には蓄積されない。
【００９０】
つぎに、図１９〜図２１を参照して図１７のステップＳ１９７におけるマルチメディア表現の制御処理について説明する。図１３および図１４ならびに図１９〜図２１を比較すると分かるように、実施例２のマルチメディア表現の制御処理は、図１９のステップＳ２６９および図２１のステップＳ２９７において評価の集計結果データ画像を人物画像および背景画像にオーバレイする点を除いて実施例１のマルチメディア表現の制御処理と同じである。
【００９１】
つまり、ダンサーの感性が一致しない場合（ステップＳ２５１においてＮＯ）もしくは感性が一致するが感性の協調度が閾値より小さい場合（ステップＳ２５１においてＹＥＳかつステップＳ２５３においてＮＯ）は、ステップＳ２５５で各ダンサーの最大優勢感性に対応する背景画像がデータベース２４から読み出され、読み出された背景画像にステップＳ２５７〜ステップＳ２６７において各ダンサーの人物画像（実写画像もしくは特殊効果画像）がオーバレイされる。そして、このオーバレイされた画像にステップＳ２６９ではさらに、評価の集計結果データ画像がオーバレイされ、このような画像が視聴者のＰＣ９０をはじめとする参加者全員のＰＣに配信される。なお、集計結果データ画像は、データ記憶領域１６ｃに格納された集計結果データに基づいて作成される。１度目のマルチメディア表現の制御処理の時点では、データ記憶領域１６ｃに集計結果データが格納されていないので、視聴者のＰＣ９０をはじめとする参加者全員のＰＣには図４に示すように集計結果データはブランクの状態となる。２度目以降の集計結果データの表示では、図７に示すようにダンサー評価表示部９２にダンサーの優劣が順位で示され、サウンド評価表示部９４，ビジュアル評価表示部９６およびサウンドアンドビジュアル評価表示部９８にそれぞれ、音楽コンテンツの評価，映像コンテンツの評価ならびに音楽コンテンツおよび映像コンテンツの総合評価が５段階のゲージで表示される。
【００９２】
また、ダンサーの感性が一致し、かつ感性協調度が閾値以上でありさらに感性の一致の継続が３２秒より短い場合（ステップＳ２５１においてＹＥＳでかつステップＳ２５３においてＹＥＳかつステップＳ２８１においてＮＯ）にも同様の処理を行う。つまり、ステップＳ２８３で一致する感性に対応する背景画像がデータベース２４から読み出され、読み出された背景画像にステップＳ２８５〜ステップＳ２９５において各ダンサーの人物画像（実写画像もしくは特殊効果画像）がオーバレイされる。そして、ステップＳ２９７ではさらに評価の集計結果データ画像がオーバレイされる。こうした画像が視聴者のＰＣ９０をはじめとする参加者全員のＰＣに配信される。
【００９３】
なお、データベース２４に蓄積された音楽コンテンツおよび映像コンテンツの選別処理は実施例１で示した処理を同じであるため、説明を省略する。
【００９４】
以上説明したように実施例２の感性共有システム１では、ダンスの途中においても視聴者によるマルチメディア表現に対する評価がリアルタイムで表示される。したがって、ダンサーはダンスの途中で表示される評価を参考にしてよりよいダンスを目指すことができ、視聴者はより大きな臨場感を得ることができる。
【００９５】
なお、この発明の実施例は実施例１および実施例２の実施形態に限るものではなく、種々に変更して実施してもよい。たとえば、視聴者の評価があるレベル以上になっている間は、第２の映像コンテンツとして、画面に華やかさや派手さを与えるような模様（たとえば光り輝く半透明な模様）を画面全体にオーバレイするようにしてもよい。また、この第２の映像コンテンツも、イベント管理者の指揮のもと予め募集するようにしてもよい。
【００９６】
さらに、データベース２４に蓄積された音楽コンテンツおよび映像コンテンツの洗練方法としては評価値が上位の幾つかを残すこととしたが、評価値はあるコンテンツとダンサーとの組み合わせにおいてのみ高得点となる場合もあるので、単純に評価値の合計点で選別するのではなく、統計的分析を行って交互作用が有意となる高得点な組み合わせを残すようにしてもよい。
【００９７】
また、ある時期にのみ高得点が得られるコンテンツやダンスも存在し得る。そこで、統計的分析の結果、年代との交互作用が有意となる高得点な組み合わせを残すようにしてもよい。このようにすれば時代の流れを示す貴重なデータベースを得ることができる。
【００９８】
さらに、ダンス大会で採用する音楽コンテンツおよび映像コンテンツの決定方法としては、過去に規定回数以上データベース２４から捨てられた（削除）経験のある提供者のコンテンツは採用しない方法もある。逆に、一定回数以上データベースに蓄積された実績を持つコンテンツの提供者のコンテンツを優先的に使用する方法もある。
【００９９】
また、実施例１および実施例２においては、応募されたコンテンツを音楽コンテンツおよび映像コンテンツとし、被験者（ダンサー）の表現をダンスによる身体表現としたが、コンテンツの内容および被験者の表現はこれに限るものではなく、コンテンツを詞および曲とし、被験者の表現を歌とすることもできる。
【図面の簡単な説明】
【図１】この発明の感性共有システムの一実施例の全体構成を示す図解図である。
【図２】中央装置の構成例を示すブロック図である。
【図３】図１の実施例の動作の一部を示す図解図である。
【図４】ダンサーの感性協調度が悪いときに表示される画像を示す図解図である。
【図５】ダンサーの感性協調度が良いときに表示される画像を示す図解図である。
【図６】ゴールに達したときに表示される画像を示す図解図である。
【図７】評価を公表するときに表示される画像を示す図解図である。
【図８】ダンサーＡの感性を推定するときの動作を示す図解図である。
【図９】ダンサーＢの感性を推定するときの動作を示す図解図である。
【図１０】マルチメディア表現を変化させるときの動作の一部を示すフロー図である。
【図１１】マルチメディア表現を変化させるときの動作の他の一部を示すフロー図である。
【図１２】マルチメディア表現を変化させるときの動作の他の一部を示すフロー図である。
【図１３】マルチメディア表現を変化させるときの動作の他の一部を示すフロー図である。
【図１４】マルチメディア表現を変化させるときの動作の他の一部を示すフロー図である。
【図１５】データベースを洗練させるときの動作を示すフロー図である。
【図１６】マルチメディア表現を変化させるときの動作の一部を示すフロー図である。
【図１７】マルチメディア表現を変化させるときの動作の他の一部を示すフロー図である。
【図１８】マルチメディア表現を変化させるときの動作の他の一部を示すフロー図である。
【図１９】マルチメディア表現を変化させるときの動作の他の一部を示すフロー図である。
【図２０】マルチメディア表現を変化させるときの動作の他の一部を示すフロー図である。
【図２１】マルチメディア表現を変化させるときの動作の他の一部を示すフロー図である。
【図１】
0003786345.tif 000010
【図２】
0003786345.tif 000011
【図３】
0003786345.tif 000012
【図４】
0003786345.tif 000013
【図５】
0003786345.tif 000014
【図６】
0003786345.tif 000015
【図７】
0003786345.tif 000016
【図８】
0003786345.tif 000017
【図９】
0003786345.tif 000018
【図１０】
0003786345.tif 000019
【図１１】
0003786345.tif 000020
【図１２】
0003786345.tif 000021
【図１３】
0003786345.tif 000022
【図１４】
0003786345.tif 000023
【図１５】
0003786345.tif 000024
【図１６】
0003786345.tif 000025
【図１７】
0003786345.tif 000026
【図１８】
0003786345.tif 000027
【図１９】
0003786345.tif 000028
【図２０】
0003786345.tif 000029
【図２１】
0003786345.tif 000030