(57)【特許請求の範囲】
【請求項１】
参加者によってリクエストされた楽曲を演奏し、演奏された楽曲に合わせて行われた歌唱に関する評価を行うカラオケ装置であって、
楽曲に対応付けられた身体の動きの属性を表す動作属性情報を記憶する記憶手段と、
参加者が居る範囲を撮像する撮像手段により撮像された撮像画像の中から、前記参加者を認識する認識手段と、
楽曲の演奏が行われている期間において入力された歌唱音を分析して、歌唱音に関する評価を導出する歌唱評価手段と、
前記楽曲の演奏が行われている期間において、前記認識手段により前記撮像画像の中から認識された各参加者の身体の動きの特徴を認識する動作認識手段と、
演奏された楽曲に対応付けられた前記動作属性情報と当該楽曲の演奏中に前記動作認識手段により認識された参加者の動きの特徴との一致度合、及び当該楽曲の演奏中に前記動作認識手段により認識された参加者相互の動きの特徴の一致度合に基づいて、参加者の動きに関する評価を導出する動作評価手段と、
前記歌唱評価手段により導出された歌唱音に関する評価結果と、前記動作評価手段により導出された参加者の動きに関する評価結果とを総合して、歌唱に関する総合評価を導出する総合評価手段と、
を備えることを特徴とするカラオケ装置。
【請求項２】
請求項１に記載のカラオケ装置において、
前記認識手段により前記撮像画像の中から認識された参加者について、楽曲の演奏時に歌唱を行う歌唱者と歌唱を行わない聴取者とを判別する判別手段を備え、
前記動作評価手段は、前記判別手段により判別された歌唱者及び聴取者について、演奏された楽曲に対応付けられた前記動作属性情報と当該楽曲の演奏中における前記歌唱者の動きの特徴との一致度合、及び当該楽曲の演奏中における前記歌唱者と前記聴取者との間の動きの特徴の一致度合に基づいて、参加者の動きに関する評価を導出すること、
を特徴とするカラオケ装置。
【請求項３】
請求項１又は請求項２に記載のカラオケ装置において、
前記動作属性情報と参加者の動きの特徴との一致度合及び参加者相互の動きの特徴の一致度合と、参加者の動きに関する評価との相関を表す対照テーブルを備え、
前記動作評価手段は、演奏された楽曲に対応付けられた前記動作属性情報と当該楽曲の演奏中における参加者の動きの特徴との一致度合、及び当該楽曲の演奏中における参加者相互の動きの特徴の一致度合を前記対照テーブルに照らし合せることにより、参加者の動きに関する評価を導出すること、
を特徴とするカラオケ装置。
【請求項４】
請求項１ないし請求項３の何れか１項に記載のカラオケ装置において、
前記記憶手段は、楽曲を複数に区分けした区間ごとに対応付けられた動作属性情報を記憶し、
前記動作評価手段は、演奏された楽曲の区間ごとに対応付けられた前記動作属性情報と当該区間が演奏されたときに認識された参加者の動きの特徴との一致度合、及び当該区間が演奏されたときに認識された参加者相互の動きの特徴の一致度合に基づいて、前記区間ごとに参加者の動きに関する評価を導出すること、
を特徴とするカラオケ装置。
【請求項５】
参加者が居る範囲を撮像する撮像手段により撮像された撮像画像の中から、前記参加者を認識する認識手順と、
楽曲の演奏が行われている期間において入力された歌唱音を分析して、歌唱音に関する
評価を導出する歌唱評価手順と、
前記楽曲の演奏が行われている期間において、前記認識手順において前記撮像画像の中から認識された各参加者の身体の動きの特徴を認識する動作認識手順と、
演奏された楽曲に対応付けられた身体の動きの属性を表す動作属性情報と、当該楽曲の演奏中に前記動作認識手順において認識された参加者の動きの特徴との一致度合、及び当該楽曲の演奏中に前記動作認識手順において認識された参加者相互の動きの特徴の一致度合に基づいて、参加者の動きに関する評価を導出する動作評価手順と、
前記歌唱評価手順において導出された歌唱音に関する評価結果と、前記動作評価手順において導出された参加者の動きに関する評価結果とを総合して、歌唱に関する総合評価を導出する総合評価手順と、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラオケの歌唱者及び聴取者の動作を歌唱の評価に加味する技術に関する。
【背景技術】
【０００２】
従来、カラオケ装置に備えられる採点機能においては、音高、リズム、テクニックといった技術的な評価項目について歌唱音を分析し、採点を行うことが知られている。このような採点方法は、純粋に歌唱の技術を競ったり高得点を目指すといった目的に適うものである。
【０００３】
一方、グループでカラオケを楽しむという観点では、歌唱者のみならずその場にいる聴取者を含む参加者全体の場の雰囲気が重要な要素であると考えられる。そこで、歌唱者本人の歌唱技術だけでなく、歌唱を聴いている聴取者の様子を含む場の雰囲気を歌唱の評価に加味する技術が提案されている。例えば、特許文献１には、カラオケ演奏中に聴取者の操作により付与される効果音に応じて基本の採点に重み付けを行うことで、総合的な評価を行うカラオケ装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２２７２４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術は、効果音を発生させるスイッチを押した回数に応じて加点をするものでしかなく、このようなスイッチを押すという単純な行為は、歌唱者及び聴取者の心情や気分を含む場の雰囲気を反映するものとして実効性に乏しい。
【０００６】
本発明は、上記問題を解決するためになされたものである。本発明の目的は、歌唱者及び聴取者を取り巻く場の雰囲気を的確に判断し、歌唱の評価に効果的に反映するための技術を提供することである。
【課題を解決するための手段】
【０００７】
本発明のカラオケ装置は、参加者によってリクエストされた楽曲を演奏し、演奏された楽曲に合わせて行われた歌唱に関する評価を行うものであり、記憶手段、認識手段、歌唱評価手段、動作認識手段、動作評価手段、総合評価手段、総合評価提示手段を備える。
【０００８】
記憶手段は、楽曲に対応付けられた身体の動きの属性を表す動作属性情報を記憶する。認識手段は、参加者が居る範囲を撮像する撮像手段により撮像された撮像画像の中から、参加者を認識する。歌唱評価手段は、楽曲の演奏が行われている期間において入力された歌唱音を分析して、歌唱音に関する評価を導出する。動作認識手段は、楽曲の演奏が行われている期間において、認識手段により撮像画像の中から認識された各参加者の身体の動きの特徴を認識する。
【０００９】
動作評価手段は、演奏された楽曲に対応付けられた動作属性情報と当該楽曲の演奏中に認識された参加者の動きの特徴との一致度合、及び当該楽曲の演奏中に認識された参加者相互の動きの特徴の一致度合に基づいて、参加者の動きに関する評価を導出する。総合評価手段は、歌唱評価手段により導出された歌唱音に関する評価結果と、動作評価手段により導出された参加者の動作に関する評価結果とを総合して、歌唱に関する総合評価を導出
する。
【００１０】
本発明は、カラオケの演奏に際する参加者の身体の動きを、参加者の心情や気分、場の雰囲気等といった心理的状態を測るための指標として用いている。本発明によれば、歌唱音を分析することで得られる歌唱の技術的な評価に加え、参加者を撮像した画像から認識された各参加者の身体の動きに基づく心理的状態の評価を含む総合的な評価を行うことができる。
【００１１】
特に、楽曲の雰囲気に相応しい身体の動きとして対応付けられた動作属性情報と参加者の動きの特徴との一致度合を評価の観点とすることで、参加者が楽曲の雰囲気に相応しい動作をしているかを歌唱の評価に反映することができる。また、参加者相互の一致度合を評価の観点とすることで、参加者同士が心理的に一体となって参加できているかを歌唱の評価に反映することができる。このように、カラオケの参加者の動きの特徴を複数の観点から評価に加味することで、歌唱者及び聴取者を取り巻く場の雰囲気を的確に判断し、歌唱の評価に効果的に反映できる。
【００１２】
カラオケにおいて、場の雰囲気が盛り上がっているかどうかを評価するにあたっては、歌唱をする歌唱者とそれを聞く聴取者との間に心理的な一体感が形成されているかどうかが重視される。そこで、請求項２に記載のように構成するとよい。すなわち、判別手段は、認識手段により撮像画像の中から認識された参加者について、楽曲の演奏時に歌唱を行う歌唱者と歌唱を行わない聴取者とを判別する。動作評価手段は、演奏された楽曲に対応付けられた動作属性情報と当該楽曲の演奏中における歌唱者の動きの特徴との一致度合、及び当該楽曲の演奏中における歌唱者と聴取者との間の動きの特徴の一致度合に基づいて、参加者の動きに関する評価を導出する。このように、歌唱者と聴取者との動きの特徴の一致度合を評価の観点とすることで、歌唱者と聴取者との間に心理的な一体感が形成されているかどうかを歌唱の評価に反映できる。
【００１３】
請求項３に記載のカラオケ装置は、次の特徴を有する。すなわち、このカラオケ装置は、動作属性情報と参加者の動きの特徴との一致度合及び参加者相互の動きの特徴の一致度合と、参加者の動きに関する評価との相関を表す対照テーブルを備える。動作評価手段は、演奏された楽曲に対応付けられた動作属性情報と当該楽曲の演奏中における参加者の動きの特徴との一致度合、及び当該楽曲の演奏中における参加者相互の動きの特徴の一致度合を対照テーブルに照らし合せることにより、参加者の動きに関する評価を導出する。このような構成によれば、動作属性情報と参加者の動きの特徴との一致度合、及び参加者相互の動きの特徴の一致度合に基づいて対照テーブルを参照することにより、参加者の動きに関する評価を的確に導出することができる。
【００１４】
請求項４に記載のカラオケ装置は、次の特徴を有する。すなわち、記憶手段は、楽曲を複数に区分けした区間ごとに対応付けられた動作属性情報を記憶する。動作評価手段は、演奏された楽曲の区間ごとに対応付けられた動作属性情報と当該区間が演奏されたときに認識された参加者の動きの特徴との一致度合、及び当該区間が演奏されたときに認識された参加者相互の動きの特徴の一致度合に基づいて、区間ごとに参加者の動きに関する評価を導出する。このようにすることで、演奏の途中で雰囲気が一変するような楽曲であっても、区間ごとの雰囲気に相応しい身体の動きとして対応付けられた動作属性情報に基づいて、各参加者が楽曲の雰囲気に相応しい動作をしているかを歌唱の評価に反映することができる。
【００１５】
なお、本発明は、請求項５に記載のように、コンピュータにおいて実行されるプログラム、あるいは当該プログラムを記憶する記憶媒体として実現することもできる。
【図面の簡単な説明】
【００１６】
【図１】カラオケ装置の構成を表すブロック図。
【図２】（ａ）動作対応テーブルの一例、（ｂ）区間対応情報の一例。
【図３】動作評価処理の手順を表すフローチャート。
【図４】動作対照テーブルの一例。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
［カラオケ装置の構成の説明］
実施形態のカラオケ装置１０の構成について、図１を参照しながら説明する。
【００１８】
カラオケ装置１０は、参加者からリクエストされたカラオケ楽曲を演奏する機能や、参加者の歌唱を評価する機能を有する。図１に示すとおり、カラオケ装置１０は、制御部１１、記憶部１３、操作部１４、音声入出力部１５を備える。また、カラオケ装置１０には、ディスプレイ１６、マイク１７、スピーカ１８、カメラ１９等の周辺機器が接続されている。
【００１９】
制御部１１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等（何れも不図示）を備え、所定のプログラムに従って動作することにより、カラオケ装置１０を総合的に制御する。制御部１１は、リモコン端末等の電子早見本装置（不図示）を介してユーザから楽曲のリクエストを受付けると、その楽曲の曲番号を内部のＲＡＭ等において管理されている予約リストに受付け順に登録する。制御部１１は、予約リストに登録されている演奏順に従って、カラオケデータベースから予約曲に対応する楽曲データを順番に読出して演奏処理を行う。また、制御部１１は、楽曲の演奏時に入力された歌唱音を楽曲の採点基準データに基づいて評価し、歌唱に関する評価を算出する。
【００２０】
さらに、制御部１１は、本発明における特徴的な機能として、楽曲の演奏中における歌唱者及び聴取者の身体の動きの特徴を認識し、認識された動きの特徴を所定の評価基準に基づいて評価する。認識する動きの特徴としては、動いている部位、動きの方向、速さ、規則性等が例示される。なお、画像の中からカラオケの参加者を認識し、それぞれの動きの特徴を認識する手法としては、人体検出技術、形状・動作認識技術である「Kinect（登録商標）」、特表２０１４-５０９０１１号等の周知の画像認識技術を用いることが考えられる。そして、制御部１１は、歌唱に関する評価結果と動きに関する評価結果とを加味した総合評価を導出する。これらの一連の処理の詳細な手順については後述する。
【００２１】
記憶部１３は、例えばハードディスクドライブや半導体メモリ等の記憶装置である。記憶部１３には、カラオケ楽曲を演奏するための楽曲データを多数収録したカラオケデータベースや、カラオケ装置１０の動作を制御するためのプログラム等が記憶される。なお、カラオケデータベースに収録されている楽曲データには、楽曲のジャンル等の類別（以下、曲タイプとも称する）を表す情報や、楽曲を複数の区間に分割した歌唱区間を定義する情報、歌唱の採点を行うための採点基準データ等が含まれているものとする。また、記憶部１３には、上述の動きに関する評価において評価基準として用いられるデータとして、動作対応テーブル（図２（ａ）参照）、区間対応情報（図２（ｂ）参照）、及び評価対象テーブル（図４参照）が記憶されている。
【００２２】
このうち、動作対応テーブルは、演奏される楽曲の曲タイプ（例えば、バラード、ロック等のジャンル）と動作属性との対応関係を表すデータである。図２（ａ）に例示されるように、動作対応テーブルには、曲タイプ及びそれを更に細分化した歌唱区分パターンごとに、楽曲の雰囲気に相応しいとして加点の対象となる動きの特徴を表す動作属性が定義
されている。
【００２３】
図２（ａ）の事例では、バラードの歌唱区分パターンＡとして、「静止」といった動作属性が対応付けられている。また、バラードの歌唱区分パターンＢとして、「手をゆっくりと横に振る」といった動作属性が対応付けられている。一方、ロックの歌唱区分パターンＡとして、「手を前後に振る」といった動作属性が対応付けられている。また、ロックの歌唱区分パターンＢとして、「手拍子」といった動作属性が対応付けられている。
【００２４】
一方、区間対応情報は、楽曲を複数の区間に分割した歌唱区間と、評価対象テーブルにおいて定義されている歌唱区分パターンとの対応関係を表すデータである。図２（ｂ）に例示されるように、この区間対応情報には、楽曲の演奏時間を複数の区間に区切った歌唱区間それぞれについて、歌唱者の動きの特徴に対する評価基準として適用される歌唱区分パターンが割当てられている。なお、楽曲を区分する歌唱区間は、例えば、リフレイン形式におけるＡメロ、Ｂメロ、サビ等の楽区に対応する区間とすることが考えられる。
【００２５】
図２（ｂ）の事例では、歌唱区間１の演奏中については、演奏曲の曲タイプにおける歌唱区分パターンＡに対応する動作属性が適用されように定義されている。また、歌唱区間２の演奏中については、演奏曲の曲タイプにおける歌唱区分パターンＢに対応する動作属性が適用されるように定義されている。なお、この区間対応情報は、全ての曲タイプに対応する共通のものが用意されていてもよいし、例えば、曲タイプや個々の楽曲ごとに個別に用意されていてもよい。
【００２６】
図１の説明に戻る。操作部１４は、利用者からの操作を入力するための入力装置であり、カラオケ装置１０本体に備えられたタッチパネルやキー・スイッチ等からなる。音声入出力部１５は、音声の入出力を制御するデバイスである。音声入出力部１５の入力側にはマイク１７が接続される。これにより音声入出力部１５は、歌唱者の歌唱音を取得する。音声入出力部１５の出力側にはスピーカ１８が接続される。これにより音声入出力部１５は、制御部１１により再生された楽曲の演奏音及び歌唱者の歌唱音の音源信号をスピーカ１８に出力する。スピーカ１８は、音声入出力部１５から出力される音源信号を音に換えて出力する。
【００２７】
ディスプレイ１６は、制御部１１から送られてくる映像データに基づいて映像の表示を行う表示装置である。制御部１１は、カラオケの伴奏の演奏処理と併せて、背景画像や歌詞テロップをディスプレイ１６に表示させる。カメラ１９は、カラオケ装置１０が設置される場所（例えば、カラオケルーム）に設置される撮像装置であり、カラオケ装置１０を利用してカラオケを行う参加者の居る場所全体の様子を撮像し、撮像した画像データを制御部１１に出力する。なお、カラオケ装置１０のその他の機能や構成については公知技術に従っているので、ここでは詳細な説明を省略する。
【００２８】
［動作評価処理の説明］
カラオケ装置１０の制御部１１が実行する動作評価処理の手順について、図３のフローチャートを参照しながら説明する。この処理は、カラオケの参加者のリクエストに応じて楽曲の演奏を行うときに実行される処理である。
【００２９】
Ｓ１００では、制御部１１は、参加者から楽曲のリクエストを受付けると、その楽曲の曲番号を予約リストに受付け順に登録する。Ｓ１０２では、制御部１１は、カメラ１９により撮像された撮像画像に対して画像認識処理を行い、撮像画像に写っている参加者を認識する。参加者の認識は、上述の周知の人体検出技術を用いて行う。
【００３０】
Ｓ１０４では、制御部１１は、予約リストの演奏順に従って、次の予約曲の演奏処理を
開始する。このとき、制御部１１は、楽曲の演奏処理と並行して、マイク１７から入力される歌唱音を分析して歌唱に関する評価を行う歌唱採点処理を行う。
【００３１】
Ｓ１０６では、制御部１１は、Ｓ１０２において認識された参加者について、演奏される楽曲を歌唱する歌唱者と、それ以外の聴取者とを判別する。具体的には、カメラ１９により撮像された撮像画像の中からマイク１７の画像を認識する。そして、Ｓ１０２において認識された参加者のうちマイク１７を持っている人物を歌唱者（複数可）と特定し、それ以外の人物を聴取者と特定する。撮像画像の中から予め登録した対象物（マイク）を認識する技術として、例えば、特開２０１４−１０２６０８号、特開２００７−４７６７号等が知られている。
【００３２】
あるいは、楽曲のリクエストを受付けたときに予約者の顔画像を取得し、取得した予約者の顔画像と予約曲とを対応付けて記憶しておく。なお、予約者の顔画像を取得する方法としては、例えば、リモコン端末のディスプレイ側に設けられたカメラによって、リクエスト操作を行う予約者の顔画像を撮像し、それをカラオケ装置１０に転送する方法が挙げられる。あるいは、カメラ１９により撮像された撮像画像の中から、リモコン端末を持っている人物を画像認識により検出し、その人物の顔画像を抽出する方法が挙げられる。そして、Ｓ１０２において認識された参加者の顔画像と、次に演奏される予約曲に対応付けられている顔画像とを比較し、適合する人物を歌唱者と特定し、それ以外の人物を聴取者と特定する。撮像画像の中から人の顔を検出したり抽出する画像認識技術として、例えば、特開２０１３−４１４９３号、特開２０１０−２１８０６０号等が知られている。
【００３３】
Ｓ１０８では、制御部１１は、楽曲の演奏中における所定のタイミングで撮像された動画像について、Ｓ１０６において判別された歌唱者及び聴取者それぞれの身体の動きの特徴を認識する。動きの特徴の認識は、上述の「Kinect（登録商標）」、特表２０１４-５０９０１１号等の周知の画像認識技術を用いて行う。ここでは、歌唱者及び聴取者の各個人について、例えば、手を横や前後に振る動作、手拍子をする動作、静止した状態等といった感情を表す身振り手振りの様子を認識する。人の手振りを認識する技術としては、例えば、特開２０１２−９８９８８号、特開２０１０−２１１７３２号等が知られている。
【００３４】
Ｓ１１０では、制御部１１は、Ｓ１０８において認識された歌唱者及び聴取者の動きに関する評価を導出する。第１に、制御部１１は、歌唱者の動きの特徴と演奏中の楽曲に対応する動作属性との一致度合を算出する。具体的には、制御部１１は、歌唱者の動きの特徴について、動作対応テーブル（図２（ａ）参照）及び区間対応情報（図２（ｂ）参照）に基づいて特定される曲タイプ及び歌唱区分パターンに該当する動作属性との一致度合を算出する。この一致度合は、動きの特徴がどの程度一致しているかを数値化したものである。例えば、１つの歌唱区間ごとに歌唱者の動きの特徴と楽曲の動作属性とが一致した回数に応じて、一致度合を加算することが考えられる。ここでは、区間対応情報において、Ｓ１０８の時点で演奏されていた歌唱区間に割当てられている歌唱区分パターンに対応する動作属性を一致度合の算出の基準として用いる。
【００３５】
第２に、制御部１１は、歌唱者と聴取者との間の動きの特徴の一致度合を算出する。この一致度合は、動きの特徴がどの程度一致しているかを数値化したものである。例えば、歌唱区間ごとに歌唱者の動きの特徴と聴取者の動きの特徴とが一致した回数に応じて、一致度合を加算することが考えられる。そして、制御部１１は、歌唱者の動きの特徴と楽曲に対応する動作属性との一致度合と、歌唱者及び聴取者相互の動きの特徴の一致度合とを、記憶部１３に記憶されている評価対照テーブル（図４参照）に照らし合せることにより、動きに関する評価を導出する。
【００３６】
ここで図４の評価対照テーブルについて説明する。評価対象テーブルは、動きの特徴の
一致度合と評価との相関を表すデータである。図４に例示されるとおり、評価対照テーブルは、歌唱者の動きの特徴と楽曲に対応する動作属性との一致度合を第１の変数（縦軸）、歌唱者及び聴取者相互の動きの特徴の一致度合を第２の変数（横軸）とする二次元の座標空間上に、動きに関する評価の値が分布しているデータである。この評価対照テーブルでは、縦軸及び横軸それぞれの一致度合が高いほど、動きに関する評価の値が高くなるように設定されている。すなわち、座標空間の左下に行くほど評価が低くなり、右上に行くほど評価が高くなるようになっている。なお、評価対照テーブルは、全ての曲タイプに対応する共通のものが用意されていてもよいし、例えば、曲タイプや歌唱区分パターンごとに個別に用意されていてもよい。
【００３７】
図３のフローチャートの説明に戻る。Ｓ１１２では、制御部１１は、１つの楽曲の演奏が終了したか否かを判定する。演奏が終了していない場合（Ｓ１１２：ＮＯ）、制御部１１はＳ１０８に戻る。以降、制御部１１は、Ｓ１０８〜Ｓ１１２を繰り返し、演奏中の楽曲を構成する複数の歌唱区間それぞれについて動きに関する評価を導出する。一方、演奏が終了した場合（Ｓ１１２：ＹＥＳ）、制御部１１はＳ１１４に進む。
【００３８】
Ｓ１１４では、制御部１１は、歌唱採点処理により別途導出された歌唱に関する評価結果と、Ｓ１１０において導出された動きに関する評価結果とを総合した総合評価を導出する。例えば、制御部１１は、歌唱に関する評価結果の点数に動きに関する評価結果に応じた点数を加算することにより総合評価を導出する。なお、総合評価を導出するにあたって、複数の歌唱区間それぞれに対応する動きの評価結果を個別に総合評価に反映してもよいし、複数の歌唱区間それぞれに対応する動きの評価結果を統計的に処理した値を総合評価に反映してもよい。
【００３９】
Ｓ１１６では、制御部１１は、Ｓ１１６において導出された総合評価を参加者に対して提示する。具体的には、制御部１１は、総合評価の内容を表す画像情報をディスプレイ１６に表示させる。Ｓ１１６の後、制御部１１は本処理を終了する。
【００４０】
［効果］
実施形態のカラオケ装置１０によれば、次の効果を奏する。
カラオケの演奏に際する参加者の身体の動きの特徴を、参加者の心情や気分、場の雰囲気等といった心理的状態を測るための指標として用いて、歌唱の評価に加味することができる。これにより、歌唱音を分析することで得られる歌唱の技術的な評価に加え、参加者を撮像した画像から認識された各参加者の身体の動きに基づく心理的状態に関する評価を含んだ総合的な評価を行うことができる。
【００４１】
特に、楽曲の雰囲気に相応しい身体の動きとして対応付けられた動作属性情報と歌唱者の動きの特徴との一致度合を評価の観点とすることで、歌唱者が楽曲の雰囲気に相応しい動きをしているかを評価できる。また、歌唱者及び聴取相互の動きの特徴の一致度合を評価の観点とすることで、歌唱者と聴取者との間に心理的な一体感が形成されているかを評価できる。このように、カラオケの参加者の動きを複数の観点から評価に加味することで、歌唱者及び聴取者を取り巻く場の雰囲気を的確に判断し、歌唱の評価に効果的に反映できる。
【００４２】
また、楽曲を複数の区間に分けた歌唱区間ごとに定義された動作属性を動きに関する評価の基準として用いることで、演奏の途中で雰囲気が変わる楽曲であっても、歌唱者が歌唱区間ごとの雰囲気に適した動きで歌唱できているかを評価できる。
【００４３】
［変形例］
上述の実施形態においては、図２（ａ）に例示されるとおり、曲タイプ及び歌唱区分パ
ターンごとに対応付けられた動作属性を評価基準に用いる事例について説明した。これとは別に、個々の楽曲ごとに定義された動作属性を評価基準に用いる構成であってもよい。また、上述の実施形態においては、図２（ｂ）に例示されるとおり、複数の歌唱区間それぞれに対応する歌唱区分パターンの動作属性を評価基準に用いる事例について説明した。これとは別に、１つの楽曲について一律に定義された動作属性を評価基準に用いる構成であってもよい。
【００４４】
上述の実施形態においては、動作対応テーブル（図２（ａ）参照）で表される動作属性と、歌唱者の動きの特徴との一致度合を算出する事例について説明した。これとは別に、歌唱者に加えて聴取者の動きの特徴についても、動作対応テーブルで表される動作属性との一致度合を算出し、これを動きに関する評価に加味してもよい。
【００４５】
［特許請求の範囲に記載の構成との対応］
実施形態の各構成と、特許請求の範囲に記載の構成との対応は次のとおりである。
記憶部１３が、記憶手段に相当する。制御部１１及び図３のＳ１０２が、認識手段に相当する。制御部１１及び図３のＳ１０６が、判別手段に相当する。制御部１１及び図３のＳ１０８が、動作認識手段に相当する。制御部１１及び図３のＳ１１０が、動作評価手段に相当する。制御部１１及び図３のＳ１１４が、総合評価手段に相当する。制御部１１が、歌唱評価手段に相当する。
【符号の説明】
【００４６】
１０…カラオケ装置、１１…制御部、１３…記憶部、１４…操作部、１５…音声入出力部、１６…ディスプレイ、１７…マイク、１８…スピーカ、１９…カメラ。
【図１】
0006409656.tif 000002
【図２】
0006409656.tif 000003
【図３】
0006409656.tif 000004
【図４】
0006409656.tif 000005