(57)【要約】【課題】歌唱音声信号のレベルに関わらず、歌の上手さに見合った採点結果を得ることができるカラオケ装置を提供する。【解決手段】本カラオケ装置は縦横比計測部１１と縦横比採点部１２とを有する。縦横比計測部１１は、歌唱者の顔を撮像するカメラ９の撮像画像から歌唱者の口の縦横比を計測する。縦横比採点部１２は、楽曲データに基づいた採点タイミングで縦横比計測部１１により計測された縦横比を用いて、歌唱者の口が開いているか否かを判定する。また、縦横比採点部１２は、口が開いていると判定した場合には正値を表す画像点数データを生成し、口が閉じていると判定した場合には零点を表す画像点数データを生成する。【選択図】      図３
2005242230.tif 000002
【特許請求の範囲】
【請求項１】
楽曲データに基づいて自動演奏を行うカラオケ装置において、
歌唱者の口元を撮像するカメラの撮像画像から前記歌唱者の口の形状を検出する形状検出手段と、
前記楽曲データに基づいて前記形状検出手段により検出された形状の適切さを特定し、特定した適切さを表す画像点数データを生成する形状採点手段と
を有するカラオケ装置。
【請求項２】
楽曲データに基づいて自動演奏を行うカラオケ装置において、
歌唱者の口元を撮像するカメラの撮像画像から前記歌唱者の口の縦横比を計測する縦横比計測手段と、
前記楽曲データに基づいて前記縦横比計測手段により計測された縦横比の適切さを特定し、特定した適切さを表す画像点数データを生成する縦横比採点手段と
を有するカラオケ装置。
【請求項３】
歌詞データを含む楽曲データに基づいて自動演奏を行うカラオケ装置において、
歌唱者の口元を撮像するカメラの撮像画像から前記歌唱者の口の形状を検出する形状検出手段と、
口の適切な形状を表す形状データを母音毎に記憶している記憶手段と、
前記歌詞データから前記歌唱者が発音すべき母音を特定する母音特定手段と、
前記母音特定手段により特定された母音について前記記憶手段に記憶されている形状データに基づいて前記形状検出手段により検出された形状の適切さを特定し、特定した適切さを表す画像点数データを生成する形状採点手段と
を有するカラオケ装置。
【請求項４】
楽曲データに基づいて自動演奏を行うカラオケ装置において、
歌唱者の口元を撮像するカメラの撮像画像から前記歌唱者の口の大きさを計測するサイズ計測手段と、
前記楽曲データに基づいて前記サイズ計測手段により計測された大きさの時間的変化の適切さ特定し、特定した適切さを表す画像点数データを生成するサイズ変化採点手段と
を有するカラオケ装置。
【請求項５】
前記歌唱者の歌唱音声を表す信号を用いて前記歌唱者の歌唱力を採点し、採点結果を表す音声点数データを生成する音声採点手段と、
前記画像点数データ及び前記音声点数データとを用いて、前記歌唱者の歌唱力を表す総合点数データを生成する総合採点手段と
を有することを特徴とする請求項１乃至４のいずれかに記載のカラオケ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱者の歌唱力を採点するカラオケ装置に関する。
【背景技術】
【０００２】
楽曲データに基づいて自動演奏を行うカラオケ装置の中には、歌唱音声信号を入力して歌唱者の歌唱力を採点するカラオケ装置がある。この種のカラオケ装置は入力した歌唱音声信号を解析して歌唱力を採点している。この採点には、歌唱音声信号のレベルが高い場合に高得点となり、低い場合に低得点となる、という傾向がある。したがって、歌唱音声信号が低レベルとなる人が高レベルとなる人より上手に歌っても、前者の歌唱力が後者の歌唱力よりも低く採点されてしまう虞がある。
【０００３】
このような問題を解決する１つの手法として、歌唱音声信号以外の、歌唱の状態を示すデータを歌唱力の採点に用いることが考えられる。
歌唱音声信号以外のデータを採点に用いるカラオケ装置としては、特許文献１に開示のカラオケ装置が挙げられる。このカラオケ装置は、歌唱者の姿をカメラで撮影し、カメラから取り込んだ静止画像データと予め記憶している基準画像データとを比較し、歌唱者の振り付け等の姿を採点する。
【特許文献１】特開２０００−２９４８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に開示のカラオケ装置は、歌唱者の振り付けやダンス等の動きをも採点可能にするものであり、歌唱力については従来通りの方法で採点している。したがって、上記の問題の解決には役立たない。
本発明は上述した事情に鑑みて為されたものであり、歌唱音声信号のレベルに関わらず、歌の上手さに見合った採点結果を得ることができるカラオケ装置を提供することを目的としている。
【課題を解決するための手段】
【０００５】
本発明は、楽曲データに基づいて自動演奏を行うカラオケ装置において、歌唱者の口元を撮像するカメラの撮像画像から前記歌唱者の口の形状を検出する形状検出手段と、前記楽曲データに基づいて前記形状検出手段により検出された形状の適切さを特定し、特定した適切さを表す画像点数データを生成する形状採点手段とを有するカラオケ装置を提供する。
このカラオケ装置では、カメラの撮像画像から歌唱者の口の形状が検出され、この形状の適切さが楽曲データに基づいて特定され、特定された適切さを表す画像点数データが生成される。
【０００６】
また、本発明は、楽曲データに基づいて自動演奏を行うカラオケ装置において、歌唱者の口元を撮像するカメラの撮像画像から前記歌唱者の口の縦横比を計測する縦横比計測手段と、前記楽曲データに基づいて前記縦横比計測手段により計測された縦横比の適切さを特定し、特定した適切さを表す画像点数データを生成する縦横比採点手段とを有するカラオケ装置を提供する。
このカラオケ装置によれば、カメラの撮像画像から歌唱者の口の縦横比が計測され、この縦横比の適切さが楽曲データに基づいて特定され、特定された適切さを表す画像点数データが生成される。
【０００７】
また、本発明は、歌詞データを含む楽曲データに基づいて自動演奏を行うカラオケ装置において、歌唱者の口元を撮像するカメラの撮像画像から前記歌唱者の口の形状を検出する形状検出手段と、口の適切な形状を表す形状データを母音毎に記憶している記憶手段と、前記歌詞データから前記歌唱者が発音すべき母音を特定する母音特定手段と、前記母音特定手段により特定された母音について前記記憶手段に記憶されている形状データに基づいて前記形状検出手段により検出された形状の適切さを特定し、特定した適切さを表す画像点数データを生成する形状採点手段とを有するカラオケ装置を提供する。
このカラオケ装置によれば、歌詞データから歌唱者が発音すべき母音が特定される一方、カメラの撮像画像から歌唱者の口の形状が検出される。そして、この形状の適切さが、特定された母音についての形状データに基づいて特定され、特定された適切さを表す画像点数データが生成される。
【０００８】
また、本発明は、楽曲データに基づいて自動演奏を行うカラオケ装置において、歌唱者の口元を撮像するカメラの撮像画像から前記歌唱者の口の大きさを計測するサイズ計測手段と、前記楽曲データに基づいて前記サイズ計測手段により計測された大きさの時間的変化の適切さ特定し、特定した適切さを表す画像点数データを生成するサイズ変化採点手段とを有するカラオケ装置を提供する。
このカラオケ装置によれば、カメラの撮像画像から歌唱者の口の大きさが計測される。そして、計測された大きさの時間的変化の適切さが楽曲データに基づいて特定され、特定された適切さを表す画像点数データが生成される。
上記の各カラオケ装置によれば、画像点数データは歌唱音声信号を用いずに生成されているから、歌唱音声信号のレベルに関わらず、歌の上手さに見合った採点結果を得ることができる。
【０００９】
また、上記の各カラオケ装置に、前記歌唱者の歌唱音声を表す信号を用いて前記歌唱者の歌唱力を採点し、採点結果を表す音声点数データを生成する音声採点手段と、前記画像点数データ及び前記音声点数データとを用いて、前記歌唱者の歌唱力を表す総合点数データを生成する総合採点手段とを設けてもよい。
この場合、歌唱者の歌唱音声を表す信号を用いて歌唱者の歌唱力が採点され、この採点結果を表す音声点数データが生成される。そして、この音声点数データと画像点数データとを用いて歌唱者の歌唱力を表す総合点数データが生成される。このように、歌唱音声信号を用いずに生成された画像点数データを用いて総合点数データが生成されるから、歌唱音声信号のレベルに関わらず、歌の上手さに見合った採点結果を得ることができる。また、画像点数データのみならず、歌唱音声を表す信号を用いた採点結果を表す音声点数データをも用いて総合点数データが生成されるから、歌の上手さを高い精度で示す採点結果を得ることができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して、本発明の実施形態について説明する。各図において、共通する部分には同一の符号が付されている。
図１は本発明の実施形態に係るカラオケ装置のハードウェア構成を示す図である。
このカラオケ装置は楽曲データに基づいて自動演奏を行う機能と、歌唱者の歌唱力を採点する機能とを備えており、図には、歌唱者の歌唱音声を集音して歌唱音声信号を出力するマイク１も示されている。
【００１１】
このカラオケ装置は、イニシャルプログラムが書き込まれたＲＯＭ（Read Only Memory）２、プログラムを読み出して実行するＣＰＵ（中央処理装置）３、ＣＰＵ３のワークエリアとして使用されるＲＡＭ（ランダムアクセスメモリ）４、楽曲データ及びシステムプログラムが書き込まれたハードディスク５、マイク１から出力された歌唱音声信号を入力してＣＰＵ３へ供給する音声入力Ｉ／Ｆ（インタフェース）６、演奏開始指示をＣＰＵ３へ供給する指示入力部７、採点の結果を表示する表示パネル８、及び歌唱者の顔を撮像して撮像画像を表す画像データをＣＰＵ３へ供給するカメラ９を有する。
【００１２】
図２は楽曲データの構成を模式的に示す図である。
楽曲データは、ヘッダ、楽音データ、ガイドメロディデータ、歌詞データ等のデータから構成されている。ヘッダは、自動演奏の際に用いられる曲番号などの、楽曲に関する書誌的なデータである。楽音データは複数のイベントデータと各イベントの時間間隔を示すデュレーションデータとを含んだシーケンスデータであり、自動演奏はこの楽音データに基づいて行われる。ガイドメロディデータは、歌唱者が歌うべきメロディのシーケンスデータである。歌唱力を採点する一般的なカラオケ装置では、このガイドメロディデータが表す音高や音量、リズム、テンポに基づいて歌唱力の採点が行われている。歌詞データは、歌唱者が歌うべき歌詞のシーケンスデータである。一般的なカラオケ装置では、この歌詞データを用いて歌詞を表示したり、歌詞の表示色を楽曲の進行に合わせて変更したりする。
【００１３】
図１において、カメラ９は、歌唱者の顔の画像が中央に大きく写るように、向きやズーム、フォーカスを自動的に調整するカメラであり、撮像とＣＰＵ３への画像データの供給とを予め定められた時間間隔で行う。また、ＣＰＵ３は、図示しない電源の投入時にイニシャルプログラムを実行し、その上でシステムプログラムを実行する。ハードディスク５には楽曲データに基づいて自動演奏を行うための演奏プログラムや歌唱者の歌唱力を採点するための採点プログラムが書き込まれており、システムプログラムを実行中のＣＰＵ３は、指示入力部７を用いて演奏開始指示が入力されると、演奏プログラム及び採点プログラムを読み出して実行する。
【００１４】
これらのプログラムのうち、新規なものは採点プログラムのみである。よって、以下では、ＣＰＵ３が採点プログラムを実行しているときのカラオケ装置の機能構成および動作のうち、歌唱者の歌唱力の採点に係る部分について説明する。ただし、ここでは、採点プログラムの内容が異なる３種類の実施形態を想定しているから、これらの実施経形態について順に説明する。
【００１５】
［第１実施形態］
図３は本発明の第１実施形態に係るカラオケ装置１０の機能構成を示す図である。このカラオケ装置１０は、カメラ９、縦横比計測部１１、縦横比採点部１２、音声採点部１３、総合採点部１４及び点数表示部１５を有する。
縦横比計測部１１は、カメラ９から供給された画像データを用いて歌唱者の口の縦横比を計測する。口の縦横比とは、唇に囲まれた領域の横幅に対する縦幅の比である。領域の横幅／縦幅は、口の横方向／縦方向における当該領域の最大長である。
【００１６】
縦横比採点部１２は自動演奏中の楽曲データ内のガイドメロディデータを参照して採点タイミングを特定する。また、縦横比採点部１２は特定した採点タイミングにて後述の縦横比採点処理を行う。この縦横比採点処理において、縦横比採点部１２は縦横比計測部１１により計測された縦横比を用いて歌唱者の歌唱力を採点し、この採点の結果を表す画像点数データを生成する。なお、採点タイミングは歌唱者が声を出すべき期間内の時点である。
音声採点部１３は、入力した歌唱音声信号を解析して歌唱者の歌唱力を採点し、この採点の結果を表す音声点数データを生成する。この採点の際には楽曲データが参照される。
【００１７】
総合採点部１４は、縦横比採点部１２により生成された画像点数データと音声採点部１３により生成された音声点数データとを蓄積する。蓄積された点数データは、採点処理の終了時、すなわちＣＰＵ３による採点プログラムの実行終了時に破棄される。また、総合採点部１４は採点結果を表示すべきタイミングにて後述の総合採点処理を行う。この総合採点処理において、総合採点部１４は、蓄積した画像点数データ及び音声点数データを用いて歌唱者の歌唱力を採点し、この採点の結果を表す総合点数データを生成する。
点数表示部１５は総合採点部１４により生成された総合点数データで表される採点結果を表示パネル８に表示させる。
【００１８】
カラオケ装置１０においては、カメラ９から予め定められた時間間隔で画像データが出力される。したがって、縦横比計測部１１は歌唱者の口の縦横比を計測する処理（図４参照）を繰り返す。
この処理では、縦横比計測部１１は、まず、供給された画像データで表される撮像画像から歌唱者の口の輪郭線を抽出する（ステップＳＡ１）。この輪郭線は、撮像画像において唇の画像に囲まれた画像（以降、開口画像という）の輪郭線でもある。輪郭線の符号化方式は任意であるが、本実施形態では単位長さの線分の向きを示すチェーンコードにより符号化する。次に、この輪郭線と撮像画像の向きとに基づいて、開口画像の縦幅および横幅を計測する（ステップＳＡ２：ＹＥＳ、ＳＡ３）。開口画像の縦幅／横幅とは、撮像画像の縦方向／横方向における開口画像の最大長である。例えば、撮像画像と輪郭線との関係が図５に模式的に示すような関係の場合、開口画像の縦幅はＨ、横幅はＷとなる。次に、横幅に対する縦幅の比を算出し、これを歌唱者の口の縦横比とみなす（ステップＳＡ４）。なお、歌唱者の口が閉じている場合には輪郭線の抽出に失敗するから、縦横比計測部１１は零を歌唱者の口の縦横比とみなす（ステップＳＡ２：ＮＯ、ＳＡ５）。
【００１９】
一方、縦横比採点部１２は、採点タイミングを迎えると、図６に示す流れの縦横比採点処理を行う。縦横比採点処理において、縦横比採点部１２は、この時点で縦横比計測部１１により計測された縦横比を用いて、歌唱者の口が開いているか否かを判定する（ステップＳＢ１）。この判定は、例えば、計測された縦横比と予め定められた閾値とを比較することによって行われる。歌唱者が口を開けている場合、この時点で縦横比計測部１１により計測される縦横比は比較的に大きくなるから、縦横比採点部１２は、歌唱者の口が開いていると判定し、予め定められた点数を表す画像点数データを生成する（ステップＳＢ２）。この点数は正値である。逆に、歌唱者が口を閉じている場合、この時点で縦横比計測部１１により計測される縦横比は比較的に小さくなるから、縦横比採点部１２は、歌唱者の口が閉じていると判定し、零点を表す画像点数データを生成する（ステップＳＢ３）。
【００２０】
以上の処理に並行して、音声採点部１３は入力した歌唱音声信号を解析して歌唱者の歌唱力を採点し、この採点の結果を表す音声点数データを生成する。この音声点数データで表される採点結果は、歌唱音声信号のレベルが低い場合には歌唱者の歌の上手さに較べて悪い結果となる。こうして生成された画像点数データおよび音声点数データは総合採点部１４により蓄積される。
【００２１】
そして、採点結果を表示すべきタイミングを迎えると、総合採点部１４は図７に示す流れの総合採点処理を行う。総合採点処理では、総合採点部１４は、蓄積した音声点数データから定まる点数に画像点数データから定まる点数を加算する（ステップＳＣ１）。次に、加算結果が予め定められた満点を超えているか否かを判定し（ステップＳＣ２）、超えている場合には満点を表す総合点数データを生成する（ステップＳＣ３）。逆に、超えていない場合には加算結果を表す総合点数データを生成する（ステップＳＣ４）。
そして、採点結果を表示すべきタイミングを迎えると、点数表示部１５により、この総合点数データで表される採点結果が表示パネル８に表示される。
【００２２】
以上より明らかなように、カラオケ装置１０によれば、歌唱者が採点タイミングにおいて正しく口を開けていれば総合点数が満点を超えない範囲で上がる。歌の上手な人であれば、正しいタイミングで口を開けるから、一般的なカラオケ装置において歌唱音声信号のレベルが低いために歌の上手さに較べて歌唱力が低く採点された人であっても、カラオケ装置１０を用いることにより、歌の上手さに見合った採点結果を得ることができる。
【００２３】
［第２実施形態］
図８は本発明の第２実施形態に係るカラオケ装置２０の機能構成を示す図である。このカラオケ装置２０が図１のカラオケ装置１０と異なる点は、縦横比計測部１１及び縦横比採点部１２に代えてサイズ計測部２１及びサイズ採点部２２を有する点と、後述の理想変化データ２３がＲＡＭ４に書き込まれている点である。理想変化データ２３のＲＡＭ４への書き込みは、採点プログラムの実行開始時に行われる。
【００２４】
理想変化データ２３は後述のサイズ採点処理において使用されるデータであり、口の大きさの理想的な時間的変化を表すエンベロープデータをケース毎に有する。エンベロープデータがケース毎に存在するのは、口の大きさの理想的な時間的変化がケース毎に異なるからである。例えば、発声開始時と発声終了時とでは口の大きさの理想的な時間的変化が異なる。
【００２５】
サイズ計測部２１は、カメラ９から供給された画像データを用いて歌唱者の口の大きさを計測し、計測結果を表すサイズデータを生成する。
サイズ採点部２２はサイズ計測部２１により生成されたサイズデータを蓄積する。また、サイズ採点部２２は自動演奏中の楽曲データ内のガイドメロディデータを参照して採点タイミングを特定する。また、サイズ採点部２２は特定した採点タイミングにて後述のサイズ採点処理を行う。このサイズ採点処理において、サイズ採点部２２は蓄積したサイズデータを用いて歌唱者の歌唱力を採点し、この採点の結果を表す画像点数データを生成する。
【００２６】
カラオケ装置２０においては、カメラ９から予め定められた時間間隔で画像データが出力される。したがって、サイズ計測部２１は、歌唱者の口の大きさを計測してサイズデータを生成する処理（図９参照）を繰り返す。この処理が図５に示す処理と大きく異なる点は、縦横比を計測するのではなく、開口画像のサイズ（例えば面積）を計測して計測結果を表すサイズデータを生成する点である（ステップＳＤ１、ＳＤ２）。なお、輪郭線の抽出に失敗した場合には、サイズ計測部２１は零を表すサイズデータを生成する（ステップＳＤ３）。また、サイズデータには、その生成時刻を示すデータも含まれている。
【００２７】
一方、サイズ採点部２２は、採点タイミングを迎えると、図１０に示す流れのサイズ採点処理を行う。このサイズ採点処理では、サイズ採点部２２は、まず、口の大きさの理想的な時間的変化に対する実際の歌唱者の口の大きさの時間的変化の適切さを示す変化適合度を算出する（ステップＳＥ１）。具体的には、まず、自動演奏中の楽曲データ内のガイドメロディデータから直前に再生タイミングを迎えたイベントデータを抽出し、このイベントデータに基づいてケースを特定し、特定したケースに応じたエンベロープデータを理想変化データ２３から抽出する。次に、抽出したエンベロープデータで表される時間的変化と蓄積したサイズデータで表される時間的変化とを比較して変化適合度を算出する。両変化が類似するほど変化適合度は高くなる。
【００２８】
次に、サイズ採点部２２は、算出した変化適合度に応じた画像点数を表す画像点数データを生成する（ステップＳＥ２）。生成された画像点数データは総合採点部１４により蓄積され、総合採点処理において使用される。なお、変化適合度が高いほど画像点数は高くなる。ただし、画像点数の最低点は零点に定められており、変化適合度が如何に低くても画像点数が負値となることはない。
【００２９】
以上の処理に並行して、音声採点部１３により音声点数データが生成され、生成された音声点数データが総合採点部１４により蓄積される。
そして、採点結果を表示すべきタイミングを迎えると、総合採点部１４が前述の総合採点処理を行って総合点数データを生成し、この総合点数データで表される採点結果が表示パネル８に表示される。
【００３０】
以上より明らかなように、カラオケ装置２０によれば、歌唱者が口の大きさを正しく変化させて歌っていれば、総合点数が満点を超えない範囲で上がる。歌唱者が歌の上手な人であれば、口の大きさを正しく変化させて歌うから、一般的なカラオケ装置において歌唱音声信号のレベルが低いために歌の上手さに較べて歌唱力が低く採点された人であっても、カラオケ装置２０を用いることにより、歌の上手さに見合った採点結果を得ることができる。
【００３１】
［第３実施形態］
図１１は本発明の第３実施形態に係るカラオケ装置３０の機能構成を示す図である。このカラオケ装置３０が図１のカラオケ装置１０と異なる点は、縦横比採点部１２に代えて形状採点部３１を有する点と、理想形状データ３２がＲＡＭ４に書き込まれている点である。理想形状データ３２のＲＡＭ４への書き込みは、採点プログラムの実行開始時に行われる。理想形状データ３２は口の理想的な縦横比を表す形状データを母音毎に有しており、後述の形状採点処理において使用される。
【００３２】
形状採点部３１は、自動演奏中の楽曲データ内の歌詞データを参照して採点タイミングを特定する。また、形状採点部３１は特定した採点タイミングにて後述の形状採点処理を行う。この形状採点処理において、形状採点部３１は縦横比計測部１１により計測された縦横比を用いて歌唱者の歌唱力を採点し、この採点の結果を表す画像点数データを生成する。
【００３３】
カラオケ装置３０においては、縦横比計測部１１が歌唱者の口の縦横比を計測する処理（図４参照）を繰り返す。
一方、形状採点部３１は、採点タイミングを迎えると、図１２に示す流れの形状採点処理を行う。この形状採点処理では、形状採点部３１は、まず、理想的な縦横比に対する、この時点で縦横比計測部１１により計測された縦横比の適合度である形状適合度を算出する。具体的には、自動演奏中の楽曲データ内の歌詞データに基づいて歌唱者が発音すべき音節を特定し（ステップＳＦ１）、この音節を構成する母音を特定し（ステップＳＦ２）、この母音に応じた形状データを理想形状データ３２から抽出し（ステップＳＦ３）、この形状データで表される理想的な縦横比を用いて形状適合度を算出する（ステップＳＦ４）。
【００３４】
次に、形状採点部３１は、算出した形状適合度に応じた画像点数を表す画像点数データを生成する（ステップＳＦ５）。形状採点部３１により生成された画像点数データは総合採点部１４により蓄積され、総合採点処理において使用される。なお、形状適合度が高いほど画像点数は高くなる。ただし、画像点数の最低点は零点に定められており、形状適合度が如何に低くても画像点数が負値となることはない。
【００３５】
以上の処理に並行して、音声採点部１３により音声点数データが生成され、生成された音声点数データが総合採点部１４により蓄積される。
そして、採点結果を表示すべきタイミングを迎えると、総合採点部１４が前述の総合採点処理を行って総合点数データを生成し、この総合点数データで表される採点結果が表示パネル８に表示される。
【００３６】
以上より明らかなように、カラオケ装置３０によれば、採点タイミングにおいて歌唱者が口を正しい形状で開けて歌っていれば、総合点数が満点を超えない範囲で上がる。歌の上手な人であれば、口を正しい形状で開けて歌うから、一般的なカラオケ装置において歌唱音声信号のレベルが低いために歌の上手さに較べて歌唱力が低く採点された人であっても、カラオケ装置３０を用いることにより、歌の上手さに見合った採点結果を得ることができる。
【００３７】
以上説明したように、本発明の実施形態によれば、歌唱音声信号のレベルが低くても歌の上手さに見合った採点結果を得ることができるから、周囲に聴こえる最小限の声量で歌いたい歌唱者が意に反して声を張り上げたり、マイクを口から遠く離して歌いたい歌唱者が意に反してマイクを口に近づけたり、歌唱者がマイクの感度を意識して使用するマイクを選択したりする必要がない。
また、本発明の実施形態は、歌唱の際の口の動かし方には個人差があることを考慮し、画像点数を加点にのみ用いるようにしている。つまり、歌唱の際の動かし方が理想的でなくとも、歌唱力の採点結果が不当に下がることはない。
【００３８】
［変形］
なお、上述した第１実施形態では口の縦横比を用いて口が開いているか否かを判定するようにしたが、この判定の仕方は任意である。例えば、開口画像の面積を用いて判定するようにしてもよいし、輪郭線の抽出に成功したことをもって口が開いていると判定するようにしてもよい。
【００３９】
また、上述した第１及び第２実施形態では、歌唱者がカメラ９の方に顔を向けて歌うことを前提とし、撮像画像における縦幅／横幅を口の縦幅／横幅とみなしているが、このような前提が存在しない場合には、撮像画像から口の３次元モデルを生成し、３次元空間における口の向きに応じた方向を縦方向／横方向として定め、こうして定めた縦方向／横方向における３次元の開口領域の最大長を口の縦幅／横幅として求めるようにしてもよい。また、第２実施形態において、撮像画像から口の３次元モデルを生成し、３次元空間における口の向きに応じた面における開口領域のサイズを口の大きさとして求めるようにしてもよい。
また、上述した第１及び第３実施形態では、口の縦横比を比較に用いているが、輪郭線の符号化データを用いるようにしてもよい。
【００４０】
また、上述した第３実施形態では、時間的変化同士を比較し、変化適合度に応じた値の画像点数データを生成するようにしたが、撮像画像から歌唱者が発声している音の母音を推定し、この母音と楽曲データから定まる母音とを比較し、両者が一致した場合には正値を示す画像点数データを生成し、不一致の場合には零を示す画像点数データを生成するようにしてもよい。
また、上述した実施形態では、開口画像の輪郭線を求めてから縦横比やサイズを求めるようにしたが、開口画像の上下左右の端部を検出し、実写画像におけるこれら端部の位置を用いて縦横比やサイズを求めるようにしてもよい。
【００４１】
また、上述した実施形態では歌唱者の顔を撮像するカメラ９を用いたが、歌唱者の口元やマイクの周囲のみを撮像するカメラを用いてもよい。要は、歌唱者の口元を撮像できればよい。また、向きやズーム、フォーカスを自動的には調整できないカメラを用いてもよい。この場合には、歌唱者の顔または口元が位置し得る範囲を撮像するようにカメラの向きやズームを設定しておくべきである。また、カメラから出力された画像データを入力する画像入力Ｉ／Ｆをカラオケ装置に設け、カメラとカラオケ装置とを別体構成としてもよい。
【００４２】
また、上述した実施形態では、一般的な構成の楽曲データを用いて画像採点データを生成するようにしたが、楽曲データに採点用のデータを埋め込み、これを用いて画像採点データを生成するようにしてもよい。
また、上述した実施形態では、楽曲データに基づいて採点タイミングを特定するようにしたが、撮像画像を用いて採点タイミングを特定する形態も考えられる。例えば、撮像画像から歌唱者の口が閉じ始めた時点や閉じ終わった時点を検出して採点タイミングとし、口の閉じ方の適切さを採点するようにしてもよい。
また、上述した実施形態では、採点に係る処理はＣＰＵ３により行われるが、ＤＳＰ（Digital Signal Processor）を設け、一部または全部の処理をＤＳＰに担わせるようにしてもよい。
【００４３】
ところで、口を上手く動かすことは発声の良さにつながるから、上述した実施形態に係るカラオケ装置を口の動かし方の練習に用いることも考えられる。この場合には、口の動かし方の良し悪しを歌唱者に伝えるために、撮像画像を用いた採点の結果をそのまま表示するように変形したり、負値の画像点数データを生成可能なように変形したりするのが望ましい。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施形態に係るカラオケ装置のハードウェア構成を示す図である。
【図２】同実施形態に係る楽曲データの構成を模式的に示す図である。
【図３】本発明の第１実施形態に係るカラオケ装置１０の機能構成を示す図である。
【図４】縦横比計測部１１が行う処理の流れを示すフローチャートである。
【図５】撮像画像と輪郭線との関係を模式的に例示した図である。
【図６】縦横比採点処理の流れを示すフローチャートである。
【図７】総合採点処理の流れを示すフローチャートである。
【図８】本発明の第２実施形態に係るカラオケ装置２０の機能構成を示す図である。
【図９】サイズ計測部２１が行う処理の流れを示すフローチャートである。
【図１０】サイズ採点処理の流れを示すフローチャートである。
【図１１】本発明の第３実施形態に係るカラオケ装置３０の機能構成を示す図である。
【図１２】形状採点処理の流れを示すフローチャートである。
【符号の説明】
【００４５】
１…マイク、２…ＲＯＭ、３…ＣＰＵ、４…ＲＡＭ、５…ハードディスク、６…音声入力Ｉ／Ｆ、７…指示入力部、８…表示パネル、９…カメラ、１０，２０，３０…カラオケ装置、１１…縦横比計測部、１２…縦横比採点部、１３…音声採点部、１４…総合採点部、１５…点数表示部、２１…サイズ計測部、２２…サイズ採点部、３１…形状採点部。
【図１】
2005242230.tif 000003
【図２】
2005242230.tif 000004
【図３】
2005242230.tif 000005
【図４】
2005242230.tif 000006
【図５】
2005242230.tif 000007
【図６】
2005242230.tif 000008
【図７】
2005242230.tif 000009
【図８】
2005242230.tif 000010
【図９】
2005242230.tif 000011
【図１０】
2005242230.tif 000012
【図１１】
2005242230.tif 000013
【図１２】
2005242230.tif 000014