(57)【特許請求の範囲】
【請求項１】
撮像手段により取得される撮像画像の領域に対して、視覚的な演出を実行するか否かを判定する基準となる一部の領域である判定領域を、演奏されるカラオケ楽曲に対応して設定する設定手段と、
前記カラオケ楽曲の演奏中に前記撮像手段により取得される撮像画像の中から、前記カラオケ楽曲を歌唱する歌唱者の特定部位を表す画像領域を認識する認識手段と、
前記カラオケ楽曲の演奏中に前記撮像手段により取得される撮像画像を表示手段に表示させ、前記認識手段により認識された歌唱者の特定部位を表す画像領域が、前記設定手段により設定された判定領域に該当することを条件に、視覚的な演出を表す演出画像を前記撮像画像に付加して前記表示手段に表示させる制御手段と、を備え、
前記判定領域が前記表示手段に表示されないように構成されていること、
を特徴とするカラオケ装置。
【請求項２】
撮像手段により取得される撮像画像の領域に対して、視覚的な演出を実行するか否かを判定する基準となる一部の領域である判定領域を、演奏されるカラオケ楽曲に対応して設定する設定手段と、
前記カラオケ楽曲の演奏中に前記撮像手段により取得される撮像画像の中から、前記カラオケ楽曲を歌唱する歌唱者の特定部位を表す画像領域を認識する認識手段と、
前記カラオケ楽曲の演奏中に前記撮像手段により取得される撮像画像を表示手段に表示させ、前記認識手段により認識された歌唱者の特定部位を表す画像領域が、前記設定手段により設定された判定領域に該当することを条件に、視覚的な演出を表す演出画像を前記撮像画像に付加して前記表示手段に表示させる制御手段と、
前記カラオケ楽曲の演奏途中における歌唱の評価を表す評価情報を取得する評価取得手段と、を備え、
前記設定手段は、前記評価取得手段により取得された評価情報で表される歌唱の評価に応じて、前記カラオケ楽曲の演奏中に前記判定領域を変化させること、
を備えることを特徴とするカラオケ装置。
【請求項３】
請求項１又は請求項２に記載のカラオケ装置において、
前記認識手段は、前記特定部位として歌唱者の顔部分を表す画像領域を認識し、
前記制御手段は、前記認識手段により認識された歌唱者の顔部分を表す画像領域が、前記判定領域に該当することを条件に、前記演出画像を前記撮像画像に付加して表示させること、
を特徴とするカラオケ装置。
【請求項４】
請求項１ないし請求項３の何れか１項に記載のカラオケ装置において、
前記設定手段は、前記カラオケ楽曲の演奏の進行度合に応じて前記判定領域を順次設定すること、
を特徴とするカラオケ装置。
【請求項５】
撮像手段により取得される撮像画像の領域に対して、視覚的な演出を実行するか否かを判定する基準となる一部の領域である判定領域を、演奏されるカラオケ楽曲に対応して設定する設定手順と、
前記カラオケ楽曲の演奏中に前記撮像手段により取得される撮像画像の中から、前記カラオケ楽曲を歌唱する歌唱者の特定部位を表す画像領域を認識する認識手順と、
前記カラオケ楽曲の演奏中に前記撮像手段により取得される撮像画像を表示手段に表示させ、前記認識手順において認識された歌唱者の特定部位を表す画像領域が、前記設定手順において設定された判定領域に該当することを条件に、視覚的な演出を表す演出画像を前記撮像画像に付加して前記表示手段に表示させる制御手順と、をコンピュータに実行させ、
前記判定領域が前記表示手段に表示されないように前記コンピュータを制御するように構成されていること、
を特徴とするプログラム。
【請求項６】
撮像手段により取得される撮像画像の領域に対して、視覚的な演出を実行するか否かを判定する基準となる一部の領域である判定領域を、演奏されるカラオケ楽曲に対応して設定する設定手順と、
前記カラオケ楽曲の演奏中に前記撮像手段により取得される撮像画像の中から、前記カラオケ楽曲を歌唱する歌唱者の特定部位を表す画像領域を認識する認識手順と、
前記カラオケ楽曲の演奏中に前記撮像手段により取得される撮像画像を表示手段に表示させ、前記認識手順において認識された歌唱者の特定部位を表す画像領域が、前記設定手順において設定された判定領域に該当することを条件に、視覚的な演出を表す演出画像を前記撮像画像に付加して前記表示手段に表示させる制御手順と、
前記カラオケ楽曲の演奏途中における歌唱の評価を表す評価情報を取得する評価取得手順と、をコンピュータに実行させ、
さらに、前記設定手順は、前記評価取得手順により取得された評価情報で表される歌唱の評価に応じて、前記カラオケ楽曲の演奏中に前記判定領域を変化させる手順を前記コンピュータに実行させるように構成されていること、
を特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラオケの歌唱者を撮影して表示する機能を有するカラオケ装置に関する。
【背景技術】
【０００２】
特許文献１には、歌唱者が歌う姿をカメラで撮影して、ディスプレイに表示するカラオケ装置が記載されている。特許文献１に記載のカラオケ装置によれば、動き回る歌唱者をカメラが追跡して撮影をすることができるようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開特開平１０−２４０２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の先行技術によれば、歌唱者を追跡して映し出すことで場を盛り上げることができるとされている。しかしながら、歌唱者を映し出すだけでは歌唱者や聴取者に対する付加価値が十分ではなく、演出面での更なる工夫が求められる。
【０００５】
本発明は上記問題を解決するためになされたものである。本発明の目的は、歌唱者を撮影した映像を用いて、付加価値の高い演出を行うための技術を提供することである。
【課題を解決するための手段】
【０００６】
本発明の一形態に係るカラオケ装置は、設定手段と、認識手段と、制御手段とを備える。設定手段は、撮像手段により取得される撮像画像の領域に対して、視覚的な演出を実行するか否かを判定する基準となる一部の領域である判定領域を、演奏されるカラオケ楽曲に対応して設定する。認識手段は、記カラオケ楽曲の演奏中に撮像手段により取得される撮像画像の中から、カラオケ楽曲を歌唱する歌唱者の特定部位を表す画像領域を認識する。制御手段は、カラオケ楽曲の演奏中に撮像手段により取得される撮像画像を表示手段に表示させる。そして、制御手段は、認識手段により認識された歌唱者の特定部位を表す画像領域が、設定手段により設定された判定領域に該当することを条件に、視覚的な演出を表す演出画像を撮像画像に付加して表示手段に表示させる。
【０００７】
本発明によれば、撮像画像に写っている歌唱者の特定部位が、演奏されるカラオケ楽曲に対応して撮像画像内に設定された判定領域に入ったときに、歌唱者が写っている撮像画像内に演出画像を表示させることができる。このようにすることで、カラオケの演奏中において、例えば、歌唱者や聴取者が意図しないタイミングで演出画像が表示されることによる意外感や、意図的に演出画像を表示させるために歌唱者が積極的に体を動かす意欲を喚起する等の付加価値を提供できる。
【０００８】
なお、認識手段によって認識する歌唱者の特定部位の一例として、顔部分を表す画像領域を認識することが考えられる。このようにすることで、歌唱者の顔部分が判定領域に入ったときに、演出画像を表示させることができる。
【０００９】
また、判定領域について、１曲分の演奏に対して終始一貫して固定的に設定するのではなく、演奏の進行度合に応じて順次変化させるように構成してもよい。このようにすることで、演出画像を表示させる方法を多様化して歌唱者や聴取者に対する付加価値を高めることができる。
【００１０】
あるいは、カラオケ楽曲の演奏途中における歌唱の評価を表す評価情報を取得し、取得された評価情報で表される歌唱の評価に応じて、演奏中に判定領域を変化させるように構成してもよい。このようにすることで、例えば、演奏中における歌唱の評価の優劣に応じて判定領域の位置や大きさを変更するといった具合に、演出画像を表示させるための方法を多様化して歌唱者や聴取者に対する付加価値を高めることができる。
【００１１】
なお、設定手段により設定される判定領域の詳細として、撮像画像を構成する画素の座標系に対応する座標位置及び大きさを有する領域とすることが考えられる。このようにすることで、撮像画像を構成する画素の座標系に対応した画像処理を行うことができる。
【００１２】
なお、本発明は、コンピュータにおいて実行されるプログラム、あるいはプログラムを記憶する記憶媒体の形態で実現することもできる。
【図面の簡単な説明】
【００１３】
【図１】カラオケ装置１０の構成を表すブロック図。
【図２】特殊演出画像表示処理の手順を表すフローチャート。
【図３】判定領域の概要を表す説明図。
【図４】（ａ）演出画像の表示例１、（ｂ）演出画像の表示例２。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
［カラオケ装置の構成の説明］
実施形態のカラオケ装置１０の構成について、図１を参照しながら説明する。
【００１５】
カラオケ装置１０は、例えば、カラオケ店舗に設置される業務用のカラオケ装置であり、ユーザからリクエストされたカラオケ楽曲を演奏する機能や、ユーザの歌唱を評価する歌唱評価機能、演奏時に様々な画像をディスプレイ１６に表示させる機能を有する。図１に例示されるとおり、カラオケ装置１０は、制御部１１、記憶部１３、操作部１４、音声入出力部１５を備える。また、カラオケ装置１０には、ディスプレイ１６、マイク１７、スピーカ１８、カメラ１９等の周辺機器が接続されている。
【００１６】
制御部１１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等（何れも不図示）を中心に構成された情報処理装置であり、装置全体の制御を司る。制御部１１は、記憶媒体に格納されたプログラムに従って演算処理を実行することにより、各種機能を実現する。制御部１１は、リモコン端末等の電子早見本装置（不図示）を介してユーザからカラオケ楽曲のリクエストを受付けると、そのカラオケ楽曲の曲番号を予約リストに登録する。制御部１１は、予約リストに登録されている演奏順に従って、カラオケデータベースから予約曲に対応する楽曲データを順番に読出して演奏処理を行う。また、制御部１１は、カラオケ楽曲の演奏中にマイク１７から入力された歌唱音声のメロディと、歌唱の評価基準を表すデータである歌唱基準データとを比較し、歌唱の巧拙度合を採点する公知の歌唱採点機能を実行する。本実施形態では、この歌唱採点機能によってカラオケ楽曲の演奏途中の段階での途中評価を算出することを想定している。
【００１７】
さらに、制御部１１は、本発明における特徴的な機能として、楽曲の演奏中にカメラ１９によって撮像された歌唱者の画像をディスプレイ１６に表示させる。その際、撮像された画像から認識された歌唱者の顔画像の位置に応じて特殊演出画像を表示させる制御を行う。特殊演出画像を表示させる制御の詳細な手順については後述する。
【００１８】
記憶部１３は、例えばハードディスクドライブや半導体メモリ等の記憶装置である。記憶部１３には、制御部１１により実行されるプログラムや、その実行時に用いられるデータが記憶されている。また、記憶部１３は、個々のカラオケ楽曲に対応する楽曲データ、楽曲の歌詞を表すテロップを表示するための歌詞データ、歌唱の評価基準を表す歌唱基準データ、楽曲の演奏時に表示する背景画像データ等を多数収録したカラオケデータベースを有している。各楽曲データは、ＭＩＤＩ（Music Instrument Digital Interface）規格に対応した演奏データ（ＭＩＤＩデータ）で構成されている。このＭＩＤＩデータには、カラオケ楽曲の伴奏パートのメロディを演奏するための演奏データが含まれる。
【００１９】
操作部１４は、利用者からの操作を入力するための入力装置であり、カラオケ装置１０本体に備えられたタッチパネルやキー・スイッチ等からなる。音声入出力部１５は、音声の入出力を制御するデバイスである。音声入出力部１５の入力側にはマイク１７が接続される。これにより音声入出力部１５は、歌唱者の歌唱音を取得する。音声入出力部１５の出力側にはスピーカ１８が接続される。これにより音声入出力部１５は、制御部１１により再生された楽曲の演奏音及び歌唱者の歌唱音の音源信号をスピーカ１８に出力する。スピーカ１８は、音声入出力部１５から出力される音源信号を音に換えて出力する。
【００２０】
ディスプレイ１６は、制御部１１から送られてくる映像データに基づいて映像の表示を行う表示装置である。カメラ１９は、カラオケ装置１０が設置される場所（例えば、カラオケルーム）に設置される撮像装置であり、カラオケ装置１０を利用してカラオケを行う歌唱者の居る場所の様子を撮像し、撮像した画像データを制御部１１に出力する。制御部１１は、カラオケ楽曲の演奏処理と並行して、カメラ１９により撮像された画像や歌詞テロップをディスプレイ１６に表示させる。なお、カラオケ装置１０のその他の機能や構成については公知技術に従っているので、ここでは詳細な説明を省略する。
【００２１】
［特殊演出画像表示処理の説明］
カラオケ装置１０の制御部１１が実行する特殊演出画像表示処理の手順について、図２のフローチャートを参照しながら説明する。この処理は、ユーザからリクエストされたカラオケ楽曲の演奏処理が開始されるときに開始され、カラオケ楽曲の演奏処理と並行して実行される。前提として、制御部１１は、カラオケ楽曲の演奏と並行して、カメラ１９に入力される撮像画像をカラオケの背景映像としてディスプレイ１６に表示させる。このとき、制御部１１は、背景映像として表示された撮像画像上にキャラクタ画像等の様々な図柄を表示させる演出を行う。
【００２２】
Ｓ１００では、制御部１１は、カラオケ楽曲の演奏に応じて、カメラ１９から入力される撮像画像の座標領域に対して判定領域を設定する。本実施形態における判定領域とは、特殊演出画像を用いる視覚的な演出を実行するか否かを判定するための基準となる座標領域である。この判定領域は、例えば、撮像画像を構成する画素の座標系に対応する座標位置及び大きさを有する領域を表す情報で構成される。
【００２３】
カラオケ楽曲の演奏に応じて判定領域を設定する手法について、本実施形態では次のようにすることが考えられる。カラオケ楽曲の演奏を複数の区間に分割した演奏区間ごとに対応する判定領域を予め定義しておき、現時点で演奏中の演奏区間に対応する判定領域を撮像画像に対して設定する。例えば、カラオケ楽曲に多く採用されているリフレイン形式を構成するＡメロ、Ｂメロ、サビ等の演奏区間ごとに、異なる位置及び大きさの判定領域を設定することが考えられる。そして、楽曲データの演奏の時間進行により、現在の演奏がどの演奏区間に該当するかを制御部１１がＳ１００で判断することで、演奏の進行に応じた判定領域の位置及び大きさが設定される。さらに、演奏区間ごとに対応する判定領域の位置及び大きさの設定値に対して乱数を加えることで、カラオケ楽曲の演奏ごとに判定領域の位置及び大きさの変化に多様性を持たせることができる。
【００２４】
なお、判定領域の設定値は、カラオケ楽曲ごとの設定情報として各カラオケ楽曲の楽曲データに含めた構成とすることが考えられる。この場合、カラオケ楽曲の演奏時において、制御部１１が演奏に用いられる楽曲データから判定領域に関する設定情報を抽出し、抽出された設定情報に基づいてＳ１００で判定領域を設定する。あるいは、カラオケ楽曲ごとの判定領域の設定値と、カラオケ楽曲の識別情報である楽曲識別情報とを対応付けた設定情報を、楽曲データとは別個に記憶部１３に保存する構成であってもよい。この場合、カラオケ楽曲の演奏時において、制御部１１が楽曲データと共に当該楽曲データの楽曲識別情報に対応する判定領域の設定情報を読出し、読出された設定情報に基づいてＳ１００で判定領域を設定する。
【００２５】
他に、カラオケ楽曲の演奏の進行に応じて、楽曲データから演奏時点の音高値や音量値を抽出し、抽出された値に基づいてＳ１００で判定領域の位置及び大きさを設定する構成であってもよい。このようにすることで、演奏開始から演奏終了までの間にＳ１００〜Ｓ１０８が繰返し実行されるごとに、楽曲データの演奏の時間進行による音高や音量の変化に基づいて判定領域の位置及び大きさを多様に変化させることができる。あるいは、個々のカラオケ楽曲ごと又はカラオケ楽曲のジャンルごとに、異なる判定領域を設定する構成であってもよい。
【００２６】
また、リアルタイム採点とも呼ばれる、演奏の途中でユーザの歌唱の巧拙を評価する公知の歌唱採点機能を用いて、演奏中の現時点で算出されたユーザの歌唱の途中評価を表す評価情報を取得し、途中評価の高低度合に応じて異なる位置及び大きさの判定領域を設定してもよい。例えば、現時点での途中評価が高いほど、判定領域を広くかつ撮像画像の中央付近に設定し、途中評価が低いほど、判定領域を狭くかつ撮像画像の端の方に設定することが考えられる。
【００２７】
設定された判定領域の具体例について、図３を参照しながら説明する。図３において、符号３０は、撮像画像の座標領域を表している。また、符号３１は、画像領域３０内に写っている歌唱者の画像を表している。このような撮像画像の画像領域３０に対して、制御部１１が矩形の判定領域３２を画像領域３０の左側部分に設定したものとする。なお、判定領域の形状については、矩形に限らずその他の多角形や円形等の曲線図形であってもよい。なお、説明の都合上、図３においては判定領域３２を可視化して表現しているが、実際には、設定された判定領域を歌唱者に分からないようにするため、ディスプレイ１６に背景として表示される撮像画像上には判定領域を明示しないこととする。後で説明する図４（ａ），（ｂ）についても同様である。
【００２８】
図２のフローチャートの説明に戻る。Ｓ１０２では、制御部１１は、カメラ１９から入力された現時点の撮像画像の中から、歌唱者に該当する人物の顔に該当する部分（本発明における特定部位の一例）の画像領域を認識する。なお、画像の中から人物の顔部分を認識する手法としては、特表２０１４−５０９０１１号や「Kinect（登録商標）」等の人体検出技術、特開２０１０−２１８０６０号や特開２０１３−１３１２０９号等の顔検出技術といった周知の画像認識技術を用いることが考えられる。また、歌唱者であることを特定する方法としては、例えば、撮像画像内に写っているマイク１７をパターンマッチング等により認識し、そのマイク１７を所持している人物や、マイク１７に最も近い人物を歌唱者として特定することが考えられる。
【００２９】
Ｓ１０４では、制御部１１は、Ｓ１０４において認識された歌唱者の顔画像領域が、Ｓ１００において設定された判定領域内にあるか否かを判定する。なお、Ｓ１０４においては、歌唱者の顔画像領域全体が判定領域内に含まれることを条件に肯定判定をする構成であってもよいし、歌唱者の顔画像領域の少なくとも一部分が判定領域内に含まれることを条件に肯定判定をする構成であってもよい。歌唱者の顔画像領域が判定領域内にないと判定した場合（Ｓ１０４：ＮＯ）、制御部１１はＳ１００に戻る。
【００３０】
一方、歌唱者の顔画像領域が判定領域内にあると判定した場合（Ｓ１０４：ＹＥＳ）、制御部１１はＳ１０６に進む。Ｓ１０６では、制御部１１は、歌唱者の顔画像領域が判定領域内にあるときに表示するために予め用意されている特殊演出画像を撮像画像上に付加して、これをディスプレイ１６に表示させる。
【００３１】
Ｓ１０６における特殊演出画像の表示例について、図４（ａ），（ｂ）を参照しながら説明する。なお、図４（ａ），（ｂ）においては、共通する構成には同じ符号を付してある。まず、図４（ａ）は、Ｓ１０６における特殊演出画像が表示されていない状態の表示例である。符号３１は、画像領域３０内に写っている歌唱者の画像を表しており、符号３２は、Ｓ１００において設定された判定領域を表している。そして、符号３３は、Ｓ１０２において認識された歌唱者の顔部分に相当する顔画像領域を表している。また、符号３４は、カラオケ楽曲の演奏中において制御部１１によって撮像画像上に付加された通常の演出用のキャラクタ画像（特殊演出画像ではない）を表している。
【００３２】
図４（ａ）に例示されるとおり、画像領域３０において認識された顔画像領域３３は、判定領域３２の外にあるため、この時点では通常の演出用のキャラクタ画像３４を除いて、特殊演出画像は表示されていない。そして、図４（ａ）に例示される状況から、歌唱者がカメラ１９の撮像範囲に対して移動することにより、図４（ｂ）に例示される状況に遷移したものと想定する。
【００３３】
図４（ｂ）に例示されるとおり、画像領域３０において認識された顔画像領域３３が判定領域３２内にあることにより、制御部１１によって数々の特殊演出画像３５，３６が撮像画像上に付加される。このうち、特殊演出画像３５は、撮像画像上に新たに出現するキャラクタ画像である。また、特殊演出画像３６は、通常の演出用として表示されていた既存のキャラクタ画像３４に対応付けて付加されることにより、既存のキャラクタ画像３４に変化が生じたことを表す演出画像である。
【００３４】
図２のフローチャートの説明に戻る。Ｓ１０８では、制御部１１は、カラオケ楽曲の演奏が終了したか否かを判定する。カラオケ楽曲の演奏が継続している場合（Ｓ１０８：ＮＯ）、制御部１１はＳ１００に戻る。そして、カラオケ楽曲の演奏が終了した場合（Ｓ１０８：ＹＥＳ）、制御部１１は特殊演出画像表示処理を終了する。
【００３５】
［効果］
実施形態のカラオケ装置１０によれば、次の効果を奏する。
カメラ１９により取得された撮像画像に写っている歌唱者の顔部分の画像が、撮像画像の座標領域内に設定された判定領域に入ったときに、歌唱者が写っている撮像画像内に特殊演出画像を表示させることができる。このようにすることで、例えば、歌唱者や聴取者が意図しないタイミングで特殊演出画像が表示されることによる意外感や、意図的に特殊演出画像を表示させるために歌唱者が積極的に体を動かす意欲を喚起する等の付加価値を提供できる。
【００３６】
また、判定領域について、１曲分の演奏に対して終始一貫して固定的に設定するのではなく、演奏の進行度合に応じて順次変化させることで、特殊演出画像を表示させる方法を多様化できる。また、カラオケ楽曲の演奏途中における歌唱の評価に応じて、演奏中に判定領域を変化させることで、例えば、演奏中における歌唱の評価の優劣に応じて判定領域の位置や大きさを変更させることができる。
【００３７】
［変形例］
上述の実施形態では、歌唱者の顔部分を表す顔画像領域が判定領域に該当することを条件に、特殊演出画像を表示させる事例について説明した。これに限らず、顔部分以外の歌唱者の身体の特定部位（例えば、手や腕等）を認識し、認識された特定部位が判定領域に該当することを条件に、特殊演出画像を表示させてもよい。
【００３８】
特殊演出画像を表示させるための条件として、歌唱者の顔部分を表す顔画像領域が判定領域に該当することの他に、認識された歌唱者の顔画像領域の大きさが規定以上であることを条件に加えてもよい。
【００３９】
上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
【００４０】
［特許請求の範囲に記載の構成との対応］
実施形態の各構成と、特許請求の範囲に記載の構成との対応は次のとおりである。
カメラ１９が撮像手段に相当する。制御部１１が実行する図２のＳ１００が、設定手段に相当する。制御部１１が実行する図２のＳ１０２が、認識手段に相当する。制御部１１が実行する図２のＳ１０４及びＳ１０６が、制御手段に相当する。ディスプレイ１６が、表示手段に相当する。制御部１１が実行する歌唱評価機能が、評価取得手段に相当する。
【符号の説明】
【００４１】
１０…カラオケ装置、１１…制御部、１３…記憶部、１４…操作部、１５…音声入出力部、１６…ディスプレイ、１７…マイク、１８…スピーカ、１９…カメラ。
【図１】
0006547551.tif 000002
【図２】
0006547551.tif 000003
【図３】
0006547551.tif 000004
【図４】
0006547551.tif 000005