(57)【特許請求の範囲】
【請求項１】
カラオケ店舗に設置され、歌唱者の撮影映像が入力されるカラオケ装置であって、
歌唱者の撮影映像に基づいてマスクを着用中の歌唱者か否かを判定する判定部と、
マスクを着用中の歌唱者であると判定された場合に、歌唱者の歌唱音声信号の周波数特性を補正する補正部と、を有することを特徴とするカラオケ装置。
【請求項２】
前記補正部は、マスクのフィルタ特性の逆特性を持った補正フィルタによって、歌唱者の歌唱音声信号の周波数帯域のうちマスクの着用によって減少する第１の周波数帯域と第２の周波数帯域の信号レベルを上昇させるように補正することを特徴とする請求項１に記載のカラオケ装置。
【請求項３】
前記判定部は、マスクを着用中の歌唱者であると判定した場合に、マスクの撮影映像に基づいて歌唱者の着用中のマスクのタイプを判定し、
前記補正部は、マスクのタイプに対応した補正を行うことを特徴とする請求項１又は請求項２に記載のカラオケ装置。
【請求項４】
マスクを非着用中の歌唱者であると判定された場合に、歌唱者に対する報知情報及びカラオケ店舗の店員に対する報知情報の少なくとも一方を出力する出力部を有することを特徴とする請求項１から請求項３のいずれか１項に記載のカラオケ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラオケ装置に関する。
【背景技術】
【０００２】
歌唱者の歌唱音声信号に対して周波数特性の調整処理等を施して、歌唱音声の声質を望ましい声質に近づける技術が知られている。この種の周波数特性の調整処理を適用したカラオケ多重録音編集システムが提案されている（例えば、特許文献１参照）。カラオケ多重録音編集システムでは、一人でメインボーカルとバックコーラスを歌唱する際に、メインボーカルの歌唱音声とバックコーラスの歌唱音声が別々に録音される。これらの歌唱音声を多重編集する際に、メインボーカルの歌唱音声とバックコーラスの歌唱音声の周波数特性を異ならせることで趣のある歌唱を演出することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１３７６１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、感染症等の流行によってマスクの着用が推奨される場合、マスクを着用したまま歌唱すると、歌唱音声が劣化してカラオケを十分に楽しむことができない。上記の周波数特性の調整処理では、マスクを着用しながら歌唱することまでは想定されておらず、マスクの着用による歌唱音声の劣化を抑制することが難しい。
【０００５】
本発明の目的は、マスクを着用したまま歌唱しても、歌唱音声の劣化が抑制されて、安心してカラオケを楽しむことができるカラオケ装置を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するための主たる発明は、カラオケ店舗に設置され、歌唱者の撮影映像が入力されるカラオケ装置であって、歌唱者の撮影映像に基づいてマスクを着用中の歌唱者か否かを判定する判定部と、マスクを着用中の歌唱者であると判定された場合に、歌唱者の歌唱音声信号の周波数特性を補正する補正部と、を有するカラオケ装置である。
【発明の効果】
【０００７】
本発明によれば、マスクの着用の有無に応じて歌唱者の歌唱音声信号の周波数特性が自動的に補正される。よって、マスクを着用したまま歌唱しても、歌唱音声の劣化が抑えられて、安心してカラオケを楽しむことができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態のカラオケ装置の構成図である。
【図２】第１実施形態のカラオケ装置の機能ブロック図である。
【図３】歌唱音声信号及び補正フィルタの周波数特性を示す図である。
【図４】第１実施形態のカラオケ装置の処理を示すフローチャートである。
【図５】マスクのタイプと補正フィルタの対応を示すテーブルである。
【図６】マスクのタイプ毎の歌唱音声信号の周波数特性を示す図である。
【図７】マスクのタイプ毎の補正フィルタの周波数特性を示す図である。
【図８】第２実施形態のカラオケ装置の機能ブロック図である。
【発明を実施するための形態】
【０００９】
＜第１実施形態＞
図１を参照して、第１実施形態のカラオケ装置１０について説明する。図１は、第１実施形態のカラオケ装置１０の構成図である。図２は、第１実施形態のカラオケ装置１０の機能ブロック図である。図３は、歌唱音声信号及び補正フィルタの周波数特性を示す図である。なお、図２の機能ブロック図には、説明の便宜上、マスク着用による歌唱音声の補正処理に関する機能ブロックを図示している。
【００１０】
カラオケ装置１０は、カラオケ店舗の室内に設置されており、カラオケ本体１１と、モニタ１２と、スピーカ１３と、マイクロフォン１４と、カメラ１５と、リモコン装置１６と、を備えている。モニタ１２は、カラオケ本体１１からの映像信号等に基づいて、カラオケ演奏に合わせて背景映像と共に歌詞テロップを表示する。スピーカ１３は、カラオケ本体１１からの放音信号に基づいて、楽曲の伴奏音と共に歌唱者の歌唱音声を放音する。マイクロフォン１４は、歌唱者の歌唱音声を歌唱音声信号に変換してカラオケ本体１１に入力する。カメラ１５は、室内の歌唱者を撮影して撮影映像をカラオケ本体１１に入力する。
【００１１】
リモコン装置１６は、タッチパネルを主体に構成されている。リモコン装置１６は、検索メニューや検索結果等の各種情報をタッチパネルに表示すると共に、タッチパネルによって入力を受け付けている。リモコン装置１６とカラオケ本体１１は無線通信を介してペアリングされており、リモコン装置１６とカラオケ本体１１の間で各種情報が相互に送受信される。リモコン装置１６は、利用者のタッチ操作に基づいて楽曲を検索する。タッチパネルに表示された転送ボタンのタッチによって、楽曲ＩＤが予約楽曲情報としてカラオケ本体１１に送信される。
【００１２】
カラオケ本体１１は、リモコン装置１６から受信した予約楽曲情報を記憶部２１（図２参照）の予約管理テーブルに登録する。記憶部２１には、楽曲ＩＤ毎に楽曲データ等のカラオケ歌唱に関する各種データが記憶されている。カラオケ本体１１は、予約管理テーブルから登録順に予約楽曲情報を読み出し、この予約楽曲情報の楽曲ＩＤに対応する楽曲データ等を記憶部２１から読み出す。楽曲データには、カラオケ楽曲の伴奏音の元になる伴奏データ、歌唱の採点基準となるリファレンスデータ、モニタ１２に表示される歌詞テロップの元になる歌詞データが含まれている。
【００１３】
カラオケ本体１１がカラオケ演奏を開始すると、伴奏データの再生に同期して、歌詞データ及び背景映像データに基づいて歌詞テロップと背景映像がモニタ１２に表示される。また、カラオケ本体１１ではカラオケ演奏の伴奏音信号とマイクロフォン１４から入力された歌唱音声信号がミキサによって適切な比率でミキシングされて、このミキシング信号がアンプによって増幅されてスピーカ１３から放音される。このように、歌唱者がカラオケ演奏に合わせて歌唱すると、スピーカ１３から伴奏音と共に歌唱音声が放音される。歌唱音声はリファレンスデータに基づいて採点される。
【００１４】
図２に示すように、カラオケ本体１１は、カラオケ演奏処理に加えて、マスクの着用に起因した歌唱音声の劣化を抑制可能に構成されている。カラオケ本体１１には、記憶部２１と、演奏部２２と、判定部２３と、補正部２４と、音響制御部２５とが設けられている。記憶部２１には、予約楽曲情報が登録順に並べられた予約管理テーブル、楽曲ＩＤに対応付けられた楽曲データ、背景映像データ等が記憶されている。演奏部２２は、ＭＩＤＩ（Musical  Instrument  Digital  Interface）音源等によって構成されている。演奏部２２は、記憶部２１から楽曲データを読み出して楽曲データに含まれる伴奏データを再生している。
【００１５】
判定部２３は、歌唱者の撮影映像に基づいてマスクを着用中の歌唱者か否かを判定している。判定部２３には、カメラ１５から歌唱者の撮影映像が入力されて、公知の顔検出処理によって歌唱者の顔画像が解析されてマスクの着用の有無が判定される。通常、顔検出処理では、顔の輪郭、目、鼻、口、眉毛等の特徴部分が検出されるが、歌唱者がマスクを着用していると鼻や口が検出されない。このため、顔の輪郭、目、眉毛が検出され、鼻、口が検出されない場合にはマスクを着用中の歌唱者として判定され、顔の全ての特徴部分が検出された場合にはマスクを非着用中の歌唱者として判定される。
【００１６】
補正部２４は、判定部２３にマスクを着用中の歌唱者であると判定された場合に、歌唱者の歌唱音声信号の周波数特性を補正している。補正部２４には、マイクロフォン１４から歌唱音声信号が入力されると共に判定部２３から判定結果が入力される。マスクを着用したまま歌唱すると、マスクのフィルタ作用によって歌唱音声信号の特定の周波数帯域のレベルが低下して歌唱音声が劣化したように感じられる。このため、マスクのフィルタ特性の逆特性を持った補正フィルタによって、歌唱音声信号の特定の周波数帯域のレベルが高められて歌唱音声の劣化が抑えられる。
【００１７】
例えば、図３（Ａ）に示すマスクの非着用時の歌唱音声信号の周波数特性に対して、図３（Ｂ）に示すマスクの着用時の歌唱音声信号の周波数特性の４ｋＨｚ−８ｋＨｚまでの第１の周波数帯域と１４ｋＨｚ以上の第２の周波数帯域の信号レベルが低下している。マスクのフィルタ特性によって歌唱音声信号の第１、第２の周波数帯域の信号レベルが低下されるため、図３（Ｃ）に示すような第１、第２の周波数帯域の信号レベルを上昇させる周波数特性を持った補正フィルタが用いられる。このように、マスクの着用によって減少する第１、第２の周波数帯域の信号レベルを上昇させるように歌唱音声信号が補正される。
【００１８】
音響制御部２５は、ミキサ、アンプ（いずれも不図示）等によって構成されている。音響制御部２５には、演奏部２２から伴奏音信号が入力され、補正部２４から歌唱音声信号が入力される。音響制御部２５は、ミキサによって伴奏音信号と歌唱音声信号を適切な比率でミキシングして、このミキシング信号をアンプによって増幅してスピーカ１３に出力している。また、音響制御部２５は、マスクの着用の有無に応じてアンプの増幅率を調整してもよい。マスクを着用中の歌唱者である場合には、歌唱音声が大きくなるようにアンプの増幅率が増加される。
【００１９】
カラオケ本体１１の判定部２３及び補正部２４の処理は、プロセッサを用いてソフトウェアによって実現されてもよいし、集積回路等に形成された論理回路（ハードウェア）によって実現されてもよい。プロセッサを用いる場合には、プロセッサがメモリに記憶されているプログラムを読み出して実行することで各種処理が実施される。プロセッサとしては、例えば、ＣＰＵ（Central  Processing  Unit）が使用される。また、メモリは、用途に応じてＲＯＭ(Read  Only  Memory)、ＲＡＭ（Random  Access  Memory）等の一つ又は複数の記憶媒体によって構成されている。
【００２０】
続いて、図４を参照して、カラオケ装置１０の処理動作について説明する。図４は、第１実施形態のカラオケ装置１０の処理を示すフローチャートである。なお、図４に示すフローチャートは一例を示すものであり、カラオケ装置１０の処理動作はこのフローチャートに限定されない。また、図４では、図２の符号を適宜使用して説明する。
【００２１】
歌唱者Ｕがカラオケ店舗に入店し、室内に設置されたカラオケ装置１０に対して楽曲Ｘを予約して楽曲Ｘの演奏開始を指示する。図４に示すように、カラオケ装置１０が楽曲Ｘの演奏開始を受け付けると（ステップＳ０１）、カラオケ装置１０に付属したカメラ１５によって楽曲Ｘの歌唱者が撮影される（ステップＳ０２）。次に、判定部２３によって歌唱者Ｕの撮影映像が解析されて（ステップＳ０３）、歌唱者Ｕがマスクを着用しているか否かが判定される（ステップＳ０４）。上記したように、撮影映像から歌唱者Ｕの鼻や口が検出されるか否かによってマスクの有無が判定される。
【００２２】
判定部２３によって歌唱者Ｕがマスクを着用していると判定されると（ステップＳ０４でＹｅｓ）、補正部２４による歌唱音声信号の周波数特性の補正が有効にされる（ステップＳ０５）。一方で、判定部２３によって歌唱者Ｕがマスクを着用していないと判定されると（ステップＳ０４でＮｏ）、補正部２４による歌唱音声信号の周波数特性の補正が有効にされない。次に、演奏部２２によって伴奏音信号が再生されて楽曲Ｘのカラオケ演奏が開始され（ステップＳ０６でＹｅｓ）、マイクロフォン１４から補正部２４に歌唱者Ｕの歌唱音声信号が入力される（ステップＳ０７）。
【００２３】
次に、歌唱音声信号の周波数特性の補正が有効にされた場合（ステップＳ０８でＹｅｓ）、補正部２４によってマスクのフィルタ特性の逆特性を持った補正フィルタを用いて歌唱音声信号が補正される（ステップＳ０９）。これにより、マスクを着用したまま歌唱しても、歌唱音声の劣化を抑えることができる。一方、歌唱音声信号の周波数特性の補正が有効にされていない場合（ステップＳ０８でＮｏ）、補正部２４によって歌唱音声信号が補正されない。そして、カラオケ演奏が終了するまで、ステップＳ０７からステップＳ０９の処理が実施される（ステップＳ１０）。
【００２４】
以上、第１実施形態によれば、マスクの着用の有無に応じて歌唱者の歌唱音声信号の周波数特性が自動的に補正される。よって、マスクを着用したまま歌唱しても、歌唱音声の劣化が抑えられて、安心してカラオケを楽しむことができる。特に、歌唱者の歌唱音声信号の周波数帯域のうちマスクの着用によって減少する第１の周波数帯域と第２の周波数帯域のレベルが、マスクのフィルタ特性の逆特性を持った補正フィルタによって上昇される。このため、マスクの着用による歌唱者の歌唱音声の劣化がより適切に補正される。
【００２５】
＜変形例＞
第１実施形態では、マスクの有無に応じて歌唱音声信号が補正される構成にしたが、以下の変形例に示すように、マスクの有無とマスクのタイプに応じて歌唱音声信号が補正されてもよい。以下、変形例の歌唱音声信号の補正処理について説明する。図５は、マスクのタイプと補正フィルタの対応を示すテーブルである。図６は、マスクのタイプ毎の歌唱音声信号の周波数特性を示す図である。図７は、マスクのタイプ毎の補正フィルタの周波数特性を示す図である。
【００２６】
変形例のカラオケ装置では、判定部２３が、マスクを着用中の歌唱者であると判定した場合に、マスクの撮影映像に基づいて歌唱者の着用中のマスクのタイプを判定する。例えば、公知の画像解析処理によって撮影映像からマスクの輪郭が検出されて、マスクの輪郭からマスクのタイプがプリーツタイプ、平面タイプ、立体タイプの３つのタイプのいずれのタイプであるかが判定される。
【００２７】
補正部２４は、歌唱音声信号に対してマスクのタイプに対応した補正を実施する。例えば、図５に示すように、補正部２４はマスクＭ１−Ｍ３に対応した補正フィルタＦ１−Ｆ３を有している。なお、マスクＭ２のフィルタ作用の影響は、マスクＭ１のフィルタ作用の影響よりも小さく、マスクＭ３のフィルタ作用の影響は、マスクＭ１のフィルタ作用の影響よりも大きいものとする。これに合わせて、補正フィルタＦ２の補正量は、補正フィルタＦ１の補正量よりも小さく、補正フィルタＦ３の補正量は、補正フィルタＦ１の補正よりも大きいものとする。
【００２８】
図６（Ａ）に示すように、マスクＭ１の着用時の歌唱音声信号の周波数特性Ｗ１は、マスクＭ１の非着用時の歌唱音声信号の周波数特性Ｗ０と比べて、第１の周波数帯域（４ｋＨｚ−８ｋＨｚ）及び第２の周波数帯域（１４ｋＨｚ以上）のレベルが落ち込んでいる。図７（Ａ）に示すように、マスクＭ１の着用時には、このマスクＭ１のフィルタ特性の逆特性を持った補正フィルタＦ１を用いて歌唱音声信号が補正される。補正フィルタＦ１によって歌唱音声信号の周波数特性Ｗ１の第１、第２の周波数帯域のレベルが上昇されることで、マスクＭ１の着用に起因した歌唱音声の音質の低下が抑えられる。
【００２９】
また、図６（Ｂ）に示すように、マスクＭ２の着用時の歌唱音声信号の周波数特性Ｗ２は、マスクＭ２の非着用時の歌唱音声信号の周波数特性Ｗ０と比べて、第１、第２の周波数帯域のレベルが僅かに落ち込んでいる。図７（Ｂ）に示すように、マスクＭ２の着用時には、このマスクＭ２のフィルタ特性の逆特性を持った補正フィルタＦ２を用いて歌唱音声信号が補正される。補正フィルタＦ２によって歌唱音声信号の周波数特性Ｗ２の第１、第２の周波数帯域のレベルが僅かに上昇されることで、マスクＭ２の着用に起因した歌唱音声の音質の低下が抑えられる。
【００３０】
さらに、図６（Ｃ）に示すように、マスクＭ３の着用時の歌唱音声信号の周波数特性Ｗ３は、マスクＭ３の非着用時の歌唱音声信号の周波数特性Ｗ０と比べて、第１、第２の周波数帯域のレベルが大きく落ち込んでいる。図７（Ｃ）に示すように、マスクＭ３の着用時には、このマスクＭ３のフィルタ特性の逆特性を持った補正フィルタＦ３を用いて歌唱音声信号が補正される。補正フィルタＦ３によって歌唱音声信号の周波数特性Ｗ３の第１、第２の周波数帯域のレベルが大きく上昇されることで、マスクＭ３の着用に起因した歌唱音声の音質の低下が抑えられる。
【００３１】
以上、変形例によれば、マスクの着用の有無に加えてマスクのタイプを判定することによって、マスクのタイプに応じて歌唱音声の劣化をより適切に補正することができる。
【００３２】
＜第２実施形態＞
第２実施形態のカラオケ装置３０について説明する。図８は、第２実施形態のカラオケ装置３０の機能ブロック図である。なお、第２実施形態のカラオケ装置３０は、マスクを着用していない歌唱者にマスクの着用を促すと共に、カラオケ店舗の店員に感染症対策を促す点で第１実施形態のカラオケ装置１０と相違する。したがって、第２実施形態については、第１実施形態と同様な構成については説明を省略する。
【００３３】
図８に示すように、カラオケ装置３０のカラオケ本体３１には、記憶部４１と、演奏部４２と、判定部４３と、補正部４４と、音響制御部４５と、出力部４６とが設けられている。第１実施形態と同様に、判定部４３にはカメラ１５から撮影映像が入力され、判定部４３によってマスクを着用中の歌唱者か否かが判定される。判定部４３にてマスクを着用中の歌唱者であると判定された場合には、判定部４３から補正部４４に判定結果が出力されて、補正部４４にてマイクロフォン１４から入力された歌唱音声信号が補正される。そして、音響制御部２５にて歌唱音声信号と伴奏音信号がミキシングされてスピーカ１３に出力される。
【００３４】
一方で、判定部４３にてマスクを非着用中の歌唱者であると判定された場合には、判定部４３から出力部４６に判定結果が出力される。出力部４６には、モニタやリモコン装置のディスプレイ等の歌唱者が視認可能な表示端末３３と、店員の携帯端末やスタッフルームの管理端末等の店員が視認可能な店舗端末３５とが通信可能に接続されている。マスクを非着用中の歌唱者であるという判定結果の場合に、出力部４６から表示端末３３に歌唱者に対する報知情報が出力されると共に、出力部４６から店舗端末３５に店員に対する報知情報が出力される。
【００３５】
表示端末３３のディスプレイには、歌唱者に対する報知情報として、例えば、「マスクを着用してください」、「マスクを着用して歌唱しても歌声は自動的に補正されます」といったマスクの着用を促すメッセージが表示される。店舗端末３５のディスプレイには、店員に対する報知情報として、例えば、「歌唱者はマスクを着用していません」、「利用時間終了後にマイクを消毒してください」といった感染症対策を促すメッセージが表示される。このように、歌唱者と店員にメッセージを伝えることで、カラオケ店舗の感染症の予防効果を高めることができる。
【００３６】
以上、第２実施形態によれば、マスクを非着用の歌唱者にマスクの着用を促し、歌唱者の退店後に店員に感染症対策を実施させることができる。
【００３７】
なお、各実施形態及び変形例において、カラオケ装置１０、３０のカメラ１５の撮影映像からマスクを着用した歌唱者か否かが判定されてもよいし、店舗に設置された防犯カメラ等の撮影映像からマスクを着用した歌唱者か否かが判定されてもよい。すなわち、カラオケ装置１０、３０には、必ずしもカメラ１５が備えられていなくてもよい。
【００３８】
また、第２実施形態において、出力部４６から歌唱者に対する報知情報及びカラオケ店舗の店員に対する報知情報が出力されたが、出力部４６から歌唱者に対する報知情報及びカラオケ店舗の店員に対する報知情報の少なくとも一方が出力されればよい。したがって、出力部４６から表示端末３３に歌唱者に対する報知情報だけが出力されてもよいし、出力部４６から店舗端末３５にカラオケ店舗の店員に対する報知情報だけが出力されてもよい。より具体的には、歌唱者がマスクを持っているにもかかわらずカラオケ歌唱のためにマスクを外している場合には、歌唱者に対する報知情報の出力後に歌唱者がマスクを着用することが考えられる。逆に、歌唱者がもともとマスクを持っていない場合には、歌唱者に対する報知情報の出力後も歌唱者はマスクを着用しない。よって、判定部４３がマスクを着用中の歌唱者ではないと判定した場合に出力部４６は歌唱者に対する報知情報を出力し、判定部４３はその後も継続して判定を行う。カラオケ演奏開始後の所定のタイミング、たとえばカラオケ演奏終了後、判定部４３がマスクを着用中の歌唱者ではないと判定した場合に出力部４６はカラオケ店舗の店員に対する報知情報を出力し、判定部４３がマスクを着用中の歌唱者であると判定した場合に出力部４６はカラオケ店舗の店員に対する報知情報を出力しない。
【００３９】
また、上記した各実施形態及び変形例において、カラオケ装置１０、３０に対してプログラムをインストールすることによって、カラオケ装置１０、３０にマスク着用による歌唱音声の補正する機能が追加されてもよい。このプログラムは記憶媒体に記憶されている。記憶媒体は特に限定されないが、光ディスク、光磁気ディスク、フラッシュメモリ等の非一過性の記憶媒体であってもよい。
【００４０】
また、本実施形態を説明したが、他の実施形態として、上記実施形態及び変形例を全体的又は部分的に組み合わせたものでもよい。
【００４１】
また、本発明の技術は上記の実施形態に限定されるものではなく、技術的思想の趣旨を逸脱しない範囲において様々に変更、置換、変形されてもよい。さらには、技術の進歩又は派生する別技術によって、技術的思想を別の仕方によって実現することができれば、その方法を用いて実施されてもよい。したがって、特許請求の範囲は、技術的思想の範囲内に含まれ得る全ての実施態様をカバーしている。
【符号の説明】
【００４２】
１０、３０：カラオケ装置
２３、４３：判定部
２４、４４：補正部
３３      ：表示端末
３５      ：店舗端末
４６      ：出力部
【図１】
0006987925.tif 000002
【図２】
0006987925.tif 000003
【図３】
0006987925.tif 000004
【図４】
0006987925.tif 000005
【図５】
0006987925.tif 000006
【図６】
0006987925.tif 000007
【図７】
0006987925.tif 000008
【図８】
0006987925.tif 000009