(57)【要約】【課題】カラオケの参加者の顔画像を用いて、場を盛り上げるための演出を行う。【解決手段】カラオケ装置は、参加者が居る範囲を撮像するカメラにより撮像された撮像画像の中から人物の顔画像を取得し（Ｓ１０２）、参加者リストに登録する（Ｓ１０８）。カラオケ装置は、撮像画像の中から歌唱に用いられるマイクの画像を認識することによって歌唱をしている参加者を特定し（Ｓ１１０）、各参加者の歌唱回数を数える（Ｓ１１２）。カラオケ装置は、参加者リストに登録されている参加者の歌唱回数の優劣を判断する（Ｓ１１４）。そして、歌唱回数の優劣に基づいて決定した特定の参加者の顔画像に対して視覚的な演出を施した演出画像を、ディスプレイに表示させる（Ｓ１１６，Ｓ１１８）。【選択図】  図２
2016071186.tif 000002
【特許請求の範囲】
【請求項１】
参加者が居る範囲を撮像する撮像手段により撮像された撮像画像の中から、人物の顔画像を取得する取得手段と、
前記取得手段により取得された顔画像を参加者リストに登録するリスト作成手段と、
前記撮像画像の中から歌唱に用いられるマイクの画像を認識し、前記撮像画像内において歌唱をしている歌唱者を特定する特定手段と、
前記特定手段による歌唱者の特定結果に基づいて、前記参加者リストに登録されている参加者の歌唱の経験の度合を判定する判定手段と、
前記判定手段による判定結果に基づいて決定した特定の参加者の顔画像に対して視覚的な演出を施した演出画像を、所定の表示手段に表示させる表示制御手段と、
を備えることを特徴とするカラオケ装置。
【請求項２】
請求項１に記載のカラオケ装置において、
前記特定手段による歌唱者の特定結果に基づき、前記参加者リストに登録されている参加者それぞれについて、歌唱を行った回数を計数する計数手段を更に備え、
前記判定手段は、前記参加者リストに登録されている参加者それぞれの歌唱回数を比較して優劣を判定し、
前記表示制御手段は、前記判定結果により判定された歌唱回数の優劣に基づいて決定した特定の参加者の顔画像を用いた前記演出画像を、前記表示手段に表示させること、
を特徴とするカラオケ装置。
【請求項３】
請求項１又は請求項２に記載のカラオケ装置において、
前記表示制御手段は、前記参加者リストに登録されている参加者の中から、歌唱の経験が相対的に少ない特定の参加者の顔画像を用いて、歌唱を促す旨の前記演出画像を前記表示手段に表示させること、
を特徴とするカラオケ装置。
【請求項４】
請求項２に記載のカラオケ装置において、
前記表示制御手段は、前記特定の参加者の歌唱回数の応じた種類の演出を前記特定の参加者の顔画像に施した前記演出画像を前記表示手段に表示させること、
を特徴とするカラオケ装置。
【請求項５】
参加者が居る範囲を撮像する撮像手段により撮像された撮像画像の中から、人物の顔画像を取得する取得手順と、
前記取得手順において取得された顔画像を参加者リストに登録するリスト作成手順と、
前記撮像画像の中から歌唱に用いられるマイクの画像を認識し、前記撮像画像内において歌唱をしている歌唱者を特定する特定手順と、
前記特定手順における歌唱者の特定結果に基づいて、前記参加者リストに登録されている参加者の歌唱の経験の度合を判定する判定手順と、
前記判定手順における判定結果に基づいて決定した特定の参加者の顔画像に対して視覚的な演出を施した演出画像を、所定の表示手段に表示させる表示制御手順と、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラオケの参加者を撮影して表示する機能を有するカラオケ装置に関する。
【背景技術】
【０００２】
特許文献１には、歌唱者が歌う姿をカメラで撮影して、ディスプレイに表示するカラオケ装置が記載されている。特許文献１に記載のカラオケ装置によれば、動き回る歌唱者をカメラが追跡して撮影をすることができるようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２４０２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のような先行技術によれば、カラオケに参加しているグループの中で歌唱者を追跡して映し出すことで、場を盛り上げることができるとされている。しかしながら、歌唱者だけを映し出す仕組みにおいては、カラオケに参加しているグループの中であまり歌唱をしていない参加者に対して歌唱を促す効果は乏しい。
【０００５】
本発明は上記問題を解決するためになされたものである。本発明の目的は、参加者の顔画像を用いて、場を盛り上げるための演出を効果的に行うための技術を提供することである。
【課題を解決するための手段】
【０００６】
本発明のカラオケ装置は、取得手段と、特定手段と、判定手段と、表示制御手段とを備える。取得手段は、参加者が居る範囲を撮像する撮像手段により撮像された撮像画像の中から、人物の顔画像を取得する。リスト作成手段は、取得手段により取得された顔画像を参加者リストに登録する。特定手段は、記撮像画像の中から歌唱に用いられるマイクの画像を認識し、撮像画像内において歌唱をしている歌唱者を特定する。判定手段は、特定手段による歌唱者の特定結果に基づいて、参加者リストに登録されている参加者の歌唱の経験の度合を判定する。表示制御手段は、判定手段による判定結果に基づいて決定した特定の参加者の顔画像に対して視覚的な演出を施した演出画像を、所定の表示手段に表示させる。
【０００７】
本発明によれば、カラオケ装置を利用するグループの中から歌唱の経験の度合に基づいて決定した参加者について、撮像画像の中から得られた当該参加者の顔画像を用いた演出画像を表示することができる。このようにすることで、例えば、歌唱をしていない参加者にも注目を集めることで、歌唱への参加意欲を高め、場をより盛り上げることができる。
【０００８】
なお、参加者の歌唱の経験の度合を判定する方法として、各参加者が歌唱を行った回数を数えて、その歌唱回数の優劣を比較することが考えられる。そこで、請求項２に記載のように構成するとよい。すなわち、特定手段による歌唱者の特定結果に基づき、参加者リストに登録されている参加者それぞれについて、歌唱を行った回数を計数する計数手段を更に備える。判定手段は、参加者リストに登録されている参加者それぞれの歌唱回数を比較して優劣を判定する。そして、表示制御手段は、判定結果により判定された歌唱回数の優劣に基づいて決定した特定の参加者の顔画像を用いた演出画像を、表示手段に表示させる。このようにすることで、各参加者の歌唱回数の優劣に応じて、歌唱への積極的な参加を促す演出画像を表示することができる。
【０００９】
なお、カラオケを利用しているグループ全体の場を盛り上げるためには、歌唱経験が相対的に少ない参加者に積極的に歌唱してもらうことが肝要である。そこで、請求項３に記載のように構成するとよい。すなわち、表示制御手段は、参加者リストに登録されている参加者の中から、歌唱の経験が相対的に少ない特定の参加者の顔画像を用いて、歌唱を促す旨の演出画像を前記表示手段に表示させる。このようにすることで、歌唱回数が少ない参加者に注目を集め、歌唱への積極的な参加を促すことができ、効果的に場を盛り上げることができる。
【００１０】
また、請求項４に記載のカラオケ装置は次の特徴を有する。すなわち、表示制御手段は、特定の参加者の歌唱回数の応じた種類の演出を特定の参加者の顔画像に施した演出画像を前記表示手段に表示させる。このようにすることで、参加者の歌唱回数に応じて、歌唱回数が多い人や少ない人それぞれに合った内容の演出を行うことができる。
【００１１】
なお、本発明は、請求項５に記載のように、コンピュータにおいて実行されるプログラム、あるいは当該プログラムを記憶する記憶媒体として実現することもできる。
【図面の簡単な説明】
【００１２】
【図１】カラオケ装置１０の概略構成を表すブロック図。
【図２】演出画像表示処理の手順を表すフローチャート。
【図３】参加者リストの一例を表す説明図。
【図４】（ａ）演出画像の表示例１、（ｂ）演出画像の表示例２。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
［カラオケ装置１０の構成の説明］
図１に示すように、カラオケ装置１０は、制御部１１、記憶部１２、楽曲再生部１３、音声制御部１４、映像制御部１５、映像入力部１６、操作部１７を備える。このカラオケ装置１０は、ユーザからリクエストされたカラオケ楽曲を演奏する機能や、楽曲の演奏時に様々な画像をディスプレイ２３に表示する機能を有する。
【００１４】
制御部１１は、ＣＰＵ，ＲＯＭ，ＲＡＭ等を備え、各種プログラムを実行することによりカラオケ装置１０の動作を制御する。制御部１１は、後述する演出画像表示処理（図２参照）のプログラムを実行することで、楽曲の演奏中に参加者に対して歌唱を促す演出画像を作成する（図４参照）。そして、制御部１１は、作成した演出画像をディスプレイ２３に表示させる。
【００１５】
記憶部１２は、ハードディスクドライブ等の記憶装置である。記憶部１２には、制御部１１により実行されるプログラムや、その実行時に用いられるデータが記憶されている。また、記憶部１２は、個々のカラオケ楽曲に対応する楽曲データ、楽曲の歌詞を表すテロップを表示するための歌詞データ、楽曲の演奏時に表示する背景画像データ等を多数収録したカラオケデータベースを有している。各楽曲データは、ＭＩＤＩ（Music Instrument Digital Interface）規格に対応した演奏データ（ＭＩＤＩデータ）で構成されている。このＭＩＤＩデータには、カラオケ楽曲の伴奏パートのメロディを演奏するための演奏データが含まれる。
【００１６】
楽曲再生部１３は、記憶部１２に記憶されている楽曲データに基づいて楽曲の再生を行う。音声制御部１４は、音声の入出力を制御するデバイスであり、入力部１４ａ及び出力部１４ｂ等を備える。入力部１４ａには、マイク１９が接続される。これにより、入力部１４ａは、ユーザの歌唱音を取得する。出力部１４ｂにはスピーカ２１が接続されている。出力部１４ｂは、楽曲再生部１３によって再生される楽曲の音源信号、入力部１４ａから出力される歌唱音の音源信号をスピーカ２１に出力する。スピーカ２１は、出力部１４ｂから出力される音源信号を音に換えて出力する。
【００１７】
映像制御部１５は、制御部１１から送られてくる映像データに基づく映像の再生及び出力を行う。映像制御部１５には、映像の表示を行うディスプレイ２３が接続されている。これにより、映像制御部１５は再生した映像をディスプレイ２３に表示させる。映像入力部１６は、映像の入力を制御する制御デバイスである。映像入力部１６には、カメラ２５が接続される。これにより、映像入力部１６は、カメラ２５により撮像された画像データを取得する。カメラ２５は、カラオケ装置１０が設置される場所（例えば、カラオケルーム）に設置される撮像装置であり、カラオケ装置１０を利用してカラオケを行う参加者の居る場所全体の様子を撮像し、撮像した画像データを出力する。
【００１８】
操作部１７は、カラオケ装置１０に対する各種操作を行うための入力装置である。操作部１７は、タッチパネルや種々の入力ボタンを備えており、入力操作に応じた操作信号を制御部１１に出力する。なお、カラオケ装置１０のその他の構成や機能については公知技術に従っているので、ここでの詳細な説明は省略する。
【００１９】
［演出画像表示処理の説明］
カラオケ装置１０の制御部１１が実行する演出画像表示処理の手順について、図２のフローチャートを参照しながら説明する。この処理は、参加者からリクエストされた楽曲の演奏が開始される度に開始され、楽曲の演奏処理と並行して実行される。前提として、制御部１１は、楽曲の演奏と並行して、演奏対象の楽曲に対応する所定の背景画像データに基づき、ディスプレイ２３に背景画像を表示させる。また、制御部１１は、演奏対象の楽曲に対応する歌詞データに基づき、歌詞を表すテロップを演奏の進行に同期してディスプレイ２３に表示させる。
【００２０】
Ｓ１００では、制御部１１は、マイク１９から歌唱音声の入力があるか否かを判定する。歌唱音声の入力がある場合（Ｓ１００：ＹＥＳ）、制御部１１はＳ１０２に進む。歌唱音声の入力がない場合（Ｓ１００：ＮＯ）、制御部１１はＳ１００を繰返す。Ｓ１０２では、制御部１１は、カメラ２５により撮像された撮像画像の中から、その撮像画像に写っている各参加者の顔面部分の画像（顔画像）を取得する。具体的には、カメラ２５から入力された撮像画像の中から、周知の画像認識アルゴリズムによって人物の顔面部分を検出し、検出した顔面部分の画像を抽出する。なお、画像の中から複数の人物の顔を認識する周知技術の一例として、特許第５００２３１１号が挙げられる。
【００２１】
Ｓ１０４では、制御部１１は、Ｓ１０２で取得した参加者の顔画像について、全ての顔画像に対して、Ｓ１０６〜Ｓ１１２の処理を実施したか否かを判定する。処理を完了していない顔画像がある場合（Ｓ１０４：ＮＯ）、制御部１１はＳ１０６に進む。Ｓ１０６では、制御部１１は、未処理の顔画像の中から１つを処理対象に選択し、選択した処理対象の顔画像と同一人物と認められる顔画像が、参加者リストに登録済みであるか否かを判定する。
【００２２】
ここで、参加者リストの詳細な内容について、図３を参照しながら説明する。図３に例示されるとおり、参加者リストには、「ＩＤ」、「顔画像」、「歌唱回数」の各情報項目に対応する情報が対応付けられて登録されている。この参加者リストには、当該参加者のグループがカラオケ装置１０の利用を開始してから、現時点までに登録された情報が蓄積されている。ＩＤは、参加者リストに登録されている顔画像それぞれに付与された識別情報である。顔画像は、カメラ２５による撮像画像から抽出された参加者の顔の画像である。歌唱回数は、参加者リストに登録されている顔画像に該当する参加者が、歌唱を何回行ったかを表す情報である。
【００２３】
図２のフローチャートの説明に戻る。Ｓ１０６では、制御部１１は、周知の画像認識アルゴリズムを用いて、処理対象の顔画像と参加者リストに登録されている顔画像とを比較する。そして、制御部１１は、両者の顔画像の類似度が高い場合、同一人物と判定する。処理対象の顔画像に該当する人物が参加者リストに既に登録済みである場合（Ｓ１０６：ＹＥＳ）、制御部１１はＳ１１０に進む。一方、処理対象の顔画像に該当する人物が参加者リストに登録されていない場合（Ｓ１０６：ＮＯ）、制御部１１はＳ１０８に進む。Ｓ１０８では、制御部１１は、処理対象の顔画像に対して新規のＩＤを付与し、処理対象の顔画像を付与したＩＤと対応付けて、参加者リストに追加登録する。このとき、参加者リストに追加登録した参加者の歌唱回数は０とする。
【００２４】
次のＳ１１０では、制御部１１は、カメラ２５により撮像された撮像画像を画像処理することにより、処理対象の顔画像に該当する人物が、演奏中の楽曲を歌唱しているか否かを判定する。具体的には、制御部１１は、カメラ２５により撮像された撮像画像の中から、周知の画像認識アルゴリズムによってマイク１９の画像を検出する。そして、検出したマイク１９の画像から最も近い位置に存在する人物の画像を画像認識により検出する。この検出した人物を歌唱者として特定し、この歌唱者が処理対象の顔画像に該当する人物と同一であるか否かを判断する。
【００２５】
処理対象の顔画像に該当する人物が歌唱をしていない場合（Ｓ１１０：ＮＯ）、制御部１１はＳ１０４に戻る。一方、処理対象の顔画像に該当する人物が歌唱をしている場合（Ｓ１１０：ＹＥＳ）、制御部１１はＳ１１２に進む。Ｓ１１２では、制御部１１は、参加者リストにおいて処理対象の顔画像に該当する参加者のＩＤに対応付けられている歌唱回数に１を加算する。Ｓ１１２の後、制御部１１はＳ１０４に戻る。一方、Ｓ１０４において全ての顔画像について処理を実施したと判定した場合（Ｓ１０４：ＹＥＳ）、制御部１１はＳ１１４に進む。Ｓ１１４では、制御部１１は、参加者リストに登録されている各参加者の歌唱回数について、歌唱回数の多さの優劣を判断する。
【００２６】
Ｓ１１６では、制御部１１は、Ｓ１１４で判断された歌唱回数の優劣に基づき、歌唱回数が最も少ない参加者の顔画像に対して視覚的な演出を施した演出画像を作成する。そして、制御部１１は、楽曲の演奏中における所定のタイミングで、ディスプレイ２３に表示させているカラオケの背景画像を、歌唱回数が少ない参加者の顔画像を用いて作成した演出画像に切替えて表示させる。このとき、演奏中の楽曲に対応する歌詞のテロップについては、演出画像に重畳して表示を継続する。
【００２７】
ここで、Ｓ１１６における演出画像の表示例について、図４（ａ）を参照しながら説明する。図４（ａ）に例示されるとおり、制御部１１は、参加者リストにおいて予約回数が最も少ない参加者の顔画像５１を演出画像５０に配置する。また、制御部１１は、参加者に対して歌唱を促す旨のメッセージ５２を、参加者リストにおいて予約回数が最も少ない参加者が話す台詞として、顔画像５１の近傍に配置する。また、制御部１１は、楽曲の歌詞を表すテロップを演出画像５０上に重畳して表示させる。
【００２８】
図２のフローチャートの説明に戻る。Ｓ１１８では、制御部１１は、カメラ２５により撮像された撮像画像を用いて、撮像画像に写っている参加者の画像に対して、それぞれの参加者の歌唱回数に応じた内容の演出を施した演出画像を作成する。そして、制御部１１は、楽曲の演奏中における所定のタイミングで、ディスプレイ２３に表示させているカラオケの背景画像を、撮像画像から作成した演出画像に切替えて表示させる。
【００２９】
具体的には、カメラ２５により参加者全体の現在の様子が撮像された撮像画像の中から、参加者リストに登録されている顔画像それぞれに該当する人物の画像を画像処理によって特定する。撮像画像の中から参加者リストに登録されている参加者を特定する方法としては、例えば、参加者リストの顔画像と類似性が高い画像をパターンマッチングによって撮像画像から検出する方法が挙げられる。そして、撮像画像の中から特定された参加者の画像について、参加者リストに基づく歌唱回数が多い参加者には、例えば、明るい雰囲気を表す図柄を付与する演出を行う。また、参加者リストに基づく歌唱回数が少ない参加者には、例えば、暗い雰囲気を表す図柄を付与する演出を行う。
【００３０】
ここで、Ｓ１１８における演出画像の表示例について、図４（ｂ）を参照しながら説明する。図４（ｂ）に例示されるとおり、演出画像６０には、カメラ２５により撮像された複数の参加者の実物の画像６１，６２，６３が含まれている。このうち、画像６１が、図３に例示される参加者リストにおいて歌唱回数が最も多い参加者Ｂに該当し、画像６２が、歌唱回数が最も少ない参加者Ｃに該当すると想定する。制御部１１は、歌唱回数が多い参加者Ｂの顔の画像の近傍に、歌唱回数が多いことを表す明るい雰囲気の演出図柄を配置する。一方、制御部１１は、歌唱回数が少ない参加者Ｃの顔の画像の近傍に、歌唱回数が少ないことを表す暗い雰囲気の演出図柄を配置する。
【００３１】
［効果］
実施形態のカラオケ装置１０によれば、次の効果を奏する。
カラオケ装置１０を利用するグループの中から歌唱回数の優劣に基づいて決定した参加者について、歌唱回数の少ない参加者の顔画像を用いて歌唱を促したり、複数の参加者の顔画像を用いて歌唱回数の優劣に応じた内容の演出を行うことができる。このようにすることで、歌唱をしていない参加者にも注目を集めたり、歌唱回数が多い参加者が脚光を浴びるようにすることができ、場を盛り上げて歌唱への参加意欲を高めることができる。
【００３２】
［特許請求の範囲に記載の構成との対応］
実施形態の各構成と、特許請求の範囲に記載の構成との対応は次のとおりである。
図２のＳ１０２（制御部１１）が、取得手段に相当する。図２のＳ１０８（制御部１１）が、リスト作成手段に相当する。図２のＳ１１０（制御部１１）が、特定手段に相当する。図２のＳ１１２（制御部１１）が、計数手段に相当する。図２のＳ１１４（制御部１１）が、判定手段に相当する。図２のＳ１１６，Ｓ１１８（制御部１１）が、表示制御手段に相当する。
【符号の説明】
【００３３】
１０…カラオケ装置、１１…制御部、１２…記憶部、１３…楽曲再生部、１４…音声制御部、１４ａ…入力部、１４ｂ…出力部、１５…映像制御部、１６…映像入力部、１７…操作部、１９…マイク、２１…スピーカ、２３…ディスプレイ、２５…カメラ。
【図１】
2016071186.tif 000003
【図２】
2016071186.tif 000004
【図３】
2016071186.tif 000005
【図４】
2016071186.tif 000006