(57)【要約】【課題】負荷の大きい処理を実行させる際、歌唱に必要となる処理を優先させる。【解決手段】本発明に係るカラオケ装置は、音響再生部もしくはグラフィック再生部を所定の再生状態で再生させる場合に実行される第１処理と、所定の再生状態以外で再生させる場合に実行される第２処理と、を実行可能とし、第１処理は、映像第１出力部と映像第２出力部から第１映像を出力させ、第２処理は、映像第１出力部から第１映像を出力させ、かつ、映像第２出力部から第２映像を出力させる。【選択図】図３
2020160125.tif 000002
【特許請求の範囲】
【請求項１】
第１映像、第２映像を再生可能な映像再生部と、
伴奏音を含む音響信号を再生する音響再生部と、
歌唱補助、もしくは、歌唱結果に関するグラフィックを形成可能なグラフィック再生部と、
前記映像再生部で再生される映像を出力する映像第１出力部と、
前記映像再生部で再生される映像を出力する映像第２出力部と、
前記映像再生部、前記音響再生部、及び、前記グラフィック再生部を制御する制御部と、を備え、
前記制御部は、前記音響再生部もしくは前記グラフィック再生部を所定の再生状態で再生させる場合に実行される第１処理と、前記所定の再生状態以外で再生させる場合に実行される第２処理と、を実行可能とし、
前記第１処理は、前記映像第１出力部と前記映像第２出力部から前記第１映像を出力させ、
前記第２処理は、前記映像第１出力部から前記第１映像を出力させ、かつ、前記映像第２出力部から前記第２映像を出力させる
カラオケ装置。
【請求項２】
前記所定の再生状態は、前記音響再生部において音声合成を行う状態である
請求項１に記載のカラオケ装置。
【請求項３】
前記所定の再生状態は、前記グラフィック再生部で歌唱結果、もしくは、歌唱評価に関する所定のグラフィックを形成している状態である
請求項１または請求項２に記載のカラオケ装置。
【請求項４】
前記映像再生部は、第１デコード部、第２デコード部、メモリ、分配部を備え、
前記第１デコード部は、前記第１映像をデコードし、
前記第２デコード部は、前記第２映像をデコードし、
前記メモリは、前記第１処理が実行される場合、デコードされた前記第１映像を記憶し、前記第２処理が実行される場合、デコードされた前記第１映像、及び、前記第２映像を記憶し、
前記分配部は、前記第１処理が実行される場合、前記映像第１出力部と前記映像第２出力部から前記第１映像を出力させ、前記第２処理が実行される場合、前記映像第１出力部から前記第１映像を出力させ、かつ、前記映像第２出力部から前記第２映像を出力させる
請求項１から請求項３の何れか１項に記載のカラオケ装置。
【請求項５】
前記制御部は、前記第１処理においてデコードされた前記第１映像を縮小して前記メモリに記憶させ、前記分配部は、縮小した状態で前記メモリに記憶された前記第１映像を拡張して前記映像第１出力部、及び、前記映像第２出力部から出力させる
請求項１から請求項４の何れか１項に記載のカラオケ装置。
【請求項６】
前記制御部は、前記第１処理においてデコードされた前記第１映像のデータ量を減少させて前記メモリに記憶させ、前記分配部は、データ量が減少された状態で前記メモリに記憶された前記第１映像を前記映像第１出力部、及び、前記映像第２出力部から出力させる
請求項１から請求項５の何れか１項に記載のカラオケ装置。
【請求項７】
第１映像、第２映像を再生可能な映像再生部と、
伴奏音を含む音響信号を再生する音響再生部と、
歌唱結果、もしくは、歌唱評価に関するグラフィックを形成可能なグラフィック再生部と、
前記映像再生部で再生される映像を出力する映像第１出力部と、
前記映像再生部で再生される映像を出力する映像第２出力部と、
前記映像再生部、前記音響再生部、及び、前記グラフィック再生部を制御する制御部と、を備える情報処理装置で実行され、
前記音響再生部もしくは前記グラフィック再生部を所定の再生状態で再生させる場合に実行される第１処理と、前記所定の再生状態以外で再生させる場合に実行される第２処理と、を実行可能とし、
前記第１処理は、前記映像第１出力部と前記映像第２出力部から前記第１映像を出力させ、
前記第２処理は、前記映像第１出力部から前記第１映像を出力させ、かつ、前記映像第２出力部から前記第２映像を出力させる
カラオケ用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、伴奏に合わせて歌唱を楽しむためのカラオケ装置、及び、各種情報装置で実行することでカラオケ機能を実現するカラオケ用プログラムに関する。
【背景技術】
【０００２】
従来、伴奏に合わせて歌唱を楽しむカラオケが社交の場等で利用されている。カラオケを実現するカラオケ装置では、モニタ等の表示部に楽曲にあった映像を出力することで、歌唱の雰囲気の向上を図ることが行われている。
【０００３】
特許文献１には、スロットマシーン、パチンコ等の遊技機において、複数のディスプレイに映像を出力することで、遊技者の興趣を高めることが記載されている。そして、複数のディスプレイに映像を表示する際、メモリ領域を排他的に分割して１つメモリ上で２つの画像を同時に生成して出力時に画面を分割して出力する制御を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５９９０７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
カラオケ装置においても、多様な映像を複数同時に表示することで、利用時における歌唱者、あるいは同席者に対する雰囲気向上を図ることが考えられる。一方で、多様な映像を出力する場合には、カラオケ装置に対する負荷が大きくなることも心配される。現在、カラオケ装置では、映像表示以外にもユーザを楽しませる機能（例えば、音声合成、音響エフェクト、採点、歌詞表示、ピアノロール表示）が複数搭載されており、その数は配信などにより増加している。それらの機能が複数同時に動作した場合には、カラオケ装置の処理能力を超え、動作に支障が生じることが考えられる。そのため、カラオケ装置が提供するサービスの質を損なうことなく、それぞれの機能が共存できるように処理の効率を高め、かつ、ユーザの利便性を損なわないことが望まれる。
【０００６】
このような課題を解決するため、本発明は、カラオケの歌いやすさを損ねることなく、処理の効率を高め、カラオケサービスを提供することを可能にするカラオケ装置を提供することを一つの目的としている。
【課題を解決するための手段】
【０００７】
そのため、本発明に係るカラオケ装置は、以下の構成を採用するものである。
第１映像、第２映像を再生可能な映像再生部と、
伴奏音を含む音響信号を再生する音響再生部と、
歌唱補助、もしくは、歌唱結果に関するグラフィックを形成可能なグラフィック再生部と、
前記映像再生部で再生される映像を出力する映像第１出力部と、
前記映像再生部で再生される映像を出力する映像第２出力部と、
前記映像再生部、前記音響再生部、及び、前記グラフィック再生部を制御する制御部と、を備え、
前記制御部は、前記音響再生部もしくは前記グラフィック再生部を所定の再生状態で再生させる場合に実行される第１処理と、前記所定の再生状態以外で再生させる場合に実行される第２処理と、を実行可能とし、
前記第１処理は、前記映像第１出力部と前記映像第２出力部から前記第１映像を出力させ、
前記第２処理は、前記映像第１出力部から前記第１映像を出力させ、かつ、前記映像第２出力部から前記第２映像を出力させる。
【０００８】
さらに本発明に係るカラオケ装置において、
前記所定の再生状態は、前記音響再生部において音声合成を行う状態である。
【０００９】
さらに本発明に係るカラオケ装置において、
前記所定の再生状態は、前記グラフィック再生部で歌唱補助、もしくは、歌唱結果に関する所定のグラフィックを形成している状態である。
【００１０】
さらに本発明に係るカラオケ装置において、
前記映像再生部は、第１デコード部、第２デコード部、メモリ、分配部を備え、
前記第１デコード部は、前記第１映像をデコードし、
前記第２デコード部は、前記第２映像をデコードし、
前記メモリは、前記第１処理が実行される場合、デコードされた前記第１映像を記憶し、前記第２処理が実行される場合、デコードされた前記第１映像、及び、前記第２映像を記憶し、
前記分配部は、前記第１処理が実行される場合、前記映像第１出力部と前記映像第２出力部から前記第１映像を出力させ、前記第２処理が実行される場合、前記映像第１出力部から前記第１映像を出力させ、かつ、前記映像第２出力部から前記第２映像を出力させる。
【００１１】
さらに本発明に係るカラオケ装置において、
前記制御部は、前記第１処理においてデコードされた前記第１映像を縮小して前記メモリに記憶させ、前記分配部は、縮小した状態で前記メモリに記憶された前記第１映像を拡張して前記映像第１出力部、及び、前記映像第２出力部から出力させる。
【００１２】
さらに本発明に係るカラオケ装置において、
前記制御部は、前記第１処理においてデコードされた前記第１映像のデータ量を減少させて前記メモリに記憶させ、前記分配部は、データ量が減少された状態で前記メモリに記憶された前記第１映像を前記映像第１出力部、及び、前記映像第２出力部から出力させる。
【００１３】
また本発明に係るカラオケ用プログラムは、
第１映像、第２映像を再生可能な映像再生部と、
伴奏音を含む音響信号を再生する音響再生部と、
歌唱補助、もしくは、歌唱結果に関するグラフィックを形成可能なグラフィック再生部と、
前記映像再生部で再生される映像を出力する映像第１出力部と、
前記映像再生部で再生される映像を出力する映像第２出力部と、
前記映像再生部、前記音響再生部、及び、前記グラフィック再生部を制御する制御部と、を備える情報処理装置で実行され、
前記音響再生部もしくは前記グラフィック再生部を所定の再生状態で再生させる場合に実行される第１処理と、前記所定の再生状態以外で再生させる場合に実行される第２処理と、を実行可能とし、
前記第１処理は、前記映像第１出力部と前記映像第２出力部から前記第１映像を出力させ、
前記第２処理は、前記映像第１出力部から前記第１映像を出力させ、かつ、前記映像第２出力部から前記第２映像を出力させる。
【発明の効果】
【００１４】
本発明に係るカラオケ装置、もしくは、カラオケ用プログラムによれば、第１映像、第２映像を再生可能とすることで、複数の表示部を使用してユーザに多様な映像を楽しませることが可能となる。その際、音響再生部もしくは前記グラフィック再生部を所定の再生状態で再生させる場合には、映像第１出力部と映像第２出力部から第１映像を出力させることで、カラオケ装置（あるいは情報処理装置）の負荷を低下させ、歌唱時に必要となる音響再生部もしくはグラフィック再生部における処理を優先させることが可能となる。これにより、複数の機能を共存させつつ、カラオケにとって重要な「歌いやすいこと」と、「興趣を高めること」と、を実現することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態のカラオケシステムの構成を示す図
【図２】本実施形態の楽曲情報のデータ構成を示す図
【図３】本実施形態の映像制御部の構成を示す図
【図４】本実施形態の音響再生部の構成を示す図
【図５】本実施形態の楽曲再生処理を示すフロー図
【図６】本実施形態の音声合成停止割込処理を示すフロー図
【図７】本実施形態の映像制御部の動作を説明するための図（通常時）
【図８】本実施形態の映像制御部の動作を説明するための図（音声合成時）
【発明を実施するための形態】
【００１６】
図１は、本実施形態のカラオケシステムの構成を示す図である。本実施形態におけるカラオケシステムは、カラオケ装置２（コマンダ）と、リモコン装置１を含んで構成されている。カラオケ装置２とリモコン装置１は、ＬＡＮ１００及びアクセスポイント１３０を利用してネットワークを形成するように接続されている。
【００１７】
カラオケボックスなどの店舗に設置されるカラオケ装置２は、楽曲を演奏するための演奏部として音響再生部２５を備えている。また、カラオケ装置２は、ユーザからの各種入力を受け付ける操作部２１を備える。カラオケ装置２は、操作部２１からの入力を解釈してＣＰＵ３０に伝達する操作処理部２２を備える。また、カラオケ装置２は、各種情報を記憶する記憶部としてのハードディスク３２を備える。カラオケ装置２は、ＬＡＮ１００に接続してネットワークに加入する通信手段としてのＬＡＮ通信部２４を備えている。
【００１８】
また、カラオケ装置２は、モニタ４１ａ、４１ｂに対して歌詞映像、背景映像を表示させる映像制御部３１を備える。さらに、カラオケ装置２は、各構成を統括して制御するためのＣＰＵ３０、各種プログラムを実行するにあたって必要となる情報を一時記憶するためのメモリ２７を含んだ制御部を備えて構成されている。
【００１９】
このような構成にてカラオケ装置２は、各種処理を実行することとなるが、カラオケ装置２の主な機能として、楽曲予約処理、楽曲再生処理などを実行可能としている。楽曲予約処理は、ユーザからの指定に基づいて楽曲を指定、予約するための処理であってリモコン装置１と連携して実行される。リモコン装置１の選曲処理で形成された予約情報は、カラオケ装置２に送信される。カラオケ装置２は、受信した予約情報をメモリ２７中の予約テーブルに登録する。楽曲再生処理は、予約された楽曲を再生させる処理であって、楽曲演奏処理と歌詞表示処理とが同期して実行される処理である。
【００２０】
楽曲演奏処理は、楽曲情報に含まれる演奏情報に基づき、音響再生部２５に演奏を実行させる処理である。音響再生部２５にて演奏された楽曲は、マイクロホン４３（４３ａ、４３ｂ）から入力される歌唱音声と一緒にスピーカ４２から放音される。歌詞表示処理は、楽曲情報に含まれる歌詞情報をモニタ４１（４１ａ、４１ｂ）に表示させることで歌唱補助を行う処理である。また、歌詞の背景に背景映像を表示する背景映像表示処理を実行することが可能である。
【００２１】
一方、リモコン装置１は、ユーザからの指示に基づいて楽曲を検索し、再生指示のあった楽曲について予約情報をカラオケ装置２に送信する選曲処理を実行可能としている。また、リモコン装置１は、カラオケ装置２あるいはインターネット上に接続されたサーバー装置５から各種情報を受信し、各種処理を実行することが可能である。本実施形態では、ユーザから各種指示を受け付けるユーザインターフェイスとして、操作部１７と、タッチパネルモニター１１を備えている。タッチパネルモニター１１は、表示部１１ａとタッチパネル１１ｂを有して構成され、表示部１１ａに各種インターフェイスを表示するとともに、ユーザからのタッチ入力をタッチパネル１１ｂにより受付可能としている。
【００２２】
さらにリモコン装置１は、選曲処理に必要とされるデータベース、各種プログラム、並びに、プログラム実行に伴って発生する各種情報を記憶する記憶部として、メモリ１４を備える。そして、これら構成を統括して制御するためのリモコン側制御部を備えて構成される。リモコン側制御部には、ＣＰＵ１５、タッチパネルモニター１１に対して表示する映像を形成する映像制御部１３、表示する映像情報を一時的に蓄えるビデオＲＡＭ１２、タッチパネルモニター１１あるいは操作部１７からの入力を解釈してＣＰＵ１５に伝える操作処理部１８が含まれている。
【００２３】
リモコン装置１は、無線ＬＡＮ通信部１６によって、アクセスポイント１３０と無線接続されることで、ＬＡＮ１００によって構成されるネットワークに接続される。なお、各リモコン装置１は、特定のカラオケ装置２に対して事前に対応付けされている。リモコン装置１から出力されるカラオケ装置２への各種命令は、対応付けされたカラオケ装置２にて受信されることとなる。なお、リモコン装置１からカラオケ装置２への各種命令は、無線ＬＡＮ通信部１６ではなく赤外線通信部１９から出力されてもよい。
【００２４】
このようなリモコン装置１の構成により、ユーザからの各種入力をタッチパネルモニター１１、あるいは、操作部１７から受付けるとともに、映像情報をタッチパネルモニター１１の表示により各種情報を提供することで、カラオケ装置２に対して出力する予約情報を送信する選曲処理など、各種処理を行うことが可能となっている。
【００２５】
図２には、カラオケ装置２で使用される各種情報のデータ構成が示されている。本実施形態の楽曲情報は、図２（Ａ１）に示される形態と、図２（Ａ２）に示される形態がある。どちらの楽曲情報も、楽曲情報に関連する各種情報である属性情報と、演奏等、各種処理を実行する実情報を有している。属性情報には、楽曲情報を識別するための楽曲ＩＤ、楽曲名、歌手名、作詞者名、作曲者名、ジャンル情報等を有している。
【００２６】
また、楽曲情報の実情報には、演奏情報、歌詞情報、歌唱評価情報が含まれている。ここで、図２（Ａ２）に記載の形態では、実情報中に音声合成情報を有しているのに対し、図２（Ａ１）に記載の形態では、音声合成情報を有していない点において相違している。演奏情報は、ＭＩＤＩ規格に基づいて電子楽器用の制御情報、あるいは、実際の演奏を録音した圧縮音声情報等で構成され、カラオケの伴奏音を演奏するための情報である。歌詞情報は、歌唱補助のため、演奏情報に同期して表示される情報であり、演奏に同期して表示された歌詞の色替えを行うように構成してもよい。歌唱評価情報は、採点処理（歌唱評価処理）に使用される情報であり、演奏情報と同様、ＭＩＤＩ規格に基づいて規定された制御情報である。採点処理では、この歌唱評価情報と、マイクロホン４３ａ、４３ｂから入力される歌唱音声信号の音高とを比較することでユーザの歌唱評価を行うことが可能である。
【００２７】
図２（Ａ２）の実情報に含まれる音声合成情報は、演奏時、音響再生部２５中の音声合成部２５２において、音声合成を行うための情報である。現在、バーチャルシンガー等、文字情報と音程情報等を含んだ音声合成情報によって歌唱合成を行う楽曲がある。このような楽曲のカラオケを楽しむ場合、歌唱合成を行うことで、歌唱合成をお手本として歌唱することや、歌唱合成とのデュエット等を楽しむことが可能となる。楽曲情報に含まれる音声合成情報は、このような歌唱合成を行うための情報であり、図２（Ａ２）の楽曲情報の再生時には、楽曲情報に含まれる音声合成情報に基づいて歌唱合成を行うことが可能となっている。また、図２（Ａ１）の楽曲情報の再生時には、歌唱評価情報に含まれる正しい音程を表す音程情報と、歌詞情報とに基づいて歌唱合成を行ってもよい。歌唱合成を含む音声合成処理は、カラオケ装置２において、比較的負荷のかかる処理であるため、音声合成を行う場合には、後で説明する背景映像側の処理軽減を実行し、カラオケにおいて重要となる処理に対する影響を抑制することとしている。
【００２８】
本実施形態のカラオケ装置２は、楽曲の再生時、歌唱時の雰囲気向上等を目的として、映像を表示することとしている。特に、２台のモニタ４１ａ、４１ｂに対して異なる映像を表示することができるため、楽曲情報には、２つの映像情報を対応付けることが可能となっている。図２（Ｂ１）は、楽曲情報と映像情報を対応付けるための映像対応テーブルの一例であり、楽曲情報に含まれる楽曲ＩＤに対し、第１映像ＩＤ、第２映像ＩＤが対応付けられている。楽曲情報を再生する際には、この映像対応テーブルを参照することで、第１映像ＩＤに対応する第１映像情報、第２映像ＩＤに対応する第２映像情報をハードディスク３２から読み出すことで、楽曲に対応する２つの第１映像情報、第２映像情報を再生することが可能となっている。例えば、第１映像は、再生される楽曲と強く関係する映像（ＰＶなど）や、ユーザから指定された映像などのメイン映像である。また、第２映像は、第１映像の別視点から撮影された映像や、カラオケボックスの空間を演出するための映像など、演出のためのサブ映像である。
【００２９】
図２（Ｂ２）は、楽曲情報と映像情報を対応付ける別の形態であって、楽曲情報のジャンル情報と映像ＩＤを対応付けている例である。この形態では、再生対象となる楽曲情報の属性情報に記述されるジャンル情報と、図２（Ｂ２）の映像対応テーブルを参照し、楽曲に対応する映像ＩＤを決定することが可能である。図２（Ｂ２）の映像対応テーブルには、同じジャンルに適合する複数の映像ＩＤが記述されており、その中からランダムに決める、あるいは、所定の規則で決める等、対応する映像情報を読み出すことが可能である。
【００３０】
このように、図２（Ｂ１）、図２（Ｂ２）の映像対応テーブルを使用することで、楽曲に対応する１または複数の映像情報を読み出し、モニタ４１ａ、４１ｂに表示することが可能となっている。図２（Ｂ１）のテーブル形態では、楽曲と映像情報を対応させることが可能であり、楽曲の雰囲気に適した映像情報を選択することが可能である。一方、図２（Ｂ２）のテーブル形態では、ジャンル情報で対応させているため、再生毎に映像を変更することが可能であり、映像に多様性を持たせることが可能である。また、図２（Ｂ２）のテーブル形態では、各楽曲に映像ＩＤを予め対応させておく必要が無いため、本実施形態のように、１つの楽曲に対し、複数の映像を表示させる場合においても、テーブル変更を必要とせず、簡単に対応することが可能となる。なお、図２（Ｂ１）、図２（Ｂ２）の映像対応テーブルは、１つの楽曲再生時においても、どちらか一方を使用する、あるいは、両方を使用することも可能である。例えば、図２（Ｂ１）から楽曲に対応する第１映像ＩＤを抽出し、図２（Ｂ２）からジャンルに対応する第１映像ＩＤを抽出して同期させて再生することが可能である。
【００３１】
図３は、本実施形態の映像制御部３１の構成を示す図である。本実施形態のカラオケ装置２は、２台のモニタ４１ａ、４１ｂに対して映像を出力することが可能となっている。映像制御部３１は、グラフィック再生部３１２、映像再生部３１１（３１１ａ、３１１ｂ）を備えている。グラフィック再生部３１２は、楽曲情報に含まれる歌詞情報に基づいて、グラフィック映像を形成、出力することが可能である。この他、グラフィック再生部３１２は、楽曲再生中、あるいは、楽曲再生終了後に、歌唱者の歌声と楽曲情報の主旋律とを比較するためのグラフィック映像等、歌詞情報に基づくグラフィック映像以外を形成、出力することも可能である。グラフィック再生部３１２で形成、出力されたグラフィック映像は、メモリ３１３において、映像再生部３１１から出力された映像に重畳される。
【００３２】
本実施形態の映像再生部３１１は、２つの第１デコード部３１１ａ、第２デコード部３１１ｂを有して構成されている。第１デコード部３１１ａ、第２デコード部３１１ｂは、ハードディスク３２等から、映像対応テーブルから抽出した映像ＩＤに対応する映像情報を読み出してデコードする。例えば、ＭＰＥＧ規格等でエンコードされた映像情報を読み出してデコードし、第１映像をメモリ３１３に出力する。第２デコード部３１１ｂも同様に、エンコードされた映像情報を読み出してデコードし、第２映像をメモリ３１３に出力する。このように本実施形態の映像再生部３１１は、第１デコード部３１１ａ、第２デコード部３１１ｂを有しているため、同時に２つの映像を再生することが可能となっている。
【００３３】
メモリ３１３に格納された第１映像、第２映像、及び、グラフィック映像は、処理された後、分配・拡大部３１４に入力される。分配・拡大部３１４は、分配部３１４ａと２つの拡大部３１４ｂ、３１４ｃを有して構成されている。映像再生部３１１において第１映像と第２映像を再生する場合、分配部３１４ａは、第１映像部分を拡大部３１４ｂに出力し、第２映像部分を拡大部３１４ｃに出力する。拡大部３１４ｂで拡大された映像は、ＨＤＭＩ（登録商標）端子等の各種映像出力端子で構成された映像第１出力部３１５ａ、映像第２出力部３１５ｂから、それぞれモニタ４１ａ、４１ｂに出力され、モニタ４１ａ、４１ｂで表示される。なお、分配と拡大の順序は任意に入れ替えて実施することも想定可能である。
【００３４】
次に、本実施形態の音響再生部２５について説明を行う。図４は、本実施形態の音響再生部２５の構成を示す図である。本実施形態の音響再生部２５は、演奏部２５１、音声合成部２５２、加算部２５３ａ、２５３ｂ、エフェクト部２５４ａ、２５４ｂを有して構成されている。図４における各構成は、ハードウェア構成、ソフトウェア構成、あるいは両者を併用する等、各種形態を採用することができる。
【００３５】
なお、音声合成部２５２における音声合成は、このような楽曲情報に含まれる音声合成情報に基づく歌唱合成を行うこととしているが、音声合成部２５２における音声合成は、歌唱合成のみならず、バックコーラスの生成、あるいは、歌唱補助としての歌詞情報の読み上げとして使用することも可能である。
【００３６】
音響再生部２５における演奏部２５１は、楽曲情報に含まれる演奏情報に基づいて伴奏音を再生する。再生された伴奏音は、加算部２５３ａで音声合成部２５２から出力される合成音声と加算され、加算部２５３ｂへ出力される。加算部２５３ｂでは、加算部２５３ａの音響信号と、マイクロホン４３ａ、４３ｂからの歌唱音声信号とを加算し、スピーカ４２に出力する。本実施形態では、各マイクロホン４３ａ、４３ｂからの入力信号に対して、エコー等の各種エフェクトを付与するエフェクト部２５４ａ、２５４ｂが設けられている。なお、音響再生部２５には、スピーカ４２に出力するまでの経路に、音響信号を増幅する増幅部を設ける、あるいは、カラオケ装置２とスピーカ４２間に増幅部を設けることとしてもよい。
【００３７】
このように本実施形態の音響再生部２５は、音声合成を実行可能な音声合成部２５２を有する形態となっている。楽曲情報によっては、音声合成部２５２において音声合成を実行する楽曲と、実行しない楽曲がある。また別の例として、楽曲再生のための予約情報に音声合成を実行するか否かを示す情報が含まれていることによって、ＣＰＵ３０において音声合成をするか否か判断される。音声合成を実行する場合、カラオケ装置２の処理負荷が大きくなり、他の処理と並行して音声合成を実行すると、音声合成自体、あるいは、演奏部２５１における伴奏音の再生に障害が生じる可能性がある。特に、予約情報に音声合成を実行することを示す情報が含まれているときは、ユーザは音声合成をお手本として歌いたい、または、音声合成と一緒に歌唱したい場合が多いため、映像よりも歌唱を楽しみたい状況であることが考えられる。さらに、演奏部２５１における伴奏音の再生、音声合成部２５２における合成音の再生は、歌唱を行う上で欠かせない重要な処理であり、例えば、伴奏音や合成音が途切れてしまう等の支障が生じた場合、歌唱継続の妨げとなり気持ちよく歌唱を楽しむことができなくなることが考えられる。そのため、本実施形態のカラオケ装置２では、音声合成部２５２において音声合成を実行する場合等、処理負荷の大きい処理を実行する場合、映像再生の処理負荷を削減することで、カラオケ装置２における処理能力を担保し、伴奏音の再生、合成音の再生等に支障が生じないようにしている。
【００３８】
図５は、本実施形態の楽曲再生処理を示すフロー図である。カラオケ装置２では、リモコン装置１等を使用したユーザからの指示に基づいて、楽曲情報を再生する楽曲再生処理を実行する。本実施形態のカラオケ装置２は、映像第１出力部３１５ａ、映像第２出力部３１５ｂを有しており、異なる２種類の映像を出力することも可能となっている。カラオケ装置２は、通常時の状態では、異なる２種類の映像を出力できるように、Ｓ２０１〜Ｓ２０３のセットアップを実行する。
【００３９】
図７は、本実施形態の映像制御部３１の動作（通常時）を説明するための図である。通常時、カラオケ装置２は、異なる２種類の第１映像、第２映像を出力する。図３で説明したように第１デコード部３１１ａと、第２デコード部３１１ｂは、ハードディスク３２から映像対応テーブルから抽出した映像ＩＤに対応する第１映像情報、第２映像情報をそれぞれ読み出し、デコードしてメモリ３１３に出力する。本実施形態の第１映像情報、第２映像情報は、横１９２０ドット、縦１０８０ドットの解像度（フルＨＤ）を有しているが、デコード後、横方向を１／２に縮小し、横９６０ドット、縦１０８０ドットの解像度に変更する縮小処理を実行している。縮小された第１映像、第２映像の２つの映像を並べて扱うことで、横１９２０ドット、縦１０８０ドットの解像度の１つの映像として扱うことが可能となっている。
【００４０】
また、本実施形態では、グラフィック再生部３１２において歌詞情報の再生、歌唱結果に関する各種グラフィック映像を再生することとしている。図７に示されるように、グラフィック映像は第１映像及び第２映像のサイズに合わせて横１９２０ドット、縦１０８０ドットの解像度を有して再生される。具体的には左半分（横９６０ドット、縦１０８０ドット）を映像第１出力部用のグラフィック映像とし、右半分（横９６０ドット、縦１０８０ドット）を映像第２出力部用のグラフィック映像としている。再生されたグラフィック映像は、再生された第１映像、第２映像に重畳するため、再生された第１映像、第２映像と同じ解像度（横１９２０ドット、縦１０８０ドット）で再生される。再生されたグラフィック映像は、並んで配置されている第１映像、第２映像に重畳される。
【００４１】
このように、映像第１出力部、映像第２出力部用のグラフィック映像を１つの映像として扱うことで、グラフィック映像形成時の処理を軽減することが可能となる。また、グラフィック映像の解像度を、並んで配置された第１映像、第２映像と同じ解像度に揃えることで、重畳する際の処理負荷も軽減することが可能となっている。なお、グラフィック映像の左半分（映像第１出力部用）と、右半分（映像第２出力部用）は、同じ映像とすることとしてもよく、あるいは、異なる映像とすることも可能である。例えば、第１映像は、歌唱者に向けて表示するためのメイン映像、第２映像は、聴取者に向けて表示するためのサブ映像とする場合、映像第１出力部用のグラフィック映像には、サイズの大きい歌詞を表示し、映像第２出力部用のグラフィック映像には、サイズの小さい歌詞を表示すること等が考えられる。あるいは、映像第１出力部用のグラフィック映像には歌詞を表示し、映像第２出力部用のグラフィック映像には歌詞を表示しないこととする等、各種形態が考えられる。
【００４２】
グラフィック映像が重畳された第１映像、第２映像は、分配・拡大部３１４において、分配、拡大される。具体的には、第１映像、第２映像は、図３で説明した分配部３１４ａにおいて左右分割され、拡大部３１４ｂ、３１４ｃにおいて横方向に拡大され、縦１０８０ドット、横１９２０ドットの解像度に変更される。拡大された第１映像、第２映像は、それぞれ、映像第１出力部３１５ａ、映像第２出力部３１５ｂから、モニタ４１ａ、４１ｂに出力される。
【００４３】
図５の楽曲再生処理に戻り、Ｓ２０１〜Ｓ２０４のセットアップでは、図７で説明した通常時の状態、すなわち、異なる２つの映像を出力できる状態に設定する。具体的には、図７で説明したように、第１映像と第２映像を並べた状態で扱うことができるような分割設定（Ｓ２０１）に設定する。また、再生された第１映像、第２映像を横方向に１／２に縮小する状態に設定し、そして、グラフィック映像が重畳された第１映像、第２映像を等倍で分配・拡大部３１４に出力する１／２縮小、等倍設定（Ｓ２０２）を実行する。また、再生されたグラフィック映像を横１９２０ドット、縦１０８０ドットに拡大する等の設定を実行する（Ｓ２０３）。
【００４４】
Ｓ２０１〜Ｓ２０４のセットアップが完了すると、カラオケ装置２は、予約テーブルをチェックし、次に予約されている楽曲の有無を確認する（Ｓ２０４）。次に予約されている楽曲がある場合（Ｓ２０５：Ｙｅｓ）、当該楽曲が音声合成を実行する楽曲か否かを確認する（Ｓ２０６）。音声合成を実行する楽曲とは、一例として、図４（Ａ２）の形態のように音声合成情報を有する楽曲である。また、他の例では、予約情報に音声合成を実行することを示す情報が含まれている楽曲である。ここでは、まず、音声合成の無い楽曲について説明する。
【００４５】
音声合成が無い楽曲の場合（Ｓ２０６：Ｎｏ）、指定された楽曲情報、及び、楽曲情報に対応する映像情報を読み出して楽曲再生を開始する（Ｓ２０７）。本実施形態では、音声合成を使用しない楽曲の場合、異なる２つの映像（第１映像、第２映像）を再生することが可能となっている。したがって、カラオケ装置２は、楽曲情報に対応する第１映像情報、第２映像情報を読み出して再生を開始する。本実施形態では、音声合成が無い楽曲の場合、図７で説明したように、互いに異なる第１映像、第２映像を、モニタ４１ａ、４１ｂに表示出力することが可能となっている。楽曲の再生が終了した場合（Ｓ２０８：Ｙｅｓ）、Ｓ２０４に戻って、次の楽曲について予約テーブルの状態の監視（チェック）を開始する。
【００４６】
次に、音声合成を使用する楽曲の場合（Ｓ２０６：Ｙｅｓ）について説明する。図８は、本実施形態の映像制御部３１の動作（音声合成時）を説明するための図である。通常時、カラオケ装置２は、異なる２つの第１映像、第２映像を出力するのに対し、音声合成時は、カラオケ装置２は、映像対応テーブルから抽出した映像ＩＤに対応する１つの映像（ここでは、第１映像とする）を出力する点において異なっている。このように音声合成時には、１種類の映像を出力することで、カラオケ装置２の処理負荷を軽減し、音声合成、あるいは、演奏部２５１による伴奏音の再生等、カラオケの歌唱で重要な処理に影響が生じることを抑制している。
【００４７】
本実施形態では、第１デコード部３１１ａは、ハードディスク３２から楽曲情報に対応する第１映像情報を読み出し、デコードしてメモリ３１３に出力する。図７の通常時の場合で説明したように、本実施形態の第１映像情報は、横１９２０ドット、縦１０８０ドットの解像度（フルＨＤ）を有しているが、再生後、横方向に１／４に縮小し、横４８０ドット、縦１０８０ドットの解像度に変更する。
【００４８】
縮小された第１映像は、図７の通常時と同様、左右に２つ並べて扱うことで、左右のそれぞれの映像を、映像第１出力部３１５ａ、映像第２出力部３１５ｂ用とすることとしている。グラフィック再生部３１２で再生されるグラフィック映像は、２つの第１映像への重畳のため、２つ並べられた状態で配置された第１映像と同じ解像度である横９６０ドット、縦１０８０ドット（横４８０ドット、縦１０８０ドットのグラフィックが２つ）で再生される。なお、音声合成時、第１映像は共通となるが、それに重畳されるグラフィック映像は、第１出力部３１５ａ用と、第２出力部３１５ｂ用に異ならせることとしてもよく、あるいは、同一のグラフィック映像としてもよい。再生されたグラフィック映像は、並んで配置されている第１映像に重畳される。
【００４９】
グラフィック映像が重畳された第１映像は、分配・拡大部３１４に入力される前に横方向に拡大され、横１９２０ドット、縦１０８０ドットの解像度に拡大される。したがって、図７の分配・拡大部３１４に入力される前の解像度と同じ解像度となる。その後、第１映像は、分配・拡大部３１４において、分配、拡大される。具体的には、図２で説明した分配部３１４ａにおいて左右分割され、拡大部３１４ｂ、３１４ｃにおいて横方向に拡大され、縦１０８０ドット、横１９２０ドットの解像度に変更される。拡大された左右の第１映像は、それぞれ、映像第１出力部３１５ａ、映像第２出力部３１５ｂから、モニタ４１ａ、４１ｂに出力される。本実施形態においては説明の簡略化、及び、図７、図８の対比を行い易くするため、分配・拡大部３１４に入力される前における拡大率を設定し、横１９２０ドット、縦１０８０ドットの解像度に拡大しているが、分配・拡大部３１４内部において分配する映像の解像度、および、拡大率等を設定することにより少ない処理手順で実現することができる。
【００５０】
図７と図８を比較して分かるように、図８の音声合成時には、再生する映像の数を減らすことで、映像のデコードにかかる処理を削減し、カラオケ装置２の負荷を軽減することが可能となる。さらに、音声合成時には、第１映像を横方向に１／４縮小して扱うことで、ＣＰＵ３０とメモリ３１３間のデータ転送量等を削減し、カラオケ装置２の負荷を軽減することとしている。具体的には、ＣＰＵの処理量増加と、データ転送量の増加によるＣＰＵ３０とメモリ３１３間のバス帯域を効率的に軽減することができるため、カラオケサービスを安定的に提供できる。特に、ハードウェアが変更されていないにもかかわらず、新たなアプリケーションの配信等により処理結果の同期をとりながら並列で処理すべきデータ量が増加する状況が発生するカラオケ装置においては、顕著な効果を得ることができる。このように音声合成時には、映像に関する処理、データ転送量等を削減することで、カラオケ装置２の処理負荷を軽減させ、音声合成部２５２における音声合成、あるいは、演奏部２５１における伴奏音の再生等、歌唱を楽しむために重要な処理に支障を生じさせないようにすることが可能となる。
【００５１】
図５の楽曲再生処理に戻り、音声合成がある楽曲の場合（Ｓ２０６：Ｙｅｓ）、Ｓ２０９〜Ｓ２１１のセットアップが実行される。このセットアップでは、図８で説明した音声合成時の状態、すなわち、１つの映像を２つの画面に出力できる状態に設定する。具体的には、図８で説明したように、第１映像と第１映像を並べた状態で扱うことができるような複製設定（Ｓ２０９）に設定する。また、再生された第１映像を横方向に１／４に縮小させ、そして、グラフィック映像が重畳された第１映像を横方向に２倍に拡大させて、分配・拡大部３１４に出力する１／４縮小、２倍拡大設定（Ｓ２１０）を実行する。また、グラフィック映像を横９６０ドット、縦１０８０ドットで再生する等の設定を実行する（Ｓ２１１）。別の例としては、分配・拡大部３１４に入力される前に拡大をしない場合、Ｓ２１０において分配・拡大部３１４に入力される前に２倍に拡大をする設定を実行するのではなく、横４８０ドット、縦１０８０に２分割する設定、および、横方向に４倍に拡大する設定を分配・拡大部３１４に対して実行すればよい。また、それに準じてＳ２１１も実行されればよい。これの設定手法に関しては説明を省略するがＳ２０２、Ｓ２０３においても応用可能である。
【００５２】
Ｓ２０９〜Ｓ２１１のセットアップが完了すると、カラオケ装置２は、再生対象となる楽曲の再生を開始する（Ｓ２１２）。再生が完了した場合（Ｓ２１３：Ｙｅｓ）、楽曲再生処理の先頭に戻り、通常時のセットアップ（Ｓ２０１〜２０３）を実行し、その後、予約テーブルの状態の監視（チェック）を開始する（Ｓ２０４）。
【００５３】
なお、音声合成を実行する楽曲の再生途中で、ユーザの指示により、音声合成のみを中断することが考えられる。あるいは、楽曲自体、再生途中で音声合成が中断されることが考えられる。このような場合、図６に示す音声合成停止割込処理を実行することで、モニタ４１ａ、４１ｂに対して異なる映像を出力するようにしてもよい。
【００５４】
図６に示される音声合成停止割込処理は、図５で説明したＳ２０１〜Ｓ２０３のセットアップに相当し、通常時の状態に設定する処理である。具体的には、図７で説明したように、第１映像と第２映像を並べた状態で扱うことができるような分割設定（Ｓ３０１）に設定する。そして、再生された第１映像、第２映像を横方向に１／２に縮小する状態に設定し、そして、グラフィック映像が重畳された第１映像、第２映像を等倍で分配・拡大部３１４に出力する１／２縮小、等倍設定（Ｓ３０２）を実行する。また、グラフィック映像を横１９２０ドット、縦１０８０ドットで再生する等の設定を実行する（Ｓ２０３）。
【００５５】
このように音声合成を行う楽曲の再生途中であっても、音声合成が停止した場合には、音声合成停止割込処理を実行することで、モニタ４１ａ、４１ｂに対して異なる映像を出力することが可能となる。あるいは、再生開始時には、音声合成の使用が停止状態となっており、ユーザの指示に応じて音声合成を開始する場合、あるいは、楽曲の再生の一部においてのみ音声合成を使用する場合、音声合成時に、Ｓ２０９〜Ｓ２１１と同様のセットアップからなる割込処理を実行することで、モニタ４１ａ、４１ｂに対して１つの映像を出力させ、カラオケ装置２の負荷を軽減することも考えられる。
【００５６】
以上、本発明のカラオケ装置２は、異なる２つの映像を出力可能とすることを前提としている。このような前提により、例えば、歌唱するユーザを対象とした映像と、聴取するユーザを対象とした映像を異ならせることが可能となる。また、このように複数の映像を再生出力する場合、カラオケ装置２の負荷が大きくなることが考えられる。そのため、本実施形態のカラオケ装置２では、楽曲再生時の負荷が大きくなる音声合成時には、１つの映像情報で再生を行うことで、音声合成あるいは伴奏音の再生に支障が発生することを抑制している。
【００５７】
なお、本実施形態では、楽曲再生時の負荷増大の原因として、再生状態が音声合成を行っていることとしているが、楽曲再生時の負荷増大の原因には、例えば、楽曲再生中、歌唱補助、もしくは、歌唱結果に関するグラフィックを形成する状態がある。このようなグラフィックとしては、ユーザの歌唱音声を楽曲情報に含まれる歌唱評価情報と比較して、例えば、ピアノロールの形態でグラフィック表示を行うことが考えられる。このような再生状態では、音声合成時と同様、カラオケ装置２の負荷が増大することになるため、このような再生状態においても、本実施形態の音声合成時と同様、１つの映像情報で再生を行うことで、伴奏音の再生に支障が発生することを抑制することが可能となる。また、歌唱補助、もしくは、歌唱結果に関するグラフィック表示も歌唱において、重要な役割を果たすことになるが、このグラフィック表示についても、表示が遅延する等の支障発生を抑制し、ユーザが気持ちよく歌唱することを担保することが可能となる。また、機能ごとに処理負荷の増大の原因を判断するのではなく、実際の処理負荷の増大を判断して本実施形態の処理を実行することも可能である。
【００５８】
また、本実施形態のカラオケ装置２では、図８で説明したように、第１映像を横方向に１／４に縮小することで、データ量の削減を図り、処理量あるいはバス間を移動するデータ量を軽減している。実施例においては、説明の簡略化のため通常時を１／２に圧縮し、音声合成時は１／４に圧縮することとしたが、圧縮率は通常時よりも音声合成時に圧縮率が高まればよく、その数値は適宜変更が可能である。また、横方向に圧縮するのでなく縦方向に圧縮するのでもよく、例えば、横方向を１／２に圧縮して縦方向を１／２に圧縮して１／４としてもよい。このような場合は圧縮方向に合わせてグラフィックの縦横比を設定して実施すればよい。さらに、データ量の削減は、このように第１映像を縮小することに代え、時系列でデータ量の削減を図る、例えば、フレームを間引くことで行ってもよい。ＭＰＥＧ規格においては、Ｉフレーム、Ｐフレーム、Ｂフレームが使用されるが、これらフレームの内、Ｐフレーム、Ｂフレームを優先的に間引くことで画像の劣化も抑えることが可能となる。
【００５９】
以上、本発明の実施形態のカラオケ装置２について説明したが、カラオケ装置２、あるいは、パーソナルコンピューター等、各種情報処理装置において実行され、本発明に係るカラオケ装置と同様の機能を実現するカラオケ用プログラムについても本発明の範疇に属する。
【符号の説明】
【００６０】
１：リモコン装置                    ４１：モニタ
２：カラオケ装置                    ４１ａ、４１ｂ：モニタ
５：サーバー装置                    ４２：スピーカ
１１：タッチパネルモニター          ４３ａ、４３ｂ：マイクロホン
１１ａ：表示部                      １３０：アクセスポイント
１１ｂ：タッチパネル                ２５１：演奏部
１２：ビデオＲＡＭ                  ２５２：音声合成部
１３：映像制御部                    ２５３ａ：加算部
１４：メモリ                        ２５３ｂ：加算部
１５：ＣＰＵ                        ２５４ａ：エフェクト部
１６：無線ＬＡＮ通信部              ２５４ｂ：エフェクト部
１７：操作部                        ３１１：映像再生部
１８：操作処理部                    ３１１ａ：第１デコード部
２１：操作部                        ３１１ｂ：第２デコード部
２２：操作処理部                    ３１２：グラフィック再生部
２４：ＬＡＮ通信部                  ３１３：メモリ
２５：音響再生部                    ３１４：拡大部
２７：メモリ                        ３１４ａ：分配部
３０：ＣＰＵ                        ３１４ｂ、３１４ｃ：拡大部
３１：映像制御部                    ３１５ａ：映像第１出力部
３２：ハードディスク                ３１５ｂ：映像第２出力部
【図１】
2020160125.tif 000003
【図２】
2020160125.tif 000004
【図３】
2020160125.tif 000005
【図４】
2020160125.tif 000006
【図５】
2020160125.tif 000007
【図６】
2020160125.tif 000008
【図７】
2020160125.tif 000009
【図８】
2020160125.tif 000010