(57)【要約】【課題】楽曲の演奏上、外部演奏音を適切な位置に音像定位させる。【解決手段】本発明に係る楽曲演奏装置は、楽曲情報に基づいて形成された演奏音を、複数のスピーカに音像定位出力可能とする演奏手段と、楽曲情報に基づいて演奏する際、パート演奏情報を定位情報に基づいて、複数のスピーカに定位させて出力する第１演奏処理と、楽曲情報に基づいて演奏する際、パート演奏情報を消音もしくは音量を抑制して演奏するとともに、外部楽器接続手段から入力される外部演奏音を、当該パート演奏情報に対応する定位情報に基づいて、複数のスピーカに音像定位させて出力する第２演奏処理と、を実行する制御手段と、を備えることを特徴とする。【選択図】図７
2015025934.tif 000002
【特許請求の範囲】
【請求項１】
楽曲情報に基づいて演奏を行う楽曲演奏装置において、
楽曲情報は、定位情報に対応付けられたパート演奏情報を含んで構成され、
外部楽器接続手段と、演奏手段、制御手段と、を備え、
外部楽器接続手段は、外部演奏音を出力する外部楽器を接続可能とし、
演奏手段は、楽曲情報に基づいて形成された演奏音を、複数のスピーカに音像定位出力可能とし、
制御手段は、第１演奏処理と、第２演奏処理と、を選択実行可能とし
第１演奏処理は、楽曲情報に基づいて演奏する際、パート演奏情報を定位情報に基づいて、複数のスピーカに定位させて出力し、
第２演奏処理は、楽曲情報に基づいて演奏する際、パート演奏情報を消音もしくは音量を抑制して演奏するとともに、外部楽器接続手段から入力される外部演奏音を、当該パート演奏情報に対応する定位情報に基づいて、複数のスピーカに音像定位させて出力する
楽曲演奏装置。
【請求項２】
制御手段は、撮像手段で撮像された撮像情報と定位情報に基づき、演奏者に対して演奏位置を指示する演奏位置指示処理を実行可能とする
請求項１に記載の楽曲演奏装置。
【請求項３】
演奏位置指示処理は、パート演奏情報の開始前に、パート演奏情報開始時の演奏位置を演奏者に指示する
請求項２に記載の楽曲演奏装置。
【請求項４】
制御手段は、撮像手段で撮像された撮像情報に基づいて演奏者の位置を取得する位置取得処理を実行可能とし、
演奏位置指示処理は、定位情報に基づく演奏位置に対し、取得した演奏者の位置にずれが生じた場合、演奏位置を指示する
請求項２または請求項３に記載の楽曲演奏装置。
【請求項５】
制御手段は、撮像手段で撮像された撮像情報に対して、複数のスピーカの位置を指定する位置指定処理を実行可能とし、
演奏位置指示処理は、位置指定処理で指定されたスピーカの位置に基づいて、演奏位置を指示する
請求項２から請求項４の何れか１項に記載の楽曲演奏装置。
【請求項６】
制御手段は、撮像手段で撮像された撮像情報に基づいて演奏者の位置を取得する位置取得処理と、
定位情報に基づく演奏位置と、取得した演奏者の位置のずれが所定期間継続した場合、定位情報を変更する変更処理と、を実行可能とする
請求項１に記載の楽曲演奏装置。
【請求項７】
楽曲情報に基づいて演奏を行う情報処理装置において実行される楽曲演奏プログラムであって、
楽曲情報は、定位情報に対応付けられたパート演奏情報を含んで構成され、
楽曲情報に基づいて演奏手段に演奏させる際、パート演奏情報を定位情報に基づいて、複数のスピーカに音像定位させて出力する第１演奏処理と、
楽曲情報に基づいて演奏手段に演奏する際、パート演奏情報を消音もしくは音量を抑制して演奏するとともに、外部楽器接続手段から入力される外部演奏音を、当該パート演奏情報に対応する定位情報に基づいて、複数のスピーカに音像定位させて出力する第２演奏処理とを、選択実行可能とする
楽曲演奏プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲情報に基づいて演奏を行う楽曲演奏装置、及び、楽曲演奏プログラムに関するものであり、特に、外部楽器を接続して、楽曲情報による演奏と一緒に演奏を楽しむことのできる楽曲演奏装置、及び、楽曲演奏プログラムに関する。
【背景技術】
【０００２】
従来、カラオケボックスやスナックなどのナイト店に設置されているカラオケ装置では、楽曲の演奏に合わせて歌唱を楽しむことが行われている。特許文献１には、歌唱のみならず楽器演奏を楽しむことのできるカラオケ装置が提案されている。この特許文献１に開示されるカラオケ装置は、カラオケ演奏されるパートの内、ミュート（消音）できるパートを表示し、利用者から指示されたパートをミュートし、当該パートのマイナスワン演奏を楽しむことができる。
【０００３】
カラオケ装置は、楽曲演奏装置（電子楽器）を利用して実現されたものであり、ＭＩＤＩなどを含んで構成された楽曲情報を使用して演奏音をスピーカに出力することが可能である。この楽曲演奏装置では、ある楽器（パート）の演奏音をスピーカに出力する際、例えば、左右に設置されたスピーカに対して、音量バランスを割り振ることで、演奏音の音像を定位させることが可能である。各楽器の演奏音を定位させることで、立体感を伴った演奏音を楽しむことが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１００７７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１においてマイナスワン演奏を行う際、エレキギターなどから出力される楽器信号は、ミキサアンプにてカラオケ装置からの演奏音とミキシング出力される。ギターなどモノラル出力の楽器信号は、左右のスピーカから放音した場合、その音像は、中央位置に定位することとなる。楽曲情報中、マイナスワンする楽器（パート）に対しても、その音像を定位させることが行われているが、このようにマイナスワン演奏時、常に、中央に定位することとなると、楽曲全体の音像からすると違和感が生じてしまう。特許文献１では、ミキサアンプ側で手動操作による音像定位を行うことも考えられるが、マイナスワンされる楽器（パート）が何処に定位するかを確認することは困難である。
【課題を解決するための手段】
【０００６】
上述する課題を解決するため、本発明に係る楽曲演奏装置は以下の構成を採用するものである。
楽曲情報に基づいて演奏を行う楽曲演奏装置において、
楽曲情報は、定位情報に対応付けられたパート演奏情報を含んで構成され、
外部楽器接続手段と、演奏手段、制御手段と、を備え、
外部楽器接続手段は、外部演奏音を出力する外部楽器を接続可能とし、
演奏手段は、楽曲情報に基づいて形成された演奏音を、複数のスピーカに音像定位出力可能とし、
制御手段は、第１演奏処理と、第２演奏処理と、を選択実行可能とし
第１演奏処理は、楽曲情報に基づいて演奏する際、パート演奏情報を定位情報に基づいて、複数のスピーカに定位させて出力し、
第２演奏処理は、楽曲情報に基づいて演奏する際、パート演奏情報を消音もしくは音量を抑制して演奏するとともに、外部楽器接続手段から入力される外部演奏音を、当該パート演奏情報に対応する定位情報に基づいて、複数のスピーカに音像定位させて出力する。
【０００７】
さらに本発明に係る楽曲演奏装置において、
制御手段は、撮像手段で撮像された撮像情報と定位情報に基づき、演奏者に対して演奏位置を指示する演奏位置指示処理を実行可能とする。
【０００８】
さらに本発明に係る楽曲演奏装置において、
演奏位置指示処理は、パート演奏情報の開始前に、パート演奏情報開始時の演奏位置を演奏者に指示する。
【０００９】
さらに本発明に係る楽曲演奏装置において、
制御手段は、撮像手段で撮像された撮像情報に基づいて演奏者の位置を取得する位置取得処理を実行可能とし、
演奏位置指示処理は、定位情報に基づく演奏位置に対し、取得した演奏者の位置にずれが生じた場合、演奏位置を指示する。
【００１０】
さらに本発明に係る楽曲演奏装置において、
制御手段は、撮像手段で撮像された撮像情報に対して、複数のスピーカの位置を指定する位置指定処理を実行可能とし、
演奏位置指示処理は、位置指定処理で指定されたスピーカの位置に基づいて、演奏位置を指示する。
【００１１】
さらに本発明に係る楽曲演奏装置において、
制御手段は、撮像手段で撮像された撮像情報に基づいて演奏者の位置を取得する位置取得処理と、
定位情報に基づく演奏位置と、取得した演奏者の位置のずれが所定期間継続した場合、定位情報を変更する変更処理と、を実行可能とする。
【００１２】
また本発明に係る楽曲演奏プログラムは、
楽曲情報に基づいて演奏を行う情報処理装置において実行される楽曲演奏プログラムであって、
楽曲情報は、定位情報に対応付けられたパート演奏情報を含んで構成され、
楽曲情報に基づいて演奏手段に演奏させる際、パート演奏情報を定位情報に基づいて、複数のスピーカに音像定位させて出力する第１演奏処理と、
楽曲情報に基づいて演奏手段に演奏する際、パート演奏情報を消音もしくは音量を抑制して演奏するとともに、外部楽器接続手段から入力される外部演奏音を、当該パート演奏情報に対応する定位情報に基づいて、複数のスピーカに音像定位させて出力する第２演奏処理とを、選択実行可能とする。
【発明の効果】
【００１３】
本発明に係る楽曲演奏装置、及び、楽曲演奏プログラムは、あるパート演奏情報を、マイナスワン（消音もしくは音量を抑制）して演奏し、当該パート演奏情報に対応するパートを外部楽器で演奏して楽しむ際、マイナスワンするパート演奏情報に対応付けられた定位情報を、外部楽器から入力される外部演奏情報に適用し、その音像制御するものである。このような構成により、楽曲の演奏上、外部演奏情報を適切な位置に音像定位させ、違和感のない演奏を楽しむことを可能とする。
【００１４】
さらに本発明に係る楽曲演奏装置は、撮像手段で撮像された撮像情報と、定位情報に基づく演奏位置情報を表示手段に表示させることで、演奏者に対し、外部楽器の適切な演奏位置を知らせることが可能となる。演奏者が適切な演奏位置で演奏することで、外部演奏情報の音像定位と、視覚上の演奏位置とを整合させ、違和感のない演奏を楽しむことが可能となる。
【００１５】
さらに本発明に係る楽曲演奏装置は、楽曲の再生開始前、あるいは、イントロ期間など、マイナスワンの対象となっているパート演奏情報の開始前に演奏位置情報を表示手段に表示させることで、演奏者は、演奏開始直後から、外部演奏情報の音像定位にあった適切な演奏位置で演奏を行うことが可能となる。
【００１６】
さらに本発明に係る楽曲演奏装置は、撮像手段で撮像された演奏者の位置を取得し、定位情報に基づく演奏位置情報に対し、取得した演奏者の位置にずれが生じた場合、演奏位置情報を表示することで、演奏位置が不適切な場合に演奏者に演奏位置を知らせるとともに、適切な場合には演奏位置情報が表示されない撮像情報を楽しむことが可能となる。
【００１７】
さらに本発明に係る楽曲演奏装置は、撮像手段で撮像された撮像情報に対して、演奏会場に設置されている複数のスピーカの位置を指定可能とし、指定されたスピーカの位置に基づいて演奏位置情報を表示することで、実際の音像定位と整合性の高い演奏位置情報を表示することが可能となる。
【００１８】
さらに本発明に係る楽曲演奏装置は、定位情報に基づく演奏位置情報に対し、撮像手段の撮像情報から取得した演奏者の位置のずれが所定時間継続した場合、定位情報を変更することで、視覚上の演奏者の位置に外部演奏情報の音像定位を適応させ、違和感のない演奏を楽しむことが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係るカラオケシステムの構成を説明するブロック図
【図２】本発明の実施形態に係る音響制御部の構成を示す図
【図３】本発明の実施形態に係るカメラによる撮像の様子を説明するための図
【図４】本発明の実施形態に係る位置設定処理における設定画面を示す図
【図５】本発明の実施形態に係る楽曲演奏処理を示すフロー図
【図６】本発明の実施形態に係る定位関連処理を示すフロー図
【図７】本発明の実施形態に係る演奏状況画面（位置不適切時）を示す図
【図８】本発明の実施形態に係る演奏状況画面（位置適切時）を示す図
【図９】本発明の実施形態に係る演奏状況画面（位置不適切、継続時）を示す図
【発明を実施するための形態】
【００２０】
では、本発明の実施形態に係る楽曲演奏装置について、カラオケシステムに適用した場合を例にとって説明を行う。図１は、本発明の実施形態に係るカラオケシステムの構成を示す図である。本実施形態におけるカラオケシステムは、カラオケ装置２と、リモコン装置１ａ、１ｂにて構成されおり、これらは、ＬＡＮ１００にて、無線あるいは有線で通信可能なように互いに接続されている。
【００２１】
店舗に設置されるカラオケ装置２は、リモコン装置１（例えば、１ａ、１ｂ）によりユーザからの各種指示を受け付けることが可能となっている。本実施形態では、ユーザインタフェイスとしてボタンなどの操作部１７と、タッチパネルモニタ１１を備えている。タッチパネルモニタ１１は、表示部１１ａとタッチパネル１１ｂを有して構成され、表示部１１ａに各種インターフェイスを表示するとともに、ユーザからのタッチ入力を受付可能としている。リモコン装置１は、ＬＡＮ１００上に設置されたアクセスポイント１１０を介してカラオケ装置２と無線接続される。図中に示されるように、例えばカラオケ装置２にはリモコン装置１ａと１ｂが対応付けられ、ＬＡＮ１００を介して情報を送受信することが可能となっている。また、リモコン装置１とカラオケ装置２とは赤外線などを利用した近距離通信を行うことも可能である。
【００２２】
さらに、本実施形態のカラオケシステムでは、ユーザに各種サービスを提供するためインターネットを介してカラオケ用ホスト５（サーバ装置）が設けられ、その記憶部５１には、楽曲情報やユーザ情報など、各種サービスに必要な情報を記憶している。そして、ルータ１２０を通じて、カラオケ装置２、又はリモコン装置１と、各種情報の送受信が行えるように構成されている。
【００２３】
本発明の実施形態に係る楽曲演奏装置としてのカラオケ装置２は、全体を統括制御する制御部３０を中心として機能し、主な機能として、楽曲演奏を実行する楽曲演奏処理を行う。記憶手段としてのハードディスク（ＨＤＤ）３２には、楽曲演奏処理で使用する楽曲情報が記憶されている。
【００２４】
本実施形態では、カラオケ装置２に対して外部楽器４４ｃを接続可能な外部楽器接続手段（図示せず）を備えている。カラオケ装置２に接続される外部楽器４４ｃとしては、ギター、ベースなどの弦楽器の他、キーボードなどの鍵盤楽器、あるいは、ドラムなどの打楽器を使用することが可能である。ユーザは、外部楽器４４ｃを演奏することで、カラオケの自動演奏に演奏を行う、所謂、マイナスワン演奏を楽しむことが可能である。なお、本実施形態では、マイナスワンパートの定位情報を外部楽器４４ｃから入力される外部演奏情報に適用することで、外部演奏情報に対し、自動演奏に設定されていた音像定位を付与することを可能としている。さらに、自動演奏に設定されていた音像定位に対応した演奏位置をユーザに対して指示することを可能としている。指示に基づき演奏位置が適切でないことを知ったユーザは、演奏位置を変更することとなる。そのため、本発明に係るカラオケ装置２は、ギター、ベース、ショルダータイプの鍵盤楽器など、可搬型の外部楽器４４ｃに対して特に有効である。
【００２５】
なお、外部楽器４４ｃには、ＭＩＤＩ信号のような外部演奏情報を出力可能なものを使用し、音響制御部７０内の音源部７１を制御することで、演奏を行うこととしてもよい。この他、電気的な音響出力を有さないアコースティックな楽器を採用してもよい。その場合には、マイクロホンやピックアップなどで拾った楽器音を外部演奏情報として利用することが考えられる。
【００２６】
楽曲情報は、ＭＩＤＩ情報などで構成された演奏情報、演奏に同期して歌詞を表示するための歌詞情報を含んで構成されている。演奏情報は、楽器種別などに対応したパート演奏情報を複数含んで構成される。本実施形態では、このパート演奏情報に対して定位情報が対応付けられており、複数のスピーカの音量割り付けを変更することで、パート演奏情報の演奏音を音像定位させることが可能となっている。本実施形態では、２つのスピーカ４２Ｒ、４２Ｌを使用した２次元的な音像定位を行うこととしているが、さらにスピーカを配置することで３次元的に音像定位させることとしてもよい。また、定位情報は、楽曲の演奏中、固定位置に定位するものであってもよいし、演奏の時間進行に応じて経時的に変化するものであってもよい。
【００２７】
歌詞情報は、歌唱補助を行うための情報であり、楽曲が指定されると、楽曲情報に含まれる演奏情報を音響制御部７０にて演奏させるとともに、モニタ４１に対して、演奏に同期した歌詞表示が実行される。
【００２８】
さらに、カラオケ装置２には、カメラ４３が接続されており、制御部３０は、カメラ４３で撮像した撮像情報を取り込み、モニタ４１に対するリアルタイム表示、撮像情報の録画などを可能としている。
【００２９】
図２は、本発明の実施形態に係る音響制御部７０の構成を示す図である。図１で説明したように、本実施形態に係るカラオケ装置２は、複数のスピーカ４２Ｒ、４２Ｌに対して各パート毎に音像定位した演奏音を出力することを可能としている。本実施形態の音響制御部７０（本発明における「演奏手段」に相当）は、音源部７１、Ａ／Ｄ変換部７２、音像制御部７３、加算部７４Ｒ、７４Ｌ、Ｄ／Ａ変換部７５Ｒ、７５Ｌを含んで構成されている。
【００３０】
まず、外部楽器４４ｃを接続していない状態での演奏について説明する。音源部７１は、演奏情報に基づいて演奏信号Ｓ#Ｒ、Ｓ#Ｌを出力する手段であって、電子楽器の一種としてよく知られるＭＩＤＩ音源などが使用される。音源部７１は、左右の演奏音Ｓ#Ｒ、Ｓ#Ｌを出力する。演奏音Ｓ#Ｒ、Ｓ#Ｌは、演奏情報に含まれる各パート演奏情報に基づいて形成されるとともに、定位情報に基づいて左右に配分され、音像定位した状態となっている。外部楽器４４ｃからの入力が無い場合、音源部７１で形成された左右の演奏音Ｓ#Ｒ、Ｓ#Ｌは、Ｄ／Ａ変換部７５Ｒ、７５Ｌにてアナログ化され、各左右のスピーカ４２Ｒ、４２Ｌから出力される。
【００３１】
一方、外部楽器４４ｃを接続した状態では、外部楽器４４ｃから音響制御部７０に外部演奏音ＳＧが入力される。外部演奏音は、Ａ／Ｄ変換部７２にてデジタル化され、音像制御部７３に入力される。この音像制御部７３は、モノラル入力された外部演奏音ＳＧを定位情報に基づいて左右に割り振って音像定位させる手段である。この音像制御部７３に入力される定位情報は、楽曲演奏処理時、外部楽器４４ｃにて演奏を行うパート、すなわち、マイナスワンさせるパートに対応する定位情報である。この外部楽器４４ｃを使用する形態では、マイナスワン対象となるパート演奏情報を音源部７１で演奏することに代え、外部演奏音ＳＧが使用され、外部楽器音ＳＧにはマイナスワン対象となるパート演奏情報に対応する定位情報が使用され、外部楽器音ＳＧに対して音像定位が行われる。
【００３２】
音像制御部７３にて、音像定位された外部楽器音ＳＧ#Ｒ、ＳＧ#Ｌは、加算部７４Ｒ、７４Ｌにて左右の演奏音Ｓ#Ｒ、Ｓ#Ｌとそれぞれ加算され、Ｄ／Ａ変換部７５Ｒ、７５Ｌにてアナログ化され、各左右のスピーカ４２Ｒ、４２Ｌから出力される。このように本実施形態では、外部楽器４４ｃを接続して演奏を行った場合、外部演奏音に対してマイナスワン対象となったパート演奏情報の定位情報が付与されることで、外部演奏音に対して自動演奏される楽曲と同様に音像定位させることが可能となる。
【００３３】
図３は、本発明の実施形態に係るカメラ４３による撮像の様子を説明するための図である。本実施形態のカラオケ装置２では、楽曲演奏する際、パート演奏情報に対応付けられた定位情報に基づいて、演奏者が何処に位置すればよいかを指示することが可能となっている。そのため、カメラ４３で撮像した撮像情報をモニタ４１などの表示手段に表示するとともに、表示手段上に定位情報に基づく演奏位置情報を表示させることとしている。
【００３４】
このように、表示手段上に演奏位置情報を表示させる場合、カメラ４３で撮像された撮像情報と、スピーカ４２Ｒ、４２Ｌの位置関係を設定しておく必要ある。撮像範囲中の所定位置にスピーカ４２Ｒ、４２Ｌが位置するようカメラ４３を配置することとしてもよいが、本実施形態では、カメラ４３の撮像範囲に対してスピーカ４２Ｒ、４２Ｌの位置を設定する位置設定処理を行うこととしている。図３は、外部楽器４４ｃを演奏する演奏者が位置するステージが示されている。このステージの左右後方には、スピーカ４２Ｒ、４２Ｌが設置されている。カメラ４３は、このスピーカ４２Ｒ、４２Ｌが撮像範囲に入るように撮像を行う。
【００３５】
図４は、本発明の実施形態に係る位置設定処理における設定画面が示されている。この設定画面は、リモコン装置１のタッチパネルモニタ１１に表示され、ユーザは、図示しないユーザインターフェイスを利用して位置設定処理を開始する。この位置設定処理は、通常のユーザ（カラオケ店舗の顧客）で行うのではなくサービスマンモードなど管理者側で行うことのできる項目としておくことが好ましい。タッチパネルモニタ１１には、カメラ４３で撮像されたステージ上の様子（図３）が撮像情報表示枠１１ａ内に表示されている。図３のようにスピーカ４２Ｒ、４２Ｌが撮像情報内に位置している場合、表示されるメッセージなどに従い、撮像情報表示枠内１１ａにおける左右のスピーカ４２Ｒ、４２Ｌの位置を指定することで、カメラ４３の撮像範囲に対応するスピーカ４２Ｒ、４２Ｌの位置指定が行われる。位置の指定は、メッセージに従って左右のスピーカ４２Ｒ、４２Ｌを順番に指定する以外に、左右のスピーカアイコンを、撮像情報上それぞれ左右のスピーカ４２Ｒ、４２Ｌの位置に置いていくなど各種形態を採用することが考えられる。
【００３６】
図３の実線で示されるスピーカ４２Ｒ、４２Ｌの位置は、カメラ４３の撮像範囲内に位置する場合であった。ステージの状況によっては、カメラ４３の撮像範囲内にスピーカが位置しない場合が考えられる。図３に破線で示すスピーカ４２Ｒ’、４２Ｌ’は、カメラ４３の撮像範囲内に位置しない設置形態である。図４の位置設定処理における設定画面は、このような設置形態に考慮したものであって、撮像情報範囲枠１１ａよりも大きいスピーカ位置指定枠１１ｂが設けられている。スピーカ４２Ｒ’、４２Ｌ’のように、撮像情報表示枠１１ａ内にスピーカが表示されていない場合、ユーザは、実際のステージのスピーカ配置の様子と、タッチパネル１１に表示された撮像情報を比較し、スピーカ４２Ｒ’、４２Ｌ’が概略何処に位置するかをスピーカ位置指定枠１１ｂ内において指定する。このように撮像情報よりも大きいスピーカ位置指定枠１１ｂ内でスピーカの位置を指定することで、撮像情報中に位置しないスピーカ位置を指定することが可能となっている。
【００３７】
設定画面上において、左右のスピーカ４２Ｒ、４２Ｌ（４２Ｒ’、４２Ｌ’）の位置を指定した後、設定画面上に表示される設定ボタンを操作することで、カメラ４３の撮像範囲内に対するスピーカ４２Ｒ、４２Ｌ（４２Ｒ’、４２Ｌ’）の位置を示すスピーカ位置情報が設定される。設定されたスピーカ位置情報に基づき、カメラ４３で撮像された撮像情報に対して演奏位置を表示することが可能となる。なお、本実施形態では、左右のスピーカ４２Ｒ、４２Ｌを用いた場合について説明したが、使用するスピーカの数は、２以上を使用する形態も考えられる。
【００３８】
図５は、本発明の実施形態に係る楽曲演奏処理を示すフロー図である。楽曲演奏装置としてのカラオケ装置２は、リモコン装置１あるいはカラオケ装置２側の操作部２１で指定された楽曲を予約楽曲として予約テーブルに登録し、順次演奏を行う。図５の楽曲演奏処理は、カラオケ装置２が起動後に実行される処理である。楽曲演奏処理では、予約テーブル中に登録された未演奏の予約情報をチェックする（Ｓ１０１）。この予約情報は、ユーザによって指定された楽曲を特定するための楽曲識別情報が含まれている。
【００３９】
また、予約情報には、指定された楽曲について、外部楽器４４ｃを使用して演奏を行う（外部楽器演奏、本発明の「第２演奏処理」に相当）か、あるいは、外部楽器４４ｃを使用せずに演奏を行う（通常演奏、本発明の「第１演奏処理」に相当）かを示す指定情報が含まれている。外部楽器パートは楽曲情報中に予め定められた固定のパートとすることとしてもよいが、ユーザによって指定することとしてもよい。その場合、予約情報中の指定情報には、外部楽器４４ｃにて演奏する外部楽器パートが含まれることとなる。ユーザは、選曲時、複数の外部楽器パートの内、どの外部楽器パートを演奏するかを選択することで、選択した外部楽器パートを外部楽器４４ｃにて演奏することが可能である。
【００４０】
予約テーブルをチェックして、次に演奏する楽曲がある都判定された場合（Ｓ１０２：Ｙｅｓ）、予約情報中の指定情報に基づき、指定された楽曲を外部楽器演奏で演奏するか、通常演奏で演奏するかが判定される（Ｓ１０３）。通常演奏と判定された場合（Ｓ１０３：Ｎｏ）には、通常演奏処理（Ｓ２００）が実行される。この場合、外部楽器４４ｃを使用せず、歌唱を楽しむ演奏となる。そのため、音源部７１では、演奏情報に基づく演奏を行う際、外部楽器４４ｃに対応するパート演奏情報を含めて演奏を行う。
【００４１】
一方、外部楽器演奏と判定された場合（Ｓ１０３：Ｙｅｓ）は、ユーザ（演奏者）により外部楽器４４ｃを使用した演奏が行われることとなる。この外部楽器演奏では、音源部７１では、演奏情報に基づく演奏を行う際、外部楽器４４ｃに対応するパート演奏情報を消音もしくは音量を抑制して演奏する。まず、外部楽器演奏では、外部楽器４４ｃにて演奏を行う外部楽器パートが特定される。カラオケ装置２の制御部３０は、指定された楽曲について、１Ｔｉｃｋ（演奏情報の所定単位）分の演奏情報を読み出す（Ｓ１０６）。Ｓ１０７では、取得した演奏情報中に外部楽器パートの定位情報が指定されているかを判定し、指定されている場合（Ｓ１０７：Ｙｅｓ）には、外部楽器パートの定位情報を設定する（Ｓ１０８）。定位情報は、ＭＩＤＩ規格に従う演奏情報の場合、パンポットと呼ばれる指令に相当し、パンポットを示すコントロールチェンジ番号（１０番）と、そのパラメータ（例えば、左への音像定位なら０、中央への音像定位なら６４、右への音像定位なら１２７が設定されている）の組み合わせで構成される。
【００４２】
Ｓ１０９では、Ｓ１０８で設定した外部楽器パートの定位情報と、設定されているスピーカ位置に基づいて演奏位置が特定される。このスピーカ位置は、図４で説明したように、位置設定処理にて設定されたカメラ４３の撮像範囲に対するスピーカ４２Ｒ、４２Ｌ（４２Ｒ’、４２Ｌ’）の位置を示す情報である。あるいは、このスピーカ位置は、位置設定処理にて設定することに代え、予め用意されたものを使用することとしてもよい。その場合、スピーカ４２Ｒ、４２Ｌ（４２Ｒ’、４２Ｌ’）と、カメラ４３の撮像範囲を所定関係となるように配置される。このように演奏位置を特定することで、カメラ４３にて撮像される撮像情報上で演奏位置、すなわち、外部楽器４４ｃの音像が定位する位置を特定することが可能となる。
【００４３】
Ｓ１１０では、カメラ４３で撮像された撮像情報内において、実際に演奏者が位置する実演奏位置を特定する位置取得処理が実行される。この実演奏位置は、カメラ４３で撮像された撮像情報に対して顔認識などの画像認識することで、演奏者の位置の特定を行う。通常、カラオケ装置２を使用した外部楽器４４ｃの演奏では、１人で行われることが多いため、撮像情報内の人物位置を特定することで十分である。撮像情報内に複数の人物が入る場合には、外部楽器４４ｃの位置を認識することで演奏者を特定することとしてもよい。あるいは、撮像情報に基づいて、演奏者の位置を特定することに代え、外部楽器４４ｃあるいは演奏者にセンサを配設し、このセンサに基づく位置に基づいて実演奏位置を特定することとしてもよい。
【００４４】
Ｓ１０９で特定された定位情報に基づく適切な演奏位置と、Ｓ１１０で特定された実演奏位置が異なる場合（Ｓ１１１：Ｙｅｓ）には、定位関連処理（Ｓ３００）にて、演奏者に対して適切な演奏位置を指示するなどの処理を行う。一方、両演奏位置が一致すると判定された場合（Ｓ１１１：Ｎｏ）には、定位関連処理（Ｓ３００）を実行することなく、次の処理へとすすむ。Ｓ１１２では、音像制御部７３に外部楽器パートの定位情報を出力し、外部楽器４４ｃからの外部楽器音を音像定位させる。Ｓ１１３では、Ｓ１０６で取得した演奏情報を音源部７１に出力する。音源部７１は、入力された演奏情報に基づき演奏を行い、演奏音Ｓ#Ｒ、Ｓ#Ｌを出力する。その際、音源部７１は、外部楽器パートに対応するパート演奏情報の演奏音を消音もしくは音量を抑制して演奏させるマイナスワン演奏を実行する。
【００４５】
図６には、本発明の実施形態に係る定位関連処理を示すフロー図が示されている。この定位関連処理は、図５で両演奏位置が異なる場合（Ｓ１１１：Ｙｅｓ）に実行される処理であり、演奏者に対して適切な演奏位置を促す、あるいは、実演奏位置に外部楽器４４ｃを音像定位させるなどの処理を実行する。この定位関連処理を実行することで、外部楽器４４ｃの演奏位置と外部楽器４４ｃの音像定位置を適切な関係とすることが可能となる。
【００４６】
定位関連処理が開始されると、演奏位置変更指示が表示中か否かが判定され、表示されていない場合（Ｓ３０１：Ｎｏ）には、モニタ４１などの表示手段に対して演奏位置変更指示を表示開始する（Ｓ３０２）。演奏位置変更指示の表示開始に伴い、その表示期間がカウント開始される（Ｓ３０３）。
【００４７】
図７には、本発明の実施形態に係る演奏状況画面（位置不適切時）が示されている。演奏状況画面は、カラオケ装置２に接続されたモニタ４１に表示される画面であり、楽曲演奏時、カメラ４３で撮像された撮像情報を撮像情報表示枠４１ａ内にリアルタイム表示する。撮像情報表示枠４１ａに表示される撮像情報は、左右反転させた表示となっており、演奏者は鏡と同様に自分の様子を確認することが可能である。演奏状況画面には、歌唱すべき歌詞４１ｃなど、演奏中の楽曲に関連する各種情報が表示される。外部楽器４４ｃによる演奏を行う場合、コードなど外部楽器４４ｃの演奏のための補助情報を表示させてもよい。その場合、歌本などと同様に歌詞４４ｃに対応させてコードを表示することが好ましい。
【００４８】
本実施形態の演奏位置変更指示は、撮像情報表示枠４１ａ内に演奏位置指定枠４１ｂを表示することで、演奏者に対して適切な演奏位置を告知することとしている。図７には、カメラ４３の撮像範囲（撮像情報表示枠４１ａ）に対応する左右のスピーカ４２Ｒ、４２Ｌの位置が示されている。定位情報は、左右のスピーカ４２Ｒ、４２Ｌに対応して音像位置を特定するものであって、図７の場合、右のスピーカ４２Ｒの位置と、左のスピーカ４２Ｌ間をｎ：ｍに分割する位置が音像定位置となっている。本実施形態では、演奏位置変更指示として、撮像情報表示枠４１ａ内に演奏位置表示枠４１ｂを表示させている。演奏者は、モニタ４１に表示される自分（演奏者）の位置と演奏位置指定枠４１ｂのずれを確認して、適切な位置に移動して演奏することが可能である。なお、撮像情報を左右反転して表示する関係上、左右のスピーカ４２Ｒ、４２Ｌの位置、定位情報についても左右反転した形態となっている。演奏位置変更指示は、このように演奏位置指定枠４１ｂを表示することに代え、演奏者に対して右、左、どちらにずれているか、あるいは、どちらに移動することで適切な演奏位置になるかを表示することとしてもよい。
【００４９】
図８には、本発明の実施形態に係る演奏状況画面（位置適切時）が示されている。図７で説明した演奏位置変更指示を確認した演奏者が適切な演奏位置に位置した場合（図５のフロー図中、Ｓ１１１：Ｎｏ）には、演奏情報表示枠４１ａから演奏位置指定枠４１ｂが消去される。なお、本実施形態では、演奏者の実演奏位置が不適切な場合のみ、演奏位置指定枠４１ｂを表示することとしているが、実演奏位置が適切な場合であっても、演奏位置指定枠４１ｂを表示するなど定位関連処理を実行することとしてもよい。
【００５０】
図６の定位関連処理のフロー図に戻り、Ｓ３０４では、演奏位置変更指示の表示が一定期間継続したか、すなわち、演奏位置と実演奏位置が一定期間異なっていたかが判定される。Ｓ３０３において、演奏位置変更指示の開始に伴い、カウント開始されたカウント値は、演奏位置と実演奏位置が異なる期間中、Ｓ３０７で継続してインクリメントされる。Ｓ３０４では、このカウント値が閾値に達したことを条件として、演奏位置と実演奏位置が一定期間異なっていたかを判定する。本実施形態では、演奏位置と実演奏位置が一定期間異なっていた場合（Ｓ３０４：Ｙｅｓ）、実演奏位置に外部楽器４４ｃの音像位置が定位するように定位情報を変更することとしている（Ｓ３０５）。定位情報の変更後、カウント値のカウントは停止させる（Ｓ３０６）。
【００５１】
図９には、本発明の実施形態に係る演奏状況画面（位置不適切、継続時）が示されている。演奏位置と実演奏位置が一定期間異なっていた場合（Ｓ３０４：Ｙｅｓ）、図９に示されるように、外部楽器４４ｃに対応するパート演奏情報に規定されている定位情報を、演奏者の実際の位置（実演奏位置）に基づいて変更される。図の例では、定位情報は、右スピーカ４２Ｒと左スピーカ４２Ｌの間をｎ：ｍに分割する位置に音像定位させていたが、これを、撮像情報中の実演奏位置に基づいて、ｎ’：ｍに分割する位置に音像定位させる定位情報に変更することで、実演奏位置と外部楽器４４ｃの音像定位置とを整合させ、聴覚的な音像定位を視覚的な位置に整合させ、違和感を抑えることとしている。
【００５２】
なお、本実施形態では、撮像情報中で特定した演奏者の実演奏位置を使用することとしているが、定位情報の変更は、簡易的には定位情報の左右を入れ換える形態としてもよい。以上、本実施形態のカラオケ装置２（楽曲演奏装置）では、外部楽器４４ｃを使用して演奏を行う際、外部楽器４４ｃに対応する外部楽器パートに対し、当該外部楽器パートに対応するパート演奏情報に付された定位情報を使用して、外部演奏音を音像定位させて出力することで、楽曲全体における外部楽器４４ｃの音像定位置を適切なものとすることが可能となる。さらに、定位関連処理を行うことで、演奏者に対して適切な演奏位置を促す、あるいは、実演奏位置に外部楽器４４ｃを音像定位させるなど、外部楽器４４ｃの音像定位と、実際の演奏位置を適切な関係とすることが可能となる。
【００５３】
図７などを用いて使用した演奏位置指示のための演奏位置指定枠４１ｂは、楽曲の演奏中のみならず、楽曲の演奏開始前、もしくは、楽曲中、外部楽器４４ｃに対応するパート演奏情報の演奏開始前に表示させることとしてもよい。このような形態では、演奏者は、自分のパートの演奏開始前に、演奏位置指定枠４１ｂに位置することで、演奏開始時から適切な演奏位置にて外部楽器４４ｃの演奏を開始することが可能となる。さらに、楽曲の演奏開始前に、演奏位置指定枠４１ｂ等を使用して、演奏位置の指示を行う場合には、カメラ４３の撮像情報を利用した位置取得処理にて、演奏位置指定枠４１ｂに演奏者が位置したことを条件として、楽曲情報の演奏を開始させることとしてもよい。
【００５４】
なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。
【符号の説明】
【００５５】
１ａ、１ｂ…リモコン装置、１１…タッチパネルモニタ、１１ａ…表示部、１１ｂ…タッチパネル、１２…ビデオＲＡＭ、１３…映像制御部、１４…メモリ、１５…制御部、１６…無線ＬＡＮ通信部、１７…操作部、１８…操作処理部、１９…赤外線通信部、２…カラオケ装置（コマンダ）、２１…操作部、２２…操作処理部、２３…赤外線通信部、２４…ＬＡＮ通信部、２７…メモリ、２８…ビデオＲＡＭ、２９…映像再生部、３０…制御部、３１…映像制御部、３２…ハードディスク、４１…モニタ、４２…スピーカ、４３…カメラ、４４ａ、４４ｂ…歌唱用マイク、４４ｃ…外部楽器、１００…ＬＡＮ、１１０…アクセスポイント、１２０…ルータ
【図１】
2015025934.tif 000003
【図２】
2015025934.tif 000004
【図３】
2015025934.tif 000005
【図４】
2015025934.tif 000006
【図５】
2015025934.tif 000007
【図６】
2015025934.tif 000008
【図７】
2015025934.tif 000009
【図８】
2015025934.tif 000010
【図９】
2015025934.tif 000011