(57)【特許請求の範囲】
【請求項１】
制御部を備え、楽曲情報を再生するカラオケ装置であって、
楽曲情報は、演奏情報と、歌詞情報と、模範旋律情報とを含んで構成され、
制御部は、指定された楽曲情報について楽曲再生処理を実行可能とし、
楽曲再生処理は、指定された楽曲情報の演奏情報を演奏する演奏処理と、指定された楽曲情報の模範旋律情報と歌詞情報とを表示部に表示させる立体表示処理と、を実行し、
立体表示処理は、表示部の第１表示領域内に、第１立体深度で歌詞情報を表示させ、第１表示領域と少なくとも一部が重畳する第２表示領域内に、第１立体深度とは異なる第２立体深度で模範旋律情報を表示させる
カラオケ装置。
【請求項２】
立体表示処理は、歌詞情報を非透過状態で表示し、少なくとも第１立体深度に対して第２立体深度が前に位置する場合、模範旋律情報を透過状態で表示する
請求項１に記載のカラオケ装置。
【請求項３】
立体表示処理は、演奏情報の演奏進行に対応する歌詞情報と模範旋律情報とが共通の領域を通過するようにスクロール表示させる
請求項１または請求項２に記載のカラオケ装置。
【請求項４】
第１立体深度と第２立体深度の前後関係を変更可能とする
請求項１から請求項３の何れか１項に記載のカラオケ装置。
【請求項５】
第１立体深度と第２立体深度の前後関係は、入力部からの操作に基づいて変更される
請求項４に記載のカラオケ装置。
【請求項６】
第１立体深度と第２立体深度の前後関係は、楽曲情報内に規定された情報に基づいて変更される
請求項４に記載のカラオケ装置。
【請求項７】
第１立体深度と第２立体深度の前後関係は、マイクロホンから入力される歌唱音声信号に対する評価に基づいて変更される
請求項４に記載のカラオケ装置。
【請求項８】
情報処理装置において、楽曲情報を再生するカラオケ用プログラムであって、
楽曲情報は、演奏情報と、歌詞情報と、模範旋律情報とを含んで構成され、
指定された楽曲情報の演奏情報を演奏する演奏処理と、
表示部の第１表示領域内に、第１立体深度で歌詞情報を表示させ、第１表示領域と少なくとも一部が重畳する第２表示領域内に、第１立体深度とは異なる第２立体深度で模範旋律情報を表示させる立体表示処理と、を情報処理装置に実行させることを特徴とする
カラオケ用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱を楽しむためのカラオケ装置、及び、携帯端末で実行することで歌唱を楽しむことのできるカラオケ用プログラムに関する。
【背景技術】
【０００２】
伴奏に合わせて歌唱を楽しむカラオケ装置では、伴奏を演奏する機能に加え、歌唱を補助する各種機能が搭載されている。特許文献１には、カラオケ曲の演奏と並行して、前記ガイドメロディデータを読み出し、縦軸を歌唱旋律の音高、横軸を時間に展開したピアノロールを描画してモニタに表示するピアノロール表示手段を備えたカラオケ装置が開示されている。このようなピアノロール表示手段を使用することで、歌唱者は箇所すべき旋律について、音の高さ、長さを直感的に把握することが可能である。
【０００３】
また、特許文献２には、立体映像表示手段を使用したカラオケ装置が開示されている。特許文献２に開示されるカラオケ装置では、入力される演奏曲の音程とマイクからの音声信号の音程との音程差に応じた視差を付けて、立体表示手段に出力する。歌唱者は、立体映像表示手段に表示される歌詞文字の立体度（飛び出し具合や引っ込み具合）によって、歌唱の音程のずれを把握することが可能となっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２０５８１７号公報
【特許文献２】特許第３３９７９８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示されている技術は、ピアノロール表示を楽曲の進行に応じて表示することで行われる。しかしながら、このようなピアノロール表示は、業務用カラオケのように表示画面が大きく、ピアノロール表示できる十分な領域が確保されていることを前提としている。
【０００６】
近年、カラオケは、業務用のみならず、家庭用ゲーム機向けのサービスも実施されている。据え置き型の家庭用ゲーム機の場合、テレビを使用して画面表示を行うため、ピアノロール表示に使用する領域を十分に確保できる。しかしながら、持ち運びが可能な携帯ゲーム機の場合、その表示画面は小さく、表示できる情報量は制限されたものとなる。カラオケにおける主たる歌唱補助は、歌唱者に歌唱する歌詞を表示することである。携帯ゲーム機の小さな表示画面に歌詞表示を行った場合、ピアノロール表示のための十分な領域を確保することができなかった。本発明は、携帯ゲーム機のように、狭い画面であっても、歌詞表示、及び、ピアノロール表示のような旋律に関する表示を、共に十分な大きさで表示することを主たる目的としている。
【課題を解決するための手段】
【０００７】
そのため、本発明に係るカラオケ装置は、以下の構成を採用することとしている。
制御部を備え、楽曲情報を再生するカラオケ装置であって、
楽曲情報は、演奏情報と、歌詞情報と、模範旋律情報とを含んで構成され、
制御部は、指定された楽曲情報について楽曲再生処理を実行可能とし、
楽曲再生処理は、指定された楽曲情報の演奏情報を演奏する演奏処理と、指定された楽曲情報の模範旋律情報と歌詞情報とを表示部に表示させる立体表示処理と、を実行し、
立体表示処理は、表示部の第１表示領域内に、第１立体深度で歌詞情報を表示させ、第１表示領域と少なくとも一部が重畳する第２表示領域内に、第１立体深度とは異なる第２立体深度で模範旋律情報を表示させる。
【０００８】
さらに本発明に係るカラオケ装置において、
立体表示処理は、歌詞情報を非透過状態で表示し、少なくとも第１立体深度に対して第２立体深度が前に位置する場合、模範旋律情報を透過状態で表示する。
【０００９】
さらに本発明に係るカラオケ装置において、
立体表示処理は、演奏情報の演奏進行に対応する歌詞情報と模範旋律情報が共通の領域を通過するようにスクロール表示させる。
【００１０】
さらに本発明に係るカラオケ装置は、
第１立体深度と第２立体深度の前後関係を変更可能とする。
【００１１】
さらに本発明に係るカラオケ装置において、
第１立体深度と第２立体深度の前後関係は、入力部からの操作に基づいて変更される。
【００１２】
さらに本発明に係るカラオケ装置において、
第１立体深度と第２立体深度の前後関係は、楽曲情報内に規定された情報に基づいて変更される。
【００１３】
さらに本発明に係るカラオケ装置において、
第１立体深度と第２立体深度の前後関係は、マイクロホンから入力される歌唱音声信号に対する評価に基づいて変更される。
【００１４】
また本発明に係るカラオケ用プログラムは、
情報処理装置において、楽曲情報を再生するカラオケ用プログラムであって、
楽曲情報は、演奏情報と、歌詞情報と、模範旋律情報とを含んで構成され、
指定された楽曲情報の演奏情報を演奏する演奏処理と、
表示部の第１表示領域内に、第１立体深度で歌詞情報を表示させ、第１表示領域と少なくとも一部が重畳する第２表示領域内に、第１立体深度とは異なる第２立体深度で模範旋律情報を表示させる立体表示処理と、を情報処理装置に実行させることを特徴とする。
【発明の効果】
【００１５】
本実施形態におけるカラオケ装置、カラオケ用プログラムによれば、表示部の第１表示領域内に、第１立体深度で歌詞情報を表示させ、第１表示領域と少なくとも一部が重畳する第２表示領域内に、第１立体深度とは異なる第２立体深度で模範旋律情報を表示することで、携帯ゲーム機のような狭い画面であっても、歌詞表示、及び、模範旋律など旋律に関する表示を、共に十分な大きさで表示することが可能である。
【図面の簡単な説明】
【００１６】
【図１】携帯端末の構成を示すブロック図
【図２】携帯端末の外観を示す図
【図３】楽曲情報のデータ構成を示す図
【図４】携帯端末で実行される楽曲再生処理を示すフロー図
【図５】楽曲再生時における携帯端末の表示の様子を示す図
【図６】立体表示部で表示する各層（歌詞、旋律、背景）の表示画像を示す図
【図７】第１表示形態（歌詞が手前）における立体深度を説明するための模式図
【図８】第２表示形態（旋律が手前）における立体深度を説明するための模式図
【図９】携帯端末で実行される立体表示処理（手動モード）を示すフロー図
【図１０】携帯端末で実行される立体表示処理（採点モード）を示すフロー図
【図１１】携帯端末で実行される立体表示処理（自動変更モード）を示すフロー図
【図１２】カメラを使用した背景表示層の画像形成を説明するための図
【図１３】他の実施形態の楽曲再生時における立体表示部の表示の様子を示す図
【発明を実施するための形態】
【００１７】
図１は、本発明の実施形態で使用する携帯端末１の構成を示す図である。本実施形態の携帯端末１は、２画面（立体表示部２２とタッチパネル表示部２１）を有する携帯ゲーム機を使用している。この携帯端末１は、外部メモリＥＸあるいは記憶部１３に記憶されたカラオケ用プログラムを実行することでカラオケ装置として機能する。
【００１８】
本実施形態の携帯端末１は、制御部１０、ＲＡＭ１２、記憶部１３、画像処理部１４、音響処理部１６を含んで構成された制御手段を有している。記憶部１３には、ＮＡＮＤ型フラッシュメモリ等の不揮発性の記憶手段が使用される。この記憶部１３には、携帯端末１のオペレーティングシステムプログラム、そして、当該プログラムで使用する各種データが記憶されている。また、本実施形態のカラオケ用プログラムも、無線ＬＡＮ通信部１１などを介して記憶部１３に記憶することが可能である。
【００１９】
制御部１０は、ＣＰＵ等、携帯端末１全体を統括して制御する手段であり、記憶部１３に記憶されたプログラム、データに基づいて各種制御を実行する。ＲＡＭ１２には、制御部１０の制御によって生成されたデータを一時的に格納する。
【００２０】
音響処理部１６は、携帯端末１の音響関係の入出力を行う手段である。制御部１０の制御によりスピーカ１８Ｒ、１８Ｌに放音させる手段である。また、音響処理部１６は、マイクロホン１７と接続され、マイクロホン１７から歌唱音声信号など、周囲の音声を取り込み可能としている。
【００２１】
タッチパネル表示部２１は、画像を表示する表示部２１ｂとその表面あるいは裏面に配設されるタッチパネル２１ａを有して構成されている。タッチパネル２１ａには、静電容量方式などユーザのタッチ位置を認識可能とする各種タイプを採用することが可能である。制御部１０は、表示部２１ｂに表示を行うとともに、タッチパネル２１ａからのタッチ入力にて、表示させている画像中のどの部分にタッチ入力されたかを判定することが可能である。
【００２２】
画像処理部１４は、携帯端末１の画像関係の入出力を行う手段である。本実施形態では、立体表示部２２用の画像情報と、タッチパネル表示部２１用の画像を形成し、それぞれに表示出力させる。本実施形態の立体表示部２２は、視差バリアを使用した立体表示方式を使用しており、ユーザは眼鏡を必要することなく裸眼で、右目位置に右目用の画像を、左目位置に左目用の画像を視認することが可能である。なお、このような立体表示方式以外に、回折格子を使用した眼鏡、あるいは、アクティブシャッターを使用した眼鏡を使用する立体表示方式を使用する立体表示方式であってもよい。また、画像処理部１４は、立体表示部２２の近傍に配置されたカメラ１５から撮像情報を取り込む機能を有する。
【００２３】
無線ＬＡＮ通信部１１は、アクセスポイントと無線通信を行うことが可能であり、無線基地局と無線通信することで、インターネットを使用した通信を行うことが可能である。携帯端末１は、インターネット上のサーバから各種処理を実行可能な各種プログラム（本実施形態のカラオケ用プログラムを含む）をダウンロードすることが可能である。なお、携帯端末１が外部から取得するプログラムは、通信回線を利用した形態以外に、外部メモリ接続端子２３に接続された外部メモリＥＸから提供されることとしてもよい。なお、携帯端末１には、無線ＬＡＮ通信部１１以外に、有線ＬＡＮ、あるいは、携帯電話無線網と通信可能な通信部、あるいは、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離通信手段をさらに設けることとしてもよい。
【００２４】
本実施形態の携帯端末１は、タッチパネル２１ａ以外に、ユーザからの指示入力を受け付け可能な入力部２０を備えている。入力部２０からで受け付けた指示入力は、操作処理部１９を介して、制御部１０へ伝達されて各種処理に使用される。
【００２５】
図２は、本実施形態の携帯端末１の外観を示した図である。本実施形態の携帯端末１は、筐体２４の上部に、中央に立体表示部２２を有し、その左右にスピーカ１８Ｒ、１８Ｌが設置されている。また、立体表示部２２の上にはカメラ１５が設置されている。
【００２６】
筐体２４の下部には、タッチパネル表示部２１が配置されている。図の状態は、１の楽曲を選択したときに表示される楽曲確認画面が表示された状態である。タッチパネル表示部２１の周囲には、ユーザからの指示を受け付け可能な入力部２０として、電源スイッチ２０１、アナログスティック２０３、十字キー２０４、４つの操作スイッチからなる操作スイッチ群２０２、立体深度変更スライドスイッチ２０５が設けられている。ユーザは、この立体深度変更スライドスイッチ２０５を上下に操作することで、立体表示部２２に表示する立体映像について、その立体深度を変更することが可能である。なお、立体深度変更スライドスイッチ２０５を最も下に位置させた場合には、立体表示部２２に表示される映像は２次元映像となる。また、タッチパネル表示部２１の下方には、収音するためのマイクロホン１７が配置されている。楽曲確認画面には、選曲した楽曲について、その歌手名、楽曲名、歌い出しが表示されている。ユーザは、楽曲名など楽曲関連情報に基づいて、歌唱したい楽曲を確認し、「予約」ボタンを操作することで、表示されている楽曲を予約することが可能である。
【００２７】
本実施形態では、予約する楽曲について、立体表示部２２で表示する表示形態を設定することが可能となっている。楽曲再生時、立体表示部２２には、歌詞表示層と旋律表示層が異なる立体深度で表示されることになるが、表示設定中、「状態」と表示されたボタンを操作することで、再生開始時のデフォルト優先度を設定することが可能である。「状態」を操作することで、ボタンの表記は、「歌詞を手前」、「旋律を手前」に変更する。「歌詞を手前」の選択時には、歌詞表示層の立体表示深度は、旋律表示層の立体表示深度よりも小さく設定され、歌詞が旋律よりも手前となるように立体表示される。一方、「旋律を手前」の選択時には、歌詞表示層の立体表示深度は、旋律表示層の立体表示深度よりも大きく設定され、旋律が歌詞よりも手前となるように立体表示される。
【００２８】
表示設定中、「モード」と表示されたボタンを操作することで「手動」、「採点」、「自動」に変更することが可能である。「手動」を選択した場合、楽曲再生時、タッチパネル表示部２１に表示される「状態」と表示されたボタンを操作することで、歌詞と旋律の前後関係を変更することが可能である。「採点」を選択した場合、歌唱の採点（評価）に基づき、歌詞と旋律の前後関係が変更される。例えば、区間毎の採点結果が所定値に満たない場合、次の区間において旋律が歌詞の手前に表示される。一方、区間毎の採点結果が所定値以上の場合、次の区間では歌詞が旋律の手前に表示される。「自動」を選択した場合、楽曲情報中に規定された情報に基づき、楽曲の進行に応じて、歌詞と旋律の前後関係が変更される。
【００２９】
表示設定中、「背景」ボタンは、使用する背景画像を選択するボタンである。本実施形態では、「なし」、「スライドショー」、「カメラ」を選択することが可能である。立体表示時、背景画像は、歌詞表示層と旋律表示層の立体深度よりも大きい立体深度で、最も奥となるように表示される。「なし」を選択した場合、所定色の背景画像が使用される。「スライドショー」を選択した場合、記憶部１３に記憶しているユーザが撮像した撮像情報が所定時間毎に切り換えて表示される。「カメラ」を選択した場合、楽曲再生時、カメラ１５からの撮像情報がリアルタイムで表示される。ユーザは、携帯端末１を手に持った状態で歌唱するため、背景画像には、歌唱するユーザの顔が表示されることになる。
【００３０】
楽曲確認画面で「予約」操作を行うことで、楽曲確認画面に表示されている楽曲の楽曲識別情報が、予約情報としてＲＡＭ１２の予約リストに追加される。その際、タッチパネル表示部２１で設定した表示設定に関する情報も予約情報に追加される。楽曲再生処理では、予約リスト中の予約情報を参照し、楽曲識別情報に対応する楽曲情報を順次再生する。
【００３１】
図３は、本実施形態のカラオケ用プログラムで使用する楽曲情報のデータ構成を示す図である。楽曲情報は、楽曲情報に関連する各種情報であるメタ情報と、演奏等、各種処理を実行する実情報を含んで構成される。メタ情報には、楽曲情報を識別するための楽曲識別情報、楽曲名、歌手名、作詞者名、作曲者名、評価区間情報、原曲キーが含まれている。評価区間情報は、歌唱評価（採点）区間を定めた情報であり、例えば、楽曲再生中、歌唱評価区間（例えば、２小節毎）の歌唱評価値（採点値）が算出される。楽曲終了時には、全ての歌唱評価区間の歌唱評価値を統合（平均、合計、重み付け加算など）して、最終的な歌唱評価値が算出される。原曲キー（オリジナルキーとも呼ばれる）は、楽曲情報に対する歌手が歌唱するオリジナルの音程キーを規定した情報である。カラオケ用プログラムでは、ユーザの操作に応じて原曲キーを使用することが可能である。
【００３２】
楽曲情報の実情報には、演奏情報、歌詞情報、模範旋律情報が含まれている。演奏情報は、ＭＩＤＩ規格に基づいて電子楽器用の制御情報、あるいは、実際の演奏を録音した圧縮音声情報等で構成され、カラオケの伴奏音を演奏するための情報である。歌詞情報は、歌唱補助のため、演奏情報に同期して表示される情報であり、演奏に同期して表示された歌詞の色替えを行うように構成することも可能である。模範旋律情報は、歌唱評価処理（採点処理）に使用される情報であり、歌唱の基準となる音高等を示す情報である。楽曲再生時、この模範旋律情報を、マイクロホン１７から入力される歌唱音声信号の音高と比較することで、ユーザの歌唱能力を評価することが可能である。
【００３３】
図４は、携帯端末１で実行される楽曲再生処理を示すフロー図である。カラオケ用プログラムの起動時には、楽曲再生処理が実行される。楽曲再生処理では、ＲＡＭ１２に記憶されている予約リストを確認し、次の楽曲の予約があるか否かが確認される（Ｓ１０１）。予約リストに未再生の予約情報がある場合（Ｓ１０１：Ｙｅｓ）、予約情報に含まれる楽曲識別情報に対応する楽曲情報が記憶部１３、あるいは、外部メモリＥＸから読み出される（Ｓ１０２）。読み出された楽曲情報中の演奏情報を、音響処理部１６で再生させることで、予約された楽曲の演奏が開始される（Ｓ１０３）。次に、予約情報中、楽曲確認画面の「状態」ボタンで設定したデフォルト優先度、すなわち、立体表示部２２の立体表示において、歌詞を手前に表示するか、旋律を手前に表示するかを示す情報が読み出される（Ｓ１０４）。次に、読み出したデフォルト優先度に基づく立体深度で立体表示部２２に対する表示が開始される（Ｓ１０５）。
【００３４】
楽曲の再生中、立体表示処理（Ｓ２００）と、歌唱評価処理（Ｓ１０６）が継続して行われる。採点処理では、模範旋律情報とマイクロホン１７から入力される歌唱音声信号から抽出した音高とを比較して、評価区間情報毎の歌唱評価を行う。本実施形態では、評価区間情報毎の歌唱評価として、区間得点情報が算出される。演奏情報に基づく演奏が終了したことが判定される（Ｓ１０７：Ｙｅｓ）と、歌唱評価処理による歌唱評価結果を、立体表示部２２、あるいは、タッチパネル表示部２１に表示し、一連の楽曲再生処理を終了する。
【００３５】
図５は、楽曲再生時における立体表示部２２の表示の様子を示した図である。図５（Ａ）は、立体表示部２２の表示の様子であり、図５（Ｂ）は、タッチパネル表示部２１の表示の様子を示している。本実施形態の立体表示部２２は、ユーザが携帯する携帯端末１に設けられたものであって、通常、カラオケボックスなどで使用するカラオケ装置２のように大きな画面では無く、数インチ程度の大きさの小さな画面を有する。このような小さな画面では、表示できる情報量に制限がある。文字を小さく表示することで、情報量を大きくすることも可能ではあるが、その場合、読み取り難い情報となる。特に、歌唱すべき歌詞を瞬時に読み取る必要があるカラオケでは、歌詞文字を小さく表示することは難しい。本実施形態では、立体表示部２２を使用して、歌詞文字及び模範旋律の両方を、十分な大きさで読み取りやすく表示することを可能としている。
【００３６】
立体表示部２２の表示画面には、歌詞文字を表示する第１表示領域Ａ１と、旋律に関する情報を表示する第２表示領域Ａ２が設けられている。第１表示領域Ａ１と、第２表示領域Ａ２は、その一部が重畳して配置されている。このように複数の情報が重畳した場合、各情報を読み取ることが見づらくなってしまうが、本実施形態では、立体表示を使用して、両情報を読み取りやすくすることとしている。
【００３７】
図５（Ｂ）は、楽曲再生中のタッチパネル表示部２１の表示の様子を示した図であり、上部には、再生の進行状況を示すプログレスバーが表示されている。このほか、楽曲のキーを変更するキー変更ボタン（上昇、下降、原曲キー）、「演奏停止」ボタン、「歌い直し」ボタン、「予約確認」ボタンが設けられている。さらに、本実施形態では、楽曲確認画面と同様、「状態」ボタン、「モード」ボタン、「背景」ボタンを有する表示設定が設けられており、楽曲再生中においてもこれらの設定を変更することが可能となっている。
【００３８】
図６は、立体表示部２２で表示する各層（歌詞、旋律、背景）の表示画像を示す図である。立体表示部２２による立体表示では、図６（Ａ）に示す歌詞表示層Ｌ１、図６（Ｂ）に示す旋律表示層Ｌ２、図６（Ｃ）に示す背景表示層が使用される。歌詞表示層Ｌ１は、楽曲情報中の歌詞情報に基づいて歌詞文字を表示する表示層である。本実施形態では、歌唱開始前のタイミングで歌詞フレーズを所定位置に表示し、歌唱タイミングに同期して歌詞フレーズの文字色を変更する表示方式を採用している。歌詞表示層Ｌ１に表示する歌詞文字は、文字の視認性を向上させるため、非透過状態で表示することが好ましい。図６（Ａ）中、位置Ｓは歌唱タイミングとなる歌詞文字であり、位置Ｓまでの歌詞文字は、歌唱済みであって、歌唱前の歌詞文字とは異なる配色となっている。
【００３９】
図６（Ｂ）に示す旋律表示層Ｌ２は、楽曲情報中の模範旋律情報に基づいて模範旋律を示す音符マークを表示する。歌唱者はこの旋律表示層Ｌ２に表示される模範旋律の音符マークを視認することで、歌唱すべき旋律を確認することが可能である。旋律表示層Ｌ２の中央には、通過バー２２１が設けられている。模範旋律を示す音符マークは、縦軸方向の位置を音高、横軸方向の長さを音長として有し、歌唱タイミングにおいて、この通過バー２２１を通過するように、左から右へと移動（スクロール表示）する。このような表示形態は、ピアノロールとも呼ばれる表示形態として知られている。さらに本実施形態では、旋律表示層Ｌ２にマイクロホン１７から入力された歌唱音声信号の音高を模範旋律の音高と対比表示している。歌唱音声信号の音高は、歌唱評価処理（Ｓ１０６）で抽出したものを使用される。歌唱音声信号の音高を示す音符マークは、通過バー２２１の左側で、模範旋律の音符マークに重畳して表示される。本実施形態では、歌唱音声信号の音高が、模範旋律の音高に適合した場合と、適合しなかった場合（ミス）とで、歌唱音声信号の音符マークの表示形態を変更している。ユーザは、音符マークを視認することで、自己の歌唱状態を確認することが可能である。
【００４０】
図６（Ｃ）に示す背景表示層Ｌ３は、歌詞と旋律の背景となる画像情報が表示され、本実施形態では、ユーザが選択することが可能である。図２のタッチパネル表示部２１に表示される楽曲確認画面中の「背景」ボタンを操作することで、「なし」、「スライドショー」、「カメラ」の３つの中からユーザが嗜好する映像を選択することが可能である。図６（Ｃ）は、「なし」を選択した状態である。「なし」の場合、ユーザが好む背景色を選択可能としてもよい。
【００４１】
本実施形態では、これら３つの層を使用して立体表示部２２にユーザに視認させる立体像を形成している。特に、歌詞表示層Ｌ１と旋律表示層Ｌ２の前後関係、すなわち、歌詞表示層Ｌ１と旋律表示層Ｌ２の立体深度を異ならせており、図５（Ａ）に示すように第１表示領域Ａ１と第２表示領域Ａ２が重畳した状態であっても、歌詞文字と旋律に関する情報を読み取りやすくしている。図７は、第１表示形態（歌詞が手前）における立体深度を説明するための模式図である。基準位置ＳＰ（例えば、ユーザの視点位置）から、歌詞表示層Ｌ１までの距離を第１立体深度Ｄ１、基準位置ＳＰから、旋律表示層Ｌ２までの距離を第２立体深度Ｄ２、基準位置ＳＰから、背景表示層Ｌ３までの距離を第３立体深度Ｄ３として規定する。第１表示形態では、第１立体深度Ｄ１＜第２立体深度Ｄ２＜第３立体深度Ｄ３の関係となるように、立体表示部２２で表示が行われる。なお、図２で説明した立体深度変更スライドスイッチ２０５を操作した際には、操作位置に応じて、各立体深度Ｄ１〜Ｄ３が等倍で変更され、立体表示の立体度が変更される。
【００４２】
このような立体深度の関係を使用することで、ユーザは、手前側に歌詞文字を、奥側に旋律に関連する情報を視認することが可能となる。したがって、ユーザは、歌詞文字を確認したい場合には、歌詞表示層Ｌ１に焦点を合わせ、旋律に関する情報を視認したい場合には、旋律表示層Ｌ２に焦点を合わせることで、立体表示部２２の小さな画面であっても十分な大きさで情報を視認することが可能となる。また、歌詞文字、旋律に関する情報のどちらかを視認している場合であっても、歌詞文字を表示する第１表示領域Ａ１と、旋律に関する情報を表示する第２表示領域Ａ２は重畳しているため、焦点は合わないものの、同じ視野内に他方の情報を視認することが可能となる。したがって、焦点を合わせていない他方の情報に変化が現れた場合、視野範囲を変化させることなく、焦点距離を変化させるだけで、他方の情報をすぐに視認することが可能となる。
【００４３】
図８は、第２表示形態（旋律に関する情報が手前）における立体深度を説明するための模式図である。第１表示形態では、第２立体深度Ｄ２＜第１立体深度Ｄ１＜第３立体深度Ｄ３の関係となるように、立体表示部２２で表示が行われる。したがって、旋律に関する情報が、歌詞文字の手前となるように立体表示されることになる。なお、本実施形態のように、旋律に関する情報を手前に表示する場合、旋律表示層Ｌ２に表示する音符マークは透過状態とし、奥側に表示される歌詞文字を十分に視認可能とすることが好ましい。図７の第１表示形態、図８の第２表示形態を、切り換えることで、歌詞文字、旋律に関する情報のどちらか注目したい情報が手前となるように立体表示することが可能となる。
【００４４】
立体表示上、歌詞文字、旋律に関する情報の前後関係の切り替えは、予約時、楽曲演奏時のどちらも、タッチパネル表示部２１に表示される「状態」ボタンを操作することで切り替えが可能である。また、本実施形態では、「モード」ボタンの操作により、切り替えの形態を変更することが可能である。本実施形態の「モード」は、「手動」、「採点」、「自動」の３形態を有している。「手動」に切り換えた場合、歌詞文字と旋律に関する情報の前後関係、すなわち、第１立体深度Ｄ１と第２立体深度の長短は、「状態」ボタンを操作することで切り換えることが可能である。
【００４５】
図９は、携帯端末１で実行される手動モード時の立体表示処理（Ｓ２００）を示すフロー図である。この立体表示処理（Ｓ２００）は、カラオケ用プログラムで実行する処理である。携帯端末６では、立体表示部２２における立体表示を行う立体表示機能（ハードウェアやドライバ）が搭載されている。カラオケ用プログラムは、携帯端末６に搭載された立体表示機能を使用して、歌唱補助に関する立体表示を行う。言い換えると、本発明に係るカラオケ用プログラムは、携帯端末６が有する立体表示機能まで含むものではない。楽曲再生時、制御部１０は、タッチパネル表示部２１上で、「状態」ボタンが操作されたか否かを監視する（Ｓ２０１）。「状態」ボタンが操作された場合、すなわち、優先度変更入力ありと判定された場合（Ｓ２０１：Ｙｅｓ）には、入力された優先度に基づいて、立体表示部２２における第１立体深度Ｄ１と第２立体深度Ｄ２の長短を変更する（Ｓ２０２）。そして、マイクロホン１７から入力される歌唱音声信号から歌唱旋律情報を形成（Ｓ２０３）し、模範旋律情報と歌唱旋律情報に基づく旋律表示層を形成して、立体表示部２２に表示する（Ｓ２０４）。「状態」ボタン上「歌詞文字を手前」と変更した場合には、図７に示す第１表示形態の立体深度の関係に変更し、「旋律を手前」と変更した場合には、図８に示す第２表示形態の立体深度の関係に変更して表示を行う。このように、手動モードを選択した場合、ユーザの操作に応じて、歌詞文字、旋律に関する情報を手前に表示することが可能である。
【００４６】
図１０は、携帯端末１で実行される立体表示処理（採点モード）を示すフロー図である。採点モードは、歌唱評価処理で算出された区間得点情報を使用して、歌詞文字、旋律に関する情報の前後関係を切り換えるモードである。歌唱評価処理（Ｓ１０６）で算出された区間得点情報を取得（Ｓ２１０）し、区間得点情報が所定値以上の場合（Ｓ２１１：Ｙｅｓ）、図７に示す第１表示形態の立体深度の関係、すなわち、歌詞表示層Ｌ１が手前となるように設定する（Ｓ２１２）。一方、区間得点情報が所定値に満たない場合（Ｓ２１１：Ｎｏ）、図８に示す第２表示形態の立体深度の関係、すなわち、旋律表示層Ｌ２が手前となるように設定する（Ｓ２１３）。そして、マイクロホン１７から入力される歌唱音声信号から歌唱旋律情報を形成（Ｓ２１４）し、模範旋律情報と歌唱旋律情報に基づく旋律表示層を形成して、立体表示部２２に表示する（Ｓ２１５）。このように、採点モードでは、ユーザの歌唱評価が良い場合には、歌詞文字を手前に表示し、悪い場合には、旋律に関する情報を手前に表示することで、ユーザに歌唱評価状態を通知することが可能となる。特に、歌唱評価が悪い場合には、旋律に関する情報に注目させることで、ユーザの音程に対するサポートを強化することが可能となる。
【００４７】
なお、本実施形態の採点モードでは、楽曲再生中にマイクロホン１７から入力される歌唱音声信号を評価の対象としているため、１つ前の評価区間の評価結果で、立体表示の前後関係が変更されることになる。このような形態に代え、以前に同じ楽曲を歌唱したときの履歴（歌唱音声信号の録音、もしくは、評価区間毎の区間得点情報の記録）に基づいて、立体表示の前後関係を変更することとしてもよい。その場合、立体表示の前後関係を評価区間の評価と適合させることが可能となる。
【００４８】
図１１は、携帯端末１で実行される立体表示処理（自動変更モード）を示すフロー図である。自動変更モードは、楽曲情報に規定された区間指定情報に基づき、立体表示の前後関係を切り換えるモードである。区間指定情報は、楽曲情報中のメタ情報内に記憶しておくなど、楽曲情報個別に設定された情報である。楽曲再生処理では、この区間指定情報に基づき、図７の第１表示形態で表示するか、図８の第２表示形態で表示するかが決定される。区間指定情報は、第１表示形態あるいは第２表示形態を直接示す情報であってもよいし、前奏、Ａメロ、間奏、Ｂメロ、後奏のように楽曲の区間種別を表した情報であってもよい。区間種別を表した情報の場合、区間種別に応じて第１表示形態で表示するか、あるいは第２表示形態で表示するかが決定される。また、区間指定情報は、楽曲の進行に伴って変化する形態の他、楽曲を通じて変化しない所定の表示形態であってもよい。
【００４９】
立体表示処理では、楽曲再生処理中、現在の区間指定情報を取得（Ｓ２２０）し、現在の区間指定情報が歌詞表示優先（第１表示形態）か否かを判定する（Ｓ２２１）。歌詞優先の場合（Ｓ２２１：Ｙｅｓ）には、図７に示す第１表示形態の立体深度の関係、すなわち、歌詞表示層Ｌ１が手前となるように設定する（Ｓ２２２）。一方、歌詞優先でない場合（Ｓ２２１：Ｎｏ）、図８に示す第２表示形態の立体深度の関係、すなわち、旋律表示層Ｌ２が手前となるように設定する（Ｓ２２３）。そして、マイクロホン１７から入力される歌唱音声信号から歌唱旋律情報を形成（Ｓ２２４）し、模範旋律情報と歌唱旋律情報に基づく旋律表示層を形成して、立体表示部２２に表示する（Ｓ２２５）。このように、自動変更モードでは、楽曲情報に規定された情報に応じて、歌詞文字もしくは旋律に関する情報を手前に表示することが可能となる。
【００５０】
以上、説明したように本実施形態では３つのモードを変更することで、各モードに応じた表示形態の変更を行うことが可能となっている。
【００５１】
図５の表示設定欄中、「背景」ボタンを操作することで、背景の形態を「なし」、「スライドショー」、「カメラ」の３形態から選択することができることを先に説明したが、「カメラ」について詳しく説明を行う。「カメラ」を選択した場合、背景表示層Ｌ３には、歌唱するユーザに向くように配置されているカメラ１５からの撮像情報がリアルタイムで表示される。図１２は、カメラ１５を使用した背景表示層Ｌ３の画像形成を説明するための図であって、カメラ１５による撮像領域１５ａを示した図である。カメラ１５は、携帯端末１の他のプログラムにも使用可能とするため、携帯端末１を所持するユーザの顔全域が撮影可能な画角となっている。カメラ１５からの撮像情報をそのまま背景表示層Ｌ３として使用した場合、歌唱するユーザの顔全体が背景表示層Ｌ３に表示されることになる。人によっては、自分の顔を見ながら歌唱することは恥ずかしさを感じることがある。本実施形態では、歌唱能力の向上を図ることを目的として、特に、撮像情報中、ユーザの口が位置すると予想される所定領域を切り出して、背景表示層Ｌ３に使用することとしている。このような表示形態では、歌唱において重要な口の開け方をユーザに確認させつつ、歌唱を行うことが可能である。なお、歌唱するユーザの口部分の領域の切り出しは、撮像領域１５ａ中の所定領域とすることに代え、画像認識技術を使用して口部分を抽出することとしてもよい。
【００５２】
図１３には、他の実施形態の楽曲再生時における立体表示部２２の表示の様子が示されている。図５で説明した実施形態では、旋律表示層Ｌ２は、歌詞フレーズを所定位置に表示して、歌唱タイミングに同期して、文字色を変更することで、歌唱すべき歌詞を通知する表示形態を採用していた。本実施形態では、第１表示領域Ａ１に表示される歌詞文字を左から右にスクロール表示させ、歌唱タイミング時に通過バー２２１を通過する表示形態を採用している。このような表示形態では、音符マーク、歌詞文字共に、歌唱タイミングで通過バー２２１を通過することになる。したがって、ユーザは、通過バー２２１周囲の狭い領域に視線を置くこと、すなわち、ユーザは立体表示部２２の画面内で視線を大きく移動させることなく、焦点を変更することで、歌唱に必要な歌詞文字、及び、音符マークを視認することが可能となる。
【００５３】
以上、本実施形態のカラオケ装置について、カラオケ用プログラムが実行される携帯端末１（ゲーム機）を使用して説明したが、本発明は、携帯端末１のみならず、立体表示を可能とする各種情報処理装置に適用することが可能である。また、携帯端末１（情報処理装置）で実行されるカラオケ用プログラム自体も本発明の範疇に属するものである。
【符号の説明】
【００５４】
１：携帯端末                        ２１ｂ：表示部
２：カラオケ装置                    ２２：立体表示部
１０：制御部                        ２３：外部メモリ接続端子
１１：無線ＬＡＮ通信部              ２４：筐体
１２：ＲＡＭ                        ２０１：電源スイッチ
１３：記憶部                        ２０２：操作スイッチ群
１４：画像処理部                    ２０３：アナログスティック
１５：カメラ                        ２０４：十字キー
１５ａ：撮像領域                    ２０５：立体深度変更スライドスイッチ
１６：音響処理部                    ２２１：通過バー
１７：マイクロホン                  Ａ１：第１表示領域
１８Ｌ：スピーカ                    Ａ２：第２表示領域
１８Ｒ：スピーカ                    ＥＸ：外部メモリ
１９：操作処理部                    Ｌ１：歌詞表示層
２０：入力部                        Ｌ２：旋律表示層
２１：タッチパネル表示部            Ｌ３：背景表示層
２１ａ：タッチパネル                ＳＰ：基準位置
【図１】
0006301275.tif 000002
【図２】
0006301275.tif 000003
【図３】
0006301275.tif 000004
【図４】
0006301275.tif 000005
【図５】
0006301275.tif 000006
【図６】
0006301275.tif 000007
【図７】
0006301275.tif 000008
【図８】
0006301275.tif 000009
【図９】
0006301275.tif 000010
【図１０】
0006301275.tif 000011
【図１１】
0006301275.tif 000012
【図１２】
0006301275.tif 000013
【図１３】
0006301275.tif 000014