(57)【特許請求の範囲】
【請求項１】
楽曲再生のための各種処理を制御する制御部と、
楽曲再生中に表示部に表示する映像を表す第１映像情報および第２映像情報をそれぞれデコードする第１デコーダおよび第２デコーダと、
前記制御部が制御する各種処理のための一時記憶領域を備えるメモリと、
前記制御部、前記第１デコーダ、および前記第２デコーダ、の処理のために情報を伝送するバスと、
を備え、
前記制御部が制御する各種処理は、前記第１デコーダ、および前記第２デコーダのデコードと、前記第１映像情報が示す映像をフェードアウト表示させ、前記第２映像情報が示す映像をフェードイン表示させるクロスフェード表示処理と、を含み、
前記制御部は、
前記クロスフェード表示処理を制御する場合、前記バスの伝送路容量を表す総帯域と、前記第１映像情報のデコードで必要となる帯域と、前記両デコーダのデコード以外の前記各種処理のために使用される帯域とに基づいて前記第２映像情報のデコード開始時点を決定し、前記クロスフェード表示処理を制御するよりも前の前記デコード開始時点において前記第２デコーダにデコードを開始させることを特徴とする楽曲再生装置。
【請求項２】
楽曲再生のための各種処理を制御する制御部と、
楽曲再生中に表示部に表示する映像を表す第１映像情報および第２映像情報をそれぞれデコードする第１デコーダおよび第２デコーダと、
前記制御部が制御する各種処理のための一時記憶領域を備えるメモリと、
前記制御部と、前記メモリとにそれぞれ接続され、情報を伝送するバスと、
を備え、
前記制御部が制御する各種処理は、前記第１デコーダ、および前記第２デコーダのデコードと、前記第１映像情報が示す映像をフェードアウト表示させ、前記第２映像情報が示す映像をフェードイン表示させるクロスフェード表示処理と、を含み、
前記制御部は、
前記クロスフェード表示処理を制御する場合、前記バスの伝送路容量を表す総帯域と、前記第１映像情報のデコードで必要となる帯域と、前記両デコーダのデコード以外の前記各種処理のために使用される帯域とに基づいて前記第２映像情報のデコード開始時点を決定し、前記クロスフェード表示処理を制御するよりも前の前記デコード開始時点において前記第２デコーダにデコードを開始させることを特徴とする楽曲再生装置。
【請求項３】
前記制御部が前記各種処理を制御するときに前記バスの使用帯域を計測するバス帯域計測手段を備え、
前記制御部は、前記総帯域から前記バス帯域計測手段により計測された前記使用帯域と前記第１映像情報のデコードに必要な帯域とを引くことで余剰帯域を決定し、決定された前記余剰帯域に従って前記デコード開始時点を決めることを特徴とする請求項１または請求項２に記載の楽曲再生装置。
【請求項４】
前記制御部は、前記クロスフェード表示処理に使用する前記第２映像情報の情報量を、前記余剰帯域で割ることによりデコード期間を算出し、
前記デコード開始時点は、前記クロスフェード表示処理の開始から終了までの間の所定の第１時点よりも前記デコード期間の長さだけ前の時点であることを特徴とする請求項３に記載の楽曲再生装置。
【請求項５】
前記各種処理は、楽曲の再生処理、およびテロップの表示処理を含み、
前記各種処理のための情報を伝送する優先順位を決定し、前記各種処理のための情報を伝送するために割り当てられる割当帯域を優先順位に従って決定する決定部を備え、
前記決定部は、
前記優先順位の高い処理を優先して前記割当帯域を決定し、
前記各種処理のうちの楽曲の再生処理、およびテロップの表示処理のための情報を伝送する優先順位が前記第１デコーダのデコード、および前記第２デコーダのデコードのために情報を伝送する優先順位よりも優先されるように決定し、前記クロスフェード表示処理の開始から終了までの間の所定の第２時点において、前記第２デコーダのデコードのための情報を伝送する優先順位が、前記第１デコーダのデコードのための情報を伝送する優先順位よりも優先されるように決定することを特徴とする請求項１から請求項４のいずれかに記載の楽曲再生装置。
【請求項６】
前記第２デコーダのデコードのための情報を伝送する優先順位が前記第１デコーダのデコードのための情報を伝送する優先順位よりも優先されるように前記決定部により決定され、かつ、前記クロスフェード表示処理の開始から終了までの間の所定の第３時点に表示される映像を示す前記第１映像情報のデコードが前記第３時点までに完了しなかった場合、
前記制御部は、前記第３時点までにデコードされた前記第１映像情報のうちで、前記第３時点に最も近い時点においてデコードされた映像情報に従って映像が表示されるように、前記クロスフェード表示処理を制御することを特徴とする請求項５に記載の楽曲再生装置。
【請求項７】
楽曲再生のための各種処理を制御する制御部と、
楽曲再生中に表示部に表示する映像を表す第１映像情報および第２映像情報をそれぞれデコードする第１デコーダおよび第２デコーダと、
前記制御部が制御する各種処理のための一時記憶領域を備えるメモリと、
前記制御部と、前記メモリとにそれぞれ接続され、情報を伝送するバスと、
を備える楽曲再生装置のコンピュータに、
前記第１デコーダ、および前記第２デコーダのデコードを制御するデコード制御ステップと、
前記第１映像情報が示す映像をフェードアウト表示させ、前記第２映像情報が示す映像をフェードイン表示させるクロスフェード表示ステップと、
前記クロスフェード表示ステップを実行する場合、前記バスの伝送路容量を表す総帯域と、前記第１映像情報のデコードで必要となる帯域と、前記両デコーダのデコード以外の前記各種処理のために使用される帯域と、に基づいて前記第２映像情報のデコード開始時点を決定する決定ステップと、を実行させ、
前記クロスフェード表示ステップを実行するよりも前の前記デコード開始時点において前記第２デコーダにデコードを開始させることを特徴とする楽曲再生装置のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲情報が表す音を再生するとともに、映像情報が表す映像を再生することができる楽曲再生装置において、２つの映像のクロスフェード処理を実行させる技術に関する。
【背景技術】
【０００２】
従来、楽曲の再生中に画面に映像を再生することが可能な楽曲再生装置において、いきなり映像が切り替わると違和感が生じる。そこで特許文献１に記載の楽曲再生装置を一例とすると、楽曲再生装置においてクロスフェード処理が実行される。クロスフェード処理では、映像を入れ替える際に表示している映像をフェードアウトさせる処理と同時に、次に表示する映像をフェードインさせる処理が制御部により実行される。特許文献１に記載の楽曲再生装置においては、クロスフェード処理を実行するために、映像の再生中である時間帯、すなわちソフトウェアデコーダの処理負荷が比較的低い時間帯に、ソフトウェアデコーダが、映像情報を読み出して解凍（以下、デコードと記す。）し、次に再生する映像情報をメモリに記憶しておく。これにより、特許文献１に記載の楽曲再生装置は、クロスフェード処理中のソフトウェアデコーダの処理負荷を抑えることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−５４９６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の楽曲再生装置は、ソフトウェアデコーダプログラムを実行するＣＰＵの処理負荷を抑えることは可能であるが、ＣＰＵ、およびメモリなどの各構成要素を電気的に接続するバスの伝送路容量に限りがあることは考慮されていない。そのため、メモリが記憶するデコード後の映像情報が所定量未満になった時にソフトウェアデコーダがデコード処理を再開しても、帯域不足によりクロスフェード処理が開始されるまでに映像情報がデコードできない可能性がある。
【０００５】
さらに、従来の楽曲再生装置においては、非常に大きな帯域を備えていても、画像の高解像度化、および処理の多様化に従って、帯域不足が問題となる。
【０００６】
そこで、本発明は上述した問題を解決するためになされたものであり、有限な帯域を有効利用し、２つの映像情報が表す映像のクロスフェード表示処理を実行することを可能にする楽曲再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１記載の楽曲再生装置は、楽曲再生のための各種処理を制御する制御部と、楽曲再生中に表示部に表示する映像を表す第１映像情報および第２映像情報をそれぞれデコードする第１デコーダおよび第２デコーダと、前記制御部が制御する各種処理のための一時記憶領域を備えるメモリと、前記制御部、前記第１デコーダ、および前記第２デコーダ、の処理のために情報を伝送するバスと、を備え、前記制御部が制御する各種処理は、前記第１デコーダ、および前記第２デコーダのデコードと、前記第１映像情報が示す映像をフェードアウト表示させ、前記第２映像情報が示す映像をフェードイン表示させるクロスフェード表示処理と、を含み、前記制御部は、前記クロスフェード表示処理を制御する場合、前記バスの伝送路容量を表す総帯域と、前記第１映像情報のデコードで必要となる帯域と、前記両デコーダのデコード以外の前記各種処理のために使用される帯域とに基づいて前記第２映像情報のデコード開始時点を決定し、前記クロスフェード表示処理を制御するよりも前の前記デコード開始時点において前記第２デコーダにデコードを開始させることを特徴とする。
【０００８】
請求項２記載の楽曲再生装置は、楽曲再生のための各種処理を制御する制御部と、楽曲再生中に表示部に表示する映像を表す第１映像情報および第２映像情報をそれぞれデコードする第１デコーダおよび第２デコーダと、前記制御部が制御する各種処理のための一時記憶領域を備えるメモリと、前記制御部と、前記メモリとにそれぞれ接続され、情報を伝送するバスと、を備え、前記制御部が制御する各種処理は、前記第１デコーダ、および前記第２デコーダのデコードと、前記第１映像情報が示す映像をフェードアウト表示させ、前記第２映像情報が示す映像をフェードイン表示させるクロスフェード表示処理と、を含み、前記制御部は、前記クロスフェード表示処理を制御する場合、前記バスの伝送路容量を表す総帯域と、前記第１映像情報のデコードで必要となる帯域と、前記両デコーダのデコード以外の前記各種処理のために使用される帯域とに基づいて前記第２映像情報のデコード開始時点を決定し、前記クロスフェード表示処理を制御するよりも前の前記デコード開始時点において前記第２デコーダにデコードを開始させることを特徴とする。
【０００９】
請求項３記載の楽曲再生装置は、前記制御部が前記各種処理を制御するときに前記バスの使用帯域を計測するバスモニタを備え、前記制御部は、前記総帯域から前記バスモニタにより計測された前記使用帯域と前記第１映像情報のデコードに必要な帯域とを引くことで余剰帯域を決定し、決定された前記余剰帯域に従って前記デコード開始時点を決めることを特徴とする。
【００１０】
請求項４記載の楽曲再生装置に係る前記制御部は、前記クロスフェード表示処理に使用する前記第２映像情報の情報量を、前記余剰帯域で割ることによりデコード期間を算出し、  前記デコード開始時点は、前記クロスフェード表示処理の開始から終了までの間の所定の第１時点よりも前記デコード期間の長さだけ前の時点であることを特徴とする。
【００１１】
請求項５記載の楽曲再生装置に係る前記各種処理は、楽曲の再生処理、およびテロップの表示処理を含み、前記各種処理のための情報を伝送する優先順位を決定し、前記各種処理のための情報を伝送するために割り当てられる割当帯域を優先順位に従って決定する決定部を備え、前記決定部は、前記優先順位の高い処理を優先して前記割当帯域を決定し、前記各種処理のうちの楽曲の再生処理、およびテロップの表示処理のための情報を伝送する優先順位が前記第１デコーダのデコード、および前記第２デコーダのデコードのために情報を伝送する優先順位よりも優先されるように決定し、前記クロスフェード表示処理の開始から終了までの間の所定の第２時点において、前記第２デコーダのデコードのための情報を伝送する優先順位が、前記第１デコーダのデコードのための情報を伝送する優先順位よりも優先されるように決定することを特徴とする。
【００１２】
請求項６記載の楽曲再生装置に係る前記制御部は、前記第２デコーダのデコードのための情報を伝送する優先順位が前記第１デコーダのデコードのための情報を伝送する優先順位よりも優先されるように前記決定部により決定され、かつ、前記クロスフェード表示処理の開始から終了までの間の所定の第３時点に表示される映像を示す前記第１映像情報のデコードが前記第３時点までに完了しなかった場合、前記制御部は、前記第３時点までにデコードされた前記第１映像情報のうちで、前記第３時点に最も近い時点においてデコードされた映像情報に従って映像が表示されるように、前記クロスフェード表示処理を制御することを特徴とする。
【発明の効果】
【００１３】
請求項１、請求項２、および請求項７記載の発明によれば、制御部がクロスフェード表示処理を制御する場合、バスの伝送路容量を表す総帯域と、第１映像情報のデコードで必要となる帯域と、両デコーダのデコード以外の各種処理のために使用される帯域とに基づいて第２映像情報のデコード開始時点を決定し、クロスフェード表示処理を制御するよりも前においてデコード開始時点で第２デコーダにデコードを開始させる。余剰帯域に従って第２映像情報のデコード開始時点を決定し、前記クロスフェード表示処理を制御するよりも前の前記デコード開始時点において前記第２デコーダにデコードを開始させる。これにより、有限の帯域を有効利用し、２つの映像情報が表す映像のクロスフェード表示処理を実行することを可能にする。
【００１４】
請求項３記載の楽曲再生装置に係る制御部は、バスモニタ１７１の計測結果に従って余剰帯域を決定し、決定された余剰帯域に従ってデコード開始時点を決める。バスモニタ１７１の計測結果に従って決められた余剰帯域を利用してデコード開始時点から第２デコーダにデコードさせる。これにより、有限の帯域をより有効利用し、２つの映像情報が表す映像のクロスフェード表示処理を実行することを可能にする。
【００１５】
請求項４記載の楽曲再生装置に係るデコード開始時点は、クロスフェード表示処理の開始から終了までの間の所定の第１時点よりも前記デコード期間の長さだけ前の時点である。決定された余剰帯域を利用して所定の第１時点よりもデコード期間の長さだけ前から第２デコーダのデコードが開始される。これにより、より確実に２つの映像情報が表す映像のクロスフェード表示処理を実行することを可能にする。
【００１６】
請求項５記載の楽曲再生装置に係る決定部は、優先順位の高い処理を優先して割当帯域を決定し、各種処理のうちの楽曲の再生処理、およびテロップの表示処理を第１デコーダのデコード、および第２デコーダのデコードよりも優先させ、クロスフェード表示処理の終了までの間の所定の第２時点において、第２デコーダのデコードを、第１デコーダのデコードよりも優先させる。第２時点において、第２デコーダのデコードを、第１デコーダのデコードよりも優先させる。これにより、第２デコーダが利用可能な帯域が時間とともに変化する場合であっても確実に２つの映像情報が表す映像のクロスフェード表示処理を実行することを可能にする。
【００１７】
請求項６記載の画像処理装置に係る制御部は、第３時点までにデコードされた第１映像情報のうちの映像情報に従って、第３時点に一番近い時点に映像が表示されるように、クロスフェード表示処理を制御する。第２デコーダのデコードが優先された場合、第１映像情報は、第３時点以前のデコード済みの映像を利用してもよい。これにより、第１映像情報のデコードが間に合わなくても、違和感を軽減して２つの映像情報が表す映像のクロスフェード表示処理を実行することを可能にする。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態における楽曲再生装置１のブロック図である。
【図２】楽曲再生装置１の映像制御部１５０のブロック図である。
【図３】楽曲再生装置１のＣＰＵ１００における処理を表すフローチャート図である。
【図４】楽曲再生装置１の処理を時間変化とともに表す概略図である。
【図５】従来の楽曲再生装置の処理を時間変化とともに表す概略図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について図面を参照して説明する。実施形態の説明において、時点は、特に記載がない限り、楽曲の再生開始からの経過時間に基づいて決められる。実施形態の説明において、クロスフェード表示処理は、後述のクロスフェード表示開始時点情報とクロスフェード表示終了時点情報とによって表される期間に実行される処理であって、映像を表示させる処理を意味する。また、クロスフェード処理は、後述のデコード開始時点情報とクロスフェード表示終了時点情報とによって表される期間に実行される処理であって、第２映像情報のデコード、および映像を表示させる処理を意味する。図４の中段に示されるクロスフェード表示処理期間（Ｓ１）にクロスフェード表示処理が実行される。また、図４の中段に示されるクロスフェード処理期間（Ｓ２）にクロスフェード処理が実行される。
【００２０】
［楽曲再生装置の電気的構成］
図１は本発明の一実施形態に係る楽曲再生装置１のブロック図である。楽曲再生装置１は、制御基板１０とＨＤＤ１１０とを備える。制御基板１０は、ＣＰＵ１００、ＲＯＭ１０１、ＲＡＭ１０２、メモリコントローラ１０３、操作処理部１２０、音響制御部１３０、第１デコーダ１４０、第２デコーダ１４１、映像制御部１５０、および通信部１６０を構成要素として備え、上記の各構成要素はバス１７０により電気的に接続される。
【００２１】
ＣＰＵ１００は、楽曲再生装置１の各種処理を制御する。ＲＯＭ１０１は、ＣＰＵ１００が実行するプログラムおよびアプリケーションを記憶する。ＲＡＭ１０２は、一時的な記憶領域であり、各種処理に関する情報を一時的に記憶する。メモリコントローラ１０３は、ＲＡＭ１０２の記憶状態を計測し、各種処理を実行する際にＲＡＭ１０２にアクセスする情報の優先順位を決定する。
【００２２】
ＨＤＤ１１０は、複数の楽曲情報、複数の歌詞テロップ情報、および複数の映像情報を、それぞれに割り当てられた記憶領域に記憶する。楽曲情報は、カラオケ演奏における楽曲の伴奏音を表すＭＩＤＩ形式の情報である。さらに楽曲情報は、切換時点情報とクロスフェード表示開始時点情報とクロスフェード表示終了時点情報とを含む。切換時点情報は映像を切り替える時点を表す。クロスフェード表示開始時点情報は切換時点情報が表す時点よりも前のクロスフェード表示処理を開始する時点（図４に示す時点ＴＰ３）を表す。また、クロスフェード表示終了時点情報は、クロスフェード表示処理を終了する時点（図４に示す時点ＴＰ５）を表す。歌詞テロップ情報は、伴奏音の再生に同期して表示される歌詞および楽曲名を表す情報である。映像情報は、伴奏音の再生に同期して表示される映像を表す情報である。映像情報は、エンコードされた情報である。楽曲情報、歌詞テロップ情報、および映像情報は、楽曲識別情報をそれぞれ含む。また、映像情報は、時間経過により切り替わる映像と、経過時間を表すデコード位置情報とを含む。
【００２３】
操作処理部１２０は、ユーザが操作部１２１を操作したときに、その操作を表す操作信号を操作部１２１から受ける。操作処理部１２０は、操作信号をＣＰＵ１００の動作を切り替える制御要求に変換してＣＰＵ１００に送る。例えば、操作部１２１は、スイッチまたはタッチパネルを備える。操作部１２１は、ユーザにより押されたスイッチの位置および回数などを表す操作信号、またはユーザによりタッチされたタッチパネルの位置および回数などを表す操作信号を操作処理部１２０に送る。
【００２４】
また、操作処理部１２０は、受信部１２２が端末１２３から受信した操作信号を受信部１２２から受ける。操作処理部１２０は、操作信号をＣＰＵ１００の動作を切り替える制御要求に変換してＣＰＵ１００に送る。例えば、端末１２３は、ユーザの携帯端末、または楽曲再生装置１専用のリモコン装置である。端末１２３は、端末１２３が備えるスイッチまたはタッチパネルがユーザにより操作されることで、操作信号を生成し、受信部１２２に送信する。受信部１２２は、端末１２３から受信した操作信号を操作処理部１２０へ送る。
【００２５】
音響制御部１３０は、再生指令をＣＰＵ１００から受ける。再生指令は、再生する楽曲の楽曲情報と、再生開始指令とを含む。音響制御部１３０は、再生指令に含まれる楽曲情報に従って、スピーカ１３１が発音可能な楽曲信号を生成する。
【００２６】
また、音響制御部１３０は、音声入力部１３２から送られる入力音情報を受けると、増幅、およびエコーなどの効果を付与する。例えば、音声入力部１３２はマイクである。マイクから入力された音は、入力音情報に変換され、音響制御部１３０に送られる。入力音情報は、音声制御部１３０により、増幅、およびエコーなどの効果が付与されて入力音信号に変換される。音響制御部１３０は、入力音信号と、楽曲信号とをミキシングし、発音信号を生成する。音声制御部１３０は、スピーカ１３１に発音信号を送り、スピーカ１３１は、発音信号に従って発音する。
【００２７】
第１デコーダ１４０および第２デコーダ１４１は、映像情報をデコードする。第１デコーダ１４０および第２デコーダ１４１は、ＣＰＵ１００からデコード指令を受ける。第１デコーダ１４０および第２デコーダ１４１は、デコード指令に含まれるデコード後のデータの送り先のアドレスと、映像情報とをデコードする。映像情報のデコードが終わると、デコードされた情報を表すデコード情報は、映像制御部１５０、またはＲＡＭ１０２に送られる。以下、第１デコーダ１４０に送られるデコード指令を第１デコード指令、第１デコーダ１４０によりデコードされる映像情報を第１映像情報、第１デコーダ１４０によりデコードされた情報を第１デコード情報、と称する。同様に、第２デコーダ１４１に送られるデコード指令を第２デコード指令、第２デコーダ１４１によりデコードされる映像情報を第２映像情報、第２デコーダ１４１によりデコードされた情報を第２デコード情報、と称する。
【００２８】
一例として、第１デコーダ１４０は、メインのデコーダであって、クロスフェード処理においてはフェードアウトする第１映像情報をデコードする。第１デコーダ１４０に送られる第１デコード指令は、第１映像情報と、第１デコード情報の送り先である映像制御部１５０のアドレスとを含む。第１デコード指令に従って、第１デコーダは、第１映像情報をデコードし、第１デコード情報を映像制御部１５０に送る。
【００２９】
また、第２デコーダ１４１は、サブのデコーダであって、クロスフェード処理においてはフェードインする第２映像情報をデコードする。第２デコーダ１４１に送られる第２デコード指令は、第２映像情報と、第２デコード情報の送り先であるＲＡＭ１０２のアドレスとを含む。第２デコード指令に従って、第２デコーダは、第２映像情報をデコードし、第２デコード情報をＲＡＭ１０２に送る。
【００３０】
映像制御部１５０は、第１デコード情報、第２デコード情報、および歌詞テロップ情報を受ける。映像制御部１５０は、第１デコード情報、および第２デコード情報をＤ／Ａ変換する。映像制御部１５０は、第１デコード情報、および第２デコード情報、の出力レベルを後述のフェード回路により変更し、さらに歌詞テロップ情報とともにミキシングすることでモニタ１５１に表示するための表示用情報を生成する。映像制御部１５０の構成については、後述する。
【００３１】
通信部１６０は、インターネット２００と接続される。通信部１６０は、インターネット２００を経由して、図示しないホストサーバから楽曲をダウンロードしたり、ユーザの演奏状態を記憶した録画データを動画サイトにアップロードしたりすることができる。
【００３２】
バス１７０は、各構成要素が情報を交換するための共通の伝送路である。バス１７０は、バス調停回路、およびバスモニタ１７１を備える。バス調停回路は、各構成要素が同時に情報を送信しないように、情報を送り出す権利を調停する。バスモニタ１７１は、バス１７０の使用されている使用帯域を計測し、使用帯域を表す情報をＣＰＵ１００に送る。帯域は、単位時間当たりにバス１７０を伝送される情報量（Ｂ／ｓ）、および単位時間当たりにメモリ１０２などに伝送される情報量（Ｂ／ｓ）を表す。
【００３３】
［映像制御部１５０の電気的構成］
図２は映像制御部１５０の電気的構成を説明する図である。映像制御部１５０は、ＤＡＣ１５００、第１フェード回路１５０１、第２フェード回路１５０２、第１ミキサー１５０３、および第２ミキサー１５０４を備える。ＤＡＣ１５００は、デコード情報の形式をデジタルからアナログに変換する。第１フェード回路１５０１は、第１デコード情報の出力レベルを変更する。第２フェード回路１５０２は、第２デコード情報の出力レベルを変更する。第１フェード回路１５０１の出力レベルはＣＰＵ１００から送られる第１フェード回路制御指令に従って変更される。第２フェード回路１５０２の出力レベルはＣＰＵ１００から送られる第２フェード回路制御指令に従って変更される。第１ミキサー１５０３は、出力レベルが変更された第１デコード情報と第２デコード情報とをミキシングする。また、第２ミキサー１５０４は、第１ミキサー１５０３によりミキシングされた第１デコード情報および第２デコード情報と歌詞テロップ情報とをミキシングする。第２ミキサー１５０４によりミキシングされた表示用情報は、モニタ１５１に送られる。
【００３４】
第１フェード回路１５０１および第２フェード回路１５０２が出力レベルを高くするほど、第１デコード情報および第２デコード情報は鮮明にモニタ１５１に表示される。第１フェード回路１５０１および第２フェード回路１５０２が出力レベルを低くするほど、第１デコード情報および第２デコード情報は透過してモニタ１５１に表示される。一例として、第１フェード回路１５０１は、第１フェード回路制御情報に従って、第１デコード情報の出力レベルを１００％から徐々に低くすると、第１映像情報の映像はフェードアウト表示される。第２フェード回路１５０２は、第２フェード回路制御情報に従って、第２デコード情報の出力レベルを０％から徐々に高くすると、フェードイン表示される。第１デコード情報のフェードアウト表示、および第２デコード情報のフェードイン表示を同時に行う場合、モニタ１５１は表示用情報に従って、第１デコード情報の表す映像と第２デコード情報の表す映像とをクロスフェード表示する。
【００３５】
［楽曲再生装置１の動作および作用］
楽曲再生装置１の動作および作用について図３を参照して説明する。図３は、ＣＰＵ１００により実行される各種処理を表すフローチャートである。図３に示されるフローチャートの処理は、ＣＰＵ１００が次に再生する楽曲の再生準備を開始すると同時に、開始される。以下の説明において、クロスフェード処理を実行するに当たり、フェードアウト表示させる映像を表す情報を第１映像情報とし、第１映像情報をデコードするデコーダを第１デコーダ１４０とする。また、フェードイン表示させる映像を表す情報を第２映像情報とし、第２映像情報をデコードするデコーダを第２デコーダ１４１とする。
【００３６】
ステップＳ１００では、第２映像情報のデコードを開始するデコード開始時点情報が算出される。デコード開始時点情報は、以下の各種情報と、数式とによって算出される。
【数１】
0006435918.tif 000002
【数２】
0006435918.tif 000003
【００３７】
デコード開始時点情報が表す時点（図４に示す時点ＴＰ２）は、クロスフェード表示処理を開始する時点（図４に示す時点ＴＰ３）より前の楽曲の再生開始時点（図４に示す時点ＴＰ１）からの経過時間により決められる。式１より、デコード開始時点情報が表す時点（図４に示す時点ＴＰ２）は、切換時点情報が表す時点（図４に示す時点ＴＰ４）から、デコード期間情報が表す期間の長さだけ前の時点として算出される。式２より、デコード期間情報は、総帯域から使用帯域と第１映像情報のデコードに必要な帯域とを引いた帯域によって、フェードイン表示させる第２映像情報の情報量を割ることで算出される。バス１７０の伝送路容量を表す総帯域から使用帯域を引き、デコード期間を算出する時点における使用可能な使用可能帯域を求める。その使用可能帯域から、第１映像情報のデコードに必要な帯域を引くと、デコード期間情報を算出する時点において第２映像情報のデコードに使用可能な余剰帯域が求められる。フェードイン表示させる第２映像情報の情報量を余剰帯域で割ると、第２映像情報をデコードしてバス１７０上を伝送する処理を完了できる期間が算出される。
【００３８】
デコード開始時点情報は、楽曲情報に含まれる切換時点情報の数だけ算出される。具体的には、ステップＳ１００の処理が開始されると、切換時点情報が抽出される。切換時点情報の抽出を終えると、式２により算出されたデコード期間情報が表す期間（図４に示す時点Ｓ３）と、切換時点情報が表す時点（図４に示す時点ＴＰ４）とに基づいて、デコード開始時点（図４に示す時点ＴＰ２）を表すデコード開始時点情報が算出される。楽曲情報に含まれるすべての切換時点情報について、デコード開始時点情報の算出が終わると、処理はステップＳ１０１に移される。
【００３９】
ステップＳ１０１では、第１デコード指令、および、再生指令が送られる。具体的には、伴奏音の再生開始からの経過時間と、デコード位置情報が表す経過時間とが同期される。まず、再生指令が音響制御部１３０に送られる。楽曲情報が表す伴奏音の再生開始時間からの経過時間が計測され、経過時間に同期された第１デコード指令が第１デコーダ１４０に送られる。経過時間に同期された第１デコード指令とは、伴奏音の経過時間と一致する経過時間を表すデコード位置情報が含まれる第１デコード指令である。ステップＳ１０１において、楽曲情報が表す伴奏音の再生処理は、伴奏音の再生が終わるまで繰り返し制御される。また、第１デコーダ１４０のデコードは、クロスフェード処理が終わるまで繰り返し制御される。第１デコード指令、および、再生指令が送られると、処理はステップＳ１０２に移される。
【００４０】
ステップＳ１０２では、デコード開始時点情報が表すデコード開始時点になったか否かが判断される。デコード開始時点になったと判断された場合、ステップＳ１０２はＹＥＳとなり、ステップＳ１０３に処理が移される。デコード開始時点になっていないと判断された場合、ステップＳ１０２はＮＯとなり、ステップＳ１０２の処理が継続される。
【００４１】
ステップＳ１０３では、第２デコード指令が第２デコーダ１４１に送られる。第２デコーダ１４１は、第２デコード指令に含まれるデコード位置情報に従って、第２映像情報のデコードを開始する。デコード開始位置は、楽曲情報に含まれるクロスフェード表示開始時点情報に従って決定される。さらに、第２デコーダ１４１の処理に割り当てられる帯域の優先順位は、最下位と定められる。ステップＳ１０３において制御された第２デコーダのデコードは、伴奏音の再生終了、または、再度クロスフェード処理が実行されるまで継続される。デコードされた第２デコード情報は、第２デコード指令に含まれるＲＡＭ１０２のアドレスに従って、ＲＡＭ１０２に送られる。第２デコード指令が第２デコーダ１４１に送られると、処理はステップＳ１０４に移される。
【００４２】
ステップＳ１０４では、クロスフェード表示開始時点となったか否かが判断される。クロスフェード表示開始時点情報が表す時点であると判断された場合、ステップＳ１０４はＹＥＳとなり、ステップＳ１０５に処理が移される。クロスフェード表示開始時点情報が表す時点でないと判断された場合、ステップＳ１０４はＮＯとなり、ステップＳ１０４の処理が継続される。
【００４３】
ステップＳ１０５では、第１フェード回路制御情報が第１フェード回路１５０１に送られ、第２フェード回路制御情報が第２フェード回路１５０２に送られる。具体的には、第１フェード回路制御情報は、クロスフェード表示期間において第１フェード回路１５０１が出力する第１デコード情報の出力レベルを徐々に下げさせる情報である。一例として、クロスフェード表示開始時点における第１デコード情報の出力レベルを１００％とする。第１フェード回路制御情報は、クロスフェード表示処理の終了時に第１デコード情報の出力レベルが０％になるように第１フェード回路１５０１を制御する。クロスフェード表示期間は、楽曲情報に対応付けられたクロスフェード表示開始時点情報とクロスフェード表示終了情報とによって決められるクロスフェード表示処理を行う期間である。
【００４４】
また、第２フェード回路制御情報は、クロスフェード表示期間において第２フェード回路１５０２が出力する第２デコード情報の出力レベルを徐々に上げさせる情報である。つまり、クロスフェード表示開始時点における第２デコード情報の出力レベルを０％とすると、第２フェード回路制御情報は、クロスフェード表示終了時点に第２デコード情報の出力レベルが１００％になるように出力レベルを徐々に上げるように第２フェード回路１５０２を制御する。第２デコード情報は、以前にデコードされたＲＡＭ１０２に記憶されたものであり、クロスフェード表示開始時点になったと判断されたことによりＲＡＭ１０２から読み出されたものである。第１フェード回路制御情報、および、第２フェード回路制御情報が第１フェード回路１５０１、および、第２フェード回路１５０２に送られると、処理はステップＳ１０６に移される。
【００４５】
ステップＳ１０６では、切換時点情報に従って、映像の切換時点となったか否かが判断される。切替時点であると判断された場合、ステップＳ１０６はＹＥＳとなり、ステップＳ１０７に処理が移される。切換時点でないと判断された場合、ステップＳ１０６はＮＯとなり、ステップＳ１０６の処理が継続される。
【００４６】
ステップＳ１０７では、メモリコントローラ１０３およびバス調停回路に優先順位変更指令が送られる。具体的には、ＲＡＭ１０２にアクセスする情報の優先順位が、優先順位変更指令に従ってメモリコントローラ１０３により決定される。また、バスにおける情報の転送を割り当てる優先順位は、優先順位変更指令に従ってバス調停回路によって決定される。この時、伴奏音を再生する楽曲情報、および、歌詞テロップに対して決定される優先順位は第１映像情報、および第２映像情報の伝送速度よりも優先される。優先順位変更指令が送られると、ステップＳ１０７はステップＳ１０８に移される。
【００４７】
ステップＳ１０８では、それぞれの切換時点を基準とするクロスフェード処理がすべて終了したか否かが判断される。すべてのクロスフェード処理が終了した場合、ステップＳ１０８の処理はＹＥＳとなり、フローチャートの処理を終了する。すべてのクロスフェード処理が終了していない場合、ステップＳ１０８の処理はステップＳ１０２に移される。
【００４８】
［楽曲再生装置１の動作と時間経過とについて］
ＣＰＵ１００の処理について図３、および図４を参照して説明する。図４の上段において、横軸は時間を表し、上段の上から、デコードされた第１デコード情報、第２デコード情報、および表示用情報の映像が表される。図４の中段において、横軸は時間を表し、縦軸は帯域量を表し、第１映像情報、および第２映像情報をデコードするために必要な帯域量の変動が表される。図４の下段において、横軸は時間を表し、メモリコントローラ１０３が定める優先順位が上位のものから順に優先順位１〜優先順位４として表される。下段は、中段に示される時間軸を共有している。図４に示される時間軸の左端の時点をステップＳ１０１の処理によって伴奏音の再生が開始された再生開始時点（ＴＰ１）とする。
【００４９】
ステップＳ１０１では、第１デコード指令、および再生指令が送られる。第１デコード指令を受けた第１デコーダ１４０は、第１映像情報のデコードを開始し第１デコード情報を生成する。第１デコード情報は、ミキサー１５０４により歌詞テロップ情報とミキシングされ、表示用情報が生成される。表示用情報はモニタ１３１に送られ、モニタ１５１は表示用情報が表す映像を表示する。メモリコントローラ１０３により定められる優先順位が高い処理の情報の順番は、楽曲情報、歌詞テロップ情報、第１映像情報、第２映像情報の順番であり、この順番に各処理に割り当てられる割当帯域が決められる。
【００５０】
ステップＳ１０２では、デコード開始時点（ＴＰ２）となったか否かが判断される。ステップＳ１０２の処理がＹＥＳとなると、ステップＳ１０３に処理が移される。ステップＳ１０２においてＹＥＳと判定された時点が、図４に示すデコード開始時点（ＴＰ２）である。
【００５１】
ステップＳ１０３では、第２デコード指令が送られる。第２デコード指令を受けた第２デコーダは、デコード開始時点（ＴＰ２）における使用可能な帯域を利用して第２映像情報のデコードを開始する。第２デコーダは、第２映像情報がデコードされた情報である第２デコード情報を、第２デコード指令に含まれる第２デコード情報の送り先であるメモリ１０２に送る。メモリコントローラ１０３により定められる優先順位が高い処理の情報から、楽曲情報、歌詞テロップ情報、第１映像情報、第２映像情報の順番で帯域が決められる。ステップＳ１０３のデコード開始時点（ＴＰ２）からクロスフェード表示終了時点（ＴＰ５）までの期間がクロスフェード処理期間（Ｓ２）である。
【００５２】
ステップＳ１０４では、クロスフェード表示開始時点（ＴＰ３）となったか否かが判断される。ステップＳ１０４の処理がＹＥＳとなると、ステップＳ１０５に処理が移される。ステップＳ１０４においてＹＥＳと判定された時点が、図４に示すクロスフェード開始時点（ＴＰ３）である。ステップＳ１０５では、第１デコード情報をフェードアウト表示させ、第２デコード情報をフェードイン表示させる。
【００５３】
一例として、図４の上段に示す第１デコード情報および第２デコード情報は、クロスフェード表示処理期間（Ｓ１）において３つの映像によりクロスフェード表示される場合に使用される情報を示す。出力された第１デコード情報、および第２デコード情報は、ミキサー１５０３およびミキサー１５０４により合成され、表示用情報が生成される。クロスフェード表示処理期間（Ｓ１）の開始時点であるクロスフェード表示開始時点（ＴＰ３）と同一時点である時点Ｔ０においては、第１デコード情報の出力レベルは１００％であり、第２デコード情報の出力レベルは０％で表示される。時点Ｔ１においては、第１デコード情報の出力レベルは７５％であり、第２デコード情報の出力レベルは２５％で表示される。切換時点（ＴＰ４）と同一時点である時点Ｔ２においては、第１デコード情報の出力レベルは５０％であり、第２デコード情報の出力レベルは５０％で出力される。時点Ｔ３においては、第１デコード情報の出力レベルは７５％であり、第２デコード情報の出力レベルは２５％で出力される。クロスフェード表示処理期間（Ｓ１）を終えた時点Ｔ４以降では、第１デコード情報の出力レベルは０％であり、第２デコード情報の出力レベルは１００％で出力される。
【００５４】
ステップＳ１０７では、メモリコントローラ１０３、およびバス１７０のバス調停回路により定められる優先順位が高い処理の情報は、楽曲情報、歌詞テロップ情報、第１映像情報、第２映像情報と順に決められる。これにより、メモリコントローラ１０３、およびバス調停回路は、切換時点（ＴＰ４）以降の帯域の優先順位を決める。
【００５５】
クロスフェード表示処理期間（Ｓ１）終了後、それぞれの切換時点（ＴＰ４）におけるクロスフェード処理がすべて終了していない場合、図４の時間軸の左端の時点（ＴＰ１）を現在のクロスフェード表示処理時点（ＴＰ５）として、次のクロスフェード表示処理のための処理を開始する。本実施形態においては、偶数回目の処理を行う場合、図４の上段に示される第１デコード情報と、第２デコード情報との関係は逆となっている。また、図４の下段に示される処理の優先順位は第１デコーダと第２デコーダとの関係が逆となっている。同様に、図３に示されるフローチャートの処理は第１デコーダと第２デコーダとが逆転している状態で開始される。
【００５６】
［本実施形態の効果］
従来の楽曲再生装置において、ＣＰＵ１００によって実行される各種処理には、伴奏音の再生、歌詞テロップの表示、映像の表示、およびユーザの歌唱採点などのユーザがスピーカおよびモニタを利用して視聴するための処理と、サーバ装置との情報の送受信を行う処理と、オペレーティングシステムなどのハードウェアを稼働させるため処理とがある。これらの処理において伝送される情報は、バス１７０によって各構成要素へ伝送される。複数の処理が同時に実行されることによって単位時間当たりの情報伝送量がバス１７０の伝送路容量を超える極限状態になるおそれがある。特に、クロスフェード処理を実行する場合、フェードアウトさせる第１映像情報とフェードインさせる第２映像情報とが必要である。デコードの処理のためには他の処理に比べて大きな情報がバス１７０を通して伝送される。図５に示すように、従来のクロスフェード処理では２つの映像情報が同一の期間にデコードされる。２つの映像情報を同時にデコードすると極限状態となる可能性が高い。そこで、本実施形態においては、図４に示すように第２映像情報のデコード開始時点（ＴＰ２）がバス１７０の伝送路容量と使用帯域とから決定される。さらに、第２映像情報のデコードは余剰帯域を使用して実行されるため、極限状態となることなくクロスフェード処理を確実に実行させることができる。
【００５７】
また、本実施形態の楽曲再生装置においては、ユーザの歌唱時に表示される背景映像が複数の映像を組み合わせて構成され、２つの映像が部分的に重なるようにクロスフェード処理されるため、２つの映像が部分的に重なるように見えるようにあらかじめ作成された映像を再生する処理をしない。そのため、事前の映像作成作業を行うことなく、所望の映像をクロスフェード表示させることができる。
【００５８】
［変形例１］
ステップＳ１０６において、切換時点（図４に示す時点ＴＰ４）になったと判断された場合、ＣＰＵ１００はステップＳ１０７の処理を実行し、メモリコントローラ１０３により定められる優先順位を変更した。しかし、変形例１では、時々刻々と変化する余剰帯域と第２デコーダによりデコードが完了した第２デコード情報に対応付けられた時間とを計測してもよい。計測結果により、切換時点（図４に示す時点ＴＰ４）までに第２映像情報のデコードが間に合わないと判断される場合、切換時点（図４に示す時点ＴＰ４）より前、またはクロスフェード表示開始時点（図４に示す時点ＴＰ３）より前に優先順位の変更が実行され、第２デコーダのデコードが優先して実行される。一例として、間に合うか否かの判断時の使用帯域のうち第２映像情報の伝送に使用されている帯域によって、フェードイン表示させる第２映像情報の情報量を割ることで、新たなデコード期間情報が算出される。ステップＳ１００において式２によって求められたデコード期間情報と、間に合うか否かの判断時の新たなデコード期間情報とが表す期間が比較される。新たなデコード期間情報が、ステップＳ１００において求められたデコード期間情報よりも長い期間を表す場合、ＣＰＵ１００は第１映像情報と第２映像情報との優先順位を変更し、第２映像情報を第１映像情報よりも優先して伝送および処理をする。
【００５９】
第２映像情報が優先され、第１デコーダによる第１映像情報のデコードが間に合わず、第１映像情報に対応付けられた時間に間に合わない場合、第１映像情報が示す映像としては、間に合わなかった映像の直前の映像が表示される。これにより、クロスフェード表示処理がより確実に実行される。
【００６０】
［変形例２］
デコード開始時点情報は、式１および式２により求められたが、後述のクロスフェード表示開始時点情報を基準とした式３および式２により求められてもよい。さらに、式３のクロスフェード表示開始時点情報は、図４に示すクロスフェード表示開始時点（ＴＰ３）からクロスフェード表示終了時点（ＴＰ５）までの間の時点を表す情報で適宜変更してもよい。
【数３】
0006435918.tif 000004
【００６１】
［変形例３］
図４に示す優先順位１〜優先順位４は、楽曲再生処理のための楽曲情報、歌詞テロップを表示するためのテロップ情報、第１デコーダがデコードする第１映像情報、および第２デコーダがデコードする第２映像情報の伝送に対する優先順位である場合について説明したが、それらの優先順位の間に、他の処理が入ってもよい。一例として、新たに配信された楽曲のデータベースがインターネット２００上のサーバ装置からダウンロードされる場合、ダウンロードされた楽曲のデータベースが伝送されるための優先順位および割当帯域が決められる。ダウンロードされたデータの伝送に対する優先順位が優先順位４となった場合、第２映像情報の優先順位が優先順位５と決められる。
【００６２】
［変形例４］
第１デコーダ、および第２デコーダは、ハードウェアデコーダであっても、ソフトウェアデコーダであってもよい。また、第１デコーダ、および第２デコーダは、ハードウェアデコーダとソフトウェアデコーダとの組み合わせてあってもよい。
【００６３】
［変形例５］
クロスフェード処理において、デコードされた第２デコード情報は、一旦ＲＡＭ１０２に記憶されたが、ＲＡＭ１０２とは異なるメモリに第２デコード情報が記憶されてもよい。その場合、第２デコーダ１４１または、第２デコーダ１４１と映像制御部１５０との間にメモリが備えられ、そのメモリが第２デコード情報を記憶する。記憶された第２デコード情報は、ＣＰＵ１００からの指示に従って、メモリから読み出されて映像制御部１５０に送られる。ＣＰＵ１００からの指示に従って、本実施形態のステップＳ１０５においてＲＡＭ１０２から読み出されたように、メモリから読み出されればよい。この変形例５の場合、メモリから読み出された第２デコード情報はバス１７０上を伝送されないことから、バス１７０を伝送される情報がより少なくなり、クロスフェード処理がより確実に実行できる。
【００６４】
［変形例６］
クロスフェード処理において、ステップＳ１００の処理は楽曲の再生前に実行されたが、楽曲再生中であってもよい。その場合、ステップＳ１０８の処理においてＮＯの判断がされた場合、処理はステップＳ１００に移される。そして、ステップＳ１０１は、２回目以降は実行されないように制御される。
【００６５】
［特許請求の範囲と実施形態の対応関係］
ＣＰＵ１００は、制御部の一例である。ＲＡＭ１０２は、メモリの一例である。ＣＰＵ１００と、バス１７０と、メモリコントローラ１０３とが決定部の一例である。バスモニタ１７１は、バス計測手段の一例である。ＣＰＵ１００、ＲＯＭ１０１、ＲＡＭ１０２、メモリコントローラ１０３、ＨＤＤ１１０およびバス１７０の組み合わせが、コンピュータの一例である。ステップＳ１００の処理は、生成ステップの一例である。ステップＳ１０３は、デコード指示ステップの一例である。デコード開始時点からクロスフェード表示終了時点までに行われる制御部１００、第２デコーダ１４１、および映像制御部１５０による処理は、クロスフェード処理の一例である。
【符号の説明】
【００６６】
１      楽曲再生装置
１００  ＣＰＵ
１０１  ＲＯＭ
１０２  ＲＡＭ
１０３  メモリコントローラ
１１０  ＨＤＤ
１２０  操作処理部
１３０  音響制御部
１４０  第１デコーダ
１４１  第２デコーダ
１５０  映像制御部
１６０  通信部
１７０  バス
【図１】
0006435918.tif 000005
【図２】
0006435918.tif 000006
【図３】
0006435918.tif 000007
【図４】
0006435918.tif 000008
【図５】
0006435918.tif 000009