(57)【要約】【課題】ライブ演奏等のリアルタイムに発生するオーディオ信号に対応づけて歌詞テロップ等の映像を同期再生することができるコンテンツ再生装置を提供する。【解決手段】ガイドメロディデータを含む音声データ８、歌詞データトラック９を含む曲データを記憶し、オーディオ入力部１から入力されたライブ演奏音と音声データとを対比して同期をとり、この同期に基づいてクロック信号を生成する（演奏クロック予測生成部３）。このクロック信号で歌詞データトラックをシーケンスする（映像シーケンス部１０）ことにより、外部から入力されたライブ演奏音に同期して歌詞を表示することができる。【選択図】図１
2008145976.tif 000002
【特許請求の範囲】
【請求項１】
音声時系列データと映像時系列データとを時系列に対応づけて記録したコンテンツデータを記憶するコンテンツデータ記憶部と、
外部からオーディオ信号を入力するオーディオ信号入力部と、
外部から補助情報を入力する補助情報入力部と、
前記オーディオ信号と前記音声時系列データとを対比して時間軸上の対応位置とオーディオ信号の進行速度を算出する算出処理を実行するとともに、前記補助情報に基づいて前記算出処理を修正し、前記算出処理に要する時間だけ先行させて前記オーディオ信号に同期した再生クロックを生成するクロック予測生成部と、
前記クロック予測生成部が生成した再生クロックに基づいて前記映像時系列データを再生する映像再生部と、
を備えたコンテンツ再生装置。
【請求項２】
外部からビデオ信号を入力するビデオ信号入力部と、
前記ビデオ信号入力部が入力したビデオ信号と前記映像再生部が再生した映像信号とを合成して出力する映像合成部と、
をさらに備えた請求項１に記載のコンテンツ再生装置。
【請求項３】
前記ビデオ信号入力部が入力したビデオ信号から補助情報を抽出して前記クロック予測生成部に供給する補助情報抽出部と、
をさらに備えた請求項２に記載のコンテンツ再生装置。
【請求項４】
外部から前記オーディオ信号に同期したビデオ信号を入力するビデオ信号入力部と、
前記ビデオ信号入力部が入力したビデオ信号から補助情報を抽出して前記クロック予測生成部に供給する補助情報抽出部と、
をさらに備えた請求項１に記載のコンテンツ再生装置。
【請求項５】
前記クロック予測生成部は、さらに、前記補助情報に基づいて、前記映像再生部に対して、前記映像時系列データの再生位置を指示する請求項１乃至請求項４のいずれかに記載のコンテンツ再生装置。
【請求項６】
前記補助情報入力部は、補助情報として前記オーディオ信号の進行位置情報を入力し、
前記クロック予測生成部は、前記補助情報に基づいて、前記算出処理における前記音声時系列データの対比位置を修正する請求項１乃至請求項５のいずれかに記載のコンテンツ再生装置。
【請求項７】
前記補助情報入力部は、補助情報として前記オーディオ信号の進行速度情報を入力し、
前記クロック予測生成部は、前記補助情報に基づいて、前記算出処理における前記進行速度を修正する請求項１乃至請求項５のいずれかに記載のコンテンツ再生装置。
【請求項８】
前記コンテンツデータ記憶部が記憶する前記映像時系列データは、表示すべき映像データとその表示タイミングを示すタイミングデータを含むシーケンスデータであり、
前記映像再生部は、前記シーケンスデータを再生するシーケンス処理部を含む請求項１乃至請求項７のいずれかに記載のコンテンツ再生装置。
【請求項９】
前記コンテンツデータ記憶部が記憶する前記映像時系列データは、動画映像を含むビデオデータであり、
前記映像再生部は、前記ビデオデータを再生するビデオ再生部を含む請求項１乃至請求項７のいずれかに記載のコンテンツ再生装置。
【請求項１０】
前記コンテンツデータ記憶部は、さらに、外部機器を時系列に制御する機器制御時系列データを記憶し、
前記クロック予測生成部が生成した再生クロックに基づいて前記機器制御時系列データを読み出して制御信号を出力する外部機器制御部をさらに備えた請求項１乃至請求項９のいずれかに記載のコンテンツ再生装置。
【請求項１１】
前記クロック予測生成部が生成した再生クロックに基づいて前記音声時系列データを再生する音声再生部を、さらに備えた請求項１または請求項１０のいずれかに記載のコンテンツ再生装置。
【請求項１２】
前記コンテンツデータ記憶部が記憶する前記音声時系列データは、並列に形成された複数のトラックからなり、
前記クロック予測生成部は、前記複数のトラックのうち、前記オーディオ信号に対応する１つのトラックを用いて再生クロックを生成し、
前記音声再生部は、前記複数のトラックのうち、前記クロック予測生成部が用いないトラックの一部または全部を再生する
請求項１１に記載のコンテンツ再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、外部から入力されるオーディオ信号に同期した映像を表示するコンテンツ再生装置に関する。
【背景技術】
【０００２】
カラオケ装置による演奏では、楽曲の演奏と同期して歌詞テロップが表示される（たとえば特許文献１）。これは予め曲データ中に演奏用の演奏トラックと歌詞テロップを表示するための歌詞トラックとを並列に記憶しているからである。
【０００３】
【特許文献１】特開２０００−９９０４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
近年、カラオケ装置だけでなく、テレビ放送等でも歌手の歌唱に合わせて歌詞を表示することがよく行われている。また、テレビ放送では、歌詞に限定されず、ニュース番組等で人物の発言を文字に記述したものをテロップとして画面にスーパーインポーズ表示（テロップ化）したり、語学学習番組では講師の発言をテロップとしてスーパーインポーズ表示して表示することが広く行われている。
【０００５】
これらは、いずれも事前に映像にテロップを合成したものを再生表示するものであり、たとえば演奏の生中継（いわゆるライブ中継）などのリアルタイムに行われ、ストリーミングで到来する演奏や発言等をテロップとしてスーパーインポーズ表示しているものではなかった。
【０００６】
この発明は、ライブ演奏等のリアルタイムに発生するオーディオ信号に対応づけて歌詞テロップ等の映像を同期再生することができるコンテンツ再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１の発明は、音声時系列データと映像時系列データとを時系列に対応づけて記録したコンテンツデータを記憶するコンテンツデータ記憶部と、外部からオーディオ信号を入力するオーディオ信号入力部と、外部から補助情報を入力する補助情報入力部と、前記オーディオ信号と前記音声時系列データとを対比して時間軸上の対応位置とオーディオ信号の進行速度を算出する算出処理を実行するとともに、前記補助情報に基づいて前記算出処理を修正し、前記算出処理に要する時間だけ先行させて前記オーディオ信号に同期した再生クロックを生成するクロック予測生成部と、前記クロック予測生成部が生成した再生クロックに基づいて前記映像時系列データを再生する映像再生部と、を備えたことを特徴とする。
【０００８】
請求項２の発明は、請求項１の発明において、外部からビデオ信号を入力するビデオ信号入力部と、前記ビデオ信号入力部が入力したビデオ信号と前記映像再生部が再生した映像信号とを合成して出力する映像合成部と、をさらに備えたことを特徴とする。
【０００９】
請求項３の発明は、請求項２の発明において、前記ビデオ信号入力部が入力したビデオ信号から補助情報を抽出して前記クロック予測生成部に供給する補助情報抽出部と、をさらに備えたことを特徴とする。
【００１０】
請求項４の発明は、請求項１の発明において、外部から前記オーディオ信号に同期したビデオ信号を入力するビデオ信号入力部と、前記ビデオ信号入力部が入力したビデオ信号から補助情報を抽出して前記クロック予測生成部に供給する補助情報抽出部と、をさらに備えたことを特徴とする。
請求項５の発明は、請求項１〜４の発明において、前記クロック予測生成部を、さらに、前記補助情報に基づいて、前記映像再生部に対して、前記映像時系列データの再生位置を指示するようにしたことを特徴とする。
【００１１】
請求項６の発明は、請求項１〜５の発明において、前記補助情報入力部は、補助情報として前記オーディオ信号の進行位置情報を入力し、前記クロック予測生成部は、前記補助情報に基づいて、前記算出処理における前記音声時系列データの対比位置を修正することを特徴とする。
【００１２】
請求項７の発明は、請求項１〜５の発明において、前記補助情報入力部は、補助情報として前記オーディオ信号の進行速度情報を入力し、前記クロック予測生成部は、前記補助情報に基づいて、前記算出処理における前記進行速度を修正することを特徴とする。
【００１３】
請求項８の発明は、請求項１〜７の発明において、前記コンテンツデータ記憶部が記憶する前記映像時系列データは、表示すべき映像データとその表示タイミングを示すタイミングデータを含むシーケンスデータであり、前記映像再生部は、前記シーケンスデータを再生するシーケンス処理部を含むことを特徴とする。
【００１４】
請求項９の発明は、請求項１〜７の発明において、前記コンテンツデータ記憶部が記憶する前記映像時系列データは、動画映像を含むビデオデータであり、前記映像再生部は、前記ビデオデータを再生するビデオ再生部を含むことを特徴とする。
【００１５】
請求項１０の発明は、請求項１〜９の発明において、前記コンテンツデータ記憶部は、さらに、外部機器を時系列に制御する機器制御時系列データを記憶し、前記クロック予測生成部が生成した再生クロックに基づいて前記機器制御時系列データを読み出して制御信号を出力する外部機器制御部をさらに備えたことを特徴とする。
【００１６】
請求項１１の発明は、請求項１〜１０の発明において、前記クロック予測生成部が生成した再生クロックに基づいて前記音声時系列データを再生する音声再生部を、さらに備えたことを特徴とする。
【００１７】
請求項１２の発明は、請求項１１の発明において、前記コンテンツデータ記憶部が記憶する前記音声時系列データは、並列に形成された複数のトラックからなり、前記クロック予測生成部は、前記複数のトラックのうち、前記オーディオ信号に対応する１つのトラックを用いて再生クロックを生成し、前記音声再生部は、前記複数のトラックのうち、前記クロック予測生成部が用いないトラックの一部または全部を再生することを特徴とする。
【００１８】
［作用］
この発明では、オーディオ信号および各種の補助情報に基づいてオーディオ信号に同期した再生クロックを生成し、この再生クロックに基づいて映像時系列データを再生することにより、オーディオ信号に同期した映像（および音声）を再生することができる。なお、オーディオ信号は、この装置を経由して再生用に出力されるようにしてもよく、この装置をバイパスする別の経路で再生されるようにしてもよい。
また、再生クロックを生成するための時間軸上の対応位置や進行速度の算出処理は、複雑で重い処理であるため、オーディオ信号（ビデオ信号）が入力されたのち、ある程度の時間が必要である。そこで、補助情報に基づいてオーディオ信号の進行を予測して再生クロックを算出処理に要する時間だけ先行させる。これにより、再生された映像（および音声）を入力されたオーディオ信号に遅れなく同期させることが可能になる。
【発明の効果】
【００１９】
この発明によれば、入力されたオーディオ信号に遅れなく同期して映像を再生することができるため、たとえばライブ演奏等の事前に歌詞テロップを用意できない場面でも、別に用意されたカラオケ用の同じ楽曲用の歌詞テロップを用いて、演奏に同期した歌詞テロップを表示することができる。
【発明を実施するための最良の形態】
【００２０】
図面を参照してこの発明の実施形態について説明する。
<<第１実施形態>>
図１はこの発明の第１実施形態であるコンテンツ再生装置の構成図である。このコンテンツ再生装置は、オーディオ入力部（Ａｕｄｉｏ  Ｉｎ）１から入力されたオーディオ信号に同期させて映像シーケンスデータ（Ｄｉｓｐｌａｙ  Ｓｅｑｕｅｎｃｅ  Ｄａｔａ）９を再生出力する装置である。以下の説明では、カラオケ曲の演奏に用いられる曲データを用いて、ライブ演奏の歌詞を表示する場合を例に挙げて説明する。
【００２１】
コンテンツ再生装置は、外部からオーディオ信号が入力されるオーディオ入力部１、補助情報が入力される補助情報入力部（Ａｕｘ  Ｉｎｆｏ）２、オーディオ信号が出力されるオーディオ出力部  （Ａｕｄｉｏ  Ｏｕｔ）１１、映像が出力される映像出力部（Ｖｉｄｅｏ  Ｏｕｔ）１２、音声データ（Ａｕｄｉｏ  Ｄａｔａ）８および前記映像シーケンスデータ９を含むカラオケ曲の曲データが記憶される記憶部（Ｓｏｎｇ  Ｄａｔａ）７、入力されたオーディオ信号と映像とを同期させるための信号処理部６および前記映像シーケンスデータ９を再生する映像シーケンサ（Ｇｒａｐｈｉｃ  Ｓｅｑｕｅｎｃｅｒ）１０を備えている。
【００２２】
ライブ演奏の歌詞を表示する場合、オーディオ入力部１から入力されるオーディオ信号は、ライブ演奏の演奏音である。ライブ演奏の演奏音は、コンテンツ再生装置のユーザが演奏する電子楽器から入力される。また、ユーザの生演奏音を収音するマイクから経由して入力されてもよいし、公共放送網、インターネット等を経由して配信されてもよい。また、カラオケ曲の曲データの場合、音声データ８は、ＭＩＤＩ等のフォーマットでインプリメントされたシーケンスデータ（演奏トラック）である。シーケンスデータは、楽音の発音動作や消音動作を実行するための情報であるイベントデータとこのイベントデータの読み出しタイミングを指示するタイミングデータからなっている。また、カラオケ曲の曲データの場合、映像シーケンスデータ９は、歌詞を表示するための歌詞トラックである。この演奏トラックと歌詞トラックは同じクロックで再生されることにより同期して表示される。
【００２３】
信号処理部６は、演奏クロック予測生成部（Ｔｉｍｅ  Ａｌｉｇｎｍｅｎｔ  ＆  Ｔｅｍｐｏ  Ｔｒａｃｋｅｒ）３を有している。演奏クロック予測生成部３は、オーディオ入力部１から入力されたオーディオ信号と曲データ中の音声データとを対比し、且つ、補助情報入力部２から入力された補助情報に基づいて対比位置や速度を修正しつつ、前記オーディオ信号と同期した再生位置情報（タイミング情報）およびテンポ情報を生成する。また、生成した再生位置情報（タイミング情報）およびテンポ情報に基づいて再生クロックを生成する。
【００２４】
演奏クロック予測生成部３は、オーディオ入力部１から入力されたオーディオ信号を数十ミリ秒ずつのフレームに分割し、各フレームごとのスペクトル、音量等を分析する。その一方で、記憶部７に記憶されている音声データを読み出す。音声データが上述したＭＩＤＩシーケンスデータの場合には、イベントデータに基づき、各タイミングで発音されているべき楽音のスペクトルおよび音量を分析する。また、記憶されている音声データが音声波形データ（ＡＤＰＣＭ，ＭＰ３等）であった場合には、オーディオ入力部１から入力されたオーディオ信号と同様にフレームに分割して、フレームごとのスペクトル，音量等を分析する。
【００２５】
オーディオ入力部１から入力されたオーディオ信号のスペクトル，音量等の情報と、記憶部７から読み出した音声データのスペクトル，音量等の情報とを対比し、スペクトルおよびその変化曲線が最も近似する時間軸上の対応位置を検出し、その対応位置における曲データの時間情報を曲の演奏位置情報とする。すなわち、ライブ演奏の演奏音が曲データのどの位置を演奏しているかを検出する。
【００２６】
この演奏位置の検出すなわち同期検出により、現在入力されているオーディオ信号の曲データの時間軸上の位置を割り出すとともに、そのオーディオ信号の進行速度すなわちテンポを割り出す。そして、この時間軸上の位置、すなわち演奏位置情報およびタイミング情報（いつ拍タイミングを通過するかの情報）とテンポ情報を映像シーケンサ１０に出力する。なお、テンポおよび拍タイミングの決定は、たとえば特開平９−１６１７１号公報に記載された技術等を用いればよい。
【００２７】
映像シーケンサ１０は、歌詞テロップである映像シーケンスデータ９を、クロック信号にしたがって読み出し、歌詞テロップの映像を再生する。上記のようにクロック信号が、外部から入力されたオーディオ信号すなわちライブ演奏音に同期したものであるため、この映像シーケンサ１０によって再生され、映像出力部１２から出力される歌詞テロップは、ライブ演奏に同期したものとなる。
【００２８】
なお、演奏クロック予測生成部３による同期検出およびクロック信号の生成には若干の処理時間が必要であるため、要した処理時間の分だけ現時点の演奏位置とずれる可能性がある。したがって、演奏クロック予測生成部３は、この処理時間が無い場合の現時点の演奏位置を予測して再生クロックを出力する必要がある。通常、演奏はテンポが一定であるため、テンポ情報と要した処理時間とに基づいて演奏位置（オーディオ信号の時間軸上の位置）を予測することができる。この予測した演奏位置に基づいて演奏位置情報、クロック信号を生成する。これにより、映像出力部１２から出力される歌詞テロップは、オーディオ出力部１１から出力されるオーディオ信号とより精度よく同期する。なお、演奏が停止する、再開する、または演奏位置がジャンプする場合、同期がずれる可能性があるが、本実施形態では後述する補助情報入力部２から入力される補助情報を用いて確実な演奏位置の決定や同期の確定を行う。
【００２９】
ここで、図２，図３を参照して、カラオケ曲の曲データと歌詞テロップの表示方式について説明する。
図２において、曲データは、同図（Ａ）に示すように、ヘッダ、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラック、曲の区切り位置を示すジャンプマークが書き込まれたマークトラック等からなっている。マークトラックには、たとえば、１番、２番、サビ、クライマックス、イントロ、間奏、エンディング等を示すジャンプマークが書き込まれる。
【００３０】
各トラックは、ＭＩＤＩフォーマットに従って記述されている。たとえば、楽音トラックやガイドメロディトラックは、同図（Ｂ）に示すように、ノートオンイベントデータ、ノートオフイベントデータなどのイベントデータと各イベントデータの読み出しタイミングを示すタイミングデータからなっている。ノートオンイベントデータは音高データを含み、このノートオンによって発生する楽音の音高や音量を指定する。この楽音は、対応するノートオフイベントデータが読み出されるまで継続する。
タイミングデータは、各イベントデータ間の時間的間隔を示すデュレーションデータや曲のスタート時刻からの絶対時間を示す絶対時間データなどで構成することができる。
【００３１】
楽音トラック、ガイドメロディトラックのイベントデータは、上記のように楽音の音高、音量、オン／オフなどを示すノートイベントデータなどで構成され、このノートイベントデータを音源に入力することにより楽音が発音／消音される。楽音トラックは、多数の楽器の楽音を発生するために複数トラック（パート）で構成されており、ガイドメロディトラックは、歌唱旋律をガイドするための単旋律のＭＩＤＩデータで構成されている。
【００３２】
歌詞トラックは、カラオケ曲の曲名や歌詞を表示するための各種データをインプリメントしたシーケンスデータであり、図３（Ａ）に示すように、タイミングデータに基づいて読み出される歌詞表示データから構成されている。
【００３３】
歌詞表示データは１行分の歌詞表示に関する全てのデータを内包しており、表示オンタイミング、表示オフタイミング、文字列データ（表示ポイント数、表示座標、文字間データなどを含む）、色１データ、色２データ、歌詞の色変えデータなどからなっている。
【００３４】
同図（Ｂ）を参照して、歌詞表示データによる歌詞テロップの表示態様について説明する。この図のグラフは、縦軸が時間、横軸が歌詞テロップ（モニタ画面）のｘ座標を表している。曲の演奏がこの歌詞の箇所に到達するｔｏｎ前に、１行分の歌詞を色１で先行表示する。歌唱者は、歌詞テロップを見て解釈して歌唱するため、事前に歌詞を表示することが必要である。そして、曲の演奏がこの歌詞の箇所まで進行してくるまでの間色１で表示し続ける。曲の演奏がこの歌詞の箇所に到達すると、曲の進行に合わせて表示色を左から順に色１から色２に色変え（ワイプ）してゆく。ワイプが終了したのちも暫くの間（ｔｅ）色２で残表示したのちこの歌詞テロップを消去する。
【００３５】
歌詞の色変えデータは同図（Ｂ）に示すようにワイプの（時間−ｘ座標）曲線の主要な点を示す複数のプロッティングデータで構成されている。映像シーケンス部１０は、このプロッティングデータを２次曲線で補間して色変え（ワイプ）を行う。映像シーケンス部１０は、演奏クロック予測生成部３から入力される再生クロックおよび演奏位置情報により、ライブ演奏の映像・音声に遅れなく同期した歌詞テロップを生成する。
【００３６】
ここで、再び図１において、演奏クロック予測生成部３は、オーディオ入力部１から入力されるオーディオ信号のみでは演奏位置の割り出しや正確な同期確定が困難である。そこで、補助情報入力部２から入力された補助情報を用いて確実な演奏位置の決定や同期の確定を行う。
【００３７】
補助情報は、例えばユーザによって入力される情報や、ライブ会場にいる係員によって入力される情報、ライブ映像等から検出される情報等である。ユーザは演奏をしながら、操作子（例えば足踏みペダル等）を用いて補助情報を入力する。また、ライブ会場には、ライブ中継のためにカメラマンや音声担当を含む複数人のスタッフが従事しており、そのうちの一人がカラオケ装置での同期再生のための補助情報を入力する。補助情報としては、曲がスタートしたことを示すスタート情報、曲が一時停止したことを示すストップ情報、曲が終了したことを示すエンド情報、曲の演奏位置が通常の進行からジャンプすることを示すジャンプ情報等である。ユーザが演奏を行う場合、特定の演奏を繰り返したりするなど、レコーディングされた通常の演奏と異なる進行で演奏される場合がある。また、ライブ演奏の場合においても、時間の制約で３コーラス目を省略したり、聴衆の反応に合わせてサビを繰り返したりするなど、レコーディングされた通常の演奏と異なる進行で演奏される場合がある。
このような場合に、ユーザや会場の係員がどこにジャンプしたか（またはどこにジャンプしそうかという予測）をジャンプ情報として入力する。ジャンプ位置は、曲データ中のジャンプマークで指定すればよいが、曲データにおける時間軸の値で指定してもよい。ジャンプマークとしては、上述したように、１番、２番、サビ、クライマックス、イントロ、間奏、エンディングを示すマークがあり、それぞれの曲に応じて曲データにおける時間軸の値に対応づけて付される。このジャンプマークは、図２に示したように元々曲データに付加されていることが好ましいが、ジャンプマークを持たない曲データについては、ユーザやライブ会場の係員が、曲のスタート時に補助情報としてジャンプマークトラックのデータを入力するようにしてもよい。なお、演奏中にユーザが足踏みペダルを用いてジャンプ情報を入力する場合、例えば足踏み１回で１番、２回で２番、３回でサビ等、簡易な操作で入力できるように構成しておけばよい。
【００３８】
また、ユーザやライブ会場の係員が入力する補助情報として、曲スタート時やテンポ変化時に手動（タッピング）で入力されるビート信号も送られてくる。このビート信号は精度が高いものではなく、また、曲の開始から終了まで継続的に送られてくるものではないため、これをそのままテンポクロック信号として用いることはできないが、テンポ決定や拍タイミングを割り出すための情報として用いることができる。
【００３９】
演奏クロック予測生成部３は、補助情報入力部２から入力される上記のような補助情報を参照して、現在の演奏位置がどのあたりであるかを割り出し、その周辺の音声データを読み出して、入力されるオーディオ信号と対比する。また、間欠的に入力されるビート信号を参照して概ねの拍タイミングとテンポを把握し、この概ねの拍タイミングとテンポ（時間軸のスケーリング）で入力オーディオ信号と音声データとを対比することで同期を容易にする。
【００４０】
<<第２実施形態>>
図４はこの発明の第２実施形態であるコンテンツ再生装置の構成図である。図４において、図１に示した第１の実施形態と同一構成の部分は、同一番号を付して説明を省略する。
【００４１】
この実施形態のコンテンツ再生装置では、記憶部７は、映像シーケンスデータ９（図１参照）に代えてビデオデータ（Ｖｉｄｅｏ  Ｄａｔａ）１４を記憶している。そしてこのビデオデータ１４を再生する機能部として、映像シーケンサ１０（図１参照）に代えてビデオ再生部（Ｖｉｄｅｏ  Ｐｌａｙｅｒ）１５を備えている。ビデオ再生部１５としては、可変フレームレートの再生装置（または再生ソフトウェア）を用いる。これにより、演奏クロック予測生成部３から入力されたクロック信号に同期したビデオ再生が可能になる。
【００４２】
<<第３実施形態>>
図５はこの発明の第３実施形態であるコンテンツ再生装置の構成図である。図５において、図１に示した第１の実施形態と同一構成の部分は、同一番号を付して説明を省略する。
【００４３】
この実施形態のコンテンツ再生装置では、記憶部７は、映像シーケンスデータ９に加えて外部機器を制御するための外部シーケンスデータ（Ａｕｘ  Ｓｅｑｕｅｎｃｅ  Ｄａｔａ）１７を記憶している。そしてこの外部シーケンスデータ１７をシーケンスする機能部として、外部シーケンサ１８を備えている。外部シーケンサ１８がシーケンスした制御データは制御信号出力部１９から外部機器に対して出力される。
【００４４】
制御信号出力部１９には、たとえば、自動演奏ピアノ、照明機器や花火，噴水等の演出装置が接続される。このような、機器をオーディオ信号入力部１から入力されるオーディオ信号に同期して制御することにより、ライブ演奏に同期して生ピアノが演奏されたり、照明が変化したり花火が点火されたりするような演出を加えることができる。
【００４５】
<<第４実施形態>>
図６はこの発明の第４実施形態であるコンテンツ再生装置の構成図である。図６において、図１に示した第１の実施形態と同一構成の部分は、同一番号を付して説明を省略する。
【００４６】
この実施形態のコンテンツ再生装置では、音声データ８Ａを再生する機能部として、音声再生部２１を備えている。音声データ８Ａは、オーディオ信号との同期を検出するためのリファレンスとして用いた音声データ８と同一のもの（同一トラック）であってもよく、他のものであってもよい。たとえば、図２に示した曲データの場合、ガイドメロディトラックを含む楽音をシーケンスする演奏データトラックは複数あるため、そのうちの１つ（たとえばガイドメロディトラック）をリファレンス  （音声データ８）として用い、他のトラックを再生用の音声データ８Ａとして用いることができる。また、再生用の音声データ８Ａとして、ＡＤＰＣＭやＭＰ３等のオーディオ波形データを記憶しておいてもよい。
【００４７】
再生用の音声データ８ＡがＭＩＤＩ等のシーケンスデータの場合、音声再生部２１は、シーケンサおよび音源の機能を備える。また、再生用の音声データ８Ａがオーディオ波形データの場合には、音声再生部２１は、デコーダを備える。
【００４８】
音声再生部２１が再生した音声データ８Ａの音声信号は、ミキサ２２に入力される。ミキサ２２には、オーディオ入力部１から入力されたオーディオ信号も入力される。ミキサ２２は、この入力されたオーディオ信号および再生された音声信号をミキシングしてオーディオ出力部１１から出力する。
【００４９】
これにより、入力されたオーディオ信号（ライブ演奏音）に同期して、歌詞テロップ等の映像を再生することができるとともに、さらに音声信号を再生して前記入力されたオーディオ信号にミキシングして出力することができる。例えばユーザの演奏音（メロディ）にあわせて、伴奏音を追加することができる。
【００５０】
<<第５実施形態>>
図７はこの発明の第５実施形態であるコンテンツ再生装置の構成図である。図７において、図１に示した第１の実施形態と同一構成の部分は、同一番号を付して説明を省略する。
【００５１】
この実施形態のコンテンツ再生装置は、オーディオ入力部１に加えてビデオ入力部２４を備えている。このビデオ入力部２４には、例えばライブ映像が入力される。さらに、このコンテンツ再生装置は、映像ミキサ２６を備えている。
【００５２】
ビデオ入力２４に入力されたビデオ信号は、映像ミキサ２６に入力される。映像ミキサ２６には、映像シーケンサ１０が再生した映像も入力される。映像ミキサ２６は、ビデオ入力部２４から入力されたビデオ信号と映像シーケンサ１０が再生した映像とを合成する。この映像ミキサ２６で合成された映像（ビデオ信号）が映像出力部１２から出力される。
【００５３】
たとえば、入力されたビデオ信号がライブ映像であり、映像シーケンサ１０が再生した映像が歌詞テロップであった場合には、ライブ映像上に歌詞テロップがスーパーインポーズ合成され、この合成映像が外部出力されて表示される。
【００５４】
<<第６実施形態>>
図８はこの発明の第６実施形態であるコンテンツ再生装置の構成図である。図８において、図７に示した第５の実施形態と同一構成の部分は、同一番号を付して説明を省略する。
【００５５】
この実施形態のコンテンツ再生装置では、ビデオ入力部２４から入力されたビデオ信号を再生映像と合成した出力するのみでなく、このビデオ映像を解析し、その解析結果を補助情報として演奏クロック予測生成部３に供給している。この解析を行う機能部としてパターン認識部（Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ）２８を備えている。このパターン認識部２８は、ライブ演奏を認識する場合、以下のようなパターン認識を行い、補助情報として演奏クロック予測生成部３に入力する。
【００５６】
歌唱者の口の動きを認識して、歌い始めや概ねのフレーズを認識する。
演奏者の動作を認識して、概ねのフレーズや繰り返し，曲の終了等を認識する。
照明の変化（画面の明るさの変化）で、曲のスタートや概ねのビートを認識する。
【００５７】
演奏クロック予測生成部３は、この認識結果を補助情報として取り込むことにより、外部から入力される補助情報が無くても演奏位置や拍タイミング，テンポ等の認識が容易になり、外部から入力される補助情報が存在する場合にはさらに高精度に演奏位置や拍タイミング，テンポ等の認識が容易になる。
【００５８】
<<尚書き>>
上記第３実施形態は、第１実施形態に外部シーケンスデータ１７，外部シーケンサ１８等による外部機器制御機能を付加した例を示したが、この外部機器制御機能を第２，４〜６実施形態のどれに設けてもよく、いずれの形態も本発明の技術的範囲内のものである。
【００５９】
また、同様に、第４実施形態の音声データ８Ａ，音声再生部２１等による音声再生機能、および、第５実施形態のビデオ入力部２４，映像ミキサ２６等によるビデオ合成機能は、それぞれ第１実施形態以外のどの実施形態と組み合わせてもよく、そのいずれの形態も本発明の技術的範囲内のものである。また、第６実施形態のビデオ入力部２４，パターン認識部２８による映像解析機能は第１実施形態及び第５実施形態以外のどの実施形態と組み合わせてもよく、そのいずれの形態も本発明の技術的範囲内のものである。
【００６０】
また、上記実施形態では、主としてユーザの演奏や他の地点のライブ演奏の中継を例にあげて説明したが、本発明は、これらに限定されることなく、オーディオ信号に同期して映像を再生する場面であれば、どのような場面にも適用することができる。たとえば、テレビのキャプション表示装置、映画等のマルチリンガル字幕表示装置、語学学習装置等に適用することが可能である。
また、上記実施形態では、ネットワークや放送を通じてオーディオ信号やビデオ信号が送られてくる例を示したが、オーディオ信号，ビデオ信号および補助情報がＤＶＤやＨＤＤ等のメディア，ストレージに記憶されており、これを再生したものをオーディオ信号，ビデオ信号，補助情報として入力する形態で、本コンテンツ再生装置を用いることも可能である。
【００６１】
また、上記実施形態では、コンテンツ再生装置をローカル（カラオケボックス）側に設置する構成で説明したが、このコンテンツ再生装置を配信側（たとえばライブ会場）に設置し、オーディオ信号と、それに同期した映像を一緒に配信するようにしてもよい。
【図面の簡単な説明】
【００６２】
【図１】この発明の第１の実施形態であるコンテンツ再生装置のブロック図
【図２】コンテンツ再生装置に記憶されている曲データの構成を示す図
【図３】歌詞テロップの表示方式を説明する図
【図４】この発明の第２の実施形態であるコンテンツ再生装置のブロック図
【図５】この発明の第３の実施形態であるコンテンツ再生装置のブロック図
【図６】この発明の第４の実施形態であるコンテンツ再生装置のブロック図
【図７】この発明の第５の実施形態であるコンテンツ再生装置のブロック図
【図８】この発明の第６の実施形態であるコンテンツ再生装置のブロック図
【符号の説明】
【００６３】
１  オーディオ入力部
２  補助情報入力部
３  演奏クロック予測生成部
６  信号処理部
７  記憶部
８  音声データ
８Ａ  （再生用の）音声データ
９  映像シーケンスデータ
１０  映像シーケンサ
１１  オーディオ出力部
１２  映像出力部
１４  ビデオデータ
１５  ビデオ再生部
１７  外部シーケンスデータ
１８  外部シーケンサ
１９  制御信号出力部
２１  音声再生部
２２  ミキサ
２４  ビデオ入力部
２６  映像ミキサ
２８  パターン認識部
【図１】
2008145976.tif 000003
【図２】
2008145976.tif 000004
【図３】
2008145976.tif 000005
【図４】
2008145976.tif 000006
【図５】
2008145976.tif 000007
【図６】
2008145976.tif 000008
【図７】
2008145976.tif 000009
【図８】
2008145976.tif 000010