(57)【特許請求の範囲】
【請求項１】
互いに関連づけられたオーディオ信号及びビデオ信号のストリームを再生する再生部と、
前記再生部が再生したオーディオ信号を記憶し、記憶された当該オーディオ信号が読み出されるオーディオバッファメモリと、
前記再生部が再生したビデオ信号を記憶し、記憶された当該ビデオ信号が読み出されるビデオバッファメモリと、
前記オーディオバッファメモリ又は前記ビデオバッファメモリからのオーディオ信号又はビデオ信号の読出しに関する操作者の入力操作を検出する操作検出部と、
前記オーディオバッファメモリ又は前記ビデオバッファメモリから、オーディオ信号及びビデオ信号のうち一方の信号を一定の速度及び順序で読出すとともに、他方の信号を前記操作検出部が検出した入力操作に応じた速度及び順序で読出すよう制御する制御部と、を備え、
前記制御部は、オーディオ信号及びビデオ信号の各現在再生時点の差が所定値以上となるか否かを監視する、ことを特徴とする再生装置。
【請求項２】
前記制御部は、前記現在再生時点の差が所定値以上となったとき、その旨の警告を所定時間操作者に通知する、ことを特徴とする請求項１に記載の再生装置。
【請求項３】
前記制御部は、前記所定時間の警告の後、オーディオ信号及びビデオ信号の現在再生時点を一致させる、ことを特徴とする請求項２に記載の再生装置。
【請求項４】
互いに関連づけられたオーディオ信号及びビデオ信号のストリームを再生する再生ステップと、
前記再生ステップで再生したオーディオ信号をオーディオバッファメモリに記憶するオーディオバッファステップと、
前記再生ステップで再生したビデオ信号をビデオバッファメモリに記憶するビデオバッファステップと、
前記オーディオバッファメモリに記憶されたオーディオ信号を読出すオーディオ読み出しステップと、
前記ビデオバッファメモリに記憶されたビデオ信号を読出すビデオ読み出しステップと、
前記オーディオバッファメモリ又は前記ビデオバッファメモリからのオーディオ信号又はビデオ信号の読出しに関する操作者の入力操作を検出する操作検出ステップと、
前記オーディオバッファメモリ又は前記ビデオバッファメモリから、オーディオ信号及びビデオ信号のうち一方の信号を一定の速度及び順序で読出すとともに、他方の信号を前記操作検出ステップで検出した入力操作に応じた速度及び順序で読出すよう制御する制御ステップと、を備え、
前記制御ステップでは、オーディオ信号及びビデオ信号の各現在再生時点の差が所定値以上となるか否かを監視する、ことを特徴とする再生方法。
【請求項５】
前記現在再生時点の差が所定値以上となったとき、その旨の警告を所定時間操作者に通知するステップをさらに備える、ことを特徴とする請求項４に記載の再生方法。
【請求項６】
前記所定時間の警告の後、オーディオ信号及びビデオ信号の現在再生時点を一致させるステップをさらに備える、ことを特徴とする請求項５に記載の再生方法。
【請求項７】
互いに関連づけられたオーディオ信号及びビデオ信号のストリームを再生する再生手順と、
前記再生手順で再生したオーディオ信号をオーディオバッファメモリに記憶するオーディオバッファ手順と、
前記再生手順で再生したビデオ信号をビデオバッファメモリに記憶するビデオバッファ手順と、
前記オーディオバッファメモリに記憶されたオーディオ信号を読出すオーディオ読み出し手順と、
前記ビデオバッファメモリに記憶されたビデオ信号を読出すビデオ読み出し手順と、
前記オーディオバッファメモリ又は前記ビデオバッファメモリからのオーディオ信号又はビデオ信号の読出しに関する操作者の入力操作を検出する操作検出手順と、
前記オーディオバッファメモリ又は前記ビデオバッファメモリから、オーディオ信号及びビデオ信号のうち一方の信号を一定の速度及び順序で読出すとともに、他方の信号を前記操作検出手順で検出した入力操作に応じた速度及び順序で読出すよう制御する制御手順と、をコンピュータに実行させるプログラムであって、
前記制御手順は、オーディオ信号及びビデオ信号の各現在再生時点の差が所定値以上となるか否かを監視する手順を含む、ことを特徴とするプログラム。
【請求項８】
前記現在再生時点の差が所定値以上となったとき、その旨の警告を所定時間操作者に通知する手順をさらに備える、ことを特徴とする請求項７に記載のプログラム。
【請求項９】
前記所定時間の警告の後、オーディオ信号及びビデオ信号の現在再生時点を一致させる手順をさらに備える、ことを特徴とする請求項８に記載のプログラム。
【請求項１０】
請求項７乃至９のいずれか１項に記載のプログラムを記憶した、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、互いに同期したオーディオ信号及びビデオ信号を非同期に再生可能な再生装置の技術に関する。
【背景技術】
【０００２】
デジタル技術の進展に伴い、アナログレコードを用いた特殊再生（所謂スクラッチ再生等）と同様の特殊再生をＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）について行うことが可能なＣＤプレーヤが一般的になっている。このＣＤプレーヤは、特にクラブ、ホームパーティ等においてＤＪ（Ｄｉｓｃ  Ｊｏｃｋｅｙ）等によって好ましく用いられている。【０００３】
このＣＤプレーヤは、ＣＤ等から再生したオーディオ信号をメモリに記憶する。このＣＤプレーヤは、アナログレコード様のジョグダイヤルを備え、ジョグダイヤルの回転方向及び回転速度に応じて、メモリに記憶されたオーディオ信号の読み出し速度及び順序を制御する。ジョグダイヤルをアナログレコードと同様に回転操作することにより、ＤＪ等の操作者は、アナログレコードプレーヤを用いた場合と同様の擦れ音等の効果音を発生させることができる。【０００４】
さらに、近年、圧縮技術の進歩に伴うＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）の普及などによりデジタル音声コンテンツのみならずデジタル映像コンテンツを個人が手軽に入手できるようになった。このような状況の下、デジタルオーディオ信号及びデジタルビデオ信号の両方を、上記ＣＤプレーヤと同様の操作により特殊再生できる信号処理装置が開発されている（例えば、特開２００５−１０８２９４号公報参照）。このような再生装置を、特にクラブ、ホームパーティ等で使用して、オーディオ信号及びビデオ信号を操作する者はＶＪ（Ｖｉｓｕａｌ  Ｊｏｃｋｅｙ、Ｖｉｄｅｏ  Ｊｏｃｋｅｙ）と呼ばれる。【０００５】
上記信号処理装置は、ビデオ信号とオーディオ信号とを別々のバッファメモリに記憶し、各信号の少なくともいずれか一方の再生速度等を非同期に調整可能とする。ビデオ信号又はオーディオ信号のいずれかの再生速度等を調整するかは、選択ボタンによって操作者が決定する。
発明の概要
ビデオ信号とオーディオ信号とを非同期に再生することは、ビデオ信号とオーディオ信号の再生位置を異ならせることを意味する。例えば、オーディオ信号を通常再生しつつビデオ信号についてのみスクラッチ再生を行った場合、タイムコードに即したオーディオ信号の再生と比較して、ビデオ信号の再生は遅れ又は早くなる。すなわち、バッファメモリに記憶されているデータの現在再生時点は、オーディオ信号についてはタイムコードに従った時点であるのに対し、ビデオ信号についてはこれと異なった時点にある。【０００６】
ＶＪ等にとっては、各信号について再生位置を大きく変えられる方が、演出の自由度が高いことから好ましい。【０００７】
しかし、各信号の再生位置について大きな可変度を確保するには、大容量のバッファメモリ、高速な読み出しドライブ等が必要となる。また、非同期再生から同期再生に瞬時に移行可能とするには、一方の信号のバッファメモリにおいて当該一方の信号の再生位置だけでなく、他方の信号の再生位置の前後のデータも記憶しておく必要があり、大容量のバッファメモリが必要となる。このように、全く自由な非同期再生を可能とすると、再生装置は高コストなものとなってしまう。【０００８】
上記事情を鑑みて、本発明は、操作者の自由な演出を最大限確保しつつ、実質的に低コストで、オーディオ信号及びビデオ信号の非同期再生を可能とする再生装置、再生方法、プログラム及び記憶媒体を提供することを目的とする。【０００９】
上記目的を達成するため、本発明の第１の態様に係る再生装置は、互いに関連づけられたオーディオ信号及びビデオ信号のストリームを再生する再生部と、前記再生部が再生したオーディオ信号を記憶し、記憶された当該オーディオ信号が読み出されるオーディオバッファメモリと、前記再生部が再生したビデオ信号を記憶し、記憶された当該ビデオ信号が読み出されるビデオバッファメモリと、前記オーディオバッファメモリ又は前記ビデオバッファメモリからのオーディオ信号又はビデオ信号の読出しに関する操作者の入力操作を検出する操作検出部と、前記オーディオバッファメモリ又は前記ビデオバッファメモリから、オーディオ信号及びビデオ信号のうち一方の信号を一定の速度及び順序で読出すとともに、他方の信号を前記操作検出部が検出した入力操作に応じた速度及び順序で読出すよう制御する制御部と、を備え、前記制御部は、オーディオ信号及びビデオ信号の各現在再生時点の差が所定値以上となるか否かを監視する、ことを特徴とする。【００１０】
上記構成において、前記制御部は、前記現在再生時点の差が所定値以上となったとき、その旨の警告を所定時間操作者に通知することが望ましい。【００１１】
さらに、前記制御部は、前記所定時間の警告の後、オーディオ信号及びビデオ信号の現在再生時点を一致させるようにしてもよい。【００１２】
上記目的を達成するため、本発明の第２の態様に係る再生方法は、互いに関連づけられたオーディオ信号及びビデオ信号のストリームを再生する再生ステップと、前記再生ステップで再生したオーディオ信号をオーディオバッファメモリに記憶するオーディオバッファステップと、前記再生ステップで再生したビデオ信号をビデオバッファメモリに記憶するビデオバッファステップと、前記オーディオバッファメモリに記憶されたオーディオ信号を読出すオーディオ読み出しステップと、前記ビデオバッファメモリに記憶されたビデオ信号を読出すビデオ読み出しステップと、前記オーディオバッファメモリ又は前記ビデオバッファメモリからのオーディオ信号又はビデオ信号の読出しに関する操作者の入力操作を検出する操作検出ステップと、前記オーディオバッファメモリ又は前記ビデオバッファメモリから、オーディオ信号及びビデオ信号のうち一方の信号を一定の速度及び順序で読出すとともに、他方の信号を前記操作検出ステップで検出した入力操作に応じた速度及び順序で読出すよう制御する制御ステップと、を備え、前記制御ステップでは、オーディオ信号及びビデオ信号の各現在再生時点の差が所定値以上となるか否かを監視する、ことを特徴とする。
【００１３】
上記方法は、前記現在再生時点の差が所定値以上となったとき、その旨の警告を所定時間操作者に通知するステップをさらに備えることが望ましい。【００１４】
さらに、上記方法は、前記所定時間の警告の後、オーディオ信号及びビデオ信号の現在再生時点を一致させるステップをさらに備えるようにしてもよい。【００１５】
上記目的を達成するため、本発明の第３の態様に係るプログラムは、互いに関連づけられたオーディオ信号及びビデオ信号のストリームを再生する再生手順と、前記再生手順で再生したオーディオ信号をオーディオバッファメモリに記憶するオーディオバッファ手順と、前記再生手順で再生したビデオ信号をビデオバッファメモリに記憶するビデオバッファ手順と、前記オーディオバッファメモリに記憶されたオーディオ信号を読出すオーディオ読み出し手順と、前記ビデオバッファメモリに記憶されたビデオ信号を読出すビデオ読み出し手順と、前記オーディオバッファメモリ又は前記ビデオバッファメモリからのオーディオ信号又はビデオ信号の読出しに関する操作者の入力操作を検出する操作検出手順と、前記オーディオバッファメモリ又は前記ビデオバッファメモリから、オーディオ信号及びビデオ信号のうち一方の信号を一定の速度及び順序で読出すとともに、他方の信号を前記操作検出手順で検出した入力操作に応じた速度及び順序で読出すよう制御する制御手順と、をコンピュータに実行させるプログラムであって、前記制御手順は、オーディオ信号及びビデオ信号の各現在再生時点の差が所定値以上となるか否かを監視する手順を含む、ことを特徴とする。
【００１６】
上記プログラムは、前記現在再生時点の差が所定値以上となったとき、その旨の警告を所定時間操作者に通知する手順をさらに備えることが望ましい。【００１７】
さらに、上記プログラムは、前記所定時間の警告の後、オーディオ信号及びビデオ信号の現在再生時点を一致させるステップをさらに備えてもよい。【００１８】
上記プログラムはコンピュータ読み取り可能な記憶媒体に記録されてもよい。
【図面の簡単な説明】
【００１９】
【図１】図１は、本発明の実施の形態に係る再生装置の構成を示すブロック図である。
【図２】図２は、本発明の実施の形態におけるバッファメモリの状態を示す図である。
【図３】図３は、本発明の実施の形態に係る再生装置のフローチャートを示す図である。
【図４】図４は、本発明の他の実施の形態におけるバッファメモリの状態を示す図である。
【発明を実施するための最良の形態】
【００２０】
本発明に係る実施の形態について、以下、図面を参照して詳細に説明する。なお、以下に示す実施の形態は一例であり、これに限定されない。【００２１】
本発明の実施の形態に係る出力装置の構成を図１に示す。図１に示す再生装置１０は、システムＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１２と、操作部１４と、再生部１６と、オーディオバッファメモリ１８と、ビデオバッファメモリ２０と、オーディオＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）２２と、ビデオＤＳＰ２４と、オーディオデコーダ２６と、ビデオデコーダ２８と、オーディオＤＡＣ（Ｄｉｇｉｔａｌ  ｔｏ  Ａｎａｌｏｇ  Ｃｏｎｖｅｒｔｅｒ）３０と、ビデオＤＡＣ３２と、表示部３４と、から構成される。【００２２】
システムＣＰＵ１２は、以下に示す再生装置１０の動作を総括的に制御する。【００２３】
再生部１６は、記憶媒体の読み取りドライブ等から構成され、ＣＤ、ＤＶＤ等の記憶媒体に記録されたデジタルデータを読み取り、再生する。再生部１６は、外部記憶装置・再生機器から転送されるデジタルデータ或いはデジタル変換されるアナログデータを再生してもよい。再生部１６から出力されるオーディオ信号及びビデオ信号は、同一のコンテンツを構成し、同一のタイムコードに従って関連づけられている。【００２４】
オーディオバッファメモリ１８は、再生部１６から出力された複合データストリームから分離されたデジタルオーディオ信号を記憶する。【００２５】
ビデオバッファメモリ２０は、再生部１６から出力された複合データストリームから分離されたデジタルビデオ信号を記憶する。【００２６】
オーディオバッファメモリ１８及びビデオバッファメモリ２０は、例えばリングバッファで形成され、最下位のメモリアドレスと最上位のメモリアドレスとが接続された関係に設定されている。本実施例において、オーディオバッファメモリ１８及びビデオバッファメモリ２０は、それぞれ、同じ時間分（例えば、３０秒分）のオーディオ信号及びビデオ信号を記憶可能な容量を有する。【００２７】
オーディオＤＳＰ２２は、オーディオバッファメモリ１８のメモリアドレスを管理する。また、オーディオＤＳＰ２２は、システムＣＰＵ１２により指示されたアドレス順及び速度で、オーディオバッファメモリ１８に記憶されたオーディオ信号を読出す。【００２８】
ビデオＤＳＰ２４は、ビデオバッファメモリ２０のメモリアドレスを管理する。また、ビデオＤＳＰ２４はシステムＣＰＵ１２により指示されたアドレス順及び速度で、ビデオバッファメモリ２０に記憶されたビデオ信号を読出す。ビデオＤＳＰ２４は、例えば、高速再生時には所定フレーム毎に再生し、また、低速再生時には同一フレームを繰り返し再生する。【００２９】
オーディオデコーダ２６は、オーディオＤＳＰ２２によりオーディオバッファメモリ１８から読み出されたデジタルオーディオ信号をデコードする。【００３０】
ビデオデコーダ２８は、ビデオＤＳＰ２４によりビデオバッファメモリ２０から読み出されたデジタルビデオ信号をデコードする。【００３１】
オーディオＤＡＣ３０は、デコードされたデジタルオーディオ信号をアナログオーディオ信号に変換し、スピーカ、ミキサ等の外部機器に出力する。外部機器がデジタル入力可能であれば、所定のデジタルフォーマットで出力するようにしてもよい。【００３２】
ビデオＤＡＣ３２は、デコードされたデジタルビデオ信号をアナログビデオ信号に変換し、モニタ、ミキサ等に出力する。外部機器がデジタル入力可能であれば、所定のデジタルフォーマットで出力するようにしてもよい。【００３３】
表示部３４は、液晶表示装置等から構成され、再生中のデータの映像、属性情報、再生状態等を表示する。【００３４】
操作部１４は、再生開始ボタン、再生停止ボタン等を備え、操作者による再生動作等に関する入力を受け付ける。【００３５】
また、操作部１４は、スクラッチ操作検出部４０と、同期モード切換部４２と、を備える。【００３６】
スクラッチ操作検出部４０は、オーディオ信号及び／又はビデオ信号の再生速度及び再生順序に関する操作者による操作入力を検出する。なお、本実施の形態において、これらのオーディオ信号又はビデオ信号の速度及び／又は順序を変えて再生する操作を「スクラッチ操作」と総称し、通常再生と異なる順序・速度で再生可能な状態（後述するスクラッチモード）における操作すべてを含むものとする。【００３７】
スクラッチ操作検出部４０は、例えば、外周付近に複数のスリットが略等間隔に設けられている操作円盤と、発光素子及び受光素子の対よりなる光センサとから構成される（いずれも図示せず）。操作円盤はアナログレコードと同様に形成され、図示しないターンテーブル上に載置されて所定速度、例えばアナログレコードの再生速度で回転される。発光素子と受光素子との間の光がスリットを通過することにより光センサ部が発するパルス信号に基づいて、システムＣＰＵ１２は、操作円盤の回転状態（回転速度及び回転方向）を判別し、操作者によるスクラッチ操作の状態を検出する。スクラッチ操作検出部４０は、ロータリエンコーダ等から構成され、回転操作等を検出するようにしてもよい。【００３８】
システムＣＰＵ１２は、スクラッチ操作検出部４０が検出した入力に基づいてオーディオＤＳＰ２２及び／又はビデオＤＳＰ２４のオーディオバッファメモリ１８及びビデオバッファメモリ２０からのオーディ信号及び／又はビデオ信号の読出しを制御する。この構成により、操作者は、円盤部を回転操作して、アナログレコードを用いた場合と同様のスクラッチ再生を行うことができる。【００３９】
同期モード切換部４２は、同期スクラッチモード、オーディオオンリスクラッチモード、及び、ビデオオンリスクラッチモードのモード切換を受け付ける。【００４０】
同期スクラッチモードが選択されたとき、スクラッチ操作検出部４０により検出された操作に応じて、オーディオ信号及びビデオ信号は同期再生される。【００４１】
ビデオオンリスクラッチモード又はオーディオオンリスクラッチモードが選択されたとき、オーディオ信号及びビデオ信号は非同期再生される。すなわち、オーディオ信号又はビデオ信号のいずれか一方がスクラッチ操作検出部４０により検出された操作に応じて再生され、他方はタイムコードに即した順序、設定されたＢＰＭ（Ｂｅａｔ  Ｐｅｒ  ｍｉｎｕｔｅ）で通常再生される。【００４２】
非同期再生時、スクラッチ操作検出部４０がスクラッチ操作を検出しない場合には、タイムコード通りに設定された速度・順序で再生される。【００４３】
以下、本実施の形態における非同期再生時のオーディオ信号及びビデオ信号の現在再生時点の調整について説明する。なお、「現在再生時点」とは、オーディオバッファメモリ１８及びビデオバッファメモリ２０における、再生（読出し）が実際に行われるタイムコード上の時点をいう。現在再生時点は、操作者の再生操作に応じた再生の進行とともに、進み、停止し、又は戻る。【００４４】
本例において、オーディオバッファメモリ１８及びビデオバッファメモリ２０には、図２（ａ）に示すように、現在再生時点のタイムコードに従った将来及び過去に一定のデータ量が確保される。すなわち、オーディオバッファメモリ１８及びビデオバッファメモリ２０のバッファデータは、再生部１６からのストリームからのデータにより定期的（例えば１０ミリ秒毎）に更新され、現在再生時点の前後に一定量のデータが維持される。図２（ａ）に示す例では、オーディオバッファメモリ１８及びビデオバッファメモリ２０は、各３０秒分のデータを保持し、これは、タイムコードに従う現在再生時点の過去１７秒分のデータ及び将来１３秒分のデータよりなる。【００４５】
同期スクラッチモードでの再生時、オーディオ信号（図中「Ａ」）及びビデオ信号（図中「Ｖ」）の現在再生時点は一致し、通常再生時だけでなく、スクラッチ再生時にも両信号の再生の進行に応じてバッファデータが更新され、一定の将来分及び過去分データが確保される。従って、スクラッチ操作により、早送り再生、逆方向再生等が指示されても、充分なデータ量のバッファにより対応可能である。【００４６】
非同期再生時（オーディオオンリ又はビデオオンリスクラッチモード時）には、通常再生される一方の信号の現在再生時点の再生進行に応じてオーディオバッファメモリ１８及びビデオバッファメモリ２０の双方のバッファデータが更新される。例えば、図２（ｂ）に示す例では、ビデオオンリスクラッチモードにおいて、オーディオ信号（Ａ）が通常再生される一方で、ビデオ信号（Ｖ）がスクラッチ再生される。従って、図に示す例では、オーディオ信号については常に現在再生時点の前後に一定量のデータが確保される。【００４７】
一方で、スクラッチ再生される信号（図２（ｂ）に示す例におけるビデオ信号Ｖ）については、他方の信号（オーディオ信号）の再生の進行に従ってバッファデータが更新される。このため、スクラッチ再生信号の現在再生時点が他方の信号の現在再生時点と大きく異なることがありえ、この場合、スクラッチ再生信号についてはその現在再生時点の前又は後に十分なデータが確保されない状態が起こりうる。例えば、図２（ｂ）に示すように、ビデオ信号との現在再生時点がオーディオ信号の現在再生時点から１０秒遅れているとき、ビデオ信号については現在再生時点より前（逆再生方向）には５秒分のデータしか確保されないこととなる。このため、現状のスクラッチ再生（逆方向再生）を継続した場合には、バッファデータ不足によりスクラッチ再生信号については再生不可となりうる。【００４８】
このような事態を回避すべく、本実施の形態において、システムＣＰＵ１２は、再生中、オーディオ信号及びビデオ信号の現在再生時点の差を監視している。システムＣＰＵ１２は、非同期再生中、スクラッチ再生されている一方の信号の現在再生時点と、通常再生されている他方の信号の現在再生時点と、の差を例えばタイムコードに基づいて監視する。システムＣＰＵ１２は、各信号の現在再生時点の差が所定のしきい値、例えば、１０秒以上となるか否かを監視する。【００４９】
ここで、オーディオ信号及びビデオ信号の現在再生時点の差のしきい値は、好ましくは、オーディオバッファメモリ１８及びビデオバッファメモリ２０の容量に基づいて設定される。比較的容量の大きいバッファメモリを用いた場合には両信号の現在再生時点の差のしきい値は比較的大きく確保することが可能である。しかし、容量が大きいほどメモリの価格は高く、使用するバッファメモリの容量にはコスト上の制限がある。【００５０】
システムＣＰＵ１２は、監視している現在再生時点の差が所定値以上となったとき、まず、表示部３４にその旨の警告を表示させる。この警告表示は、例えば、文字表示や画面の点滅・変色として通知される。警告により、操作者は、ビデオ信号及びオーディオ信号の現在再生時点が大きく離れ、そのために一方の信号の再生方向又は逆方向のバッファ量が不足する可能性があることに気づく。警告は、操作者が警告に気づき、対処できるよう、所定時間（例えば、４秒間）表示される。警告表示は、例えば、「Ｗａｒｎｉｎｇ  →」と表され、警告の旨を、スクラッチ再生信号を正逆いずれの方向に再生させるべきか（あるいは再生させるべきではないか）と合わせて表示される。【００５１】
警告が表示されたとき、操作者は現在行っている再生演出に沿ってオーディオ信号とビデオ信号の現在再生時点が近づくよう操作する。例えば、図２（ｂ）に示す例において、操作者は、現在行っている演出に合うように、ビデオ信号についてオーディオ信号の再生速度よりも速い速度で順方向再生（早送り再生）を行い、両信号の現在再生時点の差を少なくする。演出に合う場合には、同期モード切換部４２を操作して、非同期再生（ビデオオンリスクラッチモード）から同期再生（同期スクラッチモード）に切り換えてもよい。【００５２】
システムＣＰＵ１２は、警告表示から所定時間後においてもビデオ信号とオーディオ信号の現在再生時点の差が所定値以上であるか否かを判別する。所定時間経過後においても両信号の現在再生時点の差が所定値以上であると判別したとき、システムＣＰＵ１２は、スクラッチ再生されている一方の信号の現在再生時点を、通常再生されている他方の信号の現在再生時点に強制的に一致（同期）させる。すなわち、図２（ｂ）に示す例において、図に示す状態から図２（ａ）に示す状態に強制的に移行することとなる。【００５３】
このように、本実施の形態では、操作者が警告表示に気づかない場合や放置した場合に、警告表示開始から所定時間経過した後においても両信号の現在再生時点の差が所定値以上である場合にスクラッチ再生されている一方の信号を強制的に通常再生されている他方の信号に同期させる。通常再生信号については現在再生時点の前後に常に十分なデータバッファ量が確保される。このため、現在再生時点の差が増大し、スクラッチ再生信号のバッファ量が不足する可能性があるときに強制的に通常再生信号に同期されることにより、スクラッチ再生信号のバッファ量も常に十分確保される。【００５４】
以下、本実施の形態における再生装置の再生中の動作について説明する。図３に、再生動作のフローチャートを示す。なお、図に示すフローチャートは一例であり、同様の結果が得られるものであれば、いかなるものであってもよい。【００５５】
再生動作中、システムＣＰＵ１２は、再生部１６を制御してオーディオ及びビデオ信号の複合ストリームを再生させる（ステップＳ１１）。【００５６】
システムＣＰＵ１２は、ストリーム中のオーディオ信号及びビデオ信号を分離してそれぞれオーディオバッファメモリ１８及びビデオバッファメモリ２０に記憶するようオーディオＤＳＰ２２及びビデオＤＳＰ２４を制御する（ステップＳ１２）。ここで、ストリームから抽出されるオーディオ信号及びビデオ信号は同一のタイムコードに従う部分を構成するデータよりなる。【００５７】
システムＣＰＵ１２は、スクラッチ操作検出部４０からの検出信号に基づいて、スクラッチ操作の状態を判別する（ステップＳ１３）。スクラッチ操作を検出した場合には、オーディオ信号及びビデオ信号を指定された速度及び順序でオーディオバッファメモリ１８又はビデオバッファメモリ２０から読出す。ビデオ信号については再生速度に応じてフレーム処理が行われる。【００５８】
同期スクラッチモードではオーディオ信号及びビデオ信号は同期して読み出される。ビデオオンリスクラッチモードでは、ビデオ信号のみスクラッチ再生され、オーディオ信号は通常再生される。オーディオオンリスクラッチモードでは、オーディオ信号のみスクラッチ再生され、ビデオ信号は通常再生される。スクラッチ操作が検出されなければ、タイムコードに従い、通常速度でオーディオ信号及びビデオ信号を読出し、再生する（ステップＳ１４）。【００５９】
再生中、システムＣＰＵ１２は、オーディオバッファメモリ１８及びビデオバッファメモリ２０の現在再生時点の差が所定値、例えば１０秒以上であるか否かを監視している（ステップＳ１６）。【００６０】
現在再生時点の差が所定値以上でない場合（ステップＳ１６：ＮＯ）、操作者の操作に従った再生を行う（ステップＳ１３）。すなわち、この状態では、限られたバッファ容量の下、オーディオ信号及びビデオ信号の再生の双方にとって、操作者の意図に沿ったスクラッチ再生を可能とするのに十分な量のバッファデータが確保されている。【００６１】
現在再生時点の差が所定値以上である場合（ステップＳ１６：ＹＥＳ）、システムＣＰＵ１２はその旨の警告及び推奨される再生方向（正方向又は逆方向）を所定時間、例えば４秒間表示する（ステップＳ１７）。警告表示を見た操作者は、現在スクラッチ再生している信号について、バッファ量が不足する可能性があり、正又は逆方向にスクラッチ再生した方がよいことに気づく。このとき、操作者は、現在行っている演出の延長線上で、オーディオ信号とビデオ信号との現在再生時点の差を解消するようなスクラッチ再生を行う。【００６２】
例えば、操作者は、警告表示に右方向の矢印「→」が含まれる場合には、スクラッチ再生信号が通常再生信号と比べて現在再生時点が逆方向に戻りすぎていることを知り、正方向のスクラッチ再生を行う。操作者が所望の演出に合っていると考える場合には、同期スクラッチモードに切り換え、一時にオーディオ信号及びビデオ信号の現在再生時点を一致させてもよい。【００６３】
システムＣＰＵ１２は、警告表示の開始から所定時間、例えば４秒経過した後においてもオーディオ信号とビデオ信号との現在再生時点の差が所定値以上であるか否かを判別する（ステップＳ１８）。操作者の操作により、現在再生時点の差が所定値未満となっているとき（ステップＳ１８：ＮＯ）、システムＣＰＵ１２は、操作者の操作に応じた非同期再生を継続する（ステップＳ１３）。【００６４】
所定時間経過後も現在再生時点の差が所定値以上あるとき（ステップＳ１８：ＹＥＳ）、システムＣＰＵ１２は、スクラッチ再生されている一方の信号の現在再生時点を通常再生されている他方の信号の現在再生時点に強制的に同期させる（ステップＳ１９）。強制同期の後には、再び操作者の操作に応じた非同期再生に戻る（ステップＳ１３）。【００６５】
すなわち、警告表示の後も操作者が状況を放置したようなときには、所定時間の警告表示の後、スクラッチ再生信号は通常再生信号の現在再生時点に強制的に一致される。これにより、オーディオ信号とビデオ信号との現在再生時点の差が大きくなり、バッファメモリ容量に応じて、スクラッチ再生信号の再生が制限されるおそれがある場合に、スクラッチ再生信号のバッファ量不足は確実に回避される。【００６６】
この強制同期は操作者に対する警告表示の所定時間後に行われ、操作者には現在行っている演出に合わせて現在再生時点の差を解消するための時間が猶予され、強制同期は所定時間後においても現在再生時点の差が解消していない場合にのみ実行される。また、強制同期が実行された場合、演出を視聴する者にとっては操作者による演出の一環と知覚される。従って、本実施の形態によれば、バッファメモリ容量の制限の下、操作者はオーディオ信号及びビデオ信号の非同期再生において、最大限自由な再生演出を行うことができる。【００６７】
以上説明したように、本実施の形態では、オーディオ信号及びビデオ信号の非同期再生において、両信号の現在再生時点の差を監視し、バッファメモリ容量の制限に合わせて設定される所定値以上となったとき操作者に対して警告を表示する。さらに、所定時間後においてもこの状態が解消されていないときにはスクラッチ再生されている信号の現在再生時点を通常再生されている信号の現在再生時点に強制的に同期させる。この構成により、警告を受けた操作者は現在行っている演出に沿って現在再生時点の差を解消することができる。また、状況が放置された場合にも、警告表示から所定時間経過後に両信号の現在再生時点は強制同期されるため、確実に現在再生時点の差は解消される。このため、限られたバッファメモリ容量の下で、操作者は最大限自在なオーディオ信号及びビデオ信号の非同期再生を行うことが可能となる。【００６８】
上記実施の形態では、オーディオバッファメモリ１８及びビデオバッファメモリ２０には、再生部１６からの複合データストリームから抽出された同一のタイムコードに従うオーディオ信号及びビデオ信号がバッファされる場合について説明した。しかし、オーディオバッファメモリ１８及びビデオバッファメモリ２０には、再生部１６からの複合データストリームからそれぞれ異なるタイムコードの範囲で抽出されたオーディオ信号及びビデオ信号がバッファされる構成について、本発明を適用してもよい。【００６９】
例えば、図４に示す例では、オーディオバッファメモリ１８及びビデオバッファメモリ２０に、オーディオ信号及びビデオ信号の各現在再生時点の所定時間分のデータがそれぞれバッファされる。ビデオ信号については通常再生に従ってバッファデータが更新され、オーディオ信号についてはスクラッチ再生に従ってバッファデータが更新される。【００７０】
この構成では、オーディオ信号及びビデオ信号は、理想的には、各個別にどのようなデータ範囲についても再生可能である。しかし、現実的にはメモリ容量等の技術的・コスト的制約が存在する。例えば、図４に示す例において、オーディオ信号とビデオ信号との現在再生時点の差が１３秒を超えているときに、非同期モードから同期モードへ切り替えられ、両信号の現在再生時点が一致した場合には、いずれかの信号について現在再生時点に対応するデータがバッファされておらず、該当データのバッファのために読み出しが停止しうる。【００７１】
本発明は、このような事態を回避するためにも好適に適用可能である。すなわち、システムＣＰＵ１２がオーディオ信号とビデオ信号との現在再生時点の差を監視し、所定値以上となった場合にはその旨の警告を操作者に通知することにより、上記事態の回避が可能となる。さらに、警告から所定時間後には強制的に両信号の現在再生時点を一致させる。【００７２】
このように、オーディオ信号とビデオ信号とについて各異なる範囲のデータをバッファする構成においても、本発明を適用することにより、操作者の自由な演出を最大限確保しつつ、実質的に低コストで、オーディオ信号及びビデオ信号の非同期再生が可能となる。【００７３】
また、上記実施の形態では、警告が表示されてから所定時間後においてもオーディオ信号とビデオ信号との現在再生時点の差が所定値以上である場合には、強制的に他方の信号に同期されるものとした。しかし、現在再生時点の差を無くするのではなく、所定量低減させるようにしてもよい。この場合、上記例において例えば現在再生時点の差が所定時間１０秒以上であるとき、両信号の現在再生時点を予め設定された時間、例えば数秒近づけるようにする。このような構成によっても、現在再生時点の差の増大を回避することが可能である。【００７４】
また、上記実施の形態では、オーディオ信号とビデオ信号との現在再生時点の差が所定値以上となったとき、所定時間警告を表示した後、両信号を同期再生させるものとした。しかし、現在再生時点の差が所定値以上となった直後に、両信号を同期させるようにしてもよい。【００７５】
また、上記実施の形態では、オーディオ信号とビデオ信号との現在再生時点の差が所定値以上となったとき、スクラッチ再生されている信号を通常再生されている信号に同期させるものとした。しかし、これとは逆に、通常再生信号をスクラッチ再生信号に同期させるようにしてもよい。【００７６】
さらに、本発明は、コンピュータ装置、ゲーム装置等のための、いわゆるＤＪソフト、ＤＪゲーム等のプログラムにおいて実現することができ、このプログラムを記憶媒体（ＣＤ−ＲＯＭ等）に記録して汎用パーソナルコンピュータ、ゲーム装置等において動作させることが可能である。【００７７】
上記で詳細に説明したものは本発明の例に過ぎず、本発明の新規な開示及び利点から大きく逸脱することなしに、当該例示的な実施形態において多くの修正が可能であることは当業者には容易に理解されるであろう。従って、かかる修正のすべてが本発明の範囲内に含まれると意図される。【００７８】
日本特許出願第２００６−１６７５７８（２００６年６月１６日出願）は、明細書、特許請求の範囲、図面及び要約書を含め、その全体が参照により含まれる。
【産業上の利用可能性】
【００７９】
本発明は、記憶したオーディオ信号及びビデオ信号を非同期に再生する再生装置に用いて極めて有用である。
【図１】
0004521057.tif 000002
【図２】
0004521057.tif 000003
【図３】
0004521057.tif 000004
【図４】
0004521057.tif 000005