(57)【要約】【課題】  簡単かつ小規模な装置構成により、画像フレーム列および音声サンプル列の同期再生を行うことを可能にする。【解決手段】  記録装置１の音声エンコーダ１３は、音声サンプル列を１画像フレーム周期当たりの音声サンプル数のブロックに区切り、ブロック毎に圧縮符号化を行い、記録部１４は、この圧縮符号化により得られた圧縮符号化音声データを記録媒体Ｍに記録する。再生装置２における音声デコーダ２６は、画像フレームの再生に同期して、記録媒体Ｍから読み取られた１ブロック分の圧縮符号化音声データの復号化を行い、音声出力部２７は復号化により得られた音声サンプル列を音声として出力する。【選択図】図１
2008197254.tif 000002
【特許請求の範囲】
【請求項１】
画像フレーム列と同期再生する音声サンプル列を、画像フレームの時間間隔である１フレーム周期に属する所定個数の音声サンプルのブロックに区切り、ブロック毎に、他のブロックの音声サンプルを参照することなく当該ブロック内の音声サンプルの圧縮符号化を行い、圧縮符号化音声データを発生する音声圧縮符号化過程と、
画像フレームの再生に同期して、前記音声圧縮符号化過程により得られた各ブロックの圧縮符号化音声データの復号化を順次行い、音声サンプル列を出力する音声復号化過程と
を具備することを特徴とする音声の圧縮符号化および復号化方法。
【請求項２】
前記音声復号化過程では、指定された区間内の画像フレーム列が再生される間、各画像フレームの再生に同期して、前記指定された区間に属するブロックに対応した圧縮符号化音声データの復号化を行い、当該ブロックの音声サンプル列を再生することを特徴とする請求項１に記載の音声の圧縮符号化および復号化方法。
【請求項３】
前記音声圧縮符号化過程では、１ブロック内の音声サンプル間の差分符号化により圧縮符号化音声データを発生することを特徴とする請求項１または２に記載の音声の圧縮符号化および復号化方法。
【請求項４】
前記音声圧縮符号化過程では、１ブロック内の音声サンプル数が所定数に満たない場合にその不足分だけ零サンプルを補充して圧縮符号化を行い、
前記音声復号化過程では、圧縮符号化音声データから復号化された音声サンプル列のうち補充された零サンプル以外の音声サンプルを出力することを特徴とする請求項１または２に記載の音声の圧縮符号化および復号化方法。
【請求項５】
画像フレーム列と同期再生する音声サンプル列を圧縮符号化したデータであって、前記音声サンプル列を画像フレームの時間間隔である１フレーム周期に属する所定個数の音声サンプルのブロックに区切り、ブロック毎に、他のブロックの音声サンプルを参照することなく当該ブロック内の音声サンプルの圧縮符号化を行うことにより得られた圧縮符号化音声データを外部から取得し、あるいは記録媒体から読み取る圧縮符号化音声データ入力手段と、
画像フレーム列の再生を行う画像再生手段と、
前記画像再生手段により１フレームの画像フレームが再生されるのに同期して、前記圧縮符号化音声データ入力手段により得られた１ブロック分の圧縮符号化音声データの復号化を行い、１ブロック分の音声サンプル列を出力する音声復号化手段と、
前記画像再生手段による画像フレーム列の再生に同期して、前記音声復号化手段により得られる音声サンプル列を音声として出力する音声出力手段と
を具備することを特徴とする画像および音声の同期再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像と音声を同期再生するシステムに好適な音声の圧縮符号化および復号化のための技術に関する。
【背景技術】
【０００２】
パチンコ機などのゲーム機では、各種のイベントの発生を検知して、様々な画像シーンを再生するとともに、これに同期させて様々な音声フレーズを再生する演出がよく行われる。この場合、再生する画像シーンおよび音声フレーズは、情報量が大きいため、圧縮符号化した状態でゲーム機に記憶させ、再生時にその復号化を行うのが一般的である。
【特許文献１】特開２００２−２９０７６７号公報
【特許文献２】特許第３６０１４７３号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
画像の再生タイミングに合わせて、音声の再生タイミングを適正化するための技術としては、例えば特許文献１に開示されたものがある。この特許文献１に開示の技術では、画像と音声とで再生のための処理時間に差がある状況下において、画像の処理系の動作に対して音声の処理系の動作を遅延させ、その際の遅延時間を調節することにより、この画像の再生に音声の再生を同期させる。しかしながら、この特許文献１に開示の技術では、音声の再生タイミングを画像の再生タイミングに全般的に合わせることはできるが、画像シーンの再生に音声フレーズの再生を完全に同期化させることは困難である。従って、従来技術の下で、画像シーンの再生に合わせて音声フレーズの完全な同期再生を行うためには、例えば画像シーンの再生に先行して音声フレーズの圧縮符号化音声データの復号化を行い、復号化により得られる音声サンプル列をバッファに蓄積するとともに、１つの画像フレームが再生されるのに合わせて、１フレーム周期相当の時間長の音声サンプル列がバッファから読み出されるように、音声サンプル列の読み出し制御を行うといった複雑な操作が必要であった。
【０００４】
この発明は、以上説明した事情に鑑みてなされたものであり、簡単な装置構成により、画像フレーム列および音声サンプル列の同期再生を行うことを可能にする音声の圧縮符号化および復号化方法を提供することを目的としている。
【課題を解決するための手段】
【０００５】
この発明は、画像フレーム列と同期再生する音声サンプル列を、画像フレームの時間間隔である１フレーム周期に属する所定個数の音声サンプルのブロックに区切り、ブロック毎に、他のブロックの音声サンプルを参照することなく当該ブロック内の音声サンプルの圧縮符号化を行い、圧縮符号化音声データを発生する音声圧縮符号化過程と、画像フレームの再生に同期して、前記音声圧縮符号化過程により得られた各ブロックの圧縮符号化音声データの復号化を順次行い、音声サンプル列を出力する音声復号化過程とを具備することを特徴とする音声の圧縮符号化および復号化方法を提供する。
かかる発明によれば、画像フレームの再生に同期させて、ブロック単位で圧縮符号化音声データを復号化して、画像フレームの１フレーム周期に属する個数の音声サンプルからなる１ブロック分の音声サンプル列を発生することができるので、簡単な装置構成により、画像フレーム列と音声サンプル列の同期再生を行うことが可能になる。
【発明を実施するための最良の形態】
【０００６】
以下、図面を参照し、この発明の実施の形態を説明する。
図１はこの発明の一実施形態である音声の圧縮符号化および復号化方法を利用したマルチメディア伝送システムの構成を示すブロック図である。このマルチメディア伝送システムは、記録装置１と、再生装置２とにより構成されている。ここで、再生装置２は、例えばパチンコ台などのゲーム機に設けられる装置であり、ゲーム機において発生する各種のイベント（例えば、パチンコ台の場合には、賞玉の払い出しを割り当てられた特定のチャッカーに玉が入る入賞イベントなど）に応じて、アニメーションなどの各種の画像シーンと効果音などの各種の音声フレーズの同期再生を行う装置である。記録装置１は、再生装置２において画像シーンと同期再生される音声フレーズの圧縮符号化を行い、記録媒体Ｍに記録する装置である。
【０００７】
図１に示すように、記録装置１は、制御部１１と、操作部１２と、音声エンコーダ１３と、記録部１４とを有する。制御部１１は、操作部１２を介して各種のコマンドや制御情報をユーザから受け取り、受け取ったコマンドや制御情報に従って記録装置１の各部の制御を行う。操作部１２を介して制御部１１に与えられる情報として、再生装置２において再生する画像のフレームレートｆ１（フレーム数／秒）がある。制御部１１は、この画像のフレームレートｆ１を音声エンコーダ１３に通知する。
【０００８】
音声エンコーダ１３には、音楽の一部や各種の効果音などの音声フレーズの音声サンプル列が与えられる。この音声フレーズの音声サンプル列は、収音マイクにより取得される音声フレーズのアナログ音声信号をＡ／Ｄ変換器によりサンプリングし、デジタル化したものであってもよいし、ＣＤ再生装置などにより再生されるＰＣＭ形式の音声サンプル列であってもよい。本実施形態では、音声サンプル列は、再生装置２において取り扱い可能なサンプルレート（例えばサンプルレートｆ２とする）に変換され、音声エンコーダ１３に供給される。
【０００９】
音声エンコーダ１３は、音声のサンプルレートｆ２を制御部１１から通知された画像のフレームレートｆ１によって除算し、除算結果ｆ２／ｆ１を圧縮符号化の単位である１ブロック当たりのサンプル数とする。すなわち、例えば画像のフレームレートｆ１が３０フレーム／秒である場合において、音声のサンプルレートｆ２が４４．１ｋＨｚである場合には１ブロック当たりのサンプル数は１４７０サンプル、音声のサンプルレートｆ２が４８ｋＨｚである場合には１ブロック当たりのサンプル数は１６００サンプルとなる。そして、音声エンコーダ１３は、圧縮符号化対象であるサンプルレートｆ２の音声サンプル列を各々ｆ２／ｆ１サンプルからなるブロックに区切り、ブロック毎に、他のブロックの音声サンプルを参照することなく、音声サンプル列の圧縮符号化を行い、圧縮符号化音声データを出力する。
【００１０】
音声エンコーダ１３における音声サンプルの圧縮符号化方法に関しては、各種の態様が考えられる。第１の態様において、音声エンコーダ１３は、例えばＡＤＰＣＭ（Ａｄａｐｔｉｖｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ；適応差分符号化）などの差分符号化アルゴリズムによりブロック単位で音声サンプル列の圧縮符号化を行う。すなわち、図２に例示するように、ブロック内の先頭の音声サンプルは圧縮することなくそのまま圧縮符号化音声データとして出力し、２番目以降の音声サンプルは、先行する音声サンプルとの間の差分Δを符号化したものを圧縮符号化音声データとして出力する。
【００１１】
第２の態様において、音声エンコーダ１３は、例えばＭＰ３（ＭＰＥＧ  １  Ａｕｄｉｏ  Ｌａｙｅｒ  ３）などのＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ；高速フーリエ変換）を利用した圧縮符号化アルゴリズムによりブロック単位で音声サンプル列の圧縮符号化を行う。この種の圧縮符号化アルゴリズムでは、２ｎ個（ｎは所定の整数）のサンプル列単位で圧縮符号化を行う。そこで、この態様では、図３に例示するように、１ブロックを構成する音声サンプルの個数が２ｎ個に満たない場合には、その不足分に相当する個数だけ値が０の零サンプルを本来の音声サンプル列の後に補充して、圧縮符号化を行う。音声フレーズのブロックのうち最後のブロック以外のブロックは、ｆ２／ｆ１個の音声サンプルを含む。従って、これらのブロックについては、圧縮符号化の際に補充される零サンプルの個数は一定値（＝２ｎ−ｆ２／ｆ１）となる。しかし、一般的に音声フレーズの最後尾のブロックは、音声サンプル数がｆ２／ｆ１個より少ない。従って、この最後尾のブロックについては、圧縮符号化の際に、２ｎ−ｆ２／ｆ１個よりも多くの零サンプルが補充されることとなる。なお、この第２の態様による圧縮符号化方法に関する文献としては、例えば特許文献２がある。
【００１２】
記録部１４は、制御部１１による制御の下、圧縮符号化音声データを各種の音声フレーズ毎にファイル化して記録媒体Ｍに記録する。記録媒体Ｍは、例えばＲＯＭ（リードオンリメモリ）である。好ましい態様において、圧縮符号化音声データのファイルは、複数ブロックからなる圧縮符号化音声データの他に、圧縮符号化された音声フレーズを特定する識別子、音声フレーズを構成する音声サンプル列のサンプルレート、ブロックの個数などの情報を含む。また、上述した第２の態様で音声フレーズの圧縮符号化が行われる場合、圧縮符号化音声データのファイルは、さらにブロック毎に零サンプルの補充個数を示す情報を含む。
【００１３】
再生装置２は、制御部２１と、コマンドＩ／Ｆ（インタフェース）２２と、画像再生部２３と、音声再生部２４とを有している。制御部２１は、ゲーム機全体の制御を行うホストコンピュータ（図示略）からのコマンドをコマンドＩ／Ｆ２２を介して受け取り、このコマンドに従って画像再生部２３および音声再生部２４の制御を行う。
【００１４】
音声再生部２４は、圧縮符号化音声データ入力手段としてのデータ読み取り部２５と、音声復号化手段としての音声デコーダ２６と、音声出力手段としての音声出力部２７を有している。さらに詳述すると、データ読み取り部２５は、制御部２１からの指示に従い、記録媒体Ｍから各種の音声フレーズの圧縮符号化音声データのファイルを読み取る装置である。記憶媒体Ｍから読み取られる音声フレーズの圧縮符号化音声データのファイルは、圧縮符号化音声データの他に、音声フレーズを構成する音声サンプル列のサンプルレート、ブロックの個数などの情報を含み、さらにブロック毎の零サンプルの補充個数を示す情報を含む場合もある。ここで、圧縮符号化音声データ、ブロックの数、ブロック毎の零サンプルの補充個数を示す情報（上述した第２の態様により音声フレーズの圧縮符号化が行われた場合）は音声デコーダ２６に送られ、サンプルレートを示す情報は音声出力部２７に送られる。音声デコーダ２６は、データ読み取り部２５から送られる圧縮符号化音声データをブロック単位で復号化し、音声フレーズの音声サンプル列を出力する装置である。音声出力部２７は、音声デコーダ２６から与えられる音声フレーズの音声サンプル列を格納し、読み出しクロックに応じて、読み出し未了の音声サンプルを古いものから順に読み出して出力するＦＩＦＯ（先入れ先出し式のバッファメモリ）と、ＦＩＦＯ内から読み出される音声サンプル列をアナログ音声信号に変換するＤ／Ａ変換器と、このアナログ音声信号を増幅するアンプと、このアンプの出力信号により駆動されるスピーカとにより構成される。ここで、ＦＩＦＯから音声サンプル列を読み出す際のサンプルレートおよびＤ／Ａ変換の速度は、データ読み取り部２５から送られるサンプルレートを示す情報に従って決定される。
【００１５】
音声デコーダ２６が行う復号化処理のアルゴリズムは、記録装置１の音声エンコーダ１３における圧縮符号化アルゴリズムに対応したものとなっている。復号化の対象である圧縮符号化音声データが上述した第１の態様による圧縮符号化アルゴリズムによるものである場合、音声デコーダ２６は、復号化により得られた音声サンプル列をそのまま音声出力部２７内のＦＩＦＯに書き込めばよい。しかし、復号化の対象である圧縮符号化音声データが上述した第２の態様による圧縮符号化アルゴリズムによるものである場合、復号化により得られる音声サンプル列は、圧縮符号化前の１ブロック分の音声サンプル（ｆ２／ｆ１個の音声サンプル）の後に、零サンプルが補充された内容となっている。そこで、この態様において音声デコーダ２６は、データ読み取り部２５から与えられるブロック毎の零サンプル挿入個数を示す情報を参照し、復号化により得られる音声サンプル列のうち、補充された零サンプルを含まない圧縮符号化前の音声サンプル列のみを選択し、音声出力部２７内のＦＩＦＯに書き込む。
【００１６】
画像再生部２３は、制御部２１からの指示に従い、ゲームの展開に応じた各種のシーンの画像を再生する装置である。ある好ましい態様において、画像再生部２３は、何らかの記録媒体からＭＰＥＧなどの符号化圧縮アルゴリズムにより得られた動画像の圧縮符号化データを読み取って復号化を行い、復号化により得られた画像フレーム列を液晶パネルなどのディスプレイに表示させる装置である。他の好ましい態様において、画像再生部２３は、例えばコンピュータグラフィックスなどの画像合成により各種のシーンに対応した画像フレームを生成し、ディスプレイに表示させる装置である。
【００１７】
本実施形態において、再生装置２では、制御部２１による制御の下、各種のシーンに対応した画像および音声の同期再生が行われる。具体的には、次の通りである。
【００１８】
まず、制御部２１は、特定の画像フレーム列の再生を指示する画像再生指示イベントや特定の音声サンプル列の再生を指示する音声再生指示イベントにより構成されるシーケンスデータを各種記憶している。図示しないホストコンピュータは、ゲーム機において何らかのイベントが発生した場合、そのイベントに予め対応付けられたシーケンスデータの実行を指示するコマンドを送信する。
【００１９】
制御部２１は、コマンドＩ／Ｆ２２を介してこのコマンドを受信すると、コマンドにより指示されたシーケンスデータを読み出し、シーケンスデータから画像の再生指示イベントや音声の再生指示イベントを取り出す。ここで、ある期間にあるシーンの画像フレーム列の再生を行うことを指示する画像再生イベントと、同じ期間にある音声サンプル列の再生を行うことを指示する音声再生イベントがシーケンスデータから取り出されることがある。その場合、制御部２１は、画像再生指示イベントにより指示された画像フレーム列の再生を画像再生部２３に指示するとともに、音声再生指示イベントにより指示された音声サンプル列の再生を音声再生部２４に指示する。
【００２０】
音声再生部２４では、制御部２１から指示された音声サンプル列に対応した圧縮符号化音声データをデータ読み取り部２５が記録媒体から読み取り、音声デコーダ２６がこの圧縮符号化音声データの復号化を行って音声サンプル列を音声出力部２７のＦＩＦＯに書き込む。本実施形態において、画像フレームの１フレーム周期の長さは、１ブロック分の音声サンプル列の時間長と一致している。そこで、音声デコーダ２６は、画像フレーム列を構成する各画像フレームが再生される間、各画像フレームの再生に間に合うように、各画像フレームと同期再生させる１ブロック分の音声サンプル列の復号化を開始し、１ブロック分の音声サンプル列を音声出力部２７のＦＩＦＯに書き込む。音声出力部２７は、画像再生部２３において１つの画像フレームの再生されるとき、そのタイミングを捉えて、ＦＩＦＯ内の音声サンプル列をサンプルレートｆ２の読み出しクロックに応じて読み出し、音として出力する。本実施形態では、このように画像フレームが１個再生される毎に、それに合わせて、ｆ２／ｆ１個の１ブロック分の音声サンプル列が圧縮符号化データから復号化されて音声として再生される。このように、本実施形態においては、画像フレーム列の再生に同期して音声フレーズの音声サンプル列が再生される。
【００２１】
本実施形態において、複数ブロックからなる音声フレーズの圧縮符号化音声データが記録媒体Ｍ内にある場合において、あるシーンの画像フレーム列の再生に同期させて、その音声フレーズの途中からの再生を行うことを指示する音声再生指示イベントがシーケンスデータから取り出される場合がある。例えばある音声フレーズのｐブロック目から再生せよ、という内容の音声再生指示イベントである。この場合、制御部２１は、音声再生指示イベントにより指示された音声フレーズのｐブロック目以降のブロックの圧縮符号化音声データをデータ読み取り部２５に記憶媒体Ｍから読み取らせ、音声デコーダ２６に供給させる。音声デコーダ２６は、この圧縮符号化音声データから音声サンプル列を復号化し、音声出力部２７はこの音声サンプル列を音声として出力する。この場合も、上記シーンの画像フレーム列の再生に合わせて、音声フレーズにおけるｐブロック目以降の区間の音声が同期再生される。
【００２２】
また、本実施形態において、複数ブロックからなる音声フレーズの圧縮符号化音声データが記録媒体Ｍ内にある場合において、ある画像フレーム列のループ再生に同期させて、その音声フレーズの途中のその画像フレーム列と同じ時間長の音声サンプル列のループ再生を行うことを指示する音声再生指示イベントがシーケンスデータから取り出される場合がある。例えばある音声フレーズのｐブロック目からｑブロック目までのループ再生せよ、という内容の音声再生指示イベントである。この場合、制御部２１は、音声再生指示イベントにより指示された音声フレーズのｐブロック目からｑブロック目までの圧縮符号化音声データをデータ読み取り部２５に記憶媒体Ｍから読み取らせ、音声デコーダ２６に供給させる。音声デコーダ２６は、この圧縮符号化音声データからｐブロック目からｑブロック目までの音声サンプル列を繰り返し復号化し、音声出力部２７はこの音声サンプル列を音声として出力する。この場合も、上記画像フレーム列のループ再生に同期して、音声フレーズにおけるｐブロック目からｑブロック目までの区間の音声のループ再生が行われる。
【００２３】
以上説明したように、本実施形態によれば、画像シーンと音声フレーズの同期再生を行う場合に、１つの画像フレームの再生に合わせて１ブロックの圧縮符号化音声データの復号化が行われるようにタイミング制御すればよいので、簡単な構成により、画像シーンと音声フレーズの同期再生を行うことが可能であるという効果がある。また、本実施形態では、１つの画像フレームの再生に間に合うように、１ブロック分の圧縮符号化音声データの復号化処理を音声デコーダ２６に開始させるので、音声出力部２７内のＦＩＦＯは、１ブロック分の圧縮符号化データの復号化処理時間のバラツキを吸収できる程度の容量があればよい。従って、本実施形態によれば、小規模な装置構成により画像シーンおよび音声フレーズの同期再生を行うことが可能であるという効果がある。
【００２４】
以上、この発明の一実施形態について説明したが、この発明にはこれ以外にも他の実施形態が考えられる。例えば上記実施形態では、画像とは独立して、圧縮符号化音声データを記録媒体Ｍに記録して再生装置２に供給したが、同期再生する画像フレーム列と音声サンプル列を圧縮符号化し、圧縮符号化画像データと圧縮符号化音声データを共通の記録媒体Ｍに記録して再生装置２に供給するようにしてもよい。また、上記実施形態において、再生装置２は、記録媒体Ｍから圧縮符号化音声データを読み取るように構成したが、例えばネットワークを介した通信により圧縮符号化音声データを取得する構成としてもよい。
【図面の簡単な説明】
【００２５】
【図１】この発明の一実施形態である音声の圧縮符号化および復号化方法を利用したマルチメディア伝送システムの構成を示すブロック図である。
【図２】同実施形態における圧縮符号化方法の第１の態様を示す図である。
【図３】同実施形態における圧縮符号化方法の第２の態様を示す図である。
【符号の説明】
【００２６】
１……記録装置、１１……制御部、１２……操作部、１３……音声エンコーダ、１４……記録部、Ｍ……記録媒体、２……再生装置、２１……制御部、２２……コマンドＩ／Ｆ、２３……画像再生部、２４……音声再生部、２５……データ読み取り部、２６……音声デコーダ、２７……音声出力部。
【図１】
2008197254.tif 000003
【図２】
2008197254.tif 000004
【図３】
2008197254.tif 000005