(57)【要約】【課題】  デジタル入力において、デジタル映像及び、デジタル音声の処理遅延を補正し同期出力を行う。【解決手段】  ビデオビットストリームを入力する映像入力部と、ビデオビットストリームを復号化するビデオデコード部と、ビデオデコード部からの復号化データを出力する映像表示部と、デジタル画像データを入力するデジタル画像入力部と、デジタル画像データを出力するデジタル画像表示部と、デジタル画像表示部及び映像表示部から映像信号を生成するブレンド部と、デジタル音声データ及びオーディオビットストリームを入力する音声入力部と、音声データ及びオーディオビットストリームを復号化処理するオーディオデコード部と、オーディオデコード部からのデータに音声信号を付加生成し出力する音声出力部と、ブレンド部と音声出力部からの出力の同期を取る同期処理部とを備える。【選択図】  図１
2005204180.tif 000002
【特許請求の範囲】
【請求項１】
符号化されたビデオビットストリーム，デジタル画像データ，符号化されたオーディオビットストリーム及びデジタル音声データをそれぞれ入力するためのデジタル入力部と、
上記デジタル入力部からそれぞれ出力される上記符号化されたビデオビットストリーム，上記デジタル画像データ，上記符号化されたオーディオビットストリーム及び上記デジタル音声データをそれぞれ保持可能なデータバッファと、
上記データバッファに保持された上記符号化されたビデオビットストリームを受けて復号化されたビデオビットストリームを出力するビデオデコード部と、上記デジタル音声データ及び上記符号化されたオーディオビットストリームを受けて上記デジタル音声データ及び復号化されたオーディオビットストリームを出力するオーディオデコード部とを有するデコード部と、
上記オーディオデコード部の動作を制御して上記復号化されたオーディオビットストリーム及び上記デジタル音声データの出力と上記デジタル画像データの表示とを同期させる同期処理部と
を備えている信号処理装置。
【請求項２】
請求項１に記載の信号処理装置において、
上記同期処理部は、上記オーディオデコード部での復号化の開始を遅延させることで上記復号化されたオーディオビットストリーム及び上記デジタル音声データの出力と上記デジタル画像データの表示とを同期させる、信号処理装置。
【請求項３】
請求項１または２に記載の信号処理装置において、
上記復号化されたビデオビットストリームを受けて表示データとして出力するための映像表示部と、
上記データバッファに保持された上記デジタル画像データを受けて表示データとして出力するためのデジタル画像表示部と、
上記復号化されたオーディオビットストリーム及び上記デジタル音声データを出力するための音声出力部と
を有する出力部をさらに備え、
上記同期処理部は、上記デジタル画像表示部の出力と上記音声出力部の出力とを同期させる、信号処理装置。
【請求項４】
請求項３に記載の信号処理装置において、
上記デジタル入力部は、上記符号化されたビデオビットストリームを入力するための映像入力部と、上記デジタル画像データを入力するためのデジタル画像入力部とを有しており、
上記同期処理部は、上記デジタル画像入力部に上記デジタル画像データが入力されたことを検知する入力検知部と、上記入力検知部が上記デジタル画像データの入力を検知してからの経過時間をカウントするカウンタ部と、上記デジタル画像データが上記デジタル画像入力部に入力されてから上記デジタル画像表示部で出力されるまでに要する総時間である第１の総時間と上記デジタル音声データが上記オーディオデコード部に入力されてから上記音声出力部で出力されるまでに要する総時間である第２の総時間との差分時間を保持するための第１の入出力総時間部と、上記第１の総時間と上記第２の総時間との差分時間と上記カウンタ部のカウント値との差が等しいとみなせる場合に上記オーディオデコード部に上記オーディオビットストリームの復号化を開始させる第１の比較部とを有している、信号処理装置。
【請求項５】
請求項４に記載の信号処理装置において、
上記第１の比較部は、上記第１の総時間と上記第２の総時間との差分時間と上記カウンタ部のカウント値との差の絶対値が１／６０秒以下である場合に、上記オーディオデコード部に上記オーディオビットストリームの復号化を開始させる、信号処理装置。
【請求項６】
請求項４または５に記載の信号処理装置において、
上記オーディオデコード部は、上記第１の比較部からの指示により復号化を開始するまで上記音声入力部に入力された上記デジタル音声データを上記音声出力部に出力しない、信号処理装置。
【請求項７】
請求項４または５に記載の信号処理装置において、
上記音声入力部は、上記第１の比較部から復号化開始の指示があるまで上記デジタル音声データを上記音声出力部に出力しない、信号処理装置。
【請求項８】
請求項３〜５のうちいずれか１つに記載の信号処理装置において、
上記デジタル入力部は、上記オーディオビットストリーム及び上記デジタル音声データを入力するための音声入力部を有しており、
上記データバッファは、上記音声入力部に入力された上記デジタル音声データを保持するためのオーディオストリームバッファを有している、信号処理装置。
【請求項９】
請求項３に記載の信号処理装置において、
上記デジタル入力部は、上記符号化されたビデオビットストリームを入力するための映像入力部と、上記デジタル画像データを入力するためのデジタル画像入力部と、上記オーディオビットストリーム及び上記デジタル音声データを入力するための音声入力部とを有しており、
上記同期処理部は、時刻を生成するためのシステムタイムクロックカウンタと、上記映像入力部に上記符号化されたビデオビットストリームが入力されてから上記復号化されたビデオビットストリームが上記映像表示部で出力されるまでの処理時間である第３の総時間を保持するための第２の入出力総時間部と、上記システムクロックカウンタで生成された時刻に上記第２の入出力総時間部から出力される上記第３の総時間を加算した値を、映像時間情報として上記デジタル画像データに挿入するよう上記デジタル画像入力部に指示すると共に、音声時間情報として上記デジタル音声データに挿入するよう上記音声入力部に指示する加算部とを有している、信号処理装置。
【請求項１０】
請求項９に記載の信号処理装置において、
上記同期処理部は、
上記データバッファから上記デジタル画像データの上記映像時間情報を検出するためのＶＴＣ検出部と、
上記データバッファから上記デジタル音声データの音声時間情報を検出するためのＡＴＣ検出部と、
上記システムタイムクロックカウンタの出力値と上記ＶＴＣ検出部で検出された上記映像時間情報との差が閾値より小さくなる場合に上記デジタル画像データを出力するように上記デジタル画像表示部に指示すると共に、上記システムタイムクロックカウンタの出力値と上記ＡＴＣ検出部で検出された上記音声時間情報との差が閾値より小さくなる場合に上記デジタル音声データを出力するよう上記オーディオデコード部に指示を出す第２の比較部と
をさらに有している、信号処理装置。
【請求項１１】
請求項１０に記載の信号処理装置において、
上記第２の比較部は、上記システムタイムクロックカウンタの出力値と上記ＶＴＣ検出部で検出された上記映像時間情報との差が閾値以上になる場合、フィールド単位もしくはフレーム単位前の上記デジタル画像データを出力するように上記デジタル画像表示部に指示する、信号処理装置。
【請求項１２】
請求項９〜１１のうちいずれか１つに記載の信号処理装置において、
上記加算部は、
上記映像時間情報を上記デジタル画像データの垂直同期信号間隔ごとに挿入させる、信号処理装置。
【請求項１３】
請求項９〜１２のうちいずれか１つに記載の信号処理装置において、
上記加算部は、
上記音声時間情報を上記デジタル音声データのフレーム間隔ごとに挿入させる、信号処理装置。
【請求項１４】
請求項１〜１３のうちいずれか１つに記載の信号処理装置において、
複数種類の上記デジタル音声データが入力される場合に、上記複数種類の上記デジタル音声データからいずれか１つを選択して上記デジタル入力部に入力するためのセレクタをさらに備えている、信号処理装置。
【請求項１５】
請求項３〜１１のうちいずれか１つに記載の信号処理装置において、
上記デジタル画像表示部から出力される上記デジタル画像データは、垂直同期信号または水平同期信号に同期している、信号処理装置。
【請求項１６】
請求項１〜１５のうちいずれか１つに記載の信号処理装置において、
上記オーディオデコード部が上記符号化されたオーディオビットストリームの復号化を開始するまでに上記デジタル入力部に入力されたデジタル音声データは、上記データバッファから削除される、信号処理装置。
【請求項１７】
請求項１〜１６のうちいずれか１つに記載の信号処理装置において、
上記データバッファへの上記デジタル音声データ及び上記符号化されたオーディオビットストリームの入力を、上記ビデオデコード部での上記符号化されたビデオビットストリームの復号化が終了するまで止める、信号処理装置。
【請求項１８】
符号化されたビデオビットストリーム，デジタル画像データ，符号化されたオーディオビットストリーム及びデジタル音声データをそれぞれ入力するためのデジタル入力部と、
上記デジタル入力部からそれぞれ出力される上記符号化されたビデオビットストリーム，上記デジタル画像データ，上記符号化されたオーディオビットストリーム及び上記デジタル音声データをそれぞれ保持可能なデータバッファと、
上記データバッファに保持された上記符号化されたビデオビットストリームを受けて復号化されたビデオビットストリームを出力するビデオデコード部と、上記符号化されたオーディオビットストリームを受けて復号化されたオーディオビットストリームを出力するオーディオデコード部とを有するデコード部と、
上記デコード部からの出力を受けて、上記復号化されたビデオビットストリーム，上記デジタル画像データ，上記復号化されたオーディオビットストリーム，及び上記デジタル音声データを出力するための出力部と、
同期処理部と
を備えた信号処理装置であって、
上記デジタル入力部は、上記符号化されたオーディオビットストリーム及び上記デジタル音声データを入力するための音声入力部を有し、
上記データバッファは、上記音声入力部に入力された上記符号化されたオーディオビットストリーム及び上記デジタル音声データを保持するためのオーディオストリームバッファを有し、
上記デコード部は、上記デジタル音声データ及び上記符号化されたオーディオビットストリームを受けて上記デジタル音声データ及び復号化されたオーディオビットストリームを出力するオーディオデコード部を有し、
上記出力部は、上記オーディオデコード部からの出力を受けて上記デジタル音声データ及び復号化されたオーディオビットストリームを出力する音声出力部を有している、信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化されたビットストリームの復号化出力処理及び、デジタル信号の出力処理を行なう信号処理技術に関する。
【背景技術】
【０００２】
符号化されたビットストリームの復号化出力処理、及びデジタル信号の出力処理をする場合、例えば図１０に示すような信号処理装置によって処理が行われる。
【０００３】
図１０は、従来の信号処理装置を示すブロック構成図である。同図に示すように、従来の信号処理装置では、符号化された映像データであるビデオビットストリーム（図１０では「ビデオストリーム」と略記）が映像入力部２００１に入力され、アナログデータまたはデジタルデータである外部データが外部データバッファ２００５に入力される。映像入力部２００１に入力されたビデオビットストリームは、ビデオストリームバッファ２００２で一旦保持された後にビデオデコード部２００３で復号化され、映像表示部２００４で表示される。次いで、ビデオビットストリームは、映像表示部２００４からブレンド部２００６に出力される。また、外部データバッファ２００５に入力された外部データも、ブレンド部２００６に出力される。そして、ブレンド部２００６では、復号化されたビデオビットストリームと外部データとが合成された状態で表示される。なお、外部データとしては、例えばＢＴ６５６規格に準拠したデータが用いられる。
【０００４】
一方、オーディオビットストリームは音声入力部２００８に、外部データに対応したＰＣＭ（Pulse Code Modulation）方式の音声データは音声バッファ２０１２に、それぞれ入力される。オーディオビットストリームはオーディオストリームバッファ２００９で一旦保持された後、オーディオデコード部２０１０で復号化される。その後、音声出力部２０１１から音声が出力される。また、音声バッファ２０１２に入力された音声データは、音声出力部２０１３から音声出力される。
【０００５】
また、ビデオビットストリームの復号化は通常オーディオビットストリームの復号化よりも多くの時間を要するので、従来の信号処理装置では、同期処理部２００７を設けてビデオビットストリームの表示とオーディオストリームの音声出力との同期を図っている。ただし、従来技術においては、外部データと音声データとの同期を取らず処理していた。このような信号処理装置の一例が特許文献１に開示されている。
【特許文献１】特開２００１−５０６４５０号公報（第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の信号処理装置では、外部データとビデオビットストリームとで処理段数が異なるため、外部データの映像表示とビデオビットストリームの映像表示とが同期しない場合があった。これと同様に、オーディオビットストリームの処理段数と音声データの処理段数とが異なるため、オーディオビットストリームの音声出力と音声データの音声出力とが同期しない場合もあった。また、外部データの表示と外部データに対する音声の出力とが同期しない場合もあった。そのため、映像の表示時間と該映像に対応する音声の出力時間との間に差異が生じる場合があり、この差異がユーザーに違和感を抱かせていた。
【０００７】
本発明の目的は、デジタル映像出力とデジタル音声出力とを同期可能にした信号処理装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の第１の信号処理装置は、符号化されたビデオビットストリーム，デジタル画像データ，符号化されたオーディオビットストリーム及びデジタル音声データをそれぞれ入力するためのデジタル入力部と、上記デジタル入力部からそれぞれ出力される上記符号化されたビデオビットストリーム，上記デジタル画像データ，上記符号化されたオーディオビットストリーム及び上記デジタル音声データをそれぞれ保持可能なデータバッファと、上記データバッファに保持された上記符号化されたビデオビットストリームを受けて復号化されたビデオビットストリームを出力するビデオデコード部と、上記デジタル音声データ及び上記符号化されたオーディオビットストリームを受けて上記デジタル音声データ及び復号化されたオーディオビットストリームを出力するオーディオデコード部とを有するデコード部と、上記オーディオデコード部の動作を制御して上記復号化されたオーディオビットストリーム及び上記デジタル音声データの出力と上記デジタル画像データの表示とを同期させる同期処理部とを備えている。
【０００９】
この構成により、同期処理部が、復号化処理やデジタル音声データの出力といったオーディオデコード部の動作を制御するので、デジタル映像出力とデジタル音声出力の同期を取ることが可能になる。そのため、ユーザーが視聴する際に違和感を抱かせないＴＶやＤＶＤプレイヤー等を実現することができる。なお、コンピュータが読み取り可能なプログラムを用いて本発明の信号処理装置の各部の動作をＣＰＵなどに行わせることも可能である。
【００１０】
また、上記同期処理部は、上記オーディオデコード部での復号化の開始を遅延させることで上記復号化されたオーディオビットストリーム及び上記デジタル音声データの出力と上記デジタル画像データの表示とを同期させることにより、従来困難であったデジタル画像出力とデジタル音声出力の同期を取ることができる。さらに、オーディオビットストリームの出力とビデオビットストリームの出力の同期も取ることが可能になる。これは、通常オーディオビットストリームや音声データの処理よりもビデオビットストリームやデジタル画像データの処理の方が時間がかかるためである。
【００１１】
上記復号化されたビデオビットストリームを受けて表示データとして出力するための映像表示部と、上記データバッファに保持された上記デジタル画像データを受けて表示データとして出力するためのデジタル画像表示部と、上記復号化されたオーディオビットストリーム及び上記デジタル音声データを出力するための音声出力部とを有する出力部をさらに備え、上記同期処理部は、上記デジタル画像表示部の出力と上記音声出力部の出力とを同期させることが好ましい。また、デジタル画像表示部をデジタル画像データの処理経路に加えたことにより、画像の拡大処理や縮小処理などを行なうことができる。
【００１２】
上記デジタル入力部は、上記符号化されたビデオビットストリームを入力するための映像入力部と、上記デジタル画像データを入力するためのデジタル画像入力部とを有しており、上記同期処理部は、上記デジタル画像入力部に上記デジタル画像データが入力されたことを検知する入力検知部と、上記入力検知部が上記デジタル画像データの入力を検知してからの経過時間をカウントするカウンタ部と、上記デジタル画像データが上記デジタル画像入力部に入力されてから上記デジタル画像表示部で出力されるまでに要する総時間である第１の総時間と上記デジタル音声データが上記オーディオデコード部に入力されてから上記音声出力部で出力されるまでに要する総時間である第２の総時間との差分時間を保持するための第１の入出力総時間部と、上記第１の総時間と上記第２の総時間との差分時間と上記カウンタ部のカウント値との差が等しいとみなせる場合に上記オーディオデコード部に上記オーディオビットストリームの復号化を開始させる第１の比較部とを有している。これにより、例えばＴＶやＤＶＤプレイヤーでの処理では第１の総時間及び第２の総時間はあらかじめ特定可能であるので、少なくともデジタル画像データの出力とデジタル音声データの出力とを精度良く同期させることができる。
【００１３】
上記第１の比較部は、上記第１の総時間と上記第２の総時間との差分時間と上記カウンタ部のカウント値との差の絶対値が１／６０秒以下である場合に、上記オーディオデコード部に上記オーディオビットストリームの復号化を開始させることが好ましい。
【００１４】
上記オーディオデコード部は、上記第１の比較部からの指示により復号化を開始するまで上記音声入力部に入力された上記デジタル音声データを上記音声出力部に出力しないことにより、デジタル画像データの出力とデジタル音声データの出力とを精度良く同期させることができる。
【００１５】
また、上記音声入力部が、上記第１の比較部から復号化開始の指示があるまで上記デジタル音声データを上記音声出力部に出力しないことによってもデジタル画像データの出力とデジタル音声データの出力とを精度良く同期させることができる。
【００１６】
上記デジタル入力部は、上記オーディオストリーム及び上記デジタル音声データを入力するための音声入力部を有しており、上記データバッファは、上記音声入力部に入力された上記デジタル音声データを保持するためのオーディオストリームバッファを有していることにより、オーディオビットストリームとデジタル音声データとを同じ回路で処理できるので、オーディオビットストリームとデジタル音声データとを別々の回路で処理する従来の信号処理装置よりも面積を小さくすることができる。
【００１７】
上記デジタル入力部は、上記符号化されたビデオビットストリームを入力するための映像入力部と、上記デジタル画像データを入力するためのデジタル画像入力部と、上記オーディオビットストリーム及び上記デジタル音声データを入力するための音声入力部とを有しており、上記同期処理部は、時刻を生成するためのシステムタイムクロックカウンタと、上記映像入力部に上記符号化されたビデオビットストリームが入力されてから上記復号化されたビデオビットストリームが上記映像表示部で出力されるまでの処理時間である第３の総時間を保持するための第２の入出力総時間部と、上記システムクロックカウンタで生成された時刻に上記第２の入出力総時間部から出力される上記第３の総時間を加算した値を、映像時間情報として上記デジタル画像データに挿入するよう上記デジタル画像入力部に指示すると共に、音声時間情報として上記デジタル音声データに挿入するよう上記音声入力部に指示する加算部とを有している。
【００１８】
これにより、例えば、デジタル画像データに挿入された映像時間情報と、デジタル音声データには音声時間情報とを検出することによってデジタル画像データの出力とデジタル音声データの出力とを同期させたり、これらのデータの出力と復号化オーディオビットストリームの表示とを同期させたりすることが可能となる。
【００１９】
上記同期処理部は、上記データバッファから上記デジタル画像データの上記映像時間情報を検出するためのＶＴＣ検出部と、上記データバッファから上記デジタル音声データの音声時間情報を検出するためのＡＴＣ検出部と、上記システムタイムクロックカウンタの出力値と上記ＶＴＣ検出部で検出された上記映像時間情報との差が閾値より小さくなる場合に上記デジタル画像データを出力するように上記デジタル画像表示部に指示すると共に、上記システムタイムクロックカウンタの出力値と上記ＡＴＣ検出部で検出された上記音声時間情報との差が閾値より小さくなる場合に上記デジタル音声データを出力するよう上記オーディオデコード部に指示を出す第２の比較部とをさらに有していることにより、ビデオビットストリームの処理時間に合わせてデジタル画像データ，オーディオビットストリーム，及びデジタル音声データの処理を遅延させることができるので、デジタル画像データ，オーディオビットストリーム，及びデジタル音声データの出力を復号化されたビデオビットストリームの出力と同期させることができる。特に、信号処理装置の出力部に近いデジタル画像表示部での処理を遅延させることができるので、ビデオデコード部やオーディオデコード部の動作のみを制御する場合に比べてより精度良く同期処理を行なうことができる。
【００２０】
上記第２の比較部は、上記システムタイムクロックカウンタの出力値と上記ＶＴＣ検出部で検出された上記映像時間情報との差が閾値以上になる場合、フィールド単位もしくはフレーム単位前の上記デジタル画像データを出力するように上記デジタル画像表示部に指示することにより、同期処理が外れた場合に乱れたデジタル画像表示が行われるのを防ぐことができる。
【００２１】
上記加算部は、上記映像時間情報を上記デジタル画像データの垂直同期信号間隔ごとに挿入させることにより、デジタル画像データやデジタル音声データがＴＶやＤＶＤなどである場合に、各データ出力の同期をとりやすくすることができる。
【００２２】
上記加算部は、上記音声時間情報を上記デジタル音声データのフレーム間隔ごとに挿入させることにより、各データ出力の同期をとりやすくすることができる。
【００２３】
複数種類の上記デジタル音声データが入力される場合に、上記複数種類の上記デジタル音声データからいずれか１つを選択して上記デジタル入力部に入力するためのセレクタをさらに備えていることにより、回路面積を小さくすることができる。
【００２４】
上記デジタル画像表示部から出力される上記デジタル画像データは、垂直同期信号または水平同期信号に同期していることが好ましい。
【００２５】
上記オーディオデコード部が上記符号化されたオーディオビットストリームの復号化を開始するまでに上記デジタル入力部に入力されたデジタル音声データは、上記データバッファから削除されることにより、データバッファの記憶容量を小さくすることができるので、回路面積を縮小することができる。
【００２６】
上記データバッファへの上記デジタル音声データ及び上記符号化されたオーディオビットストリームの入力を、上記ビデオデコード部での上記符号化されたビデオビットストリームの復号化が終了するまで止めることにより、データバッファの記憶容量を小さくすることができるので、回路面積を縮小することができる。
【００２７】
本発明の第２の信号処理装置は、符号化されたビデオビットストリーム，デジタル画像データ，符号化されたオーディオビットストリーム及びデジタル音声データをそれぞれ入力するためのデジタル入力部と、上記デジタル入力部からそれぞれ出力される上記符号化されたビデオビットストリーム，上記デジタル画像データ，上記符号化されたオーディオビットストリーム及び上記デジタル音声データをそれぞれ保持可能なデータバッファと、上記データバッファに保持された上記符号化されたビデオビットストリームを受けて復号化されたビデオビットストリームを出力するビデオデコード部と、上記符号化されたオーディオビットストリームを受けて復号化されたオーディオビットストリームを出力するオーディオデコード部とを有するデコード部と、上記デコード部からの出力を受けて、上記復号化されたビデオビットストリーム，上記デジタル画像データ，上記復号化されたオーディオビットストリーム，及び上記デジタル音声データを出力するための出力部と、同期処理部とを備えた信号処理装置であって、上記デジタル入力部は、上記符号化されたオーディオビットストリーム及び上記デジタル音声データを入力するための音声入力部を有し、上記データバッファは、上記音声入力部に入力された上記符号化されたオーディオビットストリーム及び上記デジタル音声データを保持するためのオーディオストリームバッファを有し、上記デコード部は、上記デジタル音声データ及び上記符号化されたオーディオビットストリームを受けて上記デジタル音声データ及び復号化されたオーディオビットストリームを出力するオーディオデコード部を有し、上記出力部は、上記オーディオデコード部からの出力を受けて上記デジタル音声データ及び復号化されたオーディオビットストリームを出力する音声出力部を有している。
【００２８】
これにより、オーディオビットストリームの処理とデジタル音声データの処理とを共通の回路で行なうことができるので、音声データの処理回路の面積を縮小することができる。従って、信号処理装置自体の面積も縮小することができる。
【発明の効果】
【００２９】
本発明の信号処理装置によれば、同期処理部がデジタル画像データの入力を検知してオーディオデコード部でのオーディオビットストリーム及びデジタル音声データの処理をデジタル画像データの処理に合わせて遅延させることができるので、デジタル画像データの表示とこれに対応したデジタル音声データの音声出力とを同期させることができる。
【００３０】
また、同期処理部がデジタル画像データ及びデジタル音声データに時間情報をそれぞれ挿入させることにより、例えば、これらの時間情報を同期処理部で検出しオーディオデコード部及びデジタル画像表示部でのデータ処理を遅延させることが可能となるので、画像データの表示と音声データの出力とをより精度良く同期させることが可能となる。
【発明を実施するための最良の形態】
【００３１】
以下、図を参照して本発明の具体的な内容を詳細に説明する。
【００３２】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る信号処理装置を示すブロック構成図である。
【００３３】
同図に示すように、本実施形態の信号処理装置は、映像（画像）及び音声データを入力するためのデジタル入力部１００と、デジタル入力部１００に入力された各データを保持するためのデータバッファ１１０と、符号化された映像データ及び符号化された音声データを復号化するためのデコード部１２０と、出力部１３０と、同期処理部１４０とを備えている。
【００３４】
デジタル入力部１００は、符号化されたビデオビットストリームが入力される映像入力部１０１と、アナログテレビ、ＤＶＤプレーヤもしくは、ネットワークなどから伝達されるデジタル画像データが入力されるデジタル画像入力部１０２と、符号化されたオーディオビットストリーム及び、アナログテレビ、ＤＶＤプレーヤ、ＡＶＨＤＤ、もしくはネットワークなどから伝達されるデジタル音声データが入力された音声入力部１０３とを有している。また、デジタル画像入力部１０２は、デジタル画像データが入力された時に、デジタル画像データが入力されたことを示す信号ＳＩＧ１４３を同期処理部１４０に出力する。なお、デジタル音声データとオーディオビットストリームのうちいずれか１つを選択して音声入力部１０３に出力するセレクタをデジタル入力部１００の前段に設けてもよい。この場合、セレクタを設けることにより、信号処理装置の回路面積を小さくすることができる。
【００３５】
データバッファ１１０は、映像入力部１０１から出力されるオーディオビットストリームを一時的に保持するビデオストリームバッファ１１１と、デジタル画像入力部１０２から出力されるデジタル画像データを一時的に保持するデジタル画像データバッファ１１２と、音声入力部１０３から出力されたオーディオビットストリーム及びデジタル音声データを一時的に保持するオーディオストリームバッファ１１３とを有している。
【００３６】
また、デコード部１２０は、符号化されたビデオビットストリームを復号化するビデオデコード部１２１と、符号化されたオーディオビットストリームを復号化するオーディオデコード部１２２とを有している。ビデオデコード部１２１におけるビデオビットストリームの復号化、及びオーディオデコード部１２２におけるオーディオビットストリームの復号化は、それぞれ同期処理部１４０からの指示ＳＩＧ１４１，ＳＩＧ１４２により開始される。
【００３７】
そして、出力部１３０は、ビデオデコード部１２１から復号化されたビデオビットストリームを入力される映像表示部１３１と、デジタル画像表示部１３２と、音声出力部１３３と、ブレンド部１３４とを有している。このうち、映像表示部１３１は、入力された映像のデータを垂直同期信号または水平同期信号と同期させることでディスプレイ等に表示可能なデータとして出力する。デジタル画像表示部１３２は、入力されたデジタル映像信号のデータを垂直同期信号または水平同期信号と同期させることでディスプレイなどに表示可能なデータとして出力する。また、デジタル画像表示部１３２は、デジタル画像データをフィルタリングし、画像の拡大または縮小等の処理を行なうこともできる。音声出力部１３３は、オーディオデコード部１２２でデコードされた音声のデータを出力する。このデジタル画像表示部１３２を備えていることは、本実施形態の信号処理装置の特徴の１つである。そして、ブレンド部１３４は、映像表示部１３１の出力とデジタル画像表示部１３２の出力とを合成し、水平周期信号と同期させて映像出力する。
【００３８】
また、同期処理部１４０は、映像データの処理と音声データの処理との同期を行うためビデオデコード部に対しデコード開始の指示（ＳＩＧ１４１）を出し、オーディオデコードに対しデコード開始の指示（ＳＩＧ１４２）を出す。
【００３９】
以上の構成により、本実施形態の信号処理装置に入力されたデータの流れは、次のようになる。
【００４０】
映像入力部１０１に入力されたビデオビットストリームは、映像入力部１０１からビデオストリームバッファ１１１へ出力された後、ビデオデコード部１２１に出力される。続いて、ビデオビットストリームは、ビデオデコード部１２１で復号化され、映像データとして映像表示部１３１に出力される。次いで、復号化されたビデオビットストリームは、映像表示部１３１で垂直同期信号または水平同期信号に同期された後、ブレンド部１３４に出力される。
【００４１】
デジタル画像入力部１０２に入力されたデジタル画像データは、デジタル画像データバッファ１１２へ出力された後、デジタル画像表示部１３２に出力される。次いで、デジタル画像表示部１３２に入力されたデジタル画像データは、垂直同期信号または水平同期信号に同期された後、ブレンド部１３４に入力される。ブレンド部１３４では、同期処理後のデジタル画像データと、復号化され、且つ同期処理された映像データとが合成される。次いで、ブレンド部１３４は、合成された映像を水平同期信号に同期させて出力する。
【００４２】
また、オーディオビットストリームとデジタル音声データとは、共に音声入力部１０３に入力され、オーディオストリームバッファ１１３に出力された後、オーディオデコード部１２２に出力される。次いで、オーディオビットストリームはオーディオデコード部１２２で復号化された後、音声のデータとして音声出力部１３３に出力される。また、デジタル音声データも、オーディオデコード部１２２から音声出力部に出力される。このように、オーディオビットストリームとデジタル音声データとが同じ音声入力部１０３に入力されるのは、本実施形態の信号処理装置が従来の信号処理装置と異なる点の１つである。これにより、本実施形態の信号処理装置では、従来よりも回路面積を小さくすることが可能となっている。
【００４３】
また、本実施形態の信号処理装置では、デジタル画像データがデジタル画像入力部１０２に入力された時点でデジタル画像入力部１０２から同期処理部１４０に信号ＳＩＧ１４３が送られる。そして、信号ＳＩＧ１４３を基に同期処理部１４０が、ビデオデコード部１２１でのビデオビットストリームの復号化を開始するための指示ＳＩＧ１４１と、オーディオデコード部１２２でのオーディオビットストリームの復号化を開始するための指示ＳＩＧ１４２とを出力する。
【００４４】
次に、本実施形態の信号処理装置における同期処理について説明する。
【００４５】
図２は、本実施形態の信号処理装置における同期処理部を示すブロック構成図である。同図に示すように、同期処理部１４０は、入力検知部２０３と、カウンタ部２００と、入出力総時間部（第１の入出力総時間部）２０１と、比較部（第１の比較部）２０２とを有している。
【００４６】
デジタル画像入力部１０２にデジタル映像信号データが入力され、デジタル映像信号データに含まれている最初の垂直同期信号が発生した時に、デジタル画像入力部１０２は、入力検知部２０３へ信号ＳＩＧ１４３を出力する。入力検知部２０３は、信号ＳＩＧ１４３を受けてデジタル画像データの入力を検知し、最初の垂直同期信号がきた場合に、カウンタ部２００を０初期化する。カウンタ部２００は、一定時間間隔毎（例えば、１表示ライン毎）にカウントアップし、比較部２０２へカウンタ値を出力する。入出力総時間部２０１は、デジタル画像データがデジタル画像入力部１０２に入力されてからデジタル画像表示部１３２で出力されるまでに要する総時間（これを「総時間Ａ」とする）と、デジタル音声データがオーディオデコード部１２２に入力されてから音声出力部１３３で出力されるまでに要する総時間（これを「総時間Ｂ」とする）との差分時間を保持し、この差分時間、すなわち（総時間Ａ−総時間Ｂ）を比較部２０２へ出力する。ここで、デジタル画像データ及びデジタル音声データがテレビデータやＤＶＤデータの場合は、データの処理時間はあらかじめ特定されており、総時間Ａ及び総時間Ｂもあらかじめ特定されている。比較部２０２は、入出力総時間部２０１からの出力値（差分時間）と、カウンタ部２００からの出力値との比較を行なう。すなわち、比較部２０２は、入出力総時間部２０１からの出力値とカウンタ部２００からの出力値が等しいとみなせる場合にオーディオデコード部１２２へデコード開始の指示ＳＩＧ１４２を送る。デジタル画像データ及びビデオビットストリームの処理はデジタル音声データの処理より時間を要するので、以上のように、オーディオデコード部１２２での復号化を遅延させることで、デジタル画像データの処理とデジタル音声データの処理との同期を図ることができる。また、ビデオビットストリームの処理とデジタル画像データの処理との同期はＳＩＧ１４１で制御している。
【００４７】
次に、同期処理部１４０での処理を具体的な数値を挙げて説明する。ここで、図５は、本実施形態の信号処理装置の各部の動作の一例を示すタイミングチャートである。
【００４８】
まず、デジタル画像入力部１０２にデジタル画像データが入力されてからデジタル画像表示部から該デジタル画像データが出力されるまでの処理時間５０１を２／６０秒とし、オーディオデコード部１２２にデジタル音声データが入力されてから音声出力部１３３で音声出力されるまでの時間を約０とした場合、２／６０秒―０秒＝２／６０秒となる。従って、同期処理部１４０は、２／６０秒ぶんオーディオデコード部１２２のデコード開始を遅延させることになる。その場合、入出力総時間部２０１には、２／６０秒の値が保持される。
【００４９】
この状態で、デジタル画像入力部１０２にデジタル画像データを入力すると、入力検知部２０３は、最初の垂直同期信号を検出した時点で、デジタル画像データが入力されたと判断し、カウンタ部２００の“０”初期化を行なう。そして、カウンタ部２００は、初期化後カウントアップを始める。さらに、入出力総時間部２０１の出力値と、カウンタ部２００の出力値とが等しくなると、同期処理部１４０は、オーディオデコード部１２２に復号化を開始する旨の指示ＳＩＧ１４２を送る。ここでは、入出力総時間部２０１の出力値と、カウンタ部２００の出力値との差（の絶対値）が１／６０秒以下であれば両者が等しいと判断する。
【００５０】
次に、オーディオデコード部１２２がオーディオビットストリームの復号化を開始する場合、オーディオストリームバッファ１１３に保持されたオーディオビットストリームの先頭からデコードを開始する。また、同期処理部１４０は、デコード開始するまでは、音声出力を停止する旨の指示ＳＩＧ１４２を行なう。また、復号化を開始するまでのデジタル音声データは、音声入力部１０３にて削除される。これにより、オーディオストリームバッファ１１３の記憶容量を小さくすることができるので、信号処理装置の回路のサイズを低減することができる。
【００５１】
次に、図５に示すタイムチャートを用いて信号処理部の動作をさらに説明する。同図において、画像信号の処理の対象をたとえば“Ｎ＿１ｆ”のように表記している。以下では、各処理の表記において、“Ｎ”、“Ｎ＋１”等は処理対象のフレームの番号を示している（Ｎは整数）。また、“１ｆ”又は“２ｆ”は、それぞれ第１フィールド、第２フィールドについての処理であることを示している。
【００５２】
図５に示すタイムチャートにおいて、映像入力部１０１にはビデオビットストリームが入力され、デジタル画像入力部１０２にはデジタル画像データが入力され、音声入力部１０３にはデジタル音声データが入力されているものとしている。なお、１フィールドの期間、すなわち垂直同期期間は１／６０秒である。
【００５３】
図５に示すように、本実施形態の信号処理装置では、映像入力部１０１、音声入力部１０３でそれぞれ得られるＮ番目の符号化データ、デジタル画像入力部１０２で得られるデジタル画像データ、及びデジタル音声データは、それぞれ互いに同一のタイミングで入力される。これらのデータのうち、Ｎ番目のビデオビットストリームはビデオストリームバッファ１１１に格納される。その後、ビデオデコード部１２１が、垂直同期信号に同期する形で、Ｎ番目のビデオビットストリームの復号化を第２フィールドで開始する。次に、映像表示部１３１は、Ｎ番目のビデオビットストリームの復号化を開始した期間の次の垂直同期信号に同期し、第１フィールドと第２フィールドに出力する。よって、映像入力部１０１でのビデオビットストリームの入力から映像表示部１３１へのビデオビットストリームの出力までには２／６０秒の処理時間５０１を要する。
【００５４】
一方で、映像表示部１３１の出力タイミングにデジタル画像表示部１３２からの出力と音声出力部１３３からの出力とを同期させるため、２／６０秒遅延制御する。すなわち、デジタル画像表示部１３２での処理を同期処理部１４０が２／６０秒だけ遅延させる。
【００５５】
また、オーディオデコード部１２２から音声出力部１３３までの処理時間５０３は、同期処理部１４０がオーディオデコード部１２２の動作を２／６０秒だけ遅延させた時間を含む。これらの処理により、本実施形態の信号処理装置では、映像表示部１３１からの出力と、デジタル画像表示部１３２からの出力と、音声出力部１３３からの出力とを互いに同期させることが可能となる。
【００５６】
以上で説明したように、本実施形態の信号処理装置によれば、デジタル画像データの処理がデジタル音声データの処理よりも遅れる分だけオーディオデコード部１２２の動作を同期処理部１４０が遅延させるので、デジタル画像データの表示とこれに対応するデジタル音声データの出力とを同期させることができる。また、同期処理部１４０がビデオデコード部１２１の復号化開始を制御することで、映像表示部１３１の出力をデジタル画像表示部１３２の出力に同期させることができる。その結果、例えばＤＶＤやＡＶＨＤＤなどに保持された情報を再生する場合、ユーザーに違和感を与えることなく快適に視聴させることが可能となる。
【００５７】
また、本実施形態の信号処理装置では、デジタル画像データの処理経路にデジタル画像表示部１３２を設けているので、デジタル画像データをフィルタリングし、画像の拡大または縮小等の処理を行なうこともできる。加えて、デジタル画像表示部１３２がデジタル画像データを垂直同期信号または水平同期信号に同期させるので、デジタル画像データがテレビやＤＶＤプレーヤー、あるいはハードディスクなどの場合に１つのフレームごとに画像と音声とを良好に同期させることができる。ただし、デジタル画像表示部１３２において、デジタル画像データは、垂直同期信号及び水平同期信号以外の信号に同期させてもよい。
【００５８】
さらに、本実施形態の信号処理装置では、オーディオビットストリームとデジタル音声データとが互いに同じ処理経路を通る。これにより、互いの処理経路が別々である場合に比べて回路面積を小さくすることができる。
【００５９】
また、本実施形態の信号処理装置では、オーディオデコード部１２２でのデコードを開始するまでに入力されたデジタル音声データを削除することで、オーディオストリームバッファ３１３のメモリを削減することができるので、コストを抑えることができる。
【００６０】
なお、本実施形態の信号処理装置において、上述の総時間Ａ及び総時間Ｂはあらかじめ入出力総時間部２０１に保持されていたが、総時間Ａ及び総時間Ｂとして、実際に測定した処理時間を用いてもよい。これにより、総時間Ａ及びＢが既知でない場合にも画像データと音声データとの同期をとることが可能となる。
【００６１】
また、以上で説明した本実施形態の信号処理装置に含まれる各部の動作は、ソフトウェアによって中央演算装置（ＣＰＵ）を動作させることでも実現できる。
【００６２】
（第２の実施形態）
図３は、本発明の第２の実施形態に係る信号処理装置を示すブロック構成図である。
【００６３】
同図に示すように、本実施形態の信号処理装置は、デジタル入力部３００と、データバッファ３１０と、デコード部３２０と、出力部３３０と、同期処理部３４０とを備えている。
【００６４】
デジタル入力部３００は、映像入力部３０１と、デジタル画像入力部３０２と、音声入力部３０３とを有している。
【００６５】
データバッファ３１０は、ビデオストリームバッファ３１１と、デジタル画像データバッファ３１２と、オーディオストリームバッファ３１３とを有している。
【００６６】
デコード部３２０は、ビデオデコード部３２１と、オーディオデコード部３２２とを有している。
【００６７】
出力部３３０は、映像表示部３３１と、デジタル画像表示部３３２と、音声出力部３３３と、ブレンド部３３４とを有している。
【００６８】
本実施形態の信号処理装置において、映像入力部３０１と、ビデオストリームバッファ３１１と、ビデオデコード部３２１と、映像表示部３３１と、デジタル画像データバッファ３１２と、ブレンド部３３４と、オーディオストリームバッファ３１３と、音声出力部３３３とは、それぞれ第１の実施形態において説明した映像入力部１０１と、ビデオストリームバッファ１１１と、ビデオデコード部１２１と、映像表示部１３１と、デジタル画像データバッファ１１２と、ブレンド部１３４と、オーディオストリームバッファ１１３と、音声出力部１３３と同様のものである。本実施形態の信号処理装置が第１の実施形態の信号処理装置と異なるのは、同期処理部３４０がデジタル画像データ及びデジタル音声データの入力時に時間情報を挿入することで、画像データと音声データの処理とを同期させている点である。従って、以下では同期処理部３４０の構成及び同期処理の方法を中心に説明する。
【００６９】
デジタル画像入力部３０２は、アナログＴＶ、ＤＶＤもしくは、ネットワークなどからデジタル映像信号データが入力されている。デジタル画像入力部３０２は、同期処理部３４０の指示ＳＩＧ３４３により、同期処理部３４０で生成されたＶＴＣ（Video Time Code：映像時間情報）をデジタル映像信号の１フィールド毎もしくは、１フレーム毎の垂直ブランキング期間の信号に重畳する。デジタル画像入力部３０２は、デジタル画像データにＶＴＣを挿入したデータをデジタル画像データバッファ３１２へ出力する。
【００７０】
デジタル入力部３００のうち音声入力部３０３には、アナログＴＶ、ＤＶＤプレーヤもしくは、ネットワークなどからデジタル音声データが入力される。音声入力部３０３は、同期処理部３４０の指示ＳＩＧ３４４により、同期処理部３４０で生成されたＡＴＣ（Audio Time Code：音声時間情報）をデジタル音声信号の１フレーム毎の先頭に挿入する。音声入力部３０３は、デジタル音声データにＡＴＣを挿入したデータをオーディオストリームバッファ３１３へ出力する。
【００７１】
次に、同期処理部の構成を説明する。図４は、本実施形態の信号処理装置における同期処理部を示すブロック構成図である。
【００７２】
同期処理部３４０は、デジタル画像入力部３０２に時間情報についての指示ＳＩＧ３４３を出してデジタル画像データにＶＴＣを挿入し、音声入力部３０３にも時間情報についての指示ＳＩＧ３４４を出してデジタル音声データにＡＴＣを挿入する。また、同期処理部３４０は、ビデオデコード部３２１に復号化を開始する旨の指示ＳＩＧ３４１を、オーディオデコード部３２２に復号化を開始する旨の指示３４２を、デジタル画像表示部３３２に表示のための指示３５２を、それぞれ送る。これにより、映像表示部３３１からのビデオビットストリームの出力と、デジタル画像表示部３３２からのデジタル画像データの出力と、音声出力部３３３からの出力とを互いに同期させている。
【００７３】
また、図４に示すように、同期処理部３４０は、システムの基準時間を生成するためのシステムタイムクロックカウンタ４００と、デジタル画像データバッファ３１２からデジタル画像データのＶＴＣを検出するＶＴＣ検出部４０３と、オーディオストリームバッファ３１３からデジタル音声データのＡＴＣを検出するＡＴＣ検出部４０４と、ＶＴＣ検出部４０３で取得したＶＴＣ値とシステムタイムクロックカウンタ４００からの出力値を比較する比較部（第２の比較部）４０５と、あらかじめ特定されている映像入力部３０１にビデオビットストリームが入力されてから映像表示部３３１で処理後のビデオビットストリームが出力されるまでの処理の総時間を保持する入出力総時間部（第２の入出力総時間部）４０１と、加算部４０２とを有している。
【００７４】
システムタイムクロックカウンタ４００は、システムタイムクロック（ＳＴＣ：System Time Clock）を基本とし、システムタイムクロックをカウントアップする。このカウントアップされた値がシステムの基準時刻となる。
【００７５】
また、入出力総時間部４０１が保持する総時間は、加算部４０２へ出力される。
【００７６】
加算部４０２は、入出力総時間部４０１の出力値とシステムタイムクロックカウンタ４００の出力値（すなわち、現在の時刻）とを加算し、その結果をＶＴＣの値として生成する。そして、加算部４０２は、デジタル画像入力部３０２に対して、既に生成したＶＴＣの値をデジタル画像データバッファ３１２のデジタル画像データに挿入する旨の指示を送る。これと同様に、加算部４０２は、入出力総時間部４０１の出力値とシステムタイムクロックカウンタ４００の出力値とを加算し、ＡＴＣの値として生成する。そして、加算部４０２は、音声入力部３０３に対して、既に生成したＡＴＣの値をオーディオストリームバッファ３１３のデジタル音声データに挿入する旨の指示を送る。
【００７７】
よって、ＶＴＣ、ＡＴＣは、システムクロックカウンタ４００の出力値に、映像入力部３０１から映像表示部３３１までの処理時間を加算した時間となる。ここで、ＶＴＣ、ＡＴＣを、「システムクロックカウンタ４００の出力値＋デジタル画像データの処理時間」、あるいは「システムクロックカウンタ４００の出力値＋音声データの処理時間」としてもよい。なお、ＶＴＣは、例えばデジタル画像データにおける垂直同期信号間隔に挿入され、ＡＴＣは、例えばデジタル音声データの所定のサンプルそれぞれについてフレーム間隔毎に挿入される。
【００７８】
ＶＴＣ検出部４０３は、デジタル画像データバッファ３１２に保持されたデジタル画像データのＶＴＣを検出後、検出したＶＴＣを比較部４０５へ出力する。また、システムタイムクロックカウンタ４００は、カウント値を比較部４０５へ出力する。
【００７９】
比較部４０５は、ＶＴＣ検出部４０３で取得したＶＴＣ値とシステムタイムクロックカウンタ４００からの出力値とを比較し、その差が閾値より小さい時刻になった場合にデジタル画像表示部３３２に対し、デジタル画像データを出力するように指示ＳＩＧ３５２を出す。この閾値は、例えば、±１／１２０秒または±１／６０秒など、ＮＴＳＣ（National Television System Committee)以外のフィールドもしくはフレーム単位であってよい。また、比較部４０５は、ＶＴＣ検出部４０３で取得したＶＴＣ値とシステムタイムクロックカウンタ４００からの出力値との差が閾値より大きい時刻になった場合に、１フィールド前もしくは１フレーム前の時刻に対するフレームまたは、前の時刻に対するフィールドのデジタル画像データを表示し続ける。
【００８０】
ＡＴＣ検出部４０４は、オーディオストリームバッファ３１３に保持されたデジタル音声データのＡＴＣを検出後、検出したＡＴＣを比較部４０５へ出力する。また、システムタイムクロックカウンタ４００は、カウント値を比較部４０５へ出力する。
【００８１】
比較部４０５は、ＡＴＣ検出部４０４で取得したＡＴＣ値と、システムタイムクロックカウンタ４００からの出力値を比較し、閾値より小さい時刻になった場合にオーディオデコード部３２２に対し、デジタル音声信号データを出力するよう指示ＳＩＧ３４２を出す。この閾値は、例えば、±１／１２０秒または±１／６０秒など、ＮＴＳＣ以外のフィールドもしくはフレーム単位であってよい。また、比較部４０５は、ＡＴＣ検出部４０４で取得したＡＴＣ値と、システムタイムクロックカウンタ４００の出力値との差が閾値より大きい時刻になった場合にデジタル音声データを停止し、音声を出力しないようにする。
【００８２】
次に、同期処理部３４０の動作を中心として、本実施形態の信号処理装置における同期処理の流れを説明する。
【００８３】
図６は、本実施形態の信号処理装置において、同期処理部の動作を示すフローチャート図であり、図７、図８、及び図９は、それぞれ図６に示す各ステップの詳細を示すフローチャート図である。
【００８４】
図６に示すように、同期処理部３４０での同期処理は、時間情報をデジタル画像データ及びデジタル音声データに挿入するステップＳ６０１と、デジタル画像データバッファ３１２に保持されたデジタル画像データから、挿入された時間情報を検出するステップＳ６０２と、オーディオストリームバッファ３１３に保持されたデジタル音声データから、挿入された音声時間情報を検出するステップＳ６０３とを含んでいる。そして、ステップＳ６０３の後、デジタル画像データ及びデジタル音声データの現フィールドに時間情報の挿入するステップ、すなわちステップＳ６０１を行なう。
【００８５】
また、図７に示すように、上述のステップＳ６０１は、ステップＳ７０１と、ステップＳ７０２と、ステップＳ７０３と、ステップＳ７０５と、ステップＳ７０６とを含んでいる。
【００８６】
まず、ステップＳ７０１では、デジタル画像データの水平同期信号を待つ。本ステップで同期処理部３４０に水平同期信号が来ればステップＳ７０２に進み、水平同期信号が来なければ水平同期信号を待ち続ける。なお、水平同期信号とは、出力部の水平同期信号のことである。
【００８７】
次に、ステップＳ７０２では、システムタイムクロックカウンタ４００が水平同期信号を検知した後、１表示ライン分の時間をシステムタイムクロックカウンタ４００がカウントアップする。
【００８８】
次いで、ステップＳ７０３では、デジタル画像データの１表示ライン中で垂直同期信号が存在するかどうかの検索をシステムタイムクロックカウンタ４００が行ない、垂直同期信号がある場合にはステップＳ７０４に進む。また、垂直同期信号がデジタル画像データの１表示ライン中に含まれない場合には、ステップＳ７０５に進む。
【００８９】
次に、ステップＳ７０４では、システムタイムクロックカウンタ４００の出力値に入出力総時間部４０１の出力値を加算したものをデジタル画像データに挿入する。
【００９０】
続いて、ステップＳ７０５では、デジタル音声データを音声の１フレーム毎に判別する。本ステップでは、デジタル音声データが１フレームの境界である場合にはステップＳ７０６に進み、デジタル音声データが１フレームの境界ではない場合には、ステップＳ７０６を行わずに時間情報の挿入ステップ（ステップＳ６０１）を終了する。
【００９１】
次に、ステップＳ７０６では、システムタイムクロックカウンタ４００の出力値に、入出力総時間部４０１の出力値を加算したものをデジタル音声データに挿入する。以上により、ステップＳ６０１を終了する。
【００９２】
続いて、ステップＳ６０２では、ステップＳ６０１で時間情報が挿入されたデジタル画像データを検出する。
【００９３】
図８に示すように、ステップＳ６０２は、ステップＳ８０１と、ステップＳ８０２と、ステップＳ８０３と、ステップＳ８０４とを含んでいる。
【００９４】
まず、ステップＳ８０１では、デジタル画像データに対し、１表示ライン中にステップＳ７０４で挿入した時間情報の検索を行なう。ここで、ＶＴＣ検出部４０３が時間情報を発見した場合にはステップＳ８０２に進み、時間情報を発見しなかった場合にはステップＳ６０２を終了する。
【００９５】
次に、ステップＳ８０２では、ステップＳ７０４でデジタル画像データに挿入した時間情報（ＶＴＣ）を取得する。本ステップで時間情報を取得したら、ステップＳ８０３に進む。
【００９６】
続いて、ステップＳ８０３では、システムタイムクロックカウンタ４００の出力値とステップＳ８０２で取得したＶＴＣとの比較を行ない、例えば両者の差が１／１２０秒以下の場合には、ステップＳ８０４に進む。一方、システムタイムクロックカウンタ４００の出力値とＶＴＣとの差が例えば１／１２０秒より大きい場合には、１／６０秒前のデジタル画像データをデジタル画像表示部３３２から出力する。以上により、ステップＳ６０２を終了する。なお、本ステップでは、システムクロックカウンタ４００の値とＶＴＣとの差が閾値より大きい場合に１つ前のフィールドの画像を表示し続けることにより、同期が外れた場合に画像表示の乱れを抑えることができる。
【００９７】
次いで、ステップＳ８０４では、現在のデジタル画像データをデジタル画像表示部３３２から出力する。以上により、ステップＳ６０２を終了する。
【００９８】
ステップＳ６０２に続くステップＳ６０３では、ステップＳ６０１でデジタル画像データに挿入した時間情報を検出する。
【００９９】
図９に示すように、ステップＳ６０３は、ステップＳ９０１と、ステップＳ９０２と、ステップＳ９０３と、ステップＳ９０４とを含んでいる。
【０１００】
まず、ステップＳ９０１では、デジタル音声データに対し、オーディオフレームごとに挿入された時間情報（ＡＴＣ）を検索する。ここで、ＡＴＣ検出部４０４によってＡＴＣが検出された場合にはステップＳ９０２に進み、ＡＴＣが検出されない場合にはステップＳ６０３を終了する。
【０１０１】
次に、ステップＳ９０２では、ステップＳ７０６でデジタル音声データに挿入したＡＴＣを取得する。
【０１０２】
次いで、ステップＳ９０３では、ステップＳ９０２に取得したＡＴＣとシステムタイムクロックカウンタ４００でのカウント値とを比較する。ＡＴＣとシステムタイムクロックカウンタ４００でのカウント値との差が例えば１／１２０秒以下の場合には、ステップＳ９０４に進み、ＡＴＣとシステムタイムクロックカウンタ４００でのカウント値との差が１／１２０秒より大きい場合には、デジタル音声出力をしない。
【０１０３】
次に、ステップＳ９０４では、現在のデジタル音声データを音声出力部３３３から出力する。以上でステップＳ６０３を終了する。
【０１０４】
本実施形態の信号処理装置によれば、上述のように同期処理部３４０がデジタル画像データ及びデジタル音声データに時間情報を挿入することで、デジタル画像データの処理及びデジタル音声データの処理を遅延させる等の方法をとれるので、デジタル画像表示部３３２及び音声出力部３３３の出力を映像表示部３３１の出力と同期させることができる。その結果、画像表示が良好になる上に、画像と音声のずれも抑えることができる。特に、本実施形態の信号処理装置では、第１の実施形態の信号処理装置に比べて画像データの出力側に近い映像表示部３３１及びデジタル画像表示部３３２で同期をとれるので、より精度良くデジタル画像データの表示とビデオビットストリームの表示を同期させることができる。また、画像データの表示と音声データの出力とをより精度良く同期させることが可能となる。
【０１０５】
なお、以上の信号処理装置における処理にＣＰＵを用いてソフトウェアによって行うようにしても良い。
【０１０６】
また、本発明に係る信号処理装置において、デジタル画像データ及びデジタル音声データをＤＶＤ（digital versatile disc)、ＣＤ（compact disk)、ハードディスクなどの記録媒体から読み出したものであっても行うことができる。
【０１０７】
なお、本実施形態の信号処理装置においても、音声入力部３０３の前段にセレクタを設けて、複数のデジタル音声データが入力された場合に１つのデジタル音声データのみが入力されるようにしてもよい。
【０１０８】
なお、本実施形態で説明した方法以外の方法でＶＴＣとＡＴＣを検出することもでき、これに基づいて同期処理を行なうこともできる。
【産業上の利用可能性】
【０１０９】
以上説明したように、本発明は、ＤＶＤやＣＤ、ハードディスク等に記録されたデータの処理やテレビの出力信号の処理などを行なうことができるので、画像データと音声データを扱う種々の機器に利用することができる。
【図面の簡単な説明】
【０１１０】
【図１】本発明の第１の実施形態に係る信号処理装置を示すブロック構成図である。
【図２】第１の実施形態に係る信号処理装置における同期処理部を示すブロック構成図である。
【図３】本発明の第２の実施形態に係る信号処理装置を示すブロック構成図である。
【図４】第２の実施形態に係る信号処理装置における同期処理部を示すブロック構成図である。
【図５】本発明の信号処理装置のうち各部の動作の一例を示すタイミングチャートである。
【図６】第２の実施形態の信号処理装置において、同期処理部の動作を示すフローチャート図であ
【図７】図６に示す各ステップの詳細を示すフローチャート図である。
【図８】図６に示す各ステップの詳細を示すフローチャート図である。
【図９】図６に示す各ステップの詳細を示すフローチャート図である。
【図１０】従来の信号処理装置を示すブロック構成図である。
【符号の説明】
【０１１１】
１００，３００      デジタル入力部
１０１，３０１      映像入力部
１０２，３０２      デジタル画像入力部
１０３，３０３      音声入力部
１１０，３１０      データバッファ
１１１，３１１      ビデオストリームバッファ
１１２，３１２      デジタル画像データバッファ
１１３，３１３      オーディオストリームバッファ
１２０，３２０      デコード部
１２１，３２１      ビデオデコード部
１２２，３２２      オーディオデコード部
１３０，３３０      出力部
１３１，３３１      映像表示部
１３２，３３２      デジタル画像表示部
１３３，３３３      音声出力部
１３４，３３４      ブレンド部
１４０，３４０      同期処理部
２００              カウンタ部
２０１，４０１      入出力総時間部
２０２，４０５      比較部
２０３              入力検知部
４００              システムタイムクロックカウンタ
４０２              加算部
４０３              ＶＴＣ検出部
４０４              ＡＴＣ検出部
５０１，５０２，５０３      処理時間
ＳＩＧ１４１，ＳＩＧ１４２    指示
【図１】
2005204180.tif 000003
【図２】
2005204180.tif 000004
【図３】
2005204180.tif 000005
【図４】
2005204180.tif 000006
【図５】
2005204180.tif 000007
【図６】
2005204180.tif 000008
【図７】
2005204180.tif 000009
【図８】
2005204180.tif 000010
【図９】
2005204180.tif 000011
【図１０】
2005204180.tif 000012