(57)【要約】【課題】画像処理することによりにおこる映像信号の遅延を簡単な比較技術により算出して音声信号を遅延補正することで確実に映像と音声を同期させる。【解決手段】画像処理部に入力される映像信号の映像データと出力される映像信号の映像データとを比較して同等の映像データとなるフレームを検出する映像信号比較部と、前記画像処理部に入出力される映像信号の垂直同期信号間の遅延時間を検出すると共に、前記映像信号比較部の検出したフレームの遅延フレーム数をカウントし、同垂直同期信号間の遅延時間と遅延フレーム数とから前記画像処理部の遅延時間を算出するＭＰＵコントロール部と、同ＭＰＵコントロール部により算出された遅延時間を設定し、同遅延時間分前記音声信号を遅延する音声ディレイ部とを具備する映像・音声信号処理装置としてなる。【選択図】図１
2006229788.tif 000002
【特許請求の範囲】
【請求項１】
映像信号と同映像信号に対応した音声信号からなる信号を処理する映像・音声信号処理装置において、
前記映像信号を画質補正やＩＰ変換等を処理する画像処理部と、同画像処理部に入力される映像信号の映像データと出力される映像信号の映像データとを比較して、画像処理後の映像データが画像処理前の映像データを処理した後の予測される映像データと同等とみなせるフレームを検出する映像信号比較部と、前記画像処理部に入力される映像信号から検出した垂直同期信号と出力される映像信号から検出した垂直同期信号とを比較して同垂直同期信号間の遅延時間を検出すると共に、前記映像信号比較部の検出したフレームの遅延フレーム数をカウントし、同垂直同期信号間の遅延時間と遅延フレーム数とから前記画像処理部の遅延時間を算出するＭＰＵコントロール部と、同ＭＰＵコントロール部により算出された遅延時間を設定し、同遅延時間分前記音声信号を遅延する音声ディレイ部とを具備することを特徴とする映像・音声信号処理装置。
【請求項２】
前記ＭＰＵコントロール部に前記遅延フレーム数に加減算されるフレーム数を入力するキー入力部を接続すると共に、前記音声ディレイ部に、前記キー入力部から入力されたフレーム数を前記遅延フレーム数に加減算して算出された遅延時間を設定し、同遅延時間分前記音声信号を遅延する外部音声出力部を設けてなることを特徴とする請求項１記載の映像・音声信号処理装置。
【請求項３】
前記映像信号比較部が任意の水平ラインの画素の映像データの変化推移が同等であるかどうかを比較判断し、同等とみなせれば同じと判断してなることを特徴とする請求項１記載の映像・音声信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像と音（音声や音響等）を有する映像・音声における動画像と音との間のずれを補正する映像・音声信号処理に係わり、詳しくは動画像を取り扱うメディア、たとえば、プラズマディスプレイに好適な映像・音声信号処理装置に関する。
【背景技術】
【０００２】
映像、すなわち、動画像と音を有する映像をアナログ機器やデジタル処理機器で処理する場合に、たとえば、動画像のみを画像処理すると、動画像と音との間にずれが生じる。  このようなずれを補正するための方法としては特許文献１などの提案がある。
この提案では、番組開始前に動画像と音声の双方の基準信号を重畳し、動画像と音声との間のずれを補正する。
しかし、上述の提案の技術では番組放送前に本線の動画像および音声の基準信号を重畳するために、放送中はずれを計測し、補正することが困難という問題がある。
【０００３】
そこで、放送中でも映像／音声の中の動画像と音（音声または音響）との同期処理を簡単な操作で実行することができる技術としては特許文献２や特許文献３などの提案がある。
しかし、これらの技術は、動画像の動きベクトルの検出、解析により画像データと音声データとを同期させるといった、高度な技術が必要である。
【０００４】
また、上述の従来技術の他に、特許文献４のように、入力される画像信号に画像処理を加えた場合におこる映像と音声のずれを、定量化した動き量に応じて音声の遅延量を設定することにより補正する技術がある。
しかし、この技術は定量化した動き量に応じて音声の遅延量を設定するといった間接的な手段を利用するものである。
【０００５】
【特許文献１】特開平１０−１４５６４５号公報（第２−４頁、第１図）
【特許文献２】特開２０００−１９６９１７号公報（第２−６頁、第１図）
【特許文献３】特開２００３−１５８６４３号公報（第２−７頁、第１図）
【特許文献４】特開平１−２１２９８４号公報（第１−２頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上述の点に鑑みて、プラズマディスプレイのように、入力される映像信号に画像処理を加えた場合におこる映像信号の遅延を簡単な比較技術により算出し、同遅延分だけ音声信号を遅延補正することで確実に映像と音声を同期させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、映像信号と同映像信号に対応した音声信号からなる信号を処理する映像・音声信号処理装置において、前記映像信号を画質補正やＩＰ変換等を処理する画像処理部と、同画像処理部に入力される映像信号の映像データと出力される映像信号の映像データとを比較して、画像処理後の映像データが画像処理前の映像データを処理した後の予測される映像データと同等とみなせるフレームを検出する映像信号比較部と、前記画像処理部に入力される映像信号から検出した垂直同期信号と出力される映像信号から検出した垂直同期信号とを比較して同垂直同期信号間の遅延時間を検出すると共に、前記映像信号比較部の検出したフレームの遅延フレーム数をカウントし、同垂直同期信号間の遅延時間と遅延フレーム数とから前記画像処理部の遅延時間を算出するＭＰＵコントロール部と、同ＭＰＵコントロール部により算出された遅延時間を設定し、同遅延時間分前記音声信号を遅延する音声ディレイ部とを具備する映像・音声信号処理装置としてなる。
【０００８】
また、前記ＭＰＵコントロール部に前記遅延フレーム数に加減算されるフレーム数を入力するキー入力部を接続すると共に、前記音声ディレイ部に、前記キー入力部から入力されたフレーム数を前記遅延フレーム数に加減算して算出された遅延時間を設定し、同遅延時間分前記音声信号を遅延する外部音声出力部を設けてなる映像・音声信号処理装置としている。
【０００９】
また、前記映像信号比較部が任意の水平ラインの画素の映像データの変化推移が同等であるかどうかを比較判断し、同等とみなせれば同じと判断してなる映像・音声信号処理装置としている。
【発明の効果】
【００１０】
以上説明したように、本発明によると、画像処理部に入出力される映像信号間の簡単な比較により、垂直同期信号の遅延時間と、同等の映像データとなるフレームまでの遅延フレーム数を検出し、同検出した垂直同期信号の遅延時間と遅延フレーム数とから、前記画像処理部の遅延時間を算出して音声信号を遅延補正するので、映像信号の如何にかかわらず簡単で安価な回路で、出力される映像信号と音声との同期をとることができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態を、添付図面に基づいた実施例として詳細に説明する。
【実施例１】
【００１２】
図１は本発明による映像・音声信号処理装置の第１の実施例を示すブロック図、図２は同図１のブロック図に示す画像処理部の入力端および出力端における映像信号を示す図、図３は同映像・音声信号処理装置における映像データの変化推移の説明図で、比較される水平ラインのデータの変化推移を示している。
【００１３】
図１において、１は入力される映像信号Ａに輝度補正等を行う画質補正やＩＰ変換（インターレースープログレッシブ変換）等の処理を施して出力する画像処理部である。
２は前記画像処理部１で処理された映像信号Ｂを表示するためのプラズマディスプレイパネルや液晶表示パネル等の映像表示部である。
３は入力される音声信号を前記画像処理部１で映像信号が遅延した量にみあった分、遅延する音声ディレイ部である。
４は前記音声ディレイ部３から出力される遅延された音声信号を増幅する音声アンプである。
５は入力される映像信号Ａを１フレーム分記憶するビデオメモリである。
６は前記ビデオメモリ５に記憶された映像信号と前記画像処理部１から出力される映像信号Ｂとを比較する映像信号比較部である。
この映像信号比較部６では、画像処理部１によって入力される映像信号Ａの映像データと処理された映像信号の映像データとは、当然異なるため、１フレーム期間全ての映像データが同じであるかどうかを比較判断するのではなく、入力される映像信号Ａの映像データを、同入力される映像信号Ａに画像処理して出力される映像信号Ｂになる事を事前に予測したデータに修正した映像データとして出力される映像信号Ｂの映像データと比較して判断する。
または、任意の水平ラインの映像データ、例えば輝度レベルの推移が同等であるかどうかを比較判断し、同等とみなせれば、同じと判断しても良い。すなわち、輝度レベルの絶対値で判断するのではなく、輝度レベルの変化が入力される映像信号Ａと出力される映像信号Ｂとでほぼ同じパターンで変化する事で判断する。
なお、比較精度を上げる為に任意の水平ラインを複数設けても良い。
７は入力される映像信号Ａから同期信号を分離する sync sep Ａである。
８は前記 sync sep Ａ７から出力される同期信号から垂直同期信号を検出するＶsync検出器Ａである。
９は前記画像処理部１から出力される映像信号Ｂから同期信号を分離する sync sep Ｂである。
１０は前記 sync sep Ｂ９から出力される同期信号から垂直同期信号を検出するＶsync検出器Ｂである。
１１は前記音声ディレイ部３の遅延量を１フレーム期間単位で人為的に増減するために遅延データ（Ｎ０）を入力するキー入力部である。
１２は前記Ｖsync検出器Ａ７からの垂直同期信号とＶsync検出器Ｂ１０からの垂直同期信号とを入力し、両垂直同期信号間の位相差（遅延時間）を検出すると共に、前記映像信号比較部６に比較指示を与え、前記両垂直同期信号間の位相差（遅延時間）と、前記映像信号比較部６からの比較結果と、前記キー入力部１１からの入力データとに基づいて前記音声ディレイ部３に与える遅延量を算出するＭＰＵコントロール部である。
【００１４】
つぎに、図１、図２および図３を参照して、本発明の映像・音声信号処理装置の動作を説明する。
入力される映像信号Ａは前記画像処理部１で画像処理され、同画像処理された映像信号Ｂが前記映像表示部２入力され表示される。
一方、入力される音声信号は前記音声ディレイ部３により前記画像処理部１の遅延時間分遅延され前記音声アンプ４にて増幅され図示しないスピーカから出力される。
【００１５】
以下、前記画像処理部１の遅延時間の算出手順を説明する。
図２に示すように、前記画像処理部１に入力される映像信号Ａの垂直同期信号（Ｖａ１）と出力される映像信号Ｂの垂直同期信号（Ｖｂ１）とが前記ＭＰＵコントロール部１２で比較されその遅延時間（ｔsec ）が検出される。
つぎに、前記ＭＰＵコントロール部１２は前記Ｖsync検出器Ａ８が検出する前記画像処理部１に入力される映像信号Ａの垂直同期信号（Ｖａ１）の次ぎの垂直同期信号（Ｖａ２）が検出された直後に、前記Ｖsync検出器Ｂ１０が検出する前記画像処理部１より出力される映像信号Ｂの垂直同期信号（Ｖｂ２）が検出されたのをきっかけとして、前記映像信号比較部６に前記ビデオメモリ５に記憶された１フレーム分の映像データ（Ｆａ１）と、前記画像処理部１より出力される映像データ（Ｆｂ２）とを比較させる。
前記映像信号比較部６での比較は、上述したように、１フレーム期間全ての映像データが同じであるかどうかを比較判断するのではなく、入力される映像信号Ａの映像データを、同入力される映像信号Ａに画像処理して出力される映像信号Ｂになる事を事前に予測したデータに修正した映像データとして出力される映像信号Ｂの映像データと比較して判断する。
または、任意の水平ラインの映像データ、例えば輝度レベルの推移が同等であるかどうかを比較判断し、同等とみなせれば、同じと判断しても良い。すなわち、映像の輝度レベルの絶対値で判断するのではなく、図３に示すように、輝度レベルの変化が入力される映像信号Ａと出力される映像信号Ｂとでほぼ同じパターンで変化する事で判断する。
なお、比較精度を上げる為に任意の水平ラインを複数設けても良い。
この結果、同じと判断できない場合は、前記画像処理部１より出力される映像信号Ｂの垂直同期信号（Ｖｂ３）が検出されたのをきっかけとして、前記映像データ（Ｆａ１）と、前記画像処理部１より出力される映像データ（Ｆｂ３）とを比較させる。
これを、前記映像データ（Ｆａ１）と同等とみなせる前記画像処理部１より出力される映像データ（Ｆｂｎ）が検出されるまで繰り返す。
これを繰り返して、例えば６０フレーム以内に、前記映像データ（Ｆａ１）と同等とみなせる映像データ（Ｆｂｎ）が検出されない場合は、新たに前記ビデオメモリ５に映像データを記憶させ、上記手順を繰り返すようにする。
この時、前記ＭＰＵコントロール部１２は前記Ｖsync検出器Ｂ１０が検出する垂直同期信号（Ｖｂ２）から垂直同期信号が検出されるごとに回数Ｎ（Ｖｂ２が検出されると１回、即ちＶｂｎが検出されるとｎ−１回）をカウントする。
今、前記映像信号比較部６が前記映像データ（Ｆａ１）と同等とみなせる前記画像処理部１より出力される映像データ（Ｆｂｎ）が検出されると、前記ＭＰＵコントロール部１２は前記音声ディレイ部３から前記音声アンプ部４に出力される音声の遅延時間を、（ｎ−１）×Ｔ＋ｔ＝Ｎ×Ｔ＋ｔ［ｓｅｃ」に設定する。
【００１６】
また、図１に示す外部音声出力端子に出力される音声の遅延時間に関しては、外部機器の画像・音声処理による遅延を考慮するために前記キー入力部１１より入力された遅延データ（Ｎ０）を減じて、（Ｎ−Ｎ０）×Ｔ＋ｔ［ｓｅｃ」に設定する。
【図面の簡単な説明】
【００１７】
【図１】本発明による映像・音声信号処理装置の一実施例を示すブロック図である。
【図２】本発明による映像・音声信号処理装置の画像処理部の入力端および出力端における映像信号を示す図である。
【図３】本発明による映像・音声信号処理装置における映像データの変化推移の説明図で、比較される水平ラインのデータの変化推移を示している。
【符号の説明】
【００１８】
１  画像処理部
２  映像表示部
３  音声ディレイ部
４  音声アンプ
５  ビデオメモリ
６  映像信号比較部
７   sync sep Ａ
８  Ｖsync検出器Ａ
９   sync sep Ｂ
１０  Ｖsync検出器Ｂ
１１  キー入力部
１２  ＭＰＵコントロール部
【図１】
2006229788.tif 000003
【図２】
2006229788.tif 000004
【図３】
2006229788.tif 000005