(57)【要約】      （修正有）【課題】映像と音声とがずれてしまうことを抑制することができる映像音声同期装置を提供する。【解決手段】映像音声同期装置３は、判定部４５と、音声信号処理部３６とを持つ。判定部４５は、入力された映像信号及び音声信号にずれが発生したか否かを判定する。音声信号処理部３６は、当該ずれが発生したと判定部４５が判定した場合、音声信号の振幅が所定値未満である弱音信号に基づいて映像信号と音声信号のずれを補正する。【選択図】図１
2017050622.tif 000002
【特許請求の範囲】
【請求項１】
入力された映像信号及び音声信号にずれが発生したか否かを判定する判定部と、
前記ずれが発生したと前記判定部が判定した場合、前記音声信号の一部に基づいて前記ずれを補正する音声信号処理部と、
を備える映像音声同期装置。
【請求項２】
前記音声信号処理部は、前記ずれが発生したと前記判定部が判定した場合、振幅が所定値未満である音声を表す信号である弱音信号を前記音声信号に挿入することにより前記ずれを補正する、
請求項１に記載の映像音声同期装置。
【請求項３】
前記音声信号処理部は、前記弱音信号を前記音声信号に挿入する際、前記音声信号のうちの振幅が前記所定値未満である部分に前記弱音信号を挿入する、
請求項２に記載の映像音声同期装置。
【請求項４】
前記音声信号処理部は、前記ずれが発生したと前記判定部が判定した場合、前記音声信号の一部を削除することにより前記ずれを補正する、
請求項１から３のうちいずれか一項に記載の映像音声同期装置。
【請求項５】
前記音声信号の一部は、前記音声信号の振幅が所定の閾値未満の部分である、
請求項１から４のうちいずれか一項に記載の映像音声同期装置。
【請求項６】
前記ずれは、前記映像信号のフレーム周波数と、前記音声信号のサンプリング周波数とのずれである、
請求項１から５のうちいずれか一項に記載の映像音声同期装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、映像音声同期装置に関する。
【背景技術】
【０００２】
発信源から放送局に伝送される放送信号に含まれる映像信号と、放送局内におけるクロック信号である基準信号との間には、周波数差が存在する場合がある。放送局では、この周波数差を補正するためにフレームシンクロナイザが用いられている。フレームシンクロナイザでは、放送信号に含まれる音声信号のサンプリング周波数を、基準信号の周波数に周波数変換することによって連続した音声信号が出力される。
【０００３】
一方、フレームシンクロナイザでは、フレームメモリの記憶可能な容量に応じた閾値を超える映像信号がフレームメモリに書き込まれる場合、映像信号のフレーム単位でフレームの飛び越し（フレームスキップ）又は繰り返し（フレームリピート）が行われる。すなわち、フレームシンクロナイザでは、発信源から入力された映像信号を出力する際、音声信号の場合と異なり、離散的な映像信号が出力される。その結果、フレームシンクロナイザでは、映像信号に対して音声信号が最大で１フレーム分だけずれてしまうことにより、放送局から放送される映像と音声とがずれてしまう場合があった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−０７３０９９号公報
【特許文献２】特開２００９−０８８６５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、映像と音声とがずれてしまうことを抑制することができる映像音声同期装置を提供することである。
【課題を解決するための手段】
【０００６】
実施形態の映像音声同期装置は、判定部と、音声信号処理部とを持つ。判定部は、入力された映像信号及び音声信号にずれが発生したか否かを判定する。音声信号処理部は、当該ずれが発生したと判定部が判定した場合、音声信号の一部に基づいて当該ずれを補正する。
【図面の簡単な説明】
【０００７】
【図１】実施形態の映像音声同期システム１の構成の一例を示す図。
【図２】映像音声同期装置３によって行われる映像信号と音声信号のずれを補正する処理の概念の一例を示す図。
【図３】制御部３２が映像位相と音声位相との間の位相差を算出し、算出した当該位相差に基づいて弱音部分調整処理を行う処理の流れの一例を示すフローチャート。
【図４】図３に示したフローチャートのステップＳ１３０において音声信号処理部３６が行う弱音部分調整処理の流れの一例を示すフローチャート。
【図５】基準信号に同期してフレームメモリ３１から時間の経過とともに他の装置へ出力された複数のフレームと、これらの各フレームに対応して他の装置へ出力された映像同期信号に同期した音声信号との一例を示す図。
【図６】基準信号に同期してフレームメモリ３１から時間の経過とともに他の装置へ出力された複数のフレームと、これらの各フレームに対応して他の装置へ出力された映像同期信号に同期した音声信号との他の例を示す図。
【発明を実施するための形態】
【０００８】
以下、実施形態の映像音声同期システムを、図面を参照して説明する。図１は、実施形態の映像音声同期システム１の構成の一例を示す図である。
【０００９】
まず、映像音声同期システム１の概略について説明する。
映像音声同期システム１では、映像音声同期装置３が、発信源２から映像音声同期装置３に入力された放送信号に含まれる映像信号及び音声信号にずれが発生したか否かを判定し、当該ずれが発生したと判定した場合、音声信号の一部に基づいて当該ずれを補正する。これにより、映像音声同期システム１は、映像と音声とがずれてしまうことを抑制することができる。
【００１０】
次に、映像音声同期システム１の構成について説明する。映像音声同期システム１は、発信源２と、映像音声同期装置３とを持つ。
発信源２は、放送信号を映像音声同期装置３に出力（伝送）する。この一例において、放送信号は、ＳＤＩ（Serial Digital Interface）信号等のデジタル化された映像信号及び音声信号が多重された信号である。なお、放送信号は、これに代えて、アナログの映像信号及び音声信号を含む信号であってもよい。この場合、映像音声同期装置３は、アナログ信号をデジタル信号へと変換する変換部を備える。
【００１１】
映像音声同期装置３は、フレームメモリ３１と、制御部３２と、弱音検出部３３と、音声信号分離部３４と、周波数変換部３５と、音声信号処理部３６と、クロック部３７と、記憶部３８とを持つ。
【００１２】
フレームメモリ３１は、放送信号に含まれる映像信号をフレーム単位で１以上のフレームを一時的に記憶する。また、フレームメモリ３１は、書込制御部４１から書き込み制御信号が入力されることにより、記憶領域に情報を書き込む書き込みモードへと動作モードを切り替える。書き込み制御信号には少なくとも、書込タイミング情報と、第１動作モード切替情報とが含まれる。書込タイミング情報は、映像信号に含まれる映像同期信号に同期し、映像信号の１フレーム分をフレームメモリ３１の記憶領域に書き込むタイミングを示す情報である。第１動作モード切替情報は、フレームメモリ３１の動作モードを書き込みモードに切り替える情報である。この一例において、フレームメモリ３１は、書込制御部４１から書き込み制御信号が入力されることにより、発信源２から入力された映像信号を当該映像信号におけるフレームの並び順にフレーム単位で記憶する。なお、フレームメモリ３１は、これに代えて、発信源２から入力された映像信号を当該映像信号におけるフレームの並び順とは異なる順にフレーム単位で記憶する構成であってもよい。
【００１３】
また、フレームメモリ３１は、読出制御部４２から読み出し制御信号が入力されることにより、記憶領域からフレームを読み出す読み出しモードへと動作モードを切り替える。読み出し制御信号には少なくとも、読出タイミング情報と、第２動作モード切替情報とが含まれる。読出タイミング情報は、クロック部３７が生成したクロック信号である基準信号に同期し、フレームメモリ３１の記憶領域に記憶された１以上のフレームのうちの最も古くに記憶されたフレームをフレームメモリ３１から読み出すタイミングを示す情報である。第２動作モード切替情報は、フレームメモリ３１の動作モードを読み出しモードに切り替える情報である。フレームメモリ３１は、読出制御部４２から読み出し制御信号が入力されることにより、フレームメモリ３１に記憶された順にフレームを読み出し、他の装置（例えば、映像信号及び音声信号に基づいて映像と音声とを再生する再生装置等）へと出力する。
【００１４】
また、フレームメモリ３１は、フレームを書き込む記憶領域が不足した場合、フレームスキップを行う。フレームを書き込む記憶領域が不足した場合とは、この一例において、フレームを書き込み可能な記憶領域が所定の記憶容量未満である場合である。所定の記憶容量は、例えば、１フレーム分の記憶容量である。なお、所定の記憶容量は、これに代えて、１フレーム分以上の他の容量であってもよい。フレームを書き込む記憶領域が不足することは、フレームメモリ３１からフレームを読み出す周期よりも、フレームメモリ３１にフレームを書き込む周期の方が短い場合、すなわち映像同期信号の周波数より基準信号の周波数の方が低い場合に生じる。フレームスキップは、読み出し制御信号が入力されることによりフレームメモリ３１からフレームが読み出される際、フレームメモリ３１に記憶されている最も古いフレームを削除し、当該フレームの次に古いフレームを読み出すことである。
【００１５】
また、フレームメモリ３１は、記憶領域から読み出すフレームが不足した場合、フレームリピートを行う。記憶領域から読み出すフレームが不足した場合とは、この一例において、フレームメモリ３１からフレームを読み出す周期の方が、フレームメモリ３１にフレームを書き込む周期よりも短い場合に、フレームメモリ３１から全てのフレームが読み出された場合のことである。記憶領域から読み出すフレームが不足した場合は、フレームメモリ３１からフレームを読み出す周期よりも、フレームメモリ３１にフレームを書き込む周期の方が長い場合、すなわち映像同期信号の周波数より基準信号の周波数の方が高い場合に生じる。フレームリピートは、読み出し制御信号が入力されることによりフレームメモリ３１からフレームが読み出される際、前回に読み出したフレームと同じフレームを読み出すことである。
【００１６】
制御部３２は、発信源２から放送信号を取得する。また、制御部３２は、クロック部３７が生成した基準信号を取得する。また、制御部３２は、書込制御部４１と、読出制御部４２と、映像同期信号分離部４３と、位相差算出部４４と、判定部４５とを持つ。
書込制御部４１は、映像同期信号分離部４３が映像信号から分離した映像同期信号に基づいて、当該映像同期信号に同期した書込タイミング情報を含む書き込み制御信号を生成する。書込制御部４１は、生成した書き込み制御信号をフレームメモリ３１に出力する。
読出制御部４２は、クロック部３７から取得した基準信号に基づいて、当該基準信号に同期した読出タイミング情報を含む読み出し制御信号を生成する。読出制御部４２は、生成した読み出し制御信号をフレームメモリ３１に出力する。
映像同期信号分離部４３は、取得した放送信号に含まれる映像信号から映像同期信号を分離（抽出）する。
【００１７】
位相差算出部４４は、所定のタイミングからの時間の経過に応じた映像位相と音声位相との間の位相差を算出する。映像位相は、フレームメモリ３１からフレームが読み出されたタイミングから、フレームメモリ３１から次のフレームが読み出されたタイミングまでの時間を１周期とする正弦波の周期的変化を表す位相である。すなわち、映像位相は、基準信号に同期した正弦波を表す信号の当該正弦波の周期的変化を表す位相である。音声位相は、制御部３２が取得した放送信号に含まれる音声信号が映像同期信号に同期しているため、映像信号の各フレームに対応する音声信号の時間を１周期とする正弦波の周期的変化を表す位相である。すなわち、音声位相は、映像同期信号に同期した正弦波を表す信号の当該正弦波の周期的変化を表す位相である。
【００１８】
所定のタイミングは、例えば、放送信号に含まれるフレームのうちのフレームの並び順が最初のフレームがフレームメモリ３１から他の装置へ出力されたタイミングと、音声信号処理部３６から後述する弱音部分調整処理を行ったことを示す情報を取得したタイミングとの２つのタイミングである。何故なら、放送信号に含まれるフレームのうちのフレームの並び順が最初のフレームがフレームメモリ３１から他の装置へ出力されたタイミングでは、映像位相と音声位相とが一致しているためである。また、弱音部分調整処理を行ったタイミングでは、映像位相と音声位相とが一致しているためである。なお、所定のタイミングは、これらの２つのタイミングの一部又は全部に代えて、他のタイミングであってもよい。
【００１９】
この一例において、位相差算出部４４は、映像位相から音声位相を差し引くことにより、映像位相と音声位相との位相差を算出する。これにより、当該位相差の正の値であることは、映像位相に対して音声位相が遅れていることを示す。また、当該位相差が負の値であることは、映像位相に対して音声位相が進んでいることを示す。なお、位相差算出部４４は、これに代えて、音声位相から映像位相を差し引くことにより当該位相差を算出する構成であってもよい。この場合、当該位相差の正の値であることは、映像位相に対して音声位相が進んでいることを示す。また、当該位相差が負の値であることは、映像位相に対して音声位相が遅れていることを示す。
【００２０】
判定部４５は、位相差算出部４４が算出した位相差の絶対値が所定の位相差以上であるか否かを判定する。この一例では、所定の位相差が０の場合について説明する。なお、所定の位相差は、０に代えて、０以上の正の値であってもよい。判定部４５は、位相差算出部４４が算出した位相差の絶対値が所定の位相差以上である場合、他の装置へと出力された映像信号（フレーム）と音声信号とにずれが発生していると判定する。そして、映像信号と音声信号とにずれが発生していると判定した場合、判定部４５は、位相差算出部４４が算出した位相差に基づいて、映像信号より音声信号が進んでいるか否かを判定する進行遅延判定を行う。判定部４５は、位相差算出部４４が算出した位相差を示す位相差情報と、進行遅延判定の結果を示す進行遅延情報と、判定部４５から取得した放送信号に含まれる音声信号とを弱音検出部３３へと出力する。
【００２１】
弱音検出部３３は、判定部４５から位相差情報と、進行遅延情報と、音声信号とを取得する。弱音検出部３３は、ずれ発生情報を判定部４５から取得した場合、判定部４５から取得した音声信号から弱音部分を検出する。弱音部分とは、音声信号のうちの振幅が所定値よりも小さな部分（無音、又はほぼ無音の部分）のことである。弱音検出部３３は、検出した弱音部分を示す弱音部分情報と、取得した位相差情報及び進行遅延情報とを音声信号処理部３６に出力する。
【００２２】
音声信号分離部３４は、発信源２から放送信号を取得する。音声信号分離部３４は、取得した放送信号に含まれる音声信号を当該放送信号から分離（抽出）する。音声信号分離部３４は、放送信号から分離した音声信号を周波数変換部３５に出力する。
周波数変換部３５は、音声信号分離部３４から取得した音声信号のサンプリング周波数を、クロック部３７から取得した基準信号に同期させる（周波数変換する）。周波数変換部３５は、サンプリング周波数をクロック部３５から取得した基準信号に同期させた音声信号を音声信号処理部３６に出力する。
【００２３】
音声信号処理部３６は、弱音検出部３３から弱音部分情報と、位相差情報及び進行遅延情報とを取得する。また、音声信号処理部３６は、記憶部３８に予め記憶された弱音信号を記憶部３８から読み出す。弱音信号は、振幅が所定値よりも小さな音声を表す信号である。音声信号処理部３６は、読み出した弱音信号と、取得した位相差情報及び進行遅延情報とに基づいて、周波数変換部３５から取得した音声信号に対して、映像信号と音声信号とのずれを補正する弱音部分調整処理を行う。弱音部分調整処理については、後述する。音声信号処理部３６は、弱音部分調整処理を行った音声信号を前述の他の装置へと出力する。また、音声信号処理部３６は、弱音部分情報を取得していない場合、周波数変換部３５から取得した音声信号に対して何もせずに他の装置へと出力する。また、音声信号処理部３６は、弱音部分調整処理を行った場合、制御部３２に弱音部分調整処理を行ったことを示す情報を出力する。
【００２４】
クロック部３７は、アナログの映像基準信号又はデジタル映像信号等の基準同期信号に基づいて、当該基準同期信号に同期した基準信号を生成する。クロック部３７は、生成した基準信号を制御部３２及び周波数変換部３５に出力する。
記憶部３８は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random Access Memory）等を含む。記憶部３８は、音声信号処理部３６が弱音部分調整処理において用いる弱音信号を格納する。なお、記憶部３８は、映像音声同期装置３に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置でもよい。
【００２５】
次に、図２を参照し、映像音声同期装置３によって行われる映像信号と音声信号のずれを補正する処理の概念について説明する。図２は、映像音声同期装置３によって行われる映像信号と音声信号のずれを補正する処理の概念の一例を示す図である。なお、図２では、映像音声同期装置３によって行われる映像信号と音声信号のずれを補正する処理の概念のみに着目した説明を行う。そのため、図２では、フレームスキップ及びフレームリピートによる映像信号と音声信号のずれの補正についての説明は、省略する。
【００２６】
図２に示した状態Ｔ１は、映像音声同期装置３において映像信号と音声信号とにずれが発生していない状態を表している。映像信号に含まれる映像同期信号の周波数と、クロック部３７が生成した基準信号の周波数とにずれが存在する場合、状態Ｔ１は、時間の経過とともに映像音声同期装置３において映像信号と音声信号とにずれが発生した状態Ｔ２へと遷移する。
【００２７】
ここで、映像信号に含まれる映像同期信号の周波数と、クロック部３７が生成した基準信号の周波数とにずれ（周波数差）が存在する場合に状態Ｔ１が状態Ｔ２へ遷移する理由について説明する。映像音声同期システム１では、映像同期信号の周波数と基準信号の周波数とにずれが存在する場合、前述の映像位相と音声位相とが時間の経過とともにずれる。映像位相と音声位相がずれている状態は、例えば、３フレーム分の映像が流れる際に、２フレーム分の音声しか流れないような状態、すなわち、映像信号と音声信号とにずれが発生している状態であることを示している。
【００２８】
状態Ｔ２において、映像音声同期装置３は、映像位相と音声位相との間の位相差を算出する。そして、映像音声同期装置３が備える判定部４５は、算出した当該位相差の絶対値が所定の位相差以上であるか否かを判定することにより、映像信号と音声信号とにずれが発生したか否かを判定する。この一例において、所定の位相差は、０である。そのため、映像音声同期装置３は、映像位相と音声位相との間の位相差が０ではないことから、映像信号と音声信号とにずれが発生したと判定する。この場合、判定部４５は、前述の進行遅延判定を行う。より具体的には、判定部４５は、算出した映像位相と音声位相との間の位相差が正の値であるか否かを判定する。当該位相差が正の値である場合、判定部４５は、映像信号より音声信号が進んでいると判定する。一方、当該位相差が負の値である場合、判定部４５は、映像信号より音声信号が遅れていると判定する。
【００２９】
状態Ｔ２において、映像位相と音声位相との間の位相差の絶対値が所定の位相差以上であり、且つ映像位相と音声位相との間の位相差が負の値であると判定部４５が判定した場合、状態Ｔ２は、当該場合における弱音部分調整処理が映像音声同期装置３により行われる状態Ｔ３へと遷移する。状態Ｔ３において、映像音声同期装置３は、音声信号のうちの弱音部分を検出する。また、映像音声同期装置３は、記憶部３８から弱音信号を読み出す。そして、映像音声同期装置３は、位相差算出部４４により算出された位相差の分だけ、検出した弱音部分に記憶部３８から読み出した弱音信号を挿入する。すなわち、映像音声同期装置３は、映像に対して進んでいる音声のうち、音声レベル（音量）が小さな部分（音声信号の振幅が所定値未満である部分）に対して、映像に対する音声の進みを打ち消すように弱音信号を挿入する。これにより、状態Ｔ３は、映像音声同期装置３において映像信号と音声信号とにずれがない状態、すなわち状態Ｔ１へと遷移する。
【００３０】
一方、状態Ｔ２において、映像位相と音声位相との間の位相差の絶対値が所定値以上であり、且つ映像位相と音声位相との間の位相差が正の値であると判定部４５が判定した場合、状態Ｔ２は、当該場合における弱音部分調整処理が映像音声同期装置３により行われる状態Ｔ４へと遷移する。状態Ｔ４において、映像音声同期装置３は、音声信号のうちの弱音部分を検出する。そして、映像音声同期装置３は、判定部４５により算出された位相差の分だけ、検出した弱音部分を切断する。すなわち、映像音声同期装置３は、映像に対して遅れている音声のうち、音声レベルが小さな部分を、映像に音声が追いつくように削除（切断）する。これにより、状態Ｔ４は、映像音声同期装置３において映像信号と音声信号とにずれがない状態、すなわち状態Ｔ１へと遷移する。
【００３１】
次に、図３を参照し、制御部３２が映像位相と音声位相との間の位相差を算出し、算出した当該位相差に基づいて弱音部分調整処理を行う処理について説明する。図３は、制御部３２が映像位相と音声位相との間の位相差を算出し、算出した当該位相差に基づいて弱音部分調整処理を行う処理の流れの一例を示すフローチャートである。なお、図３に示したフローチャートは、フレームメモリ３１から最初のフレームが読み出され、当該フレームが他の装置へ出力された後の処理として説明する。
【００３２】
位相差算出部４４は、映像位相と音声位相との間の位相差を算出する（ステップＳ１００）。判定部４５は、位相差算出部４４が算出した位相差の絶対値が所定の位相差以上であるか否かを判定する（ステップＳ１１０）。位相差算出部４４が算出した位相差の絶対値が所定の位相差以上ではないと判定部４５が判定した場合（ステップＳ１１０−Ｎｏ）、位相差算出部４４は、ステップＳ１００に遷移し、再び映像位相と音声位相との間の位相差を算出する。一方、位相差算出部４４が算出した位相差の絶対値が所定の位相差以上であると判定した場合（ステップＳ１１０−Ｙｅｓ）、判定部４５は、進行遅延判定を行う（ステップＳ１１５）。
【００３３】
ステップＳ１１５において、判定部４５は、判定遅延判定として、ステップＳ１００において位相差算出部４４が算出した位相差が正の値であるか否かを判定する。判定部４５は、当該位相差が正の値であった場合、映像信号より音声信号が進んでいると判定する。一方、判定部４５は、当該位相差が負の値である場合、映像信号より音声信号が遅れていると判定する。そして、判定部４５は、位相差算出部４４が算出した位相差を示す位相差情報と、進行遅延判定の結果を示す進行遅延情報と、放送信号に含まれる音声信号とを弱音検出部３３へと出力する。
【００３４】
次に、弱音検出部３３は、判定部４５から取得した音声信号から弱音部分を検出する（ステップＳ１２０）。そして、弱音検出部３３は、検出した弱音部分を示す弱音部分情報と、判定部４５から取得した位相差情報及び進行遅延情報とを音声信号処理部３６に出力する。
【００３５】
次に、音声信号処理部３６は、周波数変換部３５から周波数変換された音声信号を取得する。音声信号処理部３６は、取得した当該音声信号と、ステップＳ１２０において弱音検出部３３から取得した弱音部分情報と、位相差情報及び進行遅延情報とに基づいて当該音声信号に対して弱音部分調整処理を行う（ステップＳ１３０）。次に、位相差算出部４４は、映像位相と音声位相との間の位相差を０とし（ステップＳ１４０）、ステップＳ１００に遷移し、所定のタイミングとしてのステップＳ１４０のタイミングからの時間の経過に応じた映像位相と音声位相との間の位相差を算出する。
【００３６】
次に、図４を参照し、図３に示したフローチャートのステップＳ１３０において音声信号処理部３６が行う弱音部分調整処理について説明する。図４は、図３に示したフローチャートのステップＳ１３０において音声信号処理部３６が行う弱音部分調整処理の流れの一例を示すフローチャートである。
【００３７】
音声信号処理部３６は、弱音検出部３３から取得した進行遅延情報に基づいて、映像信号より音声信号が進んでいるか否かを判定する（ステップＳ２００）。音声信号処理部３６は、映像信号より音声信号が遅れていることを進行遅延情報が示す場合、映像信号より音声信号が遅れていると判定する。進行遅延情報が映像信号より音声信号が遅れていると判定した場合（ステップＳ２００−Ｎｏ）、音声信号処理部３６は、弱音検出部３３から取得した弱音部分情報が示す弱音部分を、弱音検出部３３から取得した位相差情報が示す位相差が表わす時間だけ切断し（ステップＳ２１０）、弱音部分を切断した音声信号を他の装置へと出力する。
【００３８】
ここで、図５を参照し、ステップＳ２１０における音声信号処理部３６の処理について説明する。図５は、基準信号に同期してフレームメモリ３１から時間の経過とともに他の装置へ出力された複数のフレームと、これらの各フレームに対応して他の装置へ出力された映像同期信号に同期した音声信号との一例を示す図である。
【００３９】
図５には、映像同期信号の周波数より基準信号の周波数が低い場合の例を示した。そのため、図５に示した例では、これらのフレームのうち、フレームＦ３とフレームＦ５の間に、フレームリピートによりフレームＦ４が２つ出力されている。すなわち、図５では、他の装置へ出力されたフレームとして、８枚のフレーム（図５に示したフレームＦ１〜フレームＦ３、フレームＦ５〜フレームＦ７がそれぞれ１つずつ、フレームＦ４が２つ）が示されている。
【００４０】
また、図５において、境界線ＰＦ０〜境界線ＰＦ８のうちの隣り合う境界線に挟まれているフレームの幅は、基準信号に同期してフレームメモリ３１からフレームが出力されたタイミングから次のフレームが出力されたタイミングまでの時間の長さを表す。換言すると、当該幅は、映像位相が０〜２πまで変化するのに要する時間を表す。例えば、図５において境界線ＰＦ０と境界線ＰＦ１に挟まれているフレームＦ１の幅は、フレームＦ１がフレームメモリ３１から出力されたタイミングから、次のフレームであるフレームＦ２がフレームメモリ３１から出力されたタイミングまでの時間の長さを表す。なお、図５において、時間の流れは、矢印Ｔによって示したように、紙面に向かって右方向に進んでいるとする。
【００４１】
また、二点鎖線Ｒ１によって囲まれた範囲には、図５に示した各フレームに対応して出力された音声信号のうち、音声信号処理部３６により弱音部分調整処理が行われない場合の音声信号を示した。また、境界線ＰＡ０〜境界線ＰＡ６のうちの隣り合う境界線に挟まれている音声信号の幅は、映像同期信号に同期した映像信号の各フレームに対応する音声信号の時間の長さを表す。換言すると、当該幅は、音声位相が０〜２πまで変化するのに要する時間を表す。例えば、境界線ＰＡ０と境界線ＰＡ１に挟まれている音声信号は、フレームＦ１に対応する音声信号である。当該音声信号の幅は、フレームＦ１に対応する音声信号の音声位相が０〜２πまで変化するのに要する時間を表す。
【００４２】
また、図５では、映像同期信号の周波数より基準信号の周波数が低いため、映像位相が０から２πまで変化するのに要する時間より、音声位相が０から２πまで変化するのに要する時間の方が長い。
【００４３】
ここで、境界線ＰＦ０と境界線ＰＡ０とが一致しているため、フレームＦ１がフレームメモリ３１から出力されたタイミングであり、且つフレームＦ１に対応する音声信号が出力されたタイミングでは、映像位相と音声位相との間の位相差は０、すなわち映像位相と音声位相とがずれていない。しかし、境界線ＰＦ１と境界線ＰＡ１とを比べれば分かる通り、フレームＦ２がフレームメモリ３１から出力されたタイミングにおいて、すでに映像位相と音声位相とがずれている。
【００４４】
この場合、位相差算出部４４は、映像位相と音声位相との間の位相差を算出する。この一例において、弱音検出部３３は、当該位相差の絶対値が０より大きな値であれば、他の装置へ出力する音声信号から弱音部分を検出する。例えば、境界線ＰＦ１が示すタイミングにおいて映像位相と音声位相との間の位相差が算出された場合、弱音検出部３３は、フレームＦ２に対応する音声信号から弱音部分として図５に示した弱音部分Ｎ１を検出する。また、位相差算出部４４が算出した位相差は、映像位相の方が音声位相よりも進んでいるため、正の値である。この場合、音声信号処理部３６は、位相差算出部４４が算出した当該位相差が表わす時間分だけ、弱音部分Ｎ１を切断する。
【００４５】
ここで、二点鎖線Ｒ２によって囲まれた範囲には、図５に示した各フレームに対応して出力された音声信号のうち、音声信号処理部３６により弱音部分調整処理が行われた場合の音声信号を示した。すなわち、二点鎖線Ｒ２によって囲まれた範囲におけるフレームＦ２に対応する音声信号のように、境界線ＰＡ１と境界線ＰＡ２によって挟まれた音声信号の幅は、音声信号処理部３６により弱音部分Ｎ１を図５に示した弱音部分Ｃ１のように切断されて短くなっている。これにより、境界線ＰＦ２が示すタイミングと、境界線ＰＡ２が示すタイミングとが一致している。すなわち、フレームＦ３がフレームメモリ３１から出力されたタイミングにおいて、映像位相と音声位相とが一致する。このように、映像音声同期装置３は、映像信号と音声信号とのずれを補正することができる。
【００４６】
また、境界線ＰＦ３が示すタイミングでは、二点鎖線Ｒ２によって囲まれた範囲における境界線ＰＡ３が示すタイミングと比較することで分かるように、再び映像位相と音声位相とがずれている。しかし、図５に示した例において、フレーム４に対応する音声信号には、弱音部分が存在しない。このような場合、弱音検出部３３は、フレームＦ４の次にフレームメモリ３１から出力されるフレームＦ５に対応する音声信号から弱音部分として弱音部分Ｎ２を検出する。
【００４７】
そして、音声信号処理部３６は、弱音部分Ｎ１を切断して弱音部分Ｃ１としたのと同様の処理によって、弱音部分Ｎ２を切断して弱音部分Ｃ２とする。これにより、境界線ＰＦ６が示すタイミングでは、映像位相と音声位相とが再び一致する。このように、ステップＳ２１０において音声信号処理部３６は、弱音部分の切断を行うことにより、映像信号と音声信号とのずれを補正する。
【００４８】
図４に戻る。音声信号処理部３６は、映像信号より音声信号が進んでいることを進行遅延情報が示す場合、映像信号より音声信号が進んでいると判定する。進行遅延情報が映像信号より音声信号が進んでいると判定した場合（ステップＳ２００−Ｙｅｓ）、音声信号処理部３６は、記憶部３８から弱音信号を読み出す（ステップＳ２２０）。次に、音声信号処理部３６は、弱音検出部３３から取得した弱音部分情報が示す弱音部分に対して、記憶部３８から読み出した弱音信号を、弱音検出部３３から取得した位相差情報が示す位相差に対応する時間だけ挿入し（ステップＳ２３０）、弱音信号を挿入した音声信号を他の装置へと出力する。
【００４９】
ここで、図６を参照し、ステップＳ２３０における音声信号処理部３６の処理について説明する。図６は、基準信号に同期してフレームメモリ３１から時間の経過とともに他の装置へ出力された複数のフレームと、これらの各フレームに対応して他の装置へ出力された映像同期信号に同期した音声信号との他の例を示す図である。
【００５０】
図６には、映像同期信号の周波数より基準信号の周波数が高い場合の例を示した。そのため、図６に示した例では、これらのフレームのうち、フレームＦ１４とフレームＦ１６の間の時間において、フレームスキップによりフレームＦ１５が飛び越されている。すなわち、図６では、他の装置へ出力されたフレームとして、６枚のフレーム（図６に示したフレームＦ１１〜フレームＦ１４、フレームＦ１６、フレームＦ１７がそれぞれ１つずつ）が示されている。
【００５１】
また、図６において、境界線ＰＦ１０〜境界線ＰＦ１６のうちの隣り合う境界線に挟まれているフレームの幅は、図５に示した境界線ＰＦ１〜境界線ＰＦ８のうちの隣り合う境界線に挟まれているフレームの幅と同様に、映像位相が０〜２πまで変化するのに要する時間を表す。例えば、図６において境界線ＰＦ１０と境界線ＰＦ１１に挟まれているフレームＦ１１の幅は、フレームＦ１１がフレームメモリ３１から出力されたタイミングから、次のフレームであるフレームＦ１２がフレームメモリ３１から出力されたタイミングまでの時間の長さを表す。なお、図６において、時間の流れは、図５における時間の流れと同様に、矢印Ｔによって示したように、紙面に向かって右方向に進んでいるとする。
【００５２】
また、二点鎖線Ｒ１１によって囲まれた範囲には、図６に示した各フレームに対応して出力された音声信号のうち、音声信号処理部３６により弱音部分調整処理が行われない場合の音声信号を示した。また、境界線ＰＡ１０〜境界線ＰＡ１６のうちの隣り合う境界線に挟まれている音声信号の幅は、図５に示した境界線ＰＡ０〜境界線ＰＡ６のうちの隣り合う境界線に挟まれている音声信号の幅と同様に、音声位相が０〜２πまで変化するのに要する時間を表す。例えば、境界線ＰＡ１０と境界線ＰＡ１１に挟まれている音声信号は、フレームＦ１１に対応する音声信号である。当該音声信号の幅は、フレームＦ１１に対応する音声信号の音声位相が０〜２πまで変化するのに要する時間を表す。
【００５３】
また、図６では、映像同期信号の周波数より基準信号の周波数が高いため、映像位相が０から２πまで変化するのに要する時間より、音声位相が０から２πまで変化するのに要する時間の方が短い。
【００５４】
ここで、境界線ＰＦ１０と境界線ＰＡ１０とが一致しているため、フレームＦ１１がフレームメモリ３１から出力されたタイミングであり、且つフレームＦ１１に対応する音声信号が出力されたタイミングでは、映像位相と音声位相との間の位相差は０、すなわち映像位相と音声位相とがずれていない。しかし、境界線ＰＦ１１と境界線ＰＡ１１とを比べれば分かる通り、フレームＦ１２がフレームメモリ３１から出力されたタイミングにおいて、すでに映像位相と音声位相とがずれている。
【００５５】
この場合、位相差算出部４４は、映像位相と音声位相との間の位相差を算出する。この一例において、弱音検出部３３は、当該位相差の絶対値が０より大きな値であれば、他の装置へ出力する音声信号から弱音部分を検出する。例えば、境界線ＰＦ１１が示すタイミングにおいて映像位相と音声位相との間の位相差が算出された場合、弱音検出部３３は、フレームＦ１２に対応する音声信号から弱音部分として図６に示した弱音部分Ｎ１１を検出する。また、位相差算出部４４が算出した位相差は、映像位相の方が音声位相よりも遅れているため、負の値である。この場合、音声信号処理部３６は、位相差算出部４４が算出した当該位相差に相当する時間分だけ、弱音部分Ｎ１に記憶部３８から読み出した弱音信号を挿入する。
【００５６】
ここで、二点鎖線Ｒ２によって囲まれた範囲には、図６に示した各フレームに対応して出力された音声信号のうち、音声信号処理部３６により弱音部分調整処理が行われた場合の音声信号を示した。すなわち、二点鎖線Ｒ２によって囲まれた範囲におけるフレームＦ１２に対応する音声信号のように、境界線ＰＡ１１と境界線ＰＡ１２によって挟まれた音声信号の幅は、音声信号処理部３６により弱音部分Ｎ１１に対して、図６に示した弱音部分Ｃ１１のように弱音信号が挿入されて長くなっている。これにより、境界線ＰＦ１２が示すタイミングと、境界線ＰＡ１２が示すタイミングとが一致している。すなわち、フレームＦ１３がフレームメモリ３１から出力されたタイミングにおいて、映像位相と音声位相とが一致する。このように、映像音声同期装置３は、映像信号と音声信号とのずれを補正することができる。
【００５７】
なお、音声信号処理部３６は、ステップＳ２２０からステップＳ２３０までの処理に代えて、弱音検出部３３が音声信号から検出した弱音部分を複製し、複製した信号を弱音信号として当該弱音部分に挿入する構成であってもよい。
【００５８】
以上説明した少なくともひとつの実施形態の映像音声同期システム１（又は映像音声同期装置３）は、入力された映像信号及び音声信号にずれが発生したか否かを判定し、当該ずれが発生したと判定した場合、音声信号の一部（この一例において、弱音部分）に基づいて当該ずれを補正する。これにより、映像音声同期システム１は、映像と音声とがずれてしまうことを抑制することができる。
【００５９】
なお、映像音声同期装置３が備える制御部３２、弱音検出部３３、音声信号分離部３４、周波数変換部３５、音声信号処理部３６のうちの一部又は全部は、例えば、図示しないＣＰＵが、図示しない記憶部に記憶された各種プログラムを実行することで実現される。また、これらのうち一部又は全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。
【００６０】
また、以上に説明した装置（例えば、映像音声同期装置３）における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ（Compact Disk）−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００６１】
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００６２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００６３】
１…映像音声同期システム、２…発信源、３…映像音声同期装置、３１…フレームメモリ、３２…制御部、３３…弱音検出部、３４…音声信号分離部、３５…周波数変換部、３６…音声信号処理部、３７…クロック部、３８…記憶部、４１…書込制御部、４２…読出制御部、４３…映像同期信号分離部、４４…位相差算出部、４５…判定部
【図１】
2017050622.tif 000003
【図２】
2017050622.tif 000004
【図３】
2017050622.tif 000005
【図４】
2017050622.tif 000006
【図５】
2017050622.tif 000007
【図６】
2017050622.tif 000008