(57)【要約】      （修正有）【課題】映像信号と音声信号との間のずれを抑制する映像音声同期化装置を提供する。【解決手段】映像音声同期化装置１は、映像用フレームメモリ１２と、音声用フレームメモリ１６と、ずれ補正部１９とを備え、第１周波数で入力される映像音声信号を、第１周波数とは異なる第２周波数に同期化する。映像用フレームメモリ１２には、映像信号が第１周波数で１フレームずつ書き込まれ、書き込まれた映像信号が第２周波数で１フレームずつ読み出される。音声用フレームメモリ１６には、音声信号が第１周波数で１フレームずつ書き込まれ、書き込まれた音声信号が第２周波数で１フレームずつ読み出される。ずれ補正部１９は、映像用フレームメモリ１２から読み出される１フレーム分の映像信号と、音声用フレームメモリ１６から読み出される１フレーム分の音声信号との間にずれに伴う補正か必要と判断した場合、音声信号の読み出し周波数を変更する。【選択図】図１
2017098820.tif 000002
【特許請求の範囲】
【請求項１】
第１周波数で入力される映像音声信号を、前記第１周波数とは異なる第２周波数に同期化する映像音声同期化装置であって、
前記映像音声信号のうちの映像信号が前記第１周波数で１フレームずつ書き込まれ、書き込まれた映像信号が前記第２周波数で１フレームずつ読み出される第１フレームメモリと、
前記映像音声信号のうちの音声信号が前記第１周波数で１フレームずつ書き込まれ、書き込まれた音声信号が前記第２周波数で１フレームずつ読み出される第２フレームメモリと、
前記第１フレームメモリから読み出される１フレーム分の映像信号と、前記第２フレームメモリから読み出される１フレーム分の音声信号との間のずれに伴う補正が必要と判断した場合、前記音声信号の読み出し周波数を、前記第２周波数から、前記第２周波数とは異なる第３周波数に変更するずれ補正部とを備える、映像音声同期化装置。
【請求項２】
前記ずれは、前記第１周波数が前記第２周波数より高い場合、映像信号のうちの第１フレームが前記第１フレームメモリから読み出される前に、前記第１フレームの次のフレームが前記第１フレームメモリに書き込まれ、前記第１フレームの読み出しがスキップされることで発生する第１のずれを含み、
前記ずれ補正部は、前記第１のずれが発生した場合、前記第３周波数を、前記第２周波数より高い値に設定する、請求項１に記載の映像音声同期化装置。
【請求項３】
前記ずれは、前記第１周波数が前記第２周波数より低い場合、映像信号のうちの第２フレームが前記第１フレームメモリから読み出された後においても、前記第２フレームの次のフレームが前記第１フレームメモリに書き込まれず、前記第２フレームの読み出しがリピートされることで発生する第２のずれを含み、
前記ずれ補正部は、前記第２のずれが発生した場合、前記第３周波数を、前記第２周波数より低い値に設定する、請求項１または２に記載の映像音声同期化装置。
【請求項４】
前記ずれ補正部は、前記ずれが解消された場合、前記音声信号の読み出し周波数を前記第３周波数から前記第２周波数に戻す、請求項１〜３のいずれか１項に記載の映像音声同期化装置。
【請求項５】
前記第２フレームメモリから読み出された前記音声信号のうち前記読み出し周波数が前記第３周波数に変更された区間のサンプリングレートを前記第２周波数にリサンプリングするサンプリングレートコンバータをさらに備える、請求項１〜４のいずれか１項に記載の映像音声同期化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、映像音声同期化装置に関する。
【背景技術】
【０００２】
放送局などでは、発信源からの映像音声信号を異なる周波数に同期化するための映像音声同期化装置（フレームシンクロナイザ）が用いられている。映像音声同期化装置には映像信号と音声信号との間のずれ（リップシンクずれ）を可能な限り少なくすることが求められている。そして、このずれを補正する方法として、音声にノイズを発生させずに当該ずれを抑える幾つかの手法が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−９２３４８号公報
【特許文献２】特開平９−２００５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような技術であっても映像信号と音声信号との間のずれが一定時間発生することが知られている。このため、実用面からは、映像信号と音声信号との間のずれをさらに抑制することが望まれている。
【課題を解決するための手段】
【０００５】
実施形態による映像音声同期化装置は、第１周波数で入力される映像音声信号を、第１周波数とは異なる第２周波数に同期化するように構成される。この映像音声同期化装置は、第１フレームメモリと、第２フレームメモリと、ずれ補正部とを備える。第１フレームメモリは、映像音声信号のうちの映像信号が第１周波数で１フレームずつ書き込まれ、書き込まれた映像信号が第２周波数で１フレームずつ読み出されるように構成される。第２フレームメモリは、映像音声信号のうちの音声信号が第１周波数で１フレームずつ書き込まれ、書き込まれた音声信号が第２周波数で１フレームずつ読み出されるように構成される。ずれ補正部は、第１フレームメモリから読み出される１フレーム分の映像信号と、第２フレームメモリから読み出される１フレーム分の音声信号との間にずれに伴う補正が必要と判断した場合、音声信号の読み出し周波数を、第２周波数から、第２周波数とは異なる第３周波数に変更する。
【図面の簡単な説明】
【０００６】
【図１】図１は、実施形態による映像音声同期化装置の構成を示した例示ブロック図である。
【図２】図２は、実施形態において映像信号の読み出しがスキップされることに起因して発生する、映像信号と音声信号との間のずれの事例を示した例示図である。
【図３】図３は、実施形態において映像信号の読み出しがリピートされることに起因して発生する、映像信号と音声信号との間のずれの事例を示した例示図である。
【図４】図４は、実施形態による映像音声同期化装置のずれ補正部が実行する処理を示した例示フローチャートである。
【発明を実施するための形態】
【０００７】
以下、実施形態を図面に基づいて説明する。
【０００８】
まず、図１を参照して、実施形態による映像音声同期化装置１の構成について説明する。ここで、映像音声同期化装置１とは、放送局などに設置される装置であり、スタジオなどの発信源２からある周波数（以下、第１周波数とする）で入力される映像音声信号を、第１周波数とは異なる第２周波数に同期化する装置である。なお、図１の例では、映像音声信号は、発信源２に設けられるケーブルドライバ（もしくはアウトプットバッファ、ラインドライバ）２ａによって増幅された後、通信回線３を介して、第１周波数で映像音声同期化装置１に入力される。
【０００９】
図１に示すように、映像音声同期化装置１は、クロック部１１と、映像用フレームメモリ１２と、映像書込制御部１３と、映像読出制御部１４と、音声分離部１５と、音声用フレームメモリ１６と、音声書込制御部１７と、音声読出制御部１８と、ずれ補正部１９と、サンプリングレートコンバータ２０とを備える。なお、映像用フレームメモリ１２は、「第１フレームメモリ」の一例であり、音声用フレームメモリ１６は、「第２フレームメモリ」の一例である。
【００１０】
クロック部１１は、所定の基準同期信号に基づいて、第２周波数の基準信号を生成する。クロック部１１は、生成した基準信号を、映像読出制御部１４、音声読出制御部１８、およびサンプリングレートコンバータ２０に出力する。
【００１１】
映像用フレームメモリ１２は、映像音声信号のうちの映像信号が第１周波数で１フレームずつ書き込まれ、書き込まれた映像信号が第２周波数で１フレームずつ読み出されるように構成される。
【００１２】
つまり、実施形態では、映像用フレームメモリ１２は、映像信号を１フレームずつ一時的に記憶する。また、映像書込制御部１３は、映像信号を映像用フレームメモリ１２に第１周波数で１フレームずつ書き込む制御を行う。また、映像読出制御部１４は、映像用フレームメモリ１２に書き込まれた映像信号を第２周波数で１フレームずつ読み出す制御を行う。
【００１３】
音声分離部１５は、映像音声信号から音声信号を分離し、分離した音声信号を音声用フレームメモリ１６に出力する。
【００１４】
音声用フレームメモリ１６は、映像音声信号のうちの音声信号が第１周波数で１フレームずつ書き込まれ、書き込まれた映像信号が第２周波数で１フレームずつ読み出されるように構成される。
【００１５】
つまり、実施形態では、音声用フレームメモリ１６は、音声信号を１フレームずつ一時的に記憶する。また、音声書込制御部１７は、音声信号を音声用フレームメモリ１６に第１周波数で１フレームずつ書き込む制御を行う。また、音声読出制御部１８は、音声用フレームメモリ１６に書き込まれた音声信号を第２周波数で１フレームずつ読み出す制御を行う。
【００１６】
このように、実施形態では、映像用フレームメモリ１２および音声用フレームメモリ１６を用いて、第１周波数の映像信号および音声信号を第２周波数に同期化している。
【００１７】
ここで、映像信号は、１コマ単位で区切られる離散的なデータである。このため、映像用フレームメモリ１２への書き込み周波数（第１周波数）と、映像用フレームメモリ１２からの読み出し周波数（第２周波数）とが異なっていると、次のような事態が発生する。
【００１８】
たとえば、第１周波数が第２周波数より高い場合について説明する。この場合では、図２に示すように、あるタイミングτ１で、入力信号のフレームＦ１が出力信号（映像）として読み出される前に、フレームＦ１の次のフレームＦ２が入力信号として書き込まれ、フレームＦ１に対応する出力信号（映像）の読み出しがスキップされるという事態が発生する。具体的に、図２の例では、出力信号（映像）の区間Ａ１において、入力信号のフレームＦ１に対応する、「１０」という番号が付されたフレームの読み出しのスキップが発生している。
【００１９】
また、他の例として、第１周波数が第２周波数より低い場合について説明する。この場合では、図３に示すように、あるタイミングτ１１で、入力信号のフレームＦ１１が出力信号（映像）として読み出された後においても、フレームＦ１１の次のフレームＦ１２が入力信号として書き込まれず、フレームＦ１１に対応する出力信号（映像）の読み出しがリピートされるという事態が発生する。具体的に、図３の例では、出力信号（映像）の区間Ａ１１において、入力信号のフレームＦ１１に対応する、「１０」という番号が付されたフレームの読み出しのリピートが発生している。
【００２０】
このように、映像用フレームメモリ１２に対する書き込み周波数と読み出し周波数とが異なる場合では、映像信号の読み出しのスキップまたはリピートが発生する。この際、コマ単位で生成されている映像信号とは異なり、音声信号は連続性を保っているため、スキップまたはリピートによって連続性が失われるとノイズが発生してしまうという難点がある。そして、これを解消するためには、音声信号をスキップまたはリピートせずに、読み出し周波数を変化させることで映像信号に徐々に同期させるのが好ましい。
【００２１】
そこで、実施形態では、ずれ補正部１９を用いて、映像信号と音声信号との間のずれを抑制している。図１に示すように、ずれ補正部１９は、映像用フレームメモリ１２の入力側および出力側と、音声用フレームメモリ１６の入力側および出力側とを監視することで、映像用フレームメモリ１２から読み出される１フレーム分の映像信号と、音声用フレームメモリ１６から読み出される１フレーム分の音声信号との間での補正が必要かどうかを検知する。具体的には、映像信号のスキップまたはリピートを行うタイミングを検知し、それに合わせて音声信号の読み出し周波数の変更を開始する。音声信号の読み出し周波数は、当初の第２周波数から、映像信号とのずれを補正するための第３周波数に変更される。
【００２２】
たとえば、図２は、実施形態において映像信号の読み出しがスキップされることに起因して発生する、映像信号と音声信号との間のずれの事例を示した例示図である。この図２の例において、入力信号（映像、音声）は、映像用フレームメモリ１２に書き込まれる映像信号、および音声用フレームメモリ１６に書き込まれる音声信号を示し、出力信号（映像）は、映像用フレームメモリ１２から読み出される映像信号を示し、出力信号（音声）は、音声用フレームメモリ１６から読み出される音声信号を示している。また、図２の例における各ブロック内の数字は、入力信号（映像、音声）、出力信号（映像）、および出力信号（音声）の各フレームの対応関係を説明するために付した便宜上の番号である。
【００２３】
図２の例では、タイミングτ１において映像信号の読み出しがスキップされることに起因して、映像信号と音声信号とのずれが発生している。具体的に、図２の例では、タイミングτ１の直後の出力信号（映像）のフレームに付された番号が「１１」になるのに対し、タイミングτ１の直後の出力信号（音声）のフレームに付された番号が「１０」であるため、ずれが発生している。以下では、このようなフレームの読み出しのスキップによって発生するずれを、第１のずれと呼ぶ。
【００２４】
ずれ補正部１９は、上記の第１のずれが発生する際、音声信号の読み出し周波数をより高くすることで、音声信号の連続性を維持したまま、映像信号とのずれを相殺する。すなわち、ずれ補正部１９は、第１のずれが発生する際、変更後の読み出し周波数である第３周波数を、変更前の読み出し周波数である第２周波数より高い値に変更することで、スキップが発生した映像信号の読み出しに音声信号の読み出しが徐々に追いつくように、音声信号の読み出しを早くする。
【００２５】
上記の読み出し周波数の変更は、第１のずれを解消可能な所定の調整期間Ｔ１だけ継続される。これにより、図２の例では、タイミングτ１に対して調整期間Ｔ１が経過したタイミングτ２において、第１のずれが解消している。具体的に、図２の例では、タイミングτ２の直後の出力信号（映像）のフレームに付された番号が「１４」であり、タイミングτ２の直後の出力信号（音声）のフレームに付された番号も「１４」であるため、第１のずれが解消している。
【００２６】
他の例として、図３は、実施形態において映像信号の読み出しがリピートされることに起因して発生する、映像信号と音声信号との間のずれの事例を示した例示図である。この図３の例においても、上記の図２の例と同様に、入力信号（映像、音声）は、映像用フレームメモリ１２に書き込まれる映像信号、および音声用フレームメモリ１６に書き込まれる音声信号を示し、出力信号（映像）は、映像用フレームメモリ１２から読み出される映像信号を示し、出力信号（音声）は、音声用フレームメモリ１６から読み出される音声信号を示している。また、図３の例における各ブロック内の数字は、入力信号（映像、音声）、出力信号（映像）、および出力信号（音声）の各フレームの対応関係を説明するために付した便宜上の番号である。
【００２７】
図３の例では、タイミングτ１１において映像信号の読み出しがリピートされることに起因して、映像信号と音声信号とのずれが発生している。具体的に、図３の例では、タイミングτ１１の直後の出力信号（映像）のフレームに付された番号が「１０」になるのに対し、タイミングτ１１の直後の出力信号（音声）のフレームに付された番号が「１１」であるため、ずれが発生している。以下では、このようなフレームの読み出しのリピートによって発生するずれを、第２のずれと呼ぶ。
【００２８】
ずれ補正部１９は、上記の第２のずれの発生に合わせるように、音声信号の読み出し周波数をより低くすることで、音声信号の連続性を維持したまま、映像信号とのずれを相殺する。すなわち、ずれ補正部１９は、第２のずれが発生する際、変更後の読み出し周波数である第３周波数を、変更前の読み出し周波数である第２周波数より低い値に変更することで、リピートが発生した映像信号の読み出しが音声信号の読み出しに徐々に追いつくように、音声信号の読み出しを遅くする。
【００２９】
上記の読み出し周波数の変更は、第２のずれを解消可能な所定の調整期間Ｔ２だけ継続される。これにより、図３の例では、タイミングτ１１に対して調整期間Ｔ２が経過したタイミングτ１２において、第２のずれが解消している。具体的に、図３の例では、タイミングτ１２の直後の出力信号（映像）のフレームに付された番号が「１５」であり、タイミングτ１２の直後の出力信号（音声）のフレームに付された番号も「１５」であるため、第２のずれが解消している。
【００３０】
このように、実施形態では、ずれ補正部１９は、発生するずれが第１のずれであるか第２のずれであるかに応じて、音声信号の読み出し周波数を適切に変更する。これにより、第１のずれおよび第２のずれのいずれも解消することができる。
【００３１】
なお、実施形態では、ずれ補正部１９は、ずれが解消された場合、音声信号の読み出し周波数を、変更後の第３周波数から、変更前の第２周波数に戻す。これにより、ずれが解消された後も読み出し周波数の変更が継続されることに起因して新たなずれが発生するのを回避することができる。
【００３２】
ここで、実施形態では、変更前の第２周波数と変更後の第３周波数との偏差は、約１０００〜４０００ｐｐｍの範囲内に設定される。このように設定すれば、読み出し周波数の変更に起因する音声のトーンの変化が視聴者に大きな違和感を与えるのを回避することができる。
【００３３】
ところで、上述したような音声信号の読み出し周波数の変更が行われると、音声用フレームメモリ１６から読み出された音声信号に、第２周波数で読み出された区間と、第３周波数で読み出された区間とが混在することになる。このような状況に対して何らの対処も行わない場合、音声信号のサンプリングレートが途中で変わってしまい、音声信号が全体として不正なものになってしまう。
【００３４】
そこで、実施形態では、図１に示すように、音声用フレームメモリ１６の後段のサンプリングレートコンバータ２０を用いて、音声用フレームメモリ１６から読み出された音声信号のうち読み出し周波数が第３周波数に変更された区間のサンプリングレートを、変更前の読み出し周波数である第２周波数にリサンプリングする。これにより、音声信号全体のサンプリングレートを第２周波数に揃えることができ、音声信号が全体として不正なものになるのを防止することができる。
【００３５】
たとえば、図２の例では、出力信号（音声）における調整期間Ｔ１に対応する区間Ａ２が、読み出し周波数が変更された区間を示している。図２に示すように、区間Ａ２には、「１０」〜「１３」の４フレーム分の出力信号（音声）が存在している。しかしながら、読み出し周波数が変更されていない出力信号（映像）は、調整期間Ｔ１に対応する区間において、「１１」〜「１３」の３フレーム分しか存在していない。そこで、サンプリングレートコンバータ２０は、区間Ａ２の４フレーム分の出力信号（音声）を、出力信号（映像）に合わせて、３フレーム分の出力信号（音声）としてリサンプリングする。
【００３６】
同様に、図３の例では、出力信号（音声）における調整期間Ｔ２に対応する区間Ａ１２が、読み出し周波数が変更された区間を示している。図３に示すように、区間Ａ１２には、「１１」〜「１４」の４フレーム分の出力信号（音声）が存在している。しかしながら、読み出し周波数が変更されていない出力信号（映像）は、調整期間Ｔ２に対応する区間において、２つ目の「１０」〜「１４」の５フレーム分存在している。そこで、サンプリングレートコンバータ２０は、区間Ａ１２の４フレーム分の出力信号（音声）を、出力信号（映像）に合わせて、５フレーム分の出力信号（音声）としてリサンプリングする。
【００３７】
なお、実施形態では、図１に示したずれ補正部１９などの各構成は、ハードウェアのみによって実現されてもよいし、ハードウェアとソフトウェアの協働によって実現されてもよい。すなわち、図１に示した各構成の一部または全部は、ＡＳＩＣやＦＰＧＡなどの回路によって実現されてもよいし、ＣＰＵがメモリに記憶された各種プログラムを実行することによって実現されてもよい。
【００３８】
次に、図４を参照して、実施形態による映像音声同期化装置１のずれ補正部１９が実行する処理を説明する。
【００３９】
図４の処理フローでは、まず、Ｓ１において、ずれ補正部１９は、映像信号および音声信号の書き込みおよび読み出しを監視する。具体的に、ずれ補正部１９は、映像用フレームメモリ１２の入力側および出力側と、音声用フレームメモリ１６の入力側および出力側とを監視する。
【００４０】
Ｓ２において、ずれ補正部１９は、Ｓ１の監視結果に基づいて、映像信号のスキップまたはリピートが行われるか否かを判断する。具体的に、ずれ補正部１９は、書き込み周波数である第１周波数が読み出し周波数である第２周波数より高いことに起因して発生する第１のずれ（図２参照）と、第１周波数が第２周波数より低いことに起因して発生する第２のずれ（図３参照）との、いずれのずれが検知されたかを判断する。
【００４１】
上記のＳ２においてずれが検知されない場合、Ｓ１に処理が戻る。一方、上記のＳ２においてずれが検知された場合、Ｓ３に処理が進む。
【００４２】
Ｓ３において、ずれ補正部１９は、音声信号の読み出し周波数を第２周波数から第３周波数に変更する。具体的に、ずれ補正部１９は、Ｓ２において第１のずれが検知された場合、第３周波数を第２周波数より高い値に設定し、Ｓ２において第２のずれが検知された場合、第３周波数を第２周波数より低い値に設定する。
【００４３】
Ｓ４において、ずれ補正部１９は、ずれを解消可能な所定の調整期間（図２の符号Ｔ１、および図３の符号Ｔ２参照）が経過したか否かを判断する。このＳ４の処理は、調整期間が経過したと判断されるまで繰り返される。そして、Ｓ４において、調整期間が経過したと判断された場合、Ｓ５に処理が進む。
【００４４】
Ｓ５において、ずれ補正部１９は、音声信号の読み出し周波数を元に戻す。つまり、ずれ補正部１９は、音声信号の読み出し周波数を、変更後の第３周波数から、変更前の第２周波数に戻す。そして、処理が終了する。
【００４５】
以上説明したように、実施形態による映像音声同期化装置１は、映像音声信号のうちの映像信号が第１周波数で１フレームずつ書き込まれ、書き込まれた映像信号が第２周波数で１フレームずつ読み出される映像用フレームメモリ１２と、映像音声信号のうちの音声信号が第１周波数で１フレームずつ書き込まれ、書き込まれた音声信号が第２周波数で１フレームずつ読み出される音声用フレームメモリ１６とを備える。これにより、映像信号の読み出しのスキップまたはリピートに起因するずれを考慮しない場合、映像信号の読み出しタイミングと音声信号の読み出しタイミングとを揃えることができるので、映像信号と音声信号との間のずれを抑制することができる。
【００４６】
また、実施形態による映像音声同期化装置１は、映像用フレームメモリ１２から読み出される１フレーム分の映像信号と、音声用フレームメモリ１６から読み出される１フレーム分の音声信号との間のずれに伴う補正を必要と判断した場合、映像信号と音声信号とのずれが解消されるまで、音声信号の読み出し周波数を変更するずれ補正部１９を備える。これにより、映像信号の読み出しのスキップまたはリピートに起因するずれが発生した場合においても、映像信号の読み出しタイミングと音声信号の読み出しタイミングとが揃うまで、音声信号の読み出し周波数を変えることで、ずれを解消することができる。この結果、映像信号と音声信号との間のずれを抑制することができる。
【００４７】
以上、本発明の実施形態を説明したが、上記実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４８】
１  映像音声同期化装置
１２  映像用フレームメモリ（第１フレームメモリ）
１６  音声用フレームメモリ（第２フレームメモリ）
１９  ずれ補正部
２０  サンプリングレートコンバータ
【図１】
2017098820.tif 000003
【図２】
2017098820.tif 000004
【図３】
2017098820.tif 000005
【図４】
2017098820.tif 000006