(57)【要約】【課題】雑音等の外乱の影響を抑制し、映像と音声との間の同期ずれ量を高精度に推定する。【解決手段】リップシンク信号送信装置１は、所定の時系列パターンによって変調した光を出力する発光手段１２、および光に同期した音声を出力する発音手段１４を備える。リップシンク対象システム３は、リップシンク信号送信装置１からの光および音声を取得し、伝送・蓄積手段３３を介して映像光および音声を同期ずれ量推定装置２へ提示する。同期ずれ量推定装置２は、リップシンク対象システム３からの映像光の光度を検出する受光手段２１、リップシンク対象システム３からの音声を入力する収音手段２２、および、映像光が反映された電気信号ｖ（ｔ）および音声が反映された電気信号ａ（ｔ）との間の時間的な相互相関値ｃ（τ）を算出して同期ずれ量Δｔを推定する相互相関演算手段２４を備える。【選択図】図１
2014207642.tif 000002
【特許請求の範囲】
【請求項１】
所定の時系列パターンを発生する時系列信号発生手段と、
前記時系列パターンに従って変調した光を出力する発光手段と、
前記時系列パターンに従って変調した音声を出力する発音手段と、
を備えることを特徴とするリップシンク信号送信装置。
【請求項２】
請求項１に記載のリップシンク信号送信装置であって、
前記時系列信号発生手段が、乱数系列、擬似乱数系列、雑音系列または擬似雑音系列の時系列パターンを発生することを特徴とするリップシンク信号送信装置。
【請求項３】
所定の時系列パターンで変調された映像光を入力し、電気信号に変換する受光手段と、
前記時系列パターンで変調された音声を入力し、電気信号に変換する収音手段と、
前記映像光が変換された電気信号と前記音声が変換された電気信号との間の相互相関値を算出し、前記相互相関値に基づいて同期ずれ量を推定する相互相関演算手段と、
を備えることを特徴とする同期ずれ量推定装置。
【請求項４】
請求項３に記載の同期ずれ量推定装置において、
前記同期ずれ量を推定するために用いるリップシンク信号を送信するリップシンク信号送信装置および当該同期ずれ量推定装置において発生する映像光と音声との間の同期ずれの量を、補償量として予め保持し、
前記相互相関演算手段が、前記推定した同期ずれ量から前記補償量を減算し、当該減算結果を新たな同期ずれ量として推定することを特徴とする同期ずれ量推定装置。
【請求項５】
リップシンク対象システムにおける映像光と音声との間の同期ずれ量を推定する同期ずれ量推定方法であって、
所定の時系列パターンを発生するステップと、
前記時系列パターンに従って光および音声を変調し、リップシンク信号として前記リップシンク対象システムへ送信するステップと、
前記リップシンク対象システムから映像光および音声を入力するステップと、
前記入力した映像光および音声を電気信号に変換するステップと、
前記変換した映像光の電気信号と前記変換した音声の電気信号との間の相互相関値を算出し、前記相互相関値に基づいて同期ずれ量を推定するステップと、を有することを特徴とする同期ずれ量推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像と音声の時間同期をとる装置に関し、特に、撮影から表示までの遅延時間と収音から発音までの遅延時間との間の差を測定するためのリップシンク信号を送信するリップシンク信号送信装置、これらの遅延時間の差である同期ずれ量を推定する同期ずれ量推定装置および同期ずれ量推定方法に関する。
【背景技術】
【０００２】
番組中継制作または映像と音声の伝送において、映像と音声との間で伝送遅延の差が生じ、同期がずれることがある。このような同期ずれを補正するため、送信、伝送および受信のいずれか１箇所以上の処理の中に、映像、音声またはその両方の遅延処理を付加し、その遅延量を増減することによって同期ずれを補正することが行われている。この遅延補正処理はリップシンクと呼ばれている。
【０００３】
従来、リップシンクの処理は、受信側において、人間が映像と音声を観視しながら違和感のない状態に至るまで遅延量を増減することで、遅延補正が行われることが多い。一方、送信側では、受信側での遅延補正の処理を容易にするため、カメラおよびマイクの前に人間を立たせ、発話を行わせることが多い。この発話においては、例えば「パピプペポ」のように、視覚的にタイミングを感知しやすい唇の動きと、聴覚的にタイミングを感知しやすい破裂音とを伴う音素列が用いられる。
【０００４】
人間に発話を行わせる代わりに、映像および音声を同時に発生する装置を用いることもある。例えば特許文献１には、周波数が順次変化する音声信号と、この音声信号に同期して映像が切り替わる映像信号とを発生する装置が記載されている。
【０００５】
具体的には、リップシンク信号発生装置が、周波数をスイープした音声信号を発生すると共に、音声信号に同期した所定のタイミングで変化する映像信号を発生し、これら音声信号と映像信号とをリップシンク検査装置へ入力する。そして、リップシンク検査装置が、映像信号の映像と音声信号の音声とを検出し、映像の切り替わりタイミングにおける音声の周波数を計測することにより、映像と音声との間の時間ずれ（同期ずれ量）を検出する。
【０００６】
特許文献１の技術は、映像および音声の検出系において、センサ間の特性等の差異が、同期ずれ量に影響を及ぼしその誤差となっていることに着目したものである。この同期ずれ量への影響を防ぐため、映像および音声の検出系を１系統とすることを特徴としている。具体的には、音声によって振動するミラーを用いて映像光を機械的に変調し、同一の受光手段によって映像光および音声を捉える工夫がなされている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−３２９６０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、前述の、人間に「パピプペポ」を発話させるリップシンク法では、その精度は、映像および音声を観視して遅延量を補正する人間の技量に大きく依存することになる。また、遅延量を正確に補正するためには、幾度も「パピプペポ」を発声させる必要があり、調整に時間を要する。
【０００９】
また、前述の特許文献１の装置は、電気信号としての映像信号および音声信号を直接または伝送路等を介してモニタ装置へ供給し、モニタ装置の発する映像光および音声を捉えるように構成される。このため、被写体であり発音体である対象（以下、被写体という。）を撮影するテレビカメラ、および被写体から発せられる音声を収音するマイクが存在する場合には、被写体からテレビカメラおよびマイクへ至るまでの同期ずれ量を補償することができない。
【００１０】
特許文献１の装置により出力される映像信号および音声信号を、それぞれ電球およびスピーカによって被写体付近から提示するように構成することは、原理的に可能である。しかし、テレビカメラおよびマイクには、所望の提示信号のほかに周囲光および雑音などの外乱が混入する。このため、特許文献１のように、映像の切り替わりタイミングにおける音声の周波数を短時間フーリエ変換などにて計測する手法では、検出結果が雑音等の影響で不安定になる。
【００１１】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、雑音等の外乱の影響を抑制し、映像と音声との間の同期ずれ量を高精度に推定可能なリップシンク信号送信装置、同期ずれ量推定装置および同期ずれ量推定方法を提供することにある。
【課題を解決するための手段】
【００１２】
前記した目的を解決するため、本発明の請求項１に係るリップシンク信号送信装置は、所定の時系列パターンを発生する時系列信号発生手段と、前記時系列パターンに従って変調した光を出力する発光手段と、前記時系列パターンに従って変調した音声を出力する発音手段と、を備えることを特徴とする。
【００１３】
係る構成によれば、同期ずれ量推定装置に、当該リップシンク信号送信装置にて変調した光および音声の出力先であるリップシンク対象システムから出力される、時系列パターンに従った映像光と音声とを用いて、複数の標本点の統計処理による相互相関演算処理をさせ、同期ずれ量を推定させることができる。これにより、リップシンク信号送信装置からリップシンク対象システムを経て同期ずれ量推定装置に至るまでの間で付加される雑音等の外乱の悪影響を抑制することができる。
【００１４】
また、本発明の請求項２に係るリップシンク信号送信装置は、請求項１に記載のリップシンク信号送信装置であって、前記時系列信号発生手段が、乱数系列、擬似乱数系列、雑音系列または擬似雑音系列の時系列パターンを発生することを特徴とする。
【００１５】
係る構成によれば、リップシンク信号送信装置から送信される光および音声のリップシンク信号が急峻な自己相関関数を有する信号になる。これにより、同期ずれ量推定装置に相互相関演算処理をさせる際に、急峻なピークを有する相互相関値を算出させることができる。したがって、雑音等の外乱の悪影響を抑制した高精度の同期ずれ量を得ることができる。
【００１６】
また、本発明の請求項３に係る同期ずれ量推定装置は、所定の時系列パターンで変調された映像光を入力し、電気信号に変換する受光手段と、前記時系列パターンで変調された音声を入力し、電気信号に変換する収音手段と、前記映像光が変換された電気信号と前記音声が変換された電気信号との間の相互相関値を算出し、前記相互相関値に基づいて同期ずれ量を推定する相互相関演算手段と、を備えることを特徴とする。
【００１７】
係る構成によれば、リップシンク信号送信装置により送信された光および音声がリップシンク対象システムを経る過程で被った同期ずれ量を、統計的に推定することができる。すなわち、映像と音声との間の相互相関値は、複数の標本点の統計処理による相互相関演算処理により算出されるから、リップシンク信号送信装置からリップシンク対象システムを経て当該同期ずれ量推定装置に至るまでの間で付加される雑音等の外乱の悪影響を抑制することができ、高精度の同期ずれ量を得ることができる。また、リップシンク信号送信装置により送信される光および音声のリップシンク信号が同期してさえいれば、その信号パターンは任意で構わない。特に、リップシンク信号の信号パターンが急峻な自己相関関数を有するほど、高精度な同期ずれ量を得ることができる。
【００１８】
また、本発明の請求項４に係る同期ずれ量推定装置は、請求項３に記載の同期ずれ量推定装置において、前記同期ずれ量を推定するために用いるリップシンク信号を送信するリップシンク信号送信装置および当該同期ずれ量推定装置において発生する映像光と音声との間の同期ずれの量を、補償量として予め保持し、前記相互相関演算手段が、前記推定した同期ずれ量から前記補償量を減算し、当該減算結果を新たな同期ずれ量として推定することを特徴とする。
【００１９】
係る構成によれば、リップシンク信号送信装置および同期ずれ量推定装置において同期ずれが発生する場合に、その同期ずれを考慮してリップシンク対象システムにおける同期ずれ量が推定される。これにより、一層高精度の同期ずれ量を得ることができる。
【００２０】
また、本発明の請求項５に係る同期ずれ量推定方法は、リップシンク対象システムにおける映像光と音声との間の同期ずれ量を推定する同期ずれ量推定方法であって、所定の時系列パターンを発生するステップと、前記時系列パターンに従って光および音声を変調し、リップシンク信号として前記リップシンク対象システムへ送信するステップと、前記リップシンク対象システムから映像光および音声を入力するステップと、前記入力した映像光および音声を電気信号に変換するステップと、前記変換した映像光の電気信号と前記変換した音声の電気信号との間の相互相関値を算出し、前記相互相関値に基づいて同期ずれ量を推定するステップと、を有することを特徴とする。
【００２１】
係る構成によれば、リップシンク対象システムを経る過程で被った同期ずれ量が、同期ずれ量推定装置において統計的に推定される。すなわち、同期ずれ量推定装置により算出される映像と音声との間の相互相関値は、複数の標本点の統計処理によるものであるから、雑音等の外乱の悪影響を抑制することができ、高精度の同期ずれ量を得ることができる。
【発明の効果】
【００２２】
以上のように、本発明によれば、所定の時系列パターンに従って発生した映像光と音声とを用いて、複数の標本点の統計処理による相互相関演算が行われるから、雑音等の外乱の影響を抑制し、映像と音声との間の同期ずれ量を高精度に推定することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態によるリップシンク信号送信装置および同期ずれ量推定装置を含むリップシンク装置の全体構成例を示すブロック図である。
【図２】リップシンク信号送信装置の処理を示すフローチャートである。
【図３】同期ずれ量推定装置の処理を示すフローチャートである。
【図４】リップシンク信号送信装置および同期ずれ量推定装置における同期ずれ量Ｅを推定するための全体構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔リップシンク装置の全体構成〕
まず、リップシンク装置の全体構成について説明する。図１は、本発明の実施形態によるリップシンク信号送信装置および同期ずれ量推定装置を含むリップシンク装置の全体構成例を示すブロック図である。
【００２５】
このリップシンク装置１０は、リップシンク信号送信装置１、同期ずれ量推定装置２およびリップシンク対象システム３により構成される。リップシンク信号送信装置１は、リップシンク対象システム３の前段に設けられ、同期ずれ量推定装置２は、リップシンク対象システム３の後段に設けられる。
【００２６】
リップシンク信号送信装置１は、所定の時系列パターンに従って光および音声を変調し、変調した光および音声をリップシンク信号として送信する。
【００２７】
同期ずれ量推定装置２は、後述するリップシンク対象システム３から同期ずれが発生した映像光および音声を取得し、映像光が反映された電気信号と音声が反映された電気信号との間で相互相関演算を行い、同期ずれ量を推定する。
【００２８】
リップシンク対象システム３は、映像と音声との間の同期ずれ量が推定される対象であり、放送設備、伝送路および蓄積手段などが設けられる。リップシンク対象システム３は、リップシンク信号送信装置１により送信された光および音声のリップシンク信号を取得してから、これらを伝送して映像光および音声を同期ずれ量推定装置２へ提示するまでの各種手段により構成される。このリップシンク対象システム３においては、光（映像光）を取得してから提示するまでの間の遅延時間と、音声を取得してから提示するまでの間の遅延時間との間で時間差が生じることを想定している。
【００２９】
〔リップシンク対象システム〕
まず、図１に示すリップシンク対象システム３について説明する。このリップシンク対象システム３は、前述のとおり、映像と音声との間の同期ずれ量が推定される対象であり、例えば、撮像手段３１、収音手段３２、伝送・蓄積手段３３、表示手段３４および発音手段３５を備えて構成される。
【００３０】
撮像手段３１は、例えば、被写体を撮影するためのカメラであり、リップシンク信号送信装置１からの光を含む映像光を入力することで被写体を撮影し、入力した映像光を電気信号に変換して映像情報を生成する。収音手段３２は、例えば、被写体の発する音声を取得するためのマイクであり、リップシンク信号送信装置１からの音声を入力し、入力した音声を電気信号に変換して音声情報を生成する。
【００３１】
伝送・蓄積手段３３は、撮像手段３１により撮影された被写体（リップシンク信号送信装置１）の映像情報（リップシンク信号送信装置１からの光を含む映像光が反映された映像情報）と、収音手段３２により収音された音声情報とを伝送、蓄積および再生し、映像情報を表示手段３４へ出力すると共に、音声情報を発音手段３５へ出力する。
【００３２】
表示手段３４は、映像情報を可視化して提示する手段であり、例えばＬＣＤ、ＬＥＤ、ＯＬＥＤ、ＰＤＰ、ＣＲＴなどによるテレビジョンまたはモニタの画面である。発音手段３５は、音声情報を可聴化して提示する手段であり、例えばテレビジョンまたはモニタのスピーカである。
【００３３】
なお、リップシンク対象システム３は、伝送・蓄積手段３３の代わりに、伝送手段のみを備えるようにしてもよいし、蓄積手段のみを備えるようにしてもよい。また、伝送・蓄積手段３３において、映像情報および音声情報を伝送する伝送路は、両情報を共に伝送する共通の伝送路であってもよいし、個別の情報をそれぞれ伝送する異なる２つの伝送路であってもよい。
【００３４】
また、映像情報および音声情報を蓄積する蓄積手段は、両情報を共に蓄積する共通の手段であってもよいし、個別の情報をそれぞれ蓄積する異なる２つの手段であってもよい。また、撮像手段３１と収音手段３２とは一体化されていてもよいし、別々に構成されていてもよい。
【００３５】
このように、リップシンク対象システム３によれば、リップシンク信号送信装置１からの光を含む映像光および音声が取得され、伝送・蓄積手段３３を介して、表示手段３４から映像光が同期ずれ量推定装置２へ提示されると共に、発音手段３５から音声が同期ずれ量推定装置２へ提示される。
【００３６】
この場合、リップシンク対象システム３において、光（映像光）および音声を取得してから提示するまでの間に、映像と音声との間で伝送遅延の差が生じる。映像の伝送遅延は、撮像手段３１、伝送・蓄積手段３３および表示手段３４によって生じ、音声の伝送遅延は、収音手段３２、伝送・蓄積手段３３および発音手段３５によって生じる。そして、これらの伝送遅延の差が、映像と音声との間の同期ずれ量になる。
【００３７】
〔リップシンク信号送信装置〕
次に、図１に示すリップシンク信号送信装置１について説明する。このリップシンク信号送信装置１は、前述のとおり、リップシンク対象システム３における映像と音声との間の同期ずれ量を推定するためのリップシンク信号を送信する装置であり、例えば、時系列信号発生手段１１、発光手段１２、変調手段１３および発音手段１４を備えて構成される。
【００３８】
図２は、リップシンク信号送信装置１の処理を示すフローチャートである。図１および図２を参照して、リップシンク信号送信装置１の構成および処理について詳細に説明する。時系列信号発生手段１１は、発光手段１２が発光する光および発音手段１４が出力する音声の元となる時系列信号であって、光および音声の変化を生成するための時系列パターンを発生する（ステップＳ２０１）。具体的には、時系列信号発生手段１１は、時系列パターンとして、０および１（または、オフおよびオン）が時間的に連続したデータ列を発生する。
【００３９】
ここで、時刻ｔにおいて時系列パターンのとる値をｐ（ｔ）とし、例えば、時刻ｔは整数値とする。時系列信号発生手段１１は、時系列パターンｐ（ｔ）として、例えば乱数系列、擬似乱数系列、雑音系列または擬似雑音系列（ＰＮ（Ｐｓｅｕｄｏ  Ｎｏｉｓｅ）系列）の時系列パターンを発生する。この場合、擬似乱数系列の時系列パターンの一例として、Ｍ（Ｍａｘｉｍａｌ  Ｌｅｎｇｔｈ  Ｓｅｑｕｅｎｃｅ）系列の時系列パターンを用いることができる。これらの時系列パターンの自己相関関数は、急峻な特性を有している。
【００４０】
好ましくは、時系列パターンｐ（ｔ）は、その自己相関関数ｒ（ｔ）がｒ（０）で最大値をとり、予め定める時刻の範囲内のτ≠０において、ｒ（τ）＜１が成り立つものとする。このような時系列パターンｐ（ｔ）の自己相関関数ｒ（ｔ）は、予め定める時刻の範囲内において、１つのみの極大値を有しこれが最大値であるから、後述する同期ずれ量推定装置２において、相互相関結果のピーク値を特定する処理が容易になり、同期ずれ量を簡易な処理にて推定することができる。
【００４１】
時系列パターンｐ（ｔ）が周期Ｔの繰り返しパターンである場合には、予め定める時刻の範囲を、例えば周期Ｔに一致させるようにしてもよい。自己相関関数ｒ（τ）は、以下の式で表される。
【数１】
2014207642.tif 000003
ここで、μは、周期Ｔの時間における時系列パターンｐ（ｔ）の平均を示し、σ２は、周期Ｔの時間における時系列パターンｐ（ｔ）の分散を示す。
【００４２】
発光手段１２は、例えば、電球、ＬＥＤ、レーザーなどの発光素子を備え、時系列信号発生手段１１により発生した時系列パターンに従って、発光素子の発光状態を変化させることで、所定の光を変調する（ステップＳ２０２）。つまり、発光手段１２は、時系列パターンの電気信号を、時系列パターンに従った光に変換する。例えば、発光手段１２は、時系列パターンがｐ（ｔ）＝０のときに消灯し、ｐ（ｔ）＝１のときに点灯するように、時間ｔの経過と共に発光状態を変化させる。
【００４３】
これにより、発光手段１２から、時系列パターンに従った発光状態の光、すなわち時系列パターンが反映された光が、時間の経過に伴って出力される（ステップＳ２０３）。以下、発光手段１２は、時系列パターンがｐ（ｔ）＝０のときに消灯し、ｐ（ｔ）＝１のときに点灯するように、発光状態を変化させた場合を例に説明する。
【００４４】
なお、発光手段１２は、時系列パターンｐ（ｔ）の値に応じて、発光素子の発光色または輝度を変化させるようにしてもよい。また、発光手段１２は、時系列パターンｐ（ｔ）の値に応じて、発光素子の点滅または変色の周期またはパターン（例えば、ＰＷＭ、ＰＣＭ、ＰＡＭ、ＰＦＭなどの変調によるパターン）を変化させるようにしてもよい。
【００４５】
また、発光手段１２は、発光素子の代わりに、電球、ＬＥＤ、レーザー、蛍光灯、太陽光などの光を透過する液晶シャッターまたは機械シャッターを備え、時系列パターンに従って、液晶シャッターまたは機械シャッターによりその透過光の強度を変調するようにしてもよい。また、発光手段１２は、発光素子の代わりに、電球、ＬＥＤ、レーザー、蛍光灯、太陽光などの光を反射する可動ミラーまたは可動プリズムなどを備え、時系列パターンに従って、可動ミラーまたは可動プリズムなどにより反射光の強度または放射方向を変調するようにしてもよい。
【００４６】
変調手段１３は、時系列信号発生手段１１により発生した時系列パターンに従って、後述する発音手段１４において可聴音またはリップシンク対象システム３にて伝達可能な音波（以下、可聴音という。）を発生させるために、所定の音声信号を変調して音声波形を生成する（ステップＳ２０４）。
【００４７】
例えば、変調手段１３は、時系列パターンｐ（ｔ）の値に応じて所定の音声信号の振幅が変化するように、可聴音の搬送波を振幅変調して音声波形を生成する。
【００４８】
なお、変調手段１３は、時系列パターンｐ（ｔ）の値に応じて、異なる周波数の音声波形を生成するようにしてもよい。
【００４９】
発音手段１４は、例えばスピーカであり、変調手段１３により生成された音声波形の信号を音波に変換し、空間へ放射する。これにより、発音手段１４から、時系列パターンに従った音声波形の音声、すなわち時系列パターンが反映された音声が、発光手段１２により出力される光に同期した状態で出力される（ステップＳ２０５）。つまり、変調手段１３および発音手段１４は、時系列パターンの電気信号を、時系列パターンに従った音声に変換する。
【００５０】
ここで、発光手段１２から出力された光は、リップシンク対象システム３の撮像手段３１によって取得されるものとする。また、発音手段１４から放射された音波、すなわち発音手段１４から出力された音声は、リップシンク対象システム３の収音手段３２によって取得されるものとする。
【００５１】
このように、リップシンク信号送信装置１によれば、時系列信号発生手段１１は、時系列パターンを発生し、発光手段１２は、時系列パターンに従った発光状態の光、すなわち時系列パターンが反映された光を出力し、発音手段１４は、時系列パターンに従った音声波形の音声、すなわち時系列パターンが反映された音声を出力するようにした。
【００５２】
これにより、リップシンク対象システム３は、リップシンク信号送信装置１により送信された光および当該光に同期した音声を取得することができる。そして、リップシンク対象システム３から、時系列パターンおよび同期ずれ量が反映された映像光および音声が出力される。そして、同期ずれ量推定装置２は、リップシンク対象システム３から映像光および音声を取得することにより、映像光と音声との間の相互相関演算処理を行うことで、同期ずれ量を推定することができる。ここで、相互相関演算処理は、映像光および音声のデータについての複数の標本点を用いた統計処理であるから、雑音等の外乱の影響を抑制することができる。したがって、映像と音声との間の同期ずれ量を高精度に推定することが可能となる。
【００５３】
また、リップシンク信号送信装置１によれば、時系列信号発生手段１１は、乱数系列、擬似乱数系列、雑音系列または擬似雑音系列の時系列パターンを発生するようにした。これらの自己相関関数は、急峻な特性を有している。
【００５４】
これにより、リップシンク信号送信装置１により送信された光および音声を取得するリップシンク対象システム３から、急峻な特性の自己相関関数を有する時系列パターンおよび同期ずれ量が反映された映像光および音声が出力される。そして、同期ずれ量推定装置２は、リップシンク対象システム３から映像光と音声を取得することにより、映像光と音声との間の相互相関演算処理を行うことで、同期ずれ量だけずれた位置に急峻なピーク値を有する相互相関結果を得ることができ、同期ずれ量を一層高精度に推定することができる。
【００５５】
〔同期ずれ量推定装置〕
次に、図１に示す同期ずれ量推定装置２について説明する。この同期ずれ量推定装置２は、前述のとおり、リップシンク対象システム３における映像と音声との間の同期ずれ量を推定する装置であり、例えば、受光手段２１、収音手段２２、信号音検出手段２３および相互相関演算手段２４を備えて構成される。
【００５６】
図３は、同期ずれ量推定装置２の処理を示すフローチャートである。図１および図３を参照して、同期ずれ量推定装置２の構成および処理について詳細に説明する。受光手段２１は、リップシンク対象システム３の表示手段３４の画面に提示された映像光を入力し（ステップＳ３０１）、入力した映像光から表示手段３４の画面全体または所定の画面部分の光度を検出し（ステップＳ３０２）、検出した光度を電気信号に変換し、映像光が反映された電気信号を生成する手段である（ステップＳ３０３）。受光手段２１により光度が変換された電気信号をｖ（ｔ）とする。
【００５７】
このように、受光手段２１により、リップシンク対象システム３の表示手段３４から、リップシンク信号送信装置１の時系列信号発生手段１１により発生した時系列パターンｐ（ｔ）を起源とした発光手段１２に由来する映像光の信号を得ることができ、その映像光が反映された電気信号ｖ（ｔ）が生成される。
【００５８】
受光手段２１は、例えば、フォトダイオード、フォトトランジスタ、光電子増倍管、硫化カドミウムセル、セレン光電池などの光センサにより構成される。また、受光手段２１は、ＣＣＤ、Ｃ−ＭＯＳ、ＨＡＲＰ、イメージオルシコン、アイコノスコープなどによる画像撮像素子を用いるようにしてもよい。この場合、映像光が反映された電気信号ｖ（ｔ）には、雑音が含まれていてもよい。
【００５９】
なお、受光手段２１の前段にフィルタを備えるようにしてもよい。このフィルタは、例えば光学フィルタであり、表示手段３４からの映像光の色、波長または偏光をフィルタリングする。また、このフィルタは、例えば特定の信号波形によって駆動する光学変調素子を有し、その特定の信号波形と相関する光のみをフィルタリングする。これにより、不要な光成分を遮断することができる。
【００６０】
また、受光手段２１は、入力した映像光から表示手段３４の画面全体または所定の画面部分の光度を検出し、光度を電気信号に変換するようにしたが、光度の代わりに輝度または照度を検出し、電気信号に変換するようにしてもよい。要するに、受光手段２１は、入力した映像光から、時系列パターンｐ（ｔ）が反映された形態の信号を検出できればよい。
【００６１】
収音手段２２は、リップシンク対象システム３の発音手段３５から発せられた音波を収音することで音声を入力し（ステップＳ３０４）、音声の波形を電気信号に変換する手段である（ステップＳ３０５）。収音手段２２は、例えばマイクにより構成される。
【００６２】
信号音検出手段２３は、収音手段２２から出力された電気信号に対してフィルタ処理を施し、リップシンク信号送信装置１の発音手段１４に由来する音声信号成分を選択的に抽出し、その音声信号成分が反映された電気信号を検出する（ステップＳ３０６）。信号音検出手段２３により検出された、所望の音声信号成分が反映された電気信号をａ（ｔ）とする。この場合、音声信号成分が反映された電気信号ａ（ｔ）には、雑音が含まれていてもよい。
【００６３】
このように、収音手段２２および信号音検出手段２３により、リップシンク対象システム３の発音手段３５から、リップシンク信号送信装置１の時系列信号発生手段１１により発生した時系列パターンｐ（ｔ）を起源とした発音手段１４に由来する音声の信号を得ることができ、その音声が反映された電気信号ａ（ｔ）が検出される。
【００６４】
信号音検出手段２３は、例えば、リップシンク信号送信装置１の変調手段１３により生成された音声波形の信号の周波数（周波数変調による場合は、ｐ（ｔ）＝０およびｐ（ｔ）＝１のそれぞれの周波数）に同調した帯域通過型フィルタ（または、周波数変調の場合のｐ（ｔ）＝０およびｐ（ｔ）＝１のそれぞれの周波数を弁別するための低域通過型フィルタ、高域通過型フィルタまたはこれらの組み合わせ）により構成される。
【００６５】
このように、信号音検出手段２３により、所望の音声信号成分の有無に応じて変化する電気信号ａ（ｔ）、または所望の音声信号成分が弁別された周波数に応じて変化する電気信号ａ（ｔ）が検出される。
【００６６】
相互相関演算手段２４は、受光手段２１から映像光が反映された電気信号ｖ（ｔ）を入力すると共に、信号音検出手段２３から音声が反映された電気信号ａ（ｔ）を入力し、映像光が反映された電気信号ｖ（ｔ）と音声が反映された電気信号ａ（ｔ）との間の時間的な相互相関値を算出する（ステップＳ３０７）。そして、相互相関演算手段２４は、算出した相互相関値から、映像と音声との間の同期ずれ量Δｔを推定し出力する（ステップＳ３０８）。ここでは、映像光が反映された電気信号ｖ（ｔ）よりも音声が反映された電気信号ａ（ｔ）の方が遅延している場合を、Δｔ＞０と定義する。
【００６７】
相互相関演算手段２４は、例えば次式により、映像光が反映された電気信号ｖ（ｔ）と、時間τの時間差を有する音声が反映された電気信号ａ（ｔ＋τ）とを用いて、予め定める時刻の範囲内における時間τ毎に、周期Ｔの時間における電気信号ｖ（ｔ）と電気信号ａ（ｔ＋τ）との間の相互相関値ｃ（τ）を算出する。
【数２】
2014207642.tif 000004
【００６８】
前記式（２）に示すように、μｖは、周期Ｔの時間における映像光が反映された電気信号ｖ（ｔ）および周期Ｔにより算出されるパラメータであり、μα（τ）は、周期Ｔの時間における音声が反映された電気信号ａ（ｔ＋τ）および周期Ｔにより算出されるパラメータである。また、σｖは、周期Ｔの時間における映像光が反映された電気信号ｖ（ｔ）、周期Ｔおよびパラメータμｖにより算出されるパラメータである。σα（τ）は、周期Ｔの時間における音声が反映された電気信号ａ（ｔ＋τ）、周期Ｔおよびパラメータμα（τ）により算出されるパラメータである。
【００６９】
すなわち、相互相関演算手段２４は、映像光が反映された電気信号ｖ（ｔ）および周期Ｔからパラメータμｖを算出すると共に、音声が反映された電気信号ａ（ｔ＋τ）および周期Ｔからパラメータμα（τ）を算出する。
【００７０】
そして、相互相関演算手段２４は、映像光が反映された電気信号ｖ（ｔ）、周期Ｔおよびパラメータμｖからパラメータσｖを算出すると共に、音声が反映された電気信号ａ（ｔ＋τ）、周期Ｔおよびパラメータμα（τ）からパラメータσα（τ）を算出する。そして、相互相関演算手段２４は、映像光が反映された電気信号ｖ（ｔ）、音声が反映された電気信号ａ（ｔ＋τ）およびパラメータμｖ，μα（τ），σｖ，σα（τ）を用いて相互相関値ｃ（τ）を算出する。
【００７１】
続いて、相互相関演算手段２４は、τの取り得る範囲内において、相互相関値ｃ（τ）が最大となるτの値を同期ずれ量Δｔとして推定する。例えば、相互相関演算手段２４は、以下の式により、同期ずれ量Δｔを推定する。
【数３】
2014207642.tif 000005
【００７２】
このように、同期ずれ量推定装置２によれば、受光手段２１は、リップシンク対象システム３の表示手段３４からの映像光を受光して光度を検出し、検出した光度を映像光が反映された電気信号ｖ（ｔ）に変換するようにした。また、収音手段２２は、リップシンク対象システム３の発音手段３５からの音声を収音し、信号音検出手段２３は、収音手段２２により収音された音声の信号にフィルタ処理を行い、音声が反映された電気信号ａ（ｔ）を検出するようにした。
【００７３】
そして、相互相関演算手段２４は、映像光が反映された電気信号ｖ（ｔ）と、音声が反映された電気信号ａ（ｔ）との間の時間的な相互相関値ｃ（τ）を算出し、算出した相互相関値ｃ（τ）が最大となるτの値を、映像と音声との間の同期ずれ量Δｔとして推定するようにした。
【００７４】
これにより、相互相関演算処理は、映像光および音声のデータに対する複数の標本点を用いた統計処理であるから、リップシンク信号送信装置１からの光および音声がリップシンク対象システム３を介して同期ずれ量推定装置２へ入力される過程において発生した、光と音声との間の伝送遅延の差、すなわち映像と音声との間の同期ずれ量Δｔを統計的に推定することができる。つまり、雑音等の外乱の影響を抑制した相互相関値ｃ（τ）を算出することができ、映像と音声との間の同期ずれ量Δｔを高精度に推定することが可能となる。
【００７５】
また、リップシンク信号送信装置１が、時系列パターンｐ（ｔ）として乱数系列、擬似乱数系列、雑音系列または擬似雑音系列の時系列パターンを用いた場合、これらの時系列パターンの自己相関関数は急峻な特性を有している。
【００７６】
この場合、リップシンク信号送信装置１により送信された光および音声を取得するリップシンク対象システム３から、急峻な特性の自己相関関数を有する時系列パターンおよび同期ずれ量が反映された映像光および音声が出力される。そして、同期ずれ量推定装置２は、リップシンク対象システム３からこのような映像光および音声を取得し、映像光と音声との間の相互相関演算処理を行う。これにより、同期ずれ量推定装置２は、同期ずれ量Δｔだけずれた位置に急峻なピーク値を有する相互相関値ｃ（τ）を算出することができ、同期ずれ量Δｔを一層高精度に推定することができる。
【００７７】
〔他の実施形態〕
次に、他の実施形態について説明する。図１に示したリップシンク装置１０では、同期ずれ量推定装置２が、リップシンク対象システム３における映像光と音声との間の同期ずれ量Δｔを推定するようにした。しかしながら、リップシンク信号送信装置１および同期ずれ量推定装置２においても同期ずれが発生する場合には、推定した同期ずれ量Δｔに誤差が生じる。つまり、同期ずれ量推定装置２にて推定した同期ずれ量Δｔには、リップシンク対象システム３における同期ずれ量に加え、リップシンク信号送信装置１および同期ずれ量推定装置２における同期ずれ量が含まれる。
【００７８】
そこで、他の実施形態では、リップシンク信号送信装置１および同期ずれ量推定装置２において発生する同期ずれ量Ｅ（補償量）を事前に推定しておき、同期ずれ量推定装置２が、リップシンク対象システム３における同期ずれ量Δｔを推定する際に、事前に推定した同期ずれ量Ｅを補償する。
【００７９】
図４は、リップシンク信号送信装置１および同期ずれ量推定装置２における同期ずれ量Ｅを推定するための全体構成例を示すブロック図である。図４に示す装置は、リップシンク信号送信装置１および同期ずれ量推定装置２を備えて構成される。同期ずれ量Ｅは、リップシンク対象システム３を挟まないで、リップシンク信号送信装置１と同期ずれ量推定装置２とを対向させることにより得ることができる。図１に示したリップシンク装置１０と図４に示す装置とを比較すると、図４に示す装置は、図１に示したリップシンク対象システム３が存在しない点で相違する。
【００８０】
図４において、同期ずれ量推定装置２の受光手段２１は、リップシンク信号送信装置１の発光手段１２からの光を入力して光度を検出し、検出した光度を電気信号ｖ（ｔ）に変換し、収音手段２２は、リップシンク信号送信装置１の発音手段１４からの音声を収音し、信号音検出手段２３は、収音手段２２により収音された音声の信号にフィルタ処理を行い、音声が反映された電気信号ａ（ｔ）を生成する。
【００８１】
そして、相互相関演算手段２４は、光が反映された電気信号ｖ（ｔ）と、音声が反映された電気信号ａ（ｔ）との間の時間的な相互相関値ｃ（τ）を算出し、算出した相互相関値ｃ（τ）が最大となるτの値を同期ずれ量Ｅとして推定する。同期ずれ量推定装置２は、推定した同期ずれ量Ｅを保持する。
【００８２】
これにより、リップシンク信号送信装置１および同期ずれ量推定装置２における光と音声との間の同期ずれ量Ｅを推定することができ、この同期ずれ量Ｅを、図１に示したリップシンク装置１０の同期ずれ量推定装置２において、同期ずれ量Δｔを推定する際に用いることができる。
【００８３】
図１に示したリップシンク装置１０の同期ずれ量推定装置２がリップシンク対象システム３における同期ずれ量Δｔを推定する際に、相互相関演算手段２４は、相互相関値ｃ（τ）を算出した後、相互相関値ｃ（τ）が最大となるτの値から、予め保持している同期ずれ量Ｅ（リップシンク信号送信装置１および同期ずれ量推定装置２における同期ずれ量Ｅ）を減算し、リップシンク対象システム３における同期ずれ量Δｔを推定する。
【００８４】
例えば、相互相関演算手段２４は、以下の式により、同期ずれ量Δｔを推定する。
【数４】
2014207642.tif 000006
これにより、リップシンク信号送信装置１および同期ずれ量推定装置２における同期ずれ量Ｅを補償することができる。
【００８５】
このように、他の実施形態の同期ずれ量推定装置２によれば、リップシンク信号送信装置１および同期ずれ量推定装置２における同期ずれ量Ｅを補償した同期ずれ量Δｔを推定することができる。したがって、リップシンク信号送信装置１および同期ずれ量推定装置２において同期ずれが発生する場合であっても、映像と音声との間の同期ずれ量Δｔを一層高精度に推定することが可能となる。
【符号の説明】
【００８６】
１  リップシンク信号送信装置
２  同期ずれ量推定装置
３  リップシンク対象システム
１０  リップシンク装置
１１  時系列信号発生手段
１２  発光手段
１３  変調手段
１４，３５  発音手段
２１  受光手段
２２，３２  収音手段
２３  信号音検出手段
２４  相互相関演算手段
３１  撮像手段
３３  伝送・蓄積手段
３４  表示手段
【図１】
2014207642.tif 000007
【図２】
2014207642.tif 000008
【図３】
2014207642.tif 000009
【図４】
2014207642.tif 000010