(57)【特許請求の範囲】
【請求項１】
同期を取って再生すべき映像信号と音声信号とが出力される出力装置と、上記出力装置から映像信号と音声信号とが入力され、少なくとも映像信号が後段の機器に対して出力され、音声信号に処理を行ってスピーカに出力される音声信号を生成する音声処理装置と、上記音声処理装置から出力される映像信号が入力され、映像の表示に用いる映像信号を形成する映像処理装置とを備える映像音声処理システムであって、
上記映像処理装置は、
上記音声処理装置から出力される映像信号から所定の画質の映像信号を形成する映像信号処理手段と、
上記音声処理装置から出力される映像信号の形式と、設定された信号処理モードとの少なくとも一方に基づいて上記映像信号処理手段の処理を制御する制御手段と、
上記制御手段により上記映像信号処理手段での処理内容が変更された場合に、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間を特定する特定手段と、
上記特定手段により特定された処理時間に応じた情報を上記出力装置へ出力する出力手段と
を備え、
上記出力装置は、
上記映像処理装置の出力手段から出力される上記処理時間に応じた情報が入力される入力手段と、
スピーカに出力される音声信号を遅延させる遅延手段と、
上記入力手段にて入力される上記処理時間に応じた情報に基づいて上記遅延手段を制御する遅延制御手段と
を備え、
上記処理時間に応じた情報は、上記特定手段により特定された、映像信号を受信してから当該映像信号をそのままの解像度で上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報、および上記特定手段により特定された、上記映像処理装置に設定された信号処理モードを考慮し、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報を含む、映像音声処理システム。
【請求項２】
請求項１に記載の映像音声処理システムであって、
上記出力装置は、
自機における音声信号に対する処理の時間を特定する特定手段を備え、
上記遅延制御手段は、上記入力手段にて入力される上記処理時間に応じた情報と上記特定手段で特定される音声信号に対する上記処理の時間とに基づいて上記遅延手段を制御する映像音声処理システム。
【請求項３】
請求項２に記載の映像音声処理システムであって、
上記出力装置の遅延制御手段は、上記入力手段にて入力される上記処理時間に応じた情報に基づく時間と上記特定手段で特定される音声信号に対する上記処理の時間との差分に基づいて上記遅延手段を制御する映像音声処理システム。
【請求項４】
請求項１に記載の映像音声処理システムであって、
上記映像処理装置は、上記特定された上記処理時間に応じた情報を上記音声処理装置へ出力する第２の出力手段を更に備え、
上記音声処理装置は、
スピーカに出力される音声信号の出力を遅延させる遅延手段と、
上記映像処理装置から出力される上記処理時間に応じた情報が入力される入力手段と、
上記入力手段により入力された上記処理時間に応じた情報に基づいて上記遅延手段の音声信号の遅延時間を制御する遅延制御手段と
を備える映像音声処理システム。
【請求項５】
同期を取って再生すべき映像信号と音声信号とが出力される出力装置と、上記出力装置から映像信号と音声信号とが入力され、少なくとも映像信号が後段の機器に対して出力され、音声信号に処理を行ってスピーカに出力される音声信号を生成する音声処理装置と、上記音声処理装置から出力される映像信号が入力され、映像の表示に用いる映像信号を形成する映像処理装置とを備える映像音声処理システムの上記映像処理装置であって、
上記音声処理装置から出力される映像信号から所定の画質の映像信号を形成する映像信号処理手段と、
上記音声処理装置から出力される映像信号の形式と、設定された信号処理モードとの少なくとも一方に基づいて上記映像信号処理手段の処理を制御する制御手段と、
上記制御手段により上記映像信号処理手段での処理内容が変更された場合に、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間を特定する特定手段と、
上記特定手段により特定された処理時間に応じた情報を少なくとも上記出力装置へ出力する出力手段と
を備え、
上記処理時間に応じた情報は、上記特定手段により特定された、映像信号を受信してから当該映像信号をそのままの解像度で上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報、および上記特定手段により特定された、上記映像処理装置に設定された信号処理モードを考慮し、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報を含む、映像処理装置。
【請求項６】
同期を取って再生すべき映像信号と音声信号とが出力される出力装置と、上記出力装置から映像信号と音声信号とが入力され、少なくとも映像信号が後段の機器に対して出力され、音声信号に処理を行ってスピーカに出力される音声信号を生成する音声処理装置と、上記音声処理装置から出力される映像信号が入力され、映像の表示に用いる映像信号を形成する映像処理装置とを備える映像音声処理システムの上記出力装置であって、
上記映像処理装置から出力される情報であって、映像信号を受信してから当該映像信号を処理して映像が表示されるまでにかかる処理時間に応じた情報が入力される入力手段と、
スピーカに出力される音声信号を遅延させる遅延手段と、
上記入力手段にて入力される上記処理時間に応じた情報に基づいて上記遅延手段を制御する遅延制御手段と
を備え、
上記処理時間に応じた情報は、上記映像処理装置の特定手段により特定された、映像信号を受信してから当該映像信号をそのままの解像度で上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報、および上記映像処理装置の特定手段により特定された、上記映像処理装置に設定された信号処理モードを考慮し、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報を含む、出力装置。
【請求項７】
請求項６に記載の出力装置であって、
自機における音声信号に対する処理の時間を特定する特定手段を備え、
上記遅延制御手段は、上記入力手段にて入力される上記処理時間に応じた情報と上記特定手段で特定される音声信号に対する上記処理の時間とに基づいて上記遅延手段を制御する出力装置。
【請求項８】
請求項７に記載の出力装置であって、
上記遅延制御手段は、上記入力手段にて入力される上記処理時間に応じた情報に基づく時間と上記特定手段で特定される音声信号に対する上記処理の時間との差分に基づいて上記遅延手段を制御する出力装置。
【請求項９】
請求項６に記載の出力装置であって、
上記音声処理装置が出力する、上記音声処理装置が音声信号を受信してからスピーカに出力するまでの遅延時間を受信する遅延時間受信手段
を更に備え、
上記制御手段は、上記入力手段にて入力される上記処理時間に応じた情報と上記遅延時間受信手段にて受信される上記遅延時間とに基づいて上記遅延手段で音声信号が遅延される時間を制御する出力装置。
【請求項１０】
同期を取って再生すべき映像信号と音声信号とが出力される出力装置と、上記出力装置から映像信号と音声信号とが入力され、少なくとも映像信号が後段の機器に対して出力され、音声信号に処理を行ってスピーカに出力される音声信号を生成する音声処理装置と、上記音声処理装置から出力される映像信号が入力され、映像の表示に用いる映像信号を形成する映像処理装置とを備える映像音声処理システムの上記音声処理装置であって、
上記映像処理装置は、映像信号を受信してから当該映像信号を処理して映像が表示されるまでにかかる処理時間に応じた情報を、上記出力装置と当該音声処理装置に対して出力するものであり、
スピーカに出力される音声信号の出力を遅延させる遅延手段と、
上記映像処理装置から出力される上記処理時間に応じた情報が入力される入力手段と、
上記入力手段にて入力される上記処理時間に応じた情報に基づいて上記遅延手段の音声信号の遅延時間を制御する遅延制御手段と
を備え、
上記処理時間に応じた情報は、上記映像処理装置の特定手段により特定された、映像信号を受信してから当該映像信号をそのままの解像度で上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報、および上記映像処理装置の特定手段により特定された、上記映像処理装置に設定された信号処理モードを考慮し、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報を含む、音声処理装置。
【請求項１１】
請求項１０に記載の音声処理装置であって、
上記音声信号が音声信号から生成されて上記スピーカに出力するまでの処理時間を特定する処理時間特定手段
を更に備え、
上記制御手段は、上記処理時間特定手段にて特定される処理時間と上記入力手段を通じて入力される上記映像処理装置からの上記処理時間に関する情報とに基づいて上記遅延手段の遅延時間を制御する音声処理装置。
【請求項１２】
同期を取って再生すべき映像信号と音声信号とが出力される出力装置と、上記出力装置から映像信号と音声信号とが入力され、少なくとも映像信号が後段の機器に対して出力され、音声信号に処理を行ってスピーカに出力される音声信号を生成する音声処理装置と、上記音声処理装置から出力される映像信号が入力され、映像の表示に用いる映像信号を形成する映像処理装置とを備える映像音声処理システムの同期制御方法であって、
上記映像処理装置においては、
映像信号処理手段が、上記音声処理装置から出力される映像信号から所定の画質の映像信号を形成する映像信号処理ステップと、
制御手段が、上記音声処理装置から出力される映像信号の形式と、設定された信号処理モードとの少なくとも一方に基づいて、上記映像信号処理手段により実行される上記映像信号処理ステップにおいての処理を制御する制御ステップと、
上記制御ステップにおいて、上記映像信号処理ステップでの処理内容を変更した場合に、映像信号を受信してから当該映像信号を上記映像信号処理ステップにおいて処理して映像を表示するまでにかかる処理時間を、特定手段が特定する特定ステップと、
出力手段が、上記特定ステップにおいて特定した処理時間に応じた情報を上記出力装置へ出力する出力ステップと
を有し、
上記出力装置においては、
受付手段が、上記映像処理装置の出力ステップにおいて出力される上記処理時間に応じた情報を受け付ける受付ステップと、
遅延制御手段が、上記受付ステップにおいて受け付けた上記処理時間に応じた情報に基づいてスピーカに出力される音声信号を遅延させる遅延手段を制御する遅延制御ステップと
を有し、
上記処理時間に応じた情報は、上記特定手段により特定された、映像信号を受信してから当該映像信号をそのままの解像度で上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報、および上記特定手段により特定された、上記映像処理装置に設定された信号処理モードを考慮し、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報を含む、同期制御方法。
【請求項１３】
請求項１２に記載の同期制御方法であって、
上記映像処理装置においては、
上記特定された処理時間に応じた情報を、第２の出力手段が上記音声処理装置へ出力する第２の出力ステップを更に有し、
上記音声処理装置においては、
受付手段が、上記映像処理装置から出力される上記処理時間に応じた情報を受け付ける受付ステップと、
上記受付ステップを通じて受け付けた上記処理時間に応じた情報に基づいて、遅延制御手段が、スピーカに出力される音声信号の出力を遅延させる遅延手段における音声信号の遅延時間を制御する遅延制御ステップと
を有する同期制御方法。
【請求項１４】
同期を取って再生すべき映像信号と音声信号とが出力される出力装置と、上記出力装置から映像信号と音声信号とが入力され、少なくとも映像信号が後段の機器に対して出力され、音声信号に処理を行ってスピーカに出力される音声信号を生成する音声処理装置と、上記音声処理装置から出力される映像信号が入力され、映像の表示に用いる映像信号を形成する映像処理装置とを備える映像音声処理システムであって、
上記映像処理装置は、
上記音声処理装置から出力される映像信号から所定の画質の映像信号を形成する映像信号処理手段と、
上記音声処理装置から出力される映像信号の形式と、設定された信号処理モードとの少なくとも一方に基づいて上記映像信号処理手段の処理を制御する制御手段と、
上記制御手段により上記映像信号処理手段での処理内容が変更された場合に、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間を特定する特定手段と、
上記特定手段により特定された処理時間に応じた情報を上記音声処理装置へ出力する出力手段と
を備え、
上記音声処理装置は、
スピーカに出力される音声信号を遅延させる遅延手段と、
上記映像処理装置から出力される上記処理時間に応じた情報が入力される入力手段と、
上記入力手段を通じて入力された上記処理時間に応じた情報に基づいて、上記遅延手段においての音声信号の遅延時間を制御する遅延制御手段と、
上記入力手段を通じて入力された上記処理時間に応じた情報に応じて行うべき音声信号の遅延処理と、自機で行う音声信号の遅延処理とで音声信号の遅延量に差がある場合に、その差分を特定する差分特定手段と、
上記差分特定手段によって特定した差分に応じた遅延制御情報を上記出力装置へ出力する差分出力手段と
を備え、
上記出力装置は、
スピーカに出力される音声信号を遅延させる遅延手段と、
上記音声処理装置から出力される上記遅延制御情報が入力される遅延制御情報入力手段と、
上記遅延制御情報入力手段を通じて入力された上記遅延制御情報に基づいて、上記遅延手段においての音声信号の遅延時間を制御する遅延制御手段と
を備え、
上記処理時間に応じた情報は、上記特定手段により特定された、映像信号を受信してから当該映像信号をそのままの解像度で上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報、および上記特定手段により特定された、上記映像処理装置に設定された信号処理モードを考慮し、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報を含む、映像音声処理システム。
【請求項１５】
請求項１４に記載の映像音声処理システムであって、
上記音声処理装置は、
自機における上記音声信号に対する処理の時間を特定する特定手段を備え、
上記音声処理装置の上記遅延制御手段は、上記特定手段で特定される上記音声信号に対する処理の時間をも考慮して上記遅延手段を制御し、
上記出力装置は、
自機における上記音声信号に対する処理の時間を特定する特定手段を備え、
上記出力装置の上記遅延制御手段は、上記特定手段で特定される上記音声信号に対する処理の時間をも考慮して上記遅延手段を制御する映像音声処理システム。
【請求項１６】
同期を取って再生すべき映像信号と音声信号とが出力される出力装置と、上記出力装置から映像信号と音声信号とが入力され、少なくとも映像信号が後段の機器に対して出力され、音声信号に処理を行ってスピーカに出力される音声信号を生成する音声処理装置と、上記音声処理装置から出力される映像信号が入力され、映像の表示に用いる映像信号を形成する映像処理装置とを備える映像音声処理システムの上記音声処理装置であって、
スピーカに出力される音声信号を遅延させる遅延手段と、
上記映像処理装置から出力される情報であって、上記映像処理装置が映像信号を受信してから当該映像信号を処理して映像が表示されるまでにかかる処理時間に応じた情報が入力される入力手段と、
上記入力手段を通じて入力された上記処理時間に応じた情報に基づいて、上記遅延手段においての音声信号の遅延時間を制御する遅延制御手段と、
上記入力手段を通じて入力された上記処理時間に応じた情報に応じて行うべき音声信号の遅延処理と、自機で行う音声信号の遅延処理とで音声信号の遅延量に差がある場合に、その差分を特定する差分特定手段と、
上記差分特定手段によって特定した差分に応じた遅延制御情報を上記出力装置へ出力する差分出力手段と
を備え、
上記処理時間に応じた情報は、上記映像処理装置の特定手段により特定された、映像信号を受信してから当該映像信号をそのままの解像度で上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報、および上記映像処理装置の特定手段により特定された、上記映像処理装置に設定された信号処理モードを考慮し、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報を含む、音声処理装置。
【請求項１７】
請求項１６に記載の音声処理装置であって、
自機における上記音声信号に対する処理の時間を特定する特定手段を備え、
上記遅延制御手段は、上記特定手段で特定される上記音声信号に対する処理の時間をも考慮して上記遅延手段を制御する音声処理装置。
【請求項１８】
同期を取って再生すべき映像信号と音声信号とが出力される出力装置と、上記出力装置から映像信号と音声信号とが入力され、少なくとも映像信号が後段の機器に対して出力され、音声信号に処理を行ってスピーカに出力される音声信号を生成する音声処理装置と、上記音声処理装置から出力される映像信号が入力され、映像の表示に用いる映像信号を形成する映像処理装置とを備える映像音声処理システムの上記出力装置であって、
スピーカに出力される音声信号を遅延させる遅延手段と、
上記音声処理装置において、上記映像処理装置が映像信号を受信してから当該映像信号を処理して映像が表示されるまでにかかる処理時間に応じた情報に応じて行うべき音声信号の遅延処理と、上記音声処理装置で行う音声信号の遅延処理とで音声信号の遅延量に差がある場合に、その差分に応じて上記音声処理装置で形成される遅延制御情報が入力される入力手段と、
上記入力手段を通じて入力された上記遅延制御情報に基づいて、上記遅延手段においての音声信号の遅延時間を制御する遅延制御手段と
を備え、
上記処理時間に応じた情報は、上記映像処理装置の特定手段により特定された、映像信号を受信してから当該映像信号をそのままの解像度で上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報、および上記映像処理装置の特定手段により特定された、上記映像処理装置に設定された信号処理モードを考慮し、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報を含む、出力装置。
【請求項１９】
請求項１８に記載の出力装置であって、
自機における上記音声信号に対する処理の時間を特定する特定手段を備え、
上記遅延制御手段は、上記特定手段で特定される上記音声信号に対する処理の時間をも考慮して上記遅延手段を制御する出力装置。
【請求項２０】
同期を取って再生すべき映像信号と音声信号とが出力される出力装置と、上記出力装置から映像信号と音声信号とが入力され、少なくとも映像信号が後段の機器に対して出力され、音声信号に処理を行ってスピーカに出力される音声信号を生成する音声処理装置と、上記音声処理装置から出力される映像信号が入力され、映像の表示に用いる映像信号を形成する映像処理装置とを備える映像音声処理システムの同期制御方法であって、
上記映像処理装置においては、
映像処理手段が、上記音声処理装置から出力される映像信号から所定の画質の映像信号を形成する映像信号処理ステップと、
制御手段が、上記音声処理装置から出力される映像信号の形式と、設定された信号処理モードとの少なくとも一方に基づいて、上記映像信号処理手段により実行される上記映像信号処理ステップにおいての処理を制御する制御ステップと、
上記制御ステップにおいて、上記映像信号処理ステップでの処理内容を変更した場合に、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間を、特定手段が特定する特定ステップと、
出力手段が、上記特定ステップにおいて特定した処理時間に応じた情報を上記音声処理装置へ出力する出力ステップと
を有し、
上記音声処理装置においては、
受付手段が、上記映像処理装置の上記出力ステップにおいて出力される上記処理時間に応じた情報を受け付ける受付ステップと、
上記受付ステップにおいて受け付けた上記処理時間に応じた情報に基づいて、遅延制御手段が、スピーカに出力される音声信号を遅延させる遅延手段においての音声信号の遅延時間を制御する遅延制御ステップと、
上記受付ステップにおいて受け付けた上記処理時間に応じた情報に応じて行うべき音声信号の遅延処理と、自機で行う音声信号の遅延処理とで音声信号の遅延量に差がある場合に、その差分を、差分特定手段が特定する差分特定ステップと、
差分出力手段が、上記差分特定ステップにおいて特定した差分に応じた遅延制御情報を上記出力装置へ出力する差分出力ステップと
を有し、
上記出力装置においては、
遅延制御情報受付手段が、上記音声処理装置から出力される上記遅延制御情報を受け付ける遅延制御情報受付ステップと、
上記遅延制御情報受付ステップにおいて受け付けた上記遅延制御情報に基づいて、遅延制御手段が、スピーカに出力される音声信号を遅延させる遅延手段においての音声信号の遅延時間を制御する遅延制御ステップと
を備え、
上記処理時間に応じた情報は、上記特定手段により特定された、映像信号を受信してから当該映像信号をそのままの解像度で上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報、および上記特定手段により特定された、上記映像処理装置に設定された信号処理モードを考慮し、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報を含む、同期制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、ホームシアターシステムなど、同期を取って再生すべき映像信号と音声信号とを処理するシステム、このシステムで用いられる装置、このシステムで用いられる映像と音声との同期を取る方法に関する。
【背景技術】
【０００２】
ＤＶＤに記録された映画などのデジタルコンテンツが数多く提供されるようになり、これらデジタルコンテンツの高品位の映像と音声とを家庭においても楽しむことができるようにするために、いわゆるホームシアターシステムが用いられるようになってきている。ホームシアターシステムは、例えば、ＤＶＤ（Digital Versatile Disc）プレーヤなどの映像音響信号再生装置１と、オーディオアンプなどの音声出力装置２と、テレビモニタ（テレビ受像機）などの映像表示装置３とにより、構成することができる。
【０００３】
ここで、映像音響信号再生装置１は、例えば、ＤＶＤなどの記録媒体に記録されている映画などのデジタルコンテンツの映像信号と音声信号とを読み出して出力する。音声出力装置２は、映像音声信号再生装置１からの音声信号から各スピーカに供給する音声信号を形成して各スピーカに供給する。音声信号としては２チャンネル、４チャンネルの他、５．１チャンネルなどのいわゆるマルチチャンネルの場合もある。
【０００４】
また、映像表示装置３は、映像音声信号再生装置１からの映像信号から表示素子に供給して映像を表示するための映像信号を形成する。映像表示装置３に供給される映像信号としては、例えば、４８０ｐ（有効走査線数４８０本のプログレッシブ走査方式（順次走査方式））、７２０ｐ（有効走査線数７２０本のプログレッシブ走査方式）、１０８０ｉ（有効走査線数１０８０本のインターレース走査方式（飛び越し走査方式））などの種々の走査線数／走査方法のものが存在する。すなわち、再生対象の映像信号には、種々の形式（フォーマット）のものがある。
【０００５】
そして、上述のように、映像音声信号処理装置１からの音声信号と映像信号とが異なる装置において処理される結果、それぞれの信号処理にかかる時間が異なる。一般に、データ量や処理内容が映像信号の方が多いために、音声信号処理にかかる時間よりも、映像信号処理にかかる時間の方が長くなる。このために、スピーカから放音される音声と表示素子に表示される映像との間にずれ（いわゆるリップシンクのずれ）が発生し、再生されたデジタルコンテンツを視聴する視聴者（ユーザー）にとって違和感となる場合がある。
【０００６】
このため、例えば、図７Ａに示すように、映像音響信号再生装置１→映像表示装置３→音声出力装置２の順番で接続するようにすれば、映像表示装置３においての映像信号の処理にかかる時間を検出し、これに応じて音声出力装置３に送出する音声信号の出力を遅延させることにより、映像表示装置３における映像の表示タイミングと音声出力装置２における音声の出力タイミングとを同期させる（リップシンクさせる）ことができる。
【０００７】
しかし、ホームシアターシステムにおいては、多くの場合、図７Ｂに示すように、映像音響信号再生装置１→音声出力装置２→映像表示装置３の順番で接続するようにすることが行われている。この場合、音声出力装置２は、映像表示装置３における映像信号の処理かかる時間を知ることができないために、映像と音声との同期が取れなくなる場合がある。
【０００８】
そこで、特許文献１には、図７Ｃに示すように、音声出力装置２と映像表示装置３とを制御ラインｃｔでも接続するようにし、制御ラインｃｔを通じて音声出力装置２が映像表示装置３のメモリに設定されている、形式の異なる映像信号毎の処理時間情報を取得し、これに応じて音声出力装置２において、音声出力装置２が供給を受けて映像表示装置３に供給する映像信号の形式に応じて、出力する音声信号を遅延処理させる技術が開示されている。
【０００９】
この特許文献１に記載の技術を用いることにより、音声出力装置２においては、例えば電源投入時などにおいて、映像表示装置３から形式の異なる映像信号毎の処理時間を取得すれば、自機を通じて映像表示装置３に供給する映像信号の形式に応じた音声信号の遅延を制御することができる。すなわち、形式（フォーマット）の異なる映像信号を映像表示装置３において処理することに起因して発生する再生映像と再生音声とのずれ（いわゆるリップシンクのずれ）を解消することができるようにしている。
【００１０】
なお、上述した特許文献１は、以下の通りである。
【特許文献１】特開２００６−３３４３６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ところが、図７に示したように、映像音響信号再生装置１、音声出力装置２、映像表示装置３などによって構成されるホームシアターシステムにおいて、映像表示装置３での映像信号の処理時間が変わるのは、供給される映像信号が、４８０ｐか、７２０ｐか、１０８０ｉかなどの映像信号の形式の違いによって生じる場合だけではない。
【００１２】
映像表示装置３の中には、例えば、フィルムモード（高画質モード）、カメラモード（中画質モード）、ゲームモード（通常画質モード）などの複数の映像信号についての信号処理モードを備え、これらの中から適切なものを使用者が選択して設定できるようにしているものもある。そして、信号処理モードが変えられる毎に、映像信号の処理時間が変化する場合もあり、特許文献１に記載の技術だけでは、完全にリップシンクのずれを防止することができない場合が発生すると考えられる。
【００１３】
ここで、フィルムモード（高画質モード）は、４８０ｐや７２０ｐの映像信号が供給された場合であっても、自機において最も高画質の映像信号（例えば、１０８０ｉの映像信号）を形成するものであり、１０８０ｉよりも低画質の映像信号が供給された場合に、不足する走査線を補間するなどの高画質化処理を伴うモードである。
【００１４】
また、カメラモード（中画質モード）は、例えば、４８０ｐの映像信号が供給された場合であっても、自機において中程度の画質の映像信号（例えば、７２０ｐの映像信号）を形成するものであり、７２０ｐよりも低画質の映像信号が供給された場合には、上述したフィルムモード（高画質モード）の場合よりは高くは無いが、不足する走査線を補間するなどの高画質化処理を伴うモードである。
【００１５】
また、ゲームモードは、フィルムモード時やカメラモード時における高画質化処理をパスして、供給される映像信号をそのまま処理して通常通りの映像信号を形成し、これを表示素子に供給するものである。例えば、映像音響信号再生装置１として、ゲーム機が接続されている場合、当該ゲーム機によって再生される映像や音声は、使用者の操作に応じて適切なタイミングで再生されなければならない。しかし、使用者の操作に応じて再生音声は変化したのに、再生映像の変化が後れてしまうのでは、ゲームを楽しむことができない。このため、ゲームの映像を処理する場合においては余分な処理である高画質化処理等を行わないゲームモードを設けているのである。
【００１６】
そして、複数の信号処理モードが選択可能にされた映像表示装置３においては、例えば、フィルムモード（高画質モード）が使用者により選択されて設定されている場合には、４８０ｐの映像信号が供給されると、この４８０ｐの映像信号から不足する走査線を補間し、有効走査線数が１０８０本のインターレース方式の映像信号を形成する処理を行う。
【００１７】
したがって、処理する映像信号の形式だけが分かっても、映像表示装置３においてどのような信号処理モードが選択されているかが分からなければ、映像表示装置３における映像信号の処理時間を適切に把握することができない。しかも。映像表示装置３に対して使用者が行う処理モードの選択入力は、様々なタイミングで行われるために、映像表示装置３における映像信号の処理時間は、様々なタイミングにおいて変化する。すなわち、選択設定される映像信号についての信号処理モードは動的に変化する。
【００１８】
このため、リアルタイムに映像信号の処理時間を正確に把握することができるのは、映像表示装置３しかない。このため、上述もしたように、特許文献１に記載の技術だけでは、映像表示装置３における処理モードの変更に伴う映像信号の処理時間の動的な変化に対応することはできず、リップシンクのずれを確実に防止することができない場合が発生する可能性が生じるのである。
【００１９】
以上のことにかんがみ、この発明は、映像信号を処理する装置においての映像信号の処理時間の動的な変化にも確実に対応し、再生音声と再生映像とのずれ（リップシンクのずれ）を確実に防止することができるようにすることを目的とする。
【課題を解決するための手段】
【００２０】
上記課題を解決するため、請求項１に記載の発明の映像音声処理システムは、
同期を取って再生すべき映像信号と音声信号とが出力される出力装置と、上記出力装置から映像信号と音声信号とが入力され、少なくとも映像信号が後段の機器に対して出力され、音声信号に処理を行ってスピーカに出力される音声信号を生成する音声処理装置と、上記音声処理装置から出力される映像信号が入力され、映像の表示に用いる映像信号を形成する映像処理装置とを備える映像音声処理システムであって、
上記映像処理装置は、
上記音声処理装置から出力される映像信号から所定の画質の映像信号を形成する映像信号処理手段と、
上記音声処理装置から出力される映像信号の形式と、設定された信号処理モードとの少なくとも一方に基づいて上記映像信号処理手段の処理を制御する制御手段と、
上記制御手段により上記映像信号処理手段での処理内容が変更された場合に、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間を特定する特定手段と、
上記特定手段により特定された処理時間に応じた情報を上記出力装置へ出力する出力手段と
を備え、
上記出力装置は、
上記映像処理装置の出力手段から出力される上記処理時間に応じた情報が入力される入力手段と、
スピーカに出力される音声信号を遅延させる遅延手段と、
上記入力手段にて入力される上記処理時間に応じた情報に基づいて上記遅延手段を制御する遅延制御手段と
を備え、
上記処理時間に応じた情報は、上記特定手段により特定された、映像信号を受信してから当該映像信号をそのままの解像度で上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報、および上記特定手段により特定された、上記映像処理装置に設定された信号処理モードを考慮し、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報を含む。
【００２４】
また、請求項２に記載の発明の映像音声処理システムは、請求項１に記載の映像音声処理システムであって、
上記出力装置は、
自機における音声信号に対する処理の時間を特定する特定手段を備え、
上記遅延制御手段は、上記入力手段にて入力される上記処理時間に応じた情報と上記特定手段で特定される音声信号に対する上記処理の時間とに基づいて上記遅延手段を制御する。
【００２８】
また、請求項３に記載の発明の映像音声処理システムは、請求項２に記載の映像音声処理システムであって、
上記出力装置の遅延制御手段は、上記入力手段にて入力される上記処理時間に応じた情報に基づく時間と上記特定手段で特定される音声信号に対する上記処理の時間との差分に基づいて上記遅延手段を制御する。
【００３２】
また、請求項４に記載の発明の映像音声処理システムは、請求項１に記載の映像音声処理システムであって、
上記映像処理装置は、上記特定された上記処理時間に応じた情報を上記音声処理装置へ出力する第２の出力手段を更に備え、
上記音声処理装置は、
音声信号の出力を遅延させる遅延手段と、
上記映像処理装置から出力される上記処理時間に応じた情報が入力される入力手段と、
上記入力手段により入力された上記処理時間に応じた情報に基づいて上記遅延手段の音声信号の遅延時間を制御する遅延制御手段と
を備える。
【発明の効果】
【００３５】
この発明によれば、同期を取って再生すべき映像信号と音声信号とを出力する出力装置と、この出力装置から映像信号と音声信号との供給を受けて、少なくとも映像信号は後段の機器に対して供給し、音声信号はスピーカに供給するように処理する音声処理装置と、この音声処理装置から少なくとも映像信号の供給を受けて、映像を表示する映像信号を形成する映像処理装置とからなる映像音声処理システムにおいて、当該映像処理装置において、映像信号の供給を受けてからこれを処理して映像を表示するまでにかかる時間が動的に変化した場合であっても、映像処理装置よりも上流に位置する機器において、適切なタイミングで適切に音声信号の遅延処理を行うことが可能となり、再生音声と再生映像とのずれ（いわゆるリップシンクのずれ）を生じさせないようにすることができる。
【発明を実施するための最良の形態】
【００３６】
以下、図を参照しながら、この発明によるシステム、装置、方法の一実施の形態について説明する。
【００３７】
［映像音声処理システムの概要］
図１は、この実施の形態の映像音声処理システムの概要を説明するためのブロック図である。この実施の形態の映像音声処理システムは、この発明によるシステム、方法の一実施の形態が適用されたものであり、この発明による装置が用いられて構成されたものである。
【００３８】
図１に示すように、この実施の形態の映像音声処理システムの基本的な構成は、映像音響信号再生装置１と、音声出力装置２と、映像表示装置３とからなるものである。映像音響信号再生装置１と音声出力装置２との間、及び、音声出力装置２と映像表示装置３との間は、いずれも映像信号Ｖｄを伝送する映像信号線路と音声信号Ａｕを伝送する音声信号線路とで接続される。また、映像表示装置３と音声出力装置２との間、及び、映像表示装置３と映像音響信号再生装置１との間は、図１において点線で示すように、制御信号Ｃｔを伝送する制御信号線路で接続される。
【００３９】
ここで、映像音響信号再生装置１は、同期を取って再生すべき映像信号Ｖｄと音声信号Ａｕとを出力する出力装置に相当する。映像音響信号再生装置１の具体例としては、ＤＶＤプレーヤ、ゲーム機、ハードディスクレコーダなどの種々の再生装置や記録再生装置の他、ＴＶ（Television）チューナ、ＩＲＤ（Integrated Receiver Decoder）やセットトップボックス（Set-Top Box）などと呼ばれる衛星放送受信機やケーブル放送受信機、通信機能を備えたパーソナルコンピュータなど、同期を取って再生すべき映像信号Ｖｄと音声信号Ａｕとを出力する種々の機器が含まれる。
【００４０】
音声出力装置２は、映像音響信号再生装置（出力装置）１からの映像信号Ｖｄと音声信号Ａｕとの供給を受けて、少なくとも映像信号Ｖｄは後段の機器に対して供給し、音声信号Ａｕは音声処理部２１においてスピーカに供給するように処理してスピーカＳＰに供給する音声処理装置に相当する。この実施の形態の音声出力装置２は、映像信号Ｖｄと音声信号Ａｕとを後段の映像表示装置３に供給するとともに、音声信号Ａｕについては、スピーカＳＰに供給する音声信号に変換し、これをスピーカＳＰに供給する処理を行う。
【００４１】
音声出力装置２の具体例としては、いわゆるＡＶ（Audio/Visual）アンプやオーディオアンプである。そして、供給される音声信号Ａｕとしては、２チャンネル、４チャンネル、５．１チャンネルなどの種々のチャンネル数のものがあるが、この実施の形態の音声出力装置２は、例えば、５．１チャンネルのマルチチャンネルの音声信号にも対応できるものであり、音声処理部２１は、各チャンネルのスピーカに供給する音声信号に分離してアナログ音声信号を形成し、必要に応じて増幅処理などを施して、対応するチャンネルのスピーカに供給することができるものである。
【００４２】
映像表示装置３は、音声出力装置（音声処理装置）２から少なくとも映像信号の供給を受けて、映像を表示する（表示素子に供給する）映像信号を形成する映像処理装置に相当するものである。この実施の形態の映像表示装置３は、図１に示したように、インターフェース（以下、Ｉ／Ｆと略称する。）３１と、映像・音声処理部３２と、制御部３３と、操作部３４とを備えている。
【００４３】
Ｉ／Ｆ３１は、音声出力装置から供給される映像信号Ｖｄと音声信号Ａｕとを取り込んで、これらを映像・音声処理部３２に供給するとともに、取り込んだ映像信号Ｖｄの信号形式（走査線数や走査方式など）を検出して制御部３３に通知したり、また、取り込んだ音声信号のチャンネル数などを検出して制御部３３に通知したりすることができる共に、図１において点線で示した制御信号線路を通じて制御情報を送出することもできるものである。
【００４４】
映像・音声処理部３２は、これに供給される映像信号Ｖｄと音声信号Ａｕとの供給を受けて、自機の表示部に供給する映像信号（映像を表示するための映像信号）や自機のスピーカに供給する音声信号を形成して、表示部やスピーカに供給するものである。この実施の形態の映像・音声処理部３２においては、後述もするが、制御部３３の制御により、映像信号について、高画質処理と、中画質処理と、通常処理というように、画質の異なる映像信号を形成することができるものである。
【００４５】
制御部３３は、図示しないが、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリーやＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）などの不揮発性メモリがＣＰＵバスを通じて接続されて形成されたマイクロコンピュータであり、この実施の形態の映像表示装置３の各部を制御するものである。
【００４６】
操作部３４は、電源のオン／オフキー、数字キー、各種のファンクションキーなど、種々の操作キーを備え、使用者からの操作入力を受け付けて、これを電気信号に変換して制御部３３に供給することができるものである。これにより、制御部３３は、操作部３４を通じて受け付けた使用者からの指示入力に応じて各部を制御し、使用者の意図する処理を行うことができるようにしている。
【００４７】
また、この実施の形態の映像表示装置３は、図示しないが、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode-Ray Tube）などの表示部を備えると共に、図示しないスピーカをも備えたものである。
【００４８】
そして、この実施の形態の映像表示装置３の基本的な機能は、音声出力装置２からの映像信号Ｖｄと音声信号ＡｕとをＩ／Ｆ３１を通じて受け付け、映像信号Ｖｄについては、映像・音声処理部３２において自己が備える表示部に供給する映像信号を形成して、これを自己の表示部に供給し、また、音声信号Ａｕについては、映像・音声処理部３２において自己が備えるスピーカに供給する音声信号を形成してこれを自己のスピーカに供給するというものである。
【００４９】
なお、映像表示装置３の映像・音声処理部３２は、映像信号の処理時間に応じて、音声信号の出力を遅延させる機能を備えているために、映像表示装置３から出力される映像と音声とについては、いわゆるリップシンクのずれが生じることはない。そして、この実施の形態においては、音声は主に音声出力装置２に接続されたスピーカＳＰから放音されるものが聴取するようにされる。このため、テレビ受像機３のスピーカなどの音声系については各図においてその記載を省略するとともに、その詳細な説明についても省略することとする。
【００５０】
そして、この実施の形態の映像表示装置３は、映像信号についての信号処理モードとして、フィルムモード（高画質モード）、カメラモード（中画質モード）、ゲームモード（通常画質モード）の３つのモードを備え、操作部３４を通じてこれらの中から目的とする信号処理モードを選択して、制御部３３の例えば不揮発性メモリに設定することができるようにしている。
【００５１】
フィルムモード（高画質モード）は、自機において最も高画質の映像信号を形成して映像を表示するようにするものであり、走査線や水平方向の画素が不足する場合には、不足する走査線や水平方向の画素を補間するなどの高画質化処理を伴うモードである。また、カメラモード（中画質モード）は、自機において中程度の画質の映像信号を形成して映像を表示するようにするものであり、走査線や水平方向の画素が不足する場合には、フィルムモード（高画質モード）の場合よりは高くは無いが、不足する走査線や水平方向の画素を補間するなどの高画質化処理を伴うモードである。また、ゲームモードは、フィルムモード時やカメラモード時における高画質化処理をパスして、通常の映像信号を形成し、これを表示素子に供給するものである。
【００５２】
そして、この実施の形態の映像表示装置３の制御部３３は、Ｉ／Ｆ３１を通じて制御部３３に供給される、自機に供給されている映像信号の形式（走査線数や走査方式など）を示す情報や、操作部３４を通じて使用者により選択されて設定された信号処理モードとに基づいて、映像・音声処理部３２における映像信号処理の処理内容を特定し、これに応じて映像・音声処理部３２における映像信号処理を制御する。
【００５３】
制御部３３は、電源が投入されて動作している間においては、供給される映像信号の形式が変わったり、不揮発性メモリに設定される信号処理モードが変更されたりした場合には、映像・音声処理部３２においての処理内容を適切なものに変更するように制御できるものである。
【００５４】
すなわち、制御部３３は、種々のタイミングで、形式の異なる映像信号が再生するように切り換えられたり、信号処理モードの設定が変更されたりすることに対応するため、映像信号の形式や信号処理モードの設定が変化したことを検知した場合には、そのときの映像信号の形式や信号処理モードに応じて、映像・音声処理部３２における処理内容を変更することができるようにしている。このように、制御部３３は、映像・音声処理部３２における処理内容の変更（切り換え）を動的に制御することができるものである。
【００５５】
さらに、制御部３３は、特定した映像・音声処理部３２においての処理内容に基づいて、映像信号の処理にかかる処理時間を特定し、この特定した処理時間に関する情報を音声信号についての遅延制御情報Ｃｔとして、Ｉ／Ｆ３１と図１において点線で示した制御信号線路を通じて、自機の前段に接続された音声出力装置２と映像音響信号再生装置１との一方または両方に通知する。
【００５６】
この遅延制御情報Ｃｔの通知もまた、制御部３３は、映像・音声処理部３２における処理内容の変更のタイミングで正しい遅延制御情報（最新の遅延制御情報）を取得し、これをＩ／Ｆ３１と図１において点線で示した制御信号線路とを通じて、自機の前段に接続された音声出力装置２と映像音響信号再生装置１との一方または両方に通知することができるようにしている。
【００５７】
これにより、遅延制御情報の通知を受けた音声出力装置２と映像音響信号再生装置１との一方または両方において、音声信号の出力を遅延させる処理を行うことによって、音声出力装置２に接続されたスピーカＳＰから放音される再生音声と、映像表示装置３の表示部の表示画面に表示される再生映像とにずれが生じることが無いようにしている。
【００５８】
なお、この実施の形態においては、図１において点線（１）で示したように、遅延制御情報を映像表示装置３から音声出力装置２のみに対して通知し、音声出力装置２においてのみ、音声信号の遅延処理を行う態様と、図１において点線（２）で示したように、遅延制御情報を映像表示装置３から映像音響信号再生装置１のみに通知し、映像音響信号再生装置１においてのみ、音声信号の遅延処理を行う態様と、図１において点線（３）で示したように、遅延制御情報を映像表示装置３から、音声出力装置２と映像音響信号再生装置１との両方に通知し、音声出力装置２と映像音響信号再生装置１との両方において、音声信号の遅延処理を分散して行う態様とがある。以下においては、これら（１）〜（３）の各態様が適用され映像音声処理システムのそれぞれについて説明する。
【００５９】
［（１）遅延制御情報を映像表示装置３から音声出力装置２のみに通知する態様］
図２は、（１）遅延制御情報を映像表示装置３から音声出力装置２のみに対して通知し、音声出力装置２においてのみ、音声信号の遅延処理を行う態様（図１の点線（１）に対応）が適用された映像音声処理システムを説明するためのブロック図である。
【００６０】
図２に示す映像音声処理システムは、図１を用いて説明したように、映像音響信号再生装置１と、音声出力装置２と、映像表示装置３とからなっている。そして、図１を用いて説明したように、映像音響信号再生装置１から出力される同期を取って再生すべき映像信号Ｖｄと音声信号Ａｕとは、音声出力装置２に供給されると共に、当該音声出力装置２を介して、映像表示装置３にも供給される構成となっている。
【００６１】
図２に示した例の場合、音声出力装置２と映像表示装置３とは、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）規格のデジタルインターフェースを用いて接続する構成となっている。ＨＤＭＩ規格は、パーソナルコンピュータ用ディスプレイなど多くの採用例があるＤＶＩ（Digital Visual Interface）を、下位互換を保ちながら家電向け（いわゆるＡＶ（Audio/Visual）機器向け）に機能を追加した、次世代テレビ向けのデジタルインターフェース規格である。ＨＤＭＩ規格のデジタルインターフェースでは、映像ライン（映像信号線路）と音声ライン（音声信号線路）と制御ライン（制御信号線路）とを１つのコネクタで接続することができる。
【００６２】
すなわち、ＨＤＭＩ規格のデジタルインターフェースでは、各信号線路を別々に接続することなく、ＨＤ（High Definition）映像と、マルチチャンネル音声信号と、制御信号との転送が１つコネクタを通じて行うことができる。これにより、ケーブルの取り回しが容易になるなどのメリットがある。なお、ＨＤＭＩ規格におけるデータ転送速度は、最高５Ｇｂｉｔ／Ｓｅｃ（ギガビット／秒）である。また、デジタル画像信号の暗号化方式ＨＤＣＰ（High-bandwidth Digital Content Protection）にも対応している。
【００６３】
したがって、図２に示した例の映像音声処理システムにおいて、映像表示装置３が備えるＩ／Ｆ３１も、音声出力装置２が備えるＩ／Ｆ２２も、共にＨＤＭＩ規格に準拠したインターフェース回路である。すなわち、送出する信号の暗号化、受信した信号の復号化などの処理をも行う機能を備えたものである。
【００６４】
［図２に示した映像表示装置３の構成と動作について］
図２に示した例の映像音声処理システムの映像表示装置３は、図１を用いて説明したように、映像信号についての信号処理モードとして、フィルムモード（高画質モード）、カメラモード（中画質モード）、ゲームモード（通常画質モード）の３つのモードを備え、操作部３４を通じてこれらの中から目的とする信号処理モードを選択して、制御部３３の例えば不揮発性メモリに設定することができるものである。
【００６５】
そして、映像表示装置３の制御部３３には、上述もしたように、Ｉ／Ｆ３１から自機が供給を受けている映像信号の形式（走査線数や走査方式など）、例えば、４８０ｐ、７２０ｐ、１０８０ｉなどの映像信号の形式を示す情報も通知される。このため、制御部３３は、自機が供給を受けている映像信号の形式と、自己の不揮発性メモリに設定されている信号処理モードとに基づいて、映像・音声処理部３２を制御する。
【００６６】
具体的な例を示すと、制御部３３は、供給を受けている映像信号の形式がどのような形式であっても、フィルムモード（高画質モード）が選択設定されている場合には、制御部３３は、自機において最も高画質の映像信号を形成するように、映像・音声処理部３２を制御し、高画質処理を行うようにする。
【００６７】
したがって、４８０ｐや７２０ｐの映像信号が供給され、かつ、フィルムモード（高画質モード）が選択設定されている場合には、制御部３３は、映像・音声処理部３２を制御し、不足する走査線や水平方向の画素を補間する高画質化処理を行い、表示用の例えば１０８０ｉの映像信号を形成して、これを表示部に供給して表示部の表示画面に映像を表示するようにする。
【００６８】
また、１０８０ｉの映像信号が供給され、かつ、フィルムモード（高画質モード）が選択設定されている場合には、制御部３３は、映像・音声処理部３２を制御し、１０８０ｉの映像信号を劣化させることが無いように、表示用の１０８０ｉの映像信号を形成して映像を表示するようにする。
【００６９】
また、カメラモード（中画質モード）が選択設定されている場合であって、低画質の映像信号が供給された場合には、中程度の画質の映像信号を形成するように、制御部３３は、映像・音声処理部３２を制御し、中画質処理を行うようにする。したがって、必要がある場合には、フィルムモード（高画質モード）の場合よりは高くは無いが、不足する走査線や水平方向の画素を補間するなどの高画質化処理をも行うようにする。
【００７０】
したがって、４８０ｐの映像信号が供給され、かつ、カメラモード（中画質モード）が選択設定されている場合には、制御部３３は、映像・音声処理部３２を制御し、不足する走査線や水平方向の画素を補間する高画質化処理を行うようにして、表示用の例えば７２０ｐの映像信号を形成して映像を表示するようにする。
【００７１】
また、７２０ｐや１０８０ｉの映像信号が供給され、かつ、カメラモード（中画質モード）が選択設定されている場合には、制御部３３は、映像・音声処理部３２を制御し、７２０ｐや１０８０ｉの映像信号を劣化させることがないように、表示用の７２０ｐあるいは１０８０ｉの映像信号を形成して映像を表示するようにする。
【００７２】
このように、フィルムモード（高画質モード）またはカメラモード（中画質モード）が選択設定されている場合には、中画質や高画質の映像信号が供給されても、いわゆるダウンコンバートして画質を劣化させることがないように映像・音声処理部３２を制御し、低画質の映像信号が供給された場合には、高画質の映像信号や中画質の映像信号にアップコンバートして高画質や中画質の映像を表示できるように映像・音声処理部３２を制御する。
【００７３】
また、ゲームモードが選択設定されている場合には、制御部３３は、映像・音声処理部３２を制御し、フィルムモード時やカメラモード時に行った走査線や水平方向の画素などの補間を伴う高画質化処理をスルーして、通常の映像信号を形成する通常処理を行うように、映像・音声処理部３２を制御する。したがって、４８０ｐの映像信号が供給され、かつ、ゲームモードが選択設定されている場合には、制御部３３は、映像・音声処理部３２を制御して、表示用の４８０ｐの映像信号を形成し、これに応じて映像を表示するようにする。
【００７４】
また、７２０ｐや１０８０ｉの映像信号が供給され、かつ、ゲームモードが選択設定されている場合には、そのまま表示用の７２０ｐあるいは１０８０ｉの映像信号を形成して映像を表示するようにすることも考えられる。しかし、表示用の７２０ｐあるいは１０８０ｉの映像信号を形成する処理などに時間がかかることも考えられる。
【００７５】
そこで、この実施の形態の映像表示装置３においては、映像表示のための処理時間をできるだけ、短くするために、７２０ｐや１０８０ｉの映像信号が供給され、かつ、ゲームモードが選択設定されている場合には、制御部３３は、映像・音声処理部３２を制御し、走査線や水平方向の画素を間引きし、表示用の４８０ｐの映像信号を形成して映像を表示するようにする。
【００７６】
このように、ゲームモードだけが高画質化処理を伴わず、映像信号の供給を受けてから映像を表示するまでにかかる時間をできるだけ短くなるように映像信号を処理することができるモードである。
【００７７】
さらに、制御部３３は、どのように映像・音声処理部３２を制御するかによって、映像・音声処理部３２における映像信号の処理時間を正確に把握し、映像信号の供給を受けてから、表示部の表示画面に映像を表示するまでにかかる処理時間を特定して、この特定した処理時間に応じた情報を、音声信号についての遅延制御情報ＣｔとしてＩ／Ｆ３１を通じて音声出力装置２に通知することができるようにしている。ここで、特定した処理時間に応じた遅延制御情報としては、処理時間そのものを用いるようにしてもよいし、これが供給される相手先の機器において、音声信号の遅延量を特定することが可能な情報、例えば予め段階分けされた段階情報（レベル情報）等を用いることも可能である。
【００７８】
この実施の形態においては、上述もしたように、フィルムモード（高画質モード）が選択設定されている場合において、４８０ｐの映像信号が供給された場合と、７２０ｐの映像信号が供給された場合と、１０８０ｉの映像信号が供給された場合で、それぞれ映像信号の処理時間は異なる。同様に、カメラモード（中画質モード）が選択設定されている場合において、４８０ｐの映像信号が供給された場合と、７２０ｐの映像信号が供給された場合と、１０８０ｉの映像信号が供給された場合で、それぞれ映像信号の処理時間は異なる。
【００７９】
また、ゲームモードが選択設定されている場合において、４８０ｐの映像信号が供給された場合と、７２０ｐの映像信号が供給された場合と、１０８０ｉの映像信号が供給された場合で、それぞれ映像信号の処理時間は異なる。このため、この実施の形態の映像表示装置３の制御部３３は、信号処理モードごとで、かつ、供給された映像信号の形式ごとに、映像・音声処理部３２における映像信号の処理にかかる時間を正確に把握し、映像信号の供給を受けてから、表示部の表示画面に映像を表示するまでにかかる時間を特定することができるようにしている。
【００８０】
そして、この実施の形態の映像音声処理システムの映像表示装置３は、上述もしたように、例えば、供給される映像信号が変わるなどして、供給される映像信号の形式が変化したり、あるいは、使用者により選択設定される信号処理モードが変更されたりした場合には、最新の映像信号の形式と最新の選択設定された信号処理モードとに応じて、映像・音声処理部３２において行う映像信号に対する処理の内容を適切に制御すると共に、映像信号の供給を受けてから、その映像信号を処理し映像を表示するまでにかかる処理時間を特定して、この処理時間に応じた情報を音声信号についての遅延制御情報ＣｔとしてＩ／Ｆ３１と、点線で示した制御信号線路を通じて音声出力装置２に通知することができるようにしている。
【００８１】
［図２に示した音声出力装置２の構成と動作について］
図２に示した映像音声処理システムの音声出力装置２は、音声処理部２１を備えると共に、上述もしたように、ＨＤＭＩ規格に準拠したＩ／Ｆ２２を備えたものである。すなわち、Ｉ／Ｆ２２は、映像音響信号再生装置１から供給を受けた映像信号Ｖｄと音声信号Ａｕ、さらには制御情報を、映像信号線路、音声信号線路、点線で示した制御信号線路を通じて映像表示装置に供給することができると共に、上述もしたように、映像表示装置３から点線で示した制御信号線路を通じて通知される遅延制御情報Ｃｔの通知を取得することができるものである。
【００８２】
音声出力装置２のＩ／Ｆ２２が、映像表示装置３からの遅延制御情報Ｃｔを取得すると、自機において処理可能な形式の情報に変換し、これを音声処理部２１の制御部２１１に供給する。図２に示すように、この図２に示した例の音声処理部２１は、制御部２１１、遅延処理部２１２、増幅部２１３を備えたものである。
【００８３】
制御部２１１は、図示しないが、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えたマイクロコンピュータであり、Ｉ／Ｆ２２から供給を受ける映像表示装置３からの遅延制御情報Ｃｔに基づいて、後述する遅延処理部２１２における音声信号の遅延処理を制御するなど、音声処理部２１の各部を制御するものである。
【００８４】
遅延処理部２１２は、上述のように、制御部２１１により制御され、映像音響信号再生装置１からの音声信号Ａｕの供給を受けて、これを映像表示装置３からの遅延制御情報Ｃｔに応じて遅延処理させることにより、映像表示装置３における映像信号の処理時間に応じて遅延させ、これを増幅部２１３に供給する。増幅部２１３も制御部２１１により制御され、これに供給された音声信号を増幅して出力し、スピーカＳＰに供給する。
【００８５】
これにより、音声出力装置２の遅延処理部２１２においては、映像表示装置３から通知される音声信号に対する遅延制御情報Ｃｔに応じて、スピーカＳＰに供給する音声信号を遅延させることができるので、映像表示装置３の表示部の表示画面に表示される映像と、音声出力装置２のスピーカＳＰから放音される音声との同期を一致させ、いわゆるリップシンクのずれを生じさせないようにすることができる。
【００８６】
しかも、映像表示装置３における映像信号の処理時間に変化が生じたか否かを、迅速かつ確実に把握できるのは映像表示装置３だけである。このため、映像表示装置３において、供給される映像信号の形式が変化した場合、あるいは、信号処理モードの選択設定が変更された場合のいずれにおいても、映像・音声処理部３２を適切に制御すると共に、映像信号処理にかかる時間を適切に把握し、映像信号の処理にかかる時間に応じて、音声出力装置２から出力する音声信号を適切に遅延させることができる。
【００８７】
特に、従来の映像音声処理システムにおいては、信号処理モードが、操作部３４を通じて、フィルムモードやカメラモードからゲームモードに変更された場合には、信号処理モードが変更されたことは、映像表示装置３においてしか分からない。このため、音声信号の最新の遅延制御情報Ｃｔを映像表示装置３から音声出力装置２に通知しなければ、フィルムモードやカメラモードに対応した音声遅延処理が音声出力装置２において行われる状態とされたままとなる場合があった。
【００８８】
この場合、ゲームモードが選択されることにより、映像表示装置３においては映像信号については低画質のまま出力するようにする通常処理が行われ、映像信号処理にはさほど時間がかからなくなるので、音声信号については、フィルムモードやカメラモードのままの遅延処理がなされることにより、ゲームに対して使用者が行った操作に応じて、再生映像は変化するのに、再生音声はかなり送れて再生されるという状態が発生する可能性がある。このように、再生映像と再生音声とがずれていたのではゲームを楽しむことはできない。
【００８９】
しかし、図２に示した映像音声処理システムの例の場合には、上述したように、映像表示装置３において、供給される映像信号の形式が変わったり、選択設定される信号処理モードが変更されたりした場合には、映像表示装置３から映像信号の処理時間に応じて決まる音声信号についての遅延制御情報Ｃｔを音声出力装置２に提供することができるので、適切なタイミングで音声出力装置２において行われる音声信号についての遅延処理を制御することができる。
【００９０】
また、音声出力装置２の制御部２１１は、自機における音声信号Ａｕの処理時間をも考慮して、音声遅延処理部２１２における音声信号の遅延量を適切に制御することができるものである。
【００９１】
なお、ここでは、説明を簡単にするため、音声信号ＶｄはスピーカＳＰに供給するものとして説明したが、これに限るものではない。実際には、２チャンネル、４チャンネル、５．１チャンネルなどの多チャンネルの音声信号を処理することになる。この場合、例えば、遅延処理部２１２において、映像音響信号再生装置１からの音声信号を各チャンネルの音声信号に分離し、そのそれぞれについて同様に遅延させて、増幅処理し、対応するスピーカに供給するように処理することになる。
【００９２】
［（２）遅延制御情報を映像表示装置３から映像音響信号再生装置１のみに通知する態様］
図３は、（２）遅延制御情報を映像表示装置３から映像音響信号再生装置１のみに通知し、映像音響信号再生装置１においてのみ、音声信号の遅延処理を行う態様（図１の点線（２）に対応）が適用された音声処理システムを説明するためのブロック図である。
【００９３】
図３に示す映像音声処理システムもまた、図１を用いて説明したように、また、図２に示した映像音声処理システムの場合と同様に、映像音響信号再生装置１と、音声出力装置２と、映像表示装置３とからなっている。そして、図１を用いて説明したように、映像音響信号再生装置１から出力される同期を取って再生すべき映像信号Ｖｄと音声信号Ａｕとは、音声出力装置２に供給されると共に、当該音声出力装置２を介して、映像表示装置３にも供給される構成となっている。
【００９４】
［図３に示した映像表示装置３の構成と動作について］
そして、映像表示装置３は、図１、図２を用いて説明した映像表示装置３と全く同様に構成されたものであり、音声出力装置２から供給される映像信号Ｖｄと音声信号ＡｕとをＩ／Ｆ３１を通じて受け付けて、これらを映像・音声処理部３２に供給する。このＩ／Ｆ３１は、供給を受けた映像信号Ｖｄの形式（走査線数や走査方式など）を検出し、制御部３３に通知することもできるものである。
【００９５】
また、映像表示装置３は、操作部３４を通じて、信号処理モードとして、フィルムモード（高画質モード）、カメラモード（中画質モード）、ゲームモード（通常画質モード）の３つのモードの中から目的とする信号処理モードの選択入力を受け付けて、これを制御部３３に通知し、制御部３３が備える例えば不揮発性メモリに設定することができるようにしている。
【００９６】
そして、制御部３３は、Ｉ／Ｆ３１からの映像信号Ｖｄの形式と、自己の不揮発性メモリに選択設定された信号処理モードとに基づいて、映像・音声処理部３２における処理を制御すると共に、映像信号の処理時間を把握し、映像信号の供給を受けてから、それを処理して映像を表示するまでにかかる処理時間を特定し、これに応じた遅延制御情報ＣｔをＩ／Ｆ３１と点線で示した制御信号線路を通じて前段の機器に通知することができるようにしている。
【００９７】
しかし、図３Ｂに示したように、この図３Ｂに示した例の映像音声処理システムにおいて、音声出力装置２は、音声信号の遅延機能を備えたものではない。音声信号の遅延機能を備えているのは、図３Ｂに示したように、映像音響信号再生装置１である。このため、映像表示装置３は、映像音響信号再生装置１に対して、音声信号についての遅延制御情報Ｃｔを提供する。
【００９８】
ここで、図３Ａにおいて、点線（２）で示したように、映像表示装置３と映像音響信号再生装置１とを直接に制御信号線路によって接続し、映像表示装置３から映像音響信号再生装置１へと、音声信号についての遅延制御情報を通知することも可能である。しかし、一般には、映像信号Ｖｄ、音声信号Ａｕの伝送経路をも考慮し、映像表示装置３と映像音響信号再生装置１とを音声出力装置２を介して図３Ｂにおいて点線で示したように制御信号線路を接続すれば、映像信号線路と音声信号線路と制御信号線路とを同様に接続することができる。
【００９９】
このため、図３Ｂに示したように、この例の映像音声処理システムは、映像音響信号再生装置１と音声出力装置２との間もＨＤＭＩ規格のインターフェースで接続し、映像音響信号再生装置１から出力される同期を取って再生されるべき映像信号Ｖｄと音声信号Ａｕとを音声出力装置２を介して映像表示装置３に供給し、また、映像表示装置３から出力される音声信号に対する遅延制御情報Ｃｔも音声出力装置２を介して映像音響信号再生装置１に通知するようにしている。
【０１００】
［図３に示した音声出力装置２の構成と動作について］
音響出力装置２は、図３Ｂに示したように、音声処理部２１と、ＨＤＭＩ規格に準拠したＩ／Ｆ２２、２３を備えている。そして、映像音響信号再生装置１からの映像信号Ｖｄと音声信号Ａｕとは、Ｉ／Ｆ２３を通じて音声出力装置２に受け付けられ、Ｉ／Ｆ２２を通じて映像表示装置３に供給される。
【０１０１】
また、映像音響信号再生装置１から供給され、Ｉ／Ｆ２３を通じて受け付けた音声信号Ａｕは、音声処理部２１に供給され、スピーカに供給する形式の信号に変換されて、スピーカＳＰに供給される。これにより、スピーカＳＰからは映像音響信号再生装置１から供給を受けた音声信号Ａｕに応じた音声が放音される。
【０１０２】
なお、この例の音声処理部２１は、図２に示した音声処理部２１とは異なり、遅延処理部２１２は備えずに、供給された音声信号Ａｕを各チャンネルの音声信号に分離し、そのそれぞれを増幅するなどの処理を施して、対応するスピーカに供給する機能を有するものである。
【０１０３】
一方、映像表示装置３のＩ／Ｆ３１から出力された音声信号に対する遅延制御情報Ｃｔは、Ｉ／Ｆ２２を通じて受け付けられ、Ｉ／Ｆ２３を通じて映像音響信号再生装置１に供給される。このように、この実施の形態の音声出力装置２は、映像表示装置１からの音声信号に対する遅延制御情報Ｃｔを、自機においては処理に用いることなく（音声出力装置部２をスルーして）、映像音響信号再生装置１に供給する（通知する）ことができるようにしている。
【０１０４】
「図３に示した映像音響信号再生装置１の構成と動作について」
映像音響信号再生装置１は、図３Ｂに示したように、記録媒体ドライブ１１、読み出し部１２、音声信号の遅延処理部１３、ＨＤＭＩ規格に準拠したＩ／Ｆ１４、制御部１５を備えている。そして、記録媒体ドライブ１１に装填された記録媒体、例えばＤＶＤに記録されている同期を取って再生すべき映像信号や音声信号は、読み出し部１２により読み出される。
【０１０５】
読み出された映像信号と音声信号とは、読み出し部１２において、出力すべき映像信号Ｖｄと音声信号Ａｕとに分離される。そして、映像信号ＶｄはＩ／Ｆ１４に供給され、音声信号Ａｕは、遅延処理部１３を通じてＩ／Ｆ１４に供給されて、当該Ｉ／Ｆ１４を通じて、音声出力装置２に供給される。
【０１０６】
一方、映像表示装置３からの音声信号に対する遅延制御情報Ｃｔは、上述もしたように、音声出力装置２を介して、点線で示した制御信号線路を通じ、映像音響信号再生装置１に通知される。映像音響信号再生装置１のＩ／Ｆ１４は、制御信号線路を通じて送信されてくる音声信号に対する遅延制御情報Ｃｔを受け付け、これを自機において処理可能な形式の情報に変換して、制御部１５に供給する。
【０１０７】
制御部１５は、Ｉ／Ｆ１４を通じて供給される映像表示装置３からの音声信号に対する遅延制御情報Ｃｔに基づいて、遅延処理部１３における音声信号についての遅延時間（遅延量）を制御する。これにより、映像音響信号再生装置１から出力される映像信号Ｖｄと音声信号Ａｕとのうち、音声信号Ａｕについては、映像表示装置３からの音声信号に対する遅延制御情報Ｃｔに基づいて遅延処理させることができる。
【０１０８】
これにより、音声出力装置２においては、音声信号Ａｕについて遅延処理しなくても、音声信号Ａｕについては通常通り処理してスピーカＳＰに供給することにより、音声出力装置２のスピーカＳＰから放音される再生音声と、映像表示装置３の表示部の表示画面に表示される再生映像との間において、リップシンクのずれを生じさせることがないようにすることができる。
【０１０９】
換言すれば、映像表示装置３において、供給される映像信号の形式が変わったり、選択設定される信号処理モードが変更されたりした場合には、映像表示装置３から映像信号の処理時間に応じて決まる音声信号についての遅延制御情報Ｃｔを映像音響信号再生装置１に提供することができるので、適切なタイミングで最も上流に位置する映像音響信号再生装置１において行われる音声信号についての遅延処理を適切に制御することができる。
【０１１０】
［（３）遅延制御情報を映像表示装置３から、音声出力装置２と映像音響信号再生装置１との両方に通知する態様］
図４は、（３）遅延制御情報を映像表示装置３から、音声出力装置２と映像音響信号再生装置１との両方に通知し、音声出力装置２と映像音響信号再生装置１との両方において、音声信号の遅延処理を分散して行う態様（図１の点線（３）に対応）が適用された映像音声処理システムを説明するためのブロック図である。
【０１１１】
図４に示す映像音声処理システムもまた、図１を用いて説明したように、また、図２、図３に示した映像音声処理システムの場合と同様に、映像音響信号再生装置１と、音声出力装置２と、映像表示装置３とからなっている。そして、図１を用いて説明したように、映像音響信号再生装置１から出力される同期を取って再生すべき映像信号Ｖｄと音声信号Ａｕとは、音声出力装置２に供給されると共に、当該音声出力装置２を介して、映像表示装置３にも供給される構成となっている。
【０１１２】
そして、図２に示した例の映像音声処理システムが音声出力装置２において音声信号の遅延処理を行い、図３に示した例の映像音声処理システムが映像音響信号再生装置１において音声信号の遅延処理を行うようにしたのに対して、この図４に示す映像音声処理システムは、音声出力装置２と映像音響信号再生装置１との両方において、音声信号の遅延処理を行うようにしたものである。
【０１１３】
すなわち、音声出力装置２や映像音響信号再生装置１における音声信号の遅延処理能力が十分でなく、音声信号についての遅延処理を、音声出力装置２と映像音響信号再生装置１とに分散させる必要がある場合、あるいは、システムの構成上、音声信号についての遅延処理のためにかかる負荷を１つの装置にかけるのではなく、音声出力装置２と映像音響信号再生装置１とに分散させたい場合などにおいて、図４に示す構成をとることができる。
【０１１４】
このため、図４に示した映像音声処理システムにおいて、映像音響信号再生装置１と音声出力装置２との間と音声出力装置２と映像表示装置３との間とは、いずれもＨＤＭＩ規格のインターフェースによって接続され、映像信号と音声信号のみならず、制御信号の送受をも行うことができるようにしている。以下、図４に示した映像音声処理システムを構成する各機器について説明する。
【０１１５】
［図４に示した映像表示装置３の構成と動作について］
図４に示した映像音声処理システムの映像表示装置３は、図１、図２、図３を用いて説明した映像表示装置３と同様に構成されたものであり、音声出力装置２から供給される映像信号Ｖｄと音声信号ＡｕとをＩ／Ｆ３１を通じて受け付けて、これらを映像・音声処理部３２に供給する。このＩ／Ｆ３１は、供給を受けた映像信号Ｖｄの形式（走査線数や走査方式など）を検出し、制御部３３に通知することもできるものである。
【０１１６】
また、映像表示装置３は、操作部３４を通じて、信号処理モードとして、フィルムモード（高画質モード）、カメラモード（中画質モード）、ゲームモード（通常画質モード）の３つのモードの中から目的とする信号処理モードの選択入力を受け付けて、これを制御部３３に通知し、制御部３３が備える例えば不揮発性メモリに設定することができるようにしている。
【０１１７】
そして、制御部３３は、Ｉ／Ｆ３１からの映像信号Ｖｄの形式と、自己の不揮発性メモリに選択設定された信号処理モードとに基づいて、映像・音声処理部３２における処理を制御すると共に、映像信号の処理時間を把握し、映像信号の供給を受けてから、それを処理して映像を表示するまでにかかる処理時間を特定し、これに応じた遅延制御情報Ｃｔ１をＩ／Ｆ３１と点線で示した制御信号線路を通じて前段の機器に通知することができるようにしている。
【０１１８】
［図４に示した音声出力装置２の構成と動作について］
図４に示した映像音声処理システムの音声出力装置２は、音声処理部２１を備えると共に、上述もしたように、ＨＤＭＩ規格に準拠したＩ／Ｆ２２、２３を備えたものである。そして、映像音響信号再生装置１からの映像信号Ｖｄと音声信号Ａｕとは、Ｉ／Ｆ２３を通じて音声出力装置２に受け付けられ、Ｉ／Ｆ２２を通じて映像表示装置３に供給される。
【０１１９】
また、映像表示装置３から供給される音声信号に対する遅延制御情報Ｃｔ１は、Ｉ／Ｆ２２を通じて受け付けられ、ここで自機において処理可能な形式の信号に変換されて、音声処理部２１の制御部２１１に供給される。この図４に示した例の音声処理部２１は、制御部２１１、遅延処理部２１２、増幅部２１３を備えたものである。
【０１２０】
制御部２１１は、図示しないが、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えたマイクロコンピュータであり、Ｉ／Ｆ２２から供給を受ける映像表示装置３からの遅延制御情報Ｃｔ１と、自機の音声信号についての遅延処理能力、あるいは、自機が負担すべき音声信号についての遅延処理割合に基づいて、後述する遅延処理部２１２における音声信号の遅延処理を制御する。
【０１２１】
また、この例の制御部２１１は、映像表示装置３から供給される遅延制御情報Ｃｔ１に応じて行う音声信号に対する遅延処理と、自機の遅延処理部２１２が担当する音声信号の遅延処理との間で、音声信号の遅延量に差がある場合にはその差分を特定し、この差分に応じた差分情報を映像音響信号再生装置１に対する遅延制御情報Ｃｔ２として、これをＩ／Ｆ２３を通じて映像音響信号再生装置１に通知する処理をも行う。
【０１２２】
すなわち、制御部２１１は、映像表示装置３からの遅延制御情報Ｃｔ１に応じて行うべき音声信号の処理における遅延量から自機において行うべき音声信号の遅延処理における遅延量を差し引いた差分に応じた遅延制御情報Ｃｔ２を形成して、これをＩ／Ｆ２３を通じて映像音響信号再生装置１に供給することができるものである。
【０１２３】
遅延処理部２１２は、Ｉ／Ｆ２３を通じて受け付けた映像音響信号再生装置１からの音声信号Ｖｄの供給を受けて、これを制御部２１１からの制御に応じた遅延量分遅延させ、遅延処理後の音声信号を増幅部２１３に供給する。増幅部２１３も制御部２１１により制御され、これに供給された音声信号を増幅して出力し、スピーカＳＰに供給する。
【０１２４】
このように、図４に示した例の映像音声処理システムの音声出力装置２においては、映像音響信号再生装置１から供給を受けて再生出力する音声信号を遅延させる機能を備えているが、映像表示装置３からの遅延制御情報に応じた遅延処理を全て音声出力装置２において行うのではなく、音声出力装置２は、自機の遅延処理能力や自機が担当すべき音声信号の遅延処理の割合に応じた遅延処理を行い、音声信号についての不足する遅延処理については、最上流に位置する映像音響信号再生装置１に分担するようにしている。
【０１２５】
映像音響信号再生装置１は、図３Ｂに示した映像音響信号再生装置１と同様に構成されたものである。すなわち、図４に示した映像音声処理システムの映像音響信号再生装置１もまた、記録媒体ドライブ１１、読み出し部１２、音声信号の遅延処理部１３、ＨＤＭＩ規格に準拠したＩ／Ｆ１４、制御部１５を備えている。そして、記録媒体ドライブ１１に装填された記録媒体、例えばＤＶＤに記録されている同期を取って再生すべき映像信号や音声信号は、読み出し部１２により読み出される。
【０１２６】
読み出された映像信号と音声信号とは、読み出し部１２において、出力すべき映像信号Ｖｄと音声信号Ａｕとに分離される。そして、映像信号ＶｄはＩ／Ｆ１４に供給され、音声信号Ａｕは、遅延処理部１３を通じてＩ／Ｆ１４に供給されて、当該Ｉ／Ｆ１４を通じて、音声出力装置２に供給される。
【０１２７】
一方、映像音響信号再生装置１のＩ／Ｆ１４は、点線で示した制御信号線路を通じて音声出力装置２から送信されてくる音声信号に対する遅延制御情報Ｃｔ２を受け付け、これを自機において処理可能な形式の情報に変換して、制御部１５に供給する。
【０１２８】
制御部１５は、Ｉ／Ｆ１４を通じて供給される音声出力装置２からの音声信号に対する遅延制御情報Ｃｔ２に基づいて、遅延処理部１３における音声信号についての遅延量を制御する。これにより、映像音響信号再生装置１から出力される映像信号Ｖｄと音声信号Ａｕとのうち、音声信号Ａｕについては、音声出力装置２からの音声信号に対する遅延制御情報Ｃｔ２に基づいて遅延処理がなされることになる。
【０１２９】
［図４に示した映像音声処理システムの動作のまとめ］
そして、図４に示した映像音声処理システムは、図１を用いて説明したように、また、図２、図３Ｂに示した映像音声処理システムの場合と同様に、映像音響信号再生装置１から出力される同期を取って再生すべき映像信号Ｖｄと音声信号Ａｕとは、音声出力装置２と、この音声出力装置２を介して映像表示装置３とに供給するようにされる。そして、映像表示装置３に映像信号Ｖｄが供給されてから処理されて表示部の表示画面に映像が表示されるまでにかかる時間に応じた音声信号に対する遅延処理を、音声出力装置２と、映像音響信号再生装置１とに分散さるようにしている。
【０１３０】
したがって、音声出力装置２における音声信号についての遅延処理と映像音響信号再生装置１における音声信号の遅延処理とにより、映像表示装置３に映像信号Ｖｄが供給されてから処理されて表示部の表示画面に映像が表示されるまでにかかる時間に応じて、音声出力装置２からの音声信号の出力を遅延させることができる。
【０１３１】
この図４に示した映像音声処理システムの場合においても、映像表示装置３において、供給される映像信号の形式が変わったり、選択設定される信号処理モードが変更されたりした場合には、映像表示装置３から映像信号の処理時間に応じて決まる音声信号についての遅延制御情報Ｃｔ１に応じた遅延処理を、音声出力装置２と映像音響信号再生装置１とで分散して行うことができるので、適切なタイミングで音声信号についての遅延処理を適切に行うようにすることができる。
【０１３２】
また、音声信号の遅延処理にかかる負荷を、音声出力装置２と映像音響信号再生装置１とで分散させることができるので、映像音声処理システム全体における音声信号に対する遅延処理能力を向上させることができると共に、この音声処理システムを構成する音声出力装置２と映像音響信号再生装置１とにおける音声信号に対する遅延処理のためにかかる負荷をも分散させることができ、音声出力装置２と映像音響信号再生装置１との処理能力の点で余裕を持たせることができる。
【０１３３】
なお、音声出力装置２の制御部２１１も、また、映像音響信号再生装置１の制御部１５も、自機における音声信号に対する処理の処理時間などをも考慮して、自機において遅延させるべき音声信号の遅延量を適切に設定することができるものである。
【０１３４】
［上流に位置する機器に伝達される遅延制御情報の詳細について］
映像表示装置３から音声出力装置２や映像音響信号再生装置１に供給される遅延制御情報Ｃｔ、あるいは、音声出力装置２から映像音響信号再生装置１に供給される遅延制御情報Ｃｔのフォーマットについて、図５、図６を参照しながら説明する。
【０１３５】
図５は、遅延制御情報Ｃｔを２バイト（byte）で構成するようにした場合の例を説明するための図である。２バイトの遅延制御情報Ｃｔの内、最初の１バイト目は、当該遅延制御情報Ｃｔの送信先の装置を特定するためのＩＤ（装置ＩＤ）であり、２バイト目は、実際に音声信号の遅延量に応じた遅延情報である。
【０１３６】
なお、遅延情報としては、例えば、２００ミリ秒、１５０ミリ秒、２０ミリ秒などのように、映像表示装置３が映像信号Ｖｄの供給を受けてからこれを処理して映像を表示するまでにかかる時間を用いるようにすればよい。
【０１３７】
また、例えば、供給された映像信号の形式が４８０ｐであり、設定された信号処理モードがフィルムモード（高画質モード）の時には「レベル１」、供給された映像信号の形式が７２０ｐであり、設定された信号処理モードがフィルムモード（高画質モード）の時には「レベル２」などのように、供給された映像信号の形式と設定された信号処理モードとに応じて遅延レベルが決まり、この遅延レベルに応じた映像表示装置３における映像信号についての処理時間（映像表示装置３が映像信号Ｖｄの供給を受けてからこれに応じた映像を表示するまでにかかる時間）を音声出力装置２や映像音響信号再生装置１において特定可能な場合には、当該遅延レベルを示す情報を遅延情報として用いるようにすることもできる。
【０１３８】
この他、遅延情報としては、映像表示装置３よりも上流に位置する機器において、音声信号の遅延量を特定することが可能な種々の情報を用いることができる。
【０１３９】
図６は、遅延制御情報Ｃｔを４バイト（byte）で構成するようにした場合の例を説明するための図である。４バイトの遅延制御情報Ｃｔの内、１バイト目の情報は、当該遅延制御情報Ｃｔの送信先の装置を特定するためのＩＤ（装置ＩＤ）である。２バイト目の情報は、映像表示装置３が供給を受けている映像信号Ｖｄの解像度を示す情報である。
【０１４０】
また、３バイト目の情報は、２バイト目で示された解像度の映像信号Ｖｄをそのままの解像度で映像を表示する場合にかかる時間に対応して音声信号を遅延させる場合の遅延情報（２バイト目で示された解像度の映像信号に応じたデフォルトの遅延情報（音声信号に対する遅延情報））である。また、４バイト目は、映像表示装置３に設定された信号処理モードをも考慮し、映像表示装置３に当該映像信号が供給されてからこれを処理して映像を表示するまでにかかる時間に応じた実際の遅延情報（変更後の遅延情報）である。
【０１４１】
そして、例えば、映像音響信号再生装置１が、ハードディスクレコーダのような大容量の記録媒体を備えたものであり、解像度の異なる多数の映像コンテンツ（ＡＶ（Audio/Visual）コンテンツ）を記録媒体に記録保持し、それらの中から目的とするコンテンツを簡単に選択して再生することができ、また、再生するコンテンツの変更も短時間の間に繰り返して行えるとする。
【０１４２】
このような場合、再生するコンテンツが解像度の異なるものに（映像信号の形式が異なるものに）短時間の間に複数回切り換えられる場合もあり、この場合には、映像表示装置３から上流の機器に対しても、異なる複数の遅延制御情報Ｃｔが供給されることになる。そして、遅延制御情報Ｃｔの形成タイミングや送出タイミングなどにより、音声出力装置２や映像音響信号再生装置１において、どの遅延制御情報が有効なものであるのかが把握できなくなってしまう場合が発生する可能性がある。
【０１４３】
しかし、図６に示したように、映像表示装置３が供給を受けている映像信号Ｖｄの解像度を示す情報をも遅延制御情報Ｃｔに含めておくことにより、音声出力装置２や映像音響信号再生装置１においても、自機が供給を受けている、あるいは、自機が送出している映像信号の解像度を検出し、映像表示装置３や音声出力装置２等の自機よりも下流の機器からの遅延制御情報の解像度を示す情報を参照することにより、どの遅延制御情報が有効なものかを判別することができる。
【０１４４】
また、解像度、デフォルトの遅延情報、変更後の遅延情報を遅延制御情報Ｃｔに持つことにより、この遅延制御情報Ｃｔの提供を受けた音声出力装置２や映像音響信号再生装置１等の上流の機器においては、自機において音声信号をどのくらい遅延させるべきかを正確に判断する情報として用いることができるので、より適切に音声信号の遅延処理を行うようにすることも可能となる。
【０１４５】
なお、図５、図６に示した遅延制御情報Ｃｔは一例であり、最も下流の映像表示装置３から上流の機器に対して音声信号の遅延量を適切に指示することができれば、他のフォーマットの遅延制御情報を用いるようにしてももちろんよい。
【０１４６】
なお、上述した実施の形態においては、図１〜図４において点線矢印で示した制御信号線路は、最下流の映像表示装置３から上流の機器に向かって一方向に制御情報を送信するものとして説明したが、これに限るものではない。上述もしたように、映像信号線路と音声信号線路と制御信号線路とを接続するインターフェースとしてＨＤＭＩ規格に準拠したインターフェースで機器間を接続する場合には、制御信号線路として、ＣＥＣと呼ばれる制御専用線を用いて相互に制御信号の送受を行うようにすることができる。
【０１４７】
また、上述した実施の形態においては、映像信号線路と音声信号線路と制御信号線路とを接続するインターフェースとしては、ＨＤＭＩ規格のインターフェースの他、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４規格のインターフェースなど、制御信号線路を別個に備えた種々のインターフェースを用いるようにすることが可能である。もちろん、映像信号線路と音声信号線路とを接続するインターフェースとは別に、制御信号線路を接続するインターフェースを用いて、そのそれぞれを別個に接続するようにしてももちろんよい。
【０１４８】
また、上述した実施の形態においては、映像信号Ｖｄを伝送する映像信号線路と音声信号Ａｕを伝送する音声信号線路とを別々に示したが、映像信号と音声信号とを時分割多重化して同一伝送路を用いて伝送する形式のインターフェースを用いる場合にも、この発明を適用することができる。
【０１４９】
また、機器間を接続するインターフェースは、デジタルインターフェースに限るものではなく、アナログインターフェースであってももちろんよい。
【０１５０】
また、上述した実施の形態においては、映像音響信号再生装置１と音声出力装置２とは別体のものとして説明したが、これに限るものではない。映像音響信号再生装置１と音声出力装置２と一体の装置である場合にも、この発明を適用することができる。
【図面の簡単な説明】
【０１５１】
【図１】この発明の一実施の形態が適用された映像音声処理システムの概要を説明するためのブロック図である。
【図２】遅延制御情報を映像表示装置３から音声出力装置２のみに対して通知する態様の映像音声処理システムを説明するためのブロック図である。
【図３】遅延制御情報を映像表示装置３から映像音響信号再生装置１のみに対して通知する態様の映像音声処理システムを説明するためのブロック図である。
【図４】遅延制御情報を映像表示装置３から、音声出力装置２と映像音響信号再生装置１との両方に通知する態様の映像音声処理システムを説明するためのブロック図である。
【図５】遅延制御情報Ｃｔを２バイト（byte）で構成するようにした場合の例を説明するための図である。
【図６】遅延制御情報Ｃｔを４バイト（byte）で構成するようにした場合の例を説明するための図である。
【図７】従来の映像音声処理システムの一例を説明するための図である。
【符号の説明】
【０１５２】
１…映像音響信号再生装置、１１…記録媒体ドライブ、１２…読み出し部、１３…遅延処理部、１４…Ｉ／Ｆ、２…音声出力装置、２１…音声そり部、２１１…制御部、２１２…遅延処理部、２１３…増幅部、２２、２３…Ｉ／Ｆ、ＳＰ…スピーカ、３…映像表示装置、３１…Ｉ／Ｆ、３２…映像・音声処理部、３３…制御部
【図１】
0004544190.tif 000002
【図２】
0004544190.tif 000003
【図３】
0004544190.tif 000004
【図４】
0004544190.tif 000005
【図５】
0004544190.tif 000006
【図６】
0004544190.tif 000007
【図７】
0004544190.tif 000008