【手続補正書】
【提出日】平成25年4月19日(2013.4.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第一符号化映像データおよび第一符号化音声データが多重化された第一多重化データから、第二符号化映像データおよび第二符号化音声データが多重化された第二多重化データを生成する映像音声変換装置であって、
第一多重化データから第一符号化映像データと第一符号化音声データを多重分離する分離部と、
前記分離部で多重分離された第一符号化映像データを復号化することにより、映像データを生成する映像復号化部と、
前記分離部で多重分離された第一符号化音声データを復号化することにより、音声データを生成する音声復号化部と、
前記映像復号化部で生成された映像データを符号化することにより、第二符号化映像データを生成する映像符号化部と、
前記音声復号化部で生成された音声データを符号化することにより、第二符号化音声データを生成する音声符号化部と、
前記映像符号化部で生成された第二符号化映像データと前記音声符号化部で生成された第二符号化音声データの多重化を行うことにより、第二多重化データを生成する多重部とを備え、
前記分離部は、前記映像復号化部および前記音声復号化部での復号化の進行状況に基づいて、前記分離部での多重分離の停止および再開を制御し、
前記映像復号化部は、前記分離部での多重分離の進行状況および前記映像符号化部での符号化の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、
前記音声復号化部は、前記分離部での多重分離の進行状況および前記音声符号化部での符号化の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、
前記映像符号化部は、前記映像復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記映像符号化部での符号化の停止および再開を制御し、
前記音声符号化部は、前記音声復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記音声符号化部での符号化の停止および再開を制御し、
前記多重部は、前記映像符号化部および前記音声符号化部での符号化の進行状況に基づいて、前記多重部での多重化の停止および再開を制御し、
前記映像音声変換装置は、さらに、前記映像復号化部が生成した映像データの前記映像符号化部への転送と前記音声復号化部が生成した音声データの前記音声符号化部への転送のタイミングを調整する同期制御部を備え、
前記分離部は、さらに、前記第一多重化データに付加されている時刻情報を前記同期制御部へ通知し、
前記時刻情報は、映像データの出力に関する映像出力時刻情報と音声データの出力に関する音声出力時刻情報を含んでおり、
前記同期制御部は、システム基準時間に比例してカウントアップする基準時間が前記映像出力時刻情報に達したことに合わせて、前記映像復号化部が生成した映像データの転送を行い、システム基準時間に比例してカウントアップする基準時間が前記音声出力時刻情報に達したことに合わせて、前記音声復号化部が生成した音声データの転送を行うことで映像データと音声データの同期制御を行い、
前記映像復号化部は、前記映像符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、
前記音声復号化部は、前記音声符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、
前記映像符号化部は、前記映像復号化部が生成した映像データの符号化として、前記同期制御部で同期された映像データの符号化を行い、前記映像復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
前記音声符号化部は、前記音声復号化部が生成した音声データの符号化として、前記同期制御部で同期された音声データの符号化を行い、前記音声復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
前記同期制御部は、Ｎ倍の速度で同期制御を行い、
前記Ｎは、前記分離部、前記映像復号化部、前記音声復号化部、前記映像符号化部、前記音声符号化部および前記多重部が動作可能なレート変換ダビングの変換速度の倍速値の最小値である
映像音声変換装置。
【請求項２】
第一符号化映像データおよび第一符号化音声データが多重化された第一多重化データから、第二符号化映像データおよび第二符号化音声データが多重化された第二多重化データを生成する映像音声変換装置であって、
第一多重化データから第一符号化映像データと第一符号化音声データを多重分離する分離部と、
前記分離部で多重分離された第一符号化映像データを復号化することにより、映像データを生成する映像復号化部と、
前記分離部で多重分離された第一符号化音声データを復号化することにより、音声データを生成する音声復号化部と、
前記映像復号化部で生成された映像データを符号化することにより、第二符号化映像データを生成する映像符号化部と、
前記音声復号化部で生成された音声データを符号化することにより、第二符号化音声データを生成する音声符号化部と、
前記映像符号化部で生成された第二符号化映像データと前記音声符号化部で生成された第二符号化音声データの多重化を行うことにより、第二多重化データを生成する多重部とを備え、
前記分離部は、前記映像復号化部および前記音声復号化部での復号化の進行状況に基づいて、前記分離部での多重分離の停止および再開を制御し、
前記映像復号化部は、前記分離部での多重分離の進行状況および前記映像符号化部での符号化の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、
前記音声復号化部は、前記分離部での多重分離の進行状況および前記音声符号化部での符号化の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、
前記映像符号化部は、前記映像復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記映像符号化部での符号化の停止および再開を制御し、
前記音声符号化部は、前記音声復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記音声符号化部での符号化の停止および再開を制御し、
前記多重部は、前記映像符号化部および前記音声符号化部での符号化の進行状況に基づいて、前記多重部での多重化の停止および再開を制御し、
前記映像音声変換装置は、さらに、前記映像復号化部が生成した映像データの前記映像符号化部への転送と前記音声復号化部が生成した音声データの前記音声符号化部への転送のタイミングを調整する同期制御部を備え、
前記分離部は、さらに、前記第一多重化データに付加されている時刻情報を前記同期制御部へ通知し、
前記時刻情報は、映像データの出力に関する映像出力時刻情報と音声データの出力に関する音声出力時刻情報を含んでおり、
前記同期制御部は、システム基準時間に比例してカウントアップする基準時間が前記映像出力時刻情報に達したことに合わせて、前記映像復号化部が生成した映像データの転送を行い、システム基準時間に比例してカウントアップする基準時間が前記音声出力時刻情報に達したことに合わせて、前記音声復号化部が生成した音声データの転送を行うことで映像データと音声データの同期制御を行い、
前記映像復号化部は、前記映像符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、
前記音声復号化部は、前記音声符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、
前記映像符号化部は、前記映像復号化部が生成した映像データの符号化として、前記同期制御部で同期された映像データの符号化を行い、前記映像復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
前記音声符号化部は、前記音声復号化部が生成した音声データの符号化として、前記同期制御部で同期された音声データの符号化を行い、前記音声復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
前記映像音声変換装置は、さらに、
前記同期制御部へ遅延の制御通知を行う遅延制御部と、
前記同期制御部での同期制御に対して前記映像復号化部での復号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第一遅延検知部と、
前記同期制御部での同期制御に対して前記音声復号化部での復号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第二遅延検知部と、
前記同期制御部での同期制御に対して前記映像符号化部での符号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第三遅延検知部と、
前記同期制御部での同期制御に対して前記音声符号化部での符号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第四遅延検知部を備え、
前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部の各々は、前記遅延制御部に対して、遅延を検知すれば遅延通知を行い、遅延の解消を検知すれば再開通知を行い、
前記遅延制御部は、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部のいずれかより遅延通知を受けると遅延の制御通知として前記同期制御部に同期制御の停止通知を行い、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部のいずれかより再開通知を受けると遅延の制御通知として前記同期制御部に同期制御の再開通知を行う
映像音声変換装置。
【請求項３】
前記第一遅延検知部は、前記映像復号化部が生成した映像データを前記映像復号化部から前記同期制御部へ転送する際に一時的に格納する第九中間バッファのデータ蓄積状況に基づいて前記映像復号化部での復号化の遅延を検知し、
前記第二遅延検知部は、前記音声復号化部が生成した音声データを前記音声復号化部から前記同期制御部へ転送する際に一時的に格納する第十中間バッファのデータ蓄積状況に基づいて前記音声復号化部での復号化の遅延を検知し、
前記第三遅延検知部は、前記同期制御部が同期制御した映像データを前記同期制御部から前記映像符号化部へ転送する際に一時的に格納する第十一中間バッファのデータ蓄積状況に基づいて前記映像符号化部での符号化の遅延を検知し、
前記第四遅延検知部は、前記同期制御部が同期制御した音声データを前記同期制御部から前記音声符号化部へ転送する際に一時的に格納する第十二中間バッファのデータ蓄積状況に基づいて前記音声符号化部での符号化の遅延を検知する
請求項２に記載の映像音声変換装置。
【請求項４】
前記第一遅延検知部は、前記映像復号化部が生成した映像データのフレーム数と前記同期制御部が同期制御を行った映像データのフレーム数を監視することにより前記映像復号化部での復号化の遅延を検知し、
前記第二遅延検知部は、前記音声復号化部が生成した音声データのフレーム数と前記同期制御部が同期制御を行った音声データのフレーム数を監視することにより前記音声復号化部での復号化の遅延を検知し、
前記第三遅延検知部は、前記同期制御部が同期制御を行った映像データのフレーム数と前記映像符号化部が生成した第二符号化映像データのフレーム数を監視することにより前記映像符号化部での符号化の遅延を検知し、
前記第四遅延検知部は、前記同期制御部が同期制御を行った音声データのフレーム数と前記音声符号化部が生成した第二符号化音声データのフレーム数を監視することにより前記音声符号化部での符号化の遅延を検知する
請求項２に記載の映像音声変換装置。
【請求項５】
前記遅延制御部は、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部のいずれかから遅延通知を受けると前記同期制御部へ同期制御の停止信号を通知し、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部のいずれかから再開通知を受けると前記同期制御部へ同期制御の再開信号を通知し、
前記同期制御部は、前記遅延制御部から停止信号を受けると同期制御の状態を保持して同期制御を停止し、前記遅延制御部から再開信号を受けると保持している停止時の状態で同期制御を再開する
請求項２に記載の映像音声変換装置。
【請求項６】
前記同期制御部は、Ｎ倍の速度で同期制御を行い、
前記Ｎは、前記分離部、前記映像復号化部、前記音声復号化部、前記映像符号化部、前記音声符号化部および前記多重部が動作可能なレート変換ダビングの変換速度の倍速値の最小値であり、
前記遅延制御部は、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部のいずれかから遅延通知を受けると、前記同期制御部へ同期制御で使用する前記Ｎの切り替え信号を通知し、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部のいずれかから再開通知を受けると、前記同期制御部へ同期制御の再開信号を通知し、
前記同期制御部は、前記遅延制御部から切り替え信号を受けると所定の値で減算した前記Ｎを同期制御の倍速値として使用し、前記遅延制御部から再開信号を受けると前記Ｎを同期制御の倍速値として使用する
請求項２に記載の映像音声変換装置。
【請求項７】
さらに、前記同期制御部へ前記Ｎの通知を行う倍速通知部を備える
請求項１に記載の映像音声変換装置。
【請求項８】
前記倍速通知部は、外部からの指示により、通知する前記Ｎを選択する
請求項７に記載の映像音声変換装置。
【請求項９】
さらに、前記分離部での多重分離、前記映像復号化部での復号化、前記音声復号化部での復号化、前記映像符号化部での符号化、前記音声符号化部での符号化、または前記多重部での多重化に影響する動作設定に応じた前記Ｎを前記倍速通知部に通知する動作モード判定部を備え、
前記倍速通知部は、前記動作モード判定部から通知された前記Ｎを前記同期制御部へ通知する
請求項７に記載の映像音声変換装置。
【請求項１０】
さらに、レート変換ダビング開始前に前記Ｎの測定を行い、測定した前記Ｎを前記倍速通知部に通知する倍速測定部を備え、
前記倍速通知部は、前記倍速測定部から通知された前記Ｎを前記同期制御部へ通知する
請求項７に記載の映像音声変換装置。
【請求項１１】
さらに、
前記分離部での多重分離、前記映像復号化部での復号化、前記音声復号化部での復号化、前記映像符号化部での符号化、前記音声符号化部での符号化、または前記多重部での多重化に影響する動作設定に応じた動作モードを判定する動作モード判定部と、
レート変換ダビング開始前に前記Ｎの測定を行う倍速測定部と、
測定した前記Ｎを記録する倍速記録メモリとを備え、
前記動作モード判定部は、動作モードに応じた前記Ｎが前記倍速記録メモリに記録されている場合は、記録されている前記Ｎを前記倍速通知部に通知し、動作モードに応じた前記Ｎが前記倍速記録メモリに記録されていない場合は、前記倍速測定部へ起動通知を行い、
前記倍速測定部は、動作モードごとに最適な前記Ｎを測定し、前記倍速記録メモリ上に動作モードごとの前記Ｎを記録するとともに、前記倍速通知部へ前記Ｎを通知する
請求項７に記載の映像音声変換装置。
【請求項１２】
さらに、
同期制御を行う速度の倍率であるＮをレート変換ダビング中に切り替えて、前記同期制御部へ通知する倍速通知部を備える
請求項２に記載の映像音声変換装置。
【請求項１３】
さらに、
所定の期間に前記遅延制御部による同期制御のタイミング調整の発生回数が所定の回数よりも大きい場合は、前記Ｎから所定の値を減算した値を前記Ｎとして、前記倍速通知部へ通知し、同期制御のタイミング調整が発生しなかった場合は、前記Ｎに所定の値を加算した値を前記Ｎとして、前記倍速通知部に通知する倍速測定部を備え、
前記遅延制御部は、同期制御のタイミング調整が発生したことを前記倍速測定部へ通知し、
前記倍速通知部は、前記倍速測定部から通知された前記Ｎを前記同期制御部へ通知する
請求項１２に記載の映像音声変換装置。
【請求項１４】
さらに、前記Ｎにより、前記分離部での多重分離、前記映像復号化部での復号化、前記音声復号化部での復号化、前記映像符号化部での符号化、前記音声符号化部での符号化、または前記多重部での多重化に影響する動作設定を行う倍速判定部を備える
請求項１に記載の映像音声変換装置。
【請求項１５】
第一符号化映像データおよび第一符号化音声データが多重化された第一多重化データから、第二符号化映像データおよび第二符号化音声データが多重化された第二多重化データを生成する映像音声変換方法であって、
第一多重化データから映像データと音声データを多重分離する分離ステップと、
前記分離ステップで多重分離された第一符号化映像データを復号化することにより、映像データを生成する映像復号化ステップと、
前記分離ステップで多重分離された第一符号化音声データを復号化することにより、音声データを生成する音声復号化ステップと、
前記映像復号化ステップで生成された映像データを符号化することにより、第二符号化映像データを生成する映像符号化ステップと、
前記音声復号化ステップで生成された音声データを符号化することにより、第二符号化音声データを生成する音声符号化ステップと、
前記映像符号化ステップで生成された第二符号化映像データと前記音声符号化ステップで生成された第二符号化音声データの多重化を行うことにより、第二多重化データを生成する多重ステップとを含み、
前記分離ステップでは、前記映像復号化ステップおよび前記音声復号化ステップでの復号化の進行状況に基づいて、多重分離の停止および再開を制御し、
前記映像復号化ステップでは、前記分離ステップでの多重分離の進行状況および前記映像符号化ステップでの符号化の進行状況に基づいて、復号化の停止および再開を制御し、
前記音声復号化ステップでは、前記分離ステップでの多重分離の進行状況および前記音声符号化ステップでの符号化の進行状況に基づいて、復号化の停止および再開を制御し、
前記映像符号化ステップでは、前記映像復号化ステップでの復号化の進行状況および前記多重ステップでの多重化の進行状況に基づいて、符号化の停止および再開を制御し、
前記音声符号化ステップでは、前記音声復号化ステップでの復号化の進行状況および前記多重ステップでの多重化の進行状況に基づいて、符号化の停止および再開を制御し、
前記多重ステップでは、前記映像符号化ステップおよび前記音声符号化ステップでの符号化の進行状況に基づいて、多重化の停止および再開を制御し、
前記映像音声変換方法は、さらに、前記映像復号化ステップで生成された映像データの前記映像符号化ステップでの符号化のための転送と前記音声復号化ステップで生成された音声データの前記音声符号化ステップでの符号化のための転送のタイミングを調整する同期制御ステップを含み、
前記分離ステップでは、さらに、前記第一多重化データに付加されている時刻情報を出力し、
前記時刻情報は、映像データの出力に関する映像出力時刻情報と音声データの出力に関する音声出力時刻情報を含んでおり、
前記同期制御ステップでは、システム基準時間に比例してカウントアップする基準時間が前記映像出力時刻情報に達したことに合わせて、前記映像復号化ステップで生成された映像データの転送を行い、システム基準時間に比例してカウントアップする基準時間が前記音声出力時刻情報に達したことに合わせて、前記音声復号化ステップで生成された音声データの転送を行うことで映像データと音声データの同期制御を行い、
前記映像復号化ステップでは、前記映像符号化ステップでの符号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、復号化の停止および再開を制御し、
前記音声復号化ステップでは、前記音声符号化ステップでの符号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、復号化の停止および再開を制御し、
前記映像符号化ステップでは、前記映像復号化ステップで生成された映像データの符号化として、前記同期制御ステップで同期された映像データの符号化を行い、前記映像復号化ステップでの復号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
前記音声符号化ステップでは、前記音声復号化ステップで生成された音声データの符号化として、前記同期制御ステップで同期された音声データの符号化を行い、前記音声復号化ステップでの復号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
前記同期制御ステップでは、Ｎ倍の速度で同期制御を行い、
前記Ｎは、前記分離ステップ、前記映像復号化ステップ、前記音声復号化ステップ、前記映像符号化ステップ、前記音声符号化ステップおよび前記多重ステップで動作可能な倍速値の最小値である
映像音声変換方法。
【請求項１６】
第一符号化映像データおよび第一符号化音声データが多重化された第一多重化データから、第二符号化映像データおよび第二符号化音声データが多重化された第二多重化データを生成する映像音声変換方法であって、
第一多重化データから映像データと音声データを多重分離する分離ステップと、
前記分離ステップで多重分離された第一符号化映像データを復号化することにより、映像データを生成する映像復号化ステップと、
前記分離ステップで多重分離された第一符号化音声データを復号化することにより、音声データを生成する音声復号化ステップと、
前記映像復号化ステップで生成された映像データを符号化することにより、第二符号化映像データを生成する映像符号化ステップと、
前記音声復号化ステップで生成された音声データを符号化することにより、第二符号化音声データを生成する音声符号化ステップと、
前記映像符号化ステップで生成された第二符号化映像データと前記音声符号化ステップで生成された第二符号化音声データの多重化を行うことにより、第二多重化データを生成する多重ステップとを含み、
前記分離ステップでは、前記映像復号化ステップおよび前記音声復号化ステップでの復号化の進行状況に基づいて、多重分離の停止および再開を制御し、
前記映像復号化ステップでは、前記分離ステップでの多重分離の進行状況および前記映像符号化ステップでの符号化の進行状況に基づいて、復号化の停止および再開を制御し、
前記音声復号化ステップでは、前記分離ステップでの多重分離の進行状況および前記音声符号化ステップでの符号化の進行状況に基づいて、復号化の停止および再開を制御し、
前記映像符号化ステップでは、前記映像復号化ステップでの復号化の進行状況および前記多重ステップでの多重化の進行状況に基づいて、符号化の停止および再開を制御し、
前記音声符号化ステップでは、前記音声復号化ステップでの復号化の進行状況および前記多重ステップでの多重化の進行状況に基づいて、符号化の停止および再開を制御し、
前記多重ステップでは、前記映像符号化ステップおよび前記音声符号化ステップでの符号化の進行状況に基づいて、多重化の停止および再開を制御し、
前記映像音声変換方法は、さらに、前記映像復号化ステップで生成された映像データの前記映像符号化ステップでの符号化のための転送と前記音声復号化ステップで生成された音声データの前記音声符号化ステップでの符号化のための転送のタイミングを調整する同期制御ステップを含み、
前記分離ステップでは、さらに、前記第一多重化データに付加されている時刻情報を出力し、
前記時刻情報は、映像データの出力に関する映像出力時刻情報と音声データの出力に関する音声出力時刻情報を含んでおり、
前記同期制御ステップでは、システム基準時間に比例してカウントアップする基準時間が前記映像出力時刻情報に達したことに合わせて、前記映像復号化ステップで生成された映像データの転送を行い、システム基準時間に比例してカウントアップする基準時間が前記音声出力時刻情報に達したことに合わせて、前記音声復号化ステップで生成された音声データの転送を行うことで映像データと音声データの同期制御を行い、
前記映像復号化ステップでは、前記映像符号化ステップでの符号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、復号化の停止および再開を制御し、
前記音声復号化ステップでは、前記音声符号化ステップでの符号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、復号化の停止および再開を制御し、
前記映像符号化ステップでは、前記映像復号化ステップで生成された映像データの符号化として、前記同期制御ステップで同期された映像データの符号化を行い、前記映像復号化ステップでの復号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
前記音声符号化ステップでは、前記音声復号化ステップで生成された音声データの符号化として、前記同期制御ステップで同期された音声データの符号化を行い、前記音声復号化ステップでの復号化の進行状況として、前記同期制御ステップでの同期制御の進行状況に基づいて、符号化の停止および再開を制御し、
前記映像音声変換方法は、さらに、
前記同期制御ステップでの同期制御のために遅延の制御通知を行う遅延制御ステップと、
前記同期制御ステップでの同期制御に対して前記映像復号化ステップでの復号化の遅延を監視し、遅延状況を前記遅延制御ステップでの遅延制御のために通知する第一遅延検知ステップと、
前記同期制御ステップでの同期制御に対して前記音声復号化ステップでの復号化の遅延を監視し、遅延状況を前記遅延制御ステップでの遅延制御のために通知する第二遅延検知ステップと、
前記同期制御ステップでの同期制御に対して前記映像符号化ステップでの符号化の遅延を監視し、遅延状況を前記遅延制御ステップでの遅延制御のために通知する第三遅延検知ステップと、
前記同期制御ステップでの同期制御に対して前記音声符号化ステップでの符号化の遅延を監視し、遅延状況を前記遅延制御ステップでの遅延制御のために通知する第四遅延検知ステップとを含み、
前記第一遅延検知ステップ、前記第二遅延検知ステップ、前記第三遅延検知ステップおよび前記第四遅延検知ステップの各々では、遅延を検知すれば遅延通知を行い、遅延の解消を検知すれば再開通知を行い、
前記遅延制御ステップでは、前記第一遅延検知ステップ、前記第二遅延検知ステップ、前記第三遅延検知ステップおよび前記第四遅延検知ステップのいずれかにおいて遅延通知が行われると遅延の制御通知として前記同期制御ステップでの同期制御のために同期制御の停止通知を行い、前記第一遅延検知ステップ、前記第二遅延検知ステップ、前記第三遅延検知ステップおよび前記第四遅延検知ステップのいずれかにおいて再開通知が行われると遅延の制御通知として前記同期制御ステップでの同期制御のために同期制御の再開通知を行う
映像音声変換方法。
【請求項１７】
前記第一遅延検知ステップでは、前記映像復号化ステップで生成された映像データを前記同期制御ステップでの同期制御のために一時的に格納する第九中間バッファのデータ蓄積状況に基づいて前記映像復号化ステップでの復号化の遅延を検知し、
前記第二遅延検知ステップでは、前記音声復号化ステップで生成された音声データを前記同期制御ステップでの同期制御のために一時的に格納する第十中間バッファのデータ蓄積状況に基づいて前記音声復号化ステップでの復号化の遅延を検知し、
前記第三遅延検知ステップでは、前記同期制御ステップで同期制御された映像データを前記映像符号化ステップでの符号化のために一時的に格納する第十一中間バッファのデータ蓄積状況に基づいて前記映像符号化ステップでの符号化の遅延を検知し、
前記第四遅延検知ステップでは、前記同期制御ステップで同期制御された音声データを前記音声符号化ステップでの符号化のために一時的に格納する第十二中間バッファのデータ蓄積状況に基づいて前記音声符号化ステップでの符号化の遅延を検知する
請求項１６に記載の映像音声変換方法。
【請求項１８】
前記第一遅延検知ステップでは、前記映像復号化ステップで生成された映像データのフレーム数と前記同期制御ステップで同期制御が行われた映像データのフレーム数を監視することにより前記映像復号化ステップでの復号化の遅延を検知し、
前記第二遅延検知ステップでは、前記音声復号化ステップで生成された音声データのフレーム数と前記同期制御ステップで同期制御が行われた音声データのフレーム数を監視することにより前記音声復号化ステップでの復号化の遅延を検知し、
前記第三遅延検知ステップでは、前記同期制御ステップで同期制御が行われた映像データのフレーム数と前記映像符号化ステップで生成された映像データのフレーム数を監視することにより前記映像符号化ステップでの符号化の遅延を検知し、
前記第四遅延検知ステップでは、前記同期制御ステップで同期制御が行われた音声データのフレーム数と前記音声符号化ステップで生成された音声データのフレーム数を監視することにより前記音声符号化ステップでの符号化の遅延を検知する
請求項１６に記載の映像音声変換方法。
【請求項１９】
前記遅延制御ステップでは、前記第一遅延検知ステップ、前記第二遅延検知ステップ、前記第三遅延検知ステップおよび前記第四遅延検知ステップのいずれかで遅延通知が行われると、前記同期制御ステップでの同期制御のために同期制御の停止信号を通知し、前記第一遅延検知ステップ、前記第二遅延検知ステップ、前記第三遅延検知ステップおよび前記第四遅延検知ステップのいずれかで再開通知が行われると、前記同期制御ステップでの同期制御のために同期制御の再開信号を通知し、
前記同期制御ステップでは、前記遅延制御ステップで停止信号が通知されると同期制御の状態を保持して同期制御を停止し、前記遅延制御ステップで再開信号が通知されると保持している停止時の状態で同期制御を再開する
請求項１６に記載の映像音声変換方法。
【請求項２０】
前記同期制御ステップでは、Ｎ倍の速度で同期制御を行い、
前記Ｎは、前記分離ステップ、前記映像復号化ステップ、前記音声復号化ステップ、前記映像符号化ステップ、前記音声符号化ステップおよび前記多重ステップで動作可能な倍速値の最小値であり、
前記遅延制御ステップでは、前記第一遅延検知ステップ、前記第二遅延検知ステップ、前記第三遅延検知ステップおよび前記第四遅延検知ステップのいずれかで遅延通知が行われると、前記同期制御ステップでの同期制御で使用する前記Ｎの切り替え信号を通知し、前記第一遅延検知ステップ、前記第二遅延検知ステップ、前記第三遅延検知ステップおよび前記第四遅延検知ステップのいずれかで再開通知が行われると、前記同期制御ステップでの同期制御の再開信号を通知し、
前記同期制御ステップでは、前記遅延制御ステップで切り替え信号が通知されると所定の値で減算した前記Ｎを同期制御の倍速値として使用し、前記遅延制御ステップで再開信号が通知されると前記Ｎを同期制御の倍速値として使用する
請求項１６に記載の映像音声変換方法。
【請求項２１】
さらに、前記同期制御ステップでの同期制御のために、前記Ｎの通知を行う倍速通知ステップを含む
請求項１５に記載の映像音声変換方法。
【請求項２２】
前記倍速通知ステップでは、外部からの指示により、通知する前記Ｎを選択する
請求項２１に記載の映像音声変換方法。
【請求項２３】
さらに、前記分離ステップでの多重分離、前記映像復号化ステップでの復号化、前記音声復号化ステップでの復号化、前記映像符号化ステップでの符号化、前記音声符号化ステップでの符号化、または前記多重ステップでの多重化に影響する動作設定に応じた前記Ｎを前記倍速通知ステップでの通知のために通知する動作モード判定ステップを含み、
前記倍速通知ステップでは、前記動作モード判定ステップで通知された前記Ｎを前記同期制御ステップでの同期制御のために通知する
請求項２１に記載の映像音声変換方法。
【請求項２４】
さらに、レート変換ダビング開始前に前記Ｎの測定を行い、測定した前記Ｎを前記倍速通知ステップでの通知のために通知する倍速測定ステップを含み、
前記倍速通知ステップでは、前記倍速測定ステップで通知された前記Ｎを前記同期制御ステップでの同期制御のために通知する
請求項２１に記載の映像音声変換方法。
【請求項２５】
さらに、
前記分離ステップでの多重分離、前記映像復号化ステップでの復号化、前記音声復号化ステップでの復号化、前記映像符号化ステップでの符号化、前記音声符号化ステップでの符号化、または前記多重ステップでの多重化に影響する動作設定に応じた動作モードを判定する動作モード判定ステップと、
レート変換ダビング開始前に前記Ｎの測定を行う倍速測定ステップと、
測定した前記Ｎを倍速記録メモリに記録する記録ステップとを含み、
前記動作モード判定ステップでは、動作モードに応じた前記Ｎが前記倍速記録メモリに記録されている場合は、記録されている前記Ｎを前記倍速通知ステップでの通知のために通知し、動作モードに応じた前記Ｎが前記倍速記録メモリに記録されていない場合は、前記倍速測定ステップでの測定のために起動通知を行い、
前記倍速測定ステップでは、動作モードごとに最適な前記Ｎを測定し、前記倍速記録メモリ上に動作モードごとの前記Ｎを記録するとともに、前記倍速通知ステップでの通知のために前記Ｎを通知する
請求項２１に記載の映像音声変換方法。
【請求項２６】
さらに、
前記同期制御ステップでの同期制御を行う速度の倍率であるＮをレート変換ダビング中に切り替えて、前記同期制御ステップでの同期制御のために通知する倍速通知ステップを含む
請求項１６に記載の映像音声変換方法。
【請求項２７】
さらに、
所定の期間に前記遅延制御ステップによる同期制御のタイミング調整の発生回数が所定の回数よりも大きい場合は、前記Ｎから所定の値を減算した値を前記Ｎとして前記倍速通知ステップでの通知のために通知し、同期制御のタイミング調整が発生しなかった場合は、前記Ｎに所定の値を加算した値を前記Ｎとして、前記倍速通知ステップでの通知のために通知する倍速測定ステップを含み、
前記遅延制御ステップでは、同期制御のタイミング調整が発生したことを前記倍速測定ステップでのタイミング調整の発生回数の測定のために通知し、
前記倍速通知ステップでは、前記倍速測定ステップにおいて通知された前記Ｎを前記同期制御ステップでの同期制御のために通知する
請求項２６に記載の映像音声変換方法。
【請求項２８】
さらに、前記Ｎにより、前記分離ステップでの多重分離、前記映像復号化ステップでの復号化、前記音声復号化ステップでの復号化、前記映像符号化ステップでの符号化、前記音声符号化ステップでの符号化、または前記多重ステップでの多重化に影響する動作設定を行う倍速判定ステップを含む
請求項１５に記載の映像音声変換方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
上記目的を達成するために、本発明のある局面に係る映像音声変換装置は、第一符号化映像データおよび第一符号化音声データが多重化された第一多重化データから、第二符号化映像データおよび第二符号化音声データが多重化された第二多重化データを生成する映像音声変換装置であって、第一多重化データから第一符号化映像データと第一符号化音声データを多重分離する分離部と、前記分離部で多重分離された第一符号化映像データを復号化することにより、映像データを生成する映像復号化部と、前記分離部で多重分離された第一符号化音声データを復号化することにより、音声データを生成する音声復号化部と、前記映像復号化部で生成された映像データを符号化することにより、第二符号化映像データを生成する映像符号化部と、前記音声復号化部で生成された音声データを符号化することにより、第二符号化音声データを生成する音声符号化部と、前記映像符号化部で生成された第二符号化映像データと前記音声符号化部で生成された第二符号化音声データの多重化を行うことにより、第二多重化データを生成する多重部とを備え、前記分離部は、前記映像復号化部および前記音声復号化部での復号化の進行状況に基づいて、前記分離部での多重分離の停止および再開を制御し、前記映像復号化部は、前記分離部での多重分離の進行状況および前記映像符号化部での符号化の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、前記音声復号化部は、前記分離部での多重分離の進行状況および前記音声符号化部での符号化の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、前記映像符号化部は、前記映像復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記映像符号化部での符号化の停止および再開を制御し、前記音声符号化部は、前記音声復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記音声符号化部での符号化の停止および再開を制御し、前記多重部は、前記映像符号化部および前記音声符号化部での符号化の進行状況に基づいて、前記多重部での多重化の停止および再開を制御し、前記映像音声変換装置は、さらに、前記映像復号化部が生成した映像データの前記映像符号化部への転送と前記音声復号化部が生成した音声データの前記音声符号化部への転送のタイミングを調整する同期制御部を備え、前記分離部は、さらに、前記第一多重化データに付加されている時刻情報を前記同期制御部へ通知し、前記時刻情報は、映像データの出力に関する映像出力時刻情報と音声データの出力に関する音声出力時刻情報を含んでおり、前記同期制御部は、システム基準時間に比例してカウントアップする基準時間が前記映像出力時刻情報に達したことに合わせて、前記映像復号化部が生成した映像データの転送を行い、システム基準時間に比例してカウントアップする基準時間が前記音声出力時刻情報に達したことに合わせて、前記音声復号化部が生成した音声データの転送を行うことで映像データと音声データの同期制御を行い、前記映像復号化部は、前記映像符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、前記音声復号化部は、前記音声符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、前記映像符号化部は、前記映像復号化部が生成した映像データの符号化として、前記同期制御部で同期された映像データの符号化を行い、前記映像復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御し、前記音声符号化部は、前記音声復号化部が生成した音声データの符号化として、前記同期制御部で同期された音声データの符号化を行い、前記音声復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御し、前記同期制御部は、Ｎ倍の速度で同期制御を行い、前記Ｎは、前記分離部、前記映像復号化部、前記音声復号化部、前記映像符号化部、前記音声符号化部および前記多重部が動作可能なレート変換ダビングの変換速度の倍速値の最小値である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、同期制御部が、映像データと音声データとの同期制御を行っている。これにより、分離部、映像復号化部、音声復号化部、映像符号化部、音声符号化部および多重部が最善な処理速度で動作することで高速なレート変換ダビングを行うことができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
本発明の他の局面に係る映像音声変換装置は、第一符号化映像データおよび第一符号化音声データが多重化された第一多重化データから、第二符号化映像データおよび第二符号化音声データが多重化された第二多重化データを生成する映像音声変換装置であって、第一多重化データから第一符号化映像データと第一符号化音声データを多重分離する分離部と、前記分離部で多重分離された第一符号化映像データを復号化することにより、映像データを生成する映像復号化部と、前記分離部で多重分離された第一符号化音声データを復号化することにより、音声データを生成する音声復号化部と、前記映像復号化部で生成された映像データを符号化することにより、第二符号化映像データを生成する映像符号化部と、前記音声復号化部で生成された音声データを符号化することにより、第二符号化音声データを生成する音声符号化部と、前記映像符号化部で生成された第二符号化映像データと前記音声符号化部で生成された第二符号化音声データの多重化を行うことにより、第二多重化データを生成する多重部とを備え、前記分離部は、前記映像復号化部および前記音声復号化部での復号化の進行状況に基づいて、前記分離部での多重分離の停止および再開を制御し、前記映像復号化部は、前記分離部での多重分離の進行状況および前記映像符号化部での符号化の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、前記音声復号化部は、前記分離部での多重分離の進行状況および前記音声符号化部での符号化の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、前記映像符号化部は、前記映像復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記映像符号化部での符号化の停止および再開を制御し、前記音声符号化部は、前記音声復号化部での復号化の進行状況および前記多重部での多重化の進行状況に基づいて、前記音声符号化部での符号化の停止および再開を制御し、前記多重部は、前記映像符号化部および前記音声符号化部での符号化の進行状況に基づいて、前記多重部での多重化の停止および再開を制御し、前記映像音声変換装置は、さらに、前記映像復号化部が生成した映像データの前記映像符号化部への転送と前記音声復号化部が生成した音声データの前記音声符号化部への転送のタイミングを調整する同期制御部を備え、前記分離部は、さらに、前記第一多重化データに付加されている時刻情報を前記同期制御部へ通知し、前記時刻情報は、映像データの出力に関する映像出力時刻情報と音声データの出力に関する音声出力時刻情報を含んでおり、前記同期制御部は、システム基準時間に比例してカウントアップする基準時間が前記映像出力時刻情報に達したことに合わせて、前記映像復号化部が生成した映像データの転送を行い、システム基準時間に比例してカウントアップする基準時間が前記音声出力時刻情報に達したことに合わせて、前記音声復号化部が生成した音声データの転送を行うことで映像データと音声データの同期制御を行い、前記映像復号化部は、前記映像符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記映像復号化部での復号化の停止および再開を制御し、前記音声復号化部は、前記音声符号化部での符号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、前記音声復号化部での復号化の停止および再開を制御し、前記映像符号化部は、前記映像復号化部が生成した映像データの符号化として、前記同期制御部で同期された映像データの符号化を行い、前記映像復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御し、前記音声符号化部は、前記音声復号化部が生成した音声データの符号化として、前記同期制御部で同期された音声データの符号化を行い、前記音声復号化部での復号化の進行状況として、前記同期制御部での同期制御の進行状況に基づいて、符号化の停止および再開を制御し、前記映像音声変換装置は、さらに、前記同期制御部へ遅延の制御通知を行う遅延制御部と、前記同期制御部での同期制御に対して前記映像復号化部での復号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第一遅延検知部と、前記同期制御部での同期制御に対して前記音声復号化部での復号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第二遅延検知部と、前記同期制御部での同期制御に対して前記映像符号化部での符号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第三遅延検知部と、前記同期制御部での同期制御に対して前記音声符号化部での符号化の遅延を監視し、遅延状況を前記遅延制御部に通知する第四遅延検知部を備え、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部の各々は、前記遅延制御部に対して、遅延を検知すれば遅延通知を行い、遅延の解消を検知すれば再開通知を行い、前記遅延制御部は、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部のいずれかより遅延通知を受けると遅延の制御通知として前記同期制御部に同期制御の停止通知を行い、前記第一遅延検知部、前記第二遅延検知部、前記第三遅延検知部および前記第四遅延検知部のいずれかより再開通知を受けると遅延の制御通知として前記同期制御部に同期制御の再開通知を行う。