(57)【要約】【課題】本発明は、映像データと音声データの同期を取ることを目的とする。【解決手段】映像データと音声データをそれぞれ圧縮部で圧縮してメモリに入力し、それぞれメモリで遅延させる。遅延された映像データと音声データはメモリから出力された後伸張部で伸張される。また、制御部では、映像データと音声データのフォーマット情報を基に映像データと音声データのそれぞれのメモリでの遅延時間を決定する。かかる遅延時間の調整により、映像データと音声データの同期を取る。【選択図】図１
2019125994.tif 000002
【特許請求の範囲】
【請求項１】
映像データと音声データのタイミングを合わせて出力する映像音声再生装置であって、
入力された映像データ及び／または音声データのフォーマット情報を抽出する映像処理部と、
前記フォーマット情報を基に映像データ及び／または音声データの処理時間を特定し、映像データと音声データの時間差を検出する制御部と、
前記制御部で検出した映像データと音声データの時間差を基に映像データ及び／または音声データを遅延するメモリと、
を具備したことを特徴とする映像音声再生装置。
【請求項２】
請求項１に記載の映像音声再生装置であって、
前記制御部は前記フォーマット情報に加え、映像データ及び／または音声データの処理の仕方の情報を基に映像データ及び／または音声データの処理時間を特定することを特徴とする映像音声再生装置。
【請求項３】
請求項１または請求項２に記載の映像音声再生装置であって、
前記映像データ及び／または音声データを圧縮する圧縮部と、
前記圧縮された映像データ及び／または音声データを伸張する伸張部と、
を具備し、前記圧縮部は、前記メモリへの入力前に映像データ及び／または音声データを圧縮し、前記伸張部は、前記メモリから出力された映像データ及び／または音声データを伸張する、
ことを特徴とする映像音声再生装置。
【請求項４】
請求項３に記載の映像音声再生装置であって、
前記圧縮部は、前記映像データの画素数、または、フレームレート、または、ビット数を削減することを特徴とする映像音声再生装置。
【請求項５】
請求項３に記載の映像音声再生装置であって、
前記圧縮部は、前記音声データのサンプリングレート、または、ビット数を削減することを特徴とする映像音声再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像音声再生装置に関わり、特に再生時の映像と音声の同期を取る映像音声再生装置に関するものである。
【背景技術】
【０００２】
テレビジョン受信機などに代表される映像と音声を再生する装置は、映像データの信号処理と音声データの信号処理が個別に行われる場合が有る。このような場合、映像データの信号処理にかかる時間と音声データの信号処理にかかる時間は必ずしも一致しない。一般的には、映像データの方が音声データよりもデータ量が多いので、それに起因して、映像データの信号処理にかかる時間の方が音声データの信号処理にかかる時間よりも長くなる。そのため、テレビ受信機の映像と音声の再生タイミングが一致せず、その結果、映像の内容と音声がずれるという問題が生じる。
【０００３】
このような問題に対して、テレビジョン受信機の映像と音声の再生タイミングを一致させる（映像と音声の再生タイミングの同期を取る）技術はリップシンクと称される。
【０００４】
このようなリップシンクを取る技術として特許文献１に開示された技術が有る。
【先行技術文献】
【特許文献】
【０００５】
特許５５９０１８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示された技術は、映像データの信号処理の系統と音声データの信号処理の系統のそれぞれにメモリを入れ、メモリへのデータの書き込み／読み出しタイミングを制御することで、映像と音声の再生タイミングの同期を取るものである。
【０００７】
特許文献１に開示された技術では、メモリの容量により映像と音声のずれを補正できる量が決まってしまう。メモリ容量以上に映像データと音声データがずれた場合は、映像と音声の再生タイミングの同期を取ることができないという課題が有る。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明は以下のような構成を取る。
【０００９】
即ち、映像データと音声データのタイミングを合わせて出力する映像音声再生装置であって、入力された映像データ及び／または音声データのフォーマット情報を抽出する映像処理部と、前記フォーマット情報を基に映像データ及び／または音声データの処理時間を特定し、映像データと音声データの時間差を検出する制御部と、前記制御部で検出した映像データと音声データの時間差を基に映像データ及び／または音声データを遅延するメモリと、を具備した。
【００１０】
ここで、前記制御部は前記フォーマット情報に加え、映像データ及び／または音声データの処理の仕方の情報を基に映像データ及び／または音声データの処理時間を特定しても良い。
【００１１】
また、本発明にかかる映像音声再生装置は、前記映像データ及び／または音声データを
圧縮する圧縮部と、前記圧縮された映像データ及び／または音声データを伸張する伸張部と、を具備し、前記圧縮部は、前記メモリへの入力前に映像データ及び／または音声データを圧縮し、前記伸張部は、前記メモリから出力された映像データ及び／または音声データを伸張する。
【００１２】
ここで、前記圧縮部は、前記映像データの画素数、または、フレームレート、または、ビット数を削減する。
【００１３】
または、前記圧縮部は、前記音声データのサンプリングレート、または、ビット数を削減する。
【発明の効果】
【００１４】
本発明によれば、少ないメモリ容量でも映像データと音声データの大きなずれを補正し、リップシンクを取ることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明にかかる映像音声再生装置のブロック図である。
【図２】フォーマット情報と処理の仕方による処理時間のテーブル例である。
【図３】圧縮、伸張にかかる時間のテーブル例である。
【図４】本発明にかかる映像音声再生装置の他のブロック図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら、本発明の映像音声再生装置に係る好適な実施の形態について説明する。以下の説明において、異なる図面においても同じ符号を付した構成は同様のものであるとして、その説明を省略する場合がある。なお、本発明は、これらの実施形態での例示に限定されるものではなく、特許請求の範囲に記載された事項の範囲内および均等の範囲内におけるすべての変更を含む。
（第１の実施形態）
図１は、本発明の映像音声再生装置のブロック図である。
図１において、１は、映像音声再生装置である。具体的には、テレビジョン受信機等が該当する。２は、映像及び音声のソース源である。具体的には、ＤＶＤプレーヤ等が該当する。１０１は、映像処理部であり、１０２は、映像圧縮部であり、１０３は、映像メモリであり、１０４は映像伸張部であり、１０５は、表示部であり、１０６は、音声処理部であり、１０７は、音声圧縮部であり、１０８は、音声メモリであり、１０９は、音声伸張部であり、１１０は、スピーカであり、１１１は、制御部である。
【００１７】
ソース源であるＤＶＤプレーヤ等から出力された映像データは、映像処理部１０１に入力される。また、同様にソース源であるＤＶＤプレーヤ等から出力された音声データは、音声処理部１０６に入力される。
【００１８】
映像処理部１０１は、入力された映像データのフォーマット情報を抽出する、映像フォーマットとしては、例えば、８Ｋ、４Ｋ、２Ｋ等が有る。８Ｋの映像フォーマットとは、例えば、画素数７６８０×４３２０画素、フレームレート６０Ｈｚプログレッシブ、輝度ビット数１０ビット、色差ビット数１０ビットである。また、４Ｋの映像フォーマットとは、例えば、画素数３８４０×２１６０画素、フレームレート６０Ｈｚプログレッシブ、輝度ビット数１０ビット、色差ビット数１０ビットである。また、２Ｋの映像フォーマットとは、例えば、画素数１９２０×１０８０画素、フレームレート６０Ｈｚインターレース、輝度ビット数８ビット、色差ビット数８ビットである。
映像処理部１０１で抽出された入力映像データのフォーマットの情報は、制御部１１１に入力される。
【００１９】
同様に、音声処理部１０６は、入力された音声データのフォーマット情報を抽出する。音声フォーマットとしては、例えば、ＡＡＣ、ＡＬＳ等が有る。
音声処理部１０６で抽出された入力音声データのフォーマットの情報は、制御部１１１に入力される。
【００２０】
制御部１１１は、フォーマット情報と処理の仕方による処理時間のテーブルを持っている。ここで、処理の仕方とは、映像データであれば、「スタンダード」、「シアター」、「ダイナミック」、「カスタム」等と称し、輝度レベルや、コントラスト、色合い、等をそれぞれ調整し、映像の内容（ジャンル）やユーザの好みを反映した映像信号に加工する処理である。
同様に、音声データであれば、「スタンダード」、「シアター」、「ミュージック」、「オート」等と称し、周波数特性や、音圧、等をそれぞれ調整し、音楽の種類（ジャンル）や、ユーザの好みを反映した音声信号に加工する処理である。
【００２１】
上記のようなテーブルは、例えば、図２のように表わされる。図２（a）は、映像デー
タのフォーマット情報と処理の仕方による処理時間のテーブルの例であり、図２（ｂ）は、音声データのフォーマット情報と処理の仕方による処理時間のテーブルの例である。フォーマット情報と処理の仕方の組み合わせごとに処理時間が規定されている。
かかるテーブルにより、映像処理部１０１および音声処理部１０６において、映像データ、音声データの処理にかかる時間が把握できる。これにより、制御部１１１は、映像処理部１０１及び音声処理部１０６から出力された映像データと音声データ時間差を把握することができる。
【００２２】
映像処理部１０１から出力された映像データは、次に、映像圧縮部１０２に入力される。映像圧縮部１０２は、映像データのデータ量を削減する処理を行う。映像データのデータ量の削減とは、例えば、８Ｋフォーマットの映像を４Ｋフォーマットの映像に変換する、同様に、８Ｋフォーマットの映像を２Ｋフォーマットの映像に変換する、同様に、４Ｋフォーマットの映像を２Ｋフォーマットの映像に変換する、などが考えられる。具体的には、画素数を削減する、フレームレートを低減する、ビット数を削減する等である。
【００２３】
同様に、音声処理部１０６から出力された音声データは、次に、音声圧縮部１０７に入力される。音声圧縮部１０７は、音声データのデータ量を削減する処理を行う。音声データのデータ量の削減とは、例えば、サンプリングレート低下させる、ビット数を削減する等が考えられる。
【００２４】
制御部１１１は、映像データ及び音声データのそれぞれのデータ量削減にかかる時間のテーブルを持っている。映像データのデータ量の削減にかかる時間のテーブルとは、例えば、図３（a）のようなものである。
【００２５】
映像圧縮部１０２でデータ量の削減が行われた映像データは、映像メモリ１０３に入力される。映像メモリ１０３では、メモリへのデータの書き込み、読み出しタイミングを制御することで映像データを所定の時間遅延させる。
【００２６】
同様に、音声圧縮部１０７でデータ量の削減が行われた音声データは、音声メモリ１０８に入力される。音声メモリ１０８では、メモリへのデータの書き込み、読み出しタイミングを制御することで音声データを所定の時間遅延させる。
このように、メモリへ入力する前に映像データ及び音声データのデータ量を削減することにより、メモリで遅延できる時間を長くすることができる。
尚、所定の時間の決め方については、後述する。
【００２７】
映像メモリ１０３で所定の時間遅延された映像データは、映像伸張部１０４へ入力される。映像伸張部１０４では、映像圧縮部１０２で削減されたデータ量を戻す処理を行う。例えば、映像圧縮部１０２で８Ｋフォーマットの映像を４Ｋフォーマットの映像のデータ量に削減された場合は、データ量の削減された４Ｋフォーマットの映像を８Ｋフォーマットの映像のデータ量に戻す。同様に、８Ｋフォーマットの映像を２Ｋフォーマットの映像のデータ量に削減された場合は、データ量の削減された２Ｋフォーマットの映像を８Ｋフォーマットの映像のデータ量に戻す。同様に、４Ｋフォーマットの映像を２Ｋフォーマットの映像のデータ量に削減された場合は、データ量の削減された２Ｋフォーマットの映像を４Ｋフォーマットの映像のデータ量に戻す。
具体的には、画素数を補完する、フレームレートを増やす、ビット数を増やす等である。
【００２８】
同様に、音声メモリ１０８で所定の時間遅延された音声データは、音声伸張部１０９へ入力される。音声伸張部１０９では、音声圧縮部１０７で削減されたデータ量を戻す処理を行う。
例えば、音声圧縮部１０７でサンプリングレートを低下させて音声のデータを削減した場合は、サンプリングレートを高くして音声のデータ量を戻す。同様に、音声圧縮部１０７でビット数を削減して音声のデータを削減した場合は、ビット数を増やして音声のデータ量を戻す。
【００２９】
制御部１１１は、映像データ及び音声データのそれぞれのデータ量の復元にかかる時間のテーブルを持っている。映像データのデータ量の復元にかかる時間のテーブルとは、例えば、図３（ｂ）のようなものである。
【００３０】
このように、制御部１１１は、映像処理部１０１及び映像圧縮部１０２及び映像伸張部１０４のそれぞれの処理でかかる時間を把握している。従って、映像処理部１０１及び映像圧縮部１０２及び映像伸張部１０４の全体でかかる時間も把握することができる。同様に、制御部１１１は、音声処理部１０６及び音声圧縮部１０７及び音声伸張部１０９のそれぞれの処理でかかる時間を把握している。従って、音声処理部１０６及び音声圧縮部１０７及び音声伸張部１０９の全体でかかる時間も把握することができる。
【００３１】
以上のことから、制御部１１１は、映像処理部１０１及び映像圧縮部１０２及び映像伸張部１０４の全体でかかる時間と音声処理部１０６及び音声圧縮部１０７及び音声伸張部１０９の全体でかかる時間の時間差も把握することができる。かかる時間差を無くすように映像メモリ１０３及び音声メモリ１０８の遅延時間（前述の所定の時間）を制御すれば映像データと音声データのリップシンク（同期）を取ることができる。
【００３２】
かかる実施形態によれば、映像データ及び音声データをそれぞれ圧縮（データ削減）した上でメモリで遅延させているので、メモリ容量が少ない場合でも大きな遅延量を得ることができ、映像データ及び音声データのずれが大きい場合でも映像データ及び音声データのリップシンク(同期)を取ることができる。
【００３３】
このようにリップシンクの取られた映像データは表示部１０５で表示され、音声データはスピーカ１１０から放音される。
（第２の実施形態）
第１の実施形態では、映像データ及び音声データ共に圧縮／伸張処理を行うものとして説明した。しかし、メモリの容量と映像データと音声データのずれ量によっては、必ずしも映像データ及び音声データ共に圧縮／伸張処理を行う必要の無い場合もある。
【００３４】
第２の実施形態では、メモリの容量と映像データと音声データのずれ量によって映像デ
ータ及び音声データ共に圧縮／伸張処理を行うか否かを制御する場合の実施形態を説明する。
【００３５】
制御部１１１は、フォーマット情報と処理の仕方による処理時間のテーブルと、映像データ及び音声データのそれぞれのデータ量削減にかかる時間のテーブルと、映像データ及び音声データのそれぞれのデータ量の復元にかかる時間のテーブルを持っている。
これらのテーブルにより映像処理部１０１及び映像圧縮部１０２及び映像伸張部１０４のそれぞれの処理でかかる時間が把握できる。同様に、音声処理部１０６及び音声圧縮部１０７及び音声伸張部１０９のそれぞれの処理でかかる時間も把握できる。
【００３６】
これに加え、制御部１１１に映像メモリ１０３のメモリ容量及び音声メモリ１０８のメモリ容量の情報を持たせる。
これにより、制御部１１１は、映像処理部１０１でかかる時間と音声処理部１０６でかかる時間の時間差が、映像メモリ１０３及び音声メモリ１０８で遅延できる時間より短い場合は、映像データ及び音声データの圧縮／伸張処理を行わず、映像処理部１０１でかかる時間と音声処理部１０６でかかる時間の時間差が、映像メモリ１０３及び音声メモリ１０８で遅延できる時間より長い場合は、映像データ及び音声データの圧縮／伸張処理を行うように制御する。
ここで、映像データと音声データの一方のみを圧縮／伸張する処理をするように制御しても良い。
（第３の実施形態）
第１の実施形態及び第２の実施形態では、映像データ及び音声データをそれぞれメモリで遅延させてリップシンクを取っていたが、必ずしも、映像データ及び音声データの両方にメモリを具備する必要が無い場合もある。
例えば、ソース源（例えば、ＤＶＤプレーヤ）と映像音声再生装置との間にＡＶアンプが入る場合は、明らかに音声データの方が映像データより遅れるため、映像音声再生装置は、映像データの処理系統にだけメモリを具備すれば良い。第３の実施形態は、そのような場合の実施形態について説明する。
【００３７】
図４は、本発明の第３の実施形態にかかる映像音声再生装置のブロック図である。
図４において、３は、ＡＶアンプである。ソース源２(例えば、ＤＶＤプレーヤ)から出力された映像データは映像音声再生装置１の映像処理部１０１に入力される。一方、ソース源２(例えば、ＤＶＤプレーヤ)から出力された音声データはＡＶアンプ３に入力される。ＡＶアンプ３から出力された音声データは、映像音声再生装置１の音声処理部１０６に入力される。
【００３８】
ここで、音声データは、ＡＶアンプ３を経由することで、映像データより遅れるため、映像音声再生装置１では、映像データのみをメモリ１０３により遅延させる。
音声データは、メモリで遅延することなくスピーカ１１０から放音される。
これにより、音声データ系統のメモリを削減しつつ、リップシンクを取ることができる。
【符号の説明】
【００３９】
１：映像音声再生装置、２：ソース源、３：ＡＶアンプ、１０１：映像処理部、１０２：映像圧縮部、１０３：映像メモリ、１０４：映像伸張部、１０５：表示部、１０６：音声処理部、１０７：音声圧縮部、１０８：音声メモリ、１０９：音声圧縮部、１１０：スピーカ、１１１：制御部
【図１】
2019125994.tif 000003
【図２】
2019125994.tif 000004
【図３】
2019125994.tif 000005
【図４】
2019125994.tif 000006