(57)【要約】【課題】  従来、映像と音声とをリアルタイムに送信するために、ＴＳによるタイムスタンプを使用している。また、インターネットを使用するデータ送信においては、ＲＴＰネットワークのジッタ計測やリアルタイム性保持の確認のためＲＦＣ２２５０によるタイムスタンプを用いている。つまり、ネットワーク上で映像と音声とをリアルタイムに送信するためには上記２種類のタイムスタンプを生成する映像音声送信装置が必要となり、装置の構成が複雑かつ高価になるという課題があった。【解決手段】  ＲＴＰ／ヘッダ付加部１３、２３で付加するタイムスタンプ値を３２ビットカウンタ１６より入力する。これにより、ＲＦＣ２２５０によるタイムスタンプによりＡＶ同期を可能とし、ＴＳによるタイムスタンプを不要にすることにより装置の構成を簡単かつ安価にできるという効果がある。【選択図】        図１
2005136675.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を符号化して映像符号化データを出力する映像符号化手段と、  音声信号を符号化して音声符号化データを出力する音声符号化手段と、
上記映像符号化データにネットワーク用の映像ヘッダを付加する映像ヘッダ付加手段と、
上記音声符号化データにネットワーク用の音声ヘッダを付加する音声ヘッダ付加手段と、
上記映像ヘッダ付加手段及び音声ヘッダ付加手段の各々から映像ヘッダ及び音声ヘッダを付加した映像符号化データ及び／又は音声符号化データを入力してネットワーク上に出力するネットワーク伝送手段と、
上記映像ヘッダ及び音声ヘッダに挿入するタイムスタンプ値を提供する共通カウンタとを備えたことを特徴とする映像音声送信装置。
【請求項２】
共通カウンタを９０ＫＨｚで同期させたことを特徴とする請求項１記載の映像音声送信装置。
【請求項３】
請求項１記載の映像音声送信装置からネットワーク伝送データを入力して映像符号化データ及び／又は音声符号化データを分離復号するとともに、
上記復号した映像信号及び／又は音声信号を出力する場合、映像ヘッダ及び音声ヘッダのタイムスタンプ値によりＡＶ同期を図りながら出力することを特徴とする映像音声受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像と音声とをネットワークにて送受信する映像音声送信装置及び映像音声受信装置に関するものである。
【背景技術】
【０００２】
従来の映像音声送信装置及び映像音声受信装置においては、映像と音声を同時にリアルタイムに送受信する方法として、映像と音声をシステム多重する手段が一般的である。例えば特許文献１によれば、非同期にて別々に入力された映像と音声とシステム多重する場合に、符号化装置にてＭＰＥＧ２規格であるＴＳ（トランスポートストリーム）フォーマットにて多重して、復号化装置でリアルタイム再生するための時刻情報として、ＰＣＲ（プログラムカウントリファレンス）と呼ばれるタイムスタンプをＴＳストリームに重畳して送信していた。通常このＰＣＲは映像と音声のリップシンク（ＡＶ同期）を合わせる目的で用いられる。
【０００３】
さらに、このＴＳデータをＩＰなどによるネットワークにて送受信する場合、例えば非特許文献１によれば、上記タイムスタンプを付加したＴＳストリームを、別のタイムスタンプを含むＲＴＰヘッダを付加して送受信していた。通常、このタイムスタンプはネットワークジッタを計測したり、データ送信のリアルタイム性を保持する目的で使用される。
【特許文献１】特開２００１−７８１９５公報  第５−１３頁  第１図
【非特許文献１】ＲＦＣ２２５０  ＲＴＰ  Ｐａｙｌｏａｄ  Ｆｏｒｍａｔ  ｆｏｒ  ＭＰＥＧ１／ＭＰＥＧ２  ＶＩＤＥＯ
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の映像音声送信装置及び映像音声受信装置は、ネットワーク上で映像と音声をリアルタイムかつＡＶ同期を図りながら送受信するために、ＴＳによるタイムスタンプとＲＦＣ２２５０によるタイムスタンプとの別々の目的で用いられる２種類のタイムスタンプが必要となる。つまり、上記２種類のタイムスタンプを付加するためには、機器構成が複雑となり、また高価になるという課題があった。
【０００５】
この発明は上記のような課題を解消するためになされたもので、ＴＳによるタイムスタンプを用いなくても、簡単な方法でネットワーク上を送受信させる映像と音声とのＡＶ同期を図ることができる映像音声送信装置及び映像音声受信装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係わる映像音声送信装置は、映像信号を符号化して映像符号化データを出力する映像符号化手段と、音声信号を符号化して音声符号化データを出力する音声符号化手段と、上記映像符号化データにネットワーク用の映像ヘッダを付加する映像ヘッダ付加手段と、上記音声符号化データにネットワーク用の音声ヘッダを付加する音声ヘッダ付加手段と、上記映像ヘッダ付加手段及び音声ヘッダ付加手段の各々から映像ヘッダ及び音声ヘッダを付加した映像符号化データ及び／又は音声符号化データを入力してネットワーク上に出力するネットワーク伝送手段と、上記映像ヘッダ及び音声ヘッダに挿入するタイムスタンプ値を提供する共通カウンタとを備えたものである。
【発明の効果】
【０００７】
この発明によれば、映像音声送信装置は、共通カウンタが映像ヘッダ及び音声ヘッダに挿入するタイムスタンプ値を提供するので、ＲＴＰのタイムスタンプ値を用いて映像信号と音声信号とのＡＶ同期を図ることが可能となる効果がある。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
以下、この発明の実施の形態を図について説明する。図１はこの発明の実施の形態１に示す映像音声送信装置の構成図、図２は図１に示す映像音声送信装置を用いた映像伝送システムの構成図である。図において、１、３は映像信号、２、４は音声信号、５はネットワーク伝送データ、１０は映像側のＡ／Ｄ変換器（以下、映像Ａ／Ｄと称す）、２０は音声側のＡ／Ｄ変換器（以下、音声Ａ／Ｄと称す）、１１は映像符号化部、２１は音声符号化部、１２、２２はイーサネット（Ｒ）／ＩＰ／ＵＤＰヘッダ付加部、１３、２３はＲＴＰ／ヘッダ付加部、１４は２７ＭＨｚ発振器、１５は３００分周期、１６、２６は３２ビットカウンタである。また、２７は切り替え部、３０はネットワーク伝送部、４０はＣＰＵ、１００及び１００−１〜１００−３は映像音声送信装置、２００はネットワーク伝送路、３００−１〜３００−３は映像音声受信装置、３１０はモニタ、３２０はスピーカである。
【０００９】
また、図３は図１に示すネットワーク伝送データ５の構成図である。先頭にイーサネット（Ｒ）ヘッダ、２番目にＩＰヘッダ、３番目にＵＤＰヘッダ、４番目にＲＴＰヘッダ、最後にペイロードである映像符号化データ又は音声符号化データで構成される。映像符号化部１１又は音声符号化部２１から出力する映像符号化データ又は音声符号化データは適当なデータ量、例えば２０４８バイト単位に分割される。また、イーサネット（Ｒ）ヘッダ、ＩＰヘッダ、ＵＤＰヘッダはイーサネット（Ｒ）／ＩＰ／ＵＤＰヘッダ付加部１２又は２２が付加し、ＲＴＰヘッダはＲＴＰ／ヘッダ付加部１３又は２３が付加する。また、ネットワーク伝送部３０は、ＲＴＰ／ヘッダ付加部１３、２３から入力したヘッダが付加された映像符号化データ又は音声符号化データに送信先を指定してネットワーク伝送データ５としてパケット単位でネットワーク伝送路２００に送信する。
【００１０】
次に動作について説明するが、最初に映像信号のみを送信する場合について説明する。図２において、カメラ１１０から出力された映像信号１は、映像音声送信装置１００−１に入力される。映像音声送信装置１００−１では特に音声を入力せず、映像のみを送信するものとする。この場合、切り替え部２７は使用しないため、どちら側になっていても構わない。
【００１１】
映像信号１は、映像Ａ／Ｄ１０にてデジタル化される。デジタル化された映像信号は、映像符号化部１１によってＭＰＥＧなどの映像符号化データに圧縮される。この場合、音声とのシステム多重がないためＴＳによるタイムスタンプは付加しない。圧縮された映像符号化データはＩＰ送信するために、イーサネット（Ｒ）／ＩＰ／ＵＤＰヘッダ付加部１２にてイーサネット（Ｒ）ヘッダ、ＩＰヘッダ、及びＵＤＰヘッダが付加される。その後ＲＴＰヘッダ付加部１３にてＲＴＰヘッダを付加し、ネットワーク伝送部３０にて送信先を映像音声受信装置３００−１とし、ネットワーク伝送データ５としてネットワーク伝送路２００に送信する。
【００１２】
また、映像Ａ／Ｄ１０及び映像符号化部１１の動作周波数は２７ＭＨｚ発振器１４より供給される２７ＭＨｚのクロックである。このクロックは、映像Ａ／Ｄ１０のサンプリング周波数として用いられ、さらに映像符号化部１１の動作クロックになる。
【００１３】
さらに、この２７ＭＨｚのクロックは、３００分周器１５によって９０ＫＨｚのクロックに分周される。分周されたクロックは３２ビットカウンタ１６に供給され、３２ビットカウンタ１６は後述するタイムスタンプ値として供給するカウンタ値のカウント動作を行う。
【００１４】
また、図３に示すようにＲＴＰヘッダの内部には３２ビットのタイムスタンプ（Ｔｉｍｅ  Ｓｔａｍｐ）の領域がある。このタイムスタンプの値は、３２ビットカウンタ１６からのカウンタ値が付加される。すなわち、映像符号化の基準周波数である２７ＭＨｚから分周された９０ＫＨｚのカウント値が、ＲＴＰ／ヘッダ付加部１３で挿入するタイムスタンプ値に使用される。
【００１５】
ネットワーク伝送データ５として送信された映像符号化データは、ネットワーク伝送路２００を通じて映像音声受信装置３００−１が受信する。尚、映像音声受信装置３００−１〜３００−３は、ネットワーク伝送データ５の周波数を検知し、検知した周波数に合わせてパケットを抽出し、ＲＴＰヘッダのペイロードタイプ（図３のＰＴ）にて映像符号化データ又は音声符号化データ毎に分離復号を行う装置である。つまり、映像音声受信装置３００−１では、入力したネットワーク伝送データ５の周波数を９０ＫＨｚと検知し、９０Ｋｈｚにてネットワーク伝送データ５を入力し、ペイロードデータである映像符号化データを分離復号して映像信号１を出力し、その映像信号１をモニタ３１０に出力する。
【００１６】
次に、音声信号のみを送信する場合について説明する。マイク１２０から出力された音声信号２は、映像音声送信装置１００−２に入力される。映像音声送信装置１００−２では特に映像を入力せず、音声のみを送信するものとする。この場合、ＣＰＵ４０は切り替え部２７を３２ビットカウンタ２６側に切り替える。
【００１７】
音声信号２は、音声Ａ／Ｄ２０にてデジタル化される。デジタル化された音声信号は、音声符号化部２１によってＭＰＥＧやμ―ＬＡＷなどの音声符号化データに圧縮される。この場合、映像とのシステム多重がないためＴＳによるタイムスタンプは付加しない。圧縮された音声符号化データはＩＰ送信するために、イーサネット（Ｒ）／ＩＰ／ＵＤＰヘッダ付加部２２にてイーサネット（Ｒ）ヘッダ、ＩＰヘッダ、及びＵＤＰヘッダが付加される。その後ＲＴＰヘッダ付加部２３にてＲＴＰヘッダを付加し、ネットワーク伝送部３０にて送信先を映像音声受信装置３００−２とし、ネットワーク伝送データ５としてネットワーク伝送路２００に送信する。
【００１８】
また、音声Ａ／Ｄ２０と音声符号化部２１の動作周波数は８ＫＨｚ発振器２４より供給される８ＫＨｚのクロックである。このクロックは、音声Ａ／Ｄ２０のサンプリング周波数として用いられ、さらに音声符号化部２１の動作クロックにもなる。
【００１９】
さらに、この８ＫＨｚのクロックは、３２ビットカウンタ２６に供給され、３２ビットカウンタ２６はタイムスタンプ値として供給するカウンタ値のカウント動作を行う。
【００２０】
また、音声の場合もＲＴＰヘッダの内部には３２ビットのタイムスタンプの領域がある。このタイムスタンプの値には、３２ビットカウンタ２６のカウンタ値が付加される。すなわち、音声符号化の基準周波数である８ＫＨｚでのカウント値が、ＲＴＰ／ヘッダ付加部２３で挿入するタイムスタンプ値に使用され、ネットワーク伝送データ５として送信される。
【００２１】
ネットワーク伝送データ５として送信された音声符号化データは、ネットワーク伝送路２００を通じて映像音声受信装置３００−２が受信する。映像音声受信装置３００−２では、入力したネットワーク伝送データ５の周波数を８ＫＨｚと検知し、８ＫＨｚにてネットワーク伝送データ５を入力し、ペイロードデータである音声符号化データを分離復号して音声信号２を出力し、その音声信号２をスピーカ３２０に出力する。
【００２２】
次に、映像と音声を同時に送信する場合について説明する。図２に示すように、映像音声送信装置１００−３にはカメラ１１０とマイク１２０とが接続されている。カメラ１１０から出力された映像信号３とマイク１２０から出力された音声信号４は、映像音声送信装置１００−３に入力される。この場合、ＣＰＵ４０は３２ビットカウンタ１６側に切り替える。
【００２３】
映像信号３は、映像Ａ／Ｄ１０にてデジタル化される。デジタル化された映像信号は、映像符号化部１１によってＭＰＥＧなどの映像符号化データに圧縮される。圧縮された映像符号化データはＩＰ送信するために、イーサネット（Ｒ）／ＩＰ／ＵＤＰヘッダ付加部１２にてイーサネット（Ｒ）ヘッダ、ＩＰヘッダ、及びＵＤＰヘッダが付加される。その後ＲＴＰヘッダ付加部１３にてＲＴＰヘッダが付加される。
【００２４】
音声信号４は、音声Ａ／Ｄ２０にてデジタル化される。デジタル化された音声信号は、音声符号化部２１によってＭＰＥＧやμ―ＬＡＷなどの音声符号化データに圧縮される。圧縮された符号化データはＩＰ送信するために、イーサネット（Ｒ）／ＩＰ／ＵＤＰヘッダ付加部２２にてイーサネット（Ｒ）ヘッダ、ＩＰヘッダ、及びＵＤＰヘッダが付加される。その後ＲＴＰヘッダ付加部２３にてＲＴＰヘッダが付加される。
【００２５】
また、切り替え部２７はＣＰＵ４０によって３２ビットカウンタ１６側に切り替えられている。すなわち、映像と音声とを同時に送信する場合、ＲＴＰ／ヘッダ付加部１３、２３にて付加するタイムスタンプ値は、映像符号化の基準クロックから分周された９０ＫＨｚでカウントする３２ビットカウンタ１６でのカウント値を使用する。これにより、ＲＴＰヘッダ付加部１３によってＲＴＰヘッダを付加した映像符号化データ、ＲＴＰヘッダ付加部２３によってＲＴＰヘッダを付加した音声符号化データはネットワーク伝送部３０にて送信先を映像音声受信装置３００−３とし、ネットワーク伝送データ５としてネットワーク伝送路２００に送信する。
【００２６】
ネットワーク伝送データ５として送信された映像符号化データ及び音声符号化データは、ネットワーク伝送路２００を通じて映像音声受信装置３００−３が受信する。映像音声受信装置３００−３では、入力したネットワーク伝送データ５の周波数を９０ＫＨｚと検知し、９０ＫＨｚにてネットワーク伝送データ５を入力し、ペイロードデータである映像符号化データ及び音声符号化データを各々に分離復号して映像信号３と音声信号４とを出力し、映像信号３をモニタ３１０に出力し、音声信号４をスピーカ３２０に出力する。
【００２７】
これにより、映像符号化データと音声符号化データのＲＴＰヘッダに挿入されるタイムスタンプ値は、９０ＫＨｚの同一周波数によるカウント値になるので、映像音声受信装置３００−３は、このＲＴＰヘッダのタイムスタンプ値を用いて映像信号３と音声信号４とのＡＶ同期を図ることが可能となる。従来は、ＲＴＰのタイムスタンプ以外に特許文献１のような符号化時の映像音声多重のためのＴＳによるタイムスタンプ値の２種類のタイムスタンプを必要としていた。しかし、本発明では３２ビットカウンタ１６でのカウント値を使用してＲＴＰ／ヘッダ付加部１３、２３内のタイムスタンプを挿入するため、ＲＴＰのタイムスタンプにてネットワーク上のＲＴＰネットワークのジッタ計測やリアルタイム性の保持のみでなく、ＡＶ同期の調整も可能になる。
【００２８】
つまり、ネットワーク上で映像と音声とをリアルタイムに送受信するために、従来はＴＳ及びＲＴＰの２種類のタイムスタンプを生成する映像音声送信装置及び映像音声受信装置が必要となり、装置構成を複雑にしなければならなかった。しかし、上述の本発明の構成により、ＲＴＰのタイムスタンプ値を用いて映像信号３と音声信号４とのＡＶ同期を図ることが可能となり、ＴＳのタイムスタンプを不要とできるので、装置構成を簡単かつ安価にできる効果がある。
【００２９】
また、９０ＫＨｚで動作する３２ビットカウンタ１６を用いることで映像符号化データと音声符号化データの両方を同時に送信することが可能となる。
【産業上の利用可能性】
【００３０】
この発明の活用例として、ネットワークを用いた遠隔監視装置に用いることができる。
【図面の簡単な説明】
【００３１】
【図１】この発明の実施の形態１に示す映像音声送信装置の構成図である。
【図２】図１に示す映像音声送信装置を用いた映像伝送システムの構成図である。
【図３】図１に示すネットワーク伝送データの構成図である。
【符号の説明】
【００３２】
１１  映像符号化部
１２  イーサネット（Ｒ）／ＩＰ／ＵＤＰヘッダ付加部
１３  ＲＴＰ／ヘッダ付加部
１４  ２７ＭＨｚ発振器
１５  ３００分周器
１６  ３２ビットカウンタ
２１  音声符号化部
２２  イーサネット（Ｒ）／ＩＰ／ＵＤＰヘッダ付加部
２３  ＲＴＰ／ヘッダ付加部            
２４  ８ＫＨｚ発振器
２６  ３２ビットカウンタ
２７  切り替え部
３０  ネットワーク伝送部
１００、１００−１〜１００−３  映像音声送信装置
３００−１〜３００−３  映像音声受信装置
【図１】
2005136675.tif 000003
【図２】
2005136675.tif 000004
【図３】
2005136675.tif 000005