(57)【要約】【課題】映像データと音声データの両方を通信や記録や再生することを効率的に行うデータ処理システムを提供する。【解決手段】送信装置１では、送信対象となる映像データ及び音声データについて、映像符号化手段１２が当該映像データを符号化し、音声格納手段１２が符号化された映像データのヘッダに当該音声データを格納し、送信手段１３が音声データが格納された符号化された映像データを送信する。受信装置３では、受信手段３１が符号化された映像データを受信し、抽出手段３２が受信された符号化された映像データのヘッダから格納された音声データを抽出し、映像復号化手段３２が音声データが抽出された後の符号化された映像データを復号化する。【選択図】  図１
2010074586.tif 000002
【特許請求の範囲】
【請求項１】
映像データ及び音声データを送信する送信装置を有するデータ処理システムにおいて、
前記送信装置は、送信対象となる映像データ及び音声データについて、当該映像データを符号化する映像符号化手段と、前記映像符号化手段により符号化された映像データのヘッダに当該音声データを格納する音声格納手段と、前記音声格納手段により音声データが格納された符号化された映像データを送信する送信手段と、を備えた、
ことを特徴とするデータ処理システム。
【請求項２】
請求項１に記載のデータ処理システムにおいて、
更に、前記送信装置から送信された音声データが格納された符号化された映像データを直接又は他の装置を介して間接に受信する受信装置を有しており、
前記受信装置は、前記送信装置から送信された音声データが格納された符号化された映像データを受信する受信手段と、前記受信手段により受信された符号化された映像データのヘッダから格納された音声データを抽出する抽出手段と、前記抽出手段により音声データが抽出された後の符号化された映像データを復号化する映像復号化手段と、を備えた、
ことを特徴とするデータ処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、ネットワークカメラ／エンコーダ、映像データ／音声データ記録装置、映像データ／音声データ再生装置を有するデータ処理システムや、ネットワークカメラ／エンコーダ、映像データ／音声データ再生装置を有するデータ処理システムに関し、特に、映像データと音声データの両方を通信や記録や再生することを効率的に行うデータ処理システムに関する。
【背景技術】
【０００２】
例えば、ネットワークカメラ／エンコーダと、映像データ／音声データ記録装置と、映像データ／音声データ再生装置により構成されるデータ処理システムがある。
ネットワークカメラ／エンコーダは、映像を撮影するための映像データ撮影装置又は映像を入力するための映像データ入力装置と、撮影又は入力された映像データをＪＰＥＧフォーマットの映像データに符号化する映像データ符号化装置と、映像データ符号化装置により符号化された映像データを外部装置からの要求に従って外部装置へ送信するための映像データ送信装置と、音声を録音するための音声データ録音装置又は音声を入力するための音声データ入力装置と、録音又は入力された音声データをデジタルデータへ変換するための音声データ符号化装置と、音声データ符号化装置により符号化された音声データを外部装置からの要求に従って外部装置へ送信するための音声データ送信装置と、を備えている。
【０００３】
映像データ／音声データ記録装置は、ユーザからの要求又は外部定義に従ってネットワークカメラ／エンコーダに対してネットワークカメラ／エンコーダが作成した映像データと音声データを送信するように要求を行いネットワークカメラ／エンコーダが送信した映像データと音声データを受信するための映像データ／音声データ受信装置と、映像データ／音声データ受信装置により受信された映像データ／音声データを保存するための映像データ／音声データ保存装置に書き込むための映像データ／音声データ書込装置と、外部装置からの要求に従って映像データ／音声データを外部装置へ送信するために映像データ／音声データ保存装置から映像データ／音声データを読み出すための映像データ／音声データ読込装置と、外部装置からの要求に従って映像データ／音声データを外部装置へ送信するために映像データ／音声データ読込装置により読み込まれた映像データ／音声データを外部装置へ送信するための映像データ／音声データ送信装置と、映像データ／音声データ書込装置が映像データ／音声データを書き込み映像データ／音声データ読込装置が映像データ／音声データを読み込むための映像データ／音声データを保存するための映像データ／音声データ保存装置と、を備えている。
【０００４】
映像データ／音声データ再生装置は、ユーザからの要求に従ってネットワークカメラ／エンコーダに直接映像データ／音声データを送信するように要求を行い、又は、映像データ／音声データ記録装置に対して映像データ／音声データ記録装置が記録している特定の映像データ／音声データを送信するように要求を行い、ネットワークカメラ／エンコーダ、又は、映像データ／音声データ記録装置が送信した映像データ／音声データを受信するための映像データ／音声データ受信装置と、映像データ／音声データ受信装置により受信された映像データをＪＰＥＧフォーマットから復号化するための映像データ復号化装置と、映像データ／音声データ受信装置により受信された音声データを再生可能な形式に復号化する音声データ復号化装置と、映像データ／音声データ復号化装置により復号化された映像データ／音声データを外部デバイスに再生するための映像データ／音声データ再生処理装置と、を備えている。
【０００５】
このようなデータ処理システムにおいて、映像データ／音声データ記録装置と映像データ／音声データ再生装置がネットワークカメラ／エンコーダに映像データと音声データを送信するように要求を行う際には、又は、映像データ／音声データ再生装置が映像データ／音声データ記録装置に記録された映像データと音声データを送信するように要求を行う際には、映像データの要求と音声データの要求としては、それぞれ別々のストリームを使用して要求を送信し、映像データの受信と音声データの受信も別々のストリームで行うことが一般的である。
【０００６】
映像データ／音声データ記録装置は、別々のストリームで受信した映像データと音声データを、それぞれに管理情報を付加して別々の記録領域に記録する。
映像データ／音声データ記録装置が映像データ／音声データ再生装置から記録された映像データ／音声データのうちの特定の映像データ／音声データを送信するように要求を受信した際には、映像データと音声データのそれぞれにおいて記録データを特定するための情報が付加されている必要があり、映像データ記録領域内での特定データの検索と音声データ記録領域内での特定データの検索をそれぞれ行い、映像データ／音声データ記録装置は別々のストリームで検索した記録映像データと記録音声データを映像データ／音声データ再生装置へ送信する。
【０００７】
ネットワークカメラ／エンコーダ、又は、映像データ／音声データ記録装置から別々のストリームで映像データと音声データを受信した映像データ／音声データ再生装置は、映像データと音声データを別々に復号化した上で映像データと音声データの再生タイミングを同期させるように調整しながら、それぞれ映像データ／音声データ再生処理装置に渡す必要がある。
【０００８】
【特許文献１】特開２００２−５７９８０号公報
【特許文献２】特開２００２−４４５０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記したネットワークカメラ／エンコーダ、映像データ／音声データ記録装置、映像データ／音声データ再生装置において、映像データと音声データの両方を記録／再生するためにはネットワークカメラ／エンコーダと映像データ／音声データ記録装置、映像データ／音声データ再生装置との間、又は、映像データ／音声データ記録装置と映像データ／音声データ再生装置との間で、常に映像データ用と音声データ用の２本のネットワークのストリームを張った上で、映像データ用のストリーム上で映像データの要求送信と映像データの受信を行い、音声データ用のストリーム上で音声データの要求送信と音声データの受信を行うことが必要になる。
【００１０】
このような形態では、ネットワークカメラ／エンコーダ、映像データ／音声データ記録装置、映像データ／音声データ再生装置が、常に２本のネットワーク上のストリームでのデータ送受信のための制御を行うために、各装置のリソースを使用することによる負荷があるという問題や、ネットワーク上を流れるストリームが２本あることから映像データ／音声データのデータ量自体は１本の場合と比べて大きな増加はないが制御命令が１本の場合と比べて最大で２倍に増加しているという問題や、映像データ／音声データ記録装置において映像データと音声データを記録する記録領域が２つに分かれていることから映像データ／音声データのデータ量自体は記録領域が１つの場合に比べて増減はないが付加情報が２倍に増えているという問題があった。
【００１１】
以下で、従来技術に係る構成及び課題を具体例を用いて説明する。
図４には、ネットワークカメラ／エンコーダ１０１と、映像データ／音声データ記録装置１０２と、映像データ／音声データ再生装置１０３を有するデータ処理システムの構成例を示してある。
ネットワークカメラ／エンコーダ１０１は、映像データ撮影装置又は映像データ入力装置１１１と、映像データをＪＰＥＧフォーマットに符号化する映像データ符号化装置１１２と、映像データを他の装置からの要求に従ってネットワーク上に送信する映像データ送信装置１１３と、音声データ録音装置又は音声データ入力装置１１４と、音声データをデジタルデータへ変換するための音声データ符号化装置１１５と、音声データを他の装置からの要求に従ってネットワーク上に送信する音声データ送信装置１１６から構成されている。
【００１２】
映像データ／音声データ記録装置１０２は、映像データ送信装置１１３へ映像データ送信を要求して映像データ送信装置１１３から送信された映像データを受信する映像データ受信装置１２１と、映像データ受信装置１２１により受信された映像データを映像データ保存装置１２３に書き込む映像データ書込装置１２２と、映像データ保存装置１２３と、映像データ保存装置１２３から映像データを読み込む映像データ読込装置１２４と、映像データを他の装置からの要求に従ってネットワーク上に送信する映像データ送信装置１２５と、音声データ送信装置１１６へ音声データ送信を要求して音声データ送信装置１１６から送信された音声データを受信する音声データ受信装置１２６と、音声データ受信装置１２６により受信された音声データを音声データ保存装置１２８に書き込む音声データ書込装置１２７と、音声データ保存装置１２８と、音声データ保存装置１２８から音声データを読み込む音声データ読込装置１２９と、音声データを他の装置からの要求に従ってネットワーク上に送信する音声データ送信装置１３０から構成されている。
【００１３】
映像データ／音声データ再生装置１０３は、映像データ送信装置１２５へ映像データ送信を要求して映像データ送信装置１２５から送信された映像データを受信する映像データ受信装置１４１と、映像データ受信装置１４１により受信された映像データをＪＰＥＧフォーマットから再生デバイスにより再生可能な形式へ復号化する映像データ復号化装置１４２と、映像データ復号化装置１４２により復号化された映像データを再生デバイスに表示する映像データ再生装置１４３と、音声データ送信装置１３０へ音声データ送信を要求して音声データ送信装置１３０から送信された音声データを受信する音声データ受信装置１４４と、音声データ受信装置１４４により受信された音声データを再生デバイスにより再生可能な形式へ復号化する音声データ復号化装置１４５と、音声データ復号化装置１４５により復号化された音声データを再生デバイスで再生する音声データ再生装置１４６から構成されている。
【００１４】
本例のようなデータ処理システムでは、映像データと音声データの両方を記録及び再生するためには、ネットワークカメラ／エンコーダ１０１と映像データ／音声データ記録装置１０２との間で、映像データと音声データの記録のために別々にネットワークでの通信処理を行って映像データと音声データを取得する処理が必要になる。また、映像データ／音声データ記録装置１０２の内部では、取得した映像データと音声データを保存するための保存装置を映像データ用と音声データ用に別々に用意してそれぞれに映像データと音声データを保存する必要がある。
【００１５】
また、再生のために、映像データ／音声データ記録装置１０２と映像データ／音声データ再生装置１０３との間で、再度別々にネットワークでの通信処理を行って映像データと音声データを取得する処理が必要になる。また、映像データ／音声データ記録装置１０２の内部では、別々の保存装置に映像データと音声データが保存されていることから、それぞれの保存装置から別々に該当データを検索して読み出す処理が必要になる。また、映像データ／音声データ再生装置１０３では、別々に取得した映像データと音声データをそれぞれ再生可能な形式に復号化した後に、それぞれの再生デバイスへ出力するタイミングを同期させて映像データと音声データの再生タイミングを合わせる処理が必要になる。
【００１６】
図５には、ネットワークカメラ／エンコーダ１５１と、映像データ／音声データ再生装置１５２を有するデータ処理システムの構成例を示してある。
ネットワークカメラ／エンコーダ１５１は、映像データ撮影装置又は映像データ入力装置１６１と、映像データをＪＰＥＧフォーマットに符号化する映像データ符号化装置１６２と、映像データを他の装置からの要求に従ってネットワーク上に送信する映像データ送信装置１６３と、音声データ録音装置又は音声データ入力装置１６４と、音声データをデジタルデータへ変換する音声データ符号化装置１６５と、音声データを他の装置からの要求に従ってネットワーク上に送信する音声データ送信装置１６６から構成されている。
【００１７】
映像データ／音声データ再生装置１５２は、映像データ送信装置１６３へ映像データ送信を要求して映像データ送信装置１６３から送信された映像データを受信する映像データ受信装置１７１と、映像データ受信装置１７１により受信された映像データをＪＰＥＧフォーマットから再生デバイスにより再生可能な形式へ復号化する映像データ復号化装置１７２と、映像データ復号化装置１７２により復号化された映像データを再生デバイスに表示する映像データ再生装置１７３と、音声データ送信装置１６６へ音声データ送信を要求して音声データ送信装置１６６から送信された音声データを受信する音声データ受信装置１７４と、音声データ受信装置１７４により受信された音声データを再生デバイスにより再生可能な形式へ復号化する音声データ復号化装置１７５と、音声データ復号化装置１７５により復号化された音声データを再生デバイスで再生する音声データ再生装置１７６から構成されている。
【００１８】
本例のようなデータ処理システムでは、映像データと音声データの両方を再生するためには、ネットワークカメラ／エンコーダ１５１と映像データ／音声データ再生装置１５２との間で、映像データと音声データの記録のために別々にネットワークでの通信処理を行って映像データと音声データを取得する処理が必要になる。
また、映像データ／音声データ再生装置１５２では、別々に取得した映像データと音声データをそれぞれ再生可能な形式に復号化した後に、それぞれの再生デバイスへ出力するタイミングを同期させて映像データと音声データの再生タイミングを合わせる処理が必要になる。
【００１９】
上記した図４や図５に示されるようなデータ処理システムでは、映像データと音声データの記録／再生処理について、ネットワーク通信における映像データと音声データの取得処理を別々のネットワーク通信により行うことによるネットワーク通信の制御命令の増加という問題や、ネットワーク通信を行うための制御処理の増加という問題があった。また、映像データと音声データを記録するための保存装置を別々に用意する必要があり、また、別々の保存装置に映像データと音声データを書き込むための処理と付加情報の増加という問題や、別々の保存装置から該当データを検索するための処理や別々の保存装置から該当データを読み込む処理が映像データと音声データで必要となり処理量が増えるという問題があった。また、映像データと音声データの再生において、映像データと音声データとの間の同期を取るために、再生デバイスへの出力タイミングを調整する処理が必要になるという問題があった。
【００２０】
本発明は、このような従来の課題を解決するために為されたもので、映像データと音声データの両方を通信や記録や再生することを効率的に行うことができるデータ処理システムを提供することを目的とする。
本発明では、一例として、ネットワークカメラ／エンコーダや、映像データ／音声データ記録装置や、映像データ／音声データ再生装置における２本のネットワークストリームの制御のために使用するリソースの増加や、２本のネットワークストリームを流れる制御命令の増加や、２つの記録領域で管理される付加情報の増加を抑えた上で、ネットワークカメラ／エンコーダや、映像データ／音声データ記録装置や、映像データ／音声データ再生装置において映像データと音声データの両方を記録／再生することを可能とする。
【課題を解決するための手段】
【００２１】
上記目的を達成するため、本発明では、映像データ及び音声データを送信する送信装置を有するデータ処理システムにおいて、次のような構成とした。
すなわち、前記送信装置では、送信対象となる映像データ及び音声データについて、次のような処理を行う。映像符号化手段が、当該映像データを符号化する。音声格納手段が、前記映像符号化手段により符号化された映像データのヘッダに当該音声データを格納する。送信手段が、前記音声格納手段により音声データが格納された符号化された映像データを送信する。
【００２２】
従って、符号化された映像データのヘッダに音声データを格納して、当該映像データと当該音声データを１つにまとめて送信するようにしたため、例えば、映像データと音声データを別々に送信する場合と比べて、映像データと音声データの両方の通信等を効率的に行うことができる。
【００２３】
ここで、映像データを符号化する方式としては、種々な方式が用いられてもよい。一例として、ＪＰＥＧ方式を用いることができ、ＪＰＥＧフォーマットのＡＰＰマーカーデータとして音声データを含めることが可能である。
また、符号化された映像データのヘッダに格納する音声データとしては、例えば、音声符号化手段により符号化された音声データを用いることができる。音声データの符号化方式としては、種々な方式が用いられてもよく、例えば、ＰＣＭ（Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）方式や、ＡＤＰＣＭ（Ａｄａｐｔｉｖｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）方式を用いることができる。
また、音声データが格納された符号化された映像データを通信（送信や受信）する態様としては、例えば、有線の通信が用いられてもよく、無線の通信が用いられてもよい。
【００２４】
また、符号化された映像データのヘッダに音声データを格納する場合に、例えば、当該映像データと当該音声データとしては、互いに同期しているデータが用いられる。つまり、ある時点でカメラ等により取得された映像データと音声データの組がある場合に、その映像データを符号化して、当該符号化後の映像データのヘッダにその音声データを格納する。これにより、受信側では、受信した符号化された映像データとそのヘッダに含まれた音声データを同期させて再生することで、映像データと音声データの同期を取ることができる。
【００２５】
本発明に係るデータ処理システムでは、更に、次のような構成とした。
すなわち、前記送信装置から送信された音声データが格納された符号化された映像データを直接又は他の装置を介して間接に受信する受信装置を有している。
前記受信装置では、受信手段が、前記送信装置から送信された音声データが格納された符号化された映像データを受信する。抽出手段が、前記受信手段により受信された符号化された映像データのヘッダから格納された音声データを抽出する。映像復号化手段が、前記抽出手段により音声データが抽出された後の符号化された映像データを復号化する。
【００２６】
従って、符号化された映像データのヘッダに音声データを格納して、当該映像データと当該音声データを１つにまとめて送信する送信装置から受信した符号化された映像データのヘッダから格納された音声データを抽出するようにしたため、例えば、映像データと音声データを別々に受信する場合と比べて、映像データと音声データの両方の通信等を効率的に行うことができる。
【００２７】
ここで、例えば、送信装置と受信装置との間に中継を行う任意の他の装置が設けられて、送信装置と受信装置とが間接に通信する構成が用いられてもよく、或いは、送信装置と受信装置とが有線或いは無線の回線で接続されて直接に通信する構成が用いられてもよい。
【発明の効果】
【００２８】
以上説明したように、本発明によると、映像データと音声データの両方を通信や記録や再生することを効率的に行うことができる。
一例として、ネットワークカメラ／エンコーダや、映像データ／音声データ記録装置や、映像データ／音声データ再生装置における２本のネットワークストリームの制御のために使用するリソースの増加や、２本のネットワークストリームを流れる制御命令の増加や、２つの記録領域で管理される付加情報の増加を抑えた上で、ネットワークカメラ／エンコーダや、映像データ／音声データ記録装置や、映像データ／音声データ再生装置において映像データと音声データの両方を記録／再生することを可能とすることができる。
【発明を実施するための最良の形態】
【００２９】
本発明に係る実施例を図面を参照して説明する。
なお、本実施例では、映像データ／音声データとしては、基本的には、映像データと音声データの両方が通信されるが、例えば、通信状況などによって、映像データ或いは音声データが無データ（無信号）であるようなときが存在しても構わない。
【００３０】
また、本実施例では、本発明をネットワーク型監視システムに適用した場合を示す。具体的には、監視対象となるものの映像（画像）の撮影又は入力や音声の録音又は入力を行うネットワークカメラ又はネットワークエンコーダや、その映像及び音声を再生する映像データ／音声データ再生装置をネットワークを介して備え、更に、これらの装置の間に、映像及び音声のデータを記録して検索や配信などを行う映像データ／音声データ記録装置がネットワークに備えられる場合もある。
【００３１】
図１には、本発明の一実施例に係るデータ処理システムの一構成例を示してある。
本例のデータ処理システムは、ネットワークカメラ又はネットワークエンコーダであるネットワークカメラ／エンコーダ１と、映像データと音声データを記録する映像データ／音声データ記録装置２と、映像データと音声データを再生する映像データ／音声データ再生装置３を備えている。
【００３２】
ネットワークカメラ／エンコーダ１は、映像を撮影して映像データを取得する映像データ撮影装置又は例えば外部から映像データを入力する映像データ入力装置１１と、音声を録音して音声データをメモリに記憶する音声データ録音装置又は例えば外部から音声データを入力する音声データ入力装置１４と、映像データをＪＰＥＧフォーマットに符号化し音声データをデジタルデータへ変換する映像データ／音声データ符号化装置１２と、他の装置からの要求に従って映像データ／音声データをネットワーク上に送信する映像データ／音声データ送信装置１３を備えて構成されている。
【００３３】
映像データ／音声データ記録装置２は、映像データ／音声データ送信装置１３へ映像データ／音声データ送信を要求して映像データ／音声データ送信装置１３から送信された映像データ／音声データを受信する映像データ／音声データ受信装置２１と、映像データ／音声データ受信装置２１により受信された映像データ／音声データを映像データ／音声データ保存装置２３に書き込む映像データ／音声データ書込装置２２と、映像データ／音声データを例えばメモリに保存（記憶）する映像データ／音声データ保存装置２３と、映像データ／音声データ保存装置２３から映像データ／音声データを読み込む映像データ／音声データ読込装置２４と、映像データ／音声データを他の装置からの要求に従ってネットワーク上に送信する映像データ／音声データ送信装置２５を備えて構成されている。
【００３４】
映像データ／音声データ再生装置３は、映像データ／音声データ送信装置２５へ映像データ／音声データ送信を要求して映像データ／音声データ送信装置２５から送信された映像データ／音声データを受信する映像データ／音声データ受信装置３１と、映像データ／音声データ受信装置３１により受信された映像データをＪＰＥＧフォーマットから再生デバイスにより再生可能な形式へ復号化し音声データを再生デバイスにより再生可能な形式へ変換する映像データ／音声データ復号化装置３２と、映像データ／音声データ復号化装置３２により復号化された映像データを再生デバイスに表示する映像データ再生装置３３と、映像データ／音声データ復号化装置３２により復号化された音声データを再生デバイスで再生する音声データ再生装置３４を備えて構成されている。
【００３５】
本例のデータ処理システムにおいて行われる動作の一例を示す。本例のデータ処理システムでは、映像データと音声データの両方を記録及び再生するために、次のような処理を行う。
ネットワークカメラ／エンコーダ１は、他の装置からの映像データ／音声データ送信要求に対して、映像データ撮影装置又は映像データ入力装置１１と音声データ録音装置又は音声データ入力装置１４からの映像データ／音声データを映像データ／音声データ符号化装置１２に入力して、映像データをＪＰＥＧフォーマットに変換し、音声データをデジタルデータへ変換する。
【００３６】
この際に、映像データ／音声データ符号化装置１２は、デジタル化された音声データをＪＰＥＧフォーマットに変換した映像データのＪＰＥＧヘッダ部分に収納する。これにより、映像データと音声データを１つにまとめることが可能になる。
ネットワークカメラ／エンコーダ１は、上記のようにして１つにまとめた映像データ／音声データを映像データ／音声データ送信装置１３に入力して、他の装置へ配信するために、ネットワーク上に映像データ／音声データを送信する。
【００３７】
映像データ／音声データ記録装置２は、映像データ／音声データ送信装置１３が送信した映像データ／音声データを映像データ／音声データ受信装置２１により受信し、映像データと音声データを１つにまとめたまま映像データ／音声データ書込装置２２に入力する。映像データ／音声データ書込装置２２は、受信した映像データと音声データを１つにまとめたまま映像データ／音声データ保存装置２３に保存する。
【００３８】
映像データ／音声データ読込装置２４は、他の装置からの要求に応じて、映像データ／音声データ保存装置２３から映像データと音声データを１つにまとめたまま読み込んで映像データ／音声データ送信装置２５に入力する。映像データ／音声データ送信装置２５は、他の装置へ映像データ／音声データを配信するために、ネットワーク上に映像データと音声データを１つにまとめたまま送信する。
【００３９】
映像データ／音声データ再生装置３は、映像データ／音声データ送信装置２５が送信した映像データと音声データを映像データ／音声データ受信装置３１により受信し、映像データと音声データを１つにまとめたまま映像データ／音声データ復号化装置３２に入力する。映像データ／音声データ復号化装置３２は、映像データ／音声データ受信装置３１から１つにまとめたまま受信した映像データと音声データのＪＰＥＧヘッダ部分からデジタル化された音声データを分離する。
【００４０】
その後、映像データ／音声データ復号化装置３２は、ＪＰＥＧフォーマットに変換された映像データを映像再生デバイスにより表示可能な形式に復号化して、映像データ再生装置３３に入力する。また、映像データ／音声データ復号化装置３２は、デジタル化された音声データを音声再生デバイスにより再生可能な形式に変換して、音声データ再生装置３４に入力する。
映像データ再生装置３３は、映像データ／音声データ復号化装置３２から受信した映像データを再生デバイスへ出力して映像データを再生する。音声データ再生装置３４は、映像データ／音声データ復号化装置３２から受信した音声データを再生デバイスへ出力して音声データを再生する。
【００４１】
図２には、本発明の一実施例に係るデータ処理システムの他の構成例を示してある。
本例のデータ処理システムは、ネットワークカメラ又はネットワークエンコーダであるネットワークカメラ／エンコーダ４１と、映像データと音声データを再生する映像データ／音声データ再生装置４２を備えている。
【００４２】
ネットワークカメラ／エンコーダ４１は、映像を撮影して映像データを取得する映像データ撮影装置又は例えば外部から映像データを入力する映像データ入力装置５１と、音声を録音して音声データをメモリに記憶する音声データ録音装置又は例えば外部から音声データを入力する音声データ入力装置５４と、映像データをＪＰＥＧフォーマットに符号化し音声データをデジタルデータへ変換する映像データ／音声データ符号化装置５２と、他の装置からの要求に従って映像データ／音声データをネットワーク上に送信する映像データ／音声データ送信装置１３を備えて構成されている。
【００４３】
映像データ／音声データ再生装置４２は、映像データ／音声データ送信装置５３へ映像データ／音声データ送信を要求して映像データ／音声データ送信装置５３から送信された映像データと音声データを受信する映像データ／音声データ受信装置６１と、映像データ／音声データ受信装置６１により受信された映像データをＪＰＥＧフォーマットから再生デバイスにより再生可能な形式へ復号化し映像データ／音声データ受信装置６１により受信された音声データを再生デバイスにより再生可能な形式へ変換する映像データ／音声データ復号化装置６２と、映像データ／音声データ復号化装置６２により復号化された映像データを再生デバイスに表示する映像データ再生装置６３と、映像データ／音声データ復号化装置６２により復号化された音声データを再生デバイスに再生する音声データ再生装置６４を備えて構成されている。
【００４４】
本例のデータ処理システムにおいて行われる動作の一例を示す。本例のデータ処理システムでは、映像データと音声データの両方を再生するために、次のような処理を行う。
ネットワークカメラ／エンコーダ４１は、他の装置からの映像データ／音声データ送信要求に対して映像データ撮影装置又は映像データ入力装置５１と音声データ録音装置又は音声データ入力装置５４からの映像データ／音声データを映像データ／音声データ符号化装置５２に入力して、映像データをＪＰＥＧフォーマットに変換し、音声データをデジタルデータへ変換する。
【００４５】
この際に、映像データ／音声データ符号化装置５２は、デジタル化された音声データをＪＰＥＧフォーマットに変換した映像データのＪＰＥＧヘッダ部分に収納する。これにより、映像データと音声データを１つにまとめることが可能になる。
ネットワークカメラ／エンコーダ４１は、上記のようにして１つにまとめた映像データ／音声データを映像データ／音声データ送信装置５３に入力して、他の装置へ配信するために、ネットワーク上に映像データ／音声データを送信する。
【００４６】
映像データ／音声データ再生装置４２は、映像データ／音声データ送信装置５３が送信した映像データと音声データを映像データ／音声データ受信装置６１により受信し、映像データと音声データを１つにまとめたまま映像データ／音声データ復号化装置６２に入力する。
映像データ／音声データ復号化装置６２は、映像データ／音声データ受信装置６１から１つにまとめたまま受信した映像データと音声データのＪＰＥＧヘッダ部分からデジタル化された音声データを分離する。
【００４７】
その後、映像データ／音声データ復号化装置６２は、ＪＰＥＧフォーマットに変換された映像データを映像再生デバイスにより表示可能な形式に復号化し、映像データ再生装置６３に入力する。また、映像データ／音声データ復号化装置６２は、デジタル化された音声データを音声再生デバイスにより再生可能な形式に変換して、音声データ再生装置６４に入力する。
映像データ再生装置６４は、映像データ／音声データ復号化装置６２から受信した映像データを再生デバイスへ出力して映像データを再生する。音声データ再生装置６４は、映像データ／音声データ復号化装置６２から受信した音声データを再生デバイスへ出力して音声データ再生する。
【００４８】
上記した図１及び図２を用いて説明したように、本実施例では、ネットワークカメラ／エンコーダ１、４１においてＪＰＥＧヘッダへの音声データの格納を実施し、そのデータ形式に対応した映像データ／音声データ記録装置２での記録を実施し、そのデータ形式に対応した映像データ／音声データ再生装置３、４２での再生を実施する。これにより、映像データと音声データを別々に扱う場合に比べて、本実施例では、ネットワークでの要求や送信に使用される制御命令の送受信数の低減や、ネットワークでの要求や送信の処理にかかる処理負荷の低減が可能となり、また、記録装置内での保存装置を１つにまとめることが可能であることから、記録データ管理のために使用する付加情報の付加処理と付加情報が使用する保存領域の低減が可能となり、また、別々の保存領域から該当データを別々に検索していた処理を本実施例ではまとめて行うことによる検索処理の低減や、再生装置で映像データと音声データの出力のタイミングを取るための処理の低減が可能となる。
【００４９】
図３を参照して、音声データをＪＰＥＧフォーマットへ取り込む方法の一例を示す。
ＪＰＥＧファイルフォーマットは、マーカーと呼ばれる区切り子で区切られたフォーマットを持ち、必ず先頭にＳＯＩ（Ｓｔａｒｔ  Ｏｆ  Ｉｍａｇｅ）マーカーＦＦＤ８と末尾にＥＯＩ（Ｅｎｄ  Ｏｆ  Ｉｍａｇｅ）マーカーＦＦＤ９を持つ。マーカーのうちＦＦＥ０からＦＦＥＦまでの範囲はアプリケーションマーカーと呼ばれてＪＰＥＧの復号化処理には無関係にそれぞれのアプリケーションが自由に使うことのできる領域として定められている。
【００５０】
図３に示されるフォーマット７１のように、本実施例におけるＪＰＥＧヘッダへの音声データの格納では、上記したアプリケーションマーカー領域を使用してＪＰＥＧフォーマットにネットワークカメラ／エンコーダ１、４１の映像データ／音声データ符号化装置１２、５２が音声データを書き込み、映像データ／音声データ符号化装置１２、５２が書き込んだ音声データを映像データ／音声データ再生装置３、４２の映像データ／音声データ復号化装置３２、６２が取り出す機能を提供することで、ＪＰＥＧフォーマットの汎用性を損なうことなく音声データの送受信を可能にすることができる。
【００５１】
ここで、１枚のＪＰＥＧ映像データのヘッダに格納される音声データのサイズは、ネットワークカメラ／エンコーダ１、４１におけるＪＰＥＧ映像データの配信設定（フレームレート）により決まる。ネットワークカメラ／エンコーダ１、４１におけるＪＰＥＧ映像データの配信設定が１秒間にＮ（Ｎは、複数である値）枚のＪＰＥＧ映像データを配信する設定であれば、１枚のＪＰＥＧ映像データのＪＰＥＧヘッダ部に格納される音声データサイズは（１／Ｎ）秒分の音声データになる。
【００５２】
このように、本例では、音声データをＪＰＥＧファイル内のアプリケーションセグメント（ＡＰＰ）に埋め込んで、映像データと音声データを一体として、送信要求や、送信や、記録や、再生を行う。
ここで、本例では、ＡＰＰに埋め込む音声データとしては、例えば、ヘッダ情報無しのＰＣＭデータ或いはＡＤＰＣＭデータを用いることができる。なお、現状の２ストリーム配信では、音声データはＰＣＭやＡＤＰＣＭでデジタル化して配信されており、また、配信時には符号化情報や時間情報のためにＲＴＰ（Ｒｅａｌｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）に似たヘッダを付けて配信されている。
【００５３】
また、本例では、ＪＰＥＧファイルは、例えば、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）又はマルチキャストを用いて要求や配信される。
また、本例では、ＪＰＥＧファイルを順次読み出して連続再生する際に、音声途切れを防ぐための音声バッファに合わせて映像表示を遅らせるか、或いは、ＪＰＥＧデコード次第すぐに表示するか、については、いずれが用いられてもよく、例えば、これらのモードを切り換えることが可能な構成とすることもできる。なお、映像監視が主目的であるような場合には、音声の途切れを許容する構成とすることが可能である。
【００５４】
以上のように、本例のネットワークカメラ１、４１では、映像データ撮影装置１１、５１と、音声データ録音装置１４、５４を備え、撮影した映像データ及び録音した音声データをデジタルデータに変換することが可能であり、且つネットワーク接続機能を備えてネットワークに直接接続することが可能であり、ネットワーク上に、直接、映像データ及び音声データを配信することが可能であり、そして、音声データを映像データのヘッダ情報として取り込むことで映像データと音声データを同一のストリームで配信することが可能である。
【００５５】
また、本例のネットワークエンコーダ１、４１では、映像データ入力装置１１、５１と音声データ入力装置１４、５４を備え、入力された映像データ及び入力された音声データをデジタルデータに変換することが可能であり、且つネットワーク接続機能を備えてネットワークに直接接続することが可能であり、ネットワーク上に、直接、映像データ及び音声データを配信することが可能であり、そして、音声データを映像データのヘッダ情報として取り込むことで映像データと音声データを同一のストリームで配信することが可能である。
【００５６】
また、本例の映像データ／音声データ記録装置２では、ネットワーク接続装置を備えてネットワークに直接接続することが可能であり、ネットワークカメラ又はネットワークエンコーダ１により配信された映像データと音声データを受信する映像データ／音声データ受信装置２１と、受信した映像データと音声データを記録する映像データ／音声データ保存装置（記録装置）２３と、映像データ／音声データ再生装置３からの映像データと音声データの要求を受け取る受信装置と、映像データ／音声データ再生装置３からの要求を受信したときに記録したデータを読み込む映像データ／音声データ読込装置２４を備え、そして、映像データ／音声データ再生装置３にネットワークを通じて記録した映像データと音声データを配信することが可能である。
【００５７】
また、本例の映像データ／音声データ再生装置３、４２では、ネットワーク接続装置を備えてネットワークに直接接続することが可能であり、映像データ／音声データ記録装置２又はネットワークカメラ／エンコーダ４１に対してネットワークを使用して映像データと音声データの配信要求を送信することが可能であり、また、ネットワーク接続装置により映像データ／音声データ記録装置２又はネットワークカメラ／エンコーダ４１から配信された映像データと音声データを受信してデジタル化された映像データと音声データを復号化する映像データ／音声データ復号化装置３３、６３を備え、映像データ再生装置３３、６３及び音声データ再生装置３４、６４に復号化された映像データ及び復号化された音声データを再生することが可能である。
【００５８】
このように、本例では、図１に示されるようにネットワークカメラ／エンコーダ１と映像データ／音声データ記録装置２と映像データ／音声データ再生装置３を有するデータ処理システムや、図２に示されるようにネットワークカメラ／エンコーダ４１と映像データ／音声データ再生装置４２を有するデータ処理システムにおいて、音声データを映像データのヘッダ情報として取り込むことで映像データと音声データを同一のストリームで配信することを可能として、ネットワーク通信の制御信号の送受信を低減させることができる。これにより、本例では、例えば、ネットワークストリームの制御のために使用するリソースの増加や、ネットワークストリームを流れる制御命令の増加や、記録領域で管理される付加情報の増加を抑えた上で、映像データと音声データの両方を記録や再生することができる。
【００５９】
なお、本例では、ネットワークカメラ／エンコーダ１、４１により送信装置が構成されており、映像データ／音声データ再生装置３、４２により受信装置が構成されており、映像データ／音声データ記録装置２により送信装置と受信装置との通信を中継する他の装置が構成されている。
また、本例の送信装置（ネットワークカメラ／エンコーダ１、４１）では、映像データ／音声データ符号化装置１２、５２の機能により、映像符号化手段、音声符号化手段、符号化された映像データのヘッダに音声データ（本例では、符号化された音声データ）を格納する音声格納手段が構成されており、映像データ／音声データ送信装置１３、５３の機能により送信手段が構成されている。
また、本例の受信装置（映像データ／音声データ再生装置３、４２）では、映像データ／音声データ受信装置３１、６１の機能により受信手段が構成されており、映像データ／音声データ復号化装置３２、６２の機能により、符号化された映像データのヘッダから格納された音声データ（本例では、符号化された音声データ）を抽出する抽出手段、映像復号化手段、音声復号化手段が構成されている。
【００６０】
ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
【図面の簡単な説明】
【００６１】
【図１】本発明の一実施例に係るネットワークカメラ／エンコーダ、映像データ／音声データ記録装置、映像データ／音声データ再生装置からなるデータ処理システムの全体的な構成例を示す図である。
【図２】本発明の一実施例に係るネットワークカメラ／エンコーダ、映像データ／音声データ再生装置からなるデータ処理システムの全体的な構成例を示す図である。
【図３】音声データのＪＰＥＧフォーマットへの取り込み方法の一例を示す図である。
【図４】従来技術に係るネットワークカメラ／エンコーダ、映像データ／音声データ記録装置、映像データ／音声データ再生装置からなるデータ処理システムの全体的な構成例を示す図である。
【図５】従来技術に係るネットワークカメラ／エンコーダ、映像データ／音声データ再生装置からなるデータ処理システムの全体的な構成例を示す図である。
【符号の説明】
【００６２】
１、４１、１０１、１５１・・ネットワークカメラ／エンコーダ、  ２、１０２・・映像データ／音声データ記録装置、  ３、４２、１０３、１５２・・映像データ／音声データ再生装置、  １１、５１、１１１、１６１・・映像データ撮影装置又は映像データ入力装置、  １２、５２・・映像データ／音声データ符号化装置、  １３、２５、５３・・映像データ／音声データ送信装置、  １４、５４、１１４、１６４・・音声データ録音装置又は音声データ入力装置、  ２１、３１、６１・・映像データ／音声データ受信装置、  ２２・・映像データ／音声データ書込装置、  ２３・・映像データ／音声データ保存装置、  ２４・・映像データ／音声データ読込装置、  ３２、６２・・映像データ／音声データ復号化装置、  ３３、６３、１４３、１７３・・映像データ再生装置、  ３４、６４、１４６、１７６・・音声データ再生装置、  １１２、１６２・・映像データ符号化装置、  １１３、１２５、１６３・・映像データ送信装置、  １１５、１６５・・音声データ符号化装置、  １１６・・音声データ送信装置、  １２１、１４１、１７１・・映像データ受信装置、  １２２・・映像データ書込装置、  １２３・・映像データ保存装置、  １２４・・映像データ読込装置、  １２６、１４４、１７４・・音声データ受信装置、  １２７・・音声データ書込装置、  １２８・・音声データ保存装置、  １２９・・音声データ読込装置、  １３０、１６６・・音声データ送信装置、  １４２、１７２・・映像データ復号化装置、  １４５、１７５・・音声データ復号化装置、
【図１】
2010074586.tif 000003
【図２】
2010074586.tif 000004
【図３】
2010074586.tif 000005
【図４】
2010074586.tif 000006
【図５】
2010074586.tif 000007