(57)【要約】【課題】監視等の目的で使われるネットワークカメラでは撮影した映像ストリームと音声ストリームをそれぞれ別ストリームとして分離して配信を行っている。これに対して、映像信号の圧縮にビデオカメラ用のコントローラを流用する場合には、映像データパケットと音声データパケットが混在したＴＳ（トランスポートストリーム）が生成される。そこで、本発明の目的は、映像信号の圧縮にビデオカメラ用のコントローラを流用する際に生じる、ＣＰＵの負荷を軽減し、容易に映像データのＥＳを生成することを可能にしたストリームデータ生成方法を提供することである。【解決手段】ＴＳ生成手段によるＴＳを生成する際に、前記映像圧縮手段より圧縮された映像データのみによりＴＳを生成することを特徴とする構成とした。【選択図】図１
2012156757.tif 000002
【特許請求の範囲】
【請求項１】
映像信号の入力手段、
入力された映像信号を圧縮する映像圧縮手段、
音声信号を符号化する音声符号化手段、
前記音声符号化手段の制御するための音声符号化制御手段、
映像圧縮手段により圧縮された映像データ、および、音声符号化手段により符号化された音声データより時分割多重されたＴＳ（トランスポートストリーム）を生成するＴＳ生成手段、
を備え、前記音声符号化制御手段により、音声符号化手段を停止させるとともに、前記ＴＳ生成手段によるＴＳを生成する際に、前記映像圧縮手段より圧縮された映像データのみによりＴＳを生成することを特徴とするストリームデータ生成装置。
【請求項２】
映像信号の入力手段、
入力された映像信号を圧縮する映像圧縮手段、
音声信号を符号化する音声符号化手段、
映像圧縮手段により圧縮された映像データ、および、音声符号化手段により符号化された音声データより時分割多重されたＴＳ（トランスポートストリーム）を生成するＴＳ生成手段、
ＴＳ生成手段を制御するためのＴＳ生成制御手段、
を備え、前記ＴＳ生成制御手段により、前記ＴＳ生成手段によるＴＳを生成する際に、前記映像圧縮手段より圧縮された映像データのみによりＴＳを生成することを特徴とするストリームデータ生成装置。
【請求項３】
前記ＴＳ生成手段により生成された映像データのみによるＴＳストリームより、
映像データのＥＳ（エレメンタリーストリーム）を生成することを特徴とする請求項１または請求項２に記載のストリームデータ生成装置。
【請求項４】
音声信号を入力する手段、
入力された音声信号を符号化する第二の音声符号化手段、
を備え、前記第二の音声符号化手段により符号化された音声データより音声データのＥＳ（エレメンタリーストリーム）を生成することを特徴とする請求項１ないし請求項３の何れか一項に記載のストリームデータ生成装置。
【請求項５】
前記映像圧縮手段、前記音声符号化手段、前記ＴＳ生成手段は、１つのＬＳＩとして構成されたことを特徴とする請求項１ないし請求項４の何れか一項に記載のストリームデータ生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ストリームデータ生成方法に関し、特にネットワークカメラの音声、映像のストリームデータ生成方法に関するものである。
【背景技術】
【０００２】
監視等の目的で使われるネットワークカメラでは、撮影した映像データ、及び、音声データをストリーム化してネットワーク上で伝送を行っている。この映像データ、及び、音声データは、それぞれ別ストリームとして分離して配信を行っている。これに対して、デジタルテレビに代表されるデジタル放送などは、映像データ、及び、音声データを混在させて１つのストリームとしたＴＳ（トランスポートストリーム）で配信を行っている。また、デジタルビデオでは、撮影した映像データ、及び、音声データをデジタルテレビ同様に１つのストリームとしたＴＳを生成し、これをファイルとして記録している。
【０００３】
例えば、特許文献１ではストリームデータの変換方法が開示されている。
【０００４】
また、最近では、デジタルテレビ用のコントローラ、ビデオカメラ用のコントローラ、また、ネットワークカメラ用のコントローラ等、目的を明確化し必要な機能をすべて実現するようなコントローラＬＳＩを作成し、これによって各種機器を作り上げている。たとえば、ネットワークカメラ用コントローラであれば、撮像した映像信号を圧縮して映像データのＥＳ（エレメンタリーストリーム）を生成するとともに、音声信号を符号化し、音声のＥＳ（エレメンタリーストリーム）を生成する。そして、それぞれのＥＳをネットワークに出力する、という機能が１チップ化されている。
【０００５】
また、ビデオカメラのコントローラであれば、撮像した映像信号を現像して、これを圧縮して映像データのＥＳ（エレメンタリーストリーム）を生成するとともに、音声信号を符号化し、音声のＥＳ（エレメンタリーストリーム）を生成する。そして、この２つのＥＳをそれぞれパケット化して、時分割に多重化することでＴＳを生成し、これをメモリカード等のメディアに記録する、という機能が１チップ化されている。
【０００６】
以前は、さまざまな機能のＩＣを組み合わせて全体の機能を実現するように設計されていた。しかし、半導体のプロセスの発展により、１つのチップの中に多くの機能を入れることができるようになると、上述したように製品の機能をすべて集約したＬＳＩが作られるようになった。それによって、制御部分のコストは、メインのコントローラのコストになり、部品コストの削減、結果として製造コストを下げることができるようになった。
【０００７】
このようにして、製品ごとの専用のコントローラのコストは下がったものの、開発費、開発負荷は膨大となり、大量に製造される機器に対しては、コストメリットはあるものの、少量生産品に対しては、コストメリットを生かすことができない。
【０００８】
また、製品ごとの専用のコントローラに機能を集約して実装するために、単機能のＩＣ類の需要が下がってしまっている。このために、組合せによって機能を実現させようとした場合、また、既存のコントローラに対して、新たな機能を追加するといった場合に、必要な機能のＩＣ類が、単体で存在しない。あっても需要が少ないために非常にコストが高い等、これらを選択できないという状況に陥っている。
【０００９】
特に、映像信号の圧縮に関してでは、モーションＪＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４ベースラインプロファイル、Ｈ．２６４ハイプロファイル等様々な圧縮方式が提案され、また、製品に実装されている。しかしながら、これらの圧縮方式を実現するハードウェアは、上述したように、製品ごとのコントローラの中に実装されてしまい、映像信号の圧縮専用のＩＣが存在しない状態になってしまっている。
【００１０】
このために、映像信号の圧縮のためにこの機能が搭載されているコントローラに着目し、これを流用しようとすると、ビデオカメラ用のコントローラでは、映像信号のみならず、音声信号の圧縮を行う。さらに、これをＴＳ（トランスポートストリーム）に生成して出力するように作られている。
【００１１】
図５を用いて説明を行う。６００はビデオカメラ用のコントローラであり、映像信号の圧縮部６１０、音声信号の符号化部６１５、ＴＳ生成部６２０、および、ビデオカメラ用のコントローラ６００の各ブロックを制御するコントローラ６６０、を内蔵している。このビデオカメラ用のコントローラ６００では、入力された映像信号を映像信号の圧縮部６１０で映像信号の圧縮を行うとともに、入力された音声信号を音声信号の符号化部６１５で圧縮を行う。
【００１２】
それぞれ圧縮された映像データ、及び、音声データは、それぞれパケット化されて（図示せず）、ＴＳ生成部６２０によりパケット化された映像データ、音声データを時分割多重してＴＳを生成する。
【００１３】
ネットワークカメラでは、映像データと音声データをそれぞれ別々のＥＳ（エレメンタリーストリーム）にしてネットワーク出力をする必要があるために、多重化されたＴＳから、映像データと音声データをＴＳ分離部６３０で分離する。分離した映像データ、および、音声データは、それぞれＥＳに変換されて、ネットワークに出力される。
【００１４】
図６は、この流れをフローチャートで表したものである。入力された映像信号（Ｓ６００）は、映像圧縮され（Ｓ６１０）、１８８バイトごとのパケットに分割される。（Ｓ６２０）また、入力された音声信号（Ｓ６０５）は、音声符号化され（Ｓ６１５）、映像データ同様に１８８バイトごとのパケットに分割される。（Ｓ６２５）パケット化された映像データと音声データは、ＴＳとして多重化される。
【００１５】
（Ｓ６３０）多重化されたＴＳより映像データパケットと音声データパケットに分離され（Ｓ６４０）、それぞれ別々にＥＳに変換される。（Ｓ６５０、Ｓ６５５）映像データ、音声データに分離され、ＥＳに変換された各データは、それぞれ別ストリームとしてネットワークに出力される。（Ｓ６６０、Ｓ６６５）
図７は、ＴＳおよびＥＳのフォーマットを説明する図である。ＴＳは、１パックという固まりに対して、先頭にパックヘッダがつき、その後にパケット化された映像データ、音声データ等が入る。ここで、１パケットは１８８バイトであり、先頭にパケットヘッダ（図示せず）がつく。
【００１６】
ＴＳの１パックの中には、複数の映像パケット、音声パケットが混在している。このＴＳから映像、音声を分離するためには、各パケットのヘッダ情報より映像パケットか、音声パケットかを判別し、映像、音声のパケットを分離していく。さらに、ネットワークカメラで必要な、映像のＥＳ、および、音声のＥＳを生成するために、さらに各パケットのヘッダを削除していく必要がある。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開平９−１３９９３７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
映像データパケットと音声データパケットが混在したＴＳ（トランスポートストリーム）は、１パケットが１８８バイト単位のパケットデータが数１００ｋ〜数Ｍｂｙｔｅ／Ｓｅｃのデータレートで流れてくる。データレートが高い中で、１８８バイトという小さな単位のパケットごとにパケットヘッダを見て、パケットが映像データパケットであるか、音声データパケットであるかを判定しなければならない。
【００１９】
さらに、判定結果に基づいて、映像データパケットと音声データパケットが混在しているＴＳより映像データパケットと音声データパケットを分離する。ストリームとして流れてくるデータ列より、中のヘッダ情報より映像データパケットと音声データパケットを判別し、分離していくことは、組込み機器においてはＣＰＵの負荷が大きく、そのほかの機器の制御ができなくなってしまう、という問題があった。
【００２０】
そこで、本発明の目的は、映像信号の圧縮にビデオカメラ用のコントローラを流用しつつ、ＣＰＵの負荷を軽減し、容易に映像データのＥＳを生成することを可能にしたストリームデータ生成方法を提供することである。
【課題を解決するための手段】
【００２１】
上記目的を達成するために、本発明は、映像信号の入力手段、入力された映像信号を圧縮する映像圧縮手段、音声信号を符号化する音声符号化手段、前記音声符号化手段の制御するための音声符号化制御手段、映像圧縮手段により圧縮された映像データ、および、音声符号化手段により符号化された音声データより時分割多重されたＴＳ（トランスポートストリーム）を生成するＴＳ生成手段、ＴＳ生成手段を制御するためのＴＳ生成制御手段、
を備え、前記音声符号化制御手段により、音声符号化手段を停止させること、かつ、または、前記ＴＳ生成制御手段によりＴＳ生成手段を制御することにより、前記ＴＳ生成手段によるＴＳを生成する際に、前記映像圧縮手段より圧縮された映像データのみによりＴＳを生成することを特徴とする。
【発明の効果】
【００２２】
本発明によれば、ネットワークカメラのように撮影した映像ストリームと音声ストリームをそれぞれ別ストリームとして分離して配信を行っているものに対し、映像信号の圧縮にビデオカメラ用のコントローラを流用する際に、ＣＰＵの負荷を軽減する。そしし、容易に映像データのＥＳを生成することを可能にしたストリームデータ生成方法を提供することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第一の実施例のブロック図
【図２】本発明の第一の実施例のフローチャート
【図３】本発明のＴＳ、ＥＳのフォーマット説明図
【図４】本発明の第二の実施例のブロック図
【図５】従来例のブロック図
【図６】従来例のフローチャート
【図７】従来例のＴＳ、ＥＳのフォーマット説明図
【発明を実施するための形態】
【００２４】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００２５】
図１は、本発明の実施例１の実施形態にかかわるブロック図である。１００は映像・音声ストリーム生成部である。以下は映像・音声ストリーム生成部１００内部のブロックである。１１０は映像圧縮部、１１５は音声符号化部、１２０はＴＳ（トランスポートストリーム）生成部、１６０はコントローラ部、である。１４０は映像データＥＳ（エレメンタリーストリーム）生成部、１５０は映像データＥＳのネットワーク出力部、１１７は第二の音声符号化部、１４７は音声データＥＳ（エレメンタリーストリーム）生成部、１５７は音声データＥＳのネットワーク出力部、である。
【００２６】
図１において、入力された映像信号は、映像・音声ストリーム生成部１００に入り、映像・音声ストリーム生成部１００内部の映像圧縮部１１０でＨ．２６４やＭＰＥＧ等の映像圧縮がおこなわれ、映像・音声ストリーム生成部１００内部のＴＳ生成部１２０に入る。映像・音声ストリーム生成部１００内部のコントローラ１６０により、映像・音声ストリーム生成部１００内部の映像圧縮部１１０、音声符号化部１１５、ＴＳ生成部１２０に対しそれぞれ制御を行う。
【００２７】
映像圧縮部１１０に対しては、圧縮方式、圧縮率等の設定を行う。音声符号化部１１５に対しては、非動作状態に設定する。または、ＴＳ生成部１２０に対しては、映像圧縮部１１０により圧縮された映像データのみを使ってＴＳを生成するように制御する。このようにして、ＴＳ生成部１２０で映像圧縮部１１０により圧縮された映像データのみを使ってＴＳを生成するように音声符号化部からの音声データをＴＳに載せず映像データのみのＴＳを生成する。
【００２８】
映像データのみよりＴＳ生成されたＴＳから、映像データＥＳ生成部１４０によってＴＳ→ＥＳ変換され、映像のストリームデータとしてネットワーク出力部１５０よりネットワーク出力される。また、入力された音声信号は、第二の音声符号化部１１７により圧縮されて音声ＥＳ生成部１４７にてＥＳ生成され、音声のストリームデータとしてネットワーク出力部１５７よりネットワーク出力される。
【００２９】
図２は、この流れをフローチャートで表したものである。入力された映像信号（Ｓ１００）は、映像圧縮され（Ｓ１１０）、１８８バイトごとのパケットに分割される（Ｓ１２０）。パケット化された映像データからＴＳが生成される（Ｓ１３０）。映像データのみで構成されたＴＳより映像データのＥＳに変換される（Ｓ１５０）。
【００３０】
そして映像データのＥＳはネットワークに出力される（Ｓ１５０）。また、入力された音声信号（Ｓ１０５）は、音声符号化され（Ｓ１１５）、そのままＥＳに変換され（Ｓ１５５）、ネットワークに出力される（Ｓ１６５）。このように、図２のフローチャートに対して、映像データパケットと音声データパケットが混在したＴＳよりパケットの種別を判定して分離するというＴＳ分離の工程がなくしている。
【００３１】
図３を用いてストリームデータの中身に関して説明する。すでに背景技術のところで説明したように、ＴＳ（トランスポートストリーム）の１パックは、パックヘッダと複数のパケットより構成されている。ここで、１パケットは１８８バイトであり、パケットヘッダ（図示せず）と映像データ、または、音声データより構成される。
【００３２】
ここで、先に説明したように、ＴＳ生成部１２０（図１）によって、映像データのパケットのみでＴＳを構成するように生成するために、生成されたＴＳは、図３のようなものとなる。この映像データのパケットのみで構成されたＴＳより、パックヘッダ、および、各パケットのパケットヘッダを取り除いて映像データのＥＳ（エレメンタリーストリーム）を生成する。
【００３３】
このように、ＴＳ生成部１２０に入力する音声符号化部１１５を非動作状態とする、または、ＴＳ生成部１２０で映像圧縮部１１０により圧縮された映像データのみを使ってＴＳを生成するようにしたことにより、映像データのみのＴＳが生成できた。これにより、映像データと音声データの判定、分離を行う必要が無くなり、映像データのＥＳ生成を比較的軽いＣＰＵ負荷によって実現できるようになった。
【実施例２】
【００３４】
図４は、本発明の実施例２の実施形態にかかわるブロック図である。図４は、ネットワークカメラに本発明を応用した実施形態を説明する。図４において、２００はレンズ、２１０は撮像センサ、２２０は現像処理部、２３０は音声入力部、２４０は音声増幅部、３００はネットワーク処理部である。また、２５０はＲＯＭ、２６０はＲＡＭ、２７０はネットワークインターフェース（ＰＨＹ）、４００は第二の映像・音声ストリーム生成部、である。
【００３５】
以下は、ネットワーク処理部３００の内部のブロックである。３１０は映像信号前処理部、３１５は音声信号前処理部、３２０は第一の映像信号圧縮部、３２２は第二の映像信号圧縮部、３２５は第一の音声信号符号化部、である。３３０は第一の映像データＥＳ生成部、３３２は第二の映像データＥＳ生成部、３３５は第一の音声データＥＳ生成部、３３８は第三の映像データＥＳ生成部、３４０はＥＳ多重化部、３５０はネットワーク処理部３００の各ブロックを制御するコントローラ、である。
【００３６】
以下は、第二の映像・音声ストリーム生成部４００の内部のブロックである。４１０は第三の映像圧縮部、４１５は第二の音声符号化部、４２０はＴＳ生成部、４３０は第二の映像・音声ストリーム生成部４００の各ブロックを制御する第二のコントローラ、である。
【００３７】
図４において、レンズ２００を通った光は撮像センサ２１０により光電変換されて、現像処理部２２０により現像処理され、ネットワーク処理部３００に入力される。また、マイク等（図示せず）より入力された音声信号は音声増幅部２４０により増幅され、映像信号と同様にネットワーク処理部３００に入力される。
【００３８】
ネットワーク処理部３００においては、現像された映像信号は、映像信号前処理部３１０にて、デジタルズーム処理、各種補正処理、ＯＳＤ（オンスクリーンディスプレイ）、マスキング処理等が施される。映像信号前処理部３１０の出力は、ネットワークに配信するための圧縮がおこなわれる。映像信号の圧縮処理は各種の圧縮方式があるために、たとえば、第一の映像圧縮部３２０ではモーションＪＰＥＧの圧縮がおこなわれ、第二の映像圧縮部３２２ではＨ．２６４のベースラインプロファイルの圧縮処理がおこなわれる。
【００３９】
それぞれの方式により圧縮された映像データは、圧縮方式それぞれに第一の映像データＥＳ生成部３３０、第二の映像データＥＳ生成部３２２によりＥＳに変換される。また、増幅された音声信号は、音声信号前処理部３１５にてアナログ・デジタル変換、フィルタリング処理、補正処理等が施される。音声信号前処理部の出力は、第一の音声符号化部３２５により、ネットワークに配信するためのＧ．７１１等の符号化がおこなわれる。符号化された音声信号は、音声データＥＳ生成部３３５によりＥＳ変換される。
【００４０】
各種圧縮方式の映像データのＥＳ、および、音声のＥＳは、多重化部３４０により、それぞれｈｔｔｐ等のプロトコルにパッキングされてネットワークインターフェース（ＰＨＹ）２７０を介してネットワークに出力される。さらに、映像信号の圧縮処理として新たな圧縮方式に対応するために、ネットワーク処理部３００のほかに、第二の映像・音声ストリーム生成部４００を追加する。第二の映像・音声ストリーム生成部４００の内部は、実施例１で説明した映像・音声ストリーム生成部１００と同じである。
【００４１】
この第二の映像・音声ストリーム生成部４００を、新たな映像信号の圧縮方式用の圧縮部として機能させる。このために、ネットワーク処理部３００内部の映像信号前処理部３１０にて各種補正・処理が施された映像信号を入力として、第二の映像・音声ストリーム生成部４００内部の第三の映像圧縮部４１０にて第三の映像圧縮方式で圧縮がおこなわれる。第三の映像圧縮部４１０にて行われる第三の映像圧縮方式は、たとえばＨ．２６４ハイプロファイルの圧縮処理がおこなわれる。
【００４２】
第二の映像・音声ストリーム生成部４００内部の第二のコントローラ４３０は、第二の映像・音声ストリーム生成部４００内部の各ブロックの制御を行う。この実施例では、第二の映像・音声ストリーム生成部４００では、第三の映像圧縮方式に対応したストリームのみを生成するものであるため、第二の音声符号化部４１５に対しては、非動作状態に設定する。または、ＴＳ生成部４２０に対しては、第三の映像圧縮部４１０により圧縮された映像データのみを使ってＴＳを生成するように制御する。
【００４３】
このように制御することにより、第三の映像圧縮部４１０で圧縮された映像データのみのパケットで構成されたＴＳが生成され、ネットワーク処理部３００に出力される。第二の映像・音声ストリーム生成部４００により生成された映像データのパケットのみにより構成されたＴＳは、ネットワーク処理部３００内部の第三の映像データＥＳ生成部３３８に入力され、ＥＳに変換される。
【００４４】
第三の映像データＥＳ生成部３３８により変換された第三の圧縮方式による映像データＥＳは次ぎのようにしてネットワークに出力される。即ち、第一、第二の映像データＥＳ生成部３３０、３３２と同様に多重化部３４０により、ｈｔｔｐ等のプロトコルにパッキングされてネットワークインターフェース（ＰＨＹ）２７０を介してネットワークに出力される。
【００４５】
ここでの説明は、前処理、圧縮、ＥＳ生成、多重化、と機能ブロックごとの説明を行ってきた。しかし、この機能ブロックは、ハードウェアに限るものではなく、ソフトウェア、また、ハードウェアとその動作を規定するマイクロコード等によっても実現可能なものであることは、いうまでもないことである。
【００４６】
以上説明したように、ネットワークカメラ等の既存の専用コントローラによる映像信号の圧縮方式に対し、それ以外の新たな圧縮方式に対応するために、これを内蔵しているビデオカメラ用のコントローラ等を流用する際のＣＰＵの負荷を軽減した。この結果として、大量に生産され、比較的コストの安いビデオカメラ用のコントローラ等を流用することが可能となり、新たな圧縮方式の追加が簡単に、かつ短期間で可能となった。
【００４７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４８】
１００は映像・音声ストリーム生成部
１１０は映像・音声ストリーム生成部内部の映像圧縮部
１１５は映像・音声ストリーム生成部内部の音声符号化部
１２０は映像・音声ストリーム生成部１００内部のＴＳ（トランスポートストリーム）生成部
１６０は映像・音声ストリーム生成部１００内部のコントローラ部
１４０は映像データＥＳ（エレメンタリーストリーム）生成部
１５０は映像データＥＳのネットワーク出力部
１１７は第二の音声符号化部
１４７は音声ＥＳ（エレメンタリーストリーム）生成部
１５７は音声ＥＳのネットワーク出力部
【図１】
2012156757.tif 000003
【図２】
2012156757.tif 000004
【図３】
2012156757.tif 000005
【図４】
2012156757.tif 000006
【図５】
2012156757.tif 000007
【図６】
2012156757.tif 000008
【図７】
2012156757.tif 000009