(57)【特許請求の範囲】
【請求項１】
入力された画像または音声信号から、複数の圧縮符号化された符号化フレームを生成し、当該生成された符号化フレームを含む複数のデータストリームをネットワーク上で並列的に複数の通信端末に通信するデータ通信装置において、
画像または音声信号を取り込むセンサ部と、
前記センサ部において取り込まれた画像または音声信号を圧縮符号化してフレーム区間毎に複数の符号化フレームを生成する圧縮部と、
前記圧縮部で生成される符号化フレームの種別を制御するフレーム制御部と、
前記圧縮部で圧縮符号化された前記符号化フレームをネットワークを介して複数の通信端末に並列的に通信する通信部とを備え、
前記フレーム制御部は、前記圧縮部で生成される符号化フレームの種別の組み合わせパターンが示された生成テーブルを格納する生成テーブル保持部を備え、前記生成テーブルが示す符号化フレームの種別の組み合わせパターンに従って、符号量の多い第１の種別の符号化フレームが同一フレーム区間で生成されないように、複数のデータストリームの各々における符号化フレームの種別を制御し、前記生成テーブルを動的に書き換えることにより、前記第１の種別の符号化フレームの発生レートを動的に変更することを特徴とするデータ通信装置。
【請求項２】
前記フレーム制御部は、複数の各データストリームに対応した複数のデクリメントカウンタ部を備え、前記符号化フレームの発生レートが変更する場合には、前記デクリメントカウンタ部のカウンタ値を用いて、複数の各ストリームに対応する符号化フレームの種別を制御する
ことを特徴とする請求項１記載のデータ通信装置。
【請求項３】
前記フレーム制御部は、前記複数のデクリメントカウンタ部の初期値を各データストリームで重複させない、又は前記複数のデクリメントカウンタ部のカウンタ値が重複している場合には当該カウンタ値を加減算することで、符号量の多い種別の符号化フレームが同一フレーム区間で生成されないように、複数の各ストリームに対応した符号化フレームの種別を制御する
ことを特徴とする請求項２記載のデータ通信装置。
【請求項４】
前記データ通信装置は、さらに、
前記通信部の通信帯域を監視する帯域監視部を備え、
前記帯域監視部は、通信帯域が所定量を超えた場合に、前記フレーム制御部に通知し、
前記フレーム制御部は、前記帯域監視部からの前記通知を受けた場合には、符号量の少ない種別の符号化フレームを生成するように制御する
ことを特徴とする請求項１記載のデータ通信装置。
【請求項５】
前記データ通信装置は、さらに、
CPU負荷率を監視するCPU負荷監視部を備え、
前記CPU負荷監視部は、CPU負荷率が所定率を超えた場合に前記フレーム制御部に通知し、
前記フレーム制御部は、前記フレーム制御部からの前記通知を受けた場合には、符号量の少ない種別の符号化フレームを生成するように制御する
ことを特徴とする請求項１記載のデータ通信装置。
【請求項６】
前記データ通信装置は、さらに、
生成する前記複数の符号化フレームの符号量を監視する符号量監視部を備え、
前記符号量監視部は、生成される符号量が所定量を超えた場合に、前記フレーム制御部に通知し、
前記フレーム制御部は、前記通知を受けた場合には、符号量の少ない種別の符号化フレームを生成するように制御する
ことを特徴とする請求項１記載のデータ通信装置。
【請求項７】
前記データ通信装置は、さらに、
前記圧縮部で生成される前記符号化フレームの種別を監視するフレームパターン監視部を備え、
前記フレーム制御部は、前記フレームパターン監視部において複数のデータストリームのいずれかの同一フレーム区間で符号量の多い符号化フレームの生成が重なる場合、符号量の少ない種別の符号化フレームを生成するように制御する
ことを特徴とする請求項１記載のデータ通信装置。
【請求項８】
前記データ通信装置は、さらに、
前記圧縮部で生成される同種別の前記符号化フレームが連続生成される回数をカウントするカウント部を備え、
前記フレームパターン監視部は、前記カウント部においてカウントされる同一フレーム周期で、符号量の少ない符号化フレームが連続生成された回数が所定回数を超えた場合には、前記フレーム制御部に通知し、
前記フレーム制御部は、当該通知を受けた場合には、符号量の多い種別の前記符号化フレームが同一フレーム区間で生成されないようにしながら、符号量の多い種別の符号化フレームを生成するように制御する
ことを特徴とする請求項７記載のデータ通信装置。
【請求項９】
前記通信部は、種別の異なる複数のデータ通信部を有し、
前記データ通信装置は、さらに、
前記通信部を使用するために制御を行う通信制御部と、
前記通信部の通信帯域を監視する帯域監視部とを備え、
前記通信制御部は、前記帯域監視部において監視されている使用中の前記通信部の通信帯域が所定量を超えた場合には、前記通信部が有する別の前記データ通信部を選択し、
当該選択されたデータ通信部は、前記符号化フレームを通信端末に通信する
ことを特徴とする請求項１記載のデータ通信装置。
【請求項１０】
前記データ通信装置は、さらに、
前記符号化フレームを分割するデータ分割部を備え、
前記帯域監視部において通信トラフィックが混雑したと監視される場合には、前記データ分割部は、前記符号化フレームを分割し、
前記通信制御部は、前記分割された符号化フレームを複数のデータ通信部に振り分け、当該データ通信部は、分割された符号化フレームを通信端末に通信する
ことを特徴とする請求項９記載のデータ通信装置。
【請求項１１】
前記データ通信装置は、さらに、
符号化フレームを通信するネットワークにとって最適なMTU（Maximum Transmission Unit）サイズを判断するMTU部を備え、
前記データ分割部は、前記符号化フレームを前記MTU部で最適と判断されたMTUサイズで分割し、
前記通信部は、前記データ分割部で分割された符号化フレームを通信端末に通信する
ことを特徴とする請求項１０記載のデータ通信装置。
【請求項１２】
前記フレーム制御部は、同一フレーム区間で生成される前記符号化フレーム種別を組み合わせて段階的に符号量を調整する
ことを特徴とする請求項１から１１のいずれか１項に記載のデータ通信装置。
【請求項１３】
入力された画像または音声信号から、複数の圧縮符号化された符号化フレームを生成し、当該生成された符号化フレームを含む複数のデータストリームをネットワーク上で並列的に複数の通信端末に通信するデータ通信方法において、
画像または音声信号を取り込むセンサ部において取り込まれた画像または音声信号を圧縮符号化してフレーム区間毎に複数の符号化フレームを生成する圧縮ステップと、
前記圧縮ステップにおいて生成される符号化フレームの種別を制御するフレーム制御ステップと、
前記圧縮ステップで圧縮符号化された前記符号化フレームをネットワークを介して複数の通信端末に並列的に通信する通信ステップとを備え、
前記フレーム制御ステップおいては、前記圧縮ステップにおいて生成される符号化フレームの種別の組み合わせパターンが示された生成テーブルを格納する生成テーブル保持ステップを含み、前記生成テーブルが示す符号化フレームの種別の組み合わせパターンに従って、符号量の多い第１の種別の符号化フレームが同一フレーム区間で生成されないように、複数のデータストリームの各々における符号化フレームの種別を制御し、前記生成テーブルを動的に書き換えることにより、前記第１の種別の符号化フレームの発生レートを動的に変更する
ことを特徴とするデータ通信方法。
【請求項１４】
前記フレーム制御ステップにおいては、複数の各データストリームに対応した複数のデクリメントカウンタステップを含み、前記符号化フレームの発生レートが変更する場合には、前記デクリメントカウンタステップにおけるカウンタ値を用いて、複数の各ストリームに対応する符号化フレームの種別を制御する
ことを特徴とする請求項１３記載のデータ通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮符号化された画像また音声信号を、IP(Internet Protocol)パケットの変換処理技術を用いて、インターネットなどのコンピュータネットワークを介して、リアルタイムに通信するデータ通信装置に関するものである。
【背景技術】
【０００２】
近年、ネットワーク回線を利用した画像や音声情報を含むデジタルデータの転送がごく一般的に行われるようになってきた。これらの画像や音声情報はさまざまな形態で利用されているが、そのなかでも、監視、観察を目的としたものも少なくない。これらは、カメラと画像プロセッサとネットワーク通信装置を組み合わせたもので、ユーザは画像や音声を閲覧したい箇所に設置されたそれらの装置にネットワーク経由でアクセスして、遠隔地の画像や音声を閲覧することができる。
【０００３】
図１に従来のネットワークカメラ端末１０１の構成例を示す参考図である。
図１を用いて、ネットワークカメラ端末１０１の画像データの送信処理を説明する。ネットワークカメラ端末１０１は、画像情報を入力するセンサ部１０２と、センサ部１０２から取込んだ画像にY/C処理を施すY/C部１０３と、Y/Cデータを圧縮符号化して符号化フレームを生成する圧縮部１０４と、符号化データをパケット化して通信する通信部１０５で構成される。
【０００４】
まず、センサ部１０２から入力された画像情報が入力される。センサ部１０２は、前記画像または音声情報をデジタル変換し、Y/C部１０３に転送する。Y/C部１０３は、受け取ったデータをY/C処理し、VGAやQVGAなどのサイズにリサイズを行う。圧縮部１０４は、Y/C部１０３からデータを受け取り、MPEGなどの圧縮符号化処理を行い、符号化フレームを生成する。通信部１０５は、前記符号化フレームを受け取り、WAN(Wide Area Network)もしくはLAN(Local Area Network)などのネットワークを通じて、複数の通信相手１０５に送信する。
【０００５】
本図においては、ネットワークカメラ端末１０１からネットワークを介して複数の通信端末１０６送信される画像データは、例えば、VGA（Video Graphics Array：主にＰＣ用に用いられ高解像度の画像情報）、QVGA（Quarter VGA：VGAの四分の一サイズで主にＰＤＡや携帯電話に利用される低解像度の画像）、QQVGA（Quarter Quarter VGA：VGAの四分の一のさらに四分の一のサイズであり、主に携帯電話に用いられるより低解像度の画像）である。
【０００６】
ところで、例えば、MPEG方式で圧縮符号化された符号化フレームは、自身のデータのみで復号化が可能なＩフレームと、フレーム間予測の順方向予測を用いて符号化されるＰフレームと、フレーム間予測の双方向予測を用いて復号化されるＢフレームで構成されるが、これらＩフレームと、ＰフレームまたはＢフレームとの間に符号化量の差が生じる。具体的には、ＩフレームとＰフレームまたはＢフレームの符号化量の一般的な比率は３対１である。そのため、Ｉフレームが生成されるフレーム区間では、ネットワークが送信する符号化量は局所的に増大し、平均の送信符号量を上回ってしまう。さらに、１つの画像または音声信号から複数の符号化フレームを生成して並列に送信する場合、Ｉフレームが同フレーム区間で同時に生成されると、送信する符号化量が瞬間的に増大し、ネットワークの送信可能な帯域を越えてしまう。
【０００７】
図２は、画像解像度の異なる３つのデータストリーム#１、#２、#３が並列的に複数の通信端末に同時配信された場合の符号量の偏りを示す参考図である。
【０００８】
この場合、ネットワークカメラの送信処理は、前述の図１の処理と同様であり、３３msのフレーム周期毎に行われる。但し、フレームレートが変化する場合は３３ms×N(N=１,２,３...)の周期ごとに行われる。例えば、３０fpsの場合は３３ms周期、１５fpsの場合は６６ms周期、１０fpsの場合は９９ms周期である。
【０００９】
なお、本明細書においては、フレームレートを３０fpsとし、MPEGの符号化フレームは、自身のデータのみで復号化が可能なＩフレームと、フレーム間予測で順方向予測を用いて復号化されるＰフレームのみで構成される場合に限定して説明をするが、ここで、フレームレートの変化や、Ｂフレームが追加されても、とくに問題はない。
【００１０】
図２では、異なる３つのデータストリームにおいて、同一フレーム区間内でＩフレーム２０１,２０２,２０３が生成される。そのためＩフレームのフレーム内符号化が重なり、通信装置の送信性能を超える符号化データが生成され、Ｉフレームが生成される区間において送信する符号量が増大し、過負荷２０４が発生している。更に、過負荷２０４を送信するために最小フレーム区間３３msの間に送信処理２０５が発生する。この最小フレーム区間３３ms以内に送信処理２０５が完了できない場合、各データストリームで定められたフレームレートにしたがって符号化フレームを送信することができなくなってしまう。
【００１１】
そして、予め定められたフレームレートに従って、各データストリームの符号化フレームを所定時間内に送信する必要があるため、符号化フレームを指定のフレームレートに従った所定時間内に送信することができない場合には、いわゆるフレーム落ちが発生し、受信側１０６で、動画像を連続して再生することができなくなる。この場合、再生画像の品質に悪影響を及ぼす。例えば、MPEG符号化の場合は深刻である。Ｉフレームが欠落すると、次のＩフレーム到達するまで、画像が全く再生されない。これはＩフレームが再生情報の基準情報であるためである。また、Ｐフレームが欠落すると、差分情報がないため正常な画像が再生されない。
【００１２】
そのため、符号量の大きい符号化フレームの送信処理には時間を要するため、フレーム落ちを発生させることなく動画像データを送信するためには、生成される符号化フレームの各符号化量を制御する必要がある。
【００１３】
そして、MPEG方式のようなフレーム間予測を用いた圧縮符号化では、発生符号量の変動幅に大きく変動し、ネットワークの送信可能な帯域を瞬間的に越えてしまうことが問題となる。特に、ネットワークカメラ端末において、１つの映像ソースから複数の圧縮符号化データを生成し、これらを同時に配信する場合には、発生符号量の変動幅がさらに増大する。
【００１４】
また、上記の課題である符号化量を制御する技術として、符号化フレームの生成タイミングを制御する方法が知られている（例えば、特許文献１）。
【特許文献１】特開２００４―１４０６５１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかしながら、上記の特許文献１には以下の２つの課題がある。
すなわち、１つ目の課題は、Ｉフレームの生成を任意のフレーム区間で制御できないことである。前述の特許文献１では、画像または音声信号を圧縮する開始タイミングをフレーム単位でシフトし、Ｉフレームの生成タイミングが同一フレーム区間内に重ならないようにしている。このため、Ｉフレームの挿入間隔が一定であることが前提であり、Ｉフレームの生成を任意のフレーム区間で制御することはできない。ちなみにMPEG方式では、ビットレートやフレームレートと、Ｉフレームの挿入間隔は依存関係になく、任意に設定することが可能である。
【００１６】
また、２つ目の課題は、上記の特許文献１に示す方法においては、複数の圧縮部の構成を要する点である。前述の特許文献１では、入力された映像信号から同期信号を検出し、複数の圧縮部でそれぞれ異なるデータストリームを複数生成する。このため、データ通信装置に複数の圧縮部があることが前提であり、データ通信装置のコストが増加する。なお、一般のコンシューマもしくはビジネス向けのネットワークカメラでは、コスト削減のために１つの圧縮部しか持たず、同一のフレーム区間で複数の異なるデータストリームを生成するために１つの圧縮部を時分割で使用する。
【００１７】
本発明は以上の課題に鑑みてなされたものであり、複数のデータストリームをネットワークを介して並列的に複数の通信端末の送信するデータ通信装置において、単一の圧縮部を用いて、且つＩフレームの生成を任意のフレーム区間で制御可能としながら通信遅延の発生を適切に抑制することができるデータ通信装置を提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記課題を解決するため、本発明に係るデータ通信装置は、入力された画像または音声信号から、複数の圧縮符号化された符号化フレームを生成し、当該生成された符号化フレームを含む複数のデータストリームをネットワーク上で並列的に複数の通信端末に通信するデータ通信装置において、画像または音声信号を取り込むセンサ部と、前記センサ部において取り込まれた画像または音声信号を圧縮符号化してフレーム区間毎に複数の符号化フレームを生成する圧縮部と、前記圧縮部で生成される符号化フレームの種別を制御するフレーム制御部と、前記圧縮部で圧縮符号化された前記符号化フレームをネットワークを介して複数の通信端末に並列的に通信する通信部とを備え、前記フレーム制御部は、前記圧縮部で生成される符号化フレームの種別の組み合わせパターンが示された生成テーブルを格納する生成テーブル保持部を備え、前記生成テーブルが示す符号化フレームの種別の組み合わせパターンに従って、符号量の多い第１の種別の符号化フレームが同一フレーム区間で生成されないように、複数のデータストリームの各々における符号化フレームの種別を制御し、前記生成テーブルを動的に書き換えることにより、前記第１の種別の符号化フレームの発生レートを動的に変更することを特徴とする。
【００１９】
この構成により、１つの圧縮部の構成で、フレーム制御部において例えば３つのデータストリームで、Ｉフレームが異なるフレーム区間に生成されるため、送信する符号量が減少し、局所的に発生する符号量の偏りを減少し、符号量が平滑化することが可能となる。
【００２１】
さらに、この構成により、フレーム制御部においては、生成テーブルを用いてＩフレームの生成を任意のフレーム区間で制御できると共に、適切に符号量の多いフレームが重複しないように制御することができる。
【００２２】
また、本発明に係る前記フレーム制御部は、複数の各データストリームに対応した複数のデクリメントカウンタ部を備え、前記符号化フレームの発生レートが変更する場合には、前記デクリメントカウンタ部のカウンタ値を用いて、複数の各ストリームに対応する符号化フレームの種別を制御することを特徴とする。
【００２３】
また、本発明に係るデータ通信装置のフレーム制御部は、前記複数のデクリメントカウンタ部の初期値を各データストリームで重複させない、又は前記複数のデクリメントカウンタ部のカウンタ値が重複している場合には当該カウンタ値を加減算することで、符号量の多い種別の符号化フレームが同一フレーム区間で生成されないように、複数の各ストリームに対応した符号化フレームの種別を制御することを特徴とする。
【００２４】
これらの構成により、デクリメントカウンタ部を用いて複数のデータストリームを並列的に通信する場合においても適切に符号量の多いフレームが重複しないように制御することができる。
【００２５】
また、本発明に係る前記データ通信装置は、さらに、前記通信部の通信帯域を監視する帯域監視部を備え、前記帯域監視部は、通信帯域が所定量を超えた場合に、前記フレーム制御部に通知し、前記フレーム制御部は、前記帯域監視部からの前記通知を受けた場合には、符号量の少ない種別の符号化フレームを生成するように制御することを特徴とする。
【００２６】
さらに、本発明に係るデータ通信装置は、さらに、CPU負荷率を監視するCPU負荷監視部を備え、前記CPU負荷監視部は、CPU負荷率が所定率を超えた場合に前記フレーム制御部に通知し、前記フレーム制御部は、前記フレーム制御部からの前記通知を受けた場合には、符号量の少ない種別の符号化フレームを生成するように制御することを特徴とする。
【００２７】
またさらに、本発明に係るデータ通信装置は、さらに、生成する前記複数の符号化フレームの符号量を監視する符号量監視部を備え、前記符号量監視部は、生成される符号量が所定量を超えた場合に、前記フレーム制御部に通知し、前記フレーム制御部は、前記通知を受けた場合には、符号量の少ない種別の符号化フレームを生成するように制御することを特徴とする。
【００２８】
これらの構成により、帯域監視部、CPU負荷監視部、又は符号量監視部を用いて生成される符号量が所定量を超えた場合に、前記フレーム制御部に通知し、前記フレーム制御部は、前記通知を受けた場合には、符号量の少ない種別の符号化フレームを生成するように制御することが可能となる。
【００２９】
なお、本発明は、このようなデータ通信装置として実現することができるだけでなく、このようなデータ通信装置が備える特徴的な手段をステップとするデータ通信方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現することができる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００３０】
本発明に係るデータ通信装置においては、複数のデータストリームをネットワーク上で複数の通信端末に並列的に送信する場合において、局所的に発生する符号量の偏りを適切に低減し、符号量の平滑を実現できる。
【００３１】
また、Ｉフレームの生成を任意のフレーム区間で制御でき、かつ複数の圧縮部も必要としない構成とできる。
【発明を実施するための最良の形態】
【００３２】
以下、本発明に係るデータ通信装置の実施の形態について、図面を参照しながら説明する。
【００３３】
（実施の形態１）
本発明に係るデータ通信装置の実施の形態１について、以下図面を参照しながら説明する。
【００３４】
なお、本実施の形態１に係るネットワークカメラ端末は、フレーム制御部において予め保持されている生成テーブルに記載されているＩフレームの発生レートで複数の各ストリームに対応したＩフレームを発生させることを特徴とするものである。また、以下の実施の形態の説明におけるネットワークカメラ端末は、上記の請求項に記載のデータ通信装置に対応するものである。
【００３５】
図３は、本実施の形態１に係るネットワークカメラ端末３００の構成を示す機能ブロック図である。
【００３６】
本実施の形態１に係るネットワークカメラ端末３００は、画像情報を入力するセンサ部３０１と、センサ部３０１から取込んだ画像にY/C処理を施すY/C部３０２と、Y/Cデータを圧縮符号化して符号化フレームを生成する圧縮部３０３と、符号化データをパケット化して通信する通信部３０４と、圧縮部３０３で生成される符号化フレームの種別を制御するフレーム制御部３０５とで構成されれている。また、フレーム制御部３０５は、後述の図５に示す生成される符号化テーブルのパターンが示された生成テーブル５０１を保持する生成テーブル保持部３０６を備えている。
【００３７】
ここで、図５に示されるように、生成テーブル５０１は、複数のデータストリームで同一フレーム区間内に圧縮部で生成される符号化フレームの組み合わせパターンを含んでいる。生成テーブル５０１を動的に書き換えることにより、Ｉフレームの発生レートを動的に変更してもよい。また、生成テーブル５０１はソフトウエアもしくはハードウエアで実装しても構わない。
【００３８】
なお、ネットワークカメラ端末３００の構成には、処理データを保管するメモリと、メモリへのアクセス制御を調停するMCU(Memory Control Unit)と、実行プログラムが配置されるフラッシュメモリと、実行プログラムを制御するCPUと、各処理部をつなぐ内部バスも存在するが、本明細書では、説明を簡略化するためにその説明を省略するものである。
【００３９】
以下、本実施の形態１におけるネットワークカメラ端末３００の動作処理を説明する。  図６は、本実施の形態１に係るネットワークカメラ端末３００の動作手順を示すフローチャートである。
【００４０】
まず、画像情報がセンサ部３０１から入力される（Ｓ６０１）。センサ部３０１は、前記画像情報をデジタル変換後、Y/C部３０２に転送する。Y/C部３０２は、センサ部３０１が転送したデジタルデータを読み込み、Y/C処理後リサイズを行い、Y/Cデータとして圧縮部３０３に転送する（Ｓ６０２）。
【００４１】
次に、圧縮部３０３は、Y/CデータをY/C部３０２から受け取り、MPEGなどの圧縮符号化処理を行い、生成テーブル５０１に基づいて符号化フレームを生成し、通信部３０４に転送する（Ｓ６０３）。ここで、生成される符号化フレームは生成テーブル５０１のパターンに従い生成する。生成テーブル５０１は、同一フレーム区間で、複数のデータストリームの符号量の多いＩフレームが生成されないようにパターン生成する。
【００４２】
次に、通信部３０４は、受け取った符号化データを、例えばIPプロトコル処理を施し、WAN(Wide Area Network)もしくはLAN(Local Area Network)などのネットワークを通じて、各通信端末の画像解像度に適した符号化データをＰＣやＰＤＡ、携帯電話等の各通信端末に送信する（Ｓ６０４）。
【００４３】
なお、図４は、本実施の形態１に係るネットワークカメラ端末３００から送信される３つのデータストリームでの符号量の平滑化を示した参考図である。本図に示すように、３つのデータストリームで、Ｉフレームが異なるフレーム区間に生成されるため、送信する符号量を適切に減少させ、局所的に発生する符号量の偏りを減少し、符号量が平滑化されるという効果を有する。
【００４４】
また、図７は、本実施の形態１に係るネットワークカメラ端末３００の各処理部の時分割的処理の説明図を示している。本図に示すように、生成テーブルを用いて符号量の多い符号化フレームが同時に生成されることを防止することにより、センサ部３０１、Y/C部３０２、圧縮部３０３、通信部３０４、及びフレーム制御部３０５の各処理が適切に時分割に行われ、通信遅延が発生することを適切に防止可能とする。
【００４５】
以上のように、本実施の形態１に係るネットワークカメラ端末においては、１つの圧縮部を備え、且つフレーム制御部において保持されている生成テーブルを用いて複数の各ストリームにおいて生成されるＩフレームの生成タイミングが重ならないように制御できるために、複数のデータストリームをネットワーク上で並列に送信するデータ通信装置において、局所的に発生する符号量の偏りを容易に低減し、符号量の平滑を実現することが可能となる。
【００４６】
（実施の形態２）
本発明の第２の実施の形態について図面を参照しながら説明する。
【００４７】
なお、本実施の形態２に係るネットワークカメラ端末は、上記実施の形態１のように各ストリームでのＩフレームの発生レートを生成テーブルを用いて固定されるのではなく、各ストリームのＩフレームの発生レートの変更が生じた場合に、フレーム制御部に備えられるデクリメントカウンタ部を用いて複数のストリームでのＩフレームの発生を重ならないように制御することを特徴とするものである。
【００４８】
図８は、本実施の形態２に係るネットワークカメラ端末８００の構成を示す機能ブロック図である。
【００４９】
本実施の形態２に係るネットワークカメラ端末８００は、上記の実施の形態１の構成に加えて、フレーム制御部に３つの各ストリームにおいて生成される制御フレームのフレーム数をカウントするためのデクリメントカウンタ部３０５ａ〜３０５ｃを備えている。
【００５０】
以下、第２の実施の形態におけるネットワークカメラ端末の動作処理を説明する。
まず、画像情報がセンサ部３０１から入力される。センサ部３０１は、前記画像情報をデジタル変換後、Y/C部３０２に転送する。Y/C部３０２は、センサ部３０１が転送したデジタルデータを読み込み、Y/C処理後リサイズを行い、Y/Cデータとして圧縮部３０３に転送する。
【００５１】
次に、圧縮部３０３は、Y/CデータをY/C部３０２から受け取り、MPEGなどの圧縮符号化処理を行い、フレーム制御部３０５のデクリメントカウンタ部３０５ａ〜３０５ｃを用いて、符号化フレームを生成及び制御し、通信部３０４に転送する。通信部３０４は、受け取った符号化データを、ネットワークを介して通信相手に送信する。
【００５２】
図９は、本実施の形態２に係るネットワークカメラ端末において、デクリメントカウンタ部を用いて各ストリームのＩフレームの発生時を重ならないように制御する場合の動作手順を示すフローチャートである。
【００５３】
最初に、各ストリームにおけるＩフレームの発生レートの変更があるか否かを確認する（Ｓ９０１）。
【００５４】
次に、デクリメントカウンタ部３０５ａ〜３０５ｃにおいて、各ストリームに対してＩフレーム発生をデクリメントでのカウント処理を開始する（Ｓ９０２）。例えば、３０fpsでＩフレームが３０枚に一枚挿入される場合には、１秒間に３０から１までデクリメントでカウントする。
【００５５】
そして、デクリメントカウンタ部３０５ａ〜３０５ｃのいずれかのカウンタ値が重なることでＩフレームの発生時が重なるか否かを判定し、重なる場合には（Ｓ９０３でＵｅｓ）、いずれか一方のデクリメントカウンタのカウンタ値を変更（Ｓ９０４）することにより、各ストリームでのＩフレームの重なりを防止する。なお、このカウンタ値の変更方法としては、カウンタ値の初期値から重ならないように変更する、若しくはいずれかのデクリメントカウンタ値に１加算すること等が考えられる。
【００５６】
そして、これらの処理をストリーム終了（Ｓ９０５）まで行う。
以上のように、本実施の形態２に係るネットワークカメラ端末においては、フレーム制御部に各ストリームのＩフレームの発生をデクリメントでカウントするデクリメントカウンタ部を備えているために、各ストリームでのＩフレームの発生の重なりを適切に防止でき、局所的に発生する符号量の偏りを容易に低減し、符号量の平滑を実現することが可能となる。
【００５７】
なお、本実施の形態２ではデクリメントカウンタ部３０５ａ〜３０５ｃのデクリメントカウント値を利用する例について説明したが、インクリメントカウンタを利用してもよいし、設定した周期を発生するタイマまたはカウンタを利用してもよい。
【００５８】
（実施の形態３）
本発明の第３の実施の形態について図面を参照しながら説明する。
【００５９】
図１０は、本実施の形態３に係るネットワークカメラ端末１０００の構成を示す機能ブロック図であり、実施の形態１の構成に加えて通信部３０４の通信帯域を監視する帯域監視部１００１を備えていることを特徴としている。
【００６０】
以下、本実施の形態３におけるネットワークカメラ端末１０００の動作処理を説明する。
【００６１】
まず、画像情報がセンサ部３０１から入力される。センサ部３０１は、前記画像情報をデジタル変換後、Y/C部３０２に転送する。Y/C部３０２は、センサ部３０１が転送したデジタルデータを読み込み、Y/C処理後リサイズを行い、Y/Cデータとして圧縮部３０３に転送する。
【００６２】
次に、圧縮部３０３は、Y/CデータをY/C部３０２から受け取り、MPEGなどの圧縮符号化処理を行い、符号化フレームを生成し、通信部３０４に転送する。通信部３０４は、受け取った符号化データを、ネットワークを介して通信相手に送信する。
【００６３】
ここで、帯域監視部１００１は、通信部３０４の通信帯域を監視している。何らかの理由で通信トラフィックが混雑し、通信帯域が細くなっている場合、通信部３０４の符号量の多い符号化フレームでは、通信部の通信帯域を越えてしまうことを防止する。
【００６４】
この帯域監視部１００１における通信帯域監視の処理フローを図１１を用いて説明する。
【００６５】
最初に、通信帯域の監視が開始されると、帯域監視部１００１は通信部３０４の帯域監視を開始する（Ｓ１１０１）。もし、監視している通信帯域がある一定の量を超えたと判断された場合には（Ｓ１１０２でYes）、フレーム制御部３０５に通知し、フレーム制御部３０５は圧縮部３０３に、符号量の少ない前記符号化フレームを生成するように制御する（Ｓ１１０３）。なお、この帯域監視部１００１での制御方法はＩフレームの生成タイミングを制御することであり、上記の実施の形態１のフレーム制御部３０５において生成テーブルを用いて制御する方法や、上記実施の形態２のデクリメントカウンタ部を用いて制御する方法のいずれかで良い。
【００６６】
次に、通信帯域の監視の終了を確認し（Ｓ１１０４）、もし通信帯域の監視が続いている場合は（Ｓ１１０４でNo）、通信帯域の監視を引き続き行う。一方、通信帯域の監視が終了した場合（Ｓ１１０４でYes）、監視処理を終了する。
【００６７】
以上のように、本実施の形態３に係るネットワークカメラ端末においては、局所的に発生する符号量の偏りを容易に低減し、符号量の平滑を実現することは上記の実施の形態１と同様である。しかし、帯域監視部１００１で通信部３０４の通信性能を阻害する要因である通信帯域を監視し、自律したフィードバック制御を行うための装置及び方法が新たに追加されている。このため、実施の形態３に係るデータ通信装置を用いれば、複数のデータストリームをネットワーク上で並列に送信するデータ通信装置において、局所的に発生する符号量の偏りを自律したフィードバック制御で容易に低減し、符号量の平滑を実現することが可能となる。
【００６８】
（実施の形態４）
本発明の実施の形態４について図面を参照しながら説明する。
【００６９】
図１２は、本実施の形態４に係るネットワークカメラ端末１２００の構成を示す機能ブロック図であり、図１の構成に加えてCPUの負荷率を監視するCPU負荷監視部１２０１を備えていることを特徴とする。
【００７０】
以下、本実施の形態４におけるネットワークカメラ端末１２００の動作処理を説明する。
【００７１】
まず、画像情報がセンサ部３０１から入力される。センサ部３０１は、前記画像情報をデジタル変換後、Y/C部３０２に転送する。Y/C部３０２は、センサ部３０１が転送したデジタルデータを読み込み、Y/C処理後リサイズを行い、Y/Cデータとして圧縮部３０３に転送する。次に、圧縮部３０３は、Y/CデータをY/C部３０２から受け取り、MPEGなどの圧縮符号化処理を行い、符号化フレームを生成し、通信部３０４に転送する。通信部３０４は、受け取った符号化データを、ネットワークを通じて通信相手に送信する。
【００７２】
ここで、CPU負荷監視部１２０１は、CPUの負荷率を監視している。例えばカメラ処理に負荷がかかり、CPU使用率が高くなっている場合、通信処理にCPUパワーがかけられないため、通信部３０４の送信できる符号量は小さくなる。そのため、符号量の多い符号化フレームで、通信部３０４の通信できる符号量を越えてしまうことを防止する必要がある。
【００７３】
通信帯域監視の処理フローを図１３を用いて説明する。通信帯域の監視が開始されると、CPU負荷監視部１２０１はCPU負荷監視を開始する（Ｓ１３０１）。なお、CPU負荷監視部１２０１の負荷監視は、例えば、CPUのアイドル時間計測等により行う。
【００７４】
そして、もし、監視しているCPU負荷率がある一定の使用率を超えたと判断された場合には（Ｓ１３０２でYes）、フレーム制御部３０５に通知し、フレーム制御部３０５は圧縮部３０３に、符号量の少ない前記符号化フレームを生成するように制御する（Ｓ１３０３）。
【００７５】
次に、CPU負荷率の監視の終了を確認し（Ｓ１３０４）、もしCPU負荷率の監視が続いている場合は（Ｓ１３０４でNo）、CPU負荷率の監視（Ｓ１３０１）を引き続き行う。もしCPU負荷率の監視が終了した場合（Ｓ１３０４でYes）、監視処理を終了する。
【００７６】
以上のように、本実施の形態４のネットワークカメラ端末の効果は、局所的に発生する符号量の偏りを容易に低減し、符号量の平滑を実現することは上記の実施の形態１と同様である。しかし、CPU負荷監視部１２０１において通信部３０４の通信性能を阻害する要因であるCPU負荷率を監視し、自律したフィードバック制御を行うための装置及び方法が新たに追加されている。このため、本実施の形態４に係るデータ通信装置を用いれば、複数のデータストリームをネットワーク上で並列に送信するデータ通信装置において、局所的に発生する符号量の偏りを自律したフィードバック制御で容易に低減し、符号量の平滑を実現することが可能となる。
【００７７】
（実施の形態５）
本発明の第５の実施の形態について図面を参照しながら説明する。
【００７８】
図１４は、本実施の形態５に係るネットワークカメラ端末１４００の構成を示す機能ブロック図であり、図１の構成に加えて同一フレーム区間で生成される符号化フレームの符号量を監視する符号量監視部１４０１を備えていることを特徴とする。
【００７９】
以下、本実施の形態５におけるネットワークカメラ端末１４００の動作処理を説明する。
【００８０】
まず、画像情報がセンサ部３０１から入力される。センサ部３０１は、前記画像情報をデジタル変換後、Y/C部３０２に転送する。Y/C部３０２は、センサ部３０１が転送したデジタルデータを読み込み、Y/C処理後リサイズを行い、Y/Cデータとして圧縮部３０３に転送する。
【００８１】
次に、圧縮部３０３は、Y/CデータをY/C部３０２から受け取り、MPEGなどの圧縮符号化処理を行い、符号化フレームを生成し、通信部３０４に転送する。通信部３０４は、受け取った符号化データを、例えばIPプロトコル処理を施し、WAN(Wide Area Network)もしくはLAN(Local Area Network)などのネットワークを通じて、通信相手に送信する。
【００８２】
ここで、符号量監視部１４０１は、圧縮部３０３で同のフレーム区間で生成される符号量を監視している。例えば被写体により、符号化フレームの符号量が増大している場合、通信部３０４の送信できる符号量を超えてしまう。そのため、符号量の多い符号化フレームで、通信部３０４の通信できる符号量を越えてしまうことを防止する必要がある。
【００８３】
符号量監視部１４０１の処理フローを図１５を用いて説明する。
最初に、通信帯域の監視が開始されると、符号量監視部１４０１は圧縮部３０３の符号量監視を開始する（Ｓ１５０１）。なお、符号量監視部１４０１の符号量の監視には、例えば、各ストリームでの符号量、１フレームごとのビット数を監視する等である。
【００８４】
もし、符号量が一定の量を超えたと判断された場合には（Ｓ１５０２でYes）、フレーム制御部３０５に通知し、フレーム制御部３０５は圧縮部３０３に、符号量の少ない前記符号化フレームを生成するように制御する（Ｓ１５０３）。
【００８５】
次に、符号量の監視の終了を確認し（Ｓ１５０４）、もし符号量の監視が続いている場合は（Ｓ１５０４でNo）、符号量の監視（Ｓ１５０１）以下の処理を引き続き行う。
【００８６】
一方、符号量の監視が終了した場合（Ｓ１５０４でYes）、監視処理を終了する。
以上のように、本実施の形態５に係るネットワークカメラ端末においては、局所的に発生する符号量の偏りを容易に低減し、符号量の平滑を実現することは上記の実施の形態１と同様である。しかし、符号量監視部１４０１において通信部３０４の通信性能を阻害する要因である符号量を監視し、自律したフィードバック制御を行うための装置及び方法が新たに追加されている。このため、本実施の形態５に係るデータ通信装置を用いれば、複数のデータストリームをネットワーク上で並列に送信するデータ通信装置において、局所的に発生する符号量の偏りを自律したフィードバック制御で容易に低減し、符号量の平滑を実現することを可能となる。
【００８７】
なお、上記の実施の形態３から５に係る方法では自律したフィードバック制御の効果は同様だが、通信を阻害する負荷要因が異なり、その監視と検出の装置及び方法も異なるため、それぞれ別々の実施の形態として明記しているものである。
【００８８】
また、上記の実施の形態３〜５における帯域監視部、CPU負荷監視部、及び符号量監視部における検出する方法がポーリング、又は割込みでも良い。
【００８９】
（実施の形態６）
本発明の第６の実施の形態について図面を参照しながら説明する。
【００９０】
図１６は、本実施の形態６に係るネットワークカメラ端末１６００の構成を示す機能ブロック図であり、上記の実施の形態１の構成に加えて、同一フレーム区間で生成される符号化フレームのパターンを監視するフレームパターン監視部１６０１を備えることを特徴としている。
【００９１】
以下、本実施の形態６におけるネットワークカメラ端末１６００の動作処理を説明する。
【００９２】
まず、画像情報がセンサ部３０１から入力される。センサ部３０１は、前記画像情報をデジタル変換後、Y/C部３０２に転送する。Y/C部３０２は、センサ部３０１が転送したデジタルデータを読み込み、Y/C処理後リサイズを行い、Y/Cデータとして圧縮部３０３に転送する。
【００９３】
次に、圧縮部３０３は、Y/CデータをY/C部３０２から受け取り、MPEGなどの圧縮符号化処理を行い、符号化フレームを生成し、通信部３０４に転送する。通信部３０４は、受け取った符号化データを、例えばIPプロトコル処理を施し、ネットワークを通じて通信相手に送信する。
【００９４】
ここで、フレームパターン監視部１６０１は、圧縮部３０３で同一のフレーム区間で生成される符号量を監視している。例えば、実施の形態１〜５で意図せずに同一フレーム区間に生成されてしまった符号化フレームにより符号量が増大している場合、通信部３０４の送信できる符号量を超えてしまう。そのため、符号量の多い符号化フレームで、通信部３０４の通信できる符号量を越えてしまうことを防止する必要がある。
【００９５】
フレームパターン監視部１６０１の処理フローを図１７を用いて説明する。
最初に、フレームパターンの監視が開始されると、フレームパターン監視部１６０１は圧縮部３０３のフレームパターン監視を開始する（Ｓ１７０１）。
【００９６】
もし、同一フレーム区間内に符号量の多い符号化フレームが生成されたことを検出すると（Ｓ１７０２でYes）、フレーム制御部３０５に通知し、フレーム制御部３０５は圧縮部３０３に、符号量の少ない符号化フレームを生成するように制御する（Ｓ１７０３）。具体的には、フレームパターン監視部１６０１は、例えば、フレームパターンはフレームタイプのこと、異なるストリームにおいてＩフレームとＩフレームとが同時に生成される場合には、どちらかストリームにおいて生成されるフレームをＰフレームにする等の処理を行う。
【００９７】
次に、フレームパターンの監視終了を確認し（Ｓ１７０４）、もしフレームパターンの監視が続いている場合は（Ｓ１７０４でNo）、フレームパターンの監視（Ｓ１７０１）以下の処理を引き続き行う。
【００９８】
一方、フレームパターンの監視が終了した場合（Ｓ１７０４でYes）、フレームパターン監視処理を終了する。
【００９９】
以上のように、本実施の形態６の効果は、局所的に発生する符号量の偏りを容易に低減し、符号量の平滑を実現することは実施の形態１〜５と同様である。しかし、実施の形態１〜５では、図らずしも同一フレーム区間で生成されてしまった符号量の多い符号化フレームの検出はできないという課題がある。例えば、上記実施の形態１では、生成テーブル設定時に誤って符号量の多い符号化フレームを同一フレーム区間に生成するパターンを設定してしまった場合、フィードバック制御機構がないため検出できない。また、実施の形態３〜５では、自律したフィードバック制御機構はあるが、監視している対象がある一定の値を超えない限り、フィードバック制御が機能しない。しかし、本実施の形態６では、フィードバック制御機構で監視している対象にフレームパターンを追加し、前述した課題を検出し、解決することができる。
【０１００】
（実施の形態７）
本発明の第７の実施の形態について図面を参照しながら説明する。
【０１０１】
図１８は、本実施の形態７に係るネットワークカメラ端末１８００の構成を示す機能ブロック図であり、上記の実施の形態６の構成に加えて、圧縮部３０３で生成される符号化フレームの連続生成回数をカウントするカウント部１８０１を備えるものである。
【０１０２】
以下、本実施の形態７におけるネットワークカメラ端末１８００の動作処理を説明する。
【０１０３】
まず、画像情報がセンサ部３０１から入力される。センサ部３０１は、前記画像情報をデジタル変換後、Y/C部３０２に転送する。Y/C部３０２は、センサ部３０１が転送したデジタルデータを読み込み、Y/C処理後リサイズを行い、Y/Cデータとして圧縮部３０３に転送する。
【０１０４】
次に、圧縮部３０３は、Y/CデータをY/C部３０２から受け取り、MPEGなどの圧縮符号化処理を行い、符号化フレームを生成し、通信部３０４に転送する。通信部３０４は、受け取った符号化データを、例えばIPプロトコル処理を施し、ネットワークを通じて通信相手に送信する。
【０１０５】
ここで、フレームパターン監視部１６０１は、圧縮部３０３で同一のフレーム区間で生成される符号化フレームを監視し、符号量の少ない符号化パターン（例えば、フレーム間予測を用いた差分情報をであるＰフレームやＢフレームのような符号化フレーム）が連続で検出されると、その連続生成回数をカウントする。ＰフレームやＢフレームが連続で生成されると、復号化される画像は劣化していく。そのため、差分情報である符号化フレームが連続生成される回数が一定の値を超えてしまうことを防止する必要がある。
【０１０６】
本実施の形態７に係るカウント部１８０１のカウント処理フローを図１９を用いて説明する。
【０１０７】
最初に、フレームパターンの監視が開始されると、フレームパターン監視部１６０１は圧縮部３０３のフレームパターン監視を開始する（Ｓ１９０１）。
【０１０８】
そして、同一フレーム区間内に符号量の少ない符号化フレーム（例えば、フレーム間予測を用いた差分情報をもつＰフレームやＢフレームのような符号化フレーム）が連続で生成されたことを検出すると（Ｓ１９０２）、カウント部１８０１においてカウントする（Ｓ１９０３）。
【０１０９】
そして、カウントされた値がMAX値を超えているか確認し（Ｓ１９０４）、MAXに達した場合には（Ｓ１９０４でYes）、カウンタをクリアし（Ｓ１９０６）、フレーム制御部３０５で符号量の多い符号化フレーム（例えば、自身のデータのみで復号化が可能な、原画像の情報をもつＩフレーム）を生成することを制御する（Ｓ１９０７）。この制御により、復号画像の劣化を抑えることができる。
【０１１０】
また、カウントした値がMAX値を超えていない場合は（Ｓ１９０４でNO）、フレームパターン監視が終了するかを確認し（Ｓ１９０５）、もしフレームパターンの監視が続いている場合は（Ｓ１９０５でNo）、フレームパターンの監視（Ｓ１９０１）以下の処理を引き続き行う。一方、フレームパターンの監視が終了した場合（Ｓ１９０５でYes）、フレームパターン監視処理を終了する。
【０１１１】
以上の説明のように、本実施の形態７の効果は、カウント部１８０１において符号量の少ない符号化パターン（例えばフレーム間予測を用いた差分情報であるＰフレームやＢフレームのような符号化フレーム）が連続で検出され、カウント値が設定されているMAX値に達した場合にＩフレームの生成を行うために、復号化される画像が劣化することを適切に低減することができる。
【０１１２】
なお、本発明に係るネットワークカメラ端末においては、図２０のフローチャートに示すように、監視対象である、通信帯域、またはCPU負荷率、または符号量の監視を組み合わせて同時に監視する（Ｓ２００１）ことも可能である。
【０１１３】
この場合においても、Ｓ２００１において監視対象が検出されなかった場合（Ｓ２００２でNo）、Ｓ２００１における処理を再び開始する。
【０１１４】
一方、検出した場合（Ｓ２００２でYes）、符号化フレーム制御を行う（Ｓ２００３）。
【０１１５】
なお、符号化フレーム制御は、上記実施の形態１〜５のように、同一フレーム区間で符号量の多い符号化フレーム、例えばＩフレームが生成されないように制御するのではなく、Ｉフレームが重なることを許可することも可能である。例えば、図２に示すように、Ｉフレームが３つの状態で検出され場合、Ｉフレームが２つの状態でまずは生成し、ループした後、Ｓ２００２において再度検出されるか確認する。もし、検出されれば（Ｓ２００２でYes）、今度は、Ｉフレームが１つの状態で生成しループさせる。この処理を行うことにより、通信可能なぎりぎりの負荷、または帯域、またはCPU使用率を見極めることが可能であり、送信能力を有効に使うことができる。
【０１１６】
（実施の形態８）
本発明の第８の実施の形態について図面を参照しながら説明する。
【０１１７】
図２１は、本実施の形態８に係るネットワークカメラ端末２１００の構成を示す機能ブロック図であり、上記の実施の形態１の構成に加えて、符号化データをパケット化して通信する複数の通信部３０４ａ〜３０４ｃを備える通信部３０４、使用する通信部３０４を選択及び制御する通信制御部２１０１、及び通信部３０４の通信帯域を監視する帯域監視部２１０２を備えていることを特徴とする。
【０１１８】
以下、本実施の形態８におけるネットワークカメラ端末２１００の動作処理を説明する。
【０１１９】
まず、画像情報がセンサ部３０１から入力される。センサ部３０１は、前記画像情報をデジタル変換後、Y/C部３０２に転送する。Y/C部３０２は、センサ部３０１が転送したデジタルデータを読み込み、Y/C処理後リサイズを行い、Y/Cデータとして圧縮部３０３に転送する。
【０１２０】
次に、圧縮部３０３は、Y/CデータをY/C部３０２から受け取り、MPEGなどの圧縮符号化処理を行い、符号化フレームを生成する。
【０１２１】
次に、複数の通信部３０４ａ〜３０４ｃで使用している１つの通信部の通信帯域を帯域監視部２１０２で監視し、ある一定量を超えた場合、帯域監視部２１０２が通信制御部２１０１に通知し、通信帯域が軽い、他の通信部を使用する。
【０１２２】
以上、実施の形態８に係るネットワークカメラ端末においては、複数の通信部を有している場合に、通信部の通信帯域を有効に使うことができる。ここで、通信部は、Ethernet（登録商標）やPLCのような優先通信でも、無線LANであるIE８０２.１１a/b/gやBluetoothでも構わない。
【０１２３】
（実施の形態９）
本発明の第９の実施の形態について図面を参照しながら説明する。
【０１２４】
図２２は、本実施の形態９に係るネットワークカメラ端末２２００を示し、上記の実施の形態８の構成に加えて、圧縮部３０３で生成される符号化フレームを分割するデータ分割部２１０３を備えている。
【０１２５】
以下、本実施の形態９におけるネットワークカメラ端末２２００の動作処理を説明する。
【０１２６】
まず、画像情報がセンサ部３０１から入力される。センサ部３０１は、前記画像情報をデジタル変換後、Y/C部３０２に転送する。Y/C部３０２は、センサ部３０１が転送したデジタルデータを読み込み、Y/C処理後リサイズを行い、Y/Cデータとして圧縮部３０３に転送する。
【０１２７】
次に、圧縮部３０３は、Y/CデータをY/C部３０２から受け取り、MPEGなどの圧縮符号化処理を行い、符号化フレームを生成する。
【０１２８】
次に、複数の通信部３０４ａ〜３０４ｃの通信帯域を帯域監視部２１０２で監視する。次に、監視している通信帯域に応じて、データ分割部２１０３により、圧縮部３０３で生成された符号化フレームを分割する。次に、分割した符号化フレームをデータ通信制御部２１０１で、通信部３０４に振り分けて、通信する。
【０１２９】
以上のように、本実施の形態９は、複数の通信部を有している場合に、全ての通信部の通信帯域を同時に有効に使うことができる。上記の実施の形態８は、複数の通信部を有している場合でも、同時に１つの通信部しか使えない課題をもっていた、しかし、本実施の形態９では、この課題を解決することができる。
【０１３０】
（実施の形態１０）
本発明の第１０の実施の形態について図面を参照しながら説明する。
【０１３１】
図２３は、本実施の形態１０に係るネットワークカメラ端末２３００の構成を示す機能ブロック図であり、上記の実施の形態９の構成に加えて、複数の通信部３０４ａ〜３０４ｃのMTU（Maximum Transmission Unit）サイズを判断し、MTUサイズでデータ分割するMTU部２１０４を備えている。
【０１３２】
以下、本実施の形態１０におけるネットワークカメラ端末２３００の動作処理を説明する。
【０１３３】
まず、画像情報がセンサ部３０１から入力される。センサ部３０１は、前記画像情報をデジタル変換後、Y/C部３０２に転送する。Y/C部３０２は、センサ部３０１が転送したデジタルデータを読み込み、Y/C処理後リサイズを行い、Y/Cデータとして圧縮部３０３に転送する。次に、圧縮部３０３は、Y/CデータをY/C部３０２から受け取り、MPEGなどの圧縮符号化処理を行い、符号化フレームを生成する。
【０１３４】
次に、複数の通信部３０４の通信帯域を帯域監視部２１０２で監視する。次に、監視している通信帯域に応じて、MTU部２１０４とデータ分割部２１０３により、通信部３０４の圧縮部３０３で生成された符号化フレームをMTUサイズで分割する。次に、分割した符号化フレームをデータ通信制御部２１０１で、通信部３０４に振り分けて、通信する。
【０１３５】
以上のように、本実施の形態１０に係るネットワークカメラ端末は、複数の通信部３０４を有している場合に、全ての通信部３０４に合わせたMTUサイズでデータ送信を行うため、全ての通信帯域を同時に最も有効に使うことができる。上記の実施の形態８,９においては、複数の通信部３０４を有している場合でも、通信部３０４のMTUサイズで送信しないため、通信部３０４の通信帯域を有効に使えていない課題をもっていた。しかし、実施の形態１０では、この課題を解決することができる。
【０１３６】
なお、本実施の形態１０の通信部３０４で処理する各通信媒体の形式とMTUサイズ(Ether,PLC,Wi-Fiなど)は、各通信部のMAXフレーム長であり、例えば、Ether/IEEE８０２.３の場合には１５００byte、PLCの場合には６４KB、Wi-Fi/IEEE８０２.１１a/b/gの場合には２３０４byteとなる。
【０１３７】
また、上記の各実施の形態に係るネットワークカメラ端末の圧縮部が異なる複数のビットレートで圧縮符号化を行うもので良い。また、圧縮部で符号化される圧縮方法がMPEG-２、MPEG-４または、H.２６４で良い。さらに、圧縮部が異なる複数のフレームレートで圧縮符号化を行うことで良い。
【０１３８】
さらに、通信部におけるネットワークインターフェースは、Ethernet（登録商標）やPLCのような有線で通信、又は無線LANやBluetoothのような無線通信で良い。またさらに、通信部では画像信号または音声信号を多重化してネットワーク上に送信することで良い。
【産業上の利用可能性】
【０１３９】
本発明に係るデータ通信装置は、例えば圧縮画像や音声をリアルタイムに、ＰＣやＰＤＡ、携帯電話等、使用する画像の画像解像度の異なる複数の通信端末に並列的に通信するネットワークカメラ機器として適用できる。また、ネットワークカメラ以外のリアルタイムストリーミングを行う機器にも応用できる。
【図面の簡単な説明】
【０１４０】
【図１】従来のネットワークカメラ端末の構成例を示す参考図
【図２】画像解像度の異なる３つのデータストリーム#１、#２、#３が並列的に複数の通信端末に同時配信された場合の符号量の偏りを示す参考図
【図３】実施の形態１に係るネットワークカメラ端末の構成を示す機能ブロック図
【図４】実施の形態１に係るネットワークカメラ端末から送信される３つのデータストリームでの符号量の平滑化を示した参考図
【図５】符号化フレームの生成テーブルの参考図
【図６】実施の形態１に係るネットワークカメラ端末の動作手順を示すフローチャート
【図７】実施の形態１に係るネットワークカメラ端末の動作手順を示すフローチャート
【図８】実施の形態２に係るネットワークカメラ端末の構成を示す機能ブロック図
【図９】実施の形態２に係るネットワークカメラ端末の動作手順を示すフローチャート
【図１０】実施の形態３に係るネットワークカメラ端末の構成を示す機能ブロック図
【図１１】実施の形態３に係るネットワークカメラ端末の帯域監視部の動作手順を示すフローチャート
【図１２】実施の形態４に係るネットワークカメラ端末の構成を示す機能ブロック図
【図１３】実施の形態４に係るネットワークカメラ端末のCPU負荷監視部の動作手順を示すフローチャート
【図１４】実施の形態５に係るネットワークカメラ端末の構成を示す機能ブロック図
【図１５】実施の形態５に係るネットワークカメラ端末の符号量監視部の動作手順を示すフローチャート
【図１６】実施の形態６に係るネットワークカメラ端末の構成を示す機能ブロック図
【図１７】実施の形態６に係るネットワークカメラ端末のフレームパターン監視部の動作手順を示すフローチャート
【図１８】実施の形態７に係るネットワークカメラ端末の構成を示す機能ブロック図
【図１９】実施の形態７に係るネットワークカメラ端末のカウント部の動作手順を示すフローチャート
【図２０】通信帯域、またはCPU負荷率、または符号量の監視を組み合わせて同時に監視する場合のネットワークカメラ端末の動作手順を示すフローチャート
【図２１】実施の形態８に係るネットワークカメラ端末の構成を示す機能ブロック図
【図２２】実施の形態９に係るネットワークカメラ端末の構成を示す機能ブロック図
【図２３】実施の形態１０に係るネットワークカメラ端末の構成を示す機能ブロック図
【符号の説明】
【０１４１】
３００，８００，１０００，１２００，１４００，１６００，１８００，２１００，    ２２００，２３００  ネットワークカメラ端末
３０１  センサ部
３０２  Y/C部
３０３  圧縮部
３０４  通信部
３０５  フレーム制御部
３０５ａ，３０５ｂ，３０５ｃ  デクリメントカウンタ部
３０６  生成テーブル保持部
５０１  生成テーブル
１００１  帯域監視部
１４０１  符号量監視部
１６０１  フレームパターン監視部
１８０１  カウント部
２１０１  通信制御部
２１０２  帯域監視部
２１０３  データ分割部
２１０４  MTU部
【図１】
0004934524.tif 000002
【図２】
0004934524.tif 000003
【図３】
0004934524.tif 000004
【図４】
0004934524.tif 000005
【図５】
0004934524.tif 000006
【図６】
0004934524.tif 000007
【図７】
0004934524.tif 000008
【図８】
0004934524.tif 000009
【図９】
0004934524.tif 000010
【図１０】
0004934524.tif 000011
【図１１】
0004934524.tif 000012
【図１２】
0004934524.tif 000013
【図１３】
0004934524.tif 000014
【図１４】
0004934524.tif 000015
【図１５】
0004934524.tif 000016
【図１６】
0004934524.tif 000017
【図１７】
0004934524.tif 000018
【図１８】
0004934524.tif 000019
【図１９】
0004934524.tif 000020
【図２０】
0004934524.tif 000021
【図２１】
0004934524.tif 000022
【図２２】
0004934524.tif 000023
【図２３】
0004934524.tif 000024