(57)【要約】【課題】音声変化や画像変化の情報を対応する画像，音声よりも先に送ることにより、変化発生の以前の画像，音声を記録することができ、蓄積を行う際に、サーバ内でバッファを不要とするネットワークカメラを得る。【解決手段】画像符号化部４は入力した画像を，音声符号化部５は音声を符号化し、音声変化認識処理部７は符号化された画像，音声を格納するサーバに格納するタイミングを通知するため、入力音声が閾値以上変化した場合に音声変化情報を出力し、ＩＰ変換部６は画像，音声の符号化後データと音声変化情報とをＩＰ変換し、音声変化情報を、画像，音声の符号化後データより先に外部に送信する。【選択図】図１
2008278323.tif 000002
【特許請求の範囲】
【請求項１】
入力した画像を符号化する画像符号化部と、
上記画像と共に入力した音声を符号化する音声符号化部と、
上記符号化された画像及び音声を格納するサーバに格納するタイミングを通知するために、上記入力音声が所定の閾値以上変化した場合、変化したことを示す音声変化情報を出力する音声変化認識処理部と、
上記画像の符号化後データと上記音声の符号化後データと上記音声変化情報とをＩＰ変換すると共に、上記画像及び音声の符号化後データより先に変換されている上記音声変化情報を、上記画像及び音声の符号化後データより先に外部に送信するＩＰ変換部とを備えることを特徴とするネットワークカメラ。
【請求項２】
入力画像が所定の閾値以上変化した場合、変化したことを示す画像変化情報を出力する画像変化認識処理部を備え、
ＩＰ変換部は、上記画像変化情報をＩＰ変換すると共に、上記画像及び音声の符号化後データより先に変換されている上記画像変化情報及び音声変化情報を、上記画像及び音声の符号化後データより先に外部に送信することを特徴とする請求項１記載のネットワークカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば画像（映像）や音声を配信することができるネットワークカメラに関するものである。
【背景技術】
【０００２】
従来のネットワークカメラは、入力された画像と音声を符号化し出力を行うものであり、例えば特許文献１のように、被写体を撮像し、アナログビデオ信号を生成する映像入力部と、音声を入力し、アナログオーディオ信号を生成する音声入力部と、前記アナログビデオ信号および前記アナログオーディオ信号をデジタル化してデジタルデータに変換するＡ／Ｄ変換部と、前記デジタルデータを圧縮して圧縮デジタルデータに変換する情報圧縮部と、前記圧縮デジタルデータを所定のプロトコルに準拠したパケットのペイロードに乗せるためのパケット生成部と、前記パケット化された圧縮デジタルデータを、前記所定のプロトコルを用いたネットワークの輻輳状態、前記ネットワークの帯域、および送信可能か否かの情報を含む各種送信制御情報を参照し、各種送信制御を行う送信制御部と、前記送信制御部によって送出が許可されたパケットを送信するネットワークインタフェース部と、前記各部を制御するための制御部とを備えたものであった。
【０００３】
また付加機能として、画像のモーションディテクト機能を有するものがあり、特許文献２のように、撮像した映像信号のフィールド間信号処理を行うことで雑音抑制（ノイズリダクション）処理した映像信号を得られるようにしたテレビジョンカメラにおいて、撮像された被写体に動きがあるか静止状態かを判定する動き検出（モーションディテクト）回路と、前記検出回路からの検出信号に応じて制御される雑音抑制処理回路とを有するものであった。
【０００４】
そして、従来のネットワークカメラは、音声の有音・無音を監視するものもあり、特許文献３のように、ネットワークを介して音声データを受信すると、該音声データを音声受信バッファ部に一時的に貯めて、該音声受信バッファ部から出力される音声データを音声処理手段でデコードし、ＤＡ変換後に音声出力する端末であって、音声受信バッファ部への音声データの入出力制御を行うバッファ制御手段と、音声受信バッファ部内の音声データが一定時間継続して所定の波高値以下の場合に無データまたは無音と判定し該波高値を越えた場合に有音と判定する受信バッファレベル判定手段とを備え、バッファ制御手段が無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて音声処理手段へ出力するものであった。
【０００５】
また、サーバにおいては、ネットワークカメラからの画像、音声を蓄積し記録を行うが、記憶容量の関係上、２４時間連続記録ではなく、環境変化が発生した際の画像、音声のみを蓄積することがあった。
【０００６】
【特許文献１】特開２００４−１４７２６２号公報（段落００１０）
【特許文献２】特開２００２−７７７０４号公報（段落０００５）
【特許文献３】特開２００６−１４１５０号公報（段落００１２）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来のネットワークカメラは以上のように構成され、蓄積のトリガとして、ネットワークカメラが発するモーションディテクトや音声により変化を利用するシステムでは、カメラが発する変化を受信した時から画像，音声の記録を開始しても変化発生の以前を記録できないため常に一定のデータをサーバ内でバッファに蓄積しておく必要があるという課題があった。
【０００８】
この発明は上記のような課題を解決するためになされたもので、音声変化や画像変化の情報を対応する画像，音声よりも先に送ることにより、変化発生の以前の画像，音声を記録することができ、蓄積を行う際に、サーバ内でバッファを不要とするネットワークカメラを得ることを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係るネットワークカメラは、入力した画像を符号化する画像符号化部と、画像と共に入力した音声を符号化する音声符号化部と、符号化された画像及び音声を格納するサーバに格納するタイミングを通知するために、入力音声が所定の閾値以上変化した場合、変化したことを示す音声変化情報を出力する音声変化認識処理部と、画像の符号化後データと音声の符号化後データと音声変化情報とをＩＰ変換すると共に、画像及び音声の符号化後データより先に変換されている音声変化情報を、画像及び音声の符号化後データより先に外部に送信するＩＰ変換部とを備えるものである。
【発明の効果】
【００１０】
この発明によれば、音声変化や画像変化の情報を対応する画像，音声よりも先に送ることにより、変化発生の以前の画像，音声を記録することができ、蓄積を行う際に、サーバ内でバッファを不要とするという効果を奏する。
【発明を実施するための最良の形態】
【００１１】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１は、この発明の実施の形態１のネットワークカメラ１を含むネットワークカメラシステムの構成図である。
図１において、ネットワークカメラシステムは、例えばネットワークカメラ１がネットワーク３を経由してＩＰパケットをサーバ２に送信するものである。ネットワークカメラ１は、画像符号化部４と、音声符号化部５と、ＩＰ変換部６と、音声変化認識処理部７とを備え、サーバ２は、パケット判断部８と、蓄積部９とを備える。
【００１２】
ここで、画像符号化部４は入力した画像をＡ／Ｄ変換，符号化し、音声符号化部５は入力した音声をＡ／Ｄ変換，符号化する。
【００１３】
音声変化認識処理部７は、符号化された画像及び音声を格納するサーバ２に格納するタイミングを通知するために、入力音声が所定の閾値以上変化した場合、変化したことを示す音声変化情報を出力するものであり、入力される音声のレベルを監視しており、予め指定された閾値レベルを超えた場合、音声変化があったことにより環境変化が発生したと判断をし、ＩＰ変換部６に音声変化発生を伝える。ネットワークカメラ１に入力された音声は、音声符号化部５と同時に音声変化認識処理部７にも渡される。
【００１４】
音声変化認識処理部７での音声変化ＩＰパケット作成条件は、上記の他に、入力される音声のレベルが、予め指定された閾値レベルを下回った場合、ある特定範囲内に納まった場合、特定範囲内に納まった状態が一定時間継続した場合等、任意に設定可能とすることができるものとする。
【００１５】
ＩＰ変換部６は、画像の符号化後データと音声の符号化後データと音声変化情報とをＩＰ変換すると共に、画像及び音声の符号化後データより先に変換されている音声変化情報を、画像及び音声の符号化後データより先に外部に送信するものであり、画像，音声，音声変化のＩＰパケットを作成し、ネットワーク３に配信を行う。
【００１６】
サーバ２において、パケット判断部８は、ネットワーク３に配信されたＩＰパケットが、受信側であるサーバ２において受信されパケットを蓄積すべきか否かを判断する。パケット判断部８は音声変化ＩＰパケットの音声変化情報を認識したときに、画像と音声の蓄積を開始し、任意に設定された時間が経過したときに、画像と音声の蓄積が終了する。
【００１７】
蓄積部９は、パケット判断部８で蓄積すべきと判断したパケットを蓄積し、記憶容量の節約のため、画像、音声の蓄積は常時記録ではなく、ネットワークカメラ１周辺で環境変化が有った時に限定しているものとする。蓄積部９に蓄積されたデータは、ユーザが任意に読み出すことができる。
【００１８】
ネットワークカメラ１は、音声変化ＩＰパケットの作成が、情報量の少なさから画像の符号化に比して短時間で行うことができることより、配信された音声変化ＩＰパケットが、受信側であるサーバ２に、変化検出時の画像符号化ＩＰパケットより早く到達することができる。また音声変化認識処理部７を優先的に処理することもできる。
【００１９】
音声の符号化に要する時間は、画像の符号化に比較して、短時間で実施できるが、受信側での画像、音声の同期を取るため、音声配信には、遅延を設けることが一般的であり、受信側のサーバ２には、画像符号化ＩＰパケット、音声符号化ＩＰパケットが同時に届くと考えることができる。
【００２０】
次に動作について説明する。
図２は、この発明の実施の形態１における音声変化認識に要する時間と画像符号化に要する時間差とを示した一例の図である。
ネットワークカメラ１内部の画像，音声符号化の遅延時間を考え、画像，音声，音声変化のＩＰパケットのサーバへの到達時間を時系列で表すと、例えば図２に示すようになる。画像Ａ（音声Ａ）, 画像Ｂ（音声Ｂ）, 画像Ｃ（音声Ｃ）・・・・の順番に画像，音声がネットワークカメラ１に入力されていた際に、音声Ｂにおいて、音声変化認識処理部７が変化を認識したとすると、ネットワークカメラ１内で、音声Ｂ以前の画像Ａが符号化され配信される以前に、音声Ｂをきっかけとする音声変化情報のＩＰパケットを配信することができ、サーバ２への到達順序は、音声Ｂをきっかけとする音声変化情報のＩＰパケット、画像（音声）符号化パケットＡの順番となり、ネットワークカメラ１での時間的順番が入れ替わっている。
図２では、画像符号化の遅延を１フレームとしているが、遅延量はネットワークカメラ１の構造により異なる。（遅延時間は約３００ｍｓあれば、１０フレーム分の時間差が生じる）。
【００２１】
受信側であるサーバ２では、受信したＩＰパケットをパケット判断部８で判別し、音声変化ＩＰパケットが到着した場合には、ネットワークカメラ１近辺に環境変化が発生したと判断し、受信する画像符号化ＩＰパケット、音声符号化ＩＰパケットを、画像，音声のデータとして蓄積部９に蓄積を開始する。
【００２２】
図２に示すように、受信側であるサーバ２には、音声変化ＩＰパケットが到達後に、音声変化が発生する以前の画像Ａ（音声Ａ）符号化データが到着する。音声変化ＩＰパケットの到着により、画像、音声の蓄積を開始しているので、環境変化が発生した画像Ｂ(音声Ｂ)以前の画像Ａ(音声Ａ)より、蓄積を開始することができ、蓄積部９のみで環境変化が発生した前の画像，音声から蓄積することができるので、バッファを設ける必要がない。ネットワークカメラ１内の画像符号化の遅延時間の長さにより、環境変化以前の取得できるフレーム数が変わる。遅延が大きいほど、取得できる画像フレーム数が増える。
【００２３】
従来技術では、音声変化検出後に記録が開始されるので、変化検出以前の画像、音声（図２では、画像Ａ,音声Ａ）を記録するには、前もってサーバ２内のバッファに一時的にデータを蓄えておく必要があったが、実施の形態１において、ネットワークカメラ１より配信される音声変化情報のＩＰパケット検出をトリガとして画像、音声の蓄積を開始することにより、サーバ２側では、バッファを持たせることなく、環境変化発生以前の画像、音声の蓄積を行うことができるようになる。
【００２４】
実施の形態１では、音声を遅延させ画像と同期を取ることで説明をしてきたが、同期を取らずに音声を画像に先行して符号化し、ネットワークカメラ１より配信することも可能である。
この場合、音声符号化部５で画像と同期を取るための遅延を行う必要がなくなるため、ネットワークカメラ１内の構造が簡潔になる。
【００２５】
以上のように、実施の形態１によれば、ネットワークカメラ１は、入力した画像を符号化する画像符号化部４と、画像と共に入力した音声を符号化する音声符号化部５と、符号化された画像及び音声を格納するサーバに格納するタイミングを通知するために、入力音声が所定の閾値以上変化した場合、変化したことを示す音声変化情報を出力する音声変化認識処理部７と、画像の符号化後データと音声の符号化後データと音声変化情報とをＩＰ変換すると共に、画像及び音声の符号化後データより先に変換されている音声変化情報を、画像及び音声の符号化後データより先に外部に送信するＩＰ変換部６とを備えることにより、音声変化や画像変化の情報を対応する画像，音声よりも先に送り、変化発生の以前の画像，音声を記録することができ、蓄積を行う際に、サーバ内でバッファを不要とするという効果を奏する。
【００２６】
また実施の形態１によれば、サーバ２側での蓄積容量の効率化を図るという効果を奏するという効果を奏する。
【００２７】
実施の形態２．
図３はこの発明の実施の形態２のネットワークカメラ１を含むネットワークカメラシステムの構成図である。
実施の形態２のネットワークカメラ１は、実施の形態１のネットワークカメラ１の構成に加えて、画像変化認識処理部１０を追加したものである。
入力画像は、画像符号化部４と同時に画像変化認識処理部１０にも送られる。
【００２８】
画像変化認識処理部１０では、画像の変化を検出した場合、環境の変化が発生したと認識し、ＩＰ変換部６に環境変化の発生を伝える。ＩＰ変換部６は、画像変化ＩＰパケットを生成し、ネットワーク３に配信を行う。画像変化認識処理部１０以外は、実施の形態1と同様に動作を行っており、画像，音声の符号化、音声変化の認識が行われている。
【００２９】
実施の形態２においては、ネットワークカメラ１付近において、画像，音声の変化が発生した場合、音声変化ＩＰパケットと、画像変化ＩＰパケットの双方がそれぞれ配信されるが、音声変化と画像変化の両方が発生した場合のみを、サーバで蓄積部９に記録することにより、不要な記録の発生を抑えて、蓄積容量の節約を図る。
【００３０】
ネットワークカメラ１の周辺で、音声変化と画像変化の双方が発生した場合には、まずサーバ２において音声変化ＩＰパケット到着後に、画像，音声の記録を開始してから、設定された時間内に画像変化ＩＰパケットが到着するので、蓄積部９の蓄積データの破棄は行わずに蓄積を継続する。
【００３１】
ネットワークカメラ１の周辺で、画像変化と音声変化の双方が発生した場合で、画像ＩＰパケットが音声変化ＩＰパケットより先に発行された場合、画像変化ＩＰパケット受信後に、任意に設定された時間内に、音声変化ＩＰパケットを受信すれば蓄積データの破棄は行われず、蓄積部９の蓄積は継続される。
【００３２】
ネットワークカメラ１の周辺で音声変化のみが発生した場合、ネットワークカメラ１からは、音声変化ＩＰパケットが発信されるが、画像変化ＩＰパケットの配信は行われない。  サーバ２のパケット判断部８においては、音声変化ＩＰパケット到着後に、画像，音声の記録を開始しているが、任意に設定された時間内に、画像変化ＩＰパケットが到着しない場合には、それまで蓄積部９に記録していた画像，音声データを破棄すると共に、以降の蓄積を停止する。
【００３３】
ネットワークカメラ１の周辺で、画像の変化のみが発生した場合、画像変化ＩＰパケットが発行されるが、音声変化ＩＰパケットは発行されない。サーバ２においては、画像変化ＩＰパケットを受信することにより、画像，音声の記録を開始するが、任意に設定された時間内に、音声変化ＩＰパケットが到着しない場合には、それまで蓄積部９に記録していた画像，音声データを破棄すると共に、以降の蓄積を停止する。
【００３４】
画像，音声双方で環境変化を検出した際にのみ蓄積を実施することとなるので、不要なデータ蓄積を回避することができる。
画像変化ＩＰパケットが先に発行された場合にも、画像，音声双方で環境変化を検出した際にのみ蓄積を実施することとなるので、不要なデータ蓄積を回避することができる。また、画像変化ＩＰパケットが到着のみにより蓄積部９に蓄積させることもできる。
【００３５】
以上のように、実施の形態２によれば、入力画像が所定の閾値以上変化した場合、変化したことを示す画像変化情報を出力する画像変化認識処理部１０を備え、ＩＰ変換部６は、画像変化情報をＩＰ変換すると共に、画像及び音声の符号化後データより先に変換されている画像変化情報及び音声変化情報を、画像及び音声の符号化後データより先に外部に送信することにより、音声変化や画像変化の情報を対応する画像，音声よりも先に送ることにより、変化発生の以前の画像，音声を記録することができ、蓄積を行う際に、サーバ内でバッファを不要とするという効果を奏する。
【図面の簡単な説明】
【００３６】
【図１】この発明の実施の形態１のネットワークカメラを含むネットワークカメラシステムの構成図である。
【図２】この発明の実施の形態１における音声変化認識に要する時間と画像符号化に要する時間差を示した一例の図である。
【図３】この発明の実施の形態２のネットワークカメラを含むネットワークカメラシステムの構成図である。
【符号の説明】
【００３７】
１  ネットワークカメラ、２  サーバ、３  ネットワーク、４  画像符号化部、５  音声符号化部、６  ＩＰ変換部、７  音声変化認識処理部、８  パケット判断部、９  蓄積部、１０  画像変化認識処理部。
【図１】
2008278323.tif 000003
【図２】
2008278323.tif 000004
【図３】
2008278323.tif 000005