(57)【要約】【課題】本発明は、音声が途切れることがなく、圧縮伸長処理が影響を及ぼさず、画像と音声の十分な同期をとることができるネットワークカメラシステム及びネットワークカメラ、データ送信方法を提供することを目的とする。【解決手段】本発明のネットワークカメラシステム及びネットワークカメラ、データ送信方法は、ネットワークカメラ２，２ａ，２ｂ，２ｃが、ウェブページに含まれる画像ファイル形式データの挿入位置を選択して、音声データを画像ファイル形式データのヘッダ域に挿入するとともに画像データを画像ファイル形式データのデータ域に挿入し、ネットワーク端末１にウェブページを送信することを特徴とする。【選択図】  図１
2004158919.tif 000002
【特許請求の範囲】
【請求項１】
カメラ部で撮影した画像データとマイクで集音した音声データを含むウェブページをネットワークに送信するネットワークカメラと、該ネットワークに接続され、受信したウェブページから映像と音声を再生することができるネットワーク端末とから構成されるネットワークカメラシステムであって、
前記ネットワークカメラが、前記ウェブページに含まれる画像ファイル形式データの挿入位置を選択して、前記音声データを前記画像ファイル形式データのヘッダ域に挿入するとともに前記画像データを前記画像ファイル形式データのデータ域に挿入し、前記ネットワーク端末に前記ウェブページを送信することを特徴とするネットワークカメラシステム。
【請求項２】
前記カメラ部を駆動する駆動制御部を備え、該カメラ部のカメラ位置情報及びまたはカメラ制御情報を前記画像ファイル形式データのヘッダ域に挿入するとともに前記画像データを前記画像ファイル形式データのデータ域に挿入して送信することを特徴とする請求項１記載のネットワークカメラシステム。
【請求項３】
映像を撮影するカメラ部と、
音声を集音するマイクと、
前記カメラ部で得た画像情報を符号化して画像データを出力する映像制御部と、
前記マイクからの音声情報を符号化して音声データを出力する音声制御部と、ネットワークと接続してネットワーク端末に前記画像データと前記音声データを送信できるネットワーク制御部を備えたネットワークカメラであって、
前記音声データを画像ファイル形式データのヘッダ域に挿入する画像ファイル形式データ生成手段が設けられ、
該画像ファイル形式データ生成手段が前記音声データを前記画像ファイル形式データのヘッダ部分に挿入し、かつ前記画像ファイル形式データのデータ領域に前記画像データを挿入して画像ファイル形式データを生成して、前記ネットワーク端末に送信することを特徴とするネットワークカメラ。
【請求項４】
音声データと画像データを同時に送信する第１のモードと、音声データだけを送信する第２のモードと、画像データだけを送信する第３のモードとを切り替えるモード切り替え手段を備え、
ネットワーク端末からのモード切り替え要求を受けると、前記モード切り替え手段がいずれかのモードに切り替え、前記通知生成手段が該モードに従って画像ファイル形式データを生成することを特徴とする請求項３記載のネットワークカメラ。
【請求項５】
前記カメラ部を駆動する駆動制御部を備え、前記画像ファイル形式データ生成手段がカメラ位置情報及びまたはカメラ制御情報を画像ファイル形式データのヘッダ域に挿入することを特徴とする請求項３または４記載のネットワークカメラ。
【請求項６】
マイクからの音声入力が無音レベルの場合に、前記画像ファイル形式データ生成手段が、音声データを添付しないで前記画像データのみが挿入された画像ファイル形式データまたは無音レベルを表すデータと前記画像データが挿入された画像ファイル形式データを送信することを特徴とする請求項３〜５のいずれかに記載のネットワークカメラ。
【請求項７】
前記音声データのデータ長が許容データ長を越えた場合、前記通知生成手段が該許容データ長の音声データを添付した画像ファイル形式データを送信することを特徴とする請求項３〜６のいずれかに記載のネットワークカメラ。
【請求項８】
前記音声データのデータ長が許容データ長を越えた場合、前記通知生成手段が該許容データ長の音声データを添付した画像ファイル形式データを送信した後に、音声データのみが添付された画像ファイル形式データを送信することを特徴とする請求項７記載のネットワークカメラ。
【請求項９】
ウェブページに音声データと画像データを添付して送信するとき、画像ファイル形式データのフォーマットにおける挿入位置を選択し、前記画像ファイル形式データのヘッダ域に音声データ、データ域に画像データを挿入して、このウェブページをネットワーク端末へ送信することにより通信の同期をとることを特徴とするデータ送信方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラ及びマイクで取得した画像及び音声を所定の形式で送信するネットワークカメラシステム、及びそのとき使用するネットワークカメラ、またそのとき採用されるデータ送信方法に関する。
【０００２】
【従来の技術】
最近のデジタル技術とネットワーク技術の進歩は目覚しく、ネットワーク端末、例えばパソコン等をインターネットに接続して多くのウェブサーバから画像や音声を同時に受信して再生することが行われている。
【０００３】
ところで、このような従来のウェブサーバが画像と音声を送信する場合には、一般に画像と音声のそれぞれのデータにタイムスタンプ、すなわち時間情報による同期情報を付加して送信することが行われていた。例えば、テレビ会議システムを例として挙げているが、画像データと音声データに各々時間データを持たせて同期を取る端末装置が提案されている（特許文献１参照）。この端末装置は、音声、画像両データに時間制御による同期情報をもたせ、送信側ユーザの意図通り同期のとれたデータを作成し、受信側で同期情報を持ったデータを再生し、音声、画像両データを同期出力するものである。図７（ａ）は従来の同期情報による画像と音声の同期方式の受信側端末装置の構成図、図７（ｂ）は従来の同期情報による画像と音声の同期方式の送信側端末装置の構成図、図８は従来の送信側端末から送信する音声データと静止画データのタイムチャートである。
【０００４】
図７（ａ），（ｂ）において、この受信側は、通信部１０１と音声か画像かを判定するデータ分離部１０２と音声処理部１０３と音声格納部１０４と画像処理部１０５と画像格納部１０６と音声、画像データに付加された同期情報の抽出に基づき出力を制御する統合処理部１０７と同期情報記憶部１０８と時間情報の取得とデータの出力時間を管理する時間制御部１０９と音声出力部１１０と画像出力部１１１とを備えており、送信側は、音声入力部１１２と画像入力部１１３と入力データの合成部１１４と同期情報付加部１１５と同期情報入力部１１６と時間情報の制御部１１７とデータ送信部１１８と通信部１１９とを備えた構成である。
【０００５】
この（特許文献１）の送信側端末装置は、図８に示すように時間ｔ１で音声データが送信されると、時間ｔ２になるとｔ２の同期情報をもつ画像データ２，３を送信する。音声データ、画像データはどれぞれヘッダ情報、データ、終了コードから構成されており、ヘッダ情報にはデータの種類、データの大きさ、動機情報が収められる。
【０００６】
これを受信側端末装置が受信し、音声か画像かでデータを分離して同期情報の時間に合わせて出力を開始する。音声はデータの長さが決まっているが、画像データは出力時間が決まっていない。従って、ネットワークのトラフィック負荷が大きい場合、この端末装置では画像データと音声データのすべてを送信することが困難になる。そこでこのような場合、（特許文献１）の端末装置は、時間制御部１０９がデータを間引く処理を行っている。この結果、画像の一部とともに、音声の一部がカットされ、音声が途切れ途切れになってしまう。音声の途切れ途切れは聞き辛く、情報の伝達を大きく損なう。
【０００７】
以上説明した時間情報による同期の他に、（特許文献２）に示すようなフレーム番号を画像データと音声データに付加して同期をとるタイムスタンプ方式などが存在するが、タイムスタンプやフレーム番号を画像データ及び音声データに各々付加する必要があり構成が複雑となるばかりでなく、いずれもネットワークのトラフィック負荷が大きい場合、この端末装置ではすべての画像データと音声データを送信することは困難である。当然、音声は途切れ途切れとなるし、これら（特許文献１）（特許文献２）端末装置の同期をとる構成はいずれも複雑で、コスト高になるものであった。
【０００８】
【特許文献１】
特開平９−２７８７１号公報
【特許文献２】
特開平９−９３５５３号公報
【０００９】
【発明が解決しようとする課題】
以上説明したように、従来画像と音声を送信する場合に、各データに時間情報による同期情報を付加したり、フレーム番号を画像と音声のデータに付加して同期を取ったりして同期をとることが行われてきた。
【００１０】
しかし、ネットワークのトラフィック負荷が大きい場合、これらの同期をとる方式では画像データと音声データのすべてを送信することは困難になるものであった。すなわち、遅延が起こった場合データを間引く処理を行う必要があり、再生した画像の一部、音声の一部が同時にカットされ、音声が途切れ途切れになってしまうものであった。そしてこれらの同期をとる構成はいずれも複雑で、端末装置をコスト高になるものであった。
【００１１】
そこで本発明は、音声が途切れることがなく、圧縮伸長処理が影響を及ぼさず、画像と音声の十分な同期をとることができるネットワークカメラシステムを提供することを目的とする。
【００１２】
また本発明は、音声が途切れることがなく、圧縮伸長処理が影響を及ぼさず、画像と音声の十分な同期をとることができるネットワークカメラを提供することを目的とする。
【００１３】
さらに本発明は、音声が途切れることがなく、圧縮伸長処理が影響を及ぼさず、画像と音声の十分な同期をとることができるデータ送信方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
この課題を解決するために本発明のネットワークカメラシステムは、ネットワークカメラが、ウェブページに含まれる画像ファイル形式データの挿入位置を選択して、音声データを画像ファイル形式データのヘッダ域に挿入するとともに画像データを画像ファイル形式データのデータ域に挿入し、ネットワーク端末にウェブページを送信することを特徴とする。
【００１５】
これにより、音声が途切れることがなく、圧縮伸長処理が影響を及ぼさず、画像と音声の十分な同期をとることができる。
【００１６】
また本発明のネットワークカメラは、音声データを画像ファイル形式データのヘッダ域に挿入する画像ファイル形式データ生成手段が設けられ、該画像ファイル形式データ生成手段が音声データを画像ファイル形式データのヘッダ部分に挿入し、かつ画像ファイル形式データのデータ領域に画像データを挿入して画像ファイル形式データを生成して、ネットワーク端末に送信することを特徴とする。
【００１７】
これにより、音声が途切れることがなく、圧縮伸長処理が影響を及ぼさず、画像と音声の十分な同期をとることができる。
【００１８】
そして本発明のデータ送信方法は、ウェブページに音声データと画像データを添付して送信するとき、画像ファイル形式データのフォーマットにおける挿入位置を選択し、画像ファイル形式データのヘッダ域に音声データ、データ域に画像データを挿入して、このウェブページをネットワーク端末へ送信することにより通信の同期をとることを特徴とする。
【００１９】
これにより、音声が途切れることがなく、圧縮伸長処理が影響を及ぼさず、画像と音声の十分な同期をとることができる。
【００２０】
【発明の実施の形態】
上記課題を解決するために本発明の請求項１の発明は、カメラ部で撮影した画像データとマイクで集音した音声データを含むウェブページをネットワークに送信するネットワークカメラと、該ネットワークに接続され、受信したウェブページから映像と音声を再生することができるネットワーク端末とから構成されるネットワークカメラシステムであって、ネットワークカメラが、ウェブページに含まれる画像ファイル形式データの挿入位置を選択して、音声データを画像ファイル形式データのヘッダ域に挿入するとともに画像データを画像ファイル形式データのデータ域に挿入し、ネットワーク端末にウェブページを送信することを特徴とするネットワークカメラシステムであり、ＪＰＥＧ等の画像ファイル形式のデータに、画像ファイルだけではなく、音声データをも挿入することにより、ネットワークカメラから送信される音声データ及び画像データをネットワーク端末で容易に両者を十分に同期させて再生することができる。また、音声データはヘッダ領域（コメント部）に挿入されているため、通常の画像展開動作のみを行うネットワーク端末においても、画像だけを再生することができ、一方、ヘッダ領域のコメント部の音声データを分離再生することができるような構成とすれば、ネットワーク端末で音声も再生することができる。従って、同一の画像ファイル形式データで一般のブラウザであっても、少なくとも画像データは表示することができ、ネットワーク端末ごとに異なるファイルを生成する必要がなく、ネットワークカメラの処理負担が軽減され、安価なシステムを提供することができる。また、従来のように画像データと一緒に音声データが間引かれないので可能性として音声が途切れることがない。
【００２１】
請求項２の発明は、カメラ部を駆動する駆動制御部を備え、該カメラ部のカメラ位置情報及びまたはカメラ制御情報を画像ファイル形式データのヘッダ域に挿入するとともに画像データを画像ファイル形式データのデータ域に挿入して送信することを特徴とする請求項１記載のネットワークカメラシステムであり、カメラ部のカメラ位置情報及びまたはカメラ制御情報はヘッダ領域（コメント部）に挿入されているため、通常の画像展開動作のみを行うネットワーク端末においても、画像だけは再生することができ、一方、ヘッダ領域のコメント部のカメラ位置情報及びまたはカメラ制御情報を分離し処理することができるような構成とすれば、ネットワーク端末でカメラ位置情報及びまたはカメラ制御情報を取得することができる。従って、同一の画像ファイル形式データで一般のブラウザであっても、画像データを表示することができ、ネットワーク端末ごとに異なるファイルを生成する必要がなく、ネットワークカメラの処理負担が軽減され、安価なシステムを提供することができる。
【００２２】
請求項３の発明は、映像を撮影するカメラ部と、音声を集音するマイクと、カメラ部で得た画像情報を符号化して画像データを出力する映像制御部と、マイクからの音声情報を符号化して音声データを出力する音声制御部と、ネットワークと接続してネットワーク端末に画像データと音声データを送信できるネットワーク制御部を備えたネットワークカメラであって、音声データを画像ファイル形式データのヘッダ域に挿入する画像ファイル形式データ生成手段が設けられ、該画像ファイル形式データ生成手段が音声データを画像ファイル形式データのヘッダ部分に挿入し、かつ画像ファイル形式データのデータ領域に画像データを挿入して画像ファイル形式データを生成して、ネットワーク端末に送信することを特徴とするネットワークカメラであり、画像データが圧縮されているときにも音声データはヘッダ域（コメント部）に格納されており、伸長処理の際の互換性を保つことができる。従来のように画像データと一緒に音声データが間引かれないので可能性として音声が途切れることがない。画像データと音声データを同一の画像ファイル形式データとして同時に送信するため、画像と音声の十分な同期をとることができる。
【００２３】
請求項４の発明は、音声データと画像データを同時に送信する第１のモードと、音声データだけを送信する第２のモードと、画像データだけを送信する第３のモードとを切り替えるモード切り替え手段を備え、ネットワーク端末からのモード切り替え要求を受けると、モード切り替え手段がいずれかのモードに切り替え、通知生成手段が該モードに従って画像ファイル形式データを生成することを特徴とする請求項３記載のネットワークカメラであり、モードを切り替えることができるため、トラフィックの負荷が大きくなったときなどに音声データだけを送信することができ、トラフィックと画像と音声に対するニーズを反映した通信が行える。
【００２４】
請求項５の発明は、カメラ部を駆動する駆動制御部を備え、画像ファイル形式データ生成手段がカメラ位置情報及びまたはカメラ制御情報を画像ファイル形式データのヘッダ域に挿入することを特徴とする請求項３または４記載のネットワークカメラであり、カメラ位置情報やカメラ制御情報が画像ファイルのヘッダ部分に挿入されているから、ネットワーク端末では受信した画像ファイ形式データから容易にカメラ位置情報やカメラ制御情報を入手し、利用することができる。
【００２５】
請求項６の発明は、マイクからの音声入力が無音レベルの場合に、画像ファイル形式データ生成手段が、音声データを添付しないで画像データのみが挿入された画像ファイル形式データまたは無音レベルを表すデータと画像データが挿入された画像ファイル形式データを送信することを特徴とする請求項３〜５のいずれかに記載のネットワークカメラであり、無音レベルのときには無用なデータを送らず、データ量をおとすことができ、又トラフィックの混雑により再生する音声データが遅延するような場合でも、無音状態の音声データは間引くことができるから、同期の調整を補完することができる。
【００２６】
請求項７の発明は、音声データのデータ長が許容データ長を越えた場合、通知生成手段が該許容データ長の音声データを添付した画像ファイル形式データを送信することを特徴とする請求項３〜６のいずれかに記載のネットワークカメラであり、音声データが許容データ長を越えた場合にも送信が可能になる。
【００２７】
請求項８の発明は、音声データのデータ長が許容データ長を越えた場合、通知生成手段が該許容データ長の音声データを添付した画像ファイル形式データを送信した後に、音声データのみが添付された画像ファイル形式データを送信することを特徴とする請求項７記載のネットワークカメラであり、音声データが許容データ長を越えた場合、まず許容データ長のデータを送信し、次いで残りのデータを音声データのみの通知を行うから、音声が途切れることがない。
【００２８】
本発明の請求項９に記載された発明は、ウェブページに音声データと画像データを添付して送信するとき、画像ファイル形式データのフォーマットにおける挿入位置を選択し、画像ファイル形式データのヘッダ域に音声データ、データ域に画像データを挿入して、このウェブページをネットワーク端末へ送信することにより通信の同期をとることを特徴とするデータ送信方法であり、ＪＰＥＧ等の画像ファイル形式のデータに、画像ファイルだけではなく、音声データをも挿入することにより、ネットワークカメラから送信される音声データ及び画像データをネットワーク端末で容易に両者を十分に同期させて再生することができる。また、音声データはヘッダ領域（コメント部）に挿入されているため、通常の画像展開動作のみを行うネットワーク端末においても、画像だけは再生することができ、一方、ヘッダ領域のコメント部の音声データを分離再生することができるような構成とすれば、ネットワーク端末で音声も再生することができる。従って、同一の画像ファイル形式データで一般のブラウザであっても、少なくとも画像データを表示することができ、ネットワーク端末ごとに異なるファイルを生成する必要がなく、ネットワークカメラの処理負担が軽減され、安価なシステムを提供することができる。また、従来のように画像データと一緒に音声データが間引かれないので可能性として音声が途切れることがない。
【００２９】
（実施の形態１）
本発明の実施の形態１におけるネットワークカメラシステムとそのネットワークカメラ、さらにデータ送信方法について説明する。図１は本発明の実施の形態１におけるネットワークカメラシステムのシステム構成図、図２は本発明の実施の形態１におけるネットワークカメラの構成図、図３は本発明の実施の形態１におけるネットワークカメラが送信する画像ファイル形式データのデータフォーマット構成図、図４は本発明の実施の形態１におけるネットワークカメラが送信するデータのタイムチャート、図５は図４のタイムチャートで無音時のチャートである。
【００３０】
図１に示すネットワークカメラシステムの全体構成において、１はディスプレーに映像を表示するとともに音声も再生できるパソコン等のネットワーク端末、２，２ａ，２ｂ，２ｃはネットワーク端末１からアクセスに対して画像や音声データを埋め込んだ（タグ等でリンク情報を付加した）ウェブページを送信する画像・音声サーバ機能を有するネットワークカメラ、３はネットワークカメラ２ａ，２ｂ，２ｃを配下にしたルータ、４はインターネット等のネットワークである。５はネットワーク端末１等からのＩＰアドレス割り当て要求に従って、ネットワーク端末１等にグローバルＩＰアドレスを割り当てるＤＨＣＰサーバ、６はネットワーク端末１からの名前解決の問い合わせに対して、問い合わせのホスト名に対するＩＰアドレスをネットワーク端末１に送信するＤＮＳサーバである。７はブラウザの機能を拡張して音声や動画を再生するためのプラグインソフトをネットワーク端末１にダウンロードできるウェブサーバである。例えば後述する音声制御手段１４や表示制御手段１３等がプラグインソフトとしてダウンロードされてよい。
【００３１】
このようなネットワークカメラシステムで、ネットワーク端末１に搭載されているブラウザ手段１２からネットワークカメラ２ａ，２ｂ，２ｃに対し、あて先のＵＲＬをネットワークカメラのホスト名及びポート番号として、Ｈｔｔｐプロトコルによりアクセス（ウェブページの要求）したときは、ネットワーク端末１はまずＤＮＳサーバ６からグローバルＩＰアドレスを入手し、入手したＩＰアドレスをＩＰパケットのあて先ヘッダに、そしてポート番号をＴＣＰヘッダ部分に埋め込んだデータパケットをルータ３に送り、ルータ３でＴＣＰヘッダに埋め込まれたポート番号に従ってポートフォワーディングされ、ネットワークカメラ２ａ，２ｂ，２ｃに送信される。一方、ネットワークカメラ２は、このネットワーク端末１からのアクセスに応答して、画像及び音声が添付（リンク先が記載）されたウェブページはルータ３及びネットワーク４を経由してネットワーク端末１に転送されることになる。
【００３２】
そこで、以下このような分散して構成されるネットワークカメラシステムの内部構成、まずネットワーク端末１について説明する。図１において、１１はネットワーク端末１のネットワーク４との通信を制御するネットワーク制御部である１２は、ネットワーク制御部１１を介してインターネット等のネットワーク４に接続されたサーバにアクセスすると、画像ファイルや音声ファイル等を添付したＨＴＭＬ、ＸＴＭＬファイル等のページ（本発明のウェブページ）を受信し、ディスプレーやスピーカで再生するブラウザ手段である。
【００３３】
図１に示す１３は、受信した画像ファイルや動画等その他の画像ファイルをディスプレーに表示するための表示制御手段、１４は受信した音声ファイルやその他の音声ファイルを再生するための音声制御手段である。音声制御手段１４と表示制御手段１３はブラウザ手段１２の機能を拡張するためにウェブサーバ７からプラグインしてもよい。ブラウザ手段１２はＨＴＭＬファイルやＸＴＭＬファイルを受信すると、表示制御手段１３や音声制御手段１４を動作させて画像や音声を再生させる。なお、音声制御手段１４はアンプを備えておりネットワークカメラ２等から送信されるＡＳＦ（Ａｄｖａｎｃｅｄ  Ｓｔｒｅａｍｉｎｇ  Ｆｏｒｍａｔ）形式に符号化された音声データを伸長し、Ｄ／Ａ変換してアンプで音量を調整して出力する。
【００３４】
次に、１５は各種制御プログラムや各種データをメモリする記憶部である。１６はネットワーク端末１の制御を行う制御部である。制御部１６は中央処理装置を用いて構成され、記憶部１５から各機能の制御プログラムが読み出されて実行されるもので、機能実現手段として構成される。１７はマウスで入力したりキーボードからの入力を行うための入力制御手段である。
【００３５】
また、実施の形態１のネットワーク端末１は、ネットワークカメラ２から連続送信される静止画像ファイル形式データから音声データを取り出して再生する以下の構成を備えている。
【００３６】
すなわち、図１において、１８は、画像を添付したＨＴＭＬファイルにリンク情報を埋め込まれた画像ファイル形式データから音声データを取り出す音声機能拡張部である。音声機能拡張部１８は少なくとも以下説明する手段を備えて構成される。図２において、１８ａは以下説明するカメラ装置からＨＴＭＬにリンク情報を埋め込まれた画像ファイル形式データのヘッダ部分に収容された音声データを取り出す音声データ取出し手段である。１８ｂは取り出した音声データを音声制御手段１４で再生するためにストリーミングデータの解凍を管理する解凍管理手段である。
【００３７】
ここでＨＴＭＬファイルにリンク情報を埋め込まれた画像ファイル形式データの構成の説明をすると、図３に示すように、４０はＨＴＭＬファイルにリンク情報を埋め込まれ、かつネットワーク端末１から送信される音声データを含む画像ファイル形式データである。本実施の形態ではＪＰＥＧファイル形式で構成されているが、ヘッダ部分に音声データを挿入可能な領域を有する画像ファイル形式であれば、ＪＰＥＧ形式に限られない。
【００３８】
なお、ＪＰＥＧファイルは、開始識別コード（ＳＯＩマーカーコード）で始まり、終了識別コード（ＥＯＩマーカーコード）で終了する構成をとっており、コメントを挿入する場合には、コメントコード（ＣＯＭマーカーコード）、コメントコードの長さ情報、コメントデータを開始識別コードと終了識別コードとの間に挿入する必要がある。本実施の形態では、画像データ部分以外の情報をヘッダ部（ヘッダ領域）として説明する。
【００３９】
４１はこの画像ファイル形式データのヘッダ部であり、４２はデータ部である。データ部４２には圧縮した画像データがセットされる。４３はヘッダ部４１の先頭に置かれる開始コード、４４〜４６はコメント部であり、４４はコメントコード、４５はコメント部のデータ長記載部、４６は音声データ部（コメントデータ部）である。
【００４０】
コメント部のデータ長記載部４５には２バイトの長さのデータ量の記載が許されているため、音声データ部４６には６４ｋバイトまでのデータをセットすることができる。実施の形態１においてはこの音声データ部４６には後述する音声制御部２５によってデータ化されたＡＳＦデータが収容される。そして、通常音声は８ｋバイト／ｓｅｃで出力されるから最大８ｓｅｃ分のデータが収容可能であり、ネットワークカメラ２からの画像ファイル形式データの送信は３３ｍｓｅｃに１枚が通常の送信速度であるから、本実施の形態１のレスポンス通知は最大８ｓｅｃ遅延して着信しても音声だけは途切れることはない。なお、ネットワークカメラ２にアクセスした際にネットワーク端末１に送信されるＨＴＭＬファイルには画像ファイル形式データをモーションＪＰＥＧ形式でネットワークカメラ２に送信要求するように記載がなされており、ネットワーク端末１がＨＴＭＬファイルの記載に従ってネットワークカメラ２にアクセスすることにより、ネットワークカメラ２からネットワーク端末１に対して、最大３０枚／秒で連続して画像ファイル形式データを送信するように構成されている。
【００４１】
同様に、実施の形態１のネットワークカメラ２はカメラ部２２を駆動する駆動制御部２６を備えており、ネットワーク端末１からの操作で姿勢を制御している。ウェブサーバ部２１ａからカメラ部２２のカメラ位置情報やカメラ制御情報をネットワーク端末１が受信することができれば、ネットワーク端末１からその情報に基づいて、カメラの動作状態を画面に表示したり、制御したりするのが容易になる。従って、このカメラ位置情報及びまたはカメラ制御情報を画像ファイル形式データのヘッダ域に添付することにより、画像や音声と対応したカメラ位置情報やカメラ制御情報を、画像ファイル形式データで画像データと独自性を保って通知することができる。音声データと同様にコメントデータ部に書き込むから、詳細は上述の音声データのヘッダ域への添付と同様である。但し、データ長が６４ｋバイトを超えることはない。
【００４２】
続いて、ネットワークカメラシステムを構成するネットワークカメラ２について説明する。図２において、２１はルータ３を介してネットワークカメラ２のネットワーク４との通信を制御するネットワーク制御部、２１ａはウェブサーバ部、２２はカメラ部、２３はカメラ部２２で撮影した画像データを圧縮する映像制御部、２４は音声を集音するためのマイク、２４ａはネットワーク端末１で入力された音声を出力するためのスピーカ、２５はマイク２４からの音声アナログ信号をＡ／Ｄ変換によりデータ信号に変換し、圧縮符号化してネットワーク制御部２１に渡す音声制御部である。２６はネットワークカメラ１のパン、チルト等の駆動制御を行う駆動制御部である。２７は制御プログラムや各種データをメモリする記憶部である。３０はネットワークカメラ２全体を制御する制御部である。
【００４３】
また、図３に示すネットワークカメラ２は画像・音声添付のウェブ文ページ成機能を有しており、２８は画像データのみ、若しくは画像データ及び音声データの双方から構成される画像ファイル形式データを作成する画像ファイル形式データ生成手段、２９は画像ファイル形式データに画像データだけでなく音声データを付加して同時に送る画像・音声モード（本発明の第１のモード）と、音声だけの画像ファイル形式データを送る音声モード（本発明の第２のモード）と、画像だけの画像ファイル形式データを送る音声モード（本発明の第３のモード）とを切り替えるモード管理手段である。モードを切り替えることで無音が続く場合等に音声データを送信せず、音声出力の中に意味の乏しい無音状態を混入させることを避けることができる。また、ネットワーク端末１側からネットワーク制御部２１にモード指定のリクエスト通知を送信することにより、ユーザのニーズを反映させることができる。
【００４４】
そこで、ネットワークカメラ２が画像と音声の双方のデータを付加した画像ファイル形式データを送信し、ネットワーク端末１で再生処理を行うときの処理の流れを時間の経過とともに説明する。図４の上段がネットワークカメラの送信するパケットであり、下段が端末での再生状態である。図４において、画像・音声モードで時間ｔ１の時点で撮像した画像データ及びｔ０〜ｔ１間の音声データを画像ファイル形式データとしてネットワーク端末１に送信する。これにより、ネットワーク端末１では、送信直前の時点に撮影した画像データと、前回送信した画像ファイル形式データに付加して送信した音声データ以降でかつ送信直前の時点までの音声データを画像ファイル形式データとして受信し、下段に示した出力画面と出力音声として再生される。
【００４５】
トラフィックの関係上、画像ファイル形式データの遅延等により、時点ｔ２にネットワークカメラ２から画像ファイル形式データが送信されず、この状態が時点ｔ３まで、１ｓｅｃ以上、例えば５ｓｅｃ間続いた場合においては、ｔ３時点においての画像データ及びｔ１〜ｔ３の間の入力音声が一つの画像ファイル形式データとしてネットワーク端末２へ送信され、ネットワーク端末１においては、この画像ファイル形式データに基づいて、受信時点ｔ３におけるこの画像データの画像表示を行うとともにｔ１〜ｔ３の間の音声データが再生されることになる。但し、この場合においては、１ｓｅｃ以上前の音声データが受信されることになるため、画像の表示と音声との間で１ｓｅｃの同期ずれが発生する可能性がある。従って、１ｓｅｃ以上の同期ずれが生じないように、１ｓｅｃ以上の音声はデータとして送信しないように画像ファイル形式データの生成時に制限をかけるように利用者により選択するようにすることが好ましい。また、ウェブページに音声遅延の状態表示（例えば、「１ｓｅｃ遅延」等の表示）をするように、ネットワーク端末１の利用者が容易にその遅延を理解することができるようにし、さらにウェブページに音声のプリセットボタン（ボタン押下で、次の画像ファイル形式データが送られてきた時点で前の画像ファイル形式データの未再生の音声データを破棄して、次の画像ファイル形式データの音声データを再生する制御をするボタン）を設けるようにしてもよい。さらに、音声のプリセットボタンによらずに、利用者の選択により、新しい画像ファイル形式データが受信された場合には、前回の画像ファイル形式データの未再生分の音声データを破棄して新しい画像ファイル形式データの音声データをすぐに再生するようにしてもよい。
【００４６】
ｔ１〜ｔ３までの間、すなわち画像データの送信がない状態が８ｓｅｃ以上、例えば１０ｓｅｃ続いた場合には、時点ｔ３で画像・音声モードから音声モードに切り替えられ、音声データだけをセットして画像データのない画像ファイル形式データが送信される。従って、このとき画像は送られず、音声だけが連続して再生され、時点ｔ４までの音声データの再生が続く。音声データのみの画像ファイル形式データは、容量が少ないため、ネットワークのトラフィックが混雑していても画像データを含む画像ファイル形式データに比べ遅延を減少させることができる。時点ｔ４で再び画像・音声モードに切り替わり、音声データ及び画像データの双方を含む画像ファイル形式データが送られる。なお、時点ｔ５は、音声モードに切り替え後、ネットワークのトラフィックの混雑が所定の基準まで減少したときであり、所定の基準まで減少したかどうかは、ネットワークカメラ２から送信したデータをネットワーク端末１が受信したレスポンス時間等に基づいて判断される。
【００４７】
ところで、図５には無音状態が続いたときの処理を示している。時点ｔ６〜ｔ７までの音声データはｔ７の画像データと共に画像ファイル形式データとして送信され、受信側で出力される。次に時点ｔ７〜ｔ８までの音声データが無音状態であるとネットワークカメラ２が判定すると、時点ｔ７〜ｔ８までの音声データを画像ファイル形式データに入れずに、ｔ８時点の画像データのみを画像ファイル形式データに入れて送信する。従って、ｔ７〜ｔ８までの時間が６６ｍｓｅｃ以内であれば、ｔ７〜ｔ８間での音声データは無音状態として省略することができ、ｔ８〜ｔ９間の音声データは、ｔ９時点の画像データに同期してネットワーク端末２で出力することができる。なお、無音状態が続いたとき音声データ無しの画像ファイル形式データを送信するのではなく、無音を表す短いデータをセットして送信するのも好適である。また、無音状態という判定は、予め無音レベルの判断の基準となる閾値を決めておき、モード管理手段２９が判定を行う。
【００４８】
続いて、以上説明した各モードで実施の形態１のネットワークカメラ２が行う具体的な処理について説明する。図６は本発明の実施の形態１におけるネットワークカメラが行う処理のフローチャートである。図６において、待機中のネットワークカメラ２はネットワーク端末１からウェブページの送信要求があったか否かをチェックする（ｓｔｅｐ１）。ウェブページの送信要求がない場合再び待機する。ウェブページの送信要求があったときには、音声を送るモードが要求されているか否かがチェックされる（ｓｔｅｐ２）。音声を送るモードの場合、さらに画像を送るモードが要求されているか否かがチェックされる（ｓｔｅｐ３）。音声を送るモードではない場合、画像データを圧縮し（ｓｔｅｐ４）、画像ファイル形式データのデータ領域に圧縮した画像データを挿入し、所定の記憶領域に格納し、この格納場所を記載したＨＴＭＬファイルを送信するために所定の記憶領域から取り出す（ｓｔｅｐ５）。
【００４９】
ｓｔｅｐ３において、画像を送るモードであった場合画像データと音声データをそれぞれ圧縮し（ｓｔｅｐ６）、画像を送るモードではなかった場合は音声データを圧縮する（ｓｔｅｐ７）。ｓｔｅｐ６で圧縮された音声データのデータ長が許容データ長と比較され、データ長が許容される範囲か否かがチェックされる（ｓｔｅｐ８）。ｓｔｅｐ８でデータ長が許容データ長より短くて許容範囲内であった場合、画像データが画像ファイル形式データのデータ域に、音声データがヘッダ域に挿入される（ｓｔｅｐ９）。ｓｔｅｐ８でデータ長が許容データ長より長かった場合、ｓｔｅｐ１０で超過データ長が許容データ長より短く許容される長さか否かがチェックされ、許容されるときには許容されるデータ長（許容データ長とそれより短い場合を含む）の音声データを挿入した画像ファイル形式データ形式データを作成する（ｓｔｅｐ１１）。ｓｔｅｐ１０において許容されるデータ長でなかったときには許容データ長の音声データを挿入した画像ファイル形式データを作成するとともにｓｔｅｐ１０に戻り（ｓｔｅｐ１２）、これを繰返す。なお、許容長データより長い部分の音声データは、以降の画像ファイル形式データに挿入され、その際に画像データを挿入せずに音声データのみを挿入するようにすることが可能である。
【００５０】
ｓｔｅｐ７で圧縮された音声データのデータ長が許容データ長と比較され、データ長が許容されるか否かがチェックされる（ｓｔｅｐ１３）。ｓｔｅｐ１３において音声データのデータ長が許容データ長より短くて許容範囲内であった場合、レスポンス通知のヘッダ域に音声データが挿入される（ｓｔｅｐ１４）。ｓｔｅｐ１３でデータ長が許容データ長より長かった場合、ｓｔｅｐ１５で超過データ長が許容データ長より短く許容される長さか否かがチェックされ、許容されるときには許容されるデータ長（許容データ長とそれより短い場合を含む）の音声データを挿入した画像ファイル形式データを作成する（ｓｔｅｐ１６）。ｓｔｅｐ１３において許容されるデータ長でなかったときには許容データ長の音声データを挿入した画像ファイル形式データを作成するとともにｓｔｅｐ１５に戻り（ｓｔｅｐ１７）、これを繰返す。ｓｔｅｐ５，９，１１，１４，１６で作成された画像ファイル形式データはネットワーク制御部２１から送信され（ｓｔｅｐ１８）、再び待機状態に復帰する。
【００５１】
このように実施の形態１のネットワークカメラ２は、モード指定と音声データのデータ長をチェックすることにより、音声データが小さい場合は画像データと音声データの全部、音声データに超過分が生じた場合には画像データと許容データ長の音声データを添付するため、画像と音声の同期が十分とれた画像ファイル形式データを送信することができる。なお、カメラ位置情報とカメラ制御情報は以上説明した音声データと同様であるから説明を省略する。但し、データ量は小さく、許容データ長を超えることはない。
【００５２】
以上の説明したように、本実施の形態１においては音声が無音状態が長く続かない限り、ほとんど途切れることなく再生される。また、無音状態が続いた場合には画像モードもしくは画像・音声モードのデータを送り、音声データが届いた時点に音声を再生するから、無音状態の時間を圧縮して再生することができる。また、カメラ部のカメラ位置情報及びまたはカメラ制御情報をヘッダ域に収めて送信するから、画像データが圧縮されているときにも独自性を保って情報をネットワーク端末に送ることができる。
【００５３】
なお、本実施の形態では、音声のみを送る場合には、画像ファイル形式データで音声データを送信するようにしたが、画像ファイル形式でない音声ファイル形式で音声データを送り、それを受信して再生するようにしてもよい。
【００５４】
【発明の効果】
本発明のネットワークカメラシステムによれば、ＪＰＥＧ等の画像ファイル形式のデータに、画像ファイルだけではなく、音声データをも挿入することにより、ネットワークカメラから送信される音声データ及び画像データをネットワーク端末で容易に両者を十分に同期させて再生することができる。また、音声データはヘッダ領域の（コメント部）に挿入されているため、通常の画像展開動作のみを行うネットワーク端末においても、画像だけを再生することができ、一方、ヘッダ領域のコメント部の音声データを分離再生することができるような構成とすれば、ネットワーク端末で音声も再生することができる。従って、同一の画像ファイル形式データで一般のブラウザであっても、少なくとも画像データは表示することができ、ネットワーク端末ごとに異なるファイルを生成する必要がなく、ネットワークカメラの処理負担が軽減され、安価なシステムを提供することができる。また、従来のように画像データと一緒に音声データが間引かれないので可能性として音声が途切れることがない。
【００５５】
カメラ部のカメラ位置情報及びまたはカメラ制御情報はヘッダ領域（コメント部）に挿入されているため、通常の画像展開動作のみを行うネットワーク端末においても、画像だけは再生することができ、一方、ヘッダ領域のコメント部のカメラ位置情報及びまたはカメラ制御情報を分離し処理することができるような構成とすれば、ネットワーク端末でカメラ位置情報及びまたはカメラ制御情報を取得することができる。従って、同一の画像ファイル形式データで一般のブラウザであっても、画像データを表示することができ、ネットワーク端末ごとに異なるファイルを生成する必要がなく、ネットワークカメラの処理負担が軽減され、安価なシステムを提供することができる。
【００５６】
本発明のネットワークカメラによれば、画像データが圧縮されているときにも音声データはヘッダ域（コメント部）に格納されており、伸長処理の際の互換性を保つことができる。従来のように画像データと一緒に音声データが間引かれないので可能性として音声が途切れることがない。画像データと音声データを同一の画像ファイル形式データとして同時に送信するため、画像と音声の十分な同期をとることができる。
【００５７】
モードを切り替えることができるため、トラフィックの負荷が大きくなったときなどに音声データだけを送信することができ、トラフィックと画像と音声に対するニーズを反映した通信が行える。また、カメラ位置情報やカメラ制御情報が画像ファイルのヘッダ部分に挿入されているから、ネットワーク端末では受信した画像ファイ形式データから容易にカメラ位置情報やカメラ制御情報を入手し、利用することができる。
【００５８】
さらに、無音レベルのときには無用なデータを送らず、データ量をおとすことができ、又トラフィックの混雑により再生する音声データが遅延するような場合でも、無音状態の音声データは間引くことができるから、同期の調整を補完することができる。そして、音声データが許容データ長を越えた場合にも送信が可能になる。また、音声データが許容データ長を越えた場合、まず許容データ長のデータを送信し、次いで残りのデータを音声データのみの通知を行うから、音声が途切れることがない。
【００５９】
本発明のデータ送信方法によれば、ＪＰＥＧ等の画像ファイル形式のデータに、画像ファイルだけではなく、音声データをも挿入することにより、ネットワークカメラから送信される音声データ及び画像データをネットワーク端末で容易に両者を十分に同期させて再生することができる。また、音声データはヘッダ領域（コメント部）に挿入されているため、通常の画像展開動作のみを行うネットワーク端末においても、画像だけは再生することができ、一方、ヘッダ領域のコメント部の音声データを分離再生することができるような構成とすれば、ネットワーク端末で音声も再生することができる。従って、同一の画像ファイル形式データで一般のブラウザであっても、少なくとも画像データを表示することができ、ネットワーク端末ごとに異なるファイルを生成する必要がなく、ネットワークカメラの処理負担が軽減され、安価なシステムを提供することができる。また、従来のように画像データと一緒に音声データが間引かれないので可能性として音声が途切れることがない。
【図面の簡単な説明】
【図１】本発明の実施の形態１におけるネットワークカメラシステムのシステム構成図
【図２】本発明の実施の形態１におけるネットワークカメラの構成図
【図３】本発明の実施の形態１におけるネットワークカメラが送信するレスポンス通知のパケット構成図
【図４】本発明の実施の形態１におけるネットワークカメラが送信するデータのタイムチャート
【図５】図４のタイムチャートで無音時のチャート
【図６】本発明の実施の形態１におけるネットワークカメラが行う処理のフローチャート
【図７】（ａ）従来の同期情報による画像と音声の同期方式の受信側端末装置の構成図（ｂ）従来の同期情報による画像と音声の同期方式の送信側端末装置の構成図
【図８】従来の送信側端末から送信する音声データと静止画データのタイムチャート
【符号の説明】
１  ネットワーク端末
２，２ａ，２ｂ，２ｃ  ネットワークカメラ
３  ルータ
４  ネットワーク
５  ＤＨＣＰサーバ
６  ＤＮＳサーバ
７  ウェブサーバ
１１  ネットワーク制御部
１２  ブラウザ手段
１３  表示制御手段
１４  音声制御手段
１５  記憶部
１６  制御部
１７  入力制御手段
１８  音声機能拡張部
１８ａ  音声データ取出し手段
１８ｂ  タイミング管理手段
２１  ネットワーク制御部
２１ａ  ウェブサーバ部
２２  カメラ部
２３  映像制御部
２４  マイク
２４ａ  スピーカ
２５  音声制御部
２６  駆動制御部
２７  記憶部
２８  画像ファイル形式データ生成手段
２９  モード管理手段
４０  レスポンス通知
４１  ヘッダ部
４２  データ部
４３  開始コード
４４  コメント部
４５  データ長記載部
４６  音声データ部（コメントデータ部）
１０１  通信部
１０２  データ分離部
１０３  音声処理部
１０４  音声格納部
１０５  画像処理部
１０６  画像格納部
１０７  統合処理部
１０８  同期情報記憶部
１０９  時間制御部
１１０  音声出力部
１１１  画像出力部
１１２  音声入力部
１１３  画像入力部
１１４  合成部
１１５  同期情報付加部
１１６  同期情報入力部
１１７  制御部
１１８  データ送信部
１１９  通信部
【図１】
2004158919.tif 000003
【図２】
2004158919.tif 000004
【図３】
2004158919.tif 000005
【図４】
2004158919.tif 000006
【図５】
2004158919.tif 000007
【図６】
2004158919.tif 000008
【図７】
2004158919.tif 000009
【図８】
2004158919.tif 000010