(57)【要約】【課題】  カメラ映像と臭気センシング結果を同時に伝送可能なカメラ装置を提供すること。【解決手段】  実施形態によれば、カメラ装置は、撮像部で撮影された映像信号を符号化して映像データを生成し、撮像部の撮影に関連する撮像部情報を生成し、少なくとも臭気センサで検出される臭気情報を入力してセンサ情報として生成し、撮像部情報とセンサ情報とを含む特徴データを生成し、特徴データを映像データに同期させて多重し、特徴データが多重された映像データをネットワークに送信する。【選択図】  図１６
2020005168.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮影して映像信号を出力する撮像部と、
前記映像信号を符号化して映像データを生成する符号化部と、
前記撮像部の撮影に関連する撮像部情報を生成する撮像部情報生成部と、
少なくとも臭気センサで検出される臭気情報を入力してセンサ情報として生成するセンサ情報生成部と、
前記撮像部情報と前記センサ情報とを含む特徴データを生成する特徴データ生成部と、
前記生成された特徴データを前記映像データに同期させて多重する多重化部と、
前記多重化部で特徴データが多重された映像データをネットワークに送信する送信部と
を具備するカメラ装置。
【請求項２】
前記多重化部は、前記映像データと当該映像データに同期した特徴データとをトランスポートストリームに多重し、
前記送信部は、前記トランスポートストリームを前記ネットワークに送信する請求項１記載のカメラ装置。
【請求項３】
前記特徴データは、前記臭気センサからの臭気情報と、前記映像信号の撮影時刻情報、前記撮像部の指向方向情報、前記撮像部の旋回角度情報、前記撮像部のズーム倍率情報、前記撮像部の位置情報のうち少なくともいずれか１つを含む請求項１記載のカメラ装置。
【請求項４】
さらに、
前記センサ情報生成部で生成される前記臭気情報によるセンサ情報の異常発生を検出するセンサ情報処理部と、
前記センサ情報の異常発生が検出された時、前記映像信号を記録する映像信号記録部と、
を備える請求項１記載のカメラ装置。
【請求項５】
さらに、
前記センサ情報生成部で生成される前記臭気情報によるセンサ情報の異常発生を検出するセンサ情報処理部と、
前記センサ情報の異常発生が検出された時、前記撮像部を旋回させて撮像方向を制御するカメラ制御部と、
を備える請求項１記載のカメラ装置。
【請求項６】
画像を撮影するカメラ装置と、このカメラ装置で撮影された画像を管理するサーバ装置とを備えるカメラシステムにおいて、
前記カメラ装置は、
画像を撮影して映像信号を出力する撮像部と、
前記映像信号を符号化して映像データを生成する符号化部と、
前記撮像部の撮影に関連する撮像部情報を生成する撮像部情報生成部と、
少なくとも臭気センサで検出される臭気情報を入力してセンサ情報として生成するセンサ情報生成部と、
前記撮像部情報と前記センサ情報とを含む特徴データを生成する特徴データ生成部と、
前記生成された特徴データを前記映像データに同期させて多重する多重化部と、
前記多重化部で特徴データが多重された映像データをネットワークに送信する送信部とを備え、
前記サーバ装置は、前記ネットワークに接続される処理装置であって、
前記処理装置は、
前記カメラ装置からネットワークに送信される映像データを受信する受信部と、
前記映像データから前記特徴データを分離する分離部と、
前記特徴データから前記センサ情報を取り出して前記臭気情報を分析して映像化するセンサ情報処理部と、
前記映像データから映像信号を生成し、この映像信号と前記映像化された臭気情報とを合成して表示させる映像合成部と
を備えるカメラシステム。
【請求項７】
さらに、前記カメラ装置から前記ネットワークに送信される映像データを蓄積する映像データ蓄積装置を備え、
前記処理装置は、前記映像データ蓄積装置から任意の期間の映像データを取得して映像化する請求項６記載にカメラシステム。
【請求項８】
前記処理装置は、前記臭気情報の解析により異常が検出された時、前記映像データ蓄積装置に対して既に蓄積されている映像データの該当箇所の上書きを禁止する請求項７記載のカメラシステム。
【請求項９】
前記映像合成部は、前記臭気情報の解析により異常が検出された時、異常が検出されたカメラ装置を指定して異常発生の表示を行うように画像を合成する請求項６記載のカメラシステム。
【請求項１０】
画像を撮影するカメラ装置からネットワークに送信される映像データを受信し、
前記映像データから特徴データを分離し、
前記特徴データから臭気情報を含むセンサ情報を取り出してデータベースに格納するサーバ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、カメラ装置、カメラシステム及びサーバ装置に関する。
【背景技術】
【０００２】
近年、災害を未然に防止し、災害が生じてしまった場合の原因追究、課題解決を実現する目的で、カメラ装置によって監視対象を撮影し、その映像をサーバに蓄積し解析してサーバに記録し、適宜配信するカメラシステムが提供されている。
ここで、従来のカメラシステムでは、主に撮影した映像にマイクで収録した音声を付加したビデオ信号を配信する方式が一般的である。
【０００３】
ところで、カメラ映像による空間監視では、事象発生時の周辺監視は可能であるが、事象発生前に検知して周辺監視を行うことが想定されていない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１７７４７４号公報
【非特許文献】
【０００５】
【非特許文献１】“デジタル放送における映像符号化、音声符号化及び多重化方式”，ＡＲＩＢ標準規格  ＡＲＩＢ  ＳＴＤ−Ｂ３２  ３．１版  （平成２６年１２月１６日改定）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上のように、カメラ映像による空間監視では、事象発生時の周辺監視は、可能であるが、事象発生前に検知して周辺監視を行うことが想定されていない。
本実施形態は上記課題に鑑みなされたもので、事象発生前に検知して周辺監視を行うことのできるカメラ装置、カメラシステム及びサーバ装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
一実施形態に係るカメラ装置は、撮像部で画像を撮影して映像信号を出力し、符号化部で映像信号を符号化して映像データを生成し、撮像部情報生成部で撮像部の撮影に関連する撮像部情報を生成し、センサ情報生成部で少なくとも臭気センサで検出される臭気情報を入力してセンサ情報として生成し、特徴データ生成部で撮像部情報とセンサ情報とを含む特徴データを生成し、多重化部で特徴データを映像データに同期させて多重し、送信部で特徴データが多重された映像データをネットワークに送信する。
【０００８】
また、一実施形態に係るカメラシステムは、画像を撮影するカメラ装置と、このカメラ装置で撮影された画像を管理するサーバ装置とを備える。カメラ装置は、撮像部で画像を撮影して映像信号を出力し、符号化部で映像信号を符号化して映像データを生成し、撮像部情報生成部で撮像部の撮影に関連する撮像部情報を生成し、センサ情報生成部で少なくとも臭気センサで検出される臭気情報を入力してセンサ情報として生成し、特徴データ生成部で撮像部情報とセンサ情報とを含む特徴データを生成し、多重化部で特徴データを映像データに同期させて多重し、送信部で特徴データが多重された映像データをネットワークに送信する。サーバ装置は、ネットワークに接続される処理装置であって、受信部でカメラ装置からネットワークに送信される映像データを受信し、分離部で映像データから前記特徴データを分離し、センサ情報処理部で特徴データからセンサ情報を取り出して臭気情報を分析して映像化し、映像合成部で映像データから映像信号を生成し、この映像信号と映像化された臭気情報とを合成して表示させる。
【０００９】
また、一実施形態に係るサーバ装置は、画像を撮影するカメラ装置からネットワークに送信される映像データを受信し、映像データから特徴データを分離し、特徴データから臭気情報を含むセンサ情報を取り出してデータベースに格納する。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施形態に係わる監視カメラシステムの一例を示すシステム図である。
【図２】図２は、図１のシステムに用いられるカメラＣ１〜Ｃｎの一例を示すブロック図である。
【図３】図３は、図１のサーバ２００の一例を示すブロック図である。
【図４】図４は、第１の実施形態に係るカメラＣ１〜Ｃｎの機能ブロックの一例を示す図である。
【図５】図５は、図４に示されるカメラ情報生成部１ａの機能ブロックの一例を示す図である。
【図６】図６は、特徴データパラメータの一例を示す図である。
【図７】図７は、図４に示される検出情報生成部２ｅの機能ブロックの一例を示す図である。
【図８】図８は、特徴データの一例を示す図である。
【図９】図９は、特徴データ付きコンテンツを生成するプロセスの一例を示す図である。
【図１０】図１０は、トランスポートストリームのＴＳ基本体系を示す図である。
【図１１】図１１は、同期多重された特徴データを含むトランスポートストリームの一例を示す図である。
【図１２】図１２は、点群データに関する特徴データエレメンタリーの一例を示す図である。
【図１３】図１３は、サーバの機能ブロックの一例を示す図である。
【図１４】図１４は、第１の実施形態におけるカメラＣ１〜Ｃｎの処理手順の一例を示すフローチャートである。
【図１５】図１５は、第１の実施形態におけるサーバ２００の処理手順の一例を示すフローチャートである。
【図１６】図１６は、第２の実施形態におけるカメラ３００の構成を示す外観図及びブロック図である。
【図１７】図１７は、第２の実施形態における監視カメラシステムの一例を示すシステム図である。
【図１８】図１８は、第２の実施形態における操作ＰＣ装置７００の構成を示すブロック図。
【図１９】図１９は、第２の実施形態におけるカメラ３００の内部処理を示すシーケンス図である。
【図２０】図２０は、第２の実施形態において、センサ情報が多重されている映像データのネットワークＮＷ上の処理を説明するためのシーケンス図である。
【図２１】図２１は、第２の実施形態において、数値化されたセンサ情報を映像化して、カメラ映像と合成して表示装置に出力するときの表示例を示す図である。
【図２２】図２２は、第２の実施形態において、センサ情報から異常が検出された場合の処理列を示す図である。
【発明を実施するための形態】
【００１１】
図面を参照して、この発明の実施の形態について説明する。なお、この明細書において、画像とは、静止画像、あるいは動画像を構成する１フレーム分の画像として理解される。また、映像とは、一連の画像の集合であり、動画像として理解され得る。
一般にカメラシステムでは、主に撮影した映像にマイクで収録した音声を付加したビデオ信号を配信する方式が一般的である。しかしながら、監視対象によっては、臭気が異常検知の重要なファクタとなる場合がある。具体的には、山肌、川辺の倒壊をカメラ映像で監視する一方で、倒壊時に発するイオン、匂い等を発生して場合もあることが研究されている。本実施の形態では、事象発生時に発生する臭いに着目し、臭気センサ情報も収集するようにする。
【００１２】
図１は、実施形態に係わる監視カメラシステムの一例を示すシステム図である。図１に示されるシステムは、複数のカメラＣ１〜Ｃｎを備える。カメラＣ１〜Ｃｎは、クラウド１００に接続される。
カメラＣ１〜Ｃｎは、それぞれ異なる場所に設置される。例えば、カメラＣ３〜Ｃ５はエリアＡに配置され、カメラＣ６〜ＣｎはエリアＢに配置され、カメラＣ１、Ｃ２はエリアＡ，Ｂ以外の場所に配置される。各カメラはいずれも光学系（レンズおよび撮像素子を含む）を有し、それぞれの場所で光学系の視野内に捉えた映像をセンシングする。
【００１３】
クラウド１００は、サーバ２００と、サーバ２００を他のコンピュータやデバイスに通信可能に接続する通信ネットワークとを備える。例えばインターネットに代表されるＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）ベースの通信ネットワークを利用することができる。サーバ２００は、カメラＣ１〜Ｃｎのそれぞれから送信された映像データをトランスポートストリーム（伝送ストリーム）として収集する。カメラとクラウド１００との間に中継ネットワーク１０１が介在しても良い。
【００１４】
また、モバイル通信システムの基地局ＢＳがクラウド１００に接続される。基地局ＢＳを経由して、例えば車両Ｖ１の車載カメラや、セルラフォンＰ１がクラウド１００にアクセスできる。車載カメラおよびセルラフォンＰ１のカメラも、本システムのカメラとして動作することが可能である。
【００１５】
さらに、エリアＡに、例えばエッジサーバＳ１が設置されてもよい。エリアＡは、例えば超高層のオフィスビルが立ち並ぶビル街を含み、昼間人口が多いなどの特徴を持つコミュニティである。エッジサーバＳ１は、このようなエリアＡの特徴に応じたサービスを提供する。同様に、エッジサーバＳ２がエリアＢに設置されてもよい。エリアＢは例えば郊外の災害警戒区域などであり、例えば土砂崩落、噴火等による災害発生の警戒を要するという特徴を持つ。エッジサーバＳ２はこのようなエリアＢの特徴に応じたサービスを提供する。
【００１６】
図２は、カメラＣ１の一例を示すブロック図である。カメラＣ２〜Ｃｎも同様の構成を備える。カメラＣ１は、カメラ部１、駆動部１４、プロセッサ１５、メモリ１６、通信インタフェース部１８、およびＧＰＳ信号受信部７を備える。さらに、臭気センサ（図示せず）が装着され、特定の臭気に関する濃度等の臭気データがセンサ信号として入力される。
【００１７】
カメラ部１は、光学系としての撮像部１ｄと、信号処理部１３を備える。撮像部１ｄは、レンズ１０と、レンズ１０の視野を撮影して映像信号を出力する撮像センサ１７とを備
える。撮像センサ１７は例えばＣＭＯＳ（相補型金属酸化膜半導体）センサであり、例えば毎秒３０フレームのフレームレートの映像信号を生成する。信号処理部１３は、撮像部１ｄの撮像センサ１７から出力された映像信号に、符号化などのデジタル演算処理を施す。撮像部１ｄは、光量を調節するための絞り機構や、撮影方向を変化させるためのモータ機構などを備える。
【００１８】
駆動部１４は、プロセッサの制御に基づいて各機構をドライブし、撮像センサ１７への光量を調節したり、撮影方向を調整したりする。
プロセッサ１５は、メモリ１６に記憶されたプログラムに基づいてカメラＣ１の動作を統括的に制御する。プロセッサ１５は、例えばマルチコアＣＰＵ（Central Processing Unit）を備え、画像処理を高速で実行することについてチューニングされたＬＳＩ（Large Scale Integration）である。ＦＰＧＡ（Field Programmable Gate Array）等でプロセッサ１５を構成することもできる。ＭＰＵ（Micro Processing Unit）もプロセッサの一つである。
【００１９】
メモリ１６は、ＳＤＲＡＭ（Synchronous Dynamic RAM）などの半導体メモリ、あるいはＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）などの不揮発性メモリであり、実施形態に係わる各種の機能をプロセッサ１５に実行させるためのプログラム、および映像データなどを記憶する。つまりプロセッサ１５は、メモリ１６に記憶されたプログラムをロードし、実行することで、実施形態において説明する各種の機能を実現する。
【００２０】
ＧＰＳ信号受信部７は、ＧＰＳ（Global Positioning System）衛星から送信された測位信号を受信し、複数の衛星からの測位信号に基づいて測位処理を行う。測位処理によりカメラＣ１の位置情報と、時刻情報とが得られる。特に、セルラフォンや車載カメラのような、移動するカメラを利用する場合に、位置情報が重要になる。位置情報および時刻情報はメモリ１６に記憶される。通信インタフェース部１８は、専用回線Ｌを介してクラウド１００に接続され、片方向、あるいは双方向のデータ授受を仲介する。
【００２１】
図３は、サーバ２００の一例を示すブロック図である。サーバ２００は、ＣＰＵ２１０を備えるコンピュータであり、ＲＯＭ（Read Only Memory）２２０、ＲＡＭ（Random Access Memory）２３０、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）２４０、光学メディアドライブ２６０、通信インタフェース部（Ｉ／Ｆ）２７０、および、ＧＰＵ（Graphics Processing Unit）２５０を備える。
【００２２】
ＣＰＵ２１０は、ＯＳ（Operating System）および各種のプログラムを実行する。ＲＯＭ４２は、ＢＩＯＳ（Basic Input Output System）やＵＥＦＩ（Unified Extensible Firmware Interface）などの基本プログラム、および各種の設定データ等を記憶する。ＲＡＭ２３０は、ＨＤＤ２４０からロードされたプログラムやデータを一時的に記憶する。ＨＤＤ２４０は、ＣＰＵ２１０により実行されるプログラムやデータを記憶する。
【００２３】
光学メディアドライブ２６０は、ＣＤ−ＲＯＭ２８０などの記録媒体に記録されたディジタルデータを読み取る。サーバ２００で実行される各種プログラムは、例えばＣＤ−ＲＯＭ２６０に記録されて頒布されることができる。このＣＤ−ＲＯＭ２８０に格納されたプログラムは、光学メディアドライブ２６０により読み取られ、ＨＤＤ２４０にインストールされることができる。クラウド１００から最新のプログラムをダウンロードして、既にインストールされているプログラムをアップデートすることもできる。  
通信インタフェース部２７０は、クラウド１００に接続されてカメラＣ１〜Ｃｎ、およびクラウド１００の他のサーバやデータベースなどと通信する。
【００２４】
ＧＰＵ２５０は、特に画像処理向けの機能を強化したプロセッサであり、積和演算、畳み込み演算、３Ｄ（三次元）再構成などの演算処理を高速で実行することができる。次に、上記構成を基礎として複数の実施形態を説明する。
［第１の実施形態］
第１の実施形態では、カメラＣ１〜Ｃｎとクラウド１００とを連携させて実現されるアプリケーションの一例として、臭気に関する環境変化の監視について説明する。
【００２５】
実施形態において、エリアＡでは、ガス、薬品、油等の臭気をいち早く検知して、その周囲の状況を映像によって把握する監視が必要である。また、エリアＢでは、わずかな臭気変化を長期に亘って監視し、災害の予兆をとらえ、災害発生後はその原因分析に利用することが要望される。そこで、本実施形態では、臭気センサ出力とカメラ映像を連携して収集し、それぞれの情報の収集・解析を効率よく行えるようにする。
【００２６】
なお、収集する情報としては、臭気データ以外に、カメラ設置位置の景観を数値化した３次元ＣＡＤ（Computer Aided Design）データ、標高データ、地図データ、地形データ、距離データ等、さらには、３次元の空間情報や位置情報、およびこれらに類する情報を表すデータ、ならびに、これらのデータに変換することの可能なデータも含まれる。
【００２７】
図４は、図２に示されるカメラＣ１のハードウェアに実装される機能ブロックの一例を示す図である。カメラＣ２〜Ｃｎも同様の機能ブロックを備える。カメラＣ１は、カメラ部１、ＧＰＳ信号受信部７、およびメモリ１６に加えて、特徴データ生成部２、同期処理部８、多重化処理部（Multiplexer：ＭＵＸ）３、および映像データ送信部４を備える。
【００２８】
カメラ部１は、撮像部１ｄ、マイク１ｃ、カメラ情報生成部１ａ、方向センサ１ｂ、映像符号化処理部１ｅ、および音声符号化処理部１ｆを備える。このうち映像符号化処理部１ｅおよび音声符号化処理部１ｆは、信号処理部１３の機能として実装されることができる。
【００２９】
映像符号化処理部１ｅは、撮像部１ｄからの映像情報を含む映像信号を、例えばＡＲＩＢ  ＳＴＤ−Ｂ３２に従って符号化して、映像データを生成する。この映像データは多重化処理部３に入力される。
マイク１ｃは、カメラＣ１の周辺の音声を収音し、音声情報を含む音声信号を出力する。音声符号化処理部１ｆは、この音声信号を例えばＡＲＩＢ  ＳＴＤ−Ｂ３２に従って符号化して、音声データを生成する。この音声データは多重化処理部３に入力される。
【００３０】
方向センサ１ｂは、例えばホール素子などを利用した地磁気センサであり、撮像部１ｄの３次元軸（Ｘ軸，Ｙ軸，Ｚ軸）に対する指向方向を出力する。方向センサ１ｂの出力は、カメラ方向情報として特徴データ生成部２に渡される。カメラ方向情報は、カメラ本体の旋回角度情報などを含んでもよい。
【００３１】
図５は、カメラ情報生成部１ａの機能ブロックの一例を示す図である。図５に示されるように、カメラ情報生成部１ａは、旋回角度検出部１１およびズーム比率検出部１２を備える。旋回角度検出部１１は、ロータリーエンコーダなどでカメラＣ１の旋回角度を検出し、カメラ方向情報を特徴データ生成部２（図４）のカメラ方向情報生成部２ｂに渡す。ズーム比率検出部１２は、撮像部１ｄのレンズ１０に係わるズーム比率を検出し、特徴データ生成部２のズーム倍率情報生成部２ｃにズーム情報を渡す。さらに、カメラＣ１の絞り開度や、視野内に目標を捕えているか否かなどの情報を、カメラ情報生成部１ａから出力することもできる。
【００３２】
図４の特徴データ生成部２は、映像信号の特徴を示す特徴データを生成する。
図６は、特徴データパラメータの一例を示す図である。図６において、特徴データパラメータは、絶対時刻情報、カメラ方向情報、ズーム倍率情報、位置情報、およびセンサ情報などの項目を含む。これらは映像信号のメタデータとして理解され得る。
【００３３】
さらに、特徴データパラメータは、画像分析情報の項目を含む。画像分析情報は、映像信号を分析して得られる、構造物検出情報、人検出情報などの情報である。  
さて、図４において、特徴データ生成部２は、時刻情報生成部２ａ、カメラ方向情報生成部２ｂ、ズーム倍率情報生成部２ｃ、位置情報生成部２ｄ、および検出情報生成部２ｅを備える。
【００３４】
時刻情報生成部２ａは、ＧＰＳ信号受信部７から時刻情報を取得し、絶対時刻情報としてのＵＴＣ（Universal Time Co-ordinated）時刻情報（図６）を生成する。カメラ方向情報生成部２ｂは、カメラ情報生成部１ａから取得したカメラ情報から、カメラ方向情報として、撮像部１ｄの指向方向の水平方向角度値、垂直方向角度値（図６）などを生成する。
【００３５】
ズーム倍率情報生成部２ｃは、カメラ情報生成部１ａから取得したズーム情報から、ズーム倍率値などのズーム倍率情報を生成する。位置情報生成部２ｄは、ＧＰＳ信号受信部７から取得した測位データに基づき、緯度情報、経度情報、高度（高さ）情報などの位置情報を生成する。
【００３６】
図７は、検出情報生成部２ｅの機能ブロックの一例を示す図である。図７に示されるように、検出情報生成部２ｅは、映像信号分析部９１およびセンサ情報受信部９２を備える。分析部としての映像信号分析部９１は、カメラ部１からの映像信号を分析して、この映像信号に基づく画像分析情報を生成する。センサ情報受信部９２は、カメラＣ１に設けられた臭気センサを含む各種センサからセンサ情報などを取得し、臭気情報の他、温度情報、湿度情報、…、ディジタルタコメータ情報（車載カメラなど）、…等のセンサ情報を生成する。
【００３７】
メモリ１６は、その記憶領域に特徴データを記憶する特徴データ格納部２ｆを備える。
図８は、特徴データの一例を示す図である。図８において、特徴データは、絶対時刻情報Ｆ１、カメラ方向情報Ｆ２、ズーム倍率情報Ｆ３、位置情報Ｆ４などのセンサ情報に加えて、臭気センサの検出情報Ｆ５を含む。検出情報Ｆ５に、画像分析情報を含めることができる。
【００３８】
図４に戻ってさらに説明を続ける。同期処理部８は、特徴データ生成部２から渡された特徴データを、カメラ部１からの映像データに同期させる。すなわち同期処理部８は、バッファメモリなどを用いて、画像フレームのタイムスタンプ（例えば絶対時刻）に特徴データのタイムスタンプを合わせる。これにより映像データの時系列と特徴データの時系列とが、互いに揃った状態となる。
【００３９】
多重化部としての多重化処理部３は、映像データと、この映像データに同期した特徴データとを、例えば、ＭＰＥＧ−２（Moving Picture Experts Group -2）システムのトランスポートストリームに多重化する。つまり多重化処理部３は、トランスポートストリームに、時刻と同期した特徴データを多重化する。
【００４０】
ＭＰＥＧ−２Ｓｙｓｔｅｍｓを利用するのであれば、ＩＴＵ−Ｔ勧告Ｈ．２２２．に従うＰＥＳヘッダオプションを利用できる。また、ＰＥＳパケット内のストリーム識別子として、非特許文献１に示される補助ストリーム（0xF9）、メタデータストリーム（0xFC）、拡張ストリームＩＤ（0xFD）、未定義（0xFC)の少なくともいずれか１つを利用することができる。
【００４１】
なお、多重化処理部３は、予め設定された期間における特徴データをトランスポートストリームに多重する。予め設定された期間とは、例えば、臭気センサの出力値が閾値を超えている期間などが設定される。このほか、視野内の構造物の位置、形状に変化を生じたときに限って特徴データを生成し、多重するようにしても良い。このようにすることで伝送帯域を節約することができる。  
送信部としての映像データ送信部４は、多重化処理部３から出力されるトランスポートストリーム（ＴＳ）を、通信ネットワーク経由でクラウド１００に送信する。
【００４２】
図９は、特徴データを含むトランスポートストリームを生成するプロセスの一例を示す図である。このプロセスを、特徴データ付きコンテンツ生成プロセスと称する。特徴データ付きコンテンツ生成プロセスは、映像符号化処理部１ｅ、音声符号化処理部１ｆ、多重化処理部３、同期処理部８および映像データ送信部４が協調して機能することで実現される。
【００４３】
映像符号化処理部１ｅ、音声符号化処理部１ｆ、多重化処理部３、同期処理部８および映像データ送信部４は、図２のプロセッサ１５がメモリ１６に記憶されたプログラムに基づいて演算処理を実行する過程で生成されるプロセスとして、その機能を実現することができる。つまり図９の特徴データ付きコンテンツ生成プロセスは、映像符号化処理プロセス、音声符号化処理プロセス、多重化処理プロセス、同期処理プロセスおよび映像データ送信プロセスが、互いにプロセス間通信してデータを授受し合うことで実現される処理機能の一つである。
【００４４】
図９において、映像信号は、映像符号化処理部１ｅで圧縮符号化されて、多重化処理部３に送られる。音声信号は、音声符号化処理部１ｆで圧縮符号化されて多重化処理部３に送られる。多重化処理部３は、圧縮符号化された映像信号、音声信号を、それぞれ例えばＭＰＥＧ２−ＴＳ形式のパケット構造を持つデータ信号に変換し、映像パケット及び音声パケットを順次配列して両者を多重化する。
【００４５】
このようにして生成された特徴データ付きトランスポートストリーム（ＴＳ）は、映像データ送信部４に渡される。このとき、映像符号化処理部１ｅは、ＳＴＣ（System Time Clock）生成部４３からＳＴＣを受け取り、このＳＴＣからＰＴＳ（Presentation Time Stamp）／ＤＴＳ（Decoding Time Stamp）を生成して映像符号化データに埋め込む。音声符号化処理部１ｆも、ＳＴＣを取得し、ＳＴＣからＰＴＳを生成し、ＰＴＳを音声符号化データに埋め込む。さらに、多重化処理部３もＳＴＣを受け取り、このＳＴＣに基づくＰＣＲ（Program Clock Reference）の挿入、ＰＣＲの値変更、ＰＣＲパケットの位置変更等を行なう。
【００４６】
ここまでの過程により、トランスポートストリームのＴＳ基本体系が得られる。  
図１０は、トランスポートストリームのＴＳ基本体系を示す図である。このＴＳ基本体系は、ＴＳ（Transport Stream）、ＰＡＴ（Program Association Table）、ＰＭＴ（Program Map Table）の階層構造を有し、ＰＭＴの配下に映像（Video）、音声（Audio）、ＰＣＲ等のＰＥＳ（Packetized Elementary Stream）パケットが配置される。映像パケットのヘッダにはＰＴＳ／ＤＴＳが挿入され、音声パケットのヘッダにはＰＴＳが挿入される。
【００４７】
さらに、図９において同期処理部８は、特徴データパラメータおよび特徴データエレメンタリーを生成し、多重化処理部３に渡す。多重化処理部３は、ＴＳ基本体系のＭＥＰＧ２−ＴＳ構造を利用して特徴データを埋め込む。
図１１に示されるように、多重化処理部３は、ＴＳ基本体系におけるいずれかの位置（ＴＳ配下、ＰＡＴ配下またはＰＭＴ配下）に特徴データパラメータを配置する。また、多重化処理部３は、ヘッダにＰＴＳ／ＤＴＳを付加した特徴データエレメンタリーを、ＰＭＴの配下に配置する。その際、例えばストリームタイプ、エレメンタリーＰＩＤ等の識別子を、特徴データエレメンタリーを含むＰＭＴのヘッダに挿入すると良い。なお特徴データパラメータは、特徴データエレメンタリーに含まれても良い。
【００４８】
図１２は、臭気センサが反応したときのセンサデータに関する特徴データエレメンタリーの一例を示す図である。センサデータは、原点（例えばカメラの位置）からの方向（Ｘ，Ｙ，Ｚ）、原点からの距離を含むデータ構造で表される。特徴データエレメンタリーは、これらの項目を数値化することで生成される。なお車載カメラを利用する場合には、ＧＰＳで取得された位置情報に基づいて原点を計算することができる。
【００４９】
以上に、第１の実施形態におけるカメラＣ１〜Ｃｎに実装される機能ブロックの一例について説明した。より具体的には、例えば図４の映像データ送信部４は、図２の通信インタフェース部１８の機能として実装される。また、図４の多重化処理部３、同期処理部８、特徴データ生成部２、時刻情報生成部２ａ、カメラ方向情報生成部２ｂ、ズーム倍率情報生成部２ｃ、位置情報生成部２ｄ、および検出情報生成部２ｅの各機能は、図２のメモリ１６に記憶されたプログラムがプロセッサ１５のレジスタにロードされ、当該プログラムの進行に伴って生成されるプロセスに従ってプロセッサ１５が演算処理を実行することで実現される。すなわち、メモリ１６は、多重化処理プログラム、同期処理プログラム、特徴データ生成プログラム、時刻情報生成プログラム、カメラ方向情報生成プログラム、ズーム倍率情報生成プログラム、位置情報生成プログラム、および検出情報生成プログラムを記憶する。次に、クラウド１００のサーバ２００の構成について説明する。
【００５０】
図１３は、図３に示されるサーバ２００のハードウェアに実装される機能ブロックの一例を示す図である。サーバ２００は、映像データ受信部２１、特徴データ分離部（DeMultiplexer：ＤＥＭＵＸ）２２、映像データ蓄積部２３、映像データデータベース（ＤＢ）２３ａ、特徴データ蓄積部２４、特徴データデータベース（ＤＢ）２４ａ、特徴データ処理部２５、検出情報生成部（センサデータ生成）２５ａ、時系列変化検出部２６、変状情報蓄積部２７、変状データデータベース（ＤＢ）２７ａ、センサデータ管理部２８、および、センサデータデータベース（ＤＢ）２８ａを備える。
【００５１】
映像データ受信部２１は、カメラＣ１〜Ｃｎからのトランスポートストリームを、クラウド１００の通信ネットワーク経由で受信する。受信されたトランスポートストリームは特徴データ分離部２２に送られる。特徴データ分離部２２は、トランスポートストリームから映像データと特徴データとを分離する。映像データは、映像データ蓄積部２３の映像データデータベース（ＤＢ）２３ａに格納される。特徴データは、特徴データ蓄積部２４の特徴データデータベース（ＤＢ）２４ａに格納される。
【００５２】
また、映像データと特徴データとの少なくともいずれか一方が、特徴データ処理部２５に送られる。特徴データ処理部２５は、検出情報生成部２５ａを備える。検出情報生成部２５ａは、カメラＣ１〜Ｃｎからそれぞれ送信された特徴データを処理して、図１２に示されるようなセンサデータを生成する。生成されたセンサデータは特徴データ蓄積部２４に送られ、特徴データと対応付けられて特徴データＤＢ２４ａに格納される。
【００５３】
格納された特徴データは、特徴データ配信部２９からの要求に応じて読み出され、配信先データベースに記録された配信先の宛先情報に宛てて配信される。宛先情報は、例えばＩＰ（Internet Protocol）アドレスである。ＩＰｖ６（IP version 6）に準拠するＩＰアドレスを用いれば、ＩｏＴ（Internet of Things）との親和性の高いシステムを構築することができるが、ＩＰｖ４（IP version 4）に準拠するＩＰアドレスを利用することもできる。
【００５４】
時系列変化検出部２６は、特徴データＤＢに格納されるセンサデータと、過去のセンサデータ（センサデータ管理部２８のセンサデータデータベース（ＤＢ）２８ａに格納される）とを比較し、センサデータの時系列の変化を検出する。このセンサデータの時系列の変化は、変状情報として変状情報蓄積部２７に送られ、変状データデータベース（ＤＢ）２７ａに格納される。
【００５５】
なお、図１３に示される映像データ受信部２１、特徴データ分離部２２、特徴データ処理部２５、検出情報生成部２５ａ、時系列変化検出部２６、センサデータ管理部２８、および、特徴データ配信部２９の各処理機能は、図３のＨＤＤ２４０に記憶されたプログラムがＲＡＭ２３０にロードされたのち、当該プログラムの進行に伴って生成されるプロセスに従ってＣＰＵ２１０が演算処理を実行することで実現される。すなわち、ＨＤＤ２４０は、映像データ受信プログラム、特徴データ分離プログラム、特徴データ処理プログラム、検出情報生成プログラム、時系列変化検出プログラム、センサデータ管理プログラム、および、特徴データ配信プログラムを記憶する。
【００５６】
また、図１３に示される映像データ蓄積部２３、特徴データ蓄積部２４、変状情報蓄積部２７は、図３の例えばＨＤＤ２４０に設けられる記憶領域であり、映像データＤＢ２３ａ、特徴データＤＢ２４ａ、変状データＤＢ２７ａ、センサデータＤＢ２８ａ、及び配信先ＤＢ２９ａはそれらの記憶領域に記憶される。次に、上記構成における作用を説明する。
【００５７】
図１４は、第１の実施形態におけるカメラＣ１〜Ｃｎの処理手順の一例を示すフローチャートである。ここではカメラＣ１を主体として説明するが、カメラＣ２〜Ｃｎも同様に動作する。  
図１４において、カメラＣ１は、映像信号を符号化して映像データを生成するとともに（ステップＳ０）、時刻情報の生成（ステップＳ１）、位置情報の生成（ステップＳ２）、カメラ方向情報の生成（ステップＳ３）、およびズーム倍率情報の生成（ステップＳ４）を継続的に実行する。また、カメラＣ１は、映像信号を画像分析して画像分析情報を生成する（ステップＳ５）。さらに、この画像分析情報と、時刻情報、位置情報、カメラ方向情報、およびズーム倍率情報を統合することにより、センサフュージョンデータ（以下、センサデータ）を生成する（ステップＳ５１）。
【００５８】
さらにカメラＣ１は、臭気センサからの臭気情報を適宜取得して、温度情報、湿度情報などと共にセンサ情報を生成する（ステップＳ６）。次にカメラＣ１は、これらの情報から特徴データを生成し、映像データに特徴データを多重化して（ステップＳ７）、生成された映像データをサーバ２００に向けストリーム送信する（ステップＳ８）。
【００５９】
図１５は、第１の実施形態におけるサーバ２００の処理手順の一例を示すフローチャートである。カメラＣ１からストリーム送信された映像データを受信すると（ステップＳ９）、サーバ２００は、受信したトランスポートストリームから映像データと特徴データとを分離（ＤＥＭＵＸ）する（ステップＳ１０）。サーバ２００は、分離した特徴データを特徴データ（ＤＢ）２４ａに格納したのち（ステップＳ１１）、映像データおよび／または特徴データを検出情報生成部２５ａに送信する（ステップＳ１２）。
【００６０】
次にサーバ２００は、特徴データを用いてセンサデータを生成し、センサデータと特徴データとを特徴データＤＢ２４ａに格納する（ステップＳ１３）。次にサーバ２００は、特徴データＤＢ２４ａに格納されたセンサデータおよびこれに対応する特徴データと、センサデータＤＢ２８ａのセンサデータとを参照し、場所・施設内の位置・角度などを照合して、センサデータを重ね合わせる（ステップＳ１４）。
【００６１】
重ね合わせの結果に基づいて、サーバ２００は、各点の移動量などの差異を算出し（ステップＳ１５）、この差異を変状情報として変状データＤＢ２７ａに格納する（ステップＳ１６）。さらに、サーバ２００は、差異部分に相当する新たなセンサデータをセンサデータ管理部２８に渡し、センサデータＤＢ２８ａを更新する（ステップＳ１７）。
【００６２】
以上説明したように第１の実施形態では、ネットワークに接続されるカメラＣ１〜Ｃｎにおいて個別に映像信号、臭気情報を取得し、分析して、臭気情報を含む特徴データを生成する。そして、映像信号を符号化した映像データと特徴データとを、互いの同期を保ってトランスポートストリームに多重化し、各カメラＣ１〜Ｃｎからクラウド１００に送信する。つまり、映像信号と、この映像信号に関連する特徴データとを、例えばＭＰＥＧ−２Ｓｙｓｔｅｍｓの共通のトランスポートストリームに同期多重し、サーバ２００にまで伝送する。このようにしたので、サーバ２００は、トランスポートストリームから映像データと特徴データとを分離するだけで、映像信号に同期した臭気情報を含む特徴データを得ることができる。
【００６３】
例えば、Ｅｘｉｆ（Exchangeable image file format）と称する画像ファイルフォーマットが知られているが、これは撮影日時などを静止画に埋め込む方式であり、映像の特徴データを取り扱うには適さず、厳密な同期を取るのにも向いていない。医用画像フォーマットとして知られるＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）も、検査情報などを静止画像のタグ情報に記載する形式であるので、やはり映像に基づく特徴データを取り扱うには適していない。
【００６４】
これに対し、第１の実施形態によれば、映像データを解析して得られた画像分析情報と映像データのメタデータ、臭気情報とを含む特徴データを、映像データと同期させ、トランスポートストリームに多重することができる。すなわち、映像信号と臭気情報を含む特徴データとを同期させて伝送することの可能なカメラシステムを提供することが可能となる。
【００６５】
また、トランスポートストリームを受信したサーバは、映像データに同期する臭気情報を含む特徴データを取得することができるので、正確な位置データに基づく高精度なセンサデータを生成することができる。これにより、臭気に関連する環境状況を、高い精度で監視することが可能になる。
【００６６】
［第２の実施形態］
上記実施形態では、カメラＣ１〜Ｃｎにおいて個別に映像信号、臭気情報を含む特徴データを取得して多重伝送する構成を説明したが、以下では臭気センサの出力を利用したカメラ装置とその管理処理について説明する。
図１６（ａ），（ｂ）は、それぞれ第２の実施形態に係るカメラ３００の構成を示す外観図とブロック図である。このカメラ３００は、図１６（ａ）に示すように、カメラ本体３０１が旋回・昇降機構を有する支軸３０２に取り付けられ、その支軸３０２が監視場所の基台３０３に装着される。カメラ本体３０１は、撮像視野を調整するズームレンズ３０４を搭載し、ネットワークＮＷに無線接続するまたは他のカメラ等と無線接続するための通信アンテナ３０５を搭載し、さらに臭気センサ３０６を含む所定のセンサが搭載される。なお、臭気センサ３０６の装着は、カメラ本体３０１に限らず、その近傍に設置するようにしてもよい。センサ出力は、カメラ本体と接続してもよいし、近距離無線機能を利用してワイヤレスで処理するようにしてもよい。また、臭気センサ３０６は１個に限らず、複数個をまとめて管理するようにしてもよい。
【００６７】
例えば、カメラ３００で近距離通信可能な範囲に複数の臭気センサを配置し、それぞれの臭気検出情報を位置情報と共に入力し、カメラ本体で解析する、またはサーバ装置に送信する機能を備えてもよい。これにより、カメラ３００の周囲における匂いの発生位置、方向、分布を把握し、サーバ側で各カメラ３００からの情報分析によって広範囲における匂い発生位置、方向、分布を把握することが可能となる。この場合、個々のセンサは近距離通信機能を搭載すればよく、カメラ３００が一つの中継器として機能するようになる。
【００６８】
また、カメラ３００は、図１６（ｂ）に示すように、カメラ部３１０、映像データ生成部３２０、カメラ部情報生成部３３０、センサ情報生成部３４０、多重化部３５０、映像データ送信部３６０を備え、さらにセンサ情報処理部３７０及び映像データ蓄積部３８０を備える。
【００６９】
カメラ部３１０は、ズームレンズ、映像センサ、マイク、方向センサ、旋回／昇降機構等を含む。映像データ生成部３２０は、カメラ部３１０で撮影された映像を符号化して映像データを生成する。なお、マイクで音声を収録している場合は、映像データ生成部３１０は、マイクで得られる音声信号を符号化して映像データに多重化する。カメラ部情報生成部３３０は、カメラ部３１０の撮影方向、ズーム倍率、位置、高さ等の情報を時刻情報と共にまとめてカメラ部情報として生成する。センサ情報生成部３４０は、臭気センサから出力される臭気データを含む、各種センサのセンサ出力を入力して、センサ情報として生成する。なお、センサ情報の入力方法としては、有線、近距離無線のどちらでもよい。多重化部３５０は、映像データの標準化仕様に合わせて、映像データにカメラ部情報及びセンサ情報を含む特徴データを多重化する。映像データ送信部３６０は、カメラ部情報及びセンサ情報の特徴データが多重化された映像データをネットワークＮＷ上の機器に出力する。
【００７０】
また、センサ情報処理部３７０は、センサ情報生成部３４０で生成されたセンサ情報を分析し、異常の有無を判定して、異常を検知したとき、カメラ部３１０に異常対応処理を実行させ、映像データ蓄積部３８０に映像データの記録を指示する。映像データ蓄積部３８０は、センサ情報処理部３７０からの記録指示に応じて映像データ生成部３２０で生成された映像データを記録する。この記録は、異常検知のタイミングで開始するか、一定時間前のタイミングから開始するか選択可能とする。
【００７１】
上記したカメラ３００は、撮像を間欠的に行うこと、センサからの異常検出があった時に撮像を開始すること、また、異常検出を行ったセンサの種類に応じて撮像とインターバル間隔、連続撮像などの撮影制御モードを任意に遠隔制御及び又は事前設定が可能である。また撮像が開始されたとき、カメラ３００の姿勢制御モードも遠隔制御及び又は事前設定が可能である。カメラ３００の各種の撮影制御モード、各種の姿勢制御モードを設定するための制御データは、予めサーバに登録されており、利用者が、所望の制御モードを任意に選択してカメラ３００に送信し設定してもよい。
【００７２】
またカメラ３００の制御システムは、自律的に自身の制御モードを追加できるように構成されてもよい。例えば、周囲の明るさが不足する場合は、自動的に照明器を制御して撮像方向を照明したり、周囲の音が小さい場合、逆に大きすぎる場合、自律的にボリウムを調整したり、或いは、各センサ（音、揺れ、匂いなど）のセンシング感度を、一定のレベルで得られるように自律的に制御する機能を備えてもよい。また、自身の破損を招くような危機がある、特定の匂い（例えば特定の動物など）の場合は、警報音を出力するスピーカを備えてもよい。
【００７３】
図１７は、本実施形態のシステム構成を示すブロック図である。ネットワークＮＷには、上記構成によるカメラ（臭気センサ装備）３００が複数台、任意の位置で接続される。また、ネットワークＮＷには、カメラ出力の映像データをデコードする映像デコーダ装置４００、カメラ出力の映像データを蓄積する映像データ蓄積装置５００、カメラ出力映像データを管理するサーバ装置６００、操作ＰＣ装置７００が接続される。
【００７４】
図１８は、上記操作ＰＣ装置７００の構成を示すブロック図である。この操作ＰＣ装置７００は、受信部７１０、ソフトデコーダ７２０、センサ処理部７３０、映像合成部７４０を備える。また、ソフトデコーダ７２０は、データ分離部７２１、音声復号部７２２、映像復号部７２３、特徴データ生成部７２４を備える。
【００７５】
受信部７１０は、ネットワークＮＷを通じてカメラ３００から送信される映像データを受信する。ソフトデコーダ７２０において、データ分離部７２１は、受信された映像データから符号化音声データ、符号化映像データ、特徴データを分離する。音声復号部７２２は分離された符号化音声データを復号して音声信号を得る。映像復号部７２３は分離された符号化映像データを復号して映像信号を得る。特徴データ分析部７２４は分離された特徴データに含まれるカメラ部情報、センサ情報を分析する。センサ情報処理部７３０は、特徴データ分析部７２４で分析されたセンサ情報から異常の有無等を検知し、必要に応じてセンサ分析結果を映像合成部７４０、サーバ装置６００に送る。映像合成部７４０は、映像復号部７２３で復号された映像信号にセンサ分析結果を合成して表示装置（図示せず）にモニタ表示する。
【００７６】
上記構成において、カメラ３００におけるセンサ情報の管理処理について説明する。
図１９は、カメラ３００の内部処理を示すシーケンス図である。カメラ部３１０で撮影された映像信号は映像データ生成部３２０で符号化されて映像データとなる（Ｓ３１）。また、カメラ部３１０に設定された本体情報、例えばカメラ旋回方向、レンズ倍率、ワイパーオン・オフ、デフロスタ オン・オフはカメラ部情報生成部３３０でカメラ部情報として生成される（Ｓ３２）。一方、臭気センサのセンサ情報はセンサ情報生成部３４０で数値化される（Ｓ３３）。上記映像データには、多重化部３５０でカメラ部情報、数値化されたセンサ情報が特徴データとして多重化される（Ｓ３４）。このように、特徴データが多重化された映像データは送信部３６０でネットワークＮＷ上のサーバ装置６００、操作ＰＣ装置７００等に送られる（Ｓ３５）。
【００７７】
ここで、センサ情報生成部３４０で数値化されたセンサ値に問題（異常値等）が発生した場合、カメラを旋回させる、いわゆるパトロール動作を実行し、周囲の状況を撮影し映像化する（Ｓ３６）。合わせて、その撮影された映像信号を符号化して映像データ蓄積部３８０に記録（録画）する（Ｓ３７）。これにより、臭気異常発生時の周囲状況を映像として記録することができる。記録データは要求に応じてネットワークＮＷ上の機器に読み出し出力する。また、メモリカード等の記録媒体に記録しておくことで、通信不可の状況になっても後で回収可能な状態にしておくとよい。
【００７８】
図２０は、カメラ３００から出力されるセンサ情報が多重されている映像データのネットワークＮＷ上の処理を説明するためのシーケンス図である。図２０において、まず、映像デコーダ装置４００は、ネットワークＮＷを通じてカメラ３００から送られてくる映像データ＋センサ情報を受信すると（Ｓ４１）、映像データとセンサ情報を分離し（Ｓ４２）、分離された映像データを映像復号処理し、映像化して表示装置に出力する（Ｓ４３）。また、センサ情報をサーバ装置６００に送信する（Ｓ４４）。
【００７９】
一方、映像データ蓄積装置５００は、ネットワークＮＷを通じてカメラ３００から送られてくる映像データ＋センサ情報を蓄積する（Ｓ５１）。この蓄積データは、操作ＰＣ装置７００からの要求に応じて指定期間を再生出力することができるものとする（Ｓ５２）。
【００８０】
上記サーバ装置６００は、映像デコーダ装置４００から送信されるセンサ情報を受け取ると、センサ情報処理部でセンサ情報を数値化し（Ｓ６１）、センサ情報データベースに格納する（Ｓ６２）。
上記操作ＰＣ装置７００は、受信部７１０で、ネットワークＮＷを通じてカメラ３００から送られてくる映像データ＋センサ情報、または映像データ蓄積装置５００から要求した再生映像データ＋センサ情報を受信し（Ｓ７１）、データ分離部７２１で映像データとセンサ情報（特徴データの分析により抽出）を分離する（Ｓ７２）。分離された映像データは、映像復号部７２３で映像化され（Ｓ７３）、分離されたセンサ情報はセンサ情報処理部７３０で数値化される（Ｓ７４）。数値化されたセンサ情報はサーバ装置６００に送られて、センサ情報データベースに格納される。操作ＰＣ装置７００のセンサ情報処理部７３０は、サーバ装置６００のものと基本的に同じであるが、サーバ装置６００が管理下にあるカメラ全てのセンサ情報を取り扱うのに対して、操作ＰＣ装置７００では任意のカメラのセンサ情報を取り扱う。上記映像復号部７２３で得られる映像はセンサ情報処理部７３０で数値化されたセンサ情報と共に映像合成部７４０に送られ、数値化されたセンサ情報を映像化して、カメラ映像と合成して表示装置に出力する。その表示例を図２１に示す。
【００８１】
ここで、センサ情報から異常が検出された場合の表示処理を図２２に示す。まず、センサ情報の数値化を行い（ステップＳ１０１）、センサ数値を閾値と比較することで以上の有無を判断する（ステップＳ１０２）。異常が検出された場合、表示装置に対象カメラで異常を検出したことを表示し（ステップＳ１０３）、対象カメラの異常検出期間を画像データ蓄積装置で上書き禁止を設定する（ステップＳ１０４）。
【００８２】
このように、本実施形態では、センサ情報が最終的に映像化され、カメラ映像と共に合成することができるので、カメラ映像とセンサ出力を同時にモニタすることが可能となり、センサ出力の異常発生時にカメラ映像で状況を容易に把握することが可能となる。また、映像データはセンサ情報と合わせて自動的に蓄積されているため、任意の期間を選択的に再生することが可能となり、過去に遡って異常発生時の検証をすることも可能となる。また、センサ情報から異常が検出された場合には、その期間の映像データ＋センサ情報の上書きを禁止設定し、異常発生をカメラ映像に重ねて表示することが可能となり、リアルなモニタ表示及び後の確実な検証が可能となる。
【００８３】
以上のように、本実施形態に係るカメラ装置では、映像信号とセンサ（臭気）情報を多重化して伝送可能としている。また、本実施形態に係るカメラシステムでは、映像復号とセンサ解析を同時に行うようにしている。さらに、センサ解析により危険個所を予測し映像監視を行えるようにしている。
【００８４】
その結果、倒壊が想定される危険個所、噴火が想定される活火山等に遠隔監視時にセンサ（臭気等）情報を映像に多重化、同期伝送することで既存の映像蓄積装置、サーバシステムをそのまま流用して解析することができる。
なお、この発明は上記実施形態に限定されるものではない。例えば、トランスポートストリームに多重される特徴データに、絶対時刻情報、カメラ方向情報、ズーム倍率情報、位置情報、検出情報（臭気センサ情報、画像分析情報など）の全てを含める必要は無い。システム要件に応じて、これらの情報のうち少なくともいずれか１つを特徴データに含めばよい。
【００８５】
また、図１３の特徴データＤＢに格納されるデータは、要するに座標を要素とする集合であって良いし、センサデータ管理部２８のセンサデータＤＢ２８ａに格納されるデータは、当該集合の過去の状態を表すデータであって良い。この場合、時系列変化検出部２６は、それぞれの集合に含まれる座標群から再構成される表面の、時間に対する変化を検出する。この表面の時間変化は変状情報として変状情報蓄積部２７に送られ、変状データＤＢ２７ａに格納される。
【００８６】
また、上記第２の実施形態では、ネットワークＮＷに映像データデコーダ装置４００、映像データ蓄積部５００がサーバ装置６００とは別個に設けられる場合を示したが、これに限定されず、例えばサーバ装置６００が映像データデコーダ装置４００、映像データ蓄積部５００を含むようにしてもよい。
【００８７】
また、一般に、クラウドコンピューティングシステムは、アプリケーションをサービスとして提供するＳａａＳ（Software as a Service）、アプリケーションを稼働させるための基盤（プラットフォーム）をサービスとして提供するＰａａＳ（Platform as a Service）、高速の演算処理機能及び大容量のストレージなどのリソースをサービスとして提供するＩａａＳ（Infrastructure as a Service）に大別される。図１に示されるクラウド１００は、いずれのカテゴリのシステムでも適用することができる。
【００８８】
コンピュータに関連して用いられる「プロセッサ」という用語は、例えばＣＰＵ、ＧＰＵ、或いは、ＡＳＩＣ（Application Specific Integrated Circuit）、ＳＰＬＤ（Simple Programmable Logic Device）、ＣＰＬＤ（Complex Programmable Logic Device）、またはＦＰＧＡ等の回路と理解され得る。
【００８９】
プロセッサは、メモリに記憶されたプログラムを読み出し実行することで、プログラムに基づく特有の機能を実現する。メモリに代えて、プロセッサの回路内にプログラムを直接組み込むよう構成することも可能である。このケースでは、プロセッサは回路内に組み込まれたプログラムを読み出し実行することでその機能を実現する。
【００９０】
また、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００９１】
１…カメラ部、１ａ…カメラ情報生成部、１ｂ…方向センサ、１ｃ…マイク、１ｄ…撮像部、１ｅ…映像符号化処理部、１ｆ…音声符号化処理部、２…特徴データ生成部、２ａ…時刻情報生成部、２ｂ…カメラ方向情報生成部、２ｃ…ズーム倍率情報生成部、２ｄ…位置情報生成部、２ｅ…検出情報生成部、２ｆ…特徴データ格納部、３…多重化処理部（ＭＵＸ）、４…映像データ送信部、５…特徴データ受信部、６…特徴データ転送部、６ａ…転送先データベース（ＤＢ）、７…ＧＰＳ信号受信部、８…同期処理部、１０…レンズ、１１…旋回角度検出部、１２…ズーム比率検出部、１３…信号処理部、１４…駆動部、１５…プロセッサ、１６…メモリ、１７…撮像センサ、１８…通信インタフェース部、２１…映像データ受信部、２２…特徴データ分離部（ＤＥＭＵＸ）、２３…映像データ蓄積部、２３ａ…映像データ（ＤＢ）、２４…特徴データ蓄積部、２４ａ…特徴データ（ＤＢ）、２５…特徴データ処理部、２５ａ…検出情報生成部、２６…時系列変化検出部、２７…変状情報蓄積部、２７ａ…変状データ（ＤＢ）、２８…センサデータ管理部、２８ａ…センサデータ（ＤＢ）、２９…特徴データ配信部、２９ａ…配信先（ＤＢ）、９１…映像信号分析部、９２…センサ情報受信部、１００…クラウド、１０１…中継ネットワーク、２００…サーバ、２１０…ＣＰＵ、２３０…ＲＡＭ、２４０…ＨＤＤ）、２６０…光学メディアドライブ、２７０…通信インタフェース部、Ｃ１〜Ｃｎ…カメラ、Ｆ１…絶対時刻情報、Ｆ２…カメラ方向情報、Ｆ３…ズーム倍率情報、Ｆ４…位置情報、Ｆ５…検出情報、Ｆ６…センサ情報、Ｆ７…画像分析情報、Ｐ１…セルラフォン、Ｓ１…エッジサーバ、Ｓ２…エッジサーバ、Ｖ１…車両、
３００…カメラ、３０１…カメラ本体、３０２…支軸、３０３…基台、３０４…ズームレンズ、ＮＷ…ネットワーク、３０５…通信アンテナ、３０６…臭気センサ、３１０…カメラ部、３２０…映像データ生成部、３３０…カメラ部情報生成部、３４０…センサ情報生成部、３５０…多重化部、３６０…映像データ送信部、３７０…センサ情報処理部、３８０…映像データ蓄積部、４００…映像デコーダ装置、５００…映像データ蓄積装置、６００…サーバ装置、７００…操作ＰＣ装置、７１０…受信部、７２０…ソフトデコーダ、７２１…データ分離部、７２２…音声復号部、７２３…映像復号部、７２４…特徴データ生成部、７３０…センサ処理部、７４０…映像合成部。
【図１】
2020005168.tif 000003
【図２】
2020005168.tif 000004
【図３】
2020005168.tif 000005
【図４】
2020005168.tif 000006
【図５】
2020005168.tif 000007
【図６】
2020005168.tif 000008
【図７】
2020005168.tif 000009
【図８】
2020005168.tif 000010
【図９】
2020005168.tif 000011
【図１０】
2020005168.tif 000012
【図１１】
2020005168.tif 000013
【図１２】
2020005168.tif 000014
【図１３】
2020005168.tif 000015
【図１４】
2020005168.tif 000016
【図１５】
2020005168.tif 000017
【図１６】
2020005168.tif 000018
【図１７】
2020005168.tif 000019
【図１８】
2020005168.tif 000020
【図１９】
2020005168.tif 000021
【図２０】
2020005168.tif 000022
【図２１】
2020005168.tif 000023
【図２２】
2020005168.tif 000024