(57)【要約】【課題】  赤外光映像と可視光映像と合成映像のうちの、どれが監視用途に好ましいかは撮影状況によって変化し、ユーザにとって判断することが困難な場合がある。【解決手段】  赤外光画像における物体の検知結果と、可視光画像における物体の検知結果に基づいて、赤外光画像と可視光画像と合成画像のうちの少なくとも１つを出力する。【選択図】  図４
2019118043.tif 000002
【特許請求の範囲】
【請求項１】
赤外光撮像手段と可視光撮像手段とを備えた撮像装置であって、
前記赤外光撮像手段によって得られた第１画像および前記可視光撮像手段によって得られた第２画像の少なくとも一方から物体を検知する検知手段と、
前記第１画像と前記第２画像とに基づいて合成画像を生成する合成手段と、
前記検知手段による検知結果に基づいて、前記第１画像、前記第２画像、前記合成画像のうちの少なくとも１つをネットワーク経由でクライアント装置に出力する出力手段と
を有することを特徴とする撮像装置。
【請求項２】
前記検知手段は、前記赤外光撮像手段によって得られた第１画像から物体を検知する第１検知手段と、前記可視光撮像手段によって得られた第２画像から物体を検知する第２検知手段と、を備え、前記出力手段は前記第１検知手段と前記第２検知手段による検知結果に基づいて前記第１画像、前記第２画像、前記合成画像のうちの少なくとも１つを出力することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記出力手段は、前記第１検知手段により前記第１画像から物体が検知されない場合は、前記第１画像を前記クライアント装置に出力することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記出力手段は、前記第２検知手段により前記第２画像から所定の特徴が検知される場合は、前記第２画像を前記クライアント装置に出力することを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記出力手段は、前記第２検知手段により前記第２画像から所定の特徴が検知されない場合は、前記合成画像を前記クライアント装置に出力することを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記第１画像と前記第２画像から機械学習を利用して検知物体を推定する推定手段を更に備え、前記出力手段は、前記推定手段により推定した物体の検知レベルと前記第２検知手段による検知結果とに基づいて、前記第１画像、前記第２画像、前記合成画像のうちの少なくとも１つを出力することを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記赤外光撮像手段によって得られた第１画像から検知された物体に基づいて、前記可視光撮像手段によって得られた第２画像に興味領域を設定する設定手段を更に備え、前記出力手段は、前記第２画像、前記合成画像のうちの少なくとも１つについて前記興味領域の外のビットレートを低減させて出力することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記合成手段は、前記第１画像で検知された物体を切り出して前記第２画像の対応する位置に重畳することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記合成手段は、前記第２画像でコントラストが低い部分に前記第１画像を合成することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
赤外光撮像手段と可視光撮像手段とを備えた撮像装置とネットワークを介して通信する画像処理装置であって、
前記赤外光撮像手段によって得られた第１画像および前記可視光撮像手段によって得られた第２画像を受信する受信手段と、
前記第１画像における物体の検知結果と前記第２画像における物体の検知結果に基づいて、前記第１画像、前記第２画像、および前記第１画像と前記第２画像を合成した合成画像のうちの少なくとも１つを出力する出力手段とを有することを特徴とする画像処理装置。
【請求項１１】
前記第１画像と第２画像から機械学習を利用して検知物体の種類を推定する推定手段を更に備え、前記出力手段は、前記推定手段により推定した物体に基づいて、前記第１画像、前記第２画像、前記合成画像のうちの少なくとも１つを出力することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
赤外光撮像手段と可視光撮像手段とを備えた撮像装置の制御方法であって、
前記赤外光撮像手段によって得られた第１画像および前記可視光撮像手段によって得られた第２画像の少なくとも一方から物体を検知する検知工程と、
前記第１画像と前記第２画像とに基づいて合成画像を生成する合成工程と、
前記検知工程における検知結果に基づいて、前記第１画像、前記第２画像、前記合成画像のうちの少なくとも１つをネットワーク経由でクライアント装置に出力する出力工程と
を有することを特徴とする撮像装置の制御方法。
【請求項１３】
前記検知工程は、前記赤外光撮像手段によって得られた第１画像から物体を検知する第１検知工程と、前記可視光撮像手段によって得られた第２画像から物体を検知する第２検知工程と、を含み、前記出力工程は前記第１検知工程と前記第２検知工程における検知結果に基づいて前記第１画像、前記第２画像、前記合成画像のうちの少なくとも１つを出力することを特徴とする請求項１２に記載の制御方法。
【請求項１４】
前記出力工程では、前記第１検知工程において前記第１画像から物体が検知されない場合は、前記第１画像を前記クライアント装置に出力することを特徴とする請求項１３に記載の制御方法。
【請求項１５】
前記出力工程では、前記第２検知工程において前記第２画像から所定の特徴が検知される場合は、前記第２画像を前記クライアント装置に出力することを特徴とする請求項１３または１４のいずれか１項に記載の制御方法。
【請求項１６】
前記出力工程では、前記第２検知工程において前記第２画像から所定の特徴が検知されない場合は、前記合成画像を前記クライアント装置に出力することを特徴とする請求項１３乃至１５のいずれか１項に記載の制御方法。
【請求項１７】
赤外光撮像手段と可視光撮像手段とを備えた撮像装置とネットワークを介して通信する画像処理装置の制御方法であって、
前記赤外光撮像手段によって得られた第１画像および前記可視光撮像手段によって得られた第２画像を受信する受信工程と、
前記第１画像における物体の検知結果と前記第２画像における物体の検知結果に基づいて、前記第１画像、前記第２画像、および前記第１画像と前記第２画像を合成した合成画像のうちの少なくとも１つを出力する出力工程と
を有することを特徴とする画像処理装置の制御方法。
【請求項１８】
赤外光撮像手段と可視光撮像手段とを備えたコンピュータを
前記赤外光撮像手段によって得られた第１画像および前記可視光撮像手段によって得られた第２画像の少なくとも一方から物体を検知する検知手段と、
前記第１画像と前記第２画像とに基づいて合成画像を生成する合成手段と、
前記検知手段による検知結果に基づいて、前記第１画像、前記第２画像、前記合成画像のうちの少なくとも１つをネットワーク経由でクライアント装置に出力する出力手段として機能させることを特徴とするコンピュータが読み取り可能なプログラム。
【請求項１９】
赤外光撮像手段と可視光撮像手段とを備えた撮像装置と通信するコンピュータを、
前記赤外光撮像手段によって得られた第１画像および前記可視光撮像手段によって得られた第２画像を受信する受信手段と、
前記第１画像における物体の検知結果と前記第２画像における物体の検知結果に基づいて、前記第１画像、前記第２画像、および前記第１画像と前記第２画像を合成した合成画像のうちの少なくとも１つを出力する出力手段して機能させることを特徴とするコンピュータが読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は２つ以上の撮像ユニットを持つ撮像装置による映像配信技術に関する。
【背景技術】
【０００２】
近年、監視用途で用いられるネットワークカメラにおいて、夜間及び降雨や降雪などの悪条件下での撮影が可能な赤外光を利用したモデルが増加している。警備用途で数多くのネットワークカメラが利用されており、その中には赤外光カメラと可視光カメラの両方を備えているモデルも存在する。
【０００３】
赤外光カメラでは、物体から放射されている赤外線を専用センサで検出し、その検出データを画像処理することで目視可能な映像を生成する。メリットとして、光源を必要としないことや雨や霧などの影響を受けづらいこと、また遠距離での監視に向いていることなどが挙げられる。デメリットとしては、一般的な可視光カメラに比べて解像度が低く、色及び文字などの模様を撮像することにも向いていない。
【０００４】
最近では、可視光映像に赤外光カメラで検出した物体の形を切り出して合成し映像を生成する技術がある。
【０００５】
しかし、前記のような二眼構成のネットワークカメラで伝送する映像データが複数種類存在する場合に、赤外線映像と可視映像の両方を伝送すると伝送帯域を圧迫してしまうことがある。そのため、特許文献１では、可視映像のコントラストが低い部分に赤外線映像を合成して配信する方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第６１６８０２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、赤外光映像と可視光映像と合成映像のうちの、どれが監視用途に好ましいかは撮影状況によって変化し、ユーザにとって判断することが困難な場合がある。特許文献１の技術では、監視用途として好ましい映像の判断について、ユーザを補助することができていない。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明に係る撮像装置は、赤外光撮像手段と可視光撮像手段とを備えた撮像装置であって、前記赤外光撮像手段によって得られた第１画像および前記可視光撮像手段によって得られた第２画像の少なくとも一方から物体を検知する検知手段と、前記第１画像と前記第２画像とに基づいて合成画像を生成する合成手段と、前記検知手段による検知結果に基づいて、前記第１画像、前記第２画像、前記合成画像のうちの少なくとも１つをネットワーク経由でクライアント装置に出力する出力手段とを有することを特徴とする。
【発明の効果】
【０００９】
カメラ映像の撮像状態に基づいて、赤外光映像と可視光映像と合成映像の中から監視用途に適した映像を判断し易くすることが可能になる。
【図面の簡単な説明】
【００１０】
【図１】ネットワークカメラの外観を示す模式図である。
【図２】（ａ）ネットワークカメラシステムの概略構成を示す模式図である。（ｂ）ネットワークカメラシステムのハード構成を示す概略図である。
【図３】ネットワークカメラの概略構成を示すブロック図である。
【図４】配信映像判定処理を示すフローチャートである。
【図５】学習機構と連携したネットワークカメラの概略構成を示す模式図である。
【図６】機械学習による判定結果の例を示す模式図である。
【図７】検知レベル判定の規則を示す模式図である。
【図８】配信映像判定処理を示すフローチャートである。
【図９】配信映像判定処理を示すフローチャートである。
【図１０】赤外光映像における物体検知結果の例を示す模式図である。
【発明を実施するための形態】
【００１１】
＜実施形態１＞
以下に、図面を参照しながら本実施形態について説明する。
【００１２】
図１のネットワークカメラ１００は、可視光を撮像するためのレンズ（不図示）とＣＭＯＳなどの撮像素子（不図示）を備える鏡筒部１０１と、赤外光を撮像するためのレンズと撮像素子を備える鏡筒部１０２を有している。ネットワークカメラ１００は、撮像エリアを水平方向（図中のパン方向１０４）および鉛直方向（図中のチルト方向１０３）に移動させるための駆動手段（不図示）を備える。なお、レンズや鏡筒は着脱可能であってもよい。
【００１３】
図２（ａ）は、ネットワークカメラ１００を含むネットワークカメラシステムの模式図である。ネットワークカメラ１００とクライアント装置１１０は、ネットワーク１２０を介して相互に通信可能な状態に接続されている。クライアント装置１１０は、ネットワークカメラ１００に対して、各種コマンドをネットワーク経由で送信する。ネットワークカメラ１００は、それらのコマンドに対するレスポンスをクライアント装置１１０に送信する。コマンドの例としては、ネットワークカメラ１００の撮影画角を変更するためのパン・チルト・ズーム制御（ＰＴＺ制御）コマンドやネットワークカメラ１００の撮影モードや配信モード、画像処理および検知機能の少なくとも１つを調整するためのパラメータ設定コマンドなどがある。ＰＴＺ制御コマンドやパラメータ設定コマンド、またはネットワークカメラ１００で利用可能な機能を取得するためのケイパビリティ取得コマンドについてはＯＮＶＩＦ規格に沿ったプロトコルに従って、通信するようにしてもよい。
【００１４】
図２（ｂ）は、クライアント装置１１０およびネットワークカメラ１００のハードウェア構成を示す概略図である。ＣＰＵ２０１はクライアント装置１１０を制御する中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）である。ＨＤＤ２０２は、ＣＰＵ２０１がクライアント装置１１０を制御するためのプログラムやパラメータなどを記憶する大容量の記憶装置（二次記憶装置）である。かならずしも、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）である必要はなく、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）やフラッシュメモリ等の種々の記憶媒体を利用してもよい。ＲＡＭ２０３は、ＣＰＵ２０１がＨＤＤ２０２から読出したプログラムを展開し、後述の処理を実行するためのメモリである。また、ＲＡＭ２０３は、一次記憶装置として各種処理の対象となるデータやパラメータを一時記憶するための記憶領域として使用されることもある。
【００１５】
ＩＦ２０４は、ネットワーク１２０を介してＴＣＰ／ＩＰやｈｔｔｐ、ＯＮＶＩＦ等のプロトコルに従って、ネットワークカメラ１００と通信を行う。ＩＦ２０４は、ネットワークカメラ１００からの映像データや検知物体情報などのメタデータや上述したレスポンスを受信したり、ネットワークカメラへ上述した各種のコマンド等を送信したりする。
【００１６】
表示装置２０５は、映像データに応じた映像等を表示するディスプレイ等の表示デバイスである。なお、クライアント装置１１０の筐体は表示装置２０５と一体であってもよい。ＵＩ２０６は、キーボードおよびマウス等などの入力装置（ユーザインターフェース）であり、ジョイスティックや音声入力装置などでもよい。
【００１７】
クライアント装置１１０は一般的なＰＣ（パーソナルコンピュータ）を利用することができる。クライアント装置１１０は、ＣＰＵ２０１がＨＤＤ２０２に保持しているプログラムコードを読み出して実行することにより、物体を検知する機能を設定するためのグラフィックユーザーインタフェース（ＧＵＩ）を提供することができる。なお、本実施形態では、ＣＰＵ２０１を主体に説明しているが、ＣＰＵ２０１の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、表示装置２０５にＧＵＩや映像データを表示する処理はＧＰＵ（Ｇｒａｐｈｉｃ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）で行ってもよいし、ＨＤＤ２０２からプログラムコードを読み出してＲＡＭ２０３に展開する処理は転送装置として機能するＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）によって行ってもよい。
【００１８】
次にネットワークカメラ１００のハードウェア構成を説明するＣＰＵ２１０はネットワークカメラ１０３を統括制御する中央処理装置である。ＲＯＭ２１１は、ＣＰＵ２１０がネットワークカメラ１０３を制御するためのプログラムを記憶する。なお、ＲＯＭ２１１に加えてＨＤＤ２０２と同等な二次記憶装置を備えるようにしてもよい。ＲＡＭ２１２は、ＲＯＭ２１１から読み出されたプログラムを展開し、ＣＰＵ２１０が処理を実行するためのメモリである。また、ＲＡＭ２１２は、一時記憶メモリとしてネットワークカメラ１００における各種処理の対象となるデータを一時記憶するための記憶領域としても使用される。
【００１９】
ＩＦ２１３は、ネットワーク１２０を介してＴＣＰ／ＩＰやｈｔｔｐ、ＯＮＶＩＦ等のプロトコルに従って、クライアント装置１００と通信を行う。ＩＦ２１３は、クライアント装置１１０へ映像データや検知物体等のメタデータや上述したレスポンスを送信したり、クライアント装置１１０から上述した各種コマンドを受信したりする。
【００２０】
撮影デバイス２１４は、ライブ映像を動画および静止画として撮影するビデオカメラなどの撮影デバイスである。なお、ネットワークカメラ１００の筐体と撮影デバイス２１４の筐体は一体であってもよいし、別であってもよい。
【００２１】
次に、図３を参照して、ネットワークカメラ１００の各機能構成について説明する。
【００２２】
可視光撮像部３０１は、レンズ及び撮像素子を含む撮像部３０１１と、画像処理部３０１２、顔検知部３０１３、パターン検知部３０１４を備え、被写体の撮像及び各種の画像処理や検知処理を行う。
【００２３】
画像処理部３０１２は、撮像部３０１１において撮像された画像信号に対し、後段の検知処理を行うために必要な画像処理を行い、画像データ（可視光画像、可視光映像とも呼称など）を生成する。例えば、後段の検知処理で形状特徴に基づいてマッチングする場合には、画像処理部３０１２は２値化処理をしたり、被写体のエッジを抽出する処理をしたりする。また、後段の検知処理で色特徴に基づいて検知する場合には、画像処理部３０１２は事前に推定した光源の色温度やレンズの色味などに基づいて色補正をしたり、逆光補正やかすみ補正のための覆い焼き処理をしたりする。また、画像処理部３０１２が撮像された画像信号の輝度成分に基づいてヒストグラム処理を行い、白とびや黒つぶれなどがある場合には、撮像部３０１１と連動してＨＤＲ（Ｈｉｇｈ  Ｄｉｎａｍｉｃ  Ｒａｎｇｅ）撮像をするようにしてもよい。ＨＤＲ撮像は撮像部３０１１の露出を変えて撮像した複数枚の画像を合成する一般的な技術を利用することができる。
【００２４】
顔検知部３０１３は、画像処理部３０１２から送られた画像データを解析し、映像内の物体に人の顔として認識できる部分が存在するか否かを判定する。顔検知とは、画像中の任意の部分を抽出し、その部分画像と人の顔を構成する特徴的な部分を示すパターン画像とを照らし合わせる（マッチングする）ことで、画像内に顔が存在するかを判定する処理のことである。特徴部分の例として、眼や鼻の相対位置、ほお骨やあごの形などが挙げられる。また、パターン画像の代わりにパターン特徴（眼や鼻の相対位置、ほお骨やあごの形など）を保持しておき、部分画像から抽出した特徴と比較することでマッチングするようにしてもよい。
【００２５】
パターン検知部３０１４は、画像処理部３０１２から送られた画像データを解析し、映像内の物体に色や文字情報などのパターンを認識できる部分が存在するか否かを判定する。パターン検知とは、画像中の任意の部分を抽出し、ある特定の文字やマークなどのリファレンス画像（リファレンス特徴であってもよい）と比較し、一致するか否かを判定する。海上監視や国境監視を例にすると、検知した物体のボディに表記されている文字や、掲げられている国旗の色、模様などが挙げられる。
【００２６】
赤外撮像部３０２は、レンズ及び撮像素子を含む撮像部３０２１と、画像処理部３０２２、物体検知部３０２３を備え、被写体の撮像及び必要な画像処理や検知処理を行う。
【００２７】
画像処理部３０２２は、撮像部３０２１において撮像された信号に対し、視認可能な画像へ変換する信号処理を行い、画像データ（赤外光画像、赤外光映像）を生成する。
【００２８】
物体検知部３０２３は、画像処理部３０２２から送られた画像データを解析し、映像内に背景と異なる物体が存在するか否かを判定する。例えば、物体検知部３０２３は、物体が写っていない状況で撮像した画像を背景画像として参照し、検知処理の対象の撮像画像との差分に基づいて、差分が所定の閾値より大きく、差分領域が所定の大きさ以上であるものを前景として抽出する。また、差分領域の外接矩形が人や車両、船舶に対応するようなアスペクト比である場合に物体の種別を検出するようにしてもよい。また、背景差分と合わせてフレーム間差分を実行することで、動体と静止体とを区別できるようにしてもよい。背景差分により検出した領域について、フレーム間差分の差分領域を所定の割合以上含めば動体、そうでなければ静止体として区別される。
【００２９】
ネットワーク映像処理部３０３は、配信する映像データを決定する映像判定部３０３１と可視光映像に赤外光映像を合成する処理を行う合成処理部３０３２と、ネットワークへ配信するための映像圧縮処理を行うエンコーダ３０３３を備えている。
【００３０】
合成処理部３０３２では、映像判定部３０３１によって合成画像データ（合成画像、合成映像）を生成する。例えば、可視光映像の視認性が悪いという様に判断された場合等に、赤外光映像で検知した物体のディテール（形状やテクスチャーなど）を切り出して可視光映像の対応する位置に重畳する合成処理を行う。ここで、映像判定部３０３１による判定処理の詳細は後述する。なお、合成処理部３０３２の合成処理として、可視光映像のコントラスト比が低い部分に赤外線映像の同じ位置の画像を重畳して合成する手法や、可視光映像の背景画像に赤外線映像の前景を重畳して合成する手法などがある。可視光映像の背景と、赤外映像の前景とが強調される様に合成できれば、アルファ合成などでもよい。
【００３１】
エンコーダ３０３３は、映像判定部３０３１で決定した映像データを圧縮する処理を行い、ＩＦ２１３を介してネットワーク１２０へ送出する。映像データを圧縮する方法としては、ＪｐｅｇやＭＰＥＧ４、Ｈ．２６４、ＨＥＶＣなどの既存の圧縮方法を利用すればよい。
【００３２】
なお、図３の可視光撮像部３０１と赤外光撮像部３０２の其々が画像処理部と検知部を専用のハードウェアとして備えていてもよいが、これらの構成はＣＰＵ２１０がＲＡＭ２１２のプログラムコードを実行することにより実現されてもよい。ネットワーク映像処理部３０３については、映像判定部３０３１、合成処理部３０３２、エンコーダ３０３３についても、ＣＰＵ２１０がＲＡＭ２１２のプログラムコードを実行することにより実現可能である。ただし、検知処理や圧縮処理などの構成は専用のハードウェアとして備えていた方が、ＣＰＵ２１０の負荷を分散することができる。
【００３３】
次に図４を用いて映像判定部３０３１において配信映像を決定する処理について説明する。最初に映像判定部３０３１は、物体検知部３０２３から赤外光映像における物体検知結果を取得する（Ｓ４０１）。次に、映像判定部３０３１は取得した物体検知結果を解析し、赤外光映像について物体検知部３０２３が物体を検知しているかどうかを判断する（Ｓ４０２）。
【００３４】
映像判定部３０３１は、ステップＳ４０２で物体が検知されていない場合はＮｏに進み、赤外光映像を配信映像として判定する（Ｓ４０８）。これは、赤外光映像の特性として夜間や悪天候などの可視光映像においては悪条件の下でも検出精度が落ち難いこと、また可視光映像に比べて遠距離の物体検出が可能であることから、赤外光映像を監視用として他の映像よりも優先的に利用することが好ましいためである。
【００３５】
一方、ステップＳ４０２で物体が検知されている場合はＹｅｓに進み、顔検知部３０１３から顔検知結果を取得し、パターン検知部３０１４からパターン検知結果を取得する（Ｓ４０３）。そして、映像判定部３０３１は取得した検知結果に基づいて、顔検出できているかどうかを判定し（Ｓ４０４）、さらにパターン検出できているかどうかを判定する（Ｓ４０５）。
【００３６】
ステップＳ４０４で顔検知あり（ＹＥＳ）、またはステップＳ４０５でパターン検知あり（ＹＥＳ）であった場合、映像判定部３０３１は、可視光映像を配信映像として決定する（Ｓ４０７）。これは顔検知が可能な映像をクライアント装置１１０へ配信することで、クライアント装置１１０で顔認証処理に利用可能であることや、またパターン検知が可能な映像をクライアント装置１１０へ配信することで、クライアント装置１１０で更に膨大な辞書を用いて、物体の特定をすることができるためである。
【００３７】
一方、ステップＳ４０４で顔検知なし（Ｎｏ）で、かつ、ステップＳ４０５でパターン検知なし（Ｎｏ）の場合、映像判定部３０３１は、合成映像を配信映像として決定する（Ｓ４０６）。これは可視光映像で視認可能な背景部分と、物体の位置を併せて確認することができるからである。実際にユーザが目視で物体を確認しようとして、表示装置２０５に表示される配信映像を参照する際に、可視光映像の背景と、赤外映像の前景とが強調される様に合成した合成映像は監視目的に有利である。
【００３８】
以上、本実施形態によれば、物体の検知結果に基づいて監視に好適な映像種別を判定してクライアント装置１１０へ伝送することで、ユーザは監視に好ましい映像種別を判断して切り替える必要が無くなり利便性が良くなる。また監視に好ましくない映像データを配信されない様に制御できるので効率な監視を行うことが可能となる。
【００３９】
また、そもそもネットワークカメラは設置場所によっては複数の種別から１つの映像しか伝送できない場合がある。例えば、周囲に建物や街灯などが無い山奥や海岸線などである。このような場所では映像を伝送するためのインフラが整備されていないため、十分な伝送帯域が確保できないことが多い。ただ、どちらか一方の映像しか伝送できない場合に、常に赤外光映像を配信してしまうと、撮影条件が良いときに顔認証や物体特定などの機能を実現することができない。また常に可視光映像を配信してしまうと、撮影条件が悪い場合に物体検知をすることができないという問題が起きてしまう。上述の実施形態によれば、気象条件に影響を受け難い様な監視に好適な映像を、大容量のデータ転送ができない設定場所であっても配信することができる。
【００４０】
また、赤外光映像に物体が有ることを検知できている場合であっても、可視光映像へ切り換えるべきかの判断が難しい場合がある。また、一般的に、赤外光映像に比べて可視光映像の方が高解像度で、また圧縮効率が悪い事が多いため、ネットワークで伝送するデータ量が多くなる傾向がある。そこで、監視のための効果が期待できなければ赤外光映像から可視光映像への切換えを行わない方がデータ転送量の観点では望ましいことがある。
【００４１】
そこで、物体判定処理に機械学習を適用し、形や大きさなどの特徴を基に物体の種類を判定し、任意の検知レベル以上の物体が特定できた場合にのみ、可視光映像に切り替えるようにしてもよい。ここで検知レベルとは、監視対象にすべき度合を示す。
【００４２】
また、機械学習とは、特定のサンプルデータから反復的に学習を行い、そこに潜む特徴を見つけ出し、学習結果を新たなデータにあてはめることにより、その特徴に従って将来を予測することができるアルゴリズムのことである。ＴｅｎｓｏｒＦｌｏｗやＴｅｎｓｏｒＦｌｏｗ  Ｌｉｔｅ、Ｃａｆｆｅ２などの既存のアルゴリズムを用いるようにしてもよい。なお、以降の説明では、図１〜４と同一機能を有する構成や工程には同一符号を付すとともに、構成的、機能的にかわらないものについてはその説明を省略する。
【００４３】
図５を参照して、本実施例におけるネットワークカメラ１００の各部構成と機能について説明する。機械学習部５０４は、学習データによる物体判定結果を生成する機械学習処理部５０４１と物体判定結果を基に検知レベルを判定する検知レベル判定部５０４２を備えている。
【００４４】
ここで、機械学習を利用した検知レベル判定処理について、図６及び図７を用いて説明する。なお、機械学習での判定に赤外光映像と可視光映像の両方を用いるが、これは夜間や視認性が悪い環境での判定には赤外光映像を使用し、視認性が高い環境での判定には可視光映像を使用するからである。また、判定対象の物体は監視用途や設置場所により異なるが、本実施例では海上監視を例にして説明する。
【００４５】
機械学習処理部５０４１では、海上で検出される物体及び船舶の特徴を学習したデータを予め準備しておき、入力した可視光撮像部５０１または赤外光撮像部５０２からの映像に対して機械学習処理を行う。機械学習に基づいて、物体の種類を判定した処理結果の一例を図６に示す。入力映像に複数の物体が映っている場合があるため、識別した種類の物体の其々に物体Ｎｏ（物体ＩＤでもよい）を割り当てる。そして、機械学習処理部５０４１は、物体Ｎｏごとの判定結果と、判定結果が一致する確率（確からしさ、尤度であってもよい）を算出する。
【００４６】
検知レベル判定部５０４２では、機械学習処理部５０４１で判定した結果を基に、検知レベルを決定する。図７は物体の種類の判定結果に基づいて検知レベルを決定するための規則を示したテーブルを示す。ここで、図６の判定結果では、機械学習処理部５０４１が一般船舶として判定した物体があるため、検知レベル判定部５０４２は検知レベルを４と決定する。
【００４７】
次に図８を用いて映像判定部５０３１における配信映像決定処理について説明する。
【００４８】
最初に映像判定部５０３１は機械学習部５０４から検知レベルを取得する（Ｓ８０１）。
【００４９】
検知レベルが２以下であった場合、赤外光映像を配信映像をとして決定する（Ｓ４０８）。これは検知レベルが２以下では物体を船舶として特定できておらず、データ量が多い可視光映像を配信する必要が無いためである。次に検知レベルが３以上の場合は、顔検知部５０１３から検知結果を取得し、またパターン検知部５０１４からパターン検知結果を取得する（Ｓ４０３）。
【００５０】
検知結果が顔検知ありで、またパターン検知ありであった場合、可視光映像を配信映像として決定する（Ｓ４０７）。顔検知なしでパターン検知なしの場合、合成映像を配信映像に決定する（Ｓ４０６）。
【００５１】
以上のように、図５の構成によれば、機械学習を利用して決定した検知レベルを配信映像判定に用いることで、よりクライアント装置１１０での効率的な監視業務を行うことができる。
【００５２】
また、図９のようにネットワーク映像処理部３０３における配信映像決定後にビットレート低減処理をしてもよい。映像判定部３０３１において、配信映像を可視光映像、赤外映像、および合成映像の中から決定した後に、赤外光映像から取得した検知結果に含まれる物体情報（検出位置と検出サイズ）に基づいて興味領域であるＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）を設定し、エンコーダ３０３３でＲＯＩ以外のビットレート低減処理を行う（Ｓ９０１）。ビットレート低減処理は、エンコーダ３０３３がＲＯＩの圧縮率よりもＲＯＩ以外の圧縮率や量子化パラメータを大きくしたり、ＤＣＴ変換を伴う圧縮において高周波成分をカットする割合を大きくしたりすることで実現できる。
【００５３】
図１０は物体検知部３０２３から取得できる物体情報の例である。物体検知部３０２３は検出した物体ごとに物体Ｎｏを割り当て、物体Ｎｏごとの映像内の位置座標（画像の左上を原点として水平方向のピクセル数をＸ、鉛直方向のピクセル数をＹとする）と物体サイズ（Ｘ方向のピクセル数，Ｙ方向のピクセル数）を生成する。
【００５４】
エンコーダ３０３３は取得した物体Ｎｏの位置座標と物体サイズを基に矩形領域を設定し、矩形領域外部分のビットレートを低減する処理を行う。また、エンコーダ３０３３は映像判定部３０３１により配信対象として種別の映像以外を、高圧縮処理を施すなどして低ビットレートで、配信対象とした種別の映像と一緒に配信するようにしてもよい。また、上述の説明では顔検知部３０１３を例に説明しているが、人体（上半身または全身または全身の一部）を検知する機能を用いてもよい。
【００５５】
なお、上述の説明では、ネットワークカメラ１００の内部で配信映像を決定する例について説明したが、ネットワークカメラ１００に接続したクライアント装置１１０に対して赤外光撮像映像と可視光撮像映像を伝送し、クライアント装置１１０で出力する映像を選択してもよい。
【００５６】
その場合には、クライアント装置のＣＰＵ２０１に所定のプログラムを実行させることで映像判定部３０３１および合成処理部３０３２として機能させればよい。
【００５７】
また、顔検知部３０１３やパターン検知部３０１４、物体検知部３０２３もクライアント装置のＣＰＵ２０１に実現させるようにしてもよい。また、機械学習部５０４をクライアント装置のＣＰＵ２０１に実行させる構成をとっても良い。
【００５８】
また、クライアント装置１１０側では映像判定部３０３１により選択した種別の映像だけを表示装置２０５に表示させてもよいし、複数の種別の映像を表示している際に映像判定部３０３１により選択した種別の映像を強調したりポップアップさせたりして強調してもよい。なお、本明細書において、検知と検出は同義であって、検査することにより見つけ出すこと、を意味する。
【００５９】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2019118043.tif 000003
【図２】
2019118043.tif 000004
【図３】
2019118043.tif 000005
【図４】
2019118043.tif 000006
【図５】
2019118043.tif 000007
【図６】
2019118043.tif 000008
【図７】
2019118043.tif 000009
【図８】
2019118043.tif 000010
【図９】
2019118043.tif 000011
【図１０】
2019118043.tif 000012