(57)【要約】撮像装置で撮影された画像を帯域が限られたネットワーク回線を介して他の画像処理装置に伝送して処理させる場合でも、精度の高い画像処理を実施できるようにする。撮像装置１０が、撮影した画像を画像処理装置３０で処理すべきか否かを判定し、画像処理装置３０で処理すべきと判定されたことに応じて、その前後の所定期間のフレームの画像を含む画像データを保存し、当該保存した画像データを画像処理装置３０に送信して処理させる。
2019188039.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮影された画像を、該撮像装置とネットワークを介して接続された画像処理装置で処理する画像処理システムにおいて、
前記撮像装置は、撮影した画像を前記画像処理装置で処理すべきか否かを判定し、前記画像処理装置で処理すべきと判定されたことに応じて、その前後の所定期間のフレームの画像を含む画像データを保存し、当該保存した画像データを前記画像処理装置に送信して処理させることを特徴とする画像処理システム。
【請求項２】
請求項１に記載の画像処理システムにおいて、
前記撮像装置は、複数フレームの画像に基づいて、画像領域の全体、または画像領域に対して仮想的に定めた範囲内において、移動量が所定の閾値以上の動体の有無を監視し、移動量が所定の閾値以上の動体が検知された場合に、前記画像処理装置で処理すべきと判定することを特徴とする画像処理システム。
【請求項３】
請求項１に記載の画像処理システムにおいて、
前記撮像装置は、複数フレームの画像に基づいて、画像領域に対して仮想的に定めたラインを通過した動体の有無を監視し、前記ラインを通過した動体が検知された場合に、前記画像処理装置で処理すべきと判定することを特徴とする画像処理システム。
【請求項４】
請求項１に記載の画像処理システムにおいて、
前記撮像装置は、予め定められた時間の到来時、または所定の時間間隔の経過時に、前記画像処理装置で処理すべきと判定することを特徴とする画像処理システム。
【請求項５】
請求項１に記載の画像処理システムにおいて、
前記撮像装置は、１フレームまたは複数フレームの画像に基づいて、画像内に所定の種類の物体が含まれているか否かを判定し、所定の種類の物体が含まれることが検出された場合に、前記画像処理装置で処理すべきと判定することを特徴とする画像処理システム。
【請求項６】
請求項１に記載の画像処理システムにおいて、
前記撮像装置は、１フレームまたは複数フレームの画像に基づいて、画像内に人物の顔が含まれているか否かを判定し、人物の顔が含まれることが検出された場合に、前記画像処理装置で処理すべきと判定することを特徴とする画像処理システム。
【請求項７】
請求項１に記載の画像処理システムにおいて、
複数フレームの画像に基づいて、画像内の物体の動きベクトルをオプティカルフローにより計算して、所定条件を満たす動きベクトルの有無を監視し、所定条件を満たす動きベクトルが検出された場合に、前記画像処理装置で処理すべきと判定することを特徴とする画像処理システム。
【請求項８】
請求項１に記載の画像処理システムにおいて、
前記撮像装置は、前記画像処理装置からの指示により、前記画像データの保存に関するパラメータの設定値を変更することを特徴とする画像処理システム。
【請求項９】
請求項２に記載の画像処理システムにおいて、
前記撮像装置は、前記画像処理装置からの指示により、前記画像データの保存に関するパラメータの設定値を変更することを特徴とする画像処理システム。
【請求項１０】
請求項３に記載の画像処理システムにおいて、
前記撮像装置は、前記画像処理装置からの指示により、前記画像データの保存に関するパラメータの設定値を変更することを特徴とする画像処理システム。
【請求項１１】
請求項４に記載の画像処理システムにおいて、
前記撮像装置は、前記画像処理装置からの指示により、前記画像データの保存に関するパラメータの設定値を変更することを特徴とする画像処理システム。
【請求項１２】
請求項５に記載の画像処理システムにおいて、
前記撮像装置は、前記画像処理装置からの指示により、前記画像データの保存に関するパラメータの設定値を変更することを特徴とする画像処理システム。
【請求項１３】
請求項６に記載の画像処理システムにおいて、
前記撮像装置は、前記画像処理装置からの指示により、前記画像データの保存に関するパラメータの設定値を変更することを特徴とする画像処理システム。
【請求項１４】
請求項７に記載の画像処理システムにおいて、
前記撮像装置は、前記画像処理装置からの指示により、前記画像データの保存に関するパラメータの設定値を変更することを特徴とする画像処理システム。
【請求項１５】
請求項８に記載の画像処理システムにおいて、
前記画像処理装置は、前記撮像装置から受信した画像の処理結果に基づいて、前記画像データの保存に関するパラメータの設定値を決定し、当該決定した設定値への変更を前記撮像装置に指示することを特徴とする画像処理システム。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置により撮影された画像を、該撮像装置とネットワークを介して接続された画像処理装置で処理する画像処理システムに関する。
【背景技術】
【０００２】
近年、空港、駅構内、ショッピングモール等のような不特定多数の人物が訪れる施設には、犯罪防止や事故防止等のセキュリティ目的で、映像監視システムが配備されている。このような映像監視システムとしては、映像を監視して放置物を検知する放置物検知システム（例えば、特許文献１）や、指定された人物を映像内から検索する人物検索システム（例えば、特許文献２）などがある。また、セキュリティ目的のための映像監視システムに限らず、マーケティング目的で映像解析システムを構築する場合がある。このような映像解析システムとしては、例えば、施設内の人の流れや滞在時間、人数カウントを行う行動分析システム等がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−６１６５１号公報
【特許文献２】特開２００９−１９９３２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像処理を目的とした映像監視システムの場合、ある程度リアルタイムに映像を伝送する必要がある。しかしながら、従来の無線を用いたネットワーク監視システムでは、有線を用いたネットワーク監視システムに比べて、一定期間に伝送可能なデータ量が低く制限されている。このため、画像品質を維持したまま低フレームレートにしてデータ量を抑えて伝送するか（図６（ｂ）参照）、高圧縮することで画像品質をある程度下げて高フレームレートにして伝送するか（図６（ａ）参照）のどちらかの方法しかなかった。【０００５】
いずれの方法においても、画像処理に不必要な期間が多い場合でも画像データが常時伝送されるので、ネットワーク回線の無駄使いをしてしまうことになる。また、帯域が限られたネットワーク回線を使用するので、通信量を抑えるためには、例えば低品質の画像データを使用せざるを得ず、画像処理を実施しても期待した結果にならないことも少なくない。したがって、画像処理を目的とする場合には、ある程度の品質が担保され、且つある程度時間的に溜まった画像データを使用した方が良い結果が得られる可能性が高いといえる。【０００６】
本発明は、上記のような従来の事情に鑑みて為されたものであり、撮像装置で撮影された画像を帯域が限られたネットワーク回線を介して他の画像処理装置に伝送して処理させる場合でも、精度の高い画像処理を実施できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明では、上記目的を達成するために、画像処理システムを以下のように構成した。
すなわち、撮像装置により撮影された画像を、該撮像装置とネットワークを介して接続された画像処理装置で処理する画像処理システムにおいて、前記撮像装置は、撮影した画像を前記画像処理装置で処理すべきか否かを判定し、前記画像処理装置で処理すべきと判定されたことに応じて、その前後の所定期間のフレームの画像を含む画像データを保存し、当該保存した画像データを前記画像処理装置に送信して処理させることを特徴とする。【０００８】
これにより、不必要な画像データを画像処理装置に送信することを抑制できるので、画像処理装置で処理すべき画像データの品質を高めることが可能となる。したがって、撮像装置と画像処理装置の間のネットワーク回線の帯域が限られている場合でも、所望の画像処理に十分な品質の画像データを撮像装置から画像処理装置に送信できるので、画像処理装置で精度の高い画像処理を実施することができる。【０００９】
前記撮像装置は、撮影した画像を前記画像処理装置で処理すべきか否かの判定を、種々の方法で行うことができる。例えば、下記（１）〜（６）の方法で行うことができる。
（１）複数フレームの画像に基づいて、画像領域の全体、または画像領域に対して仮想的に定めた範囲内において、移動量が所定の閾値以上の動体の有無を監視し、移動量が所定の閾値以上の動体が検知された場合に、前記画像処理装置で処理すべきと判定する。
（２）複数フレームの画像に基づいて、画像領域に対して仮想的に定めたラインを通過した動体の有無を監視し、前記ラインを通過した動体が検知された場合に、前記画像処理装置で処理すべきと判定する。
（３）予め定められた時間の到来時、または所定の時間間隔の経過時に、前記画像処理装置で処理すべきと判定する。
（４）１フレームまたは複数フレームの画像に基づいて、画像内に所定の種類の物体が含まれているか否かを判定し、所定の種類の物体が含まれることが検出された場合に、前記画像処理装置で処理すべきと判定する。
（５）１フレームまたは複数フレームの画像に基づいて、画像内に人物の顔が含まれているか否かを判定し、人物の顔が含まれることが検出された場合に、前記画像処理装置で処理すべきと判定する。
（６）複数フレームの画像に基づいて、画像内の物体の動きベクトルをオプティカルフローにより計算して、所定条件を満たす動きベクトルの有無を監視し、所定条件を満たす動きベクトルが検出された場合に、前記画像処理装置で処理すべきと判定する。【００１０】
なお、前記撮像装置は、前記画像処理装置からの指示により、前記画像データの保存に関するパラメータの設定値を変更するように構成してもよい。この場合、前記画像処理装置は、前記撮像装置から受信した画像の処理結果に基づいて、前記画像データの保存に関するパラメータの設定値を決定し、当該決定した設定値への変更を前記撮像装置に指示することが好ましい。
【発明の効果】
【００１１】
本発明によれば、撮像装置で撮影された画像を帯域が限られたネットワーク回線を介して他の画像処理装置に伝送して処理させる場合でも、精度の高い画像処理を実施することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る映像監視システムの概略的な構成を例示する図である。
【図２】撮像装置の機能ブロックを例示する図である。
【図３】画像処理装置の機能ブロックを例示する図である。
【図４】撮像装置における処理のフローチャートを例示する図である。
【図５】画像処理装置における処理のフローチャートを例示する図である。
【図６】データ伝送のタイミングチャートを例示する図である。
【発明を実施するための形態】
【００１３】
本発明の一実施形態について、図面を参照して説明する。
図１には、本発明の一実施形態に係る映像監視システムの概略的な構成を例示してある。本例の映像監視システムは、画像処理システムの一形態であり、少なくとも複数の撮像装置１０と、画像処理装置３０と、記録装置４０と、操作端末５０とを備えており、これらはネットワーク２０を介して有線又は無線により通信可能に接続されている。
【００１４】
撮像装置１０は、監視対象となるエリアを撮像する装置であり、本例では複数の箇所に設置されている。撮像装置１０としては、撮影した画像を圧縮符号化してネットワーク２０へ送出するためのエンコーダを内蔵したネットワークカメラや、別体のエンコーダを介してネットワーク２０に接続されるアナログカメラなど、種々の形式の装置を使用することができる。
【００１５】
画像処理装置３０は、各々の撮像装置１０から送信される画像データに対し、システムの目的に応じた処理を行う。記録装置４０は、撮像装置１０から送信される画像データを記録する。また、画像処理装置３０による処理結果の記録も行う。操作端末５０は、本システムの利用者や管理者などにより使用され、画像処理装置３０による処理結果や記録装置４０に記録されている画像の表示を行う。
【００１６】
本システムの主な特徴は、撮像装置１０が簡易的な画像処理機能を備え、撮影中の画像が後段の画像処理装置３０による所望の画像処理に適するものであるか否かの事前検出を行うことである。すなわち、撮像装置１０で簡易的な画像処理を行って、後段（画像処理装置３０）で画像処理すべき画像データの範囲を決定する。撮像装置１０による画像処理には厳密な精度は求められず、画像処理装置３０に送信すべきかどうかを一次判断できればよい。
【００１７】
撮像装置１０内に計算量の多い高機能な画像処理機能を搭載することは難しいことが多く、他の撮像装置や他のシステムと連携するためにも、主となる画像処理機能は中央で統合管理する方が都合がよい。本システムでは、撮像装置１０側で、画像処理装置３０による画像処理の対象とする画像データの範囲を決定する。このため、画像処理装置３０側には、撮像装置１０から送信された画像データが処理すべきものかどうかを判断する機構が不要となる。したがって、画像処理装置３０は本来の画像処理に集中することができ、マシンパワーの省力化に寄与する。
【００１８】
撮像装置１０による一次判断は、例えば、以下の判断基準に従って実施される。（１）動体検知
複数フレームの画像に基づいて、画像領域の全体、または画像領域に対して仮想的に定めた範囲内において、移動量が所定の閾値以上の動体の有無を監視する。すなわち、あるフレームでの画像内の位置と別のフレームでの画像内の位置との差（移動量）が所定の閾値以上となる物体を動体として検出する。移動量が所定の閾値以上の動体が検知された場合には、画像処理装置３０に画像データを送信すべきと判断し、アラームを発報する。
【００１９】
（２）ライン検知
複数フレームの画像に基づいて、画像領域に対して仮想的に定めたラインを通過した動体の有無を監視する。すなわち、あるフレームの画像ではラインの一方の側に位置し、別のフレームの画像ではラインの他方の側に位置する物体を動体として検出する。ラインを通過した動体が検知された場合には、画像処理装置３０に送信すべきと判断し、アラームを発報する。なお、ラインの通過方向を定めておき、その方向にラインを通過した移動体を検知した場合にのみアラームを発報してもよい。また、画面内に複数のラインを設定しておき、所定の順番でラインを通過したかを検知することで、ある程度の動線を限定した検知も可能となる。
【００２０】
（３）スケジューリング
動体の有無に関わらず、予め定められた時間の到来時、または所定の時間間隔の経過時に、画像処理装置３０に画像データを送信すべきと判断し、アラームを発報する。
【００２１】
（４）物体認識
１フレームまたは複数フレームの画像に基づいて、画像内に所定の種類の物体（例えば、人間、車、二輪車など）が含まれているか否かを監視する。画像内に所定の種類の物体が含まれることが検出された場合には、画像処理装置３０に画像データを送信すべきと判断し、アラームを発報する。
【００２２】
（５）顔検出
１フレームまたは複数フレームの画像に基づいて、画像内に人物の顔が含まれるかどうかを監視する。画像内に人物の顔が含まれることが検出された場合には、画像処理装置３０に画像データを送信すべきと判断し、アラームを発報する。
【００２３】
（６）オプティカルフロー
複数フレームの画像に基づいて、画像内の物体の動きベクトルをオプティカルフローにより計算し、所定条件を満たす動きベクトルの有無を監視する。所定条件を満たす動きベクトルが検知された場合には、画像処理装置３０に画像データを送信すべきと判断し、アラームを発報する。
【００２４】
撮像装置１０は、上記の一次判断において、画像処理装置３０に画像データを送信すべき（画像処理装置３０による画像処理の対象である）と判断されてアラームの発報があると、図６（ｃ）に示すように、その前後の所定期間のフレームの画像を含む画像データを一時的に装置内に保存（蓄積）した後に、画像処理装置３０への送信を開始する。なお、上記（１）〜（６）の判断基準は例示に過ぎず、他の判断基準に従って一次判断を行っても構わない。また、複数の判断基準を組み合わせて一次判断を行うこともできる。
【００２５】
撮像装置１０で保存する画像データの品質は、後段の画像処理装置３０による画像処理に不足ない品質であればよい。したがって、画像処理装置３０による画像処理で必要とされる品質に基づいて、フレームレートや圧縮率、解像度等の仕様を定めておき、該仕様に従って画像データの保存を行えばよい。
【００２６】
撮像装置１０による画像データの保存期間（データ長）は、装置内の記憶媒体（例えば、ＳＤカード）に一時的に保存することができ、且つ、後段の画像処理装置３０で画像処理を行うのに十分な長さとする。ただし、画像データの保存期間は、必要以上に長くする必要は無い。例えば、人物数のカウントが画像処理装置３０の目的であった場合、人物がフレームインしてからフレームアウトするまでの想定時間に保存期間を抑えることで、最適なデータサイズとすることができる。これらのパラメータは、事前に初期値として設定できるものとする。
【００２７】
撮像装置１０は、画像データの保存が完了した後、後段の画像処理装置３０に対するデータ送信を開始する。データ送信は、使用するネットワーク回線の帯域が限られるため、保存した実時間よりも長時間に及ぶ可能性もある。
【００２８】
画像処理装置３０は、撮像装置１０から１回のアラーム分の画像データが全て受信されるまで待ち、データの受信を完了した後に、その画像データの画像処理を開始する。画像処理は、システムの目的に応じた任意の処理を行うことができる。画像処理装置３０による画像処理としては、例えば、人数カウントや混雑度分析、置き去り検知、顔認証などがある。
【００２９】
また、画像処理装置３０は、複数回の画像処理をこなしながら、画像処理に適した画像データであったかを毎回確認・学習する。具体的には、画像データの保存に関する各パラメータ（例えば、データ長、圧縮率、解像度、フレームレート等）が画像処理に適していたかどうかを確認する。例えば、画像データのデータ長が長すぎる場合には、その旨を自動で判別し、次回の画像データの保存期間を短くするように撮像装置１０の設定を変更する。例えば、画像データの品質が十分であれば、若干圧縮率を上げ、データサイズを下げるように撮像装置１０の設定を変更する。例えば、フレームレートを下げても処理精度に影響が無いと判断されれば、同様にフレームレートが最適な値となるように撮像装置１０の設定を変更する。これにより、画像処理装置３０で画像処理を行うたびに撮像装置１０の設定が適正化され、帯域が限られたネットワーク回線を有効に利用することができる。なお、確認・学習は、１回の画像処理を終える毎に実施することは必須ではなく、所定回数の画像処理を終える毎に実施してもよい。
【００３０】
図２は、撮像装置１０の機能ブロックを例示する図である。
撮像装置１０は、撮像部１１と、検出器１２と、検出評価器１３と、映像蓄積部１４とを備えている。
撮像部１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal O xide Semiconductor）等の素子で構成され、監視対象となるエリアを撮影した画像を出力する。
【００３１】
検出器１２は、撮像部１１により撮影された画像に基づいて、上記の一次判断を行う。本例では、複数の検出器１２（１）〜（Ｎ）を備えており、各々が独自の判断基準に従って一次判断を行い、画像処理装置３０に送信すべきと判断した場合には、その旨を通知するアラーム（通知信号）を発報するように構成されている。
【００３２】
検出評価器１３は、検出器１２からアラームの発報があった場合に、画像処理装置３０の処理対象とする画像であると評価（判定）し、その前後の所定期間のフレームの画像を含む画像データの保存を実施させる。
【００３３】
映像蓄積部１４は、検出評価器１３からの指示に従って、１回のアラーム分の画像データを保存（蓄積）する。映像蓄積部１４に保存された画像データは、画像処理装置３０に送信される。なお、メモリ容量に余裕があれば、複数回のアラーム分の画像データを保存するようにしてもよい。
【００３４】
図３は、画像処理装置３０の機能ブロックを例示する図である。
画像処理装置３０は、映像受信部３１と、処理部３２と、精度評価器３３と、設定最適化部３４と、パラメータ再設定部３５とを備えている。
映像受信部３１は、ネットワーク２０を介して、撮像装置１０から送信された画像データを受信する。
処理部３２は、１回のアラーム分の画像データの受信を完了すると、その画像データに基づいて所定の画像処理（例えば、人数カウントや混雑度分析、置き去り検知、顔認証など）を行う。
【００３５】
精度評価器３３は、画像データの保存に関する各パラメータが、処理部３２による画像処理に適していたか（好ましくは、最適であったか）を評価する。
各パラメータの適正性の判断基準としては、事前に当該環境で画像データを取得して学習させておき、各パラメータの基準となる閾値を確保しておく方法がある。つまり、期待した結果が得られる基準の画像データに関する各パラメータの値を、そのパラメータの閾値として確保する。具体的には、例えば、基準の画像データにおけるデータサイズが１０ＭＢで、フレームレートが５ｆｐｓであれば、データサイズの閾値を１０ＭＢとし、フレームレートの閾値を５ｆｐｓとする。そして、今回処理した画像データのデータサイズが１０ＭＢを超えていた場合に、圧縮率が低すぎる可能性があると判定する。また、今回処理した画像データのフレームレートが５ｆｐｓを超えていた場合に、フレームレートが高すぎる可能性があると判定する。
【００３６】
設定最適化部３４は、精度評価器３３の評価結果に基づいて、適正でないと評価されたパラメータについて今後適用する設定値を決定する。
例えば、精度評価器３３により圧縮率が低すぎる可能性があると判定された場合に、この画像データを再圧縮する処理を行い、処理部３２による画像処理をし直してみる。その結果、元の画像データの結果と大差が無ければ、圧縮率を所定量だけ上げた値を今後適用する設定値に決定する。また、例えば、精度評価器３３によりフレームレートが高すぎる可能性があると判定された場合に、この画像データから幾つかのフレームを間引きした画像データを作成する処理を行い、処理部３２による画像処理をし直してみる。その結果、元の画像データの結果と大差が無ければ、フレームレートを所定量だけ下げた値を今後適用する設定値に決定する。
【００３７】
なお、本例のように複数の撮像装置がある場合には、撮影性能、通信性能、ネットワーク遅延量などが撮像装置毎に異なることが想定されるので、撮像装置別に画像データのパラメータを適正化することが好ましい。
また、本例では、処理部３２、精度評価器３３、設定最適化部３４の処理系統を複数備えた構成となっている。ここで、複数の処理系統を備えているのは、各カメラによって条件が異なり、それぞれに適切なパラメータがあると想定されるので、カメラ毎に機能を分割して適用できるようにするためである。また、精度評価によって各パラメータの設定値が動的に変化することが好ましくない環境もある。その場合は、この評価器等の他機能を経ずに処理部のみ運用すればよい。一方で、設定最適化を手動で行いたい場合もあり、その際も自動で設定する部分を省略して運用すればよい。このように、必要とされる機能だけを実行する処理系統を選択して動作させることが、複数の処理系統を備えることで容易に実現できる。
【００３８】
パラメータ再設定部３５は、精度評価器３３及び設定最適化部３４の処理結果に基づいて、撮像装置１０における画像データの保存に関する各パラメータを再設定する。例えば、再設定するパラメータの種別（適正でないと評価されたパラメータの種別）および該パラメータに対して適用する設定値を含むパラメータ更新メッセージを撮像装置１０に送信することで、撮像装置１０に該当パラメータの設定値を更新させる。これにより、撮像装置１０において画像データを保存する際のパラメータが適正化され、画像処理装置３０による画像処理に適した品質で画像データを保存させることができる。
【００３９】
図４は、撮像装置１０における処理のフローチャートを例示する図である。
撮像装置１０は、システムの運用が開始されると、撮影中の画像を画像処理装置３０に送信すべきか否かの一次判断に関して、複数ある判断基準のうちのどの種別の判断基準を使用するかが指定される（ステップＳ１１）。指定する判断基準の数は任意であり、１つだけでもよいし、複数であってもよい。また、判断基準の指定は、システムの運用中に変更できるようにしてもよい。
【００４０】
撮像装置１０は、画像データの保存に関するパラメータの設定を変更する必要があるか否かを判定する（ステップＳ１２）。前回の画像データの送信後に画像処理装置３０からパラメータ更新メッセージを受信している場合には、パラメータの設定を変更する必要があると判断し、パラメータ更新メッセージに従って該当パラメータの設定値を更新する（ステップＳ１３）。
【００４１】
次に、撮像装置１０は、監視対象となるエリアを撮像した画像を取得し（ステップＳ１４）、撮影した画像に対して簡易的な画像処理を行うことで、画像処理装置３０に画像データを送信すべきか否かの一次判断を行う（ステップＳ１５，Ｓ１６）。その結果、画像処理装置３０に画像データを送信すべきことが検出された場合には、その前後の所定期間の画像フレームを含む画像データを一時的に保存（蓄積）する（ステップＳ１７）。画像データの保存は、画像データの保存に関するパラメータの設定値に従って行われる。撮像装置１０は、画像データの保存が完了した後に、その画像データを画像処理装置３０に送信する（ステップＳ１８）。
撮像装置１０は、システムの運用中において、上記の一連の処理を繰り返し実行する。
【００４２】
図５は、画像処理装置３０における処理のフローチャートを例示する図である。
画像処理装置３０は、システムの運用が開始されると、複数ある撮像装置１０のうちのどの撮像装置から画像データを取得するかが指定される（ステップＳ２１）。指定する撮像装置の数は任意であり、１つだけでもよいし、複数であってもよい。また、撮像装置の指定は、システムの運用中に変更できるようにしてもよい。
【００４３】
画像処理装置３０は、指定された撮像装置１０から画像データを受信すると（ステップＳ２２）、その画像データに基づいて所定の画像処理（例えば、人数カウントや混雑度分析、置き去り検知、顔認証など）を行う（ステップＳ２３）。
その後、画像処理装置３０は、画像データの保存に関する各パラメータが画像処理に適していたかを判定する（ステップＳ２４）。その結果、画像処理に適さないパラメータであったと判定された場合には、そのパラメータについて今後適用する設定値を決定し（ステップＳ２５）、撮像装置１０に送信して適用させる（ステップＳ２６）。
画像処理装置３０は、システムの運用中において、上記の一連の処理を繰り返し実行する。
【００４４】
以上のように、本例の映像監視システムでは、撮像装置１０が、撮影した画像を画像処理装置３０で処理すべきか否かを判定し、画像処理装置３０で処理すべきと判定されたことに応じて、その前後の所定期間のフレームの画像を含む画像データを保存し、当該保存した画像データを画像処理装置３０に送信して処理させるように構成されている。
【００４５】
このような構成によれば、不必要な画像データを画像処理装置に送信することを抑制できるので、画像処理装置で処理すべき画像データの品質を高めることが可能となる。したがって、撮像装置と画像処理装置の間のネットワーク回線の帯域が限られている場合でも、所望の画像処理に十分な品質の画像データを撮像装置から画像処理装置に送信できるので、画像処理装置で精度の高い画像処理を実施することができる。
【００４６】
また、本例の映像監視システムでは、撮像装置１０が、画像処理装置３０から指示により、画像データの保存に関するパラメータの設定値を変更するように構成されている。したがって、撮像装置における画像データの保存を、画像処理装置での画像処理に適した品質で行うように制御することが可能となる。
【００４７】
また、本例の映像監視システムでは、画像処理装置３０が、撮像装置１０から受信した画像の処理結果に基づいて、画像データの保存に関するパラメータの設定値を決定し、当該決定した設定値への変更を撮像装置１０に指示するように構成されている。したがって、画像処理装置で画像処理を繰り返しながら、画像データの保存に関するパラメータを最適化することが可能となる。
【００４８】
以上、本発明について詳細に説明したが、本発明は、ここに記載されたシステムに限定されるものではなく、上記以外のシステムにも広く適用できることは言うまでもない。
また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式を実現するためのプログラム、そのプログラムを記憶する記憶媒体などとして提供することも可能である。
【産業上の利用可能性】
【００４９】
本発明は、撮像装置により撮影された画像を、該撮像装置とネットワークを介して接続された画像処理装置で処理する画像処理システムに利用することができる。
【符号の説明】
【００５０】
１０：撮像装置、  ２０：ネットワーク、  ３０：画像処理装置、  ４０：記録装置、
５０：操作端末、
１１：撮像部、  １２：検出器、  １３：検出評価器、  １４：映像蓄積部
２１：映像受信部、  ２２：処理部、  ２３：精度評価器、  ２４：設定最適化部、  ２５：パラメータ再設定部 
【図１】
2019188039.tif 000003
【図２】
2019188039.tif 000004
【図３】
2019188039.tif 000005
【図４】
2019188039.tif 000006
【図５】
2019188039.tif 000007
【図６】
2019188039.tif 000008
【手続補正書】
【提出日】令和2年9月3日(2020.9.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像装置により撮影された画像を、該撮像装置とネットワークを介して接続された画像処理装置で処理する画像処理システムにおいて、
前記撮像装置は、撮影した画像を前記画像処理装置で処理すべきか否かを判定する一次判断を、各々異なる複数の判断基準の中から選択された１つ以上の判断基準を用いて実施し、前記画像処理装置で処理すべきと判定されたことに応じて、その前後の所定期間のフレームの画像を含む画像データを保存し、当該保存した画像データを前記画像処理装置に送信し、
前記画像処理装置は、前記撮像装置から受信した画像データに対する画像処理に応じて、前記撮像装置における当該画像データの保存に関するパラメータが画像処理に適していたか否かを、前記撮像装置の環境で事前に取得した画像データに基づく学習により設定された閾値を用いて判定することを特徴とする画像処理システム。
【請求項２】
請求項１に記載の画像処理システムにおいて、
前記複数の判断基準の１つとして、複数フレームの画像に基づいて、画像領域の全体、または画像領域に対して仮想的に定めた範囲内において、移動量が所定の閾値以上の動体の有無を監視し、移動量が所定の閾値以上の動体が検知された場合に、前記画像処理装置で処理すべきと判定する判断基準を含むことを特徴とする画像処理システム。
【請求項３】
請求項１に記載の画像処理システムにおいて、
前記複数の判断基準の１つとして、複数フレームの画像に基づいて、画像領域に対して仮想的に定めたラインを通過した動体の有無を監視し、前記ラインを通過した動体が検知された場合に、前記画像処理装置で処理すべきと判定する判断基準を含むことを特徴とする画像処理システム。
【請求項４】
請求項１に記載の画像処理システムにおいて、
前記複数の判断基準の１つとして、予め定められた時間の到来時、または所定の時間間隔の経過時に、前記画像処理装置で処理すべきと判定する判断基準を含むことを特徴とする画像処理システム。
【請求項５】
請求項１に記載の画像処理システムにおいて、
前記複数の判断基準の１つとして、１フレームまたは複数フレームの画像に基づいて、画像内に所定の種類の物体が含まれているか否かを判定し、所定の種類の物体が含まれることが検出された場合に、前記画像処理装置で処理すべきと判定する判断基準を含むことを特徴とする画像処理システム。
【請求項６】
請求項１に記載の画像処理システムにおいて、
前記複数の判断基準の１つとして、１フレームまたは複数フレームの画像に基づいて、画像内に人物の顔が含まれているか否かを判定し、人物の顔が含まれることが検出された場合に、前記画像処理装置で処理すべきと判定する判断基準を含むことを特徴とする画像処理システム。
【請求項７】
請求項１に記載の画像処理システムにおいて、
前記複数の判断基準の１つとして、複数フレームの画像に基づいて、画像内の物体の動きベクトルをオプティカルフローにより計算して、所定条件を満たす動きベクトルの有無を監視し、所定条件を満たす動きベクトルが検出された場合に、前記画像処理装置で処理すべきと判定する判断基準を含むことを特徴とする画像処理システム。
【請求項８】
請求項１乃至請求項７のいずれかに記載の画像処理システムにおいて、
前記撮像装置は、前記画像処理装置から指示により、前記画像データの保存に関するパラメータの設定値を変更することを特徴とする画像処理システム。
【請求項９】
請求項８に記載の画像処理システムにおいて、
前記画像処理装置は、前記画像データの保存に関するパラメータが画像処理に適していないと判定された場合に、前記画像データの保存に関するパラメータの設定値を決定し、当該決定した設定値への変更を前記撮像装置に指示することを特徴とする画像処理システム。
【国際調査報告】
2019188039.tif 000009
2019188039.tif 000010