(57)【要約】【課題】  撮影条件の変更と画像認識処理を並列して効率的に実行する場合、それぞれの撮影条件で撮影された画像をもれなく認識処理を実行できる【解決手段】  上記課題を解決する本発明にかかる画像処理装置は、画像の認識処理を実行する画像処理装置であって、所定の撮像条件を満たすように撮影装置を動作させるとともに画像を撮影させる制御を、複数回実行する制御手段と、前記撮影装置によって撮影された画像の認識処理を実行する認識手段と、過去に前記撮影装置によって撮影された画像に対する前記認識処理の結果に基づいて、前記認識手段による認識処理にかかる所要時間を決定する決定手段とを有し、前記制御手段は、前記所要時間に基づいて決定された撮影タイミングで、前記画像の撮影を行わせること画像処理を特徴とする。【選択図】  図１
2020198507.tif 000002
【特許請求の範囲】
【請求項１】
画像の認識処理を実行する画像処理装置であって、
所定の撮像条件を満たすように撮影装置を動作させるとともに画像を撮影させる制御を、複数回実行する制御手段と、
前記撮影装置によって撮影された画像の認識処理を実行する認識手段と、
過去に前記撮影装置によって撮影された画像に対する前記認識処理の結果に基づいて、前記認識手段による認識処理にかかる所要時間を決定する決定手段と、を有し、
前記制御手段は、前記所要時間に基づいて決定された撮影タイミングで、前記画像の撮影を行わせることを特徴とする画像処理装置。
【請求項２】
前記制御手段は、所定の領域を撮影可能である第１の撮影方向と、前記所定の領域とは異なる領域を撮影可能である第２の撮影方向とに設定できる前記撮影装置において、撮影方向を示す前記撮影条件に基づいて前記撮影装置を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記撮像装置の現在の撮影条件を示す第１の撮影条件と、次の撮影条件を示す第２の撮影条件とに基づいて、前記撮影タイミングまでに前記第１の撮影条件から前記第２の撮影条件に前記撮影装置の状態を変更することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記決定手段は、現在の撮影条件と類似する過去の撮影条件における前記認識処理に要した時間に基づいて、前記所要時間を決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記決定手段は、過去の認識結果に基づいて前記所要時間を決定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
ユーザによって入力された前記撮影条件に基づいて、次に撮影する時刻における前記撮影条件を決定する撮影条件決定手段をさらに有し、
前記制御手段は、前記撮影条件決定手段によって決定された前記撮影条件に基づいて前記撮影装置を制御することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記撮影条件決定手段は、過去の前記撮影条件に基づいて、直近の撮影条件とは異なる前記撮影条件に決定することを特徴とする、請求項６に記載の画像処理装置。
【請求項８】
前記撮影条件決定手段は、直近の前記撮影条件からの変化量が所定の値より大きくならないように前記撮影条件を決定することを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
前記制御手段は、前記画像が表示部によって表示されている場合に、前記撮影装置の制御を抑制することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記推定手段は、撮影装置が複数存在する場合に、前記撮影装置ごとに順序もしくは優先度を推定することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
【請求項１２】
画像の認識処理を実行する画像処理方法であって、
所定の撮像条件を満たすように撮影装置を動作させるとともに画像を撮影させる制御を、複数回実行する制御ステップと、
前記撮影装置によって撮影された画像の認識処理を実行する認識ステップと、
過去に前記撮影装置によって撮影された画像に対する前記認識処理の結果に基づいて、前記認識手段による認識処理にかかる所要時間を決定する決定ステップとを有し、
前記制御ステップは、前記所要時間に基づいて決定された撮影タイミングで、前記画像の撮影を行わせること画像処理を特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された画像の認識処理を行う技術に関する。
【背景技術】
【０００２】
従来から広範囲の撮影環境を監視するために、そこに設置されたカメラがパン・チルト等を周期的に行うことにより複数の撮影画像を取得し、それら撮影画像の画像認識を行うことが知られている。
【０００３】
特許文献１では、所定の時間間隔でカメラの位置を所定の状態に変化させながら監視しつつ、人体の検出処理を実行する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１０９３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像の認識処理は、その認識処理のアルゴリズムあるいはその認識処理を行う演算装置の負荷状況等によって、撮影画像の１つ１つに対して必ずしも一定時間で認識処理を完了できるとは限らない。したがって、撮影条件を切り替えながら連続的に撮影された画像を入力し、それら撮影画像を連続的に認識処理をする場合に、認識処理の進み具合によっては一部の撮影された画像を認識処理できない可能性がある。
【０００６】
本発明は上記課題に鑑みてなされたものであり、撮影条件を切り替えながら連続的に撮影された画像を入力し、それら撮影画像を連続的に認識処理をする場合に、それぞれの撮影条件で撮影された画像を漏れなく認識処理できるようにすることを主な目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決する本発明にかかる画像処理装置は、画像の認識処理を実行する画像処理装置であって、所定の撮像条件を満たすように撮影装置を動作させるとともに画像を撮影させる制御を、複数回実行する制御手段と、前記撮影装置によって撮影された画像の認識処理を実行する認識手段と、過去に前記撮影装置によって撮影された画像に対する前記認識処理の結果に基づいて、前記認識手段による認識処理にかかる所要時間を決定する決定手段とを有し、前記制御手段は、前記所要時間に基づいて決定された撮影タイミングで、前記画像の撮影を行わせること画像処理画像処理を特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮影条件の変更と画像認識処理を並列して効率的に実行する場合、それぞれの撮影条件で撮影された画像をもれなく認識処理を実行できる。
【図面の簡単な説明】
【０００９】
【図１】画像処理システムの概要を説明する図
【図２】画像処理装置のハードウェア構成例を示す図
【図３】画像処理システムの機能構成例を示すブロック図
【図４】ＧＵＩの一例を示す図
【図５】画像処理装置が実行する処理を説明するフローチャート
【図６】画像処理装置の機能構成例を示すブロック図
【図７】画像処理装置の機能構成例を示すブロック図
【図８】画像処理装置の機能構成例を示すブロック図
【図９】画像処理装置の機能構成例を示すブロック図
【図１０】ＧＵＩの一例を示す図
【図１１】認識処理の実行順序の一例を示す図
【図１２】認識処理の実行順序の一例を示す図
【図１３】認識処理の実行順序の一例を示す図
【図１４】段階的に異なる複数の認識処理を実行する処理の一例を示す図
【発明を実施するための形態】
【００１０】
［第一の実施形態］
近年ではカメラの映像を用いた認識技術が広く利用されている。たとえば、要注意人物を発見するために顔認識技術が利用されていたり、不審者を発見するために異常検出技術が利用されていたりする。その他、人体追尾技術や顔認証技術、物体検出技術など、さまざまな認識技術が利用されている。
【００１１】
これらの認識技術は、映像の撮影条件に基づいて結果が変化する場合がある。たとえば、映像中の人物や物体に関する認識技術は、映像内の人物・物体に注目して処理を行うため、レンズの方向やズーム率などの影響で撮影範囲外に存在する人物・物体に対する認識を行うことができない。また、認識技術が入力データとして赤外線映像とカラー映像の双方を必要とする場合には、赤外線と可視光どちらか一方の照明のみでは処理を実行することができない。
【００１２】
冒頭に述べたように撮影条件を動的に変化させることで、１台のカメラで複数の撮影条件の映像を取得することができる。本発明を実施するための第一の実施形態について、図面を参照して説明する。本実施形態では、本発明にかかる画像処理システムを用いて、認識処理の実行に関する条件である認識条件に合わせて、撮影条件、特に撮影方向を制御する場合を例に説明する。例えば、図１のように屋内の天井に設置された、異なる２つ以上の対象領域Ａ，Ｂを撮影可能な撮影装置２０について説明する。カメラの角度を切り替えることによって、１台のカメラでより広域を監視することができる。撮影装置２０によって撮影された画像から人体検出処理等の認識処理を実行する。なお、特に言及がない場合、本明細書における映像は画像であってもよい。
【００１３】
なお、本実施形態では、認識処理が開始される時刻である認識タイミングが認識条件である場合について説明する。以後、本明細書では特に説明がない場合、タイミングとは開始の時刻のことであるとする。
【００１４】
なお、本実施形態における撮影条件とは、撮影装置によって撮影処理が実行される際に、撮影装置の状態が満たすべき各種の条件である。ここでは具体的に、２つの異なる撮影方向をとる撮影装置２０を例に説明する。撮影装置２０は、撮影の対象となる撮影範囲として領域Ａと領域Ｂを切り替えながら撮影する。なお、領域Ｂに人物１がいる。撮影方向は、カメラの３次元位置姿勢によって定義されるものとする。本実施形態では、主に撮影条件がパンやチルトといった撮影デバイスの角度であった場合を例に説明する。また、撮影条件には映像を取得するタイミングである映像取得タイミングが含まれるが、本実施形態では特に説明がない場合、単に撮影条件と表現する場合は映像取得タイミング以外の撮影条件のことを指す。撮影条件を動的に変化させながら認識処理を行う場合、撮影条件の変化や映像の取得、認識の各処理が実行されるタイミングが整合しなければ、所望の撮影条件で取得された映像に対して認識処理を実行することができない。
【００１５】
図１１は、タイミングの不整合がある場合（Ａ）と、タイミングが整合している場合（Ｂ）の処理を表す図解である。Ｆ９−１は時間軸であり、右に進むほど時間が経過することを示している。Ｆ９−２からＦ９−４は、それぞれ撮影条件変化、映像取得、認識の各処理に対応しており、右側の各ブロックがそれぞれの処理を示している。
【００１６】
Ｆ９−２は、撮影条件変化が連続的に実行されていることを示している。この場合、Ｆ９−３に示すように映像取得は撮影条件変化に同期して実行することができているが、Ｆ９−４に示すように、認識処理が実行される前に、撮影条件の変化が２回実行されてしまっている。このように、各処理の実行タイミングに不整合がある場合、所望の撮影条件で取得された映像に対して認識処理を実行することができない。Ｆ９−１ａからＦ９−４ａは、Ｆ９−１からＦ９−４と同様であるが、各処理のタイミングが整合している場合を示している。この場合、撮影条件の変化は、認識処理の実行タイミングを待って実行されているため、各撮影条件の映像をすべて認識処理にかけることができている。
【００１７】
本実施形態における画像処理システムでは、撮影条件変化、映像取得、認識の各処理が整合するよう実行タイミングを制御することができる。図１１（ｂ）の図解に示すように、本実施形態における処理は、撮影条件変化、映像取得、認識の順に実行される。次の撮影条件に変更中に、認識処理を並列で実行できる。撮影条件の変化はなるべく高速に行うことで監視対象をこまめに監視することができるが、撮影条件の変化のスピードが大きいと認識処理に適さない画像を得ることがある。例えば、高速に回転するカメラの場合、回転速度を上げると画像がブレる可能性が上がる。このため、撮影条件の変化のスピードはなるべくゆっくり行うことが望ましい。本実施形態では、認識処理にかかる時間を予測している為、効率的に撮影条件の変更と認識処理を実行できる。例えば、通常時は、所要時間が同じくらいの認識処理１または２を繰り返すが、認識処理１または２において所定の認識結果を得た場合に認識処理３を実行する装置を考える。図１１（ｂ）では、認識処理２の結果、認識処理３が発生する。この場合、認識処理２の結果と過去に認識処理３を実行した際の所要時間とに基づいて認識処理３にかかる所要時間を推定し、撮影条件の変化のスピードを変更できる。本明細書では、映像取得が開始される時刻を映像取得タイミング、認識が開始されるタイミングを認識タイミングとそれぞれ呼ぶ。
【００１８】
図３（Ａ）は本実施形態における画像処理システムの構成の一例を示す構成図である。図３（Ａ）に示すように、本実施形態における画像処理システムは、端末装置１０、撮影装置２０、認識装置３０、画像処理装置４０を有する。本実施形態における画像処理システムの各装置、各要素は、結合していてもよいし、いずれかに内包されるものであってもよい。また、ＬＡＮケーブルやインターネット、Ｗｉ−Ｆｉなどによって直接的もしくは間接的に接続されていてもよい。
【００１９】
端末装置１０は、システムの使用者が使用するコンピュータ装置であり、入力部１１と出力部１２とを備える。以後、特に言及がない場合、システムの使用者は本実施形態における画像処理システムに対する入力操作および出力の確認を端末装置１０によって行うものとする。端末装置１０には、たとえばパーソナルコンピュータ（ＰＣ）やタブレットＰＣ、スマートフォン、フィーチャーフォン、ＰＨＳなどが適用できる。
【００２０】
入力部１１は、システムの使用者による入力操作を受け付けるデバイス（以後、入力デバイスと呼ぶ）を１つ以上備え、入力デバイスを介してシステムの使用者の入力操作を検出する。システムの使用者による入力操作としては、画像処理装置４０の各種設定などがある。入力部１１の入力デバイスには、たとえばキーボード、マウス、タッチパネル、マイク、スイッチなどが適用できる。
【００２１】
出力部１２は、本実施形態における画像処理システムの各種の情報を出力するデバイス（以後、出力デバイスと呼ぶ）を１つ以上備え、出力デバイスを介してシステムの使用者に情報を提示する。出力部１２が出力する内容としては、たとえば撮影装置２０によって撮影された映像や、認識装置３０による認識処理の結果、画像処理装置４０による各種設定項目などがある。出力される情報は、出力デバイスに対応してさまざまな形態であってもよい。たとえば、出力デバイスが液晶パネルやプロジェクタなど表示機能を備える場合は画像やテキストなどを表示し、出力デバイスがスピーカーやヘッドホンなど音声出力機能を備える場合は音声や音楽、アラーム音などを出力してもよい。また、バイブレーションやランプの点灯、照明の変化などによって情報を出力してもよい。
【００２２】
撮影装置２０は、撮影範囲となる周囲の様子を映像として撮影する装置であり、撮影部２１および照明部２２を備える。また、照明が撮影条件の制御対象に含まれない場合、撮影装置２０は照明部２２を備えなくともよい。
【００２３】
撮影部２１は、周囲の環境を映像として撮影するデバイス（以後、撮影デバイスと呼ぶ）を１つ以上備え、撮影した映像を端末装置１０および認識装置３０に出力する。撮影部２１の撮影デバイスには、たとえばデジタルカメラやフィルムカメラなどが適用できる。また、各撮影デバイスは壁や天井などに固定されていてもよいし、タイヤやプロペラ、アームなどの移動手段を備え、移動可能であってもよい。撮影装置２１が複数の撮影デバイスを備える場合、各撮影デバイスはＩＤやＩＰなど固有の識別情報を備えていてもよい。また、撮影部２１は映像を記憶する記憶デバイスを備え、記憶された映像を任意のタイミングで出力してもよい。この場合、記憶デバイスには、たとえばハードディスクドライブ（ＨＤＤ）、ＳＤカード、テープレコーダーなどが適用できる。
【００２４】
照明部２２は、撮影装置２１の撮影範囲に光を照射するデバイス（以後、照明デバイスと呼ぶ）を１つ以上備える。照明部２２の照明デバイスとしては、蛍光灯やＬＥＤ、電球などが適用できる。また、照明部２２は照明の色や強度を変化させる手段を備えてもよい。照明の色を変化させる手段としては、カラーフィルターの利用や、色の異なる複数の照明の混合もしくは切り替えなどがある。照明部２２の照明デバイスは、壁や天井に設置されていてもよいし、撮影部２１の撮影デバイスに装着されていてもよい。また、雲台などの可動部を備え、方向や位置を変更可能であってもよい。
【００２５】
認識装置３０は、撮影装置２０に対して認識処理を実行し、認識結果を端末装置１０に出力する装置である。認識装置３０は、画像取得部３１および認識部３２を備える。
【００２６】
画像取得部３１は、撮影装置２０から入力された映像（時系列画像）を取得し、認識部３２に出力する。ここでは、所定の領域を撮影可能である第１の撮影方向から撮影した画像と、所定の領域とは異なる領域を撮影可能である第２の撮影方向から撮影した画像とを交互に取得する。画像取得部３１は、撮影装置２０が撮影した映像をリアルタイムに取得してもよいし、撮影装置２０が記憶デバイスを備える場合、任意の時刻に記憶された映像（時系列画像）を取得してもよい。また、後述する画像処理装置４０の制御情報決定部４５が決定したタイミングに基づいて映像を取得してもよい。
【００２７】
認識部３２は、撮影装置によって撮影された画像に基づいて所定の認識処理を実行する。すなわち、認識部３２は、画像取得部３１から入力された映像に対して所定の認識処理を実行し、認識結果を端末装置１０に出力する。認識部３２が実行する認識処理は、特定の手法に限定しない。たとえば、顔検出処理であってもよいし、人体追尾処理であってもよい。また、異常検出処理であってもよい。これらの組み合わせでもよい。認識処理に要する所要時間は、認識処理の種類と認識結果によって異なる。例えば、姿勢推定といった認識処理は処理負荷が高いため時間がかかる。また、認識対象となる画像に人が多い場合は各人を検出する処理を行う場合には処理負荷がかかる。また、画像に人や障害物が存在する場合は、画像に何も映っていない場合に比べて処理のスピードが遅くなる。このように、認識処理にかかる時間は一定であるとは限らないため、予め認識処理を実行するタイミング等をルールベースに決めておいても、どこかの時点で認識処理の開始を撮影処理に同期する必要がある。
【００２８】
画像処理装置４０は、認識装置３０による認識処理のタイミングに合わせて、撮影装置２０の撮影条件を制御する。画像処理装置４０は、設定部４１、撮影条件取得部４２、撮影条件決定部４３、処理時間決定部４４、制御情報決定部４５、制御部４６を備える。
【００２９】
設定部４１は、画像処理装置４０の各種設定である制御設定を行うＵＩを提供し、ＵＩを介してシステムの使用者が入力した制御設定を撮影条件決定部４３、制御情報決定部４５、制御部４６に出力する。設定部４１で行う制御設定としては、たとえば画像処理装置４０の制御対象となる撮影条件の種類や、撮影条件の制御方法などがある。
【００３０】
図４（Ａ）は設定部４１が撮影条件を詳細設定するためのＧＵＩを提供する場合の一例を示す図解である。図４（Ａ）に示すＧＵＩは、制御方法選択部Ｆ３−１とオプション設定部Ｆ３−２を備え、撮影条件の制御方法に関する各種の設定を行うことができる。なお、図４（Ａ）のＧＵＩは、パン角度の制御に関する設定方法を示しているが、設定可能な撮影条件はパン角度に限定するものではない。たとえば照明であってもよいし、ＩＳＯ感度であってもよい。また、その他のあらゆる撮影条件であってもよい。
【００３１】
図４（Ｂ）の制御方法選択部Ｆ３−１は、撮影条件の基本的な制御方法を複数の候補から選択し、各制御方法のパラメータを設定する複合コンポーネントである。制御方法の一例としては「認識１回ごとに回転」、「常時回転」、「１周期の映像取得範囲最大化」などがあり、システムの使用者は各候補に対応するラジオボタンをクリックすることで、制御方法を選択することができる。また、各制御方法にパラメータが存在する場合、対応するテキストフィールドに値を入力することで、パラメータを設定することができる。たとえば、「認識１回ごとに回転」を選択した場合、認識処理が１回行われるごとに、角度を何度回転させるかを設定できる。また、「常時回転」を選択した場合は回転速度を、「１周期の映像取得範囲最大化」を選択した場合は周期の長さをそれぞれ設定できる。
【００３２】
なお、制御方法の種類は以上の例に限定するものではない。たとえば、制御対象の撮影条件が照明の場合は「撮影範囲の平均照度を一定にする」、「認識１回ごとに色調を交互に変更する」などがある。また、制御対象の撮影条件がズーム倍率の場合は「レンズの方向ごとにズーム率を変化させる」、「ズーム率を交互に切り替える」などがある。
【００３３】
オプション設定部Ｆ３−２は、複数の制御方法に共通する各種のオプション項目を設定するための複合コンポーネントである。オプション項目の一例としては、「映像取得中は角度変更（回転）を停止する」、「角度変更中（回転中）は認識処理を待機する」、「次の時間内に認識処理済みの方向はスキップする」、「次の範囲の方向をスキップする」などがある。これら各オプション項目は、対応するチェックボックスをクリックすることでシステムの使用者が選択することができる。また、パラメータを持つオプション項目については、対応するテキストフィールドなどに値を入力することで、パラメータを設定することができる。たとえば、「次の時間内に認識処理済みの方向はスキップする」オプション項目の場合、認識処理を、秒数などスキップする条件となる時間の範囲を設定することができる。
【００３４】
撮影条件取得部４２は、撮影装置２０を参照することで、撮影条件の現在値を取得し、撮影条件決定部４３に出力する。撮影条件取得部４２は、過去に取得した撮影条件を記憶し、時系列の撮影条件を出力してもよいし、最新の撮影条件のみを出力してもよい。
【００３５】
撮影条件決定部４３は、設定部４１から入力された制御設定および撮影条件取得部４２から入力された撮影条件に基づいて、認識装置３０の画像取得部３１が次回に映像を取得する時点における撮影条件を決定する。すなわち、撮影条件決定部４３は、ユーザによって入力された撮影条件に基づいて、次に撮影する時刻における撮影条件を決定する。これによって、ユーザにとって好ましい撮影条件で撮影された画像を認識処理に入力できる。決定した撮影条件を制御情報決定部４５および制御部４６に出力する。撮影装置２０の撮影デバイスが複数存在する場合、撮影条件決定部４３は各撮影デバイスに対して独立に撮影条件を決定しもよいし、一部または全体が共通する撮影条件を決定してもよい。なお、撮影条件決定部４３は、撮影条件のうち、映像取得タイミング以外を決定することを特徴とする。
【００３６】
撮影条件決定部４３が、撮影条件を決定する方法について、制御対象の撮影条件が撮影デバイスのパン角度である場合の一例を説明する。たとえば制御設定として、認識１回ごとにパン角度を６０度ずつ回転させる設定がなされていたとする。この場合、撮影条件決定部４３は撮影条件取得部４２から入力された現在のパン角度に対して、６０度回転させたパン角度を次の撮影条件として決定する。また、制御設定として「３０度〜９０度の方向をスキップする」と設定されていた場合、撮影条件決定部４３は３０度〜９０度の範囲を通り超すように撮影条件を決定する。その他にも、たとえば制御設定が「３秒間の映像取得範囲最大化」であった場合、撮影条件決定部４３は、過去３秒間の撮影条件を参照し、もっとも映像が取得されていない方向のパン角度を次の撮影条件として決定する。
【００３７】
処理時間決定部４４は、複数の認識処理の結果の統計に基づいて、認識装置３０が次回認識処理を行う認識タイミングを推定し、推定した認識タイミングを制御情報決定部４５に出力する。処理時間決定部４４が、次回認識処理の認識タイミングを推定する方法の一例としては、直近の認識処理時間を計測する。そうすることで、平均的な認識処理時間を推定し、前回認識処理開始時刻から、推定した認識処理時間が経過したタイミングを次回認識処理の認識タイミングとして推定する方法がある。認識処理の実行時間は、映像内の状況によって変化する場合がある。直近の状況は類似する可能性があるため、この方法を用いれば、映像内の状況の変化による認識処理時間の変動を考慮した認識タイミングの推定を行うことができる。
【００３８】
次回認識処理の認識タイミングを推定する方法の他の一例としては、過去の撮影条件ごとの認識処理時間を計測し、現在の撮影条件と類似する撮影条件下の認識処理時間を参照する。そして、次回認識処理の認識タイミングを推定する方法がある。認識処理の実行時間は、撮影条件に依存する場合があるため、この方法を用いれば、撮影条件による実行時間の変化を考慮した認識タイミングの推定を行うことができる。
【００３９】
次回認識処理の認識タイミングを推定する方法の他の一例としては、認識処理装置３０の計算リソース（ＣＰＵやＧＰＵ、メモリなど）を参照する。計算リソースの使用率が高い場合に、基準の認識タイミングから所定の時間遅延したタイミングを認識タイミングとして推定する方法がある。認識処理の実行時間は、計算リソースの使用率が高い場合に遅延する場合があるため、この方法を用いれば、計算リソースの使用率を考慮した認識タイミングの推定を行うことができる。また、計算リソースを直接参照するのではなく、認識処理の対象となる映像の解像度に基づいて、解像度が高いほど認識タイミングが遅くなると推定してもよい。
【００４０】
次回認識処理の認識タイミングを推定する方法の他の一例としては、認識処理装置３０が処理をスケジュール管理する場合に、次回認識処理の実行スケジュールを参照する方法がある。認識処理装置３０は他の装置と計算リソースを共有している場合があり、認識処理以外の処理を実行した後で認識処理が行われることがある。そのため、処理順序の関係で認識処理の認識タイミングが変化する場合がある。この方法によれば、認識処理の実行スケジュールを認識処理装置３０から直接参照するため、他の処理によって認識タイミングが変化する場合を考慮して認識タイミングの決定を行うことができる。
【００４１】
なお、処理時間決定部４４が決定した、次回認識処理の認識タイミングは、端末装置１０の出力部１２に出力してもよい。また、過去の認識結果に基づいて所要時間を決定してもよい。例えば、直近の認識処理において認識対象が検出された場合、直近の撮影条件以外の撮影条件は早めに認識処理を終わらせるようにしてもよい。つまり、認識処理に時間が必要な撮影条件では十分な時間を取るようにして、それ以外の撮影条件では認識処理を軽減する。これによって、効率的に認識処理が実行できる。
【００４２】
制御情報決定部４５は、撮影条件決定部４３から入力された次回映像取得時の撮影条件、処理時間決定部４４から入力された次回認識処理の認識タイミングに基づいて、次回の映像取得タイミングを決定し、決定した映像取得タイミングを制御部４６に出力する。
【００４３】
映像取得タイミングを決定する方法の一例としては、次回認識処理の認識タイミングの直前を映像取得タイミングとして決定する方法がある。この方法によれば、次回認識処理の認識タイミングに最も近いタイミングで映像を取得するため、より最新の情報に基づいて認識処理を実行することができる。
【００４４】
映像取得タイミングを決定する方法の他の一例としては、次回の認識処理時に用いられる画像の撮影に関する設定に変化させるための所要時間を推定する。撮影に関する設定の変化が完了するタイミングと、次回認識処理の認識タイミングの間のタイミングに決定する方法がある。この方法によれば、撮影に関する設定の変更をより確実に完了させることが可能なほか、認識処理が実行されるまでに時間的余裕が発生するため、推定された認識タイミングに誤差が生じた場合であっても、所望の撮影に関する設定で映像を取得できる。
【００４５】
なお、撮影条件の変化のための所要時間を推定する方法としては、あらかじめ撮影条件の変化にかかる時間を計測し参照する方法や、変化させる撮影条件の種類や変化量に応じて推定される所要時間をパラメータとして人が設定する方法などがある。
【００４６】
制御部４６は、所定の撮像条件を満たすように認識処理の対象となる画像を撮影する撮影装置を動作させるとともに画像を撮影させる制御を、複数回実行する。設定部４１から入力された制御設定、撮影条件決定部から入力された撮影条件、制御情報決定部４５から入力された映像取得タイミングに基づいて、撮影装置２０の撮影条件を変更する。また、制御部４６は、過去に決定した撮影条件に基づいて、直近の撮影条件とは異なる撮影条件を決定するようにしてもよい。こうすることによって、様々な撮影条件下で撮影された画像を効率的に、また安定して取得できる。また、直近の撮影条件からの変化量が所定の値より大きくならないように撮影条件を決定する。これは、変化量が大きい場合に、例えば画像がブレて取得されてしまうことを抑制する。これによって、認識処理に入力する画像の質を安定的に取得できる。
【００４７】
制御部４６は、映像取得タイミングまでに制御設定によって設定された条件に従いつつ、撮影条件の変更を完了させる。たとえば、映像取得タイミングが１秒後で、撮影条件としてパン角度を６０度回転させ、制御設定として映像取得中は角度変更を停止することが設定されていたとする。このとき、制御部４６はパン角度を６０度回転させ、回転を完全に停止させるために要する所要時間を推定し、映像取得タイミングに対して推定所要時間だけ早く、撮影条件の変化を開始させる。この際、制御設定としては映像取得までの余裕時間が設定されていた場合は、余裕時間を考慮してより早い段階で撮影条件の変更を開始する。なお、前回の映像取得が完了していない場合、制御部４６は撮影条件の変更を待機する。
【００４８】
なお、画像処理装置４０は、認識装置３０による認識処理が失敗した場合に撮影条件を変更せず、同様の条件で認識装置３０に再度認識処理を実行させてもよい。または、撮影条件を前回認識時の撮影条件に基づいて所定の割合変化させて、認識装置３０に再度認識処理を実行させてもよい。
【００４９】
図５は、画像処理装置が実行する処理を説明するフローチャートである。図５のＳ１０１からＳ１０８はそれぞれ処理ステップを表しており、原則として順番に実行するが、ただし、画像処理装置１１１は必ずしもこのフローチャートで説明するすべてのステップを行わなくても良い。ここでは、図５の各処理ステップについて説明する。下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。
【００５０】
Ｓ１０１では、設定部４１が、画像処理装置４０の制御設定を入力する。たとえば制御設定として、認識１回ごとにパン角度を６０度ずつ回転させる設定であるとする。制御設定は、ＧＵＩからユーザによって入力される。または、初期設定として予め準備された設定を入力してもよい。
【００５１】
Ｓ１０２では、撮影条件取得部４２が、撮影装置２０から撮影時点の撮影条件を取得する。例えば、撮影条件としてＳ１０２の時点における撮影装置の位置姿勢情報を取得する。Ｓ１０３では、撮影条件決定部４３が、前記認識処理の対象となる画像を撮影する撮影装置について、次の認識処理の対象となる画像を撮影する際に満たすべき条件を示す撮影条件を決定する。制御設定に基づいて認識処理を実行するトリガーとなる第１の条件を決定する。例えば、Ｓ１０２の時点から角度が６０度回転した状態が第１の条件である。
【００５２】
Ｓ１０４では、処理時間決定部４４が、過去に撮影装置によって撮影された画像に対する認識処理の結果に基づいて、認識処理にかかる所要時間を決定する。つまり、前回認識処理を実行したときにかかった所要時間に基づいて、認識装置３０の認識部３２が認識処理を実行するタイミングを決定する。なお、処理時間決定部４４は認識処理の実行に要した時間を計測し、計測結果を保持するものとする。なお、所要時間通りに認識処理が完了しなかった場合、認識タイミングの想定誤差を設定し、誤差を考慮して映像取得を遅延させることでリカバリできる。
【００５３】
Ｓ１０５では、制御情報決定部４５が、制御部が認識処理の所要時間に基づいて決定された撮影タイミングで、画像の撮影を行わせる撮影タイミングを決定する。例えば、制御設定が認識１回ごとにパン角度を６０度ずつ回転させる設定である場合は、Ｓ１０２の時点における撮影装置の位置姿勢情報に基づいて、撮影装置の撮影部を回転させる量を決定する。なお、初回認識処理実行時はデフォルトで設定しておいた制御情報を参照すればよい。
【００５４】
Ｓ１０６では、制御部４６が、撮影装置２０の撮影条件を、撮影条件決定部４３によって決定され認識処理時の撮影条件を満たすように制御する。Ｓ１０７では、制御部が認識処理の所要時間に基づいて決定された撮影タイミングで、画像の撮影を行わせる。そして、画像取得部３１が、撮影装置２０によって撮影された画像（映像）を取得する。ここで、実際に撮影する時点に直前の認識処理が完了していなかった場合、つまり所要時間通りに認識処理が完了しなかった場合は認識処理が終了するまで撮影処理の開始を待機させる。なお、ここでは１枚ずつ画像を取得してもよいし、所定期間に撮影された時系列画像（映像）をまとめて取得してもよい。Ｓ１０８では、Ｓ１０７で取得した画像について、認識部３２が所定の認識処理を実行する。画像処理装置は、認識結果を出力部または記憶部に出力し、Ｓ１０２に戻る。このフローはユーザによる終了指示が入力されるまで繰り返す。
【００５５】
以上によって、本実施形態における画像処理システムは、認識処理の認識タイミングを考慮した撮影条件の制御が可能である。
【００５６】
ただし、本実施形態における画像処理システムの処理フローは上記の一例に限定しない。たとえば、処理ステップＳ１０２の前に処理ステップＳ１０４を実行してもよい。また、たとえば処理ステップＳ１０８の認識処理が失敗した場合は、Ｓ１０２に移行せず、処理ステップＳ１０７に移行してもよい。
【００５７】
上述の場合以外にも、各種の撮影条件を動的に変化させることで、カメラ１台あたりの役割を拡張することができる。たとえば、赤外線撮影が可能なカメラを用いて、赤外線撮影と可視光撮影を切り替えることで、１台のカメラで赤外線映像とカラー映像を撮影することが可能である。また、露出設定を動的に変化させることで、撮影領域内の明暗差が大きい場合であっても、各領域に適正な露出を用いた撮影が可能である。
【００５８】
以上説明したように、本実施形態における画像処理システムは、認識処理のタイミングに合わせて撮影条件を変化させる。撮影動作の変更と画像認識処理を平行して実行する場合、効率的に認識処理を実行できる。
【００５９】
［第一の実施形態の変形例］
画像処理システムの機能構成は図３（Ａ）で説明した例に限らない。例えば、図３（Ｂ）のように、画像処理装置４０が認識部３２を有していてもよい。より少ない装置で実施可能である。また、図３（Ｃ）のように撮影装置２０に認識部と制御部を有するようにしてもよい。それぞれの撮影装置内で認識処理も実行できるためサーバの負荷が分散する。
【００６０】
第一の実施形態では、撮影条件が主に撮影デバイスの角度である場合を例に説明した。ここでは、撮影条件が撮影デバイスの角度以外を含む場合について説明する。本実施形態における撮影条件とは、映像の撮影に関する１つ以上の条件を指す。たとえば、撮影デバイスの角度や位置、ズーム倍率、レンズの絞り、レンズの種類、レンズフィルター、ＩＳＯ感度、シャッタースピード、フレームレート、照明、焦点距離のいずれか、もしくは組み合わせなどが撮影条件であってもよい。
【００６１】
図４は設定部４１が制御対象となる撮影条件の種類を選択するためのＧＵＩを提供する場合の一例を示す図解である。図４（Ａ）に示すＧＵＩは、候補項目一覧Ｆ２−１、選択項目一覧Ｆ２−２、追加ボタンＦ２−３、削除ボタンＦ２−４を備える。候補項目一覧Ｆ２−１は、制御対象として選択可能な撮影条件の候補の一覧を示すリストコンポーネントである。撮影条件の候補を示す各項目をクリック（以後、ＧＵＩをクリックする場合はタップなど、異なる類似の操作であってもよいものとする）すると、クリックされた撮影条件の候補が選択状態になる。
【００６２】
選択項目一覧Ｆ２−２は、システムの使用者によって選択された撮影条件の一覧を示すリストコンポーネントである。候補項目一覧Ｆ２−１と同じく、選択された撮影条件を示す各項目をクリックすることによって、クリックされた項目が選択状態になる。また、各項目をダブルクリックすると、撮影条件を詳細設定するためのＧＵＩが表示され、システムの使用者はダブルクリックした項目に対応する撮影条件について詳細設定を行うことができる。
【００６３】
追加ボタンＦ２−３は、候補項目一覧Ｆ２−１で選択状態になった撮影条件の候補を、選択項目として追加するためのボタンコンポーネントである。候補項目一覧Ｆ２−１に選択状態の撮影条件の候補が存在するとき、追加ボタンＦ２−３をクリックすると、選択された候補項目は選択項目一覧Ｆ２−２に移動し、制御対象の項目として設定される。削除ボタンＦ２−４は、選択項目一覧Ｆ２−２で選択状態になった撮影条件を選択項目一覧Ｆ２−２から削除し、候補項目一覧Ｆ２−１に移動するためのボタンコンポーネントである。選択項目一覧Ｆ２−２に選択状態の撮影条件が存在するとき、削除ボタンＦ２−４をクリックすると、選択された撮影条件は制御対象からは除外され、候補項目一覧Ｆ２−１に移動する。
【００６４】
なお、制御対象の撮影条件を設定する方法は図４に示す一例に限定しない。たとえば、角度と照明など、連動させる複数の撮影条件をグループとして設定可能なものであってもよい。また、システムの提供者が既定値を定義してもよい。さらに、認識装置３０が異なる複数の認識処理を行う場合など、映像取得の各目的に対して撮影条件を個別に選択可能なものであってもよい。
【００６５】
撮影条件決定部４３が撮影デバイス角度以外の撮影条件を決定する方法として、制御対象の撮影条件が照明についてである場合の一例を説明する。たとえば、制御設定として「赤外線照明と可視光照明を交互に発光させる」ことが設定されていた場合、撮影条件決定部は、認識処理の直前の撮影条件を参照する。可視光が発光されていた場合は赤外線を、赤外線が発光されていた場合は可視光を、それぞれ次の撮影に関する設定として決定する。
【００６６】
なお、上述した各処理部のうち、処理時間決定部４４、制御情報決定部４５等については、その代わりとして、機械学習された学習済みモデルを代わりに用いて処理しても良い。その場合には、例えば、その処理部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。学習済みモデルは、例えばニューラルネットワークモデルで構成可能である。そして、その学習済みモデルは、前記処理部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前記処理部の処理を行う。なお、上記学習済みモデルは、必要に応じて一定の処理後に更新しても良い。
【００６７】
以上説明したように、本実施形態における撮影条件は撮影デバイスの角度や照明など、撮影に関する各種の条件を適用することができる。
【００６８】
［第二の実施形態］
本発明を実施するための第二の実施形態について、図面を参照して説明する。本実施形態では、本発明にかかる画像処理システムを用いて、複数台の撮影デバイスに対して多段階の認識処理を行う場合を例に説明する。
【００６９】
複数の撮影デバイスの映像に対して、少数の計算機によって認識処理を行う場合、同時に複数の映像に対して認識処理を行うことが不可能な場合がある。この場合、認識処理は各映像に対して逐次実行する必要がある。この場合、映像に対して映像取得および認識処理が実行されるタイミングは、撮影デバイスの台数やそれぞれの撮影デバイスに対する認識処理の優先度など、さまざまな要因によって変化する場合がある。
【００７０】
撮影デバイスが複数存在する場合に、撮影デバイスごとの優先度に基づいて映像を取得する際の一例について、図１０を用いて説明する。図１２は、３台の撮影デバイスの映像を順番に取得し、映像から人体が検出された場合のみ、対応する撮影デバイスの映像を連続的に取得する処理の図解である。
【００７１】
図１２に示す図解はＦ１０−１からＦ１０−８の要素を備える。Ｆ１０−１は時間軸であり、右に進むほど時間が進行することを示している。Ｆ１０−２からＦ１０−４は各撮影デバイスおよび各撮影デバイスから映像を取得するタイムラインを示している。図１２に示すように、各撮影デバイスに対してＦ１０−２からＦ１０−４の順に映像を取得する。すべての撮影デバイスから映像を取得すると、Ｆ１０−５に示すようにＦ１０−２の撮影デバイスから順番に映像の取得を繰り返す。
【００７２】
ここで、Ｆ１０−６は、Ｆ１０−７で取得した映像から人体が検出されたことを示している。この場合、Ｆ１０−８に示すように、対応する撮影デバイスＦ１０−３の優先度を上げることで、映像を連続的に取得する。これによって、人体が検出された映像を密に取得することが可能となり、たとえば行動認識など人体が検出された場合特有の認識処理などが実行できるようになる。
【００７３】
図１２に示したように、複数台の撮影デバイスが存在する場合は各撮影デバイスから映像が取得され、認識処理が実行されるタイミングが変化する場合がある。また、複数種類の認識処理が段階的に実行される場合がある。たとえば、人体検出と行動認識を段階的に実行する場合がある。この場合、はじめに人体検出処理を実行した後、人体が検出された場合のみ行動認識処理を実行する。また、人体が検出されなかった場合は、次回も人体検出処理を実行する。このように、多段階の認識処理を行う場合には、認識処理の種類によって認識処理が実行されるタイミングが変化することがある。
【００７４】
多段階の認識処理によって、認識処理の実行タイミングが変化する場合の一例を図１１に示す。図１３は、人体検出処理と行動認識処理が段階的に実行される処理の流れを示す図解であり、人体検出処理（第１の認識処理）によって人体が検出された場合のみ、次回の認識処理として行動認識処理（第２の認識処理）が実行される様子を表している。ここでは、行動認識処理の方が人体検出処理より時間がかかる。そのため、一定の時間間隔で撮影と認識を行うと同期するタイミングがずれてしまう。
【００７５】
図１３に示す図解はＦ１１−１からＦ１１−５の要素を含む。Ｆ１１−１はＦ１０−１と同様の時間軸である。Ｆ１１−２からＦ１１−５は各認識処理が実行されることを示す処理ブロックであり、横幅が処理時間を表している。Ｆ１１−２による人体検出処理で人体が検出されなかった場合、Ｆ１１−３に示すように人体検出処理が反復的に実行される。また、Ｆ１１−３による人体検出処理で人体が検出されると、Ｆ１１−４に示すように、次回の認識処理として行動認識処理が実行される。この一例では、行動認識処理が連続実行されることはなく、Ｆ１１−５に示すように行動認識処理の後はまた人体検出処理が行われる。Ｆ１１−２からＦ１１−５に示すように、人体検出処理の行動認識処理では処理時間が異なる。このように、実行される認識処理が動的に変化し、さらに認識処理ごとの処理時間に差が存在する場合、認識処理タイミングは動的に変化する場合がある。
【００７６】
本実施形態における画像処理システムでは、複数台の撮影デバイスの映像に対して、段階的に認識処理を実行する場合に、認識処理に適した撮影条件に変化させる。図１４は、複数の撮影デバイスに対して、多段階認識を行う場合の処理を示す図解である。図１４に示す図解はＦ１２−１からＦ１２−６の構成要素を含む。
【００７７】
Ｆ１４−１は時間軸である。Ｆ１２−２からＦ１２−４はそれぞれ撮影デバイスおよび対応する各処理のタイムラインである。図１４に示す処理では、撮影デバイスＦ１２−２から順番に映像取得、認識１、認識２の順番で実行される。ただし、認識１の結果が所定の結果でない場合には、認識２は実行されず、次の撮影デバイスの映像取得が実行される。認識１の結果が所定の結果であった場合はＦ１２−５に示すように、同じ撮影デバイスから再度映像取得が実行され、Ｆ１２−６に示すように認識２が実行される。このように、複数の撮影デバイスで多段階の認識処理を行う場合、対象の撮影デバイスや認識処理の結果などにしたがって認識条件が変化する。
【００７８】
本実施形態における画像処理システムは、第一の実施形態における画像処理システムと共通する構成を含む。そのため、本実施形態では第一の実施形態との差異部分について説明する。図６は本実施形態における画像処理システムの構成の一例を示す構成図である。図５に示すように、本実施形態における画像処理システムは、端末装置１０、撮影装置２０、認識装置３０、画像処理装置４０を有する。本実施形態における画像処理システムの各装置、各要素は、第一の実施形態と同様に結合していてもよいし、いずれかに内包されるものであってもよい。また、ＬＡＮケーブルやインターネット、Ｗｉ−Ｆｉなどによって直接的もしくは間接的に接続されていてもよい。
【００７９】
認識装置３０ａは、第一の実施形態における認識装置３０と同様に、撮影装置２０から取得した映像に対して認識処理を実行する。また、認識装置３０ａ特有の振る舞いとして、複数の映像に対して、認識処理の実行順序を管理し、認識処理の結果に基づいて複数の異なる認識処理を行う。認識装置３０ａは、画像取得部３１ａおよび認識部３２ａを備える。
【００８０】
画像取得部３１ａは、第一の実施形態における画像取得部３１と同様に、撮影装置２０から映像を取得し、認識部３２ａに出力する。画像取得部３１ａは、後述する制御情報決定部４５ａから入力された、撮影デバイスごとの映像取得タイミングに基づいて、対応する撮影デバイスの映像を取得することを特徴とする。
【００８１】
認識部３２ａは、第一の実施形態における画像取得部３１と同様に、画像取得部３１ａから入力された映像に対して、認識処理を実行し、認識結果を端末装置１０に出力する。認識部３２ａは、入力された映像に対応する撮影デバイスや、前回実行までの認識処理結果などに基づいて、実行する認識処理の種類を変化させることを特徴とする。
【００８２】
認識部３２ａが、撮影デバイスごとに異なる認識処理を実行する場合、認識部３２ａはシステムの使用者が撮影デバイスごとに実行する認識処理を選択するＵＩを提供し、システムの使用者による設定内容に基づいて認識処理を実行してもよい。また、認識処理の各パラメータを同様に撮影デバイスごとに変化させてもよい。
【００８３】
認識部３２ａが認識処理の種類を変化させる方法の一例としては、たとえば人体検出処理を行った後、人体が検出された場合に次回の認識処理を行動認識処理に変化させる方法がある。その他の一例としては、異常検出処理の結果、異常スコアが閾値を超えた場合に、より詳細な異常検出処理に変化させる方法がある。
【００８４】
画像処理装置４０ａは、第一の実施形態における画像処理装置４０と同様に、認識装置３０ａによる認識処理のタイミングに合わせて、撮影装置２０の撮影条件を制御する。また、画像処理装置４０ａは、認識装置３０ａが認識処理を行う対象の撮影デバイスごとに撮影条件および映像取得タイミングを制御することを特徴とし、各構成要素の入出力には対応する撮影デバイスの情報を含むことを特徴とする。画像処理装置４０ａは、設定部４１、撮影条件取得部４２、撮影条件決定部４３ａ、処理時間決定部４４ａ、制御情報決定部４５、制御部４６を備える。
【００８５】
撮影条件決定部４３ａは、第一の実施形態における撮影条件決定部４３と同様に、撮影条件を決定し、制御情報決定部４５および制御部４６に出力する。撮影条件決定部４３ａは、認識部３２ａが次に実行する認識処理の種類に基づいて、撮影条件を決定してもよい。たとえば、認識部３２ａが人体検出処理を行う場合は撮影範囲が広角になるよう撮影条件を決定し、認識部３２ａが行動認識処理を行う場合は、注目する人体周辺の映像を拡大するによう撮影条件を決定してもよい。また、たとえば認識処理が段階的に実行される場合は、一連の認識処理が完了するまで撮影条件が固定されるようにしてもよい。
【００８６】
また、撮影条件決定部４３ａは、複数の撮影デバイスが存在する場合に、撮影デバイスごとに異なる方法で撮影条件を決定してもよい。たとえば、撮影範囲が重複する複数の撮影デバイスが存在する場合は、互いに異なる方向を撮影するように撮影条件を決定してもよい。また、たとえば撮影範囲が広い撮影デバイスでは、解像度が高くなるように撮影条件を決定し、撮影範囲が狭い撮影デバイスでは解像度が低くなるように撮影条件を決定してもよい。また、撮影条件の決定方法を変化させる条件を、システムの使用者が設定可能なＵＩを提供してもよい。
【００８７】
処理時間決定部４４ａは、第一の実施形態における処理時間決定部４４と同様に、認識装置３０ａが次回認識処理を行う認識タイミングを推定し、推定した認識タイミングを制御情報決定部４５ａに出力する。推定部４４ａは、複数の撮影デバイスが存在する場合に、各撮影デバイスに対して認識処理の優先度を決定し、撮影デバイスごとの優先度に基づいて認識タイミングを推定することを特徴とする。また、処理時間決定部４４ａは、認識処理の種類が変化する場合に、認識処理の種類に基づいて認識タイミングを推定することを特徴とする。
【００８８】
処理時間決定部４４ａが、各撮影デバイスの優先度を決定する方法は、特定の方法に限定しない。たとえば撮影デバイスごとに前回認識処理を実行した時刻もしくは映像を取得した時刻を記憶し、記憶した時刻からの経過時間が長い順に優先度を決定してもよい。また、たとえば認識装置３０ａが撮影デバイスごとに次回実行する認識処理が異なる場合、認識処理の種類に基づいて、優先度を決定してもよい。たとえば、人体検出処理によって人体が検出された撮影デバイスに対する優先度を高くしてもよいし、異常検出処理によって異常スコアが閾値を超えた撮影デバイスに対する優先度を所定の時間だけ低くしてもよい。また、優先度を認識処理の度に更新するのではなく、所定の回数もしくは時間の優先度を固定してもよい。
【００８９】
処理時間決定部４４ａは、認識処理の種類が複数存在する場合は、認識処理の種類ごとに認識タイミングを推定する。たとえば、認識処理の種類ごとに過去の認識処理時間を計測し、計測された認識処理時間に基づいて認識タイミングを推定してもよい。また、異なる複数の認識処理を段階的に実行する場合も、同様に実行される段階や、段階に対応した認識処理の種類に基づいて認識タイミングを推定してもよい。たとえば、はじめに人体検出処理を行い、人体が検出された場合に行動認識処理を行う場合、人体検出処理の認識タイミングを速く、行動認識処理の認識タイミングを遅く、などの推定を行ってもよい。これによって、実行される認識処理の種類が動的に変化する場合であっても、認識タイミングをより精度よく推定することができる。
【００９０】
なお、撮影デバイスが複数存在し、かつ認識処理の種類が動的に変化する場合は、撮影デバイスへの優先度を決定する処理と、認識処理の段階や種類に基づいて認識タイミングを推定する処理を両立させてもよい。
【００９１】
以上説明したように、本実施形態における画像処理システムは、複数の撮影デバイスそれぞれについて多段階の認識処理を実行する場合であっても、認識処理の認識タイミングに合わせて各撮影デバイスに対応する撮影条件を変化させる。
【００９２】
［第三の実施形態］
本発明を実施するための第三の実施形態について、図面を参照して説明する。本実施形態では、本発明にかかる画像処理システムを用いて、映像を人が目視確認することを妨げずに、認識処理の認識タイミングに合わせて、撮影条件を制御する場合を例に説明する。
【００９３】
第一および第二の実施形態における画像処理システムは、認識処理に合わせて撮影条件を変化させた。一方で、人が映像を目視している場合は、注目している映像に対応する撮影条件が変化することで、人による視認性が低下してしまう場合がある。本実施形態における画像処理システムでは、人による視認性の低下を抑制しつつ、認識処理のタイミングに合わせて撮影条件を変化させる。なお、本実施形態では、撮影デバイスの映像が人に目視されているか否かを示す状態のことを、目視状態と呼び、目視されている場合に「目視状態が真」、目視されていない場合に「目視状態が偽」であると表現する。
【００９４】
本実施形態における画像処理システムは、第一および第二の実施形態における画像処理システムと共通する構成を含む。そのため、本実施形態では第一および第二の実施形態との差異部分について説明する。図８は本実施形態における画像処理システムの構成の一例を示す構成図である。図８に示すように、本実施形態における画像処理システムは、端末装置１０、撮影装置２０、認識装置３０、画像処理装置４０ｂを有する。本実施形態における画像処理システムの各装置、各要素は、第一の実施形態と同様に結合していてもよいし、いずれかに内包されるものであってもよい。また、ＬＡＮケーブルやインターネット、Ｗｉ−Ｆｉなどによって直接的もしくは間接的に接続されていてもよい。
【００９５】
画像処理装置４０ｂは、第一の実施形態における画像処理装置４０と同様に、認識装置３０による認識処理のタイミングに合わせて、撮影装置２０の撮影条件を制御する。また、画像処理装置４０ｂは、端末装置１０を用いたシステムの使用者による映像の目視状態を取得し、目視状態に基づいて撮影条件を決定することを特徴とする。画像処理装置４０ｂは、設定部４１、撮影条件取得部４２、撮影条件決定部４３ｂ、処理時間決定部４４ｂ、制御情報決定部４５、制御部４６、目視状態取得部４７を備える。
【００９６】
目視状態取得部４７は、端末装置１０の出力部１２に表示された撮影装置２０の映像の目視状態を取得し、撮影条件決定部４３ｂおよび処理時間決定部４４ｂに出力する。撮影装置２０の撮影デバイスが複数存在する場合、目視状態取得部４７は撮影デバイスごとの目視状態を取得および出力する。目視状態を取得する方法は、特定の方法に限定しない。たとえば、端末装置１０から出力部１２の表示内容を取得し、撮影装置２０の映像が表示されている場合に目視状態が真であるとすることで、目視状態を取得してもよい。さらに、端末装置１０の入力部１１が入力状態である場合にのみ、目視状態が真であるとしてもよい。また、端末装置１０が撮影デバイスやセンサーなどで人を検出可能な場合、端末装置１０が人を検出している場合に目視状態が真であるとしてもよい。
【００９７】
撮影条件決定部４３ｂは、設定部４１から入力された制御設定および撮影条件取得部４２から入力された撮影条件、目視状態取得部４７から入力された目視状態に基づいて、認識装置３０の画像取得部３１が次回に映像を取得する時点における撮影条件を決定する。決定した撮影条件を制御情報決定部４５および制御部４６に出力する。撮影条件決定部４３ｂは、目視状態が偽である場合には、第一の実施形態における撮影条件決定部４３と同様に撮影条件を決定し、目視状態が真である場合に振る舞いを変更する。
【００９８】
撮影条件決定部４３ｂが、目視状態が真である場合に撮影条件を決定する方法は、特定の方法に限定しない。たとえば、撮影条件取得部４２から入力された撮影条件と同様の撮影条件に決定してもよい。また、目視状態が偽である場合に決定される撮影条件に対して、現在の撮影条件からの変化量を所定の割合で小さくすることで、撮影条件を決定してもよい。
【００９９】
処理時間決定部４４ｂは、目視状態取得部４７から入力された目視状態に基づいて、認識装置３０が次回認識処理を行う認識タイミングを決定し、推定した認識タイミングを制御情報決定部４５に出力する。処理時間決定部４４ｂは、目視状態が偽である場合には第一の実施形態における処理時間決定部４４と同様に認識タイミングを決定し、目視状態が真の場合に振る舞いを変化させる。処理時間決定部４４ｂが、目視状態が真である場合に認識処理の認識タイミングを推定する方法は、特定の方法に限定しない。たとえば、認識処理を行わないことにしてもよい。また、目視状態が偽である場合に推定される認識タイミングに対して、時間の間隔を所定の割合で変化させてもよい。
【０１００】
以上説明したように、本実施形態における画像処理システムは、撮影デバイスの映像を目視確認している場合の視認性低下を抑制しつつ、認識処理のタイミングに合わせて撮影条件を変化させる。
【０１０１】
［第四の実施形態］
本発明を実施するための第四の実施形態について、図面を参照して説明する。本実施形態では、本発明にかかる画像処理システムを用いて、システムの使用者に認識処理の状況を提示し、システムの使用者による撮影条件や認識処理の認識タイミングの変更を受け付ける場合について説明する。
【０１０２】
本実施形態における画像処理システムは、第一乃至第三の実施形態における画像処理システムと共通する構成を含む。そのため、本実施形態では第一乃至第三の実施形態との差異部分について説明する。図９は本実施形態における画像処理システムの構成の一例を示す構成図である。図９に示すように、本実施形態における画像処理システムは、端末装置１０、撮影装置２０、認識装置３０ｃ、画像処理装置４０ｃを有する。本実施形態における画像処理システムの各装置、各要素は、第一の実施形態と同様に結合していてもよいし、いずれかに内包されるものであってもよい。また、ＬＡＮケーブルやインターネット、Ｗｉ−Ｆｉなどによって直接的もしくは間接的に接続されていてもよい。
【０１０３】
認識装置３０ｃは、第一の実施形態における認識装置３０と同様に、撮影装置２０から取得した映像に対して認識処理を実行する。また、認識装置３０ｃ特有の振る舞いとして、システムの使用者からの各種操作によって、各構成の振る舞いを変化させるほか、認識装置３０ｃは、映像取得部３１ｃおよび認識部３２ｃを備える。
【０１０４】
画像取得部３１ｃは、第一の実施形態における画像取得部３１と同様に、撮影装置２０から映像を取得し、認識部３２に出力する。画像取得部３１ｃは、システムの使用者が撮影デバイスを選択するためのＵＩを提供し、システムの使用者が撮影デバイスを選択した場合、システムの使用者が選択した撮影デバイスの映像を優先して取得する。なお、画像取得部３１ｃは、システムの使用者によって映像取得の優先度が変化した場合、認識部３２の認識処理の優先度も同様に変化させる。これによって、システムの使用者が選択した撮影デバイスは、映像の取得および認識処理が優先的に処理される。
【０１０５】
画像取得部３１ｃがＧＵＩを提供する場合の一例を図８に示す。図１０に示すＧＵＩは、映像表示部Ｆ８−１からＦ８−４を備える。映像表示部Ｆ８−１からＦ８−４は、それぞれが各撮影デバイスに対応し、映像を一覧表示する。映像表示部Ｆ８−１からＦ８−４のいずれかをシステムの使用者がクリックすることで、対応する撮影デバイスが選択状態となり、次回認識処理時に優先的に映像を取得される。また、映像に重畳して前回の認識処理時刻と、処理時間決定部４４が推定した次回の認識タイミングの時刻を表示する。
【０１０６】
画像取得部３１ｃが提供するＵＩは図１０の一例に限定されない。たとえば、対象の撮影デバイス名を入力するＵＩであってもよいし、地図上に重畳表示されたカメラアイコンをクリックすることで対応する撮影デバイスを選択するＵＩであってもよい。
【０１０７】
以上説明したように、本実施形態における画像処理装置は、システムの使用者による入力によって映像取得や認識処理の優先度を変化させる。
【０１０８】
［その他の実施形態］
以上の実施形態では、認識条件が認識タイミングである場合を例に説明したが、認識条件は認識タイミングに限定しない。たとえば、認識処理の各種パラメータであってもよいし、実行予定の認識処理の種類であってもよい。また、たとえば前回の認識処理の結果であってもよい。
【０１０９】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。
【符号の説明】
【０１１０】
１  人物
２０  撮影装置
【図１】
2020198507.tif 000003
【図２】
2020198507.tif 000004
【図３】
2020198507.tif 000005
【図４】
2020198507.tif 000006
【図５】
2020198507.tif 000007
【図６】
2020198507.tif 000008
【図７】
2020198507.tif 000009
【図８】
2020198507.tif 000010
【図９】
2020198507.tif 000011
【図１０】
2020198507.tif 000012
【図１１】
2020198507.tif 000013
【図１２】
2020198507.tif 000014
【図１３】
2020198507.tif 000015
【図１４】
2020198507.tif 000016