(57)【要約】      （修正有）【課題】オブジェクトの誤検出をより正確に判断できるようにする情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】撮像手段により撮影された撮影画像からオブジェクトを検出する。検出されたオブジェクトの特徴量と、撮像手段に対するオブジェクトの方向とを求める。それらに基づいて、オブジェクトの特徴の予測値を算出する。次の検出タイミングで、予測値と検出手段によるオブジェクトの検出の結果の特徴量とを比較して、その検出結果が誤検出であるか否かを評価する。【選択図】図４
2018139058.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により撮影された撮影画像からオブジェクトを検出する検出手段と、
前記検出手段により検出されたオブジェクトの特徴量と、前記撮像手段に対する前記オブジェクトの方向と、に基づいて、前記検出手段による前記オブジェクトの検出の結果を評価する評価手段と、
を有する情報処理装置。
【請求項２】
前記評価手段は、前記オブジェクトの検出の結果を評価して、前記検出手段による前記オブジェクトの検出が誤検出であるか否かを決定する請求項１記載の情報処理装置。
【請求項３】
前記検出手段による検出の結果のうち、前記評価手段により誤検出でないと決定された結果を示す情報を出力する出力手段を更に有する請求項２記載の情報処理装置。
【請求項４】
前記評価手段は、前記特徴量と、前記方向に応じた前記特徴量の予測値と、に基づいて、前記検出手段による前記オブジェクトの検出の結果を評価する請求項１乃至３何れか１項記載の情報処理装置。
【請求項５】
前記予測値を生成する生成手段を更に有し、
前記評価手段は、前記特徴量と、前記生成手段により生成された前記方向に応じた前記予測値と、に基づいて、前記検出手段による前記オブジェクトの検出の結果を評価する請求項４記載の情報処理装置。
【請求項６】
前記生成手段は、前記方向に基づいて、前記予測値を生成する請求項５記載の情報処理装置。
【請求項７】
前記生成手段は、更に、前記評価手段による評価の結果に基づいて、前記予測値を生成し直す請求項５又は６記載の情報処理装置。
【請求項８】
前記生成手段は、前記撮像手段の設置位置に基づいて、前記予測値を生成する請求項５記載の情報処理装置。
【請求項９】
前記特徴量は、前記オブジェクトとして検出され得る領域のサイズである請求項１乃至８何れか１項記載の情報処理装置。
【請求項１０】
情報処理装置が実行する情報処理方法であって、
撮像手段により撮影された撮影画像からオブジェクトを検出する検出ステップと、
前記検出ステップで検出されたオブジェクトの特徴量と、前記撮像手段に対する前記オブジェクトの方向と、に基づいて、前記検出ステップでの前記オブジェクトの検出の結果を評価する評価ステップと、
を含む情報処理方法。
【請求項１１】
コンピュータを、請求項１乃至９何れか１項記載の情報処理装置の各手段として、機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
画像から人物や車等の特定のオブジェクト又は、その一部の領域を検出する技術が知られている。また、画像から特定のオブジェクトが映る領域を検出する際に、誤検出を低減するための技術が知られている。例えば、特許文献１には、オブジェクトが検出された領域が重複していた際、それらの重複状態から、それぞれの検出結果が誤検出か否かを判断する方法が開示されている。また特許文献２には、頭部が検出された領域から所定距離以内に、他の頭部が検出された領域が存在した場合、いずれかの検出結果を無効とする方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−６１８０２号公報
【特許文献２】特開２０１２−２１２９６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された技術では、オブジェクトが検出された二つ以上の領域が重複していなければ、オブジェクトが検出された領域を誤検出か否か判断できないという課題があった。したがって、領域が重複していない場合は、その領域にオブジェクトが含まれていない場合であっても誤検出と判断することができない。また、特許文献２に開示された技術では、注目している検出頭部領域から所定の範囲内の検出頭部領域は誤検出とみなすため、前述の所定の範囲内に存在する正しい検出頭部領域が誤検出と判断される可能性があるという課題があった。以上のように従来の技術では、オブジェクトの誤検出を正確に判断できない場合があった。
本発明は、オブジェクトの誤検出をより正確に判断できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の情報処理装置は、撮像手段により撮影された撮影画像からオブジェクトを検出する検出手段と、前記検出手段により検出されたオブジェクトの特徴量と、前記撮像手段に対する前記オブジェクトの方向と、に基づいて、前記検出手段による前記オブジェクトの検出の結果を評価する評価手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、オブジェクトの誤検出をより正確に判断することができる。
【図面の簡単な説明】
【０００７】
【図１】検出システムのシステム構成の一例を示す図である。
【図２】撮像装置等のハードウェア構成の一例を示す図である。
【図３】撮像装置等の機能構成の一例を示す図である。
【図４】検出処理の一例を示すフローチャートである。
【図５】撮影環境の一例を示す図である。
【図６】撮影された画像の一例を示す図である。
【図７】座標系同士の関係の一例を説明する図である。
【図８】検出の結果の一例を示す図である。
【図９】撮影環境の一例を示す図である。
【図１０】撮影された画像の一例を示す図である。
【図１１】オブジェクトと撮像装置との位置関係の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下に、本発明の好ましい実施の形態を、図面に基づいて詳細に説明する。
【０００９】
＜実施形態１＞
本実施形態では、検出システムは、以下のような処理を行う。即ち、検出システムは、撮像装置から見た被写体であるオブジェクトの方向と、その方向に映るオブジェクトを検出した結果、検出された領域から得られる特徴量がどの程度の値であるかを予測する。その後、実際に検出した検出された領域の特徴量の値が、前述の予測値から逸脱しているか否かを判断し、判断した結果に基づいて検出された各領域が誤検出か否かを決定する。本実施形態では、特徴量として検出された領域のサイズを使用する。しかしながらこの限りでは無く、サイズ以外の特徴量を用いても良い。
図１は、本実施形態の検出システムのシステム構成の一例を示す図である。
検出システムは、撮像装置１１０、クライアント装置１２０を含む。撮像装置１１０、クライアント装置１２０は、ネットワーク１５０を介して、相互に通信可能に接続されている。クライアント装置１２０は、入力装置１３０と表示装置１４０とに接続されている。
撮像装置１１０は、撮像を行うネットワークカメラ等の撮像装置である。クライアント装置１２０は、撮像装置１１０の駆動、撮像画像の取得、取得した画像に対してのオブジェクトの検出、解析等を行うパーソナルコンピュータ、サーバ装置、タブレット装置等の情報処理装置である。入力装置１３０は、マウスやキーボード等から構成される入力装置である。表示装置１４０は、クライアント装置１２０が出力した画像を表示するモニタ等の表示装置である。本実施形態では、クライアント装置１２０と入力装置１３０と表示装置１４０とは、各々独立した装置とする。しかし、例えば、クライアント装置１２０と表示装置１４０とが、一体化されていてもよいし、入力装置１３０と表示装置１４０とが一体化されていてもよい。また、クライアント装置１２０と入力装置１３０と表示装置１４０とが、一体化されていてもよい。
ネットワーク１５０は、撮像装置１１０とクライアント装置１２０とを接続するネットワークである。ネットワーク１５０は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態では、ネットワーク１５０は、撮像装置１１０とクライアント装置１２０との間の通信を行うことができるものであればよく、その通信規格、規模、構成を問わない。例えば、ネットワーク１５０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ  ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等により構成されてもよい。
【００１０】
図２（ａ）は、撮像装置１１０のハードウェア構成の一例を示す図である。
撮像装置１１０は、ＣＰＵ２１１、主記憶装置２１２、補助記憶装置２１３、駆動部２１４、撮像部２１５、ネットワークＩ／Ｆ２１６を含む。各要素は、システムバス２１７を介して、相互に通信可能に接続されている。
ＣＰＵ２１１は、撮像装置１１０の動作を制御する中央演算装置である。主記憶装置２１２は、ＣＰＵ２１１のワークエリア、データの一時的な記憶場所として機能するＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。補助記憶装置２１３は、各種プログラム、各種設定データ等を記憶するハードディスクドライブ（ＨＤＤ）、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）、ソリッドステートドライブ（ＳＳＤ）等の記憶装置である。
駆動部２１４は、撮像装置１１０を駆動し、撮像装置１１０の姿勢等を変更させ、撮像部２１５の撮影方向及び画角を変更する駆動部である。撮像部２１５は、撮像素子と光学系とを有し、光学系の光軸と撮像素子との交点を撮像中心として被写体の像を撮像素子上に結像する撮像部である。撮像素子には、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅｄ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等がある。ネットワークＩ／Ｆ２１６は、クライアント装置１２０等の外部の装置とのネットワーク１５０を介した通信に利用されるインターフェースである。
ＣＰＵ２１１が、補助記憶装置２１３に記憶されたプログラムに基づき処理を実行することによって、図３で後述する撮像装置１１０の機能及び撮像装置１１０の処理が実現される。
【００１１】
図２（ｂ）は、クライアント装置１２０のハードウェア構成の一例を示す図である。
クライアント装置１２０は、ＣＰＵ２２１、主記憶装置２２２、補助記憶装置２２３、入力Ｉ／Ｆ２２４、出力Ｉ／Ｆ２２５、ネットワークＩ／Ｆ２２６を含む。各要素は、システムバス２２７を介して、相互に通信可能に接続されている。
ＣＰＵ２２１は、クライアント装置１２０の動作を制御する中央演算装置である。主記憶装置２２２は、ＣＰＵ２２１のワークエリア、データの一時的な記憶場所として機能するＲＡＭ等の記憶装置である。補助記憶装置２２３は、各種プログラム、各種設定データ等を記憶するＨＤＤ、ＲＯＭ、ＳＳＤ等の記憶装置である。
入力Ｉ／Ｆ２２４は、入力装置１３０等からの入力を受付ける際に利用されるインターフェースである。出力Ｉ／Ｆ２２５は、表示装置１４０等への情報の出力に利用されるインターフェースである。ネットワークＩ／Ｆ２１６は、撮像装置１１０等の外部の装置とのネットワーク１５０を介した通信に利用されるインターフェースである。
ＣＰＵ２２１が、補助記憶装置２２３に記憶されたプログラムに基づき処理を実行することによって、図３で後述するクライアント装置１２０の機能及び図４で後述するフローチャートの処理等のクライアント装置１２０の処理が実現される。
【００１２】
図３（ａ）は、撮像装置１１０の機能構成の一例を示す図である。
撮像装置１１０は、撮像制御部３１１、信号処理部３１２、駆動制御部３１３、通信制御部３１４を含む。
撮像制御部３１１は、撮像部２１５を介して、周囲の環境を撮影する。信号処理部３１２は、撮像制御部３１１によって撮影された画像の処理を行う。信号処理部３１２は、例えば、撮像制御部３１１によって撮影された画像の符号化を行う。静止画の場合は、信号処理部３１２は、例えば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）等の符号化方式を用いて、画像の符号化を行う。また、動画の場合は、信号処理部３１２は、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（以下では、Ｈ．２６４）、ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ符号化方式）等の符号化方式を用いて、画像の符号化を行う。また、信号処理部３１２は、予め設定された複数の符号化方式の中から、例えば撮像装置１１０の操作部を介してユーザにより選択された符号化方式を用いて、画像の符号化を行うようにしてもよい。
駆動制御部３１３は、駆動部２１４を介して、撮像制御部３１１の撮影方向及び画角を変更させる制御を行う。しかし、駆動制御部３１３は、撮像制御部３１１による撮影方向と画角とのうちの何れか１つを変更することとしてもよい。また、撮像制御部３１１の撮影方向及び画角は、固定であってもよい。通信制御部３１４は、信号処理部３１２により処理された撮像制御部３１１により撮影された画像を、ネットワークＩ／Ｆ２１６を介して、クライアント装置１２０に送信する。また、通信制御部３１４は、ネットワークＩ／Ｆ２１６を介して、クライアント装置１２０から撮像装置１１０に対する制御命令を受信する。
【００１３】
図３（ｂ）は、クライアント装置１２０の機能構成の一例を示す図である。
クライアント装置１２０は、入力情報取得部３２１、通信制御部３２２、画像取得部３２３、検出部３２４、予測部３２５、評価部３２６、表示制御部３２７を含む。
入力情報取得部３２１は、入力装置１３０を介したユーザによる入力を受け付ける。通信制御部３２２は、撮像装置１１０から送信された画像を、ネットワーク１５０を介して受信する。また、通信制御部３２２は、撮像装置１１０への制御命令を、ネットワーク１５０を介して送信する。画像取得部３２３は、通信制御部３２２を介して、撮像装置１１０から、撮像装置１１０により撮影された画像を、オブジェクトの検出処理の対象である画像として取得する。また、画像取得部３２３は、補助記憶装置２２３に記憶されている画像を、オブジェクトの検出処理の対象である画像として取得してもよい。
検出部３２４は、画像取得部３２３により取得された画像から、検出対象のオブジェクトの検出処理を行う。予測部３２５は、画像中で検出され得るオブジェクトの特徴量の予測を行う。評価部３２６は、予測部３２５により予測された画像中で検出され得るオブジェクトの特徴量と、検出部３２４により検出されたオブジェクトの特徴量と、に基づいて、検出部３２４の検出結果が誤検出か否かを判定する。表示制御部３２７は、ＣＰＵ２２１からの指示にしたがって画像を表示装置１４０へ出力する。表示制御部３２７は、例えば、検出部３２４により検出されたオブジェクトのうち、評価部３２６により誤検出と判定されたものを除いたものを示す画像を、表示装置１４０へ出力する。
【００１４】
図４は、オブジェクトの検出処理の一例を示すフローチャートである。図４を用いて、クライアント装置１２０が撮像装置１１０から画像を取得し、取得した画像中のオブジェクトを検出し、検出された各領域それぞれに対して、検出結果が誤検出か否かを判定する処理を説明する。
Ｓ４００において、画像取得部３２３は、通信制御部３２２を介して、撮像装置１１０から、撮像装置１１０により撮影された画像を、オブジェクトの処理の対象の画像として取得する。以下では、Ｓ４００で取得された撮像装置１１０により撮影された画像を、撮影画像とする。本実施形態では、検出対象のオブジェクトは、人体であるとする。
図５は、本実施形態における、撮像装置１１０により撮影される撮影環境の一例を示す図である。図５で、撮像装置１１０から延びる実線で囲まれる範囲は、撮像装置１１０の可視範囲を示す。また、オブジェクト５０１〜５０３は、本実施形態における検出対象のオブジェクトである人体を示す。本実施形態では、検出システムは、人体を検出するが、自動車、荷物、ドローン、動物等の人体以外のオブジェクトを検出することとしてもよい。
【００１５】
図６は、図５に示す撮影環境において、撮像装置１１０により撮影された撮影画像の一例を示す図である。画像６００は、撮像装置１１０により図５の撮影環境が撮影された撮影画像を示す。図６では、オブジェクト５０１〜５０３は、図５中のオブジェクト５０１〜５０３と同じオブジェクトである。
また、本実施形態では、クライアント装置１２０は、撮像装置１１０からリアルタイムで撮影されたライブ映像を受信して、当該受信したライブ映像（動画）の各フレームに対し図４の処理を行う。しかしながら、クライアント装置１２０は、例えば、撮像装置１１０内の補助記憶装置２１３に記憶されている静止画、又は動画の各フレームに対して図４の処理を行ってもよい。また、クライアント装置１２０は、クライアント装置１２０内の補助記憶装置２２３に記憶されている静止画、又は動画の各フレームに対して図４の処理を行ってもよい。また、クライアント装置１２０は、外部の録画サーバにアクセスし、録画サーバ内に記憶されている静止画、又は動画の各フレームに対して図４に示す処理を行ってもよい。
また、本実施形態では、クライアント装置１２０は、図４の処理を行う前に予め撮像装置１１０により撮影された撮影画像の任意の座標（ｘ、ｙ）が、撮像装置１１０からどの方向に存在するかを求める。
【００１６】
撮像装置１１０の視点（撮像部２１５が撮影対象の環境を見るときの立脚点）を原点として、原点を通る水平な平面上に原点を通り直行するＷｘ軸及びＷｙ軸と、原点を通り垂直な方向に伸びるＷｚ軸と、を想定する。このＷｘ軸、Ｗｙ軸、Ｗｚ軸の３つの軸で特定される３次元座標を、ワールド座標系とする。
ワールド座標系上の座標は、例えば、（ｘ、ｙ、ｚ）のように、３軸上のそれぞれの位置を並べる形式で示すことができる。また、ワールド座標系上の座標は、例えば、（φ、θ、ｒ）のように、球面座標で表すこともできる。ここで、φは、Ｗｘ軸と、Ｗｘ軸とＷｙ軸とを含む平面にその座標が投影された点と原点とを通る直線と、がなす角度を示す。また、θは、Ｗｚ軸と、原点とその座標とを通る直線と、がなす角度である。また、ｒは、原点からその座標までの長さである。
ここで、球面座標で表示されたワールド座標系上の座標におけるφ及びθは、撮像装置１１０に対してその座標がどの方向に存在するかを示す情報である。本実施形態では、クライアント装置１２０は、撮影画像中のオブジェクトの位置に対応するスクリーン座標系上の座標から、ワールド座標系上の座標におけるθとφとを求めることで、撮像装置１１０に対するオブジェクトの方向を特定する。
【００１７】
また、撮像装置１１０の視点を原点として、原点を通る撮像装置１１０の撮影方向（光軸方向）に伸びるＶｚ軸と、原点を通り撮像装置１１０により撮影される画像における水平方向に伸びるＶｘ軸と、を想定する。また、原点を通り撮像装置１１０により撮影される画像における垂直方向に伸びるＶｙ軸を想定する。このＶｘ軸、Ｖｙ軸、Ｖｚ軸の３つの軸で特定される３次元座標を、ビュー座標系とする。
また、撮像装置１１０により撮影される画像の中央を原点として、原点を通り、その画像における水平方向に伸びるＳｘ軸と、原点を通り、その画像における垂直方向に伸びるＳｙ軸と、を想定する。このＳｘ軸、Ｓｙ軸の２つの軸で特定される２次元座標を、スクリーン座標系とする。
【００１８】
図７は、ワールド座標系と、ビュー座標系と、スクリーン座標系と、の関係の一例を説明する図である。また、Ｓｘ、Ｓｙに接する矩形が撮像装置１１０により撮影される画像（スクリーン）を示す。図７中のＳｗは、スクリーンの横幅の半分の長さ（撮影画像の半分の長さ）を示す。また、図７中のｄは、ビュー座標系、及びワールド座標系の原点からスクリーンまでの距離を示す。また、図７中の（ｘ、ｙ）は、スクリーン座標上の１点を示す。（φ、θ、ｒ）は、点（ｘ、ｙ）の座標を球面座標で表現した座標である。
つまり、クライアント装置１２０は、撮像装置１１０により撮影された画像のスクリーン座標系における任意の座標（ｘ、ｙ）から、方向（φ、θ）を求めるためには、以下のような処理を行う。即ち、クライアント装置１２０は、スクリーン座標系からビュー座標系へ変換を行い、ビュー座標系からワールド座標系へ変換を行った後、ワールド座標系上の点を球面座標の表現に変換すればよい。
スクリーン座標系からワールド座標系へ変換する方法について説明する。まず、クライアント装置１２０は、ビュー座標系原点から、スクリーンまでの距離ｄを以下の式（１）に基づいて、求める。
【００１９】
【数１】
2018139058.tif 000003
【００２０】
式（１）中のφｍａｘは、撮像装置１１０の水平画角を示す。クライアント装置１２０は、撮像装置１１０の画角等の撮影の際の条件の情報を、撮像装置１１０から取得することができる。撮像装置１１０は、クライアント装置１２０からの要求に応じて、例えば、補助記憶装置２１３に記憶された撮像装置１１０の画角等の撮影の際の条件の情報をクライアント装置１２０に送信する。
スクリーン座標系の任意の点（ｘ、ｙ）は、ビュー座標系上では、（ｘ、ｙ、ｄ）で表すことができる。クライアント装置１２０は、ビュー座標系からワールド座標系へ変換する変換行列を、上記ビュー座標系の点（ｘ、ｙ、ｄ）に適用することで、ビュー座標系からワールド座標系へ変換することができる。本実施形態では、クライアント装置１２０は、四元数による変換行列を用いてスクリーン座標系からワールド座標系へ変換を行う。しかし、クライアント装置１２０は、例えば、ｘ、ｙ、ｚの各軸周り回転行列を用いてもよい。
ビュー座標系からワールド座標系へ変換するためには、撮像装置１１０の光軸方向の情報が必要である。本実施形態では、クライアント装置１２０は、撮像装置１１０内のジャイロセンサから出力される情報に基づいて、撮像装置１１０の姿勢を求める。また、撮像装置１１０が、撮像装置１１０内のジャイロセンサから出力される情報に基づいて、撮像装置１１０の姿勢を求め、求めた姿勢の情報をクライアント装置１２０に送信してもよい。また、クライアント装置１２０は、例えば、入力装置１３０を介したユーザの操作に基づいて、撮像装置１１０の姿勢の情報の入力を受付けることで、撮像装置１１０の姿勢の情報を取得してもよい。また、クライアント装置１２０は、撮像装置１１０が行ったパン、チルト駆動の情報を取得して、取得したパン、チルト駆動の情報から撮像装置１１０の姿勢の情報を取得してもよい。また、クライアント装置１２０は、床の上に置かれたテストチャートに基づいて、撮像装置１１０のカメラ校正を行ってもよい。
【００２１】
Ｓ４０１において、検出部３２４は、Ｓ４００で取得されたた撮影画像から、検出対象として設定されたオブジェクトである人体を検出する検出処理を行う。
本実施形態では、検出部３２４は、まず、Ｓ４００で取得された撮影画像に対し、様々なサイズでスケーリングを行うことで、複数の撮影画像の拡大・縮小画像（以下では、スケール画像）を取得する。検出部３２４は、取得した複数の撮影画像の拡大・縮小画像に対して、オブジェクトの検出処理を行うことで、様々なサイズのオブジェクトを検出可能である。
次に、検出部３２４は、撮像画像の各スケール画像に対して、特定のサイズの検出窓を用いてラスタースキャンする。補助記憶装置２２３は、予め学習データを用いて計算された検出対象のオブジェクトの特徴量を記憶しておく。そして、検出部３２４は、スキャンの際に検出窓内から計算される特徴量と、補助記憶装置２２３に記憶された学習データに基づく特徴量と、の誤差が設定された閾値よりも小さい場合に、撮影画像中の検出窓の領域をオブジェクトであると判定する。この閾値の情報は、予め補助記憶装置２２３に記憶されている。また、検出部３２４は、検出したオブジェクトの領域の中心座標から、撮像装置１１０に対する検出したオブジェクトの方向を求めておく。より具体的には、検出部３２４は、検出したオブジェクトの領域の中心座標から、ワールド座標系における検出したオブジェクトの方向（φ、θ）を求める。
【００２２】
図８は、撮影画像に対する検出部３２４による検出処理の結果の一例を示す図である。図８において、領域８０１〜８０３は、それぞれ、オブジェクト５０１〜５０３が検出された領域を示す。また、領域８０４、８０５は、オブジェクトではなく、誤検出された領域を示す。領域８０４は、内部に、検出対象のオブジェクトに近い特徴をもつ部分があり、誤検出となって現れた結果を示す。また、領域８０５は、密集した複数のオブジェクトを含む領域が検出対象のオブジェクトに近い特徴を持ち、誤検出となって現れた結果を示す。
以下では、Ｓ４０１で検出されたＮ（１≦Ｎ）個の領域を、検出領域ｎ（ｎ＝１〜Ｎ）とする。
【００２３】
Ｓ４０２において、予測部３２５は、撮影画像の各部に写るオブジェクトの検出領域のサイズの予測値を更新するか否かを判定する。本実施形態では、予測部３２５は、図４の処理が初めて実行される場合、又は、前回の図４の処理から一定期間経過した場合、撮影画像の各部に写るオブジェクトの検出領域のサイズの予測値を更新すると判定し、Ｓ４０３の処理に進む。また、予測部３２５は、図４の処理が初めて実行されるわけではない場合、かつ、前回の図４の処理から一定期間経過していない場合、撮影画像の各部に写るオブジェクトの検出領域のサイズの予測値を更新しないと判定し、Ｓ４０４の処理に進む。
Ｓ４０３において、予測部３２５は、各検出領域に基づき、各検出領域の方向におけるオブジェクトのサイズの予測値を更新する。本実施形態では、予測部３２５は、Ｓ４０１で検出した検出領域の方向、及びサイズに基づき、球面調和関数を用いた補間を行い、各方向に映るオブジェクトの検出領域のサイズの予測を行う。そのため、予測部３２５は、以下の式（２）に基づき球面調査関数の基底の係数ｃを計算する。
【００２４】
【数２】
2018139058.tif 000004
【００２５】
式（２）中のφｎ、θｎは、それぞれＳ４０１で検出された検出領域ｎ（ｎ＝１〜Ｎ）の方向を表す。Ｙは、球面調和関数の基底関数を表し、第一引数が次数、第二引数が位数、第三、第四引数が検出領域の方向である。また、ｓｎは、検出領域ｎのサイズを表す。予測部３２５は、式（２）を用いて、球面調和関数Ｙ（ｌ、ｍ、φ、θ）の係数ｃ（ｌ、ｍ）を、得ることができる。そして、予測部３２５は、任意の方向（φ、θ）における検出領域のサイズの予測値ｓ（φ、θ）を、以下の式（３）に基づき計算する。
【００２６】
【数３】
2018139058.tif 000005
【００２７】
本実施形態では、次数ｌは、できる限り小さな値を用いる。これにより、領域８０４、８０５のような、周りとサイズが顕著に異なる検出領域を用いて球面調和関数の係数を計算しても、高周波をカットした補間が可能になり、それらを外れ値とみなすことができる。
また、球面調和関数の各基底は、位数が０の場合、θの値にのみ依存し、φの値に依存しない。そのため、本実施形態では、オブジェクトの領域のサイズは、撮像装置１１０からオブジェクトまでのワールド座標系における俯角のみに依存し、方位角には依存しないと仮定し、位数ｍを０とする。
このように、予測部３２５は、球面調和関数を用いて、オブジェクトの検出領域のサイズの予測値を求める。予測部３２５は、球面調和関数を用いることで、ワールド座標系における撮像装置１１０からの方向に応じた予測値を求めることができる。
例えば、撮像装置１１０のパンチルト駆動が発生し、撮像装置１１０の視野が変化したとする。しかし、撮像装置１１０とオブジェクトとのワールド座標系における位置関係は、変化しない。そのため、クライアント装置１２０は、ワールド座標系において、球面調和関数を用いて求められたオブジェクトの検出領域のサイズの予測値を、撮像装置１１０の視野の変更前でも変更後でも、同様に利用できる。そのため、予測部３２５は、球面調和関数を用いることで、撮像装置１１０の視野が変化する度に、各方向についてオブジェクトの検出領域のサイズの予測値を計算しなくてもよくなり、計算の処理の負担を軽減できる。また、予測部３２５は、球面調和関数以外の放射基底関数等のワールド座標系における撮像装置１１０からの方向に基づき検出領域のサイズを近似できる関数を用いて、オブジェクトの検出領域のサイズの予測値を求めても、同様の効果を得ることができる。
【００２８】
Ｓ４０４において、評価部３２６は、検出領域ｎのリストを作成し、補助記憶装置２２３等に記憶する。評価部３２６は、作成するリスト内の各ノードに、各検出領域のサイズ、中心座標、及び方向を格納する。図７の例では、評価部３２６は、リストに領域８０１〜８０５それぞれの矩形のサイズ、中心座標、及び中心座標から計算された方向の情報を格納する。
次に、評価部３２６は、Ｓ４０４で作成したリストを走査しながら、リスト内の各検出領域が誤検出か否かを判定する。誤検出か否かを判定する処理の流れは、以下の通りである。
Ｓ４０５において、評価部３２６は、Ｓ４０４で作成したリストから、先頭の検出領域を選択する。以下、現在選択されている検出領域を、検出領域ｉとする。
【００２９】
Ｓ４０６において、評価部３２６は、Ｓ４０５又は後述するＳ４１０で選択した検出領域の特徴量であるサイズと、Ｓ４０５又はＳ４１０で選択した検出領域の方向と、に基づいて、以下の処理を行う。即ち、評価部３２６は、Ｓ４０５又はＳ４１０で選択した検出領域が誤検出されたものであるか否かを判定する処理を行う。評価部３２６は、例えば、検出領域ｉのサイズｓ'（φｉ、θｉ）と、検出領域ｉの方向（φｉ、θｉ）に対応するオブジェクトの検出領域のサイズの予測値ｓ（φｉ、θｉ）と、を比較することにより、検出領域ｉについて、検出の結果を評価する。
本実施形態では、評価部３２６は、検出領域ｉについてのオブジェクトの検出が誤検出であるか否か決定することで、検出領域ｉに係る検出の結果を評価する。しかし、評価部３２６は、例えば、検出領域ｉについて、検出領域ｉがオブジェクトある確からしさを示す設定された尤度を求めることで、検出領域ｉに係る検出の結果を評価することとしてもよい。
評価部３２６は、検出領域ｉのサイズｓ'（φｉ、θｉ）が、検出領域ｉの方向（φｉ、θｉ）から予測部３２５により予測されたサイズの予測値ｓ（φｉ、θｉ）からどの程度逸脱しているかの度合いに基づいて、検出領域ｉに係る検出の結果を評価する。本実施形態では、評価部３２６は、検出領域ｉのサイズｓ'（φｉ、θｉ）が、以下の式（４）に示す条件を満たす場合には、検出領域ｉに係るオブジェクトの検出の結果が誤検出ではないと決定する。一方、評価部３２６は、検出領域ｉのサイズｓ'（φｉ、θｉ）が式（４）の条件を満たさない場合、検出領域ｉに係るオブジェクトの検出の結果が誤検出であると決定する。
【００３０】
【数４】
2018139058.tif 000006
【００３１】
本実施形態では、式（４）中のα（φｉ、θｉ）及びβ（φｉ、θｉ）の値は、どちらもｓ（φｉ、θｉ）の１０％の値とする。しかしながら、評価部３２６は、例えば、α、βの値を、球面調和関数を用いて求めてもよい。その際、評価部３２６は、α、βの係数の計算として、α、βの係数をランダムに変化させ、予め誤検出か否かが判別されている検出領域のデータの幾つかを式（４）で判断させ、正しく誤検出と判断できた検出領域の数が最も多い係数の値を採用してもよい。
このように、評価部３２６は、検出領域ｉのサイズの予測値に対する逸脱の度合いに基づいて誤検出か否か決定する。
本実施形態では、予測部３２５は、撮影画像に対するオブジェクトの検出の結果、得られた検出領域を利用して、予測値の生成を行う。しかしながら、予測部３２５は、例えば、撮影画像から検出されたオブジェクトの数が設定された閾値よりも少なければ、過去の撮影画像に対して行った検出結果を利用してもよい。予測部３２５は、過去の撮影画像について検出された検出領域について、それぞれのサイズ、中心座標、及び撮像装置１１０からの方向を補助記憶装置２２３等に記憶しておくことにより、過去の撮影画像を利用できる。
【００３２】
Ｓ４０７において、評価部３２６は、検出領域ｉが誤検出であることを示す情報を、Ｓ４０４で作成されたリストに記憶する。
Ｓ４０８において、評価部３２６は、検出領域ｉが誤検出で無いことを示す情報を、Ｓ４０４で作成されたリストに記憶する。
Ｓ４０９において、評価部３２６は、検出領域ｉがＳ４０４で作成されたリストの末尾の検出領域であるか否かを判定する。評価部３２６は、検出領域ｉがＳ４０４で作成されたリストの末尾の検出領域であると判定した場合、Ｓ４１１の処理に進む。また、評価部３２６は、検出領域ｉがＳ４０４で作成されたリストの末尾の検出領域でないと判定した場合、Ｓ４１０の処理に進む。
【００３３】
Ｓ４１０において、評価部３２６は、Ｓ４０４で作成されたリストにおける現在の検出領域ｉの次の検出領域を、新たな検出領域ｉとして選択し、Ｓ４０６の処理に進む。こうして、評価部３２６は、リストに登録されている検出領域について、誤検出か否かを順次に決定する。
Ｓ４１１において、表示制御部３２７は、撮影画像である画像４００を、検出対象の被写体の検出結果とともに表示装置１４０に表示することで、検出結果を出力する。表示制御部３２７は、例えば、評価部３２６により誤検出でないと決定された各検出領域を示す枠を撮影画像に重畳して表示する。例えば、表示制御部３２７は、図８の画面から、領域８０４〜８０５の矩形枠を除いた画面を表示する。なお、表示制御部３２７は、検出領域を示す枠として、矩形以外の楕円等の形状の枠を表示してもよい。
【００３４】
以上、本実施形態では、クライアント装置１２０は、撮像装置１１０により撮影された画像からオブジェクトを検出し、検出された各検出領域について、以下の処理を行うこととした。即ち、クライアント装置１２０は、画像中における検出領域のサイズと、撮像装置１１０に対する検出領域の方向に応じて設定された検出領域のサイズの予測値と、に基づいて、その検出領域が誤検出か否かを決定した。
これにより、検出システムは、誤検出の可能性を低減することができる。また、検出システムは、複数のオブジェクトが密集している場合でも、誤検出でない検出領域の近辺の検出領域を誤検出とするわけではない。このように、検出システムは、オブジェクトの誤検出をより正確に判断できる。
【００３５】
本実施形態では、検出システムは、オブジェクトの特徴量として、検出領域のサイズを利用した。しかし、検出システムは、例えば、オブジェクトの特徴量として、検出領域の平均の明度を利用してもよい。例えば、撮像装置１１０が撮影する撮影環境が日陰の領域と、照明の当たっている領域と、が含まれるとする。その場合、検出対象のオブジェクトが日陰の領域に存在する場合、画像中における検出領域の平均明度は、オブジェクトが証明の当たっている領域に存在する場合に比べて、低くなると想定できる。
そこで、評価部３２６は、検出領域の方向が、日陰領域を示す方向を向いている場合、検出領域の平均明度が設定された閾値以上である場合、誤検出と決定し、設定された閾値未満である場合、誤検出でないと決定してもよい。また、評価部３２６は、検出領域の方向が、照明の当たっている領域を示す方向を向いている場合、検出領域の平均明度が設定された閾値未満である場合、誤検出と決定し、設定された閾値以上である場合、誤検出でないと決定してもよい。
【００３６】
＜実施形態２＞
実施形態１では、予測部３２５は、任意の方向に映るオブジェクトの検出領域のサイズの予測値を、図４の処理を初めて実行した場合、又は、前回の更新から一定期間経過していた場合に更新していた。また、予測部３２５は、オブジェクトの検出領域のサイズがワールド座標系における撮像装置１１０の俯角のみに依存し、方位角には依存しないと仮定し、オブジェクトの検出領域の予測に用いる球面調和関数の位数ｍを０に限定していた。本実施形態では、オブジェクトの検出領域のサイズが、ワールド座標系における撮像装置１１０の方位角にも依存する例について説明する。また、本実施形態では、オブジェクトの検出領域のサイズの方位角への依存が確認でき次第、検出領域のサイズの予測値を更新する処理について説明する。
本実施形態の検出システムのシステム構成は、実施形態１と同様である。また、撮像装置１１０、及びクライアント装置１２０のハードウェア構成及び機能構成は、実施形態１と同様である。
本実施形態におけるクライアント装置１２０の処理は、実施形態１と同様に、図４に示す処理である。
【００３７】
オブジェクトの検出領域のサイズがワールド座標系における撮像装置１１０の方位角に依存する撮影環境として、例えば、撮影された画像に階段が映り、階段を利用している人体が存在する場合や、床にしゃがみこんだ人体が存在する場合がある。図９、図１０を用いてこのような場合の例を説明する。
図９は、撮像装置１１０から同じ俯角の方向に複数のオブジェクトが存在する撮影環境の一例を示す図である。図９の例では、三つのオブジェクト９０１〜９０３が存在している。オブジェクト９０１は、床にしゃがみ込んでいる。オブジェクト９０２は、階段下に直立している。また、オブジェクト９０３は、階段上に直立している。この際、撮像装置１１０により図１０に示す画像１０００が撮影される。
【００３８】
図１０は、図９の撮影環境が撮像装置１１０により撮影された画像の一例を示す図である。図１０内のオブジェクト９０１〜９０３は、それぞれ図９の撮影環境のオブジェクト９０１〜９０３を示す。各オブジェクトは、撮像装置１１０から同じ俯角の方向に存在するにも関わらず、サイズにばらつきが見られることが図１０から分かる。この場合、実施形態１の処理では、オブジェクト９０１〜９０３の何れかが誤検出とみなされる可能性がある。
そこで、本実施形態では、クライアント装置１２０は、以下のような処理を行う。
クライアント装置１２０は、図４の処理を繰り返し、撮影画像の設定された部分で誤検出が頻発し、その誤検出された検出領域のサイズのばらつきが設定された閾値よりも低い場合、次のような処理を行う。即ち、クライアント装置１２０は、図９のように、オブジェクトの検出領域のサイズが方位角にも依存する撮影環境であると判断し、任意の方向に映るオブジェクトの検出領域のサイズの予測値を生成し直す。
例えば、評価部３２６は、図２の処理の繰り返しの際に、撮影画像を任意の数の領域に分割し、それぞれの領域内で誤検出が連続して発生したフレームをカウントし、カウント数を補助記憶装置２２３に記憶しておく。また、評価部３２６は、その際発生している誤検出された検出領域のサイズの情報を、補助記憶装置２２３に記憶しておく。そして、予測部３２５は、Ｓ２０２で、評価部３２６により補助記憶装置２２３に記憶されたカウント数と、誤検出された検出領域のサイズの情報と、に基づいて、オブジェクトの検出領域のサイズの予測値を更新するか否か判定する。予測部３２５は、例えば、そのカウント数が設定された閾値以上、かつ、連続して発生していた複数の誤検出に係る検出流域のサイズの分散の値が設定された閾値以下の場合、オブジェクトの検出領域のサイズの予測値を更新すると判定する。予測部３２５は、それ以外の場合、オブジェクトの検出領域のサイズの予測値を更新しないと判定する。この際、予測部３２５は、球面調和関数の位数ｍが０で無い基底も使用し、実施形態１のように位数ｍの限定を解除する。これにより、本実施形態では、予測部３２５は、局所的にサイズが異なる、任意の方向に映るオブジェクトの検出領域のサイズの予測値を生成することができる。
【００３９】
以上、本実施形態では、クライアント装置１２０は、過去に発生した誤検出の位置、及び誤検出された検出領域のサイズに基づいて、想定されている仮定の正当性を判断した。そして、クライアント装置１２０は、想定していた仮定が誤っていれば、他の仮定に基づいて、撮影画像中におけるオブジェクトの検出領域のサイズの予測値を生成し直し、生成し直した予測値に基づいて、検出されたオブジェクトの評価を行うこととした。即ち、クライアント装置１２０は、評価部３２６による過去の評価結果に基づいて、オブジェクトの検出領域のサイズの予測値を生成し直すこととした。これにより、クライアント装置１２０は、実施形態１と比べて、更に、オブジェクトの検出の精度を向上できる。
【００４０】
＜実施形態３＞
実施形態１、２では、クライアント装置１２０は、撮像装置１１０により撮影された撮影画像に対しオブジェクトの検出を実行した。そして、クライアント装置１２０は、その検出結果に基づいて、撮影画像中で任意の方向に映るオブジェクトの検出領域のサイズの予測値を生成していた。本実施形態では、クライアント装置１２０は、撮像装置１１０の設置位置に基づいて、任意の方向に映るオブジェクトの検出領域のサイズの予測値を生成する処理について説明する。
本実施形態の検出システムのシステム構成は、実施形態１と同様である。また、撮像装置１１０、及びクライアント装置１２０のハードウェア構成及び機能構成は、実施形態１と同様である。
本実施形態におけるクライアント装置１２０の処理は、実施形態１と同様に、図４に示す処理である。
【００４１】
本実施形態では、予測部３２５は、Ｓ２０３で、オブジェクトの検出領域のサイズの予測値を生成する際、撮像装置１１０の設置位置の情報を用いる。
図１１は、オブジェクトと撮像装置との位置関係の一例を示す図である。図１１の撮影環境は、撮像装置１１０が設置されている空間に、オブジェクト１１０１が存在している撮影環境を示す。図１１中のｗｐ１（ｘ１、ｙ１、ｚ１）は、オブジェクト１１０１の最上部のワールド座標系における座標を示す。また、ｗｐ２（ｘ２、ｙ２、ｚ２）は、オブジェクト９０１の最下部のワールド座標系における座標を示す。この場合、ｚ２は、撮像装置１１０の設置高さから求まる。ｚ１は、オブジェクトの高さから求まる。例えば、二つの点ｗｐ１、ｗｐ２を、ワールド座標系からビュー座標系上の座標ｖｐ１、ｖｐ２へ変換する。その後、ビュー座標系からスクリーン座標系上の点ｓｐ１、ｓｐ２へ変換する。この際、クライアント装置１２０は、撮像画像上の点ｓｐ１とｓｐ２との距離を計算し、計算した距離に基づいて、ワールド座標系上の点ｗｐ２に存在する被写体を検出した際のサイズを計算することができる。
【００４２】
本実施形態では、予測部３２５は、初めて図４の処理を行う際、以下の処理を行う。撮像装置１１０は、オブジェクト１１０１が存在する場所を変えながら図１１の撮影環境を撮影し、図１１の撮影環境の撮影画像を複数パターン用意する。予測部３２５は、撮像装置１１０により撮影された複数パターンの撮影画像それぞれについて、オブジェクト１１０１のサイズを求める。そして、予測部３２５は、求めたサイズに基づいて、撮影画像中で任意の方向に映るオブジェクトの検出領域のサイズの予測値を生成する。これにより、予測部３２５は、オブジェクトの検出処理の実行前に、オブジェクトの検出領域のサイズの予測値を生成することができる。
本実施形態では、予測部３２５は、初めて図２の処理が行われる際にのみ、予測値を生成するとしたが、動的に予測値の更新を行ってもよい。
また、本実施形態では、実施形態１同様、予測部３２５は、使用する球面調和関数の基底を位数ｍが０の物に限定する。しかしながら予測部３２５は、実施形態２と同様に、動的に制限を解除してもよい。
【００４３】
以上、本実施形態では、予測部３２５は、撮像装置１１０の設置位置に基づいて、撮像装置１１０により撮影された撮影画像中のオブジェクトの検出領域のサイズの予測値を生成することとした。これにより、クライアント装置１２０は、撮像装置１１０に対するオブジェクトの方向でなく、撮像装置１１０の位置に基づいて、オブジェクトの検出領域のサイズの予測値を生成できる。
【００４４】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００４５】
例えば、上述した検出システムの機能構成の一部又は全てをハードウェアとして撮像装置１１０又はクライアント装置１２０に実装してもよい。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよい。
【符号の説明】
【００４６】
１１０  撮像装置
１２０  クライアント装置
２２１  ＣＰＵ
【図１】
2018139058.tif 000007
【図２】
2018139058.tif 000008
【図３】
2018139058.tif 000009
【図４】
2018139058.tif 000010
【図５】
2018139058.tif 000011
【図６】
2018139058.tif 000012
【図７】
2018139058.tif 000013
【図８】
2018139058.tif 000014
【図９】
2018139058.tif 000015
【図１０】
2018139058.tif 000016
【図１１】
2018139058.tif 000017