(57)【要約】【課題】  画像検索に用いるクエリを従来よりも簡便な方法でもって指定可能な技術を提供すること。【解決手段】  物体画像が複数の基準物体画像と同じクラスに属するか否かを判断する。属すると判断した場合には、物体画像をクエリ候補画像として登録し、属さないと判断した場合には、物体画像を非クエリ候補画像として登録する。【選択図】  図１
2018081452.tif 000002
【特許請求の範囲】
【請求項１】
物体画像が複数の基準物体画像と同じクラスに属するか否かを判断する判断手段と、
前記判断手段が属すると判断した場合には、前記物体画像をクエリ候補画像として登録し、前記判断手段が属さないと判断した場合には、前記物体画像を非クエリ候補画像として登録する登録手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記判断手段は、前記物体画像の局所特徴量が、前記複数の基準物体画像の局所特徴量と同じクラスに属するか否かを判断することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判断手段は、前記物体画像の局所特徴量が、前記複数の基準物体画像の局所特徴量と同じクラスに属するか否かに応じた値を有する評価値を求めることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記登録手段は、前記評価値が、前記物体画像の局所特徴量が前記複数の基準物体画像の局所特徴量と同じクラスに属することを示す値である場合には、前記物体画像をクエリ候補画像として登録し、前記評価値が、前記物体画像の局所特徴量が前記複数の基準物体画像の局所特徴量と同じクラスに属することを示す値ではない場合には、前記物体画像を非クエリ候補画像として登録することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
更に、
複数のカメラにより撮像された画像から抽出された物体画像のうち同じ物体の物体画像を用いて該物体の位置を求め、該位置に最も近い位置に設けられているカメラにより撮像された画像から抽出された物体画像を特定する特定手段を備え、
前記判断手段は、前記特定手段が特定した物体画像が複数の基準物体画像と同じクラスに属するか否かを判断することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
階層型ニューラルネットワークに入力する画像と、該画像を該階層型ニューラルネットワークに入力した場合に該階層型ニューラルネットワークから出力される画像と、が同じ画像となるように学習済みの該階層型ニューラルネットワークを取得する手段と、
物体画像と、該物体画像を前記階層型ニューラルネットワークに入力した場合に前記階層型ニューラルネットワークから出力される画像と、の誤差が閾値未満であるか否かを判断する判断手段と、
前記誤差が閾値未満であれば、前記物体画像をクエリ候補画像として登録し、前記誤差が閾値以上であれば、前記物体画像を非クエリ候補画像として登録する登録手段と
を備えることを特徴とする画像処理装置。
【請求項７】
前記登録手段は更に、前記物体画像を前記階層型ニューラルネットワークに入力した場合における該階層型ニューラルネットワークの中間層からの出力を、該物体画像の局所特徴量として登録することを特徴とする請求項６に記載に画像処理装置。
【請求項８】
更に、
前記クエリ候補画像として登録された物体画像を表示部に一覧表示する表示制御手段を備えることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記表示制御手段は、前記クエリ候補画像として登録された物体画像のうち、ユーザによる操作に応じて選択された属性に対応する物体画像を前記表示部に一覧表示することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
更に、
前記表示部に一覧表示された物体画像からユーザによる操作に応じて選択された物体画像をクエリとし、前記クエリ候補画像として登録された画像及び前記非クエリ候補画像として登録された画像に対する検索を行う検索手段を備えることを特徴とする請求項８又は９に記載の画像処理装置。
【請求項１１】
前記登録手段は、前記判断手段が属すると判断した場合には、前記物体画像をクエリ候補画像として第１の格納部及び第２の格納部に登録し、前記判断手段が属さないと判断した場合には、前記物体画像を非クエリ候補画像として前記第１の格納部には登録せずに前記第２の格納部に登録し、
前記検索手段は、前記表示部に一覧表示された物体画像からユーザによる操作に応じて選択された物体画像をクエリとし、前記第２の格納部に登録されている物体画像に対する検索を行うことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の判断手段が、物体画像が複数の基準物体画像と同じクラスに属するか否かを判断する判断工程と、
前記画像処理装置の登録手段が、前記判断工程で属すると判断した場合には、前記物体画像をクエリ候補画像として登録し、前記判断工程で属さないと判断した場合には、前記物体画像を非クエリ候補画像として登録する登録工程と
を備えることを特徴とする画像処理方法。
【請求項１３】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の取得手段が、階層型ニューラルネットワークに入力する画像と、該画像を該階層型ニューラルネットワークに入力した場合に該階層型ニューラルネットワークから出力される画像と、が同じ画像となるように学習済みの該階層型ニューラルネットワークを取得する工程と、
前記画像処理装置の判断手段が、物体画像と、該物体画像を前記階層型ニューラルネットワークに入力した場合に前記階層型ニューラルネットワークから出力される画像と、の誤差が閾値未満であるか否かを判断する判断工程と、
前記画像処理装置の登録手段が、前記誤差が閾値未満であれば、前記物体画像をクエリ候補画像として登録し、前記誤差が閾値以上であれば、前記物体画像を非クエリ候補画像として登録する登録工程と
を備えることを特徴とする画像処理方法。
【請求項１４】
コンピュータを、請求項１乃至１１の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索技術に関するものである。
【背景技術】
【０００２】
監視エリア内に設置された複数の監視カメラによる映像から物体を検出し、該検出した物体の画像をデータベースに登録し、該データベースから特定の物体の画像を検索する検索装置が提案されている。特許文献１では、監視カメラによる映像から顔画像を抽出して顔画像の特徴量を生成し、ユーザが映像の中から指定した顔画像の特徴量を用いて検索処理を実行し、類似する特徴量を持つ顔画像を検索する監視映像検索装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許５２２７９１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の監視映像検索装置では、検索を実行するためには検索したい対象の顔画像を映像の中から指定する必要がある。そのため、検索したい対象の顔を映像内から探すことがユーザにとって手間になっている。
【０００５】
本発明はこのような問題に鑑みてなされたものであり、画像検索に用いるクエリを従来よりも簡便な方法でもって指定可能な技術を提供する。
【課題を解決するための手段】
【０００６】
本発明の一様態は、物体画像が複数の基準物体画像と同じクラスに属するか否かを判断する判断手段と、前記判断手段が属すると判断した場合には、前記物体画像をクエリ候補画像として登録し、前記判断手段が属さないと判断した場合には、前記物体画像を非クエリ候補画像として登録する登録手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明の構成によれば、画像検索に用いるクエリを従来よりも簡便な方法でもって指定することができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置の機能構成例を示すブロック図。
【図２】入力画像の一例を示す図。
【図３】モデルについて説明する図。
【図４】画像処理装置の動作を示すフローチャート。
【図５】入力画像の一例を示す図。
【図６】モデルについて説明する図。
【図７】画像処理装置の機能構成例を示すブロック図。
【図８】位置推定部７２１の動作を説明する図。
【図９】物体画像及び該物体画像の局所特徴量の登録処理のフローチャート。
【図１０】画像処理装置の機能構成例を示すブロック図。
【図１１】画像処理装置の動作を示すフローチャート。
【図１２】コンピュータ装置のハードウェア構成例を示すブロック図。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。
【００１０】
［第１の実施形態］
先ず、本実施形態に係る画像処理装置の機能構成例について、図１のブロック図を用いて説明する。なお、本実施形態を含めた以降の各実施形態では、人物の検索のための構成について説明するが、検索対象が人物以外のオブジェクトであった場合には、以下の説明において人物の代わりにこのオブジェクトを採用すればよい。
【００１１】
画像取得部１０１は、入力画像を取得し、該取得した入力画像を後段の抽出部１０２に対して送出する。画像取得部１０１による入力画像の取得形態については特定の取得形態に限らない。例えば画像取得部１０１は、監視カメラが撮像して順次出力する各フレームの画像を入力画像として該監視カメラから取得しても良いし、記憶装置に格納しておいた複数の画像を順次入力画像として該記憶装置から取得しても良い。
【００１２】
抽出部１０２は、画像取得部１０１から受けた入力画像から人物等の物体が写っている領域を物体領域として抽出し、該抽出した物体領域内の画像を物体画像として後段の評価部１０３に対して出力する。つまり、物体画像内に写っているものは、車や犬など、人物以外の物体である可能性がある。なお、人物のみを対象とし、入力画像から人物が写っている領域を物体領域として抽出し、該抽出した物体領域内の画像を物体画像として後段の評価部１０３に対して出力するようにしても良い。
【００１３】
入力画像の一例を図２に示す。図２に示す入力画像２０１が画像取得部１０１から抽出部１０２に入力された場合、抽出部１０２は、入力画像２０１中の物体画像２０２を後段の評価部１０３に対して出力する。入力画像から物体画像を取得するための方法には様々な方法があり、本実施形態では如何なる方法を採用しても良い。例えば、入力画像中の各画素のうち、あらかじめ用意した背景画像において対応画素位置の画素と画素値が異なる画素を対象画素として特定し、対象画素から成る領域を物体領域とする方法を採用しても良い。またその他の方法として、物体検出方法を用いることもできる。たとえば、以下の文献１に記載の方法を用いて物体検出処理を実行し、検出した領域内の画像を物体画像とすることもできる。
【００１４】
（文献１）  Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  ｏｒｉｅｎｔｅｄ  ｇｒａｄｉｅｎｔｓ  ｆｏｒ  ｈｕｍａｎ  ｄｅｔｅｔｃｔｉｏｎ，Ｎ．Ｄａｌａｌ，ＣＶＰＲ２００５
評価部１０３は、抽出部１０２から入力されたそれぞれの物体画像について以下に説明するような処理を行って、該物体画像の評価値を算出する。先ず評価部１０３は、物体画像から局所特徴量を抽出する。物体画像から抽出する局所特徴量は特定の特徴量に限らず、例えば、上記の文献１に開示されているようなＨＯＧ特徴量や、以下の文献２に開示されているようなＳＩＦＴ特徴量を物体画像から抽出するようにしても良い。
【００１５】
（文献２）  Ｄａｖｉｄ  Ｇ  Ｌｏｗｅ，“Ｄｉｓｔｉｎｃｔｉｖｅ  Ｉｍａｇｅ  Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ｓｃｌａｅ−Ｉｎｖａｒｉａｎｔ  Ｋｅｙｐｏｉｎｔｓ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ６０（２）：９１−１１０
次に評価部１０３は、予め作成したモデルを物体画像の局所特徴量に適用して、該物体画像の局所特徴量が、予め用意した様々な人物の人物画像の局所特徴量と同じクラス（分類）に属するのか否かを判断し、その判断結果に応じて該物体画像の評価値を求める。このモデルについて図３を用いて説明する。ここで用いるモデルとは、次のような過程を経て作成されたものである。先ず、予め用意された様々な人物（例えば検索したい人物）の人物画像３０３の局所特徴量をＧＭＭ（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）でクラスタリングした結果をヒストグラム３０４として作成する。そして、そのヒストグラム３０４をＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）で学習し、クラスの境界３０６を学習した結果をモデル３０５とする。図３の場合、クラスの境界３０６は、様々な人物の人物画像３０３の局所特徴量のヒストグラム３０４が属するクラスと、該クラス以外のクラスと、の境界を表している。図３において複数の人物画像３０３のそれぞれの局所特徴量のヒストグラムを○で示しており、○が属さないクラスに属する局所特徴量のヒストグラムを×で示している。
【００１６】
このようなモデル３０５を用いて物体画像２０２の評価値を算出する場合、先ず、物体画像２０２の局所特徴量をＧＭＭでクラスタリングし、クラスタリング結果からヒストグラム３０２を作成する。そしてヒストグラム３０２（図３では△で示している）に対してモデル３０５を適用し、ヒストグラム３０２が境界３０６を基準にして「様々な人物の人物画像３０３の局所特徴量のヒストグラムが属するクラス」（○が属するクラス）に属するか否かを判断する。そして、ヒストグラム３０２が境界３０６を基準にして「様々な人物の人物画像３０３の局所特徴量のヒストグラムが属するクラス」（○が属するクラス）に属する場合には、物体画像２０２の評価値に「１」を設定する。一方、ヒストグラム３０２が境界３０６を基準にして「様々な人物の人物画像３０３の局所特徴量のヒストグラムが属するクラス」に属さない（×が属するクラスに属する）場合には、物体画像２０２の評価値に「−１」を設定する。図３では、ヒストグラム３０２は「様々な人物の人物画像３０３の局所特徴量のヒストグラムが属するクラス」（○が属するクラス）に属しているため、物体画像２０２の評価値には「１」が設定されることになる。
【００１７】
そして評価部１０３は、評価値として「１」が設定された物体画像及び該物体画像の局所特徴量を、登録ＤＢ（データベース）１１１（第１の格納部）及び検索ＤＢ１１２（第２の格納部）の両方に登録する。一方、評価部１０３は、評価値として「−１」が設定された物体画像及び該物体画像の局所特徴量を、登録ＤＢ１１１には登録せずに、検索ＤＢ１１２に登録する。
【００１８】
なお、○が属するクラスの物体画像及び該物体画像の局所特徴量を登録ＤＢ１１１及び検索ＤＢ１１２に登録し、×が属するクラスの物体画像及び該物体画像の局所特徴量を検索ＤＢ１１２に登録するのであれば、評価部１０３の構成は上記の構成に限らない。
【００１９】
このようにして、入力画像ごとに、該入力画像中の物体画像及び該物体画像の局所特徴量を、該物体画像の評価値に応じて、登録ＤＢ１１１及び検索ＤＢ１１２に登録若しくは検索ＤＢ１１２のみに登録する。
【００２０】
選択部１０４は、登録ＤＢ１１１に登録されている物体画像の中からクエリとして使用する物体画像をクエリ画像として選択する。登録ＤＢ１１１に登録されている物体画像の中からクエリ画像を選択するための構成には様々な構成が考えられる。例えば、選択部１０４は、登録ＤＢ１１１に登録されているそれぞれの物体画像を表示部１１３に一覧表示させて（表示制御）、ユーザからの選択指示を受け付ける。そしてユーザが不図示の操作部を操作して、一覧表示されている物体画像からクエリ画像としての物体画像を選択する選択操作を行うと、選択部１０４は、ユーザによって選択された物体画像と、該物体画像の局所特徴量と、を登録ＤＢ１１１から取得する。なお、選択する（取得する）クエリ画像の枚数は１枚であっても良いし、複数枚であっても良い。
【００２１】
検索部１０５は、選択部１０４が登録ＤＢ１１１から取得したクエリ画像ごとに、該クエリ画像の局所特徴量と類似する局所特徴量の物体画像を検索ＤＢ１１２から検索する。クエリ画像ごとに行う検索処理は何れも同じ処理であるため、以下では、クエリ画像Ａについての検索処理を例にとり説明する。
【００２２】
検索部１０５は先ず、クエリ画像Ａの局所特徴量Ａと、検索ＤＢ１１２に登録されているそれぞれの局所特徴量Ｂと、の類似度を求める。局所特徴量Ａ（ｑ）と局所特徴量Ｂ（ｄ）との類似度は、例えば、以下のような式に従ってコサイン類似度として求めることができる（ｎはｑ、ｄの次元数）。
【００２３】
【数１】
2018081452.tif 000003
【００２４】
なお、局所特徴量Ａと局所特徴量Ｂとの類似度にはコサイン類似度に限らず、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）等の類似度を採用しても良い。そして検索部１０５は、局所特徴量Ａとの類似度が閾値以上となった局所特徴量Ｂの物体画像を検索ＤＢ１１２から取得し、該取得した物体画像を表示部１１３に表示させる。なお、表示させるものは、局所特徴量Ａとの類似度が閾値以上となった局所特徴量Ｂの物体画像だけに限らず、例えば、類似度を更に表示しても良い。更に、物体画像を類似度が高い順に表示しても良い。また、局所特徴量Ａとの類似度が閾値以上となった局所特徴量Ｂの物体画像ではなく、局所特徴量Ａとの類似度が最も高い局所特徴量Ｂの物体画像を表示するようにしても良い。
【００２５】
以上説明した画像処理装置の動作について、図４のフローチャートに従って説明する。先ず、物体画像及び該物体画像の局所特徴量の登録処理について、図４（ａ）のフローチャートに従って説明する。なお、図４（ａ）のフローチャートに従った処理は、画像取得部１０１が取得した１フレーム分の入力画像に対してのものであって、図４（ａ）のフローチャートに従った処理は、画像取得部１０１が取得した各フレームの入力画像に対して行われることになる。
【００２６】
ステップＳ４０１では、画像取得部１０１は、入力画像を取得し、該取得した入力画像を後段の抽出部１０２に対して送出する。ステップＳ４０２では、抽出部１０２は、画像取得部１０１から受けた入力画像から人物等の物体が写っている領域を物体領域として抽出し、該抽出した物体領域内の画像を物体画像として後段の評価部１０３に対して出力する。
【００２７】
ステップＳ４０３では、評価部１０３は、抽出部１０２から入力された物体画像の評価値を算出する。ステップＳ４０４では、評価部１０３は、ステップＳ４０３で算出した評価値が「１」であるか否かを判断する。この判断の結果、ステップＳ４０３で算出した評価値が「１」であれば、処理はステップＳ４０５に進み、ステップＳ４０３で算出した評価値が「１」でなければ、処理はステップＳ４０６に進む。
【００２８】
ステップＳ４０５では、評価部１０３は、物体画像及び該物体画像の局所特徴量を、登録ＤＢ１１１及び検索ＤＢ１１２の両方に登録する。ステップＳ４０６では、評価部１０３は、物体画像及び該物体画像の局所特徴量を、登録ＤＢ１１１には登録せずに、検索ＤＢ１１２に登録する。
【００２９】
次に、登録ＤＢ１１１に登録されている物体画像から選択された物体画像をクエリとして、検索ＤＢ１１２から物体画像を検索する検索処理について、図４（ｂ）のフローチャートに従って説明する。
【００３０】
ステップＳ４１１では、選択部１０４は、登録ＤＢ１１１に登録されている物体画像の中からクエリとして使用する物体画像をクエリ画像として選択する。ステップＳ４１２では、検索部１０５は、選択部１０４が登録ＤＢ１１１から取得したクエリ画像の局所特徴量と、検索ＤＢ１１２に登録されているそれぞれの局所特徴量と、の類似度を求める。
【００３１】
ステップＳ４１３では、検索部１０５は、求めた類似度が閾値以上となった局所特徴量の物体画像を検索ＤＢ１１２から取得し、ステップＳ４１４では、検索部１０５は、該取得した物体画像を表示部１１３に表示させる。
【００３２】
つまり、以上説明した画像処理装置の構成は、以下のような構成の一例に過ぎない。すなわち、物体画像が複数の基準物体画像と同じクラスに属するか否かを判断し、属すると判断した場合には、物体画像をクエリ候補画像として登録し、属さないと判断した場合には、物体画像を非クエリ候補画像として登録する。例えば、第１の実施形態のように必ずしも登録ＤＢ１１１、検索ＤＢ１１２の２つを設ける必要はなく、共通のメモリにクエリ候補画像及び非クエリ候補画像を登録しても良い。その場合、クエリ候補画像については、例えば（クエリ候補画像を表す）識別子と共にメモリに登録すればよい。これにより、例えば、メモリに登録した物体画像群からクエリをユーザに選択させるために該物体画像群からクエリ候補画像を抽出して一覧表示する際には、クエリ候補画像を表す識別子と共に登録された物体画像をメモリから読み出して一覧表示すればよい。
【００３３】
＜変形例＞
上記の構成では、評価値は、局所特徴量のヒストグラムが規定のクラスに属しているか否かに応じて設定されていたが、評価値は他の方法によって設定されても良い。例えば、以下の文献３に記載の方法でもって評価値を設定しても良い。
【００３４】
（文献３）  Ｇｅｏｆｆｒｅｙ  Ｅ  Ｈｉｎｔｏｎ，“Ｒｅｄｕｃｉｎｇ  ｔｈｅ  Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ  ｏｆ  Ｄａｔａ  ｗｉｔｈ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ”，Ｓｃｉｅｎｃｅ  ３１３（５７８６）：５０４−５０７
画像取得部１０１が取得した入力画像の一例を図５に示す。入力画像５０１からは２つの物体画像５０２，５０３が抽出されているものとする。以下では、この２つの物体画像５０２，５０３のそれぞれの評価値を求めるケースについて説明する。
【００３５】
ここで用いるモデルとして図６に示したモデル６１１を使用する。モデル６１１は、入力層、中間層、出力層の３層から成る階層型ニューラルネットワークであり、入力層に人物画像を入力すると、この人物画像は中間層を経て出力層から変換後の人物画像として出力される。この階層型ニューラルネットワークは、入力層に入力した人物画像と、該人物画像を入力に入力した場合に出力層から出力される変換後の人物画像と、が同じになるように、様々な人物の人物画像について学習したものである。
【００３６】
入力層はｙ＝ｆ（Ｗｘ＋ｂ）と表される。Ｗ、ｂはそれぞれ上記の学習によって学習パラメータとして得られる重みベクトル（入力層と中間層との間の重みベクトル）及びバイアスベクトル、ｘは入力層への入力ベクトルである。図６の上側に示す如く、物体画像５０２を入力層に入力ベクトルｘとして入力することで、物体画像５０２は、より低次元のベクトルｙへと射影される。また、図６の下側に示す如く、物体画像５０３を入力層に入力ベクトルｘとして入力することで、物体画像５０３は、より低次元のベクトルｙへと射影される。
【００３７】
中間層はｚ＝ｆ（Ｗ’ｙ＋ｂ’）と表される。Ｗ’、ｂ’はそれぞれ上記の学習によって学習パラメータとして得られる重みベクトル（中間層と出力層との間の重みベクトル）及びバイアスベクトル、ｙは中間層からの出力ベクトルである。図６の上側に示す如く、物体画像５０２を入力層に入力ベクトルｘとして入力することで、出力層からはベクトルｚとして物体画像６０２が出力される。また、図６の下側に示す如く、物体画像５０３を入力層に入力ベクトルｘとして入力することで、出力層からはベクトルｚとして物体画像６０３が出力される。
【００３８】
そして、物体画像５０２，５０３のそれぞれについて、以下の式に従って誤差Ｅｒｒを求める。
【００３９】
【数２】
2018081452.tif 000004
【００４０】
つまり、物体画像５０２については、物体画像５０２（ｘ）と物体画像６０２（ｚ）との誤差を求め、物体画像５０３については、物体画像５０３（ｘ）と物体画像６０３（ｚ）との誤差を求める。ここで用いる画像間の誤差とは、画像間で対応する画素位置における画素値の差分を二乗したものを全ての画素について合計したものである。画像間の誤差を求める式はこの式に限らない。
【００４１】
そして物体画像５０２について求めた誤差を該物体画像５０２の評価値とし、物体画像５０３について求めた誤差を該物体画像５０３の評価値とする。そして求めた評価値が閾値未満となる物体画像及び該物体画像の局所特徴量は登録ＤＢ１１１及び検索ＤＢ１１２に登録し、求めた評価値が閾値以上となる物体画像及び該物体画像の局所特徴量は登録ＤＢ１１１には登録せずに検索ＤＢ１１２に登録する。ここでは、物体画像の局所特徴量としては、該物体画像を入力層に入力した際に中間層から出力されるベクトルｙを使用する。
【００４２】
図６の例では、物体画像５０２と物体画像６０２との誤差は閾値未満であるから、物体画像５０２及び物体画像５０２の局所特徴量は登録ＤＢ１１１及び検索ＤＢ１１２に登録する。一方、物体画像６０３では領域６０４内で物体画像５０３の対応領域が復元できていないため、物体画像５０３と物体画像６０３との誤差は閾値以上となる。このような場合、物体画像５０３及び物体画像５０３の局所特徴量は登録ＤＢ１１１には登録せずに検索ＤＢ１１２に登録する。この方法により、例えば人物が２つ重なった場合には、モデル６１１によりクエリとしての選択候補には適していないと判断することが可能となる。
【００４３】
以上説明した、階層型ニューラルネットワークを用いて物体画像の評価値を求め、該評価値に応じて物体画像及び該物体画像の局所特徴量の登録先を変更する処理は何れも評価部１０３が行う。階層型ニューラルネットワークは上記の通り学習済みのものであるから、予め作成して画像処理装置に登録しておき、評価部１０３はこの登録済みの階層型ニューラルネットワークを取得して使用し、物体画像の評価値を求める。
【００４４】
つまり、以上説明した画像処理装置の構成は、以下のような構成の一例に過ぎない。すなわち、階層型ニューラルネットワークに入力する画像と、該画像を該階層型ニューラルネットワークに入力した場合に該階層型ニューラルネットワークから出力される画像と、が同じ画像となるように学習済みの該階層型ニューラルネットワークを取得する。そして、物体画像と、該物体画像を階層型ニューラルネットワークに入力した場合に階層型ニューラルネットワークから出力される画像と、の誤差が閾値未満であるか否かを判断する。そして、誤差が閾値未満であれば、物体画像をクエリ候補画像として登録し、誤差が閾値以上であれば、物体画像を非クエリ候補画像として登録する。
【００４５】
［第２の実施形態］
本実施形態では、複数台のカメラのそれぞれによる撮影画像を入力画像として取得し、１つの物体について複数枚の物体画像が得られた場合に、該物体とカメラとの位置関係に応じて、どのカメラによる物体画像を評価値の算出対象とするのかを決定する。本実施形態を含め、以下では、第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。
【００４６】
先ず、本実施形態に係る画像処理装置の機能構成例について、図７のブロック図を用いて説明する。図７において、図１に示した機能部と同様の機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。
【００４７】
画像取得部１０１−１〜１０１−Ｎ（Ｎは２以上の整数）はそれぞれ、第１〜第Ｎのカメラにより撮像された撮像画像を入力画像として取得する。なお、画像取得部１０１−１〜１０１−Ｎのそれぞれは、第１〜第Ｎのカメラにより撮像された撮像画像を直接該第１〜第Ｎのカメラから取得しても良いし、メモリなどを介して間接的に取得するようにしても良い。何れにせよ、画像取得部１０１−１〜１０１−Ｎが取得する入力画像は何れも同時刻の撮影時刻の撮像画像であるものとする。
【００４８】
抽出部１０２−１〜１０２−Ｎはそれぞれ、画像取得部１０１−１〜１０１−Ｎから取得した入力画像から、抽出部１０２と同様にして物体画像を取得し、該取得した物体画像を後段の位置推定部７２１に対して出力する。
【００４９】
位置推定部７２１は、物体画像に対応する物体の３次元位置を推定する。位置推定部７２１は、抽出部１０２−１〜１０２−Ｎから受けたそれぞれの物体画像の局所特徴量を求め、抽出部１０２−１〜１０２−Ｎから受けた物体画像群を局所特徴量が類似する物体画像のグループ（同一物体とおぼしき物体画像のグループ）毎に分割する。そして位置推定部７２１はグループごとに、次のような処理を行うことで、該グループに対応する物体の３次元位置を求める。即ち位置推定部７２１は、グループに属する物体画像の抽出元の入力画像における位置と、該グループに属する物体画像の抽出元の入力画像を撮像したカメラの３次元位置（既知）と、を用いた三角測量によって、該グループに対応する物体の３次元位置を求める。そして位置推定部７２１は、グループごとに、該グループに対応する物体の３次元位置に最も近い位置のカメラにより撮像された入力画像から抽出された物体画像を、該グループに対応する物体の物体画像として採用（特定）する。
【００５０】
位置推定部７２１の動作について、図８を例にとり説明する。図８では、４台のカメラ（カメラ８０１−１〜８０１−４）が設けられている（つまり上記のＮ＝４）。物体としての人物８１２の３次元位置に最も近い位置に設けられているカメラはカメラ８０１−３であるから、人物８１２の物体画像としては、カメラ８０１−３から取得した入力画像から抽出した人物８１２の物体画像を採用する。また、物体としての人物８１１の３次元位置に最も近い位置に設けられているカメラはカメラ８０１−２であるから、人物８１１の物体画像としては、カメラ８０１−２から取得した入力画像から抽出した人物８１１の物体画像を採用する。
【００５１】
また、必ずしも物体に最も近いカメラによる物体画像を採用するのではなく、該物体が他の物体に隠蔽されている場合には、他のカメラによる物体画像を採用するようにしても良い。例えば、人物８１１に最も近いカメラが８０１−３であったとする。しかしカメラ８０１−３から見て人物８１１は人物８１２に隠蔽されている。このような場合は、カメラ８０１−３の次に人物８１１に近いカメラによる物体画像を採用する。
【００５２】
例えば、カメラ８０１−３の場合、カメラ８０１−３の位置から人物８１１の位置へのベクトルａ、カメラ８０１−３の位置から人物８１２の位置へのベクトルｂを求める。そして以下の式を計算して、ベクトルａとベクトルｂとが成す角度θを求める。
【００５３】
【数３】
2018081452.tif 000005
【００５４】
そして、角度θが閾値（０度に近い小さい値）未満で、且つ以下の式のとおり、ベクトルａの大きさがベクトルｂの大きさよりも大きい場合には、カメラ８０１−３から見て人物８１１は人物８１２に隠蔽されていると判断することができる。
【００５５】
【数４】
2018081452.tif 000006
【００５６】
このような処理を各カメラについて行うことで、物体画像としてどのカメラによる物体画像を採用しないのかを判断することができる。物体画像及び該物体画像の局所特徴量の登録処理について、図９のフローチャートに従って説明する。なお、図９のフローチャートに従った処理は、画像取得部１０１−１〜１０１−Ｎが取得した１フレーム分の入力画像に対してのものである。図９のフローチャートに従った処理は、画像取得部１０１−１〜１０１−Ｎが取得した各フレームの入力画像に対して行われることになる。また、図９において、図４（ａ）と同様の処理ステップには同じステップ番号を付しており、該処理ステップについては説明を省略する。
【００５７】
ステップＳ４０１では、画像取得部１０１−１〜１０１−Ｎが入力画像を取得し、ステップＳ４０２では、抽出部１０２−１〜１０２−Ｎがそれぞれ、画像取得部１０１−１〜１０１−Ｎが取得した入力画像から物体画像を取得する。
【００５８】
ステップＳ９２１では、位置推定部７２１は、物体画像に対応する物体の３次元位置を推定し、物体の３次元位置に最も近い位置のカメラにより撮像された入力画像から抽出された物体画像を、後段の評価部１０３に対して出力する。
【００５９】
なお、登録ＤＢ１１１に登録されている物体画像から選択された物体画像をクエリとして、検索ＤＢ１１２から物体画像を検索する検索処理については第１の実施形態と同様である。
【００６０】
［第３の実施形態］
本実施形態では、物体画像の登録時に、更に該物体画像の属性を表す属性情報を登録しておき、画像検索時には属性情報を使用する。先ず、本実施形態に係る画像処理装置の機能構成例について、図１０のブロック図を用いて説明する。図１０の構成は、図７に示した構成に、属性推定部１０１１を加えると共に、選択部１０４の代わりに選択部１０１２を設けた点にある。以下では、第２の実施形態との差分について重点的に説明する。
【００６１】
属性推定部１０１１は、物体画像の属性を取得し、物体画像及び該物体画像の局所特徴量と共に、該属性を表す情報を登録する。例えば属性推定部１０１１は、物体画像の局所特徴量から、年齢、性別、服装、荷物、髪色等の属性毎に対応する局所特徴量を取得し、あらかじめＳＶＭで学習したモデルと比較して各属性のクラスを判定する。そして属性推定部１０１１は、物体画像及び該物体画像の局所特徴量に加え、各属性について判定したクラスのラベルを登録する。登録先については、該物体画像がクエリ候補画像であれば、登録ＤＢ１１１及び検索ＤＢ１１２であるし、該物体画像が非クエリ候補画像であれば、検索ＤＢ１１２である。なお、物体画像の属性を取得する方法には様々な方法が適用可能である。
【００６２】
選択部１０１２は、クエリとして使用する属性のクラスを選択する。例えば選択部１０１２は、年齢、性別、服装、荷物、髪色等の属性のクラスを表示部１１３に一覧表示し、ユーザからの選択指示を受け付ける。そしてユーザが不図示の操作部を操作して、一覧表示されている属性からクエリとして使用する属性のクラスを選択する選択操作を行ったとする。このとき選択部１０１２は、ユーザによって選択された属性のクラスをクエリとし、該クラスのラベルと共に登録ＤＢ１１１に登録されている物体画像を検索して表示部１１３に一覧表示する。なお、選択する属性のクラスの数は１であっても良いし、複数であっても良い。複数の場合、選択したそれぞれの属性のクラスに対応する物体画像が検索されることになる。そして選択部１０４は、ユーザからの物体画像の選択指示を受け付ける。そしてユーザが不図示の操作部を操作して、一覧表示されている物体画像からクエリ画像としての物体画像を選択する選択操作を行うと、選択部１０１２は、ユーザによって選択された物体画像と、該物体画像の局所特徴量と、を登録ＤＢ１１１から取得する。なお、選択する（取得する）クエリ画像の枚数は１枚であっても良いし、複数枚であっても良い。
【００６３】
物体画像、該物体画像の局所特徴量、該物体画像の属性の登録処理について、図１１（ａ）のフローチャートに従って説明する。なお、図１１（ａ）のフローチャートに従った処理は、画像取得部１０１−１〜１０１−Ｎが取得した１フレーム分の入力画像に対してのものである。図１１（ａ）のフローチャートに従った処理は、画像取得部１０１−１〜１０１−Ｎが取得した各フレームの入力画像に対して行われることになる。また、図１１（ａ）において、図９と同様の処理ステップには同じステップ番号を付しており、該処理ステップについては説明を省略する。
【００６４】
ステップＳ１１２１では、属性推定部１０１１は、物体画像の属性を取得する。ステップＳ４０３で算出した評価値が「１」であれば、処理はステップＳ４０４を介してステップＳ１１２２に進み、ステップＳ４０３で算出した評価値が「１」でなければ、処理はステップＳ４０４を介してステップＳ１１２３に進む。
【００６５】
ステップＳ１１２２では、属性推定部１０１１は、物体画像、該物体画像の局所特徴量、該物体画像の属性のクラスに対応するラベルを、登録ＤＢ１１１及び検索ＤＢ１１２の両方に登録する。ステップＳ１１２３では、属性推定部１０１１は、物体画像、該物体画像の局所特徴量、該物体画像の属性のクラスに対応するラベルを、登録ＤＢ１１１には登録せずに、検索ＤＢ１１２に登録する。
【００６６】
次に、検索ＤＢ１１２から物体画像を検索する検索処理について、図１１（ｂ）のフローチャートに従って説明する。図１１（ｂ）において、図４（ｂ）と同様の処理ステップには同じステップ番号を付しており、該処理ステップについては説明を省略する。
【００６７】
ステップＳ１１３１では、選択部１０１２は、クエリとして使用する属性のクラスを選択し、選択された属性のクラスをクエリとし、該属性のクラスのラベルと共に登録ＤＢ１１１に登録されている物体画像を検索して表示部１１３に一覧表示する。
【００６８】
ステップＳ１１３２では、選択部１０４は、ステップＳ１１３１で一覧表示した物体画像から選択された物体画像と、該物体画像の局所特徴量と、を登録ＤＢ１１１から取得する。
【００６９】
このように、本実施形態によれば、属性による絞込みをしながらクエリの選択を行うことができ、より効率的に検索を実施できる。また、以上説明した各実施形態や変形例はその一部若しくは全部を適宜組み合わせて使用しても構わない。
【００７０】
［第４の実施形態］
図１，７，１０に示した画像処理装置の機能部の全てをハードウエアで構成しても良いが、登録ＤＢ１１１、検索ＤＢ１１２、表示部１１３を除く各部をソフトウェア（コンピュータプログラム）で実現しても良い。このような場合、登録ＤＢ１１１及び検索ＤＢ１１２をメモリとして有し、表示部１１３を表示装置として有するコンピュータ装置であって、このソフトウェアを実行するプロセッサを有するコンピュータ装置であれば、上記の画像処理装置に適用可能である。このようなコンピュータ装置のハードウェア構成例について、図１２のブロック図を用いて説明する。
【００７１】
ＣＰＵ１２０１は、ＲＡＭ１２０２やＲＯＭ１２０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１２０１はコンピュータ装置全体の動作制御を行うと共に、上記の画像処理装置が行うものとして上述した各処理を実行若しくは制御する。
【００７２】
ＲＡＭ１２０２は、ＲＯＭ１２０３や外部記憶装置１２０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１２０７を介して外部から受信したデータ、を格納するためのエリアを有する。更にＲＡＭ１２０２は、ＣＰＵ１２０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１２０２は各種のエリアを適宜提供することができる。ＲＯＭ１２０３には、書き換え不要の本コンピュータ装置の設定データやブートプログラムなどが格納されている。
【００７３】
操作部１２０４は、マウスやキーボードなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をＣＰＵ１２０１に対して入力することができる。例えば、上記のユーザによる選択操作は、ユーザが操作部１２０４を操作することで実現することができる。
【００７４】
表示装置１２０５はＣＲＴや液晶画面、プロジェクタ等により構成されており、ＣＰＵ１２０１による処理結果を画像や文字などでもって表示若しくは投影することができる。表示装置１２０５は、上記の表示部１１３としても機能する。なお、操作部１２０４と表示装置１２０５とを一体化させてタッチパネル画面を構成しても良い。
【００７５】
外部記憶装置１２０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１２０６には、ＯＳ（オペレーティングシステム）や、上記の画像処理装置が行うものとして上述した各処理をＣＰＵ１２０１に実行させるためのコンピュータプログラムやデータが保存されている。外部記憶装置１２０６に保存されているコンピュータプログラムには、図１，７，１０において登録ＤＢ１１１、検索ＤＢ１１２、表示部１１３を除く各部の機能をＣＰＵ１２０１に実現させるためのコンピュータプログラムが含まれている。また、外部記憶装置１２０６に保存されているデータには、上記の説明において既知の情報として取り扱ったもの（閾値や学習パラメータなど）が含まれている。上記の登録ＤＢ１１１及び検索ＤＢ１１２は外部記憶装置１２０６内に設けても良い。外部記憶装置１２０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１２０１による制御に従って適宜ＲＡＭ１２０２にロードされ、ＣＰＵ１２０１による処理対象となる。
【００７６】
Ｉ／Ｆ１２０７は、外部の機器とのデータ通信を行うためのインターフェースとして機能するものである。例えば、登録ＤＢ１１１や検索ＤＢ１１２を外部の装置として実現する場合、登録ＤＢ１１１や検索ＤＢ１１２への情報の読み書きはこのＩ／Ｆ１２０７を介して行われることになる。
【００７７】
ＣＰＵ１２０１、ＲＡＭ１２０２、ＲＯＭ１２０３、操作部１２０４、表示装置１２０５、外部記憶装置１２０６、Ｉ／Ｆ１２０７は何れもバス１２０８に接続されている。なお、上記の画像処理装置に適用可能なコンピュータ装置のハードウェア構成は図１２に示した構成に限らない。
【００７８】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７９】
１０１：画像取得部  １０２：抽出部  １０３：評価部  １０４：選択部  １０５：検索部  １１１：登録ＤＢ  １１２：検索ＤＢ  １１３：表示部
【図１】
2018081452.tif 000007
【図２】
2018081452.tif 000008
【図３】
2018081452.tif 000009
【図４】
2018081452.tif 000010
【図５】
2018081452.tif 000011
【図６】
2018081452.tif 000012
【図７】
2018081452.tif 000013
【図８】
2018081452.tif 000014
【図９】
2018081452.tif 000015
【図１０】
2018081452.tif 000016
【図１１】
2018081452.tif 000017
【図１２】
2018081452.tif 000018