(57)【要約】【課題】画像認識の際の誤認識を低減可能にすることを課題とする。【解決手段】ターゲット設定部（１０１）は、画像認識の対象となる着目カテゴリを設定する。情報取得準備部（１０２）及び撮影部（１０３）は、画像の撮影の際に撮影画像とは別に取得可能な情報のなかで、着目カテゴリに応じた画像認識に利用可能な補助情報を取得する。ここで、情報取得準備部（１０２）及び撮影部（１０３）は、着目カテゴリに応じた画像認識に利用可能な補助情報を取得するための準備を行い、その準備に基づいて画像の撮影がなされた際に、撮影画像とは別に取得された情報のなかから、補助情報を取得する。出力部（１０４）は、撮影された画像と補助情報とを出力する。【選択図】図１
2019016856.tif 000002
【特許請求の範囲】
【請求項１】
画像認識の対象となる着目カテゴリを設定する設定手段と、
画像の撮影の際に撮影画像とは別に取得可能な情報のなかで、前記着目カテゴリに応じた画像認識に利用可能な補助情報を取得する取得手段と、
撮影された画像と前記補助情報とを出力する出力手段と、を有し、
前記取得手段は、前記着目カテゴリに応じた画像認識に利用可能な前記補助情報を取得するための準備を行い、前記準備に基づいて前記画像の撮影がなされた際に、前記撮影画像とは別に取得された情報のなかから、前記補助情報を取得することを特徴とする画像処理装置。
【請求項２】
設定されたパラメータに応じた撮影を行う撮影手段を有し、
前記取得手段は、前記補助情報を取得するためのパラメータを前記撮影手段に設定して前記撮影手段に前記画像の撮影を行わせた際に、前記撮影画像とは別に取得された情報のなかから、前記補助情報を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得手段は、所定の対応表を基に前記パラメータの設定を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記取得手段は、前記補助情報を取得するための取得方法を設定し、前記設定された取得方法に応じて前記画像の撮影が行われた際に、前記撮影画像とは別に取得された情報のなかから、前記補助情報を取得することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
【請求項５】
前記取得手段は、所定の対応表を基に前記取得方法を設定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記取得手段は、所定の対応表と前記撮影画像とは別に取得可能な情報とに基づいて、前記補助情報の取得要否を判定することを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
【請求項７】
前記取得手段は、前記画像の撮影が開始される際のシャッターボタンが半押し状態になされた時に前記補助情報を取得するための準備の動作を開始することを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
【請求項８】
前記取得手段は、前記撮影画像とは別に取得可能な情報を基に、前記着目カテゴリに応じた画像認識に利用可能な前記補助情報を取得するための準備を行うことを特徴とする請求項１から７の何れか１項に記載の画像処理装置。
【請求項９】
前記撮影画像とは別に取得可能な情報は、複数のセンサから得られる情報、画像処理装置自身が外部から取得した情報、画像処理装置が他の外部装置から取得した情報、ユーザにより設定された情報の、少なくとも一つを、含むことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記取得手段は、前記着目カテゴリが設定されなかった場合には前記補助情報を取得するための準備を行わず、前記補助情報の取得を行わないことを特徴とする請求項１から９の何れか１項に記載の画像処理装置。
【請求項１１】
前記取得手段は、予め定められた前記補助情報を取得することを特徴とする請求項１から１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記出力手段は、前記補助情報を前記撮影画像の一部として出力することを特徴とする請求項１から１１の何れか１項に記載の画像処理装置。
【請求項１３】
前記出力手段は、前記補助情報を前記撮影画像に電子透かしとして埋め込んだ電子透かし埋め込み画像を生成して、前記電子透かし埋め込み画像を出力することを特徴とする請求項１から１１の何れか１項に記載の画像処理装置。
【請求項１４】
認識の対象画像と、画像認識に利用可能な補助情報とを取得する入力手段と、
前記対象画像に対して所定の認識処理を行って第一の認識結果を得る認識手段と、
前記補助情報の少なくとも一部を用いて、前記対象画像から着目クラスに対する前記第一の認識結果を検証し、前記検証の結果から修正が必要な場合に前記第一の認識結果を修正して第二の認識結果を得る検証修正手段と、
前記第一の認識結果または前記第二の認識結果を出力する出力手段と、
を有することを特徴とする画像処理装置。
【請求項１５】
前記入力手段は、前記修正が必要な場合の修正対象とする着目クラスを指定することを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記入力手段が前記補助情報を取得できなかった場合、前記検証修正手段は前記検証と修正の処理を行わず、前記出力手段は前記第一の認識結果を出力することを特徴とする請求項１４又は１５に記載の画像処理装置。
【請求項１７】
前記検証修正手段は、前記補助情報に含まれる画像に対して所定の認識処理を行った検証用認識結果と、前記第一の認識結果との差分を基に、前記検証が必要か否かを判定することを特徴とする請求項１４から１６の何れか１項に記載の画像処理装置。
【請求項１８】
前記検証修正手段は、前記補助情報に含まれる赤外画像を基に、前記検証が必要か否かを判定することを特徴とする請求項１４から１７の何れか１項に記載の画像処理装置。
【請求項１９】
前記検証修正手段は、前記補助情報に含まれる画像と前記対象画像との相関を求めた結果と、前記第一の認識結果との差分を基に、前記検証が必要か否かを判定することを特徴とする請求項１４から１８の何れか１項に記載の画像処理装置。
【請求項２０】
認識の対象画像と、画像認識で利用可能な補助情報とを取得する入力手段と、
前記補助情報の少なくとも一部を利用して、前記対象画像から着目クラスに対する認識結果を得る認識手段と、
を有することを特徴とする画像処理装置。
【請求項２１】
前記画像認識には、領域分割、物体カテゴリ認識、物体位置認識の少なくとも一つが、含まれることを特徴とする請求項１から２０の何れか１項に記載の画像処理装置。
【請求項２２】
画像認識の対象となる着目カテゴリを設定する設定工程と、
画像の撮影の際に撮影画像とは別に取得可能な情報のなかで、前記着目カテゴリに応じた画像認識に利用可能な補助情報を取得する取得工程と、
撮影された画像と前記補助情報とを出力する出力工程と、を有し、
前記取得工程では、前記着目カテゴリに応じた画像認識に利用可能な前記補助情報を取得するための準備を行い、前記準備に基づいて前記画像の撮影がなされた際に、前記撮影画像とは別に取得された情報のなかから、前記補助情報を取得することを特徴とする画像処理装置の画像処理方法。
【請求項２３】
認識の対象画像と、画像認識で利用可能な補助情報とを取得する入力工程と、
前記対象画像に対して所定の認識処理を行って第一の認識結果を得る認識工程と、
前記補助情報の少なくとも一部を用いて、前記対象画像から着目クラスに対する前記第一の認識結果を検証し、前記検証の結果から修正が必要な場合に前記第一の認識結果を修正して第二の認識結果を得る検証修正工程と、
前記第一の認識結果または前記第二の認識結果を出力する出力工程と、
を有することを特徴とする画像処理装置の画像処理方法。
【請求項２４】
認識の対象画像と、画像認識で利用可能な補助情報とを取得する入力工程と、
前記補助情報の少なくとも一部を利用して、前記対象画像から着目クラスに対する認識結果を得る認識工程と、
を有することを特徴とする画像処理装置の画像処理方法。
【請求項２５】
コンピュータを、請求項１から２１の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識に係る画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
画像を人物の領域、自動車の領域、道路の領域、建物の領域、空の領域などの、意味的な領域ごとに切り出す技術が研究されている。このような領域の切り出しは、意味的領域分割（Ｓｅｍａｎｔｉｃ  Ｓｅｇｍｅｎｔａｔｉｏｎ）と呼ばれ、画像内に写っている物の種類に対応した画像補正やシーン解釈などに応用できると考えられている。
【０００３】
また近年は、画像中の被写体に対する学習・認識のための手法として、非特許文献１に開示されているような深層学習と呼ばれる手法が注目されている。深層学習の代表的な手法としてコンボリューショナル・ニューラル・ネットワーク（以下、ＣＮＮと略記する）と呼ばれる手法がある。一般的なＣＮＮは多段階の演算からなる。ＣＮＮの各段階では、畳み込み演算を行って画像の局所の特徴を空間的に統合し、次の段階の中間層のニューロンへ入力する処理が行われる。さらに、ＣＮＮでは、プーリングやサブサンプリングと呼ばれる、特徴量を空間方向へ圧縮する操作が行われる。ＣＮＮは、このような多段階の特徴変換を通じて複雑な特徴表現を特徴量として獲得することができる。このため、画像認識の際にこの特徴量を用いることで、画像の意味的領域分割、物体（被写体）カテゴリ認識、物体位置認識等を高精度に行うことが可能となる。さらに非特許文献２には、ＣＮＮを領域分割に適用した手法が開示されている。非特許文献２に記載の技術のように、ＣＮＮを領域分割に適用すると、領域分割の性能が大幅に向上することが確認されている。
【０００４】
一方、画像や映像の撮影時にそれら画像等とは別に取得された情報（以下、撮影時取得情報とする。）を利用して意味的領域分割の精度向上を試みる手法が提案されている。例えば特許文献１には、先ず、撮像系の姿勢に基づいて地平線や水平線を推定し、次に、その推定結果に基づいて空領域を抽出し、その結果を後段の画像処理に利用する技術が開示されている。また、非特許文献３には、撮像系の姿勢から推定した水平線や地平線の情報に基づいて領域分割を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１５８９９７号公報
【非特許文献】
【０００６】
【非特許文献１】Ｓｈｕｉｗａｎｇ  Ｊｉ，  Ｗｅｉ  Ｘｕ，  Ｍｉｎｇ  Ｙａｎｇ，  Ｋａｉ  Ｙｕ，  "３Ｄ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  Ｈｕｍａｎ  Ａｃｔｉｏｎ  Ｒｅｃｏｇｎｉｔｉｏｎ"，  Ｐｒｏｃ．  ｏｆ  Ｔｈｅ  ２７ｔｈ  Ｉｎｔ．  Ｃｏｎｆ．  ｏｎ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ，  ＩＣＭＬ  ２０１０．
【非特許文献２】Ｊｏｎ  Ｌｏｎｇ，  Ｅｖａｎ  Ｓｈｅｌｈａｍｅｒ，  Ｔｒｅｖｏｒ  Ｄａｒｒｅｌｌ，"Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  Ｓｅｍａｎｔｉｃ  Ｓｅｇｍｅｎｔａｔｉｏｎ，"  ＣＶＰＲ，  ２０１５．
【非特許文献３】Ｊｉｎｇ  Ｗａｎｇ，Ｇｒａｎｔ  Ｓｃｈｉｎｄｌｅｒ，Ｉｒｆａｎ  Ｅｓｓａ，  'Ｏｒｉｅｎｔａｔｉｏｎ−Ａｗａｒｅ  Ｓｃｅｎｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃａｍｅｒａｓ'，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２０１２  ＡＣＭ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｕｂｉｑｕｉｔｏｕｓ  Ｃｏｍｐｕｔｉｎｇ，ｐｐ．２６０−２６９．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述のようにＣＮＮを領域分割に適用すると領域分割の性能が大幅に向上する。しかし、ＣＮＮを領域分割に適用したとしても、すべての領域を正確に分割できるわけではない。例えば人体領域を抽出するような場合、四肢の末端部分、特殊なポーズや服装、撮影状況（撮影角度など）、陰や反射領域などを含む画像では、誤認識が発生し易くなる。なお、誤認識とは、認識漏れ（ｆａｌｓｅ  ｐｏｓｉｔｉｖｅ）や認識間違い（ｆａｌｓｅ  ｎｅｇａｔｉｖｅ）が生ずることを言う。
【０００８】
また、画像等の撮影時に別に取得された撮影時取得情報を利用して意味的領域分割の精度向上を図る手法の場合、その撮影時取得情報だけでは情報不足であり、逆に認識時に誤認識を誘発してしまうことがある。例えば、撮像系の姿勢のみから推定される地平線や水平線を利用しただけでは、地平線や水平線よりも上方に空に似た非空領域が存在する場合に、その非空領域を空と誤認識する場合がある。また、そもそも画像中に地平線や水平線が存在しない場合には誤認識を減らすことが困難である。
【０００９】
そこで、本発明は、画像認識の際の誤認識を低減可能にすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、画像認識の対象となる着目カテゴリを設定する設定手段と、画像の撮影の際に撮影画像とは別に取得可能な情報のなかで、前記着目カテゴリに応じた画像認識に利用可能な補助情報を取得する取得手段と、撮影された画像と前記補助情報とを出力する出力手段と、を有し、前記取得手段は、前記着目カテゴリに応じた画像認識に利用可能な前記補助情報を取得するための準備を行い、前記準備に基づいて前記画像の撮影がなされた際に、前記撮影画像とは別に取得された情報のなかから、前記補助情報を取得することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、画像認識の際の誤認識を低減可能となる。
【図面の簡単な説明】
【００１２】
【図１】実施形態１の画像処理装置の概略構成を示す図である。
【図２】実施形態１の画像処理装置の動作を示すフローチャートである。
【図３】認識種別の一例を示す図である。
【図４】カメラにおいて獲得可能なセンサ情報の例を挙げた図である。
【図５】実施形態２の画像処理装置の概略構成を示す図である。
【図６】実施形態２の画像処理装置の動作を示すフローチャートである。
【図７】実施形態４の認識検証処理の詳細なフローチャートである。
【図８】撮影時取得情報及び認識補助情報の一覧を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
本実施形態では、撮影等された入力画像の領域を意味的なまとまりに分割する意味的領域分割、物体カテゴリ認識、物体位置認識等による画像認識が行われる場合を想定した説明を行う。後述の実施形態１，３，５では、画像認識の際の誤認識の低減や誤認識の修正に利用可能な認識補助情報を取得可能な画像処理装置について説明し、実施形態２，４，６には、認識補助情報を用いた画像認識が可能な画像処理装置について説明する。なお、誤認識とは、前述したように認識漏れや認識間違いが生ずることである。
【００１４】
本実施形態において、入力画像は静止画・動画の何れでもよく、また画像認識される対象となる被写体は人物や犬などの生物、建物や道具などの人工物、山や空といった自然物や風景などあらゆる被写体を含む。また、以下の本実施形態では、認識処理の種別として、意味的領域分割を想定し、その意味的領域における被写体の着目カテゴリとして人体領域を想定している。もちろん、認識処理の種別は意味的領域分割に限定されるものではなく、例えば、意味を考慮しない領域分割、物体カテゴリ認識、物体位置認識にも適用可能である。
【００１５】
＜実施形態１＞
図１は、実施形態１の画像処理装置１００の概略構成を示す図である。図１に示すように、本実施形態の画像処理装置１００は、ターゲット設定部１０１、情報取得準備部１０２、撮影部１０３、出力部１０４を有して構成されている。なお、記憶装置１０５は、画像処理装置１００の外部に設けられているが、内部に備えられていてもよい。また、図２は、本実施形態の画像処理装置の動作を表すフローチャートである。
【００１６】
さらに、図３（ａ）〜図３（ｄ）には、本実施形態の画像処理装置１００が対象とする認識種別の一例を示す。図３（ａ）は認識対象とする画像５００の一例を示しており、画像５００には人物５０１、空５０２、海５０３が写っているものとする。本実施形態の画像処理装置１００は、画像５００が入力されると、その画像５００を意味的に異なる領域ごとに分割する。図３（ｂ）は、画像５００について意味的領域分割が行われた際の意味的領域分割画像５１０の例を示している。図３（ｂ）の意味的領域分割画像５１０では、意味的に異なる領域として、人物領域と空領域と海領域とに分割された例を示している。そして、本実施形態の画像処理装置１００は、意味的領域分割の結果を基に、物体カテゴリ認識を行い、その認識結果を出力する。図３（ｃ）は、画像５００における物体カテゴリ認識結果の例を示しており、画像５００に含まれる被写体（物体）のカテゴリ名（空、人物、海）の情報が出力５２０となされる。また、本実施形態の画像処理装置１００は、物体カテゴリ認識の結果を基に、物体位置検出も可能となされている。図３（ｄ）は物体位置検出の例を示している。画像処理装置１００は、人物の位置を境界矩形５３１の位置として検出し、その境界矩形５３１を画像５００に重畳した物体位置検出結果画像５３０を生成可能である。
【００１７】
また、本実施形態では、画像処理装置１００の一適用例としてデジタルカメラを想定した例を挙げている。デジタルカメラは、一般に、画像や映像以外の情報を取得する各種センサを有しており、それら各種センサのセンサ情報を取得可能となされている。図４は、デジタルカメラにおいて取得可能な各種センサ情報の一例を示している。この図４に示すように、デジタルカメラでは、センサ情報或いはセンサ情報を基に算出可能な情報として、撮影時カメラ情報、方向・移動情報、日時・場所情報、その他情報がある。撮影時カメラ情報には、露光時間、Ｆ値、感度、ホワイトバランス（ＷＢ）計数、被写体距離等の情報が含まれる。方向・移動の情報には、加速度、ジャイロ、重力加速度、地磁気（方位）等の各情報が含まれる。日時・場所情報には、日時と位置（ＧＰＳ情報）等の情報が含まれる。その他情報には、気温、湿度、気圧、高度、赤外線、紫外線、音、音源方向、光量等の情報が含まれる。
【００１８】
本実施形態の画像処理装置１００は、それらの各種センサ情報を、画像の撮影時にその撮影画像等とは別に撮影時取得情報として取得する。ここで、これらの撮影時取得情報は、意味的領域分割の精度向上のために使用可能であるが、前述したように、撮影時取得情報をそのまま用いた場合には認識時に誤認識を誘発してしまうこともあり得る。このような状況を避ける手法の一例として、露出、フォーカス、ホワイトバランスなどの撮影パラメータを様々に設定した複数の画像を撮影時取得情報として撮影し、認識時にそれらの中から有効な画像を取捨選択して利用する手法も考えられる。しかしながら、それら撮影パラメータを様々に設定して撮影された多数の画像の中で、撮影時取得情報として利用可能な画像は一部であり、それらの殆どは最終的に鑑賞等には使用されない無用なデータとなる。このような大量の画像を撮影すること、及びそれら画像データを記録しておくことは、カメラへの負担増大となり好ましくない。
【００１９】
そこで、本実施形態の画像処理装置１００では、画像撮影時に取得可能な各種の撮影時取得情報の中で、認識ターゲットとする意味的領域について、誤認識を救済するのに利用可能な情報（以下、認識補助情報とする。）を取捨選択して取得する。そして、本実施形態の画像処理装置１００は、その取得した認識補助情報を撮影画像に例えば付加する。これにより、後の認識処理において、認識補助情報を用いることにより、画像認識の誤認識の低減が可能となり、また誤認識の修正が可能となる。
【００２０】
以下、これらのことを踏まえて、図１に示した構成及び図２に示したフローチャートを参照しながら、実施形態１の画像処理装置１００における意味的領域分割について説明する。実施形態１では、例えば人体の四肢末端の誤認識の低減や誤認識の修正を可能にすることを想定した認識補助情報の取得処理について説明する。なお、図２のフローチャートの処理は、ハードウェア構成又はソフトウェア構成により実行されてもよいし、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェア構成により処理が実行される場合、図２のフローチャートの処理は、ＲＯＭ等に格納されているプログラムがＲＡＭ等に展開されてＣＰＵ等により実行される。本実施形態に係るプログラムは、ＲＯＭ等に予め用意される場合だけでなく、例えば着脱可能な半導体メモリから読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりして、ＲＡＭ等にロードされてもよい。図２のフローチャートの説明では、ステップＳ２０１〜ステップＳ２０７をそれぞれＳ２０１〜Ｓ２０７と略記する。これらのことは、後述する他のフローチャートにおいても同様とする。
【００２１】
図１の画像処理装置１００のターゲット設定部１０１は、Ｓ２０１の処理として、デジタルカメラにおいて撮影モードの指定がなされているか否かを判定する。近年のデジタルカメラには撮影モードの機能が搭載されており、デジタルカメラは、撮影モードによって、撮影したいシーンや被写体に応じて絞りやシャッター速度などのカメラパラメータを自動的に調整可能となされている。また、デジタルカメラは、ユーザによる撮影モードの手動設定、カメラ自身による撮影モードの自動設定の何れも可能となされている。撮影モードには、ポートレートモード、風景モード、スポーツ撮影モードなど各種のモードがあり、本実施形態のような人物領域の認識例の場合、Ｓ２０１では、撮影モードとしてポートレートモードの設定がなされているか否かの判定が行われる。
【００２２】
ターゲット設定部１０１は、Ｓ２０１において、撮影モードとしてポートレートモードが設定されていると判定した場合、人体領域抽出を認識ターゲットとして設定し、その認識ターゲットを示す情報を情報取得準備部１０２に送る。その後、画像処理装置１００の処理はＳ２０２に進む。一方、Ｓ２０１においてポートレートモード以外の他の撮影モードが設定されている場合、或いは、撮影モードの設定がなされていない場合、画像処理装置１００の処理はＳ２０６に進む。
【００２３】
Ｓ２０２の処理に進むと、画像処理装置１００の情報取得準備部１０２は、人体領域抽出を認識ターゲットとした場合の認識補助情報を取得するための準備（認識補助情報取得準備）及び認識補助情報の取得を行う。本実施形態では、Ｓ２０２の処理を、Ｓ２０３からＳ２０５の三つの処理に分けて説明する。
【００２４】
Ｓ２０３において、情報取得準備部１０２は、撮影モードがポートレートモードである場合にデジタルカメラにおいて設定されるカメラパラメータと各種センサ情報とを、撮影時に取得可能な情報（撮影時取得情報）として取得する。
【００２５】
次のＳ２０４において、情報取得準備部１０２は、Ｓ２０３で取得した撮影時取得情報に基づき、認識補助情報の取得要否を判定する。さらに、情報取得準備部１０２は、撮影時取得情報の中で取得すべきと判定した認識補助情報を取得するためのカメラパラメータ（以下、情報取得用カメラパラメータとする。）を所定のルールに基づいて設定する。ここで、本実施形態では、撮影時取得情報と認識補助情報及び情報取得用カメラパラメータとを所定のルールにより対応付けた対応表が、予め作成されて記憶装置１０５に格納されているとする。したがって、情報取得準備部１０２は、この対応表を基に、情報取得用カメラパラメータの設定を行う。
【００２６】
具体例を挙げて説明すると、Ｓ２０３において、情報取得準備部１０２は、撮影時取得情報の一部として、カメラの焦点距離が２５ｍｍ（ズームアウト状態）、被写体距離が１０ｍ、音が無音、赤外画像の各情報を取得したとする。さらに、カメラでは赤外画像をしきい値処理して応答の局所性の判別もなされており、情報取得準備部１０２は、その赤外画像及び応答の局所性の情報も撮影時取得情報の一部として取得しているとする。ここで、この例のように焦点距離が２５ｍｍ（ズームアウト状態）で、被写体距離が１０ｍであるとすると、撮影される人物のサイズは画像内では非常に小さくなり、この場合、後の意味的領域分割処理において四肢末端部分を誤認識してしまう虞がある。
【００２７】
このため、情報取得準備部１０２は、Ｓ２０４において、認識補助情報を取得する必要があると判定し、また、記憶装置１０５内の対応表に基づき、取得すべき認識補助情報として、ズームイン画像、動画、赤外画像（静止画）を選択する。また、情報取得準備部１０２は、記憶装置１０５内の対応表に基づき、情報取得用カメラパラメータとして、焦点距離を５０ｍｍ（ズームイン）、動画記録時間を静止画撮影前後の各１５フレーム分（１秒間分）に設定する。
【００２８】
次に、Ｓ２０５において、情報取得準備部１０２は、Ｓ２０４で設定した認識補助情報を取得するための準備を行う。具体的には、情報取得準備部１０２は、撮影部１０３に動画撮影を開始させ、常に最新の１５フレーム分の動画の画像データを記憶装置１０５に記録させるように設定する。また情報取得準備部１０２は、カメラのシャッターボタンが押下されてポートレートモードでの画像撮影がなされた直後に、焦点距離が５０ｍｍのズームイン状態で静止画を撮影すると共に赤外画像を取得するように、デジタルカメラの制御プログラムを構成する。
そして、Ｓ２０２（Ｓ２０３〜Ｓ２０５）において、情報取得準備部１０２による前述した認識補助情報の取得準備がなされた後、画像処理装置１００の処理は、撮影部１０３にて行われるＳ２０６に進む。
【００２９】
Ｓ２０６に進むと、画像処理装置１００の撮影部１０３は、ユーザによるカメラのシャッターボタン押下を検知すると、Ｓ２０５の設定に基づく動画撮影を一時停止して、ポートレートモードでの静止画の撮影を行う。さらに、そのポートレートモードでの静止画の撮影後、撮影部１０３は、焦点距離を５０ｍｍに設定してズームイン状態での静止画撮影を行うと共に赤外画像の取得も行う。そして、焦点距離が５０ｍｍでの静止画撮影および赤外画像の取得後、撮影部１０３は、焦点距離を２５ｍｍに戻し、Ｓ２０５の設定に基づく最新の１５フレーム分の動画撮影を行う。なお、Ｓ２０１において撮影モードが設定されていない場合、又はポートレートモード以外の他の撮影モードが設定されてＳ２０６に進んだ場合には、認識補助情報の取得は行われないため、撮影部１０３は、ポートレートモードでの静止画撮影のみを行う。Ｓ２０６の後、画像処理装置１００の処理は、出力部１０４によるＳ２０７の処理に進む。
【００３０】
Ｓ２０７に進むと、出力部１０４は、ユーザによるカメラのシャッターボタン押下に応じて撮影部１０３にてポートレートモードで撮影された静止画像を、記憶装置１０５に格納する。またこのとき、出力部１０４は、認識補助情報が存在する場合には、情報取得用カメラパラメータ情報も含めた認識補助情報を、ポートレートモードで撮影された静止画像に付加又は対応付けて、記憶装置１０５に格納する。
【００３１】
以上のように、本実施形態の画像処理装置１００では、取得可能な撮影時取得情報の中から認識補助情報を取捨選択し、その認識補助情報を、後の認識処理に使用可能な情報として，撮影画像に加えて出力するようになされている。これにより、後の認識処理では、認識補助情報を用いた画像認識を行うことができ、誤認識の低減、また誤認識の修正が可能となる。すなわち、本実施形態の画像処理装置１００においては、無用なデータを大量に撮影及び記録することを回避しつつ、画像認識時の誤認識の低減、誤認識の修正が可能な情報を獲得可能である。
【００３２】
なお、本実施形態の画像処理装置１００では、所定の撮影モード（前述の例ではポートレートモード）の設定の有無を判別し、所定の撮影モードの設定有り場合に、認識補助情報の取得準備を行った上で、その認識補助情報を取得するようになされている。この例に限定されず、本実施形態の画像処理装置は、撮影モードの設定の有無によらずに、認識補助情報の取得準備を行って、認識補助情報を取得してもよい。
【００３３】
また、本実施形態の画像処理装置１００では、ポートレートモードが設定された時、人体領域抽出を認識ターゲットとした認識補助情報の取得準備及び認識補助情報の取得を行っている。この例に限定されず、本実施形態の画像処理装置は、人肌領域や空領域など人体領域以外を認識ターゲットにした認識補助情報の取得準備及び認識補助情報の取得を行ってもよい。また、撮影モードの全部或いは一部に対して一つ以上の認識ターゲットが設定されてもよい。さらに、認識ターゲットとして意味的領域の抽出ではなく、オブジェクト抽出や画像内特定オブジェクトの存在有無判定など、認識ターゲットが他の目的に設定されてもよい。
【００３４】
また、前述の本実施形態では、情報取得準備部１０２に処理が移ると直ぐにＳ２０２の動作を開始するようになされていたが、ユーザによるシャッターボタンの半押しを検知した後、直ぐにＳ２０２の動作が開始されてもよい。
また、本実施形態では、ユーザによる撮影と認識補助情報の取得とを同一の画像処理装置で行うようになされている。これに限らず、本実施形態の画像処理装置は、認識補助情報法取得用の撮影機構を別に備えるように構成されていてもよい。
【００３５】
また、本実施形態では、ポートレートモード時に設定されるカメラパラメータと各種センサ情報とを撮影時取得情報として取得するようになされている。この例に限定されず、本実施形態の画像処理装置１００は、これら以外の情報、例えば画像処理装置自身が外部から取得した情報、画像処理装置が他の外部機器から取得した情報、ユーザが設定した情報などを撮影時取得情報として取得してもよい。画像処理装置自身が外部から取得する情報としては、例えばインターネットを介して取得した気象情報などを挙げることができる。また、画像処理装置が他の外部機器から取得する情報としては、外部機器である例えばスマートフォンと通信して、そのスマートフォンから入手した情報などを挙げることができる。ユーザが設定した情報としては、設定用のインターフェイス画面を介してユーザにより入力される情報などを挙げることができる。
【００３６】
また、本実施形態では、認識補助情報が撮影画像に加えられて出力される例を挙げたが、撮影画像と認識補助情報は別々に出力されてもよい。認識補助情報が撮影画像とは別に出力される場合、その認識補助情報が撮影画像に対応していることを示す情報が、例えば認識補助情報に付与される。また、撮影画像に認識補助情報を付加する場合には、例えば認識補助情報を撮影画像の一部として付加する例の他、認識補助情報を撮影画像に電子透かしとして埋め込んでもよい。
【００３７】
＜実施形態２＞
実施形態２では、撮影画像に前述した実施形態１の認識補助情報が付加されている場合に、その認識補助情報を利用して、撮影画像から人体の四肢末端の画像認識処理を行う画像処理装置について説明する。実施形態２の画像処理装置は、画像認識処理の際に認識補助情報を利用することにより、誤認識の低減や誤認識の修正を可能とする。
【００３８】
図５は、前述の実施形態１で説明した認識補助情報を利用した画像認識処理が可能な、実施形態２の画像処理装置３００の概略構成を示した図である。図５に示すように、実施形態２の画像処理装置３００は、入力部３０１、認識部３０２、検証修正部３０３、出力部３０４を有する。また、図６は、実施形態２の画像処理装置３００の動作を表すフローチャートである。
以下、図５に示した構成及び図６に示したフローチャートを参照しながら、実施形態２の画像処理装置３００における画像認識処理について説明する。
【００３９】
図５の画像処理装置３００の入力部３０１には、図６のＳ４０１の処理として、意味的領域分割の対象画像（前述したポートレートモードによる撮影画像）と認識補助情報とが入力されるとともに、誤認識時の修正対象となされる着目クラスの指定が行われる。本実施形態では、対象画像と認識補助情報が例えば図１に示した記憶装置１０５等から取得され、着目クラスは人体である場合を例に挙げて説明を行う。なお、撮影画像に対応した認識補助情報が存在しない場合には、撮影画像のみが対象画像として入力されることになる。Ｓ４０１における入力がなされた後、画像処理装置３００の処理はＳ４０２に進む。
【００４０】
Ｓ４０２に進むと、認識部３０２は、対象画像から意味的領域を抽出して第一の認識結果とする。本実施形態の場合、Ｓ４０２における意味的領域の抽出手法としては、前述した非特許文献２に記載の手法が利用されるとする。認識部３０２での意味的領域抽出により得られた第一の認識結果の情報は、対象画像と共に検証修正部３０３に送られる。なお、対象画像に対応した認識補助情報が存在している場合には、撮影画像と第一の認識結果と共に、その認識補助情報も検証修正部３０３に送られる。Ｓ４０２の後、画像処理装置３００の処理はＳ４０３に進む。
【００４１】
Ｓ４０３に進むと、検証修正部３０３は、第一の認識結果に対して誤認識の有無を検証し、誤認識があれば誤認識の修正を試みる。本実施形態では、Ｓ４０３の処理をＳ４０４からＳ４０６までの三つの処理に分けて説明する。
【００４２】
Ｓ４０４において、検証修正部３０３は、認識補助情報が存在するか否かを判定する。検証修正部３０３は、Ｓ４０４において認識補助情報が存在すると判定した場合にはＳ４０５に処理を進める。一方、Ｓ４０４において認識補助情報が存在しないと判定された場合、画像処理装置３００の処理はＳ４０７に移行する。
【００４３】
Ｓ４０５に進んだ場合、検証修正部３０３は、第一の認識結果の着目クラスについて、認識補助情報を利用することにより誤認識領域がないかどうかの検証を行う。ここで、認識補助情報は、前述の実施形態１で説明したように、撮影された静止画像の前後１５フレーム分の動画（３０フレーム分の１秒間の動画）と、焦点距離５０ｍｍのズームイン画像と、赤外画像とを有して構成されている。また、着目クラスはＳ４０１で説明したように人体である。なお、ここで扱う画像や映像等を比較する場合には、すべて正規化した上で処理が行われるとする。正規化は、対象画像の撮影時のカメラパラメータと、認識補助情報の情報取得用カメラパラメータとに基づいて行われ、ここではカメラパラメータとして焦点距離が用いられる例を挙げる。
【００４４】
Ｓ４０５において、検証修正部３０３は、先ず、認識補助情報の一つであるズームイン画像から意味的領域を抽出し、それを検証用認識結果とする。本実施形態では、検証用認識結果を取得する際の意味的領域の抽出手法についても、Ｓ４０２と同様の非特許文献２に記載の手法を利用する。また、Ｓ４０５において、検証修正部３０３は、認識補助情報の一つである動画から動き領域を検出する。本実施形態では、動き領域の検出手法として例えばいわゆるオプティカルフローを用いるとする。
【００４５】
また、Ｓ４０５において、検証修正部３０３は、誤認識領域の検証処理として、前述した第一の認識結果と検証用認識結果との差分を、人体領域に関する差分（以下、第一の差分領域とする。）として抽出する。すなわち、第一の差分領域とは、第一の認識結果では人体領域になっているがズームイン画像では人体領域になっていない領域と、第一の認識結果では人体領域になっていないがズームイン画像では人体領域になっている領域とが抽出された領域である。
【００４６】
さらに、Ｓ４０５において、検証修正部３０３は、第一の差分領域について、動き領域と赤外画像とを使って誤認識領域の検証を行う。すなわち、検証修正部３０３は、第一の差分領域に所定のしきい値以上の動きが検知されるか、或いは、赤外画像の値が所定のしきい値以上の領域があれば、そこは誤認識領域であると判定する。Ｓ４０５の後、検証修正部３０３の処理はＳ４０６に進む。
【００４７】
Ｓ４０６の処理に進むと、検証修正部３０３は、第一の認識結果に対してＳ４０５で判定された誤認識領域を人体領域に修正することで第二の認識結果を得る。Ｓ４０６の後、画像処理装置３００の処理は、Ｓ４０７に移行する。
Ｓ４０７に進むと、出力部３０４は、Ｓ４０４において認識補助情報が存在すると判定されていた場合にはＳ４０６で得た第二の認識結果を出力する。一方、出力部３０４は、Ｓ４０４において認識補助情報が存在しないと判定されていた場合にはＳ４０２で得られた第一の認識結果を出力する。
【００４８】
以上説明したように、実施形態２においては、対象画像（撮影画像）の認識処理の際に、その対象画像に対応した認識補助情報が存在する場合には、その認識補助情報を利用して認識処理を行うようになされている。これにより、実施形態２によれば、対象画像の認識処理の誤認識を低減し、また、対象画像の認識処理で誤認識が生じていたとしても、その誤認識を修正可能となる。
【００４９】
なお、本実施形態では、入力部３０１において着目クラスを指定するように構成した例を挙げたが、認識補助情報の一部として着目クラスが入力されていてもよい。また、本実施形態では着目クラスとして人体を指定する例に挙げたが、人体以外の他のクラスが指定されてもよいし、複数のクラスを指定するように構成してもよい。また、入力部３０１には対象画像と共に認識補助情報が入力される例を挙げたが、認識補助情報を後段の構成で入力可能とし、入力部３０１への認識補助情報の入力を必須としないようにしてもよい。この場合、認識補助情報が入力されなかったときには、検証修正部３０３では検証修正処理を行わず、出力部３０４は第一の認識結果を出力するように構成すればよい。
【００５０】
＜実施形態３＞
実施形態３では、例えば人物がヘルメットを被っている場合のように、人物が特殊な装飾物を身につけている場合の誤認識低減や誤認識修正を想定した認識補助情報の取得方法について説明を行う。例えばヘルメットを被った人物がズームアウト状態で撮影された画像を意味的領域分割する場合、人物の首から上の部分が含まれないような意味的領域分割が行われてしまう場合がある。これはヘルメットにより人物（頭部）が隠されていると誤認識されることに起因する。一方、ズームイン状態で撮影された画像の場合は、画像内における人物領域が大きく、人物がヘルメットを被っていることを正しく認識できるため、このような誤認識が生ずる可能性は低いと考えられる。したがって、例えばヘルメットで顔が隠されていないことを明確にするような認識補助情報を予め取得しておけば、後の認識処理の際の誤認識の低減や修正が可能になると考えられる。
【００５１】
そこで、実施形態３では、ヘルメットで顔が隠されていないことを明確にする認識補助情報を取得可能とすることにより、後の認識処理の際の誤認識の低減や修正を可能としている。なお、実施形態３では、冗長な説明を避けるため、主に実施形態１との差分となる部分について説明を行う。また、実施形態３において、図２のフローチャートのＳ２０１からＳ２０３までの処理は、前述した実施形態１の場合と同じ処理であるため、それらの説明を省略する。
【００５２】
実施形態３の場合、Ｓ２０４において、情報取得準備部１０２は、撮影時取得情報の一部として、実施形態１と同様の焦点距離が２５ｍｍ（ズームアウト状態）、被写体距離が１０ｍ、赤外画像の各情報に加え、音が振幅大であることの情報を取得したとする。また実施形態１と同様に、情報取得準備部１０２は、赤外画像をしきい値処理した応答の局所性の情報も取得しているとする。
【００５３】
また実施形態３の場合、情報取得準備部１０２は、Ｓ２０４において、実施形態１と同様に、記憶装置１０５内の対応表に基づき、取得すべき認識補助情報として、ズームイン画像、動画、赤外画像（静止画）を選択する。また、情報取得準備部１０２は、実施形態１と同様に、記憶装置１０５内の対応表に基づき、情報取得用カメラパラメータとして、焦点距離を５０ｍｍ（ズームイン）、動画記録時間を静止画撮影前後の各１５フレーム分（１秒間分）に設定する。さらに、実施形態３の場合、音の振幅が大きいので、情報取得準備部１０２は、音情報も認識補助情報の一部として取得及び記録する。
【００５４】
次に、実施形態３のＳ２０５に進むと、情報取得準備部１０２は、Ｓ２０４で設定した認識補助情報を取得するための準備を行う。情報取得準備部１０２は、実施形態１と同様に、撮影部１０３に動画撮影を開始させ、常に最新の１５フレーム分の動画の画像データを記憶装置１０５に記録させるように設定する。また情報取得準備部１０２は、カメラのシャッターボタンが押下されてポートレートモードでの画像撮影がなされた直後に、焦点距離が５０ｍｍのズームイン状態で静止画を撮影すると共に赤外画像を取得するように、デジタルカメラの制御プログラムを構成する。さらに、実施形態３の場合、情報取得準備部１０２は、音の記録と、その音源の方向を示す情報についても記録を開始する。なお、音に関する記録期間は、動画撮影と同期させるようにする。
【００５５】
次に、実施形態３のＳ２０６に進むと、撮影部１０３は、ユーザによるカメラのシャッターボタン押下を検知すると、Ｓ２０５の設定に基づく動画撮影を一時停止して、ポートレートモードでの静止画の撮影を行う。ただし、実施形態３の場合、撮影部１０３は、音と音源方向の記録については継続する。そして、ポートレートモードの静止画撮影後、撮影部１０３は、焦点距離を５０ｍｍに設定してズームイン状態での静止画撮影と赤外画像の取得を行い、その後、焦点距離を２５ｍｍに戻し、Ｓ２０５の設定に基づく１５フレーム分の動画撮影を行う。なお、撮影モードが設定されていない場合、又はポートレートモード以外の他の撮影モードが設定されていた場合には、実施形態１と同様に、認識補助情報の取得は行われず、撮影部１０３はポートレートモードでの静止画撮影のみを行う。Ｓ２０６の後、画像処理装置１００の処理は、出力部１０４によるＳ２０７の処理に進む。
【００５６】
その後、Ｓ２０７に進むと、出力部１０４は、実施形態１と同様、ユーザによるカメラのシャッターボタン押下に応じて撮影部１０３にて撮影された静止画像を、記憶装置１０５に格納する。また実施形態１と同様、出力部１０４は、認識補助情報が存在する場合には情報取得用カメラパラメータ情報も含めた認識補助情報を、ポートレートモードで撮影された静止画像に付加又は対応付けて記憶装置１０５に格納する。
【００５７】
以上のように、実施形態３の画像処理装置１００では、取得可能な撮影時取得情報の中で、人物が特殊な装飾物を身につけている場合でも誤認識の低減や修正を可能にする認識補助情報を取捨選択して撮影画像に加えて出力する。すなわち、実施形態３の画像処理装置１００によれば、無用なデータを大量に撮影及び記録することを回避しつつ、画像認識時の誤認識の低減、誤認識の修正が可能な情報を獲得可能である。
【００５８】
＜実施形態４＞
実施形態４では、人物が特殊な装飾物を身につけて撮影された撮影画像に前述した実施形態３の認識補助情報が付加されている場合に、その認識補助情報を利用することで、撮影画像から人体領域を認識可能な画像処理装置について説明する。実施形態４の画像処理装置においても前述の実施形態２と同様に、画像認識処理の際に認識補助情報を利用することにより、誤認識の低減や誤認識の修正が可能である。なお、実施形態４では、冗長な説明を避けるため、主に実施形態２との差分となる部分について説明を行う。また、実施形態４において、図６のフローチャートのＳ４０１からＳ４０４までの処理は、前述した実施形態２の場合と同じ処理であるため、それらの説明を省略する。
【００５９】
実施形態４の場合、Ｓ４０５において、検証修正部３０３は、前述した第一の認識結果の着目クラスについて、認識補助情報を利用することで誤認識領域がないかどうかの検証を行う。実施形態４の場合、認識補助情報は、前述同様に、対象画像の前後１５フレーム分の動画（３０フレーム分の１秒間の動画）と、焦点距離５０ｍｍのズームイン画像と、赤外画像とを有して構成されている。また、前述の実施形態２と同様、着目クラスは人体である。また、実施形態２と同様に、ここで扱う画像や映像を比較する場合には正規化した上で処理が行われるとする。
【００６０】
ここで、実施形態４では、Ｓ４０５の動作を詳しく説明するために、図７のフローチャートを用いる。
図７のＳ７０１において、検証修正部３０３は、ズームイン画像から意味的領域を抽出し検証用認識結果を生成する。実施形態４においても実施形態２の場合と同様、検証用認識結果を生成する際の意味的領域の抽出には、非特許文献２の手法を利用する。
【００６１】
次に、Ｓ７０２の処理として、検証修正部３０３は、第一の認識結果と検証用認識結果との差分を、人体領域に関する差分（第一の差分領域）として抽出する。実施形態４の場合、検証修正部３０３は、第一の差分領域を抽出するために、検証用認識結果を第一の認識結果の座標系に正規化した上で重畳する。本実施形態の場合、検証修正部３０３は、先ず、対象画像の撮影時の焦点距離とズームイン画像取得時の焦点距離とを基に縮小パラメータを算出し、その縮小パラメータを用いてズームイン画像を縮小して縮小ズームイン画像を生成する。次に、検証修正部３０３は、対象画像上で縮小ズームイン画像と最も相関の高い領域を確定する。その後、検証修正部３０３は、検証用認識結果を縮小ズームイン画像と同じサイズに縮小した後、対象画像上の縮小ズームイン画像と最も相関の高い領域と人体領域に関する差分とを算出して、第一の差分領域とする。第一の差分領域とは、前述同様、第一の認識結果では人体領域になっているがズームイン画像では人体領域になっていない領域と、第一の認識結果では人体領域になっていないがズームイン画像では人体領域になっている領域が抽出された領域である。Ｓ７０２の後、検証修正部３０３は、Ｓ７０３に処理を進める。
【００６２】
Ｓ７０３に進むと、検証修正部３０３は、認識補助情報の動画を用いて動きのある領域を検出する。実施形態４おいて、動きの検出には例えばオプティカルフローが用いられる。Ｓ７０３の後、検証修正部３０３は、Ｓ７０４に処理を進める。
Ｓ７０４に進むと、検証修正部３０３は、音情報の解析を行う。本実施形態の場合、検証修正部３０３は、記録されている音から、人間の音声と人間の音声以外の音とを分離し、それぞれの音の方向を解析する。そして、Ｓ７０４の後、検証修正部３０３は、Ｓ７０５に処理を進める。
【００６３】
Ｓ７０５に進むと、検証修正部３０３は、第一の差分領域の検証を行う。実施形態４の場合、検証修正部３０３は、先ず、動き領域と赤外画像とを使って誤認識領域を検証する。ただし、赤外線画像は検証用認識結果の正規化と同様、焦点距離を利用して第一の認識結果の座標系に正規化を行う。ここで検証修正部３０３は、第一の差分領域において所定のしきい値以上の動きが検知されるか、或いは赤外画像の値が所定のしきい値以上の領域があれば、そこは誤認識領域候補であると判定する。次に、検証修正部３０３は、誤認識領域候補のうち、赤外画像の値が所定のしきい値以上で且つ人間の音声以外の音の方向と一致する領域については、赤外画像が他の熱発生源に反応したものとみなして誤認識領域の候補から取り除く。
図７のＳ７０５の後、実施形態４の画像処理装置３００の処理は、図６のＳ４０６に進む。Ｓ４０６以降の各処理は前述した実施形態２と同様であるため、その説明は省略する。
【００６４】
以上説明したように、実施形態４において、対象画像（撮影画像）の認識処理の際に、その対象画像に対応した認識補助情報が存在する場合には、その認識補助情報を利用した認識処理が行われる。これにより、実施形態４によれば、対象画像の認識処理の誤認識を低減し、また、対象画像の認識処理で誤認識が生じていたとしても、その誤認識を修正可能となる。
【００６５】
＜実施形態５＞
実施形態５では、例えば人体に陰や反射領域が生じた場合の誤認識の低減や修正を想定した認識補助情報の取得方法についての説明を行う。
例えば、夏の強い太陽の下で人物を撮影すると、顔や腕など肌が露出した部分に濃い陰領域や強い反射領域が生じる場合がある。このような撮影画像を意味的領域分割したとき、人物領域にこれらの陰領域や反射領域が含まれなくなる場合がある。これは、同一人物の肌の色が大きく変動しているような学習画像が少ないことが原因の一つと考えられる。しかし、学習画像を充実させることで肌色の変動に対応することは簡単ではない。なぜなら、すべての人種について様々な撮影条件（撮影方向、撮影時期、撮影時間、撮影パラメータ設定など）で肌色の変動が生じた画像を準備する必要があるからである。
【００６６】
そこで、実施形態５では、例えば人体に陰や反射領域が生じていた場合であっても、後の認識処理の際に誤認識の低減や修正を行える、認識補助情報の取得を可能とする。なお、実施形態５では、冗長な説明を避けるため、主に実施形態１との差分となる部分について説明を行う。また、実施形態５において、図２のフローチャートのＳ２０１からＳ２０３までの処理は、前述した実施形態１の場合と同じ処理であるため、それらの説明を省略する。
【００６７】
実施形態５の場合、Ｓ２０４において、情報取得準備部１０２は、撮影時取得情報の一部として、焦点距離が２００ｍｍ（ズームイン状態）、被写体距離が１ｍ、被写体方位が真西（方位角２７０°）の情報を取得したとする。また、情報取得準備部１０２は、撮影時取得情報として、ＧＰＳ情報（緯度、経度）が北緯３５．５８２９２で東経１３９．６６１２、日時が２０１５／９／２３の１５時００分、光量が屋外光量、赤外画像の各情報ついても取得したとする。また実施形態５の場合、赤外画像をしきい値処理して得られた応答では、焦点距離と被写体距離とから推定される人物サイズ未満の局所性を有することが判定されたものとする。
【００６８】
ここで、実施形態５の場合、撮影しようとしている人物に陰や反射が発生する可能性があるので、後の意味的領域分割処理において陰や反射部分に誤認識が生じる可能性がある。このため、実施形態５の情報取得準備部１０２は、記憶装置１０５内の対応表に基づき、取得すべき認識補助情報として、フラッシュ画像、露出補正画像、赤外画像（静止画）を選択する。
【００６９】
そして、Ｓ２０５の処理に進むと、情報取得準備部１０２は、Ｓ２０４で決定した認識補助情報を取得するための準備を行う。実施形態５の場合、情報取得準備部１０２は、シャッターボタン押下によるポートレートモードの画像撮影直後に、フラッシュを発光させて撮影した画像と、露出補正して撮影した画像と、赤外画像とを取得するようにデジタルカメラの制御プログラムを構成する。
【００７０】
次に、Ｓ２０６に進むと、撮影部１０３は、ユーザによるシャッターボタン押下を検知すると、ポートレートモードで撮影を行う。次に、撮影部１０３は、フラッシュを発光させた撮影画像と露出補正した撮影画像と赤外画像とを取得する。ただしＳ２０１で撮影モードが選択されていない場合、或いは撮影モードとしてポートレートモード以外の他の撮影モードが選択されている場合、撮影部１０３は、実施形態１と同様に、認識補助情報の取得は行わず、ポートレートモードでの撮影のみを行う。
【００７１】
その後、Ｓ２０７に進むと、出力部１０４は、ユーザのシャッターボタン押下に応じて撮影部１０３にて撮影された画像を記憶装置１０５に格納する。また、実施形態１と同様、出力部１０４は、認識補助情報が存在する場合には情報取得用カメラパラメータ情報も含めた認識補助情報を、ポートレートモードで撮影された静止画像に付加又は対応付けて記憶装置１０５に格納する。
【００７２】
以上のように、実施形態５の画像処理装置１００では、取得可能な撮影時取得情報の中で、例えば人体に陰や反射領域が生じた場合であっても誤認識の低減や修正を可能にする認識補助情報を取捨選択して撮影画像に加えて出力する。実施形態５の画像処理装置１００によれば、前述同様に、無用なデータを大量に撮影及び記録することを回避しつつ、画像認識時の誤認識の低減、誤認識の修正が可能な情報を獲得可能である。
【００７３】
＜実施形態６＞
実施形態６では、人体に陰や反射領域が生じた撮影画像に前述した実施形態５の認識補助情報が付加されている場合に、その認識補助情報を利用することで、撮影画像から人体領域を認識可能な画像処理装置について説明する。実施形態６の画像処理装置においても前述の実施形態２と同様に、画像認識処理の際に認識補助情報を利用することにより、誤認識の低減や誤認識の修正が可能である。なお、実施形態６では、冗長な説明を避けるため、主に実施形態２との差分となる部分について説明を行う。また、実施形態６において、図６のフローチャートのＳ４０１からＳ４０４までの処理は、前述した実施形態２の場合と同じ処理であるため、それらの説明を省略する。
【００７４】
実施形態６の場合、Ｓ４０５において、検証修正部３０３は、第一の認識結果の着目クラスについて、認識補助情報を利用することで誤認識領域がないかどうかの検証を行う。実施形態６の場合、認識補助情報は、実施形態５で説明したように、フラッシュ撮影画像と赤外画像を有して構成されている。また、前述の実施形態２と同様、着目クラスは人体である。また、実施形態４と同様に、ここで扱う画像や映像を比較する場合には正規化した上で処理が行われるとする。検証用認識結果と赤外画像の正規化方法についても実施形態４と同じである。
【００７５】
実施形態６のＳ４０５において、検証修正部３０３は、先ず、フラッシュ画像と露出補正画像とから意味的領域を抽出し、それぞれ検証用認識結果（フラッシュ画像）、検証用認識画像（露出補正）とする。意味的領域の抽出には、前述同様に非特許文献２の手法を利用する。次に、検証修正部３０３は、誤認識領域の検証として、先ず、第一の認識結果と検証用認識結果（フラッシュ画像）との差分を、人体領域に関する差分（第一の差分領域（フラッシュ画像）とする。）として抽出する。第一の差分領域（フラッシュ画像）とは、第一の認識結果では人体領域になっているがフラッシュ画像では人体領域になっていない領域と、第一の認識結果では人体領域になっていないがフラッシュ画像では人体領域になっている領域が抽出された領域である。同様に、検証修正部３０３は、第一の差分領域（露出補正）を抽出する。第一の差分領域（露出補正）とは、第一の認識結果では人体領域になっているが露出補正画像では人体領域になっていない領域と、第一の認識結果では人体領域になっていないが露出補正画像では人体領域になっている領域が抽出された領域である。
【００７６】
その後、検証修正部３０３は、第一の差分領域（フラッシュ画像）と第一の差分領域（露出補正）とを合成することで第一の差分画像を生成する。実施形態６の場合、それら画像の合成にはＯＲ（論理和）演算を利用する。その後、検証修正部３０３は、第一の差分領域について、赤外画像を使って誤認識領域を検証する。このときの検証修正部３０３は、差分領域に赤外画像の値が所定のしきい値以下の領域があれば、そこは誤認識領域である判定する。Ｓ４０６以降の処理については前述の実施形態２と同じであるため、その説明は省略する。
【００７７】
以上のように、実施形態６において、対象画像（撮影画像）の認識処理の際に、その対象画像に対応した認識補助情報が存在する場合には、その認識補助情報を利用した認識処理が行われる。これにより、実施形態６によれば、対象画像の認識処理の誤認識を低減し、また、対象画像の認識処理で誤認識が生じていたとしても、その誤認識を修正可能となる。
図８には、以上説明した実施形態１から実施形態６まで各実施形態における、それぞれの撮影時取得情報と、各々取得する認識補助情報及び認識補助情報の利用方法を一覧表に纏めた図を示している。この図８に示した一覧表は、本実施形態に係る記憶装置１０５に格納されている所定の対応表の一部（実施形態１から実施形態６に対応した部分）を表している。
【００７８】
なお、前述した実施形態２、実施形態４、実施形態６では、先ず、第一の認識結果を得て第一の認識結果に対して検証用認識結果を使って誤認識領域を修正することで第二の認識結果を得るように構成されている。また、誤認識領域が存在する場合は第二の認識結果を出力し、存在しない場合は第一の認識結果を出力するように構成されている。この例に限定されず、検証用認識結果を利用せず、認識補助情報を利用して直接認識し、認識結果を出力するように構成されてもよい。例えば、認識部３０２は機能させず、検証修正部３０３のＳ４０３で第一の認識結果には人体領域がなしとすればよい。或いは、認識部３０２において、予め認識補助情報を考慮して学習したモデルを利用して認識させて第一の認識結果を獲得し、検証修正部３０３を機能させず、出力部３０４において第一の認識結果を出力するよう構成すればよい。
【００７９】
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００８０】
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００８１】
１００，３００  画像処理装置、１０１  ターゲット設定部、１０２  情報取得準備部、１０３  撮影部、１０４  出力部、１０５  記憶装置、３０１  入力部、３０２  認識部、３０３  検証修正部、３０４  出力部
【図１】
2019016856.tif 000003
【図２】
2019016856.tif 000004
【図３】
2019016856.tif 000005
【図４】
2019016856.tif 000006
【図５】
2019016856.tif 000007
【図６】
2019016856.tif 000008
【図７】
2019016856.tif 000009
【図８】
2019016856.tif 000010