(57)【要約】      （修正有）【課題】画像内から精度よく対称性のある物体領域を検出する情報処理装置、方法およびプログラムを提供する。【解決手段】情報処理装置２００は、画素値に基づいて画像中から特徴量を抽出する特徴量抽出手段２０１と、画像に対して対称軸を設定する対称軸設定手段２０２と、特徴量抽出手段により抽出された特徴量と対称軸設定手段により設定された対称軸に基づいて対称変換された特徴量とに基づいて、物体領域を検出する検出手段２０３と、を備える。【選択図】図２
2017182699.tif 000002
【特許請求の範囲】
【請求項１】
画素値に基づいて画像中から特徴量を抽出する特徴量抽出手段と、
前記画像に対して対称軸を設定する対称軸設定手段と、
前記特徴量抽出手段により抽出された特徴量と、前記対称軸設定手段により設定された対称軸に基づいて対称変換された特徴量と、に基づいて、物体領域を検出する検出手段と、
を備えた情報処理装置。
【請求項２】
前記検出手段は、抽出された前記特徴量を前記対称軸に基づいて対称変換させ、対称変換された特徴量と対称変換前の特徴量との類似度に基づいて、前記画像から物体領域を検出する請求項１に記載の情報処理装置。
【請求項３】
前記検出手段は、前記類似度が所定値以上となった特徴量の組を検出し、前記特徴量の組の分布に基づいて、物体領域を検出する請求項２に記載の情報処理装置。
【請求項４】
前記検出手段は、検出された対称となる特徴量の組に外接する矩形領域を前記物体領域として検出する請求項３に記載の情報処理装置。
【請求項５】
前記検出手段は、検出された対称となる特徴量の組を、少なくとも２軸以上の軸に投影し、各軸に投影した特徴量の組の２次元の密度分布に基づいて物体領域を検出する請求項３または４に記載の情報処理装置。
【請求項６】
前記画像中の前景領域と背景領域とを分離する分離手段をさらに備え、
前記検出手段は、前景領域のみから前記対称となる特徴量の組を検出する請求項５に記載の情報処理装置。
【請求項７】
前記特徴量抽出手段は、画素値に基づいて前記画像中からエッジを特徴量として抽出し、
前記検出手段は、抽出された前記エッジおよび前記対称軸に基づいて、前記画像から物体領域を検出する請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
前記特徴量抽出手段は、さらに、前記エッジの方向成分を特徴量として抽出し、
前記検出手段は、抽出された前記エッジ、前記方向成分および前記対称軸に基づいて、前記画像から物体領域を検出する請求項７に記載の情報処理装置。
【請求項９】
画素値に基づいて画像中から特徴量を抽出する特徴量抽出ステップと、
前記画像に対して対称軸を設定する対称軸設定ステップと、
前記特徴量抽出ステップにより抽出された特徴量と、前記対称軸設定ステップにより設定された対称軸に基づいて対称変換された特徴量とに基づいて、物体領域を検出する検出ステップと、
を備えた情報処理方法。
【請求項１０】
画素値に基づいて画像中から特徴量を抽出する特徴量抽出ステップと、
前記画像に対して対称軸を設定する対称軸設定ステップと、
前記特徴量抽出ステップにより抽出された特徴量と、前記対称軸設定ステップにより設定された対称軸に基づいて対称変換された特徴量とに基づいて、物体領域を検出する検出ステップと、
をコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、方法およびプログラムに関する。
【背景技術】
【０００２】
上記技術分野において、特許文献１には、入力画像に対して所定の画像処理を実行し、画像に含まれる対称性を有する物体を検出する技術が開示されている（段落００８１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２３２０２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記文献に記載の技術では、必ずしも同じ輝度値が対称となる画素とは限らないため、精度良く物体領域を検出することができなかった。
【０００５】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る装置は、
画素値に基づいて画像中から特徴量を抽出する特徴量抽出手段と、
前記画像に対して対称軸を設定する対称軸設定手段と、
前記特徴量抽出手段により抽出された特徴量と、前記対称軸設定手段により設定された対称軸に基づいて対称変換された特徴量と、に基づいて、物体領域を検出する検出手段と、
を備えた情報処理装置である。
【０００７】
上記目的を達成するため、本発明に係る方法は、
画素値に基づいて画像中から特徴量を抽出する特徴量抽出ステップと、
前記画像に対して対称軸を設定する対称軸設定ステップと、
前記特徴量抽出ステップにより抽出された特徴量と、前記対称軸設定ステップにより設定された対称軸に基づいて対称変換された特徴量とに基づいて、物体領域を検出する検出ステップと、
を備えた情報処理方法である。
【０００８】
上記目的を達成するため、本発明に係るプログラムは、
画素値に基づいて画像中から特徴量を抽出する特徴量抽出ステップと、
前記画像に対して対称軸を設定する対称軸設定ステップと、
前記特徴量抽出ステップにより抽出された特徴量と、前記対称軸設定ステップにより設定された対称軸に基づいて対称変換された特徴量とに基づいて、物体領域を検出する検出ステップと、
をコンピュータに実行させる情報処理プログラムである。
【発明の効果】
【０００９】
本発明によれば、精度よく物体領域を検出することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。
【図２】本発明の第２実施形態に係る情報処理装置の構成を示すブロック図である。
【図３】本発明の第２実施形態に係る情報処理装置の処理の流れを示すフローチャートである。
【図４】本発明の第３実施形態に係る情報処理装置の構成を示すブロック図である。
【図５】本発明の第３実施形態に係る情報処理装置の処理の流れを示すフローチャートである。
【図６】本発明の第２実施形態の具体的な処理の例を示すための車を対象とした参考画像である。
【図７】本発明の第２実施形態の具体的な処理の例を示すための車を対象とした参考画像において、特徴量が出力されうる場所を示した図である。
【図８】本発明の第２実施形態の具体的な処理の例を示すための車を対象とした参考画像において、対称性を持つ特徴量を検出する具体例を示した図である。
【図９】本発明の第２実施形態の具体的な処理の例を示すための車を対象とした参考画像において、対称変換された特徴量と、検出先の特徴量を示す図である。
【図１０】本発明の第２実施形態の具体的な処理の例を示すための車を対象とした参考画像において、対称軸を設定した図である。
【図１１】本発明の第２実施形態の具体的な処理の例を示すための車を対象とした参考画像において、３次元変換を想定した対称軸の設定を示した図である。
【図１２】本発明の第２実施形態の具体的な処理の例を示すための車を対象とした参考画像において、対称性を持つ特徴量および検出した特徴量から物体領域を検出した図である。
【図１３】本発明の第２実施形態の具体的な処理の例を示すための車を対象とした参考画像において、特徴量の頻度を垂直・水平軸に投影した結果から求めた物体領域を示す図である。
【図１４】本発明の第２実施形態の他の例の構成を示すプロック図である。
【発明を実施するための形態】
【００１１】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１２】
［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、物体の対称性を用いて物体を検出する装置である。
【００１３】
図１に示すように、情報処理装置１００は、特徴量抽出部１０１と対称軸設定部１０２と検出部１０３とを含む。
【００１４】
特徴量抽出部１０１は、画素値に基づいて画像中から特徴量を抽出する。対称軸設定部１０２は、画像に対して対称軸を設定する。検出部１０３は、特徴量抽出部１０１により抽出された特徴量と、対称軸設定部１０２により設定された対称軸に基づいて対称変換された特徴量と、に基づいて、物体領域を検出する。
【００１５】
以上の構成によれば、対称軸に基づいて物体を検出するため、精度のよい物体検出を実現できる。
【００１６】
［第２実施形態］
次に本発明の第２実施形態に係る情報処理装置２００について、図２以降を用いて説明する。図２は、本実施形態に係る情報処理装置２００の機能構成を説明するための図である。情報処理装置２００は、画像入力装置２１０から得られた映像を解析し、物体を検出する機能を有する。情報処理装置２００は、特徴量抽出部２０１と、対称軸設定部２０２と、検出部２０３とを含む。
【００１７】
特徴量抽出部２０１は、画素値に基づいて画像中の任意の点から特徴量を抽出する。特徴量抽出部２０１は、例えば、入力された画像中の任意の画素を中心とする一定領域から、領域内のテクスチャ情報や、領域内の代表方向などを特徴量２１１として抽出する。特徴量抽出部２０１は、画素値に基づいて画像中からエッジを特徴量として抽出し、検出部２０３は、抽出されたエッジおよび対称軸に基づいて、画像から物体領域を検出する。特徴量抽出部２０１は、さらに、エッジの方向成分を特徴量として抽出し、検出部２０３は、抽出されたエッジ、方向成分および前記対称軸に基づいて、画像から物体領域を検出する。
【００１８】
特徴量抽出においては、公知の抽出技術を用いてもよい。例えば、テクスチャと方向から構成される特徴量の例に、ＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded up robust features）、ＯＲＢ（Oriented FAST and Rotated BRIEF）といった技術が知られている。
【００１９】
対称軸設定部２０２は、画像に対して対称軸２２１を設定する。例えば、カメラの画角や物体の形状に基づいて対称となる軸を自動的に設定する。
【００２０】
検出部２０３は、特徴量抽出部２０１により抽出された特徴量２１１と、対称軸設定部２０２により設定された対称軸２２１に基づいて対称変換された特徴量と、に基づいて物体領域を検出する。
【００２１】
検出部２０３は、対称性検出部２３１と物体領域検出部２３２とを含む。
【００２２】
対称性検出部２３１は、抽出された特徴量を対称軸に基づいて対称変換させ、対称変換された特徴量と対称変換前の特徴量との類似度に基づいて、対称性を検出する。
【００２３】
物体領域検出部２３２は、類似度が所定値以上となった特徴量の組の分布に基づいて、物体領域を検出する。物体領域検出部２３２は、対称性検出部２３１で対称付けられた特徴量群に外接する矩形を物体領域として設定する。物体領域検出部２３２は、検出された対称となる特徴量の組を、少なくとも２軸以上の軸に投影し、各軸に投影した特徴量の組の２次元の密度分布に基づいて物体領域を検出する。
【００２４】
（動作の説明）
次に、図３のフローチャートを参照して情報処理装置２００の全体の動作について説明する。
【００２５】
まず、画像入力装置２１０から特徴量抽出部２０１に画像を入力する（Ｓ３０１）。次に、特徴量抽出部２０１は、画像から任意の点ごとに特徴量を抽出する（Ｓ３０２）。さらに、対称性検出部２３１は、対称軸設定部２０２において設定された対称軸に従って対称変換された特徴量との類似度を計算する（Ｓ３０３）。次に、対称性検出部２３１は、類似度が最も高くなる特徴量の組を検出する（Ｓ３０４）。最後に、物体領域検出部２３２は、得られた組の分布に基づいて、物体領域を検出する（Ｓ３０５）。
【００２６】
本実施の形態では、あらかじめ設定した軸に対して、方向を持つ特徴量を対称化させることで、類似度を計算できる構成になっているため、対称性を持つ特徴量間の組を検出でき、それら組の集合（群）から物体領域を検出することができる。対称性を評価する特徴量にエッジ情報と方向情報を使用するため、精度よく対称性を持つ物体を検出できることにある。対称性の軸を任意に設定できるため、カメラ画角に依存せずに対称性を持つ物体を検出できる。
【００２７】
局所領域の情報から対称性を検証し、それらを群として扱い物体領域を定義するため、物体に特化したテンプレートを必要とせず、対称性を持つ物体を検出できる。
【００２８】
（物体検出例の説明）
これらの特徴抽出技術を図６に示す画像例６００に適用すると、図７のように、主にコーナーと呼ばれる点７０１が特徴量となる。例えば図８のように、向かって左側のヘッドライトのコーナーを特徴量８０１とした場合、図９に示すように、特徴量８０１の領域を破線矩形９１１、特徴量の方向９１２、９１３を矢印で表すことができる。なお、特徴量の領域を示す破線矩形９１１の大きさは領域に含まれる最大エントロピーで決めてもよい。例えば、エントロピーとして周波数成分を用いて周波数成分が最大となる領域としてもよい。次に特徴量の方向は、領域内のエッジの方向に対して投票を行い、一番投票数の多い、もしくは一定のしきい値を超えた方向を、その特徴量の方向とする。特徴量８０１の場合、２種類の方向９１２、９１３が定義される。
【００２９】
同様に、図８の特徴量８０２に対して、領域９２１と方向９２２、９２３が抽出され、特徴量８０３に対して、領域９３１と方向９２２、９２３が抽出される。
【００３０】
対称軸設定部２０２は、図１０に示すように、車が真正面に映っている画像から垂直方向の対称軸１００１を設定する。したがって、この垂直方向の対称軸に関して対称な特徴量の組を検出することになる。
【００３１】
なお、図１１の画像１１０１のようなカメラ画角の場合、一度対称性を確認できる画角の画像１１０２に変換した後、対称軸を決めてもよい。また、特徴量の方向を算出する際に、変換計算を含めてもよい。さらに、対称軸は１本に限らず複数配置してもよい。その場合、対称軸の影響が及ぶ領域を定義する必要がある。対称軸の設定方法は、カメラの設置位置から自動で設定してもよいし、手動で設定してもよい。また、一度設定した対称軸を修正可能としてもよい。例えば、図１４に示すとおり、画像に重ねて、設定されている対称軸を表示する表示制御部１４０１と、表示された対称軸の位置の修正を受け付ける修正受付部１４０２と、を設けた情報処理装置１４００を提供してもよい。その場合、検出部２０３は、修正された対象軸に基づいて、画像から物体領域を検出する。
【００３２】
対称性検出部２３１は、図８の特徴量８０１に対称な特徴量を検出する。図９に示すとおり、特徴量８０１に対称軸１００１を中心とした対称変換処理を施し、特徴量９０１を算出する。その後、特徴量９０１から対称軸１００１に直交する方向に存在する画素に対して1画素ずつ類似度評価を行う。この場合、特徴量９０１と、領域の大きさや方向が類似している特徴量８０３が対称特徴量となる。特徴量は任意の次元のベクトルで表現されるため、各次元における平均二乗誤差を類似度の尺度にしてもよい。
【００３３】
また、上述したとおり本実施形態では、特徴量８０１を対称変換して特徴量９０１とし、特徴量８０２，８０３と比較評価したが、逆に、特徴量８０２，８０３を対称変換して特徴量を生成した上で、特徴量８０１と評価してもよい。
【００３４】
このように、全特徴量について同様の処理を行い、対称となる特徴量が対応付いた結果を図１２に示す。
【００３５】
物体領域検出部２３２では、対応付いた特徴量を外接する矩形１２０１を物体領域として検出する。また、特徴量の強度や２次元画像上での出現分布から直接物体領域を求めてもよいし、図１３に示すとおり、垂直、水平軸に対して特徴量の強度や頻度を投影し（１３０１）、ヒストグラムを作成後、一定の頻度の領域１３０２をクリッピングしてもよい（図１３）。このような処理の場合、物体の一部が切り出される場合が多いが、特徴量が多く含まれる領域が切り出されるため、物体検索など特定の用途では有用である。
【００３６】
［第３実施形態］
次に本発明の第３実施形態に係る情報処理装置について、図４を用いて説明する。図４は、本実施形態に係る情報処理装置４００の機能構成を説明するための図である。本実施形態に係る情報処理装置４００は、上記第２実施形態と比べると、背景分離部４０４を有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【００３７】
検出部２０３は、画像中の前景領域と背景領域とを分離し、前景領域のみから対称となる特徴量の組を検出する。
【００３８】
背景分離部４０４は、映像から前景背景に分離する。背景分離部４０４では、あらかじめ指定した情報から背景を定義してもよいし、背景差分や背景認識により動的に定義されてもよい。
【００３９】
対称性検出部２３１は、前景領域画像４４１に基づいて対称性を検出する範囲を決定し、その範囲内で最も類似度の高い特徴量の組を検出する。すなわち、対称性検出部２３１において、対称となる特徴量の組を探索する際に、背景分離部４０４で算出された背景領域をまたがってはいけない。つまり、対象となる特徴量の組は必ず同じ前景領域に存在する仮定を用いる。
【００４０】
次に、図５のフローチャートを参照して本実施形態の全体の動作について詳細に説明する。
【００４１】
まず、得られた映像から前景背景に分離し（Ｓ５０２）。ステップＳ５０４において、前景領域かどうかを判断しながら、対称となる特徴量を検出する。なお、あらかじめ前景領域のみ、特徴量抽出してもよく、その場合は、ステップＳ５０４では、前景背景の考慮は不要となる。
【００４２】
本実施形態では、前景背景に分離した情報に基づいて、対称性を検出するように構成されているため、複数の物体が存在する場合でも、精度よく物体領域を検出することができる。
【００４３】
［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【００４４】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
【００４５】
［実施形態の他の表現］
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
画素値に基づいて画像中から特徴量を抽出する特徴量抽出手段と、
前記画像に対して対称軸を設定する対称軸設定手段と、
前記特徴量抽出手段により抽出された特徴量と、前記対称軸設定手段により設定された対称軸に基づいて対称変換された特徴量と、に基づいて、物体領域を検出する検出手段と、
を備えた情報処理装置。
（付記２）
前記検出手段は、抽出された前記特徴量を前記対称軸に基づいて対称変換させ、対称変換された特徴量と対称変換前の特徴量との類似度に基づいて、前記画像から物体領域を検出する付記１に記載の情報処理装置。
（付記３）
前記検出手段は、前記類似度が所定値以上となった特徴量の組を検出し、前記特徴量の組の分布に基づいて、物体領域を検出する付記２に記載の情報処理装置。
（付記４）
前記検出手段は、検出された対称となる特徴量の組に外接する矩形領域を前記物体領域として検出する付記３に記載の情報処理装置。
（付記５）
前記検出手段は、検出された対称となる特徴量の組を、少なくとも２軸以上の軸に投影し、各軸に投影した特徴量の組の２次元の密度分布に基づいて物体領域を検出する付記３または４に記載の情報処理装置。
（付記６）
前記画像中の前景領域と背景領域とを分離する分離手段をさらに備え、
前記検出手段は、前景領域のみから前記対称となる特徴量の組を検出する付記５に記載の情報処理装置。
（付記７）
前記特徴量抽出手段は、画素値に基づいて前記画像中からエッジを特徴量として抽出し、
前記検出手段は、抽出された前記エッジおよび前記対称軸に基づいて、前記画像から物体領域を検出する付記１乃至６のいずれか１項に記載の情報処理装置。
（付記８）
前記特徴量抽出手段は、さらに、前記エッジの方向成分を特徴量として抽出し、
前記検出手段は、抽出された前記エッジ、前記方向成分および前記対称軸に基づいて、前記画像から物体領域を検出する付記７に記載の情報処理装置。
（付記９）
画像に重ねて、設定されている対称軸を表示する表示制御手段と、
表示された対称軸の位置の修正を受け付ける修正受付手段と、
修正された前記対象軸に基づいて、前記画像から物体領域を検出する検出手段と、
を備えた情報処理装置。
（付記１０）
画素値に基づいて画像中から特徴量を抽出する特徴量抽出ステップと、
前記画像に対して対称軸を設定する対称軸設定ステップと、
前記特徴量抽出ステップにより抽出された特徴量と、前記対称軸設定ステップにより設定された対称軸に基づいて対称変換された特徴量とに基づいて、物体領域を検出する検出ステップと、
を備えた情報処理方法。
（付記１１）
画素値に基づいて画像中から特徴量を抽出する特徴量抽出ステップと、
前記画像に対して対称軸を設定する対称軸設定ステップと、
前記特徴量抽出ステップにより抽出された特徴量と、前記対称軸設定ステップにより設定された対称軸に基づいて対称変換された特徴量とに基づいて、物体領域を検出する検出ステップと、
をコンピュータに実行させる情報処理プログラム。
【産業上の利用可能性】
【００４６】
本発明は、例えば、画像を処理する機能を備えたコンピュータ装置、携帯電話、スマートフォン、デジタルスチールカメラ等に適用することができる。
【図１】
2017182699.tif 000003
【図２】
2017182699.tif 000004
【図３】
2017182699.tif 000005
【図４】
2017182699.tif 000006
【図５】
2017182699.tif 000007
【図６】
2017182699.tif 000008
【図７】
2017182699.tif 000009
【図８】
2017182699.tif 000010
【図９】
2017182699.tif 000011
【図１０】
2017182699.tif 000012
【図１１】
2017182699.tif 000013
【図１２】
2017182699.tif 000014
【図１３】
2017182699.tif 000015
【図１４】
2017182699.tif 000016