(57)【要約】【課題】  識別対象の入力画像を予め定められたカテゴリごとの領域に精度よく分割できるようにすること。【解決手段】  本発明は、入力された画像を複数の小領域に分割するとともに、各小領域に対して近接する小領域とのペアを設定する。そして、設定した小領域ペアに係る特徴量を抽出し、当該抽出した特徴量に基づいて複数の小領域それぞれのカテゴリを決定する。【選択図】  図２
2017045331.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力するステップと、
前記入力された画像を複数の小領域に分割するステップと、
前記分割された複数の小領域について、近接する小領域と小領域ペアを設定するステップと、
前記設定された小領域ペアの特徴量を算出するステップと、
前記算出された小領域ペアの特徴量に基づいて、前記複数の小領域のカテゴリを決定する決定ステップと、
を有することを特徴とする画像処理方法。
【請求項２】
前記複数の小領域について４近傍の小領域と前記小領域ペアを設定することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記複数の小領域それぞれの特徴量を抽出するステップを更に有し、
前記小領域ペアに含まれる小領域それぞれから抽出された特徴量に基づいて、前記小領域ペアの特徴量を算出することを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
前記小領域ペアに含まれる小領域の特徴量として、平均ＲＧＢ値、ＲＧＢヒストグラム、ＬＢＰ特徴、ＨＯＧ特徴、Ｇａｂｏｒフィルタの出力値、Ｓｏｂｅｌエッジフィルタの出力値のいずれかを抽出することを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記小領域ペアの特徴量として、前記小領域ペアの隣接境界上におけるエッジフィルタの出力値を算出することを特徴とする請求項１または２に記載の画像処理方法。
【請求項６】
前記入力された画像の全体の特徴量を抽出するステップと、
前記決定された前記複数の小領域のカテゴリと、前記抽出された前記画像の全体の特徴量とに基づいて、前記入力された画像をカテゴリ毎の領域に分割するステップと、
を更に有することを特徴とする請求項１から３のいずれか１項に記載の画像処理方法。
【請求項７】
前記複数の小領域の小領域それぞれの特徴量を抽出するステップと、
前記抽出された特徴量に基づいて、予め定められたカテゴリから複数のサブカテゴリを作成するステップと、
前記複数の小領域について、前記作成されたサブカテゴリを決定するステップと、
を更に有することを特徴とする請求項１から６のいずれか１項に記載の画像処理方法。
【請求項８】
前記抽出された特徴量の特徴空間上の距離に基づいて前記複数のサブカテゴリを作成することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記小領域ペアにおけるカテゴリごとの平均尤度に基づいて、前記複数の小領域のカテゴリを決定することを特徴とする請求項１から８のいずれか１項に記載の画像処理方法。
【請求項１０】
前記小領域ペアにおけるカテゴリごとの尤度、前記小領域ペアに含まれる小領域の特徴量、および前記入力された画像の全体の特徴量に基づいて前記複数の小領域のカテゴリを決定することを特徴とする請求項１から８のいずれか１項に記載の画像処理方法。
【請求項１１】
前記小領域のカテゴリを決定するために用いられる識別器を学習画像に基づいて学習するステップを更に有することを特徴とする請求項１から１０のいずれか１項に記載の画像処理方法。
【請求項１２】
誤ってカテゴリを決定した個所の情報についてユーザーからの入力を受け付けるステップと、
前記入力された情報に基づいて前記識別器を再学習するステップと、
を更に有することを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記カテゴリは物体の名称に基づくものであることを特徴とする請求項１から１２のいずれか１項に記載の画像処理方法。
【請求項１４】
画像を入力する入力手段と、
前記入力された画像を複数の小領域に分割する分割手段と、
前記分割された複数の小領域について、近接する小領域と小領域ペアを設定する設定手段と、
前記設定された小領域ペアの特徴量を算出する算出手段と、
前記算出された小領域ペアの特徴量に基づいて、前記複数の小領域のカテゴリを決定する決定手段と、
を有することを特徴とする画像処理装置。
【請求項１５】
コンピュータに、請求項１から１３のいずれか１項に記載の画像処理方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象画像を予め定められたカテゴリごとに複数の領域に分割する技術に関する。
【背景技術】
【０００２】
従来から、「人物」、「建物」、「空」、「自動車」等が存在する画像を、「Ｂｏｄｙ」、「Ｂｕｉｌｄｉｎｇ」、「Ｓｋｙ」、「Ｃａｒ」等の予め定められたカテゴリの領域に分割する処理が知られている。このような処理は「意味的領域分割」（Ｓｅｍａｎｔｉｃ  Ｓｅｇｍｅｎｔａｔｉｏｎ）と呼ばれ、認識対象に好適な画像補正やシーン解釈などに応用が可能である。
【０００３】
特許文献１には、対象画像の小領域から取得されるテクスチャ特徴や複数フレームの対象画像から取得されるオプティカルフローなどの情報に基づいて、対象画像を分割する方法が記載されている。特許文献１の方法では、距離や温度などを検出するセンサ（レーダ、サーモグラフィ）からの情報を組み合わせ、対象画像内に存在する物体の境界に沿って領域を精度よく分割するようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１２７０２４号公報
【非特許文献】
【０００５】
【非特許文献１】ＳＬＩＣ  Ｓｕｐｅｒｐｉｘｅｌｓ，Ｒ．Ａｃｈａｎｔａ，Ａ．Ｓｈａｊｉ，Ｋ．Ｓｍｉｔｈ，Ａ．Ｌｕｃｃｈｉ，ＥＰＦＬ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ，２０１０．
【非特許文献２】Ｅｆｆｉｃｉｅｎｔ  Ｇｒａｐｈ−Ｂａｓｅｄ  Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ，Ｐ．Ｆ．Ｆｅｌｚｅｎｓｚｗａｌｂ，ＩＪＣＶ２００４．
【非特許文献３】Ｓ．Ｌａｚｅｂｎｉｋ，Ｃ．Ｓｃｈｍｉｄ  ａｎｄ  Ｊ．Ｐｏｎｃｅ，“Ｂｅｙｏｎｄ  Ｂａｇｓ  ｏｆ  Ｆｅａｔｕｒｅｓ，Ｓｐａｔｉａｌ  Ｐｙｒａｍｉｄ  Ｍａｔｃｈｉｎｇ  ｆｏｒ  Ｒｅｃｏｇｎｉｚｉｎｇ”，Ｎａｔｕｒａｌ  Ｓｃｅｎｅ  Ｃａｔｅｇｏｒｉｅｓ“，ＣＶＰＲ２００６．
【非特許文献４】Ａ．Ｏｌｉｖａ  ａｎｄ  Ａ．Ｔｏｒｒａｌｂａ，“Ｍｏｄｅｌｉｎｇ  ｔｈｅ  ｓｈａｐｅ  ｏｆ  ｔｈｅ  ｓｃｅｎｅ：ａ  ｈｏｌｉｓｔｉｃ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  ｔｈｅ  ｓｐａｔｉａｌ  ｅｎｖｅｌｏｐｅ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，２００１．
【非特許文献５】Ｐ．Ｆｅｌｚｅｎｓｚｗａｌｂ，Ｒ．Ｇｉｒｓｈｉｃｋ，Ｄ．ＭｃＡｌｌｅｓｔｅｒ，Ｄ．Ｒａｍａｎａｎ  “Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  ｗｉｔｈ  Ｄｉｓｃｒｉｍｉｎａｔｉｖｅｌｙ  Ｔｒａｉｎｅｄ  Ｐａｒｔ  Ｂａｓｅｄ  Ｍｏｄｅｌｓ”ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．３２，Ｎｏ．９，２０１０
【非特許文献６】Ｒｏｔｈｅｒ  ｅｔ  ａｌ．，  “ＧｒａｂＣｕｔ：Ｉｎｔｅｒａｃｔｉｖｅ  ｆｏｒｅｇｒｏｕｎｄ  ｅｘｔｒａｃｔｉｏｎ  ｕｓｉｎｇ  ｉｔｅｒａｔｅｄ  ｇｒａｐｈ  ｃｕｔｓ，”  ＡＣＭ  Ｔｒａｎｓ．Ｇｒａｐｈ．，ｖｏｌ．２３，Ｎｏ．３，２００４
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１の方法は、検出したセンサの情報に基づいて対象画像を分割するため、対象画像内に存在する物体の境界に沿って領域を分割することはできるが、予め定められたカテゴリごとに領域を分割する際には精度よく領域分割を行えなかった。そこで、本発明は、対象画像を予め定められたカテゴリの領域に精度よく分割できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、画像を入力するステップと、前記入力された画像を複数の小領域に分割するステップと、前記分割された複数の小領域について、近接する小領域と小領域ペアを設定するステップと、前記設定された小領域ペアの特徴量を算出するステップと、前記算出された小領域ペアの特徴量に基づいて、前記複数の小領域のカテゴリを決定する決定ステップと、を有することを特徴とする。
【発明の効果】
【０００８】
以上の構成によれば、本発明では、対象画像を予め定められたカテゴリの領域に精度よく分割することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に関わる意味的領域分割におけるカテゴリを説明する図。
【図２】各実施形態に関わる画像処理装置の機能構成を示す概略ブロック図。
【図３】各実施形態におけるランタイム時の画像処理のフローチャート。
【図４】第１の実施形態におけるランタイム時の処理内容を模式的に説明する図。
【図５】第１の実施形態において小領域ペアの作成方法を説明する図。
【図６】第１の実施形態において特徴抽出領域Ｒ（ｎ）の設定方法を説明する図。
【図７】第１の実施形態において小領域ペアの連結判定処理を模式的に説明する図。
【図８】各実施形態における学習時の画像処理のフローチャート。
【図９】第２の実施形態において特徴空間上で近いカテゴリを含む画像の例を示す図。
【図１０】第２の実施形態において特徴空間上で複数のカテゴリが近似する例を示す図。
【図１１】第３の実施形態において境界が入り組んだ画像の例を示す図。
【図１２】各実施形態に関わる画像処理装置の機能構成を示す概略ブロック図。
【図１３】第４の実施形態における再学習時の画像処理のフローチャート。
【図１４】第４の実施形態における小領域連結の結果例を示す図。
【図１５】その他の実施形態におけるカテゴリ設定を説明する図。
【図１６】その他の実施形態におけるカテゴリ設定の別の方法を説明するための図。
【図１７】学習画像に指定された領域と小領域分割結果との関係を示す図。
【発明を実施するための形態】
【００１０】
［第１の実施形態］
以下、本発明の第１の実施形態の詳細について図面を参照しつつ説明する。なお、本実施形態において、カテゴリは画像内の特定の対象物体の領域や特定の特徴を持つ領域に対して予め定義され、具体的には「Ｂｏｄｙ」、「Ｂｕｉｌｄｉｎｇ」、「Ｓｋｙ」、「Ｃａｒ」等である。図１は、意味的領域分割におけるカテゴリを説明する図である。図１（ａ）はオリジナルの画像であり、この画像に対してカテゴリを割り当てた画像が図１（ｂ）である。図１（ｂ）のように、ある画像に対して正解のカテゴリを割り当てた画像をＧＴ（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ：正解）と呼ぶ。なお、カテゴリは、必ずしも領域に含まれる物体の名称に基づいたものである必要はなく、例えば「平滑領域」や「テクスチャ領域」など領域の低レベルな空間的特徴に基づいたカテゴリであってもよい。
【００１１】
図２は、各実施形態に関わる画像処理装置のソフトウェア構成（機能構成）を示す概略ブロック図であり、図２（ａ）が本実施形態の概略ブロック図である。図２に示す画像処理装置の各機能部は、画像処理装置が備えるＣＰＵがＲＯＭ、ＲＡＭ、ＨＤＤ等の格納手段に格納されている制御プログラムを実行することにより実現される。
【００１２】
まず、対象画像をカテゴリごとの領域に分割する画像処理（ランタイム時の処理）の装置構成について説明する。画像入力部１１００は、処理対象の画像を取得し、入力画像として設定する。第１小領域分割部１２００は、入力画像を小領域に分割する。連結判定データ設定部１３００は、連結判定を行う小領域ペアを設定し、小領域ペアの特徴量を算出する。連結判定部１４００は、パラメータ記憶部３２００に記憶されているカテゴリごとの連結判定器パラメータと、連結判定データ設定部１３００において算出した小領域ペアの特徴量とに基づき、小領域ペアを連結させるか否かをカテゴリごとに判定する。統合部１５００は、連結判定部１４００による連結判定結果に基づき、小領域ごとにカテゴリを決定し、小領域連結を行う。
【００１３】
前述した画像入力部１１００、第１小領域分割部１２００、連結判定データ設定部１３００、連結判定部１４００および統合部１５００は、すべて同じ計算機上に実現されるものでもよいし、それぞれ独立したモジュールとしてもよい。
【００１４】
次に、学習時の装置構成の概要について説明する。学習とは、未知の入力画像に対して小領域連結を行う画像処理（ランタイム時の処理）の前に、連結判定部１４００にて使用するパラメータを、事前に用意された学習画像から学習することである。
【００１５】
学習画像入力部２１００は、予め用意された学習画像を取得し、処理対象の学習画像として設定する。第２小領域分割部２２００は、学習画像を小領域に分割する。学習データ設定部２３００は、分割された小領域から小領域ペアを設定し、小領域ペアの特徴量を算出する。また、学習データ設定部２３００は、設定された各小領域ペアについて、小領域ペアを連結するか否かの教師データを設定する。学習データ記憶部３１００は、学習画像の小領域ペアの教師データと特徴量を記憶する。学習部２４００は、学習データ記憶部３１００に記憶された小領域ペアの教師データと特徴量に基づき、小領域連結判定を行う判定器のパラメータをカテゴリごとに学習する。パラメータ記憶部３２００は、学習したカテゴリごとの小領域連結判定パラメータを記憶する。
【００１６】
前述した学習画像入力部２１００と、第２小領域分割部２２００、学習データ設定部２３００および学習部２４００は、すべて同じ計算機上に実現されるものでもよいし、それぞれ独立したモジュールとしてもよい。また、学習データ記憶部３１００とパラメータ記憶部３２００は、上記計算機の内部もしくは外部のストレージとして実現される。連結判定パラメータ記憶部３２００は、学習データ記憶部３１００と同一のストレージとしてもよいし、別々のストレージとしてもよい。
【００１７】
次に、本実施形態の画像処理装置の画像処理の詳細について説明を行う。図３は、各実施形態におけるランタイム時の画像処理のフローチャートであり、図３（ａ）に本実施形態のランタイム時の処理のフローチャートを示す。図３（ａ）のフローチャートにおいて、まず、画像入力ステップＳ１１００で、画像入力部１１００は入力画像を取得し、これを処理対象の入力画像として設定する。画像の取得方法としては、例えば、カメラなどの撮像装置から取得するようにしてもよいし、ＨＤＤなどの装置自体に設けられたストレージに予め保存されている画像を取得するようにしてもよい。
【００１８】
第１小領域分割ステップＳ１２００で、第１小領域分割部１２００は入力画像Ｉに対して小領域分割を行う。画像を小領域に分割する手法としては、例えば、非特許文献１のクラスタリングベースの小領域分割手法であるＳＬＩＣや、非特許文献２のグラフベースの手法を用いることができる。あるいは、一定間隔で矩形に分割されたブロック状の小領域に分割するようにしてもよい。なお、ブロック状の小領域やＳＬＩＣを用いる場合は、ブロックの位置やクラスタ中心となるシードの位置を予め設定することになるため、小領域間のグラフ構造が予め与えられることになる。小領域間のグラフ構造とは、小領域の隣接関係をグラフ表現した構造的情報である。一方、非特許文献２のように、小領域間のグラフ構造を予め設定できない手法では、ある小領域の周囲にどの小領域が存在するのかというグラフ構造を小領域分割結果に基づき別途取得する必要がある。このような処理が必要な場合、本実施形態では、後述する第１小領域ペア設定ステップＳ１３１０で行う。このように、本実施形態は、グラフ構造が予め設定される手法も、そうでない手法も適用できるものとなっている。
【００１９】
ここで、図４は、本実施形態におけるランタイム時の処理内容を模式的に説明する図である。同図に示されるように、ステップＳ１１００で画像入力部１１００により入力画像Ｉが設定されると、ステップＳ１２００で第１小領域分割部１２００により小領域分割が行われる。同図に示されるように、本実施形態では、入力画像Ｉは複数の小領域に分割される。
【００２０】
図３（ａ）の説明に戻ると、連結判定データ設定ステップＳ１３００において、連結判定データ設定部１３００は、ステップＳ１２００で行われた小領域分割の結果に対し、小領域ペアを設定するとともに、連結判定を行うためのデータの設定を行う。ここでは、連結判定データ設定ステップＳ１３００を、第１小領域ペア設定ステップＳ１３１０、第１特徴量算出ステップＳ１３２０の２つのサブステップに細分して説明する。
【００２１】
第１小領域ペア設定ステップＳ１３１０では、連結判定データ設定部１３００が、小領域分割結果に対して小領域のペアを設定する。ＳＬＩＣやブロック状の小領域のように、隣接関係がグラフ構造として予め設定される小領域を用いる場合、着目する小領域に対して４近傍の小領域からペアを作成する。具体的には、図４の小領域分割結果の中に示すように、注目する小領域の４近傍小領域を領域ペアの相手とする。
【００２２】
図５は、本実施形態において、小領域ペアの作成方法を説明する図である。ここでは、図５（ａ）に示すように、画像がブロック状に９つの小領域に分割され、左上の小領域が着目する小領域であるとし、分割された小領域には個別の番号ｎ（ｎ＝１，２，…，Ｎ；ただしＮは小領域数）を割り当てるものとする。そうすると、図に示されるように、左上の着目小領域については、番号２と４の小領域を相手とする２つのペア、ペア１とペア２が存在することになる。
【００２３】
なお、後述する第１特徴量算出ステップＳ１３２０において、小領域番号の順序に依存して異なる特徴量を用いる場合、本ステップでは、図５（ｃ）に示す小領域ペア対応表Ａのように、順列に基づく小領域ペアを作成する。この場合には、着目する小領域ごとに、当該小領域Ａと、ペアの相手となる小領域Ｂとの順列により規定されるペアを作成し、それを（Ａ，Ｂ）と表記する。つまり、ペア（Ａ，Ｂ）とペア（Ｂ，Ａ）とでは抽出される特徴量が異なるため、それぞれ別の小領域ペアとして作成する。
【００２４】
また、小領域番号の順序で変化しない特徴量を用いる場合、すなわちペアＡ、Ｂの順序によらず特徴量が変化しない場合、図５（ｄ）に示す小領域ペア対応表Ｂのように、小領域の組合せに基づき小領域ペアを作成する。なお、小領域番号の順序で特徴量が変化する場合と変化しない場合の具体例については、第１特徴量算出ステップＳ１３２０にて説明する。
【００２５】
また、非特許文献２の小領域分割手法のように、小領域のグラフ構造が予め設定されていない手法を用いる場合、ステップＳ１３１０では、全小領域に関し近接小領域を取得し、小領域ペアを作成する。図５（ｅ）は、上述の手法による小領域の分割結果を示す。このような小領域分割手法を採用する場合、最も単純には、ある小領域と接するすべての小領域間でペアを作成することであるが、小領域ペアの数が過大になり問題となる場合がある。そこで、例えば、小領域の重心を中心として画像平面上でボロノイ図を作成して、隣接する小領域間でペアを作成するようにしてもよい。あるいは、図５（ｆ）に示す外接矩形を設定し、図５（ｇ）のように外接矩形の頂点と重心位置から上下左右４方向の方角（東西南北）を定め、隣接小領域のうち、それぞれの方角で最大のピクセル数を持つ小領域をペアの対象としてもよい。
【００２６】
第１特徴量算出ステップＳ１３２０では、連結判定データ設定部１３００が、後述する連結判定ステップＳ１４００で小領域ペアの連結判定に用いる特徴量を算出する。小領域分割した入力画像Ｉにおいて、小領域ｎの特徴抽出領域をＲ（ｎ）とし、Ｒ（ｎ）から抽出したＭ次元の局所特徴量をＦ（ｎ，Ｒ（ｎ），Ｉ）と表すこととする。また小領域ペア（Ａ，Ｂ）が小領域ｎとｎ＋ｋの小領域間で作成されているとし、ペア（Ａ，Ｂ）のうちＡの局所特徴量をＦＡ（ｎ，Ｒ（ｎ），Ｉ）、Ｂの局所特徴量をＦＢ（ｎ＋ｋ，Ｒ（ｎ＋ｋ），Ｉ）とする。そして、連結判定特徴量をＦＰ（ｎ，ｎ＋ｋ，Ｒ（ｎ），Ｒ（ｎ＋ｋ），Ｉ）と表記すると、連結判定特徴量ＦＰ（ｎ，ｎ＋ｋ，Ｒ（ｎ），Ｒ（ｎ＋ｋ），Ｉ）は、下記の数式１のように、各小領域の局所特徴量を連結させた特徴量とすることができる。
ＦＰ（ｎ，ｎ＋ｋ，Ｒ（ｎ），Ｒ（ｎ＋ｋ），Ｉ）＝［ＦＡ（ｎ，Ｒ（ｎ），Ｉ），ＦＢ（ｎ＋ｋ，Ｒ（ｎ＋ｋ），Ｉ）］  （数式１）
または、数式２のように各領域の局所特徴量の差とすることや、数式３のように局所特徴量の和とすることもできる。
ＦＰ（ｎ，ｎ＋ｋ，Ｒ（ｎ），Ｒ（ｎ＋ｋ），Ｉ）＝［ＦＡ（ｎ，Ｒ（ｎ），Ｉ）−ＦＢ（ｎ＋ｋ，Ｒ（ｎ＋ｋ），Ｉ）］  （数式２）
ＦＰ（ｎ，ｎ＋ｋ，Ｒ（ｎ），Ｒ（ｎ＋ｋ），Ｉ）＝［ＦＡ（ｎ，Ｒ（ｎ），Ｉ）＋ＦＢ（ｎ＋ｋ，Ｒ（ｎ＋ｋ），Ｉ）］  （数式３）
数式１、２のように、局所特徴量ＦＡ（ｎ，Ｒ（ｎ），Ｉ）とＦＢ（ｎ＋ｋ，Ｒ（ｎ＋ｋ），Ｉ）を入れ替えると連結判定特徴量ＦＰ（ｎ，ｎ＋ｋ，Ｒ（ｎ），Ｒ（ｎ＋ｋ），Ｉ）の値が変わる場合、図５（ｃ）対応表Ａのような順列に基づく小領域ペアを用いる。一方、数式３のように、ＦＡ（ｎ，Ｒ（ｎ），Ｉ）とＦＢ（ｎ＋ｋ，Ｒ（ｎ＋ｋ），Ｉ）を入れ替えても、ＦＰ（ｎ，ｎ＋ｋ，Ｒ（ｎ），Ｒ（ｎ＋ｋ），Ｉ）の値が変わらない場合は、図５（ｄ）対応表Ｂのような小領域の組合せに基づく小領域ペアを用いる。
【００２７】
また、連結判定特徴量は前述した例以外にも、局所特徴量間の類似度Ｆｄｉｓｔ（ｎ，ｎ＋ｋ，Ｒ（ｎ），Ｒ（ｎ＋ｋ），Ｉ）とすることもできる。類似度Ｆｄｉｓｔには、いくつかの計算方法が考えられるが、そのうちの一つとして数式４のようにヒストグラム間距離を用いる方法などがある。
【００２８】
【数１】
2017045331.tif 000003
【００２９】
ただし、ＦＡ、ＦＢの添え字ｍは特徴量の次元を表し、１≦ｍ≦Ｍの整数である。また、類似度Ｆｄｉｓｔは、Ｅａｒｔｈ  Ｍｏｖｅｒｓ  Ｄｉｓｔａｎｃｅやユークリッド距離、ＫＬダイバージェンスなどを用いるようにしてもよい。
【００３０】
上記ＦＡ（ｎ，Ｒ（ｎ），Ｉ）とＦＢ（ｎ＋ｋ，Ｒ（ｎ＋ｋ），Ｉ）として扱った局所特徴量は、具体的には、小領域のような画像中の局所的な領域内における平均ＲＧＢ値である。また、ＲＧＢヒストグラム、Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ（ＬＢＰ特徴）のようなバイナリ特徴量であってもよい。あるいは、非特許文献３に開示されるＨＯＧ特徴、またはＧａｂｏｒフィルタやＳｏｂｅｌエッジフィルタなどの出力値を領域Ｒ（ｎ）内でヒストグラム化し特徴量としたものを用いてもよい。さらに、領域Ｒ（ｎ）の重心位置Ｘ＝（ｘ，ｙ）（Ｘ∈Ｒ）の画像座標系における座標値を位置情報として特徴量にしてもよいし、小領域ペアの隣接境界上におけるエッジフィルタの出力値を特徴量としてもよい。
【００３１】
ここで、特徴抽出領域Ｒ（ｎ）の設定方法としては種々の方法が挙げられる。図６に、特徴抽出領域Ｒ（ｎ）の設定のバリエーションを示す。まず、最も単純には、同図（ａ）に示すように、入力画像Ｉを小領域分割した結果である小領域をそのまま特徴抽出領域Ｒ（ｎ）とすることができる。また、同図（ｂ）に示すように分割した小領域を含む矩形領域として設定したり、同図（ｃ）のように小領域を中心とする円形領域として設定することもできる。また、同図（ｄ）のように小領域およびその近傍領域が含まれる膨張領域として設定したり、同図（ｅ）のように小領域を中心とする楕円形領域として設定することもできる。さらには、同図（ｆ）に示すように小領域に外接する矩形領域として設定することも可能である。以上の説明では、小領域ごとに抽出した局所特徴量を用いて連結判定特徴量を算出する方法について説明したが、小領域ペアに関し、その和集合の領域から抽出した特徴量を連結判定特徴量としてもよい。
【００３２】
なお、後述の連結判定ステップＳ１４００ではカテゴリごとに小領域ペアの連結判定を行うが、その際すべての連結判定器で同一の連結判定特徴量を用いる場合、第１特徴量算出ステップＳ１３２０では、その１種類の特徴量を算出しておく。また、カテゴリごとの連結判定器に異なる特徴量を用いる場合、そのすべての特徴量を算出しておく。
【００３３】
続いて、連結判定ステップＳ１４００において、連結判定部１４００は、連結判定データ設定ステップＳ１３００で算出した連結判定特徴量に基づき、全てのカテゴリごとに小領域ペアの連結判定を行う。その際、連結判定器は、Ｓｕｐｐｏｒｔ−Ｖｅｃｔｏｒ−Ｍａｃｈｉｎｅ（ＳＶＭ）やロジスティック回帰などの識別器を用いてもよいし、多数の弱識別器で構成されたブースティングなどのアンサンブル識別器を用いてもよい。また全カテゴリで学習パラメータを変えた同じ識別器を用いてもよいし、各カテゴリで違う識別器を用いてもよい。連結判定器で用いる識別器の学習パラメータは、後述する学習処理において学習画像に基づき学習され、パラメータ記憶部３２００に記憶されたパラメータを用いる。
【００３４】
図７は、カテゴリごとに、小領域ペアの連結判定を行う際の処理を模式的に説明する図である。ここでは、図７（ａ）に示すように、入力画像Ｉが３×４ブロックの小領域に分割されているものとする。そして、分割された小領域から小領域ペアを作成し、カテゴリごとに各小領域ペアの連結判定を行う。小領域ペアの作成については上述したように着目する小領域に対して４近傍の小領域からペアを作成する。図７（ｂ）のように左上の小領域の場合には、ペア１とペア２の２つの小領域ペアを作成する。なお、その他の小領域のペアは図７（ｃ）ように作成され、ここでは小領域ペアにおける小領域の順序によって算出される連結判定特徴量が異なるため、小領域の順列に応じた小領域ペアを作成する。
【００３５】
そして、連結判定の結果は、小領域ペアごとに０．０から１．０までの確率値を取る尤度として出力される。図７（ｃ）の例では、予め設定されたカテゴリが２つ（カテゴリ１、カテゴリ２）であるとし、カテゴリごとに各小領域ペアの連結判定結果が求められる。
【００３６】
次に、統合ステップＳ１５００において、統合部１５００は、連結判定ステップＳ１４００で求められた連結判定結果に基づき、最終的な小領域連結を行う。統合ステップＳ１５００は、連結尤度マップ作成ステップＳ１５１０、連結ステップＳ１５２０の２つのサブステップに分けられる。
【００３７】
まず、連結尤度マップ作成ステップＳ１５１０では、統合部１５００が、カテゴリごとの連結判定結果の尤度に基づき、各小領域において隣接する小領域とのペアとの尤度を平均し、尤度マップを作成する。例えば、図７（ａ）の小領域番号１の小領域の場合、図７（ｂ）に示すように、隣接する小領域とのペアには、ペア１、ペア２の２つのペアが存在し、カテゴリ１におけるそれぞれの尤度は、０．８と０．６であり、その平均値は０．７となる。また、カテゴリ２における小領域１の平均尤度は、同様にして０．４となる。算出された平均尤度は、カテゴリごとの平均尤度マップの該当する箇所に入力される。このようにして、統合部１５００は、各小領域について、隣接する小領域とのペアとの尤度を平均し、尤度マップを完成させる。図７（ｄ）はカテゴリ１に対して作成された平均尤度マップの例を示し、図７（ｅ）はカテゴリ２に対して作成された平均尤度マップの例を示している。
【００３８】
連結ステップＳ１５２０では、統合部１５００が、作成したカテゴリごとの平均尤度マップに基づき、各小領域のカテゴリを１つに決める。本実施形態では、各小領域において最大の平均尤度のカテゴリを、その小領域のカテゴリとして決定する。具体的な例を図７（ｆ）に示すと、小領域番号１の小領域では、図７（ｄ）および（ｅ）に示す尤度マップ中の対応する値０．７と０．４とを比較し、ここでは、カテゴリ２よりカテゴリ１の平均尤度が高いため、カテゴリ１を選択する。
【００３９】
同様に全ての小領域についてカテゴリを１つに決定することで、カテゴリごとの小領域連結が行われる。図７（ｇ）には、小領域ごとのカテゴリが決定され、カテゴリごとに小領域が連結された様子を示している。
【００４０】
次に、本実施形態における学習時の処理について説明する。図８は、各実施形態における学習時の画像処理のフローチャートであり、図８（ａ）が本実施形態の学習時のフローチャートである。図８（ａ）のフローチャートにおいて、学習画像入力ステップＳ２１００では、学習画像入力部２１００が、予め用意された学習画像を取得し、処理対象の学習画像として設定する。学習画像の取得方法としては、例えば、カメラなどの撮像装置から取得するようにしてもよいし、ＨＤＤなどの装置自体に設けられたストレージに予め保存されている画像を取得するようにしてもよい。なお、学習画像には、領域ごとにカテゴリの正解データが与えられている。カテゴリとは、意味的領域分割の公開データセットであるＭＳＲＣ−２１データセットなどで一般的に用いられている、空（ｓｋｙ）、木（ｔｒｅｅ）、建物（ｂｕｉｌｄｉｎｇ）といった同じ被写体を含む領域ごとに分類するためのものである。あるいは、平坦領域、テクスチャ領域といった見た目の違いによる領域ごと、同じ特徴を持つ領域ごとに分類するためのものであってもよい。また、学習画像には何れのカテゴリも付与されない領域が含まれる場合もある。
【００４１】
第２小領域分割ステップＳ２２００において、第２小領域分割部２２００は、設定された処理対象の学習画像を小領域に分割する。このステップにおいて、学習画像を小領域に分割する手法は、ランタイム時の画像処理の第１小領域分割ステップＳ１２００と同じ手法を用いる。
【００４２】
学習データ設定ステップＳ２３００において、学習データ設定部２３００は、ステップＳ２２００で行われた小領域分割の結果に対し、カテゴリごとに連結判定器の学習データを設定する。学習データ設定ステップＳ２３００は、カテゴリ設定ステップＳ２３１０、第２小領域ペア設定ステップＳ２３２０および教師データ設定ステップＳ２３３０の３つのサブステップに分けられる。
【００４３】
まず、第２小領域ペア設定ステップＳ２３２０では、Ｓ２２００で分割した小領域から小領域のペアを設定する。小領域ペアは、ランタイム時の画像処理における領域カテゴリ設定ステップＳ１３１０と同様にして、隣接する小領域から小領域ペアを設定する。なお、画像上の離れた２つの小領域で小領域ペアを設定するなど、他の設定方法であってもよい。
【００４４】
教師データ設定ステップＳ２３３０では、第２小領域ペア設定ステップＳ２３２０で設定した小領域ペアに対し、各小領域に与えられているカテゴリに基づき連結判定の教師値を設定する。例えば、ある小領域ペアがともにカテゴリ１ならばカテゴリ１の連結判定教師データとして連結、小領域ペアの片方でもカテゴリ１以外ならばカテゴリ１の連結判定教師データとして非連結が設定される。その他のカテゴリも同様にして、小領域ペアの両方がともにそのカテゴリならば連結、片方でも違うカテゴリならば非連結として教師値データを設定する。
【００４５】
次に、第２特徴量算出ステップＳ２３４０では、ステップＳ２３２０で設定した小領域ペアに対し、ランタイム時の画像処理におけるステップＳ１３２０で算出する連結判定特徴量と同じ特徴量を算出する。また、ランタイム時、カテゴリごとの連結判定器それぞれで同じ特徴量を用いる場合には、その１種類の連結判定特徴量を算出する。一方、ランタイム時、カテゴリごとの連結判定器で異なる特徴量を用いる場合には、そのすべての特徴量を小領域ペアごとに算出する。
【００４６】
次に、学習ステップＳ２４００において、学習部２４００は、ステップＳ２３００により設定されたカテゴリごとの学習データを用いて、カテゴリごとに連結判定器を学習する。連結判定器には、上述したＳＶＭやロジスティック回帰、またはブースティングなどのアンサンブル識別器などを用いることが可能である。カテゴリごとの連結判定器の教師値は、基本的にはカテゴリごとに定められた連結、非連結の２値ラベルであり、特徴量にはステップＳ２３４０で算出した連結判定特徴量を用いる。学習ステップＳ２４００により学習された各種パラメータは、ランタイム時には、パラメータ記憶部３２００に予め記憶され、識別対象の入力画像における小領域ペアの連結判定の処理に供される。
【００４７】
以上のように、本実施形態によれば、複数のカテゴリの領域を跨がないように小領域を連結させることにより、入力画像を精度よくカテゴリ毎の領域に分割することができるようになる。
【００４８】
［変形例］
ここで、本発明の第１の実施形態の変形例を説明する。図２（ｂ）は、本変形例に関わる画像処理装置の機能構成を示す概略ブロック図である。同図において、本変形例の画像処理装置が上述の第１の実施形態と異なる点は、領域認識部１６００を有することである。領域認識部１６００は、小領域の連結結果、同じカテゴリと判定された領域のそれぞれに対して、意味的領域分割におけるカテゴリの認識を行う。
【００４９】
本変形例における領域認識部１６００の処理について、図３（ｂ）を用いて説明する。図３（ｂ）は、本変形例におけるランタイム時の画像処理のフローチャートである。本変形例のランタイム時の画像処理が上述の第１の実施形態と異なる点は、領域認識ステップＳ１６００を有する点である。
【００５０】
領域認識ステップＳ１６００において、領域認識部１６００は、ステップＳ１５００で小領域を連結することにより得られた各領域のカテゴリの認識を行う。本ステップにおいて、認識するカテゴリの種類として、上述した第１の実施形態で小領域の連結判定に利用したカテゴリと同じものが設定されていてもよいし、また別のカテゴリが設定されていてもよい。小領域を連結した各領域のカテゴリを認識するにあたっては、各領域から抽出される特徴量のみならず、各領域の周囲領域から取得される特徴量、画像全体から取得される大域的な特徴量などに基づいて各領域のカテゴリを認識するようにしてもよい。また、ステップＳ１３２０で算出した連結判定特徴量や、ステップＳ１５００で取得した領域カテゴリごとの連結の尤度を、各領域のカテゴリを認識する際に用いる特徴量としてもよい。各領域のカテゴリの認識には、ＳＶＭやロジスティック回帰、アンサンブル識別器などの識別器を用いればよい。
【００５１】
識別器の学習では、上述の第１の実施形態と同様にして、学習画像を小領域に分割し、小領域を連結して作成した領域ごとに特徴量を算出し、この特徴量と学習画像に与えられているカテゴリの正解データとを用いて学習すればよい。
【００５２】
以上のように、本変形例では、小領域を連結して、入力画像を予め定められたカテゴリごとの領域に分割するとともに、さらに各領域のカテゴリを認識することが可能となる。
【００５３】
［第２の実施形態］
第２の実施形態は、小領域における特徴量の特徴空間上の距離に基づいてカテゴリを設定し、処理すべき入力画像をこの設定されたカテゴリに分割するものである。第１の実施形態では、入力画像を分割するカテゴリは予め定められたもの等であり、特徴空間上の類似性が考慮されていない。そのため、特徴量が近接する領域が画像上で接している場合、両領域を適切に分割できない場合もある。ここで、この問題に関し、図９を参照して具体的に説明する。図９は、特徴空間上の距離の近い複数のカテゴリが含まれる画像の例を示す図であり、図９（ａ）は青空と雲と桜の花が写る画像を模擬した線画である。図９（ａ）の場合、晴天時の雲のようにはっきりとした陰影を持つ雲は、桜の花と色情報やテクスチャ情報が近い。そのため、ヒストグラム間距離などで特徴量の類似度を計算すると、青空と雲の類似度より、桜の花と雲の類似度が高くなる場合がある。
【００５４】
また、図９（ｂ）は、曇天と平滑な壁面を持つビルが写る画像を模した線画である。曇天時の雲は、テクスチャがなく、グレイや白のＲＧＢ値を持ち、平滑な壁面を持つビルと近い特徴を有する。そのため曇天とビルの特徴量の類似度は、ビルとその他の建物との類似度より高くなる。このように、特徴量が近接する領域が画像上で接している場合、両領域を適切に分割できない場合がある。そこで、本実施形態では、小領域における特徴量の特徴空間上の距離に基づいてカテゴリを設定し、処理すべき入力画像をこの設定されたカテゴリに分割する。以下、本実施形態の構成について説明するが、第１の実施形態において既に説明をした構成については同一の符号を付し、その説明は省略する。
【００５５】
本実施形態において、ランタイム時の処理は第１の実施形態と同様であり、学習時の処理が第１の実施形態とは異なる。以下、図８（ｂ）を用いて、本実施形態における学習時の処理を説明する。図８（ｂ）において、学習画像入力ステップＳ２１００および第２小領域分割ステップＳ２２００は第１の実施形態と同様であり、処理すべき学習画像が入力されて、その学習画像に対して小領域分割を行う。
【００５６】
続いて、本実施形態の学習データ設定ステップＳ２３００では、学習データ設定部２３００が、ステップＳ２２００で行われた小領域分割により生成された小領域に対して、カテゴリ毎に連結判定器の学習データを設定する。学習データ設定ステップＳ２３００は、以下の各サブステップに細分される。すなわち、学習データ設定ステップＳ２３００は、カテゴリ設定ステップＳ２３１０、小領域特徴量抽出ステップＳ２３５０、サブカテゴリ作成ステップＳ２３６０、および第２小領域ペア設定ステップＳ２３２０を含む。更に、教師データ設定ステップＳ２３３０、第２特徴量算出ステップＳ２３４０、およびデータ追加調整ステップＳ２３７０を含む。
【００５７】
カテゴリ設定ステップＳ２３１０では、第１の実施形態と同様に、小領域ごとにカテゴリを設定する。次に、小領域特徴量抽出ステップＳ２３５０で、小領域から特徴量を抽出する。第１の実施形態では第２特徴量算出ステップＳ２３４０において小領域から特徴量を算出するが、本実施形態の小領域特徴量抽出ステップＳ２３５０でも同様の処理を行うことにより、各小領域の特徴量を抽出する。すなわち、平均ＲＧＢ値やＲＧＢヒストグラム、Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎのような特徴量を小領域から抽出する。ただし、本ステップでは、第１の実施形態における第２特徴量算出ステップＳ２３４０とは異なり、小領域ペアの連結判定特徴量は算出しない。そのため、例えば、小領域ペア隣接境界上のエッジフィルタ出力値など、小領域ペアからのみ抽出可能な特徴量は抽出しないものとしている。また、ここで抽出する特徴量は、後述する第２特徴量算出ステップＳ２３４０において用いる特徴量と同じ特徴量とする。
【００５８】
次に、サブカテゴリ作成ステップＳ２３６０では、特徴空間上の距離に基づいて、予め設定されているカテゴリを細分化することによりサブカテゴリを作成する。カテゴリ設定ステップＳ２３１０において設定されるカテゴリは、意味的領域分割のカテゴリクラスやユーザーが任意に決めたカテゴリであるため、特徴空間上における異なる領域カテゴリの学習データ間の距離とはほぼ無関係に設定されている。
【００５９】
ここで、図１０は特徴空間上で複数のカテゴリが近似する場合の例を示す図である。図１０（ａ）は、学習データとしてカテゴリ１、２、３が存在し、特徴量次元が３次元の場合を仮定した場合に、３次元特徴空間上での各カテゴリの学習サンプル点を示す。カテゴリ１の学習データは特徴空間上の１か所に集まらず、３か所に散らばって存在している。また、カテゴリ３の学習データは２か所に散らばって存在している。ここで、カテゴリ１の学習サンプル点の塊のうちの１つとカテゴリ２の学習サンプル点の塊とが近接しており、同様にカテゴリ１の学習サンプル点の塊の１つとカテゴリ３の学習サンプル点の塊の１つとが近接している。このように、異なるカテゴリの学習データが特徴空間上で近接している場合には、特徴空間上で離れた同じカテゴリの学習データ同士を連結するように学習することが難しい。
【００６０】
そこで、サブカテゴリ作成ステップＳ２３６０では、まず、小領域特徴量抽出ステップＳ２３５０で抽出された小領域ごとの特徴量に基づいてカテゴリ毎に分ける。そして、Ｋ平均法や混合正規分布モデル等のクラスタリング手法により、カテゴリ毎の特徴量で特徴空間上に学習データのクラスタを作成する。図１０（ｂ）は、以上の処理により作成したクラスタを示す。本実施形態では、このようにカテゴリ毎に作成されたクラスタそれぞれをサブカテゴリとする。なお、サブカテゴリを作成するための適切なクラスタ数は不明であるため、クラスタリングの際に設定したクラスタ数が不適切で、意図通りのサブカテゴリが作成されないことも生じうる。そこで、クラスタ数をできるだけ多く設定してクラスタを作成し、階層クラスタリング等のクラスタ分析手法でクラスタ間距離を分析し、距離とクラスタ内の事例に応じてクラスタを再統合するなどの処理をして、クラスタの質や数を制御してもよい。サブカテゴリ作成ステップＳ２３６０において、カテゴリが割り当てられた全ての小領域について、以上の処理により作成されたサブカテゴリが割り当てられる。
【００６１】
続いて、小領域ペア作成ステップＳ２３２０では、第１の実施形態における小領域ペア作成ステップＳ２３２０と同様に、カテゴリ設定ステップＳ２３１０でカテゴリを付与された小領域について小領域ペアを作成する。
【００６２】
次に、教師データ設定ステップＳ２３３０では、カテゴリ設定ステップＳ２３１０で設定された小領域ごとのカテゴリと、サブカテゴリ作成ステップＳ２３６０にて作成されたサブカテゴリとに基づき、各小領域ペアについて連結判定器の教師データを設定する。教師データは、小領域ペアのカテゴリが異なる場合、それぞれが属するサブカテゴリによらず非連結とする。また小領域ペアのカテゴリが同じで、かつサブカテゴリも同じ場合、連結と設定する。小領域ペアのカテゴリが同じ場合でも、属するサブカテゴリが異なる場合、連結とも非連結とも設定せず、学習データから除外してもよい。これは、図１３に示したように同じカテゴリの学習データでも特徴空間上で離れている可能性もあり、無理に連結と学習することで生じうる悪影響を減らすためである。あるいは、小領域ペアのカテゴリが同じで、属するサブカテゴリが異なる場合には、非連結と設定するようにして、前述した悪影響が起こる可能性を軽減してもよい。
【００６３】
第２特徴量算出ステップＳ２３４０では、第２小領域ペア設定ステップＳ２３２０で設定した小領域ペアに対し、ランタイム時処理の第１特徴量算出ステップＳ１３２０で算出する特徴量と同じ特徴量を算出する。すなわち、ランタイム時処理の連結判定ステップＳ１４００においてカテゴリ毎の連結判定器で同じ特徴量を使う場合、その１種類の連結判定特徴量を抽出する。連結判定ステップＳ１４００において、カテゴリ毎の連結判定器で違う特徴量を使う場合、その全ての特徴量を小領域ペア毎に抽出する。
【００６４】
データ追加調整ステップＳ２３７０では、教師データ設定ステップＳ２３３０で設定したカテゴリ毎の学習データにおける連結、非連結の比に基づき、学習データの追加と調整を行う。本実施形態では、カテゴリをさらにサブカテゴリに分けたことにより、教師値が連結となる学習データ数が非連結となる学習データ数に比べ非常に少なくなる。このようなデータは一般に不均衡データとして知られ、この学習データで学習した識別器で連結判定を行うと、ランタイム時にどのような評価データであっても非連結と判定するようになってしまう可能性がある。そこで本ステップでは、学習データの正事例と負事例、すなわち連結と非連結が適切なバランスとなるようにアンダーサンプリングとオーバーサンプリングを実施する。また、連結、非連結の学習データ比を取得して、後述する学習ステップＳ２４００で利用することにより、適切な学習が行えるようにデータ調整を行う。
【００６５】
アンダーサンプリングでは、ランダムな選択によって負事例データの削減を行ってもよい。また、サブカテゴリ作成ステップＳ２３６０で作成したカテゴリ毎の複数のクラスタに基づき、そのクラスタ中心から最遠方付近のデータである有益な負事例データを残し、その中間にある不要な負事例データを集中的に削減してもよい。オーバーサンプリングでは、カテゴリとサブカテゴリがともに同じ小領域において、画像上の離れた小領域間でのペアや異なる画像内の小領域間でのペアを作成することで行ってもよい。または、ある正事例サンプルのＫ最近傍点との間の値をランダムに選び正事例に加えたり、混合正規分布モデルを用いて学習データを生成し正事例を増やしてもよい。Ｋ近傍点や混合正規分布モデルベースの生成方法は、エッジ特徴など隣接した小領域間でのみ取得できる特徴量を用いる場合、離れた小領域同士でペアを作りオーバーサンプリングしてもその特徴量は抽出できないため、特に有効である。また、アンダーサンプリングとオーバーサンプリングを完全に正事例と負事例が均衡するように行わず、適度に調整した後に正事例と負事例の比を取得し、後述する学習ステップＳ２４００で用いるＳＶＭのコストパラメータＣについての重みとして用いてもよい。
【００６６】
学習ステップＳ２４００では、学習データ設定ステップＳ２３００にて設定されたサブカテゴリ毎の学習データを用いて、サブカテゴリ毎に連結判定器を学習する。この処理は、第１の実施形態における学習ステップＳ２４００と基本的に同じ処理である。しかし、本実施形態の学習ステップＳ２４００では、サブカテゴリ毎に連結、非連結の教師値が設定されているため、サブカテゴリ毎の学習を行う。またデータ追加調整ステップＳ２３７０で正事例と負事例の数の比を取得し連結判定器としてＳＶＭを用いる場合、前述した通りＳＶＭの学習時に設定する正事例、負事例ごとの重みにこの値を利用してもよい。連結判定器はＳＶＭ以外にも、ロジスティック回帰のような識別器を用いても、ブースティングなどのアンサンブル識別器を用いてもよい。
【００６７】
以上、本実施形態によれば、予め設定されているカテゴリを、類似した特徴量を持つサブカテゴリに細分化し、このサブカテゴリ毎に小領域を連結することにより、入力画像を複数の領域に分割する。これにより、特徴空間上で類似するカテゴリの領域が近接して位置するような入力画像においても、入力画像を精度よくカテゴリ毎の領域に分割することができる。
【００６８】
［第３の実施形態］
第３の実施形態は、注目する小領域に設定された各小領域ペアのカテゴリ毎の尤度、注目小領域の特徴量、大域的な特徴量に基づいて各小領域のカテゴリを決定するものである。上述の第１の実施形態では、連結判定ステップＳ１４００で小領域ペアごとの連結尤度を算出し、統合ステップＳ１５００で小領域ごとに連結尤度を平均した。そして、各カテゴリの平均尤度を比べることで、各小領域のカテゴリを決定した。しかし、カテゴリの境界が入り組んだ画像では、この方法でカテゴリを決定すると境界精度が悪くなる場合がある。
【００６９】
図１１は、境界が入り組んだ画像の例を示しており、ここでは、図１１（ａ）に示すように、「空」と「樹木」のカテゴリが存在する画像を考える。図１１（ｂ）は、図１１（ａ）の画像に対して小領域が設定された様子を示しており、ここでは中央に位置している「空」の小領域について注目する。例えば、注目小領域について、図１１（ｃ）のように小領域ペアが設定されたとすると、ペア２、３、４はペアの対が樹木領域のため、「樹木」の連結尤度が高くなる場合がある。そのため、この注目小領域でカテゴリ毎の尤度を比較すると「空」より「樹木」の平均尤度が高くなり、この注目小領域は誤って「樹木」の小領域として他の小領域と連結されてしまうという可能性がある。
【００７０】
第３の実施形態では、各小領域で採用する領域カテゴリを単純に尤度平均の比較で決めずに、注目する小領域に設定された各小領域ペアのカテゴリ毎の尤度、注目小領域の特徴量、大域的な特徴量に基づいて各小領域のカテゴリを決定する。以下、本実施形態の構成について説明を行うが、第１、第２の実施形態において既に説明をした構成については同一の符号を付し、その説明を省略する。
【００７１】
図１２は、各実施形態に関わる画像処理装置のソフトウェア構成（機能構成）を示す概略ブロック図であり、図１２（ａ）が本実施形態の概略ブロック図である。図１２に示す画像処理装置の各機能部は、画像処理装置が備えるＣＰＵがＲＯＭ、ＲＡＭ、ＨＤＤ等の格納手段に格納されている制御プログラムを実行することにより実現される。
【００７２】
ランタイム時の画像処理を行うための機能構成に関し、第１の実施形態と異なる点は、連結判定データ設定部１３００と統合部１５００による処理が異なることである。本実施形態において、連結判定データ設定部１３００は、連結判定を行う小領域ペアの特徴量と新たに連結判定結果を統合する際の識別器で用いる特徴量を抽出する。また、統合部１５００は、連結判定結果を統合する識別器により、小領域連結を実行する。
【００７３】
また、学習時の機能構成に関しては、パラメータ記憶部３２００は、連結判定部１４００の連結判定器で用いるパラメータに加えて、学習部２４００が学習する連結判定結果を統合する識別器のパラメータを記憶する。
【００７４】
次に、図３（ｃ）のフローチャートを用いて、本実施形態におけるランタイム時の画像処理について説明する。図３（ｃ）において、学習画像入力ステップＳ２１００および第２小領域分割ステップＳ２２００は、第１の実施形態と同様の処理であり、処理対象の画像が入力されて、その入力画像に対して小領域分割を行う。
【００７５】
次に、連結判定データ設定ステップＳ１３００では、第１の実施形態と同様に、第１小領域ペア設定ステップＳ１３１０、第１特徴量算出ステップＳ１３２０の処理を実行する。そして、これらのステップの処理に続き、本実施形態では、第３特徴量算出ステップＳ１３３０における処理が実行される。
【００７６】
第３特徴量算出ステップＳ１３３０では、カテゴリ毎の連結判定結果を統合する識別器（統合識別器）で用いる特徴量を算出する。この特徴量は、第１の実施形態における第１特徴量算出ステップＳ１３２０で算出する特徴量、すなわち小領域ごとの特徴量であってもよいし、別の特徴量を算出するようにしてもよい。また特徴量を算出する領域に関しても、第１の実施形態で説明をした領域の形状とは異なるように設定してもよい。また、小領域ごとに抽出される特徴量以外に、画像の大域的特徴量を用いるようにしてもよい。大域的特徴量とは、対象画像の全域に関連する特徴量である。例えば、非特許文献３に開示されるＳｐａｔｉａｌ  Ｐｙｒａｍｉｄ  Ｍａｔｃｈｉｎｇ  Ｋｅｒｎｅｌ、非特許文献４に開示されるＧＩＳＴ特徴量、または画像全体で取得したＲＧＢヒストグラムなどが挙げられる。なお、統合識別器については後述する。
【００７７】
連結判定ステップＳ１４００では、第２の実施形態で説明したサブカテゴリ毎に作成された連結判定器を用い、第１特徴量算出ステップＳ１３２０で抽出された特徴量に基づいてカテゴリ毎の連結判定、およびサブカテゴリ毎の連結判定を行う。
【００７８】
次に、本実施形態では、統合ステップＳ１５００は、１つのサブステップ、すなわち統合判定ステップＳ１５３０で構成されている。統合判定ステップＳ１５３０では、連結判定ステップＳ１４００のカテゴリおよびサブカテゴリごとの連結判定結果の尤度と、第３特徴量算出ステップＳ１３３０において算出された特徴量に基づいて、各小領域のカテゴリとサブカテゴリを決定する。
【００７９】
周囲４近傍で小領域ペアを作成する場合、上下左右の各方向の小領域とのペアのカテゴリ毎の連結判定結果尤度が得られる。ここで、例えば、カテゴリ１とカテゴリ２が存在し、小領域番号ｎにおけるカテゴリ１の上下左右方向の尤度をそれぞれ、Ｌｕ（ｎ，ｌ）、Ｌｂ（ｎ，ｌ）、Ｌｌ（ｎ，ｌ）、Ｌｒ（ｎ，ｌ）とする。また、統合連結判定特徴量のうち、小領域番号ｎにおける局所特徴量をＦ（ｎ）、大域的特徴量をＦＧ（Ｉ）とする。小領域ｎにおける統合判定で用いる特徴量は、以下の数式５として表わされる。
ＦＭ（ｎ）＝［Ｌｕ（ｎ，１），Ｌｂ（ｎ，１），Ｌｌ（ｎ，１），Ｌｕ（ｎ，２），Ｌｂ（ｎ，２），Ｌｌ（ｎ，２），Ｌｒ（ｎ，１），Ｆ（ｎ），ＦＧ（Ｉ）］  （数式５）
本ステップでは、このような特徴量に基づいて識別器で判定を行い、最終的に採用するカテゴリおよびサブカテゴリを決定する。すなわち、本実施形態では、各小領域ペアのカテゴリ毎の尤度、小領域の局所的な特徴量、画像全体に係る大域的な特徴量に基づいて各小領域のカテゴリが決定される。ただし、ここで採用できる特徴量は、数式５のものに限定されず、別の特徴量を用いるようにしてもよい。ただし、少なくともカテゴリ毎の連結判定結果の尤度は用いる必要があり、また識別器は学習が適切に実行され学習パラメータが得られている必要がある。
【００８０】
以上、本実施形態によれば、各小領域に対して、カテゴリ毎の連結判定を複数の観点から行い、その結果を統合することで、小領域を精度よく連結できる。そのため、本実施形態の構成では、入力画像をカテゴリ毎の領域に分割する際の精度を向上させることができる。
【００８１】
［第４の実施形態］
第４の実施形態は、ランタイム時の処理の後、ユーザーが連結判定結果に対する誤り個所を教示し、画像処理装置がその事例を学習データとして追加することで、小領域連結判定結果の精度向上を図るものである。以下では、前提となるランタイム時の処理および学習時の処理が上述の第１の実施形態の場合を例に説明するが、第２、第３の実施形態として説明した構成であってもよい。なお、第１〜第３の実施形態において既に説明した構成については同一の符号を付し、その説明を省略する。
【００８２】
図１２（ｂ）は、本実施形態に関わる画像処理装置のソフトウェア構成（機能構成）を示す概略ブロック図である。本実施形態では、ランタイム時および学習時の装置構成は第１の実施形態と同じ構成であるが、再学習時の装置構成が追加されている。再学習時の装置構成には、追加負事例作成部２５００および再学習部２６００が含まれる。追加負事例作成部２５００は、統合部１５００で得られる小領域連結結果の誤り事例データを作成する。再学習部２６００は、追加負事例作成部２５００により作成された誤り事例データを、学習データ記憶部３１００に記憶された学習データに追加し、再度連結判定器の学習を領域カテゴリごとに行う。再学習部２６００により学習されたカテゴリ毎の連結判定器のパラメータは、パラメータ記憶部３２００に記憶される。
【００８３】
次に、本実施形態の画像処理装置の再学習時の処理の詳細について説明を行う。図１３は、本実施形態における再学習処理のフローチャートである。図１３のフローチャートにおいて、画像入力ステップＳ１１００から統合ステップＳ１５００までは、第１の実施形態と同様の処理であるため、ここでは説明を省略する。再学習に関わる処理は、ランタイム時の処理に続き実行される。
【００８４】
追加負事例作成ステップＳ２５００では、追加負事例作成部２５００は、小領域連結結果に対する誤連結個所を学習データ設定ステップＳ２３００で作成されたカテゴリ毎の学習データに追加する。小領域連結結果の誤連結個所は、例えば、ユーザーが不図示の入力装置により画像処理装置に入力することにより、その情報が得られる。追加負事例作成ステップＳ２５００は、負事例入力ステップＳ２５１０、および第１特徴量追加ステップＳ２５２０の２つのサブステップで構成されている。
【００８５】
負事例入力ステップＳ２５１０は、ユーザーによって入力された誤連結個所に対応する小領域ペアを抽出し、カテゴリ毎の学習データにおける連結、非連結の教師値を作成して、学習データに追加する。ここで、図１４は本実施形態における小領域連結の結果例を示している。図１４（ａ）は、入力画像を複数の小領域に分割した際の例を示している。また、図１４（ｂ）は、図１４（ａ）のように分割された小領域を連結した際に、誤連結の個所が発生した様子を示している。このように誤連結が発生した場合、本実施形態では、図１６（ｃ）に示すようにＧＵＩ上の操作によって、ユーザーが誤連結個所を入力することができる。図１６（ｃ）では、例えば、ナイフ模様のアイコンを操作して誤連結の根元部分に線を引き、誤連結個所を教示する入力方法例を示している。追加負事例作成部２５００は、ここで入力された線などの情報から、誤連結個所に該当する小領域ペアを取得し、さらに誤連結が発生したカテゴリを取得する。この２つの情報から、該当する小領域ペアに対するカテゴリ毎の連結、非連結の教師値を設定する。
【００８６】
続いて、第１特徴量追加ステップＳ２５２０において、負事例入力ステップＳ２５１０で作成された小領域ペアに対応する連結判定特徴量を抽出する。ここで、連結判定特徴量は、第１の実施形態における第２特徴量算出ステップＳ２３４０と同様の特徴量である。
【００８７】
再学習ステップＳ２６００では、再学習部２６００が、追加負事例作成ステップＳ２５００で作成された、小領域連結結果の誤連結事例を追加したカテゴリ毎の連結判定特徴量と教師値とに基づき、カテゴリ毎の連結判定器を再度学習する。本ステップにおいて、追加負事例作成ステップＳ２５００で追加された誤連結事例を再学習に利用するために、次の２つの方法のいずれかもしくは両方を行う。第１の方法は、該当する小領域ペアの誤連結した領域カテゴリの事例を、特別に重要視する非連結事例（負事例）として学習データに追加し再学習時に利用することで、同様の誤連結がランタイム時に再び発生することを積極的に抑える方法である。第２の方法は、全カテゴリにおける負事例として学習データに追加する方法である。前者の方法は、発生する失敗負事例を特別に重要視する事例とし学習時に取り扱う機械学習手法として、非特許文献５に開示される公知手法のＳＶＭのハードネガティブ学習を実行することにより実現される。あるいは、ＳＶＭにおけるペナルティーの割合を制御するパラメータＣをその事例だけ特別に大きい値としてＳＶＭの学習を再度行うようにしてもよい。その他、ＳＶＭ以外でも、ブースティングなどのアンサンブル学習を連結判定に用いる場合、アンサンブル識別器を構成する弱識別器の一つに、前述した追加負事例データを判別する弱識別器を追加してもよい。
【００８８】
後者の方法は、発生した失敗負事例を特別視せず、全カテゴリにおける負事例として学習データに追加する方法を取るもので、データを追加して学習ステップＳ２４００と同様の学習を再度行うことができるため、簡便な処理で済むという利点がある。また、未知の入力画像における似たような事例に対しても、全カテゴリで負事例が追加されたことで、同様の誤連結の発生を抑制することができる。
【００８９】
前者と後者の両方の方法を行う場合は、全カテゴリにおいて、追加した負事例を特別に重要視するようにしてもよいし、誤連結が発生したカテゴリのみで追加の負事例を特別な負事例として扱い、その他のカテゴリでは他の負事例と同様に扱うとしてもよい。
【００９０】
以上のように、本実施形態によれば、ランタイム時の処理によって誤連結した個所をユーザーが教示し、その誤連結の結果を基に再学習することで、再びランタイム時に似た事例が与えられた場合、同様の誤連結が発生することを抑制することができる。
【００９１】
［その他の実施形態］
上述の各実施形態では、入力画像を領域ごとに分割するためのカテゴリは予め定められているものとして説明をしたが、ユーザーや学習データセット作成者が学習画像からカテゴリを設定するようにしてもよい。
【００９２】
図１５は、ユーザーや学習データセット作成者が行う領域カテゴリ設定を説明する図である。図１５（ａ）は、学習データセット作成者が学習用画像からカテゴリを設定する際、画像処理装置が学習画像を読み込み、Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ（ＧＵＩ）上に表示した様子を示している。図１５（ｂ）では、読み込んだ学習画像に対し小領域分割が行われて、画像に小領域の境界を重畳させ表示した状態を示している。なお、図１５（ａ）、（ｂ）のようにＧＵＩ上に画像を表示するために、先に説明した学習画像入力ステップＳ２１００、および第２小領域分割ステップＳ２２００の処理が行われている。
【００９３】
図１５（ｃ）は、重畳画像上にポインタでカテゴリを入力する領域を指定する様子を示すものである。領域指定の方法としては種々の方法が考えられるが、例えば、図の入力方法１として示すように、ポインタをドラックアンドドロップし矩形を作成して領域を指定することができる。また、入力方法２のように、操作者が指定した半径の円を自由に動かし、領域を指定してもよいし、入力方法３のように、操作者が画像上に任意に曲線を描き領域を指定してもよい。また、入力方法４のように、操作者が指定した半径の円をクリックし領域を指定してもよく、また、入力方法５のように、ポインタでシード位置を指定し、シード位置の特徴に似た領域を指定してもよい。更には、非特許文献６のＧｒａｂＣｕｔを利用しポインタで複数の線を描き、前景領域を抽出し、指定するようにしてもよい。
【００９４】
次に、図１５（ｄ）では、入力方法１〜５のそれぞれで指定された領域１〜５を示す。図１５（ｅ）は、各指定領域に対し、領域カテゴリを入力する様子を示すものである。図１５（ｅ）の例では、カテゴリとして「平滑領域」、「テクスチャ領域」、「その他領域」の３つがあらかじめ登録されており、操作者はその３つから選択することで、各指定領域のカテゴリを入力する。このようなカテゴリの入力操作は、通常複数の画像に対して行われる。カテゴリの設定は、この例のように予め決められたものの中から選択するようにしてもよいし、操作者が任意に登録できるようにしてもよい。以上が、ユーザーや学習データセット作成者が行うカテゴリ設定の手順の一例である。
【００９５】
また、別のカテゴリ設定の方法として、画像に対し直接領域を指定し、カテゴリを入力する方法についても説明する。図１６は、カテゴリ設定の別の方法を説明するための図である。図１６（ａ）は、画像上のカテゴリを入力する領域をポインタで指定する様子を示す図である。同図において、領域を指定するための入力方法には種々の方法があり、例えば、入力方法１のように、ポインタをドラックアンドドロップし矩形を作成して領域を指定することができる。また、入力方法２のように、操作者が指定した半径の円を自由に動かし、領域を指定したり、入力方法３のように、操作者が画像中で任意に曲線を描き、曲線状の特徴と類似した領域を指定することもできる。また、入力方法４のように、操作者が指定した半径の円をクリックし領域を指定したり、入力方法５のように、ポインタでシード位置を指定し、シード位置の特徴と似た領域を指定することもできる。また、図１５で説明したのと同様に、非特許文献６のＧｒａｂＣｕｔを利用しポインタで複数の線を描き、前景領域を抽出して、領域を指定してもよい。図１６（ｂ）には、入力方法１〜５のそれぞれで指定された領域１〜５を示す。
【００９６】
次に、図１６（ｃ）には、各指定領域に対し領域カテゴリを入力する様子を示している。ここでは、カテゴリとして「平滑領域」、「テクスチャ領域」、「その他領域」の３つが予め登録されており、操作者はその３つから選択することで、各指定領域のカテゴリを入力する。以上のように、画像に対し直接領域を指定し、カテゴリを入力するようにしてもよい。
【００９７】
ここで、図１７は、学習画像に対して直接指定された領域と、小領域分割した結果の領域との関係を示す図である。図１８（ａ）は学習画像を小領域に分割した結果を重畳させた状態に加えて、カテゴリを入力するための領域を合せて示しており、図１８（ｂ）は、図１８（ａ）の画像の一部の拡大図である。画像に対し任意の方法で領域を指定して、カテゴリを入力した場合、図１８（ｂ）に示すように、第２小領域分割ステップＳ２２００で作成される小領域とカテゴリを入力した領域の形が一致しない。
【００９８】
そこで、第２小領域分割ステップＳ２２００で作成された小領域には、図１８（ｃ）以降に示す処理によってカテゴリを割り当てるようにする。まず、図１８（ｃ）は、この例でのカテゴリのＧＴを示しており図１８（ｄ）は画像を分割することにより生成された小領域を示す。このとき、カテゴリを入力した領域に小領域を割り当てると、図１８（ｅ）のように境界が一致しない小領域ができる。そこで、カテゴリの割り当ては、図１８（ｆ）のように小領域ごとの最大の面積を占める領域カテゴリを割り当てるようにする。
【００９９】
なお、小領域内に存在するカテゴリがある割合以下になった場合はどの領域カテゴリも割り当てないようにしてもよい。この場合は、図１８（ｇ）に示す小領域ペアに着目すると、２つの小領域は互いに違う領域カテゴリとなるので、連結の教師値は、カテゴリ１についてもカテゴリ２についても「非連結」となる。なお、画像からカテゴリを入力するための領域を指定する手法として、異なる小領域分割手法やパラメータを使用した場合にも、以上のようなカテゴリの割り当て処理は有用である。
【０１００】
また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０１０１】
１１００  画像入力部
１２００  第１小領域分割部
１３００  連結判定データ設定部
１４００  連結判定部
１５００  統合部
【図１】
2017045331.tif 000004
【図２】
2017045331.tif 000005
【図３】
2017045331.tif 000006
【図４】
2017045331.tif 000007
【図５】
2017045331.tif 000008
【図６】
2017045331.tif 000009
【図７】
2017045331.tif 000010
【図８】
2017045331.tif 000011
【図９】
2017045331.tif 000012
【図１０】
2017045331.tif 000013
【図１１】
2017045331.tif 000014
【図１２】
2017045331.tif 000015
【図１３】
2017045331.tif 000016
【図１４】
2017045331.tif 000017
【図１５】
2017045331.tif 000018
【図１６】
2017045331.tif 000019
【図１７】
2017045331.tif 000020