(57)【要約】【課題】入力画像に含まれる複数の物体像を精度良く分類する。【解決手段】画像処理方法は、第１の画像の全域から、複数の部分領域を、第１の画像において部分領域として抽出されない領域が残らず、かつ該部分領域間の重複を許して抽出し（Ｓ２０３）、各種類のモデル画像を用いた辞書学習によって、線形結合近似基底と分類基底の集合を用意し（Ｓ２０１）、各部分領域を線形結合近似基底の線形結合により近似して線形結合係数を取得し（Ｓ２０４）、分類基底と線形結合係数との線形結合によって各部分領域に対する分類識別値を設定し（Ｓ２０６）、第１の画像の各画素に対して、その画素を含む２つ以上の部分領域に設定された分類識別値を用いて１つの分類識別値を決定し（Ｓ２０９）、第１の画像の各画素に対応する画素が１つの分類識別値を画素値として有する第２の画像を生成する（Ｓ２０９）。【選択図】図２
2016058018.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像に含まれる物体像を複数の種類のうちいずれかに分類した結果を示す第２の画像を生成する画像処理方法であって、
前記第１の画像の全域から、複数の部分領域を、前記第１の画像において前記部分領域として抽出されない領域が残らず、かつ該部分領域間の重複を許して抽出し、
前記各種類のモデル画像を用いた辞書学習によって生成された基底の集合として、前記部分領域を線形結合により近似するための線形結合近似基底の集合と、前記複数の種類のうち前記部分領域が属する種類を示す分類識別値を得るための分類基底の集合とを用意し、
前記各部分領域を前記線形結合近似基底の線形結合により近似して線形結合係数を取得し、
前記分類基底と前記線形結合係数との線形結合によって前記各部分領域に対する前記分類識別値を設定し、
前記第１の画像の各画素に対して、その画素を含む２つ以上の前記部分領域に設定された前記分類識別値を用いて１つの分類識別値を決定し、
前記第１の画像の各画素に対応する画素が前記１つの分類識別値を画素値として有する第２の画像を生成することを特徴とする画像処理方法。
【請求項２】
前記線形結合近似基底の線形結合は、前記線形結合近似基底の集合に含まれる前記線形結合近似基底の全数よりも少ない数の前記線形結合近似基底の線形結合であることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記線形結合近似基底の全数よりも少ない数は、該全数の２％であることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記分類基底と前記線形結合係数との線形結合により、前記部分領域が前記複数の種類のうちいずれに属するかを識別する指標となる分類ベクトルを生成し、
前記１つの分類識別値を、前記分類ベクトルと予め与えられた教師ベクトルとを比較した結果に応じて決定することを特徴とする請求項１から３のいずれか一項に記載の画像処理方法。
【請求項５】
前記第１の画像の各画素に対して、その画素を含む前記部分領域の数の前記分類識別値の多数決により前記１つの分類識別値を決定することを特徴とする請求項１から３のいずれか一項に記載の画像処理方法。
【請求項６】
前記多数決において最も数が多い前記分類識別値の数が所定値以下である画素は、前記複数の種類のいずれにも属さないと分類とすることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記第２の画像における互いに異なる前記分類識別値が決定された前記画素に対して、互いに異なる色情報を与えることを特徴とする請求項１から６のいずれか一項に記載の画像処理方法。
【請求項８】
コンピュータに、第１の画像に含まれる物体像を複数の種類のうちいずれかに分類した結果を示す第２の画像を生成する画像処理を実行させるコンピュータプログラムとしての画像処理プログラムであって、
前記画像処理は、
前記第１の画像の全域から、複数の部分領域を、前記第１の画像において前記部分領域として抽出されない領域が残らず、かつ該部分領域間の重複を許して抽出し、
前記各種類のモデル画像を用いた辞書学習によって生成された基底の集合として、前記部分領域を線形結合により近似するための線形結合近似基底の集合と、前記複数の種類のうち前記部分領域が属する種類を示す分類識別値を得るための分類基底の集合とを用意し、
前記各部分領域を前記線形結合近似基底の線形結合により近似して線形結合係数を取得し、
前記分類基底と前記線形結合係数との線形結合によって前記各部分領域に対する前記分類識別値を設定し、
前記第１の画像の各画素に対して、その画素を含む２つ以上の前記部分領域に設定された前記分類識別値を用いて１つの分類識別値を決定し、
前記第１の画像の各画素に対応する画素が前記１つの分類識別値を画素値として有する第２の画像を生成することを特徴とする画像処理プログラム。
【請求項９】
第１の画像に含まれる物体像を複数の種類のうちいずれかに分類した結果を示す第２の画像を生成する画像処理装置であって、
前記第１の画像の全域から、複数の部分領域を、前記第１の画像において前記部分領域として抽出されない領域が残らず、かつ該部分領域間の重複を許して抽出する抽出手段と、
前記各種類のモデル画像を用いた辞書学習によって生成された基底の集合として、前記部分領域を線形結合により近似するための線形結合近似基底の集合と、前記複数の種類のうち前記部分領域が属する種類を示す分類識別値を得るための分類基底の集合とを記憶する記憶手段と、
前記各部分領域を前記線形結合近似基底の線形結合により近似して線形結合係数を取得する近似手段と、
前記分類基底と前記線形結合係数との線形結合によって前記各部分領域に対する前記分類識別値を設定する分類手段と、
前記第１の画像の各画素に対して、その画素を含む２つ以上の前記部分領域に設定された前記分類識別値を用いて１つの分類識別値を決定する決定手段と、
前記第１の画像の各画素に対応する画素が前記１つの分類識別値を画素値として有する第２の画像を生成する生成手段とを有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に含まれる複数の物体像を予め定められた複数の種類のうちいずれかに分類する画像処理技術に関する。
【背景技術】
【０００２】
このような画像処理技術として、非特許文献１には、属する種類が定められたモデル画像を用いた辞書学習により基底の要素の集合を生成し、入力画像に存在するパターンを、該集合のうち少数の要素の線形結合により近似することで分類を行う方法が開示されている。種類とは、人の顔、花等の物体を分類するカテゴリである。
【０００３】
また、特許文献１には、患者の臓器から採取した組織を撮像して得られた入力画像を複数の小領域（グリッド画像）に分割し、小領域ごとの特徴量または癌化細胞の画像との比較結果に応じて各小領域が病変部位か否かを分類する方法が開示されている。この方法において、小領域への分割は、入力画像の全域において小領域として抽出されない領域が残らないように、かつ抽出される小領域が互いに重複しないように行われる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−００８０２７号公報
【非特許文献】
【０００５】
【非特許文献１】Zhuolin Jiang, Zhe Lin, Larry S. Davis "Learning a discriminative dictionary for sparse coding via label consistent K-SVD", IEEE Conference on computer vision and pattern recognition,2011, p.1697-1704
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１にて開示された分類方法では、入力画像の全域を対象として、予め定めた種類のいずれかに分類することはできるが、入力画像中に複数の対象（物体像）が存在する場合に、対象ごとにいずれかの種類に分類することができない。特許文献１にて開示された分類方法のように入力画像を小領域に分割し、小領域ごとに非特許文献１にて開示された方法を適用すれば対象ごとの分類も可能であるが、分類の精度が低くなることが予想される。これは、小領域ごとに分類を行う際に誤分類が生じてもこれを訂正することが難しく、また分類の解像度が分割された小領域より細かくならないためである。同様の理由から、特許文献１にて開示された分類方法も、小領域ごとの分類の精度が低いと考えられる。
【０００７】
本発明は、入力画像に含まれる複数の物体像を、予め定められた複数の種類のうちいずれかに精度良く分類できるようにした画像処理方法、画像処理プログラムおよび画像処理装置を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての画像処理方法は、第１の画像に含まれる物体像を複数の種類のうちいずれかに分類した結果を示す第２の画像を生成する。該方法は、第１の画像の全域から、複数の部分領域を、第１の画像において部分領域として抽出されない領域が残らず、かつ該部分領域間の重複を許して抽出し、各種類のモデル画像を用いた辞書学習によって生成された基底の集合として、部分領域を線形結合により近似するための線形結合近似基底の集合と、複数の種類のうち部分領域が属する種類を示す分類識別値を得るための分類基底の集合とを用意し、各部分領域を線形結合近似基底の線形結合により近似して線形結合係数を取得し、分類基底と線形結合係数との線形結合によって各部分領域に対する分類識別値を設定し、第１の画像の各画素に対して、その画素を含む２つ以上の部分領域に設定された分類識別値を用いて１つの分類識別値を決定し、第１の画像の各画素に対応する画素が１つの分類識別値を画素値として有する第２の画像を生成することを特徴とする。
【０００９】
なお、コンピュータに上記画像処理方法を実行させるコンピュータプログラムとしての画像処理プログラムも、本発明の他の一側面を構成する。
【００１０】
また、本発明の他の一側面としての画像処理装置は、第１の画像に含まれる物体像を複数の種類のうちいずれかに分類した結果を示す第２の画像を生成する。該装置は、第１の画像の全域から、複数の部分領域を、第１の画像において部分領域として抽出されない領域が残らず、かつ該部分領域間の重複を許して抽出する抽出手段と、各種類のモデル画像を用いた辞書学習によって生成された基底の集合として、部分領域を線形結合により近似するための線形結合近似基底の集合と、複数の種類のうち部分領域が属する種類を示す分類識別値を得るための分類基底の集合とを記憶する記憶手段と、各部分領域を線形結合近似基底の線形結合により近似して線形結合係数を取得する近似手段と、分類基底と線形結合係数との線形結合によって各部分領域に対する前記分類識別値を設定する分類手段と、第１の画像の各画素に対して、その画素を含む２つ以上の部分領域に設定された分類識別値を用いて１つの分類識別値を決定する決定手段と、第１の画像の各画素に対応する画素が１つの分類識別値を画素値として有する第２の画像を生成する生成手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、入力画像としての第１の画像に含まれる複数の物体像を予め定められた複数の種類のうちいずれかに精度良く分類した結果を示す第２の画像を生成することできる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例である画像分類を実施する画像処理装置の構成を示すブロック図。
【図２】上記画像処理装置の動作を示すフローチャート。
【図３】実施例の画像分類処理を行った実験例１の結果を示す図。
【図４】線形結合近似基底とこれにより得られる線形結合係数の例を示す図。
【図５】分類基底とこれにより得られる分類ベクトルの例を示す図。
【図６】「人の顔」の教師ベクトルと「花」の教師ベクトルを示す図。
【図７】実施例１による画像分類処理と特許文献１および非特許文献１にて開示された方法による画像分類処理との比較結果を示す図。
【図８】実施例の画像分類を行った実験例２の結果を示す図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１４】
図１には、本発明の実施例である画像処理方法（画像分類処理）を実施する画像処理装置の構成を示している。画像処理装置１０１は、画像入力部１０２と、入力画像記憶部１０３と、小領域抽出部（抽出手段）１０４と、小領域記憶部１０５と、基底記憶部１０６と、線形結合近似部（近似手段）１０７と、線形結合係数記憶部１０８とを有する。また、画像処理装置１０１は、分類部（分類手段）１０９と、種類記憶部１１０と、分類画像生成部（決定手段および生成手段）１１１と、分類画像記憶部１１２と、画像出力部１１３とを有する。上記画像入力部１０２から画像出力部１１３までの各部は、バス配線１１４によって接続され、不図示の制御部によってそれらの動作が制御される。
【００１５】
画像入力部１０２は、デジタルカメラやスライドスキャナ等の撮像装置で構成され、撮像により生成された画像（第１の画像：以下、入力画像という）を取得する。スライドスキャナは、病理診断のための病理標本を撮像して画像を取得する装置である。なお、画像入力部１０２は、ＵＳＢメモリやＤＶＤ、ＣＤ−ＲＯＭ等の記憶媒体から入力画像を読み出すＵＳＢインターフェースや光学ドライブ等のインターフェース装置で構成されてもよい。また、これらの装置を複数含むように画像入力部１０２を構成してもよい。
【００１６】
本実施例で扱う入力画像は、ＲＧＢの色ごとに輝度値の２次元配列データを持つカラー画像である。カラー画像を表す色空間はＲＧＢに限らず、ＹＣｂＣｒやＨＳＶ等の他の色空間でもよい。
【００１７】
入力画像記憶部１０３は、画像入力部１０２により取得された入力画像を一時的に記憶する。
【００１８】
小領域抽出部１０４は、入力画像記憶部１０３に記憶されている入力画像の全域から複数の部分領域としての小領域を抽出する。小領域の抽出方法については後述する。
【００１９】
小領域記憶部１０５は、小領域抽出部１０４により抽出された各小領域とその小領域を抽出した位置（以下、小領域抽出位置という）とを相互に関連付けて記憶する。
【００２０】
基底記憶部１０６は、属する種類が定められたモデル画像を用いた辞書学習によって予め生成された基底の集合を記憶（用意）する。ここにいう基底には、入力画像から抽出した小領域を線形結合により近似するための線形結合近似基底と、入力画像から抽出された小領域が予め定めた複数の種類のうちいずれに属するか（つまりは小領域が属する種類）を示す分類識別値を返す分類基底の２つがある。
【００２１】
種類とは、人の顔、花等の物体を分類するカテゴリであり、任意に定めることができる。また、同じ物体に対して複数の種類を設定することもできる。例えば、病理診断で用いる細胞の画像において「正常な細胞」と「異常の細胞」とを分類する種類として設定することができる。上述したモデル画像を用いた辞書学習は、これら種類ごとに行われる。基底の集合と分類識別値については、後に詳しく説明する。
【００２２】
線形結合近似部１０７は、小領域記憶部１０５に記憶されている小領域を、基底記憶部１０６に記憶されている基底要素としての線形結合近似基底の線形結合により近似することで線形結合係数を取得する。
【００２３】
線形結合係数記憶部１０８は、線形結合近似部１０７によって取得された線形結合係数を小領域ごとに記憶する。
【００２４】
分類部１０９は、基底記憶部１０６に記憶されている分類基底と線形結合記憶部１０８に記憶されている線形結合係数とを用いて各小領域が上記複数の種類のうちいずれに属するかを判別する。すなわち、小領域を上記複数の種類のうちいずれかに分類する。具体的には、分類基底と線形結合係数との線形結合によって各小領域に対する分類識別値を設定する。そして、小領域ごとに設定された分類識別値を記憶する。
【００２５】
種類記憶部１１０は、各小領域に対して、小領域記憶部１０５に記憶されている小領域抽出位置と分類部１０９によって設定および記憶された分類識別値とを相互に関連付けて記憶する。
【００２６】
分類画像生成部１１１は、種類記憶部１１０に小領域ごとに記憶されている小領域抽出位置と分類識別値とから、入力画像中の各位置（つまりは各画素）に与える１つの分類識別値を決定する。そして、入力画像の各画素に対応する画素が該１つの分類識別値を画素値として有する出力画像を生成する。ここで生成される出力画像は、入力画像に含まれる複数の物体像を予め定めた複数の種類のうちいずれかに分類した結果を示す画像であり、以下の説明では分類画像という。
【００２７】
分類画像記憶部１１２は、分類画像生成部１１１で生成された分類画像を一時的に記憶する。
【００２８】
画像出力部１１３は、ＣＲＴディスプレイや液晶ディスプレイ等の表示機器で構成され、分類画像記憶部１１２に記憶されている分類画像を表示する。なお、画像出力部１１３を、ＣＤ−ＲＯＭドライブやＵＳＢインターフェース等のインターフェース機器で構成して分類画像をＵＳＢメモリやＣＤ−ＲＯＭ等の記憶媒体に書き出したり、ＨＤＤ等の記憶装置で構成して分類画像を記憶したりしてもよい。
【００２９】
次に、本実施例の画像処理装置１０１の動作を、図２に示したフローチャートを用いて説明する。画像処理装置１０１は、パーソナルコンピュータやマイクロコンピュータ等のコンピュータにより構成され、コンピュータプログラムである画像処理プログラムに従って画像処理としての画像分類処理（画像処理方法）を実行する。
【００３０】
まず、ステップＳ２０１では、画像処理装置１０１は、上述した種類ごとのモデル画像を用いた辞書学習によって基底の集合を生成し、基底記憶部１０６に記憶させる。モデル画像はユーザにより与えられる。また、基底の集合は、それぞれｍ×ｎ画素のサイズを有する小画像からなる線形結合近似基底のＮ個の集合と、分類基底はｍ′×ｎ′画素のサイズを有する小片画像からなる分類基底のＮ個の集合とを含む。ｍ，ｍ′，ｎ，ｎ′およびＮは全て自然数である。なお、基底記憶部１０６に予め記憶されている基底の集合が存在する場合には、ステップＳ２０１の辞書学習を行わず、記憶されている基底の集合を以後の処理に用いてもよい。
【００３１】
次に、ステップＳ２０２では、画像処理装置１０１（画像入力部１０２）は、入力画像を入力画像記憶部１０３に書き込む。入力画像は、例えば８ビットの階調を持つＲＧＢの２次元データ配列である。また、本実施例では、ＲＧＢ画像データを輝度データに変換し、以後の処理に用いる。
【００３２】
次に、ステップＳ２０３では、画像処理装置１０１（小領域抽出部１０４）は、入力画像の全域から、複数の小領域を、入力画像において小領域として抽出されない領域が残らず、かつ小領域間（部分領域間）の重複を許して抽出する。そして、抽出した各小領域と入力画像におけるその小領域の小領域抽出位置とを相互に関連付けて小領域記憶部１０５に記憶させる。小領域抽出位置として、例えば小領域の中心の位置を記憶させてもよい。
【００３３】
また、入力画像から重複を許して小領域を抽出するルールはどのようなものでもよく、例えば最も近接した小領域を互いに１画素だけ左右方向または上下方向にずれた小領域とするルールであってもよい。ただし、入力画像の全域で同じルールを適用しなければならず、抽出の途中でルールを変更してはならない。
【００３４】
次に、ステップＳ２０４では、画像処理装置１０１（線形結合近似部１０７）は、以下の式（１）を用いて、小領域記憶部１０５に記憶された１つの小領域を、基底記憶部１０６に記憶された線形結合近似基底の線形結合により近似して線形結合係数を取得する。そして、該線形結合係数を線形結合係数記憶部１０８に記憶させる。
【００３５】
【数１】
2016058018.tif 000003
【００３６】
ただし、ｙｉは小領域記憶部１０５に記憶されたｉ番目の小領域であり、Ｄは基底記憶部１０６に記憶された線形結合近似基底である。αｉは小領域ｙｉに対応する線形結合係数であり、Ｔは線形結合係数αｉに存在する非ゼロ要素数の上限である。また、■■２は以下の式（２）により表されるｌ２ノルムであり、■α■０はベクトルαに存在する非ゼロ要素数を返す演算子である。また、Ｔは線形結合近似基底の全数Ｎより十分小さい自然数である。
【００３７】
【数２】
2016058018.tif 000004
【００３８】
ただし、Ｘはベクトルまたは行列であり、ｘｉはＸのｉ番目の要素である。本実施例において、Ｘは、入力画像から抽出した小領域を線形結合近似基底の線形結合で近似した際の近似誤差を示す。つまり、線形結合近似部１０７は、式（１）と式（２）を用いて、入力画像から抽出した小領域を、基底の集合として記憶されている線形結合近似基底の全数Ｎより少数の要素の線形結合によって精度良く近似する。得られる線形結合係数は、非ゼロ要素が少ない（スパースである）ことを特徴とする。
【００３９】
ステップＳ２０５では、画像処理装置１０１は、小領域記憶部１０５に記憶された全ての小領域に対してステップＳ２０４の処理が行われたか否かを確認する。全ての小領域に対してステップＳ２０４の処理が行われた場合はステップＳ２０５に、そうでない場合はステップＳ２０４の処理を次の小領域に対して行う。
【００４０】
なお、ステップＳ２０４の処理は小領域ごとに独立した処理であるので、全ての小領域に対するステップＳ２０４の処理を複数の演算処理装置に分散して行わせてもよい。これにより、ステップＳ２０４の処理を全ての小領域に対して行うために要する時間を短縮することができる。
【００４１】
ステップＳ２０６では、画像処理装置１０１（分類部１０９）は、小領域記憶部１０５に記憶された１つの小領域（以下、分類対象小領域という）が予め定めた複数の種類のうちいずれに属するかを判別する。具体的には、分類部１０９は、まず以下の式（３）に示す基底記憶部１０６に記憶された分類基底と線形結合係数記憶部１０８に記憶された分類対象小領域の線形結合係数との線形結合によって、分類ベクトルを生成する。
【００４２】
【数３】
2016058018.tif 000005
【００４３】
ただし、Ｃは分類基底であり、ｂｉは小領域記憶部１０５に記憶されたｉ番目の分類対象小領域の分類ベクトルである。その他の記号は式（１）と同じである。分類ベクトルは、上記複数の種類のうち入力画像から抽出した分類対象小領域が属する種類を判別するための指標である。
【００４４】
次に、分類部１０９は、生成した分類ベクトルと教師ベクトルとを比較した結果から、上記複数の種類のうち入力画像から抽出した小領域が属する種類を示す分類識別値を決定する。例えば、予め定めた種類が「人の顔」と「花」であって、入力画像から抽出した小領域の分類ベクトルと教師ベクトルとの比較の結果、小領域は「人の顔」に属すると判別された場合には、該小領域に対する分類識別値を「１」と決定する。なお、教師ベクトルとは、生成した分類ベクトルが属する種類を判別するための基準となるベクトルデータであり、辞書学習の際に予めユーザにより設定される。また、教師ベクトルはユーザが任意に設定できるが、異なる種類に対しては異なる教師ベクトルを設定する必要がある。また、教師ベクトルとは機械学習の用語であり、英語ではtraining dataである。
【００４５】
以上の処理によって、入力画像から抽出した分類対象小領域が属する種類を判別し、その結果を分類識別値という形で表す。分類対象小領域ごとに決定された分類識別値は、該小領域の代表画素にのみ与えるのではなく、該小領域に含まれる全ての画素に対して与えられる。
【００４６】
ステップＳ２０７では、分類部１０９は、線形結合係数記憶部１０８に記憶された全ての小領域に対してステップＳ２０６の処理を行ったか否かを確認する。全ての小領域に対してステップＳ２０６の処理が行われた場合はステップＳ２０８に、そうでない場合はステップＳ２０７の処理を次の分類対象小領域に対して行う。
【００４７】
ステップＳ２０８では、画像処理装置１０１（種類記憶部１１０）は、各小領域に対して、小領域抽出位置と決定された分類識別値とを関連付けて記憶する。
【００４８】
ステップＳ２０９では、画像処理装置１０１（分類画像生成部１１１）は、分類画像を生成する。分類画像は、入力画像と同サイズの画像であって全ての画素の初期値が互いに等しい画像である。
【００４９】
ここで、前述したように、小領域は入力画像から重複を許して抽出されるので、入力画像における同一画素が２つ以上の小領域に含まれる。この場合、分類画像生成部１１１は、入力画像において該２つ以上の小領域に含まれる同一画素に対して与える１つの分類識別値を、該２つ以上の小領域の分類識別値を用いて決定する。
【００５０】
例えば、２つ以上の小領域の分類識別値のうち最も多い分類識別値を上記１つの分類識別値として決定する多数決を行ってもよい。多数決の結果、同じ分類識別値間の差が所定値以下であって１つの分類識別値を決めることが難しい場合は、上記複数の種類のうちいずれにも属さない「分類不明」（例外種類）に分類してもよい。この多数決による分類画像の分類識別値の決定方法は、本実施例の特徴的な部分である。２つ以上の小領域に含まれる同一画素の分類識別値を、該２つ以上の小領域に設定された分類識別値の多数決により決定することで、誤分類を低減することができる（分類精度を向上させることができる）とともに、分類画像の解像度の低減を回避することができる。以下に説明する実験例１では、本実施例の方法と比較した場合に、公知例による方法は分類精度が低いことを示す。
【００５１】
分類画像生成部１１１は、各画素がこのようにして決定した１つの分類識別値を画素値として有する分類画像を生成する。
【００５２】
なお、各分類識別値をその分類識別値に特有の色情報に変換することで、分類識別値が互いに異なる画素に互いに異なる色情報を与えてもよい。例えば、分類画像中の画素ごとに決定された分類識別値を８ビットのグレースケールに置き換えた画像を、最終的に出力する分類画像としてもよい。
［実験例１］
本実験例では、分類する物体像の種類を「人の顔」と「花」の２種類とし、入力画像の全域を「人の顔」と「花」のいずれかに必ず分類することにした。図３（ａ）に示すように左半分に人の顔の像が存在し、右半分に花の像が存在する入力画像に対して、上記実施例の画像分類処理を行った結果得られた分類画像を図３（ｂ）に示す。図４（ａ）は、本実験例での画像分類処理に使用されるＮ個の線形結合近似基底を示す。また、図４（ｂ）は、線形結合近似基底の全数Ｎより少数の線形結合近似基底の線形結合によって、入力画像から抽出した小領域を近似した際に取得される線形結合係数の例を示す。また、図５（ａ）には、分類基底の一部を示している。また、図５（ｂ）には、分類基底により得られる分類ベクトルの例を示している。さらに、図６（ａ）には、「人の顔」の教師ベクトルを、図６（ｂ）には「花」の教師ベクトルをそれぞれ示している。
【００５３】
本実験例において、入力画像から抽出する小領域のサイズは、ｍ×ｎ＝８×８画素である。また、線形結合近似基底と分類基底は、分類すべき物体に対応して「人の顔」と「花」のモデル画像から辞書学習により生成した。また、生成した線形結合近似基底と分類基底のそれぞれの全数Ｎは５２９であり、線形結合係数は５２９×１画素のサイズを有する列ベクトルである。
【００５４】
図４（ａ）において、８×８画素の線形結合近似基底が、縦横２３個ずつの計５２９個配置されている。また、これら５２９個の線形結合近似基底のうち縦ｉ番目で横ｊ番目の線形結合近似基底には、図４（ｂ）における要素番号が［２３×（ｉ−１）＋ｊ］番目の線形結合係数が対応している。線形結合近似基底に対して、これに対応する線形結合係数を乗算し、乗算により得られた結果を足し合わせることで、入力画像中のある小領域を精度良く近似することができる。ここにいうある小領域とは、具体的には、図４（ｂ）に示した線形結合係数に対しては、図３（ａ）における左上端の８×８画素のサイズを有する小領域である。入力画像における小領域抽出位置が異なれば、得られる線形結合係数もまた異なる。
【００５５】
一方、分類基底は、ｍ′×ｎ′=１７×１画素のサイズを有する列ベクトルであり、分類ベクトルは、１７×１画素のサイズを有する列ベクトルである。図５（ａ）においては、全数Ｎが５２９個である分類基底のうち最初の５０個を横に並べて示している。この図５（ａ）における横ｉ番目の分類基底に対して、図４（ｂ）における要素番号がｉ番目の線形結合係数が対応している。つまり、分類基底に対して、これに対応する線形結合係数を乗算し、乗算した結果を足し合わせることで、図５（ｂ）に示すような分類ベクトルが得られる。この分類ベクトルを、図６（ａ），（ｂ）に示した教師ベクトルと比較することで分類識別値を決定することができる。図５（ｂ）に示した分類ベクトルは図６（ａ）に示した「人の顔」の教師ベクトルと類似しているので、該分類ベクトルを有する小領域は「人の顔」に属するものとして、「人の顔」に対応する分類識別値を該小領域に割り振る。
【００５６】
なお、ここでは、分類ベクトルを定数倍して教師ベクトルとの差分をとった場合に、該差分がより小さい教師ベクトルが分類ベクトルと類似していると判定することとした。また、入力画像からの小領域の抽出は、８×８画素の小領域抽出窓を上下方向または左右方向に１画素ずつ移動させながらラスタースキャンすることで行った。ただし、小領域抽出窓は、入力画像からはみ出さないように移動させる。
【００５７】
また、分類画像中において「人の顔」に対応する分類識別値が決定された画素には黒色を、「花」に対応する分類識別値が決定された画素には白色を色情報として与えた。言い換えれば、それぞれの画素に対して決定された互いに異なる分類識別値を互いに異なる色情報に変換した。これにより、図３（ｂ）に示す分類画像のうち左半分が主として黒く、右半分が主として白い。また、線形結合係数はスパースであることが分かる。
【００５８】
本発明者は、線形結合係数の非ゼロ要素数が２％程度のときに良好な画像分類処理が行われることを実験により突き止めた。つまり、入力画像から抽出した小領域を線形結合近似基底の線形結合で近似する際には、線形結合近似基底の全数のうち２％（またはその近傍）の数の線形結合近似基底を用いて線形結合近似を行うことが望ましい。
【００５９】
図７には、特許文献１にて開示された方法によって入力画像を複数の小領域（グリッド画像）に分割し、小領域ごとに非特許文献１にて開示された方法で画像分類処理を行った比較例を示す。なお、実験例１との比較のために、比較例においても、小領域のサイズは８×８画素とし、入力画像も左半分が人の顔の像で右半分が花の像である画像を用いた。さらに、分類画像中において「人の顔」と分類された画素に黒色を与え、「花」と分類された画素を白色に与えた。
【００６０】
図７と図３（ｂ）との比較により、比較例での分類精度は、実験例１に比べて低いことが分かる。誤分類率は、実験例１では約２０％、比較例では約５２％であった。誤分類率は、黒色と白色のうち一方が与えられるべきであるのに他方が与えられた画素をカウントし、それを全画素数で除することにより求めた。なお、小領域のサイズを小さくすれば分類の解像度は上がるが、分類精度は低下することが予想される。
【００６１】
以上説明したように、本実施例によれば、入力画像に含まれる複数の物体像を、予め定められた複数の種類のうちいずれかに精度良く分類することができる。
［実験例２］
実験例１では、分類する物体像の種類を「人の顔」と「花」の２種類とし、入力画像の全域をこれらの２種類のうちいずれかに必ず分類した。しかし、無理に２種類に分類せず、ステップ２０９で述べたように「分類不能」に分類することもできる。本実験例では、入力画像から抽出された２つ以上の小領域に含まれる同一画素に対する１つの分類識別値を決定するに際して、該複数の小領域に設定された分類識別値の多数決によって決定する。そして、「人の顔」に対応する分類識別値の数と「花」に対応する分類識別値の数との差が、多数決に参加した分類識別値の数の１％以下である場合に、「分類不能」に分類した。ただし、分類不能に分類するための閾値となる所定値は多数決に参加した分類識別値の数の１％に限らず、任意に設定可能である。入力画像は、実験例１と同様に、左半分が人の顔の像で右半分が花の像である画像を用いた。また、入力画像から抽出する小領域のサイズや該小領域の抽出ルール、線形結合近似基底と分類基底も実験例１と同様である。
【００６２】
図８には、本実験例により得られた分類画像を示す。分類画像において、「人の顔」に対応する分類識別値を有する画素には黒色を、「花」に対応する分類識別値を有する画素には白色を、「分類不能」に分類された画素には灰色を与えた。図８の分類画像では、図３（ｂ）の分類画像の左半分での誤分類により白色が与えられた画素、つまり「人の顔」が「花」と誤分類されている画素のうち一部が「分類不能」に対応する灰色の画素に置き換えられている。
【００６３】
このようにして得られた「分類不能」の画素の色情報を、その画素の周囲の色情報から正しい色情報に置き換える、例えば図８の左半分での灰色の画素を黒色の画素に置き換えることで、分類精度をより向上させることができる。
【００６４】
「人の顔」でも「花」でもない３つ目の領域としての背景等に対して「分類不能」と分類することもできる。また、この３つ目の領域を新たな種類で分類することも可能である。
【００６５】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【００６６】
１０１  画像処理装置
１０４  小領域抽出部
１０７  線形結合近似部
１０９  分類部
１１１  分類画像生成部
【図１】
2016058018.tif 000006
【図２】
2016058018.tif 000007
【図３】
2016058018.tif 000008
【図４】
2016058018.tif 000009
【図５】
2016058018.tif 000010
【図６】
2016058018.tif 000011
【図７】
2016058018.tif 000012
【図８】
2016058018.tif 000013