(57)【要約】【課題】本発明は、学習時の分類対象領域の切り出し、あるいは、分類対象領域の指示等の人手による作業負担を軽減することが可能な学習型画像分類装置及び方法並びにその処理プログラムを記録した記録媒体を提供する。【解決手段】本発明の一態様による学習型画像分類装置は、どのようにして学習用画像の一部の領域を切出すかを示す領域切出しモードに従って、学習用画像より領域を切出して教師信号を付与し、切出された領域の特徴量から特徴ベクトルを作成し、特徴ベクトルを分類するための分類パラメータを学習し、入力画像から抽出された特徴量及び上記分類パラメータを用いて、入力画像の領域の分類カテゴリを決定してそのカテゴリ名を入力画像に付与する。上記領域切出しモードは、自動的に分割された上記学習用画像の複数の領域から人によって選択された領域が統合されて得られた領域を切出す半自動領域切り出しモードである。【選択図】図１
2011100459.tif 000002
【特許請求の範囲】
【請求項１】
学習工程において入力された学習用画像よりどのようにして該学習用画像の一部の領域を切出すかを示す領域切出しモードに従って、上記学習用画像より領域を切出す領域切出し実行手段と、
上記切出された領域に対して教師信号を付与するための教師信号付与手段と、
上記切出された領域から特徴量を抽出する特徴量抽出手段と、
上記抽出された特徴量を用いて特徴ベクトルを作成し、該作成した特徴ベクトルを上記教師信号に従って分類するための分類パラメータを学習して決定する分類パラメータ決定手段と、分類工程において入力された入力画像から抽出された特徴量及び上記分類パラメータを用いて、上記入力画像の領域の分類カテゴリを決定する分類カテゴリ決定手段と、
上記決定された分類カテゴリのカテゴリ名を上記入力画像又は上記入力画像の領域に付与するカテゴリ名付与手段と、
を有し、
上記領域切出しモードは、色または輝度値の変化を利用して自動的に上記学習用画像を複数の領域に分割し、この分割された複数の領域から人によって選択された領域が統合された結果得られた領域を上記学習用画像より切出す半自動領域切り出しモードであることを特徴とする学習型画像分類装置。
【請求項２】
学習工程において入力された学習用画像よりどのようにして該学習用画像の一部の領域を切出すかを示す領域切出しモードに従って、上記学習用画像より領域を切出す手順と、
上記学習用画像より切出された領域に対して教師信号を付与させる手順と、
上記切出された領域から特徴量を抽出する手順と、
上記抽出された特徴量を用いて特徴ベクトルを作成し、該作成した特徴ベクトルを上記教師信号に従って分類するための分類パラメータを学習して決定する手順と、
分類工程において入力された入力画像から抽出された特徴量及び上記分類パラメータを用いて、上記入力画像の領域の分類カテゴリを決定する手順と、
上記決定された分類カテゴリのカテゴリ名を上記入力画像又は上記入力画像の領域に付与する手順と、
を有し、
上記領域切出しモードは、色または輝度値の変化を利用して自動的に上記学習用画像を複数の領域に分割し、この分割された複数の領域から人によって選択された領域が統合された結果得られた領域を上記学習用画像より切出す半自動領域切り出しモードであることを特徴とする学習型画像分類方法。
【請求項３】
学習工程において入力された学習用画像よりどのようにして該学習用画像の一部の領域を切出すかを示す領域切出しモードに従って、上記学習用画像より領域を切出す手順と、
上記学習用画像より切出された領域に対して教師信号を付与させる手順と、
上記切出された領域から特徴量を抽出する手順と、
上記抽出された特徴量を用いて特徴ベクトルを作成し、該作成した特徴ベクトルを上記教師信号に従って分類するための分類パラメータを学習して決定する手順と、
分類工程において入力された入力画像から抽出された特徴量及び上記分類パラメータを用いて、上記入力画像の領域の分類カテゴリを決定する手順と、
上記決定された分類カテゴリのカテゴリ名を上記入力画像又は上記入力画像の領域に付与する手順と、
をコンピュータに実行させ、
上記領域切出しモードは、色または輝度値の変化を利用して自動的に上記学習用画像を複数の領域に分割し、この分割された複数の領域から人によって選択された領域が統合された結果得られた領域を上記学習用画像より切出す半自動領域切り出しモードであることを特徴とする学習型画像分類プログラムを記録した記録媒体。
【請求項４】
請求項１における半自動領域切り出しモードにおいて、
上記領域切出し実行手段は、分割した複数の領域のうちの分類対象領域を指定させ、該指定された領域を統合した領域を上記学習用画像より切出すことを特徴とする学習型画像分類装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習型画像分類装置及び方法並びにその処理プログラムを記録した記録媒体に係り、特に、教師付き学習を利用して画像を自動分類したり、画像検索用のキーワードを自動付与したりする際に、教師用データを効率良く取得する学習型画像分類装置及び方法並びにその処理プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
データベース中やコンピュータ中あるいは、ネットワーク上に存在する無数の画像を人手で分類整理したり、検索用キーワードを人手で付けたりする作業は、多大な労力を必要とする。
そこで、これらの作業負担を軽減するために、画像の自動分類装置や画像検索用のキーワード自動付与装置が提案されている。
【０００３】
画像を自動的に分類する装置の例としては、特開平１１−３２８４２２号公報（特許文献１）、また、画像検索用のキーワードを自動的に付与する装置としては、特開平８−２４９３４９号公報（特許文献２）、特開平１０−４９５４２号公報（特許文献３）、特開平１０−５５３６６号公報（特許文献４）等がある。
【０００４】
まず、特開平１１−３２８４２２号公報においては、画像からサンプリングして抽出した特徴量を利用して、例えば、自然画像と人工画像とに自動分類する装置が提案されている。
この装置は、画像全体に一様に分布する特徴によって分類可能な画像については、うまく動作する可能性があるが、画像中に局所的に存在するオブジェクトを分類するには、不充分である。
【０００５】
すなわち、オブジェクトを分類するためには、オブジェクト領域のみを切り出す工夫が必要である。
特開平８−２４９３４９号公報、特開平１０−４９５４２号公報、特開平１０−５５３６６号公報には、そのような工夫が導入されている。
特開平１０−４９５４２号公報においては、まず、画像中の色もしくは輝度の変化を利用して領域分割を行い、分割された各領域の特徴を抽出後、領域間の位相関係を解析し、辞書を参照することによって、画像に検索用キーワードを自動付与することが提案されている。
【０００６】
また、特開平８−２４９３４９号公報、特開平１０−５５３６６号公報においては、画像中の色もしくは輝度の変化を利用して領域分割を行い、分割された領域を統合処理して上位階層の概念へ状態遷移させ、より高度な概念をキーワードとして画像に自動付与する装置を提案している。
【０００７】
これらの装置は、画像中のオブジェクトの特徴に基づき、キーワードを自動付与することを狙っており、その処理過程において、青空は画像の上部に位置し、青い色をしている、といった知識辞書を利用している。
従って、知識辞書にないような分類をしたい場合に、分類用パラメータの値をどうやって設定すれば良いかという問題が残る。
【０００８】
そのような状況下においても対処できるものとして、教師付き学習機能を備えた分類装置があり、この例として、特開平１１−３４４５０号公報（特許文献５）がある。
以下、しばらく、この特開平１１−３４４５０号公報による従来例について少し詳しく説明する。
【０００９】
図６は、このような従来の教師付き学習機能を備えた分類装置の一例を示すブロック図である。
図６において、参照符号１００１は、例えば、ウェハ画像を入力して表示する画像入力・表示部、参照符号１００２は、表示された画像をオペレータが監視し、欠陥画像を選択する欠陥画像選択部、参照符号１００３は、基準画像からの差異を演算する基準画像との比較演算部、参照符号１００４は、基準画像との比較演算部１００３の演算結果に閾値処理を施し、欠陥領域を抽出する欠陥領域抽出部、参照符号１００５は、学習工程において、抽出された欠陥領域にオペレータが教師信号であるカテゴリ名を付与する教師信号（カテゴリ名）付与部である。
【００１０】
そして、参照符号１００６は、抽出された欠陥領域の特徴量を抽出する特徴抽出部、参照符号１００７は、学習工程において、教師信号付きの学習データがうまく分類されるように分類パラメータの学習を行う分類パラメータの学習部である。
また、参照符号１００８は、分類工程において、欠陥領域がどのカテゴリに属するかを決定するカテゴリ決定部、参照符号１００９は、決定されたカテゴリ名を欠陥画像に付与するカテゴリ名付与部である。
【００１１】
次に、動作について説明する。
図７の（ａ），（ｂ）は、従来の教師付き学習機能を備えた分類装置の動作を説明するために示すフローチャートである。
この分類装置の処理は、学習工程と分類工程に分かれる。
最初に、学習工程の流れについて説明する。
【００１２】
まず、画像入力・表示部１００１において、例えば、ウェハ画像を入力し、表示する（ステップＳＴ１００１）。
次に、欠陥画像選択部１００２において、オペレータが、教師データ用の欠陥画像を選択する（ステップＳＴ１００２）。
続いて、基準画像との比較演算部１００３において、選択した欠陥画像と基準画像との差を算出する（ステップＳＴ１００３）。
【００１３】
この算出結果を欠陥領域抽出部１００４において、閾値処理して、欠陥領域を抽出する（ステップＳＴ１００４）。
オペレータは、教師信号（カテゴリ名）付与部１００５において、欠陥領域に教師信号であるカテゴリ名を付与する（ステップＳＴ１００５）。
【００１４】
次に、特徴抽出部１００６において、抽出した欠陥領域から特徴量を抽出する（ステップＳＴ１００６）。
続いて、分類パラメータの学習部１００７において、教師信号付きの学習データがうまく分類されるように分類パラメータの学習を行う（ステップＳＴ１００７）。
【００１５】
こうして、学習工程が完了する。
次に、分類工程について説明する。
分類工程の大まかな流れは、学習工程とほぼ同様なので、異なる処理部分のみ説明する。
まず、学習工程では、教師データ用の欠陥画像を選択したが、分類工程においては、分類対象画像全てが対象となる（ステップＳＴ１００９）。
【００１６】
また、当然のことながら、教師信号を付与する必要はない。
その代わり、どのカテゴリに属するかのカテゴリ決定を行い（ステップＳＴ１０１３）、カテゴリ名を付与する（ステップＳＴ１０１４）ことで、分類工程が完了する。
以上、特開平１１−３４４５０号公報による教師付き学習機能を備えた分類装置の例を説明した。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開平１１−３２８４２２号公報
【特許文献２】特開平８−２４９３４９号公報
【特許文献３】特開平１０−４９５４２号公報
【特許文献４】特開平１０−５５３６６号公報
【特許文献５】特開平１１−３４４５０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
ところで、上述したような特開平１１−３４４５０号公報においては、半導体ウェハ等の欠陥検査における欠陥の分類装置の提案であるので、欠陥のある画像と良品である基準画像との差から、欠陥位置を検出することができるものの、基準画像等のない一般の写真のような画像のオブジェクト領域を分類する場合には、分類対象となる領域のみを検出することは、極めて難しい。
【００１９】
しかるに、画像検索用キーワード自動付与装置、画像の自動分類装置においては、以上のように構成されているので、分類対象領域を検出することが、大きな課題となる。
分類対象領域を検出する一つの方法としては、領域分割した各領域を知識辞書に照らし合わせて、取捨選択、統合していく方法が挙げられるが、知識辞書にないような分類をしたい場合に、分類用パラメータの値をどうやって設定すれば良いかという問題が残る。
【００２０】
学習型の分類装置は、この問題を解決可能であり、学習したものを知識として蓄積していくこともできる。
特開平１１−３４４５０号公報による教師付き学習機能を備えた分類装置の構成では、基準画像からの変異を調べる場合には都合が良いが、一般の写真から、学習時においてさえ、分類対象領域を切り出すことは、極めて困難である。
【００２１】
このため、学習時に分類対象領域を人手によって、地道に切り出していく作業が考えられるが、これは、多大の労力を必要とするので好ましくない。
本発明は、これらの事情に対処すべくなされたもので、その目的は、画像検索用のキーワードを自動付与できるようにして、学習時の分類対象領域の切り出し、あるいは、分類対象領域の指示等の人手による作業負担を軽減することのできる学習型画像分類装置及び方法並びにその処理プログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【００２２】
本発明によると、上記課題を解決するために、学習工程において入力された学習用画像よりどのようにして該学習用画像の一部の領域を切出すかを示す領域切出しモードに従って、上記学習用画像より領域を切出す領域切出し実行手段と、上記切出された領域に対して教師信号を付与するための教師信号付与手段と、上記切出された領域から特徴量を抽出する特徴量抽出手段と、上記抽出された特徴量を用いて特徴ベクトルを作成し、該作成した特徴ベクトルを上記教師信号に従って分類するための分類パラメータを学習して決定する分類パラメータ決定手段と、分類工程において入力された入力画像から抽出された特徴量及び上記分類パラメータを用いて、上記入力画像の領域の分類カテゴリを決定する分類カテゴリ決定手段と、上記決定された分類カテゴリのカテゴリ名を上記入力画像又は上記入力画像の領域に付与するカテゴリ名付与手段と、を有し、上記領域切出しモードは、色または輝度値の変化を利用して自動的に上記学習用画像を複数の領域に分割し、この分割された複数の領域から人によって選択された領域が統合された結果得られた領域を上記学習用画像より切出す半自動領域切り出しモードであることを特徴とする学習型画像分類装置が提供される。
【００２３】
また、本発明によると、上記課題を解決するために、学習工程において入力された学習用画像よりどのようにして該学習用画像の一部の領域を切出すかを示す領域切出しモードに従って、上記学習用画像より領域を切出す手順と、上記学習用画像より切出された領域に対して教師信号を付与させる手順と、上記切出された領域から特徴量を抽出する手順と、上記抽出された特徴量を用いて特徴ベクトルを作成し、該作成した特徴ベクトルを上記教師信号に従って分類するための分類パラメータを学習して決定する手順と、分類工程において入力された入力画像から抽出された特徴量及び上記分類パラメータを用いて、上記入力画像の領域の分類カテゴリを決定する手順と、上記決定された分類カテゴリのカテゴリ名を上記入力画像又は上記入力画像の領域に付与する手順と、を有し、上記領域切出しモードは、色または輝度値の変化を利用して自動的に上記学習用画像を複数の領域に分割し、この分割された複数の領域から人によって選択された領域が統合された結果得られた領域を上記学習用画像より切出す半自動領域切り出しモードであることを特徴とする学習型画像分類方法が提供される。
【００２４】
また、本発明によると、上記課題を解決するために、学習工程において入力された学習用画像よりどのようにして該学習用画像の一部の領域を切出すかを示す領域切出しモードに従って、上記学習用画像より領域を切出す手順と、上記学習用画像より切出された領域に対して教師信号を付与させる手順と、上記切出された領域から特徴量を抽出する手順と、上記抽出された特徴量を用いて特徴ベクトルを作成し、該作成した特徴ベクトルを上記教師信号に従って分類するための分類パラメータを学習して決定する手順と、分類工程において入力された入力画像から抽出された特徴量及び上記分類パラメータを用いて、上記入力画像の領域の分類カテゴリを決定する手順と、上記決定された分類カテゴリのカテゴリ名を上記入力画像又は上記入力画像の領域に付与する手順と、をコンピュータに実行させ、上記領域切出しモードは、色または輝度値の変化を利用して自動的に上記学習用画像を複数の領域に分割し、この分割された複数の領域から人によって選択された領域が統合された結果得られた領域を上記学習用画像より切出す半自動領域切り出しモードであることを特徴とする学習型画像分類プログラムを記録した記録媒体が提供される。
【発明の効果】
【００２５】
従って、本発明によれば、画像検索用のキーワードを自動付与できるようにして、学習時の分類対象領域の切り出し、あるいは、分類対象領域の指示等の人手による作業負担を軽減することが可能な学習型画像分類装置及び方法並びにその処理プログラムを記録した記録媒体を提供することができる。
【図面の簡単な説明】
【００２６】
【図１】図１は、本発明の第１の実施形態による学習型画像分類装置の構成を示すブロック図である。
【図２】図２の（ａ），（ｂ）は、この発明の第１の実施の形態による学習型分類装置の動作を説明するために示すフローチャートである。
【図３】図３の（ａ），（ｂ），（ｃ）は、図２の領域切り出しモードの種類として、半自動領域切り出しモード、学習利用領域切り出しモード、対話型領域切り出しモードの３つのモードについて説明するために示す図である。
【図４】図４は、本発明の第２の実施の形態による学習型画像分類装置における領域切り出しモードのうち、学習利用領域切り出しモードの構成を示すブロック図である。
【図５】図５は、本発明の第３の実施の形態による学習型画像分類装置における領域切り出しモードのうち、学習利用領域切り出しモードの構成を示すブロック図である。
【図６】図６は、従来の教師付き学習機能を備えた分類装置の一例を示すブロック図である。
【図７】図７の（ａ），（ｂ）は、従来の教師付き学習機能を備えた分類装置の動作を説明するために示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下図面を参照して本発明の実施の形態について説明する。
（第１の実施形態）
図１は、本発明による学習型画像分類装置及び学習型画像分類方法並びに学習型画像分類プログラムを記録した記録媒体を含む第１の実施形態の構成を示すブロック図である。
【００２８】
図１において、参照符号１０１は、画像入力・表示部、参照符号１０２は、これからどんなカテゴリ分類を行うかをシステムが受け付ける分類カテゴリ内容受付部、参照符号１０３は、画像中のカテゴリに対応する領域をどんなモードで切り出し処理するかをユーザーまたはシステムが選択する領域切り出しモードの選択部、参照符号１０３及び１０４は、カテゴリの学習を行う時に利用する学習用画像選択部、参照符号１０５は、領域切り出しモードの選択部１０３で選択したいずれかのモードで画像中からカテゴリに対応する領域を切り出す領域切り出し実行部である。
【００２９】
そして、参照符号１０６は、分類カテゴリのラベルとなるカテゴリ名を画像あるいは切り出した領域にセットで与える教師信号（カテゴリ名）付与部、参照符号１０７は、切り出した領域の特徴を定量的に表わす特徴量を抽出する特徴量抽出部、参照符号１０８は、抽出された特徴量データのセットを教師信号に基づき分類できるようにシステム内のパラメータを調節していく分類パラメータの学習部である。
【００３０】
また、参照符号１０９は、学習後に分類したい画像を入力する分類対象画像入力部、参照符号１１０は、学習後に入力された画像をいくつかの領域に分割する領域分割部、参照符号１１１は、学習後に入力された画像のカテゴリを決定するカテゴリ決定部、参照符号１１２は、決定したカテゴリ名を画像あるいは領域に付与するカテゴリ名付与部である。
【００３１】
また、参照符号１１３は、上記各部で実行される学習型画像分類プログラムを記録した記録媒体である。
次に、動作について説明する。
図２の（ａ），（ｂ）は、本発明による学習型画像分類装置及び学習型画像分類方法並びに学習型画像分類プログラムを記録した記録媒体を含む第１の実施の形態の動作を説明するために示すフローチャートである。
【００３２】
最初に学習工程について説明する。
まず、画像入力・表示部１０１において、この装置あるいはシステムに画像を入力し、画面に表示する（ステップＳＴ１０１）。
次に、ユーザーは、画面中に表示された画像群を見ながら、今から、画像をどういうふうに分類したいかを決め、分類カテゴリ内容受付部１０２で、システムにその内容を伝える（ステップＳＴ１０２）。
【００３３】
具体的には、システムがある程度の分類ニ−ズを想定し、例えば、人の顔画像を他の画像とは別に分類したい、あるいは、個人レベルの顔画像を区別して扱いたい、等という選択肢の中からユーザーに選択してもらうようにしておく。
次に、領域切り出しモードの選択部１０３において、人またはシステムが、画像中からカテゴリに対応する領域をどのようなモードで切り出すかを選択する（ステップＳＴ１０３）。
【００３４】
領域切り出しモードの種類としては、例えば、半自動領域切り出しモード、学習利用領域切り出しモード、対話型領域切り出しモード等がある。
以下、しばらく、この３つのモードについて、図３の（ａ），（ｂ），（ｃ）を用いて説明する。
最初に、図３の（ａ）に示す半自動領域切り出しモードについて説明する。
【００３５】
まず、領域分割部Ａ１において、色や輝度値の変化を利用して、システムが画
像を自動的に領域分割する。
続いて、領域指定部Ａ２において、人が分割されたいくつかの領域をクリックする。
これにより、領域統合部Ａ３において、システムがこれらの領域を統台処理し、統合領域を領域切り出し結果として採用する。
【００３６】
次に、図３の（ｂ）に示す学習利用領域切り出しモードについて説明する。
これは、ユーザーに領域の切り出しを意識させないようなワンタッチ式の領域切り出しモードであって、このモードを用いるには、いくつかの制約がある。
すなわち、今から分類しようとするカテゴリの領域切り出しを既に学習済みのカテゴリの領域検出に帰着させる方法である。
【００３７】
これには、まず、カテゴリ間領域関係規定部Ｂ１において、学習済みのカテゴリと、今、学習しようとしているカテゴリの領域間の関係を例えば辞書に知識として与えておき、領域間の関係が一致するような場合に、今、学習しようとしているカテゴリの領域の切り出しを学習済みカテゴリの領域の切り出しに帰着させることができる。
【００３８】
例えば、人の顔画像を他の画像と区別するような学習を事前に行っていれば、個人レベルの画像を区別する分類を行う場合に、学習済みカテゴリによる領域切り出し実行部Ｂ２において、人の顔画像を学習済みのパラメータを用いて切り出し、切り出された顔領域に個人の名前のカテゴリ名を付与していく。
【００３９】
このモードが使えれば、ユーザーは、学習用の画像を収集し、教師信号を与えるだけで、煩わしい領域切り出し処理を意識しなくて済む。
第３に、図３の（ｃ）に示す対話型領域切り出しモードについて説明する。
これは、例えば、今、学習利用領域切り出しモードにおいて説明した顔領域の切り出し結果を領域切り出し結果表示部Ｃ３で表示して、領域切り出し結果採用判断部Ｃ４において、切り出し結果での領域検出率をユーザーが目で確認して、学習に用いる画像を取捨選択する方式である。
【００４０】
そして、図２に戻って、領域切り出しモードを選択した後、学習用画像選択部１０４でユーザーが学習用画像を選択し（ステップＳＴ１０４）、領域切り出し実行部１０５でそれぞれのモードの方式で画像中から分類カテゴリ領域を切り出す（ステップＳＴ１０５）。
【００４１】
これに、教師信号（カテゴリ名）付与部１０６において、顔や田中等の分類カテゴリ名を画像または切り出した領域にセットで与える（ステップＳＴ１０６）。
次に、特徴量抽出部１０７において、指定された領域から色や形、テクスチャ等の特徴を抽出する（ステップＳＴ１０７）。
【００４２】
続いて、分類パラメータの学習部１０８において、抽出された特徴量から特徴ベクトルを作成し、この特徴ベクトルを教師信号に従って分類できるように分類パラメータを学習し、決定する（ステップＳＴ１０８）。
この際、分類に有効な度合いに応じて特徴量を重み付けする等（例えば、特開平９−１０１９７０号公報）の処理を利用しても良い。
【００４３】
尚、分類パラメータの学習の結果、例えば、コホネン型のニューラルネットにおいては、ニューロン素子がベクトル量子化における代表ベクトルに相当し、この代表ベクトルに分類カテゴリ名を表わすラベルが付いている状態になっているものとする。
さて、以上で学習が完了し、今度は、分類工程に移行する。
【００４４】
まず、画像入力・表示部１０１において画像群を入力あるいは表示する（ステップＳＴ１０９）。
次に、分類対象画像入力部１０９において、分類したい画像を入力し（ステップＳＴ１１０）、続いて、領域分割部１１０において、色や輝度値の変化を利用して領域を分割する（ステップＳＴ１１１）。
【００４５】
さらに、特徴抽出部１０７において、領域分割した各領域について、色や形、テクスチャなどの特徴量を抽出する（ステップＳＴ１１２）。
次に、分類パラメータの学習部１０８において、まず、各領域で得られた特徴量のセットから特徴ベクトルを生成する。
【００４６】
次に、各領域の特徴ベクトルを学習済みの分類パラメータを用いて分類し、カテゴリ決定部１１１において、領域がどのカテゴリに属するかを決定する（ステップＳＴ１１３）。
最後に、カテゴリ名付与部１１２において、決定されたカテゴリ名を領域、または、画像に付与する（ステップＳＴ１１４）。
【００４７】
以上で、学習工程及びその後の分類工程の処理フローを説明したが、上記各部で実行される学習型画像分類プログラムは、記録媒体１１３に記録されているものとする。
（第２の実施の形態）
図４は、第２の実施の形態による学習型画像分類装置における領域切り出しモードのうち、学習利用領域切り出しモードの構成を示すブロック図である。
【００４８】
第２の実施の形態の構成は、第１の実施の形態の構成と概ね似ている。
第１の実施の形態との主な違いは、カテゴリ間領域関係規定部Ｂ２０１、さらに学習済みカテゴリによる領域切り出し実行部Ｂ２０２に加えて、学習済みカテゴリによる領域切り出しの信頼性をシステムが判断する領域切り出しの信頼性判断部Ｂ２０３が備わっている点である。
【００４９】
例えば、信頼性を数値化しておき、この数値が高い画像の教師データを利用するようにする。
もしくは、ユーザーが選択した画像群での顔検出の信頼性を表す数値が低ければ、画像中のカテゴリ対応領域の半自動切り出しモードに移行する。
これによって、領域切り出しの作業負担を軽減したために、領域切り出しの精度が悪化してしまうといった事態を回避することができる。
（第３の実施の形態）
図５は、第３の実施の形態による学習型画像分類装置における領域切り出しモードのうち、学習利用領域切り出しモードの構成を示すブロック図である。
【００５０】
第３の実施の形態の構成は、第１の実施の形態の構成と概ね似ている。
第１の実施の形態との主な違いは、カテゴリ間領域関係規定部Ｂ３０１、さらに学習済みカテゴリによる領域切り出し実行部Ｂ３０２に加えて、さらに学習済みカテゴリによる領域切り出し結果の領域数を数える領域数カウント部Ｂ３０３と、領域数が１つにカウントされる画像を学習用画像の候補とする学習用画像候補選択部Ｂ３０４が備わっている点である。
【００５１】
例えば、個人の顔レベルの分類を行う場合、事前に人の顔画像を他の風景画像等から分類する学習を実行しておき、この顔領域の切り出しを利用して、個人の顔画像領域の切り出しを行うのであるが、１枚の画像に複数の顔が写っている場合には、どの顔領域を分類しようとしているかをユーザーに指定してもらう必要がある。
【００５２】
この第３の実施の形態においては、人の顔領域の数が１である場合に限り、学習用画像の候補とするので、ユーザーにどの領域であるかを指定してもらう必要もない。
以上説明したように、本発明の各実施の形態によれば、領域切り出しモードの選択部を備えているので、画像分類の学習工程における人手による対象領域の切り出し処理の負担を大幅に低減することができるという効果がある。
【００５３】
また、領域切り出しモードの選択部を具備しているので、ユーザーの領域切り出しの負担が少なく、かつ、切り出し性能が良好な領域切り出しのモードを選択できるので、分類性能を劣化させずに、ユーザーの学習時における領域切り出しの負担を軽減できる効果がある。
【００５４】
また、学習済みのカテゴリへの画像の分類適合性判断部を具備しているので、適合性の良くない画像を新たなカテゴリ分類の学習データからはずすことが可能となる。
これによって、分類精度を向上できる効果がある。
また、領域数カウント部、及び教師用画像候補選択部を具備しているので、領域数が１である画像のみを教師用画像の候補として選択することによって、人が複数領域のうちから対象領域を選択指示する作業を省くことができ、選択指示までの時間待ちの問題も回避できるという効果がある。
【００５５】
なお、上記各実施の形態では、「学習工程」での領域切り出しに観点をおいているが、本発明は、必ずしも「学習工程」での領域切り出しのみに限定されることなく、すなわち、特には、学習工程に適しているが、これには限定されないものとする。
【符号の説明】
【００５６】
１０１…画像入力・表示部、１０２…分類カテゴリ内容受付部、１０３…選択する領域切り出しモードの選択部、１０３、１０４…学習用画像選択部、１０５…領域切り出し実行部、１０６…教師信号（カテゴリ名）付与部、１０７…特徴量抽出部、１０８…分類パラメータの学習部、１０９…分類対象画像入力部、１１０…領域分割部、１１１…カテゴリ決定部、１１２…カテゴリ名付与部、１１３…記録媒体、Ｂ２０１、Ｂ３０１…カテゴリ間領域関係規定部、Ｂ２０２、Ｂ３０２…学習済みカテゴリによる領域切り出し実行部、Ｂ２０３…信頼性判断部、Ｂ３０３…領域数カウント部、Ｂ３０４…学習用画像候補選択部。
【図１】
2011100459.tif 000003
【図２】
2011100459.tif 000004
【図３】
2011100459.tif 000005
【図４】
2011100459.tif 000006
【図５】
2011100459.tif 000007
【図６】
2011100459.tif 000008
【図７】
2011100459.tif 000009