(57)【特許請求の範囲】
【請求項１】
入力された画像が、画像が示す内容が分類されているクラスを示すラベルが既知である既知画像に該当する確率である既知画像確率を計算する確率計算手段と、
前記入力された画像が示す内容が前記ラベルが未知である未知画像が示す内容が分類されているクラスに分類される尤度と、前記入力された画像が示す内容が既知画像が示す内容が分類されているクラスに分類される尤度とをそれぞれ計算する尤度計算手段と、
計算された既知画像確率を用いて計算された尤度を補正する補正手段とを備える
ことを特徴とする画像分類システム。
【請求項２】
補正された尤度を用いて入力された画像のラベルを推定するラベル推定手段を備える
請求項１記載の画像分類システム。
【請求項３】
確率計算手段は、
入力された画像が既知画像に該当する確率を推定する複数の確率推定手段と、
既知画像を含む学習データに基づいて前記複数の確率推定手段の各パラメータをそれぞれ学習する学習手段とを含む
請求項１または請求項２記載の画像分類システム。
【請求項４】
確率計算手段は、複数の確率推定手段によりそれぞれ推定された複数の確率を用いて既知画像確率を計算する
請求項３記載の画像分類システム。
【請求項５】
尤度計算手段は、
入力された画像が示す内容が未知画像が示す内容が分類されているクラスに分類される尤度を計算する未知画像尤度計算手段と、
前記入力された画像が示す内容が既知画像が示す内容が分類されているクラスに分類される尤度を計算する既知画像尤度計算手段とを含む
請求項１から請求項４のうちのいずれか１項に記載の画像分類システム。
【請求項６】
補正手段は、既知画像尤度計算手段により計算された尤度に計算された既知画像確率を乗じ、未知画像尤度計算手段により計算された尤度に１から前記計算された既知画像確率が減じられた値を乗じることによって計算された尤度を補正する
請求項５記載の画像分類システム。
【請求項７】
入力された画像が、画像が示す内容が分類されているクラスを示すラベルが既知である既知画像に該当する確率である既知画像確率を計算し、
前記入力された画像が示す内容が前記ラベルが未知である未知画像が示す内容が分類されているクラスに分類される尤度と、前記入力された画像が示す内容が既知画像が示す内容が分類されているクラスに分類される尤度とをそれぞれ計算し、
計算された既知画像確率を用いて計算された尤度を補正する
ことを特徴とする画像分類方法。
【請求項８】
補正された尤度を用いて入力された画像のラベルを推定する
請求項７記載の画像分類方法。
【請求項９】
コンピュータに、
入力された画像が、画像が示す内容が分類されているクラスを示すラベルが既知である既知画像に該当する確率である既知画像確率を計算する確率計算処理、
前記入力された画像が示す内容が前記ラベルが未知である未知画像が示す内容が分類されているクラスに分類される尤度と、前記入力された画像が示す内容が既知画像が示す内容が分類されているクラスに分類される尤度とをそれぞれ計算する尤度計算処理、および
計算された既知画像確率を用いて計算された尤度を補正する補正処理
を実行させるための画像分類プログラム。
【請求項１０】
コンピュータに、
補正された尤度を用いて入力された画像のラベルを推定する推定処理を実行させる
請求項９記載の画像分類プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像分類システム、画像分類方法および画像分類プログラムに関し、特に未知の画像を識別する一般ゼロショット認識で用いられるパラメータを学習する画像分類システム、画像分類方法および画像分類プログラムに関する。
【背景技術】
【０００２】
画像認識の分野において設定されている問題の１つに、ゼロショット認識と呼ばれる未知の画像を認識する問題がある。ゼロショット認識は、例えば非特許文献１に記載されている。【０００３】
ゼロショット認識では、学習データとテストデータとが別々に用意される。既知の学習データのみが用いられて学習された認識器が、未知のテストデータが有する画像の内容を示すラベルを推定する。【０００４】
また、ゼロショット認識では、画像の特徴（以下、画像特徴と呼ぶ。）の他に補助情報としてラベルの特徴（以下、ラベル特徴と呼ぶ。）が用いられる。学習フェーズでは、既知の学習データが有する画像と学習データが有するラベルが示す画像特徴と、ラベル特徴との線形写像が学習される。【０００５】
テストフェーズでは、認識器が、学習された線形写像を用いてテストデータが示す画像特徴をラベル特徴に変換する。次いで、認識器は、変換されたラベル特徴の空間の中でテストデータが有するラベルを認識する。【０００６】
さらに、画像認識の分野では、テストフェーズにおける認識対象に学習データが有する既知のラベルが含まれる、一般ゼロショット認識という問題も設定されている。一般ゼロショット認識は、例えば非特許文献２に記載されている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】H. Larochelle, D. Erhan, and Y. Bengio, "Zero-Data Learning of New Tasks," Proceedings of the Twenty-Third AAAI Conference on Artificial Intelligence, 2008.
【非特許文献２】A. Frome, G. S. Corrado, J. Shlens, S. Bengio, J. Dean, M. A. Ranzato, and T. Mikolov, "DeViSE: A Deep Visual-Semantic Embedding Model," In NIPS, 2013.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
一般ゼロショット認識では、学習データとして用いられる既知のラベルにモデルが過剰適合するため、テストデータが有する未知のラベルの認識の精度が低くなるという問題がある。【０００９】
その理由は、テストデータが有する未知の画像のラベルは学習に使われないため、学習データとして用いられる既知の画像のラベルにモデルが過剰適合するためである。上記の問題を解決できる、テストデータが有する画像のラベルを高精度に推定できる技術が求められている。【００１０】
［発明の目的］
そこで、本発明は、上述した課題を解決する、テストデータが有する画像のラベルを高精度に推定できる画像分類システム、画像分類方法および画像分類プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明による画像分類システムは、入力された画像が、画像が示す内容が分類されているクラスを示すラベルが既知である既知画像に該当する確率である既知画像確率を計算する確率計算手段と、入力された画像が示す内容がラベルが未知である未知画像が示す内容が分類されているクラスに分類される尤度と、入力された画像が示す内容が既知画像が示す内容が分類されているクラスに分類される尤度とをそれぞれ計算する尤度計算手段と、計算された既知画像確率を用いて計算された尤度を補正する補正手段とを備えることを特徴とする。【００１２】
本発明による画像分類方法は、入力された画像が、画像が示す内容が分類されているクラスを示すラベルが既知である既知画像に該当する確率である既知画像確率を計算し、入力された画像が示す内容がラベルが未知である未知画像が示す内容が分類されているクラスに分類される尤度と、入力された画像が示す内容が既知画像が示す内容が分類されているクラスに分類される尤度とをそれぞれ計算し、計算された既知画像確率を用いて計算された尤度を補正することを特徴とする。【００１３】
本発明による画像分類プログラムは、コンピュータに、入力された画像が、画像が示す内容が分類されているクラスを示すラベルが既知である既知画像に該当する確率である既知画像確率を計算する確率計算処理、入力された画像が示す内容がラベルが未知である未知画像が示す内容が分類されているクラスに分類される尤度と、入力された画像が示す内容が既知画像が示す内容が分類されているクラスに分類される尤度とをそれぞれ計算する尤度計算処理、および計算された既知画像確率を用いて計算された尤度を補正する補正処理を実行させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、テストデータが有する画像のラベルを高精度に推定できる。
【図面の簡単な説明】
【００１５】
【図１】本発明による画像分類システムの第１の実施形態の構成例を示すブロック図である。
【図２】既知画像確率計算器1200の構成例を示すブロック図である。
【図３】既知画像確率アンサンブル推定部1210の構成例を示すブロック図である。
【図４】第１の実施形態の画像分類システム1000による推定器パラメータ学習処理の動作を示すフローチャートである。
【図５】第１の実施形態の画像分類システム1000による画像分類処理の動作を示すフローチャートである。
【図６】本発明による画像分類システムの第２の実施形態の構成例を示すブロック図である。
【図７】第２の実施形態の画像分類システム1001による画像分類処理の動作を示すフローチャートである。
【図８】本発明による画像分類システムのハードウェア構成例を示す説明図である。
【図９】本発明による画像分類システムの概要を示すブロック図である。
【発明を実施するための形態】
【００１６】
［第１の実施形態］
［構成の説明］
以下、本発明の実施形態を、図面を参照して説明する。図１は、本発明による画像分類システムの第１の実施形態の構成例を示すブロック図である。
【００１７】
図１に示す画像分類システム1000は、ラベルが未知の画像（以下、未知画像と呼ぶ。）を認識するシステムである。また、画像分類システム1000は、認識に使用される構成要素のパラメータを学習するシステムである。
【００１８】
図１に示す本実施形態の画像分類システム1000は、画像入力部1100と、既知画像確率計算器1200と、未知画像分類器1300と、画像分類器1400と、推定結果出力部1500とを備えている。
【００１９】
画像入力部1100には、画像を示す情報が入力される。本実施形態の画像入力部1100には、未知画像とラベルが既知の画像（以下、既知画像と呼ぶ。）が混合された画像を示す情報が入力される。
【００２０】
画像入力部1100には、例えばファイル、データベース、通信機、センサから画像を示す情報が入力される。入力される画像を示す情報は、例えば縦の画素数と、横の画素数と、ビット数等のカラー情報とを有する３次元で表現される情報である。
【００２１】
また、画像入力部1100には、複数枚の画像を示す情報が入力されてもよい。複数枚の画像を示す情報は、例えば枚数と、縦の画素数と、横の画素数と、ビット数等のカラー情報とを有する４次元で表現される情報である。
【００２２】
また、画像入力部1100には、グレースケール画像を示す情報が入力されてもよい。グレースケール画像を示す情報は、例えば縦の画素数と、横の画素数とを有する２次元で表現される情報である。画像入力部1100は、入力された画像を示す情報を既知画像確率計算器1200と未知画像分類器1300にそれぞれ入力する。
【００２３】
既知画像確率計算器1200は、画像入力部1100から入力された情報が示す画像が既知画像に該当する確率を計算する機能を有する。既知画像確率計算器1200は、計算された確率を既知画像確率として画像分類器1400に入力する。
【００２４】
既知画像確率計算器1200は、入力された情報が示す画像が既知画像に該当する確率である既知画像確率を計算する。また、既知画像確率計算器1200は、既知画像確率を計算する関数を学習することもできる。
【００２５】
図２は、既知画像確率計算器1200の構成例を示すブロック図である。図２に示すように、既知画像確率計算器1200は、既知画像確率アンサンブル推定部1210を含む。
【００２６】
図３は、既知画像確率アンサンブル推定部1210の構成例を示すブロック図である。図３に示すように、既知画像確率アンサンブル推定部1210は、既知画像確率推定器12111 〜既知画像確率推定器1211n と、パラメータ学習部1212とを有する（ｎは１以上の自然数）。
【００２７】
既知画像確率アンサンブル推定部1210の既知画像確率推定器12111 は、入力された情報が示す画像に対して既知画像確率を推定する機能を有する。なお、既知画像確率推定器12112 〜既知画像確率推定器1211n も、既知画像確率推定器12111 が有する機能と同様の機能をそれぞれ有する。既知画像確率推定器12111 〜既知画像確率推定器1211n は、既知画像確率が推定される時に使用される構成要素である。
【００２８】
パラメータ学習部1212は、既知画像確率推定器12111 〜既知画像確率推定器1211n の各パラメータを学習する機能を有する。パラメータ学習部1212は、パラメータが学習される時に使用される構成要素である。
【００２９】
本実施形態の既知画像確率推定器12111 〜既知画像確率推定器1211n はそれぞれ、既知画像を入力とし、複数の既知画像に対応するクラス数の次元を有するベクトルを出力とするニューラルネットワークで構成されている。
【００３０】
パラメータ学習部1212は、下記の式（１）の値を最小化するように、既知画像確率推定器12111 〜既知画像確率推定器1211n の各パラメータを学習する。パラメータ学習部1212は、例えば既知画像確率推定器12111 〜既知画像確率推定器1211n の各パラメータを、以下の誤差関数を用いて学習する。
【００３１】
【数１】
0006927410.tif 000002
【００３２】
なお、式（１）におけるy は、例えばone-hot ベクトルで表される既知画像確率の正解値であり、ypred は既知画像確率の推定値である。なお、one-hot ベクトルは、１つの要素だけHigh(1) であり、他の要素はLow(0)であるベクトルである。また、式（１）におけるβはハイパーパラメータであり、0 以上の値を取る。βの値が調整されることによって、既知画像のラベルの推定結果と未知画像のラベルの推定結果とのバランスが保たれる。
【００３３】
また、パラメータ学習部1212が用いる誤差関数は、式（１）に限定されない。例えば、出力としてone-hot ベクトルで表現されない連続値が想定される場合、パラメータ学習部1212は、平均二乗誤差(MSE:Mean Squared Error)や平均絶対値誤差(MAE:Mean Absolute Error)等の誤差関数を用いる。
【００３４】
また、ニューラルネットワークの出力層の活性化関数として、例えばシグモイド関数やソフトマックス関数が用いられる。なお、活性化関数には、シグモイド関数やソフトマックス関数以外の関数が用いられてもよい。
【００３５】
なお、既知画像確率推定器を構成するニューラルネットワークの構成は、どのような構成でもよい。例えば、ニューラルネットワークとして、VGG やResNet(Residual Network)が使用されてもよい。
【００３６】
また、一般的なネットワークの前半部分が直接用いられ、ネットワークの後半部分の分類用のネットワークが置き換えられて構成されたニューラルネットワークが使用されてもよい。また、一般的な畳み込みネットワークが用いられて画像特徴等が抽出されてから、新たにニューラルネットワークが構成されてもよい。
【００３７】
本実施形態のパラメータ学習部1212は、式（１）の誤差関数を用いて、複数個の既知画像確率推定器12111 〜既知画像確率推定器1211n の各パラメータを学習する。
【００３８】
学習する際、パラメータ学習部1212は、例えば学習の初期パラメータとして既知画像確率推定器ごとに異なる乱数シード値を用いる。すなわち、パラメータ学習部1212は、既知画像確率推定器を構成するそれぞれのニューラルネットワークの初期パラメータに、既知画像確率推定器ごとに異なる乱数シード値を設定する。
【００３９】
学習した後、パラメータ学習部1212は、複数の学習済みパラメータを出力する。出力される複数の学習済みパラメータには、例えばニューラルネットワークの勾配の更新に使用されるパラメータも含まれる。また、パラメータ学習部1212による学習は、複数回繰り返し実行される可能性がある。
【００４０】
複数の既知画像確率推定器12111 〜既知画像確率推定器1211n は、パラメータ学習部1212により得られた学習済みパラメータをそれぞれ用いて、既知画像確率をそれぞれ推定する。既知画像確率アンサンブル推定部1210は、例えば、推定された複数の既知画像確率の平均値を出力する。
【００４１】
複数の既知画像確率の平均値がラベルの推定に使用されると、既知画像間の共通する類似部分に存在する未知画像が既知画像として推定される可能性が低減する。すなわち、複数の既知画像確率の平均値が使用されると、１つの既知画像確率推定器が出力した既知画像確率のみが使用された時に曖昧に分離されていた未知画像と既知画像が、精度良く分離される。
【００４２】
なお、アンサンブル学習の別の例として、Dropout が用いられたネットワークが使用されてもよい。例えば、１つのネットワークの学習において、既知画像確率推定器12111 〜既知画像確率推定器1211n は、中間層同士の間に１つまたは複数のDropout レイヤが挿入されたネットワークでそれぞれ構成されていてもよい。また、Dropout が用いられた学習においても、単一のネットワークが用いられてもよいし、初期パラメータである乱数シード値がそれぞれ異なる複数のネットワークが用いられてもよい。
【００４３】
上記の学習方法以外に、既知画像確率計算器1200は、オートエンコーダや１クラスSVM(Support Vector Machine) 等の異常検知に使用される学習方法を用いてもよい。
【００４４】
また、識別対象が複数の時刻フレームで構成される動画や複数の類似画像である場合、既知画像確率計算器1200は、複数の推定処理において共通の値を既知画像確率としてもよい。または、既知画像確率計算器1200は、複数の推定処理において、計算された既知画像確率の平均値等を既知画像確率としてもよい。
【００４５】
例えば、連続する時刻フレームにおける各画像に対して、既知画像確率計算器1200は、１つ前の時刻フレームにおける画像から推定された既知画像確率をメモリに保存する。次いで、既知画像確率計算器1200は、次の時刻フレームにおける画像のみから推定された既知画像確率に、メモリに保存されていた既知画像確率が乗じられた確率を出力してもよい。
【００４６】
未知画像分類器1300は、画像入力部1100から入力された情報が示す画像が示す内容を各クラスに分類する機能を有する。分類されるクラスには、未知画像が示す内容が分類されているクラス（以下、未知画像のクラスと呼ぶ。）も含まれる。
【００４７】
具体的には、未知画像分類器1300は、既知画像が示す内容が分類されているクラス（以下、既知画像のクラスと呼ぶ。）と未知画像のクラスが混合された各クラスに対して、入力された情報が示す画像が示す内容がクラスに分類される尤度を計算する。計算される尤度は、全クラス数の次元を有するベクトルで表される。ベクトルの各成分は、0 から1 までの間の値を取る尤度値で表される。
【００４８】
各成分の尤度値は、それぞれのクラスらしさを表す。すなわち、尤度値が0 であれば、画像が示す内容は、最も尤度値に対応するクラスらしくない。また、尤度値が1 であれば、画像が示す内容は、最も尤度値に対応するクラスらしい。
【００４９】
また、未知画像分類器1300は、既知画像のクラスと未知画像のクラスが混合された各クラスに対して、入力された情報が示す画像が示す内容と各クラスとのコサイン類似度で構成されるコサイン類似度ベクトルを計算してもよい。コサイン類似度ベクトルは、全クラス数の次元を有するベクトルで表される。コサイン類似度ベクトルの各成分は、-1から1 までの間の値を取るコサイン類似度で表される。
【００５０】
各成分のコサイン類似度は、それぞれのクラスとの類似度を表す。すなわち、コサイン類似度が-1であれば、画像が示す内容は、コサイン類似度に対応するクラスに最も類似しない。また、コサイン類似度が1 であれば、画像が示す内容は、コサイン類似度に対応するクラスに最も類似する。
【００５１】
未知画像分類器1300は、例えば一般ゼロショット認識器で構成される。一般ゼロショット認識器は、具体的には、既知画像とラベルとの組が用いられて学習された画像特徴とラベル特徴との変換方法を用いて、入力された情報が示す画像に対応するラベルを推定する。
【００５２】
本実施形態で使用される一般ゼロショット認識器として、例えば、非特許文献２に記載されている認識器が用いられる。なお、非特許文献２に記載されている認識器以外の認識器が、一般ゼロショット認識器として用いられてもよい。
【００５３】
上述したように、画像入力部1100には、未知画像と既知画像が混合された画像を示す情報が入力される。よって、未知画像分類器1300は、未知画像と既知画像にそれぞれ対応する各ラベルが示すと想定されるクラスの尤度を出力する。未知画像分類器1300は、各クラスの尤度を画像分類器1400に入力する。
【００５４】
画像分類器1400は、未知画像分類器1300から入力された尤度に既知画像確率計算器1200から入力された既知画像確率を乗ずることによって尤度を補正する機能を有する。画像分類器1400は、補正された尤度を推定結果出力部1500に入力する。
【００５５】
画像分類器1400は、既知画像確率計算器1200から入力された既知画像確率を用いて、未知画像分類器1300から入力された尤度を補正する。具体的には、画像分類器1400は、未知画像分類器1300から入力された既知画像に対応するラベルが示すと想定される全てのクラスの尤度に対して、既知画像確率を乗じる。
【００５６】
さらに、画像分類器1400は、未知画像分類器1300から入力された未知画像に対応するラベルが示すと想定される全てのクラスの尤度に対して、（１−既知画像確率）を乗じる。画像分類器1400は、上記のように補正された尤度を推定結果出力部1500に入力する。
【００５７】
なお、画像分類器1400は、尤度に既知画像確率以外の値を乗じてもよい。例えば、画像分類器1400は、既知画像確率の二乗値等、任意の関数を用いて既知画像確率に対して演算を行った後、尤度に既知画像確率を乗じてもよい。
【００５８】
推定結果出力部1500は、画像分類器1400から入力された補正された尤度に基づいて、入力された情報が示す画像のラベルを推定結果として出力する機能を有する。
【００５９】
推定結果出力部1500は、例えば、既知画像確率、または（１−既知画像確率）が乗じられた全ての尤度のうち最大の尤度のクラスを入力された情報が示す画像のラベルが示すクラスに推定する。推定結果出力部1500は、例えば推定結果を外部デバイスに入力する。
【００６０】
［動作の説明］
以下、本実施形態の画像分類システム1000の推定器のパラメータを学習する動作を図４を参照して説明する。図４は、第１の実施形態の画像分類システム1000による推定器パラメータ学習処理の動作を示すフローチャートである。
【００６１】
最初に、画像入力部1100に、既知画像を示す情報が入力される（ステップS101）。画像入力部1100は、入力された既知画像を示す情報を既知画像確率計算器1200に入力する。
【００６２】
次いで、既知画像確率計算器1200の既知画像確率推定器12111 〜既知画像確率推定器1211n は、画像入力部1100から入力された情報が示す既知画像に対して既知画像確率をそれぞれ推定する（ステップS102）。既知画像確率推定器12111 〜既知画像確率推定器1211n はそれぞれ、推定された既知画像確率をパラメータ学習部1212に入力する。
【００６３】
次いで、パラメータ学習部1212は、入力された各既知画像確率を式（１）に代入し、式（１）の値を最小化するように、既知画像確率推定器12111 〜既知画像確率推定器1211n の各パラメータをそれぞれ学習する（ステップS103）。
【００６４】
次いで、パラメータ学習部1212は、複数の学習済みパラメータを既知画像確率推定器12111 〜既知画像確率推定器1211n にそれぞれ入力する（ステップS104）。入力した後、画像分類システム1000は、推定器パラメータ学習処理を終了する。なお、ステップS103〜ステップS104の処理は、複数回繰り返し実行されてもよい。
【００６５】
次に、本実施形態の画像分類システム1000の画像を分類する動作を図５を参照して説明する。図５は、第１の実施形態の画像分類システム1000による画像分類処理の動作を示すフローチャートである。
【００６６】
最初に、画像入力部1100に、画像を示す情報が入力される（ステップS201）。画像入力部1100は、入力された画像を示す情報を既知画像確率計算器1200と未知画像分類器1300にそれぞれ入力する。
【００６７】
次いで、既知画像確率計算器1200の既知画像確率アンサンブル推定部1210は、既知画像確率推定器12111 〜既知画像確率推定器1211n を用いて、画像入力部1100から入力された情報が示す画像の既知画像確率を計算する（ステップS202）。既知画像確率計算器1200は、計算された既知画像確率を画像分類器1400に入力する。
【００６８】
また、未知画像分類器1300は、入力された情報が示す画像が示す内容が各クラスに分類される尤度をそれぞれ計算する（ステップS203）。未知画像分類器1300は、計算された各クラスの尤度を画像分類器1400に入力する。
【００６９】
次いで、画像分類器1400は、既知画像確率計算器1200から入力された既知画像確率を用いて未知画像分類器1300から入力された尤度を補正する（ステップS204）。画像分類器1400は、補正された尤度を推定結果出力部1500に入力する。
【００７０】
次いで、推定結果出力部1500は、画像分類器1400から入力された補正された尤度に基づいて、入力された情報が示す画像が示す内容が分類されるクラスを推定する。次いで、推定結果出力部1500は、推定されたクラスを示すラベルを推定結果として出力する（ステップS205）。推定結果を出力した後、画像分類システム1000は、画像分類処理を終了する。
【００７１】
［効果の説明］
本実施形態の画像分類システム1000は、画像が既知画像に該当する確率である既知画像確率を出力する既知画像確率計算器1200を備える。また、画像分類システム1000は、入力された画像が示す内容に対して未知画像のクラスと既知画像のクラスが含まれる各クラスに分類される尤度をそれぞれ計算する未知画像分類器1300を備える。また、画像分類システム1000は、既知画像確率計算器1200から出力された既知画像確率を用いて、未知画像分類器1300から出力された尤度を補正する画像分類器1400を備える。
【００７２】
一般的な画像分類システムでは、未知画像のラベルがラベルの推定モデルの学習に使われない。よって、学習データとして用いられる既知画像のラベルに推定モデルが過剰適合し、推定されたテストデータが有する画像のラベルの推定精度が劣化するという問題がある。
【００７３】
本実施形態の画像分類システム1000は、テストデータが有する画像に対して推定されるラベルの精度を向上できる。その理由は、画像分類器1400が出力された尤度を、既知画像確率を用いて補正するためである。本実施形態の既知画像確率計算器1200は未知画像分類器1300を補助するように構成されているため、テストデータが有する画像に対して推定されるラベルの推定精度が向上する。
【００７４】
実施形態２．
［構成の説明］
次に、本発明の第２の実施形態を、図面を参照して説明する。図６は、本発明による画像分類システムの第２の実施形態の構成例を示すブロック図である。
【００７５】
図６に示す本実施形態の画像分類システム1001は、画像入力部1100と、既知画像確率計算器1200と、未知画像分類器1300と、画像分類器1400と、推定結果出力部1500と、既知画像分類器1600とを備えている。
【００７６】
本実施形態の画像分類システム1001には、第１の実施形態の画像分類システム1000と異なり、既知画像分類器1600が追加されている。既知画像分類器1600が追加されている点以外は、本実施形態の画像分類システム1001の構成は、第１の実施形態の画像分類システム1000の構成と同様である。
【００７７】
本実施形態の画像入力部1100、既知画像確率計算器1200、および推定結果出力部1500が有する各機能は、第１の実施形態の画像入力部1100、既知画像確率計算器1200、および推定結果出力部1500が有する各機能とそれぞれ同様である。
【００７８】
本実施形態の未知画像分類器1300は、画像入力部1100から入力された情報が示す画像が示す内容が、未知画像の各クラスに分類される尤度をそれぞれ計算する機能を有する。計算される尤度は、未知画像のクラス数の次元を有するベクトルで表される。ベクトルの各成分は、0 から1 までの間の値を取る尤度値で表される。
【００７９】
未知画像分類器1300は、例えば従来型ゼロショット認識器で構成される。従来型ゼロショット認識器は、具体的には、既知画像とラベルとの組が用いられて学習された画像特徴とラベル特徴との変換方法を用いて、入力された情報が示す画像に対応するラベルを推定する。
【００８０】
本実施形態で使用される従来型ゼロショット認識器として、例えば、非特許文献２に記載されている認識器が用いられる。なお、非特許文献２に記載されている認識器以外の認識器が、従来型ゼロショット認識器として用いられてもよい。
【００８１】
本実施形態でも、画像入力部1100には、未知画像と既知画像が混合された画像を示す情報が入力される。未知画像分類器1300は、未知画像に対応するラベルが示すと想定されるクラスの尤度を出力する。
【００８２】
本実施形態の既知画像分類器1600は、画像入力部1100から入力された情報が示す画像が示す内容が、既知画像の各クラスに分類される尤度をそれぞれ計算する機能を有する。計算される尤度は、既知画像のクラス数の次元を有するベクトルで表される。ベクトルの各成分は、0 から1 までの間の値を取る尤度値で表される。
【００８３】
既知画像分類器1600は、例えば畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)認識器（以下、CNN 認識器と呼ぶ。）で構成される。CNN 認識器は、具体的には、既知画像とラベルとの組が用いられて学習されたCNN を用いて、入力された情報が示す画像に対応するラベルを推定する。
【００８４】
本実施形態で使用されるCNN 認識器として、例えば、VGG やResNetが用いられる。なお、VGG やResNet以外の認識器が、CNN 認識器として用いられてもよい。
【００８５】
上述したように、画像入力部1100には、未知画像と既知画像が混合された画像を示す情報が入力される。既知画像分類器1600は、既知画像に対応するラベルが示すと想定されるクラスの尤度を出力する。
【００８６】
本実施形態の画像分類器1400は、既知画像確率計算器1200から出力された既知画像確率を用いて、未知画像分類器1300から出力された尤度と、既知画像分類器1600から出力された尤度をそれぞれ補正する機能を有する。
【００８７】
具体的には、画像分類器1400は、既知画像分類器1600から入力された既知画像に対応するラベルが示すと想定される全てのクラスの尤度に対して、既知画像確率を乗じる。さらに、画像分類器1400は、未知画像分類器1300から入力された未知画像に対応するラベルが示すと想定される全てのクラスの尤度に対して、（１−既知画像確率）を乗じる。
【００８８】
画像分類器1400は、補正された尤度を推定結果出力部1500に入力する。推定結果出力部1500は、例えば、既知画像確率、または（１−既知画像確率）が乗じられた全ての尤度のうち最大の尤度のクラスを入力された情報が示す画像のラベルが示すクラスに推定する。推定結果出力部1500は、推定されたクラスを示すラベルを推定結果として出力する。
【００８９】
なお、画像分類器1400は、尤度に既知画像確率以外の値を乗じてもよい。例えば、画像分類器1400は、既知画像確率の二乗値等、任意の関数を用いて既知画像確率に対して演算を行った後、尤度に既知画像確率を乗じてもよい。
【００９０】
［動作の説明］
以下、本実施形態の画像分類システム1001の画像を分類する動作を図７を参照して説明する。図７は、第２の実施形態の画像分類システム1001による画像分類処理の動作を示すフローチャートである。
【００９１】
図７に示すステップS211〜ステップS212の処理は、図５に示すステップS201〜ステップS202の処理と同様である。
【００９２】
未知画像分類器1300は、入力された情報が示す画像が示す内容が未知画像の各クラスに分類される尤度をそれぞれ計算する（ステップS213）。未知画像分類器1300は、計算された各クラスの尤度を画像分類器1400に入力する。
【００９３】
また、既知画像分類器1600は、入力された情報が示す画像が示す内容が既知画像の各クラスに分類される尤度をそれぞれ計算する（ステップS214）。既知画像分類器1600は、計算された各クラスの尤度を画像分類器1400に入力する。
【００９４】
次いで、画像分類器1400は、既知画像確率計算器1200から入力された既知画像確率を用いて、未知画像分類器1300から入力された尤度、および既知画像分類器1600から入力された尤度をそれぞれ補正する（ステップS215）。画像分類器1400は、補正された尤度を推定結果出力部1500に入力する。
【００９５】
図７に示すステップS216の処理は、図５に示すステップS205の処理と同様である。
【００９６】
なお、本実施形態の画像分類システム1001による推定器パラメータ学習処理は、図４に示す推定器パラメータ学習処理と同様である。
【００９７】
［効果の説明］
本実施形態の画像分類システム1001は、画像が既知画像に該当する確率である既知画像確率を出力する既知画像確率計算器1200を備える。また、画像分類システム1001は、入力された画像が示す内容に対して未知画像のクラスに分類される尤度を計算する未知画像分類器1300と、入力された画像が示す内容に対して既知画像のクラスに分類される尤度を計算する既知画像分類器1600とを備える。
【００９８】
また、画像分類システム1001は、既知画像確率計算器1200から出力された既知画像確率を用いて、未知画像分類器1300から出力された尤度と既知画像分類器1600から出力された尤度とをそれぞれ補正する画像分類器1400を備える。
【００９９】
本実施形態の画像分類システム1001は、第１の実施形態の画像分類システム1000に比べて、各クラスの尤度をより高精度に計算できる。その理由は、未知画像分類器1300による未知画像のクラスの尤度の計算と、既知画像分類器1600による既知画像のクラスの尤度の計算とが、それぞれより適切な方法で実行されるためである。
【０１００】
以下、各実施形態の画像分類システム1000、および画像分類システム1001のハードウェア構成の具体例を説明する。図８は、本発明による画像分類システムのハードウェア構成例を示す説明図である。
【０１０１】
図８に示す画像分類システムは、CPU(Central Processing Unit)101 と、主記憶部102 と、通信部103 と、補助記憶部104 とを備える。また、ユーザが操作するための入力部105 や、ユーザに処理結果または処理内容の経過を提示するための出力部106 を備えてもよい。
【０１０２】
主記憶部102 は、データの作業領域やデータの一時退避領域として用いられる。主記憶部102 は、例えばRAM(Random Access Memory) である。
【０１０３】
通信部103 は、有線のネットワークまたは無線のネットワーク（情報通信ネットワーク）を介して、周辺機器との間でデータを入力および出力する機能を有する。
【０１０４】
補助記憶部104 は、一時的でない有形の記憶媒体である。一時的でない有形の記憶媒体として、例えば磁気ディスク、光磁気ディスク、CD-ROM(Compact Disk Read Only Memory) 、DVD-ROM(Digital Versatile Disk Read Only Memory)、半導体メモリが挙げられる。
【０１０５】
入力部105 は、データや処理命令を入力する機能を有する。入力部105 は、例えばキーボードやマウス等の入力デバイスである。
【０１０６】
出力部106 は、データを出力する機能を有する。出力部106 は、例えば液晶ディスプレイ装置等の表示装置、またはプリンタ等の印刷装置である。
【０１０７】
また、図８に示すように、画像解析装置において、各構成要素は、システムバス107 に接続されている。
【０１０８】
補助記憶部104 は、例えば、画像入力部1100、既知画像確率計算器1200、未知画像分類器1300、画像分類器1400、推定結果出力部1500、および既知画像分類器1600を実現するためのプログラムを記憶している。
【０１０９】
また、画像入力部1100は、通信部103 を介して画像を示す情報を受信してもよい。また、推定結果出力部1500は、通信部103 を介して推定結果を送信してもよい。
【０１１０】
なお、画像分類システム1000、および画像分類システム1001は、ハードウェアにより実現されてもよい。例えば、画像分類システム1000は、内部に図１に示すような機能を実現するプログラムが組み込まれたLSI(Large Scale Integration)等のハードウェア部品が含まれる回路が実装されてもよい。
【０１１１】
また、画像分類システム1000、および画像分類システム1001は、図８に示すCPU101が図１に示す各構成要素が有する機能、または図６に示す各構成要素が有する機能を提供するプログラムを実行することによって、ソフトウェアにより実現されてもよい。
【０１１２】
ソフトウェアにより実現される場合、CPU101が補助記憶部104 に格納されているプログラムを、主記憶部102 にロードして実行し、画像分類システム1000、または画像分類システム1001の動作を制御することによって、各機能がソフトウェアにより実現される。
【０１１３】
また、各構成要素の一部または全部は、汎用の回路(circuitry) または専用の回路、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
【０１１４】
各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
【０１１５】
次に、本発明の概要を説明する。図９は、本発明による画像分類システムの概要を示すブロック図である。本発明による画像分類システム10は、入力された画像が、画像が示す内容が分類されているクラスを示すラベルが既知である既知画像に該当する確率である既知画像確率を計算する確率計算手段11（例えば、既知画像確率計算器1200）と、入力された画像が示す内容がラベルが未知である未知画像が示す内容が分類されているクラスに分類される尤度と、入力された画像が示す内容が既知画像が示す内容が分類されているクラスに分類される尤度とをそれぞれ計算する尤度計算手段12（例えば、未知画像分類器1300）と、計算された既知画像確率を用いて計算された尤度を補正する補正手段13（例えば、画像分類器1400）とを備える。
【０１１６】
そのような構成により、画像分類システムは、テストデータが有する画像のラベルを高精度に推定できる。
【０１１７】
また、画像分類システム10は、補正された尤度を用いて入力された画像のラベルを推定するラベル推定手段（例えば、推定結果出力部1500）を備えてもよい。
【０１１８】
そのような構成により、画像分類システムは、テストデータが有する画像のラベルを高精度に推定できる。
【０１１９】
また、確率計算手段11は、入力された画像が既知画像に該当する確率を推定する複数の確率推定手段（例えば、既知画像確率推定器12111 〜既知画像確率推定器1211n ）と、既知画像を含む学習データに基づいて複数の確率推定手段の各パラメータをそれぞれ学習する学習手段（例えば、パラメータ学習部1212）とを含んでもよい。
【０１２０】
そのような構成により、画像分類システムは、入力された画像が既知画像に該当する確率を推定する推定器の推定精度を向上させることができる。
【０１２１】
また、確率計算手段11は、複数の確率推定手段によりそれぞれ推定された複数の確率を用いて既知画像確率を計算してもよい。
【０１２２】
そのような構成により、画像分類システムは、計算される既知画像確率の精度を向上させることができる。
【０１２３】
また、尤度計算手段12は、入力された画像が示す内容が未知画像が示す内容が分類されているクラスに分類される尤度を計算する未知画像尤度計算手段（例えば、未知画像分類器1300）と、入力された画像が示す内容が既知画像が示す内容が分類されているクラスに分類される尤度を計算する既知画像尤度計算手段（例えば、既知画像分類器1600）とを含んでもよい。
【０１２４】
そのような構成により、画像分類システムは、テストデータが有する画像のラベルをより高精度に推定できる。
【０１２５】
また、補正手段13は、既知画像尤度計算手段により計算された尤度に計算された既知画像確率を乗じ、未知画像尤度計算手段により計算された尤度に１から計算された既知画像確率が減じられた値を乗じることによって計算された尤度を補正してもよい。
【０１２６】
そのような構成により、画像分類システムは、テストデータが有する画像のラベルを高精度に推定できる。
【０１２７】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【０１２８】
10、1000、1001  画像分類システム
11  確率計算手段
12  尤度計算手段
13  補正手段
101  CPU
102  主記憶部
103  通信部
104  補助記憶部
105  入力部
106  出力部
107  システムバス
1100  画像入力部
1200  既知画像確率計算器
1210  既知画像確率アンサンブル推定部
12111 〜1211n   既知画像確率推定器
1212  パラメータ学習部
1300  未知画像分類器
1400  画像分類器
1500  推定結果出力部
1600  既知画像分類器
【図１】
0006927410.tif 000003
【図２】
0006927410.tif 000004
【図３】
0006927410.tif 000005
【図４】
0006927410.tif 000006
【図５】
0006927410.tif 000007
【図６】
0006927410.tif 000008
【図７】
0006927410.tif 000009
【図８】
0006927410.tif 000010
【図９】
0006927410.tif 000011