(57)【要約】【課題】画像の領域分割のための教師あり学習において学習効率を向上させることができる情報処理方法を提供する。【解決手段】情報処理方法は、プロセッサを用いて、正しい属性を示す正解ラベルが第１ブロック毎に付された第１画像を受け付け（Ｓ１０１）、第１画像の解像度を所定の範囲内で変更することにより、第２ブロック毎に正解ラベルが付された第２画像を生成し（Ｓ１０２）、第２画像をモデルに学習させ（Ｓ１０３）、モデルは、入力画像から特徴量を抽出し、特徴量に基づいて入力画像のブロック毎に、属性を示すラベルを推定するための学習モデルであり、モデルへ第２画像を入力し、モデルから、第２画像の第２ブロック毎に推定ラベルを受け取り（Ｓ１０４）、第２画像の第２ブロック毎に、推定ラベルと正解ラベルとを比較する第１比較を行い（Ｓ１０５）、第１比較の結果に応じて所定の範囲を変更して出力する（Ｓ１０６）。【選択図】図２
2019079135.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサを用いて、
正しい属性を示す正解ラベルが第１所定数の画素からなる第１ブロック毎に付された第１画像を受け付け、
前記第１画像の解像度を所定の範囲内で変更することにより、第２所定数の画素からなる第２ブロック毎に正解ラベルが付された第２画像を生成し、
前記第２画像をモデルに学習させ、前記モデルは、入力画像から特徴量を抽出し、前記特徴量に基づいて前記入力画像のブロック毎に、属性を示すラベルを推定するための学習モデルであり、
前記モデルへ前記第２画像を入力し、前記モデルから、前記第２画像の第２ブロック毎に推定ラベルを受け取り、
前記第２画像の第２ブロック毎に、前記推定ラベルと前記正解ラベルとを比較する第１比較を行い、
前記第１比較の結果に応じて前記所定の範囲を変更して出力する、
情報処理方法。
【請求項２】
前記所定の範囲の変更では、
前記第１比較の結果が不一致である、前記第２画像内の１以上の誤ブロックに応じて、前記所定の範囲を変更する、
請求項１に記載の情報処理方法。
【請求項３】
前記所定の範囲の変更では、
前記１以上の誤ブロックの数が閾値数より大きい場合に前記所定の範囲を変更する、
請求項２に記載の情報処理方法。
【請求項４】
前記所定の範囲の変更では、
前記１以上の誤ブロックの各々が、前記解像度の変更によって引き起こされた第１タイプの誤ブロックであるか否かの判定を行い、
前記第２画像に含まれる１以上の第１タイプの誤ブロックに応じて前記所定の範囲を変更する、
請求項２に記載の情報処理方法。
【請求項５】
前記誤ブロックの判定では、前記１以上の誤ブロックの各々について、
前記誤ブロックの推定ラベルと周辺ブロックの正解ラベルとを比較する第２比較を行い、前記周辺ブロックは、前記第２画像において前記誤ブロックの正解ラベルと同一の正解ラベルが付された領域に隣接する他の正解ラベルが付されたブロックであり、
前記第２比較の結果が一致である場合に、前記誤ブロックを前記第１タイプの誤ブロックと判定する、
請求項４に記載の情報処理方法。
【請求項６】
前記情報処理方法は、さらに、
前記モデルへ前記第１画像を入力し、
前記モデルから、前記第１画像のブロック毎に推定された推定ラベルを受け取り、
前記誤ブロックの判定では、前記１以上の誤ブロックの各々について、
前記誤ブロックに位置的に対応する前記第１画像内の対応ブロックの推定ラベルと、前記対応ブロックの正解ラベルとを比較する第３比較を行い、
前記第３比較の結果が一致である場合に、前記誤ブロックを前記第１タイプの誤ブロックと判定する、
請求項４又は５に記載の情報処理方法。
【請求項７】
前記所定の範囲の変更では、
前記第２画像に含まれる第１タイプの誤ブロックの数が閾値数よりも大きい場合に前記所定の範囲を変更する、
請求項４〜６のいずれか１項に記載の情報処理方法。
【請求項８】
請求項１に記載の情報処理方法をコンピュータに実行させるためのプログラム。
【請求項９】
プロセッサと、
メモリと、を備え、
前記プロセッサは、前記メモリを用いて、
第１所定数の画素からなる第１ブロック毎に正しい属性を示す正解ラベルが付された第１画像を受け付け、
前記第１画像の解像度を所定の範囲内で変更することにより、第２所定数の画素からなる第２ブロック毎に正解ラベルが付された第２画像を生成し、
前記第２画像をモデルに学習させ、前記モデルは、入力画像から特徴量を抽出し、前記特徴量に基づいて前記入力画像のブロック毎に、属性を示すラベルを推定するための機械学習モデルであり、
前記モデルへ前記第２画像を入力し、
前記モデルから、前記第２画像の第２ブロック毎に推定ラベルを受け取り、
前記第２画像の第２ブロック毎に、前記推定ラベルと前記正解ラベルとを比較する第１比較を行い、
前記第１比較の結果に応じて前記所定の範囲を変更して出力する、
情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像の領域分割のための情報処理方法及び情報処理装置に関する。
【背景技術】
【０００２】
従来、画像内で同じ特徴を持つ領域に画像を分割する技術として様々な技術が提案されている。例えば、非特許文献１のグラフカット法では、隣接画素の画素値の類似性を利用して画像の領域分割が行われる。
【０００３】
ただし、グラフカット法では、各領域が何を表しているかを認識することはできない。そこで、ディープラーニング等の機械学習を用いた領域分割方法が注目されている。ディープラーニングでは、例えば画素単位で属性を示すラベルを付すことができるので、同一のラベルが付された領域が何を表しているかを認識することができる。
【０００４】
例えば、非特許文献２のＳｅｇＮｅｔと呼ばれる方法では、画像の特徴抽出処理と領域及びラベルの対応付け処理とを組み合わせて学習することで、領域分割及び画像認識の両方を同時に実現することができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】V. Kolmogorov and R. Zabih, "What energy functions can be minimized via Graph Cuts?", IEEE PAMI, vol. 26(2), 2004年2月
【非特許文献２】Vijay Badrinarayanan, Alex Kendall and Roberto Cipolla, "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Scene Segmentation", IEEE PAMI, Issue 99, DOI 10.1109/TPAMI.2016.2644615, 2017年1月2日
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記従来の機械学習を用いた領域分割方法では、教師あり学習（supervised learning）のための訓練データとして、正しい属性を示す正解ラベルが付された多種多様な画像が必要となる。以下において、訓練データに含まれる正解ラベル付きの画像を訓練画像と呼ぶ。しかしながら、不適切な訓練画像が学習に用いられると学習効率の低下を招いてしまう。
【０００７】
そこで、本開示は、画像の領域分割のための教師あり学習において学習効率を向上させることができる情報処理方法等を提供する。
【課題を解決するための手段】
【０００８】
本開示の一態様に係る情報処理方法は、プロセッサを用いて、正しい属性を示す正解ラベルが第１所定数の画素からなる第１ブロック毎に付された第１画像を受け付け、前記第１画像の解像度を所定の範囲内で変更することにより、第２所定数の画素からなる第２ブロック毎に正解ラベルが付された第２画像を生成し、前記第２画像をモデルに学習させ、前記モデルは、入力画像から特徴量を抽出し、前記特徴量に基づいて前記入力画像のブロック毎に、属性を示すラベルを推定するための学習モデルであり、前記モデルへ前記第２画像を入力し、前記モデルから、前記第２画像の第２ブロック毎に推定ラベルを受け取り、前記第２画像の第２ブロック毎に、前記推定ラベルと前記正解ラベルとを比較する第１比較を行い、前記第１比較の結果に応じて前記所定の範囲を変更して出力する。
【０００９】
なお、これらの包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１０】
本開示の一態様に係る情報処理方法は、画像の領域分割のための機械学習において学習効率を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態１及び２に係る情報処理装置の機能構成を示すブロック図である。
【図２】図２は、実施の形態１及び２に係る情報処理装置の処理動作を示すフローチャートである。
【図３】図３は、実施の形態１及び２における学習処理を示すフローチャートである。
【図４】図４は、実施の形態１及び２における推定処理を示すフローチャートである。
【図５】図５は、実施の形態１における比較処理を示すフローチャートである。
【図６】図６は、実施の形態２における比較処理を示すフローチャートである。
【図７】図７は、実施の形態２における判定処理の詳細を示すフローチャートである。
【図８】図８は、実施の形態２のおける第２画像の推定ラベル及び正解ラベルの具体例を示す図である。
【図９】図９は、実施の形態２のおける第１画像及び第２画像の推定ラベル及び正解ラベルの具体例を示す図である。
【図１０】図１０は、各実施の形態に係る情報処理装置の機能をソフトウェアにより実現するコンピュータのハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１２】
（本開示の概要）
画像の領域分割のための教師あり学習において多種多様な訓練画像を準備するために、１つの訓練画像から複数の訓練画像が生成される場合がある。例えば、１つの訓練画像の解像度を変更することにより複数の訓練画像が生成される。ここでは、１つの訓練画像を第１画像と呼ぶ。また、複数の訓練画像のうちの少なくとも１つを第２画像と呼ぶ。
【００１３】
画像の解像度の変更とは、画像の画素数を変更することである。画像の解像度の変更は、画像サイズの変更と呼ばれることもある。例えば画像数の減少を伴う解像度の変更は、画像解像度の減少又は画像の縮小とも呼ばれる。一方、画素数の増加を伴う解像度の変更は、画像解像度の増加又は画像の拡大とも呼ばれる。
【００１４】
このように訓練画像を拡大又は縮小することにより複数の訓練画像が生成された場合に、拡大又は縮小しすぎることによってラベルの推定が困難となり、学習効率を低下させることがある。
【００１５】
そこで、本開示の一態様に係る情報処理方法は、プロセッサを用いて、正しい属性を示す正解ラベルが第１所定数の画素からなる第１ブロック毎に付された第１画像を受け付け、前記第１画像の解像度を所定の範囲内で変更することにより、第２所定数の画素からなる第２ブロック毎に正解ラベルが付された第２画像を生成し、前記第２画像をモデルに学習させ、前記モデルは、入力画像から特徴量を抽出し、前記特徴量に基づいて前記入力画像のブロック毎に、属性を示すラベルを推定するための学習モデルであり、前記モデルへ前記第２画像を入力し、前記モデルから、前記第２画像の第２ブロック毎に推定ラベルを受け取り、前記第２画像の第２ブロック毎に、前記推定ラベルと前記正解ラベルとを比較する第１比較を行い、前記第１比較の結果に応じて前記所定の範囲を変更して出力する。
【００１６】
これにより、推定ラベルと正解ラベルとの第１比較の結果に応じて、第１画像の解像度の変更に用いる所定の範囲を変更することができる。したがって、第１画像に応じて解像度の変更の範囲を制限することができ、不適切な訓練画像が学習に用いられる可能性を低減することができる。つまり、画像の領域分割のための教師あり学習において学習効率を向上させることができる。
【００１７】
また、本開示の一態様に係る情報処理方法において、前記所定の範囲の変更では、前記第１比較の結果が不一致である、前記第２画像内の１以上の誤ブロックに応じて、前記所定の範囲を変更してもよい。
【００１８】
これにより、第２画像内の１以上の誤ブロックに応じて所定の範囲を変更することができる。したがって、訓練画像の不適切さに関連する誤ブロックに応じて所定の範囲の変更及び不変更を切り替えることができ、不適切な訓練画像が学習に用いられる可能性をより低減することができる。
【００１９】
また、本開示の一態様に係る情報処理方法において、前記所定の範囲の変更では、前記１以上の誤ブロックの数が閾値数より大きい場合に前記所定の範囲を変更してもよい。
【００２０】
これにより、誤ブロックの数が閾値数より大きい場合に所定の範囲を変更することができる。したがって、誤ブロックが多い学習に不適切な画像を訓練データから除外できるように所定の範囲を変更することも可能となる。その結果、不適切な訓練画像が学習に用いられる可能性をより低減することができる。
【００２１】
また、本開示の一態様に係る情報処理方法において、前記所定の範囲の変更では、前記１以上の誤ブロックの各々が、前記解像度の変更によって引き起こされた第１タイプの誤ブロックであるか否かの判定を行い、前記第２画像に含まれる１以上の第１タイプの誤ブロックに応じて前記所定の範囲を変更してもよい。
【００２２】
これにより、解像度の変更によって引き起こされた誤ブロックと判定された第１タイプの誤ブロックに応じて所定の範囲を変更することができる。したがって、解像度の変更によって不適切な訓練画像が学習に用いられる可能性を低減することができる。
【００２３】
また、本開示の一態様に係る情報処理方法において、前記誤ブロックの判定では、前記１以上の誤ブロックの各々について、前記誤ブロックの推定ラベルと周辺ブロックの正解ラベルとを比較する第２比較を行い、前記周辺ブロックは、前記第２画像において前記誤ブロックの正解ラベルと同一の正解ラベルが付された領域に隣接する他の正解ラベルが付されたブロックであり、前記第２比較の結果が一致である場合に、前記誤ブロックを前記第１タイプの誤ブロックと判定してもよい。
【００２４】
これにより、誤ブロックの推定ラベルと周辺ブロックの正解ラベルとを比較する第２比較の結果に基づいて、第１タイプの誤ブロックを判定することができる。このように判定された第１タイプの誤ブロックは、画像の縮小によってある属性の領域がその周辺領域の属性に侵食されるつぶれが発生している誤ブロックである可能性が高い。したがって、このようなつぶれが発生している誤ブロックを他の誤ブロックと区別することにより、解像度の変更によって不適切な訓練画像が学習に用いられる可能性をより低減することができる。
【００２５】
また、本開示の一態様に係る情報処理方法は、さらに、前記モデルへ前記第１画像を入力し、前記モデルから、前記第１画像のブロック毎に推定された推定ラベルを受け取り、前記誤ブロックの判定では、前記１以上の誤ブロックの各々について、前記誤ブロックに位置的に対応する前記第１画像内の対応ブロックの推定ラベルと、前記対応ブロックの正解ラベルとを比較する第３比較を行い、前記第３比較の結果が一致である場合に、前記誤ブロックを前記第１タイプの誤ブロックと判定してもよい。
【００２６】
これにより、第２画像内の誤ブロックに位置的に対応する第１画像内の対応ブロックの推定ラベルと、当該対応ブロックの正解ラベルとの第３比較の結果に基づいて、第１タイプの誤ブロックを判定することができる。このように判定された第１タイプの誤ブロックは、画像の拡大に伴って拡大した領域内に誤認識されるブロックが発生するちぎれが発生している誤ブロックである可能性が高い。したがって、このようなちぎれが発生している誤ブロックを他の誤ブロックと区別することにより、解像度の変更によって不適切な訓練画像が学習に用いられる可能性をより低減することができる。
【００２７】
また、本開示の一態様に係る情報処理方法において、前記所定の範囲の変更では、前記第２画像に含まれる第１タイプの誤ブロックの数が閾値数よりも大きい場合に前記所定の範囲を変更してもよい。
【００２８】
これにより、第１タイプの誤ブロックの数が閾値数より大きい場合に所定の範囲を変更することができる。したがって、解像度の変更により発生した誤ブロックが多い学習に不適切な画像を訓練データから除外できるように所定の範囲を変更することも可能となる。その結果、不適切な訓練画像が学習に用いられる可能性をより低減することができる。
【００２９】
なお、これらの包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【００３０】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【００３１】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。
【００３２】
（実施の形態１）
［情報処理装置の構成］
まず、実施の形態１に係る情報処理装置の機能構成について図１を参照しながら説明する。図１は、実施の形態１及び２に係る情報処理装置１００の機能構成を示すブロック図である。
【００３３】
図１に示すように、情報処理装置１００は、受付部１１０と、解像度変更部１２０と、モデル１４０と、比較部１５０と、範囲変更部１６０と、を備える。以下に、情報処理装置１００の各機能ブロックについて詳細に説明する。
【００３４】
受付部１１０は、第１所定数の画素からなる第１ブロック毎に正しい属性を示す正解ラベルが付された第１画像を受け付ける。例えば、受付部１１０は、外部記憶装置及び／又は内部記憶装置から第１画像を取得する。また例えば、受付部１１０は、デジタルカメラ及び／又はカメラ機能付き情報端末から第１画像を取得してもよい。カメラ機能付き情報端末は、例えば、タブレットコンピュータ、スマートフォン等である。
【００３５】
第１所定数は、１以上の整数である。例えば、第１所定数が１である場合、第１ブロックは画素と一致する。なお、第１所定数が１より大きい場合における第１ブロックの形状は特に限定される必要はない。
【００３６】
解像度変更部１２０は、第１画像の解像度を所定の範囲内で変更することにより、第２所定数の画素からなる第２ブロック毎に正解ラベルが付された第２画像を生成する。つまり、解像度変更部１２０は、第１画像を拡大又は縮小することにより１以上の第２画像を生成する。
【００３７】
所定の範囲は、第１画像の解像度の変更において生成される第２画像の解像度を制限するための解像度又は解像度の変化率の範囲である。言い換えると、所定の範囲は、第２画像の解像度として許可可能な解像度の範囲を表す。例えば、所定の範囲は、第２画像の下限解像度及び上限解像度で定義される。また例えば、所定の範囲は、解像度の下限変化率及び上限変化率で定義されてもよい。変化率とは、第１画像の解像度に対する第２画像の解像度の比率値である。
【００３８】
第２所定数は、１以上の整数である。例えば、第２所定数が１である場合、第２ブロックは画素と一致する。なお、第２所定数が１より大きい場合における第２ブロックの形状は特に限定される必要はない。また、第２所定数は、第１所定数と同じであってもよいし、異なってもよい。
【００３９】
モデル制御部１３０は、モデル１４０の動作を制御する。本実施の形態では、学習モード及び推定モードを用いてモデル１４０の動作を制御する。学習モードでは、モデル１４０は学習を行う。推定モードでは、モデル１４０は、学習を行わず、ラベルの推定を行う。
【００４０】
具体的には、まず、モデル制御部１３０は、モデル１４０に学習モードを設定し、モデル１４０へ第２画像を入力する。これにより、モデル１４０は、第２画像を学習する。次に、モデル制御部１３０は、モデル１４０に推定モードを設定し、モデル１４０へ第２画像を入力する。その結果、モデル制御部１３０は、モデル１４０から、第２画像の第２ブロック毎に推定ラベルを受け取る。
【００４１】
モデル１４０は、入力画像から特徴量を抽出し、特徴量に基づいて入力画像のブロック毎に、属性を示すラベルを推定するための機械学習モデルである。モデル１４０は、例えば、ニューラルネットワーク等によってモデル化される。このモデル１４０としては、従来技術が用いられてもよく、例えば非特許文献２に記載のモデルが用いられてもよい。
【００４２】
比較部１５０は、第２画像の第２ブロック毎に、推定ラベルと正解ラベルとを比較する第１比較を行う。ここで、第１比較の結果が不一致である第２ブロックを誤ブロックと呼ぶ。第１比較の結果が不一致であるとは、推定ラベルが正解ラベルと一致しないことを意味する。
【００４３】
範囲変更部１６０は、第１比較の結果に応じて所定の範囲を変更して出力する。具体的には、範囲変更部１６０は、例えば、第２画像に含まれる１以上の誤ブロックに応じて所定の範囲を変更する。より具体的には、範囲変更部１６０は、例えば、１以上の誤ブロックの数が閾値数より大きい場合に所定の範囲を変更する。閾値数は、実験的及び／又は経験的に予め定められればよい。
【００４４】
ここで変更された所定の範囲は、解像度変更部１２０に出力され、以降の解像度の変更に利用される。また、所定の範囲は、他の情報処理装置に出力されてもよい。
【００４５】
［情報処理装置の動作］
次に、以上のように構成された情報処理装置１００の動作について、図２〜図４を参照しながら説明する。図２は、実施の形態１及び２に係る情報処理装置１００の処理動作を示すフローチャートである。図２において、括弧内の符号は、実施の形態２に対応する。
【００４６】
まず、受付部１１０は、正解ラベル付きの第１画像を受け付ける（Ｓ１０１）。解像度変更部１２０は、第１画像の解像度を所定の範囲内で変更することにより第２画像を生成する（Ｓ１０２）。
【００４７】
モデル制御部１３０は、モデル１４０に第２画像を学習させる（Ｓ１０３）。これにより、モデル１４０のパラメータが更新される。このステップＳ１０３の詳細については、図３を用いて後述する。
【００４８】
モデル制御部１３０は、モデル１４０に第２画像のラベルを推定させる（Ｓ１０４）。これにより、第２画像の第２ブロック毎に推定ラベルが得られる。このステップＳ１０４の詳細については、図４を用いて後述する。
【００４９】
比較部１５０は、第２画像の第２ブロック毎に、推定ラベルと正解ラベルとを比較する（Ｓ１０５）。このステップＳ１０５の詳細については、図５を用いて後述する。
【００５０】
範囲変更部１６０は、比較部１５０による比較の結果に応じて、解像度の変更で用いられる所定の範囲を変更する（Ｓ１０６）。例えば、範囲変更部１６０は、所定の範囲を、第２画像の解像度を含まない範囲に縮小する。変更された所定の範囲は、解像度変更部１２０に出力される。
【００５１】
情報処理装置１００は、学習を終了するか否かを判定する（Ｓ１０７）。例えば、情報処理装置１００は、学習回数が閾値回数を超えているか否かに基づいて、学習を終了するか否かを判定する。ここで、学習を終了すると判定された場合（Ｓ１０７のＹｅｓ）、処理を終了する。
【００５２】
学習を終了しないと判定された場合（Ｓ１０７のＮｏ）、解像度変更部１２０は、第１画像の解像度を所定の範囲内で前回とは異なる解像度に変更する（Ｓ１０２）。このとき、ステップＳ１０６において所定の範囲が変更されている場合は、変更された所定の範囲が用いられる。その後、ステップＳ１０３以降の処理が行わることにより、互いに解像度が異なる複数の第２画像が学習に利用される。
【００５３】
なお、複数回のステップＳ１０２における解像度の変更は、解像度の昇順で行われる。具体的には、解像度変更部１２０は、最初のステップＳ１０２では、第１画像の解像度を所定の範囲内で最も低い解像度に変更し、以降のステップＳ１０２では、第１画像の解像度を前の解像度よりも高い解像度に変更する。なお、解像度の昇順は一例であり、これに限られない。例えば、複数回の解像度の変更は、解像度の降順で行われてもよい。また例えば、複数回の解像度の変更は、第１画像の解像度と第２画像の解像度との差分の昇順又は降順で行われてもよい。
【００５４】
［学習処理］
次に、図３を参照しながら、図２のステップＳ１０３の詳細について説明する。図３は、実施の形態１及び２における学習処理を示すフローチャートである。ここでは、モデル１４０は、モデル制御部１３０によって学習モードに設定されている。
【００５５】
まず、モデル１４０は、第２画像から特徴量を抽出する（Ｓ１１１）。さらに、モデル１４０は、抽出された特徴量に基づいて、第２画像の第２ブロック毎にラベルを推定する（Ｓ１１２）。モデル１４０は、正解ラベルに対する推定ラベルの誤差を判定する（Ｓ１１３）。モデル１４０は、誤差に基づいてパラメータを更新する（Ｓ１１４）。例えば、モデル１４０がニューラルネットワークでモデル化されている場合、モデル１４０は、誤差逆伝播法（backpropagation）により重みパラメータ等を更新する。なお、誤差逆伝播法は、学習アルゴリズムの一例であり、これに限られない。
【００５６】
［推定処理］
次に、図４を参照しながら、図２のステップＳ１０４の詳細について説明する。図４は、実施の形態１及び２における推定処理を示すフローチャートである。ここでは、モデル１４０は、モデル制御部１３０によって推定モードに設定されている。
【００５７】
まず、モデル１４０は、第２画像から特徴量を抽出する（Ｓ１１１）。さらに、モデル１４０は、抽出された特徴量に基づいて、第２画像の第２ブロック毎にラベルを推定する（Ｓ１１２）。
【００５８】
［比較処理］
次に、図５を参照しながら、図２のステップＳ１０５の詳細について説明する。図５は、実施の形態１における比較処理を示すフローチャートである。
【００５９】
まず、比較部１５０は、第２画像に含まれる複数の第２ブロックの中から未選択の第２ブロックを選択する（Ｓ１２１）。以下において、ここで選択されたブロックを選択ブロックと呼ぶ。
【００６０】
次に、比較部１５０は、選択ブロックの推定ラベルが正解ラベルと一致するか否かを判定する（Ｓ１２２）。ここで、推定ラベルが正解ラベルと一致する場合（Ｓ１２２のＹｅｓ）、比較部１５０は、選択ブロックを正ブロックと決定する（Ｓ１２３）。一方、推定ラベルが正解ラベルと一致しない場合（Ｓ１２２のＮｏ）、比較部１５０は、選択ブロックを誤ブロックと決定する（Ｓ１２４）。
【００６１】
比較部１５０は、第２画像内のすべての第２ブロックが選択されたか否かを判定する（Ｓ１２５）。ここで、いずれかの第２ブロックが選択されていない場合（Ｓ１２５のＮｏ）、ステップＳ１２１に戻る。一方、すべての第２ブロックが選択された場合（Ｓ１２５のＹｅｓ）、比較部１５０は、第２画像内の誤ブロックの数が閾値数より大きいか否かを判定する（Ｓ１２６）。ここで、誤ブロックの数が閾値数より大きい場合（Ｓ１２６のＹｅｓ）、ステップＳ１０６に進んで範囲が変更される。一方、誤ブロックの数が閾値数以下である場合（Ｓ１２６のＮｏ）、ステップＳ１０６をスキップしてステップＳ１０７に進む。
【００６２】
［効果等］
以上のように、本実施の形態に係る情報処理装置１００によれば、推定ラベルと正解ラベルとの第１比較の結果に応じて、第１画像の解像度の変更に用いる所定の範囲を変更することができる。したがって、情報処理装置１００は、第１画像に応じて解像度の変更の範囲を制限することができ、不適切な訓練画像が学習に用いられる可能性を低減することができる。つまり、情報処理装置１００は、画像の領域分割のための教師あり学習において学習効率を向上させることができる。
【００６３】
また、本実施の形態に係る情報処理装置１００によれば、第２画像内の１以上の誤ブロックに応じて所定の範囲を変更することができる。したがって、情報処理装置１００は、訓練画像の不適切さに関連する誤ブロックに応じて所定の範囲の変更及び不変更を切り替えることができ、不適切な訓練画像が学習に用いられる可能性をより低減することができる。
【００６４】
また、本実施の形態に係る情報処理装置１００によれば、誤ブロックの数が閾値数より大きい場合に所定の範囲を変更することができる。したがって、情報処理装置１００は、誤ブロックが多い学習に不適切な画像を訓練データから除外できるように所定の範囲を変更することも可能となる。その結果、情報処理装置１００は、不適切な訓練画像が学習に用いられる可能性をより低減することができる。
【００６５】
（実施の形態２）
次に、実施の形態２について説明する。本実施の形態では、所定の範囲を変更するか否かの判定方法が上記実施の形態１と異なる。以下に、本実施の形態に係る情報処理装置について上記実施の形態１と異なる点を中心に説明する。
【００６６】
［情報処理装置の機能構成］
本実施の形態に係る情報処理装置１００の機能構成は、図１と実質的に同一である。以下に、本実施の形態に特徴的な機能について説明する。
【００６７】
比較部１５０は、第２画像に含まれる１以上の誤ブロックの各々が、解像度の変更によって引き起こされた第１タイプの誤ブロックであるか否かの判定を行う。さらに、比較部１５０は、第２画像内の第１タイプの誤ブロックの数に応じて所定の範囲を変更する。
【００６８】
［情報処理装置の動作］
本実施の形態に係る情報処理装置１００の動作について、図２を参照しながら説明する。図２に示すように、本実施の形態では、実施の形態１のステップＳ１０５がステップＳ２０５に置き換わっているが、他の処理は実質的に同一である。
【００６９】
［比較処理］
ここで、図６を参照しながら、図２のステップＳ２０５の詳細について具体的に説明する。図６は、実施の形態２における比較処理を示すフローチャートである。図６において、図５と実質的に同一のステップについては、同一の符号を付し、適宜説明を省略する。
【００７０】
推定ラベルが正解ラベルと一致しない場合（Ｓ１２２のＮｏ）、比較部１５０は、選択ブロックにおける推定ラベルと正解ラベルとの不一致が解像度の変更によって引き起こされたか否かを判定する（Ｓ２２１）。つまり、比較部１５０は、選択ブロックが解像度の変更によって引き起こされた第１タイプの誤ブロックであるか否かの判定を行う。この判定の詳細については、図７を用いて後述する。
【００７１】
ここで、選択ブロックにおける推定ラベルと正解ラベルとの不一致が解像度の変更によって引き起こされたと判定された場合（Ｓ２２１のＹｅｓ）、比較部１５０は、選択ブロックを第１タイプの誤ブロックと決定する（Ｓ２２２）。第１タイプの誤ブロックは、解像度の変更によって生じた誤ブロックである。
【００７２】
一方、選択ブロックにおける推定ラベルと正解ラベルとの不一致が解像度の変更によって引き起こされたと判定されなかった場合（Ｓ２２１のＮｏ）、比較部１５０は、選択ブロックを第２タイプの誤ブロックと決定する（Ｓ２２３）。第２タイプの誤ブロックは、解像度の変更とは異なる原因で生じた誤ブロックである。
【００７３】
その後、比較部１５０は、第２画像内のすべての第２ブロックが選択されたか否かを判定する（Ｓ１２５）。ここで、いずれかの第２ブロックが選択されていない場合（Ｓ１２５のＮｏ）、ステップＳ１２１に戻る。一方、すべての第２ブロックが選択された場合（Ｓ１２５のＹｅｓ）、比較部１５０は、第２画像内の第１タイプの誤ブロックの数が閾値数より大きいか否かを判定する（Ｓ２２４）。閾値数は、実験的及び／又は経験的に予め定められればよい。
【００７４】
第１タイプの誤ブロックの数が閾値数より大きい場合（Ｓ２２４のＹｅｓ）、ステップＳ１０６に進んで所定の範囲が変更される。一方、第１タイプの誤ブロックの数が閾値数以下である場合（Ｓ１２６のＮｏ）、ステップＳ１０６をスキップしてステップＳ１０７に進む。
【００７５】
［誤ブロックのタイプ判定］
次に、図７を参照しながら、図６のステップＳ２２１の詳細について説明する。図７は、実施の形態２における誤ブロックのタイプ判定処理の詳細を示すフローチャートである。
【００７６】
まず、比較部１５０は、第１画像が縮小されたのか否かを判定する（Ｓ２３１）。つまり、比較部１５０は、第２画像の解像度が、第１画像の解像度よりも低いか否かを判定する。
【００７７】
ここで、第１画像が縮小された場合（Ｓ２３１のＹｅｓ）、比較部１５０は、選択ブロックでつぶれが発生しているか否かを判定する（Ｓ２３２）。つぶれとは、画像の縮小によってある属性の領域がその周辺領域の属性に侵食される現象である。つぶれが発生すると、領域内の画素又はブロックがその周辺の他属性の領域の画素又はブロックと誤認識される。つぶれ判定の詳細については、図８を用いて後述する。
【００７８】
つぶれが発生している場合（Ｓ２３２のＹｅｓ）、ステップＳ２２２に進んで、選択ブロックが第１タイプの誤ブロックと判定される。つぶれが発生していない場合（Ｓ２３２のＮｏ）、ステップＳ２２２に進んで、選択ブロックが第２タイプの誤ブロックと判定される。
【００７９】
一方、第１画像が縮小されていない場合（Ｓ２３１のＮｏ）、比較部１５０は、選択ブロックでちぎれが発生しているか否かを判定する（Ｓ２３３）。ちぎれとは、画像の拡大に伴って拡大した領域内に誤認識される画素又はブロックが発生する現象である。ちぎれ判定の詳細については、図９を用いて後述する。
【００８０】
ちぎれが発生している場合（Ｓ２３３のＹｅｓ）、ステップＳ２２２に進んで、選択ブロックが第１タイプの誤ブロックと判定される。ちぎれが発生していない場合（Ｓ２３３のＮｏ）、ステップＳ２２２に進んで、選択ブロックが第２タイプの誤ブロックと判定される。
【００８１】
［つぶれ判定］
ここで、図８を参照しながら、図７のステップＳ２３２のつぶれ判定処理について具体的に説明する。図８は、実施の形態２のおける第２画像の推定ラベル及び正解ラベルの具体例を示す図である。具体的には、図８の（ａ）は、第２画像内の各第２ブロックの推定ラベルの具体例を示す。また、図８の（ｂ）は、第２画像内の各第２ブロックの正解ラベルの具体例を示す。ここでは、「Ａ」又は「Ｂ」が付された矩形はブロックを表し、「Ａ」及び「Ｂ」はラベルを表す。
【００８２】
つぶれ判定では、選択ブロック１１の推定ラベルと周辺ブロック１２の正解ラベルとを比較する第２比較が行われる。周辺ブロック１２は、第２画像において選択ブロック１１の正解ラベルと同一の正解ラベルが付された領域１３に隣接する他の正解ラベルが付されたブロックである。領域１３は、選択ブロック１１を含む連続した領域である。なお、ここでは、１つの周辺ブロック１２を代表的な周辺ブロックとして説明しているが、周辺ブロックは１つに限定されなくてもよい。領域１３に隣接する複数のブロックが周辺ブロックとして利用されてもよい。
【００８３】
ここで、第２比較の結果が一致である場合、選択ブロック１１は、第１タイプの誤ブロックと判定される。一方、第２比較の結果が不一致である場合、選択ブロック１１は、第２タイプの誤ブロックと判定される。
【００８４】
図８では、選択ブロック１１の推定ラベル「Ｂ」は、選択ブロック１１の正解ラベル「Ａ」と一致せず、周辺ブロック１２の正解ラベル「Ｂ」と一致する。したがって、選択ブロック１１では、つぶれが発生していると判定される。つまり、選択ブロック１１は、第１タイプの誤ブロックと判定される。
【００８５】
なお、互いに正解ラベルが異なる複数の周辺ブロックがつぶれ判定に利用される場合、第２比較では、選択ブロック１１の推定ラベルと複数の周辺ブロックの各々の正解ラベルとが比較されてもよい。この場合、選択ブロック１１の推定ラベルが、複数の周辺ブロックのいずれかの正解ラベルと一致すれば、選択ブロック１１は、第１タイプの誤ブロックと判定され、そうでなければ、選択ブロック１１は、第２タイプの誤ブロックと判定されてもよい。
【００８６】
［ちぎれ判定］
次に、図９を参照しながら、図７のステップＳ２３３のちぎれ判定処理について具体的に説明する。図９は、実施の形態２のおける第１画像及び第２画像の推定ラベル及び正解ラベルの具体例を示す図である。具体的には、図９の（ａ）は、第２画像内の各第２ブロックの推定ラベルの具体例を示す。また、図９の（ｂ）は、第２画像内の各第２ブロックの正解ラベルの具体例を示す。また、図９の（ｃ）は、第１画像内の各第１ブロックの推定ラベルの具体例を示す。また、図９の（ｄ）は、第１画像内の各第１ブロックの正解ラベルの具体例を示す。
【００８７】
ちぎれ判定では、第１画像内の対応ブロック２２の推定ラベルと、当該対応ブロック２２の正解ラベルとを比較する第３比較が行われる。第１画像内の対応ブロック２２は、第２画像内の選択ブロック２１に位置的に対応するブロックである。例えば、対応ブロック２２の第１画像内の位置は、選択ブロック２１の第２画像内の位置と相対的に一致する。なお、ここでの相対的な位置の一致は、厳密な一致である必要はなく、実質的な一致であればよい。
【００８８】
第３比較の結果が一致である場合、選択ブロック２１は、第１タイプの誤ブロックと判定される。つまり、第１画像内の対応ブロック２２において推定ラベルと正解ラベルとが一致する場合、選択ブロック２１は、第１タイプの誤ブロックと判定される。
【００８９】
第３比較の結果が不一致である場合、選択ブロック２１は、第２タイプの誤ブロックと判定される。つまり、第１画像内の対応ブロック２２において推定ラベルと正解ラベルとが一致しない場合、選択ブロック２１は、第２タイプの誤ブロックと判定される。
【００９０】
図９では、選択ブロック２１において推定ラベル「Ｂ」は正解ラベル「Ａ」と一致せず、かつ、対応ブロック２２において推定ラベル「Ａ」は正解ラベル「Ａ」と一致する。したがって、選択ブロック２１では、ちぎれが発生していると判定される。つまり、選択ブロック２１は、第１タイプの誤ブロックと判定される。
【００９１】
［効果等］
以上のように、本実施の形態に係る情報処理装置１００によれば、解像度の変更によって引き起こされた誤ブロックと判定された第１タイプの誤ブロックに応じて所定の範囲を変更することができる。したがって、情報処理装置１００は、解像度の変更によって不適切な訓練画像が学習に用いられる可能性を低減することができる。
【００９２】
また、本実施の形態に係る情報処理装置１００によれば、誤ブロックの推定ラベルと周辺ブロックの正解ラベルとを比較する第２比較の結果に基づいて、第１タイプの誤ブロックを判定することができる。このように判定された第１タイプの誤ブロックは、画像の縮小によってある属性の領域がその周辺領域の属性に侵食されるつぶれが発生している誤ブロックである可能性が高い。したがって、情報処理装置１００は、このようなつぶれが発生している誤ブロックを他の誤ブロックと区別することにより、解像度の変更によって不適切な訓練画像が学習に用いられる可能性をより低減することができる。
【００９３】
また、本実施の形態に係る情報処理装置１００によれば、第２画像内の誤ブロックに位置的に対応する第１画像内の対応ブロックの推定ラベルと、当該対応ブロックの正解ラベルとの第３比較の結果に基づいて、第１タイプの誤ブロックを判定することができる。このように判定された第１タイプの誤ブロックは、画像の拡大に伴って拡大した領域内に誤認識されるブロックが発生するちぎれが発生している誤ブロックである可能性が高い。したがって、情報処理装置１００は、このようなちぎれが発生している誤ブロックを他の誤ブロックと区別することにより、解像度の変更によって不適切な訓練画像が学習に用いられる可能性をより低減することができる。
【００９４】
また、本実施の形態に係る情報処理装置１００によれば、第１タイプの誤ブロックの数が閾値数より大きい場合に所定の範囲を変更することができる。したがって、情報処理装置１００は、解像度の変更により発生した誤ブロックが多い学習に不適切な画像を訓練データから除外できるように所定の範囲を変更することも可能となる。その結果、情報処理装置１００は、不適切な訓練画像が学習に用いられる可能性をより低減することができる。
【００９５】
（他の実施の形態）
以上、本開示の１つまたは複数の態様に係る情報処理装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の１つまたは複数の態様の範囲内に含まれてもよい。
【００９６】
例えば、上記各実施の形態では、モデル制御部１３０は、モデル１４０に第２画像を学習させていたが、これに限られない。例えば、モデル制御部１３０は、誤ブロック又は第１タイプの誤ブロックの数が閾値数より大きい場合に、モデル１４０に第２画像を学習させなくてもよい。
【００９７】
なお、実施の形態２では、第１画像が縮小されたか否かに応じて、つぶれ判定及びちぎれ判定が選択的に実行されていたが、第１画像の縮小に関わらず、つぶれ判定及びちぎれ判定の両方又は一方が行われてもよい。
【００９８】
なお、上記各実施の形態において、情報処理装置の機能の一部又は全部は、専用電子回路で実現されてもよいし、プロセッサ及びメモリを備えるコンピュータで実現されてもよい。このようなコンピュータの一例について図１０を参照しながら説明する。
【００９９】
なお、上記各実施の形態において、誤ブロックの数に応じて所定の範囲が変更されていたが、これに限られない。例えば、正ブロックの数に応じて所定の範囲が変更されてもよい。
【０１００】
図１０は、各実施の形態に係る情報処理装置の機能をソフトウェアにより実現するコンピュータ２０００のハードウェア構成の一例を示す図である。図１０に示すように、コンピュータ２０００は、キーボード、入力ボタン、タッチパッドなどの入力装置２００１と、ディスプレイ、スピーカなどの出力装置２００２と、ＣＰＵ（Central Processing Unit）２００３と、ＲＯＭ（Read Only Memory）２００４と、ＲＡＭ（Random Access Memory）２００５とを備える。また、コンピュータ２０００は、ＮＡＮＤ型フラッシュメモリなどの内蔵ストレージ２００６と、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）及びＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２００７と、ネットワークを介して通信を行う送受信装置２００８と、を備える。上記複数の構成要素は、バス２００９により相互に接続される。なお、内蔵ストレージ２００６は、スマートフォンなどにおいてＲＯＭと呼ばれる場合もある。
【０１０１】
読取装置２００７は、上記各実施の形態の制御部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、内蔵ストレージ２００６に格納する。または、送受信装置２００８は、ネットワークに接続されたサーバ装置から当該プログラムをダウンロードし、内蔵ストレージ２００６に格納する。あるいは、内蔵ストレージ２００６は、当該プログラムを予め記憶している。
【０１０２】
ＣＰＵ２００３が、内蔵ストレージ２００６に格納されたプログラムをＲＡＭ２００５にコピーし、そのプログラムに含まれる命令をＲＡＭ２００５から順次読み出して実行することにより、上記各装置に含まれる各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２００５又は内蔵ストレージ２００６には、実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
【産業上の利用可能性】
【０１０３】
画像の領域分割のための教師あり学習において学習効率を向上させることができる情報処理装置として利用することができる。
【符号の説明】
【０１０４】
１１、２１  選択ブロック
１２  周辺ブロック
１３  領域
２２  対応ブロック
１００  情報処理装置
１１０  受付部
１２０  解像度変更部
１３０  モデル制御部
１４０  モデル
１５０  比較部
１６０  範囲変更部
２０００  コンピュータ
２００１  入力装置
２００２  出力装置
２００３  ＣＰＵ
２００４  ＲＯＭ
２００５  ＲＡＭ
２００６  内蔵ストレージ
２００７  読取装置
２００８  送受信装置
２００９  バス
【図１】
2019079135.tif 000003
【図２】
2019079135.tif 000004
【図３】
2019079135.tif 000005
【図４】
2019079135.tif 000006
【図５】
2019079135.tif 000007
【図６】
2019079135.tif 000008
【図７】
2019079135.tif 000009
【図８】
2019079135.tif 000010
【図９】
2019079135.tif 000011
【図１０】
2019079135.tif 000012