(57)【要約】  本発明の画像処理装置１００は、所定の画像に対して所定領域のカテゴリを評価するためのモデルを用いて、入力画像の評価領域に対するカテゴリ毎の確信度を評価する評価部１２１と、入力画像の評価領域を含む選択された領域である選択領域における、選択されたカテゴリである選択カテゴリの確信度を抽出し、選択カテゴリの確信度に基づいて、当該選択カテゴリに対応する入力画像内の領域を設定する領域設定部１２２と、を備える。
2020189269.tif 000002
【特許請求の範囲】
【請求項１】
所定の画像に対して所定領域のカテゴリを評価するためのモデルを用いて、入力画像の評価領域に対するカテゴリ毎の確信度を評価し、
前記入力画像の前記評価領域を含む選択された領域である選択領域における、選択されたカテゴリである選択カテゴリの確信度を抽出し、
前記選択カテゴリの確信度に基づいて、当該選択カテゴリに対応する前記入力画像内の領域を設定する、
画像処理方法。
【請求項２】
請求項１に記載の画像処理方法であって、
前記モデルを用いて、前記入力画像の前記評価領域の画素毎に、当該画素に対するカテゴリ毎の確信度を評価し、
前記入力画像の前記選択領域における前記選択カテゴリの確信度を、当該選択領域の画素毎に抽出し、
前記選択領域の画素毎における前記選択カテゴリの確信度に基づいて、前記入力画像内の領域を設定する、
画像処理方法。
【請求項３】
請求項２に記載の画像処理方法であって、
前記選択領域の画素毎における前記選択カテゴリの確信度が閾値以上である画素を、前記入力画像内の領域として設定する、
画像処理方法。
【請求項４】
請求項３に記載の画像処理方法であって、
外部からの操作に応じて前記閾値を変化させ、
前記選択領域の画素毎における前記選択カテゴリの確信度が、変化された前記閾値以上である画素を、前記入力画像内の領域として設定する、
画像処理方法。
【請求項５】
請求項３又は４に記載の画像処理方法であって、
設定された前記入力画像内の領域を示す領域情報を、当該入力画面と共に表示画面に表示出力する、
画像処理方法。
【請求項６】
請求項５に記載の画像処理方法であって、
前記閾値を変化させるよう操作可能な操作器を前記表示画面に表示出力し、
前記操作器が操作されることにより前記閾値が変化される毎に、前記選択領域の画素毎における前記選択カテゴリの確信度が、変化された前記閾値以上である画素を、前記入力画像内の領域として設定して、当該領域を示す領域情報を、当該入力画面と共に表示画面に表示出力する、
画像処理方法。
【請求項７】
請求項１乃至６のいずれかに記載の画像処理方法であって、
前記入力画像と、当該入力画像内に設定した領域を示す領域情報と、当該領域に対応する前記選択カテゴリと、を教師データとして、前記モデルに入力して機械学習を行い、当該モデルを更新する、
画像処理方法。
【請求項８】
所定の画像に対して所定領域のカテゴリを評価するためのモデルを用いて、入力画像の評価領域に対するカテゴリ毎の確信度を評価する評価部と、
前記入力画像の前記評価領域を含む選択された領域である選択領域における、選択されたカテゴリである選択カテゴリの確信度を抽出し、前記選択カテゴリの確信度に基づいて、当該選択カテゴリに対応する前記入力画像内の領域を設定する領域設定部と、
を備えた画像処理装置。
【請求項９】
請求項８に記載の画像処理装置であって、
前記評価部は、前記モデルを用いて、前記入力画像の前記評価領域の画素毎に、当該画素に対するカテゴリ毎の確信度を評価し、
前記領域設定部は、前記入力画像の前記選択領域における前記選択カテゴリの確信度を、当該選択領域の画素毎に抽出し、前記選択領域の画素毎における前記選択カテゴリの確信度に基づいて、前記入力画像内の領域を設定する、
画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置であって、
前記領域設定部は、前記選択領域の画素毎における前記選択カテゴリの確信度が閾値以上である画素を、前記入力画像内の領域として設定する、
画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置であって、
外部からの操作に応じて前記閾値を変化させる閾値操作部を備え、
前記領域設定部は、前記選択領域の画素毎における前記選択カテゴリの確信度が、変化された前記閾値以上である画素を、前記入力画像内の領域として設定する、
画像処理装置。
【請求項１２】
請求項１０又は１１に記載の画像処理装置であって、
設定された前記入力画像内の領域を示す領域情報を、当該入力画面と共に表示画面に表示出力する表示制御部を備えた、
画像処理装置。
【請求項１３】
請求項１２に記載の画像処理装置であって、
前記閾値を変化させるよう操作可能な操作器を前記表示画面に表示出力する閾値操作部を備え、
前記領域設定部は、前記操作器が操作されることにより前記閾値が変化される毎に、前記選択領域の画素毎における前記選択カテゴリの確信度が、変化された前記閾値以上である画素を、前記入力画像内の領域として設定して、
前記表示制御部は、前記入力画像内に設定した領域を示す領域情報を、当該入力画面と共に表示画面に表示出力する、
画像処理装置。
【請求項１４】
請求項８乃至１３のいずれかに記載の画像処理装置であって、
前記入力画像と、当該入力画像内に設定した領域を示す領域情報と、当該領域に対応する前記選択カテゴリと、を教師データとして、前記モデルに入力して機械学習を行い、当該モデルを更新する学習部を備えた、
画像処理装置。
【請求項１５】
情報処理装置に、
所定の画像に対して所定領域のカテゴリを評価するためのモデルを用いて、入力画像の評価領域に対するカテゴリ毎の確信度を評価する評価部と、
前記入力画像の前記評価領域を含む選択された領域である選択領域における、選択されたカテゴリである選択カテゴリの確信度を抽出し、前記選択カテゴリの確信度に基づいて、当該選択カテゴリに対応する前記入力画像内の領域を設定する領域設定部と、
を実現させるためのプログラムを記憶したコンピュータにて読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置、プログラムに関する。
【背景技術】
【０００２】
近年、様々な分野において、大量のデータを機械学習することによってモデルを生成し、かかるモデルを用いて、種々の事象を自動的に判断することが行われている。例えば、製造現場において製品の画像から、かかる製品が正常品であるか不良品であるかを判断したり、さらに具体的には、製品の塗装面に、「傷」、「打痕」、「気泡割れ」などが存在するかといった検査を行うためにも利用される。【０００３】
一方で、機械学習することによって精度のよいモデルを作成するためには、大量の教師データを学習させる必要がある。ところが、大量に教師データを作成するにはコストが高くかかる、という問題がある。また、教師データの品質が機械学習の精度に影響するため、教師データの数が少ない場合であっても高品質な教師データを作成しなければならず、高品質な教師データの作成にもコストが高くかかる、という課題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第６０５９４８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、特許文献１には、単一画像を分類する教師データを容易に作成することに関する技術が記載されている。しかしながら、このように単一画像を分類する場合とは異なり、画像内の特定の領域形状に対してカテゴリを指定するといった教師データを作成する場合には、非常に高いコストがかかる。つまり、この場合、教師データを作成する操作者は、画像内の対象物の形状が複雑であっても、正確な領域を指定する必要があるため、非常に多くの作業コストが発生する、という問題がある。そして、このように教師データを作成する場合に限らず、モデルを用いて評価された画像に対してある領域を指定するような作業を伴う画像作成においても、同様に多くの作業コストがかかる、という問題が生じる。【０００６】
このため、本発明の目的は、上述した課題である、画像に対して領域を指定する作業を含む画像作成に高いコストがかかる、という問題を解決することにある。
【課題を解決するための手段】
【０００７】
本発明の一形態である画像処理方法は、
所定の画像に対して所定領域のカテゴリを評価するためのモデルを用いて、入力画像の評価領域に対するカテゴリ毎の確信度を評価し、
前記入力画像の前記評価領域を含む選択された領域である選択領域における、選択されたカテゴリである選択カテゴリの確信度を抽出し、
前記選択カテゴリの確信度に基づいて、当該選択カテゴリに対応する前記入力画像内の領域を設定する、
という構成をとる。【０００８】
また、本発明の一形態である画像処理装置は、
所定の画像に対して所定領域のカテゴリを評価するためのモデルを用いて、入力画像の評価領域に対するカテゴリ毎の確信度を評価する評価部と、
前記入力画像の前記評価領域を含む選択された領域である選択領域における、選択されたカテゴリである選択カテゴリの確信度を抽出し、前記選択カテゴリの確信度に基づいて、当該選択カテゴリに対応する前記入力画像内の領域を設定する領域設定部と、
を備えた、
という構成をとる。【０００９】
また、本発明の一形態であるプログラムは、
情報処理装置に、
所定の画像に対して所定領域のカテゴリを評価するためのモデルを用いて、入力画像の評価領域に対するカテゴリ毎の確信度を評価する評価部と、
前記入力画像の前記評価領域を含む選択された領域である選択領域における、選択されたカテゴリである選択カテゴリの確信度を抽出し、前記選択カテゴリの確信度に基づいて、当該選択カテゴリに対応する前記入力画像内の領域を設定する領域設定部と、
を実現させる、
という構成をとる。
【発明の効果】
【００１０】
本発明は、以上のように構成されることにより、画像に対して領域を指定する作業を含む画像作成のコストを抑制することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態１における画像処理装置の構成を示すブロック図である。
【図２】図１に開示した画像処理装置の動作を示すフローチャートである。
【図３】図１に開示した画像処理装置の動作を示すフローチャートである。
【図４】図１に開示した画像処理装置の動作を示すフローチャートである。
【図５】図１に開示した画像処理装置の動作を示すフローチャートである。
【図６】図１に開示した画像処理装置の動作を示すフローチャートである。
【図７】図１に開示した画像処理装置による画像処理の様子を示す図である。
【図８】図１に開示した画像処理装置による画像処理の様子を示す図である。
【図９】図１に開示した画像処理装置による画像処理の様子を示す図である。
【図１０】図１に開示した画像処理装置による画像処理の様子を示す図である。
【図１１】図１に開示した画像処理装置による画像処理の様子を示す図である。
【図１２】図１に開示した画像処理装置による画像処理の様子を示す図である。
【図１３】図１に開示した画像処理装置による画像処理の様子を示す図である。
【図１４】図１に開示した画像処理装置による画像処理の様子を示す図である。
【図１５】本発明の実施形態２における画像処理装置のハードウェア構成を示すブロック図である。
【図１６】本発明の実施形態２における画像処理装置の構成を示すブロック図である。
【図１７】本発明の実施形態２における画像処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
＜実施形態１＞
本発明の第１の実施形態を、図１乃至図１４を参照して説明する。図１は、画像処理装置の構成を説明するための図であり、図２乃至図１４は、画像処理装置による画像処理の動作を説明するための図である。
【００１３】
［構成］
本発明における画像処理装置１０は、予め用意された学習データである画像からなる教師データを用いて機械学習することにより、画像内の不良箇所を検出する学習モデル（モデル）を生成するための装置である。また、画像処理装置１０は、かかる学習モデルの生成を行うために使用する教師データの作成を支援するための装置でもある。
【００１４】
ここで、本実施形態では、製造した製品の外観検査時に、製品の塗装面を撮影した画像から「傷」、「打痕」、「気泡割れ」といった不良箇所を検出するための学習モデルを生成することとする。また、本実施形態では、製品の塗装面を撮影した画像内に存在する「傷」、「打痕」、「気泡割れ」といった不良箇所の領域と、不良箇所の種類を表すカテゴリと、を含む教師データを作成することとする。
【００１５】
但し、画像処理装置１０は、必ずしも上述した内容の学習モデルを生成することに限定されず、いかなる学習モデルを生成してもよい。なお、画像処理装置１０は、学習モデルを生成する機能を備えていなくてもよく、教師データの作成を支援する機能のみを備えていてもよい。また、画像処理装置１０は、上述した教師データの作成を支援することに限定されず、いかなる画像の作成を支援するために用いられてもよい。
【００１６】
上記画像処理装置１０は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、画像処理装置１０は、図１に示すように、演算装置がプログラムを実行することで構築された、学習部１１、評価部１２、教示データ編集部１３、領域算出部１４、閾値調節部１５、を備える。また、画像処理装置１０は、記憶装置に形成された、教師データ記憶部１６、モデル記憶部１７、を備える。また、画像処理装置１０には、キーボードやマウスといった操作者からの操作を受け付けて画像処理装置１０に入力する入力装置２０と、ディスプレイといった映像信号を表示出力する表示装置３０と、が接続されている。以下、各構成について詳述する。
【００１７】
上記教師データ記憶部１６は、学習モデルを生成するために利用する学習データである教師データを記憶している。「教師データ」は、操作者が用意した「教師画像」（入力画像）と「教示データ」とを合わせた情報からなる。例えば、「教師画像」は、図７に示すような製品の塗装面を撮影した写真画像からなり、「傷」Ａ１００、「打痕」Ａ１０１、「気泡割れ」Ａ１０２といった不良箇所が存在している画像である。そして、「教示データ」は、「傷」Ａ１００、「打痕」Ａ１０１、「気泡割れ」Ａ１０２といった不良箇所の領域を示す「教示領域」（領域情報）と、不良箇所の種類を示す「カテゴリ」と、の情報からなる。例えば、図７に示す「教師画像」に対応する「教示データ」は、図８に示すように、「傷」Ａ１００、「打痕」Ａ１０１、「気泡割れ」Ａ１０２といった各不良箇所の領域を示す「教示領域」の情報と、各「教示領域」に形成された不良の種類を示す「カテゴリ」の情報と、からなる。
【００１８】
なお、教師データ記憶部１６は、操作者によって作成が完了している「教師データ」を１つ以上記憶している。また、教師データ記憶部１６には、後述するように、画像処理装置１０にて作成が支援されることによって後に新たに作成された「教師データ」も記憶されることとなる。
【００１９】
上記学習部１１は、教師データ記憶部１６に記憶されている上述した「教師データ」を、機械学習の手法を用いて学習して、学習モデルを生成する。本実施形態では、教師データの教師画像を入力画像とし、入力画像内に、どのカテゴリの不良箇所が、どの領域に存在するか、ということを教示データに従って学習する。これにより、教示データが付与されていない入力画像が入力された際に、かかる入力画像内に存在する不良箇所のカテゴリと領域とを出力する学習モデルが生成される。そして、学習部１１は、生成した学習モデルをモデル記憶部１７に記憶する。なお、学習部１１は、操作者によって用意された「教師データ」を用いて学習した学習モデルを予め作成して、モデル記憶部１７に記憶していることとする。
【００２０】
また、学習部１１は、後述するように、画像処理装置１０にて作成が支援されることによって後に新たに作成された「教師データ」を用いて、さらなる学習を行い、学習モデルを更新する。そして、更新した学習モデルをモデル記憶部１７に記憶する。
【００２１】
上記評価部１２は、モデル記憶部１７に記憶されている学習モデルを用いて、教師データ記憶部１６に記憶されている教師データの評価を行う。具体的に、評価部１２は、まず、操作者から選択された教師データの教師画像を学習モデルに入力し、教師画像内に存在する不良箇所のカテゴリを予測する。このとき、評価部１２は、教師画像内の画素毎（ピクセル毎）に、当該各画素が各カテゴリであると判断される確信度を出力する。例えば、評価部１２は、図１２に示すように、各画素が、それぞれカテゴリ「打痕」Ｃ１００、カテゴリ「傷」Ｃ１０１、カテゴリ「気泡割れ」Ｃ１０２、と判断される確信度を出力する。なお、実際には画像の画素は２次元であるが、説明の便宜上、図１２の例では、横軸に各画素をとる１次元の確信度グラフで出力することとする。
【００２２】
ここで、図１２は、図８に示す教師画像内の「傷」Ａ２００の不良箇所を含む領域を評価領域として評価し、当該領域内の各画素における各カテゴリの確信度グラフを示している。すると、図１２の確信度グラフの例では、「傷」Ａ２００の不良箇所は、閾値Ｔ１００を超える確信度の画素が多い「打痕」カテゴリＣ１００であると誤って判断される。この場合、操作者は、画像処理装置１０に、教師データの編集の支援を依頼する。
【００２３】
上記教示データ編集部１３（領域設定部）は、操作者から教師データの編集支援の依頼を受けると、かかる操作者から、教師画像内の編集対象となる領域の選択と、かかる領域に対するカテゴリの選択と、を受け付ける。例えば、教示データ編集部１３は、図９に示すように、入力装置２０を用いて操作者から入力された教師画像内の符号Ｒ１００に示す領域を、選択領域として受け付ける。また、教示データ編集部１３は、教師データにおいて正解カテゴリとして付与されている「傷」カテゴリを、操作者から選択カテゴリとして受け付ける。一例として、操作者は、図７に示す教示画像に対して、編集対象とする「傷」Ａ１００の周辺を囲う領域を描き、図９の符号Ｒ１００に示すように領域を選択する。このとき、選択領域Ｒ１００は、後に教示領域として設定したい領域を含むように大まかに囲った領域であってよいが、図８に示す教師画像における実際の正解データＡ２００に距離が近いほど良好な結果が得られる。
【００２４】
上記領域算出部１４（領域設定部）は、評価部１２によって出力された確信度グラフから、教示データ編集部１３にて選択された選択領域及び選択カテゴリの確信度を抽出する。つまり、領域算出部１４は、図１２に示す確信度グラフから、図９に示す選択領域Ｒ１００内の各画素の、選択カテゴリである「傷」カテゴリＣ１０１の確信度グラフを、図１３に示すように抽出する。つまり、図１２に示す確信度グラフから、「打痕」カテゴリＣ１００の確信度と、「気泡割れ」カテゴリＣ１０２の確信度と、選択領域Ｒ１００以外の画素の確信度と、を除外することで、図１３に示すような「傷」カテゴリＣ１０１の確信度グラフを抽出する。なお、図１３に示す確信度グラフは、選択領域内の各画素は、選択されたカテゴリではどのような確信度として分布されていたかを表している。このため、以下に説明するように、この確信度を用いて、図７に示す「傷」Ａ１００の形状抽出を行う。
【００２５】
そして、領域算出部１４は、抽出した「傷」カテゴリＣ１０１の確信度グラフに基づいて、教師画像内における選択カテゴリである「傷」カテゴリに対応する領域を算出して設定する。具体的に、算出部１４に示すように、抽出した「傷」カテゴリの確信度を、０．１〜１．０の範囲で正規化する。そして、さらに正規化した確信度が閾値Ｔ１０１以上となる領域を、選択カテゴリに対応する教示領域として設定する。なお、領域算出部１４は、新たに設定した教示領域を、選択カテゴリである「傷」カテゴリと共に「教示データ」とし、「教師画像」に付与して新たな「教師データ」を生成して、教師データ記憶部１６に記憶する。
【００２６】
このとき、領域算出部１４は、閾値調節部１５によって閾値の値が調節され変化される毎に、教示領域の算出を行い、教示領域を設定する。そして、領域算出部１４（表示制御部）は、図１０や図１１に示すように、教師画像内に算出した教示領域Ｒ１０１，Ｒ１０２を設定し、教師画像と共に教示領域Ｒ１０１，Ｒ１０２を示す枠線（領域情報）を表示するよう、表示装置３０の表示画面に出力する。
【００２７】
ここで、上記閾値調節部１５（閾値操作部）は、操作者が操作することによって閾値を変化させることができる操作器を提供する。本実施形態では、閾値調節部１５は、図１１に示すように、上述した教示領域Ｒ１０１，１０２が設定された教師画像と共に表示画面に表示されるスライダＵ１００を提供する。スライダＵ１００には、上下にスライド操作可能なつまみが設けられており、操作者がつまみをスライドさせることで、図１４に示す閾値Ｔ１０１が変動する。例えば、図１０の状態から図１１に示すようにつまみを下方に移動させることで、閾値Ｔ１０１の値も下がる。そして、かかる閾値Ｔ１０１の変化に伴い、算出されて設定表示される教示領域も、図１０に示す教示領域Ｒ１０１から図１１に示す教示領域Ｒ１０２に変化する。
【００２８】
［動作］
次に、上述した画像処理装置１０の動作を、主に図２乃至図６のフローチャートを参照して説明する。ここでは、上述したような教師データを用いることとし、予め用意された教師データを用いて作成された学習モデルが、モデル記憶部１７に既に記憶されていることとする。
【００２９】
まず、図２を参照して、画像処理装置１０による全体的な動作を説明する。図２に示す処理Ｓ１００は、操作者により新たに教師画像の教示データの作成（教師データの作成）を開始した時点で開始される。画像処理装置１０は、教師画像を学習モデルに入力し、その出力に基づいて教師画像に付与する教示データを編集する（ステップＳ１０１）。そして、画像処理装置１０は、教示データの内容に変更があった場合は（ステップＳ１０２でＹｅｓ）、かかる教示データの内容に応じて新たに生成した教師データを教師データ記憶部１６に保存する。そして、画像処理装置１０は、新たに生成した教師データを用いて機械学習を行い、学習モデルを更新してモデル記憶部１７に記憶する（ステップＳ１０３）。
【００３０】
図３に示す処理Ｓ２００は、上述した図２に示すステップＳ１０１における教示データの編集処理を詳細に記述したものである。画像処理装置１０は、教示データの作成が開始されると、学習モデルを用いて入力された教師画像の評価を行う（ステップＳ２０１）。そして、教示データの作成が完了するか、キャンセルされるまで（ステップＳ２０２）、評価結果に応じて操作者から受け付けた操作に対する処理を行う（ステップＳ２０３〜Ｓ２０６）。例えば、ステップＳ２０３では、教師画像で評価されたカテゴリを変更すべく操作者からカテゴリの選択を受ける。ステップＳ２０４では、教示領域指定の支援を受ける（以下、支援モードと記載する）、指定した教示領域を消す、といった操作者が行いたい処理の選択を受ける。ステップＳ２０５では、操作者から教師画像上で描いて選択した領域の処理を行う（Ｓ３００）。ステップＳ２０６では、図１０に示すスライダＵ１００のようなＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）で、教示領域の計算に使用するカテゴリの確信度の閾値の調節処理を行う（Ｓ４００）。
【００３１】
図４に示す処理Ｓ３００は、上述した図３に示すステップＳ２０５における処理を記述したものである。画像処理装置１０は、現在の処理方式が支援モード以外であれば（ステップＳ３０１で「支援モード以外」）、そのモードに応じた処理を行う（ステップＳ３０２）。例えば、選択領域を現在選択されているカテゴリの教示領域とする処理や、選択領域内に指定されている教示領域をクリアするといった編集処理を行う。画像処理装置１０は、現在の処理方式が支援モードであれば（ステップＳ３０１で「支援モード」）、選択領域内で教示領域を計算するといった後述する処理を行う（ステップＳ３０３（Ｓ５００））。
【００３２】
図５に示す処理Ｓ４００は、上述した図４に示すステップＳ３０３における処理を記述したものである。画像処理装置１０は、スライダＵ１００のつまみの操作に応じて確信度の閾値を更新する。そして、現在の処理方式が支援モードであり（ステップＳ４０１で「支援モード」）、かつ領域の選択が行われている場合（ステップＳ４０２でＹｅｓ）は、選択領域内で教示領域を計算するといった後述する処理を行う（Ｓ５００）。
【００３３】
図６に示す処理Ｓ５００は、選択領域内で現在選択されているカテゴリの教示領域を計算する処理である。まず、画像処理装置１０は、上述した図２のステップＳ２０１における教師画像の評価の結果から、各画素における各カテゴリの確信度を算出する（ステップＳ５０１）。そして、画像処理装置１０は、算出した確信度のうち、現在の評価結果となっているカテゴリ以外の確信度データのみを扱い（ステップＳ５０２）、その確信度を０．０〜１．０の範囲で正規化する（ステップＳ５０３）。さらに、画像処理装置１０は、確信度が閾値以上の領域を、教示領域として設定する（ステップＳ５０４）。
【００３４】
ここで、上記ステップＳ５０１からステップＳ５０４の処理について、操作者が図７に示す教師画像上の所定領域Ａ１００にカテゴリ「傷」を設定した場合を一例に挙げて、図７乃至図１４を参照して説明する。
【００３５】
まず、ステップＳ５０１では、画像処理装置１０は、教師画像を評価した結果として、図１２に示す確信度グラフが得られたとする。ここでは、格子状で示す画素範囲において「打痕」カテゴリの確信度Ｃ１００の値が高いため、この領域は「打痕」であると誤って判定されている。この場合、正しくは縞模様で示す画素範囲で「傷」カテゴリＣ１０１が正解カテゴリである。
【００３６】
このとき、操作者は、カテゴリ「傷」を選択し、処理方式を支援モードにして、図９に示す教師画像に対して、「傷」Ａ１００の周辺を囲う選択領域Ｒ１００を選択する。すると、ステップＳ５０２では、画像処理装置１０は、選択領域Ｒ１００と、操作者により選択されたカテゴリ「傷」とより、図１２に示す確信度グラフから、カテゴリ「打痕」の確信度Ｃ１００、及び、カテゴリ「気泡割れ」の確信度Ｃ１０２を除外し、さらに、選択領域Ｒ１００以外の確信度を排除することで、図１３に示すようにカテゴリ「傷」の選択領域Ｒ１００内の確信度データのみを抽出する。
【００３７】
上述した図１３で示す確信度は、選択領域内で選択されたカテゴリでは、どのような確信度として分布されていたかを表しているため、かかる確信度を教師画像上の「傷」Ａ１００の形状抽出に使用することで、有効な結果を得ることができる。そのため、どの領域に対しても閾値が固定されるよう、ステップＳ５０３では、画像処理装置１０は、図１３の確信度を、図１４に示すように０．０〜１．０の範囲で正規化する。
【００３８】
その後、操作者は、表示画面に表示されるスライダＵ１００を操作して閾値を変更し、所定の閾値Ｔ１０１以上が「傷」カテゴリの教示領域となるよう調節する。具体的に、ステップＳ５０４では、画像処理装置１０は、操作者がスライダＵ１００のつまみが動かすと、かかるつまみの位置に応じて閾値を変更する。そして、画像処理装置１０は、図１４に示すように、変更された閾値の値に応じて「傷」カテゴリの教示領域の算出を行い、教示領域を設定する（ステップＳ５０４）。つまり、図１０の状態から図１１に示すようにつまみを下方に移動させることで、閾値Ｔ１０１の値も下がり、図１０の教示領域Ｒ１０１から図１１の教示領域Ｒ１０２に変化することとなる。なお、画像処理装置１０は、図１０及び図１１に示すように、教師画像内に算出した教示領域Ｒ１０１，Ｒ１０２を設定し、教師画像と共に教示領域Ｒ１０１，Ｒ１０２を示す枠線（領域情報）を表示するよう、表示装置３０の表示画面に出力する。
【００３９】
以上のように、本発明では、入力画像内の各画素のカテゴリ毎の確信度を評価し、かかる確信度から選択領域の選択カテゴリに対応する確信度のみを抽出し、抽出した確信度に基づいて領域を設定している。このため、あるカテゴリに対応する適切な領域を設定した画像データを得ることができ、モデル生成に用いる教師データの作成を低コストにて行うことができる。また、教師データの生成に限らず、画像に対して領域を指定する作業を伴う画像データの作成も低コストにて行うことができる。例えば、上述同様に、画像データを学習モデルに入力し、その出力結果に対して、カテゴリと領域の修正を行うことができる。
【００４０】
なお、上記では、本発明における画像処理装置を、工業分野における製造品の検品・外観検査に用いる場合を例示したが、医療分野における画像を用いた症状や症例の確認や診断、さらには、物体単位など意味のある単位で画像内の領域を抽出したり、分割するような場合にも利用することができる。
【００４１】
＜実施形態２＞
次に、本発明の第２の実施形態を、図１５乃至図１７を参照して説明する。図１５乃至図１６は、実施形態２における画像処理装置の構成を示すブロック図であり、図１７は、画像処理装置の動作を示すフローチャートである。なお、本実施形態では、実施形態１で説明した画像処理装置及び画像処理装置による処理方法の構成の概略を示している。
【００４２】
まず、図１５を参照して、本実施形態における画像処理装置１００のハードウェア構成を説明する。画像処理装置１００は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
・ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１（演算装置）
・ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０３（記憶装置）
・ＲＡＭ１０３にロードされるプログラム群１０４
・プログラム群１０４を格納する記憶装置１０５
・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
・データの入出力を行う入出力インタフェース１０８
・各構成要素を接続するバス１０９
【００４３】
そして、画像処理装置１００は、プログラム群１０４をＣＰＵ１０１が取得して当該ＣＰＵ１０１が実行することで、図１６に示す評価部１２１と領域設定部１２２とを構築して装備することができる。なお、プログラム群１０４は、例えば、予め記憶装置１０５やＲＯＭ１０２に格納されており、必要に応じてＣＰＵ１０１がＲＡＭ１０３にロードして実行する。また、プログラム群１０４は、通信ネットワーク１１１を介してＣＰＵ１０１に供給されてもよいし、予め記憶媒体１１０に格納されており、ドライブ装置１０６が該プログラムを読み出してＣＰＵ１０１に供給してもよい。但し、上述した評価部１２１と領域設定部１２２とは、電子回路で構築されるものであってもよい。
【００４４】
なお、図１５は、画像処理装置１００である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に例示されない。例えば、情報処理装置は、ドライブ装置１０６を有さないなど、上述した構成の一部から構成されてもよい。
【００４５】
そして、画像処理装置１００は、上述したようにプログラムによって構築された評価部１２１と領域設定部１２２との機能により、図１７のフローチャートに示す画像処理方法を実行する。
【００４６】
図１１に示すように、画像処理装置１００は、
所定の画像に対して所定領域のカテゴリを評価するためのモデルを用いて、入力画像の評価領域に対するカテゴリ毎の確信度を評価し（ステップＳ１）、
前記入力画像の前記評価領域を含む選択された領域である選択領域における、選択されたカテゴリである選択カテゴリの確信度を抽出し（ステップＳ２）、
前記選択カテゴリの確信度に基づいて、当該選択カテゴリに対応する前記入力画像内の領域を設定する（ステップＳ３）。
【００４７】
本発明は、以上のように構成されることにより、入力画像内の各画素のカテゴリ毎の確信度を評価し、かかる確信度から選択領域の選択カテゴリに対応する確信度のみを抽出し、抽出した確信度に基づいて領域を設定している。このため、あるカテゴリに対応する適切な領域を設定した画像データを得ることができ、画像生成を低コストにて行うことができる。
【００４８】
なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００４９】
以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
【００５０】
なお、本発明は、日本国にて２０１９年３月１９日に特許出願された特願２０１９−０５１１６８の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
【００５１】
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における画像処理方法、画像処理装置、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
所定の画像に対して所定領域のカテゴリを評価するためのモデルを用いて、入力画像の評価領域に対するカテゴリ毎の確信度を評価し、
前記入力画像の前記評価領域を含む選択された領域である選択領域における、選択されたカテゴリである選択カテゴリの確信度を抽出し、
前記選択カテゴリの確信度に基づいて、当該選択カテゴリに対応する前記入力画像内の領域を設定する、
画像処理方法。
（付記２）
付記１に記載の画像処理方法であって、
前記モデルを用いて、前記入力画像の前記評価領域の画素毎に、当該画素に対するカテゴリ毎の確信度を評価し、
前記入力画像の前記選択領域における前記選択カテゴリの確信度を、当該選択領域の画素毎に抽出し、
前記選択領域の画素毎における前記選択カテゴリの確信度に基づいて、前記入力画像内の領域を設定する、
画像処理方法。
（付記３）
付記２に記載の画像処理方法であって、
前記選択領域の画素毎における前記選択カテゴリの確信度が閾値以上である画素を、前記入力画像内の領域として設定する、
画像処理方法。
（付記４）
付記３に記載の画像処理方法であって、
外部からの操作に応じて前記閾値を変化させ、
前記選択領域の画素毎における前記選択カテゴリの確信度が、変化された前記閾値以上である画素を、前記入力画像内の領域として設定する、
画像処理方法。
（付記５）
付記３又は４に記載の画像処理方法であって、
設定された前記入力画像内の領域を示す領域情報を、当該入力画面と共に表示画面に表示出力する、
画像処理方法。
（付記６）
付記５に記載の画像処理方法であって、
前記閾値を変化させるよう操作可能な操作器を前記表示画面に表示出力し、
前記操作器が操作されることにより前記閾値が変化される毎に、前記選択領域の画素毎における前記選択カテゴリの確信度が、変化された前記閾値以上である画素を、前記入力画像内の領域として設定して、当該領域を示す領域情報を、当該入力画面と共に表示画面に表示出力する、
画像処理方法。
（付記７）
付記１乃至６のいずれかに記載の画像処理方法であって、
前記入力画像と、当該入力画像内に設定した領域を示す領域情報と、当該領域に対応する前記選択カテゴリと、を教師データとして、前記モデルに入力して機械学習を行い、当該モデルを更新する、
画像処理方法。
（付記８）
所定の画像に対して所定領域のカテゴリを評価するためのモデルを用いて、入力画像の評価領域に対するカテゴリ毎の確信度を評価する評価部と、
前記入力画像の前記評価領域を含む選択された領域である選択領域における、選択されたカテゴリである選択カテゴリの確信度を抽出し、前記選択カテゴリの確信度に基づいて、当該選択カテゴリに対応する前記入力画像内の領域を設定する領域設定部と、
を備えた画像処理装置。
（付記８．１）
付記８に記載の画像処理装置であって、
前記評価部は、前記モデルを用いて、前記入力画像の前記評価領域の画素毎に、当該画素に対するカテゴリ毎の確信度を評価し、
前記領域設定部は、前記入力画像の前記選択領域における前記選択カテゴリの確信度を、当該選択領域の画素毎に抽出し、前記選択領域の画素毎における前記選択カテゴリの確信度に基づいて、前記入力画像内の領域を設定する、
画像処理装置。
（付記８．２）
付記８．１に記載の画像処理装置であって、
前記領域設定部は、前記選択領域の画素毎における前記選択カテゴリの確信度が閾値以上である画素を、前記入力画像内の領域として設定する、
画像処理装置。
（付記８．３）
付記８．２に記載の画像処理装置であって、
外部からの操作に応じて前記閾値を変化させる閾値操作部を備え、
前記領域設定部は、前記選択領域の画素毎における前記選択カテゴリの確信度が、変化された前記閾値以上である画素を、前記入力画像内の領域として設定する、
画像処理装置。
（付記８．４）
付記８．２又は８．３に記載の画像処理装置であって、
設定された前記入力画像内の領域を示す領域情報を、当該入力画面と共に表示画面に表示出力する表示制御部を備えた、
画像処理装置。
（付記８．５）
付記８．４に記載の画像処理装置であって、
前記閾値を変化させるよう操作可能な操作器を前記表示画面に表示出力する閾値操作部を備え、
前記領域設定部は、前記操作器が操作されることにより前記閾値が変化される毎に、前記選択領域の画素毎における前記選択カテゴリの確信度が、変化された前記閾値以上である画素を、前記入力画像内の領域として設定して、
前記表示制御部は、前記入力画像内に設定した領域を示す領域情報を、当該入力画面と共に表示画面に表示出力する、
画像処理装置。
（付記８．６）
付記８乃至８．５のいずれかに記載の画像処理装置であって、
前記入力画像と、当該入力画像内に設定した領域を示す領域情報と、当該領域に対応する前記選択カテゴリと、を教師データとして、前記モデルに入力して機械学習を行い、当該モデルを更新する学習部を備えた、
画像処理装置。
（付記９）
情報処理装置に、
所定の画像に対して所定領域のカテゴリを評価するためのモデルを用いて、入力画像の評価領域に対するカテゴリ毎の確信度を評価する評価部と、
前記入力画像の前記評価領域を含む選択された領域である選択領域における、選択されたカテゴリである選択カテゴリの確信度を抽出し、前記選択カテゴリの確信度に基づいて、当該選択カテゴリに対応する前記入力画像内の領域を設定する領域設定部と、
を実現させるためのプログラム。
【符号の説明】
【００５２】
１０  画像処理装置
１１  学習部
１２  評価部
１３  教示データ編集部
１４  領域算出部
１５  閾値調節部
１６  教師データ記憶部
１７  モデル記憶部
１８  異常データ記憶部
１００  画像処理装置
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  プログラム群
１０５  記憶装置
１０６  ドライブ装置
１０７  通信インタフェース
１０８  入出力インタフェース
１０９  バス
１１０  記憶媒体
１１１  通信ネットワーク
１２１  評価部
１２２  領域設定部
【図１】
2020189269.tif 000003
【図２】
2020189269.tif 000004
【図３】
2020189269.tif 000005
【図４】
2020189269.tif 000006
【図５】
2020189269.tif 000007
【図６】
2020189269.tif 000008
【図７】
2020189269.tif 000009
【図８】
2020189269.tif 000010
【図９】
2020189269.tif 000011
【図１０】
2020189269.tif 000012
【図１１】
2020189269.tif 000013
【図１２】
2020189269.tif 000014
【図１３】
2020189269.tif 000015
【図１４】
2020189269.tif 000016
【図１５】
2020189269.tif 000017
【図１６】
2020189269.tif 000018
【図１７】
2020189269.tif 000019
【手続補正書】
【提出日】令和3年8月3日(2021.8.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定の画像に対して所定領域のカテゴリを評価するためのモデルを用いて、入力画像の評価領域に対するカテゴリ毎の確信度を評価し、
前記入力画像の前記評価領域を含む選択された領域である選択領域における、選択されたカテゴリである選択カテゴリの確信度を抽出し、
前記選択カテゴリの確信度に基づいて、当該選択カテゴリに対応する前記入力画像内の領域を設定する、
画像処理方法。
【請求項２】
請求項１に記載の画像処理方法であって、
前記モデルを用いて、前記入力画像の前記評価領域の画素毎に、当該画素に対するカテゴリ毎の確信度を評価し、
前記入力画像の前記選択領域における前記選択カテゴリの確信度を、当該選択領域の画素毎に抽出し、
前記選択領域の画素毎における前記選択カテゴリの確信度に基づいて、前記入力画像内の領域を設定する、
画像処理方法。
【請求項３】
請求項２に記載の画像処理方法であって、
前記選択領域の画素毎における前記選択カテゴリの確信度が閾値以上である画素を、前記入力画像内の領域として設定する、
画像処理方法。
【請求項４】
請求項３に記載の画像処理方法であって、
外部からの操作に応じて前記閾値を変化させ、
前記選択領域の画素毎における前記選択カテゴリの確信度が、変化された前記閾値以上である画素を、前記入力画像内の領域として設定する、
画像処理方法。
【請求項５】
請求項３又は４に記載の画像処理方法であって、
設定された前記入力画像内の領域を示す領域情報を、当該入力画面と共に表示画面に表示出力する、
画像処理方法。
【請求項６】
請求項５に記載の画像処理方法であって、
前記閾値を変化させるよう操作可能な操作器を前記表示画面に表示出力し、
前記操作器が操作されることにより前記閾値が変化される毎に、前記選択領域の画素毎における前記選択カテゴリの確信度が、変化された前記閾値以上である画素を、前記入力画像内の領域として設定して、当該領域を示す領域情報を、当該入力画面と共に表示画面に表示出力する、
画像処理方法。
【請求項７】
請求項１乃至６のいずれかに記載の画像処理方法であって、
前記入力画像と、当該入力画像内に設定した領域を示す領域情報と、当該領域に対応する前記選択カテゴリと、を教師データとして、前記モデルに入力して機械学習を行い、当該モデルを更新する、
画像処理方法。
【請求項８】
所定の画像に対して所定領域のカテゴリを評価するためのモデルを用いて、入力画像の評価領域に対するカテゴリ毎の確信度を評価する評価部と、
前記入力画像の前記評価領域を含む選択された領域である選択領域における、選択されたカテゴリである選択カテゴリの確信度を抽出し、前記選択カテゴリの確信度に基づいて、当該選択カテゴリに対応する前記入力画像内の領域を設定する領域設定部と、
を備えた画像処理装置。
【請求項９】
情報処理装置に、
所定の画像に対して所定領域のカテゴリを評価するためのモデルを用いて、入力画像の評価領域に対するカテゴリ毎の確信度を評価する評価部と、
前記入力画像の前記評価領域を含む選択された領域である選択領域における、選択されたカテゴリである選択カテゴリの確信度を抽出し、前記選択カテゴリの確信度に基づいて、当該選択カテゴリに対応する前記入力画像内の領域を設定する領域設定部と、
を実現させるためのプログラム。
【国際調査報告】
2020189269.tif 000020
2020189269.tif 000021
2020189269.tif 000022
2020189269.tif 000023