(57)【要約】      （修正有）【課題】画像に含まれるオブジェクトに基づいて画像の種別を判定するときに、オブジェクトを的確に抽出して、画像の種別を判定する精度を高く保つ画像処理装置を提供する。【解決手段】画像処理装置としての画像形成装置１００は、画像データから濃度マップを生成する生成部２２と、濃度マップにフィルターをかけて特徴マップを生成し、特徴マップから分類データを生成する畳込みニューラルネットワーク部２４と、活性化関数を用いて特徴マップから補正関数を算出するグラッドカム部２６と、分類データと教師データとを用いて分類データについての第１損失関数を算出する比較部３０と、比較部３０により算出された第１損失関数に補正関数を加算して第２損失関数を算出する出力部３２と、出力部３２が算出した第２損失関数を補正値として用いて畳込みニューラルネットワーク部２４で用いるフィルターの重み付けを補正する補正部３４を備える。【選択図】図２
2020184305.tif 000002
【特許請求の範囲】
【請求項１】
生成部と、畳込みニューラルネットワーク部と、グラッドカム部と、記憶部と、比較部と、出力部と、補正部とを含む処理部を備え、
前記生成部は、処理対象とされる画像データから濃度マップを生成し、
前記畳込みニューラルネットワーク部は、前記濃度マップにフィルターをかけて特徴マップを生成し、当該特徴マップから分類データを生成する処理を行い、
前記グラッドカム部は、活性化関数を用いて前記特徴マップからアクティベーションマップを生成する処理を行い、当該アクティベーションマップについて補正関数を算出し、
前記記憶部は、教師データを記憶しており、
前記比較部は、前記分類データと前記教師データとを用いて、前記分類データについての第１損失関数を算出する処理を行い、
前記出力部は、前記比較部により算出された前記第１損失関数に前記補正関数を加算して第２損失関数を算出し、
前記補正部は、前記出力部が算出した前記第２損失関数を補正値として用いて、前記畳込みニューラルネットワーク部で用いる前記フィルターの重み付けを補正し、
前記補正部により作成された新規の前記フィルターを用いた前記畳込みニューラルネットワーク部による前記処理から、前記グラッドカム部、前記比較部、前記出力部、及び前記補正部による処理を繰り返すことで前記フィルターを補正して更新する、画像処理装置。
【請求項２】
前記処理部は、分類部を更に備え、
前記分類部は、前記更新されたフィルターを用いて前記畳込みニューラルネットワーク部により生成された分類データが示す各値の配列によって、画像の種別を判定する請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
特許文献１には、オブジェクトを含む入力画像を取得し、入力画像から、背景画像を用いて変化する領域の画像である変化領域画像を抽出し、入力画像と変化領域画像とを結合して畳込み型ニューラルネットワークを利用することにより、Ｒ，Ｇ，Ｂ，Ｏの特徴画像を抽出し、当該特徴画像からオブジェクトの位置を検出する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１９１５０１公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された情報処理装置では、特徴画像から抽出されたオブジェクトの位置の正確さが低いという問題がある。例えば、ある画像の種別を判定させた場合、当該画像のどの特徴部分に注目してこの判定を行ったかを正確に示すことは困難である。
【０００５】
本発明は上記課題に鑑みてなされたものであり、画像に含まれるオブジェクトに基づいて当該画像の種別を判定するときに、当該オブジェクトを的確に抽出して、当該画像の種別を判定する精度を高く保つことを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一局面に係る画像処理装置は、生成部と、畳込みニューラルネットワーク部と、グラッドカム部と、記憶部と、比較部と、出力部と、補正部とを含む処理部を備え、前記生成部は、処理対象とされる画像データから濃度マップを生成し、前記畳込みニューラルネットワーク部は、前記濃度マップにフィルターをかけて特徴マップを生成し、当該特徴マップから分類データを生成する処理を行い、前記グラッドカム部は、活性化関数を用いて前記特徴マップからアクティベーションマップを生成する処理を行い、当該アクティベーションマップについて補正関数を算出し、前記記憶部は、教師データを記憶しており、前記比較部は、前記分類データと前記教師データとを用いて、前記分類データについての第１損失関数を算出する処理を行い、前記出力部は、前記比較部により算出された前記第１損失関数に前記補正関数を加算して第２損失関数を算出し、前記補正部は、前記出力部が算出した前記第２損失関数を補正値として用いて、前記畳込みニューラルネットワーク部で用いる前記フィルターの重み付けを補正し、前記補正部により作成された新規の前記フィルターを用いた前記畳込みニューラルネットワーク部による前記処理から、前記グラッドカム部、前記比較部、前記出力部、及び前記補正部による処理を繰り返すことで前記フィルターを補正して更新するものである。
【発明の効果】
【０００７】
本発明によれば、画像に含まれるオブジェクトに基づいて当該画像の種別を判定するときに、当該オブジェクトを的確に抽出して、当該画像の種別を判定する精度を高く保つことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る画像処理装置の一実施形態に係る画像形成装置の内部構成を示す図である。
【図２】画像形成装置の電気的構成を示すブロック図である。
【図３】（Ａ）は原稿を示す図、（Ｂ）は原稿を読み取って得た画像データから作成した濃度マップを示す図、（Ｃ）は濃度マップに対して用いるフィルターを示す図である。
【図４】（Ａ）〜（Ｃ）は畳込みニューラルネットワーク部による処理を説明する図である。
【図５】（Ａ）〜（Ｃ）は畳込みニューラルネットワーク部による処理を説明する図である。
【図６】（Ａ）、（Ｂ）は畳込みニューラルネットワーク部による処理を説明する図である。
【図７】活性化関数ＲｅＬＵを説明する図である。
【図８】アクティベーションマップの一例を示す図である。
【図９】（Ａ）は教師データ、分類データ、及び差分データの一例を示す図、（Ｂ）は畳込みニューラルネットワーク部が用いるフィルターが補正されていく変遷を示す図である。
【図１０】（Ａ）〜（Ｃ）は、教師データ、分類データ、及び差分データの一例を示す図である。
【図１１】（Ａ）〜（Ｃ）は、フィルターが補正される度にアクティベーションマップが変化していく変遷を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の一実施形態に係る画像処理装置及び画像処理方法について、図面を参照しながら説明する。なお、以下の説明において、同一又は近似する各部については同一の符号を付し、繰り返しの説明は省略する。
【００１０】
図１を参照して、本発明の一実施形態に係る画像処理装置について説明する。図１は、本発明に係る画像処理装置の一実施形態に係る画像形成装置の内部構成を示す図である。
【００１１】
画像形成装置１００は、複写機、プリンター、及びファクシミリの機能を兼ね備えた複合機である。
【００１２】
図１に示すように、画像形成装置１００は、原稿搬送部２と、読取部４と、給送部６と、搬送部８と、画像形成部１０と、排出部１２と、処理部２０とを備える。更に、画像形成装置１００は、操作部５及びネットワークインターフェイス部９１を備える（図２）。
【００１３】
原稿搬送部２は、トレイ８０に配置された原稿Ｇを搬送する。原稿搬送部２は、ピックアップローラー８２と、複数の搬送ローラー８４とを含んでよい。また、原稿搬送部２の一例は、ＡＤＦ（Ａｕｔｏ  Ｄｏｃｕｍｅｎｔ  Ｆｅｅｄｅｒ）である。原稿Ｇは、紙、またはプロジェクターに用いるプラスチックシートである。
【００１４】
読取部４は、原稿Ｇの画像を読み取る。読取部４は、画像を読み取って画像データを生成する。読取部４は、光源８６と、複数の反射ミラー８８と、レンズ９０と、撮像部９２とを含む。読取部４の一例は、スキャナーである。
【００１５】
光源８６は、複数の発光素子を有する。発光素子は、例えば、発光ダイオード（Ｌａｓｅｒ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ：ＬＥＤ）である。光源８６から出射された光は、原稿搬送部２を搬送される原稿Ｇによって反射した後、複数の反射ミラー８８で反射されて、レンズ９０を通り、撮像部９２に到達する。
【００１６】
撮像部９２は、レンズ９０から光を受け取る複数の受光素子を有している。撮像部９２は、例えば、電荷結合素子（Ｃｈａｒａｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：ＣＣＤ）である。撮像部９２は、撮像部９２に到達した光からアナログ電気信号を生成する。その後、Ａ／Ｄ変換部（図示せず）において、当該アナログ信号がデジタル信号に変換され、このデジタル信号により画像データが構成される。読取部４は、当該画像データを処理部２０に出力する。
【００１７】
給送部６は、複数のシートＳを収容し、搬送部８へシートＳを給送する。シートＳは、例えば、紙製または合成樹脂製である。搬送部８は、複数の搬送ローラー対を含み、画像形成部１０にシートＳを搬送する。
【００１８】
画像形成部１０は、電子写真方式によってシートＳにトナー像を形成する。具体的には、画像形成部１０は、感光体ドラムと、帯電装置と、露光装置と、現像装置と、補給装置と、転写装置と、クリーニング装置と、除電装置とを含む。
【００１９】
トナー像は、例えば、原稿Ｇの画像を示す。排出部１２は、画像形成装置１００の外部にシートＳを排出する。
【００２０】
次に、図２を参照して、本実施形態に係る画像形成装置１００の電気的構成を説明する。図２は、本実施形態に係る画像形成装置１００の電気的構成を示すブロック図である。図３（Ａ）は原稿を示す図、（Ｂ）は原稿を読み取って得た画像データから作成した濃度マップを示す図、（Ｃ）は濃度マップに対して用いるフィルターを示す図である。
【００２１】
処理部２０は、プロセッサー、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及び専用のハードウェア回路を含んで構成される。プロセッサーは、例えばＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、又はＭＰＵ（Micro Processing Unit）等である。処理部２０は、生成部２２と、畳込みニューラルネットワーク部２４と、グラッドカム部２６と、記憶部２８と、比較部３０と、出力部３２と、補正部３４と、分類部３６とを備えている。
【００２２】
処理部２０は、画像形成装置１００が備えるＨＤＤ１１１又は上記ＲＯＭに記憶されている制御プログラムに従った上記プロセッサーによる動作により、生成部２２と、畳込みニューラルネットワーク部２４と、グラッドカム部２６と、記憶部２８と、比較部３０と、出力部３２と、補正部３４と、分類部３６として機能するものである。但し、当該生成部２２〜分類部３６は、上記プロセッサーによる制御プログラムに従った動作によらず、それぞれハードウェア回路により構成することも可能である。
【００２３】
生成部２２、畳込みニューラルネットワーク部２４、グラッドカム部２６、記憶部２８、比較部３０、出力部３２、及び補正部３４は、例えば読取部４による原稿読取で得られた画像データに対して、以下に示す処理を行う。例えば、原稿Ｇは、図３（Ａ）に示すように、表題に法人名が記載された文書である。原稿Ｇの表題には、例えば、「ＡＢＣＤ株式会社」と記載された画像部分Ａ１を有している。
【００２４】
生成部２２は、上記画像データから濃度マップ５０（図３（Ｂ））を生成する。
【００２５】
畳込みニューラルネットワーク部２４は、濃度マップ５０にフィルター５２（図３（Ｃ））をかけて、第１特徴マップ５４（図４（Ｃ））を生成する処理を行う。更に、畳込みニューラルネットワーク部２４は、第１特徴マップ５４から第２特徴マップ５６（図５（Ｃ））を生成する処理を行う。更に、畳込みニューラルネットワーク部２４は、第２特徴マップ５６から分類データを生成する処理を行う。
【００２６】
グラッドカム部２６は、Ｇｒａｄ−ｃａｍ処理を行うことにより、第２特徴マップ５６からアクティベーションマップ６６を生成する。
【００２７】
記憶部２８は、例えばＨＤＤ又はメモリーであり、教師データ６０を記憶している。本実施形態では、処理部２０により、原稿Ｇ（図３（Ａ））がＡＢＣＤ株式会社宛に作成された文書であるのかを判定する場合を例にする。このため、例えば、「ＡＢＣＤ株式会社」の文字を示す見本画像に対して、生成部２２及び畳込みニューラルネットワーク部２４による処理を行って分類データを生成し、この生成された分類データを教師データとする。
【００２８】
比較部３０は、分類データ６２と、教師データ６０とを比較し、差分データ６４を算出する。また、比較部３０は、分類データ６２と教師データ６０を用いて第１損失関数（Ｌｏｓｓ  ｆｕｎｃｔｉｏｎ）を算出する。
【００２９】
出力部３２は、上記第１損失関数から更に第２損失関数（Ｌｏｓｓ  ｆｕｎｃｔｉｏｎ）を算出する。
【００３０】
補正部３４は、出力部３２から出力されてくる上記第２損失関数を用いてフィルター５２の重み付けを補正する。
【００３１】
分類部３６は、画像判定処理を行う。分類部３６は、上記のように補正部３４により補正されて更新された最新のフィルター５２を用いて畳込みニューラルネットワーク部２４により生成された分類データが示す各値の配列によって、画像の種別を判定する。
【００３２】
操作部５は、ユーザーから各種操作指示の入力を受け付ける。
【００３３】
ネットワークインターフェイス部９１は、図略のＬＡＮチップなどの通信モジュールを備える通信インターフェイスである。ネットワークインターフェイス部９１は、ローカルエリア内、又はインターネット上の外部装置と種々のデータの送受信を行う。
【００３４】
次に、図２に加えて更に図３乃至図１１を参照して、本実施形態に係る画像形成装置１００の具体例を説明する。
【００３５】
まず、図３（Ａ）〜（Ｃ）を参照して、畳込みニューラルネットワーク部２４の処理の概略を説明する。畳込みニューラルネットワーク部２４は、畳込み処理とプーリング処理とを繰り返し、分類データ（図９（Ａ））を得る処理を行う。
【００３６】
畳込みニューラルネットワーク部２４は、生成部２２により生成された濃度マップ５０（図３（Ｂ））に、予め記憶しているフィルター５２（図３（Ｃ））を掛け、図４（Ｃ）に示す第１特徴マップ５４を生成し、更に第１特徴マップ５４から第２特徴マップ５６を生成する処理を行う。
【００３７】
続けて、畳込みニューラルネットワーク部２４は、プーリング処理により、第２特徴マップ５６から、予め定められたマトリクス（この実施形態では２×２を例にして説明する）ごとに代表値５６Ｃ、代表値５６Ｄを抽出する（図６（Ａ）（Ｂ））。畳込みニューラルネットワーク部２４は、(i)当該プーリング処理を繰り返して第２特徴マップ５６を小さくし、更に、このように小さくした第２特徴マップ５６を、一次的に並ぶ一列の予め定められた画素数のデータに展開する、(ii) 第２特徴マップ５６を全結合層により、一次的に並ぶ一列の予め定められた画素数のデータに展開する、等の処理により、図９（Ａ）に示す分類データ６２を得る。分類データ６２については、図９（Ａ）を参照して後述する。
【００３８】
グラッドカム部２６は、Ｇｒａｄ−ｃａｍ処理を行うことにより、第２特徴マップ５６からアクティベーションマップ６６を生成する。
【００３９】
ここで、畳込みニューラルネットワーク部２４による上記畳込み処理を更に詳細に説明する。読取部４（図２）は原稿Ｇを読み取り、図３（Ａ）に例を示す画像データを生成する。
【００４０】
そして、生成部２２は、原稿Ｇ全体を示す画像について濃度マップ５０（図３（Ｂ））を生成する。濃度マップ５０は、画素ｘ１１、画素ｘ１２、画素ｘ１３、・・・、画素ｘ２１、画素ｘ２２、画素ｘ２３、・・・、画素ｘ３１、画素ｘ３２、画素ｘ３３、・・・、画素ｘｉｊ、・・・がマトリクス状に配列されたものである。それぞれの画素ｘｉｊには、濃度情報が付与されている。
【００４１】
なお、一例として、画素ｘｉｊの画素数は２桁であるが、２桁に限られず、１桁でもよく、３桁以上であってもよい。また、以降、画素番号を特定する必要がない場合は、画素ｘｉｊと記載する。本実施形態においては、説明を簡略にするため、濃度マップ５０は、画素ｘ１１〜画素ｘ９９の９×９のマトリクスとする。ｉおよびｊは、正の整数である。フィルター５２は、画素ｗ１１、画素ｗ１２、画素ｗ１３、画素ｗ２１、画素ｗ２２、画素ｗ２３、画素ｗ３１、画素ｗ３２、および画素ｗ３３の画素ｗｉｊが例えば３×３のマトリクス状に配列されている。
【００４２】
まず、畳込みニューラルネットワーク部２４は、濃度マップ５０の畳込みを行う。具体的には、図４（Ａ）に示すように、畳込みニューラルネットワーク部２４は、フィルター５２を濃度マップ５０に掛け合わせる。まず、畳込みニューラルネットワーク部２４は、フィルター５２の画素ｗ１１〜画素ｗ３３を、濃度マップ５０の画素ｘ１１〜画素ｘ３３に掛け合わせる。
【００４３】
続いて、畳込みニューラルネットワーク部２４は、フィルター５２を濃度マップ５０で列番号が増える方向に１列ずらし、フィルター５２の画素ｗ１１〜画素ｗ３３を、濃度マップ５０の画素ｘ１２〜画素ｘ３４に掛け合わせる。以降、同様に、畳込みニューラルネットワーク部２４は、フィルター５２を濃度マップ５０の画素ｘ１１〜画素ｘ３３のマトリクスから画素ｘ７７〜画素ｘ９９のマトリクスまで順次掛け合わせる。
【００４４】
すなわち、畳込みニューラルネットワーク部２４は、上記のようにフィルター５２を濃度マップ５０に掛け合わせることで、図４（Ｂ）に示す第１特徴データｙｉｊ＝ｘｉｊ×ｗｉｊの行列式を得る。ｉおよびｊは、正の整数である。具体的には、畳込みニューラルネットワーク部２４は、フィルター５２の画素ｗ１１〜画素ｗ３３を濃度マップ５０の画素ｘ１１〜画素ｘ３３に掛け合わせて、第１特徴データｙ１１＝ｘ１１ｗ１１＋ｘ１２ｗ１２＋ｘ１３ｗ１３＋ｘ２１ｗ２１＋ｘ２２ｗ２２＋ｘ２３ｗ２３＋ｘ３１ｗ３１＋ｘ３２ｗ３２＋ｘ３３ｗ３３を得る。次に、フィルター５２の画素ｗ１１〜画素ｗ３３を、濃度マップ５０の画素ｘ１２〜画素ｘ３４に掛け合わせて、第１特徴データｙ１２＝ｘ１２ｗ１１＋ｘ１３ｗ１２＋ｘ１４ｗ１３＋ｘ２２ｗ２１＋ｘ２３ｗ２２＋ｘ２４ｗ２３＋ｘ３２ｗ３１＋ｘ３３ｗ３２＋ｘ３４ｗ３３を得る。以降、同様に、畳込みニューラルネットワーク部２４は、フィルター５２を濃度マップ５０の画素ｘ７７〜画素ｘ９９のマトリクスまで順次掛け合わせる。
【００４５】
そして、畳込みニューラルネットワーク部２４は、濃度マップ５０にフィルター５２を掛け合わせて得た第１特徴データｙ１１、第１特徴データｙ１２、・・・、第１特徴データｙｉｊ、・・・、第１特徴データｙ７７によって構成されるマトリクス状に配置した第１特徴マップ５４（図４（Ｃ））を得る。これにより、畳込みニューラルネットワーク部２４は、９×９の濃度マップ５０を、７×７の第１特徴マップ５４にする畳込み処理を行ったことになる。
【００４６】
更に図５（Ａ）〜（Ｃ）を参照して、畳込みニューラルネットワーク部２４による畳込み処理の具体例を説明する。図５（Ａ）に示す濃度マップ５０は、図３（Ｂ）に示す濃度マップ５０の具体例である。図５（Ａ）に示すフィルター５２は、図３（Ｂ）に示すフィルター５２の具体例である。
【００４７】
ここでは、濃度マップ５０を分かりやすく説明するために、濃度マップ５０を構成する各画素の値を２値「１」及び「−１」のいずれかで示した例を用いて説明する。また、フィルター５２も、２値「１」及び「−１」のいずれかで示した例を用いて説明する。
【００４８】
図５（Ａ）に示す濃度マップ５０は、画素ｘ１１＝−１、画素ｘ１２＝−１、画素ｘ１３＝−１、画素ｘ２１＝−１、画素ｘ２２＝１、画素ｘ２３＝１、画素ｘ３１＝−１、画素ｘ３２＝−１、および画素ｘ３３＝−１…とした例を示す。
【００４９】
図５（Ａ）に示すフィルター５２は、図３（Ｃ）に示すフィルター５２の画素ｗｉｊを２値の「１」か「−１」のいずれかで表す。一例として、画素ｗ１１＝１、画素ｗ１２＝−１、画素ｗ１３＝−１、画素ｗ２１＝−１、画素ｗ２２＝１、画素ｗ２３＝−１、画素ｗ３１＝−１、画素ｗ３２＝１、および画素ｗ３３＝−１である。
【００５０】
畳込みニューラルネットワーク部２４は、濃度マップ５０の画素ｘｉｊとフィルター５２の画素ｗｉｊとを掛け合わせ、図４（Ｂ）を参照して説明したように、第１特徴データｙｉｊ＝ｘｉｊ×ｗｉｊを得る。具体的には、第１特徴データｙ１１＝−１×１＋−１×−１＋−１×−１＋−１×−１＋１×１＋１×−１＋−１×−１＋−１×１＋−１×−１＝３、第１特徴データｙ１２＝−１×１＋−１×−１＋−１×−１＋１×−１＋１×１＋１×−１＋−１×−１＋−１×１＋−１×−１＝１、・・・である。
【００５１】
畳込みニューラルネットワーク部２４は、第１特徴データｙ１１＝３、第１特徴データｙ１２＝１、・・・、および第１特徴データｙ７７＝−３をマトリクス状に並べ、図５（Ｂ）に示すように、第１特徴マップ５４を生成する。
【００５２】
さらに、畳込みニューラルネットワーク部２４は、図５（Ａ）に示す例ではフィルター５２が３×３の９個のマトリクスからなることから、第１特徴マップ５４を構成する各第１特徴データｙｉｊを例えば１／９の値に変換して、第２特徴マップ５６を生成する。つまり、第２特徴マップ５６が第２特徴データｚｉｊにより構成されるとすると、第２特徴データｚｉｊ＝第１特徴データｙｉｊ×１／９である。
【００５３】
具体的には、第２特徴データｚ１１＝３×１／９＝０．３３、第２特徴データｚ１２＝１×１／９＝０．１１、・・・、第２特徴データｚ７７＝−３×１／９＝−０．３３である。畳込みニューラルネットワーク部２４は、これらの第２特徴データｚｉｊをマトリクス状に並べ、図５（Ｃ）に示すように、第２特徴マップ５６を生成する。以上が畳込みニューラルネットワーク部による畳込み処理である。
【００５４】
次に、畳込みニューラルネットワーク部２４によるプーリング処理を説明する。図６（Ａ）に示すように、畳込みニューラルネットワーク部２４は、第２特徴マップ５６を複数の特徴マトリクス５６Ａ、特徴マトリクス５６Ｂ、・・・、に分割し、それぞれの特徴マトリクス５６Ａ、特徴マトリクス５６Ｂ、・・・、から代表値５６Ｃ、代表値５６Ｄ、・・・、を抽出する。
【００５５】
具体的には、畳込みニューラルネットワーク部２４は、第２特徴マップ５６を特徴マトリクス５６Ａ、５６Ｂ、・・・、の２×２のマトリクスに分割する。ただし、２列に満たない場合は、１×２のマトリクスに分割する。そして、畳込みニューラルネットワーク部２４は、特徴マトリクス５６Ａから、特徴マトリクス５６Ａの代表値５６Ｃを抽出する。ここでは、畳込みニューラルネットワーク部２４は、代表値として、特徴マトリクス５６Ａの最大値を抽出するものとする。例えば、代表値５６Ｃは、特徴マトリクス５６Ａの最大値０．３３である。但し、畳込みニューラルネットワーク部２４は、代表値を、最大値ではなく、例えば、平均値又は中央値として抽出するようにしてもよい（本願明細書の全編に亘って同様）。
【００５６】
続けて、畳込みニューラルネットワーク部２４は、特徴マトリクス５６Ｂを構成する各値の中から、特徴マトリクス５６Ｂの代表値５６Ｄを抽出する。ここでは、畳込みニューラルネットワーク部２４は、代表値として、特徴マトリクス５６Ｂの最大値を抽出するものとする。例えば、代表値５６Ｄは、特徴マトリクス５６Ｂの最大値０．１１である。
【００５７】
畳込みニューラルネットワーク部２４は、上記のようにして抽出した各代表値（代表値５６Ｃ、代表値５６Ｄ、・・・）を配置したマトリクスを生成する。以上がプーリング処理である。
【００５８】
更に、(i)畳込みニューラルネットワーク部２４は、予め定められた数の各代表値から構成されるマトリクス（図６（Ｂ）に、予め定められた数を３×３としたマトリクス５８の例を示す）が得られるまで、畳込み処理とプーリング処理を更に繰り返す。畳込みニューラルネットワーク部２４は、当該マトリクスをなす各代表値を一次元的に展開して、図９（Ａ）に一例を示す分類データ６２を生成する。(ii)或いは、畳込みニューラルネットワーク部２４は、(i)の場合よりも大きな予め定められた第２の数の各代表値から構成されるマトリクスが得られるまで畳込み処理とプーリング処理を更に繰り返し、当該マトリクスが得られた時点で全結合層の処理を行って、上記予め定められた数の各代表値から構成されるマトリクス（図６（Ｂ））を作成し、このマトリクスをなす各代表値を一次元的に展開して、図９（Ａ）に一例を示す分類データ６２を生成する。以上が、畳込みニューラルネットワーク部２４による処理である。
【００５９】
次に、図２に加え、図７、図８および図１１を参照して、グラッドカム処理について説明する。グラッドカム部２６は、グラッドカム処理（ＧｒａｄＣＡＭ：Ｇｒａｄｉｅｎｔ−ｗｅｉｇｈｔｅｄ  Ｃｌａｓｓ  Ａｃｔｉｖａｔｉｏｎ  Ｍａｐｐｉｎｇ）を行う。グラッドカム部２６は、グラッドカム処理として、畳込みニューラルネットワーク部２４により生成された第２特徴マップ５６に、活性化関数ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ  Ｌｉｎｅａｒ  Ｕｎｉｔ）を適用する処理を行って、アクティベーションマップ６６（図８）を生成する。
【００６０】
活性化関数ＲｅＬＵは、図７に示すように、０未満の出力値を全て０にする関数である。すなわち、活性化関数ＲｅＬＵは、ある閾値以上の部分だけを意味のある情報とする処理、すなわち、当該ある閾値以上の部分を特徴部分として強調する処理である。活性化関数ＲｅＬＵは、横軸にｙｉｊをとり、縦軸にｆ（ｙｉｊ）をとる。ｙｉｊ＜０のとき、ｆ（ｙｉｊ）＝０であり、ｙｉｊ≧０のとき、ｆ（ｙｉｊ）＝ｙｉｊである。グラッドカム部２６は、第２特徴マップ５６の各値に活性化関数ＲｅＬＵを適用して、適用後の各値からなるマトリクス状のアクティベーションマップ６６を生成する。
【００６１】
図８は、アクティベーションマップ６６の一例を示す図である。アクティベーションマップ６６は、グラッドカム部２６により第２特徴マップ５６を構成する各第２特徴データｚｉｊを更に強調して示されることにより、原稿Ｇを読み取った文書データにおける特徴部分が強調されたものとなる。
【００６２】
アクティベーションマップ６６は、上記原稿Ｇの会社名の記載部分の画像を含め、原稿Ｇの会社名の記載部分以外の部分も強調表示している。そのため、補正部３４は、アクティベーションマップ６６が、画像種別判定の根拠となるべき画像部分、例えば、原稿Ｇの会社名の記載部分の画像部分のみを的確に強調表示したものとなるように（全体画像において、どの画像部分が「会社名の記載部分」を示すかを明確にするために）、畳込みニューラルネットワーク部２４が用いる上記フィルター５２の重み付けである画素ｗｉｊを補正する。
【００６３】
ここで、グラッドカム部２６は、アクティベーションマップ６６についてそれぞれ補正関数ｆ（ＧｒａｄＣＡＭ）を算出する。補正関数ｆ（ＧｒａｄＣＡＭ）は、数式（１）で表される。
【００６４】
【数１】
2020184305.tif 000003
【００６５】
数式（１）の補正関数ｆ（ＧｒａｄＣＡＭ）では、アクティベーションマップ６６を構成する画素のうち特定の画素を画素ｃとし、アクティベーションマップ６６を構成する画素であって画素ｃ以外の全ての画素をそれぞれ画素ｒとする。補正関数ｆは、アクティベーション関数Ａｃｔ（ｒ）と、画素ｃと各画素ｒとの距離の２乗を表す距離関数（ｒ−ｃ）＾２との積で表される。すなわち、補正関数ｆは、アクティベーションマップ６６の画素ｃと全ての画素ｒとの各組み合わせについて、アクティベーション関数Ａｃｔ（ｒ）と距離関数（ｒ−ｃ）＾２との積である。
【００６６】
ここでは、一例として、アクティベーションマップ６６の最大濃度の画素を画素ｃとし、任意の画素を画素ｒとする。例えば、アクティベーション関数Ａｃｔ（ｒ）は、画素ｒにおけるアクティベーションマップ６６の反応の大きさを表わす。
【００６７】
例えば、アクティベーション関数Ａｃｔ（ｒ）として、画素ｒの濃度を用いる。すなわち、画素ｒの濃度の高低に応じてアクティベーション関数Ａｃｔ（ｒ）の値は変化する。また、画素ｃと画素ｒとの距離が大きいほど距離関数（ｒ−ｃ）＾２の値は大きく、画素ｃと画素ｒとの距離が小さいほど距離関数（ｒ−ｃ）＾２の値は小さくなる。
【００６８】
続いて、図９を参照して、記憶部２８、比較部３０を説明する。
【００６９】
上述したように、記憶部２８は、教師データ６０（図９（Ａ））を記憶している。教師データ６０は、図９（Ａ）に示すように、上記分類データと同じ数の値が一次元的に並べられた数列からなる。記憶部２８は、原稿の種別を判別するための注目画像となる各画像に対応する教師データ６０を記憶している。
【００７０】
比較部３０は、畳込みニューラルネットワーク部２４から取得した分類データ６２と、記憶部２８が記憶する教師データ６０とを比較し、差分データ６４を算出する。更に、比較部３０は、上記分類データ６２と上記教師データ６０を用いて下記数式（２）により第１損失関数（Ｌｏｓｓ  ｆｕｎｃｔｉｏｎ）を算出する。
【００７１】
【数２】
2020184305.tif 000004
【００７２】
そして、出力部３２は、グラッドカム部２６から補正関数ｆ（ＧｒａｄＣＡＭ）（数式１）の値を取得し、比較部３０によって算出された第１損失関数（数式（２））と補正関数ｆ（ＧｒａｄＣＡＭ）の値との和を第２損失関数（Ｌｏｓｓ  ｆｕｎｃｔｉｏｎ）として算出する。
【００７３】
【数３】
2020184305.tif 000005
【００７４】
補正部３４は、出力部３２が出力した第２損失関数を補正値とし、この補正値を用いて、畳込みニューラルネットワーク部２４で用いる上記フィルター５２の重み付けを補正する。これにより、補正部３４は、該補正後のフィルター５２を作成する。この第２損失関数は、アクティベーションマップ６６において、上記判定の根拠とすべき原稿Ｇの会社名の記載部分の画像を的確に強調したものに基づくものであるため、補正部３４が、第２損失関数を用いてフィルター５２の重み付けを補正すると、畳込みニューラルネットワーク部２４により将来生成される分類データ６２（図９（Ａ））が教師データ６０に近づくよう、フィルター５２（図９（Ｂ））の画素ｗｉｊの数値を補正することになる。このようにフィルター５２を補正したフィルターをフィルター５２Ｂ（図９（Ｂ））とする。
【００７５】
具体的には、図１０（Ａ）に示すように、比較部３０は、分類データ６２Ａを取得すると、教師データ６０Ａと分類データ６２Ａとの差分をとって、差分データ６４Ａを算出する。また、比較部３０は、教師データ６０Ａと分類データ６２Ａから第１損失関数（数式２）を算出する。出力部３２は、第１損失関数と、補正関数ｆの値との和を算出し、この和を第２損失関数（数式３）とする。補正部３４は、第２損失関数を補正値として用い（例えばフィルター５２に補正値を乗算して）、図９（Ｂ）に示すように、畳込みニューラルネットワーク部２４のフィルター５２を、例えば、フィルター５２Ｂのように補正する。
【００７６】
このようにフィルター５２がフィルター５２Ｂに補正されると、畳込みニューラルネットワーク部２４が、補正後のフィルター５２Ｂを用いて、新たな分類データ（一例を図１０（Ｂ）に分類データ６２Ｂとして示す）を生成し、グラッドカム部２６は新たな補正関数ｆを算出する。そして、比較部３０は、教師データ６０Ｂと分類データ６２Ｂとを比較して、差分データ６４Ｂを出力する。このとき、分類データ６２Ｂは、分類データ６２Ａと比較して、教師データ６０Ｂに近似することになる。更に比較部３０は、上記分類データ６２Ｂと教師データ６０Ｂを用いて第１損失関数を算出し、出力部３２は、グラッドカム部２６が算出した上記新たな補正関数ｆを用いて、新たな第２損失関数を算出する。補正部３４は、新たな第２損失関数を補正値として用いてフィルター５２Ｂを補正してフィルター５２Ｃを作成する。
【００７７】
畳込みニューラルネットワーク部２４は、補正後のフィルター５２Ｃを用いて、更に新しい分類データ（一例を図１０（Ｃ）に分類データ６２Ｃとして示す）を生成する。グラッドカム部２６は更に新たな補正関数ｆを算出する。そして、比較部３０は、教師データ６０Ｃと分類データ６２Ｃとを比較して、差分データ６４Ｃを出力する。分類データ６４Ｃは、分類データ６２Ｂと比較して、さらに教師データ６０Ｃに近似する（図１０（Ｃ）には、教師データ６０Ｃと分類データ６２Ｃとが一致する例を示している）。図１０（Ｃ）に示す例では、差分データ６４Ｃは、０のデータのみをもつことになる。
【００７８】
図１１（Ａ）〜（Ｃ）は、上述のように畳込みニューラルネットワーク部２４から補正部３４までによるフィルター補正処理、及び補正された新たなフィルターを用いた畳込みニューラルネットワーク部２４及びグラッドカム部２６によるアクティベーションマップ生成処理を繰り返すことで、グラッドカム部２６が生成するアクティベーションマップ６６が補正されていく様子を示す図である。
【００７９】
例えば、図１１（Ａ）に示す、第１アクティベーションマップ６６Ａは、原稿Ｇの会社名の記載部分の画像のみでなく、原稿Ｇの全体に亘って高い濃度を示しているが、上記のようにしてフィルターが補正され、畳込みニューラルネットワーク部２４が、濃度マップ５０に新たなフィルター５２Ｂを用いて新たな第１特徴マップ５４及び新たな第２特徴マップ５６を生成し、グラッドカム部２６が新たな第２特徴マップ５６から第２アクティベーションマップ６６Ｂを生成すると、第２アクティベーションマップ６６Ｂでは、図１１（Ｂ）に示すように、第１アクティベーションマップ６６Ａと比較して、表題部分からの距離が大きい画素の濃度が大きく減少する。
【００８０】
そして更に、畳込みニューラルネットワーク部２４から補正部３４までによるフィルター補正処理でフィルター５２Ｂがフィルター５２Ｃに補正され、補正された更に新たなフィルターを用いた畳込みニューラルネットワーク部２４及びグラッドカム部２６によるアクティベーションマップ生成処理により、第３アクティベーションマップ６６Ｃが生成されると、第３アクティベーションマップ６６Ｃでは、例えば、図１１（Ｃ）に示すように、第２アクティベーションマップ６６Ｂと比較して、表題部分からの距離が大きい画素の濃度が更に大きく減少する。図１１（Ｃ）には、第２アクティベーションマップ６６Ｂと比較して、原稿Ｇの会社名の記載部分の画像を示す画素からの距離が大きい画素の濃度はほぼ０に近くなり、原稿Ｇの会社名の記載部分の画像の濃度がより強調された例を示している。
【００８１】
このように、畳込みニューラルネットワーク部２４から補正部３４までによるフィルター補正処理を繰り返し、例えば、教師データと分類データとが一致して差分データが０になった時点（或いは、教師データと分類データとが予め定められた範囲内まで近似した時点）で当該繰り返しを終了し、この時点で補正されている最新のフィルターを、畳込みニューラルネットワーク部２４が上記畳込み処理に用いるフィルターとして更新する。以上は、画像種別判定の根拠とすべき画像を抽出するための学習処理である。
【００８２】
また、画像種別判定の処理においては、分類部３６は、上記のように補正されて更新されている最新のフィルター５２を用いて畳込みニューラルネットワーク部２４により原稿画像（読取部４による原稿読取で得た画像）から生成された分類データが示す各値の配列によって、画像の種別を判定する。例えば、分類部３６は、（Ａ）分類データの第１番目のみが０よりも大きな値を示し、他の各値が全て０の場合は、画像種別判定の根拠とすべき画像部分が「ＡＢＣＤ会社」であるとして「ＡＢＣＤ会社宛書類」と判定し、（Ｂ）分類データの第２番目のみが０よりも大きな値を示し、他の各値が全て０の場合は、画像種別判定の根拠とすべき画像部分が「ＥＦＧＨ会社」であるとして「ＥＦＧＨ会社宛書類」と判定する、等のようにして画像の種別判定を行う。
【００８３】
従って、本実施形態に示した学習処理を終えれば、この後に畳込みニューラルネットワーク部２４により生成された分類データは教師データに一致又は近似するため、画像の種別を判定させるとき、当該各オブジェクトを的確に抽出して、当該画像の種別を判定する精度を高く保つことができる。
【００８４】
また、本実施形態では、画像種別判定の処理を行う度に、上記フィルター５２の補正処理までの学習処理も行うようにすれば、画像形成装置１００による原稿Ｇの読み取りの件数、および画像処理の件数が増えるに従って、畳込みニューラルネットワーク部２４のフィルターがより好適に補正されていくため、画像の種別の判定精度を向上させることができる。
【００８５】
また、図１乃至図１１を用いて説明した上記実施形態の構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。
【００８６】
また、上記実施形態では、本発明に係る画像処理の一実施形態を、画像形成装置（複合機）に適用する例を説明しているが、これは一例に過ぎず、本発明に係る画像処理を、他の電子装置、例えば、医療機器、パーソナルコンピューター、携帯電話、スマートフォン、タブレット、ハブ装置、サーバー装置に適用するものとしてもよい。
【符号の説明】
【００８７】
１００      画像形成装置
４          読取部
２０        処理部
２２        生成部
２４        畳込みニューラルネットワーク部
２６        グラッドカム部
２８        記憶部
３０        比較部
３２        出力部
３４        補正部
３６        分類部
【図１】
2020184305.tif 000006
【図２】
2020184305.tif 000007
【図３】
2020184305.tif 000008
【図４】
2020184305.tif 000009
【図５】
2020184305.tif 000010
【図６】
2020184305.tif 000011
【図７】
2020184305.tif 000012
【図８】
2020184305.tif 000013
【図９】
2020184305.tif 000014
【図１０】
2020184305.tif 000015
【図１１】
2020184305.tif 000016