(57)【要約】【課題】原稿の画像を読取って、原稿の画像全体の特徴に基づき該原稿の画像を分類する。【解決手段】画像処理装置１０において、制御部３１は、操作部（操作部２２又はタッチパネル２３）の操作によりトレーニングモードが設定された場合に、画像読取部１１により読取られた原稿の画像の特徴を抽出して、該原稿の画像の特徴に基づき操作部の操作により入力された該原稿の種類が導出される学習データを学習する。制御部３１は、操作部の操作により分類モードが設定された場合には、画像読取部１１により読取られた原稿の画像の特徴を抽出して、該原稿の画像の特徴及び上記学習データに基づき該原稿の種類を判別し、該判別した種類を示す情報を、該原稿の画像データに付加する。【選択図】図２
2020134964.tif 000002
【特許請求の範囲】
【請求項１】
原稿の画像データを取得する画像取得部と、
ユーザーによる操作で設定及び指示が入力される操作部と、
前記操作部に入力される指示に従ってトレーニングモード又は分類モードを設定する制御部とを備え、
前記制御部は、
前記操作部への操作により前記トレーニングモードの設定が入力された場合に、前記画像取得部により画像データが取得された原稿の画像の特徴を抽出して、当該原稿の画像の特徴を示すデータを、該原稿の種類を判別するための学習データとして収集し、
前記操作部への操作により前記分類モードが設定された場合には、前記画像取得部により画像データが取得された原稿の画像の特徴を抽出して、当該原稿の画像の特徴及び前記学習データに基づき当該原稿の種類を判別し、該判別した種類を示す情報を当該原稿の画像データに付加する画像処理装置。
【請求項２】
前記制御部は、前記分類モードでの前記原稿の種類の判別後、前記操作部への操作により異なる原稿の種類が入力された場合、前記判別した種類に代えて、当該入力された種類を示す情報を前記原稿の画像データに付加すると共に、当該判別に用いた学習データを、当該入力された異なる原稿の種類に対応付けて記憶させる請求項１に記載の画像処理装置。
【請求項３】
前記制御部は、前記原稿の画像の特徴として、該画像データの色相、コントラスト、色数、又は濃度を抽出する請求項１又は請求項２に記載の画像処理装置。
【請求項４】
表示部を更に備え、
前記制御部は、前記分類モードで判別した原稿の種類を、前記取得された原稿の画像データに対応付けて前記表示部に表示させる請求項１乃至請求項３のいずれか１つに記載の画像処理装置。
【請求項５】
原稿の画像データを取得する画像取得ステップと、
ユーザーによる操作部の操作を受け付ける操作ステップと、
前記操作ステップでトレーニングモードが設定された場合に、前記画像取得ステップで画像データを取得された原稿の画像の特徴を抽出して、当該原稿の画像の特徴を示すデータを、該原稿の種類を判別するための学習データとして収集し、前記操作ステップで分類モードが設定された場合には、前記画像取得ステップで画像データを取得された原稿の画像の特徴を抽出して、当該原稿の画像の特徴及び前記学習データに基づき当該原稿の種類を判別し、該判別した種類を示す情報を当該原稿の画像データに付加する制御ステップと、を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原稿の画像データを取得する画像処理装置及び画像処理方法に関し、特に原稿の画像データを分類するための技術に関する。
【背景技術】
【０００２】
画像処理装置としては、複合機（ＭＦＰ）、コピー機、ファクシミリ装置などがある。このような画像処理装置においては、読取った原稿の画像データを自動的に分類できることが望ましい。
【０００３】
例えば、特許文献１に記載の文書管理システムでは、読取られた文書画像データを文章領域、表領域、罫線、図領域などに分けて、各領域のレイアウト情報を抽出し、文書の画像データにおける特定の位置にある領域に対して文字認識あるいはバーコード認識を実行し、文字認識やバーコード認識によって読み取られた情報を属性として文書画像データに付加して保存し、その属性を用いることで文書画像データを検索できるようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３４２３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の文書管理システムにおいては、文書画像における特定の位置の領域に対する文字認識やバーコード認識により読取られた情報を文書画像の属性としているので、この属性は、特定の位置の領域の特徴に基づくものであって、文書画像全体の特徴に基づくものではなく、文書画像の分類が適確に行われているとは言い難い。
【０００６】
本発明は、上記の事情に鑑みなされたものであり、原稿の画像全体の特徴に基づき該原稿の画像を分類することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一局面にかかる画像処理装置は、原稿の画像データを取得する画像取得部と、ユーザーによる操作で設定及び指示が入力される操作部と、前記操作部に入力される指示に従ってトレーニングモード又は分類モードを設定する制御部とを備え、前記制御部は、前記操作部への操作により前記トレーニングモードの設定が入力された場合に、前記画像取得部により画像データが取得された原稿の画像の特徴を抽出して、当該原稿の画像の特徴を示すデータを、該原稿の種類を判別するための学習データとして収集し、前記操作部への操作により前記分類モードが設定された場合には、前記画像取得部により画像データが取得された原稿の画像の特徴を抽出して、当該原稿の画像の特徴及び前記学習データに基づき当該原稿の種類を判別し、該判別した種類を示す情報を当該原稿の画像データに付加するものである。
【０００８】
また、本発明の一局面にかかる画像処理方法は、原稿の画像データを取得する画像取得ステップと、ユーザーによる操作部の操作を受け付ける操作ステップと、前記操作ステップでトレーニングモードが設定された場合に、前記画像取得ステップで画像データを取得された原稿の画像の特徴を抽出して、当該原稿の画像の特徴を示すデータを、該原稿の種類を判別するための学習データとして収集し、前記操作ステップで分類モードが設定された場合には、前記画像取得ステップで画像データを取得された原稿の画像の特徴を抽出して、当該原稿の画像の特徴及び前記学習データに基づき当該原稿の種類を判別し、該判別した種類を示す情報を当該原稿の画像データに付加する制御ステップと、を含むものである。
【発明の効果】
【０００９】
本発明によれば、原稿の画像を読み取って、原稿の画像全体の特徴に基づき該原稿の画像を分類することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態にかかる画像処理装置を示す断面図である。
【図２】本実施形態の画像処理装置の主要内部構成を示すブロック図である。
【図３】ディープラーニングの学習データを生成するためのトレーニングモードの処理手順を示すフローチャートである。
【図４】表示部に表示された分類機能入力画面を示す図である。
【図５】表示部に表示されたトレーニングモード設定画面を示す図である。
【図６】ディープラーニングの概念を示す図である。
【図７】原稿の画像の特徴である画像の色相、コントラスト、色数、濃度と、タグ名である招待状、領収書との対応関係を例示する図表である。
【図８】分類モードでの処理手順を示すフローチャートである。
【図９】表示部に表示された分類モード設定画面を示す図である。
【図１０】表示部に表示されたポップアップ画面を示す図である。
【図１１】表示部に表示された他のポップアップ画面を示す図である。
【図１２】表示部に表示された原稿の画像のプロパティを示す図である。
【図１３】表示部に表示された原稿の画像の他のプロパティを示す図である。
【図１４】表示部に表示されたファイルの一覧を示す図である。
【図１５】表示部に表示された送信設定画面の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態にかかる画像処理装置について図面を参照して説明する。
【００１２】
図１は、本発明の一実施形態にかかる画像処理装置を示す断面図である。図１に示すように本実施形態の画像処理装置１０は、例えばコピー機能、プリンター機能、ファクシミリ機能のような複数の機能を兼ね備えたＭＦＰ（画像形成装置）である。この画像処理装置１０は、画像読取部１１と、画像形成部１２とを備えている。
【００１３】
画像読取部１１は、原稿の画像を光学的に読み取る撮像素子を有しており、この撮像素子のアナログ出力がデジタル信号に変換されて、原稿の画像を示す画像データが生成される。画像読取部１１は、特許請求の範囲における画像取得部の一例である。
【００１４】
画像形成部１２は、上記画像データによって示される画像を記録紙に形成するものであり、マゼンタ用の画像形成ユニット３Ｍ、シアン用の画像形成ユニット３Ｃ、イエロー用の画像形成ユニット３Ｙ、及びブラック用の画像形成ユニット３Ｂｋを備えている。各画像形成ユニット３Ｍ、３Ｃ、３Ｙ、及び３Ｂｋのいずれにおいても、感光体ドラム４の表面を均一帯電させ、感光体ドラム４の表面を露光して、感光体ドラム４の表面に静電潜像を形成し、感光体ドラム４の表面の静電潜像をトナー像に現像して、感光体ドラム４の表面のトナー像を中間転写ベルト５に１次転写する。これにより、カラーのトナー像が中間転写ベルト５上に形成される。このカラーのトナー像は、中間転写ベルト５と２次転写ローラー６の間のニップ域Ｎにおいて給紙部１４から搬送路８を通じて搬送されてきた記録紙Ｐに２次転写される。
【００１５】
この後、定着装置１５で記録紙Ｐが加熱及び加圧されて、記録紙Ｐ上のトナー像が熱圧着により定着され、更に記録紙Ｐが排出ローラー１６を通じて排出トレイ１７に排出される。
【００１６】
次に、図２は、本実施形態の画像処理装置１０の主要内部構成を示すブロック図である。図２に示すように本実施形態の画像処理装置１０は、画像読取部１１と、画像形成部１２と、表示部２１と、操作部２２と、タッチパネル２３と、ネットワークインターフェイス部９１と、画像メモリー２６と、画像処理部２７と、記憶部２８と、制御ユニット２９とを備えている。これらの構成要素は、互いにバスを通じてデータ又は信号の送受信が可能とされている。
【００１７】
表示部２１は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（ＯＬＥＤ：Organic Light-Emitting Diode）ディスプレイなどから構成される。操作部２２は、テンキー、決定キー、スタートキーなどの物理キーを備えている。
【００１８】
表示部２１の画面には、タッチパネル２３が配置されている。タッチパネル２３は、所謂抵抗膜方式や静電容量方式などのタッチパネルであって、タッチパネル２３に対するユーザーの指などの接触（タッチ）をその接触位置とともに検知して、その接触位置の座標を示す検知信号を制御ユニット２９の後述する制御部３１などに出力する。
【００１９】
ネットワークインターフェイス部９１は、ローカルエリア内、又はインターネット上の端末装置やサーバー等の外部装置と種々のデータの送受信を行うものである。ネットワークインターフェイス部９１は、特許請求の範囲における画像取得部の一例である。本発明の一実施形態に係る画像処理装置は、画像読取部１１又はネットワークインターフェイス部９１の少なくとも一方を備える。
【００２０】
画像メモリー２６には、画像読取部１１により読取られた原稿の画像を示す画像データが記憶される。また、制御部３１は、画像処理部２７として機能し、画像処理部２７として、画像メモリー２６内の画像データに対して、シェーディング補正などの様々な画像処理を施す。
【００２１】
なお、画像処理部２７は、制御部３１及び制御ユニット２９とは別個に設けられていてもよい。この場合、制御部３１及び画像処理部２７が特許請求の範囲における制御部の一例となる。
【００２２】
記憶部２８は、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）などの大容量の記憶装置であって、各種のアプリケーションプログラムや種々のデータを記憶している。
【００２３】
制御ユニット２９は、プロセッサー、ＲＡＭ(Random Access Memory）、及びＲＯＭ（Read Only Memory）などから構成される。プロセッサーは、例えばＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、又はＭＰＵ（Micro Processing Unit）等である。制御ユニット２９は、上記のＲＯＭ又は記憶部２８に記憶された制御プログラムが上記のプロセッサーで実行されることにより、制御部３１として機能する。
【００２４】
制御部３１は、画像処理装置１０を統括的に制御する。制御ユニット２９は、画像読取部１１、画像形成部１２、表示部２１、操作部２２、タッチパネル２３、ネットワークインターフェイス部９１、画像メモリー２６、画像処理部２７、及び記憶部２８などと接続されている。制御部３１は、これらの構成要素の動作制御や、該各構成要素との間での信号またはデータの送受信を行う。
【００２５】
制御部３１は、画像処理装置１０による画像形成に必要な各種の処理などを実行する処理部としての役割を果たす。また、制御部３１は、タッチパネル２３から出力される検知信号あるいは操作部２２の物理キーの操作に基づき、ユーザーにより入力された操作指示を受け付ける。更に、制御部３１は、表示部２１の表示動作を制御する機能、及びネットワークインターフェイス部９１の通信動作を制御する機能を有する。
【００２６】
このような構成の画像処理装置１０において、例えば、ユーザーが、原稿を画像読取部１１にセットし、操作部２２又はタッチパネル２３を操作して、コピーの実行を指示すると、制御部３１は、画像読取部１１により原稿の画像を読取らせ、該原稿の画像を示す画像データを画像メモリー２６に記憶させる。画像処理部２７は、画像データに対して各種の処理を施す。画像形成部１２は、画像データを画像メモリー２６から取得して、該画像データによって示される原稿の画像を記録紙に形成する。
【００２７】
また、ユーザーによる操作で操作部２２又はタッチパネル２３に、原稿の種類を示すタグ名と、トレーニングモードの設定と、画像読取部１１による原稿の画像の読取りの実行指示が入力され、制御部３１が、トレーニングモードの設定、当該タグ名、及び読取実行指示を受け付けた場合、制御部３１は、画像処理装置１０をトレーニングモードに設定し、画像読取部１１による原稿の画像の読取り、画像メモリー２６への画像データの記憶、及び画像処理部２７による画像データの処理を行わせる。更に、制御部３１は、画像メモリー２６に記憶された当該画像データに基づき、読み取られた原稿の画像の特徴を抽出する処理を実行する。そして、制御部３１は、このように抽出した、該原稿の画像の特徴を示すデータを、上記タグ名により示される原稿の種類を判別するための学習データとして収集する。
【００２８】
この後、ユーザーが、更なる原稿を画像読取部１１にセットし、当該ユーザーによる操作で、操作部２２又はタッチパネル２３に、分類モードの設定と、画像読取部１１による原稿の画像の読取りの実行指示とが受け付けられると、制御部３１は、分類モードを設定し、画像読取部１１による当該原稿の画像の読取り、画像メモリー２６への画像データの記憶、及び画像処理部２７による画像データの処理を行わせる。この後、制御部３１は、更に、画像メモリー２６内の当該画像データに基づき当該原稿の画像の特徴を抽出する処理を実行し、当該原稿の画像の特徴、及び上記のようにして収集されている学習データに基づき、当該原稿の種類を示すタグ名を判別し、当該判定したタグ名を示す情報を、当該原稿の画像データに付加する。すなわち、制御部３１は、このようにタグ名を示す情報を付加することにより該他の原稿を分類する。
【００２９】
従って、制御部３１は、トレーニングモードに設定している状態では、画像読取部１１により読取られた原稿の画像の特徴を示すデータを、操作部２２又はタッチパネル２３に入力されたタグ名が示す原稿の種類として判別するための学習データとして収集する。また、制御部３１は、分類モードに設定している状態では、画像読取部１１により読み取られた原稿の画像から抽出した当該原稿の画像の特徴と、この時点で収集されている学習データとを比較することで、当該原稿の画像の特徴と一致又は近似する特徴を示す学習データに対応付けられているタグ名を判別する。そして、制御部３１は、当該タグ名を示す情報を、当該読み取られた原稿の画像に付加することにより、当該読み取られた原稿の画像を分類する。なお、制御部３１は、分類モードに設定している状態でも、画像読取部１１により読取られた原稿の画像の特徴を示すデータを、タグ名を判別するための学習データとして収集する。
【００３０】
次に、上記トレーニングモードでの処理手順を、図３に示すフローチャートなどを参照して詳細に説明する。
【００３１】
まず、管理者（特定のユーザー）は、操作部２２又はタッチパネル２３を操作して、ドキュメント分類機能の実行の指示を入力する。操作部２２又はタッチパネル２３が当該指示の入力を受け付けると、制御部３１は、当該指示に応じて図４に示すような分類機能入力画面Ｇ１を表示部２１に表示させる（Ｓ１０１）。この図４に示す分類機能入力画面Ｇ１には、トレーニングモードの実行指示を入力するためのキーＫ１１、分類モードの実行指示を入力するためのキーＫ１２、及び識別情報ＩＤを入力するためのテキストボックスＴＢ１が表示されている。
【００３２】
管理者による操作部２２又はタッチパネル２３の操作により、当該管理者の識別情報ＩＤがテキストボックスＴＢ１に入力され、トレーニングモードのキーＫ１１が押下されると、制御部３１は、テキストボックスＴＢ１に入力された識別情報ＩＤが当該管理者の識別情報ＩＤに一致するか否かを認証する（Ｓ１０２）。制御部３１が、テキストボックスＴＢ１に入力された識別情報ＩＤが当該管理者の識別情報ＩＤに一致すると判定した場合（Ｓ１０２でＹＥＳ）、画像処理装置１０をトレーニングモードに設定する（Ｓ１０３）。尚、制御部３１が、テキストボックスＴＢ１に入力された識別情報ＩＤが当該管理者の識別情報ＩＤに一致しないと判定した場合（Ｓ１０２でＮＯ）、制御部３１は、トレーニングモードを設定せず、処理は終了する。
【００３３】
このようにトレーニングモードが設定されている状態で、管理者が、原稿を画像読取部１１にセットし、操作部２２又はタッチパネル２３を操作して、スキャンの実行指示を入力すると、制御部３１は、当該入力されたスキャンの実行指示に従って、画像読取部１１により原稿の画像を読取らせ、画像読取部１１から出力された原稿の画像を示す画像データを画像メモリー２６に記憶させる。画像処理部２７は、画像データに対して各種の処理を施す（Ｓ１０４）。このトレーニングモードでの画像処理部２７による各種の処理は、後で述べるＳ１０９において原稿の画像の特徴を正確に抽出させるために行われる予備処理であって、画像の濃度、コントラスト、エッジ、及びコーナーについてこれらを強調する処理等である。
【００３４】
この後、制御部３１は、図５に示すようなトレーニングモード設定画面Ｇ２を表示部２１に表示させる（Ｓ１０５）。この図５に示すトレーニングモード設定画面Ｇ２には、画像読取部１１により読取られた原稿の画像Ｄ１、既に設定されている各タグ名に対応付けられたそれぞれのキーＫ２１、Ｋ２２、Ｋ２３、Ｋ２４、Ｋ２５…、新たな原稿の種類を示すタグ名を記入するためのテキストボックスＴＢ２、及びＯＫキー２０が表示されている。
【００３５】
管理者は、表示部２１に表示されている原稿の画像Ｄ１を確認し、各キーＫ２１、Ｋ２２、…が示すいずれかのタグ名が、該原稿の種類を示すと判断した場合は、各キーＫ２１、Ｋ２２、…のうち、当該原稿の種類を示すタグ名を示すキーにタッチ操作し、また各キーＫ２１、Ｋ２２、…が示すいずれのタグ名も、該原稿の種類を示すタグ名ではないと判断した場合は、操作部２２又はタッチパネル２３を操作して、新たな原稿の種類を示すタグ名をテキストボックスＴＢ２に入力して、ＯＫキー２０にタッチ操作する。
【００３６】
制御部３１は、タッチパネル２３を通じて各キーＫ２１、Ｋ２２、…のいずれかのタッチ操作を検出すると（Ｓ１０６「キー」）、該指示されたキーに対応付けられているタグ名を取得する（Ｓ１０７）。また、制御部３１は、タッチパネル２３を通じてＯＫキー２０のタッチ操作を検出すると（Ｓ１０６「タグ名」）、テキストボックスＴＢ２に入力されたタグ名を取得する（Ｓ１０８）。
【００３７】
そして、制御部３１は、画像メモリー２６内の原稿の画像Ｄ１を示す画像データを解析して、原稿の画像Ｄ１の特徴を抽出する（Ｓ１０９）。
【００３８】
更に、制御部３１は、Ｓ１０９で抽出した当該原稿の画像Ｄ１の特徴を示すデータを、Ｓ１０７又はＳ１０８で取得したタグ名が示す、当該原稿の種類を判別するための例えばディープラーニング用の学習データとして収集する（Ｓ１１０）。制御部３１は、このディープラーニングの学習データを記憶部２８に記憶させる（Ｓ１１０）。
【００３９】
上記では、制御部３１による画像データの解析及び画像の特徴抽出の対象とされるのは、画像読取部１１により読み取られた原稿画像とされているが、これに代えて、ネットワークインターフェイス部９１により上記端末装置又はサーバー等から取得された画像を、画像データの解析及び画像の特徴抽出の対象としてもよい。
【００４０】
例えば、原稿の種類を示すタグ名は、契約書、領収書、証明書、招待状、又はポスターなどである。また、制御部３１は、画像処理部２７により、原稿の画像の特徴として、画像の色相、コントラスト、色数、又は濃度などの要素を抽出する。学習データは、制御部３１が行う上記ディープラーニングによる学習に用いられる。
【００４１】
例えば、管理者が、招待状を画像読取部１１にセットし、操作部２２又はタッチパネル２３を操作して、トレーニングモードの設定を入力し、「招待状」をタグ名として入力すると共に、スキャンの実行を指示したものとする。制御部３１は、タグ名として「招待状」を取得し、画像読取部１１により招待状の画像を読取らせて、招待状の画像を示す画像データを画像メモリー２６に記憶させ、画像処理部２７により画像データに対して各種の処理を施させる。そして、制御部３１は、招待状の画像の特徴を抽出し、該招待状の画像の特徴を示すデータを、当該原稿の種類を判別するための学習データとして収集する。
【００４２】
図７は、原稿の画像の特徴である画像の色相、コントラスト、色数、濃度と、タグ名である招待状、領収書との対応関係を例示する図表Ａである。トレーニングモードでは、図７の図表Ａに示すように、管理者により入力された各タグ名に対応する画像の特徴として、画像の色相、コントラスト、色数、濃度の組み合わせが用いられる例を示している。この例では、タグ名として、招待状及び領収書が用いられる場合を示している。
【００４３】
トレーニングモードが設定された状態で、管理者は、原稿を画像読取部１１にセットし、操作部２２又はタッチパネル２３を操作して、原稿の種類を示すタグ名を入力すると共に、スキャンの実行を指示する。制御部３１は、画像読取部１１により読取られた原稿の画像の特徴を抽出し、当該原稿の画像の特徴を示すデータを、該原稿の種類を判別するための学習データとして収集する。
【００４４】
本実施形態では、原稿の種類を判別するための処理に、ディープラーニングが用いられる。図６は、制御部３１が行うディープラーニングの概念を示す図である。この図６に示すディープラーニングでは、入力層ＩＬから画像の特徴を入力し、中間層（複数のノードＭＬ）を経由して出力層ＯＬからタグ名を出力する。各ノードＭＬをどのように接続するか、あるいは各ノードＭＬが「どのような入力に対して、どのような出力を行うか」などを調整していくことで、つまり学習データを学習して生成するかあるいは更新することで、入力された画像の特徴に基づき取得されるタグ名を決定して出力するものとなっている。
【００４５】
このディープラーニングにおいて、トレーニングモードでは、管理者により入力されたタグ名に対応する画像の特徴として入力層ＩＬから入力した画像の特徴を示す各要素を、ノードＭＬとして記憶する。当該ノードＭＬの集合が学習データの一例である。
【００４６】
また、分類モードでは、出力層ＯＬでは、入力層ＩＬから入力した画像の特徴に対応するタグ名を暫定的に決定して出力する。この暫定的なタグ名が、管理者により正式なタグ名を示しているとして承認された場合は、各ノードＭＬを、当該承認されたタグ名と対応付けて記憶する。また、この暫定的なタグ名が、管理者により変更された場合には、各ノードＭＬが更新され、暫定的に決定されるタグ名が、管理者により変更されたタグ名に一致するまでその更新が行われる（すなわち、学習データが更新される）。各ノードＭＬの階層が深くなり、各ノードＭＬが多くなる程、複雑な分類や判断ができるようになり、入力された画像の特徴に対応するタグ名を正確に判定可能となる。従って、ディープラーニングの学習データは、トレーニングモード及び分類モードで処理された原稿の画像が多くなり、これにより各ノードＭＬの階層が深くなって、各ノードＭＬが多くなることでより有効なものとなる。好ましくは、正確なタグ名の取得率（暫定的に決定されたタグ名が、管理者により正式なタグ名を示しているとして承認される率）が例えば９５％以上となるように、トレーニングモードで処理された原稿の画像を増やすようにする。
【００４７】
なお、制御部３１は、原稿の種類を判別するための処理に、ディープラーニングを用いずに、タグ名に対応付けて収集した原稿の画像の特徴を用い、タグ名と、収集した原稿の画像の特徴との対応関係に基づいて、原稿の種類を判別するものとしてもよい。
【００４８】
次に、上記分類モードでの処理手順を、図８に示すフローチャートなどを参照して詳細に説明する。
【００４９】
ユーザーは、操作部２２又はタッチパネル２３を操作して、ドキュメント分類機能の実行を指示する。制御部３１は、ドキュメント分類機能の実行の指示に応じて図４に示す分類機能入力画面Ｇ１を表示部２１に表示させる（Ｓ２０１）。
【００５０】
ユーザーは、操作部２２又はタッチパネル２３を操作して、自己の識別情報ＩＤをテキストボックスＴＢ１に記入して、分類モードのキーＫ１２を操作する。制御部３１は、この操作に基づいて分類モードの設定指示が操作部２２又はタッチパネル２３に入力されたとき（Ｓ２０２でＹＥＳ）、分類モードを設定する（Ｓ２０３）。なお、この設定指示の入力がないときは（Ｓ２０２でＮＯ）、処理は終了する。
【００５１】
このように分類モードが設定された状態で、ユーザーが、原稿を画像読取部１１にセットし、操作部２２又はタッチパネル２３を操作して、スキャンの実行を指示すると、制御部３１は、画像読取部１１により原稿の画像を読取らせ、原稿の画像を示す画像データを画像メモリー２６に記憶させ、画像処理部２７により画像データに対して各種の処理を施させる（Ｓ２０４）。この分類モードでの画像処理部２７による各種の処理も、トレーニングモードと同様に、原稿の画像の特徴を正確に抽出させるために行われる画像の濃度、コントラスト、エッジ、コーナーを強調する処理等である。
【００５２】
また、制御部３１は、図９に示すような分類モード設定画面Ｇ３を表示部２１に表示させる（Ｓ２０５）。この図９に示す分類モード設定画面Ｇ３には、画像読取部１１により読取られた原稿の画像データＤ２、及び開始キーＫ３１が表示されている。
【００５３】
例えば、ユーザーが、表示部２１に表示されている開始キーＫ３１にタッチ操作すると、制御部３１は、タッチパネル２３を通じて開始キーＫ３１のタッチ操作に基づいて分類処理の実行指示を受け付け、この指示に従って、画像処理部２７により画像メモリー２６内の原稿の画像データＤ２を示す画像データを解析して、原稿の画像データＤ２の特徴を抽出すると共に、原稿の画像データＤ２の特徴、及び記憶部２８に記憶されている上記ディープラーニングで得た学習データに基づいて、原稿の画像データＤ２のタグ名を判別する（Ｓ２０６）。そして、制御部３１は、図１０に示すようなポップアップ画面Ｐ１を分類モード設定画面Ｇ３内に表示させる。この図１０に示すポップアップ画面Ｐ１には、Ｓ２０６で判別された原稿の画像データＤ２のタグ名と共に、ＯＫキーＫ３２、及びＮＧキーＫ３３が表示される。
【００５４】
ユーザーは、ポップアップ画面Ｐ１の原稿の画像データＤ２のタグ名が正しいと判断すると、ＯＫキーＫ３２にタッチ操作する。制御部３１は、タッチパネル２３を通じてＯＫキーＫ３２のタッチ操作を検出すると（Ｓ２０７「ＯＫ」）、Ｓ２０６で判別したタグ名を示す情報を原稿の画像データＤ２に付加する（Ｓ２０８）。すなわち、制御部３１は、原稿の画像データＤ２を分類する。そして、制御部３１はＳ２０６で抽出した当該原稿の画像データＤ２の特徴を用いて、当該原稿の種類を示すタグ名を判別するためのディープラーニングの学習データを更新し、この学習データを記憶部２８に記憶させる（Ｓ２０９）。
【００５５】
また、ユーザーは、ポップアップ画面Ｐ１の原稿の画像データＤ２のタグ名が誤っていると判断すると、ＮＧキーＫ３３にタッチ操作する。制御部３１は、タッチパネル２３を通じてＮＧキーＫ３３のタッチ操作を検出すると（Ｓ２０７「ＮＧ」）、図１１に示すようなポップアップ画面Ｐ２を分類モード設定画面Ｇ３内に表示させる。この図１１に示すポップアップ画面Ｐ２には、新たな原稿の種類を示すタグ名を入力するためのテキストボックスＴＢ３、既に設定されている各タグ名に対応付けられたそれぞれのキーＫ２１、Ｋ２２、Ｋ２３、Ｋ２４、Ｋ２５…、及びＯＫキーＫ４１が表示されている。
【００５６】
ユーザーは、表示部２１に表示されている原稿の画像データＤ２を確認し、各キーＫ２１、Ｋ２２、…のいずれかが該原稿の種類を示すタグ名に対応付けられていれば、該当するキーを操作し、制御部３１は、タッチパネル２３を通じて各キーＫ２１、Ｋ２２、…のいずれかのタッチ操作を検出すると、該操作されたキーに対応付けられている原稿の種類を示すタグ名を、当該原稿の画像データに付加すべき正式なタグ名として取得する（Ｓ２１０）。一方、各キーＫ２１、Ｋ２２、…のいずれも該原稿の種類を示すタグ名に対応付けられていなければ、ユーザーは操作部２２又はタッチパネル２３を操作して、新たな原稿の種類を示すタグ名をテキストボックスＴＢ３に記入し、ＯＫキーＫ４１にタッチ操作する。制御部３１は、ＯＫキーＫ４１のタッチ操作を検出した場合は、テキストボックスＴＢ３に記入された新たな原稿の種類を示すタグ名を、当該原稿の画像に付加すべき正式なタグ名として取得する（Ｓ２１０）。制御部３１は、Ｓ２１０で取得したタグ名を示す情報を原稿の画像データＤ２に付加する。
【００５７】
そして、制御部３１は、ここで用いた原稿の画像データＤ２の特徴を、Ｓ２１０で取得したタグ名を判別するための学習データとして収集し、この原稿の画像データＤ２の特徴を用いて、上述したようにしてディープラーニングにより学習データを更新し、更新した学習データを記憶部２８に記憶させる（Ｓ２０９）。
【００５８】
上記では、制御部３１による画像データの解析及び画像の特徴抽出の対象とされるのは、画像読取部１１により読み取られた原稿画像とされているが、これに代えて、ネットワークインターフェイス部９１により上記端末装置又はサーバー等から取得された画像を、画像データの解析及び画像の特徴抽出の対象としてもよい。
【００５９】
従って、ユーザーは、分類モードを設定し、画像読取部１１により原稿の画像を読取らせるだけで、該原稿の画像の分類を自動的に行わせることができ、該原稿の画像が正しく分類されなければ、新たな原稿の種類を示す正しいタグ名を入力して、新たな原稿の画像の特徴に基づきその入力した正しいタグ名が導出されるようにディープラーニングの学習データを更新させることができる。
【００６０】
図１２乃至図１５は、原稿の画像データに対するタグ名を示す情報の付加の例を示している。
【００６１】
図１２は、表示部２１に表示された原稿の画像のプロパティＰＲ１を示している。制御部３１は、原稿の画像データに、当該原稿の画像に対するタグ名を示す情報を付加して当該原稿の画像データとともに記憶しておき、当該タグ名を、当該原稿の画像について表示するプロパティ画像としてのプロパティＰＲ１において、その表示項目の一つとして項目Ｑ１（ドキュメントの種類）に表示させる。
【００６２】
図１３は、表示部２１に表示された原稿の画像のプロパティＰＲ２を示している。制御部３１は、原稿の画像データに、当該原稿の画像に対するタグ名を示す情報を付加して当該原稿の画像データとともに記憶しておき、当該タグ名を、当該原稿の画像について表示するプロパティ画像としてのプロパティＰＲ２において、その表示項目の一つとして項目Ｑ２（タグ）に表示させる。
【００６３】
図１４は、制御部３１により表示部２１に表示されるファイルの一覧ＦＲを示している。制御部３１は、原稿の画像データに、当該原稿の画像に対するタグ名を示す情報を付加して当該原稿の画像データとともに記憶しておき、当該タグ名を、ファイルの一覧を示す画像である一覧画像ＦＲにおけるタグ名の項目Ｑ３に表示させる。
【００６４】
図１５は、制御部３１により表示部２１に表示される送信設定画面の一例を示す。制御部３１は、原稿の画像データに当該原稿の画像に対するタグ名を示す情報を付加して当該原稿の画像データとともに記憶しておき、原稿の画像データを画像処理装置１０に接続された例えばコンピューター内の記憶部にあるフォルダに向けて送信するときの送信設定を行う設定画面Ｇ５を表示部２１に表示させるとき、当該タグ名を、設定画面Ｇ５におけるプレビュー画像表示領域ＦＲ２におけるタグ名の項目Ｑ５に表示させる。すなわち、当該タグ名はプレビュー表示時に原稿に関する情報として表示される。
【００６５】
このようなプロパティやファイルの一覧に対するタグ名の表示により、実行された原稿の画像の分類が容易に確認可能となる。
【００６６】
尚、上記実施形態では、本発明の一実施形態を、画像処理装置（複合機）を用いて説明しているが、これは一例に過ぎず、コピー機、プリンター、ファクシミリ装置等の他の画像処理装置でもよい。
【００６７】
また、図１乃至図１５を用いて説明した上記実施形態の構成及び処理は、本発明の一例に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。
【符号の説明】
【００６８】
１０    画像処理装置
１１    画像読取部
１２    画像形成部
２１    表示部
２２    操作部
２３    タッチパネル
２８    記憶部
２９    制御ユニット
３１    制御部
９１    ネットワークインターフェイス部
【図１】
2020134964.tif 000003
【図２】
2020134964.tif 000004
【図３】
2020134964.tif 000005
【図４】
2020134964.tif 000006
【図５】
2020134964.tif 000007
【図６】
2020134964.tif 000008
【図７】
2020134964.tif 000009
【図８】
2020134964.tif 000010
【図９】
2020134964.tif 000011
【図１０】
2020134964.tif 000012
【図１１】
2020134964.tif 000013
【図１２】
2020134964.tif 000014
【図１３】
2020134964.tif 000015
【図１４】
2020134964.tif 000016
【図１５】
2020134964.tif 000017
【手続補正書】
【提出日】令和2年6月19日(2020.6.19)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正の内容】
【図１２】
2020134964.tif 000018
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図１３
【補正方法】変更
【補正の内容】
【図１３】
2020134964.tif 000019
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図１４
【補正方法】変更
【補正の内容】
【図１４】
2020134964.tif 000020