【手続補正書】
【提出日】令和3年6月24日(2021.6.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
モデル情報を用いて入力データを処理することによって生成される第１出力データから第２出力データを生成するシステムに設定する、前記モデル情報を生成するための機械学習に用いる学習データを生成する計算機であって、
プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるインタフェースを備え、
前記プロセッサは、
解析用入力データを取得し、
任意の生成条件に基づいて、前記解析用入力データから解析用第１出力データを生成し、
前記解析用第１出力データから解析用第２出力データを生成し、
前記解析用第２出力データを解析し、
前記解析用第２出力データがユーザ要求を満たすデータである場合、前記解析用入力データ及び前記解析用第１出力データから構成されるデータを前記学習データとして生成することを特徴とする計算機。
【請求項２】
請求項１に記載の計算機であって、
前記プロセッサは、前記システムから出力され、かつ、ユーザ要求を満たさない前記第２出力データが生成された前記第１出力データの生成元となる前記入力データを前記解析用入力データとして取得することを特徴とする計算機。
【請求項３】
請求項１に記載の計算機であって、
前記プロセッサは、
前記解析用入力データに含まれる要素データから前記解析用第１出力データを生成し、
前記解析用第１出力データから生成された前記解析用第２出力データがユーザ要求を満たすデータである場合、前記要素データ及び前記解析用第１出力データを前記学習データとして生成することを特徴とする計算機。
【請求項４】
請求項１に記載の計算機であって、
前記プロセッサは、前記モデル情報によって定義されるアルゴリズムとは異なるアルゴリズムに基づいて、前記解析用第１出力データを生成することを特徴とする計算機。
【請求項５】
請求項１に記載の計算機であって、
前記記憶装置は、評価用入力データを格納し、
前記プロセッサは、
前記学習データを用いた学習処理を実行することによって新規モデル情報を生成し、
前記新規モデル情報を用いて前記評価用入力データを処理することによって生成される前記第１出力データから前記第２出力データを生成し、
前記第２出力データを解析することによって、前記新規モデル情報の品質を評価する指標を算出し、
前記指標に基づいて、前記新規モデル情報を保存するか否かを判定することを特徴とする計算機。
【請求項６】
計算機が実行する、モデル情報を用いて入力データを処理することによって生成される第１出力データから第２出力データを生成するシステムに設定する、前記モデル情報を生成するための機械学習に用いる学習データの生成方法であって、
前記計算機は、プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるインタフェースを有し、
前記学習データの生成方法は、
前記プロセッサが、解析用入力データを取得する第１のステップと、
前記プロセッサが、任意の生成条件に基づいて、前記解析用入力データから解析用第１出力データを生成する第２のステップと、
前記プロセッサが、前記解析用第１出力データから解析用第２出力データを生成する第３のステップと、
前記プロセッサが、前記解析用第２出力データを解析する第４のステップと、
前記プロセッサが、前記解析用第２出力データがユーザ要求を満たすデータである場合、前記解析用入力データ及び前記解析用第１出力データから構成されるデータを前記学習データとして生成する第５のステップと、を含むことを特徴とする学習データの生成方法。
【請求項７】
請求項６に記載の学習データの生成方法であって、
前記第１のステップは、前記プロセッサが、前記システムから出力され、かつ、ユーザ要求を満たさない前記第２出力データが生成された前記第１出力データの生成元となる前記入力データを前記解析用入力データとして取得するステップを含むことを特徴とする学習データの生成方法。
【請求項８】
請求項６に記載の学習データの生成方法であって、
前記第２のステップは、前記プロセッサが、前記解析用入力データに含まれる要素データから前記解析用第１出力データを生成するステップを含み、
前記第５のステップは、前記プロセッサが、前記解析用第１出力データから生成された前記解析用第２出力データがユーザ要求を満たすデータである場合、前記要素データ及び前記解析用第１出力データを前記学習データとして生成するステップを含むことを特徴とする学習データの生成方法。
【請求項９】
請求項６に記載の学習データの生成方法であって、
前記プロセッサは、前記モデル情報によって定義されるアルゴリズムとは異なるアルゴリズムに基づいて、前記解析用第１出力データを生成することを特徴とする学習データの生成方法。
【請求項１０】
請求項６に記載の学習データの生成方法であって、
前記記憶装置は、評価用入力データを格納し、
前記学習データの生成方法は、
前記プロセッサが、
前記学習データを用いた学習処理を実行することによって新規モデル情報を生成し、
前記新規モデル情報を用いて前記評価用入力データを処理することによって生成される前記第１出力データから前記第２出力データを生成し、
前記第２出力データを解析することによって、前記新規モデル情報の品質を評価する指標を算出し、
前記指標に基づいて、前記新規モデル情報を保存するか否かを判定することを特徴とする学習データの生成方法。
【請求項１１】
複数の計算機を備える計算機システムであって、
前記複数の計算機の各々は、プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるインタフェースを有し、
前記複数の計算機は、モデル情報を用いて入力データを処理することによって生成される第１出力データから第２出力データを生成する処理を実行する第１計算機と、前記モデル情報を生成するための機械学習に用いる学習データを生成する第２計算機とを含み、
前記第２計算機は、
解析用入力データを取得し、
任意の生成条件に基づいて、前記解析用入力データから解析用第１出力データを生成し、
前記解析用第１出力データから解析用第２出力データを生成し、
前記解析用第２出力データを解析し、
前記解析用第２出力データがユーザ要求を満たすデータである場合、前記解析用入力データ及び前記解析用第１出力データから構成されるデータを前記学習データとして生成することを特徴とする計算機システム。
【請求項１２】
請求項１１に記載の計算機システムであって、
前記第２計算機は、前記第１計算機から出力され、かつ、ユーザ要求を満たさない前記第２出力データが生成された前記第１出力データの生成元となる前記入力データを前記解析用入力データとして取得することを特徴とする計算機システム。
【請求項１３】
請求項１１に記載の計算機システムであって、
前記第２計算機は、
前記解析用入力データに含まれる要素データから前記解析用第１出力データを生成し、
前記解析用第１出力データから生成された前記解析用第２出力データがユーザ要求を満たすデータである場合、前記要素データ及び前記解析用第１出力データを前記学習データとして生成することを特徴とする計算機システム。
【請求項１４】
請求項１１に記載の計算機システムであって、
前記第２計算機は、前記モデル情報によって定義されるアルゴリズムとは異なるアルゴリズムに基づいて、前記解析用第１出力データを生成することを特徴とする計算機システム。
【請求項１５】
請求項１１に記載の計算機システムであって、
前記第２計算機は、評価用入力データを管理し、
前記第２計算機は、
前記学習データを用いた学習処理を実行することによって新規モデル情報を生成し、
前記評価用入力データを前記第１計算機に出力し、
前記第１計算機は、前記新規モデル情報に基づいて前記評価用入力データを処理することによって生成される前記第１出力データから前記第２出力データを生成して、前記第２計算機に出力し、
前記第２計算機は、
前記評価用入力データから生成された前記第２出力データを解析することによって、前記新規モデル情報の品質を評価する指標を算出し、
前記指標に基づいて、前記新規モデル情報を適用するか否かを判定することを特徴とする計算機システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
ここで、機械学習技術を用いた画像処理を例にして、学習データについて説明する。学習データは、例題データと、画像処理の正しい結果を示す教師データとから構成されるデータである。例えば、文字の識別処理における機械学習の例題データは、文字列を含む画像等であり、教師データは画像に含まれる文字列を構成する文字の文字コード等である。また、画像処理の場合、例題データは撮影やスキャンによって取得したままの画像などであり、教師データは例題データを処理して得たい理想状態に加工された画像等である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
具体的には、学習データ生成モジュール１１２は、解析用画像データ２０４を用いて第３データ処理を実行して候補教師データ３０１を生成し、候補教師データ３０１に対して第２データ処理を実行して解析用出力データ３０２を生成する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
具体的には、学習データ生成モジュール１１２が、解析用画像データ２０４及び候補教師データ３０１から構成される学習データ２０５を生成する。学習データ生成モジュール１１２は、学習データ２０５を学習データ管理情報１２２に格納する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
なお、解析用画像データ２０４の一部から候補教師データ３０１が生成されてもよい。この場合、解析用画像データ２０４の一部と候補教師データ３０１から構成されるデータが学習データ２０５として生成される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
実施例２の計算機１００は、画像処理として文字認識処理を実行する。文字認識処理では、画像データ２０１が二値画像データに変換され、二値画像データに対して文字認識が行われる。実施例２の画像処理では、文字列の認識結果の正確性が、出力データ２０３に対するユーザ要求として設定される。すなわち、正しい文字列が抽出できた場合、出力データ２０３はユーザ要求を満たすものと判定され、誤った文字列又は認識できない文字列が抽出された場合、出力データ２０３はユーザ要求を満たさないものと判定される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
画像処理モジュール１１１は、画像データ２０１又は解析用画像データ２０４から二値画像データを処理データ２０２として生成する第１データ処理を実行し、二値画像データを用いた文字認識処理を行って、認識結果を出力データ２０３として生成する第２データ処理を実行する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
モデル管理情報５２１は、学習処理によって生成されたモデル情報１２１を管理するための情報である。モデル管理情報５２１には、生成されたモデル情報１２１が履歴として格納される。モデル管理情報５２１のデータ構造の詳細は図６を用いて説明する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
日時６０３は、モデル情報１２１を生成するための学習処理が実行された日時を格納するフィールドである。日時６０３は、モデル情報１２１の世代を特定するための情報として用いられる。なお、日時６０３の代わりに、使用した学習データ２０５のセット、及び作成者等を格納するフィールドを設けてもよい。また、日時６０３とともに、前述のようなフィールドを設けてもよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
画像処理結果情報５２２は、画像データＩＤ８０１、画像データ８０２、二値画像データ８０３、及び文字認識データ８０４から構成されるエントリを含む。一つの解析用画像データ２０４に対して一つのエントリが存在する。なお、エントリに含まれるフィールドは一例であって、前述した以外のフィールドを含んでもよい。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
候補教師データ管理情報５２４は、画像データＩＤ１００１、文字列ＩＤ１００２、文字列１００３、座標１００４、正解文字列１００５、解析用二値画像データ１００６、及び解析用文字列１００７から構成されるエントリを含む。一つの解析用画像データ２０４に対して一つのエントリが存在する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１１６
【補正方法】変更
【補正の内容】
【０１１６】
学習データ生成モジュール１１２は、文字認識データに基づいて、生成された各行の文字列ＩＤ１００２、文字列１００３、及び座標１００４に値を格納する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１１７
【補正方法】変更
【補正の内容】
【０１１７】
学習データ生成モジュール１１２は、解析用画像データ２０４のメタデータを参照し、各行の正解文字列１００５に値を格納する。なお、手動で設定する場合には、学習データ生成モジュール１１２は、認識結果を表示する画面を提示し、文字列の入力を受け付ける。以上がステップＳ１１０４の処理の説明である。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１２４
【補正方法】変更
【補正の内容】
【０１２４】
このとき、学習データ生成モジュール１１２は、ステップＳ１１０４において候補教師データ管理情報５２４に追加されたエントリを参照し、ターゲット解析領域に対応する行の解析用二値画像データ１００６に、生成された候補教師データ３０１を格納する。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１２７
【補正方法】変更
【補正の内容】
【０１２７】
このとき、学習データ生成モジュール１１２は、ステップＳ１１０４において候補教師データ管理情報５２４に追加されたエントリを参照し、ターゲット解析領域に対応する行の解析用文字列１００７に、生成された解析用出力データ３０２を格納する。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１３２
【補正方法】変更
【補正の内容】
【０１３２】
具体的には、学習データ生成モジュール１１２が、ターゲット解析領域の画像及び候補教師データ３０１から構成される学習データ２０５を生成する。学習データ生成モジュール１１２は、学習データ管理情報１２２にエントリを追加し、追加されたエントリの学習データＩＤ７０１に識別情報を格納する。また、学習データ生成モジュール１１２は、追加されたエントリの画像データ７０２にターゲット解析領域の画像を格納し、二値画像データ７０３に候補教師データ３０１を格納する。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１４６
【補正方法】変更
【補正の内容】
【０１４６】
（バリエーション２）図１１Ａ及び図１１Ｂで説明した処理では、全ての解析領域に対して学習データ２０５が生成されていたが、これに限定されない。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１５７
【補正方法】変更
【補正の内容】
【０１５７】
削除ボタン１４０８は、学習データ２０５を削除するためのボタンである。学習データ生成モジュール１１２は、削除ボタン１４０８が操作された場合、学習データ管理情報１２２から確認画面１４００に表示される学習データ２０５を削除する。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１６３
【補正方法】変更
【補正の内容】
【０１６３】
学習データの設定指示を受信したと判定された場合、学習データ設定モジュール５１２は、学習データ管理情報１２２を更新し（ステップＳ１５０３）、その後、設定処理を終了する。このとき、学習データ設定モジュール５１２は、学習データ生成モジュール１１２に完了通知を送信する。
【手続補正２０】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2020126328.tif 000001
【手続補正２１】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2020126328.tif 000002
【手続補正２２】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2020126328.tif 000003
【手続補正２３】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正の内容】
【図１２】
2020126328.tif 000004
【手続補正２４】
【補正対象書類名】図面
【補正対象項目名】図１４
【補正方法】変更
【補正の内容】
【図１４】
2020126328.tif 000005