【事件の表示】
　特許第６５９０３５５号発明「学習モデル生成装置、文字認識装置、学習モデル生成方法、文字認識方法、及びプログラム」の特許異議申立事件について、次のとおり決定する。
【結　論】
　特許第６５９０３５５号の特許請求の範囲を訂正請求書に添付された訂正特許請求の範囲のとおり、訂正後の請求項〔１〜１０〕、１１、１２について訂正することを認める。
　特許第６５９０３５５号の請求項１〜１２に係る特許を維持する。
【理　由】
第１　手続の経緯
　特許第６５９０３５５号（以下、「本件特許」という。）の請求項１〜１２に係る特許についての出願は、平成３１年４月２６日の出願であって、令和元年９月２７日にその特許権の設定登録（特許公報発行日　令和元年１０月１６日）がされ、その特許について、令和２年４月１６日に特許異議申立人飯田進により特許異議の申立てがされた。
　そして、その後の経緯は次のとおりである。
　令和２年　６月２９日付け　取消理由通知
　　　同年　９月　１日　　　訂正請求書、意見書の提出（特許権者）
　　　同年１０月１６日　　　意見書の提出（特許異議申立人）
　　　同年１１月１０日付け　取消理由通知（決定の予告）
　令和３年　１月　８日　　　訂正請求書、意見書の提出（特許権者）
　　　同年　３月　９日　　　意見書の提出（特許異議申立人）
第２　訂正の適否についての判断
１　請求の趣旨、訂正の内容
（１）請求の趣旨
　令和３年１月８日に特許権者により行われた、願書に添付した特許請求の範囲の訂正（以下、「本件訂正」という。）の請求の趣旨は、特許第６５９０３５５号の特許請求の範囲を、本訂正請求書（以下、「本件訂正請求書」という。）に添付した訂正特許請求の範囲のとおり、訂正後の請求項１〜１２について訂正することを求める、というものである。
（２）訂正の内容
　本件訂正の内容は以下ア〜ウのとおりである。
ア　訂正事項１
　特許請求の範囲の請求項１に「帳票の手書き文字領域に記入されうる１又は複数の単語が登録されたデータベースと、１文字単位の手書き文字画像のデータセットと、に基づいて文字列画像及び正解ラベルを含む学習用データを生成する学習用データ生成部と、前記学習用データを用いた第１学習により、学習モデルを生成する学習モデル生成部と、を備える、学習モデル生成装置」と記載されているのを、「帳票の手書き文字領域に記入されうる１又は複数の単語が
前記文字領域のそれぞれに対応して
複数の
の各々から単語を抽出し、
から前記単語に含まれる文字ごとに対応する１文字単位の手書き文字画像を読み出すことにより、前記文字領域ごとに
前記文字領域ごとに
イ　訂正事項２
　特許請求の範囲の請求項１１に「学習モデルを生成するコンピュータが実行する学習モデル生成方法であって、帳票の手書き文字領域に記入されうる１又は複数の単語が登録されたデータベースと、１文字単位の手書き文字画像のデータセットと、に基づいて文字列画像及び正解ラベルを含む学習用データを生成するステップと、前記学習用データを用いた第１学習により、学習モデルを生成するステップと、を含む、学習モデル生成方法」と記載されているのを、「学習モデルを生成するコンピュータが実行する学習モデル生成方法であって、帳票の手書き文字領域に記入されうる１又は複数の単語が
前記文字領域のそれぞれに対応して
複数の
の各々から単語を抽出し、
から前記単語に含まれる文字ごとに対応する１文字単位の手書き文字画像を読み出すことにより、前記文字領域ごとに
前記文字領域ごとに
ウ　訂正事項３
　特許請求の範囲の請求項１２に「コンピュータを、帳票の手書き文字領域に記入されうる１又は複数の単語が登録されたデータベースと、１文字単位の手書き文字画像のデータセットと、に基づいて文字列画像及び正解ラベルを含む学習用データを生成する学習用データ生成部と、前記学習用データを用いた第１学習により、学習モデルを生成する、学習モデル生成部と、して機能させるプログラム」と記載されているのを、「コンピュータを、帳票の手書き文字領域に記入されうる１又は複数の単語が
登録された前記文字領域のそれぞれに対応して
複数の
の各々から単語を抽出し、
から前記単語に含まれる文字ごとに対応する１文字単位の手書き文字画像を読み出すことにより、前記文字領域ごとに
前記文字領域ごとに
２　一群の請求項について
　訂正前の請求項２〜１０は、それぞれ請求項１を直接的又は間接的に引用し、請求項１の訂正に連動して訂正されるものであるから、訂正前の請求項１〜１０に対応する訂正後の請求項１〜１０は、特許法第１２０条の５第４項に規定する一群の請求項である。
　そして、訂正事項１は、一群の請求項〔１〜１０〕についてされたものであるから、特許法第１２０条の５第４項の規定に適合するものである。
３　訂正の目的の適否、新規事項の追加の有無、特許請求の範囲の拡張・変更の存否について
（１）訂正事項１及び３について
ア　訂正の目的の適否について
　訂正事項１及び３は、訂正前の請求項１及び１２の「帳票の手書き文字領域に記入されうる１又は複数の単語が登録されたデータベースと、１文字単位の手書き文字画像のデータセットと、に基づいて文字列画像及び正解ラベルを含む学習用データを生成する学習用データ生成部」を「帳票の手書き文字領域に記入されうる１又は複数の単語が
前記文字領域のそれぞれに対応して
複数の
の各々から単語を抽出し、
から前記単語に含まれる文字ごとに対応する１文字単位の手書き文字画像を読み出すことにより、前記文字領域ごとに
前記文字領域ごとに
　したがって、訂正事項１及び３は、特許法第１２０条の５第２項ただし書第１号の規定に適合するものである。
イ　新規事項の追加の有無について
　訂正事項１及び３は、「学習用データ生成部」に係る訂正が、特許公報の明細書の段落００２５〜００２９及び図３等の記載に基づくものであり、「学習モデル生成部」に係る訂正が、特許公報の明細書の段落００３２等の記載に基づくものである。
　よって、訂正事項１及び３は、新たな技術的事項を導入するものではなく、願書に添付した明細書、特許請求の範囲または図面に記載した事項の範囲内の訂正である。
　したがって、訂正事項１及び３は、特許法第１２０条の５第９項で準用する同法第１２６条第５項の規定に適合するものである。
ウ　特許請求の範囲の拡張又は変更の存否について
　上記アから明らかなように、訂正事項１及び３は、訂正前の請求項１及び１２における学習用データ生成部及び学習モデル生成部をより狭い範囲に限定するものであり、カテゴリーや対象、目的を変更するものではないから、実質上特許請求の範囲を拡張し、または変更するものには該当せず、特許法第１２０条の５第９項で準用する同法第１２６条第６項の規定に適合するものである。
（２）訂正事項２について
ア　訂正の目的の適否について
　訂正事項２は、訂正前の請求項１１の「帳票の手書き文字領域に記入されうる１又は複数の単語が登録されたデータベースと、１文字単位の手書き文字画像のデータセットと、に基づいて文字列画像及び正解ラベルを含む学習用データを生成するステップ」を「帳票の手書き文字領域に記入されうる１又は複数の単語が
前記文字領域のそれぞれに対応して
複数の
の各々から単語を抽出し、
から前記単語に含まれる文字ごとに対応する１文字単位の手書き文字画像を読み出すことにより、前記文字領域ごとに
前記文字領域ごとに
　したがって、訂正事項２は、特許法第１２０条の５第２項ただし書第１号の規定に適合するものである。
イ　新規事項の追加の有無について
　訂正事項２は、「学習用データを生成するステップ」に係る訂正が、明細書の段落００２５〜００２９及び図３等の記載に基づくものであり、「学習モデルを生成するステップ」に係る訂正が、明細書の段落００３２等の記載に基づくものである。
　よって、訂正事項２は、新たな技術的事項を導入するものではなく、願書に添付した明細書、特許請求の範囲または図面に記載した事項の範囲内の訂正である。
　したがって、訂正事項２は、特許法第１２０条の５第９項で準用する同法第１２６条第５項の規定に適合するものである。
ウ　特許請求の範囲の拡張又は変更の存否について
　上記アから明らかなように、訂正事項２は、訂正前の請求項１１における学習用データを生成するステップ及び学習モデルを生成するステップをより狭い範囲に限定するものであり、カテゴリーや対象、目的を変更するものではないから、実質上特許請求の範囲を拡張し、または変更するものには該当せず、特許法第１２０条の５第９項で準用する同法第１２６条第６項の規定に適合するものである。
４　独立特許要件について
　本件特許異議申立事件においては、全ての請求項について特許異議の申立てがされているから、訂正事項１〜３に関して、特許法第１２０条の５第９項で読み替えて準用する特許法第１２６条第７項の独立特許要件は課されない。
５　小括
　以上のとおり、訂正事項１〜３に係る訂正は、特許法第１２０条の５第２項ただし書第１号に規定する事項を目的とするものであり、かつ、同条第９項で準用する同法第１２６条第４項、第５項及び第６項の規定に適合する。
　したがって、特許請求の範囲を、本件訂正請求書に添付された訂正特許請求の範囲のとおり、訂正後の請求項〔１〜１０〕、１１、１２について訂正することを認める。
第３　訂正後の本件特許発明
　本件訂正請求により訂正された請求項１〜１２に係る発明（以下、「本件発明１」〜「本件発明１２」という。）は、訂正特許請求の範囲の請求項１〜１２に記載された次の事項により特定されるとおりのものである。
　なお、符号（１Ａ）〜（１２Ｃ）は、説明のために当審で付したものであり、以下、各構成要件を「構成１Ａ」〜「構成１２Ｃ」という。
（本件発明１）【請求項１】
（１Ａ）帳票の手書き文字領域に記入されうる１又は複数の単語が前記文字領域のそれぞれに対応して登録された複数のデータベースの各々から単語を抽出し、１文字単位の手書き文字画像のデータセットから前記単語に含まれる文字ごとに対応する１文字単位の手書き文字画像を読み出すことにより、前記文字領域ごとに文字列画像及び正解ラベルを含む学習用データを生成する学習用データ生成部と、
（１Ｂ）前記学習用データを用いた第１学習により、前記文字領域ごとに学習モデルを生成する学習モデル生成部と、を備える、
（１Ｃ）学習モデル生成装置。
（本件発明２）【請求項２】
（２Ａ）前記第１学習の後、前記帳票の画像データから切り出された文字列画像を学習用データとして用いた第２学習により、前記学習モデルを更新する学習モデル更新部をさらに備える、
（２Ｂ）請求項１に記載の学習モデル生成装置。
（本件発明３）【請求項３】
（３Ａ）前記学習用データ生成部は、前記文字列画像に、前記帳票に印刷される透かしの少なくとも一部を重畳したものを学習用データとして生成する、
（３Ｂ）請求項１又は２に記載の学習モデル生成装置。
（本件発明４）【請求項４】
（４Ａ）前記学習用データ生成部は、前記文字列画像に、前記帳票におけるノイズを重畳したものを学習用データとして生成する、
（４Ｂ）請求項１〜３のいずれか一項に記載の学習モデル生成装置。
（本件発明５）【請求項５】
（５Ａ）前記学習モデル生成部は、
　第１ニューラルネットワーク及び第２ニューラルネットワークが結合されたネットワーク構造から学習モデルを生成するものであり、
（５Ｂ）前記第１ニューラルネットワークは畳み込みニューラルネットワークにより構成され、
前記手書き文字領域に含まれる前記文字列に関する特徴量マップを算出し、
（５Ｃ）第２ニューラルネットワークはリカレントニューラルネットワークにより構成され、前記特徴量マップから文字列インデックスを算出する、
（５Ｄ）請求項１〜４のいずれか一項に記載の学習モデル生成装置。
（本件発明６）【請求項６】
（６Ａ）前記手書き文字領域の少なくとも一つの領域は、住所に関する手書き文字領域であり、
（６Ｂ）前記住所に関する前記手書き文字領域に対応づけられたコーパスには、都道府県名、市区町村名、地域名、又は、建物名の少なくとも一つの名称を含む組み合わせが登録されている、
（６Ｃ）請求項１〜５のいずれか一項に記載の学習モデル生成装置。
（本件発明７）【請求項７】
（７Ａ）前記帳票を撮像装置で撮像することによって生成される画像データを、通信ネットワークを介して取得する画像データ取得部をさらに備える、
（７Ｂ）請求項１〜６のいずれか一項に記載の学習モデル生成装置。
（本件発明８）【請求項８】
（８Ａ）帳票の画像データに基づいて、手書き文字で記入された文字列を含む１又は複数の手書き文字領域を特定する領域特定部と、
（８Ｂ）請求項１〜７のいずれか一項に記載の学習モデル生成部により生成された学習モデルを用いて、前記手書き文字領域に記入された文字列の内容を認識する文字認識部と、を備える、
（８Ｃ）文字認識装置。
（本件発明９）【請求項９】
（９Ａ）前記帳票における所定位置に対応付けて、前記手書き文字領域を特定するためのレイアウト情報を記録する記録部を更に備え、
（９Ｂ）前記領域特定部は、前記レイアウト情報に基づいて、前記手書き文字領域を特定する、
（９Ｃ）請求項８に記載の文字認識装置。
（本件発明１０）【請求項１０】
（１０Ａ）前記領域特定部は、
　前記帳票に記載された項目名を含む項目領域を、属性を付与した上で抽出する項目抽出部と、
（１０Ｂ）前記帳票の画像データにおける項目領域の位置及び前記属性に基づいて、前記項目領域と、当該項目領域の近傍に位置する前記手書き文字領域とを対応づけ、且つ、前記手書き文字領域の属性を割り当てる属性割当部と、を更に備える、
（１０Ｃ）請求項８又は９に記載の文字認識装置。
（本件発明１１）【請求項１１】
（１１Ａ）学習モデルを生成するコンピュータが実行する学習モデル生成方法であって、
（１１Ｂ）帳票の手書き文字領域に記入されうる１又は複数の単語が前記文字領域のそれぞれに対応して登録された複数のデータベースの各々から単語を抽出し、１文字単位の手書き文字画像のデータセットから前記単語に含まれる文字ごとに対応する１文字単位の手書き文字画像を読み出すことにより、前記文字領域ごとに文字列画像及び正解ラベルを含む学習用データを生成するステップと、
（１１Ｃ）前記学習用データを用いた第１学習により、前記文字領域ごとに学習モデルを生成するステップと、
を含む、
（１１Ａ）学習モデル生成方法。
（本件発明１２）【請求項１２】
（１２Ａ）コンピュータを、
（１２Ｂ）帳票の手書き文字領域に記入されうる１又は複数の単語が前記文字領域のそれぞれに対応して登録された複数のデータベースの各々から単語を抽出し、１文字単位の手書き文字画像のデータセットから前記単語に含まれる文字ごとに対応する１文字単位の手書き文字画像を読み出すことにより、前記文字領域ごとに文字列画像及び正解ラベルを含む学習用データを生成する学習用データ生成部と、
（１２Ｃ）前記学習用データを用いた第１学習により、前記文字領域ごとに学習モデルを生成する、学習モデル生成部と、
（１２Ａ）して機能させるプログラム。
第４　取消理由通知の概要
　令和２年１１月１０日付けで特許権者に通知した取消理由（決定の予告）の要旨は、次のとおりである。
　本件特許の請求項１〜１２に係る発明は、本件特許出願前に日本国内又は外国において頒布された下記の刊行物に記載された発明又は電気通信回線を通じて公衆に利用可能となった発明に基いて、本件特許出願前にその発明の属する技術の分野における通常の知識を有する者が容易に発明をすることができたものであるから、請求項１〜１２に係る特許は、特許法第２９条第２項の規定に違反してされたものである。
　　　　　　　　　　　記
　引用文献１（甲第２号証）：Nam Tuan Ly、外２名、「Training an End-to-End Model for Offline Handwritten Japanese Text Recognition by Generated Synthetic Patterns」、16th International Conference on Frontiers in Handwriting Recognition（ICFHR 2018）、２０１８年８月５日、７４〜７９頁
　引用文献２（甲第４号証）：Kartik Dutta、外３名、「Improving CNN-RNN Hybrid Networks for Handwriting Recognition」、16th International Conference on Frontiers in Handwriting Recognition（ICFHR 2018）、２０１８年８月５日、８０〜８５頁
　引用文献３（甲第９号証）：丸川勝美、外３名、「手書き漢字住所認識のためのエラー修正アルゴリズム」、情報処理学会論文誌、１９９４年６月、Ｖｏｌ．３５、Ｎｏ．６、１１０１〜１１１０頁
　引用文献４（甲第１０号証）：特開２０１５−６９２５６号公報
　引用文献５（甲第１１号証）：特開２０１６−７１８９８号公報
　引用文献６（甲第１２号証）：株式会社富士通研究所、「業界初、レイアウト定義不要な非定型帳票の認識技術」、２００６年１０月１６日、インターネット＜https://pr.fujitsu.com/jp/news/2006/10/16.html＞
　引用文献７（甲第１３号証）：松下貢、他４名、「リコー文書画像認識ＳＤＫ」、Ｒｉｃｏｈ　Ｔｅｃｈｎｉｃａｌ　Ｒｅｐｏｒｔ、１９９７年９月、Ｎｏ．２３、１３３〜１３７頁、インターネット＜https://jp.ricoh.com/-/Media/Ricoh/Sites/jp_ricoh/technology/techreport/23/pdf/136_140.pdf＞
　引用文献８（当審で追加した文献）：特開平７−２７１９１６号公報
　周知文献１（当審で追加した文献）：特開２００２−３６６８９３号公報
　周知文献２（当審で追加した文献）：特開２０１３−６９１５０号公報
第５　引用文献、周知文献
（１）引用文献１（甲第２号証）
ア　記載事項
　引用文献１（甲第２号証）には、次の記載がある。なお、以降の下線は当審により付されたものである。
（ア）「
Training an End-to-End Model for Offline Handwritten Japanese Text Recognition by Generated Synthetic Patterns
（仮訳：
生成された合成パターンによるオフライン手書き日本語テキスト認識のためのエンドツーエンドモデルの学習
（イ）「II. OVERVIEW OF THE END-TO-END DCRN MODEL
　
We propose an end-to-end model of Deep Convolutional Recurrent Network (DCRN) for recognizing offline handwritten Japanese text lines. Our end-to-end model consists of 3 components, the convolutional feature extractor, the recurrent layers, and a transcription layer, from bottom to top
（仮訳：II. エンドツーエンドＤＣＲＮモデルの概要
　
我々は、オフライン手書き日本語テキスト行を認識するための深層畳み込みリカレントネットワーク（ＤＣＲＮ）のエンドツーエンドモデルを提案する。我々のエンドツーエンドモデルは、
畳み込み特徴抽出器、リカレント層、書き換え層の３つの構成要素からなる。
（ウ）「
We apply this convolutional feature extractor to an input image of size w×h×c (where c is the color channels of image), resulting in a multi-channel output of dimension w′×h′×k, where k is the number of feature maps in last convolutional layer, w′ and h′ depend on the w and h of input images and the amount of pooling layers in the CNN network.
（仮訳：
我々は、この畳み込み特徴抽出器を、次元ｗ’×ｈ’×ｋのマルチチャネルの出力をもたらすサイズｗ×ｈ×ｃ（ｃは画像のカラーチャネルである。）の入力画像に適用する。ここで、ｋは最終畳み込み層での特徴量マップの数、ｗ’とｈ’は入力画像のｗとｈ及びＣＮＮネットワークにおけるプーリング層の総計に依存するものである。
（エ）「
In our end-to-end DCRN model, the recurrent layers are built on top of the convolutional feature extractor to predict a label distribution for each frame of the feature sequence extracted from the previous component.
（仮訳：
我々のエンドツーエンドＤＣＲＮモデルにおいて、リカレント層は、前の構成要素から抽出された特徴シーケンスの各フレームのラベル分布を予測するために、畳み込み特徴抽出器の上に設けられる。
（オ）「
At the top of our end-to-end DCRN model, the transcription layer decodes the pre-frame predictions made by the recurrent layers into the final label sequence.
（仮訳：
我々のエンドツーエンドＤＣＲＮモデルの最上部において、書き換え層は、リカレント層で生成されたプレフレーム予測を最終的なラベルシーケンスに復号する。
（カ）「III. TEXT LINE IMAGE GENERATION
A. Synthetic Data Generations
　
Since the end-to-end model requires large data for training, we propose a synthetic pattern generation method which synthesizes handwritten text line images from sentences in corpora and handwritten character patterns in the Nakayosi and Kuchibue [16] database with local elastic distortion and global elastic distortion model.
　
We generate the synthetic handwritten text line dataset by taking the following 6 steps:
　
1. Get a sentence from the listed sentences of corpus.
　
2. Randomly choose a writer from the listed writers of the handwritten character pattern database.
　
3. For each character of the sentence in the step 1, a handwritten image of this character is randomly chosen from the writer selected in the step 2.
　
4. Apply a local elastic distortion to each handwritten pattern in the step 3.
　
5. Synthesize a handwritten text line image from the sentence selected in the step 1 and elastically distorted handwritten character images in the step 4 with random spacing between each character image.
　
6. Apply a global elastic distortion to the generated synthetic text line image.
（仮訳：III．テキスト行画像生成
Ａ．合成データの生成
　
前記エンドツーエンドモデルには多くの学習データが必要であることから、我々は、コーパスの文とNakayosi及びKuchibueデータベースの手書き文字パターンから、ローカル伸縮歪み及びグローバル伸縮歪みのモデルを用いて手書きテキスト行画像を合成する合成パターン生成方法を提案する。
　
我々は、次の６ステップにより合成手書きテキスト行データセットを生成する。
　
１．コーパスにおけるリスト化された文から文を取得する。
　
２．手書き文字パターンデータベースにおけるリスト化された書き手からランダムに書き手を選択する。
　
３．ステップ１における前記文の各文字について、この文字の手書き画像が、ステップ２において選ばれた前記書き手からランダムに選択される。
　
４．ステップ３における各手書きパターンにローカル伸縮歪みモデルを適用する。
　
５．ステップ１において選ばれた前記文とステップ４における手書き文字画像とから、各文字画像間をランダムな間隔で手書きテキスト行画像を合成する。
　
６．前記生成された合成テキスト行画像にグローバル伸縮歪みを適用する。
（キ）「D. Synthetic Handwritten Text Line Dataset
　
We employ the sentences of Nikkei newspaper corpus and Asahi newspaper corpus and the handwritten character database, Nakayosi and Kuchibue [16] to generate the Synthetic Handwritten Text Line Dataset (SHTL).
（仮訳：Ｄ．合成手書きテキスト列データセット
　
我々は、合成手書きテキスト行データセット（ＳＨＴＬ）を生成するために、日経新聞コーパス及び朝日新聞コーパスの文と、手書き文字データベースNakayosi及びKuchibueとを用いた。
（ク）「
The end-to-end DCRN model is trained using stochastic gradient descent with the learning rate of O.OOI and the momentum of O.9.
（仮訳：
前記エンドツーエンドＤＣＲＮモデルは、学習レート０．００１、運動量０．９の確率勾配降下を用いて学習される。
（ケ）「The following conclusions are drawn: 1) the end-to-end DCRN model substantially outperforms the previous model DCRN-s and the traditional segmentation-based method [1, 8]; 2) 
the recognition accuracy is improved by using the SHTL dataset to training the end-to-end DCRN model
（仮訳：以下の結論が導かれる。１）前記エンドツーエンドＤＣＲＮモデルは実質的に従来のＤＣＲＮ−ｓモデル及び従来のセグメンテーションベースの方法より優れている。２）
エンドツーエンドＤＣＲＮモデルの学習にＳＨＴＬデータセットを用いることにより認識精度が改善される。
イ　引用発明
　上記アの記載事項から、引用文献１には、次の発明（以下、「引用発明」という。）が記載されている。
　なお、（ａ）〜（ｄ３）は、説明のために付されたものであり、以下各構成を「構成ａ」〜「構成ｄ３」という。
（引用発明）
（ａ）生成された合成パターンによるオフライン手書き日本語テキスト認識のためのエンドツーエンドモデルの学習であって、
（ｂ）オフライン手書き日本語テキスト行を認識するための深層畳み込みリカレントネットワーク（ＤＣＲＮ）のエンドツーエンドモデルが用いられ、
（ｂ１）前記エンドツーエンドモデルは、畳み込み特徴抽出器、リカレント層、書き換え層の３つの構成要素からなり、
（ｂ１１）前記畳み込み特徴抽出器を、次元ｗ’×ｈ’×ｋのマルチチャネルの出力をもたらすサイズｗ×ｈ×ｃ（ｃは画像のカラーチャネルである。）の入力画像に適用し、ここで、ｋは最終畳み込み層での特徴量マップの数、ｗ’とｈ’は入力画像のｗとｈ及びＣＮＮネットワークにおけるプーリング層の総計に依存するものであり、
（ｂ１２）前記リカレント層は、前の構成要素から抽出された特徴シーケンスの各フレームのラベル分布を予測するために、畳み込み特徴抽出器の上に設けられるものであり、
（ｂ１３）前記書き換え層は、リカレント層で生成されたプレフレーム予測を最終的なラベルシーケンスに復号するものであり、
（ｃ）前記エンドツーエンドモデルには多くの学習データが必要であることから、コーパスの文とNakayosi及びKuchibueデータベースの手書き文字パターンから、ローカル伸縮歪み及びグローバル伸縮歪みのモデルを用いて手書きテキスト行画像を合成する合成パターン生成方法が用いられ、
（ｃ１）前記合成パターン生成方法は、次の６ステップにより合成手書きテキスト行データセットを生成するものであり、
（ｃ１１）１．コーパスにおけるリスト化された文から文を取得する。
（ｃ１２）２．手書き文字パターンデータベースにおけるリスト化された書き手からランダムに書き手を選択する。
（ｃ１３）３．ステップ１における前記文の各文字について、この文字の手書き画像が、ステップ２において選ばれた前記書き手からランダムに選択される。
（ｃ１４）４．ステップ３における各手書きパターンにローカル伸縮歪みモデルを適用する。
（ｃ１５）５．ステップ１において選ばれた前記文とステップ４における手書き文字画像とから、各文字画像間をランダムな間隔で手書きテキスト行画像を合成する。
（ｃ１６）６．前記生成された合成テキスト行画像にグローバル伸縮歪みを適用する。
（ｄ１）合成手書きテキスト行データセット（ＳＨＴＬ）を生成するために、日経新聞コーパス及び朝日新聞コーパスの文と、手書き文字データベースNakayosi及びKuchibueとを用い、
（ｄ２）前記エンドツーエンドＤＣＲＮモデルは、学習レート０．００１、運動量０．９の確率勾配降下を用いて学習され、
（ｄ３）エンドツーエンドＤＣＲＮモデルの学習にＳＨＴＬデータセットを用いることにより認識精度が改善される
（ａ）エンドツーエンドモデルの学習。
（２）引用文献２（甲第４号証）
　引用文献２（甲第４号証）には、次の記載がある。
（ア）「
Word recognition [10] is the problem of coverting the handwritten content present in an image into machine understandable text. In this work we use a CNN-RNN hybrid architecture, first proposed by [13].
（仮訳：
単語認識［10］とは、画像の手書きコンテンツを装置で認識できるテキストに変換する問題である。本研究では、我々は、［13］で最初に提案されたCNN-RNNハイブリッド構造を用いる。
（イ）「To overcome the lack of availability of real handwritten training data 
we use the IIIT-HWS dataset [29] for pre-training our isolated word recognition networks.
（仮訳：
現実の手書きトレーニングデータの利用可能性が不足していることを解消するために、我々は、個別の単語認識ネットワークを事前学習するためにIIIT-HWSデータセットを使用する。
（ウ）「
Given a pre-trained network using synthetic data which gives a good initialization for the deep network, we now focus onto the various data augmentation schemes which supplements the rea1 data in learning the desired invariances.
（仮訳：
深層ネットワークにとって良い初期値を持った合成データを用いて事前学習されたネットワークが与えられたうえで、さらに我々は望ましい不変性の学習のため、リアルデータを補完する種々のデータ拡張スキームに取り組む。
（エ）「
IAM Handwriting Database [31]: It inc1udes contributions from 657 writers, having a total of 13,353 handwritten lines, comprising of 115,320 words.
（仮訳：
IAM手書きデータベース［31］：これは、合計１３，３５３の手書きの行を有し、１１５，３２０語を備えた、６５７人の書き手による寄与を含んでいる。
（オ）「The various models and their training strategies are mentioned below:
・ CRNN-REAL is the original architecture of [13] and trained only on the IAM train set.
・ 
CRNN-FULL is the original architecture of [13], first pre-trained on IIIT-HWS and then fine-tuned on IAM.
（仮訳：種々のモデルとそれらの学習ストラテジーが以下に述べられている。
・CRNN-REALは、［13］のオリジナルのアーキテクチャであり、IAM学習セットに関してのみ学習される。
・
CRNN-FULLは、［13］のオリジナルのアーキテクチャであり、第１にIIIT-HWSに基づいて事前学習し、次にIAMに基づいて追加学習する。
（３）引用文献３（甲第９号証）
　引用文献３（甲第９号証）には、次の記載がある。
（ア）「膨大な情報が蓄積するオフィスにおいて，情報をいかに入力・整理するかが重要な課題になっている．情報整理のキー項目として，住所あるいは姓名がその大きな役割を果たす．そして，これらキー項目の入力のオートメーション化を図るため，
帳票等に手書きされた住所や姓名をＯＣＲ（Optical Character Reader）を用いて認識し，効率的に情報の入力・整理を行う方法が注目されている．
（イ）「また、
本論文で対象とする手書き文字認識の主な応用は帳票の読み取りであり，その対象は住所や氏名である．
（ウ）「３．３．２　辞書構成
　
階層地名辞書は、図６に示すように、４種類の地名辞書から構成される。
　３．３．３　ボトムアップ処理
　３．３．１項で述べたように、住所検定ではボトムアップ処理を繰返し行う。具体的には、次の３ステップからなる。第一に、最下位の階層（字・大字の階層）の候補地名群を核としてボトムアップ処理を実行し候補住所を求める。第二に、区町村の階層の候補地名群を核としてボトムアップ処理を実行し候補住所を求める。最後に、求めた候補住所の文字列距離により正解住所を推定する。」（１１０６頁左欄２７行〜右欄１２行）
（エ）「
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　」
（図６）
（４）引用文献４（甲第１０号証）
　引用文献４（甲第１０号証）には、次の記載がある。
（ア）「【００１４】
　図１は、本発明の適用例であるＷｅｂサービスを用いた文書認識サービスを利用した業務のフローを示した図である。本サービスでは、業務を継続することにより文字認識辞書が改良され、認識精度が向上するという特徴を持つ。
【００１５】
　
まず、文書認識サービスの利用者は読み取りたい文書や文字を登録する
文書画像や文字画像は
カメラやスキャナで画像化した文書群（０１０１）を扱う
入力された業務文書は、ネットワーク０１０２を通して認識クラウド０１０３に送られる。
次に、この文書画像データに基づいて、当該文書の必要な箇所をコンピュータで認識する（０１０５）。認識時には文字認識用の辞書０１０６を用いる。
（５）引用文献５（甲第１１号証）
　引用文献５（甲第１１号証）には、次の記載がある。
（ア）「【００１５】
　また、上記課題を解決するために、
本発明に係る帳票認識システムは、帳票を含む一定形式の書類の罫線及び／もしくは枠情報を認識する枠線認識装置と、前記枠線認識装置によって認識された罫線及び／もしくは枠情報に係る領域を確定する領域確定手段と、前記領域確定手段によって確定された領域のうちの特定の領域について、該領域内の文字を撮像してデジタル情報に還元し、前記還元されたデジタル情報にマッチする文字情報をデジタル情報−文字情報対応データベースから抽出して対応文字情報を得る領域内文字認識手段
を備えて構成され
（６）引用文献６（甲第１２号証）
　引用文献６（甲第１２号証）には、次の記載がある。
（ア）「課題
　
従来、非定型帳票内の項目やデータの論理的な構造を認識する技術として、あらかじめ見出し辞書に登録してある「帳票番号」のような文字列をまず帳票中から認識し、次に、その見出しの位置から一定の範囲内文字列を帳票番号のデータと認識していました。
（７）引用文献７（甲第１３号証）
　引用文献７（甲第１３号証）には、次の記載がある。
（ア）「日本においてＯＣＲ（光学的文字認識装置）の製品化が始まったのは１９６８年前後である。ＯＣＲのその後の進歩はめざましく、
ＯＣＲでの処理対象は英数字、カナ、記号から漢字へ、活字から手書きへ、専門帳票から一般文書（一般帳票）へと広がってきた。
（イ）「２−２−１　定型帳票処理
　
入力された帳票画像の中からあらかじめ登録しておいたフォーマット情報を基に文字記入領域に書かれた文字画像を抽出する。
（８）引用文献８
　引用文献８（当審で追加した文献）には、次の記載がある。
（ア）「【０００２】
【従来の技術】ニューラルネットワークを用いて文字等を認識する場合、予めニューラルネットワークに認識対象文字を学習させておく。学習とは、例えば認識対象文字「Ｃ」をニューラルネットワークに入力したときに、ニューラルネットワークから「Ｃ」が出力されるように、ニューラルネットワークを構成する各ユニット間の結合荷重等のパラメータを決定することである。また、学習に用いられる文字等のパターンを「学習パターン」といい、この学習パターンの集合を「学習データ」という。学習パターンの例を図８に示す。学習パターンには、認識対象文字である学習パターン８０、認識対象文字にノイズが加わった学習パターン８１，８２，８３、認識対象文字が変形した学習パターン８４，８５，８６等がある。
（イ）「【図８】
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　」
（９）周知文献１、周知文献２
ア　周知文献１の記載事項
　周知文献１には、次の記載がある。
（ア）「【０００５】ここで、帳票中に取得したい“項目名”に対する記入文字が異なる領域に複数記載されている場合、従来の帳票フォーマット定義ファイルでは、その中で最も認識することが容易と思われる１つの領域を登録していた。しかし、この方法では、実際の帳票で帳票フォーマット定義ファイルに登録した領域にノイズやかすれがあり、同じ内容が記載されている別の領域にはノイズやかすれがない場合に文字を認識できないというケースが発生する。また、
帳票フォーマット定義ファイルの文字認識要求領域を認識する際、認識精度を向上させる一手段として、“項目名”に対する記入文字の字種を限定して認識する方法が提案されている。
（イ）「【００１３】帳票２０１は、予め印刷されている項目名２０５，２０６，２０７，２０８と、個々の帳票毎に手書き若しくは活字で記入される２０９，２１０，２１１，２１２からなる。帳票フォーマット定義ファイル１１０には、当該帳票の項目名２０５，２０６と項目名に対する記入文字２０９，２１０を含む領域をそれぞれ“文字認識要求矩形左上位置 − 文字認識要求矩形右下位置”で登録する。共通知識データベース１１２は、任意の帳票で使用される項目名毎の関係と項目名に対する記入文字の字種を“項目名１ ＝ 項目名２ ＝ 項目名３ ： 字種Ａ”で登録する。この時、“＝”で結ばれる項目名は等価を示すとし、項目名が等価であれば項目名に対する記入文字も等価であると考えられる。
字種別文字辞書１１１は各項目名に対する記入文字で使用する文字種を、異なる辞書の金額字種辞書，番号字種辞書，住所字種辞書に分けて登録する。
（ウ）「【００１７】“項目名”が取得できたならば、“項目名”に対する記入文字の認識結果を補完するための処理を文字認識結果解析部１０５で行う。まず、共通知識データベース１１２を参照して“項目名”を検索して“項目名”に対する記入文字の字種が登録されているか判断する（ステップ３０７）。“項目名に対する記入”の字種が登録されているならば、文字認識部１０４で再度
“項目名”に対する記入文字に対して字種別文字辞書１１１より当該字種対応する字種辞書を選択して記入文字の認識を行う
（エ）「【００２６】図６は帳票６０１の例であり、図７は図６の帳票６０１の例における、図３のステップ３０３，ステップ３０８の帳票フォーマット定義ファイルに登録されている文字認識要求領域の字種限定処理の詳細を示す。帳票６０１に対する帳票フォーマット定義ファイルが図７の１１０である時、帳票フォーマット定義ファイル１１０に登録されている左上座標が（Ｘ１，Ｙ１），右下座標が（Ｘ２，Ｙ
２）である領域に対して字種別文字辞書１１１の中の全字種辞書１１１４を使用して、文字認識７０１を行う。図７の文字認識の例では“項目名”が“納人全額”と認識され、“項目名”に対する記入文字が“Ｙｌ０．００８”と認識された。
【００２７】この時、記入文字の認識確信度を算出する。この場合、認識確信度が低いため、“項目名”に対する記入文字の認識を字種限定有りで再度実行する必要がある。“項目名”に対する記入文字を字種限定有りで再度実行するための前処理として使用する字種を決定する。そのためには、認識した項目名“納人全額”を、図５で示すように、
項目名単語照合辞書１１３を使用して単語照合処理を行い、項目名“納入金額”を取得する。項目名単語照合処理で得られた項目名“納入金額”を、共通知識データベース１１２より検索し、“納入金額”に対する記入文字の字種“金額字種”を決定する。
【００２８】
字種が決定されると、字種別文字辞書１１１より“金額字種”に対応する金額字種辞書１１１３が選択され、この金額字種辞書１１１３を使用して“項目名”に対する記入文字の記載領域である左上座標（Ｘ３，Ｙ３），右下座標（Ｘ２，Ｙ２）である領域に対して、“項目名”に対する記入文字を検出するために文字認識７０２が行われ、認識結果“￥１０，０００”が出力される。
（オ）「【図２】
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　」
イ　周知文献２の記載事項
　周知文献２には、次の記載がある。
（ア）「【０００１】
　本発明の実施形態は、
帳票に記載された情報を読み取り、読み取った情報に含まれる文字列を項目毎に分類する文字入力装置、文字入力方法に関する。
（イ）「【００９０】
　この第６実施形態の場合、
入力対象の項目毎に単語辞書または単語グループを複数を備え、第２マッチング部１９は単語辞書
を項目毎に切り替えて対象とする単語をマッチングする。単語辞書は例えば住所辞書、郵便番号辞書、氏名辞書などであり
【００９１】
　このようにこの第６実施形態によれば、
入力対象の項目毎に単語辞書
を複数備え、第２マッチング部１９でマッチング対象とする単語辞書
を項目毎に切り替えることで、不必要な単語とのマッチングを減らすことで処理時間を削減することができる。また誤った単語とのマッチングで認識結果が不正確に訂正されることを防止することができる。
ウ　周知技術
　上記ア及びイの記載事項から、以下の技術は周知技術と認められる。
（周知技術）
　（帳票の手書き文字入力領域が例えば住所欄であれば、文字認識の結果は住所に使用される単語のみであるというように）帳票の手書き文字入力領域ごとに文字認識に使用される単語が限定されており、当該領域ごとに限定された単語のみに対応した文字認識を行うこと。
第６　その他の甲号証、参考資料
　特許異議申立書において提示された甲号証であって上記第４に示されていない甲号証、令和２年１０月１６日付け意見書（特許異議申立人）において提示された参考資料１、参考資料２、及び令和３年３月９日付け意見書（特許異議申立人）において提示された参考資料１、並びにそれらの記載事項は、以下のとおりである。
（１）甲第１号証
　甲第１号証は、Nam-Tuan Ly、外２名、「Training an End-to-end Model for Offline Handwritten Japanese Text Recognition by Generated Synthetic Patterns」、ICFHR 2018、２０１８年８月５日、１〜２８頁、インターネット＜http://icfhr2018.org/SlidesPosters/Slides-Paper106.pdf#＞であり、甲第１号証には次の記載がある。
ア　「
Training an End-to-end Model for Offline Handwritten Japanese Text Recognition by Generated Synthetic Patterns
（仮訳：
生成された合成パターンによるオフライン手書き日本語テキスト認識のためのエンドツーエンドモデルの学習
イ　「Deep Convolutional Recurrent Network(1/3)
Deep Convolutional Recurrent Network(DCRN) consists of three components.
□ 
Convolutional Feature Extractor.
 ◆ Using a standard CNN network (FC and Softmax layers are removed).
 ◆ 
Extract a feature sequence from a text line image.
□ 
Recurrent layers.
 ◆ Employing a Bidirectional LSTM.
 ◆ Predict pre-frames from a feature sequence.
□ Transcription layer.
 ◆ Using CTC - decoder.
 ◆ Convert the pre-frame predictions into a label sequence.」（９頁）
（仮訳：深層畳み込みリカレントネットワーク（１／３）
深層畳み込みリカレントネットワーク（ＤＣＲＮ）は、３つの要素を有する。
□
畳み込み特徴抽出器
　◆スタンダードなＣＮＮネットワーク（ＦＣとＳｏｆｔｍａｘ層は除かれている）を使用
　◆
テキスト行画像から特徴シーケンスを抽出
□
リカレント層
　◆双方向ＬＳＴＭを使用
　◆特徴シーケンスからプレフレームを予測
□書き換え層
　◆ＣＴＣデコーダを使用
　◆プレフレーム予測をラベルシーケンスに変換）
ウ　「Synthetic Data Generation(1/3)
Synthetic pattern generation method.
 ◆ 
Sentences in corpora and handwritten character pattern database (HCP).
 ◆ Local and global elastic distortion model.
□ Following 6 steps:
 
1. Get a sentence (S) from a corpus.
 
2. Randomly choose a writer (A) from the HCP.
 
3. For each character of the sentence (S), a handwritten image of this character is randomly chosen from the writer (A).
 
4. Apply a local elastic distortion to each handwritten character pattern in the step 3.
 
5. Synthesize a handwritten text line image from the sentence (S) and handwritten character images in the step 4 with random spacing.
 
6. Apply a global elastic distortion to the generated synthetic text line image.
（仮訳：合成データ生成（１／３）
◆
コーパスの文と手書き文字パターンデータベース（ＨＣＰ）
◆ローカルおよびグローバルの伸縮歪みモデル
口以下の６つのステップ
１．コーパスから文章（Ｓ）を取得する。
２．ＨＣＰからランダムに書き手（Ａ）を選択する。
３．前記文章（Ｓ）の各文字について、この文字の手書き画像が前記書き手（Ａ）からランダムに選択される。
４．ステップ３における各手書き文字パターンに対して、ローカル伸縮歪みモデルを適用する。
５．前記文章（Ｓ）と、ステップ４における手書き文字画像とから、ランダムな間隔で手書きテキスト行画像を合成する。
６．前記生成された合成テキスト行画像にグローバル伸縮歪みを適用する。
エ　「Synthetic Data Generation(3/3)
Synthetic Handwritten Text Line Dataset (SHTL)
 □ 
Handwritten Japanese character pattern DBs, Nakayosi and Kuchibue.
 □ 
Nikkei newspaper corpus (1.1 million sentences) and Asahi newspaper corpus (1.14 million sentences).
◆ Randomly choose 30,000 sentences which contain less than 30 characters from each corpus.
  → 
make sure that the end-to-end model can be trainable by SHTL.
（仮訳：合成データ生成（３／３）
合成手書きテキスト行データセット（ＳＨＴＬ）
□手書き日本語文字パターンＤＢ、NakayosiとKuchibue
□日経新聞コーパス（１１０万の文）と朝日新聞コーパス（１１４万の文）
◆各コーパスから、３０以下の文字を含む３万の文ランダムに選択する。
→
このエンドツーエンドモデルがＳＨＴＬによって学習可能であることを確認する。
オ　「Datasets(2/2)
Handwritten Japanese character pattern database.
□ Nakayosi  Kuchibue (originally online but converted to offline)
  ◆ Used for generating SHTL.
Synthetic Handwritten Text Line Dataset (SHTL)
 □ 60,000 text line images.
 → 
used for training the end-to-end model.
（仮訳：データセット（２／２）
手書き日本語文字パターンデータベース
□NakayosiとKuchibue（当初はオンラインだが、オフラインに変換された）
◆ＳＨＴＬを生成するために使用
合成手書きテキスト行データセット（ＳＨＴＬ）
□６万のテキスト行画像
→
エンドツーエンドモデルを学習するために使用される。
（２）甲第３号証
　甲第３号証は、特開平８−２８７１８８号公報であり、甲第３号証には次の記載がある。
ア　「【０００１】
【産業上の利用分野】
帳票や郵便物に書かれた文字列を自動認識する方法に関し、特に文字枠等の記入上の制限がない帳票に書かれた文字列や郵便物に書かれた住所・氏名等のような、自由書式（不定ピッチ）で筆記された文字列を自動認識する方法に関する。
イ　「【００２７】知識処理部８は、照合部６において求められた認識候補文字１８を入力データとして、文字列領域画像１４の中での入力文字画像１５の位置に基づいて、認識候補文字１８を並べ、認識候補文字列を生成する。
あらかじめ知識辞書メモリ９には、読み取り対象の知識データベースが登録されている。知識データベースとしては、住所、氏名、会社名、商品名、部品名等のさまざまな知識があるが、本実施例においては、住所知識データベースを用いた場合について説明する。
（３）甲第５号証
　甲第５号証は、クラウドＷａｔｃｈ、「富士通研、社外秘マークや透かし文字を検出する新技術」、２０１０年９月６日、インターネット＜ https://cloud.watch.impress.co.jp/docs/news/392038.html＞であり、甲第５号証には次の記載がある。
ア　「「しかし、文書の機密性はテキスト情報だけでなく、マークや
背景の透かし文字
（４）甲第６号証
甲第６号証は、株式会社富士通研究所、「業界初！文書に含まれる社外秘マークや透かし文字を検出」、２０１０年９月６日、インターネット＜https://pr.fujitsu.com/jp/news/2010/09/6.html＞
であり、甲第６号証には次の記載がある。
ア　「株式会社富士通研究所（注１）は、機密文書に含まれる社外秘マークや、「関係者外秘」などの
背景の透かし文字
（５）甲第７号証
　甲第７号証は、Ankush Gupata、他２名、「Synthetic Data for Text Localisation in Natural Images」、２０１６年４月２２日、インターネット＜https://arxiv.org/pdf/1604.06646.pdf＞であり、甲第７号証には次の記載がある。
ア　「Abstract
　In this paper we introduce a new method for text detection in natural images. The method comprises two contributions: First, a fast and scalable engine to generate synthetic images of text in clutter. This engine 
overlays synthetic text to existing background images
（仮訳：本論文において、我々は、自然画像におけるテキスト検出のための新しい方法を紹介する。この方法は、２つの貢献を備えている。第１は、クラスターにおけるテキストの合成画像を生成する高速かつスケーラブルなエンジンである。このエンジンは、３Ｄシーン配置を説明するため、自然な方法で
合成テキストを既存の背景画像にオーバーレイする。
イ　「In this paper we propose improvements similar to [20] to the complementary problem of text detection. We make two key contributions. First, we propose a new method for generating synthetic images of text that naturally blends text in existing natural scenes, using off-the-shelf deep 1earning and segmentation techniques to align text to the geometry of a background image and respect scene boundaries. We use this method to automatically generate a new synthetic dataset of text in cluttered conditions (figure 1 (top) and section 2).  
This dataset, called SynthText in the Wild (figure 2), is suitable for training high-performance scene text detectors.
（仮訳：本論文では、テキスト検出の補足的な問題に対して、［20］と同様の改善を提案する。我々は、２つの重要な貢献を行った。第１に、我々は、存在している自然の風景に自然にテキストをブレンドした、テキストの合成画像を生成するための新しい方法を提案する。ここでは、既成のディープラーニングとセグメンテーション技術を使用して、背景画像と関連境界の場所にテキストを配置する。我々は、この方法を使用して、クラスターされた条件（図１（上側）とセクション２）におけるテキストの新しい合成データセットを自動的に生成する。
「SynthText in the Wild（図２）」と呼ばれるこのデータセットは、高パフォーマンスのシーンテキスト検出器を学習するのに適している。
（６）甲第８号証
　甲第８号証は、特開２００８−２１９８２５号公報であり、甲第８号証には次の記載がある。
ア　「【００６７】
　部分画像切出しモジュール４１は、図４に示すように、生成過程模擬モジュール４２、部分画像辞書モジュール４５、制御モジュール４６、符号化モジュール４７と接続されており、文書画像データから入力部分画像を切り出して、その入力部分画像を生成過程模擬モジュール４２、部分画像辞書モジュール４５へ渡し、その部分画像の位置を符号化モジュール４７へ渡す。より具体的には、ＪＢＩＧ２ ＴＲで採用している文字画像の切出しを用いてもよい。以下の実施の形態においても同様である。
　生成過程模擬モジュール４２は、図４に示すように、部分画像切出しモジュール４１、パターン認識モジュール４３と接続されており、
部分画像切出しモジュール４１から入力部分画像を受け取り、ばらつきを与えて教師パターンを生成する。その教師パターンをパターン認識モジュール４３へ渡す。
（７）甲第１４号証
　　甲第１４号証は、松田崇宏、他２名、「データクラスタリングによる局所特徴ベース情景内文字認識手法の改善」、２０１４年１２月、電子情報通信学会技術研究報告、ｖｏｌ．１１４、ｎｏ．３５６、ＰＲＭＵ２０１４−７５、５７〜６２頁であり、甲第１４号証には次の記載がある。
ア　「あらまし　
情景内文字認識とは身の回りに存在するあらゆる文字を認識対象とし，それが何の文字であるかを認識することである．
（８）令和２年１０月１６日付け意見書に添付の参考資料１
　令和２年１０月１６日付け意見書に添付された参考資料１は、上記甲第３号証であり、記載事項は上記（２）のとおりである。
（９）令和２年１０月１６日付け意見書に添付の参考資料２
　令和２年１０月１６日付け意見書に添付された参考資料２は、特開２００６−９２１３８号公報であり、当該参考資料２には次の記載がある。
ア　「【０００９】
　本発明では、
複数の文字の種別にそれぞれ対応した複数の文字認識辞書を備えた文字認識装置において、最初に予め定めた文字認識辞書で文字認識を行い、その文字認識結果に応じて文字認識辞書を切り替えて再度認識を行い
（１０）令和３年３月９日付け意見書に添付の参考資料１
　令和３年３月９日付け意見書に添付された参考資料１は、Monika Sharma、外２名、「Learning to Clean: A GAN Perspective」、２０１９年１月２８日、１〜１２頁、インターネット＜http://export.arxiv.org/pdf/1901.11382＞であり、当該参考資料１には次の記載がある。
ア　「In this paper, we attempt to perform denoising of the  documents  before the document is being sent to text recognition network for reading and 
propose a document cleaning suite based on generative adversarial training. This  suite is trained for
watermark removal
and learns a mapping from the distribution of noisy documents to the distribution of clean documents.
（仮訳：本論文では、我々は、文書が読取用テキスト認識ネットワークに送られる前に文書のノイズ除去を行うことを試み、
学習に基づいた敵対的生成学習に基づいた文書のクリーニング組を提案する。この組は、
透かし除去
のために学習されており、ノイズ文書の分布からクリーン文書の分布へのマッピングを学習している。
イ　「Therefore, 
we have synthetically generated document datasets for watermark removal
and have also made these puclic for the benefit of research community.
（仮訳：したがって、
我々は、透かし除去
タスクのための文書のデータセットを合成的に生成し
ウ　「- 
Watermark Removal Dataset : As there exists no publicly available dataset for watermarked document images, we generated our own synthetic watermark removal document dataset.
（仮訳：−
透かし除去データセット：利用可能な透かし付き文書の画像のデータセットは、公には存在しないため、我々は自身の合成的な透かし除去文書を生成した。
第７　対比、判断
（１）本件発明１１について
ア　対比
　本件発明１１を引用発明と対比する。
（ア）構成１１Ａについて
　構成ａの「エンドツーエンドモデルの学習」は、構成ｃにおいて合成パターンを生成し、構成ｄ２においてエンドツーエンドＤＣＲＮモデルを学習するものであり、これらの処理がコンピュータにより実行されることは当業者に明らかな事項であるから、本件発明１１と引用発明は、「学習モデルを生成するコンピュータが実行する学習モデル生成方法」として一致する。
（イ）構成１１Ｂについて
　構成ｃの「文」を備えた「コーパス」は、「１又は複数の文字列が登録されたデータベース」である点で、構成１１Ｂと共通する。また、構成ｃの「手書き文字パターン」を備えた「Nakayosi及びKuchibueデータベース」は、構成１１Ｂの「１文字単位の手書き文字画像のデータセット」に相当する。そして、構成ｃの、コーパスの文とNakayosi及びKuchibueデータベースの手書き文字パターンから、手書きテキスト行画像を合成すること、及び、構成ｃ１５のステップ５（ステップ１において選ばれた前記文とステップ４における手書き文字画像とから、各文字画像間をランダムな間隔で手書きテキスト行画像を合成すること）は、「１又は複数の文字列が登録されたデータベースから文字列を抽出し、１文字単位の手書き文字画像のデータセットから前記文字列に含まれる文字ごとに対応する１文字単位の手書き文字画像を読み出すことにより、文字列画像を含む学習用データを生成するステップ」である点で、構成１１Ｂと共通する。
　また、構成ｄ１〜構成ｄ３の、エンドツーエンドＤＣＲＮモデルの学習に用いられる合成手書きテキスト行データセット（ＳＨＴＬ）を生成する際にコーパスの文が用いられるものにおいて、当該コーパスの文の文字列の情報が、前記エンドツーエンドＤＣＲＮモデルの学習時にＳＨＴＬの各々に対応した正解ラベルとして用いられることは、当業者において当然に想定されている構成と認められるから、構成ｄ１の「合成手書きテキスト行データセット（ＳＨＴＬ）を生成する」処理は、各ＳＨＴＬに対応した正解ラベルも学習用データとして生成することを伴うものといえる。したがって、引用発明は、「１又は複数の文字列が登録されたデータベースから文字列を抽出し、１文字単位の手書き文字画像のデータセットから前記文字列に含まれる文字ごとに対応する１文字単位の手書き文字画像を読み出すことにより、文字列画像及び正解ラベルを含む学習用データを生成するステップ」を備える点で、本件発明１１と共通する。
　しかしながら、前記文字列について、本件発明１１では「帳票の手書き文字領域に記入されうる単語」であるのに対し、引用発明では「文」である点で、両者は相違する。
　これに加えて、前記１又は複数の文字列が登録されたデータベースについて、本件発明１１では「帳票の手書き文字領域に記入されうる１又は複数の単語が前記文字領域のそれぞれに対応して登録された複数の」ものであるのに対し、引用発明では「文」が登録されたものである点で、両者は相違する。
　そして、前記データベースから文字列を抽出することについて、本件発明１１では「複数のデータベースの各々から単語を抽出」することであるのに対し、引用発明ではデータベースから「文」を抽出することである点で、両者は相違する。
　また、前記文字列画像及び正解ラベルを含む学習用データを生成することついて、本件発明１１では「前記文字領域ごとに」（帳票の手書き文字領域ごとに）行われるのに対し、引用発明では当該特定がなされていない点で両者は相違する。
（ウ）構成１１Ｃについて
　構成ｄ１の、「合成手書きテキスト行データセット（ＳＨＴＬ）」は、コーパスの文と手書き文字データベースとを用いて生成されるものであるから、構成ｃの、コーパスの文と手書き文字パターンから合成される「手書きテキスト行画像」に対応したものと認められる。したがって、構成ｄ１〜構成ｄ３により合成手書きテキスト行データセット（ＳＨＴＬ）を用いてエンドツーエンドＤＣＲＮモデルを学習することは、「前記学習用データを用いた第１学習により、学習モデルを生成するステップ」に相当する。
　しかしながら、前記学習モデルを生成するステップについて、本件発明１１では「前記文字領域ごとに」（帳票の手書き文字領域ごとに）行われるのに対し、引用発明では当該特定がなされていない点で両者は相違する。
イ　一致点、相違点
　以上のことから、本件発明１１と引用発明との一致点、相違点は、次のとおりである。
（一致点）
（１１Ａ）学習モデルを生成するコンピュータが実行する学習モデル生成方法であって、
（１１Ｂ’）１又は複数の文字列が登録されたデータベースから文字列を抽出し、１文字単位の手書き文字画像のデータセットから前記文字列に含まれる文字ごとに対応する１文字単位の手書き文字画像を読み出すことにより、文字列画像及び正解ラベルを含む学習用データを生成するステップと、
（１１Ｃ’）前記学習用データを用いた第１学習により、学習モデルを生成するステップと、
を含む、
（１１Ａ）学習モデル生成方法。
（相違点１）
　文字列について、本件発明１１では「帳票の手書き文字領域に記入されうる単語」であるのに対し、引用発明では「文」である点。
（相違点２）
　１又は複数の文字列が登録されたデータベースについて、本件発明１１では「帳票の手書き文字領域に記入されうる１又は複数の単語が前記文字領域のそれぞれに対応して登録された複数の」ものであるのに対し、引用発明では「文」が登録されたものである点。
（相違点３）
　データベースから文字列を抽出することについて、本件発明１１では「複数のデータベースの各々から単語を抽出」することであるのに対し、引用発明ではデータベースから「文」を抽出することである点。
（相違点４）
　文字列画像及び正解ラベルを含む学習用データを生成することついて、本件発明１１では「前記文字領域ごとに」（帳票の手書き文字領域ごとに）行われるのに対し、引用発明では当該特定がなされていない点。
（相違点５）
　前記学習モデルを生成するステップについて、本件発明１１では「前記文字領域ごとに」（帳票の手書き文字領域ごとに）行われるのに対し、引用発明では当該特定がなされていない点。
ウ　判断
　上記相違点５について、まず検討する。
　引用発明は、「手書き日本語テキスト認識のためのエンドツーエンドモデルの学習」に関する発明であり、認識する上記「手書き日本語テキスト」の手書きされている対象が何であるかについては、引用文献１において特定されていない。
　そして、帳票の手書き文字入力領域に記入された文字を認識することはよく行われていることであるから、引用発明を、帳票の手書き文字入力領域に記入された文字の認識のためのエンドツーエンドモデルの学習とすることは、考えられることである。
　また、（帳票の手書き文字入力領域が例えば住所欄であれば、文字認識の結果は住所に使用される単語のみであるというように）帳票の手書き文字入力領域ごとに文字認識に使用される単語が限定されており、当該領域ごとに限定された単語のみに対応した文字認識を行うことは、上記周知文献１及び周知文献２に記載されているように周知技術である。
　すると、引用発明を、帳票の手書き文字入力領域ごとに限定された単語のみに対応した文字認識を行うためのものとすることは、考えられることである。
　しかしながら、エンドツーエンドモデルの構成を変更することは、特許異議申立人が提示した甲号証及び参考資料、並びに当審で追加した文献（上記第５及び第６を参照。）のいずれにも記載も示唆もされておらず、引用発明のエンドツーエンドモデルの構成を変更することが、当業者が容易に想起しうる範囲内のものであったとはいえない。
　したがって、引用発明において、エンドツーエンドモデル（学習モデル）を帳票の手書き文字入力領域ごとに生成すること、すなわち、上記相違点５に係る本件発明１１の構成は、当業者であっても容易に想到しうるものとはいえない。
　よって、本件発明１１は、上記相違点５以外の相違点について検討するまでもなく、引用発明及び周知技術等に基づいて、当業者が容易に発明をすることができたものとはいえない。
（２）本件発明１、本件発明１２について
　本件発明１の構成１Ａ、１Ｂ及び１Ｃ、並びに、本件発明１２の構成１２Ａ、１２Ｂ及び１２Ｃは、いずれも本件発明１１の構成１１Ｂ、１１Ｃ及び１１Ａにそれぞれ対応するものである。
　したがって、本件発明１及び本件発明１２は、本件発明１１と同じ相違点５に係る構成を備えるから、上記（１）と同じ理由により、当業者が容易に発明をすることができたものとはいえない。
（３）本件発明２〜本件発明１０について
　本件発明２〜本件発明１０は、本件発明１の構成を含むものであって、本件発明１１と同じ相違点５に係る構成を備えるから、上記（１）と同じ理由により、当業者が容易に発明をすることができたものとはいえない。
第８　むすび
　以上のとおりであるから、取消理由通知（決定の予告）に記載した取消理由及び特許異議申立書に記載された特許異議申立理由によっては、本件発明１〜１２に係る特許を取り消すことはできない。
　また、他に本件発明１〜１２に係る特許を取り消すべき理由を発見しない。
　よって、結論のとおり決定する。
【異議決定日】
令和３年３月３１日（２０２１．３．３１）
【訂正の要旨】
審決（決定）の【理由】欄参照。
（５７）【特許請求の範囲】
　【請求項１】
　帳票の手書き文字領域に記入されうる１又は複数の単語が
前記文字領域のそれぞれに対応して
複数の
の各々から単語を抽出し、
から前記単語に含まれる文字ごとに対応する１文字単位の手書き文字画像を読み出すことにより、前記文字領域ごとに
　前記学習用データを用いた第１学習により、
前記文字領域ごとに
　学習モデル生成装置。
　【請求項２】
　前記第１学習の後、前記帳票の画像データから切り出された文字列画像を学習用データとして用いた第２学習により、前記学習モデルを更新する学習モデル更新部をさらに備える、
　請求項１に記載の学習モデル生成装置。
　【請求項３】
　前記学習用データ生成部は、前記文字列画像に、前記帳票に印刷される透かしの少なくとも一部を重畳したものを学習用データとして生成する、
　請求項１又は２に記載の学習モデル生成装置。
　【請求項４】
　前記学習用データ生成部は、前記文字列画像に、前記帳票におけるノイズを重畳したものを学習用データとして生成する、
　請求項１〜３のいずれか一項に記載の学習モデル生成装置。
　【請求項５】
　前記学習モデル生成部は、
　第１ニューラルネットワーク及び第２ニューラルネットワークが結合されたネットワーク構造から学習モデルを生成するものであり、
　前記第１ニューラルネットワークは畳み込みニューラルネットワークにより構成され、前記手書き文字領域に含まれる前記文字列に関する特徴量マップを算出し、
　第２ニューラルネットワークはリカレントニューラルネットワークにより構成され、前記特徴量マップから文字列インデックスを算出する、
　請求項１〜４のいずれか一項に記載の学習モデル生成装置。
　【請求項６】
　前記手書き文字領域の少なくとも一つの領域は、住所に関する手書き文字領域であり、
　前記住所に関する前記手書き文字領域に対応づけられたコーパスには、都道府県名、市区町村名、地域名、又は、建物名の少なくとも一つの名称を含む組み合わせが登録されている、
　請求項１〜５のいずれか一項に記載の学習モデル生成装置。
　【請求項７】
　前記帳票を撮像装置で撮像することによって生成される画像データを、通信ネットワークを介して取得する画像データ取得部をさらに備える、
　請求項１〜６のいずれか一項に記載の学習モデル生成装置。
　【請求項８】
　帳票の画像データに基づいて、手書き文字で記入された文字列を含む１又は複数の手書き文字領域を特定する領域特定部と、
　請求項１〜７のいずれか一項に記載の学習モデル生成部により生成された学習モデルを用いて、前記手書き文字領域に記入された文字列の内容を認識する文字認識部と、を備える、
　文字認識装置。
　【請求項９】
　前記帳票における所定位置に対応付けて、前記手書き文字領域を特定するためのレイアウト情報を記録する記録部を更に備え、
　前記領域特定部は、前記レイアウト情報に基づいて、前記手書き文字領域を特定する、
　請求項８に記載の文字認識装置。
　【請求項１０】
　前記領域特定部は、
　前記帳票に記載された項目名を含む項目領域を、属性を付与した上で抽出する項目抽出部と、
　前記帳票の画像データにおける項目領域の位置及び前記属性に基づいて、前記項目領域と、当該項目領域の近傍に位置する前記手書き文字領域とを対応づけ、且つ、前記手書き文字領域の属性を割り当てる属性割当部と、を更に備える、
　請求項８又は９に記載の文字認識装置。
　【請求項１１】
　学習モデルを生成するコンピュータが実行する学習モデル生成方法であって、
　帳票の手書き文字領域に記入されうる１又は複数の単語が
前記文字領域のそれぞれに対応して
複数の
の各々から単語を抽出し、
から前記単語に含まれる文字ごとに対応する１文字単位の手書き文字画像を読み出すことにより、前記文字領域ごとに
　前記学習用データを用いた第１学習により、
前記文字領域ごとに
を含む、
　学習モデル生成方法。
　【請求項１２】
　コンピュータを、
　帳票の手書き文字領域に記入されうる１又は複数の単語が
登録された前記文字領域のそれぞれに対応して
複数の
の各々から単語を抽出し、
から前記単語に含まれる文字ごとに対応する１文字単位の手書き文字画像を読み出すことにより、前記文字領域ごとに
　前記学習用データを用いた第１学習により、
前記文字領域ごとに
　して機能させるプログラム。