質問: 今、仕事で昔の紙伝票を電子化&データベース化するというミッションがあります。 単純にアルバイトでも臨時で雇って電子化と入力作業をお願いするという手段とかも考えられますが、芸がないのと社内の雰囲気としても技術的挑戦は許されるので少し考えている最中です。(あまり大型投資は許されませんが・・・) いろいろと調べていますが、あまり文献がなかったのでここに書いてみた次第です。雑談レベルでヒントを頂けるとすごく嬉しいです。 調べていく中で、Google Cloud Vision APIはなかなかの画像認識レベルということがわかりました。 これを使えばデータの抽出はかなりいい感じにいけるのではないかと思っています。 しかし、ここで課題があるのですが紙伝票のデータ内容はほぼほぼ似た感じであるのですが**フォーマットが100種類??くらい存在**しているという問題があります( ́;ω;`)ウゥゥ 同一フォーマットであれば抽出されたX行目のデータをデータベースのどのフィールドに投げ込みという処理をしてあげればいいと思うのですがさすがにフォーマットがバラバラだと難しいですよね。 AIとかで自動認識してデータをある程度整形してくれないかななんて冗談を考えつつどのような仕組みがいいのか悩んでいます。 このような構成をもとにした場合、皆さんであればどのように解決されていきますか? よろしくお願いいたします。
回答: 課題としては以下のような感じでしょうか。 1)電子化 ここで、斜めになったり歪みが出ると、そのあとの工程に影響が出てきます。 2)100種の伝票それぞれを認識して処理を分ける必要があるのか、ほぼ同位置に存在する情報を利用するのか 画像認識の精度が良くなったとしても、各々のフォーマットに対して、画像として特徴量が少なかったり、同じような特徴しか取れない場合、学習しても精度が上がらない可能性が高いです。 前者であれば、前処理を行い、不要部分を取り除いた上でOCR(Google Cloud Vision)に投げるということも可能になりそう 後者の場合、やってみないとどこまでの精度が上がるか判断が難しい 3)学習コスト ともかく、100種類のフォーマットを認識しなければならないとすれば、それなりのデータを分類器にかけてみて、うまく分類できるか確認したり、教師ありデータを作成して、学習してみたりするトライアンドエラーが必要になります。 これはそれなりにリソースが必要となりそう。 まずは前者をやってみて、どんな感じになるかみてみるかな、分類されないのであれば、逆に2の前者が期待できそうだし、そうでないなら、教師ありデータで頑張るか、2の前者とハイブリッドでなどの検討材料になるかと思います。