Python画像から文字を抽出！！OCRをやってみた

# PythonでOCR(Optical Character Recognition)をやってみる！！😜
おはようございます。Tomixです。今日PythonのOCRハンズオンをやった時につまづいたところをまとめようと思います。Macでしたので、Windowsの方は対応できるかわかりませんが、一応まとめさせていただきます。

# OCRとは！？？
OCRとはOptical Character Recognitionの略で、何ができるかというと、画像から文字起こしができるってやつです。Google翻訳などでカメラで写真撮ったら翻訳される、みたいなことができるやつですよね。すごそう。ワクワク😋

ではやっていきましょう！！！

## 参考にした記事📕

https://qiita.com/anzanshi/items/9ee94affecd74be33159

https://qiita.com/seigot/items/5c65f30cd578380ff65d

https://tech.mof-mof.co.jp/blog/tesseract-ocr/

今回私はAnacondaを使いませんでした。Anacondaが怖いからです。なんか環境ぐちゃぐちゃになりそうだったからやめときました。@anzanshiさんはAnacondaありの記事を書かれているので、私はAnacondaなしでやってみた記事を出しますね笑

# この記事をする上で前もって必要なもの🐶
- Pythonのインストール
- Homebrewのインストール
- pip3を使える環境
くらいですかね

##### Python3のインストール
https://qiita.com/ms-rock/items/72b8f1abc661c539bb09

##### Homebrewのインストール(途中でXcodeもダウンロードします)
http://vdeep.net/intr-homebrew

### 今回やっていく中でinstallするもの
- tesseract
- pyocr
の2点です！！


## 1.まずはpyocrのインストール
ターミナル.appを開きます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/135538/eee4038e-93e4-d236-c04c-490fdda61e68.png)


``` python:コマンドライン
pip3 install pyocr
```
![スクリーンショット 2021-03-04 13.33.40.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/135538/90deae42-afea-9041-fc01-314d3e662793.png)

と入力してreturnキー(Enterキー)を押します。するとpip経由でインストールされるはずです。

## 2.tesseractのインストール
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/135538/75bafb2e-7c7a-5e53-a87e-fb5b54a2b7ac.png)

tesseractのインストールはpipを使いません。一応pipでもできるっぽいですが、pipでゲットできる最新バージョンが0.1.3だったので1にすらなっていないしやばそうだということでやめましょう。
Homebrewでインストールすると私の場合**4.1.1**がゲットできました。今回はHomebrewを使います。

Homebrewを使う時にXcodeが必要なので、容量をかなり食うと思います。(とはいえ大体のエンジニアであればMacにXcodeくらいは入っていると思うし、入れておいてもいいと思います。あと単純にbrewが便利なので入れておいて損はないと思います。)

ちなみにAnacondaでインストールするときは**conda-forge**という団体が有志で提供してくれているライブラリを使うことができるので、色々いいことあるそうです...が私は今回Anacondaに逆らっていくのでなしで😜

``` python:コマンドライン
brew install tesseract
```

と入力し、returnキー(Enterキー)します。
これでTesseractが入ったと思います。途中で(y/n)とか出てきたら、書いてる文章を読んで、yesかnoかをyかnで入力してreturnキーしましょう。

# 3.では実際に使ってみる！！
動作確認も兼ねてやってみましょう。OCRに挑戦です！💪🔥
こちらの記事を参考にさせていただきました。
https://qiita.com/it__ssei/items/fd804dcb10997566593b

今回私はJupyter Labでテストしてみました。入力して[Shit+return]ですぐに答えが反映されてテストする時に使いやすいのでおすすめです。一行づつテストするのには向いていると思います。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/135538/688a71a4-002d-9647-c894-8f243973b1b3.png)

Jupyter Labで試してみたい方はこちらの記事が参考になると思います。

https://qiita.com/kirikei/items/a1639954ce5ccaf7ac3c

``` python:pythonのテストコード
from PIL import Image
import sys

import pyocr
import pyocr.builders

tools = pyocr.get_available_tools()
if len(tools) == 0:
    print("No OCR tool found")
    sys.exit(1)
# The tools are returned in the recommended order of usage
tool = tools[0]
print("Will use tool '%s'" % (tool.get_name()))
# Ex: Will use tool 'libtesseract'

langs = tool.get_available_languages()
print("Available languages: %s" % ", ".join(langs))
lang = langs[0]
print("Will use lang '%s'" % (lang))
# Ex: Will use lang 'fra'
# Note that languages are NOT sorted in any way. Please refer
# to the system locale settings for the default language
# to use.
```


``` :私のPCで表示されたやつ
Will use tool 'Tesseract (sh)'
Available languages: eng, osd, snum
Will use lang 'eng'
```
Available languagesにjpn(日本語)がないですねぇ...日本語使えないじゃん。つらぴ
日本語を使いたいので、あとで日本語対応させていきます！！とりあえずはOCRを体験してみましょう！！

### 文字認識(OCR)をやってみる!
こちらの画像をダウンロードしてください。名前を**001.png**にしておきましょう。
これが読み取る画像になります。テストしきましょー
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/135538/022a23bf-1c0d-eef2-9575-e19ba38387b2.png)

先程のコードに続けて、

``` python:pythonのテストコード
txt = tool.image_to_string(
    Image.open('/Users/tomixrm/Documents/Jupyter/001.png'),
    lang="eng",
    builder=pyocr.builders.TextBuilder(tesseract_layout=6)
)
print( txt )
# txt is a Python string
```
を入力して実行します。
↓画像ファイルの場所は人によって違うので、各自設定してください。

**/Users/tomixrm/Documents/Jupyter/001.png**は保存した画像のディレクトリ(保存場所)です。
これを正しく記述するには、```対象の画像ファイル```をターミナル.appに**ドラッグアンドドロップ**したら、ディレクトリが出てくると思います。コピーして```Image.open("ここにペースト")```しましょう。

``` :各自設定
Image.open(画像ファイル),
```

![Videotogif-2.gif](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/135538/94480354-f746-7708-5bfd-370a97d35b96.gif)

**lang="eng"**は言語を英語にしています。日本語でやっていきたい場合は"eng"を"jpn"にしたらできると思います。でも私の環境では日本語が対応できていなかったので、日本語対応させていきましょう。

# 4.日本語対応させる！！
ここからてこずったところです
#### Tesseract を日本語対応させるときにやること

**やることは```/usr/local/Cellar/tesseract/4.1.1/share/tessdata``` を開いて
Githubからjpn.traineddataをダウンロードしてきて、```/usr/local/Cellar/tesseract/4.1.1/share/tessdata```の中に入れるだけて感じです。**

ややこしいと思うので、下記で説明していきます。

# 1.コマンドライン(ターミナル)でtesseractのフォルダに移動する
コマンドラインを使います。下記を入力します。
コマンドラインわからない人はProgateのこの講座がおすすめです。
https://prog-8.com/languages/commandline

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/135538/eee4038e-93e4-d236-c04c-490fdda61e68.png)

```:コマンドライン
cd
ls /usr/local/Cellar/tesseract
```

と入力してみます。そうすると、**4.1.1**とか**4.1.0**とかのフォルダ名が出てくるはずです。この4.1.1とかの番号を使いますのでメモしてください。

先程の4.1.1などの数値(フォルダ名)を使って以下のようにします。**(4.1.1は可変です)**

```:コマンドライン
cd
cd /usr/local/Cellar/tesseract/
open 4.1.1
```
をします。そしたらフォルダが開くはずです。
そしたらこういう感じのフォルダが見えると思います。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/135538/12a0418f-f156-b4c2-5ca1-a8c5ee2a8831.png)
そのあと```share/tessdata```を開きます。(shareの中のtessdataフォルダを開く)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/135538/aded088f-c088-89e8-65f0-84e263bc6011.png)
開いたらとりあえずここまでは成功です！！
次は日本語バージョンのtessdataをダウンロードしていきます。

# 日本語対応化ファイルをダウンロードする
Githubからダウンロードしてきます。Cloneでもいいんですけど、あんまりコマンド使うとかわいそうな気がするので、最小限にしときますね。

**1. ここから```jpn.traineddata```をダウンロードしてください。**

https://github.com/tesseract-ocr/tessdata/blob/master/jpn.traineddata


ダウンロードした**jpn.traineddata**を**4.1.1**の中の**share**の中の**tessdata**に入れましょう。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/135538/67f3e149-d03a-ffb4-3a31-4a982dc2f5b0.png)

こういう感じのファイル構造になっていると思われます。
これで対応されたはずです！！

# 日本語対応を試してみる！！
先程のコードをちょっといじって日本語をOCRしてみましょう。
まずはこの画像をダウンロードして```001.png```と名前をつけて保存しましょう。
![001.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/135538/12ae8df2-53d6-01ae-ae0e-14f0a9ae38a2.png)
先程と同じディレクトリに画像を置いて、置き換えます。

```python:日本語OCR.py
from PIL import Image
import sys

import pyocr
import pyocr.builders

tools = pyocr.get_available_tools()
if len(tools) == 0:
    print("No OCR tool found")
    sys.exit(1)
# The tools are returned in the recommended order of usage
tool = tools[0]
print("Will use tool '%s'" % (tool.get_name()))
# Ex: Will use tool 'libtesseract'

langs = tool.get_available_languages()
print("Available languages: %s" % ", ".join(langs))
lang = langs[0]
print("Will use lang '%s'" % (lang))
# Ex: Will use lang 'fra'
# Note that languages are NOT sorted in any way. Please refer
# to the system locale settings for the default language
# to use.

txt = tool.image_to_string(
    Image.open('/Users/tomixrm/Documents/Jupyter/001.png'),
    lang="jpn",
    builder=pyocr.builders.TextBuilder(tesseract_layout=6)
)
print( txt )
# txt is a Python string
```

これ↑がコードになります。

↓変えるべきのところ

```
Image.open('画像ファイル'),
lang="jpn", #言語
```

上記のコードを実行した結果がこちら。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/135538/2628241f-17cd-2e4b-a8a3-ac739dc07b80.png)


```
バ イ ソ ン で 日 本 語 0CR
や っ て み る
```
...そっすか。**バイソン**は違うだろ...パイソンがバイソンになりました。文字色を黒じゃなくしたところがまずかったのかな？？？あと文字にスペースが入っていますね。よくないです。あとOと0が勘違いされていますね。あららーーーーー残念だ。

## 番外編 スペース問題を解決する
そういう時は文字列処理でスペースを消せばいいので、先程のコードに追加で

```python:python
txt = txt.replace(' ','')
txt = txt.replace('\n','')
print(txt)
```

とすれば、
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/135538/b7397bf2-0b63-90c1-137b-c0d1a3a738b4.png)

**バイソンで日本語0CRやってみる**が出ました！！！

# 終わりに
pipとbrewでインストールして、pythonでOCRをやってみました。
Oと0が間違えられたり、パとバを間違えたりなど、機械も信頼できたものではないですねw

以上です。お疲れ様でした。

# 参考
https://qiita.com/anzanshi/items/9ee94affecd74be33159

https://qiita.com/seigot/items/5c65f30cd578380ff65d

https://tech.mof-mof.co.jp/blog/tesseract-ocr/

https://qiita.com/it__ssei/items/fd804dcb10997566593b