OpenCVでレシート画像を切り抜き（改良の余地あり）

# 目的
- レシートと背景が写った写真からレシートをくりぬきたい
- OpenCVの理解
- なんか画像処理っぽいことしたい

# 環境
- Windows11 Home
- VSCode
- Python3.9
- pip
opencv-python 4.5.5.62

【追記20220305：パラメータなど調整しました】
- グレースケール化の方法を変更　cv2.cvtColor→cv2.decolor
- 二値化のパラメータ変更　cv2.THRESH_OTSUに変更
- cv2.findContoursの引数を変更 cv2.RETR_TREE→cv2.RETR_EXTERNAL（ご意見いただきました。ありがとうございます。中の余計な線が消えました。）

# 本編
## 参考文献
ありがとうございます。お世話になりました

※0

https://vigne-cla.com/14-3/

※1

https://qiita.com/mix_dvd/items/5674f26af467098842f0

※2

https://note.com/lydiacorp/n/n338940559a3c

※3

http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py_tutorials/py_imgproc/py_contours/py_contour_features/py_contour_features.html


## プログラム
### 元の画像
パンを買ってきました。その時のレシートをパシャリ
背景の影響とかありそうだな。。

![20220303_084409.jpg1.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/245578/18e16c7c-57ea-ef6a-71e4-744380e247ea.jpeg)


### グレースケール化
ちょっと変更。従来からある方法から最近できた方法（※2）でグレースケールしています。


```python
    # 2-1.グレースケール化
    #gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    gray, _ = cv2.decolor(img)
    save_image(filename+"2_gray", gray)
```
![20220303_084409.jpg2_gray.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/245578/1b64a6d8-0155-5763-20a8-982d42084d4f.jpeg)


### 二値化

```python
    # 2-2.二値化
    ##ret, th1 = cv2.threshold(gray, 220, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)
    ret, th1 = cv2.threshold(gray, 0, 255, cv2.THRESH_OTSU)    
    save_image(filename+"2", th1)
```
案外うまくいっている？

![20220303_084409.jpg2.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/245578/de773130-bab9-869d-ca78-f1b0c7339af9.jpeg)



### 輪郭抽出

```
    # 3-1.輪郭抽出
    #contours, hierarchy = cv2.findContours(th1, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
    contours, hierarchy = cv2.findContours(th1, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_TC89_L1)

    # 3-2.面積の大きいもののみ選別
    areas = []
    for cnt in contours:
        area = cv2.contourArea(cnt)
        if area > 50000:
            ## 輪郭の近似
            epsilon = 0.08*cv2.arcLength(cnt,True) #　＜＜＝＝※3
            approx = cv2.approxPolyDP(cnt,epsilon,True)
            areas.append(approx)

    cv2.drawContours(img,areas,-1,(0,255,0),3)
    save_image(filename+"3", img)
```
おおっ！輪郭は描画された。

~~よく見ると輪郭は描画されてのですがなんか余計なものも描画されているな。。。。
改良の余地ありです。~~
パラメータ調整したらだいぶいい感じにできました。

![20220303_084409.jpg3.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/245578/bc703759-a1e2-0cd4-8b7d-1b1ac17a6337.jpeg)

つづく。。。

https://qiita.com/kazzzu/items/ebaa3f42c91d9ade3ee5


## おまけ
レシートだけではつまらないので明治神宮へ行った時のおみくじ写真に実施してみました。
かなりうまくいっています。
![20170104_090657.jpg1.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/245578/ec6f0972-6db2-8ecd-bf3e-8015ec076f01.jpeg)
![20170104_090657.jpg2_gray.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/245578/2e8de115-cb5e-0068-7e5f-77f9d581e8f1.jpeg)
![20170104_090657.jpg2.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/245578/14c1c02f-9896-3db7-1265-a9c9a3f44667.jpeg)
![20170104_090657.jpg3.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/245578/e98a66f1-73a6-d267-2fb4-3db4554f5574.jpeg)


これはまるでダメパターン。レシートと背景のコントラストが無くうまく二値化できなかった。
![20191015_134133.jpg1.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/245578/0f03906f-9cf1-6f7a-b556-3dff37c7c56c.jpeg)
![20191015_134133.jpg2_gray.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/245578/4af0c794-8bcc-a6fc-5d0c-8d29b8d65ef9.jpeg)
![20191015_134133.jpg2.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/245578/42d9b080-4a7b-6fc6-e5d1-3a9466515e6c.jpeg)
![20191015_134133.jpg3.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/245578/4c72cf1a-5eb1-83e3-1cdf-316a590bd287.jpeg)