Update app.py

app.py

@@ -13,17 +13,17 @@ from google.oauth2 import service_account
 array = []
 # アイテムの類似率
 item_similarity = 0.9
-ocr_similarity = 0.4
+ocr_similarity = 0.9
 # 2値化のためのしきい値を設定
 thresh_value = 128
 # スタックしないアイテムの最大カウント
 unique_item_count = 5
 
-def mask(img):
-    mask = img[:,:,3]
+def mask(mask, rgb):
+    mask = mask[:,:,3]
     mask = cv2.cvtColor(mask, cv2.COLOR_GRAY2BGR)
     mask = mask.astype(np.float32) / 255.0
-    rgb = img[:,:,0:3]
+    rgb = rgb[:,:,0:3]
     rgb = rgb.astype(np.float32) * mask
     rgb = np.round(rgb).astype(np.uint8)
     return rgb
@@ -35,23 +35,28 @@ def gray_binary(img):
 
 def Scan(input_image, progress=gr.Progress()):
     global array
+    
     # BGRからRGBに変換
     input_image = cv2.cvtColor(input_image, cv2.COLOR_BGR2RGB)
     
-    # 一時ファイルに画像を保存してパスを取得
+    # 一時ファイルに画像を保存して読み込む（RGBA形式）
     temp_image_path = os.path.join(tempfile.gettempdir(), "temp_image.jpg")
     cv2.imwrite(temp_image_path, input_image)
-    
-    # 画像を読み込む（RGBA形式）
     source_image = cv2.imread(temp_image_path , cv2.IMREAD_UNCHANGED)
-    
-    # 一時ファイルを削除
     os.remove(temp_image_path)
     
     # 検出用画像の入ったフォルダパス指定
     item_folder_path = './Image/ItemImage/'
     unique_item_folder_path = './Image/UniqueItemImage/'
     ocr_folder_path = './Image/Number/'
+    Inventory_img = cv2.imread('./Image/Inventory.png')
+
+    # 画像からイベントリ部分を抽出
+    result = cv2.matchTemplate(source_image, Inventory_img, cv2.TM_CCOEFF_NORMED)
+    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)
+    x1, y1 = max_loc[0] - 13, max_loc[1] - 11
+    x2, y2 = x1 + 454 , y1 + 804
+    source_image = source_image[y1:y2, x1:x2]
     
     # スタックするアイテムをスキャン
     # フォルダ内の画像ファイル名をすべて取得
@@ -74,7 +79,7 @@ def Scan(input_image, progress=gr.Progress()):
         target_image_top_half = target_image[:half_height, :]
         
         # 透過を考慮してマスクを作成し適用
-        target_image_top_half_rgb = mask(target_image_top_half)
+        target_image_top_half_rgb = mask(target_image_top_half, target_image_top_half)
         
         # マッチングを行う
         result = cv2.matchTemplate(source_image, target_image_top_half_rgb, cv2.TM_CCOEFF_NORMED)
@@ -103,12 +108,10 @@ def Scan(input_image, progress=gr.Progress()):
                 number = 0
                 
                 # マッチした画像の下にある数字を切り取る(数字1文字7*13)
-                x1, y1, x2, y2 = bottom_right[0] - width + 34 - num * 7, bottom_right[1] + 2, bottom_right[0] - 1 - num * 7, bottom_right[1] + half_height - 6
+                x1, y1 = bottom_right[0] - width + 34 - num * 7, bottom_right[1] + 2
+                x2, y2 = x1 + 7 , y1 + 13
                 region = source_image[y1:y2, x1:x2]
                 
-                # グレースケール+2値化
-                region_gray_binary = gray_binary(region)
-                
                 # フォルダ内の画像ファイル名を取得
                 number_image_files = [f for f in os.listdir(ocr_folder_path) if os.path.isfile(os.path.join(ocr_folder_path, f))]
                 
@@ -117,13 +120,17 @@ def Scan(input_image, progress=gr.Progress()):
                     if not number_image_files.endswith('.webp'):
                         continue
                     
-                    # 画像読込 マスク適用 グレースケール+2値化
+                    # 比較画像読込 マスク適用 グレースケール+2値化
                     number_image = cv2.imread(os.path.join(ocr_folder_path, number_image_files), cv2.IMREAD_UNCHANGED)
-                    number_image = mask(number_image)
-                    nnumber_image_gray_binary = gray_binary(number_image)
+                    number_image_mask = mask(number_image, number_image)
+                    number_image_mask_gray_binary = gray_binary(number_image_mask)
+                    
+                    # トリミング画像 マスク適用 グレースケール+2値化
+                    region_mask = mask(number_image, region)
+                    region_mask_gray_binary = gray_binary(region_mask)
                     
                     # マッチングを行う
-                    number_result = cv2.matchTemplate(region_gray_binary, nnumber_image_gray_binary, cv2.TM_CCOEFF_NORMED)
+                    number_result = cv2.matchTemplate(region_mask_gray_binary, number_image_mask_gray_binary, cv2.TM_CCOEFF_NORMED)
                     
                     # 類似度が最大の位置を取得
                     min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(number_result)
@@ -144,7 +151,7 @@ def Scan(input_image, progress=gr.Progress()):
             array.append([filename_without_extension, item_count])
             
             # マッチした箇所を四角で囲む
-            cv2.rectangle(source_image, top_left, (top_left[0] + width, top_left[1] + height), (0, 255, 0), 2)
+            cv2.rectangle(source_image, top_left, (top_left[0] + width - 1, top_left[1] + height - 1), (0, 255, 0), 2)
     
     # スタックしないアイテムをスキャン
     # フォルダ内の画像ファイル名をすべて取得
@@ -167,7 +174,7 @@ def Scan(input_image, progress=gr.Progress()):
         target_image_top_half = target_image[:half_height, :]
         
         # 透過を考慮してマスクを作成し適用
-        target_image_top_half_rgb = mask(target_image_top_half)
+        target_image_top_half_rgb = mask(target_image_top_half, target_image_top_half)
         
         # 最大(unique_item_count)個まで検出
         for num in range(unique_item_count):
@@ -196,7 +203,7 @@ def Scan(input_image, progress=gr.Progress()):
                     array[index][1] += 1
                 
                 # マッチした箇所を四角で囲む
-                cv2.rectangle(source_image, top_left, (top_left[0] + width, top_left[1] + height), (0, 255, 0), 2)
+                cv2.rectangle(source_image, top_left, (top_left[0] + width - 1, top_left[1] + height - 1), (0, 255, 0), 2)
     
     # RGBからBGRに変換
     output_image = cv2.cvtColor(source_image, cv2.COLOR_RGB2BGR)