util/getdata.py

#code by princesslucy
import json, time, requests, os, sys
from tqdm import tqdm
from util.dbquery import load_json, insert_data, getDataNum

def fetch_and_store_data():
    print("최신데이터를 받아오는 중입니다. 데이터를 받는 도중 프로그램을 종료하지 마십시오.")
    KEY = os.environ['PRODUCT_PRICE_API']
    i = 1
    while i + 999 <= 100000:   
        url = f'http://openAPI.seoul.go.kr:8088/{KEY}/json/ListNecessariesPricesService/{i}/{i+999}'
        response = requests.get(url)
        decoded = response.content.decode('utf-8')
        data = json.loads(decoded)

        # 데이터를 바로 처리하고 데이터베이스에 삽입
        inserted_rows = insert_data(data)
        
        if inserted_rows == 0:  # 새로 삽입된 데이터가 없으면 루프 탈출
            print("\n데이터베이스에 새로운 데이터가 없습니다. 업데이트를 중단합니다.")
            break

        i += 1000
        sys.stdout.write('\r')
        completion = min(int(i/1000), 100)
        sys.stdout.write("[%-50s] %d%%" % ('='*int(completion/2), completion))
        sys.stdout.flush()

    current_time = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime())
    print(f"\n데이터 업데이트 완료 시간: {current_time}")
    print("업데이트 완료")