Update app.py

app.py

@@ -109,10 +109,16 @@ def scrape_shopee(nama_barang, num_items):
         
     except requests.exceptions.RequestException as e:
         logging.error(f"Terjadi kesalahan saat mengirim permintaan: {e}")
+        st.error(f"Terjadi kesalahan saat mengirim permintaan: {e}")
+        break
     except requests.exceptions.HTTPError as e:
         logging.error(f"HTTP Error: {e}")
+        st.error(f"HTTP Error: {e}")
+        break
     except Exception as e:
-        logging.error(f"Terjadi kesalahan yang tidak diketahui: {e}")  
+        logging.error(f"Terjadi kesalahan yang tidak diketahui: {e}")
+        st.error(f"Terjadi kesalahan yang tidak diketahui: {e}")
+        break 
     except WebDriverException as e:
         st.error(f"An error occurred: {e}")
     finally:
@@ -182,18 +188,100 @@ def scrape_tokped(nama_barang, num_items):
                 
         except requests.exceptions.RequestException as e:
             logging.error(f"Terjadi kesalahan saat mengirim permintaan: {e}")
-            st.write(f"Terjadi kesalahan saat mengirim permintaan: {e}")
+            st.error(f"Terjadi kesalahan saat mengirim permintaan: {e}")
             break
         except requests.exceptions.HTTPError as e:
             logging.error(f"HTTP Error: {e}")
-            st.write(f"HTTP Error: {e}")
+            st.error(f"HTTP Error: {e}")
             break
         except Exception as e:
             logging.error(f"Terjadi kesalahan yang tidak diketahui: {e}")
-            st.write(f"Terjadi kesalahan yang tidak diketahui: {e}")
+            st.error(f"Terjadi kesalahan yang tidak diketahui: {e}")
             break
         page += 1
     return products
+
+@st.cache_data
+def scrape_tokped_with_selenium(nama_barang, num_items):
+    products = []
+    page = 1
+    query = quote(nama_barang)
+    driver = webdriver.Chrome(options = options)
+
+    
+    options = webdriver.ChromeOptions()
+    options.add_argument('--no-sandbox')
+    options.add_argument('--headless')
+    options.add_argument('--disable-notifications')
+    options.add_argument('--disable-infobars')
+    options.add_argument('--disable-dev-shm-usage')
+
+
+    try :
+        url = f'https://www.tokopedia.com/search?navsource=&page={page}&q={query}&srp_component_id=02.01.00.00&srp_page_id=&srp_page_title=&st='
+        driver.get(url)
+        time.sleep(10)
+        
+        html = driver.page_source
+        soup = BeautifulSoup(html, "html.parser")
+        # Dapatkan HTML dari elemen
+        #html = html_element.get_attribute("innerHTML")
+        #html = driver.execute_script("return document.getElementsByTagName('html')[0].innerHTML")
+        product_container_list = soup.find_all('a', class_="pcv3__info-content css-gwkf0u", href = True)
+        
+        for product_info in product_container_list:
+            link = product_info['href']
+            st.write(link)
+            title_element = product_info.find('div', class_="prd_link-product-name css-3um8ox")
+            title = title_element.text.strip() if title_element else None
+
+            harga_element = product_info.find('div', class_="prd_link-product-price css-h66vau")
+            harga = harga_element.text.strip() if harga_element else None
+
+            terjual_element = product_info.find('span', class_="prd_label-integrity css-1sgek4h")
+            terjual = terjual_element.text if terjual_element else None
+
+            rating_element = product_info.find('span', class_='prd_rating-average-text css-t70v7i')
+            rating = rating_element.text if rating_element else None
+
+            toko_element = product_info.find('span', class_="prd_link-shop-name css-1kdc32b flip")
+            toko = toko_element.text.strip() if toko_element else None
+
+            asal_product_element = product_info.find('span', class_="prd_link-shop-loc css-1kdc32b flip")
+            asal_product = asal_product_element.text.strip() if asal_product_element else None
+        
+            products.append({
+                'link': link,
+                'produk' : title,
+                'harga' : harga,
+                'terjual' : terjual,
+                'rating' : rating,
+                'toko' : toko,
+                'asal_product' : asal_product,
+            })
+        if len(products) >= num_items:
+            products = products[:num_items]
+            break
+        
+    except requests.exceptions.RequestException as e:
+        logging.error(f"Terjadi kesalahan saat mengirim permintaan: {e}")
+        st.error(f"Terjadi kesalahan saat mengirim permintaan: {e}")
+        break
+    except requests.exceptions.HTTPError as e:
+        logging.error(f"HTTP Error: {e}")
+        st.error(f"HTTP Error: {e}")
+        break
+    except Exception as e:
+        logging.error(f"Terjadi kesalahan yang tidak diketahui: {e}")
+        st.error(f"Terjadi kesalahan yang tidak diketahui: {e}")
+        break 
+    except WebDriverException as e:
+        st.error(f"An error occurred: {e}")
+    finally:
+        if driver:
+            driver.quit()
+    
+    return products
 #---------------------------------------------------User Interface----------------------------------------------------------------------
 
 # Streamlit UI
@@ -201,7 +289,7 @@ st.title("Scraping E-Commerce")
 
 with st.expander("Settings :"):
     # Pilihan untuk memilih situs web
-    selected_site = st.selectbox("Pilih Situs Web :", ["klikindomaret.com", "shopee.co.id", "tokopedia.com"])
+    selected_site = st.selectbox("Pilih Situs Web :", ["klikindomaret.com", "shopee.co.id", "tokopedia.com", "tokopedia.com(selenium)"])
     
     nama_barang = st.text_input("Masukkan Nama Barang :")
     num_items = st.number_input("Masukkan Estimasi Banyak Data :", min_value = 1, step = 1, placeholder="Type a number...")
@@ -224,16 +312,16 @@ if selected_site == "klikindomaret.com":
             scraping_done = True  # Set scraping_done menjadi True
 
 if selected_site == "shopee.co.id":
-    st.error("Sedang dalam pengembangan. Silahkan pilih situs yang lain")
-    #if st.button("Mulai Scraping"):
-    #    if not nama_barang:
-    #        st.error("Mohon isi Nama Barang.")
-    #    else:
-    #        scraped_products = scrape_shopee(nama_barang, num_items)
-    #        hidden_data = scraped_products  # Simpan data ke dalam variabel tersembunyi
-    #        scraping_done = True  # Set scraping_done menjadi True
+    st.error("Jika error, karena sedang dalam pengembangan. Silahkan pilih situs yang lain")
+    if st.button("Mulai Scraping"):
+        if not nama_barang:
+            st.error("Mohon isi Nama Barang.")
+        else:
+            scraped_products = scrape_shopee(nama_barang, num_items)
+            hidden_data = scraped_products  # Simpan data ke dalam variabel tersembunyi
+            scraping_done = True  # Set scraping_done menjadi True
             
-if selected_site == "tokopedia.com":
+if selected_site == "tokopedia.com"|"tokopedia.com(selenium)":
     #st.error("Sedang dalam pengembangan. Silahkan pilih situs yang lain")
     if st.button("Mulai Scraping"):
         if not nama_barang: