import streamlit as st import pandas as pd import re from utilities import predict st.set_page_config(layout="wide") def result_form(result, user_label): if 'error' in result: st.error(result['error']) else: st.subheader('Label probabilities:') labels = ['SUPPORTED', 'REFUTED', 'NEI'] probabilities = {lbl: result['probabilities'].get(lbl, 0) for lbl in labels} df = pd.DataFrame({label: [probabilities[label]] for label in labels}) def apply_background(val, label): color = '' if label == 'NEI': color = '#FFD700' elif label == 'REFUTED': color = '#DC143C' else: # Supported color = '#7FFF00' return f'background-color: {color}; color: black' df_styled = df.style.apply(lambda x: [apply_background(x[name], name) for name in df.columns], axis=1) df_styled = df_styled.format("{:.2%}") st.dataframe(df_styled, hide_index=True, use_container_width=True) predicted_label = max(probabilities, key=probabilities.get) return probabilities[user_label] < 0.35 or predicted_label != user_label def split_sentences(context): # Regular expression to split text into sentences pattern = r'(?= 2 and refuted_claims >= 2 and supported_claims >= 2 def predictor_app(): tab0, tab1, tab2 = st.tabs(["Mission", "Annotate", "Save"]) st.sidebar.title("Dataset Upload") uploaded_file = st.sidebar.file_uploader("Upload CSV file", type=["csv"]) with tab0: c2 = st.container(border=True) with c2: st.title("Nhiệm vụ") st.write(""" Nhiệm vụ của bạn là tạo các câu nhận định cho các nhãn sau: SUPPORTED (Được hỗ trợ), REFUTED (Bị phủ nhận) hoặc NEI (Không đủ thông tin) dựa trên đoạn văn bản được cung cấp trước đó. Dưới đây là các bước để thực hiện nhiệm vụ này: 1. **Đọc đoạn văn bản (context)**: hiểu nội dung, thông tin của đoạn văn bản được cung cấp. 2. **Nhập câu nhận định**: dựa trên thông tin, nội dung đó, bạn hãy viết câu nhận định cho đoạn văn đó. 3. **Phân loại câu nhận định**: sau khi đã viết xong câu nhận định, bạn hãy sắp xếp nó vào một trong ba nhãn sau: - SUPPORTED (được hỗ trợ): đây là nhãn mà khi câu nhận định của bạn là chính xác theo những thông tin nội dung của đoạn văn bản (context) cung cấp. - REFUTED (bị bác bỏ): ngược lại với “SUPPORTED”, đây là nhãn mà khi câu nhận định của bạn là sai so với những thông tin nội dung của đoạn văn bản (context) đưa ra. - NEI (không đủ thông tin): khi thông tin mà câu nhận định của bạn đưa ra chưa thể xác định được đúng hoặc sai dựa trên thông tin của đoạn văn bản (context) cung cấp; hoặc ít nhất một thông tin mà bạn đưa ra trong câu nhận định không xuất hiện ở đoạn văn bản (context). 4. **Chọn bằng chứng (Evidence)**: đối với hai nhãn SUPPORTED & REFUTED, các bạn sẽ chọn bằng chứng (evidence) cho câu nhận định. Nghĩa là các bạn sẽ chọn những thông tin trong đoạn văn bản (context) để dựa theo đó để chứng minh rằng câu nhận định của bạn là đúng (đối với “SUPPORTED”) hoặc sai (đối với “REFUTED”). Các bạn chỉ chọn những thông tin cần thiết (không chọn hết cả câu hoặc cả đoạn văn). 5. **Lưu dữ liệu**: Sau khi đã nhập đủ 2 câu (mỗi nhãn một câu), bạn nhấn vào nút “Save” bên dưới để lưu lại các câu đó. Sau khi lưu hoàn tất, thông báo sẽ hiện và các câu đã viết trước đó sẽ được xóa để bạn có thể nhập câu mới. 6. **Di chuyển đến đoạn văn bản (context) khác**: bạn có thể di chuyển qua lại giữa các context nhưng chỉ khi bạn đã tạo tối thiểu 6 câu nhận định (mỗi nhãn tối thiểu 2 câu). Xem chi tiết hướng dẫn cách đặt câu nhận định [tại đây](https://docs.google.com/document/d/1teq8ZWXqQihICpyA5PSVXd1cNQNkihWg/edit). Lấy các đoạn văn bản (context): [tại đây](https://drive.google.com/drive/folders/1bbW7qiglBZHvGs5oNF-s_eac09t5oWOW). """, unsafe_allow_html=True) if uploaded_file is None: st.sidebar.warning("Please upload a CSV file.") else: df = pd.read_csv(uploaded_file) require_columns = ['Summary', 'ID', 'Title', 'URL'] if not set(require_columns).issubset(df.columns): st.error("Error: Upload Dataset is missing required columns.") st.stop() else: max_index = len(df) - 1 current_index = st.session_state.get("current_index", 0) current_row = df.iloc[current_index] default_context = current_row['Summary'] default_ID = current_row['ID'] default_title = current_row['Title'] default_link = current_row['URL'] with tab1: if uploaded_file is None: st.error("Dataset not found") else: st.title("Fact Checking annotation app") c1 = st.container(border=True) with c1: ten_file, id_cau, chu_de, link = st.columns(4) with ten_file: st.text_input("Tên File:", value=uploaded_file.name, disabled=True) with id_cau: st.text_input("ID Context: ", value=default_ID, disabled=True) with chu_de: st.text_input("Chủ đề:", value=default_title, disabled=True) with link: st.text_input("Link:", value=default_link, disabled=True) c3 = st.container(border=True) with c3: left_column, right_column = st.columns([0.45, 0.55]) with left_column: st.title("Context") c3_1 = st.container(border=True, height=770) with c3_1: st.write(f'{default_context}') with right_column: st.title("Claim") c3_2 = st.container(border=True, height=650) with c3_2: create_expander_with_check_button("SUPPORTED", default_title, default_context, predict) create_expander_with_check_button("REFUTED", default_title, default_context, predict) create_expander_with_check_button("NEI", default_title, default_context, predict) # Update session state to track if claims and evidence are entered st.session_state["NEI_claim_entered"] = bool(st.session_state.get("NEI_input", '')) st.session_state["REFUTED_claim_entered"] = bool(st.session_state.get("REFUTED_input", '')) st.session_state["SUPPORTED_claim_entered"] = bool(st.session_state.get("SUPPORTED_input", '')) st.session_state["REFUTED_evidence_entered"] = bool(st.session_state.get("REFUTED_evidence_selected", [])) st.session_state["SUPPORTED_evidence_entered"] = bool(st.session_state.get("SUPPORTED_evidence_selected", [])) all_claims_entered = st.session_state["NEI_claim_entered"] and \ st.session_state["REFUTED_claim_entered"] and \ st.session_state["SUPPORTED_claim_entered"] all_evidence_selected = st.session_state["REFUTED_evidence_entered"] and \ st.session_state["SUPPORTED_evidence_entered"] previous, next_, save, close = st.columns(4) error = '' with previous: pr = st.button("Previous") if pr: if current_index > 0: st.session_state["current_index"] = current_index - 1 st.experimental_rerun() else: st.session_state["current_index"] = max_index st.experimental_rerun() with next_: next_b = st.button("Next") if next_b: if current_index < max_index: st.session_state["current_index"] = current_index + 1 st.experimental_rerun() else: st.session_state["current_index"] = 0 st.experimental_rerun() with save: save_button = st.button("Save") if save_button: if all_claims_entered and all_evidence_selected: error = save_data(default_context, default_title, default_link) else: error = 'save_fail' if error == 'success': st.success("Data saved successfully.") elif error == 'duplicate': st.warning(f"Maybe one of these claims with title '{default_title}' already exists.") elif error == 'save_fail': st.warning("Please enter all claims and select all evidence before saving.") with tab2: st.title("Saved Annotations") if annotated_data.empty: st.info("No annotations saved yet.") else: st.dataframe(annotated_data) if __name__ == '__main__': predictor_app()