Upload 6 files

Mbert.py

@@ -0,0 +1,57 @@
+import torch
+from torch import nn
+from torch.utils.data import Dataset
+
+class SentencePairDataset(Dataset):
+  def __init__(self, sentence_pairs, labels, tokenizer, max_length):
+    self.sentence_pairs = sentence_pairs
+    self.labels = labels
+    self.tokenizer = tokenizer
+    self.max_length = max_length
+
+  def __len__(self):
+    return len(self.sentence_pairs)
+
+  def __getitem__(self, idx):
+    sentence1, sentence2 = self.sentence_pairs[idx]
+    label = self.labels[idx]
+    encoding = self.tokenizer.encode_plus(
+        sentence1,
+        text_pair=sentence2,
+        add_special_tokens=True,
+        max_length=self.max_length,
+        return_token_type_ids=False,
+        padding="max_length",
+        return_attention_mask=True,
+        return_tensors="pt",
+        truncation=True,
+    )
+    return {
+        "input_ids": encoding["input_ids"].flatten(),
+        "attention_mask": encoding["attention_mask"].flatten(),
+        "label": torch.tensor(label, dtype=torch.long),
+    }
+  
+class MBERTClassifier(nn.Module):
+    def __init__(self, mbert, num_classes):
+        super(MBERTClassifier, self).__init__()
+        self.mbert = mbert
+        self.layer_norm = nn.LayerNorm(self.mbert.config.hidden_size)
+        self.dropout = nn.Dropout(0.2)
+        self.batch_norm = nn.BatchNorm1d(self.mbert.config.hidden_size)
+        self.linear = nn.LazyLinear(num_classes)
+        self.activation = nn.ELU()
+
+    def forward(self, input_ids, attention_mask):
+        _, pooled_output = self.mbert(input_ids=input_ids, attention_mask=attention_mask, return_dict=False)
+        norm_output = self.layer_norm(pooled_output)
+        batch_norm_output = self.batch_norm(norm_output)
+        logits = self.linear(batch_norm_output)
+        activated_output = self.activation(logits)
+        dropout_output = self.dropout(activated_output)
+        return dropout_output
+
+    def predict_proba(self, input_ids, attention_mask):
+        logits = self.forward(input_ids, attention_mask)
+        probabilities = torch.softmax(logits, dim=-1)
+        return probabilities

Model/classifier.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:731231da2eeb4ed18488952d6f79a43aae9ce60da24f6ec3922a06ef1e7eb556
+size 711526350

config.py

@@ -0,0 +1 @@
+hf_token = "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"

predictor.py

@@ -0,0 +1,249 @@
+import streamlit as st
+import pandas as pd
+from utilities import predict
+
+st.set_page_config(layout="wide")
+
+def result_form(result, user_label):
+    if 'error' in result:
+        st.error(result['error'])
+    else:
+        st.subheader('Label probabilities:')
+        labels = ['SUPPORTED', 'REFUTED', 'NEI']
+        probabilities = {lbl: result['probabilities'].get(lbl, 0) for lbl in labels}
+
+        df = pd.DataFrame({label: [probabilities[label]] for label in labels})
+
+        def apply_background(val, label):
+            color = ''
+            if label == 'NEI':
+                color = '#FFD700'
+            elif label == 'REFUTED':
+                color = '#DC143C'
+            else:  # Supported
+                color = '#7FFF00'
+            return f'background-color: {color}; color: black'
+
+        df_styled = df.style.apply(lambda x: [apply_background(x[name], name) for name in df.columns], axis=1)
+        df_styled = df_styled.format("{:.2%}")
+
+        st.dataframe(df_styled, hide_index=True, use_container_width=True)
+
+        predicted_label = max(probabilities, key=probabilities.get)
+        return probabilities[user_label] < 0.35 or predicted_label != user_label
+
+def create_expander_with_check_button(label, title, context, predict_func):
+    claim_key = f"{label}_input"
+    evidence_key = f"{label}_evidence_selected"
+    label_e_ops = f"{label}_options"
+    evidence_input_key = f"{label}_evidence_input"
+
+    if label_e_ops not in st.session_state:
+        st.session_state[label_e_ops] = []
+
+    annotated_data = st.session_state['annotated_data']
+    with st.expander(label, expanded=True):
+        claim = st.text_input(f'Claim {label.upper()}', max_chars=500, key=claim_key)
+        if claim:
+            if not annotated_data[((annotated_data['Claim'] == claim) & (annotated_data['Label'] == label) & (annotated_data['Title'] == title))].empty:
+                st.warning(f"This claim with label '{label}' and title '{title}' already exists.")
+            else:
+                result = predict_func(context, claim)
+                if result_form(result, label):
+                    if label != 'NEI':  # NEI does not require evidence
+                        # Display available sentences as options
+                        sentences = context.split('.')
+                        sentences = [sentence.strip() for sentence in sentences if sentence.strip()]
+                        st.multiselect(f"Selected evidence for {label}", sentences, default=st.session_state[label_e_ops], key=evidence_key)
+                else:
+                    st.warning(f"The predicted probability for label '{label}' is too high or the predicted label is different. Please modify the claim.")
+        else:
+            st.warning("Please enter a claim.")
+
+
+if 'annotated_data' not in st.session_state:
+    st.session_state['annotated_data'] = pd.DataFrame(columns=['Context', 'Claim', 'Label', 'Evidence', 'Title', 'Link'])
+
+annotated_data = st.session_state['annotated_data']
+
+def save_data(context, default_title, default_link):
+    annotated_data = st.session_state['annotated_data']
+    error = 'success'
+    
+    for label in ['NEI', 'REFUTED', 'SUPPORTED']:
+        claim_key = f"{label}_input"
+        evidence_key = f"{label}_evidence_selected"
+        
+        if st.session_state.get(claim_key, ''):
+            claim = st.session_state[claim_key]
+            evidence = st.session_state.get(evidence_key, [])
+            if label == 'NEI':
+                evidence = []  # No evidence required for NEI
+            if not annotated_data[((annotated_data['Claim'] == claim) & (annotated_data['Label'] == label) & (annotated_data['Title'] == default_title))].empty:
+                error = 'duplicate'
+            else:
+                annotated_data.loc[len(annotated_data)] = [context, claim, label, evidence, default_title, default_link]
+    
+    st.session_state['annotated_data'] = annotated_data
+    return error
+
+def enough_claims_entered(title):
+    annotated_data = st.session_state['annotated_data']
+    nei_claims = annotated_data[(annotated_data['Label'] == 'NEI') & (annotated_data['Title'] == title)].shape[0]
+    refuted_claims = annotated_data[(annotated_data['Label'] == 'REFUTED') & (annotated_data['Title'] == title)].shape[0]
+    supported_claims = annotated_data[(annotated_data['Label'] == 'SUPPORTED') & (annotated_data['Title'] == title)].shape[0]
+
+    return nei_claims >= 2 and refuted_claims >= 2 and supported_claims >= 2
+
+def predictor_app():
+    tab0, tab1, tab2 = st.tabs(["Mission", "Annotate", "Save"])
+    st.sidebar.title("Dataset Upload")
+    uploaded_file = st.sidebar.file_uploader("Upload CSV file", type=["csv"])
+    with tab0:
+        c2 = st.container(border=True)
+        with c2:
+            st.title("Nhiệm vụ")
+            st.write("""
+                Nhiệm vụ của bạn là tạo các câu nhận định cho các nhãn sau: <span style='color:#7FFF00'>SUPPORTED</span> (Được hỗ trợ), <span style='color:#DC143C'>REFUTED</span> (Bị phủ nhận) hoặc <span style='color:#FFD700'>NEI</span> (Không đủ thông tin) dựa trên đoạn văn bản được cung cấp trước đó. Dưới đây là các bước để thực hiện nhiệm vụ này:
+                
+                1. **Đọc đoạn văn bản (context)**: hiểu nội dung, thông tin của đoạn văn bản được cung cấp.
+                
+                2. **Nhập câu nhận định**: dựa trên thông tin, nội dung đó, bạn hãy viết câu nhận định cho đoạn văn đó.
+                
+                3. **Phân loại câu nhận định**: sau khi đã viết xong câu nhận định, bạn hãy sắp xếp nó vào một trong ba nhãn sau:
+                    - <span style='color:#7FFF00'>SUPPORTED</span> (được hỗ trợ): đây là nhãn mà khi câu nhận định của bạn là chính xác theo những thông tin nội dung của đoạn văn bản (context) cung cấp.
+                    - <span style='color:#DC143C'>REFUTED</span> (bị bác bỏ): ngược lại với “<span style='color:#7FFF00'>SUPPORTED</span>”, đây là nhãn mà khi câu nhận định của bạn là sai so với những thông tin nội dung của đoạn văn bản (context) đưa ra.
+                    - <span style='color:#FFD700'>NEI</span> (không đủ thông tin): khi thông tin mà câu nhận định của bạn đưa ra chưa thể xác định được đúng hoặc sai dựa trên thông tin của đoạn văn bản (context) cung cấp; hoặc ít nhất một thông tin mà bạn đưa ra trong câu nhận định không xuất hiện ở đoạn văn bản (context).
+                
+                4. **Chọn bằng chứng (Evidence)**: đối với hai nhãn <span style='color:#7FFF00'>SUPPORTED</span> & <span style='color:#DC143C'>REFUTED</span>, các bạn sẽ chọn bằng chứng (evidence) cho câu nhận định. Nghĩa là các bạn sẽ chọn những thông tin trong đoạn văn bản (context) để dựa theo đó để chứng minh rằng câu nhận định của bạn là đúng (đối với “<span style='color:#7FFF00'>SUPPORTED</span>”) hoặc sai (đối với “<span style='color:#DC143C'>REFUTED</span>”). Các bạn chỉ chọn những thông tin cần thiết (không chọn hết cả câu hoặc cả đoạn văn).
+                
+                5. **Lưu dữ liệu**: Sau khi đã nhập đủ 2 câu (mỗi nhãn một câu), bạn nhấn vào nút “Save” bên dưới để lưu lại các câu đó. Sau khi lưu hoàn tất, thông báo sẽ hiện và các câu đã viết trước đó sẽ được xóa để bạn có thể nhập câu mới.
+                
+                6. **Di chuyển đến đoạn văn bản (context) khác**: bạn có thể di chuyển qua lại giữa các context nhưng chỉ khi bạn đã tạo tối thiểu 6 câu nhận định (mỗi nhãn tối thiểu 2 câu).
+                
+                Xem chi tiết hướng dẫn cách đặt câu nhận định [tại đây](https://docs.google.com/document/d/121GHPAOFa4_fhmXDGJFYCrmsStcXYc7H/edit).
+                
+                Lấy các đoạn văn bản (context): [tại đây](https://drive.google.com/drive/folders/1bbW7qiglBZHvGs5oNF-s_eac09t5oWOW).
+                """, unsafe_allow_html=True)  
+
+    if uploaded_file is None:
+        st.sidebar.warning("Please upload a CSV file.")
+    else:
+        df = pd.read_csv(uploaded_file)
+        require_columns = ['Summary', 'ID', 'Title', 'URL']
+        
+        if not set(require_columns).issubset(df.columns):
+            st.error("Error: Upload Dataset is missing required columns.")
+            st.stop()
+        else:
+            max_index = len(df) - 1
+            current_index = st.session_state.get("current_index", 0)
+            current_row = df.iloc[current_index]
+            
+            default_context = current_row['Summary']
+            default_ID = current_row['ID']
+            default_title = current_row['Title']
+            default_link = current_row['URL']
+    
+    with tab1:
+        if uploaded_file is None:
+            st.error("Dataset not found")
+        else:
+            st.title("Fact Checking annotation app")
+            c1 = st.container(border=True)
+            with c1:
+                ten_file, id_cau, chu_de, link = st.columns(4)
+                with ten_file:
+                    st.text_input("Tên File:", value=uploaded_file.name, disabled=True)
+                with id_cau:
+                    st.text_input("ID Context: ", value=default_ID, disabled=True)
+                with chu_de:
+                    st.text_input("Chủ đề:", value=default_title, disabled=True)
+                with link:
+                    st.text_input("Link:", value=default_link, disabled=True)
+                
+            c3 = st.container(border=True)
+            with c3:
+                left_column, right_column = st.columns([0.45, 0.55])
+                with left_column:
+                    st.title("Context")
+                    c3_1 = st.container(border=True, height=770)
+                    with c3_1:
+                        st.write(f'{default_context}')
+        
+                with right_column:
+                    st.title("Claim")
+                    c3_2 = st.container(border=True, height=650)
+                    with c3_2:
+                        create_expander_with_check_button("SUPPORTED", default_title, default_context, predict)
+                        create_expander_with_check_button("REFUTED", default_title, default_context, predict)
+                        create_expander_with_check_button("NEI", default_title, default_context, predict)
+
+                    # Update session state to track if claims and evidence are entered
+                    st.session_state["NEI_claim_entered"] = bool(st.session_state.get("NEI_input", ''))
+                    st.session_state["REFUTED_claim_entered"] = bool(st.session_state.get("REFUTED_input", ''))
+                    st.session_state["SUPPORTED_claim_entered"] = bool(st.session_state.get("SUPPORTED_input", ''))
+                    st.session_state["REFUTED_evidence_entered"] = bool(st.session_state.get("REFUTED_evidence_selected", []))
+                    st.session_state["SUPPORTED_evidence_entered"] = bool(st.session_state.get("SUPPORTED_evidence_selected", []))
+                    
+                    all_claims_entered = st.session_state["NEI_claim_entered"] and \
+                                         st.session_state["REFUTED_claim_entered"] and \
+                                         st.session_state["SUPPORTED_claim_entered"]
+                    
+                    all_evidence_selected = st.session_state["REFUTED_evidence_entered"] and \
+                                            st.session_state["SUPPORTED_evidence_entered"]
+
+                    previous, next_, save, close = st.columns(4)
+                    error = ''
+                    with previous:
+                        pr = st.button("Previous")
+                        if pr:
+                            if enough_claims_entered(default_title):
+                                if current_index > 0:
+                                    st.session_state["current_index"] = current_index - 1
+                                    st.experimental_rerun()
+                                else:
+                                    st.session_state["current_index"] = max_index
+                                    st.experimental_rerun()
+                            else:
+                                error = 'n_enough'
+                    
+                    with next_:
+                        next_b = st.button("Next")
+                        if next_b:
+                            if enough_claims_entered(default_title):
+                                if current_index < max_index:
+                                    st.session_state["current_index"] = current_index + 1
+                                    st.experimental_rerun()
+                                else:
+                                    st.session_state["current_index"] = 0
+                                    st.experimental_rerun()
+                            else:
+                                error = 'n_enough'
+                            
+                    with save:
+                        save_button = st.button("Save")
+                        if save_button:
+                            if all_claims_entered and all_evidence_selected:
+                                error = save_data(default_context, default_title, default_link)
+                            else:
+                                error = 'save_fail'
+    
+                    if error == 'success':
+                        st.success("Data saved successfully.")
+                    elif error == 'duplicate':
+                        st.warning(f"Maybe one of these claims with title '{default_title}' already exists.")
+                    elif error == 'n_enough':
+                        st.warning("Enter at least two claims for each label for this title before navigating.")
+                    else:
+                        st.warning("Please enter all claims and select all evidence before saving.")
+    
+    with tab2:
+        st.title("Saved Annotations")
+        if annotated_data.empty:
+            st.info("No annotations saved yet.")
+        else:
+            st.dataframe(annotated_data)
+
+if __name__ == '__main__':
+    predictor_app()

requirements.txt

@@ -0,0 +1,20 @@
+streamlit
+pandas
+numpy
+scikit-learn
+nltk
+pyvi
+torch
+transformers
+Flask
+requests
+# streamlit==1.33.0
+# pandas==2.0.3
+# numpy==1.23.5
+# scikit-learn
+# nltk==3.8.1
+# pyvi==0.1.1
+# torch==2.2.2
+# transformers==4.39.3
+# Flask==3.0.3
+# requests==2.31.0

utilities.py

@@ -0,0 +1,103 @@
+import warnings
+warnings.filterwarnings('ignore')
+import logging
+logging.disable(logging.WARNING)
+
+import torch
+import numpy as np
+import random
+from transformers import AutoModel, AutoTokenizer
+from Mbert import MBERTClassifier, SentencePairDataset
+from torch.utils.data import DataLoader
+#from evidence_retrieval import evidence_top_n, similarities
+from config import hf_token
+import pandas as pd
+
+# Thiết lập seed cố định
+def set_seed(seed):
+    random.seed(seed)
+    np.random.seed(seed)
+    torch.manual_seed(seed)
+    if torch.cuda.is_available():
+        torch.cuda.manual_seed(seed)
+        torch.cuda.manual_seed_all(seed)
+    torch.backends.cudnn.deterministic = True
+    torch.backends.cudnn.benchmark = False
+
+# Gọi hàm set_seed với seed cố định, ví dụ: 42
+set_seed(42)
+device = torch.device("cpu")
+modelname = "SonFox2920/MBert_FC"
+tokenizer = AutoTokenizer.from_pretrained(modelname, token=hf_token)
+mbert = AutoModel.from_pretrained(modelname, token=hf_token).to(device)
+model = MBERTClassifier(mbert, num_classes=3).to(device)
+model.load_state_dict(torch.load('Model/classifier.pt', map_location=device))
+
+def predict(context, claim):
+    data = pd.DataFrame([{'context': context, 'claim': claim}])
+
+    # list_evidence_top5 = []
+    # list_evidence_top1 = []
+
+    # for i in range(len(data)):
+    #     statement = data.claim[i]
+    #     context = data.context[i]
+    #     evidence_top5, top5_consine = evidence_top_n(context, statement)
+    #     evidence_top1, top1_consine, rank_5 = similarities(evidence_top5, statement, top5_consine)
+    #     evidence_top1 = "".join(evidence_top1)
+    #     list_evidence_top5.append(rank_5)
+    #     list_evidence_top1.append(evidence_top1)
+
+    # data['evidence_top5'] = list_evidence_top5
+    # data['evidence'] = list_evidence_top1
+
+    X1_pub_test = data['claim']
+    X2_pub_test = data['context']
+    X_pub_test = [(X1_pub_test, X2_pub_test) for (X1_pub_test, X2_pub_test) in zip(X1_pub_test, X2_pub_test)]
+    y_pub_test = [1]
+
+    test_dataset = SentencePairDataset(X_pub_test, y_pub_test, tokenizer, 256)
+    test_loader_pub = DataLoader(test_dataset, batch_size=1)
+
+    model.eval()
+    predictions = []
+    probabilities = []
+
+    for batch in test_loader_pub:
+        input_ids = batch["input_ids"].to(device)
+        attention_mask = batch["attention_mask"].to(device)
+        with torch.no_grad():
+            outputs = model(input_ids, attention_mask)
+            probs = torch.nn.functional.softmax(outputs, dim=1)
+            predicted = torch.argmax(outputs, dim=1)
+            predictions.extend(predicted.cpu().numpy().tolist())
+            probabilities.extend(probs.cpu().numpy().tolist())
+
+    data['verdict'] = predictions
+    data['verdict'] = data['verdict'].replace(0, "SUPPORTED")
+    data['verdict'] = data['verdict'].replace(1, "REFUTED")
+    data['verdict'] = data['verdict'].replace(2, "NEI")
+
+    result = {
+        'verdict': data['verdict'][0],
+        'probabilities': {
+            'SUPPORTED': probabilities[0][0],
+            'REFUTED': probabilities[0][1],
+            'NEI': probabilities[0][2]
+        }
+    }
+    
+    return result
+
+# # Set default context and claim
+# context = "Trái Đất là hành tinh duy nhất trong Hệ Mặt Trời được biết đến là nơi có sự sống tồn tại. Nó là hành tinh lớn thứ ba trong hệ này về kích thước và khối lượng. Trái Đất hình cầu với bề mặt gồm nước và đất liền, được bao phủ bởi lớp khí quyển. Khí quyển của Trái Đất chủ yếu bao gồm nitơ và oxy, cùng với các khí nhà kính như hơi nước và carbon dioxide. Trái Đất quay quanh Mặt Trời theo một quỹ đạo hình ellip, hoàn thành một vòng quay trong khoảng 365 ngày, gây ra sự luân phiên của các mùa."
+# claim = "Trái Đất là hành tinh duy nhất trong Hệ Mặt Trời được biết đến là nơi có sự sống tồn tại."
+
+# verdict, probabilities = predict(context, claim)
+
+# print(f"Verdict: {verdict}")
+
+# # Display percentages with colors
+# labels = ["SUPPORTED", "REFUTED", "NEI"]
+# for i, label in enumerate(labels):
+#     print(f'{label}: {probabilities[0][i]*100:.2f}%')