Duplicate from TRACES/streamlit-test

.gitattributes

@@ -0,0 +1,38 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text
+<<<<<<< HEAD
+*.pk filter=lfs diff=lfs merge=lfs -text
+=======
+>>>>>>> 534a2fcfb5d15432348f76ee7edeceaae194bef9

.streamlit/config.toml

@@ -0,0 +1,10 @@
+[server]
+# The port where the server will listen for browser connections.
+# Default: 8501
+# port = 7860
+
+[browser]
+# Port where users should point their browsers in order to connect to the app.
+# This is used to: - Set the correct URL for CORS and XSRF protection purposes. - Show the URL on the terminal - Open the browser
+# Default: whatever value is set in server.port.
+# serverPort = 7860

README.md

@@ -0,0 +1,9 @@
+---
+title: TRACES
+colorFrom: blue
+colorTo: blue
+sdk: streamlit
+sdk_version: 1.17.0
+app_file: main.py
+duplicated_from: TRACES/streamlit-test
+---

main.py

@@ -0,0 +1,115 @@
+import json
+import os
+
+import streamlit as st
+import pickle
+
+from transformers import AutoTokenizer, BertForSequenceClassification, pipeline
+from sklearn.feature_extraction.text import TfidfVectorizer
+
+
+def load_models():
+    st.session_state.loaded = True
+
+    with open("models/tfidf_vectorizer_svm_gpt_bg_0.9338_text4.pkl", "rb") as f:
+        st.session_state.tfidf_vectorizer = pickle.load(f)
+
+    with open('models/svm_model_gpt_detection_tfidf_bg_0.9338_text4.pkl', 'rb') as f:
+        st.session_state.gpt_detector = pickle.load(f)
+
+    st.session_state.bert = pipeline(task="text-classification",
+                                     model=BertForSequenceClassification.from_pretrained("TRACES/private-bert", use_auth_token=os.environ['ACCESS_TOKEN'],  num_labels=2),
+                                     tokenizer=AutoTokenizer.from_pretrained("TRACES/private-bert", use_auth_token=os.environ['ACCESS_TOKEN']))
+
+
+def load_content():
+    with open('resource/page_content.json', encoding='utf8') as json_file:
+        return json.load(json_file)
+
+
+def switch_lang(lang):
+    if 'lang' in st.session_state:
+        if lang == 'bg':
+            st.session_state.lang = 'bg'
+        else:
+            st.session_state.lang = 'en'
+
+
+if 'lang' not in st.session_state:
+    st.session_state.lang = 'bg'
+
+if 'gpt_detector_result' not in st.session_state and 'bert_result' not in st.session_state:
+    st.session_state.gpt_detector_result = ''
+    st.session_state.gpt_detector_probability = [1, 0]
+    st.session_state.bert_result = [{'label': '', 'score': 1}]
+
+content = load_content()
+if 'loaded' not in st.session_state:
+    load_models()
+
+#######################################################################################################################
+
+st.title(content['title'][st.session_state.lang])
+
+col1, col2, col3 = st.columns([1, 1, 10])
+with col1:
+    st.button(
+        label='EN',
+        key='en',
+        on_click=switch_lang,
+        args=['en']
+    )
+with col2:
+    st.button(
+        label='BG',
+        key='bg',
+        on_click=switch_lang,
+        args=['bg']
+    )
+
+if 'agree' not in st.session_state:
+    st.session_state.agree = False
+
+if st.session_state.agree:
+    tab_tool, tab_terms = st.tabs([content['tab_tool'][st.session_state.lang], content['tab_terms'][st.session_state.lang]])
+
+    with tab_tool:
+        user_input = st.text_area(content['textbox_title'][st.session_state.lang],
+                                  content['text_placeholder'][st.session_state.lang]).strip('\n')
+    
+        if st.button(content['analyze_button'][st.session_state.lang]):
+            user_tfidf = st.session_state.tfidf_vectorizer.transform([user_input])
+    
+            st.session_state.gpt_detector_result = st.session_state.gpt_detector.predict(user_tfidf)[0]
+            st.session_state.gpt_detector_probability = st.session_state.gpt_detector.predict_proba(user_tfidf)[0]
+            st.session_state.bert_result = st.session_state.bert(user_input)
+    
+        if st.session_state.gpt_detector_result == 1:
+            st.warning(content['gpt_getect_yes'][st.session_state.lang] +
+                       str(round(st.session_state.gpt_detector_probability[1] * 100, 2)) +
+                       content['gpt_yes_proba'][st.session_state.lang], icon="⚠️")
+        else:
+            st.success(content['gpt_getect_no'][st.session_state.lang] +
+                       str(round(st.session_state.gpt_detector_probability[0] * 100, 2)) +
+                       content['gpt_no_proba'][st.session_state.lang], icon="✅")
+    
+        if st.session_state.bert_result[0]['label'] == 'LABEL_1':
+            st.warning(content['bert_yes_1'][st.session_state.lang] +
+                       str(round(st.session_state.bert_result[0]['score'] * 100, 2)) +
+                       content['bert_yes_2'][st.session_state.lang], icon = "⚠️")
+        else:
+            st.success(content['bert_no_1'][st.session_state.lang] +
+                       str(round(st.session_state.bert_result[0]['score'] * 100, 2)) +
+                       content['bert_no_2'][st.session_state.lang], icon="✅")
+    
+        st.info(content['disinformation_definition'][st.session_state.lang], icon="ℹ️")
+
+    with tab_terms:
+        st.write(content['disclaimer'][st.session_state.lang])
+
+else:
+    st.write(content['disclaimer_title'][st.session_state.lang])
+    st.write(content['disclaimer'][st.session_state.lang])
+    if st.button(content['disclaimer_agree_text'][st.session_state.lang]):
+        st.session_state.agree = True
+        st.experimental_rerun()

models/svm_model_gpt_detection_tfidf_bg_0.9338_text4.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3206869ce5f2dc90c474b84a1e62196d670961e77dc776b58fae5b10fa48eef9
+size 467467

models/tfidf_vectorizer_svm_gpt_bg_0.9338_text4.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d6bf9391c5866c29bc45051c63efec406a4a613aada1a10a3fa51992ddd6a19b
+size 525728

requirements.txt

@@ -0,0 +1,6 @@
+scipy
+transformers
+pickle-mixin
+streamlit
+scikit-learn
+torch

resource/page_content.json

@@ -0,0 +1,78 @@
+{
+  "title": {
+    "bg": "Инструмент за разпознаване на дезинформация и текстови дийпфейкове",
+    "en": "Tool for recognizing disinformation and deepfake texts"
+  },
+  "disclaimer_title": {
+    "bg": "Моля, запознайте се с условията за ползване",
+    "en": "Please read the terms of use"
+  },
+  "disclaimer_agree_text": {
+    "bg": "Запознат съм с условията на ползване",
+    "en": "I agree"
+  },
+  "disclaimer": {
+    "bg": "Моля, прочетете целия текст. Достъпът до уеб инструмента ще бъде предоставен само ако сте съгласни с условията за използване, посочени по-долу: \n \n За какво може да се използва този уеб инструмент: \n \n Инструментът използва резултатите от проекта TRACES (https://traces.gate-ai.eu/), който е получил непряко финансиране по Програмата на Европейския съюз за действие в областта на научните изследвания и иновациите “Хоризонт 2020” чрез Открита покана № 1, публикувана и изпълнена в рамките на проекта AI4Media (Договор № 951911).\n \n Целта на този прототип е да дава преценка, дали даден текст потенциално съдържа целенасочена дезинформация или представлява автоматично генериран текст (с цел да се разпознават текстови “дийпфейкове”).\n \n Значението на понятието \"дезинформация\" е взето от Съобщението на Европейската комисия до Европейския парламент, Съвета, Европейския икономически и социален комитет и Комитета на регионите относно Плана за действие за европейска демокрация (https://eur-lex.europa.eu/legal-content/BG/TXT/HTML/?uri=CELEX:52020DC0790&from=EN) и означава \"невярно или подвеждащо съдържание, което се разпространява с цел да заблуди или да се осигури икономическа или политическа изгода и което може да причини обществена вреда\". \n \n Инструментът дава и вероятност (увереността на използвания алгоритъм за машинно обучение), с която може да се твърди, че въведеният текст съдържа дезинформация или представлява автоматично генериран текст (с модела GPT-2). \n \n Моля, имайте предвид следните предупреждения: \n \n 1. Този инструмент е от равнище на технологична готовност 4 (прототип, тестван в лабораторна среда). Като такъв, той не е изпитан в реална среда и не можете да го използвате в такава. \n 2. С цел спазване на законите на България и Европейския съюз, включително тези за правата на човека, уронване на доброто име и клевета, моля, обърнете внимание на следното: \n - Инструментът използва методите на изкуствения интелект, и по-специално машинното обучение. \n - Анализът, извършен от уеб инструмента върху анализираните текстове, може да покаже само потенциалното наличие на дезинформация или на автоматично генерирани текстове (по модела gpt-2). \n - Това указание следва да се приема с по-ниска степен на доверие (\"известна вероятност\", но не и \"сигурност\"). \n - Не следва да се предприемат правни действия срещу авторите на текстове, чиито текстове са идентифицирани от инструмента като съдържащи умишлена дезинформация или представляващи автоматично генерирани текстове, единствено въз основа на резултатите от този инструмент. \n - Използваните методи и резултати не са подходящи за използване за целите на правителствени или публични органи, включително за разследвания, разузнавателна дейност, наказателно разследване, съдебни или административни производства. \n - Прогнозите за потенциална фалшивост/невярност/дезинформация на текстове, които онлайн инструментът предоставя, не са вярвания/твърдения на авторите, изследователите или участниците в проекта.  \n - Спонсорите, изследователите, участващи в Проекта, потребителите или субектите на Проекта не носят отговорност и не са обвързани по какъвто и да е било начин с каквито и да било щети (включително имуществени или морални), произтичащи от или във връзка с анализа на уеб инструмента, използвания метод и/или постигнатите резултати/изводи." ,
+    "en": "Please read the whole text. You will be given access to the tool only when you agree with the usage conditions below:\n \n What does this tool do: \n \n The tool uses the findings of the TRACES project (https://traces.gate-ai.eu/), which has indirectly received funding from the European Union’s Horizon 2020 research and innovation action programme, via the AI4Media Open Call #1 issued and executed under the AI4Media project (Grant Agreement no. 951911).\n \n The purpose of this prototype tool is to provide an indication of whether a given text in Bulgarian potentially contains intentional disinformation and whether it has been automatically generated (with the aim to recognize textual \"deepfakes\").\n \n The meaning of \"disinformation\" is taken from European Commission's Communication to the European Parliament, the Council, the European Economic and Social Committee, and the Committee of the Regions on the European Democracy Action Plan (https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=COM:2020:790:FIN), and it designs \"false or misleading content that is spread with an intention to deceive or secure economic or political gain and which may cause public harm\". \n \n The tool outputs a probability (the confidence of the machine learning algorithm) with which it could be claimed that an input text contains disinformation or that it is an automatically generated text (by a GPT-2 model). \n \n Please note the following warnings: \n \n 1. This tool is at Technology Readiness Level 4 - Technology validated in lab. It has not been tested in a real environment and thus it should not be used in such. \n 2. In order to comply with Bulgarian and European Union laws, including those on human rights, damage to the reputation, and defamation, please note that: \n - The tool uses Machine Learning (Artificial Intelligence) methods. \n - The analysis run by the web tool on the analyzed texts may show only the potential presence of disinformation or of automatically generated texts (by a gpt-2 model). \n - This indication should be taken with a lower degree of confidence (certain likelihood, but not certainty). \n - No legal action should be taken against the authors of texts, whose texts are identified by the tool as potentially containing intentional disinformation or as potentially representing automatically generated texts, solely based on the results of this tool. \n - The methods used and results obtained are not suitable to be used for governmental or public authority purposes, including for investigations, intelligence work, criminal investigation, court or administrative proceedings. \n - The predictions for potential fakeness/wrongness/disinformation of the texts, which the online tool provides are not statements/beliefs/affirmations of the Project's authors, researchers or participants. \n - The Project Sponsors, Researchers, users or subjects shall not be liable or otherwise responsible for any damages (including pecuniary or moral damages) arising out or in relation to the web tool analysis, the method used and/or the results/outcomes." 
+  },
+  "text_placeholder": {
+    "bg": "Това е примерно изречение.",
+    "en": "Това е примерно изречение."
+  },
+  "textbox_title": {
+    "bg": "Въведете текст за анализ",
+    "en": "Enter text to analyze"
+  },
+  "analyze_button": {
+    "bg": "Анализирай текста",
+    "en": "Analyze text"
+  },
+  "full_result_title": {
+    "bg": "Покажи пълен резултат",
+    "en": "Show full result"
+  },
+  "gpt_getect_no": {
+    "bg": "Според анализа този те��ст е написан от човек с вероятност: ",
+    "en": "Our tool has determined that the input text was generated by a human with "
+  },
+  "gpt_no_proba": {
+    "bg": " %. Препоръчително е да проверите внимателно твърденията в него, преди да им се доверите.",
+    "en": "% probability. However, we recommend that you carefully verify its claims."
+  },
+  "gpt_getect_yes": {
+    "bg": "Според анализа този текст е автоматично генериран от модела GPT-2 с вероятност: ",
+    "en": "Our tool has determined that this text was automatically generated by the language model GPT-2 with"
+  },
+  "gpt_yes_proba": {
+    "bg": " %. Имайте предвид, че този резултат е базиран на методите на изкуствения интелект и може да бъде грешен. За момента не можем да проверим, дали е верен. Внимателно проверете твърденията в него!",
+    "en": "% probability. Note, that this is an AI-based tool and it can make mistakes. Read and check carefully its claims!"
+  },
+  "bert_yes_1": {
+    "bg": "Според анализа, този текст съдържа дезинформация с вероятност: ",
+    "en": "According to the analysis, this text contains disinformation with "
+  },
+  "bert_yes_2": {
+    "bg": " %. Имайте предвид, че това са резултати от машинно обучение, и както е написано в условията за ползване, не можете да се доверите напълно на този резултат.",
+    "en": " % probability. Keep in mind that these are machine learning results, and as it is written in the Terms of Use, you cannot fully trust this result."
+  },
+  "bert_no_1": {
+    "bg": "Според анализа, този текст не съдържа дезинформация с вероятност: ",
+    "en": "According to the analysis, this text does not contain misinformation with "
+  },
+  "bert_no_2": {
+    "bg": " %. Въпреки това е препоръчително да проверите внимателно твърденията в него, преди да им се доверите.",
+    "en": " % probability. However, it is advisable to carefully check the claims before you trust them."
+  },
+  "disinformation_definition": {
+    "bg": "Дезинформация наричаме целенасочено разпространявана невярна информация.",
+    "en": "Disinformation is false information deliberately spread to deceive people."
+  },
+    "tab_tool": {
+    "bg": "Инструмент",
+    "en": "Tool"
+  },
+    "tab_terms": {
+    "bg": "Условия за ползване",
+    "en": "Terms and conditions"
+  }
+}