Merge pull request #90 from Demea9000/61-present-the-data-from-the-database

app.py

@@ -7,89 +7,91 @@ import time
 USER_LIST = ['jimmieakesson', 'BuschEbba', 'annieloof', 'JohanPehrson', 'bolund', 'martastenevi', 'SwedishPM',
              'dadgostarnooshi']
 
+UserNameDict = dict(zip(['Jimmie Åkesson', 'Ebba Busch', 'Annie Lööf', 'Johan Pehrson', 'Per Bolund',
+                         'Märta Stenevi', 'Magdalena Andersson', 'Nooshi Dadgostar'], USER_LIST))
 
-def get_summary_statistics(dataframe):
-    """
-    This function returns a summary statistics of the dataframe. Returns a string with the summary statistics.
-    :param dataframe: dataframe
-    :return: str
-    """
-    summary_statistics = dataframe.describe()
-    return summary_statistics.to_string()
-
-
-def summary_categorical(dataframe):
-    """
-    This function returns a string of a summary of categorical variables of a dataframe
-    :param dataframe:
-    :return:
-    """
-    # First find all numeric columns in the dataframe
-    numeric_columns = dataframe._get_numeric_data().columns
-    # Then find all categorical columns in the dataframe
-    categorical_columns = dataframe.select_dtypes(include=['object']).columns
-    print("Numeric columns: " + str(numeric_columns) + "\n" + "Categorical columns: " + str(categorical_columns))
-    # Then find the summary statistics of each categorical column
-    summary = ""
-    for column in categorical_columns:
-        # skip 'tweet', 'urls' and 'date' columns
-        if column == 'tweet' or column == 'date' or column == 'urls':
-            continue
-        else:
-            summary += column + ": " + str(dataframe[column].value_counts()) + "\n"
-    # Return a nice decoration of summary
-    return "Summary of categorical variables:\n" + summary
+Columns = ['username', 'nlikes', 'nreplies', 'nretweets', 'main_topic', 'sub_topic', 'sentiment', 'target', 'tweet',
+           'date', 'urls', 'id', 'class_tuple', 'user_id']
 
 
-def show_all_stats(dataframe):
+def show_all_stats(ListChoices, SeeFullStats):
     dataframe = pd.read_csv("{}/data/twitterdata.csv".format(tc.ROOT_PATH))
-    return dataframe
+    if SeeFullStats:
+        return dataframe[ListChoices]
+    else:
+        return pd.DataFrame()
+
+
+def fixChoicesCorrectOrder(Choices):
+    ListChoices = [x for x in Columns if x in Choices]
+    return ListChoices
+
+
+def MatchNameToUser(Name):
+    return UserNameDict[Name]
 
 
 def main(From,
          To,
          Username,
+         UserNameChoices,
          Nbr_Of_Tweets_To_Classify,
+         ListChoices,
+         SeeFullStats
          ):
-    """
-    Main function. Runs the program.
-    :return: None
-    """
+    def WhoToScrape():
+        if Username == "":
+            return MatchNameToUser(UserNameChoices[0])
+        else:
+            return Username
 
     text_classifier = tc.TextClassifier(
         from_date=From,
         to_date=To,
-        user_name=Username,
+        user_list=WhoToScrape(),
         num_tweets=int(Nbr_Of_Tweets_To_Classify))
 
     text_classifier.run_main_pipeline()
     dataframe = text_classifier.get_dataframe()
+    dataframe = dataframe[
+        ['username', 'nlikes', 'nreplies', 'nretweets', 'main_topic', 'sub_topic', 'sentiment', 'target', 'tweet',
+         'date', 'urls', 'id', 'class_tuple', 'user_id']]
 
-    return dataframe, show_all_stats(dataframe)
+    return dataframe[fixChoicesCorrectOrder(ListChoices)], show_all_stats(ListChoices, SeeFullStats)
 
 
 if __name__ == "__main__":
     from datetime import date
 
     demo = gr.Interface(
-        article="From = The date from which you want to start the analysis.\n To = The date to which you want to end "
-                "the analysis.\n Username = The username of the user you want to analyze.\n Nbr_Of_Tweets_To_Classify "
-                "= The number of tweets you want to analyze.\n output 0: The summary statistics of the intervall you "
-                "selected.\n output 1: The summary statistics of the total database.\n",
-        thumbnail="https://www.google.com/search?q=softhouse&rlz=1C5CHFA_enSE936SE936&sxsrf"
-                  "=ALiCzsadmCqCzwzt1COrGZxMGr8TfYzQdg:1658837053147&source=lnms&tbm=isch&sa=X&ved"
-                  "=2ahUKEwiF36vKwZb5AhX6YPEDHbLJCRYQ_AUoAXoECAIQAw&biw=2560&bih=1274&dpr=1#imgrc=TA2JaVySjUQVsM",
-        analytics_enabled=True,
+        article="</a><br>From = The date from which you want to start the analysis.</a><br> To = The date to which "
+                "you want to end "
+                "the analysis.</a><br> Username = The username of the user you want to analyze.</a><br> How many "
+                "tweets to classify = "
+                "The number of tweets you want to analyze.</a><br>",
+        analytics_enabled=False,
         theme="default",
         title="Twitter data analysis",
         fn=main,
-        inputs=['text', 'text', 'text', 'text'],
-        outputs=["dataframe", "dataframe"]
-    )
-    demo.launch()
-
-    # text_classifier = tc.TextClassifier(from_date='2022-01-01', to_date='2022-01-25', user_name=USER_LIST[1], num_tweets=20)
-    # text_classifier.run_main_pipeline()
-    # print(get_summary_statistics(text_classifier.get_dataframe()))
-    # print(type(get_summary_statistics(text_classifier.get_dataframe())))
-    # print(summary_categorical(text_classifier.get_dataframe()))
+        inputs=[gr.components.Textbox(label="From", value='2022-01-01'),
+                gr.components.Textbox(label="To", value='2022-01-25'),
+                gr.components.Textbox(label="Username", value="BuschEbba"),
+                gr.components.Checkboxgroup(
+                    choices=['Jimmie Åkesson', 'Ebba Busch', 'Annie Lööf', 'Johan Pehrson', 'Per Bolund',
+                             'Märta Stenevi',
+                             'Magdalena Andersson', 'Nooshi Dadgostar'], label=""),
+                gr.components.Textbox(label="How many Tweets to Classify", value="20"),
+                gr.components.Checkboxgroup(label="Options",
+                                            choices=['username', 'nlikes', 'nreplies', 'nretweets', 'main_topic',
+                                                     'sub_topic', 'sentiment', 'target', 'tweet', 'date', 'urls', 'id',
+                                                     'class_tuple', 'user_id'],
+                                            value=['username', 'nlikes', 'nreplies', 'nretweets', 'main_topic',
+                                                   'sub_topic', 'sentiment', 'target', 'tweet', 'date']
+                                            ),
+                gr.components.Checkbox(label="Show full statistics")
+                ],
+        outputs=[
+            gr.components.DataFrame(label="Summary statistics of the intervall you selected", max_rows=None),
+            gr.components.DataFrame(label="Summary statistics of the total database", max_rows=None, )])
+
+    demo.launch(share=False)

data/twitterdata.csv

@@ -64,7 +64,6 @@ id,tweet,date,user_id,username,urls,nlikes,nreplies,nretweets,class_tuple,main_t
 1518584979193745408,Vad vi också har gemensamt är åsikten att Polisen behöver fler och bättre verktyg för att återuppbygga tryggheten. Inte minst förra helgens islamistkravaller visar behovet av det.,2022-04-25 15:37:27,95972673,jimmieakesson,[],748,29,36,"(policing, law enforcement, positive, police)",,,,
 1518584871718948867,"Idag gjorde jag och Ebba Busch ett verksamhetsbesök inom äldrevården i Karlskrona. Vi är överens om att äldrevården behöver bli bättre, något som båda våra partier prioriterar.  https://t.co/iBwx2QiCxK",2022-04-25 15:37:02,95972673,jimmieakesson,[],2109,103,116,"(healthcare, elderly care, positive, healthcare)",,,,
 1517463287897731074,@Ygeman Anders Ygeman är själv expert på att undgå att ta ansvar för dom misslyckanden som hans egen regering har orsakat. Så det är inte oväntat att han är kritisk till vårt förslag om ökat familjeansvar.,2022-04-22 13:20:15,95972673,jimmieakesson,[],256,9,13,"(familjeansvar, ökat familjeansvar, negativ, anders ygeman)",,,,
-
 1503355595994374144,Bidraget på tusen kronor per bilägare slår extremt snett. Det betyder att den som åker och handlar varannan vecka och den familj som har arbetsresor och fotbollsträningar får samma summa. Det är ett politiskt bländverk.,2022-03-14 14:01:19,1407151866,BuschEbba,[],1175,67,80,"(economy, taxes, negative, middle-class families)",economy,taxes,negative,middle-class families
 1503355593637212164,"Regeringens besked om drivmedelschocken är en stor besvikelse. 1,30 kronor i sänkt pris vid pump och ingen sänkning av den dyra inblandningen av biodrivmedel. Samtidigt säger folk upp sig från jobbet och åkeriföretag ställer in uppdrag för att de inte har råd att tanka!",2022-03-14 14:01:19,1407151866,BuschEbba,[],2219,95,173,"(fuel prices, governmental response, negative, swedish citizens)",fuel prices,governmental response,negative,swedish citizens
 1503301741118377987,"Det är för dyrt att vara svensk. Vi vill sänka dieselpriset med över 9 kr, bensinpriset med 5 kr och vi skattebefriar jord- och skogsbruket. Ett vidsträckt och glesbefolkat land som Sverige kan inte och ska inte ha en av världens högsta prisnivåer.   https://t.co/mnpSD3Jiqm",2022-03-14 10:27:19,1407151866,BuschEbba,['https://fb.watch/bKMCTmXWgH/'],1705,112,163,"(economy, taxation, negative, swedish government)",economy,taxation,negative,swedish government
@@ -156,7 +155,6 @@ id,tweet,date,user_id,username,urls,nlikes,nreplies,nretweets,class_tuple,main_t
 1239960095993331712,"Vissa drabbas hårdare än andra, men det är bara genom gemensamma ansträngningar vi kan utmana och övervinna krisen.",2020-03-17 18:01:38,95972673,jimmieakesson,[],109,1,7,"(covid-19, government response, positive, swedish citizens)",covid-19,government response,positive,swedish citizens
 1239960079929090048,"Det kan inte nog betonas att vi befinner oss i ett riktigt allvarligt läge. Belastningen på samhället är redan hård, och allt tyder på att vi har en lång och svår period framför oss.",2020-03-17 18:01:35,95972673,jimmieakesson,[],153,3,10,"(covid-19, sweden's response, negative, the government)",covid-19,sweden's response,negative,the government
 1239960040028557312,Vi välkomnar naturligtvis dessa besked. Att minimera sociala kontakter är avgörande för att vi ska ha möjlighet att bromsa smittspridningen. Låt oss nu hoppas att besked om grundskolan kommer snarast.,2020-03-17 18:01:25,95972673,jimmieakesson,[],127,2,11,"(covid-19, swedish government response, positive, swedish people)",covid-19,swedish government response,positive,swedish people
-
 1015143098547089408,#Almedalen  https://t.co/8YESYKYHjL,2018-07-06 09:59:09,95972673,jimmieakesson,[],776,67,105,"(political parties, almedalen, positive, almedalen)",political parties,almedalen,positive,almedalen
 957572132921331714,En av Sveriges främsta entreprenörer har gått ur tiden. Tack Ingvar Kamprad för det du gjort för Sverige.,2018-01-28 12:12:41,95972673,jimmieakesson,[],1567,40,179,"(sweden, entrepreneurs, positive, ingvar kamprad)",sweden,entrepreneurs,positive,ingvar kamprad
 1167004923093037056,Glädjande att M har nått samma slutsats som KD gällande migrationspolitiken: Sverige behöver ligga på samma nivå som våra nordiska grannländer. Skrev om detta så sent som i juni med @bandyprasten #svpol  https://t.co/g1DWhPd7Lx,2019-08-29 11:23:50,1407151866,BuschEbba,['https://www.svd.se/strama-at-migrationen-till-vara-grannlanders-niva'],712,238,65,"(migration policy, sweden's migration policy, positive, sweden)",migration policy,sweden's migration policy,positive,sweden

textclassifier/TextClassifier.py

@@ -25,7 +25,7 @@ OPENAI_API_KEY = os.environ.get("OPENAI_API_KEY")
 class TextClassifier:
     def __init__(self, model_name="text-davinci-002", from_date='2022-01-01', to_date=str(date.today()),
 
-                 user_name='jimmieakesson',
+                 user_list='jimmieakesson',
                  num_tweets=20, ):
         """
         Initializes the TextClassifier.
@@ -35,19 +35,19 @@ class TextClassifier:
         :param num_tweets: integer value of the maximum number of tweets to be scraped.
         """
         # Make sure user_name is not empty
-        assert user_name is not None, "user_name cannot be empty"
+        assert user_list is not None, "user_name cannot be empty"
 
         self.ts = TwitterScraper.TwitterScraper(from_date, to_date, num_tweets)
         self.model_name = model_name
         self.from_date = from_date
         self.to_date = to_date
         self.num_tweets = num_tweets
-        self.user_name = user_name
+        self.user_name = user_list
         # Assure that scrape_by_user actually gets num_tweets
         # add timer in time-loop and stop after 10 seconds
         start_time = time.time()
         while True:
-            self.df = self.ts.scrape_by_user(user_name)
+            self.df = self.ts.scrape_by_user(user_list)
             if num_tweets-5 < len(self.df) <= num_tweets:
                 break
             else:
@@ -212,6 +212,6 @@ class TextClassifier:
 
 
 if __name__ == "__main__":
-    text_classifier = TextClassifier(from_date='2020-01-01', to_date="2022-07-15", user_name='jimmieakesson',
+    text_classifier = TextClassifier(from_date='2020-01-01', to_date="2022-07-15", user_list=['jimmieakesson'],
                                      num_tweets=60)
     text_classifier.run_main_pipeline()