configured classifier so taht three topics are classified. Also added timer for while-loop

.idea/misc.xml

@@ -1,4 +1,4 @@
 <?xml version="1.0" encoding="UTF-8"?>
 <project version="4">
-  <component name="ProjectRootManager" version="2" project-jdk-name="Python 3.10 (politweet)" project-jdk-type="Python SDK" />
+  <component name="ProjectRootManager" version="2" project-jdk-name="Python 3.9 (politweet)" project-jdk-type="Python SDK" />
 </project>

.idea/politweet.iml

@@ -5,7 +5,7 @@
       <excludeFolder url="file://$MODULE_DIR$/politweet-environment" />
       <excludeFolder url="file://$MODULE_DIR$/env" />
     </content>
-    <orderEntry type="inheritedJdk" />
+    <orderEntry type="jdk" jdkName="Python 3.9 (politweet)" jdkType="Python SDK" />
     <orderEntry type="sourceFolder" forTests="false" />
   </component>
   <component name="PyNamespacePackagesService">

data/twitterdata.csv

@@ -1,59 +0,0 @@
-id,tweet,date,user_id,username,urls,nlikes,nreplies,nretweets,topic,sentiment
-1222901543231344640,Poddintervju med Samtidigt-gänget!  Finns där poddar finns osv. ☕  https://t.co/wC7UriRrWE,2020-01-30 16:17:02,95972673,jimmieakesson,[],103,4,8, podcasts,praise
-1222426025877016576,"""Prata inte om medkänsla. Ni valde att prioritera 9 000 vuxna afghanska män som saknar skäl att stanna i Sverige""   https://t.co/Lqlg7mA1eL",2020-01-29 08:47:30,95972673,jimmieakesson,['https://nyheteridag.se/jimmie-akesson-till-morgan-johansson-om-inte-du-har-upptackt-det-sa-ar-sverige-fullt/'],1784,69,227,politics,criticism
-1222133730757824514,Sett till det läge Sverige befinner sig i – där vi knappt klarar av att upprätthålla en välfungerande välfärd för våra egna medborgare – menar vi att det är direkt oansvarigt att vilja öka mottagandet av kvotflyktingar.   https://t.co/JelLbX3Oe8,2020-01-28 13:26:02,95972673,jimmieakesson,['https://www.svd.se/lat-kommunerna-besluta-nivan-for-kvotflyktingar'],1505,81,222,politics,opposition
-1221790690692272129,"Idag är det förintelsens minnesdag och 75 år sedan befrielsen av Auschwitz. Låt oss hedra offren och aldrig glömma de fasor som antisemitismen har orsakat. Vi får heller aldrig acceptera den antisemitism som finns idag, oavsett extremistisk utgångspunkt.",2020-01-27 14:42:55,95972673,jimmieakesson,[],3088,171,268,holocaust memorial day,remembrance
-1220308369778651136,Det är varje oppositionspartis ansvar att minimera skadorna som regeringen Löfven åsamkar Sverige och detta är ett viktigt agerande i den riktningen.  Välfärden är en absolut central del av det svenska folkhemsbygget och måste prioriteras.,2020-01-23 12:32:42,95972673,jimmieakesson,[],1709,61,182,politics,opposition
-1217404594726281216, https://t.co/AdqzHLMHoW,2020-01-15 12:14:08,95972673,jimmieakesson,[],732,19,97, twitter,questions
-1217371452044955648,#pldebatt  https://t.co/FQ6pTT0rPk,2020-01-15 10:02:26,95972673,jimmieakesson,[],548,5,76, politics,statements
-1217354299145170944,Klockan 09:00 startar årets första partiledardebatt i riksdagen. Se den på lämplig kanal!  https://t.co/PzrlR3Vvyd,2020-01-15 08:54:16,95972673,jimmieakesson,[],588,17,32,politics,statements
-1216971561497964550,"Stefan Löfven och @socialdemokrat är återigen Miljöpartiets marionetter när det kommer till viktiga politiska frågor. Detta trots att två av tre svenskar vill behålla kärnkraften, inklusive Socialdemokraternas egna väljare.   https://t.co/L4p8yHgykl",2020-01-14 07:33:25,95972673,jimmieakesson,['https://www.dn.se/debatt/sd-leder-oppositionen-i-ett-forsok-att-radda-ringhals/'],1138,27,158,politics,criticism
-1215952175463108608,SD har förberett för nyval sedan den nygamla Löfvenregeringen tillträdde för ett år sedan. Vi står redo!,2020-01-11 12:02:44,95972673,jimmieakesson,[],856,42,71,politics,support
-1215952136258887680,Menar Vänstern allvar eller ska detta betraktas som mer av substanslöst vapenskrammel?  Uppenbart är att väljarna inte är till freds med nuvarande situation. Regeringen såväl som Januariavtalet saknar stöd. Det vore orimligt att låta läget vara oförändrat i ytterligare tre år.  https://t.co/4Jy5gxufrb,2020-01-11 12:02:35,95972673,jimmieakesson,[],1200,74,147,politics,criticism
-1231333740561018880,Sverige är fantastiskt 😎  https://t.co/117HPmHRkt,2020-02-22 22:43:35,95972673,jimmieakesson,[],1588,117,250, travel,praise
-1231132345593409536,"Vi ser nu hur attackerna mot unga avlöser varandra. 2019 anmäldes cirka 2 500 personrån mot barn, det är mer än dubbelt så många jämfört med 2016. Inte minst den etniskt grundade dimensionen har förstärkts i takt med aty invandringen ökat.   https://t.co/SqHFBQX4Pu",2020-02-22 09:23:19,95972673,jimmieakesson,['https://www.svd.se/sd-vi-satter-brottsoffer-framfor-brottslingar'],1171,65,161,politics,criticism
-1230439550327181312,"Deras 120 mandat räcker inte för att ""köra över regeringen"", och i ärlighetens namn är dessa förslag knappast att betrakta som en överkörning.  Vi kommer såklart att diskutera hur vi ska ställa oss till detta initiativ, men jag hade faktiskt hoppats på mycket mer.",2020-02-20 11:30:23,95972673,jimmieakesson,[],308,15,21,politics,skepticism
-1230439492122816513,"M, KD och V har kommit överens om arbetskraftsinvandringen. Förslagen verkar rimliga, men tyvärr lyckas man inte komma överens om skarpa förslag som stoppar fortsatt invandring av okvalificerad arbetskraft.  https://t.co/oXqxhQDP5R",2020-02-20 11:30:10,95972673,jimmieakesson,[],449,22,48,politics,disagreement
-1229716232405995521,Slutsats: Splittringspolitiken och framväxten av parallella samhällen måste stoppas. Omedelbart!,2020-02-18 11:36:11,95972673,jimmieakesson,[],584,20,51,politics,opposition
-1229716187124305921,"Det är främst ""gamla"" integrationsproblem som ligger bakom den gängkriminalitet vi ser idag. Givet det faktum att den ansvarslösa invandringspolitiken fortsatt och integrationen knappast fungerat bättre, är det direkt obehagligt att tänka på hur läget ser ut om sisådär 20 år.",2020-02-18 11:36:00,95972673,jimmieakesson,[],617,24,54,politics,skepticism
-1229716101547905024,"Inte alls förvånande, men Expressens granskning av polisens så kallade fokuslista i Operation Rimfrost ger starka skäl till oro. Den indikerar nämligen att vi ännu bara är i begynnelsen av en otäck utveckling som några av oss varnat för under lång tid.",2020-02-18 11:35:40,95972673,jimmieakesson,[],413,12,45,politics,criticism
-1229716001740271616,"En alternativ rubrik skulle kunna vara: ""Samtliga utpekade gängledare har utländsk bakgrund"". Det är nämligen vad artikeln säger.  https://t.co/wqYRemT5k5",2020-02-18 11:35:16,95972673,jimmieakesson,[],1976,91,304,politics,criticism
-1228024052637405192,"Det här är faktiskt sanslöst. Episkt uselt. ""Inga skattesänkningar"" är Löfvens ständiga universallösning. På allt. 🤬  https://t.co/OgKINkrCax",2020-02-13 19:32:04,95972673,jimmieakesson,[],1276,54,146,politics,criticism
-1227959140779282432,"Ponera att situationen vore den omvända, att en ensam invandrarpojke rånas, förnedras och kallas exempelvis ""jävla s***tskalle"" av ett gäng svenska grabbar.  Skulle Per Bolund svara på samma sätt? Tillåt mig tvivla...",2020-02-13 15:14:08,95972673,jimmieakesson,[],1009,27,116,politics,skepticism
-1227959059476774914,"Såg nyss MP-ministern Per Bolund slå knut på sig själv under riksdagens frågestund. Så kallade förnedringsrån mot unga svenskar med uppenbart rasistiska förtecken förklaras med att ""brott är brott"" och ""svenskhet har ingen betydelse"".",2020-02-13 15:13:48,95972673,jimmieakesson,[],699,23,91,politics,criticism
-1227958851858837504,Varför är det så svårt för vänsterliberalerna att erkänna förekomsten av rasism mot svenskar? Det är ett oerhört svek.  https://t.co/B79W7RT0Qa,2020-02-13 15:12:59,95972673,jimmieakesson,[],1530,50,191,politics,criticism
-1227902037834244096,"Upp till bevis nu @shekarabi Vari ligger rättvisan i att satsa hundratals miljarder på reformer länkade till migration, medan våra egna äldre och sjuka tvingas leva på marginalen?    https://t.co/iQC96rU8TE",2020-02-13 11:27:13,95972673,jimmieakesson,['https://www.expressen.se/debatt/sag-sanningen-om-invandringsvolymen/'],1566,84,258,politics,criticism
-1227837103410745344,"I vanlig ordning hamnar vi högst upp på pallen. 🥇SD (2009), 🥈M (2013), 🥉S (2020)",2020-02-13 07:09:12,95972673,jimmieakesson,[],632,17,60,sports,praise
-1227837048322695170,Igår gick regeringen ut och meddelade att man vill införa möjlighet till utegångsförbud för unga som begår brott.  Moderaterna kritiserar — med all rätt —regeringens saktfärdighet och påpekar att man minsann föreslog detta redan 2013.  https://t.co/QVyMLuLQ2V,2020-02-13 07:08:59,95972673,jimmieakesson,[],1232,45,218,politics,criticism
-1224284340458336257,"Invandring av högkvalificerad arbetskraft är bra för Sverige, men vi behöver inte fler städare och diskplockare från andra länder.",2020-02-03 11:51:47,95972673,jimmieakesson,[],372,26,28,politics,opinion
-1224284254596673538,Även med de föreslagna förändringarna kommer lågkvalificerad arbetskraft att ha lätt att komma hit. Lönekravet måste sättas betydligt högre och vi behöver utreda en återgång till behovsprövning i någon form.,2020-02-03 11:51:27,95972673,jimmieakesson,[],266,7,21,politics,skepticism
-1224284156961722368,"Försörjningskrav för anhöriga, högre lönekrav och stopp för s k kompetensutvisningar är förslag vi driver sedan tidigare.  Men, tyvärr når Moderaterna inte i mål med detta paket.",2020-02-03 11:51:03,95972673,jimmieakesson,[],105,2,10,politics,criticism
-1224284075600551937,LÅNGT FRÅN MÅLET 🤔 Moderaterna presenterade nu på förmiddagen nya förslag kring reglerna för arbetskraftsinvandring.  Spontant känns flera av förslagen som steg i rätt riktning.  https://t.co/XTCz8DoJPC,2020-02-03 11:50:44,95972673,jimmieakesson,[],431,12,42,politics,agreement
-1236718442461437952,"Men — det här är min poäng — det är inte primärt fysisk plats som avses i min argumentation. Det begriper de flesta. Vad som har betydelse är kapacitet i vård, skola och omsorg, tillgång på bostäder, segregation, trygghet osv.  Sverige ÄR fullt! ❤",2020-03-08 19:20:28,95972673,jimmieakesson,[],1822,107,205,politics,statements
-1236718344587350022,Vi är dessutom många som minns när Fredrik Reinfeldt flög över Sverige och insåg att vi har hur mycket plats som helst.  Det är inte svårt att dra sig till minnes ett antal mindre lyckade försök att placera asylanter i mer glesbebyggda områden i exempelvis Norrlands inland.,2020-03-08 19:20:05,95972673,jimmieakesson,[],767,17,52,politics,criticism
-1236718248126828544,"På söndagsmorgonen kunde vi i TV4 höra Leif GW Persson analysera mitt påstående om att Sverige är fullt. — Möjligtvis vittnar det om att han aldrig varit i Norrlands inland, sa han.  Även andra debattörer har de senaste dagarna hänvisat till att vårt land minsann är glesbefolkat.  https://t.co/PzLoJj5ynl",2020-03-08 19:19:42,95972673,jimmieakesson,[],1308,105,184,politics,criticism
-1235982905555460096, https://t.co/rC6SUN8z87,2020-03-06 18:37:42,95972673,jimmieakesson,['https://youtu.be/LdTsXouoxZw'],288,49,42, twitter,questions
-1235978076175183872,Meddelande från Turkiet  https://t.co/qqxfnngNe1,2020-03-06 18:18:31,95972673,jimmieakesson,[],1543,226,163, news,statements
-1235890699855413249,Den havererade migrationspolitiken och det efterföljande flyktingkaoset 2015 har rivit upp djupa sår i det svenska samhället.   https://t.co/PUYWwUT60b,2020-03-06 12:31:19,95972673,jimmieakesson,['https://www.svd.se/akesson-prioritera-nu-det-svenska-folket'],1515,120,210,politics,criticism
-1235187530720587776,"""Jag tycker att det är viktigt att få en egen bild av hur det ser ut. Vi har gått runt här och pratat med många människor som frågar var de är på väg. Det är väldigt många som vill till norra Europa och man nämner Sverige och Tyskland primärt.""   https://t.co/PHBDyJQrCY",2020-03-04 13:57:10,95972673,jimmieakesson,['https://www.expressen.se/nyheter/jimmie-akesson-delar-ut-flygblad-kom-inte-till-oss/'],2326,293,302,refugees,statements
-1235153072873230338, https://t.co/v3c7r7iHbL,2020-03-04 11:40:15,95972673,jimmieakesson,[],2551,183,266, twitter,questions
-1247802077033590791,Alla personal inom omsorgen som just nu tvekar och som är rädda för att gå till jobbet måste få en fullständig och total uppbackning. Vi har som politiker ett moraliskt ansvar att göra allt som står i vår makt för att deras mående inte kompromissas bort.   https://t.co/Xm7BNmARvh,2020-04-08 10:22:52,95972673,jimmieakesson,['https://www.aftonbladet.se/debatt/a/zGJ9bv/personal-i-aldrevarden-maste-ha-munskydd'],618,41,85,politics,support
-1247505179735457792,"Det får inte hända igen. Vi måste tillsammans fortsätta arbetet för att bekämpa radikala och våldsbejakande ideologier i vårt land. Det arbetet får aldrig vila och den uppgiften blir tyvärr aldrig färdig, men vi måste göra vad vi kan. Vi får aldrig glömma.",2020-04-07 14:43:07,95972673,jimmieakesson,[],510,14,32,politics,sadness
-1247505144721350656,"Det sägs att tiden läker alla sår, men tre år är ingenting för de människor som mist en älskad dotter, en mor, en far, en bror, en son, en nära och älskad anhörig. Idag går mina tankar till de anhöriga som fått sina liv slagna i spillror.",2020-04-07 14:42:58,95972673,jimmieakesson,[],506,3,31,grief,sadness
-1247505072260513794,"Idag är det tre år sedan Sverige drabbades av ett fruktansvärt terrordåd, då den hänsynslöse islamisten och illegale migranten Rakmat Akilov kallblodigt mördade och skadade många oskyldiga människor på Drottninggatan i Stockholm.",2020-04-07 14:42:41,95972673,jimmieakesson,[],1392,52,148,terrorism,anger
-1247176105221636096,Vi är alltså beredda att fälla regeringens förslag om man inte justerar det i enlighet med våra krav. Åtgärder måste skyndsamt och med automatik underställas riksdagen.,2020-04-06 16:55:29,95972673,jimmieakesson,[],224,17,16,politics,opposition
-1247132245728641026,"Regeringen behöver alltså justera sitt förslag för att få uppbackning från oss.  Problemet hittills har faktiskt inte varit att regeringen velat göra för mycket för snabbt. Tvärtom, vi har efterlyst mer handlingskraft.",2020-04-06 14:01:12,95972673,jimmieakesson,[],351,16,22,politics,agreement
-1247132219270889472,"Vi är beredda att tillfälligt ge regeringen verktyg till snabba, kraftfulla åtgärder för att bromsa smittan, men dessa åtgärder måste omedelbart prövas av riksdagen och enskilda som drabbas ska kunna få ersättning.",2020-04-06 14:01:06,95972673,jimmieakesson,[],738,151,58,politics,agreement
-1246096685232775169,En liten del av befolkningen riskerar liv och hälsa för hundratusentals människor i vårt land. Olyckligtvis biter vare sig rekommendationer eller statsministerns uppmaningar till folkvett på denna grupp.   https://t.co/yVH6awNTxN,2020-04-03 17:26:15,95972673,jimmieakesson,['https://www.expressen.se/debatt/botfall-de-utan-folkvett-som-riskerar-andras-liv/'],392,43,63,covid-19,anger
-1246001066061320192,Det är uppseendeväckande att den kinesiska regimen fortsatt låter djurmarknaderna i landet bedriva sin verksamhet trots att Coronapandemin tros ha sitt ursprung där.   https://t.co/Tjr1HliF4T,2020-04-03 11:06:18,95972673,jimmieakesson,['https://www.gp.se/debatt/kina-m%C3%A5ste-st%C3%A4nga-de-farliga-djurmarknaderna-omedelbart-1.26339409'],1115,124,139,politics,criticism
-1245720641308971009,Vi måste helt enkelt göra mer för att skydda personalen och drastiskt minska de risker de utsätts för i sitt livsviktiga arbete.   https://t.co/MmRPlz2FfB,2020-04-02 16:31:59,95972673,jimmieakesson,['https://nyheteridag.se/sd-sverige-maste-sakerstalla-tillgangen-av-skyddsutrustning-till-vardpersonalen/'],336,25,47,health,opinion
-1245682623491575809,De som jobbar i vård och omsorg är några av våra absolut viktigaste samhällsbärare. Särskilt i dessa tider gör de heroiska insatser med risk för sin egen hälsa. Riskerna får inte göras större än nödvändigt och kraven får inte sänkas på grund av undermålig beredskap.  https://t.co/oDN1yAubGc,2020-04-02 14:00:55,95972673,jimmieakesson,[],802,58,131, healthcare,praise
-1245435675903655936,Men vi kan inte stänga ner grundläggande infrastruktur. Utgår från att regeringen agerar på dessa uppgifter.,2020-04-01 21:39:38,95972673,jimmieakesson,[],176,6,8,politics,statements
-1245435645855662080,SAS meddelar att det inte bär sig ekonomiskt att bedriva inrikestrafik längre och att all flygtrafik kan komma att ställas in. BRA ställer in i två månader. Detta visar att människor tar smittan på allvar.,2020-04-01 21:39:31,95972673,jimmieakesson,[],410,13,24,transportation,disagreement
-1245398836123774979,PS Lyssna på den här så känns allt lite bättre:  https://t.co/s5fjMUnTDC,2020-04-01 19:13:15,95972673,jimmieakesson,['https://youtu.be/CYqG-8RP-JI'],597,31,40, music,praise
-1245398798614085633,"Det är trots allt ditt jobb, att i varje situation hitta fel på såna som jag.  Lena, vi tar oss genom detta tillsammans! När vi besegrat den här besten lovar jag att vara tillbaka med besked. Jag ska inte göra dig besviken.",2020-04-01 19:13:06,95972673,jimmieakesson,[],973,15,45, relationships,support
-1245398669073006593,"Just nu har jag och övriga i oppositionen, av hänsyn till läget, sänkt konfliktnivån ganska mycket. Jag är säker på att du förstår, och jag är lika säker på att du istället hade skrivit en riktigt arg text om jag inte agerat på det sättet.",2020-04-01 19:12:35,95972673,jimmieakesson,[],690,5,45,politics,opposition
-1245398534305861641,"Ännu är vi inte lika hårt drabbade av coronakrisen som ni där uppe, men som du vet är vi lite efter här på landet.  Om du känner att detta brev inte riktigt stillar din oro, är du hjärtligt välkommen att höra av dig. Jag har alltid tid för dig.",2020-04-01 19:12:03,95972673,jimmieakesson,[],556,2,26, coronavirus,concern
-1245398391707914240,"Lena, jag är medveten om att många inom ditt skrå är tämligen ointresserade av vad som sker utanför Stockholms tullar, men vi som bor här lever och frodas trots ert ointresse.",2020-04-01 19:11:29,95972673,jimmieakesson,[],637,3,31,politics,disagreement
-1245398223616987145,"Att du, trots allt detta elände, ägnar mig en tanke är förstås smickrande, men just nu har vi faktiskt viktigare saker att bekymra oss om.  Svaret på din fråga är: Sölvesborg.",2020-04-01 19:10:49,95972673,jimmieakesson,[],756,10,40,politics,sarcasm
-1245398067911757824,"Kära Lena! Jag saknar dig också.  Som du säkert har noterat (du nämner det själv i din text) befinner sig Sverige och världen i kris. Människor dör, sjukvårdssystem är överbelastade, företag slås i spillror och människor tvingas ut i arbetslöshet.  https://t.co/ZnSlVhuEY8",2020-04-01 19:10:12,95972673,jimmieakesson,[],1939,93,226,covid-19,sorrow

textclassifier/TextClassifier.py

@@ -45,11 +45,15 @@ class TextClassifier:
         self.user_name = user_name
         self.ts = TwitterScraper.TwitterScraper(from_date, to_date, num_tweets)
         # Assure that scrape_by_user actually gets num_tweets
+        # add timer in time-loop and stop after 10 seconds
+        start_time = time.time()
         while True:
             self.df = self.ts.scrape_by_user(user_name)
-            if len(self.df) >= num_tweets:
+            if 0 < len(self.df) <= num_tweets:
                 break
             else:
+                if time.time() - start_time > 10:
+                    raise Exception("Could not get enough tweets. Please try again. Perhaps try different time range.")
                 continue
         # Make id as type int64
         self.df['id'] = self.df['id'].copy().astype(int)
@@ -194,19 +198,18 @@ class TextClassifier:
         """
         assert isinstance(text, str)
 
-        prompt_string = "Classify one topic for this tweet:\n \""
+        prompt_string = "Classify this tweet with a general topic and two sub-topics:\n\""
         prompt_string += text
-        prompt_string += "\" \nFor example:\nEconomy,\nEnvironment,\nHealth,\nPolitics,\nScience,\nSports,\nTechnology," \
-                         "\nTransportation,\nWorld.\nTOPIC="
-
+        prompt_string += "\".\nGeneral topic: \nSub topic 1: \nSub topic 2:\n. The classifications should not be " \
+                         "more than 5 words. Numerate each topic in the output. END "
         response = openai.Completion.create(
-            model=self.model_name,
+            model="text-davinci-002",
             prompt=prompt_string,
             temperature=0,
             max_tokens=892,
             top_p=1,
             frequency_penalty=0,
-            presence_penalty=0,
+            presence_penalty=0
         )
         classification_unclean = response.choices[0]['text']
         classification_clean = self.cleanup_topic_results(classification_unclean)
@@ -323,5 +326,5 @@ class TextClassifier:
 
 
 if __name__ == "__main__":
-    tc = TextClassifier(from_date="2020-03-10", to_date="2020-04-10", user_name='jimmieakesson', num_tweets=20)
+    tc = TextClassifier(from_date="2020-01-14", to_date="2020-01-31", user_name='jimmieakesson', num_tweets=20)
     tc.run_main_pipeline()