cleaned up root path

.idea/misc.xml

@@ -1,4 +1,4 @@
 <?xml version="1.0" encoding="UTF-8"?>
 <project version="4">
-  <component name="ProjectRootManager" version="2" project-jdk-name="Python 3.10 (politweet)" project-jdk-type="Python SDK" />
+  <component name="ProjectRootManager" version="2" project-jdk-name="Python 3.9 (politweet)" project-jdk-type="Python SDK" />
 </project>

Data.csv

@@ -1,43 +0,0 @@
-id,tweet,date,user_id,username,urls,nlikes,nreplies,nretweets
-1546801285021814784,"Sverigedemokraterna kommer även fortsättningsvis att vara den tyngsta rösten för kraftigt sänkta priser på både bränsle och el. Alla vi miljontals människor som bor utanför storstädernas kollektivtrafik och cykelbanor måste kunna leva. Sänk bränslepriserna, nu!  https://t.co/OiPb6WdaZG",2022-07-12 12:18:59,95972673,jimmieakesson,[],1111,67,105
-1544748873767424001,Fruktansvärt att nås av beskedet att kvinnan som attackerades i Visby har avlidit. Mina tankar finns hos hennes familj ikväll.,2022-07-06 20:23:26,95972673,jimmieakesson,[],3482,178,143
-1538948369611210764,"@annieloof Nej, jag håller med. Tänk mer som Mathias Andersson (SD).  https://t.co/gSqQDz5N8z",2022-06-20 20:14:18,95972673,jimmieakesson,[],1512,89,115
-1537770920621879297,"Man kan ha synpunkter på en sådan lösning, men den är naturligtvis att föredra framför frigående våldsverkare som fortsätter misshandla sina offer i väntan på fängelse.",2022-06-17 14:15:32,95972673,jimmieakesson,[],694,17,41
-1537770809225273344,Är det ont om plats på anstalterna så får man sänka standarden rejält för att få rum med fler interner per kvadratmeter.,2022-06-17 14:15:05,95972673,jimmieakesson,[],812,26,57
-1537770713368735744,"Döms man för brott, särskilt våldsbrott, ska man vara inlåst från det att domen faller tills straffet är avtjänat. Allt annat är vansinne.",2022-06-17 14:14:43,95972673,jimmieakesson,[],1015,26,85
-1537770657823576066,"Platsbrist? Jaha, vad spelar det för roll?   Det gör mig förbannad och bestört att lösningen på problemet med överfulla fängelser verkar vara att dömda våldsbrottslingar får röra sig fritt i samhället istället för att sitta inlåsta.    https://t.co/QDi9rM3kMC",2022-06-17 14:14:29,95972673,jimmieakesson,['https://sverigesradio.se/artikel/domda-kvinnomisshandlare-kan-fortsatta-valdet-mot-samma-kvinna-innan-fangelset'],1158,86,132
-1534230353094885383,"Det är ytterst beklagligt att Magdalena Andersson saboterar Sveriges Natoansökan genom att kohandla med en marxistisk vilde som inte bryr sig ett smack om Sverige, utan istället fullt ut företräder utländska intressen. Svekfullt, maktfullkomligt och ansvarslöst.",2022-06-07 19:46:35,95972673,jimmieakesson,[],6119,544,556
-1533881878553538560,"Glöm att Sverigedemokraterna kommer att lova regeringen frikort att missköta sig för att de gör sig av med en, förvisso exceptionellt usel, minister.   https://t.co/3yVuUQU42o",2022-06-06 20:41:52,95972673,jimmieakesson,['https://live.aftonbladet.se/supernytt/news/m-och-l-foeljer-kds-erbjudande-till-magdalena-andersson.CqhNSVhf9'],1080,97,77
-1532625870824808448,"Det är bra att väljarna får denna tydliga varudeklaration, en röst på Centern är en röst på Socialdemokraterna.",2022-06-03 09:30:57,95972673,jimmieakesson,[],1256,57,96
-1532625804223516672,Centern ❤️ Sossarna  Ännu en gång är det Annie Lööf som kommer till Morgan Johanssons räddning. För vilken gång i ordningen vet jag inte.  Det är tydligt att Centern blivit det vänsterparti som krafter inom partiet arbetat för att det ska bli.,2022-06-03 09:30:41,95972673,jimmieakesson,[],2513,211,188
-1532341074127163392,"Därför valde Sverigedemokraterna idag att, under dagens frågestund i kammaren, väcka frågan om misstroende gentemot Morgan Johansson.  Sverige förtjänar bättre.",2022-06-02 14:39:16,95972673,jimmieakesson,[],791,32,34
-1532340946456694785,"Morgan Johanssons misslyckanden kan inte få fortgå en enda dag mer än nödvändigt och det är vår inställning att oavsett valets utfall, så bör han förtidspensioneras som Sveriges justitie- och inrikesminister.",2022-06-02 14:38:45,95972673,jimmieakesson,[],660,9,40
-1532340845042622465,"De enda som kan vara nöjda med regeringens arbete är de kriminella, de som mördar, skadar och hotar. De hoppas just nu på att även kommande mandatperiod ska innebära ytterligare fyra år med Socialdemokratisk saft- och bullepolitik.",2022-06-02 14:38:21,95972673,jimmieakesson,[],435,15,35
-1532340768681209858,Tusentals föräldrar och syskon har förlorat någon närstående och Morgan Johanssons misslyckanden är förmodligen ett av de mest tragiska kapitlen i svensk historia.,2022-06-02 14:38:03,95972673,jimmieakesson,[],406,7,21
-1532340666751242240,Morgan Johansson måste avgå som minister.  Otryggheten biter sig fast och gängkriminaliteten är allt annat än knäckt. Antalet skjutningar ökar och sätter skräck i varje del av vårt land.  Sverige har förvandlats till ett gangsterland.,2022-06-02 14:37:39,95972673,jimmieakesson,[],3065,172,231
-1523345947165483008, https://t.co/64aJSb1G58,2022-05-08 18:55:50,95972673,jimmieakesson,['https://www.dn.se/debatt/sa-vill-m-sd-kd-och-l-ge-alla-pensionarer-mer-i-planboken/'],123,9,11
-1523345873769357312,"För oss Sverigedemokrater är detta en prioriterad fråga om både rättvisa och moral. Svenskar som på olika sätt har varit med och byggt det här landet, förtjänar en värdig ålderdom.",2022-05-08 18:55:33,95972673,jimmieakesson,[],295,11,14
-1523345831629180928,"I en tid när priserna stiger kraftigt på just de varor och tjänster som är svårast att avvara – mat, värme och bränsle - är det nödvändigt att förbättra de svenska pensionärernas situation.",2022-05-08 18:55:23,95972673,jimmieakesson,[],214,5,8
-1523345750255538176,"Största pensionssatsningen sedan pensionssystemet infördes.  Vi kan idag presentera en överenskommelse med Moderaterna, Kristdemokraterna och Liberalerna om att göra den största förstärkningen av pensionärernas ekonomi sedan det nuvarande pensionssystemet infördes.  https://t.co/tENrQDFy9o",2022-05-08 18:55:03,95972673,jimmieakesson,[],707,57,73
-1522508592376602625,Varför har ens SR alla dessa invandrarredaktioner? Ska du bo i Sverige - lär dig svenska.,2022-05-06 11:28:29,95972673,jimmieakesson,[],6878,380,522
-1521752982198620161,"Jag uppmanar andra inbjudna partiledare att ställa samma krav. Det får faktiskt finnas någon gräns för tokigheterna, svensk polis förtjänar tydligt stöd från Sveriges politiska partier.",2022-05-04 09:25:58,95972673,jimmieakesson,[],1916,48,106
-1521752934702362626,Järvaveckan får helt enkelt välja – polishataren Kakan Hermansson eller partiledaren Jimmie Åkesson.,2022-05-04 09:25:47,95972673,jimmieakesson,[],1591,53,77
-1521752853110566912,"Jag kommer idag att meddela arrangörerna att jag inte avser närvara och hålla tal på årets Järvaveckan, vilket tidigare planerats, om denna person på något sätt är en del av deras evenemang.",2022-05-04 09:25:27,95972673,jimmieakesson,[],1258,46,56
-1521752814082535424,"Kakan Hermansson har genom åren gjort sig känd för en rad politiskt extrema och direkt stötande uttalanden, inte minst hatiska inlägg om svensk polis.",2022-05-04 09:25:18,95972673,jimmieakesson,[],1006,27,47
-1521752766921781249,"Nu figurerar uppgifter om att årets upplaga av Järvaveckan, en politikervecka i norra Stockholm, återigen genomförs i samarbete med den mycket hårt kritiserade extremvänsterprofilen Kakan Hermansson.",2022-05-04 09:25:07,95972673,jimmieakesson,[],780,10,33
-1521752718070755331,"Den senaste tidens utveckling, med Ramadan-kravaller innefattande grovt våld i uppenbart syfte att döda poliser, har aktualiserat behovet av sammanhållning och rakryggat stöd för Polisen och för det svenska samhället i stort.",2022-05-04 09:24:55,95972673,jimmieakesson,[],853,13,35
-1521752661170794496,Järvaveckan får välja – Kakan Hermansson eller Jimmie Åkesson,2022-05-04 09:24:41,95972673,jimmieakesson,[],3926,465,215
-1521489890369843200,Varför svenska barn påtvingas politisk indoktrinering i skolan är en fråga som kräver en omedelbar förklaring. Vi kommer att kalla Skolverkets generaldirektör till utbildningsutskottet.  Från dagens nationella prov i historia.,2022-05-03 16:00:32,95972673,jimmieakesson,[],3361,168,246
-1521489797038157827,Det här äcklar mig på riktigt. Propaganda riktad till skolbarn hör hemma i diktaturer.  https://t.co/BDYiNs8NDV,2022-05-03 16:00:10,95972673,jimmieakesson,[],6806,735,711
-1521395241454034945, https://t.co/tpIq94r7BG,2022-05-03 09:44:26,95972673,jimmieakesson,['https://www.youtube.com/watch?v=f-eK1cgzGF8&ab_channel=Sverigedemokraterna'],179,10,20
-1521180859012943878,Ikväll medverkar jag i Aktuellt. Ämnet är trafiken och Sveriges åtgärder för att minska utsläppen. Debatt mot Annie Lööf.  Aktuellt sänds i SVT2 med start kl 21.00.,2022-05-02 19:32:33,95972673,jimmieakesson,[],875,104,53
-1518934290972790785,"Redan för 13 år sedan, 2009, skrev jag en uppmärksammad artikel i Aftonbladet om just denna utveckling.  Det är dags att ta bladet från munnen. Det är dags att fler än vi Sverigedemokrater kallar en spade för en spade.",2022-04-26 14:45:30,95972673,jimmieakesson,[],616,13,54
-1518934171762241538,"Det finns ett uppenbart och betydande inslag av helt vanliga muslimer bland våldsverkarna, människor som rent fysiskt bor i Sverige men som mentalt lever kvar i Mellanöstern och Afrikas Horn.",2022-04-26 14:45:01,95972673,jimmieakesson,[],507,12,36
-1518934051318636548,"’Allahu Akbar’, stenkastning, grov misshandel av poliser, besinningslös förstörelse av allmän egendom.",2022-04-26 14:44:32,95972673,jimmieakesson,[],262,4,19
-1518933928123539456,Ingen som tagit del av ljud och bild från kravallerna kan ha undgått att såväl beteendet som slagorden är direkt importerade från motsvarande händelser i den muslimska delen av världen.,2022-04-26 14:44:03,95972673,jimmieakesson,[],310,7,33
-1518933873886912512,"'Allahu Akbar', stenkastning och grov misshandel av poliser.   Jag varnade för detta redan för 13 år sedan.   https://t.co/UnweyJ1FOK",2022-04-26 14:43:50,95972673,jimmieakesson,['https://nyheteridag.se/tar-man-mellanostern-till-sverige-sa-blir-sverige-som-mellanostern/?fbclid=IwAR2Sfzbz55VZk5LEeHKmLdfK_z0SC6t8oFEgsDdrDUu-_fHj45WvVZB--VY'],1756,91,188
-1518613900186501120,Ebba har rätt. Poliser bör skjuta skarpt när islamister försöker ta deras liv.  Hur detta ens kan vara kontroversiellt är för mig en gåta.  Perspektiv från en polis:  https://t.co/5B3RPAV9rt,2022-04-25 17:32:22,95972673,jimmieakesson,['https://twitter.com/peppe_larsson/status/1517970014694948872?s=21'],2782,140,247
-1518584979193745408,Vad vi också har gemensamt är åsikten att Polisen behöver fler och bättre verktyg för att återuppbygga tryggheten. Inte minst förra helgens islamistkravaller visar behovet av det.,2022-04-25 15:37:27,95972673,jimmieakesson,[],747,29,36
-1518584871718948867,"Idag gjorde jag och Ebba Busch ett verksamhetsbesök inom äldrevården i Karlskrona. Vi är överens om att äldrevården behöver bli bättre, något som båda våra partier prioriterar.  https://t.co/iBwx2QiCxK",2022-04-25 15:37:02,95972673,jimmieakesson,[],2108,104,116
-1517463287897731074,@Ygeman Anders Ygeman är själv expert på att undgå att ta ansvar för dom misslyckanden som hans egen regering har orsakat. Så det är inte oväntat att han är kritisk till vårt förslag om ökat familjeansvar.,2022-04-22 13:20:15,95972673,jimmieakesson,[],256,9,13
-1517463123267047427,"@Ygeman Straffa förövarna? Ni har under åtta år bjudit dem på saft och bullar, samtidigt som ni misskött polisen till den grad att de tvingas backa för en stenkastande islamistmobb.",2022-04-22 13:19:36,95972673,jimmieakesson,[],659,14,36

data/twitterdata.csv

@@ -0,0 +1,21 @@
+id,tweet,date,user_id,username,urls,nlikes,nreplies,nretweets
+1208816689720283138,God jul  https://t.co/AC6HzzxJI1,2019-12-22 19:28:52,95972673,jimmieakesson,[],3090,247,270
+1206517009451814915, https://t.co/SPIXCl1y7O,2019-12-16 11:10:45,95972673,jimmieakesson,[],1554,69,97
+1204392974718767105,Hej @Jonas_Gardell  Läste din artikel i @Expressen vad sägs om att ses och snacka istället för att prata förbi varandra i media? Jag tror på samtalet och jag är övertygad om att jag kan lära mig något av dig. Kanske är det ömsesidigt?,2019-12-10 14:30:36,95972673,jimmieakesson,[],5207,299,634
+1202639801205317633,"""Sverigedemokraterna räds inte ett extraval om misstroendeförklaringen mot arbetsmarknadsminister Eva Nordmark (S) landar i att hela regeringen avgår. – Vi är redo för nyval så klart, säger SD-ledaren Jimmie Åkesson.""   https://t.co/RxRfwKVruK",2019-12-05 18:24:07,95972673,jimmieakesson,['https://www.sydsvenskan.se/2019-12-05/sd-redo-for-extraval?redirected=1'],1209,51,144
+1202231839424950272,Intervju med Jimmie Åkesson med anledning av dagens möte med Ulf Kristersson.   https://t.co/AOGYLUEwxC,2019-12-04 15:23:01,95972673,jimmieakesson,['https://www.svt.se/nyheter/inrikes/det-har-diskuterade-akesson-och-kristersson'],380,13,43
+1202200851189846022,"Mötet var givande, konstruktivt och bådar gott inför framtida samarbeten i ett nytt politiskt landskap.  / Jimmie",2019-12-04 13:19:53,95972673,jimmieakesson,[],626,13,22
+1202200819354996738,"Men också hur den framtida invandringspolitiken och energipolitiken bör utformas.   Även om Sverigedemokraterna och Moderaterna är två olika partier, finns det också många beröringspunkter i en rad olika sakfrågor.",2019-12-04 13:19:45,95972673,jimmieakesson,[],455,5,23
+1202199793688293376,Idag besökte jag och min gruppledare Ulf Kristerssons arbetsrum för ett första direkt möte med Ulf Kristersson och Moderaternas gruppledare. På mötet diskuterades bland annat hur vi ska komma tillrätta med den kriminaliteten i vårt land som regeringen helt har misslyckats med.  https://t.co/APmt4WSrUK,2019-12-04 13:15:41,95972673,jimmieakesson,[],1801,91,148
+1202185719965458432,"Konstruktiv dag. Här i möte med vår nya gruppledare i riksdagen, @VingeHenrik . Stay tuned...  #svpol  https://t.co/LMYmKIS3ya",2019-12-04 12:19:45,95972673,jimmieakesson,[],370,14,28
+1199417558291533824,Ännu ett institut bekräftar det nya läget 💪  https://t.co/9WuWsdRWGt,2019-11-26 21:00:04,95972673,jimmieakesson,[],1586,74,128
+1198144200283475968,Kommuner som går på knäna. Skjutningar och sprängningar var och varannan dag. En eskalerande otrygghet som steg för steg bryter ned vårt land. Har Sverige problem? Ja. Är S-regeringen med sina stödpartier kapabla att lösa dessa problem? Nej.   https://t.co/7WWRwbs1Ds,2019-11-23 08:40:12,95972673,jimmieakesson,['https://www.aftonbladet.se/debatt/a/kJPRKj/massinvandringen-har-slagit-sonder-nationen'],1937,122,292
+1197790554609852416,Utvecklingen S vs SD under 2000-talet. Det närmar sig... 💪  https://t.co/MNV5oGJktQ,2019-11-22 09:14:56,95972673,jimmieakesson,[],1243,43,120
+1197481419561472000,"Vi vill avsätta alla ministrar som går att avsätta i den här regeringen, så det är mycket sannolikt att vi hakar på en sådan eventuellt misstroendeomröstning.   https://t.co/PHj6XipNGH",2019-11-21 12:46:33,95972673,jimmieakesson,['https://www.di.se/nyheter/sd-hakar-pa-v-om-af-hotar-avsatta-s-ministern/'],1419,86,128
+1197467328105062400,Många intervjuer inför partiets Landsdagar. Några återstår innan jag rullar mot Örebro.  https://t.co/hXYMhcVDAG,2019-11-21 11:50:33,95972673,jimmieakesson,[],360,16,16
+1195769542456356864,Expressen inför nästa veckas Landsdagar med SD.  https://t.co/vsQj18Xwaw,2019-11-16 19:24:09,95972673,jimmieakesson,[],349,21,24
+1194553636946350080,Morgan Johansson måste avgå. #pldebatt #svpol  https://t.co/QsVAhqvaou,2019-11-13 10:52:35,95972673,jimmieakesson,[],1713,47,203
+1194528503284346881,Idag begär jag att riksdagen avsätter justitieminister Morgan Johansson. #svpol  https://t.co/tL703x5eYQ,2019-11-13 09:12:43,95972673,jimmieakesson,[],1844,80,140
+1194495733858222080,Åtta år senare och Morgan kämpar vidare... 🦸‍♂️  https://t.co/iCWrEwhgHP,2019-11-13 07:02:30,95972673,jimmieakesson,[],1769,87,271
+1193987880609341440,Stefan Löfven kommenterar oppositionens misstroendeförklaring mot justitieministern.  Kan vara något av det mest arroganta jag någonsin läst.  #avgå  https://t.co/MZHSF1eyMm,2019-11-11 21:24:28,95972673,jimmieakesson,[],1946,160,288
+1193852463390035968,"Det är uppenbart att justitieministern, som i det här fallet är ytterst ansvarig för att klara den här situationen, inte förstår allvaret och inte klarar av att hantera det.   https://t.co/YoSQnJiluZ  https://t.co/eBkBy1SQdU",2019-11-11 12:26:22,95972673,jimmieakesson,['https://sverigesradio.se/sida/artikel.aspx?programid=83&artikel=7341552'],1657,62,178

textclassifier/TextClassifier.py

@@ -3,6 +3,10 @@ import csv
 import regex as re
 from twitterscraper import TwitterScraper
 from datetime import date
+import os
+
+# Set one directory up into ROOT_PATH
+ROOT_PATH = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
 
 
 class TextClassifier:
@@ -205,20 +209,24 @@ class TextClassifier:
         return "TwitterScraper(from_date={}, to_date={}, num_tweets={})".format(self.from_date, self.to_date,
                                                                                 self.num_tweets)
 
+    @staticmethod
     def cleanup_topic_results(prediction_dict, text):
         new_item = text.replace("\n", " ")
         new_item = new_item.replace("  ", " ")
         return new_item
 
+    def df_to_csv(self, filename="{}/data/twitterdata.csv".format(ROOT_PATH)):
+        """
+        Writes pandas df to csv file. If it already exists, it appends.
+        :param filename:
+        :return:
+        """
+        if not os.path.exists(filename):
+            self.df.to_csv(filename, index=False)
+        else:
+            self.df.to_csv(filename, mode='a', header=False, index=False)
 
-    def add_to_csv_if_not_already_exists(self, filename="/Users/nils/SoftHouse/politweet/Data.csv"):
-        self.df.to_csv(filename, mode='a', header=False, index=False)
-        df = pd.read_csv(filename)
-        df.drop_duplicates(subset=['id'], inplace=True)
-        df.to_csv(filename, index=False)
-
-
-    def return_row_if_ID_Exists(self, id: str, filename="/Users/nils/SoftHouse/politweet/Data.csv"):
+    def return_row_if_ID_exists(self, id: str, filename="{}/data/twitterdata.csv".format(ROOT_PATH)):
         """
         Checks if a ID is already in the Data.csv file and if it is, it returns the row
         :param id:
@@ -236,7 +244,5 @@ if __name__ == "__main__":
     import pandas as pd
 
     pd.set_option('display.max_columns', None)
-    TC = TextClassifier(num_tweets=200)
-    TC.add_to_csv_if_not_already_exists()
-
-
+    TC = TextClassifier(from_date="2019-01-01", to_date="2019-12-31", user_name='jimmieakesson', num_tweets=100)
+    TC.df_to_csv()