Demea9000 commited on
Commit
aded009
1 Parent(s): e33dbe2

now assures num_tweets is between 0 and 20.

Browse files
data/twitterdata.csv CHANGED
@@ -37,3 +37,23 @@ id,tweet,date,user_id,username,urls,nlikes,nreplies,nretweets,topic,sentiment
37
  1235890699855413249,Den havererade migrationspolitiken och det efterföljande flyktingkaoset 2015 har rivit upp djupa sår i det svenska samhället. https://t.co/PUYWwUT60b,2020-03-06 12:31:19,95972673,jimmieakesson,['https://www.svd.se/akesson-prioritera-nu-det-svenska-folket'],1515,120,210,politics,criticism
38
  1235187530720587776,"""Jag tycker att det är viktigt att få en egen bild av hur det ser ut. Vi har gått runt här och pratat med många människor som frågar var de är på väg. Det är väldigt många som vill till norra Europa och man nämner Sverige och Tyskland primärt."" https://t.co/PHBDyJQrCY",2020-03-04 13:57:10,95972673,jimmieakesson,['https://www.expressen.se/nyheter/jimmie-akesson-delar-ut-flygblad-kom-inte-till-oss/'],2326,293,302,refugees,statements
39
  1235153072873230338, https://t.co/v3c7r7iHbL,2020-03-04 11:40:15,95972673,jimmieakesson,[],2551,183,266, twitter,questions
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
37
  1235890699855413249,Den havererade migrationspolitiken och det efterföljande flyktingkaoset 2015 har rivit upp djupa sår i det svenska samhället. https://t.co/PUYWwUT60b,2020-03-06 12:31:19,95972673,jimmieakesson,['https://www.svd.se/akesson-prioritera-nu-det-svenska-folket'],1515,120,210,politics,criticism
38
  1235187530720587776,"""Jag tycker att det är viktigt att få en egen bild av hur det ser ut. Vi har gått runt här och pratat med många människor som frågar var de är på väg. Det är väldigt många som vill till norra Europa och man nämner Sverige och Tyskland primärt."" https://t.co/PHBDyJQrCY",2020-03-04 13:57:10,95972673,jimmieakesson,['https://www.expressen.se/nyheter/jimmie-akesson-delar-ut-flygblad-kom-inte-till-oss/'],2326,293,302,refugees,statements
39
  1235153072873230338, https://t.co/v3c7r7iHbL,2020-03-04 11:40:15,95972673,jimmieakesson,[],2551,183,266, twitter,questions
40
+ 1247802077033590791,Alla personal inom omsorgen som just nu tvekar och som är rädda för att gå till jobbet måste få en fullständig och total uppbackning. Vi har som politiker ett moraliskt ansvar att göra allt som står i vår makt för att deras mående inte kompromissas bort. https://t.co/Xm7BNmARvh,2020-04-08 10:22:52,95972673,jimmieakesson,['https://www.aftonbladet.se/debatt/a/zGJ9bv/personal-i-aldrevarden-maste-ha-munskydd'],618,41,85,politics,support
41
+ 1247505179735457792,"Det får inte hända igen. Vi måste tillsammans fortsätta arbetet för att bekämpa radikala och våldsbejakande ideologier i vårt land. Det arbetet får aldrig vila och den uppgiften blir tyvärr aldrig färdig, men vi måste göra vad vi kan. Vi får aldrig glömma.",2020-04-07 14:43:07,95972673,jimmieakesson,[],510,14,32,politics,sadness
42
+ 1247505144721350656,"Det sägs att tiden läker alla sår, men tre år är ingenting för de människor som mist en älskad dotter, en mor, en far, en bror, en son, en nära och älskad anhörig. Idag går mina tankar till de anhöriga som fått sina liv slagna i spillror.",2020-04-07 14:42:58,95972673,jimmieakesson,[],506,3,31,grief,sadness
43
+ 1247505072260513794,"Idag är det tre år sedan Sverige drabbades av ett fruktansvärt terrordåd, då den hänsynslöse islamisten och illegale migranten Rakmat Akilov kallblodigt mördade och skadade många oskyldiga människor på Drottninggatan i Stockholm.",2020-04-07 14:42:41,95972673,jimmieakesson,[],1392,52,148,terrorism,anger
44
+ 1247176105221636096,Vi är alltså beredda att fälla regeringens förslag om man inte justerar det i enlighet med våra krav. Åtgärder måste skyndsamt och med automatik underställas riksdagen.,2020-04-06 16:55:29,95972673,jimmieakesson,[],224,17,16,politics,opposition
45
+ 1247132245728641026,"Regeringen behöver alltså justera sitt förslag för att få uppbackning från oss. Problemet hittills har faktiskt inte varit att regeringen velat göra för mycket för snabbt. Tvärtom, vi har efterlyst mer handlingskraft.",2020-04-06 14:01:12,95972673,jimmieakesson,[],351,16,22,politics,agreement
46
+ 1247132219270889472,"Vi är beredda att tillfälligt ge regeringen verktyg till snabba, kraftfulla åtgärder för att bromsa smittan, men dessa åtgärder måste omedelbart prövas av riksdagen och enskilda som drabbas ska kunna få ersättning.",2020-04-06 14:01:06,95972673,jimmieakesson,[],738,151,58,politics,agreement
47
+ 1246096685232775169,En liten del av befolkningen riskerar liv och hälsa för hundratusentals människor i vårt land. Olyckligtvis biter vare sig rekommendationer eller statsministerns uppmaningar till folkvett på denna grupp. https://t.co/yVH6awNTxN,2020-04-03 17:26:15,95972673,jimmieakesson,['https://www.expressen.se/debatt/botfall-de-utan-folkvett-som-riskerar-andras-liv/'],392,43,63,covid-19,anger
48
+ 1246001066061320192,Det är uppseendeväckande att den kinesiska regimen fortsatt låter djurmarknaderna i landet bedriva sin verksamhet trots att Coronapandemin tros ha sitt ursprung där. https://t.co/Tjr1HliF4T,2020-04-03 11:06:18,95972673,jimmieakesson,['https://www.gp.se/debatt/kina-m%C3%A5ste-st%C3%A4nga-de-farliga-djurmarknaderna-omedelbart-1.26339409'],1115,124,139,politics,criticism
49
+ 1245720641308971009,Vi måste helt enkelt göra mer för att skydda personalen och drastiskt minska de risker de utsätts för i sitt livsviktiga arbete. https://t.co/MmRPlz2FfB,2020-04-02 16:31:59,95972673,jimmieakesson,['https://nyheteridag.se/sd-sverige-maste-sakerstalla-tillgangen-av-skyddsutrustning-till-vardpersonalen/'],336,25,47,health,opinion
50
+ 1245682623491575809,De som jobbar i vård och omsorg är några av våra absolut viktigaste samhällsbärare. Särskilt i dessa tider gör de heroiska insatser med risk för sin egen hälsa. Riskerna får inte göras större än nödvändigt och kraven får inte sänkas på grund av undermålig beredskap. https://t.co/oDN1yAubGc,2020-04-02 14:00:55,95972673,jimmieakesson,[],802,58,131, healthcare,praise
51
+ 1245435675903655936,Men vi kan inte stänga ner grundläggande infrastruktur. Utg��r från att regeringen agerar på dessa uppgifter.,2020-04-01 21:39:38,95972673,jimmieakesson,[],176,6,8,politics,statements
52
+ 1245435645855662080,SAS meddelar att det inte bär sig ekonomiskt att bedriva inrikestrafik längre och att all flygtrafik kan komma att ställas in. BRA ställer in i två månader. Detta visar att människor tar smittan på allvar.,2020-04-01 21:39:31,95972673,jimmieakesson,[],410,13,24,transportation,disagreement
53
+ 1245398836123774979,PS Lyssna på den här så känns allt lite bättre: https://t.co/s5fjMUnTDC,2020-04-01 19:13:15,95972673,jimmieakesson,['https://youtu.be/CYqG-8RP-JI'],597,31,40, music,praise
54
+ 1245398798614085633,"Det är trots allt ditt jobb, att i varje situation hitta fel på såna som jag. Lena, vi tar oss genom detta tillsammans! När vi besegrat den här besten lovar jag att vara tillbaka med besked. Jag ska inte göra dig besviken.",2020-04-01 19:13:06,95972673,jimmieakesson,[],973,15,45, relationships,support
55
+ 1245398669073006593,"Just nu har jag och övriga i oppositionen, av hänsyn till läget, sänkt konfliktnivån ganska mycket. Jag är säker på att du förstår, och jag är lika säker på att du istället hade skrivit en riktigt arg text om jag inte agerat på det sättet.",2020-04-01 19:12:35,95972673,jimmieakesson,[],690,5,45,politics,opposition
56
+ 1245398534305861641,"Ännu är vi inte lika hårt drabbade av coronakrisen som ni där uppe, men som du vet är vi lite efter här på landet. Om du känner att detta brev inte riktigt stillar din oro, är du hjärtligt välkommen att höra av dig. Jag har alltid tid för dig.",2020-04-01 19:12:03,95972673,jimmieakesson,[],556,2,26, coronavirus,concern
57
+ 1245398391707914240,"Lena, jag är medveten om att många inom ditt skrå är tämligen ointresserade av vad som sker utanför Stockholms tullar, men vi som bor här lever och frodas trots ert ointresse.",2020-04-01 19:11:29,95972673,jimmieakesson,[],637,3,31,politics,disagreement
58
+ 1245398223616987145,"Att du, trots allt detta elände, ägnar mig en tanke är förstås smickrande, men just nu har vi faktiskt viktigare saker att bekymra oss om. Svaret på din fråga är: Sölvesborg.",2020-04-01 19:10:49,95972673,jimmieakesson,[],756,10,40,politics,sarcasm
59
+ 1245398067911757824,"Kära Lena! Jag saknar dig också. Som du säkert har noterat (du nämner det själv i din text) befinner sig Sverige och världen i kris. Människor dör, sjukvårdssystem är överbelastade, företag slås i spillror och människor tvingas ut i arbetslöshet. https://t.co/ZnSlVhuEY8",2020-04-01 19:10:12,95972673,jimmieakesson,[],1939,93,226,covid-19,sorrow
textclassifier/TextClassifier.py CHANGED
@@ -34,7 +34,7 @@ class TextClassifier:
34
  # Make sure user_name is not empty
35
  assert user_name is not None, "user_name cannot be empty"
36
  # Make sure num_tweets is a positive integer
37
- assert num_tweets > 0, "num_tweets must be a positive integer"
38
 
39
  self.model_name = model_name
40
  self.from_date = from_date
@@ -42,8 +42,13 @@ class TextClassifier:
42
  self.num_tweets = num_tweets
43
  self.user_name = user_name
44
  self.ts = TwitterScraper.TwitterScraper(from_date, to_date, num_tweets)
45
-
46
- self.df = self.ts.scrape_by_user(user_name)
 
 
 
 
 
47
  # Make id as type int64
48
  self.df['id'] = self.df['id'].copy().astype(int)
49
  # self.api_key = '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'
@@ -311,5 +316,5 @@ class TextClassifier:
311
 
312
 
313
  if __name__ == "__main__":
314
- tc = TextClassifier(from_date="2020-02-10", to_date="2020-03-10", user_name='jimmieakesson', num_tweets=200)
315
  tc.run_main_pipeline()
 
34
  # Make sure user_name is not empty
35
  assert user_name is not None, "user_name cannot be empty"
36
  # Make sure num_tweets is a positive integer
37
+ assert 0 < num_tweets <= 20, "num_tweets must be a positive integer and at most 20"
38
 
39
  self.model_name = model_name
40
  self.from_date = from_date
 
42
  self.num_tweets = num_tweets
43
  self.user_name = user_name
44
  self.ts = TwitterScraper.TwitterScraper(from_date, to_date, num_tweets)
45
+ # Assure that scrape_by_user actually gets num_tweets
46
+ while True:
47
+ self.df = self.ts.scrape_by_user(user_name)
48
+ if len(self.df) >= num_tweets:
49
+ break
50
+ else:
51
+ continue
52
  # Make id as type int64
53
  self.df['id'] = self.df['id'].copy().astype(int)
54
  # self.api_key = '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'
 
316
 
317
 
318
  if __name__ == "__main__":
319
+ tc = TextClassifier(from_date="2020-03-10", to_date="2020-04-10", user_name='jimmieakesson', num_tweets=20)
320
  tc.run_main_pipeline()