Spaces:
Runtime error
Runtime error
now assures num_tweets is between 0 and 20.
Browse files- data/twitterdata.csv +20 -0
- textclassifier/TextClassifier.py +9 -4
data/twitterdata.csv
CHANGED
@@ -37,3 +37,23 @@ id,tweet,date,user_id,username,urls,nlikes,nreplies,nretweets,topic,sentiment
|
|
37 |
1235890699855413249,Den havererade migrationspolitiken och det efterföljande flyktingkaoset 2015 har rivit upp djupa sår i det svenska samhället. https://t.co/PUYWwUT60b,2020-03-06 12:31:19,95972673,jimmieakesson,['https://www.svd.se/akesson-prioritera-nu-det-svenska-folket'],1515,120,210,politics,criticism
|
38 |
1235187530720587776,"""Jag tycker att det är viktigt att få en egen bild av hur det ser ut. Vi har gått runt här och pratat med många människor som frågar var de är på väg. Det är väldigt många som vill till norra Europa och man nämner Sverige och Tyskland primärt."" https://t.co/PHBDyJQrCY",2020-03-04 13:57:10,95972673,jimmieakesson,['https://www.expressen.se/nyheter/jimmie-akesson-delar-ut-flygblad-kom-inte-till-oss/'],2326,293,302,refugees,statements
|
39 |
1235153072873230338, https://t.co/v3c7r7iHbL,2020-03-04 11:40:15,95972673,jimmieakesson,[],2551,183,266, twitter,questions
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
37 |
1235890699855413249,Den havererade migrationspolitiken och det efterföljande flyktingkaoset 2015 har rivit upp djupa sår i det svenska samhället. https://t.co/PUYWwUT60b,2020-03-06 12:31:19,95972673,jimmieakesson,['https://www.svd.se/akesson-prioritera-nu-det-svenska-folket'],1515,120,210,politics,criticism
|
38 |
1235187530720587776,"""Jag tycker att det är viktigt att få en egen bild av hur det ser ut. Vi har gått runt här och pratat med många människor som frågar var de är på väg. Det är väldigt många som vill till norra Europa och man nämner Sverige och Tyskland primärt."" https://t.co/PHBDyJQrCY",2020-03-04 13:57:10,95972673,jimmieakesson,['https://www.expressen.se/nyheter/jimmie-akesson-delar-ut-flygblad-kom-inte-till-oss/'],2326,293,302,refugees,statements
|
39 |
1235153072873230338, https://t.co/v3c7r7iHbL,2020-03-04 11:40:15,95972673,jimmieakesson,[],2551,183,266, twitter,questions
|
40 |
+
1247802077033590791,Alla personal inom omsorgen som just nu tvekar och som är rädda för att gå till jobbet måste få en fullständig och total uppbackning. Vi har som politiker ett moraliskt ansvar att göra allt som står i vår makt för att deras mående inte kompromissas bort. https://t.co/Xm7BNmARvh,2020-04-08 10:22:52,95972673,jimmieakesson,['https://www.aftonbladet.se/debatt/a/zGJ9bv/personal-i-aldrevarden-maste-ha-munskydd'],618,41,85,politics,support
|
41 |
+
1247505179735457792,"Det får inte hända igen. Vi måste tillsammans fortsätta arbetet för att bekämpa radikala och våldsbejakande ideologier i vårt land. Det arbetet får aldrig vila och den uppgiften blir tyvärr aldrig färdig, men vi måste göra vad vi kan. Vi får aldrig glömma.",2020-04-07 14:43:07,95972673,jimmieakesson,[],510,14,32,politics,sadness
|
42 |
+
1247505144721350656,"Det sägs att tiden läker alla sår, men tre år är ingenting för de människor som mist en älskad dotter, en mor, en far, en bror, en son, en nära och älskad anhörig. Idag går mina tankar till de anhöriga som fått sina liv slagna i spillror.",2020-04-07 14:42:58,95972673,jimmieakesson,[],506,3,31,grief,sadness
|
43 |
+
1247505072260513794,"Idag är det tre år sedan Sverige drabbades av ett fruktansvärt terrordåd, då den hänsynslöse islamisten och illegale migranten Rakmat Akilov kallblodigt mördade och skadade många oskyldiga människor på Drottninggatan i Stockholm.",2020-04-07 14:42:41,95972673,jimmieakesson,[],1392,52,148,terrorism,anger
|
44 |
+
1247176105221636096,Vi är alltså beredda att fälla regeringens förslag om man inte justerar det i enlighet med våra krav. Åtgärder måste skyndsamt och med automatik underställas riksdagen.,2020-04-06 16:55:29,95972673,jimmieakesson,[],224,17,16,politics,opposition
|
45 |
+
1247132245728641026,"Regeringen behöver alltså justera sitt förslag för att få uppbackning från oss. Problemet hittills har faktiskt inte varit att regeringen velat göra för mycket för snabbt. Tvärtom, vi har efterlyst mer handlingskraft.",2020-04-06 14:01:12,95972673,jimmieakesson,[],351,16,22,politics,agreement
|
46 |
+
1247132219270889472,"Vi är beredda att tillfälligt ge regeringen verktyg till snabba, kraftfulla åtgärder för att bromsa smittan, men dessa åtgärder måste omedelbart prövas av riksdagen och enskilda som drabbas ska kunna få ersättning.",2020-04-06 14:01:06,95972673,jimmieakesson,[],738,151,58,politics,agreement
|
47 |
+
1246096685232775169,En liten del av befolkningen riskerar liv och hälsa för hundratusentals människor i vårt land. Olyckligtvis biter vare sig rekommendationer eller statsministerns uppmaningar till folkvett på denna grupp. https://t.co/yVH6awNTxN,2020-04-03 17:26:15,95972673,jimmieakesson,['https://www.expressen.se/debatt/botfall-de-utan-folkvett-som-riskerar-andras-liv/'],392,43,63,covid-19,anger
|
48 |
+
1246001066061320192,Det är uppseendeväckande att den kinesiska regimen fortsatt låter djurmarknaderna i landet bedriva sin verksamhet trots att Coronapandemin tros ha sitt ursprung där. https://t.co/Tjr1HliF4T,2020-04-03 11:06:18,95972673,jimmieakesson,['https://www.gp.se/debatt/kina-m%C3%A5ste-st%C3%A4nga-de-farliga-djurmarknaderna-omedelbart-1.26339409'],1115,124,139,politics,criticism
|
49 |
+
1245720641308971009,Vi måste helt enkelt göra mer för att skydda personalen och drastiskt minska de risker de utsätts för i sitt livsviktiga arbete. https://t.co/MmRPlz2FfB,2020-04-02 16:31:59,95972673,jimmieakesson,['https://nyheteridag.se/sd-sverige-maste-sakerstalla-tillgangen-av-skyddsutrustning-till-vardpersonalen/'],336,25,47,health,opinion
|
50 |
+
1245682623491575809,De som jobbar i vård och omsorg är några av våra absolut viktigaste samhällsbärare. Särskilt i dessa tider gör de heroiska insatser med risk för sin egen hälsa. Riskerna får inte göras större än nödvändigt och kraven får inte sänkas på grund av undermålig beredskap. https://t.co/oDN1yAubGc,2020-04-02 14:00:55,95972673,jimmieakesson,[],802,58,131, healthcare,praise
|
51 |
+
1245435675903655936,Men vi kan inte stänga ner grundläggande infrastruktur. Utg��r från att regeringen agerar på dessa uppgifter.,2020-04-01 21:39:38,95972673,jimmieakesson,[],176,6,8,politics,statements
|
52 |
+
1245435645855662080,SAS meddelar att det inte bär sig ekonomiskt att bedriva inrikestrafik längre och att all flygtrafik kan komma att ställas in. BRA ställer in i två månader. Detta visar att människor tar smittan på allvar.,2020-04-01 21:39:31,95972673,jimmieakesson,[],410,13,24,transportation,disagreement
|
53 |
+
1245398836123774979,PS Lyssna på den här så känns allt lite bättre: https://t.co/s5fjMUnTDC,2020-04-01 19:13:15,95972673,jimmieakesson,['https://youtu.be/CYqG-8RP-JI'],597,31,40, music,praise
|
54 |
+
1245398798614085633,"Det är trots allt ditt jobb, att i varje situation hitta fel på såna som jag. Lena, vi tar oss genom detta tillsammans! När vi besegrat den här besten lovar jag att vara tillbaka med besked. Jag ska inte göra dig besviken.",2020-04-01 19:13:06,95972673,jimmieakesson,[],973,15,45, relationships,support
|
55 |
+
1245398669073006593,"Just nu har jag och övriga i oppositionen, av hänsyn till läget, sänkt konfliktnivån ganska mycket. Jag är säker på att du förstår, och jag är lika säker på att du istället hade skrivit en riktigt arg text om jag inte agerat på det sättet.",2020-04-01 19:12:35,95972673,jimmieakesson,[],690,5,45,politics,opposition
|
56 |
+
1245398534305861641,"Ännu är vi inte lika hårt drabbade av coronakrisen som ni där uppe, men som du vet är vi lite efter här på landet. Om du känner att detta brev inte riktigt stillar din oro, är du hjärtligt välkommen att höra av dig. Jag har alltid tid för dig.",2020-04-01 19:12:03,95972673,jimmieakesson,[],556,2,26, coronavirus,concern
|
57 |
+
1245398391707914240,"Lena, jag är medveten om att många inom ditt skrå är tämligen ointresserade av vad som sker utanför Stockholms tullar, men vi som bor här lever och frodas trots ert ointresse.",2020-04-01 19:11:29,95972673,jimmieakesson,[],637,3,31,politics,disagreement
|
58 |
+
1245398223616987145,"Att du, trots allt detta elände, ägnar mig en tanke är förstås smickrande, men just nu har vi faktiskt viktigare saker att bekymra oss om. Svaret på din fråga är: Sölvesborg.",2020-04-01 19:10:49,95972673,jimmieakesson,[],756,10,40,politics,sarcasm
|
59 |
+
1245398067911757824,"Kära Lena! Jag saknar dig också. Som du säkert har noterat (du nämner det själv i din text) befinner sig Sverige och världen i kris. Människor dör, sjukvårdssystem är överbelastade, företag slås i spillror och människor tvingas ut i arbetslöshet. https://t.co/ZnSlVhuEY8",2020-04-01 19:10:12,95972673,jimmieakesson,[],1939,93,226,covid-19,sorrow
|
textclassifier/TextClassifier.py
CHANGED
@@ -34,7 +34,7 @@ class TextClassifier:
|
|
34 |
# Make sure user_name is not empty
|
35 |
assert user_name is not None, "user_name cannot be empty"
|
36 |
# Make sure num_tweets is a positive integer
|
37 |
-
assert num_tweets
|
38 |
|
39 |
self.model_name = model_name
|
40 |
self.from_date = from_date
|
@@ -42,8 +42,13 @@ class TextClassifier:
|
|
42 |
self.num_tweets = num_tweets
|
43 |
self.user_name = user_name
|
44 |
self.ts = TwitterScraper.TwitterScraper(from_date, to_date, num_tweets)
|
45 |
-
|
46 |
-
|
|
|
|
|
|
|
|
|
|
|
47 |
# Make id as type int64
|
48 |
self.df['id'] = self.df['id'].copy().astype(int)
|
49 |
# self.api_key = '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'
|
@@ -311,5 +316,5 @@ class TextClassifier:
|
|
311 |
|
312 |
|
313 |
if __name__ == "__main__":
|
314 |
-
tc = TextClassifier(from_date="2020-
|
315 |
tc.run_main_pipeline()
|
|
|
34 |
# Make sure user_name is not empty
|
35 |
assert user_name is not None, "user_name cannot be empty"
|
36 |
# Make sure num_tweets is a positive integer
|
37 |
+
assert 0 < num_tweets <= 20, "num_tweets must be a positive integer and at most 20"
|
38 |
|
39 |
self.model_name = model_name
|
40 |
self.from_date = from_date
|
|
|
42 |
self.num_tweets = num_tweets
|
43 |
self.user_name = user_name
|
44 |
self.ts = TwitterScraper.TwitterScraper(from_date, to_date, num_tweets)
|
45 |
+
# Assure that scrape_by_user actually gets num_tweets
|
46 |
+
while True:
|
47 |
+
self.df = self.ts.scrape_by_user(user_name)
|
48 |
+
if len(self.df) >= num_tweets:
|
49 |
+
break
|
50 |
+
else:
|
51 |
+
continue
|
52 |
# Make id as type int64
|
53 |
self.df['id'] = self.df['id'].copy().astype(int)
|
54 |
# self.api_key = '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'
|
|
|
316 |
|
317 |
|
318 |
if __name__ == "__main__":
|
319 |
+
tc = TextClassifier(from_date="2020-03-10", to_date="2020-04-10", user_name='jimmieakesson', num_tweets=20)
|
320 |
tc.run_main_pipeline()
|