i_just_added_username_column_in_the_output

twitter-scraper/scrape.py

@@ -26,7 +26,7 @@ class scraper:
         self.conf.Search = _string
         return self.__get_tweets_from_twint__()
 
-    def scrape_by_user_and_string(self,_user:str,_string:str):        
+    def scrape_by_user_and_string(self,_user:str,_string:str):       
         self.conf.Username = _user
         self.conf.Search = _string 
         return self.__get_tweets_from_twint__()
@@ -65,7 +65,7 @@ class scraper:
         self.conf.Hide_output = True
         twint.run.Search(self.conf)    
         tweet_info =twint.output.panda.Tweets_df
-        tweet_info = tweet_info[["id","tweet","date","user_id","urls" ,'nlikes', 'nreplies', 'nretweets']]
+        tweet_info = tweet_info[["id","tweet","date","user_id","username","urls" ,'nlikes', 'nreplies', 'nretweets']]
         df = scraper.__get_only_tweets(tweet_info)
         return df
     def __check_date_type(d1,d2):

twitter-scraper/twitter_scraper.ipynb

@@ -10,7 +10,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 1,
+   "execution_count": 2,
    "id": "c9021300",
    "metadata": {
     "scrolled": true
@@ -18,7 +18,8 @@
    "outputs": [],
    "source": [
     "%%capture \n",
-    "!pip3 install Twint \n"
+    "!pip3 install Twint \n",
+    "\n"
    ]
   },
   {
@@ -31,7 +32,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 2,
+   "execution_count": 3,
    "id": "1413ab2b",
    "metadata": {},
    "outputs": [],
@@ -47,7 +48,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 6,
+   "execution_count": 4,
    "id": "d38514f3",
    "metadata": {},
    "outputs": [],
@@ -58,7 +59,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 8,
+   "execution_count": 5,
    "id": "d37e5cbf",
    "metadata": {},
    "outputs": [
@@ -94,6 +95,7 @@
        "      <th>tweet</th>\n",
        "      <th>date</th>\n",
        "      <th>user_id</th>\n",
+       "      <th>username</th>\n",
        "      <th>urls</th>\n",
        "      <th>nlikes</th>\n",
        "      <th>nreplies</th>\n",
@@ -107,6 +109,7 @@
        "      <td>wAllah comme si on avais pas d’autre choses j’...</td>\n",
        "      <td>2022-06-22 01:45:08</td>\n",
        "      <td>1202681666487115776</td>\n",
+       "      <td>svwssen</td>\n",
        "      <td>[]</td>\n",
        "      <td>3</td>\n",
        "      <td>0</td>\n",
@@ -118,6 +121,7 @@
        "      <td>Şev baş temaşevanen heja  https://t.co/aqw5vNPLFr</td>\n",
        "      <td>2022-06-22 01:18:22</td>\n",
        "      <td>743954955220979713</td>\n",
+       "      <td>coolnikoff</td>\n",
        "      <td>[https://youtu.be/n_vYzgRBFUI]</td>\n",
        "      <td>0</td>\n",
        "      <td>0</td>\n",
@@ -129,6 +133,7 @@
        "      <td>Heja!＝頑張れ！</td>\n",
        "      <td>2022-06-22 01:13:27</td>\n",
        "      <td>176860217</td>\n",
+       "      <td>swedish_bot</td>\n",
        "      <td>[]</td>\n",
        "      <td>0</td>\n",
        "      <td>0</td>\n",
@@ -140,6 +145,7 @@
        "      <td>skończyłam po 15h naukę na dziś ❤️😋 wrócę po u...</td>\n",
        "      <td>2022-06-22 00:46:02</td>\n",
        "      <td>840668853948559360</td>\n",
+       "      <td>kiniazimmer</td>\n",
        "      <td>[]</td>\n",
        "      <td>0</td>\n",
        "      <td>0</td>\n",
@@ -151,6 +157,7 @@
        "      <td>je suis en train de siroter mon candy up frche...</td>\n",
        "      <td>2022-06-22 00:40:38</td>\n",
        "      <td>980874157998137345</td>\n",
+       "      <td>__ajal</td>\n",
        "      <td>[]</td>\n",
        "      <td>3</td>\n",
        "      <td>0</td>\n",
@@ -168,22 +175,22 @@
        "9   1539379141597925377  skończyłam po 15h naukę na dziś ❤️😋 wrócę po u...   \n",
        "10  1539377784707026945  je suis en train de siroter mon candy up frche...   \n",
        "\n",
-       "                   date              user_id                            urls  \\\n",
-       "0   2022-06-22 01:45:08  1202681666487115776                              []   \n",
-       "5   2022-06-22 01:18:22   743954955220979713  [https://youtu.be/n_vYzgRBFUI]   \n",
-       "7   2022-06-22 01:13:27            176860217                              []   \n",
-       "9   2022-06-22 00:46:02   840668853948559360                              []   \n",
-       "10  2022-06-22 00:40:38   980874157998137345                              []   \n",
+       "                   date              user_id     username  \\\n",
+       "0   2022-06-22 01:45:08  1202681666487115776      svwssen   \n",
+       "5   2022-06-22 01:18:22   743954955220979713   coolnikoff   \n",
+       "7   2022-06-22 01:13:27            176860217  swedish_bot   \n",
+       "9   2022-06-22 00:46:02   840668853948559360  kiniazimmer   \n",
+       "10  2022-06-22 00:40:38   980874157998137345       __ajal   \n",
        "\n",
-       "    nlikes  nreplies  nretweets  \n",
-       "0        3         0          0  \n",
-       "5        0         0          0  \n",
-       "7        0         0          0  \n",
-       "9        0         0          0  \n",
-       "10       3         0          0  "
+       "                              urls  nlikes  nreplies  nretweets  \n",
+       "0                               []       3         0          0  \n",
+       "5   [https://youtu.be/n_vYzgRBFUI]       0         0          0  \n",
+       "7                               []       0         0          0  \n",
+       "9                               []       0         0          0  \n",
+       "10                              []       3         0          0  "
       ]
      },
-     "execution_count": 8,
+     "execution_count": 5,
      "metadata": {},
      "output_type": "execute_result"
     }
@@ -195,7 +202,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 11,
+   "execution_count": 6,
    "id": "a7912a91",
    "metadata": {},
    "outputs": [
@@ -231,6 +238,7 @@
        "      <th>tweet</th>\n",
        "      <th>date</th>\n",
        "      <th>user_id</th>\n",
+       "      <th>username</th>\n",
        "      <th>urls</th>\n",
        "      <th>nlikes</th>\n",
        "      <th>nreplies</th>\n",
@@ -244,6 +252,7 @@
        "      <td>Man kan ha synpunkter på en sådan lösning, men...</td>\n",
        "      <td>2022-06-17 14:15:32</td>\n",
        "      <td>95972673</td>\n",
+       "      <td>jimmieakesson</td>\n",
        "      <td>[]</td>\n",
        "      <td>692</td>\n",
        "      <td>17</td>\n",
@@ -255,6 +264,7 @@
        "      <td>Är det ont om plats på anstalterna så får man ...</td>\n",
        "      <td>2022-06-17 14:15:05</td>\n",
        "      <td>95972673</td>\n",
+       "      <td>jimmieakesson</td>\n",
        "      <td>[]</td>\n",
        "      <td>809</td>\n",
        "      <td>26</td>\n",
@@ -266,6 +276,7 @@
        "      <td>Döms man för brott, särskilt våldsbrott, ska m...</td>\n",
        "      <td>2022-06-17 14:14:43</td>\n",
        "      <td>95972673</td>\n",
+       "      <td>jimmieakesson</td>\n",
        "      <td>[]</td>\n",
        "      <td>1020</td>\n",
        "      <td>26</td>\n",
@@ -277,6 +288,7 @@
        "      <td>Platsbrist? Jaha, vad spelar det för roll?   D...</td>\n",
        "      <td>2022-06-17 14:14:29</td>\n",
        "      <td>95972673</td>\n",
+       "      <td>jimmieakesson</td>\n",
        "      <td>[https://sverigesradio.se/artikel/domda-kvinno...</td>\n",
        "      <td>1152</td>\n",
        "      <td>85</td>\n",
@@ -288,6 +300,7 @@
        "      <td>Det är ytterst beklagligt att Magdalena Anders...</td>\n",
        "      <td>2022-06-07 19:46:35</td>\n",
        "      <td>95972673</td>\n",
+       "      <td>jimmieakesson</td>\n",
        "      <td>[]</td>\n",
        "      <td>6121</td>\n",
        "      <td>546</td>\n",
@@ -305,12 +318,12 @@
        "4  1537770657823576066  Platsbrist? Jaha, vad spelar det för roll?   D...   \n",
        "5  1534230353094885383  Det är ytterst beklagligt att Magdalena Anders...   \n",
        "\n",
-       "                  date   user_id  \\\n",
-       "1  2022-06-17 14:15:32  95972673   \n",
-       "2  2022-06-17 14:15:05  95972673   \n",
-       "3  2022-06-17 14:14:43  95972673   \n",
-       "4  2022-06-17 14:14:29  95972673   \n",
-       "5  2022-06-07 19:46:35  95972673   \n",
+       "                  date   user_id       username  \\\n",
+       "1  2022-06-17 14:15:32  95972673  jimmieakesson   \n",
+       "2  2022-06-17 14:15:05  95972673  jimmieakesson   \n",
+       "3  2022-06-17 14:14:43  95972673  jimmieakesson   \n",
+       "4  2022-06-17 14:14:29  95972673  jimmieakesson   \n",
+       "5  2022-06-07 19:46:35  95972673  jimmieakesson   \n",
        "\n",
        "                                                urls  nlikes  nreplies  \\\n",
        "1                                                 []     692        17   \n",
@@ -327,7 +340,7 @@
        "5        557  "
       ]
      },
-     "execution_count": 11,
+     "execution_count": 6,
      "metadata": {},
      "output_type": "execute_result"
     }
@@ -339,7 +352,7 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 12,
+   "execution_count": 7,
    "id": "7db69757",
    "metadata": {},
    "outputs": [
@@ -377,6 +390,7 @@
        "      <th>tweet</th>\n",
        "      <th>date</th>\n",
        "      <th>user_id</th>\n",
+       "      <th>username</th>\n",
        "      <th>urls</th>\n",
        "      <th>nlikes</th>\n",
        "      <th>nreplies</th>\n",
@@ -390,6 +404,7 @@
        "      <td>Utan massiv, asylrelaterad invandring från frä...</td>\n",
        "      <td>2021-02-20 11:07:50</td>\n",
        "      <td>95972673</td>\n",
+       "      <td>jimmieakesson</td>\n",
        "      <td>[]</td>\n",
        "      <td>1277</td>\n",
        "      <td>22</td>\n",
@@ -401,6 +416,7 @@
        "      <td>Många vänsterliberaler tycks ha reagerat på de...</td>\n",
        "      <td>2021-02-20 11:06:58</td>\n",
        "      <td>95972673</td>\n",
+       "      <td>jimmieakesson</td>\n",
        "      <td>[]</td>\n",
        "      <td>626</td>\n",
        "      <td>9</td>\n",
@@ -412,6 +428,7 @@
        "      <td>Jag förstår — uppriktigt — inte den närmast hy...</td>\n",
        "      <td>2021-02-20 11:06:45</td>\n",
        "      <td>95972673</td>\n",
+       "      <td>jimmieakesson</td>\n",
        "      <td>[]</td>\n",
        "      <td>2459</td>\n",
        "      <td>199</td>\n",
@@ -423,6 +440,7 @@
        "      <td>Invandring av hundratusentals människor från f...</td>\n",
        "      <td>2021-02-19 14:00:01</td>\n",
        "      <td>95972673</td>\n",
+       "      <td>jimmieakesson</td>\n",
        "      <td>[]</td>\n",
        "      <td>1334</td>\n",
        "      <td>55</td>\n",
@@ -434,6 +452,7 @@
        "      <td>Vårt land behöver ett totalstopp för all asyl-...</td>\n",
        "      <td>2021-02-18 15:31:53</td>\n",
        "      <td>95972673</td>\n",
+       "      <td>jimmieakesson</td>\n",
        "      <td>[]</td>\n",
        "      <td>3044</td>\n",
        "      <td>268</td>\n",
@@ -451,15 +470,22 @@
        "3  1362748777552113670  Invandring av hundratusentals människor från f...   \n",
        "4  1362409505557012490  Vårt land behöver ett totalstopp för all asyl-...   \n",
        "\n",
-       "                  date   user_id urls  nlikes  nreplies  nretweets  \n",
-       "0  2021-02-20 11:07:50  95972673   []    1277        22        105  \n",
-       "1  2021-02-20 11:06:58  95972673   []     626         9         68  \n",
-       "2  2021-02-20 11:06:45  95972673   []    2459       199        336  \n",
-       "3  2021-02-19 14:00:01  95972673   []    1334        55        101  \n",
-       "4  2021-02-18 15:31:53  95972673   []    3044       268        404  "
+       "                  date   user_id       username urls  nlikes  nreplies  \\\n",
+       "0  2021-02-20 11:07:50  95972673  jimmieakesson   []    1277        22   \n",
+       "1  2021-02-20 11:06:58  95972673  jimmieakesson   []     626         9   \n",
+       "2  2021-02-20 11:06:45  95972673  jimmieakesson   []    2459       199   \n",
+       "3  2021-02-19 14:00:01  95972673  jimmieakesson   []    1334        55   \n",
+       "4  2021-02-18 15:31:53  95972673  jimmieakesson   []    3044       268   \n",
+       "\n",
+       "   nretweets  \n",
+       "0        105  \n",
+       "1         68  \n",
+       "2        336  \n",
+       "3        101  \n",
+       "4        404  "
       ]
      },
-     "execution_count": 12,
+     "execution_count": 7,
      "metadata": {},
      "output_type": "execute_result"
     }
@@ -471,16 +497,58 @@
   },
   {
    "cell_type": "code",
-   "execution_count": null,
+   "execution_count": 8,
    "id": "48d50b46",
    "metadata": {},
-   "outputs": [],
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "Utan massiv, asylrelaterad invandring från främmande länder, varifrån dessa kulturfenomen härstammar, hade förekomsten i Sverige varit ytterst begränsad (för att inte säga obefintlig).  Jag har, tydligt och utan floskler, stått upp för denna hållning under hela mitt politiska liv \n",
+      " __________________________________________________________\n",
+      "Många vänsterliberaler tycks ha reagerat på detta med \"invandring som innebär social, ekonomisk och kulturell belastning\" och då särskilt hakat upp sig på \"kulturell\". Låt mig därför ge några exempel: \n",
+      " __________________________________________________________\n",
+      "Jag förstår — uppriktigt — inte den närmast hysteriska reaktion som mitt uttalande igår om invandring gett upphov till. Jag måste ha sagt samma sak minst tusen gånger, och det var länge sedan det skapade någon vidare debatt.  https://t.co/zDLdpu6HSU \n",
+      " __________________________________________________________\n",
+      "Invandring av hundratusentals människor från främmande kulturer med helt andra grundläggande normer och värderingar än de som byggt vårt svenska samhälle blir — ställt utom allt tvivel — en belastning ekonomiskt, socialt OCH kulturellt. \n",
+      " __________________________________________________________\n",
+      "Vårt land behöver ett totalstopp för all asyl- och anhöriginvandring, inklusive kvotflyktingar.  Sverige behöver ett totalstopp, för all invandring som utgör en social, kulturell eller ekonomisk belastning och ett moratorium för mottagande av kvotflyktingar. \n",
+      " __________________________________________________________\n",
+      "En afghanamnesti urholkar både tryggheten och välfärden.   Vänsterliberalerna och socialdemokraterna prioriterar alltid invandring före välfärd och trygghet.   Därför måste de bytas ut.  #svpol  https://t.co/l0wiRrbs12 \n",
+      " __________________________________________________________\n",
+      "Det spelar ingen roll att Stefan Löfven och Socialdemokraterna talar om att Sverige ska ha en reglerad invandring på ”EU:s miniminivå”. Det är bara tomma ord, en dålig bluff.    https://t.co/sYBGoVK4ev \n",
+      " __________________________________________________________\n",
+      "- Nu är man på väg att ännu en gång upprepa samma haveri. Man har uppenbarligen inte lärt sig nånting.  - Sverige behöver avsevärt mindre asylrelaterad invandring, inte mer. Där är både verkligheten och opinionen tydlig. \n",
+      " __________________________________________________________\n",
+      "Hans desperata försök att förminska, att flytta över skulden till allt annat än invandring, går som en röd tråd i hans argumentation. Den genomsyrar hela hans tankevärld. \n",
+      " __________________________________________________________\n",
+      "Det senaste decenniet har Sveriges befolkning ökat med nära en miljon människor. Nu kan dock 80 % av tillväxten tillskrivas invandring, varav den absolut största delen från länder som är historiskt, kulturellt och värderingsmässigt avlägsna från Sverige.  https://t.co/ZJd2zA41m4 \n",
+      " __________________________________________________________\n",
+      "M, KD och V har kommit överens om arbetskraftsinvandringen. Förslagen verkar rimliga, men tyvärr lyckas man inte komma överens om skarpa förslag som stoppar fortsatt invandring av okvalificerad arbetskraft.  https://t.co/oXqxhQDP5R \n",
+      " __________________________________________________________\n",
+      "Invandring av högkvalificerad arbetskraft är bra för Sverige, men vi behöver inte fler städare och diskplockare från andra länder. \n",
+      " __________________________________________________________\n",
+      "5. SD:s syn på arbetsinvandring är, till skillnad från din, praktisk och pragmatisk. Om det uppstår tillfällig arbetsbrist kan luckor behöva fyllas med kompetens utifrån. Behovet avgör. Arbetsinvandring är dock något helt annan än asylrelaterad invandring. \n",
+      " __________________________________________________________\n",
+      "Nej, vi släpper inga krav om invandring. Däremot är jag öppen för samtal om annat om S/M är rädda för att prata om massinvandringen. \n",
+      " __________________________________________________________\n"
+     ]
+    }
+   ],
    "source": [
-    "tweets= _data.keys()\n",
-    "for i in tweets:\n",
-    "    _data[i][\"tweet\"]\n",
-    "    print(_data[i][\"tweet\"], \"\\n\", \"__________________________________________________________\")"
+    "tweets= df[\"tweet\"]\n",
+    "for tweet in tweets:\n",
+    "    print(tweet, \"\\n\", \"__________________________________________________________\")"
    ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "530c26e2",
+   "metadata": {},
+   "outputs": [],
+   "source": []
   }
  ],
  "metadata": {