Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03117.jsonl.gz/1641

KI - Praktikum fertigstellen
Last edited: 22 m ago
Cluster the song lyrics into the numer of genres or artists. Do the clusters correspond to the genres/artists? (kMeans)
Wir haben nachdem einlesen der lyricsund dem Vectorisieren, diese mit dem KMeans Algorithmus geclustert. Im ersten Versuch haben wir 10 cluster erstellt, da es auch 10 genres gibt. Dies klappte auch ziemlich gut wie man im File k-means.10_genres.csv erkennen kann.
Cluster 1 könnte bspw. sehr gut dem Genre Hip-Hop entsprechen.
Cluster 1;nigga;niggas;like;shit;got;fuck;know;don;ain;just;bitch;cause;ya;niggaz;ass;yeah;em;fuckin;yo;gon;let;ll;make;want;money;man;time;love;bitches;come
In einem zweiten Versuch haben wir 100 clusters erstellt, da 100 artist. Hier lässt sich allerdings verständlicherweise nicht gleich einen bestimmtes Muster erkennen. Bei einer Sortierung der ersten Spalte ist aber ersichtlich das bspw. das Wort love ziemlich oft vorkommt und dies auf die ca. 10 pop Artist hinweisen könnte.
Generate a dendrogram of the songs. Do songs from the same genre/artists appear in the same branches? Do higher level nodes group similar artists/genres as their children? (hierarchical clustering)
Ja im Dendrogramm werden 5 Clusters gebildet. Hier zeigt sich vor allem Hip-Hop sehr genau in einem eigenen Cluster. Country bleibt auch gut zusammen, allerdings teilt sich das Genre den Cluster Generes wie Jazz, Pop, Rock und R&B. Generel sieht man bei den anderen Genrres, dass sie sich durch alle übrigen Clusters ziehen.
What are the most distinct terms within a genre or per artist? (TF IDF)
Im Genere Hip-Hop, sowie bei den Hip-Hop Artists kommen sehr oft Wörter wie: Bitch, Nigga, Gangsta, Holla und Fuck vor.
Create a 2D plot that shows the similarity of the artists/genres. (PCA)
Wir sind zuerst nach den Hands-On-Task vorgegangen. Leider stand dort immer, dass man mit dem StandardScaler die Daten standartisieren solle. Dies hat bei uns zu ganz komischen Plots geführt, in welchen wir extreme Ausreisser hatten. Als wir das Standartisieren wegliesen kammen wir dann zu besseren Ergebnissen, in welchen die Genres Hip-Hop und Country die meisten Ähnlichkeiten aufweisten. Bei den anderen Genres gab es eine grössere Streuung, wodurch man nicht viel aus dem Plot herauslesen konnte.