bsenst commited on
Commit
d874f49
·
1 Parent(s): 79b5694

complete structure clean up

Browse files
src/03_low_code/app_market_scraping.qmd ADDED
@@ -0,0 +1,12 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ title: "App Marktplatz analysieren"
3
+ description: "Informationen zu zahlreichen Apps abrufen und auswerten."
4
+ listing:
5
+ - id: app_market_scraping
6
+ contents: "app_market_scraping"
7
+ type: grid
8
+ ---
9
+
10
+ ::: {#app_market_scraping}
11
+ :::
12
+
src/03_low_code/catalogue.qmd ADDED
@@ -0,0 +1,11 @@
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ title: "Kataloge erfassen"
3
+ description: "Gezielt Informationen aus Datenstrukturen extrahieren."
4
+ listing:
5
+ - id: catalogue
6
+ contents: "catalogue"
7
+ type: grid
8
+ ---
9
+
10
+ ::: {#catalogue}
11
+ :::
src/03_low_code/video_transcripts.qmd ADDED
@@ -0,0 +1,11 @@
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ title: "Videotranskripte"
3
+ description: "Transkripte langer Videoinhalte erhalten und aufarbeiten."
4
+ listing:
5
+ - id: video_transcripts
6
+ contents: "video_transcripts"
7
+ type: grid
8
+ ---
9
+
10
+ ::: {#video_transcripts}
11
+ :::
src/03_low_code/video_transcripts/_0b1fd4bd-7f49-4655-bb32-462a52df7eba.jpeg ADDED
src/03_low_code/video_transcripts/_1001328a-6814-4c32-9ce2-782aeef96791.jpeg ADDED
src/03_low_code/video_transcripts/get_videos_for_youtube_channels.ipynb CHANGED
The diff for this file is too large to render. See raw diff
 
src/03_low_code/video_transcripts/youtube-transcript-extraction.ipynb CHANGED
@@ -1,5 +1,19 @@
1
  {
2
  "cells": [
 
 
 
 
 
 
 
 
 
 
 
 
 
 
3
  {
4
  "cell_type": "code",
5
  "execution_count": 1,
 
1
  {
2
  "cells": [
3
+ {
4
+ "cell_type": "markdown",
5
+ "metadata": {},
6
+ "source": [
7
+ "---\n",
8
+ "title: \"Videos für YouTube-Kanäle abrufen\"\n",
9
+ "description: \"Ein Tool zur Suche und Auflistung von Videos eines YouTube-Kanals basierend auf dem Kanalnamen, einschließlich der Anzeige von Videodetails und direkten Links.\"\n",
10
+ "author: \"Benjamin\"\n",
11
+ "date: \"2024-12-16\"\n",
12
+ "date-modified: \"2024-12-16\"\n",
13
+ "image: _0b1fd4bd-7f49-4655-bb32-462a52df7eba.jpeg\n",
14
+ "---"
15
+ ]
16
+ },
17
  {
18
  "cell_type": "code",
19
  "execution_count": 1,
src/04_use_case/forum/buergergeld_forum.ipynb CHANGED
The diff for this file is too large to render. See raw diff
 
src/04_use_case/jobs/Jobboerse_API.ipynb CHANGED
The diff for this file is too large to render. See raw diff
 
src/04_use_case/jobs/_f6a36d83-c0f2-4029-a621-0ccfc358b18a.jpeg ADDED
src/04_use_case/laws/Gesetze_im_Internet_Aktualitätendienst.ipynb CHANGED
@@ -1,5 +1,19 @@
1
  {
2
  "cells": [
 
 
 
 
 
 
 
 
 
 
 
 
 
 
3
  {
4
  "cell_type": "code",
5
  "execution_count": 36,
 
1
  {
2
  "cells": [
3
+ {
4
+ "cell_type": "markdown",
5
+ "metadata": {},
6
+ "source": [
7
+ "---\n",
8
+ "title: \"RSS-Feed-Analyse: Gesetze im Internet Aktualitätendienst\"\n",
9
+ "description: \"Ein Tool zur Extraktion und Analyse von RSS-Feeds des Aktualitätendienstes für Gesetze im Internet, einschließlich der Verarbeitung und Visualisierung der Daten.\"\n",
10
+ "author: \"Benjamin\"\n",
11
+ "date: \"2024-12-16\"\n",
12
+ "date-modified: \"2024-12-16\"\n",
13
+ "image: _d38cd4e9-1da8-4d7e-9bae-f01370cd2049.jpeg\n",
14
+ "---"
15
+ ]
16
+ },
17
  {
18
  "cell_type": "code",
19
  "execution_count": 36,
src/04_use_case/laws/_d38cd4e9-1da8-4d7e-9bae-f01370cd2049.jpeg ADDED
src/_quarto.yml CHANGED
@@ -21,86 +21,84 @@ website:
21
  - title: "Start"
22
  contents:
23
  - href: index.qmd
24
- text: "Willkommen"
25
- - href: 01_setup/agenda.qmd
26
- text: "Agenda 📅"
27
- - section: "Vorbereitung"
28
- href: 01_setup/vorbereitung.qmd
29
  contents:
30
- - href: 01_setup/erforderlich/google-konto.qmd
31
- text: "Google Konto erstellen"
32
- - href: 01_setup/erforderlich/colab.qmd
33
- text: "Colab nutzen"
34
- - href: 01_setup/erforderlich/huggingface.qmd
35
- text: "Huggingface Ressourcen"
36
- - section: "Optional"
37
- href: 01_setup/vorbereitung.html#optional
38
- contents:
39
- - href: 01_setup/optional/colab-github.qmd
40
- text: "Colab nach GitHub speichern"
41
- - href: 01_setup/optional/quarto-lokal.qmd
42
- text: "Quarto lokal"
 
 
 
 
 
43
  - title: "No Code"
44
  contents:
45
  - href: basics.qmd
46
- text: "No Code Übersicht"
47
- - section: "PDF"
48
- href: 02_basics/pdf.qmd
49
- contents:
50
- - href: 02_basics/pdf/pdf-link-extractor.qmd
51
- text: "PDF Link Extractor"
52
- - href: 02_basics/pdf/pdf-grouping.qmd
53
- text: "PDF Grouping"
54
- - section: "App Marketplace"
55
- href: 02_basics/app_market.qmd
56
  contents:
57
- - href: 02_basics/app_market/google-play-search.qmd
58
- text: "Google Play Search"
59
- - section: "Webspider"
60
- href: 02_basics/webspider.qmd
61
- contents:
62
- - href: 02_basics/webspider/website-url-extractor.qmd
63
- text: "URL Extractor"
64
- - href: 02_basics/webspider/webspider.qmd
65
- text: "Webspider"
 
 
 
 
 
 
 
 
 
 
66
  - title: "Low Code"
67
  contents:
68
- - href: low_code.qmd
69
- text: "Low Code Übersicht"
70
- - section: "Katalog"
71
- contents:
72
- - href: 03_low_code/catalogue/bookstoscrape.qmd
73
- text: "Bücherliste scrapen"
74
- - href: 03_low_code/catalogue/quotes_scraper.ipynb
75
- text: "Zitate scrapen"
76
- - section: "App Markt"
77
  contents:
78
- - href: 03_low_code/app_market_scraping/app_market_scraping.qmd
79
- text: "App Markt scrapen"
80
- - section: "Video Transkripte"
81
- contents:
82
- - href: 03_low_code/video_transcripts/social-media.qmd
83
- text: "Hinweise Scraping Social Media"
84
- - href: 03_low_code/video_transcripts/get_videos_for_youtube_channels.ipynb
85
- text: "YouTube Channel Videos"
86
- - href: 03_low_code/video_transcripts/youtube-transcript-extraction.ipynb
87
- text: "YouTube Video Transcripts"
 
 
 
 
 
 
 
 
88
  - title: "Use-Case"
89
  contents:
90
- - href: use_case.qmd
91
- text: "Anwendungsfall Übersicht"
92
- - section: "Gesetze"
93
- contents:
94
  - href: 04_use_case/laws/Gesetze_im_Internet_Aktualitätendienst.ipynb
95
  text: "Aktualitätendienst Gesetze"
96
- - section: "Jobs"
97
- contents:
98
  - href: 04_use_case/jobs/Jobboerse_API.ipynb
99
  text: "Jobbörse"
100
- - section: "Forum"
101
- contents:
102
- - href: 04_use_case/forum/buergergeld_forum.ipynb
103
- text: "Buergergeld Forum"
104
  - title: "Blog"
105
  contents:
106
  - href: blog.qmd
 
21
  - title: "Start"
22
  contents:
23
  - href: index.qmd
24
+ section: "Willkommen"
 
 
 
 
25
  contents:
26
+ - href: 01_setup/agenda.qmd
27
+ text: "Agenda 📅"
28
+ - section: "Vorbereitung"
29
+ href: 01_setup/vorbereitung.qmd
30
+ contents:
31
+ - href: 01_setup/erforderlich/google-konto.qmd
32
+ text: "Google Konto erstellen"
33
+ - href: 01_setup/erforderlich/colab.qmd
34
+ text: "Colab nutzen"
35
+ - href: 01_setup/erforderlich/huggingface.qmd
36
+ text: "Huggingface Ressourcen"
37
+ - section: "Optional"
38
+ href: 01_setup/vorbereitung.html#optional
39
+ contents:
40
+ - href: 01_setup/optional/colab-github.qmd
41
+ text: "Colab nach GitHub speichern"
42
+ - href: 01_setup/optional/quarto-lokal.qmd
43
+ text: "Quarto lokal"
44
  - title: "No Code"
45
  contents:
46
  - href: basics.qmd
47
+ section: "No Code Übersicht"
 
 
 
 
 
 
 
 
 
48
  contents:
49
+ - section: "PDF"
50
+ href: 02_basics/pdf.qmd
51
+ contents:
52
+ - href: 02_basics/pdf/pdf-link-extractor.qmd
53
+ text: "PDF Link Extractor"
54
+ - href: 02_basics/pdf/pdf-grouping.qmd
55
+ text: "PDF Grouping"
56
+ - section: "App Marketplace"
57
+ href: 02_basics/app_market.qmd
58
+ contents:
59
+ - href: 02_basics/app_market/google-play-search.qmd
60
+ text: "Google Play Search"
61
+ - section: "Webspider"
62
+ href: 02_basics/webspider.qmd
63
+ contents:
64
+ - href: 02_basics/webspider/website-url-extractor.qmd
65
+ text: "URL Extractor"
66
+ - href: 02_basics/webspider/webspider.qmd
67
+ text: "Webspider"
68
  - title: "Low Code"
69
  contents:
70
+ - section: "Low Code Übersicht"
71
+ href: low_code.qmd
 
 
 
 
 
 
 
72
  contents:
73
+ - section: "Kataloge erfassen"
74
+ href: 03_low_code/catalogue.qmd
75
+ contents:
76
+ - href: 03_low_code/catalogue/bookstoscrape.qmd
77
+ text: "Bücherliste scrapen"
78
+ - href: 03_low_code/catalogue/quotes_scraper.ipynb
79
+ text: "Zitate scrapen"
80
+ - href: 03_low_code/app_market_scraping/app_market_scraping.qmd
81
+ text: "App Markt analysieren"
82
+ - section: "Video Transkripte"
83
+ href: 03_low_code/video_transcripts.qmd
84
+ contents:
85
+ - href: 03_low_code/video_transcripts/social-media.qmd
86
+ text: "Hinweise Scraping Social Media"
87
+ - href: 03_low_code/video_transcripts/get_videos_for_youtube_channels.ipynb
88
+ text: "YouTube Channel Videos"
89
+ - href: 03_low_code/video_transcripts/youtube-transcript-extraction.ipynb
90
+ text: "YouTube Video Transcripts"
91
  - title: "Use-Case"
92
  contents:
93
+ - section: "Anwendungsfall Übersicht"
94
+ href: use_case.qmd
95
+ contents:
 
96
  - href: 04_use_case/laws/Gesetze_im_Internet_Aktualitätendienst.ipynb
97
  text: "Aktualitätendienst Gesetze"
 
 
98
  - href: 04_use_case/jobs/Jobboerse_API.ipynb
99
  text: "Jobbörse"
100
+ - href: 04_use_case/forum/buergergeld_forum.ipynb
101
+ text: "Buergergeld Forum"
 
 
102
  - title: "Blog"
103
  contents:
104
  - href: blog.qmd
src/low_code.qmd CHANGED
@@ -1,22 +1,14 @@
1
  ---
2
- title: "Low Code Übersicht"
3
  listing:
4
- - id: catalogue
5
- contents: "03_low_code/catalogue"
6
- type: grid
7
- - id: app_market_scraping
8
- contents: "03_low_code/app_market_scraping"
9
- type: grid
10
- - id: video_transcripts
11
- contents: "03_low_code/video_transcripts"
12
  type: grid
13
  ---
14
 
15
- ::: {#catalogue}
16
- :::
 
17
 
18
- ::: {#app_market_scraping}
19
- :::
20
 
21
- ::: {#video_transcripts}
22
- :::
 
1
  ---
 
2
  listing:
3
+ - id: low_code
4
+ contents: ["03_low_code/catalogue.qmd","03_low_code/app_market_scraping.qmd","03_low_code/video_transcripts.qmd"]
 
 
 
 
 
 
5
  type: grid
6
  ---
7
 
8
+ ## Lernziele
9
+
10
+ **Extraktion von Buchdaten von der Website "Books to Scrape" mit Python und BeautifulSoup**: Praktische Übung im Web-Scraping, um das gezielte extrahieren aus Datenstrukturen zu verstehen.
11
 
12
+ **Scraping von App-Marktdaten**: Erstellen einer Übersicht über den App-Marktplatz, um Apps zu identifizieren, die für die Arbeit von Non-Profit-Organisationen und zivilgesellschaftlichen Akteuren nützlich sein können.
 
13
 
14
+ **Extraktion von YouTube-Transkripten und deren Speicherung als PDF-Dateien**: Lernen, wie man Transkripte von Bildungs- und Informationsvideos extrahiert, um diese Inhalte leichter zugänglich und weiterverwendbar für Bildungsarbeit, Advocacy und Sensibilisierungsmaßnahmen zu machen.
 
src/use_case.qmd CHANGED
@@ -1,22 +1,29 @@
1
  ---
2
- title: "Anwendungsfall Übersicht"
3
  listing:
4
- - id: laws
5
- contents: "04_use_case/laws"
6
- type: grid
7
- - id: jobs
8
- contents: "04_use_case/jobs"
9
- type: grid
10
- - id: forum
11
- contents: "04_use_case/forum"
12
  type: grid
13
  ---
14
 
15
- ::: {#laws}
16
- :::
17
 
18
- ::: {#jobs}
19
- :::
 
 
 
20
 
21
- ::: {#forum}
22
- :::
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
 
2
  listing:
3
+ - id: use_case
4
+ contents: "04_use_case"
 
 
 
 
 
 
5
  type: grid
6
  ---
7
 
8
+ ## Lernziele
 
9
 
10
+ **Web Scraping von Foren**
11
+
12
+ * Herunterladen und Speichern von HTML-Seiten eines Forums.
13
+ * Extraktion und Analyse von Forenbeiträgen und Metadaten.
14
+ * Verarbeitung und Bereinigung der extrahierten Daten mit Pandas.
15
 
16
+ **Nutzung der Jobbörse API**
17
+
18
+ * Abrufen von Jobangeboten über die Jobbörse API.
19
+ * Verarbeitung und Analyse der abgerufenen Daten mit Pandas.
20
+ * Visualisierung der Daten und Erstellung von * Häufigkeitsverteilungen.
21
+
22
+ **RSS-Feed-Analyse**
23
+
24
+ * Abrufen und Parsen von RSS-Feeds mit feedparser.
25
+ * Umwandlung der Feed-Daten in ein Pandas DataFrame.
26
+ * Analyse und Visualisierung der Feed-Daten.
27
+
28
+ ::: {#use_case}
29
+ :::