Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03172.jsonl.gz/1629

Heute eine praktische Funktion, die nicht nur für Designer und Werber, sondern für jeden Mac-Nutzer von grossem Nutzen sein kann. Stellt euch vor, ihr stöbert im Internet und entdeckt eine Webseite, die euch so fasziniert, dass ihr sie gerne offline durchstöbern möchtet (oder auch anderes damit anstellen). Ob aus Gründen der Recherche, Archivierung oder einfach, um eine zuverlässige Kopie für den Offline-Zugriff zu haben, das Herunterladen von Webseiten kann äusserst hilfreich sein.
Die Lösung: «wget» im Terminal
Wir verwenden dazu das Terminal auf unserem Mac und das Werkzeug namens «wget».
Schritt 1: Terminal öffnen Öffnet das Terminal auf eurem Mac. Ihr findet es in den Dienstprogrammen unter «Programme» oder könnt einfach danach suchen.
Schritt 2: «wget»-Befehl verwenden Nutzt den «wget»-Befehl, um die gewünschte Webseite herunterzuladen. Hier ist ein grundlegender Befehl:
wget --mirror --convert-links --adjust-extension --page-requisites --no-parenthttps://www.DeineWebsite.ch
Ersetzt «https://www.DeineWebsite.ch» durch die URL der Webseite, die ihr herunterladen möchtet.
Optionen
--mirror: Diese Option spiegelt die Webseite wider, was bedeutet, dass sie alle Dateien und Verzeichnisse auf der Webseite einschließlich Unterseiten herunterlädt. Sie stellt sicher, dass die lokale Kopie der Webseite die gleiche Struktur wie die Originalwebseite hat.
--convert-links: Mit dieser Option werden die Links auf der heruntergeladenen Webseite so umgewandelt, dass sie auf die lokal gespeicherten Dateien verweisen. Dies ist wichtig, damit alle internen Verknüpfungen auf der gespiegelten Webseite ordnungsgemäß funktionieren.
--adjust-extension: Wenn diese Option aktiviert ist, fügt «wget» Dateiendungen hinzu, die auf der Originalwebseite möglicherweise fehlen. Dies ist nützlich, um sicherzustellen, dass Dateien korrekt referenziert werden und richtig angezeigt werden.
--page-requisites: Diese Option lädt alle erforderlichen Ressourcen wie Bilder, Stylesheets und Skripte herunter, die auf der Webseite verwendet werden. Dadurch wird sichergestellt, dass die lokal gespeicherte Webseite vollständig und funktionsfähig ist.
--no-parent: Mit dieser Option verhindert «wget», dass es Verzeichnisse über die Startseite der heruntergeladenen Webseite hinaus durchsucht. Dies ist hilfreich, um das Herunterladen von unerwünschten Inhalten zu verhindern.
Schritt 3: Warten und Nutzen «wget» wird die gesamte Webseite inklusive aller Unterseiten, herunterladen und im aktuellen Arbeitsverzeichnis speichern. Nach Abschluss des Vorgangs könnt ihr das heruntergeladene Verzeichnis im Finder öffnen und die Webseite lokal nutzen.
Neben den bereits erklärten Optionen gibt es noch viele weitere nützliche Argumente und Optionen, die mit dem «wget»-Befehl verwendet werden können. Hier sind einige davon:
-P oder
--directory-prefix: Mit dieser Option könnt ihr festlegen, in welchem Verzeichnis die heruntergeladenen Dateien gespeichert werden sollen. Zum Beispiel:
wget -P /pfad/zum/zielverzeichnis https://www.deinewebsite.ch.
-r oder
--recursive: Ermöglicht das rekursive Herunterladen von Unterseiten, sodass «wget» die gesamte Webseite und deren Hierarchie herunterlädt.
-np oder
--no-parent: Verhindert das Herunterladen von Verzeichnissen außerhalb des angegebenen Verzeichnisses.
-nc oder
--no-clobber: Sorgt dafür, dass bereits existierende Dateien nicht überschrieben werden. Nützlich, um bereits heruntergeladene Dateien zu schützen.
-N oder
--timestamping: Lädt Dateien nur dann erneut herunter, wenn sie auf der Webseite aktualisiert wurden. Spart Bandbreite und Zeit.
--limit-rate: Begrenzt die Download-Geschwindigkeit in Kilobyte pro Sekunde. Nützlich, um die Bandbreite zu schonen oder das Herunterladen im Hintergrund laufen zu lassen, ohne die Internetverbindung zu überlasten.
--user-agent: Mit dieser Option könnt ihr einen benutzerdefinierten User-Agent festlegen, um die Webseite vorzutäuschen, dass ihr ein bestimmter Browser seid. Dies kann hilfreich sein, um Zugriff auf bestimmte Inhalte zu erhalten.
-i oder
--input-file: Ermöglicht das Herunterladen von URLs aus einer Textdatei, wodurch ihr eine Liste von Websites herunterladen könnt, ohne sie manuell einzugeben.
--spider: Dieser Modus überprüft die Verfügbarkeit von Dateien, ohne sie tatsächlich herunterzuladen. Nützlich, um zu überprüfen, ob bestimmte Ressourcen auf einer Webseite existieren.
--quiet oder
-q: Reduziert die Ausgabe auf das Terminal, um den Download-Vorgang weniger aufdringlich zu machen.
Denkt daran, sicherzustellen, dass ihr das Recht habt, die Webseite herunterzuladen, bevor ihr diesen Vorgang durchführt.