Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03161.jsonl.gz/2303

Fr, 1. Oktober 2021, Ralf Hersel
GNU Wget2 ist ein Kommandozeilenprogramm zum nicht-interaktiven Herunterladen von Dateien aus dem Internet. Es wurde mehr als drei Jahre lang entwickelt. GNU Wget2 unterstützt HTTP- und HTTPS-Protokolle sowie den Abruf über HTTP(S)-Proxys. Es ist eine komplette Neufassung (wget2 + libwget) und ist lizenziert unter GPLv3+.
Wget2 ist nicht-interaktiv, was bedeutet, dass es im Hintergrund arbeiten kann, während der Benutzer nicht angemeldet ist. Im Vergleich zu Wget hat GNU Wget2 viele Verbesserungen erfahren. Es verfügt über Funktionen wie Multi-Threading, Komprimierung (gzip, bzip2, lzma/xz), HTTP/2, parst XML-Sitemaps + RSS/Atom-Feeds, TCP Fast Open, OCSP (Stapling), mehrere Proxies, usw.
Darüber hinaus lädt GNU Wget2 in vielen Fällen viel schneller herunter als Wget1.x aufgrund von HTTP2, HTTP-Kompression, parallelen Verbindungen und der Verwendung des "If-Modified-Since HTTP"-Headers. GNU Wget2 kann Links in HTML-, XHTML-, CSS-, RSS-, Atom- und Sitemap-Dateien folgen, um lokale Versionen von entfernten Websites zu erstellen, wobei die Verzeichnisstruktur der Originalseite vollständig beibehalten wird.
GNU Wget2 wurde so entwickelt, dass es auch bei langsamen oder instabilen Netzwerkverbindungen stabil arbeitet. Ein fehlgeschlagener Download wird so lange wiederholt, bis die gesamte Datei abgerufen wurde. Wenn der Server partielle Downloads unterstützt, kann der Download ausserdem an der Stelle fortgesetzt werden, an der er unterbrochen wurde. Weitere Informationen findet ihr auf der Projektseite:
Quelle: https://gitlab.com/gnuwget/wget2