Λίγο καιρό μετά το περιστατικό αυτό, τον Αύγουστο του 1939, ο φον ντερ Γκολτς κλήθηκε να υπηρετήσει στη Βέρμαχτ, καθώς οι Γερμανοί προετοιμάζονταν πυρετωδώς για την εισβολή στην Πολωνία. Ο φον ντερ Γκολτς προήχθη σε λοχαγό εν εφεδρεία και τοποθετήθηκε στο 7ο Σύνταγμα Πεζικού. Με το σύνταγμα αυτό έλαβε μέρος στην Πολωνική εκστρατεία και την Εισβολή στη Γαλλία. Στα τέλη του 1940 ανέλαβε χρέη διοικητή του 1ου Τάγματος του 15ου Συντάγματος Πεζικού. Κατά την Γερμανική εισβολή στη Σοβιετική Ένωση, ο φον ντερ Γκολτς πολέμησε με το σύνταγμα αυτό στην Ουκρανία, ως μέρος της Ομάδας Στρατιών Νότου ("Heeresgruppe Sud"). Τον βαρύ χειμώνα του 1941-1942 ο φον ντερ Γκολτς επέδειξε εξαιρετικές επιδόσεις στη διοίκηση και ως εκ τούτου του απονεμήθηκε το παράσημο του Σταυρού των Ιπποτών του Σιδηρού Σταυρού ("Ritterkreuz des Eisernes Kreuzes") στις 7 Μαΐου 1942.