Την 1η Αυγούστου μεταφέρθηκε στη νεοσυσταθείσα 12η μεραρχία Πάντσερ Νεολαία του Χίτλερ των Ες-Ες και επιφορτίστηκε με την εκπαίδευση 2 νεαρών αξιωματικών. Τέσσερις μήνες αργότερα διορίστηκε διοικητής του 3ου λόχου, του 2ου SS Πάντσερ συντάγματος. Στις 3 Ιουνίου 1944, επιστρέφοντας στο Λε Νεμπούρ μετά από μαθήματα εκπαίδευσης, το αυτοκίνητό του δέχθηκε επίθεση από ένα σπιτφάιρ και ο ίδιος τραυματίστηκε για τέταρτη φορά. Μέχρι τις 9 Ιουνίου, είχε επιστρέψει στη διοίκηση του λόχου του. Κατά τη διάρκεια των αμυντικών μαχών στη Νορμανδία, του απονεμήθηκε ο Γερμανικός Σταυρός σε Χρυσό και το Badzer Assault Badge. Μετά την έξοδο από το Φαλαίζ, ο Ρούντολφ έγινε ο συνταγματικός υπασπιστής του 12ου SS Πάντσερ συντάγματος. Παρέμεινε με αυτό το σχηματισμό κατά την διάρκεια των μαχών στις Αρδέννες. Στις 20 Δεκεμβρίου τραυματίστηκε για πέμπτη φορά από θραύσμα οβίδας στο στόμα του. Του απονεμήθηκε το σήμα πληγής σε χρυσό και του δόθηκε η διοίκηση του 12ου SS Πάντσερ συντάγματος. Το τμήμα μεταφέρθηκε στην Ουγγαρία τον Ιανουάριο και ο Ρούντολφ συμμετείχε στις μάχες των τελευταίων μηνών στο Ανατολικό Μέτωπο πριν παραδοθεί στις αμερικανικές μονάδες στις 8 Μαΐου 1945.