Zuletzt wurde Ullrich am 9. Oktober 1944 Kommandeur der 5. SS-Panzer-Division „Wiking“, mit welcher er am Unternehmen „Frühlingserwachen“ teilnahm und auf Vorschlag von Herbert Otto Gille am 20. April 1945 zum SS-Oberführer befördert wurde, bevor er sich am 12. Mai 1945 in amerikanische Gefangenschaft begab, aus welcher er im September 1948 wieder entlassen wurde.