Am 13. Dezember 1940 wurde er zum SS-Obersturmbannführer befördert. Anschließend nahm er am Balkanfeldzug und ab Juni 1941 am Überfall auf die Sowjetunion teil. Nach den Kämpfen um Uschakowo bei Smolensk am 13. September 1941 wurde er mit dem Ritterkreuz ausgezeichnet. Am 1. März 1942 wurde er zum SS-Standartenführer befördert und am 5. Juni 1942 mit dem Deutschen Kreuz in Gold ausgezeichnet. Ab Juli 1942 wurde er unter Paul Hausser Stabschef des neu aufgestellten SS-Panzerkorps und kämpfte mit diesem im Februar und März 1943 in der 3. Schlacht um Charkow. Am 20. April 1943 zum SS-Oberführer befördert, übernahm er am 26. November 1943 die Führung der 17. SS-Panzergrenadier-Division „Götz von Berlichingen“ in Frankreich. Am 20. April 1944 folgte die Beförderung zum SS-Brigadeführer und Generalmajor der Waffen-SS. Ab Juni 1944 nahm er an den Kämpfen in der Normandie teil, wobei er am 16. Juni bei Carentan schwer verwundet wurde. Vom 21. Oktober 1944 bis zum 15. November 1944 übernahm er ein weiteres Mal die SS-Panzergrenadier-Division „Götz von Berlichingen“. Am 1. Dezember 1944 wurde er zum SS-Gruppenführer und Generalleutnant der Waffen-SS befördert und Chef des Stabes der Heeresgruppe „Oberrhein“. Als Kommandeur der 2. SS-Panzer-Division „Das Reich“ (29. Januar bis 9. März 1945) wurde Ostendorff am 9. März 1945 bei Stuhlweißenburg in Ungarn durch eine Brandgranate schwer verwundet und verstarb infolge einer Gasbrandinfektion am 1. Mai 1945 in einem Reservelazarett in Bad Aussee.