Op 23 november 1943, inmiddels bevorderd tot generaal-majoor, kreeg hij het bevel over de nieuw gevormde "17. SS-Panzergrenadier Division Götz von Berlichingen", waarmee hij vocht tijdens de slag in Normandië. Nadat hij gewond naar Duitsland was gegaan, keerde hij in 1944 terug bij de divisie. In november raakte hij nogmaals verwond en werd ontheven uit zijn functie. Na zijn herstel werd Ostendorff aangesteld als commandant van de "2. SS-Panzer-Division Das Reich", hij voerde het bevel van 29 januari tot 9 maart 1945. Hij raakte voor een derde keer gewond, ditmaal in Oostenrijk, en stierf in een veldhospitaal op 1 mei 1945.