Op 1 oktober 1935 kwam Ostendorff als officier bij de SS en werd naar de "SS-Führerschule" gestuurd in Bad Tölz. Tijdens de invasie van Polen, op 1 september 1939, was Ostendorff stafofficier van de Panzer Division Kempf. Tot juni 1942 had hij het commando over een kleine eenheid met de naam "Kampfgruppe "Ostendorff"", hij ontving het Duits Kruis in goud voor zijn acties met deze eenheid. Vervolgens werd hij stafchef van Paul Hausser en diende hij in Charkov en Koersk.