Ostenburg ging naar de infanterie-kadettenschool in Graz-Liebenau en werd in 1904 tot "Leutnant" (tweede luitenant) benoemd. In 1918 was hij al tot majoor bevorderd. Ten tijde van de Hongaarse Radenrepubliek in 1919 sloot hij zich aan bij de contrarevolutionaire tegenregering van Szeged. Miklós Horthy, voormalig admiraal van de Oostenrijks-Hongaarse vloot en minister van Oorlog in deze tegenregering, had een "Nationaal Leger" opgericht, waarvan voormalige Oostenrijks-Hongaarse officieren zoals Gyula Gömbös, Döme Sztójay, Antal Lehár en Ostenburg deel van gingen uitmaken. Bij de herovering van Hongarije op de communisten door het Nationaal Leger werd Ostenburgs detachement in West-Hongarije ingezet, en vooral in de stad Sopron, waar het de aanhechting van Burgenland bij Oostenrijk moest verhinderen.