Oster wstąpił do wojsk artyleryjskich w 1907 roku. Podczas I wojny światowej służył na froncie zachodnim do 1916, kiedy został mianowany kapitanem i przeniesiony do sztabu 23. dywizji armii cesarskiej. Po I wojnie światowej wszedł do korpusu oficerskiego Reichswehry, służąc początkowo na stanowiskach liniowych, a później sztabowych gdzie zetknął się z późniejszymi uczestnikami zamachu 20 lipca 1944: Friedrichem Olbrichtem i Erwinem von Witzlebenem. W 1929 awansował na majora, jednak w 1932 został zmuszony do dymisji ze względów obyczajowych (romans z żoną kolegi).