Han ble medlem av det 72. feltartilleriregiment (stasjonert i Danzig), tjenestegjorde i første verdenskrig og fortsatte sin karriere i Weimar-republikkens Reichswehr. I 1936 ble von Rabenau av daværende leder for generalstaben, generaloberst Ludwig August Theodor Beck gitt oppdraget å etablere det første sentrale arkiv for den tyske hæren i Potsdam. Han var godt egnet til oppgaven, Rabenau prøvde å hindre ideologiske forfalskninger med en vitenskapelig flid i å samle kilder som var uten sidestykke.