Samtidig med sitt arbeid for kronprinsen, hadde Østgaard også andre militære oppgaver i Garden. I 1921, da han også ble forfremmet til kaptein, var han ved Akershus Infanteriregiment nr. 4 (IR 4). Han ble major i 1935 og oberstløytnant i 1940. I 1940 fulgte han først kronprinsesse Märtha og prinsen og prinsessene til Sverige, før han fulgte kongen, kronprinsen og regjeringen med HMS «Devonshire» til Storbritannia.