I 1935 ble han rekruttert til Abwehr av admiral Wilhelm Canaris. Begge var nasjonalkonservativt innstilt, og avviste nasjonalsosialismen. De konspirerte i flere år mot det nasjonalsosialistiske regimet. Oster var en av de mest aktive antinazistene, og gikk allerede i 1938 inn for snarest mulig å drepe Hitler og begå statskupp for å avsette nasjonalsosialistene.