Oster var gift med Gertrud Knoop, som tilhørte en bremisk tekstilindustrifamilie. Han hadde tre barn, blant annet sønnen Achim Oster, som etter krigen ble generalmajor i den tyske hæren, og i egenskap av militærattaché i Spania fikk i oppdrag å arrestere Spiegel-redaktøren Conrad Ahlers i forbindelse med Spiegelaffæren.