Etter at Ole Paus kom tilbake fra London bodde han sammen med moren og søsteren Helvig i Frederik Stangs gate 40 på Frogner, frem til han ble militærattaché i Stockholm i 1953. I de årene han var i Sverige bodde barna med moren og søsteren i Oslo. I 1954 flyttet familien fra Frederik Stangs gate til en av Luftforsvarets byggelags leiligheter i Flyveien 15 på Hovseter, et nytt, modernistisk bygg tegnet av Erling Viksjø. Fra 1956 bodde han i den såkalte Majorboligen på Elverum. Fra 1964 til 1971 bodde han i Kommandantboligen på Singsaker i Trondheim; han overtok huset etter general Herman Fredrik Zeiner-Gundersen, som ble forsvarssjef og formann for NATOs militærkomité. I 1971 bosatte han seg i Bærum og bodde senere på Røa i Oslo.