I begynnelsen av 1950-årene solgte farfaren leiligheten i Oslo som Oles familie bodde i. I 1951 flyttet familien fra Frederik Stangs gate til en av Luftforsvarets byggelags leiligheter i Flyveien på Hovseter, et nytt, modernistisk bygg tegnet av Erling Viksjø. Moren rakk akkurat å flytte inn før hun døde. I begynnelsen bodde også farmoren og tanten i leiligheten; senere fikk de sin egen, mindre leilighet i det samme byggelaget i Flyveien 15. De fikk hentet møblene og eiendelene sine fra Wien, som utrolig nok hadde overlevd to tiår, et nazistisk diktatur og en verdenskrig på et lager: «Møbeltransporten fra Wien rykket inn med hele den habsburgske verden på slep». Farmorens leilighet ble det nærmeste han kom et barndomshjem. «Jeg tilbragte på en måte barndommen på hybel i Wien», har Ole Paus sagt om hjemmet som var fullt av wienerkultur og en bestemor som «orienterte seg kun etter værmeldingen i Wien».