Rundt 1959 flyttet Ole Paus tilbake til tanten Helvig i Oslo. I 1961 ble faren knyttet til Forsvarsstaben og flyttet til Fritzners gate 19 på Frogner, der Paus bodde de neste årene. Familien bodde i fjerde etasje, der de var naboer med Finn Hiorthøy.