Foreldrene ble skilt i løpet av første verdenskrig og faren flyttet hjem til Oslo i 1918 på grunn av den ustabile politiske situasjonen i Østerrike-Ungarn. Thorleif Paus fortsatte forretningene sine i firmaet Thorleif Paus A/S i Oslo, før han i 1936 bosatte seg som godseier i Skåne, der han eide Kvesarums slott, og bodde de siste årene av livet i København. Ole Paus vokste opp med moren i Wien, og tok østerriksk Matura ved den kjente privatskolen Theresianum i 1929. Samme år flyttet han nitten år gammel til farens hjemland Norge, uten å kunne norsk.