Ole Paus ble født i 1947 i Oslo og bodde de første årene i farfarens leilighet i Frederik Stangs gate 40, der foreldrene Ole og Else hadde flyttet inn hos Oles farmor og tante etter å ha kommet hjem fra London i 1945. Oles storebror Peter – som senere skulle bli den sveitsiske finansmannen Jean Pierre Paus – ble født i London i 1945. Farfaren bodde til vanlig på slottet sitt i Sverige, men ses å ha brukt leiligheten som norsk adresse for seg selv og sitt firma Thorleif Paus A/S i denne perioden. Ved dåpen var farens fetter Richard Andvord Ole Paus' gudfar.