Han vokste opp i Wien som sønn av den norske konsulen Thorleif von Paus og en østerriksk mor med jødisk bakgrunn, Ella Stein, som oppdro ham og søsteren Helvig som alenemor etter at foreldrene ble skilt og faren dro tilbake til Norge i 1918. Han og søsteren fikk mellomnavnet Cicin (kroatisk egentlig Čičin) etter grandtanten Louise Cicin, som hadde vært gift med bankieren Rocco Cicin, som tilhørte en venetiansk-dalmatisk adelsslekt fra Šibenik. Otto Paus, som han da ble kalt, gikk på den berømte skolen Theresianum. Som nittenåring i 1929 dro han til farens hjemland Norge uten å kunne et ord norsk. Det var på denne tiden at Otto begynte å kalle seg Ole. Der faren var en munter eventyrer som ofte sviktet sine nærmeste, var sønnen pliktoppfyllende, ansvarsbevisst og streng, og det skulle gå mange år før han forsonte seg med faren. Han ble utdannet offiser ved Krigsskolen i 1932 og gjorde rask karriere som generalstabsoffiser i 1930-årene. Under andre verdenskrig var han under kampene i 1940 adjutant for forsvarssjef Otto Ruge og var senere knyttet til Forsvarets overkommando i London der han var med på å bygge opp Etterretningstjenesten.