Ole Paus' familiegren etablerte seg mot slutten av 1700-tallet som byborgere og skipsredere i Skien – de var Henrik Ibsens nærmeste slektninger – og under den industrielle revolusjon som stålmagnater langs Akerselva i Christiania, der oldefaren Ole Paus startet stålfirmaet Ole Paus. Ole Paus' nærmeste familie oppstod imidlertid i Wien, dit farfaren – eventyreren Thorleif (von) Paus – flyttet i 1902 og møtte Paus' østerriksk-jødiske farmor som skulle bli den senere visesangerens viktigste omsorgsperson. Ole Paus' far kom til Norge som nittenåring som ikke kunne norsk og hadde i 1940 blitt adjutant for forsvarssjef Otto Ruge, var senere knyttet til Forsvarets overkommando i London der han var med på å bygge opp Etterretningstjenesten og ble under den kalde krigen general og nordmannen med den høyeste stillingen i NATO. Arvid Skancke-Knutsen skriver at «beretningen om Paus' egen slekt står sentralt» i Paus' ufullendte selvbiografi og «er et anslag til noe nærmest monumentalt».