Han het egentlig Ragnar Olsen, men skiftet etternavn til konfirmasjonen i 1941. Faren het Erling Olsen (1892–1982) og var sjåfør, mens moren var kommunearbeider Sigrid Fredrikke Olsen (1894–1979). Ragnar giftet seg i Genova i 1951 med mannekengen Bjørg Flognfeldt (1927–2023). Han er far til den svenske filmmannen Karl Fredrik Ulfung (født 1966).