Karl Oskar Nilsen drakk tidvis mye, holdt ikke lenge på jobbene sine, og ser ut til å ha gjort et mislykket forsøk på å etablere seg i USA. Når faren var borte, var Karoline og Rudolf sammen med besteforeldrene. Faren kom tilbake fra USA, og de levde noen år som kjernefamilie på ulike adresser. Dette tok endelig slutt da han ble far til ei jente utenfor ekteskap, født 10.07.1910. Han fikk seinere også to sønner, og gifta seg til slutt med barnas mor, Anna Sofie Olsen. Dette med faren gikk sterkt inn på Rudolf, og en dag han kom hjem fra skolen fortalte han mora at de hadde spurt etter faren hans, og han hadde sagt at faren var død.