Da han var seks og et halvt år gammel satte slektninger ham bort til katolske nonner i Oslo. Utstyrt med en koffert og trehjulssykkel ble han plassert ved inngangen til St. Sunniva med instruks om å si: «Her skal jeg bo.» Moren hadde dratt til USA for å prøve seg som ballettdanser, og meningen var at sønnen skulle komme etter. Men da moren sendte sin søster og sin sønn billetter til Amerikabåten, solgte tanten billettene og bestemte at nevøen skulle plasseres hos St. Josephsøstrene. Tantens mann tok med seg lille Rolf, fulgte ham til St. Josephsøstrene og etterlot ham der.