Han var sønn av Arne Johnsson (1910–40) og Anna-Lisa Ahlgren (1909–66). Morens familie laget Ahlgrens biler, hvis form er inspirert av en Bugatti eid av faren, som med broren Axel Johnsson (1908–53) eide Kilafors bruk. Moren giftet seg i 1945 med juristen Carl-Robert Norinder (1909–90), hvis etternavn Ulf tok og ble kjent som da han med søsteren Birgitta arvet Kilafors Bruk etter at faren Arne døde i en flyulykke. Der lærte han seg racerkjøring (med gocart), blant annet sammen med den senere Formel 1-stjernen Ronnie Peterson (1944–78) som døde i Milano like før Norinder i Monte Carlo.