Han var sønn av Otto Robsahm (1890–1969) og Margrethe Darbo (1912–1997). Fred var bror til tidligere modell, skuespiller og filmregissør Margarete Robsahm (født 1942). Robsahm ble hiv-smittet en gang i 1980-årene.