Kavli vokste opp som bondesønn på Moen gård i Eresfjord i Romsdal, og hadde tre eldre søsken, Inger, Aslak og Ingvarda. Fred gikk på Firda landsgymnas på Sandane i Gloppen kommune. Etter sivilingeniørutdannelse på fysikklinja ved Norges tekniske høgskole i Trondheim, emigrerte han til USA i 1956. Som nyutdannet ingeniør fikk Kavli arbeid i sensorindustrien, i et selskap som laget sensorer til Atlasraketten, som fraktet den første amerikanske astronaut ut i verdensrommet. Etter to år var han blitt sjefingeniør. I 1958 startet han selskapet Kavlico Corporation i Moorpark i California. Under hans ledelse utvikla firmaet seg til en av verdens ledende produsenter av sensorer til kjøretøyer, fly og romfartøyer, samt til annen industriell apparatur.