Den 30. mars 1962 giftet Olsen seg med Susan Wakley, som også var en student ved USU. De fikk tre barn: Kelly, Jill og Nathan. Olson var medlem av Jesu Kristi kirke av siste dagers hellige og bodde i San Marino i California.