Olsen gikk på Utah State University hvor han var medlem av Sigma Chi-brorskapet og en 3-årig letterman i amerikansk fotball som defensive tackle. Han ble uteksaminert fra College of Business and Social Sciences ved USU med en bachelorgrad i finans i 1962 og en mastergrad i økonomi i 1971. Han fikk senere også en æresgrad i forretningsvirksomhet fra Huntsman School.