Olson spilte college football på Clemson University, og spilte blant annet i Sugar Bowl i 1959 mot Louisiana State University. Olson ble innlemmet i Clemson Athletic Hall of Fame i 2010.