Olsen er medlem av State of Utah's Sports Hall of Fame, Utah State University Sports Hall of Fame og USU's All-Century Football Team. I 2000 ble han av utpekt som en av århundrets 50 beste idrettsutøverne fra delstaten Utah. Han ble stemt inn i All-Academic All-America Hall of Fame i 1988. I 1969 ble han inkludert i Newspaper Enterprise Associations All-Time All-America-lag med andre stjerner som Bronko Nagurski, Red Grange, Jim Thorpe, og O.J. Simpson.