I amerikansk fotball ble han som senior utvalgt til All-American (han ble inkludert på størsteparten av All-America-lagene) og vant Outland-troféet. Etter junioråret i 1960 ble han også utpekt til All-American av Football Writers Association of America og Newspaper Enterprise Association. Han var også All-Conference i både 1960 og 1961. Olsen og Utah State nådde Sun Bowl i 1960 hvor de tapte 20–13 mot New Mexico State. Med Olsen på laget holdt Aggies forsvar New Mexico State til kun 44 yards på 32 løp.