Olsen endte nesten opp med å bli en angrepsspiller, men ble flyttet til forsvaret etter eksperimentering i trening. Han ble eventuelt en del av en av de beste forsvarsrekkene i NFLs historie. Deacon Jones, Rosey Grier, og Lamar Lundy var med Olsen på forsvarsrekken i 1963, og de fire fikk senere kallenavnet "The Fearsome Foursome". AP utpekte ham til NFL Defensive Player of the Week i uke 12 i 1965, hvor Olsen scoret sin første touchdown.