Gjennom 1960-tallet terroriserte kvartetten motstandernes angrepsrekker. Olsen hjalp laget til å nå sluttspillet i 1967 og 1969. Han ble utpekt til klubbens "Outstanding Defensive Lineman" fra 1967 til 1970 av Los Angeles Rams Alumni. I uke 14 i 1967 ble Olsen og The Fearsome Foursome utpekt til AP NFL Defensive Players of the Week for sine prestasjoner i en kamp mot Baltimore Colt. På 70-tallet fortsatte Olsen å dominere som defensive tackle, og hadde 11 sacks i 1972, nummer to på laget. Etter uke 8 i 1972 fikk Olsen sin tredje AP NFL Defensive Player of the Week-tittel.