Olsen ble utvalgt til Pro Bowl 14 ganger, en rekord, og ble kun utelatt i sin siste sesong. Han ble innlemmet i Pro Football Hall of Fame i 1982, det første året han var kvalifisert; han valgte til posisjonstrener i college Tony Knap til å presentere seg. I 1999 ble Olsen rangert som #25 på liste over de 100 beste amerikansk fotballspillerne noensinne.