Olsen spilte profesjonelt (fra 1962 til 1976) for Los Angeles Rams i National Football League. Han var en ledende forsvarsspiller i sin periode og gikk kun glipp av to kamper i løpet av sine 15 sesonger i NFL. Han ble utpekt til NFL Rookie of the Year i 1962 og var på All-Pro førstelag i 1964 samt 1966 ut 1970. Han ble stemt inn i All-Pro andrelag i 1965, '73 og '74.