El trabajo en solitario de este artista comenzó junto con el fin de la banda, hecho que se refleja en el último disco de "The Replacements" llamado “All Shook Down”(1990) En esa producción participaron un gran número de artistas invitados, debido a que Westerberg trabajó prácticamente sin sus compañeros de grupo, quienes tuvieron una participación menor.