Durante de los primeros cinco años, The Mountain Goats lanzaron muchas canciones en casete, en disco de vinilo 45, y disco compacto.