Bandet ble grunnlagt i Stockton, California, i 1989 som et studioprosjekt av gitaristene og vokalistene Stephen Malkmus og Scott Kannberg, først kjent som "S.M." og "Spiral Stairs". Debut EP-ene deres , , og ble spilt inn i studioet til trommeslager Gary Young og besto av lo-fi-sanger som var inspirert av bandet The Fall.