Da bandet ble dannet i Dayton tidlig på 1980-tallet, begynte de karrieren som et pub-band som spilte på de lokale scenene. Medlemmene i bandet endret seg etter som hvilke dagjobber de hadde, og etterhvert tok Pollard bandet i en mer studio-orientert retning. Guided by Voices' platekarriere begynte med en strøm av selvfinansierte, uavhengige utgivelser som , , og . Platene ble bare trykket i noen få hundre eksemplarer, og ble stort sett ikke spredt ut over den nærmeste kretsen av familie og venner.