Påkjenningen fra utstrakt turnevirksomhet førte til at den «klassiske sammensetningen» av bandet gikk fra hverandre i 1996. Sprout trakk seg for å være hjemme med sitt første barn og satse på maling og en solokarriere. Sprout og Pollard markerte dette med å gi ut hvert sitt soloalbum den samme dagen i 1996. Sprout og Pollard . Begge hadde en gjesteopptreden på den andres album. Pollard hadde en aktiv solokarriere resten av bandets levetid, men disse platene ble stort sett selvpublisert. Siden platene oftest ble spilt inn med gamle medlemmer av Guided by Voices, og sangene ofte ble spilt på Guided by Voices sine konserter, blir ofte disse utgivelsene regnet for en del av bandets utgivelser.