Etter utgivelsen av albumet forlot Alphin bandet, og ble erstattet av Jonathan Bass, som spilte trommer på turné med bandet i 2003. , en EP med seks sanger, ble gitt ut i april 2005, fulgt av i september. The Rosebuds fikk så med seg Logan Matheny og Matt McCaughan på trommer under konserter og turnéer. Under premiereepisooden av ble sangen «4-Track Love Song» fra albumet spilt i bakgrunnen. Deres tredje album, , ble gitt ut i april 2007. Deres fjerde studioalbum, , ble gitt ut i oktober 2008.