Bandet ble startet i 2004 av Ben Bridwell (gitar, vokal) og Mat Brooke (gitar) etter at deres tidligere band Carissa's Wierd ble oppløst. De fikk raskt stor framgang og fikk platekontrakt med Sup Pop etter at de på egen hånd hadde gitt ut en EP i 2005. Debutalbumet ble tatt opp i 2005 av produsent Phil Ek og utgitt 3. mars 2006. 13. juli 2006 opptrådte de på , men uten Mat Brooke som forlot bandet 25. juli 2006 for å satse på sitt andre band Grand Archives.