De neste årene turnerte bandet små klubber og musikkfestivaler, og ga ut flere album. Etterhvert bygde de opp en solid solid fanbase. Det tredje albumet, (2004) fikk mye positiv omtale som førte til platekontrakt med Nonesuch Records i 2006. De første fire albumene var produsert i primitive studioer, men det femte, (2008), ble spilt inn i et profesjonelt studio med den innleide produsenten Danger Mouse som duoen senere samarbeidet mye med senere.