Bandets første studioalbum, , ble utgitt i 2003 etter at bandet avsluttet en turné i Europa som «support act» for Red Hot Chili Peppers. Albumet er produsert av Rick Rubin, og det er basert på historien om kunstneren Julio Venegas (fra El Paso, Texas), som begikk selvmord i 1996. I 2005 ga bandet ut sitt andre album , som er basert på en historie fra en dagbok som bandmedlem Jeremy Ward hadde funnet i en bil. Albumet solgte over 100 000 eksemplarer den første uken etter utgivelsen, og gikk rett inn på fjerdeplass på Billboard 200-listen. Den første singelen fra albumet, «The Widow», nådde 20.-plass på UK Singles Chart. Konsertalbumet ble utgitt senere samme år. Deres tredje album Amputechture ble utgitt i 2006 og debuterte på en 9.-plass på Billboard 200. Det solgte over 59 000 eksemplarer den første uken. Deres fjerde studioalbum ble utgitt i 2008 og debuterte på 3.-plass på Billboard 200.