La banda se formó en el año 2000 con tres miembros de otra banda llamada Jonathan Fire, Paul Maroon (guitarra y piano), Walter Martin (órgano y bajo), dos miembros de otra banda llamada The Recoys, Matt Barrick (batería) y Hamilton Leithauser (vocales y guitarra).