Deres debutalbum, Up All Night, ble sluppet den 28. juni 2004, og ble nummer tre på den britiske albumlisten den 4. juli. På albumet spilte Johnny Borrell inn sitt eget telefonnummer i sangen Vice. Nummeret skal visstnok være 07761 010233. April 2005 slapp de Up All Night på nytt, denne gang var den nye singelen Somewhere Else inkludert. Somewhere Else kom på andreplass på den britiske hitlisten den måneden, og skaffet bandets største hit-singel så langt, i deres korte karriere.