La banda surgió cuando Miles Kane (guitarrista y cantante), Joe Edwards (bajista) y Greg Mighall (batería), todos ellos antiguos miembros de The Little Flames estaban de gira como teloneros y decidieron dejar la banda y formar un nuevo proyecto.