La banda se formó cuando Molko y Olsdal, que habían asistido a la misma escuela en Luxemburgo, pero aparentemente nunca hablaron, se encontraron por casualidad en el metro de Londres y subsecuentemente iniciaron un proyecto que titularon brevemente "Ashtray Heart".