En 1982, Simon fue expulsado del grupo por problemas tras una supuesta pelea en un bar con el vocalista y guitarrista Robert Smith, poco tiempo después de haber grabado el álbum "Pornography", en el cual también ejecutó los teclados y finalizó la gira de promoción de dicho álbum.