En junio de 2004, mientras se llevaba a cabo la postproducción de su segundo álbum (titulado The Libertines), el grupo decidió echar a Doherty debido a su adicción, instándolo a volver una vez se haya recuperado.