La banda ha citado como influencias a Leonard Cohen, Motörhead, The Stooges, The Velvet Underground y Suicide, entre otras; el propio Cohen escribió e interpretó una canción titulada "Sisters of Mercy" en su álbum de debut, "Songs of Leonard Cohen", de la cual la banda adoptó su nombre.