Duff también ha realizado un álbum con su otra banda, Neurotic Outsiders, también formada por Steve Jones de los Sex Pistols, Matt Sorum compañero en Guns N' Roses, y John Taylor de Duran Duran.