A la edad de 15 años Duff formó su primera banda punk llamada "The Vains" en 1979, en donde era bajista y segunda voz.