Duffy pasó su infancia en Gales y tras la separación de sus padres se marchó con su madre y hermanas a Pembrokeshire, al sur del país.