Tras superarlo, Duff inició una relación con el músico de Good Charlotte Joel Madden en julio de 2004. Ella tenía entonces 16 años.