Duff mantuvo un romance con el líder de la banda "Good Charlotte", Joel Madden; después de dos años de noviazgo, la popular pareja se separó en noviembre de 2006, debido a la diferencia de edad de ocho años que tenía Madden con Duff.