Joel empezó a salir con Hilary Duff en el 2004, cuando ella tenía 16 años y él 25.