Hunt giftet seg for andre gang med Edith, Fannys søster, på en tid da det var forbudt i England å gifte seg med ens avdøde hustrus søster og han måtte derfor reise utenlands for å kunne inngå ekteskap med henne. Det førte til et bittert brudd med andre familiemedlemmer, spesielt en annen pre-rafaelitt, Thomas Woolner, som hadde giftet seg med en tredje søster, Alice Waugh.