I 1856 giftet han seg og fikk tre sønner og to døtre. Men bare en av døtrene overlevde, og selv hans kone døde, i en barneseng. I 1879 forlovet han seg med en av hans amerikanske kunstnerstudenter, Elizabeth Jane Gardner. Imidlertid giftet de seg først 17 år senere, ettersom Williams mor og datter stritter imot ekteskapet. Etter Williams mors død ble William og Elizabeth gift, og de var gift livet ut. Han døde i en alder av 79 på grunn av hjerteproblemer.