I begynnelsen av januar 1953 giftet Whittaker seg med Clara Caroline Buehl som hadde vært hans kollega ved Hanford Laboratories. Selv om hun hadde en mastergrad i biologi, forlot hun forskerkarrieren og ble husmor. De fikk tre sønner. Han gjennomgikk en personlig tragedie da hans kone fikk kreft i 1974 og døde i 1977. I 1979 giftet han seg på nytt med en av sine doktorstudenter, men fikk selv en kreftdiagnose i 1980 og døde i oktober samme år, bare 59 år gammel. Whittaker fikk ingen barn med sin andre kone.