Duffy var gift og fikk fire barn, tre sønner og én datter. Hans kone var dommer ved . Han bosatte seg i Greenwich i Connecticut. Han døde i april 2020 i en alder av 87 år av covid-19.