Med sin første kone Catherine Faylen, datter av skuespillerne Frank Faylen og Carol Hughes, som han var gift med fra 1955 til 1968, har han barna Amy og Daniel. Daniel sitter i rullestol og jobbet i Pentagon under terrorangrepene 11. september 2001, men han kom uskadet fra angrepet.