Morse ble født 18. mai 1931 i Newton i Massachusetts. Morse var gift med Carol Ann D'Andreá fra 1961 til de ble skilt i 1981. Han giftet seg senere med Elizabeth Robert i 1989. De fikk fem barn sammen.