Morris var gift med Suzanne Kilborn fra 30. september 1927 frem til de tok ut skilsmisse i november 1939. De hadde to barn sammen, Brooks og Cynthia. Han giftet seg med sin andre kone Lillian Kenton Barker 30. november 1940. De fikk en sønn, Kenton.