Taylor giftet seg tre ganger: med Peggy Williams (1951–1954), Mary Hilem (1963–1969) som han fikk datteren Felicia med, og med Carol Kikumura (1980–2015).