Taylor var gift med skuespillerinnen Barbara Stanwyck fra 1939 til 1951. Han giftet seg med skuespillerinnen Ursula Thiess i 1954, og ekteparet fikk to barn sammen. Taylor var en storrøyker og ble diagnostisert med lungekreft i oktober 1968. Han døde av denne sykdommen i juni 1969, da han var 57 år gammel.