Harrison og Palmer skilte seg i 1957. Samme år giftet Harrison seg med Kay Kendall, som døde av leukemi i 1959. Han ble senere gift med walisisk-fødte Rachel Roberts. Dette ekteskapet varte fra 1962 til 1971, inntil Roberts begikk selvmord i 1980. Harrison giftet seg deretter med Elizabeth Rees-Williams, og til slutt med Mercia Tinker, som ble hans enke da han døde i juni 1990, 82 år gammel.