I 1957 giftet han seg med Elizabeth Rees-Williams, datter av David Rees-Williams. De ble skilt i 1969 og Elizabeth giftet seg med en annen skuespiller, Rex Harrison. De fikk tre barn sammen; skuespilleren Jared Harris, skuespilleren Jamie Harris (født , men er blitt kalt «Jamie» siden barndommen), og regissør Damien Harris. Han giftet seg senere med den amerikanske skuespilleren Ann Turkel, men også dette ekteskapet endte i skilsmisse.