Richardson var gift med Martine Beswick. De ble skilt i 1973. Etter at han sluttet som skuespiller viet han seg til fotografi og bodde i Paris.