I 1970, da Fisher var 18, giftet hun seg med skoleforelskelsen Billy Mack Hamilton. Paret var bare gift i to år før skilsmissen. Fisher var også i et forhold med skuespiller og regissør Clint Eastwood i 6 år i begynnelsen av 1990-tallet. I løpet av den tiden, hadde paret et barn sammen, Francesca Eastwood (f. 1993).