Frances Fisher ble født den 11. mai 1952 i Milford on Sea i Hampshire i England, og er datter av det amerikanske foreldreparet Olga Rosine (født Moen), en husmor, og William Irving «Bill» Fisher Sr., en overbetjent på et oljeraffineri. Før hun nådde en alder av 15, hadde hun flyttet ni ganger og reiste på grunn av farens jobb. Hun var innom land som Italia, Tyrkia, England, Colombia, Frankrike, Canada og Brasil. Da hun var 15 døde moren hennes, og hun tok på seg ansvaret for å bidra til å oppdra sin yngre bror. Til slutt fullførte hun videregående skole på Lutcherstark High School i Orange, Texas, hvor hun hadde vært med i teaterproduksjoner, og senere jobbet som sekretær.