Da Fisher var to år gammel, ble hennes foreldre skilt og faren hennes giftet seg med Elizabeth Taylor. Året etter, giftet moren hennes seg med forretningsmannen Harry Karl. Det ble tidlig antydet at Fisher ville begynne i samme yrke som familien forøvrig; hun opptrådte sammen med sin mor i Las Vegas da hun var tolv år gammel. Hun gikk på Beverly Hills High School, men sluttet for å bli med moren sin på hennes reiser i forbindelse med jobben. Hun opptrådte som en debutant og sanger i Broadway-oppsettingen av i 1973 med hennes mor i en av hovedrollene.