Fisher ble født i Burbank i California, som datter av sangeren Eddie Fisher og skuespillerinnen Debbie Reynolds; hennes besteforeldre på farsiden var jødiske immigranter fra Russland. Hennes yngre bror er Todd Fisher og hennes halvsøstre er skuespillerinnene Joely Fisher og Tricia Leigh Fisher, som er døtre av skuespillerinnen Connie Stevens.