Fisher var gift med musikeren Paul Simon og var i et forhold med han i flere år etterpå. I løpet av ekteskapet deres, deltok hun i Simons musikkvideo til sangen «Rene Magritte And Georgette Magritte With Their Dog After The War». Hun blir referert til i mange av Simons sanger, blant annet «Hearts and Bones», «Graceland», «She Moves On», og «Allergies».