Han døde 8. april 1779 på Holmegård, 48 år gammel. Han var da blitt sinnssyk. Foreldrene var justisråd Lorentz Fisker og Engel Cathrine Smith. Lorentz Fisker var viseborgermester, assessor i Hofretten, senere byfogd i Kristiansand. Lagmann Fiskers bror var Corfitz Fisker, (1729-1802). Han var fra 1751 sekretær i Danske kanselli og fra 1796 direktør i Generalpostamtet.