Fisker drev både med ulovlig brennevinssalg og ble kritisert for «sin utaalelige konduite og upasselige rigeur». Hele boet hans ble solgt på auksjon idet han «er kommet i saadan decadance at hans creditorer efter domme har udexekveret alt hvad han ejer og har». Ved reskript 13. november 1778 ble det bestemt han skulle tiltales for drukkenskap.