Fisker ble gift 3. mai 1764 i Kristiansand med Engel Kirstine Kierulf (1727-1794) datter av kjøpmann og stadskaptein Hans Mortensen Kierulf og Marie Magdalene Wiborg.