Fischer var sønn av Olfert Fischer (1700–1761) og ble kadett i 1763. Han reddet besetningen på sitt linjeskip «Oldenborg» i 1799, i en storm ved Kappstaden ved å strandsette det, hvorved skipet nok ble tapt, men besetningen reddet.