I midten av 1840 årene ble overtollbetjent S. C. Haffner eier av gården, etter han fikk gården navnet Hafnergården, folk i Moss kalte den Hafnern. Mot slutten av 1860 årene flyttet han fra byen og grosserer Reinert ble eier. Bybrannen i 1858 stoppet ved denne bygningen, selv om bygget var av mur og bindingsverk ble gården meget skadet, men brant ikke ned.