Natt til den 24. mai 1807 oppstod en bybrann i Moss der Borgengården var en av de 34 bygårdene som ble totalskadet. Bybrannen oppstod i en av tekstilfabrikkene i Gernergården. Brannen beveget seg raskt østover og opp Briskebakken. Videre bredte den seg oppover Henrich Gerners gate, Møllergata, Kongensgate og strøket opp mot Bjerget. Brannen resulterte i at rundt 200 personer ble husløse. Ulike kilder opplyser om at brannen oppstod fra en av tobakksfabrikkene i Gernergården, dette er feil da historien om Henrich Gerner forteller at han eide en tekstilfabrikk i årene før brannen. Det var nemlig slik at tekstilfabrikken hadde tatt fyr og brant til grunnen, og etter brannen fikk han en mulighet til å starte en tobakksfabrikk. Han klarte dette ved hjelp av lukrative avtaler med det militære.