Den første kjente eieren av Hafnergården var kjøpmann og trelasthandler Christan Grønbech som var eier i 1731, men han har nok bodd i gården siden han ankom byen i før 1716. Etter hans død i 1742 overtok konen Beate Christine Holgersdotter Bierch. Christian Grønberch var byens rikeste mann og var en de som underskrev søknaden om Moss bys priveliger. Sr. Ole Andersen, tidligere sersjant, senere mølleeier overtok gården etter hans kone. Etter hans død i 1783 ble gården solgt til kjøpmann Just Herman Gude som også eide og bodde i Høstegården i Kongens gate. Gude kjøpte mest sannsynlig gården for å få sjøboder til sin voksende handelsvirksomhet i Høstegården. Han leide ut huset til Sr. Ole Andersens enke Birgithe Riber og Samuel Milling. Gude bygde 2 nye sjøboder i 4 etasjen på tomten rundt 1787.