Utover på 1800-tallet gikk huset under betegnelsen «Klubbgaarden», fordi det rommet selskapslokaler for én av Larviks finere herreklubber etter engelsk mønster. I 1850 og noen år fremover holdt Borgerskolen til i bygningen.