Ekteparet Schnitler ble boende i bygget i flere år, men i 1754 bygde det nyoppstartede Trondhjems Sukkerraffinaderi Sukkerhuset på naboeiendommen. Dette selskapet kjøpte gården den 10. oktober 1752 av sønnen Lorentz Schnitler, som var misjonær under Thomas von Westen. Sukkerhuset og Schnitlergården fikk da en form for sammenkobling. I 1856 kjøpte Erich Christian Dahl både Sukkerhuset og Schnitlergården.