Johan Carlberg hadde som prest i 1683 fått Karl XIs tillatelse til å skaffe seg eiendomsretten til av Göteborg by, og fra 1689 til sin død 1701 var dette hans bolig. Burgården forble deretter i slekten Carlbergs eie frem til 1809.