Carlberg ledet blant annet en større ombygning av Örgryte gamle kirke i årene 1730–1735. Kirkens søndre tilbygg ble tegnet i 1775 av sønnen, Carl Wilhelm Carlberg, som også tegnet et nytt alter til kirken. Blant Carlberg seniors øvrige byggverk i Gøteborg kan nevnes kuppelen til Gøteborgs domkirke, som ble ødelagt i den store brannen 20. desember 1802, og Svenska Ostindiska Companiets hus, som ble bygget i perioden 1747-1762. Tegningene til «Ostindiska huset» ble noe endret av Carl Hårleman, som var Carlbergs overordnede. Det har også blitt antatt at Carlberg tegnet Sahlgrenska huset i Göteborg, men andre har hevdet at det var Hårleman som tegnet denne bygningen.