Carlberg var foruten arkitekt også svensk offiser. Han var sønn av Bengt Wilhelm Carlberg i hans andre ekteskap med Jeanna Stina Carlberg, født Blaesinghs. Hans onkel, Johan Eberhard Carlberg var Gøteborgs første byingeniør fra 1717 til 1727, og deretter byarkitekt i Stockholm i 45 år. Carlberg-familien har fått en gate i Göteborg oppkalt etter seg, Carlbergsgatan i et område kalt Gårda.