Johan Carlberg var gift med Elisabeth Agnes, født Strohin (1660-1717). Han ble far til fjorten barn, hvorav seks overlevde ham, deriblant Johan Eberhard Carlberg (1683-1773) og Bengt Wilhelm Carlberg (1696-1778).