Johan Carlberg var sønn av brukseier Johan Börjesson Carlberg og Kristina Olofsdotter Spak samt bror til presten og salmedikteren Birger Carlberg. Han tok studenteksamen i 1650 i Uppsala, gjorde studiereiser 1662-1678 i Nederland, England og Tyskland der han 1665 ble magister i filosofi i Leipzig. Han ble utnevnt til Dr. theol 1677 i Giessen, der han også møtte sin blivende ektefelle. Da Carlberg i 1678 kom tilbake til Sverige, ble han utnevnt til domprost i Gøteborg, og ble i 1687 slottspredikant. hos dronning Ulrika. Den 27. desember 1689 ble Carlberg vigslet i Uppsala domkirke til biskop i Gøteborg av erkebiskop Olov Svebilius.