Cramer var sønn av den tysk-danske hoffpredikanten og opplysningsteologen Johan Andreas Cramer (1723–1788), og vokste opp i nærheten av København.