Kromer kom fra en ledende borgerlig familie. Han hadde en far av tysk avstamming og ble født i den skogstyske (walddeutsche) bosetningen Beitsch (polsk Biecz) i Lillepolen.