I 1928 begynte han ved innenriksdepartementet i Berlin med tittel i politiavdelingen. Kempner var en tydelig motstander av nazistene og forsøkte å hindre dem å komme til makten.