Kempner var av jødisk opphav og sosialdemokrat. I det prøyssiske statsapparatet arbeidet han blant sammen med Hans Globke, som senere arbeidet både for nazistene og for Konrad Adenauer, og med Rudolf Diels som ble den første sjef for gestapo. Kempner og Globke var venner. Kempner møtte Diels igjen i forbindelse med Nürnbergprosessen.