Han arbeidet etter juristeksamen som advokat. Kempner ble ansatt i det prøyssiske politiet og medvirket ved etterforskning og straffeforfølgelse av Adolf Hitler og Wilhelm Frick etter ølkjellerkuppet i 1923. Kempner ville deportere Hitler og ville i 1930 forby nazistpartiet.