Van Kleffens arbeidet for Folkeforbundets juridiske avdeling og hos Shell i London, før han i 1922 begynte i utenriksdepartementet. I 1929 ble han sjef for avdelingen for diplomatisk saker.