I 1946 gikk han av som utenriksminister, men var til 1947 minister uten portefølje. Han fortsatte i diplomatisk tjeneste, var Nederlands representant i FN før han i 1947 ble ambassadør i USA og i 1950 ambassadør i Portugal. I 1954 var han president i FNs generalforsamling. Han var fra 1956 til 1958 utsending til NATO og OEEC i Paris. Fra 1958 til 1967 var han representant ved Det europeiske kull- og stålfellesskap. Van Kleffens støttet inngåelsen av en nordatlantisk allianse og inngåelsen av Benelux-samarbeidet.