I august 1939 ble Van Kleffens utnevnt til ambassadør i Sveits, men før han fikk reist ble han utnevnt til utenriksminister i De Geers andre regjering. Etter Tysklands angrep på Nederland i 1940 dro han til London for å søke støtte og senere fulgte hele regjeringen også med dit for å fortsette sin virksomhet i eksil. Ved dannelsen av Gerbrandys andre regjering fortsatte Van Kleffens som utenriksminister og fikk følge i utenrikssaker av en minister uten portefølje. På vegne av Nederland undertegnet Van Kleffens De forente nasjoners pakt i San Francisco 26. juni 1945.