По избијању Другог светског рата у септембру 1939. године, Клементис је затворен као познати комуниста, а касније је евакуисан у британски интернациони логор. Након пуштања на слободу, одлучио је да проведе рат у Лондону, где је на радију преносио говоре позивајући све Словаке да се боре против нациста. Вративши се 1945. године, постао је заменик министра спољних послова при првој послератној влади. Као представник Чехословачке, потписао је Повељу УН-а у Сан Франциску 26. јуна 1945. године. Након државног удара, где је помагао у организацији, наследио је Јана Масарика на месту министра спољних послова. 1948. године у својој новој улози имао је одлучујућу улогу у организовању удела Чехословачке у операцији Балак пружањем помоћи новооснованом израелском ратном ваздухопловству. 1950. године био је приморан да поднесе оставку услед оптужби да је „девијантан“. Потом је ухапшен и оптужен за илегални покушај преласка државних граница, касније преиначен у теже кривично дело: „буржоаски националиста“ и учесник у завери "Троцкизам - Титоизам - Ционизам". Након што је осуђен на намештеном суђењу Сланском, 3. децембра 1952. године, обешен је, заједно са Рудолфом Сланским. Пепео му је разбацан по путу близу Прага. Његова супруга Лида добила је само две мужеве луле и дуван и отпуштена је из затвора.