Během druhé světové války se v roce 1942 stal vrchním velitelem amerických sil v Evropě a podílel se na Operaci Torch i na Tuniském tažení. V lednu 1943 byl na vlastní naléhání jmenován velitelem americké 5. armády v jejímž čele zůstal až do prosince 1944. Generál Clark bývá obviňován za problémy při vylodění u Salerna i za neúspěch vylodění u Anzia. Nakonec se jeho armádě podařilo dobýt Řím - i když právě při dobytí Říma měl Clark neuposlechnout rozkaz svého nadřízeného Harolda Alexandra a místo pronásledování ustupujících Němců vyrazit na Řím, jen aby ho získal dříve než Britové. V prosinci 1944 vystřídal maršála Alexandera ve funkci velitele 18. skupiny armád v Itálii.