MacDiarmid ble født i Langholm i den skotske regionen Dumfries and Galloway. Etter å ha forlatt skolen i 1911 arbeidet han som journalist i fem år. Han gikk deretter inn den britiske hærens medisinske korps under den første verdenskrig. Etter krigen giftet han seg og vendte tilbake til journalistikken. Hans første bok, (1923) var en blanding av prosa og poesi på engelsk, men han vendte seg deretter til skotsk for en rekke bøker, noe som kulminerte i hva som antagelig var hans beste verk, det boklange diktet «A Drunk Man Looks at the Thistle». Det er betraktet som det viktigste lange diktet i 1900-tallets skotske litteratur. Etter dette utga han flere bøker med dikt både på skotsk og engelsk.